sreda, 27. januar 2016

Nevronska mreža - JAN BOJOVIĆ

Uvod

Umetna nevronska mreža, ki ji na krajše pravimo samo nevronska mreža (angl. neural network), uporabljamo za obdelavo informacij. To je ''naprava'', ki deluje po vzoru živalskih oz. človeških možganov. Glavni gradnik je nevron. Najbolj znane nevronske mreže so: Perceptron, SOM in Hopfieldova nevronska mreža. 

                                                                                              (Video: 1 - Intro to Neural Network)



Razvoj nevronskih mrež


Zametki razvoja segajo v leto 1943, ko sta nevrofiziolog Warren McCulloch in kognitivni psiholog Walter Pitts ustvarila računalniški model nevronskih mrež, zasnovan na področju matematike in algoritma. Rezultati so bili zaradi osnovanja na preprostih nevronih preproste logične funkcije.

                                            
  Slika: 1 - Warren M. 
Slika: 2 - Walter Pitts
                                                           
Zaradi njunega modela se je nadaljne raziskovanje razdelilo na dva dela: 
- prvi je bil osredotočen na biološkem procesu možganov
- drugi pa na uporabo nevronskih mrež za UI (umetna inteligenca)

K napredku simulacij z nevorsnkimi mrežami je precej vplivalo sodelovanje med inžinirji, psihologi in nevrologi. Skozi leta se je zanimanje za napredek nevrosnkih mrež manjšalo, na obdobja pa doživelo uspehe.  Veliko zanimanja je vzbudil psiholog Frank Rosenblatt z izdelavo prej omenjenega perceptrona. Največ zanimanja za to, pa je vzbudil napredek v 70-ih in 80-ih letik, ko so bili v Evropi in Ameriki razviti prvi akademski programi na univerzah. Kapital za na daljne raziskovanje se je višal zaradi množične pozornosti in tako so bile ustvarjene komercialne aplikacije za finančne inštitucije in industrijo.

                                           

Slika: 3 - Frank Rosenblatt


Nevron

Človeški nevroni
Z drugo besedo so to živčne celice, ki so glavni gradniki živčevja. Pri vretenčarjih se nahajajo v hrbtenjači, možganih in živcih. Nahajajo se tudi v ganglijih obkrajnega živčevja.  So električno razdražljive celice. Prenašajo in obdelujejo podatke s pomočjo elektrokemičnih signalov, kateri potekajo prek sinaps.

 Splošno so sestavljeni iz:
- soma ali parikariona (telo živčne celice)
- dendrita (izrastek iz živčne celice)
- nevrita ali aksona (daljši izrastek iz živčne celice, po katerem se prevaja akcijski potencial)
              


Slika: 4 - človeški nevron
                        
                                                              

V naših možganih se nahaja preko milijarde nevronov z več bilijoni povezav med njimi, temu pravimo biološka nevronska mreža. Tudi možgani preko sinaps uravnavajo učinkovitost prenosa, kot odgovor na neugodne ali ugodne dražljaje. 

Umetni nevroni
Na splošno ima umetni nevron 6 komponent:
- nabor vhodov
- niz uteži (obteženi vhodni podatki)
- prag
- aktivacijsko funkcijo
- eden izhod
- program


Slika: 5 - umetni nevron


Se pravi, da je umeten nevron naprava z mnogimi vhodi in samo enim izhodom. Prilagajanje signalov, ki potujejo skozi nevron, omogočajo, da so parametri za določanje povezav prilagodljivi.   Umetni nevroni drug drugemu po povezavah pošiljajo električne dražljaje oziroma signale. Do vžiga nevrona  pride, če je vsota vhodnih signalov dovolj velika, to pomeni da se na izhodu pojavi signal. Povezave med nevroni imajo lahko poljubno jakost in strukturo.  Povezave med nevroni, pragom pri katerem nevron na izhodu odda signal in uteži vhodov posameznih nevronov, se oblikujejo z učenjem.                        
                                                 
Bistvo nevronskih mrež je to, da med učenjem same ugotovijo pravilo, ki povezuje izhodne podatke z vhodnimi. Kar pomeni, da se lahko naučijo kakovostnejše in več kakor človek. Ko imamo nevronsko mrežo naučeno, deluje tudi v situacijah, s katerimi v procesu ni imela dela oziroma opravka.. S tem doseže, da lahko reši tudi naloge, kjer ne obstaja rešitev v obliki zaporedja korakov, kljub temu, da obstaja večja nevarnost nepredvidljivega delovanja. Nevronske mreže so zaradi paralelne sestave zelo hitr in so ustrezne tudi za zahtevnejše izračune. Imajo sposobnost razločevanja in izločevanja informacij iz kompliciranih nejasnih vzorcev.


Vrste nevronskih mrež


Kot sem omenil v uvodu, bom na kratko predstavil 3 najbolj znane nevronske mreže:

Perceptron


Prvi ga je leta 1958 predstavil ameriški psiholog Frank Rosenblatt. Velja za najbolj razširjeno nevronsko mrežo, pri kateri so vse povezave med nevroni usmerjene naprej. Vhodne in izhodne vrednosti so lahko poljubne zvezne spremenljivke. Traja dokler ne pride do prevelike napake, učenje pa poteka postopoma.


Slika: 6 - perceptron mreža



 Poznamo:

- enoslojni perceptron; pri njem so vsi nevroni razvrščeni v en sloj oz. vrsto, rešuje razmeroma preproste naloge, učenje pa poteka po Hebbovem pravilu

-večslojni perceptron; dvoslojni perceptron dobimo, če na izhod enoslojnega damo še en sloj nevronov. On večkratnih ponovitvah, lahko dobimo večslojni perceptron. Tako dobljeni perceptron lahko rešuje težje naloge, tudi učenje je drugačno. Najbolj znano učenje je ''backpropagation''.

SOM-Self Organizing Maps


V slovenščini pomeni samoorganizirajoče karte, drugo ime zanjo pa je Kohonenova mreža (po avtorju Teuvo Kohonenn). Posebnost je v nenadzarovanem učenju, velja pa tudi za zmogljivo orodje za podatkovno rudarjenje. Odkritje SOM-a temelji na biološkem spoznanju, da sorodni dražljaji vzburijo sosednje nevrone. 


Slika: 7 - SOM mreža



Delovanje:

 Vzdraženi nevroni so med seboj povezani, skupek vhodnega signala in povezav z okolico je torej vzdraženost nevrona. Bližnji se podpirajo, oddaljeni pa slabijo, tako pride do tekmovanja med nevroni. Povzročimo lahko lokalizacijo odziva na dražljaj v bližini maksimalnega zunanjega dražljaja. 

Zgradba:

Vsi perceptorji (vhodi) so povezani z nevroni v Kohonenovi karti. Vsak kartirani dražljaj posredujemo po povezavah do vseh nevronov tekmovalnega sloja. Točko v vhodnem prostoru za trenutni vhodni dražljaj določa uteženost povezav med vhodi in nevroni.

Postopek učenja poteka v štirih korakih. Učenje je končano, ko postane nevronska mreža stabilna.

Hopfieldova nevronska mreža



Slika: 8 - Hopfieldova mreža



Primarna naloga mreže je priklicati vzorec, ki je bil shranjen v pomnilniku, na podlagi nepopolne oziroma delno popačene predstavitve tega vzorca. Je tudi najpopularnejša oblika nevronske mreže, ki je sposobna izvajati asociativno povezovanje vzorcev. Bistvo Hopfieldovih mrež je, da si lahko zapomnijo (hranijo) množico učnih vzorcev kot množico stabilnih stanj, imenovanih tudi atraktorji. Ta mreža je najprimernejša za globalno sistemsko modeliranje v kognitivni znanosti. Nevroni sodelujejo tako rečeno ''vsi za enega, eden za vse''.


Uporaba nevronskih mrež


Uporabljajo se pri reševanju poslovnih problemov, v industriji in medicini. Zaradi sposobnosti prepoznavanja vzorce, so zelo uporabne za napovedovanje in predvidevanje. Uporabljene so tudi za prepoznavo glasu, obraza, prstnih odtisov, ročno napisanih besed...

Prednosti:

- samoorganizacija (nevronske mreže imajo sposobnost ustvarjanja lastne organizacije oziroma predstavitve informacij, ki jih prejemajo med učenjem)

- adaptivno učenje (sposobnost naučiti se in opraviti neko nalogo, glede na dane vstopne vrednosti)

- realno - časovne operacije (vsak nevron deluje relativno neodvisno od ostalih, zato so se nevronske mreže zmožne prilagajati zapletenem okolju v realnem času)

- ničelna toleranca preko obsežnega informacijskega kodiranja (delno uničenje mreže vodi k ustrezni degradaciji uspešnosti)

-...

Slabosti:

- nepredvidljivost njenih operacij

- ne moremo jih sprogramirati, da bi opravile točno določeno nalogo

- izguba časa in napačno delovanje ob napačni izbiri učnih primerov

-...


                  

Vpliv nevronske mreže na poklic


Kot sami začetniki izuma nevronskih mrež so  bili psihologi, nevrologi in inžinirji. Skupaj so se povezali, združili znanje in jih ustvarili. Dan danes ne potrebujemo več ljudi za izračun raličnih funkcij ter izračunov in problemov v poslovnih stvareh. Vse to rešijo ''naučene'' nevronske mreže. Ko prejmejo dovolj znanja lahko kot sem že dejal, rešijo probleme s katerimi se skozi samo učenje niso soočili. Kmalu postanejo pametnejše oziroma zaneslivejše kot človek, lahko pa pride tudi do napak. Namesto raznih poklicev, ki bi zaposljevali ljudi za raziskavo prstnih odtisov, prepoznavo glasu in obraza so sedaj nevronske mreže. Pomagajo tudi zdravnikom pri diagnozah in ljudem v industriji pri raznih izračunih, upravljanju strojev... Temeljni namen je naučiti jih stvari, ki so ljudem skoraj, da neizvedljive oziroma zelo težko rešljive. Redko kateri poklic bi lahko nadomestil delovanje nevronske mreže pri posamezni nalogi.



Neznane besede


nevrofiziologija - veja psihologije, ki raziksuje delovanje (funkcije) živčnega sistema

kognitivna psihologija - znanost, ki je usmerjena na odkrivanje psiholoških procesov, ki se nahajajo na osnovi obnašanja

gangliji - (živčni vozel) skupek živčnega tkiva v živčnem sistemu

sinapsa - mesto komunikacije med dvema nevronoma, mesto kjer se signal prenese iz enega nevrona na drugega

parameter - na splošno, je matematična spremenljivka, katere vrednost je določena s posebnimi pogoji

Hebbianova teorija - teorija v nevroznanosti, ki predlaga pojasnilo za prilagoditev nevornov v možganih med procesom učenja

backpropagation - ime znanega algoritma za učenje envronskih mrež. Sodi v nadzorovano učenje in velja za posplošitev pravila delta (nem.Delta-Regel) na večslojne mreže. Pri učenju je prisoten učitelj, ki vhodnim podatkom priredi izhodno želeno vrednost



Viri in literatura


Tekst:

Wikipedia, Nevronska mreža (online). Čas zadnje spremembe 19:57, 8. marec 2013. Citirano november 2015. Dostopno na spletnem naslovu: https://sl.wikipedia.org/wiki/Nevronska_mre%C5%BEa
NEVRONSKE MREŽE (online). Čas zadnje spremembe ni znaz. Citirano november 2015. Dostopno na spletnem naslovu: http://www.ro.feri.uni-mb.si/predmeti/krmilna/predavanja/krtn.html
Gradivo: Nevronske mreže (online). Na voljo od 5. januar 2014. Citirano november 2015. Dostopno na spletnem naslovu: http://www.dijaski.net/gradivo/rif_ref_nevronske_mreze_01?r=1
Wikipedia, Nevron (online). Čas zadnje spremembe 14:24, 8. marec 2015. Citirano november 2015. Dostopno na spletnem naslovu: https://sl.wikipedia.org/wiki/Nevron
Wikipedia, Perikarion (online). Čas zadnje spremembe 13:17, 25. marec 2013. Citirano november 2015. Dostopno na spletnem naslovu: https://sl.wikipedia.org/wiki/Perikarion
Wikipedia, Perceptron (online). Čas zadnje spremembe 11:21, 4. december 2015. Citirano november 2015. Dostopno na spletnem naslovu: https://en.wikipedia.org/wiki/Perceptron
Scholarpedia, Hopfield network (online). Objavljeno 15:23, 4. maj 2007. Citirano november 2015. Dostopno na spletnem naslovu: http://www.scholarpedia.org/article/Hopfield_network
Self-Organizing Map (SOM) (online). Objavljeno 13:44, 8. marec 1996. Citirano november 2015. Dostopno na spletnem naslovu: http://users.ics.aalto.fi/jhollmen/dippa/node9.html
Nevrologija in nevrofizilogija (online). Čas zadnje spremembe ni znan. Citirano november 2015. Dostopno na spletnem naslovu: http://www.medistar.si/nevrologija-in-nevrofiziologija

 

Video:

Video (online). Obljavljeno 14. december, 2009. Citirano november 2015. Dostopno na spletnem naslovu: https://www.youtube.com/watch?v=DG5-UyRBQD4

Slike:

Slika 1 (online). Citirano november 2015. Dostopno na spletnem naslovu: http://web.csulb.edu/~cwallis/artificialn/CHICMcculloch.jpeg
Slika 2 (online). Citirano november 2015. Dostopno na spletnem naslovu: http://www.istitutocalvino.it/studenti/siti/ia/immagini/protagonisti/pitts.jpg
Slika 5 (online). Citirano november 2015. Dostopno na spletnem naslovu: https://static.slo-tech.com/64340.jpg
Slika 6 (online). Citirano november 2015. Dostopno na spletnem naslovu: https://blog.dbrgn.ch/images/2013/3/26/perceptron.png
Slika 7 (online). Citirano november 2015. Dostopno na spletnem naslovu: http://www.pitt.edu/~is2470pb/Spring05/FinalProjects/Group1a/tutorial/kohonen1.gif
Slika 8 (online). Citirano november 2015. Dostopno na spletnem naslovu: http://www.benbest.com/computer/nn9.jpg

Ni komentarjev:

Objavite komentar

Opomba: Komentarje lahko objavljajo le člani tega spletnega dnevnika.