PBO16 — Gvod do umélé inteligence NEURONOVE SITE ZAKLADY Z TEORIE A PRAXE Dawid Kabath podzim 20091 Uvod Nenronoxé sité jsou jednim % vypogetnich modelit po ch v umeélé inteligenci, Oproti Klasické von Neumannovské architektufe poditaée nabiaé velky prostor pro paralelizaci, a tim pidem i zrychleni vépovtti. V duesni dobé viak existuji vice v podobé matematickfch modelt, a dalSi rozvoj je mozny a% pouze se specializovanymi neuronovymi strénky v kapitolich 2 a 3 prezentuji biologickou pfediohu a struénon historii ‘h neuronov$ch siti, Kapitola 4 je tivodem do problematiky a v dalsich kapitolich 5, 6 istaveny zikladni principy fungovant jednoduch§ch neuronovgch siti na nejzna- mejsich modelech — Percetronw Vicenrstué siti a Hopfieldove siti, Kazdy z téchto modeli je prezentovén pomoci nézorného JavaAppletu. 2 Biologické motivace Stejné jako mnoho jingch informatickyeh odvétvt", tak i umélé neuronové site ziskaly prvotni inspiraci v biologické piedloze. Biologické neuronové sité, jakozto ucelené Csi for- mujici nervovou soustavu jedince, byly zkoumdny od konce 19. stoleti. Prvni velké visledky piisly na postkn 20. stoleti po objevu chemickych metod?, které umoziovaly pozorovani zakladni staveni sti neuronovéeh siti, neuron’, Zjednodu- Sené popsino, se neuron sklida x téla nazyvaného soma a upnich a vystupnich vgbéZkit (obrézek 1). Vstupni se na- zivaji dendrity a jelich mnozstvi se mitze bItzit aZ ke 100 000. Na druhon strann véstupni jeden a nazfva se aron. dendrity Konee axonu se rozdéluje do velkého mnodstvi vétv! pojme- F novanych termindly. a Nejdlezitéjsi vlastnosti neuron je jefich schopnost. mezi ) acts ania Pale farmers alge peice <\) munikaef s jinymi neurony, Sif svoji informaci dle. Ta je jako es clektricky impuls pienesena pies axon do terminéli. V tomto NS misté, nazvaném synapse, kde se terminél jednoho neuron X tél otf dendritnjindho neurom?, probihd samotni me. trTMINAlY zineuronov kommnikace. Je pfitom vygenerovéna chemické Obréwek 1: Stavba neuronu litka, kterd je pfenesena do drulcho neuronu. Na zavér je tfeba zninit velmi diileZitou schopnost neuronovgch siti — pamét. Ta je simu- Jovéina pomoci méniei se propustnosti membrany, ktera pokryva cely neuron, Pokud spol dva neurony komunikuji, propustnost membrény roste, pokud spige mili, propustnost Jad Celularai automaty, Genctické algoritiny 2o to so maslouil Spandlsky Isat Santiago Ramin y Cajal (1852 1994), kters pomoci Golgiho motody dobaevil nourony tak, Ze hyla mikroskopové posorovatelna jojich struktura de 0 vadilenost prblizné 20 nanometr3 Pohled do historie Pozndmka: Od této chvile budou wnélé neuronové sfté nazgvany pouze jako :. Nasledujiei text se vonnje hlavné tém umélym, proto by nemélo dochazet k Z4dnym nedorocuménim. Pokud by se jednalo o biologické, bude tato skuteénost néledité zdiraznéna, nenronové si Za prvni zminku 9 neuronoygch sitich se povazuje préice Warrena McCullocha a Waltera Pittsef1] 2 roku 1943. Pfinesli v nf ndvrh matematické reprezentace biologického neuromu a a jeho zakladech pomocf elektrick¥eh obvodii sestrojili jednoduchou neuronovou sit. Adkoliv Slo o nesporng dspéch, stéle jest® chybéla charakteristika uéiecho pravidla (tn. simulace Diologického procest zinény propustnosti membrény). Tu predstavil v roce 1949 Donald Hebb ve své knize The organization of behavior[2| V nésledujieich letech pozvolna rostl z4jem 0 vgzkum na poli ueuronovych siti, Nieméné opravdu prudky rozvoj ptisel az roku 1957 s novgm modelem neuronu — perceptronem, jehoz autorem je Frank Rosenblatt[3). Slo 0 rozSifeni z@kladniho modelu od. MeCullocha& Pittse. Rosenblatt zformuloval nové udiet pravidlo, 0 kterém matematicky dokazal, Ze pro néhodné zadanou konfiguraci sité nalezne po koneéném post krokti takové nastavent sit’, které Fest dang problém (za pfedpokladu, ze existuje). Po tomto objevu se vfzkum neuronovych siti rozbéhl naplno a ziskal si zAjem jak védei, tak vetejnosti, Paradoxné tento velkg ziijem zpisobil 0 nékolik let pozdéji i pfichézejici Gpa- dek. Velké ogekivni pozadovala velké vésledky, které ale nepfichézely. Védei i finance se postupné od neuroprojekti odklénéli, Posledni pokusy o obuoven vfzkumm udusil Marvin Minsky a Seymour Papert svm dilem Percepirons(4]. Svoji kritiku postavili na zamém faktu. nemoznosti feseni funkce XOR pomoci jednoho neuronu. Vzneshi otaku, zda-li mé cemn déle pokragovat ve v¥zkumu neuronovéch siti, kdyZ nedokiz vyFesit ani tento jednoduchy' ko. V t6 dobé sice byla znama dvojvrstva architektura o tech neuronech, kterd tento problém, eéila, ale nebyl zndm uéict algoritamus pro vicevrstyé sit. Tato kritika byla poté rozSifena a na dalif obdobf se vfzkum nenrosit{ témét zastavil* Roku 1982 pfisla postupna renesance, ke které pfispél zejména fyzik John Hopfield se svgm miodelem, kterfm umné propojil neuronové sité 5 fyzikélnimi modely magnetickych materiala[5]. O étyti roky pozdéji byl dokonee vyfeSen problém wéiciho pravidla pro vicevrstvé sité. David Rumelhart, Geoffrey Hinton a Ronald Williams zvefejnili Zajimavosti uréité je, Ze podobuy algoritmus byl prezentovan jiz dive napfiklad Arthurem Brysonem a Yu-Chi Ho v roce 1969(7}, ale silict kritikou neuronovgch siti byl utlumen. Od osmdesstych let, kdy byl vyzkum obnoven, bylo dosazeno nékolika slibngch vysledkt. Jeduin piikladem za vSechny mize byt systém NETtalk®. Vézkum dale probiha a pokrok nenronovych siti le2i zejména ve v¥voji specializovaného hardware. Az blizkA budoncnost ukize, zdacli tato snaha p¥inese kZené ovoce. NE Ttalk je projekt Terrence Sejucweského a Charlese Rosenberga x poloviny osmdesitych let postaveny na ‘uGicim algoritma Backpropagation. Zabywa se péevodem anglicky psancho textu v mluvené slove,4 Od obecného ke konkrétnimu V pfedchizejicich dvou kapitolich jsme se seznémili s biologickou motivaci a historii neurono- vgch siti. Nasledujict tri kapitoly jsou jiz vnovany konkrétnim modelim. Drive nez k nim ale postoupime, stanovme jednotny format, ktery pouzijeme pHi prezentovéni jednotlivéch mo- Nésledujici Hadky se dra vykladu dle knihy Jiftho Simy a Romana Nerudy Teoretiché Zakladnim stavebnim kamenem kaZdé new ronové sité je neuron. Postupujme podle ob- réizku 2 zleva doprava a popisme si jeho jed- notlivé Gisti, Nejprve mame déno n wstupii 1,22, Tq, které jsou ohodnoceny n edhami Ww, Wa, Uy. Dile © znaei wnitit prith, & @uje uniting potencidl ao aktivaéné funkei. Nae konec mame y, které oznaguje vyjstup neuron. Jeduotlivé tésti matematickcho modelu jsou ich Funkci, Neuron zaéne pracovat tak, Ze z danych vstupit vy- ma anamy a nyni si vysvétleme poste vnitini potencial. Sn a y Poté aktivaéni fimkee za pomoct @ vyhodnoti, ada-li je € dostategné vysoky. Toto je nejjednodus8t interpretace aktivaéni funkce, pojmenovand ost nelinearita, kile je neuron Dudto aktivni (vraci 1) Gi nikoliv (vraci 0). Na konkrétnich pfikladech uvedenvch dale se zainime i o jinjeh typech aktivaénich funkei. Formalné zapséno: _{ @20 ’ wo={ 5 §<0 @) Nyni jiZ stat jen dodat, Ze pro vgstup nenronu y plati: y=o(€) (3) Neuronovd sif se tedy sklada z neuronti, kter jsou vzijjemné pospojov tak, Ze vystup neuron milze bgt zéroveit vstupem dalsich neuronti. Pro pfehlednéjéi popis neuronovyeh model po jime pojmy konfigurace, topologie, aktivnt faze, adaptivné Jaze. ich danou sif. ‘+ Konfigurace je vektor vah vSech neuronii tvo © Topologie oznatuje architekturu sité ~ kolik ma neuronii, jak jsou pospojovany apod '» Aktioné faze popisuje Ginnost od konkrétniho vstupu sité a% k dosazent véstupu. © Adaptivné Jaze zaci zménn konligurace sité ~ proces uceni. Nasledujci kapitoly se ji% vénuji konkréinim modeliim, u ktergch se jiz budeme driet vgSe uvedenych pojmi. Jednotlivé modely jsou diskutoviny na Internet volué piistupnych JavaAppletech, doporntujeme proto jednotlivé applety zaroveri vyzkouset.5 Perceptron WWW: htip://icn.epfich (tutorial english /perceptron//htmt/index. tnt Autor: Fred Corbett ‘Topologie: .Jedna se o jeden neuron piesné odpovidajicl modelu uvedenému v kapitole 4 © Votupy: 21,22 © Vihy: wi, we © Vniting préh: w ‘© Poutité aktivaéné funkce: pfednastavens ostré nelinearita (viz. kapitola 3, vzoree 2) © Vijstup: y Aktivni faze: Vpotet pro dang vstup 21, .r2 probit piesné podle schématu uvededeného v kapitole 3. Nejprve v§poéet vnitiniho potenciélu € dle rovnice 1, Dale uréeni hodnoty aktivaéni funkee o(€) dle rovnice 2. Hodnota aktivaéui funkee je zarovelt hodnotou vfstupu y (rovnice 3). Adaptivni faze: V této fii json perceptronn piedklidiny jednotlivé vaory (ve tvaru vstupy: 1,22, v9stup d), které cheeme, aby sit dokézala rozpozndvat. Po kazdém vzorn je podle uéiciho pravidla vyhodnoceno, 2da- sprdvué. Vaory Lue sit udit opakované a libovolné dlouho. Ueieim predpisem je piivodni perceptronov€ udief pravidlo od Marka Rosenblatta (viz. kapitola 3), jehoz pfedpis je: wj(t-+1) = uy(t) +d —y)ry (@) kde w; omaéuje vahu j-tého vstupu neuronu (j € {1,2}). si lze pfedstavit jako Easovou Jednotku s potatkem v 0 (t€ N). 1 je rychlost uéeni (0 <1 < 1). d mati oekévany vystup perceptronn (tzn. vystup privé zadaného vzorn), y skutetny vfstup a koneéné ©; oznaguje Ht vstup pravé zadaného vzoru. Podstaton adaptivni faze je fakt, Ze pokud je oGekavany vgstup d shodng se skutecnym vgstupem y, cel sen 9(d—y).rj = 0a vihy se neadaptuji. Obdobné funguje i élen aj, ktery zaruti, Ze se adaptuji pouze ty vahy, které ozaguji nenulové vstupy, tan. pro x; 4 0. BHiZ5i popis JavaAppletu: Postupujme podle obrazku 3 na strané 5. Cast A zobrazije perceptron i ySechny jeho vnitini hodnoty v pribéhu aktivni i adaptivni ffize, Navic nabizi kliknutim na obrézek v édsti A/ dal8i mofnosti aktivaéni funkce. Cast B slouzi k nastaveni tréninkovych vzord. Cast C s grafem, zobrazuje aktuélnf rozligovaci schopnosti sft. Cést D nabizi 3 parametry pro fazi uéeni, learning rate — odpovidajiei v rovnici 4, Number of interations — kolikrét. se ma nechat, naugit dang set 4 vzort, uvedenych v éésti B, Error threshold — chyba sité®. Adaptivni faze konéi dosazenim zadaného poet iteraet nebo tirovné chyby. Cést E nabiai tladitka pro ovlédéni adaptivni faze. A konedné édst F zobrazuje aktudlnt cuybu sité. Jako bonus je zde poliéko Solve XOR, které pfidénim nového vstupu Fest logickou funkei XOR. "Chyba site SIL — 4) pro p veoritA Ba ” y c 1a: ° 0 = 6 1 1 a " u 1 1 [Learning rate D [205 Number ofteratons: ie wt po or treshots i ON | as ey irentEvor J [awareseror [0 T Soe xR] F Obrézek 3: JavaApplet 1 perceptron — autor: Fred Corbett 6 Vicevrstva sit - Backpropagation WWW adresa: hity://is.muni.cz/www/139613/index html Autor: David Kabith Topologie: 3-vrstvé sit perceptroni (pro piedstavu viz. obrézek 4). Prvnf vrstva je vstupni, druha skryta a tieti vfstupni. Kazdy neuro rony vistvy nésledujici, Vstupni vrstva se sklida variabilni (standardné pfednastaveny na 40) a v¥stupni vrstva obsahuje 10 neuron’, Jako aktivagni funkee je poudita standardné sigmoida dana predpisem: 1 06) = 7 Fe) Aktivni faze: Vipotet pro zadané vstupy 1,272, 2226 poste pulje po jednotlivych vrstvach. V kazdé vistvé probihé vypoéet postupué pro vSechny neurony. Po zkompletovéni vsstupa vSech, neuronii jedné visty se postupnje k vrstvé nésledujici. Véstup po- sledni vrstvy w1,y2,....yuo je vfstupem celé sité Adaptivni ffze: Jednotlivé vaory jsou ve tvarn 71,272, 526, 11,42, «4g. Powdity cick alogoritmus se jmenuje Backpropagation. Pro vstupy 21,22, ...,:2.2g kaZdého vzoru, jsou vypotteny redlné v¢- Obrézek 4: Vicevrstva, stupy y:,9,_-om0 perceptronova sitPoté dojde k vypottu aktudlni chyby site k mnodiné vzori: 2 » Yo Falw) ) G Ade w znadi aktudlni konfiguraci vah sité a p poéet vzori. Celkova chyba sité odpovida chybam Jednolityych vzorii. Chyba k-tého vzorn odpovidé: Ex(w) : Dy - 4)? (7) Ain kde Y je mnovina véech neuroni ve vistupni vestwé. y znaéi redlné vistupy a d ovekAvané vistupy pro k-ty vzor, Minimalizace chyby a adaptace jednotlivych vah probiha obdobné jako pi pouziti per ceptronového pravidla (viz. rovnice 4), nicméné pontkud slozitji, jelikoz se jedné o vicevrst- i. Pro kazdon valu tedy plati: wl?) = uD — Awl? 6) kde w) oznaéuje novou véhu na spoji mezi dvéma neurony aw! pivodni. Prirustek Aw Je potitain jako diferencial funkee celkové chyby sité vzhledem k dané vize, Pro podrobnéjsi popis | mae mummrcemas 6 doporuéujeme vyudit publikaci Simy a Nerudy(s} | {ve — na strandch 53-57. ro a Sameer contest Bliz8i popis JavaAppletu: Applet rozpo- ania jazyk vlozeného textn pode Setnosti vyskytu Jednotlivyeh pismen. Dokize rozpoznat 10 jazykit ~ nizozemstinu, angli stimu, néméinu, italstinn, polstinu, portugalstinn, Sspanélstiny, 5 Stinn a tureétinu, Jeden vzor sité odpovida jed- nomu jazyku a reprezentuje jej vektor 36 Use. Prvnich 26 oznacuje Getnosti pismen abecedy a2 Zbylych 10 ovekévané vystupy. Kazdy vystup re- prezentuje jeden jazyk, tan. vektor vzoru je na inn, francou poslednich deseti pozicich reprezentovan jednou 1 | 98" 8 og a deviti 0 (pozice 1 se pro dané vzory lisi). ee mice tk Applet je rozdélen do éésti A-F (viz. obrizek | ame 62 mn 5). Cast A informuje o pravé probihajici Ginnosti Cast B slouzi k vytvofent nové sit. Modifikovatel- Obrézek 5: JavaApplet 2 — vicovrstwa sit nfm paranetrem je povet neuron skryté vrstvy. Nasleduje édst C reprezentuje ute fazi. Parametry jsou povet. uéicich eyklt a rychlost uvent. 6Vysledky uéeni jsou zndzornény v édsti D. Cast E slow2t k vlozeni relativnich éetnosti v¥skytu pismen. Lze je vlovit: dvémi zpisoby. Budto jako soubor, z kterého jsou jednotlivé éetnosti vypotteny é pfimo jako vektor 26 disel. A koneéné éést F zobrazuje vfsledky rozpoznani jazyka, Udaje u jednotlivgeh jazykii odpovidaji véstupiim neurond ve v¥stupni vrstvé sité, Neuron s nejvyssi hoduotou je vyhlésen za vitéze a jazyk, ktery reprezentuje, je zvraaén, 7 Hopfieldova sit WWW: hitip://wune.cbu.cdtu/pong/ai/hopfield /hopfieldapplet. html Malasri Autor: Kriang: Topologie: Hopfieldova sit (viz. obrizek 6) se sklidé Le n ueuront, 2 uichz je kaZdy zdrove vstupem i véstupem sit. Zéroveii jsou také vSechny nenrony kazdy s kazdym wale Jjemné propojené (Zidny neuron ale neni spojen sim se se- | bon), (Hi Nyni budeme pokracovat adaptivul ffi, jelikoz narozdil od perceptronovgch modelit probihé pouze jednou. To zna- mena, % odpovida spiSe aktivni fiizi perceptronn. Stejné tak aktivni ffize Hopfieldovy sit odpovidé spise adaptivni fazi perceptronu, Obrézek 6: Hopfieldova sit Adaptivni faze: Ridi se Hebboujm 2ikonesn. Opét mame tréninkové vzory, které jsou dény stavem neuronii sité (tan. Jakon hodnotu by neurony pro rozpozndni daného vzoru mély mit). Vzor sité on neuronech Je tedy vektor 1,12, .. in. Kail vzor je néen poue jednou, a tim json stanoveny vgsledné vihy sité podle pravidla: 2 wii = regi 1S jA#isn (9) kde p je poset vorii a wy: znaéi vabu mevi neurony é aj. a4) a 24; LY a j-1Y neuron v k-tém worn, Aktivni faze: Na zavstku aktivni fize se stavy neuron nastavi na vstup sité Pize vgpoétu probiha po jednotlivych neuronech. Pro kazdy neuron je vypocten vnitini potencil: Y= Y wyey! (10) kde yj znaci vgstup neuronu i.Nasledné je za pomoct £4 urven novy vgstup yj 1, g%>0 w=} yf) EY =0 (11) = <0 Z vise uvedencho je vidét, Ze vysledné stavy jsou bipolirni (obsahuji pouze hodnoty La —1), co% mé blize k biologické pfedloze umélych neuroni, Timto zpiisobem je vFpovet aktivni faze opakovén tak dlouho, dokud se stavy neuroni ménf. Pro podrobnéjsi popis a mozna rozSifent Hopfieldovy sit# opét odkaznjeme na $i Nerudu8}, strany 73-93. BUZSi popis JavaAppletu: Applet sim o sobé reprezentuje nejzékladngjsi schopnost Hopfieldovy sit ~ schopnost asociatiuné paméti. Podle viozengch vzorii dokaze opravovat zadlané obrazce, To je wiiteéné napfiklad pri Gisténi sum 2 obrézkit Ovlidani appletu je viceméné intuitivn, nicméné jej zb®&né mivZeme projit. Rozdélme jej na 3 éAsti. Cast A slouzi k nastaveni parametri sité. Lze zde nastavit nékolik parametri Potet poli (neuron) — Grid size (X/Y), potet ulozenfch vzorti — Stored patterns, procentu- Alnf poskozeni pti nahodném generovéni obrazeti~ Corruption %, pana mezi dvémi iteracemi aktivni faze sit — Iteration delay. V édsti B ze zobrazovat jednolivé vzory, pfipadné i vklAdat nové, A nakonec édst C obsahnje prostor pro vklédani vstupu sité — poskozenych obrazeti, Keré maji byt siti rozpozndny. Funkce jeduotlivgeh tlatitek by mély bt intuitivni, znifime se jen o funkei tlagitka Alter. To slouzi k vygenerovani ndhodného obrazee s procentudlnim poskozenim adanym v easti A. Parameters Stored pattern(s) Bo |] comupted pattem Grd size (X) “Grd size (¥) ‘Stored patterns ‘Corruption % Iteration delay << > Gol top. Hopfield Network v1.3 (e) 2001 by Kriangsit Malasi Pattern 1 of 3 Obrizek 7: JavaApplet 3 — Hopfieldova sit — autor: Kriangsiri Malasti8 Neuronové sité jsou velmi rozséihl teorii a prezentovat zakladni modely na redlnych pripadech. Konkrétné se Zavér a silny nastroj. Cilem této price bylo priblizit jejich ednalo o per- ceptron, viceorstvou sit a Hopfieldovu sft. Pro dalsi studium doporuéujeme publikaci Jiftho Simy a Romana Nerudy Teoretické otdzky neuronoeych séti[8] dostupnou online na adrese: http:/ /ww2.c8.cas.c2/-sima/kniha. html Reference [1] McCulloch, Warren S., Pitts, Walter: A logical calculus of the ideas immanent in nervous activity. Bulletin of mathematical biophysies, svazek 5, 1943, s. 115 [2] Hebb, Donald O.: The Organization of behavior: A neuropsychological theory. New York, Wiley, 1949. [3] Rosenblatt, Frank: A probabilistic model for information storage and organization in the brain. Psychological review, svazck 65, 1958, s. 386-408. [4] Minsky, Marvin L., Papert, Seymour: Pereeptrons, Cambridge MA, MIT Press, 1969. [5] Hopfield J. John: Neural networks and physical systems with emergent collective com- putational abilities. Proceedings of the national academy of sciences, svazek 79, 1982, 8. 2554 2558. [6] Rumethart, David E., Hilton, Geoffrey E., Williams, Ronald J.: Learning internal re- (8 presentations by error propagation. Parallel distributed processing: explorations in the microstructure of cognition, svazek 1, Cambridge MA, MIT Press, 1986, s. 318-362. Bryson, Arthur E., Ho, Yi-Chi: Applied optimal control. New York, Blaisdell, 1969. Sima, Jif, Neruda, Roman: Teoretické otdzky neuronoujeh silt. Prague, MATFYZPRESS, 1996. 9