ee ater ee eee ee eee ee ee eee ee eee reripeereretr sore ret nome eee ee aoe ee a ra eet ere ree Cee ee ee ee eee er anette eras Cece ee cee) ner Td rarer errata see re on senplepicieo sans que ayuan ena conoresin dos eee ere ee eer n ert wer ee ong Serene ee ene eee et pene ee terete eae eee et es erent eee ee nuiere eee Tet eee een Sroaneneey errnnen ee CC nny a! Redes de Neuronas Artificiales Sener aH \ LD ti eae RAUL Me es Iss cy raaiiaTREDES DE NEURONAS ARTIFICIALES Un enfoque practico Inés M. Galvan Leén Departamento de Informatica Universidad Carlos If de MadridTeast vigtnna pcaLvAN AOR et 30 Pena 4 “oto os detest seats onl rEg eit oh Loci ma de eos, Stic pita lca Laan de ln orcs mmc ets Sosa ects pola mines ot 270 Cio Pen DERECHOS RESERVADOS. 1: 300 por PEARSON EDUCACION, S.A. Feed La 28 2802 MADRID Espa) _REDES DE NEURONAS ARTIFICIALES. UN ENFOQUE PRACTICO [SASL VIRUELA, Ps GALVAN LEON, Lat ssn; sn Dopp $2362.20 PEARSON PRENTICE HAL ml shri de PEARSON EDUCACION, S.A Equipo eit: Tale Der Ferran Aaa Tee ctl Aw fit Cats Baro wp de produc: pa Tou Anno Cars ‘ecto Amo Hera ‘Diet de uber: Equipo de Geto de Penon uci, S.A IMPRESO EN ESPARA - PRINTED IN SPAIN Prédlogo “ods los bes eatin eritos sempre con Simo, Este Heo noes una xcepein. Ese prt el ula de varie aie de raion In enscenta ‘stat materia ine la Bla de ener. Motunadamente, 9 pear de le fr tecnlgca que noe ha toca presencia ls oso en pla fade Inetal sobre el que dscns In eden, Lot iho son come ke profeeree lou malas pueden hacer queodiemoe In materia que now exten, hs Dues bor el cntrazio, poedn conseguir que nx pasion orale, ve compre ‘hose cigoceato que hay dete dela Spins, y sean tas Sociales o atta, que vamos I ela que rece oe capita de ‘Stein campo. Est el objetivo fundamental de ete Hoo. No we rata de hacer un bro de efeeoria para La eomunidad eet, a sign de hase na da ue ‘lena noes elemento enticor se tata de intentar acerca las Redes ‘de Nearonas Articles a equ lctores qe etn interes ee de ‘6 trata. Es un fibro que nace de lan dels stores por tani, fe una manera sec, tod un campo de cnaciiento que rst, «primers visa, extrato exteavagantey reservados aun grupo de nian; pet ee, sin embargo, etd slendoapicado pra soloconarpeblemas y frma pars de ‘ementon que, cada vez mis, seta inarporando nuestra da eta ‘Aguas ves lax ators sempre en uta ncomprensble cen de gue 4o bueno debe sr initthin on reir sus arto de ua ect br ‘or, articaientesfstcada Tambien sero gue ora ces aligeat Una ‘teria sin djl desrovisa de su element fundamentals y neces, comple, porque hacer fil oie no ex una trea sacl, pr objetivo desea de todo dvente, Et el part con el que ha ecto ete {iro tatar do contr deforma nen, pero rig yprofundI pion de Is Res de Nenonas Ariane. Por eta tds los coptales tod lio conelayen con eempos précis sence, qo aan ena conpeesn ‘els eoncoptos intodcios lo Ingo dl eile, Adem, cust a ee ‘apftlo de aplicaciones précticas dele deste Nena Ailes eo temas eles: Esos capitals nclayen problemas if deme se een na to ado pata merorass ln prone de entrant, sempre qe estos atone represeten eeundamente al problema, como s a coment ene parade prendizaje. Fata carectrstins inportate y hay qr tensa “enfa, y.qoe extn algunos problemas qor no urea er dest de forint thaws todiante emp, noes poublepeogramarprocedimients para si reoicigo, 1.4. Historia de las Redes de Neuronas Artifi- ciales Las primera ivrtigariones en Redes de Neurons Articles datan de rincpan de glo XIX, cong doe taba retina por Freud prio de preicoandie (Strachey, 196). La primera impleeatalon Se Rates de Neuronas Arial fr a dispoativo bids deseo por lus el [Rosell 113}. Pero no foe hart la decade lo 4, sn. siglo, ‘Shao el sudo en Rees de Neuonae Arties oi wa ferza oe a he Mo incemetando hasta Ta actual, gracias a trabajo de varie cheitos Tulane y deo ieee avo del Marware. Cabe destaca eros ei ‘os ave han eonepui que law Redes de Nettoons oepen ol ga reat del {go gman actualnwnte, Eu ln sguletes apart se deseribra oe primes fhe y mds inprtanes dela stra de la ase de Neurons Ares LAL. La década de los 40 y 50 ‘Warren McCulloch y Walter Pitts [McCall and Pits, 1948) rel ‘azon ol priner nec matematico de unas Res de Neotonae Articles. EI mode de MeCuboc-Pits) est basa on la ea de que las nearonas ‘peran mediate lnpuloe binaries Este model intros i de de una fae ‘i de paso por unbralizaa poternrmente por muchos madoe como Ine Redes de Nearonar Articles dincretas de Hopbeld(Hopbl, 198 Ta emia seit bidireonal daceta (Kost, 1088) Aunque este modelo fer gran itr al roporionr medidas de comportamiento oistiadas {fave de clei selon el factor cave de modelo et en In capcidad de ‘Shrendinje. Ese trabajo yoo acinar experiments edesriben con de {alleen el Miro Biukdiments of Mind (Mecalloh, 1965) ‘Donald Hebb desuvls posteriormente un peocedinlento mateo de sprendnje. Los eatins de Heb sobre lar neronasy in condiciones liens ‘aE apredizaje bo dserien en au bro Orgoncatin of Bebo (ebb, 194, 7 ee isoiadolas RNA 19 ol que desarslla un paradigms de apeendzae que ahora Hews su nome ‘aprendiznehebbiano i 1051, Marvin Minsky obtuva ls przneos remade prt on Re- des NeuronalesArsifiaes [Minsky 1954 aspires por lo traban de Me Catloch'y Pts, Minsky y Edmons diron nu maine con 40 nena ‘ayes consion eajstaban de aeurdo coma sei de nice i cca lear creas tens. La tau eatabn construc tbo, totes {of po modelizar con ato el comportaminto de wna rat basen ‘Mastarde, Abert ttley [Uitly, 1956, Ute, 1956] comensa deseo te nuevo paradigm ce Rede de Nowuoas Aen and ina qin tei compuesta de infirm (cementon de proce). informe ern sr {dor lined que ajustab sus pardmetrs de eaten tan I dia Se ‘tropa de Shannon. Estas maquinas han sido utlizadas pra shar Ende ‘os stearic [Utcy, 1966, Ute, 107ml como para econo ‘apttio de pteons [Utley 1975, Utley, 19708, Be 1057, Frank Rosenblat generale modelo de fue de MeCalloeh- is dodoleaprendlaje[Roseblt, 1957] [aseblatt 1055; lams neste ‘modo PenoePTnoN Primero desir untdeo de doe vel, gue aj ‘abe ls ps de la coneione entre lo ees de entra alia, propor ‘hi al ero cate la sla desea y asada obtenida. Rowena into tender su pocedimeno de arena a us PERCEPTRON dete vee, po 20 eacoizé sn método mated ado pars entenar la capa deconeioes ‘eats Algunoy de lsteabaja que Rownatrali on torno al PERCE HON ‘tin vecogidos ea su ibo Principe of Newodynamics[Revenblat, 196 ‘Doe ahs dap, Bernard Widrow [Wirow, 1959, Widow, 1980) sea una ed Neural Avila my slr al Pencerrox, mada dsp tative Linear Blement .ADALIst. El AbALIve de doe nls, say peed al Pence Tmo, ajuta len pos ete Io ives de entrada slide foe ‘in del error entree olor eperado de sda ye! obteid La deca ‘re los don mole ca may paqiy pero a eplicectnen ana que vat Sgdas con my dstnts. Bo 1060, Widow y Marcin Hol! probron tenatcamete qa on deeeinndae Grnstancias el err enti In ada d= teada y ln obtenida pune scr minieno het el line ave queramos, Ta ford Pencerrnon como el ADALIve mantines H problema del separa liad inal. EU ADALINE ha sido utllaado prs proceamieta adaptative de Seals [Widrom eal 1963, Widow and Stearns, 185, Widow et al, 1075 Sema de conta [Widow and Smithy 1964, Wrow, i988 ystems adap tauvor de anenne [Wide a, 187 1.4.2, La decada de los 60 Steinbach fue uno de os primeoeinestigaones on desarrollo de mor oe decoileain de informacion Redes de Neon [Stench 1961 Las cia a eee ee20 InsmontceiGn A LAS REDES DE NEURONS rode de Scinbuch se aploaron al rsconocmient de xeritura a mano dstorso- da eats de dhgndtion dello de mina y contol de niles proctsos on proierin (Steinbach snd Pik, 196) ‘Stephen Groneberg se mi influyes y formal de todos lo investiga: Aare en Rakes de Newronas Articles, Grossberg, reali importantes xtudios “Shire proceso yfenmenorpiolgioe (mente) 3 iiges (crebro) de peo euamitnto human dea informacon east just le dos (ete eer) ‘nana tori ifeada[Grosberg, 106. Los trabe)oe do Grosberg, nly ‘ett alii matematies, qe pemtiern fa elzaign de mvs parse Sgmas de Redes do Neuronas. stow permitian tenes un aco directo lk Informacion mistas ve operat en emp real ‘Groby fon, tnt, uo de investigacén en Ia Uaivesidad de ‘Boston amd Ceviee for Adaptive Systems. Com este grupo, Grobe in ‘stig das le feta del proetmient de informacion por parte de os hi ance La vertigacione ealeadas por Grossberg ¥ su olga cron oo ttespectro de las Hades de Neurons Articles, "kn dea dena de sy propo dea dele TO, spares una sre de invertigacones de inter en ete eampo,sgunas de as cals merce et Aetacaae ‘Shunfchi Amari combiné Is atividad de nerds neronsle Bilge con rgurcnos modelos matics de Redes de Newronas Arias Uso de fetor or na sacsin al fen problema, durante muco tempo iestube, fe la signacin de rds. Sus estos lnuyen el tratamiento de Redes ‘ke Neatonas Arles dadnicas y akatoramente conetadas (Amari, 1971, ‘iar, 197, Amari, 1974) etadion de aprendzaje compete [Asa 1977 ‘Ania 1983, Amar and Taleuchi, 1979, as ono el andlis maemtico de ‘memoria socal [Ama 108 “Temes Anderson, ie taba) con wn modelo de memoria baa ela sori de artvciones de In snap de una arin Anderson, 1068), 8+ adn modelo de memoria ssociatv nal [Andrson, 197) sigulendo el plan- teamieto de Hebb. Emo un nuvo metodo de crveccién de err, sost- tay la funinural nal por otra ea rapa, creando un me modelo lmao Brat-atein-eBor (BSD) [Anderson and Margy, 1986, "También ono ao 1968, fvetgadores del Departamento de Aaguinas I telgsten de In Usivesdad de Edinburg fron los pineros en descubrit Ia Felsin etre os haogramas y ls memorias asocatvs. Ambros recanismos ‘on eapaces de obtener un patina parr de ans porn pists. Longuet 9 Higgins crearon un sistema de ecsrooescodiendan para almacene 1 fupear una secvencin de seals [Longue Hig, 1968, Me tarde, Wille thew y'Buinoman, junto con Logue y Higgins, ints lo pincipios gras como un posible mecaniao en le proctor de memoria un ‘ue [Wilbaw et ly 1968, Wis and Longuet Higa, 196. De ste ta ta del Unierad de Edinburg sng un mode teaporl de Red New ‘onal Arti lamado HOLOPHONE [Willsiow and Longe gins 197 an Daraigma que lmacna sels de enraday ponds obtener na seal comps, partied nicamente dean part de ella storia de tas RA a asthite Pking» inj eRe de Newonss A scale aS i fn, 10 lds odes easy ‘peter pr sta hn ain, 9 ya a ‘ino marital bso n eas eu pins de Rl Nera ‘cl mca pn via go mene Sn el emp Paes tae au pur tnio el Cousttnoe fash, aeons elo ons rnd nea Woocoorton ras “A Harry Klpf cei lr re ne pcg dee mee y ig dlr Selo a Go, 10, Ts Rg 1 ‘ap fr, Ko oe neta ran cpm nds ee tote mser pr ban desta Eon dian sng emeta a ‘ica de napa ecards 7s sca Scena ars cn hea 1.4.3. La década de los 70 y 80 ‘Tewvo Kobionen cmenat su Invigacne ste Res de Neus Arcs on pega ons seis Lela ikon [ohn 0 Koon, 1 crn en owns oda tary muti de corn, de manera sxe eas de Ane ton {Andes 1865, Aner, My Sch y Dike ec 19, Sich nd Ps Mas tare, Kohnen honen een ‘ve de memoria writ eal gue quia vetoes alte Inde Fendiene para tn ten readmit Un qe aa a pas ete ‘tr nate eget sao fsa Optine te Meer I ‘ea (OLAN (Kehoe 1 Maar alo paces en te de treme y dont IV (anting Var Guta) on ste de retin Sanpete prenio Nob Leon Cooper cola Chars Elbarconenarona tcataaren Rr de Nena Aces pats ee [Caer 17S {Cope ay 197, Fomaron sn rape parler a pane} exp {scien comer de dr Notas Artic, Imad estar Nore Ete pout gp tv bane eo en osu cmreal de igs Sten Rl Sera coan por eon ed RCE Reed Coton erg) eye sy 18h oon usted penne NL. Nestor arn Spt. “Terence Sejownlde uno de pst ivesignrs qu trabajo on modelos mutendcry Spo, Unt de su sapere enn {© te campo ered cecabint uta cn Gif ston, de spied ‘nana se aan inno oy TDM, yn em de mer re, a ‘etme Red de Neon Abd gue etc on lr Se penta Parana dete ow sn Hse, 1860 fearon Baton nu Sn vitae aly Sma ‘Mi ecnemene son oc vr oars ol spell agree ‘Ht eoPrononco, me to pred rennin ar Mechatna'y Ramer pss merase aaa de2 Ivrmonuccit 4 LAS REDES De NEURONAS rnodson de Redes de Neurons Articles para ls ayuda a 1 compensa (irae famines psvligeas de lates. David Ruwetart melt 1977], taped nuresnse por las Redes de Neuromas a eaves de ss teas de Iolelp Heansay de tecopoimienta del fngunje hablo. Por spare, Jae es MeClslinnd, pia por lx bajo de Anderson (Anderson, 1968), co Ina inetpacon fran un solo spare de proceoe me {aes Mechel, 197, Mas tarde (McClelland and Ruelar, 198), aos ‘Sinton sun evfacrws para labora an parafigma de reconociniono de or itterarve Actvston Mo) [Rurebare ad AeCelland, 198) patie de ‘scent, sous con mao ners por tres lvetigaioes, nck el apo {rvetigncgn PDP (Paral Dstt Prosssing)- La cuinactn Se ‘States dee aestigaore el grupo PDP foe fa publica, ev 198, de un {eon des wlimens tulad Pre DstrbtedProcesing: Explorations the Atuyatrattre of Camtin. Entre lot sachor autores de este hr cae ‘SSuacar lo guint’ McClelland, Rumelar, Hinton, Zips, Soles, Snowiy, Wllame, Jordan, Stone, Rabin, ian, Kawamoto, Crick, Asan “Jerome Foldman y Dana Ballard, yetencieses a ts Universidad de Rocher fer the de be primer ivetgadores en este campo. AOS jun conn grupo de sci, fran grup cousins de Univers di Ss prints taba feron sobre iia fFedman, 1980, Feldman, 181, Feldman, Tt, Ballard, 198) asnse en modelo de memoria visa. Ota “rode owes el grap: visi porcompatadr[Bllar, 982 le {Bnje naturel [Costell nd Seal 184] yepresetacdn de concepts astrace {oe dian, 1986, ean, 196. bert Hecht-Nielen fr el pina dssiador de uno de los pinesos computador seonals, dediado al procamiento de paras de Redes ‘Neuronal Este wer cnputar, TW MARK THs soportado por uo Chmptdor VAX de DIGITAL, »eruvecoecinlmence disponible en 1980. Tn 1982, John Hopfield describ un nt de sais dl sta extable etna ed atone Blpsield, 1982, Introdjo una unl de energie ise sorestras de eeuaclones no Eneale, Hopi demmesira que ‘ce contrat un ec de ener gue describ Ta arta de una Re Retonal monocapa tempo diereo,y que eta ecuaién de erga p= ei dpa y lsstema convergers un valor minimo lel Este ais hizo resus lterds por pearls aredigmas de Redes de Newnan Av tials pre problemas dies qe los computador eonvenconls 0 por tin rooler Hopeldexteaié wu modelo para considera temps contin (Bop, 1083) ‘Bart Keka cet un fia de paraigmas de Reds de Neurons Art Aaa [Ko 1987a, Kost 12874 (am memoeas ascites biden maps BANG) que oxen als strolls do Hebb dun nie dos ive ulvanco aywendiaje sn saperisin; son cares de conve 8 wa, {nluen mia da una mare aria. Capitulo 2 PRIMEROS MODELOS COMPUTACIONALES 2.1, Células de McCulloch-Pitts Eins del ue cnr al ne ot fc a ncn crores, tna iss de Meta Pits Ene ther noel de neuroma ac popsto por Waen McCulley Wale Pts tei mel atclo“A Lael Caer oe Hs fase a ere Savio“ ants 0 Bd moti on eet oo scinaneno spied ea nese dl ener, cones coms ‘pets con 0 dn eat pone pag 0) sce) wi we {szemes Pigura 21: Bagera general de una oul de MeCalloc- Pitts 1a cdl de McCulloch Pit recibe como tra un conunto den valores 34 ‘Panekos wooeios COMPUTACIONALES nao, X= {21,205.84} procedeste de as saa de ota els, del ‘ura’ la) prodce wna nic sida también binatin, ». Cada lla Soracerica por nt salons tele, de los eles son Tow pesos ds nexus (x) comcoponinates ie enadas yl to ean valor de timbre qe porde ser dt path nda olla La ela opera en aps ‘inreton La fonnn de posal entrada ea siguiente Ia dl se activa, for tanto, proirauy aorysil stna de entrada mlipeadas por Kon poe superna wba 8 1 Syn) >0 nea conraio seene{ A partir del modelo de neuron de McCulo-Pits se defi primer mo et de ed sural ‘Una rd neuroal es una clea de newonas de MeCaioch y Pts, todas go lw staal 8 tempos, donde ns alias feta conetadae a stad de otras ners De este do, una slide pu atuar sabre vvia entradas, pro ub en- trad view lo sutto dena slid La ted See ontacto con el exterior a {eaveede lines Geet de aid. La nes de entrada de afd omar pte dol onttada de algun ode ods Ie neon de ne Asin 1a Tings de sadn procdern de algunas ode tas Ins earons ce a red "eta ormalvactn maendtea del neuronal no ery no pretend er ne modzaion del orb, pros un pon de partida poe nla los suo ‘bree io ‘aa el cuonal ules de MeCallorh it ene a capacad de compe tac iver Es dei, congue steuctara que pueda ser programadaen un emputadr, uo ser mudelivas ted una red della de McCulloch Pits, Eat te mde ta mediante as odbc de ncaa eas. Los Compaen es contidoe de elementos deeelo spies, Stead uno ‘deena lames pu er modeliado mediante una srt de clas de Mceulloc-Pits, ls impstorreizadon porte podvan sr sstitidos por "cortepondiente red de eas cothinuarn se vn» repraeta as falas gas AND, OR y NOT, swt eile de MeCullods Pats, 2.1, Faneién légica NOT sonnel on una entrada yuna alia. Bio paso ce pose tee valor “I, ys uml lor —1 (Figura 22) Sia cron la ula cx ctl aida ver: Or —1 = 0; como es mayor ‘quel uel, ers. Par ua entrada de uo a a se Pepe sistqu al ao act mayor quo ol uobral ~1 produce una slid de (0, Bae orl comportaeat de una faci igen NOT. its de Mele Pte 26 rol ss x Figura 22: Funcin tga NOT meant una cla de MeCallack Pts 2.2. Funcién légica AND Para I func AND, la dul tends do entradas yun slda El valor ie ubral 1, yl de as dos onesies amin 1 {Figue 23). a i): Figura 28: Fanci tga AND mtiante uo ela de MeCallck Pits Encanto a fas pe AND, a Indi abla dea al pa Jas distintas entradas: Sete sinc vex que el sunaterio mera luna de 1 en a skim entead, 4 se sen ete cas cuando ln cll dn sald de. Se area co Abas tableside, 2.4.3. Funeién légica OR 1a cdlula que sepreenta afc OR equal ue la del ani gin AND, cambiando lel wba on tees sed ec Figur 2: 1 able de a fnesa OR es (enn ra26 Panos MODELOS COMPUTACIONALES tn te con el sunatorio supra al al en os seas enone mar goon ee oe ai a. sa tendo Metall its scl in om sag defamed compl, de sstera de compan epee nr eens crn roy cleo» Ke parr TAS ona ete ey saa, pee) tov sero setae McCune pare os etenas wipe Tre Sn wen un can de signori de he parte de dasrsaatn Baio que w cate mo weno de ape 2.2, Perceptron sen ei seni oe _cctagbitheataenn nat em spent ches ncaterate an serene etna ineege natanis can ici a ae ena eee nena mse ine ee ‘i Attias an arin ca ee Se ete oe ees tno a a Parepton 2 eyo deseonocids. EI stem lal dl proto, aa cape de deters, pare calque jmp aero, a gh clase petenecl 2.2.1. Descripcién del modelo [La arquitectra de ard uy simple Setrata do una extrac mene on la que lay un ant de las de eta, ante om so er, Sexi be trminos dl problema: yn ovaries sala. Ca una de lntesalsdeentoda ten cnexgnes oa todas falas de sli son eas onesies ls gor dternnan ls superficie de dsrimnacin del ster w2 Fey 2 e~ wi Figura 25; Argltctura de wn PeacePtWON com dened yuna slide Ex el cjemplo de a Figur 25 as etendas om 2 y 2a, yl alla, . Low sos soa wt Fay Ades, este un pintado Uamado bral 9 lenotado por dE bra ei como fat de omarion pra prod Inada, habe tates como ella ce sali exist a rede ea a ete eques a sald de as bene de asin forma, Primero se calula a stn de In ela de sald ted a sumn ponder por Jeeps de oda la aad 1a sala dni produce apical un fans de sida live do setiaein de ln ta, En'un PEREP"HO® la fonckin de saldae aa fein ‘sein qe dopa dl urbral y= Fu) F(t 8 a nc28 Prietos MODELOS comPurAcioNAtES Simplemente pasando emi 8 oe lao de la ean, ta ali re efi on ona sola uae v7 (Ennee) en one F yo no depended nnn pardmeto 1aso ‘ca eontrato an ta culo eile 4 introdicrartilabnente co Ia sli un new # que noesté conte inguaneatrada, Sno aun ei on i ve Te fancied sada sharia y de gan iad en ste md vasa teats de on ciminane de laos una sda bora pode ser feet {Eafe wa lasearin endow eter dela siguiente form: Sia lps i la ete portenee a eategorin A Sit re pduce sida —1, la cara perenece ae categoria a el caso de dos dimensiones, I Eewcn 2.15 transorma en mata eo «qu sl cand una ota de pendent ~ Ey qu en lige de t= eons pasa por. Bete exo, cm do fase la ett, los patrons ‘centeanmiznt padenrpmsetarse computes eu espacio bidimensio- ta S adem dicho puntos pestenern a wa de dos eaegoriay Ao Dy 1a roi de dha eteine prs haces mediante la recta ater ‘a deri ed define una ets, ego do ser solu al probes ineriniar ent asses extents es dates de etrenarinto, Gee ‘meme pre represetare comm oustraonla Figura 26 “Sts elaes ttn separa, pe derontearse qo dicks rca seine te caste problema t emo determina la eee deel recta, apt Ie datos de mtn, Est lo que hace precsamente el PERCEFTRON fo proces de apendije-El problema pare compare ses ex. do ‘Shonda chs ae Ea ste cam no abr qt determina et, hiperplans. El proc puede defn en siguientes trios ‘sto Se dapone de un conjnto de cempls de entrenamiesto, dist fn un pace mulimenonn, ye los que se conoee a a caleela ewosrn, Seva deci cao ee hay nieamente don cases, Fee ade ndrante se omentarin ls sndienciones dl modelo para val a aso gsc dn lor Pereptron 29 Figura 2.6: Separacn on dos class mediante un PERCEPTHON (Once Hay eri scxai dt hgeplano que de ad temple de an tipo y nto los del cto. La wean dt hppa se deduce a partir de los ejemplos, erties tomlin se: dn oj to ¥ B= (isobon a cn), obtener el iperplan: wy 2) ty 298 = 0, de a WEE AS watt ae 40 We Bs wy etn by 80 ate proceso constitue el aprendiaj del PenceP THON y a een mean. gua pone erative ol pltinent e mn medica fs alors le pesos de as coneions, asta encoatar lr valores qu determina Ie ‘uci dsceninants. En faneién de In ted tonal eta serine ‘Neacontrar le lores dele census haga wae Ay We Diy) =-1 proto de peninsula. S intadac eo dt canna de arena, cnc, or Sep ae Se cc30 Panos sooetos coMPUACIONALES btione a sali que genera a pea deo pts, Sisal pri In epee de Tar pa ico pain crc, y no w elnino ES n pocedertsmplonent' introduce un nuevo par i pore ot TEAS VSRES protucde cote entonos In espesta dela ed escorts Te Corin pnti oo el clase B Esto sun ror de lias, Saree ea cuando se produc ol apeendaae- El aprendiaje conse oh “lar ores dels ceelones. ete caso, dd que sada pro ‘Sines ini ln qu or debi haber beni, ks yess non iacresentadas ee Soren pix presenta del miss pti paca superar wal Pedal deta, 1 Sie patton ques Introduce sdf clase By {LE se eedce am econ de elaine proceso be vere as peso ‘ert por a ana 2 (Site Tima ada uo de os patrnes de enrenamieto » x) a “aac ainda oma ores op (262), pronao de aprendiaaje pu ‘Serie de le gue forma 1. Bmpesar con yore store paa os pesos ye ube 2 Selelonar wn vector de entra xd cnjanto de cemplos de esse 3. Sip # d(x), ln ved da una repusta correcta, Modfienr de acuerdo am =a @) | Si no se ha cumple criteria de Sani, valve 2 nl paso tre se apecin que Ins dea re para un pate s(x) 1 pero su case esx) = —1, entoncs ef inreento negtvo, Be ir nan miata ques ocarte lo contra, e psitv, camo 56 ‘dete anteiorwone Tussi qurelumnbel es equivalents aun peso adiconal, al que se deots por tu, euy entrada er slmpe 1 (y= 1), la euacn anterior pode extender aval unbral del sisiote aver Bu = dlydee f= Oot 2.2.2. Puncién légiea AND El procs de apreadiane stra con wn ejemplo. Sao problema de aprender a fica Togs AND!, a pari dees ejemplos que a dees esata ae spre no = Pose Pereptron a z=] _AND “yy a} aay a] a an] ‘Ba tec ny cn emp: sd elo ere nla A aa <1} venue Bala), rift se epee mate a Fgura 27, >) IY: Figur 27: Representa de ln fn Ygiea AND a niacin de areata. Spiga qe lo psn zados a 1, y el umbral « 0,5 (Figura 2.8). vn v ‘ea ae ee |e Figura 25 Inia det Pencer pare empl de a fan AND Con eta initsaci, a recta dcrininate dtd por aed 4 145 = 0,cuya representing cla que aparece ent Figura 20, En ete Ct ee ns ea nw ia a ae Ald ate infor ini, yo pata dea clase Beg hab qe prove near snvendane ' contain introduce lox atone de entenamiento ys ect sprentzae pra anos qe prodizean a saa ervinen ae) Ascot emi et Benple ct 3m Beat 1) {+ C1) +05) 03) 41 Mal 1a) eee32 Priwenos MovELOs coMPUTACIONALES Figura 29; Recta detec por ol PERCEPTRON despds del inlliacién I primer pats produce una said cone y(—1,~1) = 1 = (1,1), cl angndo produce un eror yl, 1) = 1 #-d( 1) = —1, En eto casos ‘roduc el apreniae tal y como se rej ea table eos ay) espe del aprendiaaeloe psu on W 2), quesecorresponden on In eta: 20.5 =U de Ia Fgura 2.10. ‘Se pus apc imo Ia eta se ha desplazado yar pats de abajo a. auld también et bien lca El io errr de sean que xs es en lp de riba queda, ‘Se introduce hora el sguete pat de entrenamiento ra Sain TH) f(0+2-0,5) = f(-2,8) = 41 Malt #1) Bete pain pode una sada ena ys proved al arena como en Pareptron 33 Figura 210 Rect determina por el PERCEPIRON después de a piers “Aprende ate a) ay Después de éte cielo de aprendizae ol vetor de pesos queda as: W (-15.1,1) que coresponde coma ret: 214-2) —1.3 = 0 del Figea 21, Vionts gue ata eta oan dcrininador preted een y at spuds de tan slo do ls de apeniaae ard ha sido cas de reler fete senllo problema de clasieacon. Sin embargo et slo demuestra sla Introduce todos los emp cde ntenamnnta ln fe los chon corectanente: ie ae Ca GIS) f041—1,5) = 7005) = 41 Bien fa =H) Teracién 2 Pata Salida LAID 14-1) ~18) = f038) = ~ ra =1) fasen-1.3) Chay eas1-43) = 4 Gasilsa) fast) = og) = a Se speci que Gee ee ca. Ba gente en un PERCEPTRON, los pattones dten ser itvdcido una otra ves hata que extn coe eo ‘aya ltrodside tools etrnesyhayan so corectamente aan ee34 Pratenos woDeios courumcioxALES Figura 2.11 Recta determina por ol PERCEPTRON despus dela segunda ieracion EL modelo dal PeacerrwoN dest hans ol momento manea entradas inary cles sieamente ea do eters. La extension ettadas 0 biatas e nmin. a ela de aprendzaje el vale de cad sone ineonmenta 0 decent 2.3, Adaline EL Peacerraox oun slot de aprediznje aslo eo ejemplos capaz de allan tater de ela. Sin eabargo, existent gran sme de ‘oblemas abordables de a espe del apeniaje bso ea jmp ‘ue na ronen a Yaron de canieain. La earectersticn de casticador {io Pencerrnow viene dada pr a ptutlera deo sla Er ix capa de ‘lida le edule codifican ue funen de sada on exo, oped 22, ue ‘toners ln san ponder de Tas entrada que osu talor ral ut tala binarin. Al er Baring, slo puoden cone un conju dco de (stad. St as sal fran mer ele, podrian codfcar ena po ‘decade omen stern de resin de problemas generale Ea ‘sts, podrian oles problenas «patti deeemplog en lon que neces Sprosima una func euaiqulera (2), dein porn eonjuato de dats de ‘trad [os datos de catueaamient en este caso son conunts de walbes enters, opts por un ectoderm sida acid {spi sata) En ete cto I fel a apron sel: date 35 Fld =n. Wer x otro tino, habe. que buss a funn F(a) tal qe api cada tua de lan enradat'2y el conjnto de aprendizaje P produc la ae 9, ferespondinte en deh count de spread. ‘Sin embargo la natwalea dela ela de aprendzae del PERCEPERON no permite proce slias reales, Esa vega e frente una rela de ‘predinje por tefiern In Queso potenian le sas oectas 900 Une cast ls increas No este ningun gradu I ela Indiqu en qu medida reaulta ened la sai prt, y eere= propor bye Aotend a eg de a cadens aa expen ster queda como sg a _ 98 ov 35; 7 Bye; At sr widados Hoel, in func de activin In cap dsl, ‘ue susttayendo queda como sq: yu = Pay en) Si se compara i expres de la tela Delta Eeunlén 2.5), con la va do aprendizae del Pence ow (Beucin 23) s€apreca que la feel es ‘st laregla de prendre il sida del ADALINE fase binaia el onjucto de atone ntarin conan por P= (5,001), (am,00 Deed PE 1:1 p. Storinelue a lsalda del ADALIWE el copa ipa coment on ‘trod para “binarizas” l saia, la gla Dela (Bcc 2.5) quart ay see a6, 1b tmcaoeoctraio a Adalie aT que para un 7 = 1 se conierte enn ela del PERCHPERON. As as regla Dea es una exten de a ela dl PERCEPTHON a vlne desi real 1 proceliminto de apredizajedeido por la ela Deka ses 1. Inkalizar la poss de forms loti 2, Inoduelr un pate de eta ‘3 Calelar a aida den ed compara con Ia desea y bene Ia dif rence 9"). 44 Para todos los pss, multiplier dich diferencia pr I entrada corms onde, y ponder po an tare de apoio) Modiear el peso rstando dl valor antigun I conti obtenin en 4 {6 Sino wb compli ol erie do convergenca regres & 2 se an ‘stad todo los ptzonen, pera de evo a nted patos. ‘En roune, Ins direc etre ambos modsos de Redes de Nearonne Acie orks Ins signin 1 Bae Prncer mo la sid os binarin on ADALINE el 1 Ba ol Pencurrnon ls drei enee estrada y maida os 0 s xmbas pesteneen as misma cattgora y Hs por ef contra peenece Eegorinefeentes, En el ADALIME eal be dee ou else ea y sad + Bn el ADALINE este una medida de case se ha equivocal a cl Peacrerox nl determina al we ba equvorado ooo + Bh el ADALINE hay una rain de aprendiaae (1) pa regular eto va ‘alcar cada equvoeain la adfcacn de oe pesos Es sempre nt “aloe entre 0 1 para ponder el aprendizae 2.8.2. Descodificador de bi Come ejemplo para ita fnonamionto del ADALINE sh lego ‘un descodiicadr de binario a decimal #1 decndieaor recite wa entrada ‘binary produce como sali srl en dei, Evienterent, tte ee tn problema tril ya que existe ana expres anal capa de rein seit wario a decimal en38 Prins MoDsLos coxPoTACioNALES Bl ejrpo trata de cmprobar sna red de ipo ADALINE es capa te apron ln expan de a Bec 27 por xl part del ont ‘de cempe de eteenamieato Epc gar habe qe produc ichos ejemplos. Se determina un ta- nats de a entra or raze prcticas se ha eee una dimes de 3 en Inentaas Cons rat de pasar debinaro adem, Ine entrada striae ‘ry amo aa preter nero mimo de entradas que spun genera x ® ~ 8 Bm sigue aba be musta el conju de Atos de tenant: [A continuacin se va x proce con olga para Ia ted ADALINE Primero se riza lela de os pes de forma aleatora ys igen fos printed les Bn este cao tn parero gue hay ge legit ea Frain de aprenden que eb ba sigado un aoe de 03, Desputs de In niin le pos de ed enon Ts sguentes valores: (aki_o3 0% Seta primes pti na ey eee su said: T7178 ast oso ozs 0 "00 oss |y = os asada produc noo itl la deena (¢ = 1—0785 = 0217)», por ao, se product an elo de aeendizae, aiando la Bean 23 En le abl sigulate efljan ls valores de lo pesos antes del aprenzale, tt nerementa gene prof sei a Fra del ela Delta, Te alors espe de poe dito increment: ost ors ogoai70=0 0302171 = 0065 04 sts Este proceso lube de rept para todas ks elementos del conjano de patted entre, A conn se msn ef proomo paral patos Adaline 39 ws fost ogat_osis Fx | 00 0304 "oy vay |B proceso contin de la misma forna hasta el patén nimero 7 — rata z TT t ast | 000 1966 1925, Zui | 5000 1.965125 _y = ost so0 os0121-0095 030,12 3.26, Ss puede apreciar emo despata de uns dca eran Ia ed produce un salami alkeuad para ete imo pata, Sin embargo, sré neces Ine {roduc tds los pattones de nuevo ¥ epee roeso uk nb Indi (deseo daca rece evar A cranes pe jer alors tes psu y sda produits pre 10 raion de eda Sal de seals In slida produ es paclemeate exact, y se poede afar que are ha sido capa de aprender el problewa de deen [Pesos Bio pr patria) TSHB200-188)—[O, HES 127, 9.46, 108, 335, OI [BiLt98.t92) 086,00, 060,087, 019,075,015) [5s21198,120) 0.42, 001, 028,039, 408, 035,001) 1921'96..10) 0.0, OL-Das, oa, Oa, 17, Gau) [396.198.115) 0.00, 001-06, os, on, Nos, c2) [BaRt9e,t0) 005, 001-008, 00s, eon, Oo4-004) [Bena.0,t101} (002, 00, 01, 02 00, 092, 0.00) Foo2.00,t00) 001,09, 090° a, on, an, 020, Hioo2.0,t100) | 000,00, 1.0 0.00.0, 0.0, 8. {00 0.00, 0,0, 0.00, 600, 00, 0 acts eemplo ei determina oe valores de oe pss, dds uae teal inariascodieadas como (0) (ls etre tuna podria eon ‘ch bina sedate (1), Ue realtan a opercin de desea, Eaton 7 — ee40 Puosenos wonetos couPLTACIONALES ‘alors param amo de rd dete son 421. El tala anterior se peda ‘Sime a ro va cred pantie a ston valores pis de poe, lon sean en tan slo teracines, Adem, tabi pede apreiar e0 [et errors comets en cada pan an redeiénow de erin en Hera, Theta leanne tn alr de cer pa to patrnes, em Intern 9, ue tela siguiente cuts ban encontrado lo alee Gpimos de Is pesos, Pa algunos patrones a convergence es mas pia; el segundo pat produce ‘lores de cor ty pene aca yt dee a segunda rac, mientras "oton tran maton ver apron, Eat dependerd en gran medida de ik iMiatzacn realzeda,y del pare de apredajeo, Valores grandee de fete pardnetro har desender me rpidameate el eto al penn, pro ‘Shste defini de fos pe tr misao, yvioeersn algun cso se ‘opt por cubis el pardmetro de aprenizaje a mda que se an proces Ute paioncs de peendzaje Se cmlenan con valores lvados de 78 a9" a iacipo aed etaré muy aljada dela sli yw neesitar. qe se apie "igandes pace A did qo tera toda oe prone de sprenie, odie el vale ea, ya qu lal del aprendaae la ted estar pia 8 [alas y ls ajustes han dese mds foe 2.3.3. Problema del OR exclusive empl del descodifcdorbnario decimal ev un eemplo del tipo de pro- lems qu onan ec superveado sn apace de reser Tee st aati aos aos 5, ol comunidad ceticn se emp a pensar ola potbiiad ‘de qe las Rods de Nesronne Atria forsn verdaderon stoma de ao- Ici general de probeman.Seabria In pestle de aprons slain fenlquer problema que etover Hen dsrto por un cnjunto de ejmple Si embargo, poco tempo despa se demestare las sis limitaciones de os ‘hodele extents El jemplo ma aracteriice del ipo de pole seni: {oe lw modes decor no seuelven ee de la func igi OR exch, El problema del OR exlasiva se deeibe por earjuato de empl Prod sida correct 01 euando sus do etedas concen, increta —Teaando o colnen ‘Sige inteodace os jpn anteiones en na ed ADALNE a said mance tiga setablizae, A continua se van a intoduc os eempendel OR ox thai lai el ADALINE qu sole problema dea deseodieacen, [Li inllnacn en nto ca ast 039 Aine a Seintrode ol primer patén, ys fect as igus operacints para (Panter T— t tl —a=T 039 xj |-08t 039 y= 123 “Aprendizaje pave patra nia 7 oa os+2as-1 034223- ‘Se han decremstado oe dos pesos para tater de aproxnar las entradas Paani z Tt a= um _ | ont -o2s “pnd para pair mivo 7 o,sid—v)x, ]03-055-1 03-0594 Después oa Noa Pata nero [oa Few [034 Aen pe pata nero 3 Antes Si = 0.804~ es Despat pred pas paint mT Ane 03 O00) ‘bu = 0,314~y)2) TH os-4aK Despots so ec2 Pnosnas nooet0s coMPUTACIONALES Se aprecia en este cao au las pesos no teen endear en 1 derminad slo emo ex ejemplo ateriog sino qutoslan, con valores {owes portvn ya veces ogaivn Para poder eomprobar eta occa de Sina manera ans larn, ot In tblasgueate se een In evan on varias erasones de fs pos fs erores prodacios por eda uno de ks eat tre de eto Tease [ Pass Bar por pat TY Raska Taal ott 2 | moss) [196-120-148 138) 3 | nonnas, fata 13 ¢ | ponnas, "2148, 145) 5 | nmoay, 0,148, 143) 6 | roves, fea, a3) | pons, S18, a3, Se puede ver cto a parti eI eran ard estas us pec 2 crv, por ms qe se cme terando dane, Ning pte conse ‘rode erores putin, La ed a enontai wa wl intermedi, uy “dejan dn pin. Ea ete ao, pares ls pes enn estas alot fore oer agree dei 2 fran mestada en la tabla, Sse ‘tras fran dl ror para tos ls patos en cada rc se poli ver eno lon pens extn jos de prtmanvcr eables, ex costa emente ete (0,480) (0,0, $9), 4,0) (00,48), para cada pate, El protien de ste po de modelos y la unin por ln ave fron dese ‘adon de fra dea como slaconadones rare de problema qe ‘Slo reendven problemas eno qo lo pio sos Incalmente spares et teminos de claiace, 0 enone lat sds son fucone aes de lax tradi cao del denier e+ un eel. Sin bar la mayoria de Ice probes y sabe todo le mas imporeantes,no so separable neal Par lon primers este un gan neo de rian tad que a Seo tao ran earn ye ADALINE ein enone método mi. En cab, lim patema no nek igen send u tet para cmunidad materia, Esto a sta inj con ua represetacin grea de varior problemas de laa con caso eenple dreamin (Fira 2.1, En lor dow primers can fumes igs AND OR, a apecia are mente qve exe oon roa rapa de separr ls pon de wna se 9 os ‘cca Si ebro, paral ncn OR extsivo, dos gio nro, ica eta no ext abr que define ott estractrs tal ver una eps, © ‘en mediate dor tects. La primera solucin e elaramente no Una Bot 1p ato, nun PERCEPTRON Hun ADALINEsvan capac de epee Ta eu wolucin ela compoin de don recan. Eta slulon tooo ‘ pmblemodinte un PEACEPTHON simple in embargo, podria ener ‘Petlane In comand doe Ponce roNes El prnerodnriina wa {itasreglonesy Intra we etoface en aie PERCHERON aoe cimina ete Teen Adaline 43 Figura 2.12; Regones rontraen problemas de funcooe ica ato se slucona intducindo una aaee cap, como en Figura 213 Al introduc una mew capa, el elto que produce sa tearm, da apacio de entra enna men denn, de med que desptsde dich ‘ranstormaca los ejemplo a cientren dition ent epaco ¥ pda serlnennente separable, en ste caso mediate un plo. En lagu 2.19 los Semple, desps de a transforma, se han depict a au ais eo uo, ds en la earn psteroe abo ow tos do edge El plan gut ‘parce a figura sera un eparadrpeeeto dels doe elas. Se dea como free al lector el cmprobar cola sed anterior proce slas crv Sando se intoduee todos ls ejemplos del OR exclaiv. ‘Sin embargo esta slain ten tare problemas. En pres hare una ‘olucé a media ee dct aba babi aprendaajeen ncn de loses ‘de entenamieat sino ue we han busca levees dela pace ae da eluent cao Ahora Dienst ew vile pre problemas con wn it ‘ado de cmplidd, aunque cn peut, La sucka pia se relia Ut ‘iso guna con dow capas (Figura 2 14). "Tor peo ee incilizarian aleeoramente,y depose aprenderia isin procdimiento del PERCE THON. El problema ea que anton PEACE NON mt44 Pragenos MoDRLOs COMPUTACIONALES x = wa Figura 2.14: Prncerrnon de dos cas para solaonar el XOR ‘como ea el ADALIN a tes de apreniaae se asa en raza increments fn Rn el ero comeside por Ia dul Ena capa, nt la {heal ay que moder le conexones de lace de sald y su sla Afneaa eth count de patrons deetrenamicta. Ba el eas del ira i odiesclin dela cotesiones Way se eliza de forma proporcionl ‘err dela eu de sais Sin ebro, eo Tas capa interdis n0 8 Dsble ser qué valor deen toe Tos po pra ela sada ea corrects cra bein muti talons que eampintn eta condi, pot lo qe a ‘rrr coaido no podria clelas y Is coneions Wig any Mon 20 polran set moderns Ser necro iesoduce agin meeanino adional en [tela de apendinje psn sus eto peso, woot psa sm nme aia fiecapas, pan ser odes efceteent. Hast a dada de os 80 no ‘sab lmecansto de apeniiaj necro, que pasara amare rea Dela generalsade, Enel epi sigue se deserted as eds que eye ‘sia nav vega de aprendlzae Capitulo 3 PERCEPTRON MULTICAPA 3.1. Introduecién a este capitulo a turd una delat elas de res de neon, conoid ‘ono Pence? raoN ultiapa ord alps con covexines hacia dant. EL PINCEPTHON mulieapa cs une yneralzacia del PERCEPTHON simple presen tdo ene Capt 2, y surgi emo conned ns Unitachnes de dik Sryiectrs on lo recente al problema de soparailidad no ina. Cm Is dsewtido on Capita 2, Minsky y Paper [Mask atl Papet, 1962] mos ‘toron en TOG que la combinacion de varies PERCEPT ROMS pls inch {robles na inese, Sn exbarg, lv autres no presenter uo slucinal rblema de cdo aapta los pesos de I cape do eotvada ala capo oat Drs a reg de aprendaae del PERCEPRON simple no pore ape en te ‘cmario.No obetant, aiden de cembinar vais PERCEF TON Sis debe ar etatiospoteriones elias or Rumelhart, Hinton y Wins en 186 [Rear ta, 10860). Estos aloes prseataro une maeradereopropae fa lo ecoresrcddos en In lida eared ac Irons ula, dando gael aad ropa deka perainds, qie no ese que wa generale dda rep deta, deren enol explo anterior, pars fanned acter to links yee mutieap, Diferaies autores (Csr, 1980), (Hornlk eta, 1989) an demostrado ‘Slven el etigo de quo cule funn contin sobre un crpacto de RS Dtde aprsimarsecon un PERK RON malicaa, on a mage nace (2dr aarosse Este rent tual rencerenot seltiapa cone sam er ‘la de faciones como pun ser tambien lo pinion, fen rg ‘emda, pines, et Dace aproxiar 0 inepelar relacions no eles ee46 Prncerrnoy MuLricnrn tae dato dened y slide Ta hada dl encrrTRON malicapa pra aprender a pst de une {nto deeemplos, apron laos no lineal, ita ui en le datos, Ice qv sean modelo aden pars sbordarprobleas rae, a que ot iq qc son ln rere aproximadores ives Cada ua dea lanes de ‘proimadores nen nes propa carats; so eaboce cetas codons tho ls cules un métod ts preferible tro, pero gan cso so pe doc aie un modo sea aoltamte mor, Sern las considera pret Seca protlema ln que determine le eon de wn pore ‘ctslidad un dela sruitectaras sulin a eon de problemas Estos debido, fundamentals caprad como prasiador ules, ‘tread de reas iene, corn wonocilento de haa [Coe eal, 1903) ‘eonociment de craters pce [Skin etal 198), reconocimiento do ‘dvtres eto [Gyon, 18], contl de proses (Wert, 1960, moda ‘in de btn dno [Naredra and Parthasarathy. 100, onda de ‘whicube (Pomeron, 102), daghistieos més [Bax, 190%, predic de eves temporal [eigen ta, 1900, te Bs nessa, sn embargo, que aunque st una de Tas odes mds co ocdasy tlzadas, esto no implica que wa tad las més poteses yon ‘cores suutado cn ns dfrents Sees de aplcasn. De hecho, PERCE ow mutica pose tanbie una sere de itaciooes, come el ago proces> ‘ie aprendizae pare probs compinoedependentes den gran mero de Tors mde a difeated para realizar un ans erin de ard debi ‘te presen de components o Ines la alta copectividad. Por ots Date ee neosaro salar qu el procs de aprendinj de ar sen em fspario amplio de fanions una posible fncn que recone fas variables de ‘ra y sald lprblema, lo eal ple complicar su prendajeyvoducie ‘Stefictvidad en determinadasepleatsoes Histon, 190 3.2. Arquitectura del perceptron multicapa [Ls arguitectra del Pence oN mulicapa we carscterna porque teen nae arupedesen capa de derenis nel, Cada una dex capes ens fa tna por un onjnta de neuonas ys dsunguen es ips de cpas dierent Taeapa de etada, as apas elas Tapa de sada, como seve Figura Las neon de a capa de entrada no aetan comm neuronas prope Aika, sno qu ne carga daiarest dere la eles 9 patrones gor ‘rocain del exterior y propaga dich solos a toda las neuonas de Ia fume cap. La tina cape acta como slide de lated, proporcmando a (terior In respucta de Ia ed para cada del patrons de entra. Las Arquitectara del perepton maicapa ar ¥ C ym er comes Cor cts copes Pigur .1:Argutctura dl PERCEPTHON muticapa euros dea capa ocala ain un procsaneno no fea dene patrons reclidon ‘Cos se ober om a Figura 1, las comexones el YERCEPTRON mula sempre ern rigs haa alate ee det, ls weaonas de una capa cts la netonae del siguiente cap, de ai que sociban tabi el tombre de sede limetadas hacia adelante o vedo "rdforwar- Las cone “hones ene It nesronas Hern asc an mero rel, amado peso de a ‘ono. Todas Ic seuroae dele vu tambien socindo wn uma fetel eas del Pencer ron mlticapa suelo tare amo na coneién mals 8 1 waren, euyaentadaex constant eel “Generaiment, tole tas neuroma de na capa stn coectadas a todas as rare dea siguiente cap. De ee modo, as neurons dla capa deena fetincometadas a todas la neurons del primera capa cea as neuroma ‘dela primera capa celta we conectan at neurone del guint capa, te Se dee eatones que existe cnertiidad total o ue lard et totalmente recta ‘Aunque ents mayor parte dels cos ls arqutectara del PERCEPIROX tleaa et nai lengua de In Figura 1,6 pb arbi glee ‘lected ete tipo dors sritectra om a gute carats + Rees con copexons de ado eras neurons ena deteminada aps 1 oeronte de caps posterior, aunque 0 lnmedaameat posters + Rader en las que iets neuroma de cera capes no etn cones 3 neu e ln guns capa ee dees pao dela coe e contae gl 9 or. ‘Cann se borda un problema cone penceroN muliceps ena mayoria rs eeas Pencerrnon MuLTicara detos ass se parte de una argues totalmenteconectada, cs, toa as ‘aromas de uta cap stn comet toda ls nena de a sigue cap ‘Nove paibe demortrar qu se wean arqutectaras eng ques lines fonexons 0 se afd eonenones de wos cs apa nmeaamente rsteriots, se pda abtere mores ceultados. Sin embergh eosin, 9 dbo fandmeacalmente la naturale del problema, se pueden eames Tees mulicspa com estas caaceritica en ss Cesiones 3.2.1. Propagacién de los patrones de entrada EL rancerraos mica defie una lacién ent as variables de entrada y te vaiables decal od ata relic we oon propaganda Suet les vores de as variables de entrada, Para fl, cadebecon en Ted proces ln infra vc por sus entradas roduc ua espace ‘activa que se propaga trav de la coneions Crenpondnts Hala lat neurons de Ia aiguente copa A voice mean ls express pa calelr ls actioned neuroma de ae ‘Sea un PERCEFTWON mulcapa com © capas-C ~2 capas cule ng sewn capa grt ¢= hos. Sn = (of) ma dept ‘Soca ls comers de a cape qa cape qs Iara = 2a donde wf rpreseta el pan de ohne de tween Ue leap It tearona dea capa gry na 0% = (of) of ecto de unas de as bern 4 ncaa qparnq= 2,0. Se dents a ln acticin dea wena Sele cape genta ctivacons me cael del sete modo + Actvacién de as neronas dea cap de entra a). Las neuronas dela xp de entrada ecard enant haria estes etidas ‘el eateror. Por tanto 25 pare = 1.2 09m on Aone X= 4,25.) pte wet © pati de entrada a ts ml + Activin de as neurons de apace of) Lae neurones oes ‘de ed procs a infoscience atin sn fa a sma dels products de Ine ntvacones su sete pot sos ‘orrsponintes psn, dei n= (Fw ap! +08) pare Loony = 230-1 (82) onde son le asivaclones de neurons de a eapaq~ + Actvacin do ls neuroma de capa de sla (of). A gal que no ‘eo anor active de eta neurons vine dada pot fac a Arauitacare del porepteon mulicaps 49 le actvcin faplona a In sma dels prodortos de as entradas gue nae =4( FE wh tal 490) pari tonne 3) fond Y= (pan sath) € vectors dea ‘La fancin fos tnd fc de ativan, Paral PERCEFRON ma tap a funclones de atvrin més za on I consol y Fame tangent hipebolca. Dich fncones Posen como imagen ang tonto de slores dentro de os interval fy} yf, respective, ¥ = Func sigmoidal: fel= 7s 6 1 Fanci angetehiperiicas fio) 69) Abs som funconts reintes con dos res desaturase mésio, que properconn lds Ie minima sala D para a faci sigmoidal y sla 1 par ln tangent hiperbbc, como se oleae la Fgura 32, Figure 32: Fuclones de activin dl PERCEPRON mica Gear, tin atti on CHET map comin nora ern eee pa eda, aso tau ite Dade ci rsd raion So Sane rnc acne mele expe ia) iar erin do neo oe lg Scnte Ee etna ran50 Pencertnow stvuricara a ocaonc,ydepencnda del naturales de problems, tt neurons de sala we dningtn lento delat nara del ed ead oto tipo de fen de action. Ex este cas, lasts usidas sot la fei dead ¥ Ia fini excl, ‘Deas Eevaciones (11), (2) (1.3), se obaer que Pence RON malic deine rvs de us conesons neuron, ana func oti Ho He ‘ht espaio RO -epaco debs ptrones de entrada al eapaco R"-espaco de tos patton de sae, Se porde esi, por aso, que ye rKn) ao) onde ¥ el wetr forma por las aie de ar, X es vector de tala 1 Fe una funcién continua no lineal dada por las Beusciones (1-1), (1.2) ¥ (1.3). CAteulo de las activaciones para un Perceptron multicapa con dos neuronas de entrada, dos ocultas ¥ una salida ‘Sea el PeRCEFTHON multicapa que se musta en Ta Figura 3.3, conn dina feng orl i yy deotan le variables de estrada ard ae actiacoaee ‘dela aromas de ard ewe dada por ls sigue expreions Figura 3.3: Ejmplo de aruitectara del ncErrHON maliepa Aetvaciones delat eure de eens of = s(wia} +wn0l +8) y of = £(wi20} + we} +3) Hoot +n +) ee Arguitetara dl perceptron mulcapa a 6, nm ‘Bhtrad | Sli o)_[ 0 .t) a a Cando 32: Acivacones dl raceroN muliapa pars In fain XOR Pardn de-entrade [at a [af | Salids de la red ©. 0) 0 [Grer PODISwTE | o.aases 1) 1 [opranis [ooo | —o.s0sst0. 0” ugeatas | 020280 | —oxsso1s [Co Pusoasas | osoas1 | —o.154005 Comidérease los ptrones que deinen I fan Ighen XOR (cundeo 3.1), Soe pos y unbraies de lated quo se nesta co La Figure 33 toma Ia ‘aloe, = 191129, ay = 2.758000, wy = 3.73002, ae) = 2,TOSD6, y= SRIO70, tp = ~G155634 4} = —1 00289, of = —L12TO02 uP = ~2570500, Sstavendo dios parmesan as eapresione anteriores y wt ft func de ativan iaoldal (vac 34), Ia sain de a red para oe atone cde afc XOR toma koe valores cepecead x ol cua 32. 8.2.2. Diseiio de la arquitectura del perceptron multicapa CCuano se aborda un problema iano ol rencEPaoN muteaps, uno de los primero pss aia sel dso dela argultetura de aed. Ete dio Ipc a determina de la funn de atv a empl nme de turns yl amo do cas eal ed ‘Come torent anterirente, lec de I func de active se sce Harr basandos en el eeredodeseado, ye bee de deg una ota, ‘enealente, oo iafue en a eapaidd dei od par sole probe, a qu repetn a ers de neurons capi, alguns de estas pardan- tuo ven dadon por el riema y otto deen se legis pore sia. |AS, por empl, fatto e aimeo de euronne on Ta exp de entad, como fl nimero'deneironas ona cpa de mld, iene dade por Ie verses {que dafinen ol problema, Bn algunas apiasones prdtias no bay Tuga die {ie sobre ef mero de entradas ysalas, Sn rary, exston problemas tos que el mero de viable de etena revantes porn el poem mo ‘move con ext. En aos eae se dspone de un gan lero de velar tk, sgunas de Is ches podrtan no porta inormacin rere ae, Yu tlacin pode complicar el apreniaae, pus inplcaria argues ee52 Pencerrnos Muicarn se gran tama y can lta conetiviad. Betas situacones, ex conesente twalzar un ands previo de ls variables de ent mis tlei ro ‘ema ydescartar aguas que no aportan iakrmacinm Iara. Este ands ‘ode lear ser una taren complenlay equi nica: tvnzaday, om tGenitastsdas en andi de crear [Dati 190 anise de compe Istes principales (Jolie, 1986), ans a semsbidad de tees de neurons ((Mao and Jin, 1985, Zarada ea, 1907] twin acannon rnetcos (Guo and Ul, 1902) entre, EL neo de caps ula ol mer de nero neta aps deen ser legos pore edad. No este un metodo o ela que deterine emi “ptimo de nearonas ocuas pra reslver un pata dado, Ela ay arte ‘las aplcacines esa, xt pare sedcerninn por pracy er Parteno de una argutectra ya etreda, stein ent aumento 1’ dsmninyendo ef nimero de neaoaae oats elnino de capa bt onset tna auitetaraadeeuada par el problema rece, que piers 0 ser ls Stina, per qu proporcona une salu Si ben el miner de aromas oaltas pute infue ea ol comportaniento eI rod, como se ved mas alate sexpara! de generalize late fs mecesari indiear que en el easo del FERCEFTRON mileapa, generate, fl imero de’ nearomas orftas no es pardeteo signex, us dado ‘robe, pueden exist un gran cand de argutectrascpaees de rove ‘de manera adecuada dicho problems. Aden, nao elnitar usa nero ‘oral no ine de manera sigur In eps de ad En lt aetaldad risen Ibeas de lnvetiartn abet ceca en lx kecrmiauiénastomstien dl nimero dpi de neurone oct a coe de tapas ocltas, para cada problems en pastel Ea lao del PERCE TRON iulticapa, la mayor parte de stos taba ebay Ian de ene ‘volutes, las cuales ealean une bsqueda el epi de aries de ‘ees gud por optinizasn dl endian deta re (Nir el 189, Iii nd Lin 1997) (Gutrer ta, 2001), 3.3, Algoritmo de RetroPropagacién La rela algritmo de aprondzaje el mecanéano mediante cul se van ap tando y modiano tools parmetos de late. Em la el PRCA ERO rica we tata de un algrtno de arena superindex dei I Aliacn de oe parton se rein parm sl de in ed se lo mo [nia posbl al sda proporcinala por el superior o aida deena Por tanto para cada ptt deenradn in od oe never diner de até de sida dea Pucsto que lobe quel sala de a el en lo més prima posible fa aida deeada, ol aprenizje de ln red formula cau problems. de Iti del siguiente mod Mine an aaa Algeria de RetoPropessca 53 ‘Sendo W ol onjunto de pardimeton de ed pee yumbales-y una func ‘ror que eva la deela ete las aids de a red yl sida deve. Ela mayor parte de loa eze, fen errs deve ee Seto) os * done es nimero de patrons 0 musta ye[n) eo ero comet Bot Ine paral pain, dato pox «y= $e)? on sendo ¥(n) = (an(m),-tue()) ¥ S{0) = (elm) ossye() os vetoes de ‘aida de a ey ads desea para el patton, respetvanente ‘De ese mo Wx wn mini de a fcn error en dicho punto el ‘oro primo er, lo cual npn que In said de ee prs 8 ln ‘ala desea, leaando aa la et de In ela de pedi, Por tanto apendanj del PERCRPTRON mapa co ule a enco ‘war un minio de la fue err. La presencia de freon detain 0 Tinales hace qe a tespuesa de lard sea no lineal repets ls parhineteoe jstablen, porto que el problema de minilzacln es un prbleta to lina 9, ome coaceueacia, denen que tare teicas de optimize neal ‘su resolv, Dichas tea est, generale asda en una adaption ‘elas parmetzoe igen na cera dies de bisque, Emel content de ‘oder de neuron en particular paral PNCLPERON tical diet ‘de ued ma connie maa ln decen gavel dente do la fancin B sétodo de decenso dl gradiete, pum conform al elelo de ‘arias variable ésta esl diecn en que la fen decree: No obstnte ‘than desarvlao también métodon de bisqueda alatorin pea local el Ino de dik fain Sais and Wes, 198] toe tends en nes ‘oitvas [Moana and Davis, 1989) ex los que I sua et pada por ‘na fenlin de aden, ‘Aunque, estrietamente bablndo, ol apenas de a se debe rire para mininizar el eror total (Beuacia 3.8), el prooediniato mds uliado ‘std asada en método del gradient eto, oe ele conte uk ‘cesve mitinieacin de lot eres para cal pate, e(n), em hgne de mini Inzar el ror total, Por tanto, pando el mttody de deseo del grade stoic, cada parsmetro w del rod se modiin pa cad pati deena Ide acvtdo con la sigue ley de arena: win =) a2) w(o) = win 1) al ow) onde (nl ror paral patedan dad por la Ecucin (3.9) 9 ela rata ‘tam de apredizale,pardmeo que fe on la magni del Gepacaiets Gola sporivie dl eter, emo se nrlaré ms slate i54 Pencerenos Muicara Debio a que las newronas de sr estén agrupadas en capa de tints sine patble ape el método del gradeate de forma een estas ‘oni algortm de eztnoPoPscxciON[Romebart a, 1866] ele ‘etn goneratznda. El teniao de etopropagacin selva debi a a form ie implementa el rd del grates ea FEACETHON muliespa pos ‘Soo ened en asda da ed propaga hacia ates, ranforsnho ‘Stun errr pars cada na de as peuronas outa def 3.3.1, Obteneidn de la regla delta generalizada ‘A continacin sev a desarolie arepa delta generlznda pra ol aprenize je. pencerreow imlteap, soe, cao yt she comnna, 20 eae qe tha forma este de apc liad dt greta las patneteo -pesos ‘umbraey de dice sgutctta, Part of dena de st ela ee necro tinting do cto uno pra lor peor de a eapaocuta C= al capa de ‘Shits pare ls umbrates de ltrs sali oero para el resto de os sey bras den rd, puts ls tgs de modieacn de ests pardmetrs ton dierent Peoot de In capa oculta C1 a ls expe de salida y umbrales de ta capa de slide Seo" pao de conexn dela euro jd a eape C1 euro ela cpa de sada. Uellznndo ol moda de descenso dal retin (Euan $340) deo parmeto se mada sguendo la dlrecn nega el rae de eto bo ei fy who) =e 1) Por tanto, para saciid de lc parma neces eat Ja evvnda de ror en dicho punto. De nerd an Ta expres del err (Ervacin 86) ytenendoen cet, por ado, que as slits deta (0) par Ia eda constants qr no depend del ps por ot ado. quel eso ee fo fect ln neuona de said y(n) (ver Braneién 3), se oboe ‘te en) — doy HEE a(n) Ons Es ee ehctySh ge ch sinh poem st) See a ers ea ay eae crete Ste Senta cemsta oer prea SeSrkoer ds on Algoritmo de RetroPropagacia 3s i =F aa oak) oe 0) eas Sei mine & acca a neuron de a cpa de aida cap C: yal patsn n(n), del siguiente mod 0 ton) mine fal 409) aa Resmlacando enone en a Bevan (012) var det ded de a sean do ali p(n) dato pr (3) y eset cn el ao 9) dese Sterirmente (Ecc 310) ech qu 0) _ scan 2 = sons ous Finalmente, eaplazando la detvada dl error o( respect al pes wf ‘beni en (3.15) en la Beuacin (9.11), se obtiene Ia ley para modiBear cho ‘eo, ae toma i gute expres Fe) =n + 08P (mH) a8) pore 2eoe En a Beacn (8.16) oben anteriorente ve cher que pa modiear 1 peso de la nesin de la neurons jde In capa CT's la neurone det ‘ap de sali, basta considera aula de Io nears det que pte lt ones “neurona j dela eapa C~I-y el train 6 dela tearona la qt Nga a ones -eurona de sald, eemino que Cente e eto comet po lard por dicha neuron de sia ver Eran), Ls ley de aprendizajeobtenidaantrormente para toc Ios pon de kina capa pedo generalzrs para los ural dels euro de sai Como we omen ela seca erie PERCEPTHON multicpe lumbra de uns neurona se rata como wn cones asa oearna cy ete dies constant e igual a1. Siuendo, etones a ry anterce (Bonnin 3.0), ‘esc qos ls en nara cap de alae matic wom WEln—1) 408%) para Lone 7) Pesos de ls cape ¢ s leap ¢+1 y umbrales de le neuronas de be capa c+ para c=, 02 Con el objetivo de ao sro de In ela de aprendzae pa esto de tow pez yuan de I eds pms clro pol se hg un psn en ‘aye —Zalacapa C1. Sn uf," po de a encod a neona de56 Pencertwox auLricara Ja capa C2 a neuron j dea capa C~ 1 Siguendo el mtd de deve ‘dl grant I ey pra acta diebo peso Vewe dada or: a9) a este cas, ya dence ateror peso hacia a capa de sd po wf? infec ods Ia sada dela red, por lo qu la dea de {ror ei) (Eeuacin 3.9) rapt de diko peso wae dada por la sma de as ‘Sead para ccna de a sais del ed es doi 20 Fenny — vie) 286% a BP--E ose) —wion gates cm Para cal a deriva de asada (n) respect a peo uf? ex aos tenor en event gue peso afaye om In aetvarin de ener) de capa tla Cor ay quo eto de ne ateaciones de las putas en ‘apa wo depeden de ito ew. Por tanta, y de aeterdo con la Bevan (88) 1 pg?) 200) «(5 Beh TN St Sstituyend ete yr on Ia Extaci (3.19)y de acer con a defini de Sen panto anterior (Beas 3 14), s oan ae etn ago Bee, =F apenas (2) Hes Lets is Para bien Ia ey de preadaae para pxo wf, slo ata dear la ciorin de la neuron j dela capnorlea C-1, af", respect a die peo Be suew pando la ea de In cadena la Beek (32) dca devia )er) am Se define evar 6 pra las warna de sap C=, 4°) come: 0) = (SE erab 9p) Eetowset 20 Susie (822) on Bean (8.2) yd ac om var FM) sedan sneronat oe see ae ce 2e(n) = 6§-Mndef*) 28 Fa “ Algoriemo de RetrPropagacin or Y¥ como eomsecuenla, la Hy de aprendicne pata mica el peso wf ewe dda por iG + a8 HohalE0) 25) Para R= BQomena y d= b2somo-n Al igual que lay obteida pare meificar los pes de Tashima capa (Ceuacién 3.10), en ete ca, tare se ober que prs mova ps el coexiin dei neuroma dela capa C2 a la neuron jd Inca de (C1, basta considera Ia asain def pero de lng pe a coi neuroma fe Ia capa C~ 2 el tring # de Ia sean a qo Tega la oer -earona jel capa C1. (ver evan 328), La diferencia raion ft Ta cxpresin del emino Para los peso de ln copa C2 @ 01 deh {tring eno dado por Ia dei de In funcn de asvacin > por la sa lela términos 8 asociaos a as aera dl sigue capa ah eso es, las neurons de said por le pesos corporis, cotn indica cn Beuscn (3.23), 1 este unto, es posible generain tet ey dda por la Beuncin (928) paral pose de la capac al expat 1 (e= 1,240 2), Par el, asta tere ena la ctivacn de a i part In onesie y Uni 8 ela neurona ls que leg in coneain, Hae mina se clea tind lt esd de Ta fund de ativan yl sua des rin 8 de I ners ‘elspa apa. Deets mod yin) = wisn —1) + 08; (525) para 2d =BPetegt YO= TBP done a(n) 6 I activin den neon del cap ¢ para el patra n y 45a) seme dado por ln saat expres 5% (Soutoi +m) SF sina, (27) Es ps, vain, gral Ia ey de seni pra eso de ls bred sb rats eesone op an ae Tn Ea ey par moet ve dd or SP) = afm —1) + 085%) (28) Pa J M2 ateod FEZ —2 Derivada de a fuscia de activacin [leatelo deo valores (euaconee 3.14 y 327) pra cada neuron del en ‘CerTmON multcapa equleteel ese dela deriva del uci de acta, Como se ha comet, el PENcHPTaoX mateap pide ute da ton de funcines de actnacin ncn sigmetdal (Ecuacda34-yfancion tangent erica (Eeuacin $8), Doro que orale ependen en binipo,de a eer58 Pencer nox auLricara funcin de activin empleads, A cotinare evan a obtener ls dead are tas fancones de ative, quando aa complete elelo de os aloe 5 + Dervis ‘erin ls exes dada pot ls Benin (3.4), btn ae er 2) fie) fi) = HN led) 30) Como consctenia, canna Ia ncn lola valores 6 ‘Sorkin as teuras de sls (Beaacon 3.12) adoptan la siguiente formas $84) = ~(04) — wo) — a) para = 1206 (930) YY los valores 4 paso eto de ns neurons de la ed (Bosc 9.27), ‘enen das pot Satinep 039 para j= 12 megs yew L20-2 1 Devi de une tangate Mpertion Tonio conte fl) = 2412) 1, deta dea func fo) Hie) = 240 Hed) ex) ‘Cuando se tice, por tanto, a fanein de aesncin tangent hperbien, Toe alres 8 ps lence adopt as exprsones dads por Tas Beverione (01) y (22) mtpeadas po un frtr de 2 a asec anterior ha mest qe, xyralent, oda as earns <1 pence: nuicapa fe aa la mist anc de activin, abo ins netonas desl que pen ter ent fcin de ativan a fan Headed, ees, f(2) = neste cao, a derivda denne de acti (lo salidn ss 13, como consocenia, los valres 8 para ls rar lin ‘Mpa la sete expe 7 Five-)-nis)masenionne 030 pone Algoritmo de RetroPrpagacin 59 Obteniendo la rogla delta generalizada para un perceptron tmultcapa con don neuronas de entraday dos ooultas ¥ na Pa el pencerrnos mulicap qv se musta ea Figen 3, ano ome id In sla ewe dad por 40) = Hote) — ton? Para obune larga dita generat es aucearia deriva dicho error respeto a cada uno de oe parsmetos date A ctu, masa ‘imo se oie sts dertadas para eta arquitertra en parila, oe ede factar ls empress del proeliistageer ‘+ Pesos de la eapa oculte Ia capa de lida, Sol peso debe euros celeste sworn desde did del eto respeto dicho parca adopt siguiente express a) st en) yn 24D Tendo encarta qe = (oe +2002) y pled I ela de 2) «(mat rnel +tt0 Desi eno #0) = (0) —s (nek + w+) 9 Ge ac ol made deem rat Ene 3.10) io) =f +a oto) Seatac la expres anterior quel ey para modifica el parémetto 1 wane dad por ln aetvrn de piers tena dela apa ocala le kno pare la canes: pore ming bcd ala nero de sali “donde ea la cones. Por exten, atone i: vale) =e —1) a8 nein) (n) =n 1) +080) Pesos do I capa de entra In eap de sali. So, or sem {tpn a dela nee dosnrad nf veuona cata ba dere ‘iP ior ape sd pac 20) xin) Feo = 4m) — voy BO ara60 ‘Pencer non MULTICAPA “Tenino on cunt a expres dea sala de rd,» ae el parmetro wi al interven na atv del segunda neuron cela atin) Dua un) Aut) = (moh eh +0!) Panto aie 6 J(es} tne +) aden) Bers (wal + wel +a Des, ons, emg 5 prs segunda nero eu cns 0) = (eral +o) +0), wesee a: wean) = wale 1) + abllnalin) Por tanto, os Is modicain del partinetso ws intervene la acsivacén ‘dela primera seurona de entrada a} = 2y-oturona de Ta qu pate La ‘one e emino de og neon de ln apace neon {tine log a cones. Por exten resto de he parts de (tn capa moan de acted con ae gale ee ra( 1) + aff(nelin) wonln)= mln) + ofoeo) no 1) +n ln = 1) + a6f(n) fin 1)+ af) atta) = (ea na +2) Blo) =f (wiaal + nse} + wf) 0%) 3.3.2. Resumen de la regla delta generalizada ‘a ropa dele gneralzda viene desrita por las Eeualoesanterormente ob fenida (3.16, 317, 826328) y, como su nome inde, es na neal te la regi deta vie el apt antrior Esta generis es near ‘dino ln pena de neurons oculas en late, pra lente 6 comoce ‘Tears oma. Como sha vio anterior, est ers mda Splbeaci de la ela dela cadena, la cual ca del siguiente mode aaa Algoritmo de RetroPropagatin on Cada earonn de sla ditsiye han ats ou err 0 Valor 5 todas ae neuroma oclas gut se cane el Dondero por valde ln ener, Deets modo, ea eons cata rere un deta erro mor 5d nda on de aida, yl sum de stares rein ‘5 awolad al neronn oct, Dich valores pert, ten, obtener To valores de Ie neuron outa dete ‘apn ocala: De ah vee sobre dest de ‘HOP OPAGACIN, peo eoes paras neon dea ted se retopropagn hac ods le nearonae de Ia cap rallzada cuando o un funel de setiveca sgl + Poros de in capa oculta @~ 1 In caps de sada y umbrales de I capa de slid Pests: Slo) = wEHa = 1) + aPimpe4em) Unnbeale oF) = (n= 1+ a6) pata = 1,2,.05He 0 0) — led) Pesos de la capa ¢ a la capa e 1 y umbrales de las neuronas de lm 1)+085**o)ah(n(3.26) thy) =1Qptegs YO Das Unbeale Ha) 4055") onde: 5m) = afm — 0) Se MIU, ee62 Pencerrnos suicaes |. Razén de aprendizaje. Inclusién del momento en la ley de aprendizaje El cambio wpe eased es proporconall gradient dl exo como r= Fine ta Becta (310), Ditha roperesanalidad viene dad pre parioeo 2 tambien rain ota de aprendiae, Bsteprsineto ese nary 4 ctor cunt ne despazan ls pesos dela red en ln supercede roe Slevend i dessin negatvn del gant. Deter, portato, a maga thd de dco desplaanient, infra a onl velocidad de convergent del gern "aloes altos de train de apeedlzaje, co rip, pra favre una onvrgenein sissies peritensvanzar apidaeate en Ta superficie ‘here, Sin ebarg azine desprendizaje alta pueden tere conseenenis| ‘neato ene apenane, amo que el métod se sen minim o Inco (for d mdtoo once lvoe del inino. Valores pequebos de roa de prendije pian evita estos poems, aunque a costa de una converse ‘etd algo de aprenizae, pes a aga de os departs ‘hl supetce del err erase pected ‘Un metodo spe para evtar Instabidad cx agit de aprentizaje det aa rain de arentnae ox moder Ia ey de aprendiaje dda por ewatin (210) motte antes de un seg tema, moment, ‘nied a! agent wnt) gavin) 39) donde Qu(n=1) = wl 1) (02) eel increment que sui el pare teen a itera anterin yer sme pave que coutola ampere Tiga ierementa nero ‘cha cla for proparata por [Ramat ta, YS y cosy ls pro- pleat dela sea steer (Ecchi 3.10) ol beside de que min los Prvmecrs ln ed con el objetivo de miimiar Ta fanci eror (eur ibn 88) Sin ebargo nieve términ, y(n ~ 2, incorpara ene mito ‘Sere inl bcen gurl odifcachin actual del parsmetro depda de a ‘ern de Ia mien sate, o cal pode eitarewlacones. “Aplicandosucrivamente la Bevaién (3.38) al mine (n= 1), se ote wn) a (39) Proce de apreniiae del perceptron males 63 En la exresin obvi antesiomente se ober aie el cambio atl de un parimetro viene dado pot ln sum de ls greta el eo prs Is [ertcones anteriores, Por ano, cuando ln devivada pari del rer tespet al ps tne sigs opuests ea traces comets, la pte cts {restarts cambios design, de este modo, procra nebo de sv fare pao, lo eal condor a uaa tds cata sn mclaones ruses Por otra prt, a deriva pial del eto especial pst tee ls sign en Heraciaoes consecatea, In tiaion del moment pura un ca tayo en lp, econo a la converge el algeria 3.4. Proceso de aprendizaje del Perceptron mul- ticapa Como se ha comentado ene apartadoantaro, el objetivo del apeenizaje 9 etreamieno del PERCHERON mate caste parton dela ed ‘sey unfales-conel de qua xtra preentca pre Is sas ‘leads ex deci, co ol fn de minimal func rer E (Exaacion 33) a eta seco, se van a detalla lor paso qu voles epost completo de aprendiaje el rence aliapa Sea {( (0), S()}.n = 1A) ol eonjnto de moesens 0 patones ue repent el robin arene, donde (x) = (a(n) 209 fs patrons de ena al ed, (x) = (509, (0) s00 ls aids deeds fracas entradas y Ne el mero de patrons depois Geersimente, 1 feeuentecncnta os patrons de eta sida mormaandoe 9 xls ‘odlante uaa teasformacn nea en letras) (1 depended ela funcién de acacia pleads sical o tangs biperliy, spe ‘amente Es news shal, sin eaago, que et tanrormacin de as patooes no a condcon nceata para taliar el amenaje de n ed Sino que les datn puke prevetarae lard sin suf dn ntti, Sto ser neces tener ea cues qr, on elem dea oe patrons desl Se ulin sn weal in fun de actvacin dels muro de sala dear sigue lad ccd nga del gadis del roe endo puto a ‘nzando an mse punto en dio expo, Wn), ae (Staci pin lca del funn ror ae ‘re, El proce contin hata que newest a to del une ero Eo cial murda cuando EO Be ste momento, 7 de acura com lt Beal (970), oe Iptimetror dean de safle eas sigufeatvos de uma Fereion a oea yo procs de opens Bain or ao, dee un pnd vita ir pci de apne rnexrrmoy iia de asa aan =, ment en frauen on tabla de nese mmr, See ‘pmb ha einen er an uncured eso {Elo ut Sono me, data een En sc ment vars eck de aed Proceso de speendicaje dl perceptron muieapa 65, son sue lor etd pir ate ands se basa icant eo Sinerat sel err comet pot le antinn prticment erat ‘tuna teracon sono, pr el oes, el vor gue deen A bor hl pi eed tari a eo in del ner de nen a dea totin yrs ena Pagure {Mf stan enemas cde senda miata ut ele de a Fgura 30), pone dene el prota de sendin de ae aa Figura 94: volun dl eer ao largo del proceso de apendine Finan, debe salar quel err de ertrenamiento se etbilca, pre ison, ena ls was del ed no ezine na eran, ko ‘ual viene provoeado porgor lon pares de nr safe cambios engi ‘ates dena Weractn tea. Com se coment ueroment, est dei ‘qe soa local on minino dela anon etree dele que = 0. EL proceso de aprendiaje descitoanterormente tlt cominmente sad, aunque existe unt variant, coulda can el nombre de pros bac isis, ete pros se frencin del anteriores sparse Ik ‘ode ofican una vez qu todos os patroes de entrenanento an io pe Sento are, yno pa cada ptr deetrenamiento, As tenis Son equlete, aunque ol mde sudo niplementad on ls evuledres de ‘ede de neurnis el proceso de arendaaje desrtoamerirmente ai onocida con of nome de proce cntinis 34.1, Capacidad de generalizacién A le hora de tua commportanono de una de neuroma, ¥en partial {de PENCE THON mea no slo portant saber Hl ad ba pres ‘on os panes tien durante el penta sno tee ng ‘ibe, amtita,conoer el comporcmnieta de la el te patrons emo Serhan iizado darate al entrenamnia, Be det de anda Seve ape de cece ee66 Pencerrmon weenicara una que haya apni correctarent ls patrons de etrenarlnto¥ ae to respndaafecundamente ane patrnesthrvos. Ex nero qe drat [rocts de aprenden se extn los aration dele mete, par oder ponder conrecament patrons derentes Esto econoce coma aia del ed pr fener craters presents no ants ‘detmrstra o epi de generalzcin do lar Ta Figura 83 mutt ct a grnralinain podria ser Lead cabo por saa sl, Low pant tights com roe represen kon patones de eae mento, le Ue punenda In ean apronnn I ne da repre Invalid que roporciona el reacertno multiapeina ve etreada. Eo be ign 25a), lave ba sea in hae nivel de generac, mientras ‘qr en In Figure 3.() ower que la ed ha tnmorzade fos patrons de ‘Strenaiento noha eommegeido una buena goetalizcin Figur 2.5: Geeellzacin: (a) Boon propcdades;() Eeass propledades Por tanto cuando rain el procro de sprendine del ed muy in- portant nclsoimprescnible, ean la capaidad de goer. Para {ice nacero dno ded connor de srs o atone ara fnttena ard y ties sus pce umbrles “ony de enrenamint 5" otro para ti Ie capciad del ed para ponder create ante Tatton que o han si wlados durante el enema stun de ltacino test, Estos conten tenn de as esas ponies sobre ¢i problema cs comment qua ear sn aetai, con fin de tet conjontos os opts pol ato determi como de idan “soe, dependiend de Is caacteitins de los conju de etrena- anes wal am estat gu ptr sar cet de tec de oro nines pone me nats {i menor aprenden ed sobre ns patone de enrensmsno on Jv de obtener oes propa de geeralizacin, Con ete OPS, as Prowse de ape del perceptron mticapa or acest eal el erar que comet Ia sbeee conju de patrones de ‘aldaci, wo slo cuando l proces de apendinje ha otto si tan rant el prosso de aprendizaje: Cada certo aro de cl se deb pe Sentara a zed teu de ptrnes de valida yelled ever comet pu lara ste dco conto, ‘Al Igual que se anlira In evolucin de ror de etzenamiento Yo largo de ln cros de aprendln, se dete analtar tambien I evouctn el err de ‘alidacin. AL obeorar la evolu de aos ero se pandeneacotra [as lglete stasis [eh pap SS 1 OSes is Beal _ ee Fura. 3.6: Blu deo rors de etrenamietoyvaliacin alo largo del rosso de aprendizae + Ambor ere, de enteenamiento y valida, permaneen etal des ‘ts d'un ero aimero de cos (ver Figura 3.6(0)). Ese eas, 36 pute dcr quo ol aprenizje ba salad con Et, pt I rd i “ho eapas do extrac In arctica el problema, lees un ben tel de gonealiaci, 1A partir de un certo mimeo de ci exo de valida comin & ‘urestar (vr Figura 3.6(0) Es exe Cv, se pure del i er ‘els rela (2000) e ecadn pr sacs ino del ero mm68 Pencerswon muunicara de entenamionto, ero a conta de perder propledades de geeraizacin de led Por tanto, nose puede fear quel eprendizaje haya aeabado con ‘ity sin gu hues so conveietedetener el procao de apeendlzae fel momenta en ol que o eer de validasn comiena 8 roe, Para poder diponer a de una red con mejor cpacied de goeralzacin. Ea Stas tunis tule dct que mb produc sobrenprendiaj ca la EL sbjeaprendaje en un Pencerrno% multcapa ocue, por tanto, xa ‘aed ha apron coreectamenta bs patrons de arena pero m0 « ‘aparde responder adecundamente ane fo patrons de valida poten bo el eao ques obser on Fgura S(0)). Ete bch pd prod, ‘om se ba comentado aterirmeste, debi a un timer eleva dels de ‘srendinje, Sa eae, to a iin eta de sobeeaprendaje. Ba oes fey eoduci po I inion de demands neuroses oats eh le {Un oimareexesivo de petronn oalas pus condi a una ear capaci (generac de lard. Ea estos cst, la ed tend a ajar con much roctted los ptsones de entenamieno, bo el vita que I rel etal Ik ‘deci 0 la caracteristica dl conjusto de entrenament. Particulate, er problemas enn que smut power, ln ten de muchas frafonas oan ha ie lad sate arid de oe patrons, npn la general, 3.4.2. Deficiencias del algoritmo de aprendiza [A pes del ito del algoritmo de RernoProrxcaci6x pars entrar PER crrmow multrapneate slg pone amin na serie de deena as ‘ne on ania continue + Minimos locales Lampe que define ror (Eenacén 3.8) en fac eos pare tees dered es compleny lena de ales colina. bide aac {kl mito dt gradente par neoatear un winimo de eta facie, ‘Score el fag de gute proves de minimizacin Salo enn ind Iocalinay ad Popst 1088, Sha roroiogndoantrirmete que et proces de adapear le poe fini cuando SE bo cual no garantion {eto sleanzndo sea miso glo, sino simplemente ques Ti leanzado un minimo, que pode ser eal Claret, indesable tte prowso de speedo td alice en nino lea, sobee {iu sche nino et localiza leo del minima global (Cuando proceso de aprendzaj ac eo un inno lel una potble vis fare evita ico problems ee sumentar el nimero de peurona st Fed Em oases, considers qe proces ca un iin Teal ‘ito «au ln rot posse un eens poder de representa ern de (aera gue noes eagan de ding trance dbrentes Dropoconan _ ne lomo de fuacionamiento del percepteon mallcape 69 tne mis alias para esto patrons sto pode rlvers tment ‘i el mimero de eurnas orale, de manera qe lard pose uh aor ‘nimero departs bes y pa conser una mayor epeseatbii ‘hd el problema. [Exsten otras aproximacions par eitar el problem de os mimo b= fakes, como utllear ran de apredzajedacteiente a largo del proven ‘deaprendizaj, ptr do tra niiniaons de lon parmetros dear ‘edi rao al modo de descend gcse ene ota, ene dea pads, eambien conocido come sturacin, en PER Ccertmox mitcapa se produce cuando Ta entrada total aun neurons ‘iin od toma lores muy alton tanto positives emo agatvo. Debio que las fangs de action poste dos essttasborlzoatales (er Figura 2), In entrada au nearona alanan on valor ato, 65 ati, y alten un alr de acticin msm oman, a las Beuaciones (3.31) y (2.32) 0 observa que el ajste de os pare {ave da eo propor (010s (0) a een (i In nrorona j desl una neurna de sala et satura ico ‘aloo primi aco, pus y(n) = 00a) = 1 Por tan, cuando “rue el dno de parse un PERCHPTTRON maps oe parame. tore de rod permanvern invarate como cnsectnc Iasuna de lon crores locales permanececetant por un peo lng de emp [Lee eal, 1901) Auge sta seuacin pueda confunire co la ree ‘ade un inimo loa, por ror or arin, em ete cane posible ‘te despus e' wn eert ampo, el eror coming de mae a dese EL fnmeno de paris en el PERCEPRON maskicapa cure, fund tuentalat, canto los parece de lard aman tlre uy al. Por tanto, pra evita ste roam er conveninte prt de vale n= 3.5. Ejemplo de funcionamiento del perceptron multicapa En eta seen se presenta un eemplo ae muestra, por wt ad, la pasa a seguir por a teal de un proba tiinndo el PERCEETAON malo py por ot ldo, i infuonca que eto paretes pdrian tener ne ‘operant dea (Come eas pietic we plantea un problema de apron de funcionms ‘Spsngne qos desea constr en encernoN mulispa pars apni Ik ‘Stunt fonlon deine por partes (er Figura 3.) a