UNIVERZITET U TUZLI 2012/13 TEHNOLOKI FAKULTET ZATITA OKOLINE

Umjetne neuronske mree

Almir Mehii Ismar Terzi Zlatan iak SADRAJ

Asistent: Selma Tuzlak

1.UVOD 2.NEURON 2.1.Bioloki neuron 2.2.Umjetni neuron 2.3.Percepton 2.4.Definicija umjetnih neuronskih mrea 2.5.Postupak uenja mree 2.6.Struktura mree 3.PRIMJER RASPOZNAVANJA NOVANICA 3.1.Priprema uzorka za klasifikaciju 4.Primjena ANN u medicini

1.UVOD

Iako danas veinu podataka koje ne obraujemo snagom vlastita uma obraujemo digitalnim raunalom, potpuno je pogrena slika svijeta u kojem upravo raunala obrauju veinu podataka. Digitalna raunala svakodnevno obrauju doista ogromnu koliinu podataka zapravo gotovo sva automatizirana obrada radi se pomou raunala. No, to je tek malen dio podataka naspram onih koji se iz sekunde u sekundu obrauju u mozgovima ivih bia to nastoje preivjeti u svojoj okolini. Ako obradu podatka promatramo na spomenuti nain, shvaamo elju za ostvarenjem drugaijeg koncepta kojim bi bilo mogue imitirati obradu podataka kakva ve milijunima godina postoji u prirodi Danas znamo da se ljudski mozak sastoji od velikog broja ivanih stanica (neurona), koji pri obradi razliitih vrsta informacija rade paralelno. Neurofizioloka istraivanja, koja su nam omoguila bolje razumijevanje strukture mozga, pa ak i kognitivna psihologija koja promatra obradu podataka ovjeka na makro-razini - daju naslutiti da je modelu mozga najsliniji model u kojem brojni procesni elementi podatke obrauju paralelno. Podruje raunarstva koje se bavi tim aspektom obrade informacija zovemo neuro-raunarstvo, a paradigmu obrade podatka umjetnom neuronskom mreom (engl. Artifical Neural Network, ANN).

2. NEURON

2.1. Bioloki neuron Lake razumijevanje umjetnih neurona iziskuje poznavanje strukture biolokih neurona kao specijalizovane elije nervnog sistema koja posjeduje osobinu uzbude odnosno razdraljivosti i prenosa signala koji mogu biti sumirajui kao: Spreavajui Koei Inhibirajui Bioloki neuron se sastoji od tijela elije koje sadri jedro i citoplazmu, zatvorene opnommembranom od koje polaze razgranate izrasline-dendriti i tanke cjevice-vlakna kojih je jedan kraj povezan za tijelo neurona a drugi se dijeli na niz grana iji krajevi dodiruju dendrite to se susree pod pojmom akson. Mali razmak izmeu zavretka aksona predhodnog neurona i tijela sledeeg neurona naziva se sinapsa. Tako zavrni ogranci aksona dolaze u vezu sa drugim elijama preko sinaptikih kontakata. Isto tako od aksona polaze i izrasline-kolaterale koje takodje dolaze u vezu sa drugim elijama. U tom smislu akson jednog neurona formira sinaptike veze sa mnotvom drugih neurona tako da impulsni izlaz iz neurona putuje kroz akson do sinapse odakle se signali razliitog intenziteta alju kroz dendrite ka tijelima drugih neurona.

Slika 1. Graa neurona Poznato je da ljudski mozak posejduje preko 100 milijardi neurona koji ine vrlo sofisticiranu, nadasve, sloenu bioloku neuronsku mreu. Neuroni u biolokoj neuronskoj mrei komuniciraju meu sobom preko neuronskih vlakana koja grade, mogue, preko 1015 veza. Ova bioloka neuronska mrea ljudskog mozga kreira fenomene koje nazivamo: Razmiljanje Logiko rasuivanje Uenje Emocije Intuicija Anticipacija Percepcija Asocijacija Kao i izvoenje odgovarajuce motorne senzorike u autonomnih funkcija. Tako se mogu sresti i podjele na:

 Senzitivne Motorne Asocijativne 2.2. Umjetni neuron Logiki formalni model umjetnog neurona ustvari predstavlja ureaj s vie ulaza, pragom, i jednim izlazom koji radi u binarnom kodu. Dejstvo svakog ulaza na formalni model neurona moe imati vrijednosti 1 ili -1. Za sluaj da je suma ulaznih dejstava vea od praga osjetljivosti neuron se pobudjuje i na njegovom izlazu se pojavljuje signal. Ovakvim nainom funkcioniranja neuron realizuje odreenu logiku funkciju koja povezuje vrijednost izlaza sa signalima na ulazima modela.

Slika 2. Umjetni neuron Sumator umjetnog nurona supstituira tijelo biolokog neurona, dok ulazi u sumator preuzimaju ulogu dendrita, a izlaz sumatora je akson umjetnog neurona. Bitna funkcija praga osjetljivosti biolokog neurona preslikana je na tzv. aktivacijske funkcije. Aktivacijska funkcija koja moze biti linearna i nelinearna na svom izlazu producira izlaz umjetnog neurona. Nelinearne aktivacijske funkcije mogu poprimiti sledee oblike: Funkcije praga osjetljivosti Sigmoidalne Hiperboline Harmonine funkcije

2.3. Perceptron

Prva umjetna neuronska mrea Mak Baloka-Pitsa predstavlja determinisani model nervnog sistema, model ija je struktura veza i vrijednosti pragova fiksirana. Ovako definisan modle odgovara predstavi o mozgu koa o nekoj specijalizovanoj raunarskoj maini. Tekoce kojes e objektivno javljaju u funkcioniranju UNM savlauju se slucajnim modelima mozga. U klasu ovakvih modela UNM spada perceptron kao jedan od najinteresantnijih i najplodonosnijih modela koritenja za reprodukciju nekih funkcija mozga. Tako se moe dati cjelovita definicija da su perceptroni modeli odreene klase, koje karakteristie postojanje memorije i sluajne strukture veza meu elementima. U tom smislu klasini perceptron se sastoji iz pragovskih elemenata tri tipa: Ulaznih signala X1, X2,...Xn S-elementi, receptori Asocijativnih A-elemenata od kojih svaki prima signale od S-elemenata R-elemenata koji formira izlazni signal na dejstvo A-elemenata Percepton je bio prvi automat sposoban da se obui za raspoznavanje da bi se kasnije sloenije strukture bile umogunosti osvojiti zadatke znatno kompleksnijeg sadraja ukljuujii i zadatke koje rjeava i sam ljudski mozak. 2.4.Definicija umjetnih neuronskih mrea Umjetna neuronska mrea u irem je smislu rijei umjetna replika ljudskog mozga kojom se nastoji simulirati postupak uenja. To je paradigma kojom su implementirani pojednostavljeni modeli to sainjavaju bioloku neuronsku mreu. Analogija s pravim biolokim uzorom zapravo je dosta klimava jer uz mnoga uinjena pojednostavljena postoje jo mnogi fenomeni ivanog sistema koji nisu modelirani umjetnim neuronskim mreama, kao to postoje i karakteristike umjetnih neronskih mrea koje se ne slau s onima biolokih sustava. Neuronska mrea jest skup meusobno povezanih jednostavnih procesnih elemenata, jedinica ili vorova, ija se funkcionalnost temelji na biolokom neuronu. Pri tome je odbrandbena mo mree pohranjena u snazi veza izmeu pojedinih neurona tj. teinama do kojih se dolazi postupkom prilagodbe odnosno uenjem iz skupa podataka za uenje. Neuronska mrea obrauje podatke distribuiranim paralelnim radom svojih vorova. Neuronske mree odlino rjeavaju probleme klasifikacije i predvianja, odnosno openito sve probleme kod kojih postoji odnos izmeu prediktorskih (ulaznih) i zavisnih (izlaznih) varijabli, bez obriza na visoku sloenost te veze (nelinearnost). Danas se neuronske mree primjenjuju u mnogim segmentima ivota poput medicine, bankarstva, strojarstva, geologije, fizike itd., najee za slijedee zadatke: Rasopznavanje uzoraka Obrada slike Obrada govora Problemi optimizacije Nelinearno upravljanje Obrada nepreciznih i nekompletnih zadataka Simulacija i sl.

2.5.Postupak uenja mree

Jednostavnije neuronske mree mogue je konstruirati tako da obavljaju odreeni zadatak. Ovo e redom biti mogue za mree koje se sastoje od TLU(Threshold Logic Unit) perceptrona, i koje obavljaju unaprijed zadanu logiku funkciju, jer u tom sluaju moemo pratiti to i kako tano mrea radi. U sluaju kada se koriste sloenije prijenosne funkcije, poput sigmoidalne, ili doputa rad s realnim brojevima, tipino se gubi nadzor nad nainom kako mrea obrauje podatke. U tom sluaju uobiajeno se da se definira arhitektura mree, i prije postupka obrade podatka obavi postupak uenja ili treniranja. Za razliku od konvencionalnih tehnika obrade podataka gdje je postupak obrade potrebno analitiki razloiti na odreeni broj algoritamskih koraka, kod ovog tipa neuronskih mrea takav algoritam ne postoji. Znanje o obradi podataka, tj. znanje o izlazu kao funkciji ulaza, pohranjeno je implicitno u teinama veza izmeu neurona. Te se teine postupno prilagoavaju kroz postupak uenja neuronske mree sve do trenutka kada je izlaz iz mree, provjeren na skupu podataka za testiranje, zadovoljavajui. Pod postupkom uenja kod neuronskih mrea podrazumijevamo iterativan postupak predoavanja ulaznih primjera (uzoraka, iskustva) i eventualno oekivana izlaza. Ovisno o tome da li nam je u postupku uenja znan izlaz iz mree, pa ga priuenju mree koristimo uz svaki ulazni primjer, ili nam je taan izlaz nepoznat razlikujemo dva naina uenja: uenje s uiteljem (engl. supervised learning) uenje mree provodi se primjerima u obliku para (ulaz, izlaz), uenje bez uitelja (engl. unsupervised learning) mrea ui bez poznavanja izlaza. 2.6. Struktura mree Nain na koji su neuroni meusobno organizirani i povezani u mrei odreuju njezinu arhitekturu. Razlikujemo etiri osnovne arhitekture: aciklika (engl. feedforward net) mrea, mrea s povratnom vezom (engl. recurrent net), lateralno povezana mrea (reetkasta), hibridne mree.

Slika 3.Neke strukture mrea

Slika 4. Mrea za klasifikaciju sastavljena od TLU perceptrona

3.Primjer raspoznavanje novanica Zadatak mree jest klasifikacija etiri razliite vrsta papirnatih novanica. Skup primjera za uenje sainjavaju novanice od 5, 10, 20 i 50 kuna, svaka u etiri mogue varijante ovisno o orijentaciji. Pojedina se novanica moe pojaviti na ulazu neuronske mree bilo licem ili nalijem, kao to moe biti i rotirana za 180 stupnjeva. Mrea, nakon to joj se na ulazu predoi odgovarajuim postupkom prethodno pripremljeni uzorak, na izlazu ima odrediti o kojoj je novanici rije. Klasifikacija mora biti neovisna o orijentaciji.

Slika 5. Skup primjera za uenje Od neuronske se mree oekuje da uini generalizaciju, pa da sve primjerke jedne te iste novanice klasificira ispravno, neovisno o prisutnim varijacijama u intenzitetu komponenti pojedinih slikovnih elemenata. Od mree se takoer zahtjeva odreeni stupanj tolerancije na oekivana oteenja novanica, poput neistoa, poderanosti i sl. 3.1. Priprema uzorka za klasifikaciju Postupak prikazuje slika 6. Novanicu je najprije potrebno pretvoriti u digitalni oblik, to se ostvaruje skeniranjem na odreenoj rezoluciji. Pretpostavimo da je skeniranje uinjeno skenerom u boji s rezolucijom od 300 taaka po inu i da je prosjena veliina novanice 14x7 cm. Nakon tog postupka dobivena digitalna slika uzorka dimenzija je otprilike 1500x800 slikovnih elemenata. Slika se zatim nanovo uzorkuje na veliinu 45x22 slikovnih elemenata. Veliina je odabrana proizvoljno i, kako e se pokazati, dovoljno je mala da omoguava brzu klasifikaciju, a opet dovoljno velika da bi klasifikacija bila ispravna. Uzorkovanje se openito moe provoditi raznim algoritmima, npr. bikubinim filtrom, ili jednostavno uprosjeivanjem vrijednosti intenziteta skupine susjednih slikovnih elemenata. Nakon to je digitalna slika smanjena na prihvatljivu veliinu, provodi se jo i transformacija u crno-bijelu sliku. Openito, ovaj korak moe izostati i mreu se moe uiti tako da klasificira i na temelju boja. U tom sluaju sliku bi trebalo dodatno smanjiti ako elimo zadrati isti broj ulaznih neurona. Transformacija boja takoer se moe provoditi na razliite naine, najjednostavniji od kojih je raunanje srednje vrijednosti RGB komponenti slikovnog elementa.

Slika 6. Postupak pripreme uzorka

Slika 7. Umjetna neuronska mreza za klasifikaciju novcanica Uenje se provodilo tako da je za uzorak novanice od 5 kn na izlaznom sloju samo izlaz prvog neurona postavljen na jedinicu, a svi ostali na nule. Za uzorak od 10 kn svi su neuroni postavljeni na nulu, osim drugog koji je postavljen na jedinicu, i tako redom za uzorak od 20 kn i 50 kn. Vano je uoiti da je mrea uena samo s primjerima iz skupa za uenje prikazanim na slici 5. Mrea nije uena s antiprimjerima, to znai da se za svaki uzorak doveden na ulaz pretpostavlja da je iz skupa 5, 10, 20 ili 50 kn. Kada uzorak ne bi bio iz tog skupa (primjerice neka strana valuta), on e unato tome biti klasificiran kao jedna od novanica iz poznatog skupa. U tom sluaju ne moemo govoriti o pogrenoj klasifikaciji, jer namjena konstruirane mree nije dati odgovor na pitanje pripada li novanica skupu za uenje ili ne.

4.Primjena ANN u medicini Razvoj i sve ea uporaba ANN u obradi fiziolokih signala i podataka u podruju anesteziologije: Alarmiranje: dvije ANN kontroliraju respiratorni sistem pacijenta. Jedna otkriva smetnje sustava (tonost 95.6%), a druga ih locira (tonost 96%). Lijenicima bez ANN za dijagnosticiranje smetnje treba 45 sekundi, s ANN samo 17 sekundi. Krvni pritisak: ANN obrauje oscilometrike signale s ela pacijenta. Kontrola dubine anestezije: predvianje na temelju dobi, teine, pulsa, disanja i krvnog pritiska pacijenta. ANN uspjeno emulira produkcijski sustav s 400 produkcijskih pravila. EEG (elektroencefalografija): klasifikacija i interpretacija uzoraka signala. Takoer i otkrivanje neurolokih poremeaja i mentalne patologije, npr. izofrenija, Parkinsonova bolest, poremeaji spavanja, epilepsija.