NEURONSKE MREE

NEURONSKA MREA je jedan oblik implementacije sistema vjetake inteligencije koji predstavlja sistem koji se sastoji od odreenog broja meusobno povezanih procesora (vorova) ili procesnih elemenata.

TA SU NEURONSKE MREE
Matematiki modeli po uzoru na mozak Bioloka i vjetaka NM

MOZAK I VNM
Mozak:
1010 neurona 1013 veza izmeu neurona Brzina rada na nivou milisec Potpuno paralelni rad

VNM:
Do 20 000 neurona Brzina rada na nivou nanosec Simulacija paralelnog rada

Kratka istorija razvoja NM

1943. Prvi matematiki model neurona 1957. Prva NM, perceptron - Poetni entuzijazam 1969. Kritika perceptrona, naputanje istraivanja o NM 1986 Vieslojni perceptron Nastavak istraivanja i industrijska primjena od 1990. godine.

DEFINICIJE
DARPA: Neuronska mrea je sistem koji se sastoji od velikog broja meusobno povezanih, jednostavnih elemenata procesiranja koji rade paralelno. Funkcija NM je odreena strukturom mree, teinom veza, i obradom u elementima procesiranja. Haykin: Neuronska mrea je paralelni distribuirani procesor koji ima prirodnu sposobnost uvanja i koridenja iskustvenog znanja. Slinost sa mozgom se ogleda kroz dvije osobine: mrea stie znanje kroz proces uenja znanje se uva u vezama izmeu neurona (sinaptikim teinama) Zurada: Vetaki neuro sistemi ili neuronske mree, su delijski (raunarski) sistemi koji mogu da stiu, uvaju i koriste iskustveno znanje.

Bioloka neuronska mrea

Bioloka neuronska mrea

Osnovna jedinica nervog sistema je nervna delija ili neuron. Ima etiri osnovna dijela:

ulazni dio elije - sadri skup razgranatih niti

nazvanih dendriti,

tijelo elije - obrauje signale koje dobija od

dendrita, - izlazni dio elije - dobijajeni izlazni impuls se proslijeuje na sve krajeve razgranate niti - aksone, i

sinapse - mjesto gde se akson dodiruje sa

dendritima neke druge elije.

Bioloka neuronska mrea

Bioloka neuronska mrea

Uenje se kod biolokih sistema obavlja putem regulisanja sinaptikih veza, koje povezuju aksone i dendrite neurona. Uenje tipinih dogaaja putem primjera se ostvaruje preko treninga ili otkria do tanih setova podataka ulaza - izlaza, koji treniraju algoritam ponavljanjem podeavajui propusne (teinske) koeficijente veza (sinapse). Ove veze memoriu znanje neophodno za rjeavanje specifinog problema.

NM
Prirodni neuroni su znatno komplikovaniji od vjetakih. Vjetaki neuroni, izvedeni u VLSI tehnologiji, znatno su bri od prirodnih. Visok stepen meusobne povezanosti, njihov ogroman broj i jo vei broj veza izmeu njih, ine bioloke nervne sisteme nedostinim za dananju tehnologiju. Mala je vjerovatnoa da e principijelna ema stotine milijardi veza biti u dogledno vrijeme analizirana.

Vjetaka neuronska mrea

Vjetaka neuronska mrea

Vjetake neuronske mree ine raunari koji se razlikuju od tradicionalnih, klasinih, raunara sa Von Neumann-ovom arhitekturom. Kod klasinog raunara jedan centralni procesor sekvencijalno obavlja instrukcije zadate programom. Pri tome procesor moe da obavlja stotinu i vie osnovnih naredbi, kao to su sabiranje, oduzimanje, mnoenje, punjenje, pomjeranje i drugo.

Bioloki i vjetaki neuron

Osnovni delovi: telo(soma), dendriti(ulazi), akson(izlaz), sinapse(spojevi)

Vjetaki neuron

output = f (w1in1+ +wninn)

Model vjetakog neurona

Gdje su: u1...n ulazni podaci, w1...n teinski koeficijenti, f( ) aktivaciona funkcija, i i izlazni podatak.

Vjetaki neuron

Osnovni elementi vjetakog neurona

Ulazna funkcija sumiranja Funkcija transfera Ulazi sa teinskim koeficijentima Izlaz

NM
Koeficijenti veza izmeu neurona podeavaju na osnovu ulaznih podataka, tako da neuroni ue preko primjera i posjeduju sposobnost za generalizaciju poslije unijetog primjera.

FUNKCIJE TRANSFERA

Linearna Odskona

Sigmoidna

Vrste NM prema arhitekturi

Vjetaka neuronska mrea

U VNM procesorske jedinice su povezane odreenom topologijom strukturom paralelnog distribuiranog procesiranja (PDP). Istovremeno radi vie procesorskih jedinica, a rezultati njihove obrade PDP strukturom prelaze na druge jedinice, itd. Procesorske jedinice u jednoj VNM su jednostavne i mogu obavljati samo jednu ili eventualno nekoliko raunskih operacija i meusobno su povezane tako da u jednoj NM postoji mnogo vie veza nego procesorskih jedinica.

Vjetaka neuronska mrea

NM se ne programiraju ve "obuavaju". Prije nego to se ponu primenjivati, ulae se dosta vremena za obuavanje, uenje ili treniranje NM. Proces obuavanja se najee zasniva na auriranju teinskih koeficijenata veza. Teinski koeficijenti veza su koeficijenti koji su dodjeljeni u svakom trenutku vezama NM. Za vrijeme obuavanja ovi se koeficijenti auriraju.

Vjetaki neuron
Ulazni sloj se sastoji od ulaznih procesorskih jedinica. Svakoj jedinici se dodjeljuje odreena vrijednost u zavisnosti od vrijednosti pojedinih elemenata niza. Sa svojih izlaza, ove procesorske jedinice proslijeuju signale do slijedeeg sloja prema topologiji date mree.

Neuronsku mreu ine:

Arhitektura mree (ema vezivanja neurona). Prenosna funkcija neurona. Zakoni uenja.

Neuronske mree
Arhitekturu vjetake neuronske mree predstavlja specifino ureenje i povezivanje neurona u obliku mree. Po arhitekturi, neuronske mree se razlikuju prema broju neuronskih slojeva. Obino svaki sloj prima ulaze iz prethodnog sloja, a svoje izlaze alje narednom sloju.

Neuronske mree
Prvi sloj prenosi signale slijedeem sloju (skrivenom sloju), koji obrauje ove podatke i izdvaja osobine i eme iz primljenih signala. Podaci koji se smatraju vanim se upuuju izlaznom sloju, posljednjem sloju mree. Na izlazima neurona treeg sloja se dobijaju konani rezultati obrade. Sloenije NM mogu imati vie skrivenih slojeva.

Neuronske mree
Uenje NM se svodi na uenje iz primjera, kojih treba da bude to vie. Proces uenja dovodi do korigovanja sinaptikih teina. Postoji tri tipa obuavanja:
Nadgledano obuavanje: mrei se predstavljaju ulazni
podaci i oekivani izlazni podaci;

Obuavanje ocjenjivanjem: mrei se ne predstavljaju

oekivani izlazni podaci, nego joj se poslije izvjesnog vremena predstavlja ocjena prethodnog rada.

Samoorganizacija: mrei se predstavljaju iskljuivo ulazi.

NM
Neuronske mree moemo klasifikovati prema:
Broju slojeva: Jednoslojne; Vieslojne. Vrsti veza izmeu neurona. Vrsti obuavanja neuronskih mrea. Smjeru prostiranja informacija: feedforward (nepovratne); feedback (povratne). Vrsti podataka.

NM
Pokazuju dobre rezultate prilikom predvianja i modeliranja sistema, gdje fiziki procesi nisu jasni ili su veoma kompleksni. Elastine su prema poremeajima u ulaznim podacima. Uspjeno rjeavaju probleme koji su previe kompleksni za konvencionalne tehnologije (na primjer, problemi koji nemaju algoritamsko rjeenje)

NM
Neuronske mree su sistemi sastavljeni od vie jednostavnih elemenata (neurona), a obrauju podatke paralelno. Svaki elemenat NM operie samo lokalnim informacijama, radi sinhronizovano, kao da nema sistemskog sata.

NM
Vjetake NM su po strukturi, funkciji i obradi informacija sline biolokim NM, mada se radi o vjetakim tvorevinama. Bioloke NM su daleko komplikovanije od svojih matematikih modela, koji se koriste za vjetake NM. One predstavljaju sistem sastavljen od velikog broja jednostavnih elemenata za obradu podataka.

NM
NM su sposobne za prikupljanje, memorisanje i koritenje eksperimentalnog znanja. Sastavljene su od vie jednostavnih procesora (jedinica, neurona), gdje svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrauje. Te jedinice su povezane komunikacionim kanalima (vezama). Jedinice obrauju samo svoje lokalne podatke i ulaze koje primaju preko konekcije.

Neuronske mree
Arhitektura neuronske mree predstavlja specifino povezivanje neurona u jednu celinu. Struktura se razlikuje po broju slojeva.

Prvi sloj se naziva ulazni, a poslednji izlazni, dok se slojevi

izmeu nazivaju skriveni slojevi. Najede ih ima tri. Prvi sloj prima podatke iz spoljanje sredine,

Skriveni sloj prosleuje relevantne podatke do tredeg

(izlaznog) sloja. Na izlazu tredeg sloja dobijamo konaan rezultat. Sloenije neuronske mree imaju vie skrivenih slojeva.

Vjetaki neuron

Neuronske mree
KARAKTERISTIKE:

Mogu paralelno da obrauju podatke. Komponente su nezavisne jedne od drugih. Istovremeno radi vie procesorskih jedinica, da bi rezultati njihove obrade preli na sljedede jedinice (neurone). Procesorske jedinice u jednoj neuronskoj mrei su jednostavne i mogu obavljati samo jedno ili eventualno nekoliko raunarskih operacija i meusobno su povezani tako da u jednoj neuronskoj mrei postoji mnogo vie veza nego procesorskih jedinica. Broj veza izmeu neurona predstavlja njenu snagu.

Zto neuronske mree?

Omogudavaju inteligentno procesiranje bez prethodno definisanog modela ili algoritma ved na osnovu podataka o ponaanju nekog sistema. Imaju sposobnost uenja. Primenjive su na irok spektar problema. Efikasno mogu da rjeavaju veoma sloene probleme koji bi inae bili teko rjeivi nekim algoritamskim postpupkom.

Neuronske mree
Neuronske mree se ne programiraju, ved se treniraju, tako da je potrebno dosta vremena za njihovo obuavanje, prije nego to ponu da se koriste.

UENJE NM
Obuavanje se vri tako to se auriraju teinski koeficijenti da bi se sljededi put dobio izlaz blii zadatoj vrijednosti. Kada se obuavanje zavri, teinski koeficijenti ostaju isti i mrea se moe primjeniti za predvieni zadatak.

UENJE NM
Trening se sastoji iz toga da korisnik zadaje ulazne i izlazne vrijednosti, a mrea pokuava da dobije odgovarajudu izlaznu vrijednost. U poetku mrea pravi odreene greke, a odgovarajudom promjenom teinskih koeficijenata, smanjuje se razlika dobijene i zadate izlazne vrijednosti.

UENJE/TRENING NM
Uenje: - procedura podeavanja teina veza tako da mrea dobije eljeno ponaanje/funkcionalnost. Uenje sa uiteljem supervised Uenje bez uitelja unsupervised

Trening mree
Odreivanje optimalnih parametara mree i algoritma za trening. Broj skrivenih slojeva i broj neurona u svakom sloju (vie ne znai bolje, cilj je imati to manje). Dinamiko podeavanje parametara. Validacija parametara (sa probnim skupom). Trening i test set. Pretreniravanje i generalizacija.

UENJE NM
Podaci iz trening skupa se periodino proputaju kroz NM. Dobijene vrijednosti na izlazu mree se uporeuju sa oekivanim. Ukoliko postoji razlika izmeu dobijenih i oekivanih podataka, prave se modifikacije na vezama izmeu neurona u cilju smanjivanja razlike trenutnog i eljenog izlaza.

UENJE NM
Neuronska mrea je obuena ako moe tano da rjeava zadatke za koje je obuavana.

NAJVANIJE KARAKTERISTIKE VNM

1. Imaju sposobnost uenja 2. Imaju sposobnost generalizacije 3. Otporne na pogrean ulaz i um

VRSTE PROBLEMA ZA KOJE SE KORISTE VNM

Klasifikacija Prepoznavanje (oblika, govora, vektora...) Aproksimacija Optimizacija Obrada signala Modeliranje sistema Predvianje Kontrola i upravljanje

KADA SE KORISTE NM
Kada nema jasno definisanog matematikog modela ili drugog reenja. Kada je potrebna otpornost na nepotpun ili pogrean ulaz. Kada je potrebna sposobnost uenja. Kada se sa NM postiu bolji rezultati nego sa alternativnim reenjima (npr. odziv u realnom vremenu, tolerancija na greke).

PROBLEMI U PRIMJENI VNM

Nedostatak semantike u strukturi Da li je neki problem uopte reiv sa NM? Problemi sa odreivanjem arhitekture i treningom za odreenu primjenu Plastinost / stabilnost

PRIMJERI PRIMJENE
Predvianje na berzi. Klasifikacija i prepoznavanje objekata na radaru. Prepoznavanje slika, slova, lica, otisaka prstiju Dijagnostika u medicini. Filtriranje uma u signalu. Aerodinamina konfiguracija ploa kod F-117.

Procedura rjeavanje problema pomodu NM

Prikupljanje i priprema podataka. Trening mree. Testiranje mree. Odreivanje optimalnih parametara mree i treninga eksperimentalnim putem (broj neurona, broj slojeva neurona, parametri algoritma za uenje, podaci za trening)

Priprema podataka
Filtriranje. Normalizacija. Redukcija dimenzionalnosti. Uspeh rjeavanja u potpunosti zavisi od podataka koji se koriste za trening mree. Voditi rauna o teorijskoj opravdansti reprezentativnosti koridenih podataka za odreeni problem.

Bududnost NM
U bududnosti se oekuju brojne nove primjene: pouzdano prepoznavanje i verifikacija rukom pisanih tekstova, prevoenje telefonskih razgovora sa jezika na jezik, rutinsko komuniciranje sa raunarima posredstvom ljudskog glasa.