Professional Documents
Culture Documents
Case Study
1. UVOD ................................................................................................................... 3
2. HISTORIJAT RAZVOJA UMJETNE INTELIGENCIJE ................................... 4
3. INTELIGENCIJA ................................................................................................. 7
4. UMJETNA INTELIGENCIJA ............................................................................. 7
5. VJETAKE NEURONSKE MREE ................................................................ 8
5.1. Opis neuronske mree .............................................................................................. 8
5.2. Vrste neuronskih mrea ......................................................................................... 11
6. DIZAJNIRANJE I FAZE RAZVOJA NEURONSKE MREE ........................ 12
6.1. Uenje .................................................................................................................... 12
6.2. Testiranje mree ..................................................................................................... 15
6.3. Proces dizajniranja neuronske mree ..................................................................... 16
7. OBLASTI PRIMJENE NEURONSKIH MREA ............................................. 21
8. ZAKLJUAK ..................................................................................................... 23
9. LITERATURA ................................................................................................... 24
2
1. UVOD
Neuronske mree moemo opisati kao relativno novi koncept koriten u analizi
podataka, ija se iroka primjena oituje u drutvenim znanostima, tehnikim
znanostima, ekonomiji i mnogim drugim podrujima. Pod pojmom neuronske
mree podrazumijevat emo umjetne neuronske mree. U radu su opisani osnovni
pojmovi te metode neuronskih mrea, kao i pojava te razvoj zanimanja za umjetnu
inteligenciju. Takoer, opisani su i noviji primjeri uspjene primjene umjetne
inteligencije u 21. stoljeu. Kao najsvjeiji primjer razvoja umjetne inteligencije u
radu je navedena Wolfram Alpha, znanstvena trailica javnosti predstavljena 2009.
godine, koja odgovor na postavljeni upit daje pomou ugraenih algoritama na nain
da upite povezuje s dosadanjim spoznajama.
Iako razvoj neuronskih mrea ne see daleko u prolost, izrazito visoka uspjenost
njihove primjene odraava se u podruju predvianja i klasifikacije. Istraivanja i
razvoj umjetnih neuronskih mrea zasnovani su na postojeim saznanjima o nainu
funkcioniranja ljudskog mozga. Neuronski se sustav razvija pomou treninga na
velikom broju primjera te za dobivanje rjeenja nije potrebno utvrivanje na
pravilima ve definiranog znanja. Veina uspjenih aplikacija, razvijenih za primjenu
neuronskih mrea, dolazi od grupa s iskustvom u akademskoj i industrijskoj okolini
te je za oekivati kako e se daljnji razvoj kretati u istom smjeru.
Stalan teorijski razvoj, kao i velik broj zainteresiranih istraivaa diljem svijeta,
omoguio je da neuronske mree postanu tehnologija primjerena za primjenu u
raznim podrujima. Zajednika osobina svih neuronskih mrea je primanje odreenih
ulaznih informacija te transformiranje istih u izlazne rezultate. Neuronske mree
mogu se prikazati modelom podraaj reakcija, pri emu je podruje izmeu
navedenih ispunjeno formalnim modelima.
3
visok stupanj tolerancije greaka, ak i u sluaju analize nejasnih i manjkavih
podataka, mogue je doi do zadovoljavajueg rjeenja.
U trinaestom vijeku je Ramon Lul (1235-1316) opisao sistem Ars Magna kojim je
pokuao da pomou mehanikog kombiniranja, simbolike notacije i kombinatornih
dijagrama ostvari "inteligentan" sistem.
Zbog ovih preuranjenih izjava su se vodile brojne debate. Krajem 50-tih, sve do
sredine 60-tih godina prologa vijeka, problematika vjetake inteligencije bila je
dosta rasplinuta izmeu fantastike, mate, potencijalnih mogunosti i praktinih
ostvarenja. Zanemarivanje razlike izmeu potencijalne ostvarljivosti i obima
praktinih problema, koji se nalaze na putu do ostvarivanja ideje, je jedan od estih
4
uzroka nerazumjevanja mogunosti vjetake inteligencije. Ostvarivanjem praktinih
rezultata koji su nali primjenu u privredi, vjetaka inteligencija postaje interesantna
za veliki broj naunika razliitih oblasti. Danas postoje realizirani sistemi koji su u
stanju da autonomno obavljaju kompleksne probleme, kakve su jedino ljudi bili u
stanju da obavljaju. Nije rijedak sluaj da takvi sistemi obavljaju te zadatke i daleko
uspjenije od ljudi. U sprezi sa raunarima, maine postaju sposobne da rade
samostalno, da upravljaju same sobom i da proizvode druge maine, oslobaajui
ovjeka fizikog i monotonog rada, preputajui mu rad na sloenijim i kreativnijim
poslovima.
5
Razvoj umjetne inteligencije, od njenih poetaka do danas, moemo podijeliti u 5
faza:
Oekivanja postavljena neuronskim mreama u drugoj fazi nisu ispunjena te, unato
velikom napretku umjetne inteligencije, dio znanstvenika smatra kako istinska
umjetna inteligencija nikada nee biti ostvarena. Do velikog napretka u podruju iste
dolo je razvojem neuronskih mrea.
6
Neuronsko raunalstvo pojavljuje se kao alternativa Von Neumannovim raunalima
te nastoji simulirati paralelnu obradu informacija (poput obrade informacija koju
koristi ljudski mozak). Prvi jednostavni model neuronskih mrea nazvan je
perceptron.
3. INTELIGENCIJA
4. UMJETNA INTELIGENCIJA
7
kreiranja svjesne umjetne inteligencije, tj. pitanje je li inteligenciju mogue
reproducirati raunalom.
8
Vjetaki neuron prima ulazne podatke slino kao to bioloki neuroni primaju
elektohemijske impulse od drugih neurona. Izlazni podaci vjetakog neurona
odgovaraju signalima koje alju bioloki neuroni.
Na slici iznad je shematski prikazana jedna tipina topologija mree sa tri sloja
procesorskih jedinica (jedan ulazni, drugi srednji ili skriveni i trei izlazni). Svaka
procesorska jedinica je povezana sa vie susjednih jedinica, broj ovih veza izmeu
zapravo predstavlja snagu neuronske mree. Rad neuronske mree sa vie veza je
kompleksniji ali takva mrea moe da obavlja kompleksnije zadatke.
1
Izvor: https://hr.wikipedia.org/wiki/Umjetna_neuronska_mre%C5%BEa, pristupljeno 14.03.2017.
godine
9
da obavlja stotinu i vie osnovnih komandi kao to su sabiranje, oduzimanje,
mnoenje, punjenje, pomjeranje i dr.
Neuron prima ulaze koji mogu biti sirovi podaci ili podatak iz susjednog neurona,
koje procesira i proizvodi jedan izlaz. Sam izgled kao i princip obrade podataka
jedne elementarne procesorske jedinice u vjetakoj neuronskoj mrei podsjea na
princip prosljeivanja impulsa neurona u biolokom nervnom sistemu. Isto tako
procesorska jedinica je analogna jednoj eliji biolokog nervnog sistema, ulazne veze
odgovaraju dendritima a izlazne aksomima.
2
Izvor: http://pc.pcpress.rs/tekst.php?id=9688, pristupljeno 14.03.2017. godine
10
mrei su jednostavne i mogu obavljati samo jednu ili eventualno nekoliko
raunarskih operacija i meusobno su povezane tako da u jednoj neuronskoj mrei
postoji mnogo vie veza nego procesorskih jedinica.
Ako se slojevi povezu tako da signali putuju samo od ulaza prema izlazima mree,
nastaje unapredna neuronska mrea (feedforvvard neural netvvork). Ako postoji
barem jedna povratna petlja, tada se radi o povratnoj neuronskoj mrei (feedback on
recurrent neural netvvork). Oba tipa mrea slue za rjeavanje jedne vrste problema.
Predstavnik unaprednih mrea je MADALINE-mrea, dok je predstavnih povratnih
mrea Hopfieldova neuronska mrea.
11
6. DIZAJNIRANJE I FAZE RAZVOJA NEURONSKE MREE
Dizajn umjetne neuronske mree odvija se u dvije osnovne faze: najprije se odvija
faza uenja ili treniranja mree, a zatim slijedi faza testiranja.
6.1. Uenje
12
podacima iz prolosti, kako bi ona prepoznala vezu izmeu podataka i bila u
mogunosti na osnovu ulaznih vrijednosti predviati izlaze. Sama faza uenja je
proces podeavanja teina u mrei, koje se odvija u vie iteracija ili prolaza kroz
mreu. Jedna iteracija predstavlja uitavanje jednog promatranja iz podataka (jednog
ulaznog i izlaznog vektora), ali se zbog poveanja brzine uenja ponekad preporua
uitati vie promatranja odjednom, pri emu se broj promatranja koji se obrauju u
jednoj iteraciji zove epoha. U svakoj iteraciji raunaju se nove teine, a kod
nadgledanih algoritama i nova greka. Obino se mrea trenira u nekoliko tisua
iteracija.
Najvanije pitanje u ovoj fazi je koliko dugo trenirati mreu kako bi ona dala to
bolji rezultat, odnosno najmanju greku. Ne postoje egzaktna pravila za duinu
treniranja, te odgovor na ovo pitanje treba potraiti vlastitim eksperimentiranjem ili
primjenom optimizacijskih tehnika kao npr. tehnika unakrsnog testiranja. Ova se
tehnika moe opisati u nekoliko koraka:
Rezultat (npr. RMS greka) dobiven u fazi uenja nije mjerodavan za ocjenjivanje
mree, jer ne pokazuje ponaanje mree na novim podacima.
13
Slika 3. Shematski prikaz uenja neuronske mree primjenom algoritama temeljenih na
Pogreci
Budui da eljeni izlaz mree nije odreen za vrijeme uenja mree, rezultat uenja
nije predvidljiv. Tako se na primjer, od neuronske mree moe zahtijevati da slini"
skupovi ulaza aktiviraju izlaz jednog te istog neurona. Mrea organizirana na taj
nain se moe koristiti za kvalifikaciju ulaza, odnosno za prepoznavanje uzorka.
Nakon uenja provodi se postupak testiranja.
Uei novo te mree zaboravljaju staro (ne mogu reproducirati prethodno naueno
ponaanje).
14
Stoga se razvijaju adaptivni postupci uenja gdje se mrea tako adaptira da moe
prihvatiti nova znanja zadravajui ve nauena. Jedna od metoda adaptivnog uenja
umjetnih neuronskih mrea jest primjena teorije adaptivne rezonancije. Pristup se
zasniva na klasificiranju ulaznih vektora u jednu od vie kategorija kojoj su najblii,
a na osnovu kojih je mrea ve uila. Ako ulazni vektor ne pripada niti jednoj od
postojeih kategorija, uz dozvoljenu toleranciju, formira se nova kategorija koja
odgovara ulaznom vektoru. Na taj nain svaki novi ulazni vektor ili pripada ve
postojeim kategorijama pohranjenim u memoriju mree, ili formira dodatnu
kategoriju ne remetei postojee kategorije. Za nove (dodatne) kategorije provodi se
proces uenja mree koristei se algoritmom temeljenom na izlazu. Sa izraunatim
novim parametrima je rijeen problem usvajanja novih znanja neuronske mree bez
gubljenja postojeih.
15
gdje je ti izraunati izlaz koji daje mrea, oi je eljeni (stvarni) izlaz za sluaj
(ulazni vektor) i, a n je broj sluajeva u uzorku. Greka se uprosjeuje prema broju
izlaznih varijabli i u odnosu na broj sluajeva u uzorku na kojem se rauna. Kod
problema klasifikacije se u veini istraivanja koristi stopa klasifikacije kao mjerilo
ocjenjivanja mree. Stopa klasifikacije prikazuje postotak ili udio ispravno
klasificiranih promatranja. Kod problema predvianja najee se kao mjerila koriste
RMS greka, MSE (Mean Square Error), MAE (Mean Absolute Error), koeficijent
korelacije i dr.), dok se u novije vrijeme (Masters, 1998) posebno kod financijskih
problema naglaava potreba koritenja financijskih mjerila (npr. ostvareni
simulacijski profit, prosjeni profit i sl.).
16
Ovisno o temeljnim formulama koje se koriste za uenje, ulazne i izlazne funkcije,
postoje razliiti algoritmi NM, a unutar svakog algoritma mogue su intervencije u
strukturi mree (topologiji) i izboru parametara uenja, te tako postoji iroki spektar
NM arhitektura.
3
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
17
Slika 5. Raunanje greke neurona u izlaznom sloju4
4
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
5
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
6
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
18
Slika 8. Korekcija teina veza neurona u izlaznom sloju7
Teina veze w je jaina veze izmeu dva neurona. Ako je, na primjer, neuron j
povezan s neuronom i, wji oznaava teinu veze od neurona j prema neuronu i (wij
je teina obrnute veze od neurona i prema neuronu j). Ako je neuron i spojen s
neuronima 1,2,...,n, njihove teine su pohranjene u varijablama w1i, w2i, ..., wni.
Promjena teina obavlja se prema nekom od pravila uenja, a najee se koristi
Delta pravilo uenja prema formuli:
7
Izvor: http://eris.foi.hr/11neuronske/nn-predavanje4.html, pristupljeno 15.03.2017. godine
19
a h je koeficijent uenja. Neuron prima onoliko ulaza koliko ima ulaznih veza prema
tom neuronu, te proizvodi jedan izlaz u skladu s ugraenom prijenosnom funkcijom.
Cilj procesa uenja u mrei "irenje unatrag" je minimizirati gornju globalnu greku
irei je unazad u veze kroz mreu sve do ulaznog sloja. U procesu mijenjanja teina,
svaka veza u mrei korigira se kako bi se postigla manja globalna greka. Proces
poveanja ili smanjenja teina (uenje) izvodi se koritenjem pravila gradijentnog
opadanja:
20
Kada se gornji rezultat uvrsti u formulu za podeavanje teina, dobiva se:
gdje je momentum, koji ubrzava uenje kada je koeficijent uenja nizak. Uenje se
moe takoer ubrzati na nain da se teine ne podeavaju za svaki vektor treniranja,
nego kumulativno, pri emu se broj vektora treniranja nakon kojeg se teine
podeavaju zove epoha. Epoha koja nije jako velika moe unaprijediti brzinu
konvergiranja, ali vrlo velika epoha moe raunanje greke uiniti mnogo sloenijim
i na taj nain umanjiti prednosti.
21
Kompresija slika - Neuronske mree mogu primiti i procesirati ogromne
koliine informacija odjednom, to ih ini jako korisnim za kompresiju slika.
Primjena iste je psobneo rasprostarnjena prilikom izgardenje internet stranica,
ali i na socijalnim mreama.
Predvianje novanih kretanja - Svakodnevni poslovi i aktivnosti koje se
odvijaju na berzama izuzteno su komplikovani usljed velikog broja faktora
koji na njih utiu. S obzirom da neuronske mree mogu veoma brzo
analizirati i sortirati jako puno informacija iste se mogu korsititi za
predvianje cijena na berzi.
Otkrivanje prevara - Razvoj novih tehnologija pogoduje i kriminalcima koji
konsttantno unapreuju mehanzime prevara. Neuronske mree koje na
osnovu uzoraka mogu nauiti sumniive oblike da prepoznaju pribline klase,
klastere i oblike sumnjivog ponaanja, mogu se koristiti za otkrivanje
prevara.
Prodaja i marketing - Neurosnke mree se mogu koristiti za predvianje
buduih prodajnih rezultata na osnovu historijskih podataka o prethodnim
prodajnim i marketinkim aktivnostima. Takoer, u praksi je prepozanta
upotreba neuronskih mrea u cilju smanjenja trokova na nain da se
marketinkom kampanjom cilja konkretna grupa klijenata, koja ima najbolji,
odnosno zadovoljavajui procenat odgovora na prethodne kampanje.
Osim gore navedenih obalsti, upotreba neuronskih mrea se, izemu ostalog,
primjenjuje i u medicinskom sektoru, industrijskoj, naunoj i obrazovnoj oblasti,
zatim u provoenju operativnih analiza i prilikom rudarenja podataka.
22
8. ZAKLJUAK
23
9. LITERATURA
24