Odjel za matematiku Sveuilite J. J.

Strossmayera, Osijek Raunarski praktikum III

Monika Blaevi Iva Greguri

Naziv projekta:

Klasifikacija gljiva
Neuronska mrea (engl.: Neural Network) je zbir umjetnih neurona (najee kao apstraktnih pojmova) koji su meusobno povezani i interaktivni kroz operacije obrade signala. Ureena je po uzoru na ljudski mozak. Mrea moe imati niz ulaza, ali samo jedan izlaz. Strunom terminologijom organizirana je kroz ulazne i skrivene slojeve te izlazni sloj. Neuroni su, kao i slojevi, meusobno spojeni vezama kroz koje idu signali. Ako je izlazni signal proao kontrolnu operaciju, zavrni neuron odnosno izlazni sloj je aktiviran. Meusobne veze unutar mree se valoriziraju tijekom faze uenja, odnosno uvjebavanja mree. Kao alat ponekad se moe pokazati uspjenijom od drugih naina obrade ulaznih podataka ili mjerenja, posebno ako se takvi podatci ne mogu prikazati strukturiranim algoritmom. Upotrebljava se za predvianje i klasifikaciju. Predmet rada ovog projekta jest rjeavanje problema klasifikacije gljiva na jestive i nejestive. Podaci za izgradnju neuronske mree uzeti su iz vodia ''The Audubon Society Field Guide to North American Mushrooms'' izdanog 1981., autora G.H. Lincoffa, a nalaze se na stranici: http://www.cs.sfu.ca/~wangk/ucidata/dataset/mushroom/

Ulazne i izlazne varijable Ulazne varijable: 1. Oblik klobuka 2. Povrina klobuka 3. Boja klobuka 4. Oteenje 5. Miris 6. Postojanje listia 7. Razmak listie 8. Veliina listia 9. Boja listiaoblik struka 10. Povrina struka iznad prstena 11. Povrina struka ispod prstena 12. Boja struka znad prstena

13. Boja struka ispod prstena 14. Tip veluma 15. Boja veluma 16. Broj prstenova 17. Tip prstenova 18. Boja tiska spora 19. Populacija 20. Prebivalite

Izlazne varijable: 1. jestivost 2. nejestivost Imamo 20 ulaznih varijabli i 2 izlazne varijable. Uzorak se sastoji od 8124 podataka. Obrada neuronskom mreom Kako bismo podatke obradili neuronskom mreom, najprije smo napravili sluajno mijeanje ukupnog uzorka te ih podijelili na tri poduzorka: treniranje (60% podataka) unakrsna validacija (20% podataka) testiranje (20% podataka)

Pri izradi neuronske mree koristili smo sljedei algoritam: Multi-layer perceptron koji pripada skupini algoritama NM-a prema broju slojeva -vieslojni. Njega smo koristili jer je jednostavan za koritenje i daje rezultate bez obzira kakve ulazne mape imali. Parametri koje smo mijanjali su: broj skrivenih slojeva (Hidden Layers) broj skrivenih neurona (Processing Elements) maksimalan broj epoha za uenje (Maximum Epochs) prijenosnu funkciju u skrivenom i izlaznom sloju (Transfer) pravilo uenja (Learning Rule) moment (Momentum)

Rezultati neuronske mree Rezultati neuronske mree prikazani su u Tablici 1.:

Rb

Broj skrivenih slojeva (hidden layers)

broj skriven ih neuron a (# Hidden PE)

max. broj epoha za uenje (Epoch)

Prijenosna funkcija u skrivenom i izlaznom sloju (Transfer)

TRAIN rezultati Pravilo uenja (Learni ng Rule) Momen tum Najnia greka (MSE) Stopa klasifikaci je (za svaku klasu posebno)

TEST rezultati Stopa klasifikaci je (za svaku klasu posebno) Prosjena stopa klasifikaci je (%)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

1 1 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 1 1 1

4 2 1 3 3 3 1 2 5 3 3 3 2 2 3 2 2 3 2 3

1000 1000 1000 1000 2000 2000 1000 1000 1000 3000 3000 1000 1000 1000 1000 1000 1000 1000 1000 3000

TanhAxon Mome 0.700 ntum 000 TanhAxon Mome 0.700 ntum 000 TanhAxon Mome 0.700 ntum 000 TanhAxon Mome 0.700 ntum 000 TanhAxon Mome 0.700 ntum 000 SigmoidA Mome 0.700 xon ntum 000 SigmoidA Mome 0.700 xon ntum 000 SigmoidA Mome 0.700 xon ntum 000 SigmoidA Mome 0.700 xon ntum 000 SigmoidA Mome 0.700 xon ntum 000 TanhAxon Delta 0.700 BarDe 000 lta SigmoidA Delta 0.700 xon BarDe 000 lta SigmoidA Delta 0.700 xon BarDe 000 lta TanhAxon Delta 0.700 BarDe 000 lta TanhAxon Mome 0.1 ntum TanhAxon Mome 1.0 ntum SigmoidA Mome 0.1 xon ntum TanhAxon Mome 0.5 ntum SigmoidA Mome 0.5 xon ntum SigmoidA Delta 0.700 xon BarDe 000 lta Tablica 1.

0.0011 82 0.0852 84 0.0410 37634 0.0004 96459 0.0001 73 0.0455 6319 0.0634 2139 0.0592 2355 0.0538 7274 0.0315 8905 3,5786 E-06 0.0119 17 0.0283 56748 0,0244 17883 0,0253 25025 0,2725 71519 0,1067 49247 0.0112 21517 0.0788 35236 0.0135 63474

I.100 II.100 I.94.98 II.100 I.95.67 II.99.86 I.100 II.100 I.100 II.100 I.95.44 II.94.39 I.95.89 II.90.10 I.95.55 II.92.64 I.95.55 II.93.45 I.94.52 II.97.32 I.100 II.100 I.98.63 II.97.19 I.94.74 II.99.46 I.99.09 II.94.52 I.95.89 II.98.8 I.0 II.100 I.94.98 II.83.96 I.99.66 II.97.59 I.95.55 II.89.71 I.99.43 II.97.19

100 97.49 97.765 100 100 94.915 92.995 94.095 94.5 95.92 100 97.91 97.1 96.805 97.945 50 89.47 98.625 92.63 98.31

Najbolji rezultat Najbolji rezultat dobiven je u mrei 4 i i znosi 100 % (u Tablici 2. oznaen utom bojom). Dobiven je s 1 skrivenim slojem, 3 neurona u skrivenom sloju, tangens-hiperbolnom prijenosnom funkcijom, pravilom uenja Momentum s korakom 0.7, te maksimalnim brojem iteracija 1000. Rezultati treniranja:
MSE versus Epoch
0,6 0,5 0,4

MSE

0,3 0,2 0,1 0 1 100 199 298 397 496 595 694 793 892 991

Training MSE Cross Validation MSE

Epoch

Best Networks Epoch # Minimum MSE Final MSE

Training 1000 0,000699519 0,000699519

Cross Validation 1000 0,000714777 0,000714777

Rezultati testiranja:
Output / Desired jestivost-DA jestivost-NE jestivost-DA 877 0 jestivost-NE 0 748

Od ukupno 748 nejestivih gljiva sve su ispravno klasificirane u nejestive. Takoer svih 877 jestivih gljiva ispravno je klasificirano u jestive.
Performance MSE NMSE MAE Min Abs Error Max Abs Error r Percent Correct jestivost-DA 0,000496459 0,001998428 0,014338319 4,80149E-06 0,189816177 0,999005714 100 jestivost-NE 0,000496808 0,001999834 0,014353119 2,38419E-06 0,189695954 0,999005495 100

Najloiji rezultat Najloiji rezultat je 50%( u Tablici 2. oznaen crvenom bojom. Dobiven je s 1 skrivenim slojem, 2 neurona u skrivenom sloju, tangens-hiperbolnom prijenosnom funkcijom, pravilom uenja Momentumom s korakom 1.0, te maksimalnim brojem iteracija 1000. Rezultati treniranja:
MSE versus Epoch
0,7 0,6 0,5

MSE

0,4 0,3 0,2 0,1 0 1 100 199 298 397 496 595 694 793 892 991

Training MSE Cross Validation MSE

Epoch

Best Networks Epoch # Minimum MSE Final MSE

Training 726 0,089769199 0,131396413

Cross Validation 573 0,085277356 0,114791214

Rezultati testiranja:
Output / Desired jestivost-DA jestivost-NE Performance MSE NMSE MAE Min Abs Error Max Abs Error r Percent Correct jestivost-DA 0 877 jestivost-DA 0,272571519 1,097200546 0,507341544 0,054237049 0,618643135 0,086989058 0 jestivost-NE 0 748 jestivost-NE 0,247134159 0,994805825 0,491912178 0,009566724 0,564358294 0,087676917 100

Znaajnost ulaznih varijabli

Sensitivity About the M ean
0,8 0,7

Sensitivity

0,6 0,5 0,4 0,3 0,2 0,1 0 jestivost-DA jestivost-NE

Grafikon osjetljivosti ulaznih varijabli na izlazne u modelu klasifikacije gljiva prema jestivosti

Grafikon prikazuje osjetljivost izlaznih varijabli ''jestivost-DA'' i ''jestivost-NE'' na svaku od ulaznih varijabli. Varijabla ''razmak listia'' najvie utjee na output, zatim varijabla ''broj prstenova'', ''oblik struka'', itd. Najmanji utjecaj u modelu ima varijabla ''tip veluma'' to pokazuje da bi se ona mogla i izostaviti iz modela. Isti rezultati prikazani su i tablino.
Sensitivity oblik-kl povrsina-kl boja-kl ostecenja miris pridruzenost-li rezmak-li velicina-li boja-li oblik-str pov-str-iz-p pov-str-is-p boja-str-iz-p boja-str-is-p tip-veluma boja-veluma broj-prstenova tip-prstenova boja-ot-spora populacija prebivaliste jestivost-DA 0,002665604 0,031306956 0,004243228 0,353386313 0,199841782 0,02383389 0,757459283 0,290207237 0,006595391 0,396680266 0,041305911 0,067067176 0,010711154 0,007040158 0 0,112106808 0,601548612 0,120055109 0,033254512 0,106814735 0,045221344 jestivost-NE 0,002671082 0,031287327 0,004243214 0,353528589 0,199851781 0,023802906 0,757623553 0,290231198 0,006595458 0,39683193 0,041326813 0,067089744 0,010715821 0,007033061 0 0,112103537 0,60160017 0,120094031 0,033265155 0,106803149 0,045210484

Korisnost modela neuronske mree Ovaj model za klasifikaciju gljiva prema jestivosti je vrlo dobar, postotak greke je zanemariv i moe se primjenjivati u praksi.

o pov bli k-k rsin l abo kl oste ja -kl c en ja prid ruz mi ris eno rez s... m vel ak-l i ici n abo li obl ja -li pov i kst r -s pov tr-iz -p -str boj -isa p boj -st r-iz a -s -p t r-i s -p ti p boj -velum a -v a bro j-p elum ti p- rste no a v p boj rst eno a a -o v a t-sp pop ora pre ula cij bi v a ali s te
Input Nam e