Neuronske mreže: Kohonenove mape

Barbara Brzić
 Neuronske mreže: Kohonenove mape

Sadržaj
1 Uvod 3
1.1 Neuronske mreže . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Samoorganizujuće mape . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Struktura i rad 4
2.1 Treniranje i mapiranje . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 Algoritam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

3 Primjena 6
3.1 Primjer 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Barbara Brzić 2
 Neuronske mreže: Kohonenove mape

1 Uvod
1.1 Neuronske mreže
Vještačke neuronske mreže (engl. Artifical neural networks, skrećeno ANN) su
računarski sistemi koji su inspirisani ali ne i identični organskim neuronskim mrežama
koje grade nervni sistem živih bića. Cilj ovakvih sistema je "učenje". Konkretnije,
naučiti da rješavaju zadatke samo iz datih primjera, za koje nisu prethodno programirani.
Na primjer, prepoznavanje slika (računarski vid); sistem može da nauči da identifikuje
slike na kojima su u prvom planu nalazi mačka tako što analizira primjere slika koje su
označene sa "mačka"i "nema mačke". Od sistema se traži da i na ostalim, neoznačenim
slikama identifikuje ono što se od njega traži (u ovom primjeru mačke). Ovaj proces
se izvodi bez ikakvog prethodnog upoznavanja sistema sa objektom, u našem primjeru,
da mačke imaju krzno, rep, četiri noge i specifičan oblik lica. Umjesto toga, sistem
automatski generiše karakteristike za identifikaciju iz primjera koje je procesovao.
ANN je baziran na kolekciji povezanih jedinica ili čvorova zvanih vještački neuroni
(pojednostavljena verzija bioloških neurona u životinjskom nervnom sistemu). Svaka
veza (pojednostavljena verzija sinapse ) izmed̄u vještačkih neurona može da transmituje
signal od jednog do drugog.

1.2 Unsupervised learning

Nenadgledano učenje (engl. Unsupervised learning) je proces spontanog učenja
pomenut u prethodnom primjeru. Služi za rješavanje problema čiji je cilj odred̄iva-
nje načina na koji su podaci organizovani (njihovih šablona) bez prethodno postojećih
odrednica i bez učitelja. Takod̄e poznat i kao samoorganizacija i omogućava modelira-
nje gustine vjerovatnoća datih ulaza.

1.3 Samoorganizujuće mape

Samoorganizujuće mape ili Kohonenove mape (skraćeno SOM) su tip ANN-a koja
se podučava korišćenjem procesa nenadgledanog učenja s ciljem da se napravi tipično
dvodimenzionalni, diskretizovani prikaz ulaznog prostora uzoraka za podučavanje, koji
se zove mapa . Uvedene su od strane finskog profesora Teuva Kohonena 1980. godine.
SOM se razlikuju od ostalih vještačkih neuronskih mreža, jer primijenjuju kompetitivno
učenje za razliku od error-correction učenja i po tome što koriste funkcije susjedstva
kako bi očuvale topološka svojstva ulaza.
Kohonenove mape su računarski zgodna apstrakcija, koja se nadovezuje na rane
biološke modele neurona iz sedamdesetih, kao i modele morfogeneze koji datiraju još
od Alana Turinga iz pedesetih godina prošlog veka.

Barbara Brzić 3
 Neuronske mreže: Kohonenove mape

2 Struktura i rad
2.1 Treniranje i mapiranje
Samoorganizujuće mape rade u dvije faze: učenje (treniranje) i mapiranje (presli-
kavanje).
Učenje izgrad̄uje mapu pomoću ulaznih uzoraka . Jedinice vještačkih neurona se tak-
miče med̄usobno u kompetitivnom procesu za dozvolu da se reprezentuju za odred̄en
skup ulaznih podataka . Svaka od njih ima svoj vektor težine koji treba da se poklopi
sa vektorom ulaznih podataka. Jedan od njih se uzme kao uzorak i onda se pretražuje
mapa vektora težine dok se ne nad̄e onaj koji najbolje reprezentuje uzorku. Mapira-
nje vrši klasifikaciju ulaznog vektora. Svaki od vektora ima one koji su mu susjedni
i oni zajedno čine SOM rešetku koja je krajnji najbliži rezultat vrijednostima ulaznog
podatka u uzorku. Na taj način se sama mapa širi uz sve više opadajući uticaj uzorka
na najreprezentativniji vektor (koji se smanjuje sa vremenom i udaljenošću) i formira
različite oblike u dvodimenzionalnom prostoru.

Slika 1: Ilustracija osnovnih odluka tokom procesa rasta; može da nastavi proces u
postojećem smjeru ili da probije novi.

Slika 2: Uticaj vremena pri kalkulaciji susjednih vektora

Barbara Brzić 4
 Neuronske mreže: Kohonenove mape

2.2 Algoritam

1. Incijalizacija neuronskih vektora težine

2. Uzimanje nasumičnog vektora kao uzorak iz seta poda-
taka za učenje
3. Potraga za neuronom sa najsličnijim težinskim vektorom
kao uzorak (odabrani vektor je bolje poznat kao BMU
(engl. Best Matching Unit))
4. Kalkulacija susjednih vektora (broj susjeda vremenom
opada)
5. Formira se SOM rešetka u kojoj BMU postaje isti kao
početni vektor (što su neuroni bliži BMU-u, dolazi do
veće promjene njihovih težinskih vektora, što su dalje,
manje nauče od ulaznog podatka). Izračunava se po for-
muli:
Wv(s + 1) = Wv(s) + Θ(u, v, s) × α(s) × (D(t) −Wv(s))

6. Povećati vrijednost s i ponoviti od 2. koraka dok god je

s<λ
s - trenutna iteracija
λ - najveći broj iteracija
D(t) - vrijednost vektora uzorka indeksa t u trenutnom setu podataka
v - indeks neurona na mapi
Wv - trenutni težinski vektor neurona v
u - indeks BMU-a na mapi
Θ(u, v, s) - funkcija susjednih neurona (zavisi od rastojanja neurona od BMP-a)
α(s) - monotono opdajaći koeficijent učenja zbog procesa ponavljanja

Barbara Brzić 5
 Neuronske mreže: Kohonenove mape

3 Primjena
3.1 Primjer 1

Slika 3: Kohonenova mapa koja pokazuje šablone glasanja Kongresa SAD-a

Ulazni podatak je tabela koja sadrži imena svih članova Kongresa i njihovih sigurnih
glasova (da/ne/suzdržan/a). Algoritam Kohonenove mape je pored̄ao članove u dvodi-
menzionalnu rešetku pored̄avši slične članove blizu jedne drugima. Prvi nacrt prikazuje
grupacije kada su podaci grubo pored̄ani u dvije grupe. Drugi nacrt prikazuje srednju
vrijednost udaljenosti od susjeda (veće udaljenosti su tamnije). Treći nacrt predvid̄a pri-
padnost članova Republikansoj (crvena) ili Demokratskoj (plava) partiji. Ostali nacrti
predstavljaju predvid̄anje glasova u odnosu na dimenziju ulaza: crvena je pretpostavka
za ’da’ a plava za ’ne’ na glasanju.

Barbara Brzić 6
Index

Kohonenove mape, 3
mapa, 3

Neuroni, 3
Vještački neuroni, 3
Neuronske mreže, 3
Vještačke neuronske mreže, 3

Rad SOM-a, 4
mapiranje, 4
klasifikacija, 4
učenje, 4
Računarski sistem, 3

Sinapsa, 3
Veza, 3
Susjedstvo, 3

Ulazni podaci, 4
Uzorak, 4
Vektor težine, 4
Učenje, 3
Error-correction učenje, 3
Kompetitivno učenje, 3
Nenadgledano učenje, 3
Samoorganizacija, 3

7
 Neuronske mreže: Kohonenove mape

Tabele

Barbara Brzić 8
 Neuronske mreže: Kohonenove mape

Slike
1 Ilustracija osnovnih odluka tokom procesa rasta; može da nastavi pro-
ces u postojećem smjeru ili da probije novi. . . . . . . . . . . . . . . . 4
2 Uticaj vremena pri kalkulaciji susjednih vektora . . . . . . . . . . . . . 4
3 Kohonenova mapa koja pokazuje šablone glasanja Kongresa SAD-a . . 6

Barbara Brzić 9
 Neuronske mreže: Kohonenove mape

Literatura
[1] Wikipedia, Artificial neural networks (Novembar 2019.)

[2] Wikipedia, Unsupervised learning (Novembar 2019.)

[3] Wikipedia, Self-organizing map (Novembar 2019.)

[4] Toward Data Science, Self Organizing Maps (Novembar 2019.)

[5] Teuvo Kohonen, Kohonen: The self-orginizing map 1990.

[6] Simon Haykin, Neural Networks a Comprehensive Funfations 1999.

[7] Alan Turing, The chemical basis of morphogenesis 1952.

Barbara Brzić 10