Matej Duvnjak

31.Svibanj.2020

1 Uvod
Istraživanjima neuronskih mreža pridaje se sve veća pozornost posljednjih god-
ina. Od 1943. kada su Warren McCulloch i Walter Pitts predstavili prvi model
umjetnog neurona, novi i sofisticiraniji prijedlozi predstavljaju se iz desetljeća u
desetljeće. Matematičkom analizom rješavaju se neki misteriji koje postavljaju
novi modeli, ali postoje mnoga pitanja otvorena za buduća istraživanja. Um-
jetne neuronske mreže mogu se smatrati samo još jednim računskim modelom.
Neuronske mreže obično rade u dvije faze: fazi učenja traženog svojstva gdje
na temelju zadanih podataka neuronska mreža pokušava naučiti veze između
ulaznih i izlaznih značajki te fazi predviđanja u kojoj se naučeni model na
temelju ulaznih značajki pokušava predvidjeti izlaznu značajku. Pronalaskom
metoda poput Backpropagation, Boltzmann i AR−P metode zajedno s pokaza-
teljima njihove sposobnosti u odabranim problemima učenja vrijeme potrebno za
njihovo učenje proučeno je samo empirijski. Međutim, analitički dokaz njihove
učinkovitosti nije ponuđen. Iz toga odmah proizlazi pitanje postoji li učinkovit
algoritam za učenje neuronskih mreža. "Učinkovit" bi u teoriji složenosti po-
drazumijevalo da je vrijeme za učenje u najgorem slučaju za mreža veličine n
ograničeno polinomom u n. Dokazati ne postojanja takvog algoritma nije ni-
malo lako te u ovome radu želimo pokazati da je problem učenja pripada klasi
NP-potpunih problema, što je široko prihvačeno kao pokazatelj ne postojanja
"učinkovitog" algortima za riješavanje problema.

2 Neuronske mreže
Neuronske mreže koje ćemo promatrati moraju biti definirane na precizan način
u smislu njihove arhitekture. Važno je formalizirati računski model da bi mogli
analizirati složenost učenja. Tip učenja koje proučavamo u ovom seminarskom
radu naziva se nadzirano učenje, što podrazumijeva da su neuronskoj mreži
ulazni podaci (podražaji) predstavljeni tako da su upareni sa željenim izlaznim
podacima (odgovorima). Cilj našeg modela biti će "zapamtiti" primjere viđene
tokom faze učenja (treniranja), tako da u budućem korištenju neuronska mreža
u mogućnosti reproducirati odgovarajući izlazni podatak za zadani ulazni po-
datak.

1
 Slika. 1: Prikaz opće računske jedinice (neuron)

Potrebno je na početku definirati osnovne jedinice mreže koje nazivamo

računskim jedinicama (čvorovima, neuronima). Želimo neuronsku mrežu pred-
staviti konkretno onim što ona je, a to je zapravo mreža funkcija.
Definicija. 1. Neka je S skup, te g : S n → S i f : S → S te R = f ◦g nazivamo
računskom jedinicom (neuron). Funkciju g nazivamo integracijska funkcija,
funkciju f nazivamo aktivacijska funkcija, dok je S skup ulaznih vrijednosti
računske jedinice. Kažemo da računska jedinica R (neuron) računa funkciju
h : S n → S ako za svaki x ∈ S n vrijedi h(x) = R(x)

Primjer 1. Postoje različite vrste neurona neki primjeri su:

1. McCulloch–Pitts neuroni su jedni od prvih modela neurona, te su u

mogućnosti implementirati sve monotone logičke funkcije 1 , dok 2-slojna
mreža ovakvih neurona može implementirati sve logičke funkcije. Za više
o ovome tipu neurona može se pronaći u [2] 3.poglavlje.
2. Sigmoid neuroni su računske jedinice koje za integracijsku funkciju
g koriste težinsku sumu svih ulaznih vrijednosti, sa zadanim težinama
(w1 , w2 , ..., wn ) ∈ Rn sa pridruženom konstantom w0 ∈ R

g(x1 , x2 , ..., xn ) = w0 + w1 x1 + w2 x2 + ... + wn xn

dok za aktivacijsku funkciju koriste Sigmoid funkciju

1
σ(x) =
1 + e−x

3. (Bulovski) Linearni granični neuroni su računske jedince koje za inte-

gracijsku funkciju g koriste težinsku sumu sa zadanim težinama (w1 , w2 , ..., wn ) ∈
Rn i oduzetom konstantom θ ∈ R

g(x1 , x2 , ..., xn ) = w1 x1 + w2 x2 + ... + wn xn − θ

1 Monotona logička funkcija f : {0, 1}n → {0, 1} je takva da za sve n-torke 0 i 1,

(x1 , x2 , ..., xn ) i y = (y1 , y2 , .., yn ) vrijedi da je f (x) ≥ f (y) kad god je broj jedinica u ulazu
y podskup jedinica na ulazu x.

2
 
1 x≥0
dok za aktivacijsku funkciju koriste sgn(x) = funkciju. Uko-
0 x<0
liko je skup ulaznih vrijednosti S = {0, 1}, odnosno ulazne vrijednosti su
vrijednosti Bulovske varijable tada se ovaj neuron naziva Bulovski granični
neuron. U ovom radu pokazati ćemo da za mreže koje kao računsku jed-
incu koriste ovu vrstu neurona, učenje odnosno, pronalazak odgovara-
jučih težina (w1 , ...wn ) sa kojima neurnoska mreža pamti zadatak, je NP-
potpuno.
4. I\ILI neuroni podvrsta Bulovski linearnih graničnih neurona koje za in-
tegracijsku funkciju g koriste težinsku sumu sa zadanim težinama w1 , w2 , ..., wn
i oduzetom konstantom θ = n ukoliko govorimo o I-neuronu, dok za ILI-
neuron θ = 1,

gI (x1 , x2 , ..., xn ) = x1 + x2 + ... + xn − n

gILI (x1 , x2 , ..., xn ) = x1 + x2 + ... + xn − 1
Funkcija aktivacije za I\ILI neurone je i dalje sgn.

Propozicija 1. Logički veznik XOR ne može se izraziti pomoću linearnog

graničnog neurona, odnosno ne postoje w1 , w2 , θ ∈ R takvi da vrijedi XOR(x1 , x2 ) =
sgn(w1 x1 + w2 x2 − θ), za sve x1 , x2 ∈ {0, 1}.
Dokaz. Pretpostavimo da postoje w1 , w2 te θ takvi za integracijsku funkciju
g(x1 , x2 ) = w1 x1 + w2 x2 − θ, aktivacijsku funkciju f = sgn vrijedi R = f ◦ g =
XOR.
x1 x2 XOR
0 0 0
0 1 1
1 0 1
1 1 0

Uvrštavanjem vrijednosti iz tablice istinitosti XOR u R, dobivamo sljedeće jed-

nakosti.

R(0, 0) = sgn(−θ) = 0
R(1, 0) = sgn(w1 − θ) = 1
R(0, 1) = sgn(w2 − θ) = 1
R(1, 1) = sgn(w1 + w2 − θ) = 0
Sada iz definicije funkcije sgn proizlaze sljedeće nejednakosti.

0<θ

w1 ≥ θ, w2 ≥ θ

3
 w1 + w2 < θ
iz toga dobivamo w1 + w2 ≥ 2θ > θ < w1 + w2 što je kontradikcija.

Radi formalizacije problema učenja neuronske mreže potrebno je definirati

slijedeće skupove neurona

• LSF ns = {h : {0, 1}n → {0, 1}|h Bulovski linearni granični neuron }

• AOF ns = {h : {0, 1}n → {0, 1}|h je I\ILI neuron }
• LU F ns = {h : {0, 1}n → {0, 1}kh Bulovska funkcija}
• LLF ns = {h : {0, 1}n → {0, 1}kh je Sigmoid neuron kojem je ulazni skup S =
{0, 1}}
Propozicija 2.Vrijedi LU F ns ⊇ LSF ns ⊇ AOF ns.
Dokaz. LU F ns ⊇ LSFns Svaka funkcija iz LSFns ujedno je i bulovska
funkcija odnosno domena joj je konačan niz 0 ili 1, kodomena je {0, 1}, stoga
vrijedi da LU F ns ⊇ LSFns .
LSF ns ⊇ AOF ns Svaki I\ILI neuron ujedno je i Bulovski Linearni granični
neuron jer za I neuron je aktivacijska funkcija sljedeća

gI (x1 , x2 , ..., xn ) = x1 + x2 + ... + xn − n

dok je za ILI aktivacijska funkcija sljedeća

gILI (x1 , x2 , ..., xn ) = x1 + x2 + ... + xn − 1

dok je aktivacijska funkcija za oba neurona f = sgn, čime su I\ILI neurni

prikazani kao bulovski linearni neuroni.

Sada ćemo definirati pojmove ulaznog, izlaznog podatka te pojam zadatka

učenja koji želimo da je neuronska mreža u mogućnosti reproducirati. U uobiča-
jnoj literaturi o neuronskim mrežama ovo predstavlja skup podataka za učenje
neuronske mreže. Uzeti ćemo najjednostavniji mogući tip podataka: binarne
brojeve radi jednostavnijeg dokazivanja daljnjih tvrdnji. Od sada pa nadalje u
radu skupom ulaznih vrijednosti S smatramo {0, 1}.
Definicija. 2. Neka je σ konačan niz bitova duljine s, odnosno σ ∈ {0, 1}s .
Neka je ρ konačan niz bitova duljine r, odnosno ρ ∈ {0, 1}r . Tada σ smatramo
ulaznim podatkom(podražaj) dok ρ smatramo izlaznim podatkom(odgovor).
Svaki par podražaj\odgovor nazivamo SR-par. Skup T SR-parova nazivamo
zadatak.
Primjer 2. Pretpostavimo da je s = 2 i r = 1 tada za primjer zadatka
može biti npr. T = {(00, 0), (01, 1), (11, 0), (10, 1)}. Vidimo da je ovdje zadatak
naučiti logičku veznik XOR.

4
 Zadatak bi trebalo biti moguće proširiti do neke funkcije f : {0, 1}s →
{0, 1}r , matematički pod time podrazumijevamo da postoji funkcija f koju uko-
liko gledamo kao skup uređenih parova vrijedi da je T ⊆ f .

Još je potrebno formalizirati arhitekturu (način povezivanja neurona) neu-

ronske mreže. U ovom radu fokusirati ćemo se na feed-forward vrstu neuronske
mreže, što podrazumijeva da veze između neurona formiraju usmjereni aciklički
graf.
Definicija. 3. Neka su s, r, m ∈ N\{0} tada je Arhitektura neuronske mreže
za ulazne podatke σ duljine s, izlazne podatke ρ duljine r te sa m neurona je
5-torka A(s, r, m) = (P, V, S, R, E) gdje
• P je proizvoljan konačan neprazan skup čije elemente nazivamo vrhovima,
P = {p1 , ..., pn } gdje je n = m + s
• V je konačan neprazan podskup od P skup od m članova, V = {v1 , v2 , ..., vm }
• S = P \V = {a1 , a2 , ..., as } koji sadrži s članova, zovemo ga skup ulaznih
vrhova
• R je konačan neprazan podskup od V koji sadrži r članova, zovemo ga
skup izlaznih vrhova,
• E = (P, B) je usmjeren aciklički graf kojem je skup vrhova P , B ⊆ P × P
skup bridova te u B ne postoje ciklusi
Također za svaki vk ∈ V definiramo pre(vk ) = {vj : (vj , vk ) ∈ B}
Sada definiramo još jedan važan pojam za potpunu specifikaciju neuronske
mreže, naime arhitektura specificira samo povezivanje vrhova neuronske mreže
no ne pridružuje im neurone (računske jedinice) koji omogućavaju računanje
traženog izlaznog podatka. Iz toga razloga definiramo sljedeći pojam, koji će
svakom vrhu pridružiti funkciju. Kao što smo prije napomenuli pod ulaznim
vrijednostima smatramo S = {0, 1}.
Definicija. 4. Konfiguracija K = (KV , KS ), neuronske mreže arhitekture
A(s, r, m) = (P, V, S, R, E) s, r, m ∈ N\{0}, je uređeni par bijekcija KV : DV →
V i KS : DS → S gdje su DV i DS

DV = {f1 , f2 , ....fm } gdje su fi : {0, 1}pre(KV (fi )) → {0, 1}

DS = {u1 , ..., us } gdje su ui : {0, 1}s → {0, 1}

DV je skup neurona, dok je DS skup ulaznih transformacija.

Uređeni par (A, K) zovemo konfiguriranom neuronskom mrežom. Kon-

figurirana neuronska mreža definira preslikavanje kao kompozicija računskih je-
A
dinica tada to preslikavanje označavamo sa MK : {0, 1}s → {0, 1}r . Ukoliko
je G skup neurona i vrijedi DV ⊆ G tada kažemo da je mreža konfigurirana
neuronima iz G.

5
 Napomena 1. Ukoliko nije posebno navedeno smatra se da je skup ulaznih
transformacija DS , skup k-tih projekcija k ∈ {1, ..., s}, te svaki put kada dajemo
primjer neuronske arhitekture i konfiguracije smatrati ćemo da je KS (ik ) = ak
gdje je ik : {0, 1}s → {0, 1} projekcije k-tog bita ulaznog podatka σ te je ak
element iz S.
Kao što smo vidjeli u Propoziciji.1 logički veznik nije moguće izračunati
XOR pomoću jednog linearnog graničnog neurona. Za neuronsku mreže kon-
figuriranu Bulovim linearnim graničnim neuronima to je moguće što ćemo vid-
jeti u slijedećem primjeru. U [2] pokazuje se da su sve Bulove funkcije moguće
izračunati neurnskim mrežama konfiguriranim Bulovim linearnim neuronima.
Primjer 3. Nekoliko primjera arhitektura A(s, r, m) = (P, V, S, R, E) i
konfiguracija K
• 1.) Definirajmo tražene skupove arhitekture A(1, 1, 1) na sljedeći način:
P = {a, b}, S = {a}, V = {b}
R = {b}, E = {(a, b)}
Kao u Napomeni 1. smatramo da je DS je skup koji sadrži samo i1 ,
trivijalna funkcija koja vraća 1. bit niza bitova duljine 1 DS = {i1 } dok
DV = {f1 } sada su funkcije KV i KS konfiguracije definirane na sljedeći
način
KS (i1 ) = a, KV (f1 ) = b

Slika. 2: Prikaz arhitekture i konfiguracije koja računa 1-mjesni veznik NOT

Za f1 uzimamo bulovski granični neuron sa težinom w1 = −1 i granicom

θ = 21 gdje je integracijska funkcija g(x1 ) = 1 · x1 + 21 ) te je aktivaci-
jska funkcija sgn. Ova funckija je bulovska funkcija koja računa 1-mjesni
veznik NOT.
• 2.) Definirajmo tražene skupove arhitekture A(2, 1, 1) na sljedeći način:
P = {a, b, c}, S = {a, b}, V = {c}
R = {c}, E = {(a, c), (b, c)}
DS je skup koji sadrže i1 , i2 koje vračaju 1. odnosno 2. bit ulaznog podatka
σ, DS = {i1 , i2 } dok DV = {f1 }, funkcije KV i KS konfiguracije definirane
na sljedeći način

a u = i1
KS (u) = , KV (f1 ) = c
b u = i2

6
Slika. 3: Prikaz arhitekture i konfiguracije koja računa 2-mjesni veznik OR

Za f1 uzimamo bulovski granični neuron sa težinom w1 = 1, w2 = 1 i

granicom θ = −1 gdje je integracijska funkcija g(x1 , x2 ) = 1 · x1 + 1 · x1 − 1
te je aktivacijska funkcija sgn. Ova funkcija je bulovska funkcija koja
računa 2-mjesni veznik OR.
• 3.) Definirajmo tražene skupove arhitekture A(2, 1, 3) na sljedeći način:
P = {a, b, c, d, e}, S = {a, b}, V = {c, d, e}
R = {e}, E = {(a, d), (a, c), (b, c), (b, d), (c, e), (d, e)}

Odgovarajući zadatak za učenje logičkog veznika XOR

Slika. 4: Arhitektura A za definiranu arhitektru i konfiguraciju

Dok je odgovarajuća konfiguracija kojom K takva da je DK = {f1 , f2 , f3 }

koje definiramo na sljedeći način:
f1 = sgn(2x1 − 2x2 − 1), f2 = sgn(−2x1 + 2x2 − 1)
f3 = sgn(2x1 + 2x2 − 1)

te je funkcija KV definirana na sljedeći način:


c f = f1
KV (f ) = d f = f2
e f = f3


7
 Jasno je da bi ovakvo strogo definiranje arhitekture i konfiguracije za kom-
pleksnije primjere bilo izrazito tehičko i nepotrebno kompleksno te uvodimo kon-
venciju da konfigurirane neuronske mreže prikazujemo na sljedeći način, vrhovi
kojima je pridružena funkcija identiteta prikazani su crnom bojom te ulazna
vrijednost kroz njih samo prolazi te se sa njom ništa ne računa, dok su funkcije
pridružene vrhovima napisane unutar bijelog kruga (koji simbolizira neuron)
kao izlaz imaju napisanu funkciju koja za ulaz uzima povezane bridove.

3 Problem učenja neuronske mreže

U konfiguriranoj mreži svaki neuron računa određenu funkciju stoga mreža u
cjelini računa određenu funkciju koja je kompozicija funkcija računskih jedinica.
A
Arhitektura A i konfiguracija K zajedno definiraju preslikavanje MK iz prostora
podražaja na prostor odgovora:
A
MK : {0, 1}s → {0, 1}r
Zadatak definiran kao u definiciji 2. može se gledati kao skup ograničenja na
A
preslikavanje MK . Naime traži se da za svaki SR-par (σ, ρ) iz zadatka T vrijedi
A
MK (σ) = ρ, za svaki podražaj σ koji nije član niti jednog SR-para zadatka T
A
svaki izlaz MK je prihvatljiv.

Za sada se samo bavimo učenjem koje treba samo pamtiti zadane vrijednosti.
Veliki dio fascinacije neuronskim mrežama proizlazi iz njihove mogućnosti gen-
eralizacije (točno predviđanje za još ne viđene podatke), pokažemo li da je teško
postići samo pamćenje, može se pokazati da je također teško dobiti i general-
izaciju na još ne poznatim podražajima.
Uz ovu napomenu definiramo problem učenja neuronske mreže.

Definicija. 5. Neka je T neki zadatak te A arhitektura neuronske mreže,

A
kažemo da A memorizira T ukoliko postoji konfiguracija K takva da T ⊆ MK .
Definicija. 6. Za zadanu arhitekturu neuronske mreže A i zadatak T , učenje
u Γ se definira kao pronalazak konfiguracije K ⊆ Γ , takve da vrijedi da A
memorizira T
Primjer 4. Uzmimo arhitekturu A iz Primjera 3.1) kao primjer ona mem-
orizira zadatak T = {(0, 1), (1, 0)}. Arhitektura iz Primjera 3.2) memorizira
zadatak T = {(00, 0), (01, 1), (10, 1), (11, 1)}. Arhitektura iz primjera 3.3) mem-
orizira zadatak T = {(00, 0), (10, 1), (01, 1), (11, 1)}.

Sada kada smo definirali sve potrebno dokazujemo da je kada su funkcije

konfiguracije iz skupa AOF ns odnosno neuroni su vrste I\ILI, tada je problem
učenja NP-potpun. Nakon toga definiramo propoziciju gdje ćemo proširiti tu
tvrdnju na skup svih Bulovskih Linearnih graničnih neurona.

8
Teorem 1. Neka je A arhitektura neuronske mreže, te neka je T zadatak tada
je učenje u AOFns NP-potpuno.
Dokaz: Pošto je u [1] dokazano da je 3-SAT NP-potpun želimo pokazati
da je 3-SAT polinomijano reducibilan na problem učenja u AOFns . Zamislimo
da smo dobili instancu problema 3SAT, F koja je 3-knf te sadrži m disjunkcija,
dok je broj propozicijonalnih varijbli w, te skup svih propozicijonalnih varijabli
koje se nalaze u F označavamo sa Z = {P1 , P2 , .., Pw }.

F = C1 ∧ C2 ∧ ... ∧ Cm
Da bi formula F bila ispunjiva mora postojati parcijalna interpretacija I :
Z → {0, 1} takva da je F istinita. Sada konstruiramo arhitekturu A na slijedeći
način:
A = (P, V, S, R, E)
S = {a, b, d, e}
V = {ui , vi , wi , xi , yi , zi : 1 ≤ i ≤ w} ∪ {cj : 1 ≤ j ≤ m}
R = {ui , xi , yi , vi : 1 ≤ i ≤ w} ∪ {cj : 1 ≤ j ≤ m}
P =S∪V
E = {(a, wi ), (a, zi ), (b, wi ), (b, zi ),
(wi , ui ), (wi , xi ), (wi , yi ), (zi , xi ), (zi , yi ),
(zi , vi ), (d, ui ), (d, vi ) : 1 ≤ i ≤ w}
∪{(wi , cj ) : 1 ≤ i ≤ w, 1 ≤ j ≤ m t.d. je Pi u disjunkciji Cj }
∪{zi , cj ) : 1 ≤ i ≤ w, 1 ≤ j ≤ m t.d. je ¬Pi u disjunkciji Cj }∪{(e, Cj ) : 1 ≤ j ≤ m}
Također definiramo i zadatak T :

T = {I1 , I2 , I3 }

I1 = (001, (0000)w 0m )
I2 = (111, (1111)w 0m )
I2 = (010, (0010)w 1m )

Predstavljenu arhitekturu A i zadatak T objašnjavamo na slijedeći način,

za svaku varijabla Pi ∈ Z konstruira se djelomična arhitektura A0i , i djelomični
zadatak Ti0 na slijedeći način.

9
 Slika. 5: Djelomična arhitektura A0 za pojedinačnu varijablu Pi

Ti0 = {I1 , I2 , I3 }
I1i = (001, 0000)
I2i = (111, 1111)
I2i = (010, 0010)
Uvrštavanjem I1 i I2 u A0 dobivamo

fu (fw (0, 0), 1) = 0 6= 1 = fu (fw (1, 1), 1) (1)

te zaključujemo da je:
fw (0, 0) 6= fw (1, 1) (2)
slično dobivamo i za fz :
fz (0, 0) 6= fz (1, 1) (3)
Daljnjim uvrštavanjem i usporedbom I2 i I3 dobivamo sljedeću nejednakost

fx (fw (1, 1), fz (1, 1)) = 1 6= 0 = fu (fw (0, 1), fz (0, 1))

iz čega proizlazi da

fw (1, 1) 6= fw (0, 1) ili fz (1, 1) 6= fz (0, 1)

te zaključujemo iz (2) i (3)

fw (0, 0) = fw (0, 1) ili fz (0, 0) = fz (0, 1) (4)

10
Daljnjom usporedbom I1 i I3 dobivamo slijedeći rezultat:

fw (0, 0) 6= fw (0, 1) ili fz (0, 0) 6= fz (1, 1) (5)

Ovu parcijalnu arhitekturu definiramo za svaku varijablu Pi ∈ Z, a sada

ćemo to sve povezati u jednu arhitekturu na primjeru formule koja sadrži samo
jednu elementarnu disjunkciju F = P1 ∨ ¬P2 ∨ ¬P3 . Arhitekturu A gradimo
tako da za svaku propozicijalnu Pi varijablu definiramo prije opisanu arhitek-
turu A0i i zadatak Ti0 , sve djelomične arhitekture povezujemo tako da ukoliko se
propozicijalna varijabla Pi pojavljuje u disjunkciji Cj bez negacije povezujemo
njezin neuron wi sa neuronom koji dodajemo u 2-sloju arhitekture, povezu-
jemo ju sa neuronom cj što je prikazano na Slici.4 gdje neuron w1 neuron A0i
Zadatak T dobivamo tako da podražaji ostaju isti kao u T 0 dok odgovore dobi-
vamo konkatenacijom odgovora djelomičnog zadatka T 0 te dodajemo vrijednost
za izlazni vrh c
T = {I1 , I2 , I3 }
I1 = (001, 0000000000000)
I2 = (111, 1111111111111)
I2 = (010, 0010001000101)

Sada dokazujemo da je F ispunjiva ako i samo ako za konstruiranu arhitek-

turu A i zadatak T postoji konfiguracija K ∈ AOFns takva da T ⊆ MFA
Uvrštavanje I1 i I3 instance dobivamo sljdeće 2 jednadžbe:

fc (fw1 (0, 0), fz2 (0, 0), fz3 (0, 0), 1) = 0

fc (fw1 (0, 1), fz2 (0, 1), fz3 (0, 1), 1) = 1
pošto neki od argumenata mora biti različit mora vrijediti jedna od slijedečiš
ne jednakosti

fw1 (0, 0) 6= fw (0, 1) ili fz2 (0, 0) 6= fz2 (0, 1) ili fz3 (0, 0) 6= fz3 (0, 1) (6)

Pretpostavimo da postoji konfiguracija K t.d. T ⊆ MFA definiramo inter-

pretaciju I : {P1 , P2 , P3 } → {0, 1}:

I(Pi ) = fwi (0, 0) ⊗ fwi (0, 1)

te zbog (6) znamo da će najmanje jedana od navedenih nejednakosti vrijediti,
te time dobivamo da je F ispunjiva formula.

11
Slika. 6: Arhitektura A za formulu F = P1 ∨ ¬P2 ∨ ¬P3

12
 Dokažimo sada drugi smjer neka je F ispunjiva i neka je I interpretacija
takva da je definiramo konfiguraciju na sljedeći način
 
ILI I(Pi ) = 1 I I(Pi ) = 1
fwi = i fzi =
I I(Pi ) = 0 ILI I(Pi ) = 0

te ostale funkcije fui = fvi = fxi = I i fc = fyi = ILI. Uz zadanu konfiguraciju

F jedan prolazak kroz mrežu može se koristiti za provjeru je li izlaz F jednak 1.
Broj koraka koje račun provodi izravno je proporcionalan broju w propozicijal-
nih varijabli i broju m disjunktivnih, što je ograničeno polinomom u n. Vrijeme
potrebano za provjeru instance 3-SAT problema stoga je ograničeno polinomom
u n. To znači da zadani problem učenja pripada razredu NP.

Propozicija 2. Za bilo koji skup računskih jedinica R takav da su svi

članovi R su binarne funkcije i R ⊇ {AN D, OR}, tada je problem učenja u R
NP-Težak.
Dokaz.
U prethodnom teoremu dokazali smo tvrdnju F je ispunjiva akko postoji kon-
figuracija F ⊆ AOFns takva da za prethodno definirani arhitektura A i zadatak
T vrijedi T ⊆ MFA . Sve funkcije konfiguracije F bile su samo I\ILI funkcije,
što znači ukoliko R sadrži obje te funkcije tvdrnja bi mogla biti dokazana i za
učenje u R što znači da je problem učenja u R NP-teško.

Propozicija 3. Problem učenja u LSFns je NP-potpun.

Dokaz. Zbog predhodnog korolara imamo da je problem u učenja u LSFns
NP-težak. U svome radu [3] pokazao je da LSFns kroz aproksimaciju težina
graničnih neurona možemo prikazati sve LSFns sa ograničenim brojem deci-
malnih mjesta u težinama. To nam omogučuje da provjeravamo odlučivost u
problema u polinomijalnom vremenu, te iz toga sljedi NP-potpunost učenja ovog
problema.

4 Zaključak
U ovom radu smo pokazali da posao memoriziranje skupa uređenih parova bitova
koje zahtijeva samo linearno vrijeme u von-Neumannovom stroju, postaje izraz-
itno kompleksna kada je isti zadatak predstavljen Feed-foward neuronskoj mreži.
Neuronske mreže predstavljaju se kao prirodniji i sposobniji način učenja od
tradicionalnih AI sustava učenja. Svakako, postoji i razlog za ovo vjerovanje,
naime lako je zamisliti da će promjena u nekolicini težina mreže dovesti do prom-
jene u ponašanju, odnosno do boljeg ponašanja cijele mreže. Bez obzira jeli ovaj
argument istinit ili nije, pokazuje se da bi iskoristiti ovu kvalitetu nježne pri-
lagodbe neuronskih mreža, još uvijek moramo puno više naučiti o njima, kako
ih dizajnirati, kako ih programirati i za koje aplikacije koristiti.
Još jedno pitanje povlači se kroz učenje neuronskih mreža, a to je odabir
skupa neurona koje treba koristiti tokom učenja. Pokazali smo, što se pokazuje

13
i u literaturi da je učenje teško neovisno o odabiru vrste neurona te ništa ne
pokazuje prednost jedne vrste nad drugom. Neovisnost o skupu računskih je-
dinica govori nam da je učenje ne zbog neurona nego zbog načina njihova um-
režavanja.

References
[1] Mladen Vuković - Složenost algoritama - predavanja i vježbe (2019)
[2] Raul Rojas - Neural Networks A Systematic Introduction-Springer (1996)
[3] Hong, Jai-wei. On Connectionist Models. University of Chicago, Chicago,
Illinois, May 1987.

14