UNIVERZITET CRNE GORE

ELEKTROTEHNIČKI FAKULTET

Istorijski osvrt na razvoj i primjenu neuralnih

mreža i vremensko-frekvencijske analize u
obradi signala
-Seminarski rad-

Predmet: Istorija ideja i teorija u elektrotehnici

Mentor: Prof. dr Ilija Vujošević Student: Maja Lakičević, br. indeksa 1/15

Podgorica, januar 2016.

 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Sadržaj:

Lista slika ..................................................................................................................................................... 3

Lista tabela .................................................................................................................................................. 4
1 Uvod .......................................................................................................................................................... 5
2 Digitalna obrada signala.......................................................................................................................... 6
3 Neuralne mreže ........................................................................................................................................ 9
3.1 C# i njegova bibloteka za računanje neuralnih mreža ...................................................................... 13
4 Vremensko-frekvencijska analiza signala ........................................................................................... 17
4.1 Pregled najznačajnijih vremensko-frekvencijskih distribucija ........................................................ 18
4.2. Primjer Wavelet analize signala u MATLAB-u............................................................................... 23
Zaključak ................................................................................................................................................... 27
Literatura .................................................................................................................................................. 29

2
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Lista slika

Slika 1: Grafički prikaz neurona

Slika 2: Grafički prikaz funkcije mreže
Slika 3: Prikaz neuralne mreže
Slika 4: Proces učenja neuralne mreže
Slika 5: Primjena neuralnih mreža
Slika 6: a) Dva sinusoidalna signala sa jednakim trajanjem i istim trenucima pojavljivanja;
b) Sinusoidalni signali sa različitim trenucima pojavljivanja; c) Fourier-ova transformacija prvog
signala; d) Fourier-ova transformacija drugog signala; e) Idealno vremensko-frekvencijsko
predstavljanje zbira sunosoida; f) Idealno vremensko-frekvencijsko predstavljanje vremenski
pomjerenih sinusoida
Slika 7: Ilustracija računanja kratkotrajne Fourier-ove transformacije
Slika 8: Wavelet funkcija
Slika 9: Zašumljeni sinusoidalni signal
Slika 10: Apsolutne vrijednosti koeficijenata CWT za skale 1:48
Slika 11: Apsolutne vrijednosti koeficijenata CWT za svaku drugu skalu 1:128

3
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Lista tabela

Tabela 1: Primjeri funkcija mreže

Tabela 2: Primjeri često korišćenih aktivacionih funkcija

4
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

1 Uvod

Rad se prvenstveno bavi primjenom neuralnih mreža i vremensko-frekvencijske analize u

obradi signala. Na početku dat je kratak osvrt na nastanak i razvoj digitalne obrade signala. Njen
napredak je impresivan kako u teoriji tako i u domenu primjene. On je povezan sa prodorima
koji su ostvareni u mikroelektronici i računarskim i softverskim tehnologijama. Zahvaljujući tom
napretku, razvoj savremenih sistema se zasniva uglavnom na digitalnoj tehnologiji.
U trećem dijelu detaljno je opisan koncept neuralnih mreža kao i njihova primjena u
obradi signala. U ovom dijelu dat je i detaljan opis biblioteke realizovane u programskom jeziku
C# koja je baza za računanje neuronskih mreža.
Vremensko frekvencijska analiza signala kao i najčešće korišćene distribucije kao što su
Kratkotrajna Fourier-ova transformacija, Wignerova distribucija, S metod i Wavelet-i date su u
četvrtom dijelu. U ovom dijelu dat je i kratak primjer korišćenja programskog jezika
MATLAB-a kako bi se predstavile neke od mogućnosti wavelet-a.

5
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

2 Digitalna obrada signala

Signal se definiše kao bilo koja fizička veličina koja se mijenja sa vremenom, prostorom
ili sa bilo kojom drugom nezavisnom promjenljivom. Matematički, signal je funkcija jedne ili
više nezavisnih promjenljivih. Pri opisu signala važno je napomenuti i sredstva koja generišu taj
signal. Generisanje signala uglavnom je povezano sa sistemom koji reaguje na stimulans ili silu.
On se definiše kao fizički ureĎaj koji obavlja operacije na signalu tj. vrši njegovu obradu.
Ukoliko je taj sistem realizovan na digitalnom kompjuteru obrada signala je digitalna. MeĎutim,
obzirom da je analogna obrada preteča digitalne obrade neophodno je prvo objasniti pojam
analognih signala kako bi se bolje shvatio pojam digitalnih.
Prirodni signali se mogu matematički predstaviti skupom neprekidnih vrijednosti,
bilježenjem svih vrijednosti signala u protoku vremena. Signal zabilježen na ovaj način je
analogni. Kod analogne obrade signala koristi se neko svojstvo medijuma da bi se prenijela
informacija o signalu, jer su fizičke osobine medijuma direktno povezane sa fizičkim
karakteristikama prirodnog signala. Fundamentalni problem analogne tehnologije je to što
kvalitet informacije zavisi od kvaliteta medijuma, a kako je on podložan prirodnom procesu
starenja i propadanja, to i kvalitet zapisa vremenom propada. Druga velika mana analogne
tehnologije je ta što je kvalitet kopije neuporedivo lošiji od kvaliteta originala, pa je, samim tim,
i čuvanje informacije vremenski ograničeno. TakoĎe, analogna obrada signala je veoma
komplikovana, jer se vrši raznim mehaničkim ureĎajima. Od njih takoĎe zavisi kvalitet
informacije, a ne mogu se nikada napraviti savršeno preciznim, pa samim tim, ni kvalitet zapisa
ne može nikada biti 100% precizan. Zbog toga je ova tehnologija došla do kraja svog puta i
danas je sasvim prevaziĎena i zamjenjena digitalnom.
Prve teorijske veze izmeĎu analognih i diskretnih signala otkrio je Nyquist 20-ih godina
prošlog vijeka, istražujući optimalne telegrafske mehanizme prenosa. Shennon je nadogradio
Nyquist-ovo otkriće i tako je nastala Shennon-Nyquist teorema o odabiranju. Ubrzo, kasnih
40-tih, pojavili su se digitalni računari. MeĎutim, oni su i dalje bili prespori i nisu imali
mogućnost skladištenja dovoljno velikog broja podataka, koliko je digitalna obrada signala
zahtevala. Krajem 80-ih, dolazi do naglog razvoja računara i povećanja njihove memorije tj.
prostora za skladištenje i rad sa podacima. U isto vrijeme dolazi i do pojave kompakt diska i
prelaska sa magnetnog zapisa na optički (James T.Russell 1966.godine, pri čemu 1980.godine
Sony i Philips licenciraju taj njegov patent). Ovim se omogućilo čuvanje i prenos znatno većih
količina podataka nego do tada, čime su sve prepreke koje su kočile razvoj digitalne obrade
signala bile otklonjene. Tehnološki razvoj i dalje omogućava napredak i usavršavanje u oblasti
čuvanja i skladištenja podataka kao što su USB memorija, Eksterni Hard Disk i dr.
Prednost digitalne tehnologije u odnosu na analognu ogleda se u tome da kvalitet
informacije ne zavisi od kvaliteta medijuma tj. kopija je potpuno identična originalu. Pošto se
informacija ne mijenja, a moguće je napraviti identične kopije, digitalna tehnika pruža
6
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

mogućnost neograničenog čuvanja. Pored toga, obrada signala je mnogo lakša i preciznija, jer se
vrši matematičkim sredstvima, tj. propuštanjem kroz matematičke formule.
Digitalna obrada signala je jedna od najmoćnijih tehnologija koja oblikuje nauku i
inžinjering u 21. vijeku. Revolucionarne promjene su već napravljenje u komunikacijama,
medicinskim slikama, radarima i sonarima, visokom kvalitetu muzičke produkcije i dr. Digitalnu
obradu karakterišu predstavljanje u diskretnom vremenu, diskretnoj frekvenciji ili ostalim
diskretnim domenima signala od niza brojeva ili simbola.
Digitalna obrade signala vrši mjerenje, filtriranje, i/ili kompresiju kontinualnih analognih
signala. Prilikom digitalne obrade prvi korak je obično konvertovanje analognog signala u
digitalni procesom odabiranja i nakon toga digitalizacije pomoću AD konvertora (analog-digital)
koji pretvara odabrani signal u niz brojeva. Odabiranje se uglavnom sprovodi u dvije faze,
diskretizacija i kvantizacija. U fazi diskretizacije uzimaju se vrijednosti analognog signala u
tačno odreĎenim, jednakim vremenskim intervalima pri čemu se dobijaju odbirci. Nakon toga
vrši se kvantizacija svakog odbirka, odnosno njegovo predstavljanje odgovarajućim konačnim
brojem cifara, te se kodiranjem tih odbiraka dobija digitalni signal. Obzirom da je često potrebno
da izlazni signal ipak bude analogni, to se postiže pomoću DA (digital-analog) konvertora. Iako
se ovaj proces čini kompleksnijim od analogne obrade, primjena računarske snage kod digitalne
obrade signale omogućava mnoge prednosti u odnosu na analognu obradu u oblastima kao što su
detekcija i ispravljanje grešaka u prenosu, kompresija itd.
Centralno mjesto u digitalnoj obradi signala pripada Fourier-ovoj analizi nazvanoj po
francuskom matematičaru i fizičaru Jean Baptiste Joseph Fourier-u (1768-1830). Još davne 1807.
godine on je tvrdio da se analiza svih signala može bazirati na njihovom razlaganju na sinusoide,
dok je 1822. godine napokon za ovu tvrdnju dobio i priznanje. Fourier-ova transformacija
omogućava transformaciju signala iz vremenskog domena u frekvencijski. Za praktično
izračunavanje na digitalnom računaru obično se koristi tzv. Diskretna Fourier-ova transformacija
(DFT) koja se dobija diskretizacijom Fourier-ove transformacije. Ona daje informaciju o
frekvencijskom sadržaju signala, ali ne i informaciju o vremenskom trenutku pojave spektralnog
sadržaja tako da u slučaju signala sa promjenljivim spektralnim sadržajem ona ne daje
zadovoljavajuće rezultate. U tom slučaju se koristi vremensko-frekvencijska analiza signala (VF)
koje će kasnije biti detaljno opisana.
Posljednjih 15-tak godina, pokazano je da se signal može vjerno rekonstruisati iz malog broja
odbiraka, prikupljenih neuniformnom procedurom odabiranja – primjenom komprimovanog
očitavanja signala (Compressive Sensing, CS). MeĎutim bi se signal mogao rekonstruisati iz malog
broja odbiraka neophodno je zadovoljiti odreĎene uslove: rijetkost signala (sparsity) u nekom
transfomacionom domenu a zgusnutost u originalnom domenu (density) i nekoherentnost
procedure uzimanja odbiraka. TakoĎe da bi se signal mogao uspješno rekonstruisati iz malog
broja odbiraka u poreĎenju sa brojem odbiraka koji zahtjeva teorema o odabiranju, proces
uzimanja odbiraka signala (proces mjerenja) mora biti slučajan (random). Najveću pažnju
privukla je sparsity osobina signala još početkom 20. vrijeka, dok su konkretnu primjenu ove
osobine signala kod CS-a dali Candés, Romberg, Tao i Donoho u svojim radovima.

7
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Od 2000. godine, kompresivno odabiranje nalazi sve veću primjenu u brojnim oblastima
odabiranja signala. Jedna od najznačajnijih primjena CS-a je u medicini kod snimanja
magnetnom rezonansom. Redukcijom broja odbiraka potrebnih za rekonstrukciju slike, smanjuje
se vrijeme izloženosti pacijenta ureĎaju koji je karakterističan po velikom zračenju. TakoĎe CS
se koristi u analiziji watermark-a, audio i video signala kao pri vremensko-frekvencijskog
analizi.
Osim već pomenutih alata, digitalna obrada signala može se vršiti i pomoću sistema
neuralnih mreža koji će biti detaljno objašnjeni u nastavku.

8
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

3 Neuralne mreže

Vještačke neuralne mreže predstavljaju pojednostavljen matematički model bioloških

sistema, kao što je mozak. Osnovni gradivni elemenat neuralnih mreža je neuron. On se može
definisati kao osnovna jedinica za distribuiranu obradu podataka u neuralnoj mreži.

Slika 1. Grafički prikaz neurona

Neuron, dakle, predstavlja pravilo kako od N ulaznih veličina dobiti jednu izlaznu. Najčešće se
taj postupak razdvaja na dva dijela: kombinacioni postupak kojim se od N ulaznih veličina dobija
jedna veličina u i postupak dobijanja izlazne veličine o na osnovu vrijednosti u. Pravilo dobijanja
vrijednosti u naziva se funkcija mreže, dok se pravilo odreĎivanja izlazne veličine naziva
aktivaciona funkcija.

Slika 2. Grafički prikaz funkcije mreže

Znanje koje neuron posjeduje proističe iz kombinovanja ulaznih signala, odnosno iz funkcije
mreže. Najjednostavniji način kombinovanja N veličina je linearna kombinacija istih sa
težinskim koeficijentima w, što rezultuje u linearnoj funkciji mreže. Zbog svoje jednostavnosti
ovaj tip funkcije mreže je najčešće korišćen. U tabeli 1 su dati primjeri funkcija mreže.
Često vrijednost funkcije mreže pored ulaznih signala zavisi i od stanja samog neurona. To
stanje se modeluje realnom veličinom θ i naziva se ”bias“ ili prag. Model neurona sa nenultim
bias-om i linearnom aktivacionom funkcijom može se pojednostaviti ukoliko pored postojećih N
ulaza uvedemo i N + 1 ulaz x0 za koji će se pretpostaviti da je uvijek jednak jedinici x0 = 1. U
tom slučaju se bias može modelovati koeficijentom w0.

9
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Naziv Formula
N
Linearna u   i xi  
i 1
N N
Linearna forma II reda u   ik xi xk  
i 1 k 1
N
Proizvod u   xii
i 1

Tabela 1. Primjeri funkcija mreže

Znanje, kao način transformacije ulaznih informacija u izlazne, je sadržano u koeficijentima wi
(odnosno wik) funkcije mreže. Za razliku od funkcije mreže, zadatak aktivacione funkcije je da
vrijednost funkcije mreže transformiše u prihvatljivu vrijednost izlaza. Najčešće se postavlja
uslov da izlazne veličine moraju biti ograničenog opsega, tako da većina aktivacionih funkcija za
kodomen ima konačan podinterval skupa realnih brojeva: (0, 1) ili (−1, 1) ili čak binarni skup
izlaznih vrijednosti. U tabeli 2 su date formule često korišćenih aktivacionih funkcija, pri čemu
posebno treba istaknuti unipolarnu funkciju praga i unipolarni sigmoid, kao najznačajnije
aktivacione funkcije.
Naziv funkcije Formula
Linearna f (u )  u
1, u  1 
 
Po djelovima linearna f (u )  u, 1  u  1
1, u  1 
 
1, u  0 
Funkcija praga (unipolarna) f (u )   
0, u  0
1, u  0 
Funkcija praga (bipolarna) f (u )   
1, u  0
1
Sigmoid (unipolaran) f (u ) 
1  eu
2
Sigmoid (bipolaran) f (u )  1
1  e2u
2
Arkustangens f (u )  arctan(u )

( u  m )2
Gausova funkcija f (u )  e 2

Tabela 2. Primjeri često korišćenih aktivacionih funkcija

Puna funkcionalnost neuralnih mreža postiže se uvoĎenjem većeg broja meĎusobno povezanih
neurona. Veze meĎu neuronima su jednosmjerne (izlazni podaci jednog neurona mogu se

10
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

koristiti kao ulazni podaci drugog) i analogno sa biološkim sistemima nazivaju se sinapse. U
ovim sistemima primijenjena je distribuirana paralelna obrada podataka, za razliku od
računarskih sistema koji su projektovani prvenstveno za sekvencijalnu centralizovanu obradu
podataka. Za razliku od računarskih sistema koji svoje funkcionisanje zasnivaju na precizno
definisanim algoritmima sekvencijalne obrade podataka radi dobijanja odgovora kod neuralnih
mreža se, u najvećem broju slučajeva, mora provesti procedura učenja (obučavanja, treniranja)
mreže kako da na zadovoljavajući način reaguje na ulazne podatke. Neuralna mreža može se
definisati kao vještački ćelijski sistem sposoban da prihvati, upamti i primijeni eksperimentalno
(empirijsko) znanje. Ovdje se pod znanjem podrazumijeva sposobnost da neuralna mreža u
posmatranoj ulaznoj situaciji reaguje na odgovarajući način.

Slika 3. Prikaz neuralne mreže

Početak neuro-računarstva obično se vezuje za 1943. godinu i članak Warrena
McCullocha i Waltera Pittsa “Logički račun ideja svojstvenih nervnoj aktivnosti”.
Knjiga Donalda Hebb-a iz 1949. godine “The Organization of behavior” (Organizacija
ponašanja) ukazuje na to da je klasično psihološko uslovljeno ponašanje prisutno kod svih
životinja, jer je ono svojstvo neurona. Ova ideja nije bila nova, ali ju je Hebb više razradio od
prethodnika, predlažući odreĎeni zakon učenja za sinapse, a pomoću njega je izveo kvalitativno
objašnjenje nekih eksperimentalnih rezultata iz psihologije.
Početkom pedesetih godina, najviše uticaja na dalji razvoj neuronskih mreža je imao rad
Marvin Minsky-a koji je u tom periodu konstruisao neuroračunar pod imenom Snark (1951).
Frank Rosenblatt je zaslužan za otkriće jednoslojne neuronske mreže, zvane perceptron. Ovaj
računar je mogao uspješno da podešava težinske koeficijente, ali nije postigao značajnije
praktične rezultate. Tek krajem pedesetih godina, 1957. i 1958. godine, Frank Rosenblatt i
Charles Wightman sa svojim saradnicima su uspeli da razviju računar pod nazivom Mark I koji
predstavlja prvi neuroračunar. Nešto posle Rosenblatta, Bernard Widrow je sa svojim studentima

11
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

meĎu kojim je najpoznatiji bio Ted Hoff tvorac mikroprocesora, razradio novi tip “neurona” -
ADALINE (ADAptivini LINearni Element) i odgovarajući zakon učenja.
U periodu od 50-tih do ranih 60-tih godina napisano je nekoliko knjiga i osnovano
nekoliko kompanija koje se bave neuroračunarima. MeĎutim, sredinom 1960-tih godina došlo je
do zastoja. Prvo, većina istraživača je prišla problemu sa kvalitativne i eksperimentalne strane,
zanemarujući analitički pristup. Drugo, početni entuzijazam je bio toliko jak da su uveliko
publikovana predviĎanja da nas od veštačkog mozga dijeli samo nekoliko godina istraživanja.
Ovakav zanos je dalje diskreditovao ovu oblast i odbio veliki broj istraživača. Mnogi od ovih
ljudi su napustili neuroračunarstvo i prešli u srodna polja.
Sredinom 60-ih godina je pristup riješavanja problema neuronskih mreža okarakterisan
kao pogrešan, nakon što su Marvin Minsky i Seyour Papert u knjizi “Perceptrons” objavili
matematički dokaz da jednoslojna neuronska mreža “Perceptron” ne može da nauči funkciju
XOR, uz pretpostavku da dodavanjem više slojeva neurona taj problem neće biti prevaziĎen.
Tačno je da neuron nije u stanju da izvede pomenutu funkciju, ali za složeniju mrežu od nekoliko
neurona to predstavlja veoma jednostavan zadatak. Njihov dokaz je obustavio istraživanja
neuronskih mreža u narednih par godina, a finansiranja su preusmerena na druge oblasti veštačke
inteligencije.
MeĎutim, u periodu izmeĎu 1967. do 1982. godine pojavljuju se istraživači koji daju
značajan doprinos razvoju ove oblasti kao što su Teuvo Kohonen, Kunihiko Fukushima i
Stephnen Grossberg. Naročito se istakao Teuvo Kohonen, koji je otkrio nekoliko tipova
neuronskih mreža. U ovom periodu se pojavio i backpropagation algoritam. U radu na ovom
algoritmu su se posebno istakli sljedeći načunici: Amari koji 1967.godine dodaje unutrašnje
slojeve perceptronskoj mreži, Bryson i Ho koji 1969.godine razvijaju algoritam sličan
backpropagation algoritmu, Werbos koji 1974.godine nezavisno od prethodnika razvija
backpropagation algoritam i Parker koji 1982.godine unapreĎuje ovaj algoritam. Početkom
80-ih, američka vojna agencija DARPA (Agencija za odbrambene istraživačke projekte) postala
je zainteresovana za NM i finansiranja su ponovo započela. Sredinom 80-tih, poznati fizičar John
Hopfield dao je veliki doprinos popularizaciji neuronskih mreža, objavljujući rad u kome je
napravio paralelu izmeĎu neuronskih mreža i odreĎenih fizičkih sistema. Početkom 90-tih, Bart
Kosko u knjizi “Neural Networks and Fuzzy Systems” dokazuje da neuronske mreže i fuzzy
logika opisuju isti skup problema i samim tim otvara novu oblast koja se naziva soft computing.
Rumenel, Hinton i Williams 1986.godine dokazuju veliku primjenljivost i potencijal
backpropagation algoritma. Krajem 80-tih i početkom 90-tih, neuronske mreže i neuro
računarstvo se uvodi kao predmet na nekoliko elitnih univerziteta u SAD, dok se danas
neuronske mreže gotovo mogu sresti na svim univerzitetima.
Od tog vremena, mnogo različitih istraživača je proučavalo oblast neuralnih mreža, što je
vodilo u otkriće širokog opsega različitih neuralnih arhitektura, koje su mogle da se primjene za
rješavanje širokog opsega različitih problema. Iako su NM imale neobičnu istoriju, one su još
uvek u ranoj fazi razvoja. Danas NM nalaze veoma širok spektar primena u različitim praktičnim

12
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

oblastima. One mogu da se primjene na zadatke kao što su klasifikacija, prepoznavanje,

aproksimacija, predviĎanje, klasterizacija, simulacije memorije i dr.
U gotovo svim slučajevima od interesa obučena mreža koja se stavlja u funkciju nije
statična već ima ugraĎene mehanizme prilagoĎavanja novonastalim situacijama, odnosno proces
učenja se ne završava treniranjem mreže već se nastavlja i kroz upotrebu neuralne mreže.
Moguće primjene neuralnih mreža uključuju gotovo svaki aspekt savremenog života, od
prepoznavanja štampanog teksta, rukopisa i govora, preko optimizacije korišćenja kanala veze u
telekomunikacijama do finansijskih prognoza i otkrivanja nelegalnog korišćenja kreditnih
kartica. Uporedo sa razvijanjem neuranih mreža razvijaju se i odgovarajući softveri sa
bibliotekama za računanje neuralnih mreža. Jedan od programskih jezika pomoću kojih su
kreirane ove biblioteke je i programski jezik C#.

3.1 C# i njegova bibloteka za računanje neuralnih mreža

C# je danas glavni jezik .NET platforme koja je, pak, glavni Microsoftov adut za razvoj
softvera. Razvijen je u okviru ove platforme 2002. godine a kasnije i odobren kao standard od
strane Ecma (ECMA-334) i ISO (ISO/IEC 23270:2006). Njegov razvojni tim je voĎen od strane
Andrers-a Hejlsberg-a pri čemu je C# kreiran kao objektno orijentisan programski jezik koji
koristi dinamičko razrješavanje metoda sa sintaksom sličnom C++ jeziku. Posjeduje veliki broj
biblioteka meĎu kojima je i blioteka za računanje neuralnih mreža. Ona implementira nekoliko
popularnih arhitektura neuralnih mreža i njihovih trening algoritama, kao što su
back-propagacija, Kohonen samo-organizaciona mapa, elastična mreža, učenje po Delta pravilu i
učenje na osnovu percepcije.
Tokom dizajniranja biblioteke, jedna od glavnih ideja je bila da se napravi biblioteka koja
je jednostavna za upotrebu i razumijevanje, a ujedno i fleksibilna za eventualna proširenja.
Umjesto kombinovanja nekoliko entiteta neuralnih mreža u jednu klasu i stvaranja nereda, što
vodi u gubitak fleksibilnosti i jasnoće u kodu i dizajnu, svi entiteti su podjeljeni u različite klase,
što ih čini jednostavnijim za razumijevanje i upotrebu. Neke biblioteke neuralnih mreža teže da
kombinuju entitet neuralne mreže zajedno sa algoritmom učenja, što otežava razvoj drugog
algoritma učenja koji može da se primijeni na istoj arhitekturi neuralne mreže. Neke biblioteke i
aplikacije ne isporučuju entitete kao što su neuroni, slojevi neurona ili mreže slojeva, već
implementiraju cjelokupnu arhitekturu neuralne mreže u jednoj klasi. MeĎutim u nekim
slučajevima je diskutabilno šta je bolje obzirom da može da se javi neuobičajena arhitektura
neuralne mreže, gdje je teško razdvojiti mrežu u slojeve i neurone. U nekim drugim slučajevima,
mreže ne teže višeslojnoj arhitektui, tako je potpuno beskorisno imati dodatne entitete kao što su
slojevi. Ipak, u većini slučajeva je preporučljivo da se svi entiteti podjele u različite klase, što ne
samo da omogućava lakše razumijevanje, već takoĎe dopušta ponovnu upotrebu svih
komponenti i izgradnju nove neuralne mreže od manjih generičkih djelova.
Biblioteka sadrži šest glavnih entiteta:

13
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

 Neuron je osnovna abstraktna klasa za sve neurone. Druge neuronske klase se nasljeĎuju
iz ove klase sa ciljem da je prošire koristeći karakteristične dodatke i specijalizujući ih.
 Sloj predstavlja kolekciju neurona. Ovo je abstraktna klasa kojia obuhvata običnu
funkcionalnost za sve neuronske slojeve.
 Mreža predstavlja neuralnu mrežu koja je kolekcija neuronskih slojeva. Ovo je abstraktna
klasa koja pruža običnu funkcionalnost generičke neuralne mreže. Ukoliko se želi
implementirati specifična arhitektura neuralne mreže, potrebno je naslijediti ovu klasu
proširujući je specifičnim funkcionalnostima bilo koje arhitekture neuralne mreže.
 IActivationFunction je interfejs aktivacione funkcije. Aktivacione funkcije se koriste kod
aktivacionih neurona koji predstavljaju tip neurona kog kojeg se računa težinska suma
njegovih ulaza, a zatim se ta vrijednost koristi kao ulaz funkcije aktivacije i izlaz postaje
izlazna vrijednost neurona.
 IUnsupervisedLearning je interfejs za nenadzirani algoritam učenja. Ovaj algoritam
predstavlja tip algoritma učenja gdje je sistemu pružen primjer ulaza samo tokom faze
učenja, ali ne i željeni izlazi. Cilj ovog sistema je da organizuje samog sebe na način da
pronaĎe korelaciju i sličnosti izmeĎu uzoraka podataka.
 ISupervisedLearning je interfejs za nadzirane algoritme učenja. Ovaj algoritam
predstavlja tip algoritma učenja gdje sistem dobija uzorke ulaza sa željenim izlaznim
vrijednostim tokom faze učenja. Cilj ovog sistema je da uopšti podatke koji treba da se
nauče i nauči da obezbjedi tačne izlazne vrijednosti kada su one predstavljene samo
ulaznim vrijednostima.
Biblioteka pruža sljedeće arhitekture neuralnih mreža:
 Mreža aktivacije je neuralna mreža gdje neuroni računaju svoje izlaze kao funkciju
aktivacije izlaza i argument je težinska suma njenih ulaza kombinovana sa vrijednošću
praga (threshold). Mreža može da se sastoji od pojedinačnog sloja ili više slojeva.
Trenirana nadziranim algoritmima učenja, mreža dopušta da se riješe zadaci poput
aproksimacije, predviĎanja, klasifikacije i prepoznavanja.
 Mreža rastojanja je neuralna mreža gdje svaki neuron računa svoj izlaz kao rastojanje
izmeĎu težinskih vrijednosti i ulaznih vrednosti. Mreža se sastoji od jednog sloja i može
da bude korišćena kao osnova za mreže kao što su Kohonen samo-organizaciona mapa,
elastična mreža i Hamming mreža.
Kako bi se istrenirale različite neuralne mreže i kako bi se rješili različiti tipovi problema
korišćeni su različiti algoritmi učenja:
 Percepciono učenje – ovaj algoritam se smatra prvim algoritmom za učenje neuralnih
mreža i njegova istorija počinje od 1957. godine. Algoritam može da bude korišćen sa
jednoslojnom aktivacionom mrežom, gdje svaki neuron ima funkciju aktivacije
threshold-a. Opseg njenih primijena je prilično mali i ograničen i svodi se na klasifikaciju
linearno odvojivih podataka.

14
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

 Učenje po Delta pravilu – ovaj algoritam je po težini sljedeći iza algoritma percepcionog
učenja. On koristi izvode funkcije aktivacije i može da se primijeni samo u jednoslojnoj
aktivacionoj mreži gdje svaki neuron ima kontinualnu funkciju aktivacije umesto
threshold funkcije aktivacije. Najpopularnija kontinualna funkcija aktivacije je
unipolarna i bipolarna sigmoidna funkcija. Kako algoritam može da se primijeni samo na
jednoslojne mreže, spektar primjene ovakvih mreža je ograničen na zadatke koji se tiču
klasifikacije i prepoznavanja.
 Učenje pomoću back-propagacije – ovo je jedan od najpopularnijih i najpoznatijih
algoritama za višeslojne mreže i njihovo učenje. Inicijalno, on je opisan 1974. godine i od
tada on se primijenjuje za širok spektar različitih zadataka, koji uključuju aproksimaciju,
predviĎanje, prepoznavanje objekata, itd.
 SOM učenje – ovaj algoritam je razvijen od strane Kohonen-a, i smatra se jednim od
najpoznatijih nenadziranih algoritama učenja koji se primenjuje u problemima
klasterizacije. On tretira neuralnu mrežu kao 2D mapu čvorova, gdje svaki čvor može da
predstavlja odvojenu klasu. Algoritam organizuje mrežu na način tako da je moguće
pronaći korelaciju i sličnosti izmeĎu uzoraka podataka.
 Učenje elastične mreže – algoritam je sličan ideji SOM algoritma učenja, ali ne tretira
mrežne neurone kao 2D mapu čvorova, već kao prsten. Za vrijeme procedure učenja,
prsten dobija neki oblik, što predstavlja rješenje. Jedna od najpoznatijih demonstracija
ovog algoritma učenja je problem putujućeg prodavca.
Na slici 4 prikazan je proces učenja neuralne mreže, dok je na slici 5 dat primjer primjene
neuralne mreže:

Slika 4. Proces učenja neuralne mreže

15
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Slika 5. Primjena neuralnih mreža

Prezentovani primjeri ukazuju na to da je inicijalna svrha biblioteke ispunjena - ona je
fleksibilna, sposobna za ponovnu upotrebu i jednostavna za korišćenje i primjenu pri rješavanju
širokog spektra različitih problema. Primjena neuralnih mreža se najčešće djeli na tri
karakteristične oblasti:

 procesiranje senzorskih informacija

 analiza podataka
 kontrola upravljanja.
Osim što sama biblioteka može da se koristi za rješavanje različitih problema, uvijek postoji
mogućnost i njenog proširenja.
Nakon detaljnog pregleda osnovnih karakteristika neuralnih mreža i njihove primjene u obradi
signala, u nastavku će biti opisan još jedan neizostavan aspekt u obradi signala-
vremensko-frekvencijska analiza.

16
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

4 Vremensko-frekvencijska analiza signala

Vremensko-frekvencijska analiza se koristi za predstavljanje nestacionarnih signala U

ovu klasu spadaju govorni signali, biomedicinski i radarski signali, signali iz domena sonara,
seizmičke analize i slično. Naime, Fourier-ova transformacija daje ukupan spektar signala, ali ne
i informaciju o vremenskom rasporedu pojedinih spektralnih komponenti. Dakle, da bi se dobila
potpunija informacija, potrebno je koristiti predstavljanje iz koga se može pratiti promjena
spektra u vremenu. Takvo predstavljanje se može ostvariti vremensko-frekvencijskim
reprezentacijama. One su ustvari dvodimenzione funkcije vremena i frekvencije. Funkcija koja
opisuje promjene spektra signala naziva se trenutna frekvencija (Instantaneous frequency, IF).
Ona je bitan parametar signala i pokazuje kako se frekvencijski sadržaj mijenja tokom vremena.
Predstavlja mjeru lokalizacije u vremenu pojedinih frekvencijskih komponenti i za razliku od
Fourier-ove frekvencije, vremenski je zavisna. Definiše se kao prvi izvod faze signala Ф(t):
1 d (t )
IF (t ) 
2 dt (1)
Navedene prednosti vremensko-frekvencijskog u odnosu na Fourier-ovo predstavljanje
signala najbolje se mogu vidjeti kroz primjer (Slika 6). Za dva sinusoidalna signala sa jednakim
trajanjem i istim trenucima pojavljivanja i za sinusoidalni signali sa različitim trenucima
pojavljivanja predstavljene su njihove Fourier-ove transformacije i idealno
vremensko - frekvencijske reprezentacije. Ono što se može primjetiti je da su Fourier-ove
transformacije dva različita signala identične, a da su mi vremensko-frekvencijske reprezentacije
različite. Samim tim, ukoliko bi se koristila samo Fourier-ova transformacija, primjenom njenog
inverznog oblika dobili bi se isti umjesto različiti signali, što bi u ovom slučaju bila greška.

17
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Slika 6. a) Dva sinusoidalna signala sa jednakim trajanjem i istim trenucima pojavljivanja;

b) Sinusoidalni signali sa različitim trenucima pojavljivanja; c) Fourier-ova transformacija prvog
signala; d) Fourier-ova transformacija drugog signala; e) Idealno vremensko-frekvencijsko
predstavljanje zbira sunosoida; f) Idealno vremensko-frekvencijsko predstavljanje vremenski
pomjerenih sinusoida
Ono što je takoĎe bitno naglasiti je da ne postoji jedinstvena vremensko-frekvencijska
distribucija koja bi dala zadovoljavajuće rezultate pri analizi različitih tipova signala. Stoga, u
zavisnosti od vrste signala i aplikacije kojoj je signal namijenjen, različite
vremensko-frekvencijske distribucije su u upotrebi.

4.1 Pregled najznačajnijih vremensko-frekvencijskih distribucija

Prvi korak u razvoju moderne spektralne analize napravio je 1898. godine Sir Arthur
Schuster ispitujući periodičnost Fourier-ove transformacije što je podstaklo veliki broj naučnika
na kreiranje algoritma za brzo računanje Fourier-ove transformacije (Fast Fourier Transfort,
FFT). Tridesetak godina kasnije, tačnije 1932.godine u radu iz oblasti kvantne mehanike Eugene
Wigner (1902-1995) je uveo Wigner-ovu distribuciju. Ovaj rad nije bio iz oblasti obrade signala
i nedostatak ove distribucije je pojava tzv. unakrsnih članova, koji se javljaju na aritmetičkoj
sredini izmeĎu dva člana multikomponentnog signala. U cilju prevazilaženja ovog problema na

18
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

razvoju Wigner-ove distribucije radio je Jean-Andre Ville, koji je koncept Wigner-ove

distribucije primijenio u obradi signala. Iz tog razloga Wigner-ova distribucija, u formi koja se
danas koristi, poznata je pod nazivom Wigner-Ville-ova distribucija:

 
WD(t ,  )   x(t  2 )x (t  2 ) e d
*  j

 (2)
Wigner-ova distribucija je uvijek realna i zadovoljava marginalne uslove, što je čini
interesantnom za čitav niz primjena.
Ipak, jedna od najznačajnijih linearnih vremensko-frekvencijskih transformacija je
kratkotrajna Fourier-ova transformacija (Short-time Fourier Transform, STFT), uvedena od strane
Dennis Gabor-a u radu pod nazivom “Theory of communication,” koji je publikovan 1946. godine.
Umjesto da se posmatra Fourier-ova transformacija čitavog signala, uvodi se funkcija prozora
w(t) kojom se ograničava i izdvaja samo jedan dio signala oko posmatranog vremenskog
trenutka t. U ovu svrhu koristi se veći broj različitih prozora u zavisnosti od vrste signala koji se
posmatra. Za brzo promjenljive signale uglavno se koristi Gausov prozor, Hamming-ov i
Hann-ov prozor koriste se za uskopojasne i slučajne signale, dok se Kaiser-Bessel prozori
uglavnom koriste za odvajanje dvije komponente signala sa veoma bliskim frekvencijama ali se
znatno različitim amplitudama. Primjenom Fourier-ove transformacije na dio signala obuhvaćen
prozorom, dobija se spektar ograničenog dijela signala. Pomjeranjem prozora duž čitavog
signala, za svaki vremenski trenutak, dobija se STFT definisana na sljedeći način:

STFT (t ,  )   x(t   )w( ) e d
 j

 (3)
Važno je napomenuti da izbor funkcije prozora direktno utiče na vremensku i frekencijsku
rezoluciju analiziranog signala. Ilistracija računanja STFT-a data je na slici 4.
Kvadratni moduo STFT-a je spektrogram:

SPEC (t ,  )  STFT (t , )
2

(4)
Za razliku od STFT-a spektrogram ima realne vrijednosti. Ipak, ozbiljan nedostatak STFT-a i
spektrograma, je u opštem slučaju jaka zavisnost koncentracije od širine prozora. Naime,
korišćenjem uskog prozora dobija se dobra vremenska rezolucija, dok je frekvencijska slabija.
TakoĎe širi prozor obezbjedjuje bolju frekvencijsku, a slabiju vremensku rezoluciju.
MeĎutim nezavisnost koncentracije od veličine prozora može se postići upotrebom
Wigner-ove distribucije signala odsječenog prozorom poznate pod nazivom pseudo Wigner-ova
distribucija:

   
PWD(t ,  )   w( 2 )w( 2 ) x(t  2 )x (t  2 ) e d
*  j

 (5)

19
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Slika 7. Ilustracija računanja kratkotrajne Fourier-ove transformacije

U slučaju ove distribucije moguće je koristiti širi prozor i zadržati dobru vremensku rezoluciju.
Ipak u slučaju multikomponentnih signala Wigner-ova distribucija daje zbir Wigner-ovih
distribucija svih komponenti signala, kao i medjučlanova (krosčlanova) koji predstavljaju
neželjenu interakciju pojedinih komponenti signala. Stoga, ona nije pogodna za
vremensko-frekvencijsko predstavljanje multikomponentnih signala, jer prikazuje frekvencijske
komponente koje ne postoje u analiziranom signalu.
U cilju redukcije ili potpunog eliminisanja krosčlanova, 1994. godine, prof. Ljubiša Stanković
definisao je S-metod (SM), polazeći od definicije Wigner-ove distribucije. S-metod kombinuje
dobre osobine spektrograma i Wigner-ove distribucije, istovremeno redukujući ili potpuno
eliminišući uticaj unakrsnih članova:

1
SM (t ,  )   P( )STFT(t,    )STFT (t,    )d
*

  (6)
Ono što je bitno nepomenuti je da je S metod jednostavan za hardversku realizaciju što ga čini
još interesantnijim za primjenu. Nakon detaljnih predstavljanja navedenih distribucija, ne smije
se izostaviti još jedna veoma važna VF distribucija - waveleti.
Waveleti su funkcije nastale skaliranjem i translacijom bazisne funkcije u vremenskom
domenu. Definišu se na sljedeći način:

20
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

1 t b
 a ,b (t )  ( )
a a (7)

gdje su a i b dva proizvoljna realna broja i predstavljaju parametre za skaliranje i translaciju po

vremenskoj osi. Primijetimo da je bazisna funkcija, koja se još naziva i mother wavelet ili
prototip funkcija, vremenski skalirana sa a, dok je amplitudski skalirana sa a-1/2. Faktor ujedno
predstavlja faktor normalizacije, koji omogućava da energija wavelet funkcije ostane nezavisna
od parametra a.

Wavelet transformacija signala f(t) je matematički opisana izrazom


W (a, b)    a ,b (t ) f (t )dt
 (8)
dok je inverzna transformacija data u obliku
 
1
f (t )   b
C a    a,b (t )W (a, b)dadb (9)
pri čemu je

 ( )
2

C 


d
(10)
a funkcija ( ) Fourier-ova transformacija funkcije ψ(t).

Za slučaj kada su a i b kontinualne promjenjive i f(t) kontinualna funkcija, W(a,b) se naziva

kontinualna wavelet transformacija (CWT). Nasuprot tome, u praktičnim aplikacijama koristi se
diskretna wavelet funkcija (DWT). Diskretizacija se vrši u zavisnosti od parametara a i b,
najčešće korišćenjem sljedećeg pristupa:
a  a0m , b  nb0 a0m
(11)
gdje su m i n cijeli brojevi. Korišćenjem diskretnih parametara a i b, dobija se diskretna wavelet
funkcija
 m,n (t )  a0 m/2 (a0 mt  nb0 )
(12)
i odgovarajuća wavelet transformacija:

Wmd,n  a0 m /2  f (t ) (a0 mt  nb0 )dt
 (13)

21
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Pojam wavelet-a se se prvi put pojavio 1909. godine u doktorskoj disertaciji Alfreda Haar-a “On
the theory of the orthogonal function systems”. Ubrzo nakon toga definisana je čitava familija
wavelet-a nazvana Haar-ov wavelet koji se sve više upotrebljavaju od 1930. godine, kada je
fizičar Paul Levy radio na istraživanju Braunovog kretanja i zaključio da su za istraživanje
pojedinih detalja Braunovog kretanja Haar-ove bazne funkcije pogodnije od Fourier-ovih
funkcija. One se definišu na sljedeći način:
1, 0  t  0.5 
 (t )   
1, 0.5  t  1 (14)
pri čemu se ove funkcije mogu skalirati i pomjerati po vremenskoj osi:

Slika 8. Wavelet funkcija

Zbog osobine sklairanja (sa intervala [0, 1] na intervale [0, 1/2] i [1/2, 1]) ove funkcije
obezbjeĎuju veću preciznost u poreĎenju sa Fourier-ovim koje su definisane na intervalu[-∞,∞]).
Nakon Haar-a, razvoju waveleta u periodu od 1930. do 1970. godine dali su doprinose
mnogi naučnici meĎu kojima su bili John Littlewood, Richard Paley, Elias M. Stein i Norman H.
Ricker. MeĎutim, značajniji doprinos u ovoj oblasti dao je Jean Morlet, koji je razvio i
implementirao tehniku za skaliranje i pomjeranje funkcije prozora, prilikom analize akustičkih
signala 70-tih godina proslog vrijeka. On je primijetio da korišćenje STFT-a sa prozorom fiksne
širine nije pogodno za analizu ovakvih signala, već je u cilju rješavanja problema,
eksperimentisao je sa fiksnom frekvencijom, a mijenjao širine prozora – širenjem ili skupljanjem
funkcije. Rezultujuće talase promjenljive širine nazvao je wavelet-ima i ovo se smatra početkom
razvoja ere wavelet-a.
Nakon toga značajni doprinosi wavelet teoriji mogu se pripisati Zweig-ovom otkriću
CWT-a 1975.godine prilikom proučavanje reakcije uha na zvuk. MeĎutim formulaciji CWT-a
koja se danas koristi doprinijeli su Pierre Goupillaud, Grossmann i Morlet 1982. godine. Naredna
godina se vezuje za Jan-Olov Strömberg-ov početak rada sa diskretnim wavelet-ima i

22
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Stromberg-ovo otkriće ortonormalnih wavelet funkcija. Već 1985. i 1986.godine, istakao se

Grossmann-ov, Morlet-ov i Paul-ov rad na analizi skaliranja i translacije proizvoljnih signala,
baziranih na jednoj wavelet funkciji. Nakon samo par godina, Ingrid Daubechies kreirala je svoju
familiju wavelet-a nazvanu Daubechies wavelet-i, na bazi multirezolucione analize. Ona je radila
na razvoju wavelet okvira za diskretizaciju vremenskih parametara i parametara skaliranja kod
wavelet transformacije, što je dovelo do veće slobode u biranju baznih funkcija kod ove
transformacije. Ovo se smatra početkom moderne wavelet teorije.
Uporedo sa njom Stephane Mallat je radio na razvoju multirezolucione analize, a ovaj
pojam uveo je Yves Meyer 1989. godine u radu koji se bavi ortogonalnim wavelet-ima
“Orthonormal wavelets”. Ova analiza omogućava dizajniranje funkcije skaliranja, koja
obezbijeĎuje definisanje sopstvenih wavelet baza, kao i mogućnost da diskretna wavelet
transformacija razloži digitalni signal na različite podopsege, tako da podopsezi na nižim
frekvencijama imaju bolju frekvencijsku rezoluciju, a lošiju vremensku rezoluciju u odnosu na
podopsege viših frekvencija. Signal se, korišćenjem multirezolucione analize, takoĎe može
razložiti na dva dijela pri čemu jedan dio predstavlja aproksimaciju originalnog signala u manjoj
rezoluciji,a drugi sadrži informacije o detaljima koji se gube tom aproksimacijom. Dakle, signal
se može predstaviti izrazom:
f m (t )   m1,nm1,n   m1,n m1,n
n n (15)
gdje je  m1,n aproksimacija signala na rezoluciji 2 m+1
,  m1,n informacija o detaljima, m1,n
funkcija skaliranja i  m1,n bazisna wavelet funkcija. Aproksimacije su medjusobno povezane
izrazom:
 m1,i ( f )   h2ni m,n ( f )   g2ni m,n ( f )
n n (16)
gdje su hi i gi niskopropusni i visokopropusni filtar, koji se još nazivaju i filtrima analize. U
praksi se za efikasnu implementaciju i manji broj operacija kod ortonormalnih bazisnih wavelet
funkcija koriste FIR filtri, tj. filtri ograničene dužine.
1992. godine, Albert Cohen, Jean Feauveau i Ingrid Daubechies definisali su klasu
biortogonalnih wavelet-a, koji u mnogim situacijama prevazilaze ortonormalne bazisne funkcije,
a 1993. godine Newman je u svom radu uvodeo pojam harmonijske wavelet transformacije.
Posebne wavelet pakete razvijali su i Coifman, Meyer i Wickerhauser.
Sve ove osobine wavelet-a najbolje je sagledati kroz primjer. Obzirom da se MATLAB
nametnuo kao nezamjenljiv alat za rješavanje problema u gotovo svim oblastim inžinjerske prakse,
wavelet analiza signala biće prikazana upravo u ovom programskom jeziku.

4.2. Primjer Wavelet analize signala u MATLAB-u

MATLAB je viši programski jezik kreiran 1970. godine, od strane Cleve Moler-a sa
Univerziteta u Novom Meksiku, namjenjen obradi podataka u formi matrica i brojeva. Sam naziv

23
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

izveden je of Matrix Laboratory čime se sugeriše da su matrice osnovni entiteti za numeričke

proračune. Zahvaljujući fleksibilnom okruženju, širokom spektru ugraĎenih funkcija koji se
efikasno dolazi do numeričkih rješenja, mogućnošću razvoja algoritama i programiranja,
MATLAB je danas nezamjenljiv alat za rješavanje velikog broja problema. Na početku razvoja,
MATLAB je imao samo 80 funkcija, dok danas ima više od 8000. U prilogu će biti
demonstrirana upotreba jedne od ovih funkcija.
Za primjer je uzet zašumljeni sinusoidalni signal:
x = -2*pi:0.01:2*pi; y = sin(x);
noisy_y = y + 0.5 * rand(1, length(y));
plot(x,noisy_y)

1.5

0.5

-0.5

-1
-8 -6 -4 -2 0 2 4 6 8

Slika 9. Zašumljeni sinusoidalni signal

Za izvoĎenje kontinualne wavelet transformacije u MATLAB-u postoji funkcija cwt čiji su
ulazni argumenti: signal koji treba da se analizira, skale analize, wavelet koji se koristi, jedan
poseban flag i funkcija plot. Posle poziva funkcije sa sljedećim parametrima:
c = cwt (noisy_y, 1:48, ’db4’, ’plot ’);

u promenljivoj c se dobija matrica sa 48x1257 elemenata u kojoj svaki red odgovara jednoj skali
(db4 predstavlja wavelet Daubechieseve 4. reda), a kao rezultat zaseban grafik sa iscrtanim
apsolutnim vrijednostima koeficijenata CWT:

24
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Absolute Values of Ca,b Coefficients for a = 1 2 3 4 5 ...

46
43
40
37
34
31
28
scales a

25
22
19
16
13
10
7
4
1
200 400 600 800 1000 1200
time (or space) b

Slika 10. Apsolutne vrijednosti koeficijenata CWT za skale 1:48

Drugi argument funkcije cwt pruža korisniku mogućnosti za potpunu kontrolu broja skala sa
kojima se vrši analiza. U principu, korisniku je dozvoljen proizvoljan izbor, pod izvjesnim
ograničenjima:
• Sve skale moraju biti realni pozitivni brojevi
• Skale moraju da se povećavaju za pozitivan korak
• Najveća skala ne smije da premaši maksimalnu vrijednost koju diktira signal.
Ukoliko se analiza signala noisy_y ponovi za svaku drugu skalu od 2 do 128
c = cwt (noisy_y,2:2:128, ’db4’, ’plot ’);

dobija se malo jasnija predstava o tome šta se dešava signalu, uz naglašenu periodičnost.
Wavelet funkcije u MATLAB-u mogu se koristiti i preko grafičkog korisničkog interfejsa
gdje se pozivom funkcije wavemenu u komandnoj liniji, pojavljuje glavni meni Wavelet
Toolbox-a. Ovaj toolbox nudi veliki broj funkcija koje omogućavaju sve veću primjenu
wavelet-a.
Najveći broj primjena wavelet-i imaju u obradi slike, biomedicinskih signala i audio
signala. Generalno, aproksimacija DWT se koristi za kompresiju podataka ukoliko je signal već

25
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Absolute Values of Ca,b Coefficients for a = 2 4 6 8 10 ...

122
114
106
98
90
82
74
scales a

66
58
50
42
34
26
18
10
2
200 400 600 800 1000 1200
time (or space) b

Slika 11. Apsolutne vrijednosti koeficijentama CWT za svaku drugu skalu 1:128

odabran, a CWT za analizu signala tj. DWT se više koristi u inžinjerstvu i kompjuterskim
naukama, dok se CWT više koristi u naučnim istraživanjima. Kao i ostale transformacije,
wavelet-i služe za transformaciju podataka i kodiranje transformisanih podataka što kao rezultat
daje efikasnu kompresiju. Npr. JPEG 2000 je standard u kompresiji slike koji koristi
bioortogonalne wavelet-e Le Gall 5/7 i CDF 7/9. Wavelet-i su takoĎe počeli da se koriste i za
komunikacijske aplikacije. Wavelet OFDM je osnovna šema modulacije korišćena u HD-PLC
(Power Line Communications technology developed by Panasonic) i u jednom od izbornih
modaliteta u okviru IEEE 1901 standarda. Osim toga, wavelet-i se koriste i za eliminisanje šuma
kod slike i audio signala.

26
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Zaključak

U radu je prikazan istorijski osvrt na primjenu neuralnih mreža i

vremensko-frekvencijske analize u obradi signala. Na samom početku detaljno je opisana
analogna i digitalna obrada signala, kao i sve češće prisutno kompresivno odabiranje signala.
Nakon toga detaljno su predstavljene neuronske mreže zajedno sa njihovom primjenom u
obradi signala kao i njihova prednost u odnosu na standardnu Fourie-ovu analizu u slučaju
nestacionarnih signala. Danas, neuronske mreže predstavljaju veoma atraktivnu oblast
istraživanja i postoje brojne oblasti u kojima se koriste:
 prepoznavanje oblika
 prepoznavanje rukopisa
 prepoznavanje govora
 finansijske i ekonomske modele
 predviĎanje kretanja cijena na tržištu
 upravljanje sistemima
 upravljanje proizvodnim procesima
 analizu električnih kola
 psihijatrijske procjene
 kompresovanje podataka
 naftna istraživanja
 kriminološka istraživanja,
 analizu medicinskih testova
 ispitivanje EEG i EKG signala
 pronalaženje optimalnog rješenja
 upravljanje robotima
 analiziranje podataka pri pirolizi i spektroskopiji
 u bioračunarskim sistemima
 vremensku prognozu kao i u mnogim drugima oblastima.
U zadnjem dijelu detaljno je opisana vremensko-frekvencijsku analiza, sa posebnim
naglaskom na STFT-u, Wignerovoj distribuciji, S metodi i Wavelet-ima.
Na kraju je dat primjer primjene wavelet-a kako bi se najbolje mogle sagledati neke od
njegovih prednosti. Wavelet analiza se takoĎe sve češće primjenjuje i za opisivanje kompleksnih
algebarskih funkcija i analizu empirijskih kontinualnih podataka iz raznih signala različitih
rezolucija. TakoĎe neka od konkretnih područja primjene WT su i kompjuterska vizija,
seizmologija, kompjuterska grafika, proučavanje struktura galaksija, digitalne komunikacije,
prepoznavanje oblika, kvantna optika, biomedicinski inženjering, teorija matrica,
diferencijalne jednačine i numerička analiza.

27
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

DWT se prilagodila i našla svoju primjenu u raznim oblastima gotovo potpuno

zamenjujući konvencionalnu FT. U fizici, DWT nalazi široku primjenu u molekularnoj
dinamici, astrofizici, seizmičkoj geofizici, optici i kvantnoj mehanici. Wavelet preuzima
primat i u mjerenju i analizi krvnog pritiska i otkucaja srca, DNK analizi, prepoznavanju
govora i mnogim drugim naučno-tehničkim oblastima.
Osim navedenih oblasti, u radu su takoĎe ukratko opisana i dva programska jezika C# i
MATLAB, kao veoma pogodni alati za razvoj i primjenu neuralnih mreža i vremensko
frekvencijske analize.
Razvojem vještačkih neuronskih mreža došlo je do velikog napretka na području
vještačke inteligencije. Iako relativno nepoznata disciplina meĎu širom populacijom u doba sve
veće popularizacije personalnih računara postiže velike napretke. Na ovom polju naučnici iz
raznih naučnih disciplina projektuju sve veći broj vještačkih neuronskih mreža sa svrhom
rješavanja problema kao što su prepoznavanje, predviĎanje, optimizacija, asocijativna memorija i
kontrola. TakoĎe, treba naglasiti da će na putu razvoja vještačke inteligencije biti još dosta
poteškoća. Naime, najveći dio misaonih procesa mozga čovjeka obavijen je i dalje velom tajni,
što je, izmeĎu ostalog, realni ograničavajući faktor za razvoj vještačkih neuronskih mreža i
vještačke inteligencije.
Poznato je da svaku novu tehnologiju prate odreĎene prednosti i nedostatci, pa se mogu
se postaviti mnoga pitanja o tome kako će se primjene vještačkih neuronskih mreža odraziti na
život i ponašanje čovjeka u budućnosti. Naučnici predviĎaju da će nas 2025. godine "voziti
neuronske mreže", kao i da će one obavljati većinu kućnih poslova. Ovakav razvoj tehnologije
otvara pitanje kako će se razvijati čovjek u narednih sto godina, koje će osobine izgubiti a koje
dobiti. Ostaje želja i nada da će se uspjeti održati odreĎena ravnoteža izmeĎu čovjeka i onoga što
je stvorio.

28
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

Literatura

[1] Fifty Years of Signal Processing: The IEEE Signal Processing Society and its Technologies,
1948-1998.

[2] J. G. Proakis, D.G. Manolakis, Digital Signal Processing, Prentice Hall, 1996.

[3] Z. Babić, Diskretni signali i sistemi, Elektrotehnički fakultet, Banja Luka, 2012.

[4] M. Popović, Digitalna obrada signala, Akademska Misao, 2003.

[5] Lj. Stanković, Digitalna obrada signala, Naučna knjiga, 1990.

[6] Lj. Milić, Z. Dobrosavljević, Uvod u digitalnu obradu signala, Akademska Misao, 1999.

[7] Lj. Stanković, Digital Signal Processing with Selected Topics, CreateSpace Independent Publishing
Platform, An Amazon.com Company, 2015.

[8] M. Orović, T. Pejaković, A. Dragnić, S. Stanković, MRI watermarking in the Compressive Sensing
context, 57. internacionalni simpozijum ELMAR, Zadar, 2015.

[9] I. Orović, A. Dragnić, S. Stanković, Compressive Sensing as a Watermarking Attack, 21.

telekomunikacioni forum TELFOR, Beograd, 2013.

[10] I. Orović, S. Park, S. Stanković, Compressive Sensing in Video application, 21. telekomunikacioni
forum TELFOR, Beograd, 2013.

[11] http://cs.stanford.edu/people/eroberts/courses/soco/projects/2000-01/neural-networks/History/histor
y1.html posljednj put pristupano ovoj adresi 21.01.2016.

[12] http://www.codeproject.com/Articles/16447/Neural-Networks-on-C posljednji put pristupano ovoj

adresi 20.01.2016.godine.

[13] N. Yadav et al., An Introduction to Neural Network Methods for Differential Equations,
SpringerBriefs in Computational Intelligence, DOI 10.1007/978-94-017-9816-7_2.

[14] Lj. Stanković, M. Daković, T.Thayaparan, Time-Freuency Signal Analysis with Applications,
Artech House, Boston, 2013.

[15] S. Stanković, I. Orović, E. Sejdić, Multimedia signals and systems, Springer - Verlag, 2012.

[16] N. Yadav et al., An Introduction to Neural Network Methods for Differential Equations,
SpringerBriefs in Computational Intelligence, DOI 10.1007/978-94-017-9816-7_2.

[17] https://en.wikipedia.org/wiki/Wavelet#History posljednji put pristupano ovoj adresi 22.01.2016.

29
 Istorijski osvrt na razvoj i primjenu neuralnih mreža i vremensko-frekvencijske analize u obradi signala
Maja Lakičević

[18] R. X. Gao, R. Yan, Wavelets: Theory and Applications for Manufacturing, DOI 10.1007/978-1-
4419-1545-0_2, Springer Science+Business Media, LLC 2011.

[19] D. Lazić, M. Ristanović, Uvod u MATLAB, Mašinski fakultet u Beogradu, 2005.

[20] http://www.mathworks.com/products/wavelet/ posljednji put pristupano ovoj adresi 25.01.2016.

[21] B. Novaković, D. Majetić, M. Široki, Umjetne neuronske mreže, Sveučilište u Zagrebu, FSB,
Zagreb, 1998.

30