SKRIVENI MARKOVLJEVI MODELI Iako su uvedeni ranih esdesetih godina prolog veka, statistiki metod Skriveni

Markovljevi Lanci ili modeli, je poeo da se intenzivno koristi poslednje decenije. Dva su kljuana razloga za to. Jedan lei u tome da su ovako definisani modeli vrlo bogate strukture, te tako definisani predstavljaju sjajnu osnovu za opis velikog broja razliitih problema. Drugi razlog lei u tome da je njihova kompjuterska struktura vrlo sloena, te je neophodno imati jaku raunarsku podrku u implementaciji ovih modela. Uvod Uopteno govorei realni svet proizvodi merljive izlaze koje mi nazivamo signalima. Signali po svojoj prirodi mogu biti diskretni (karakteri koji su generisani iz konanog skupa alfabeta, kvantizacioni vektori iz kodne knjige i tome slino) ili kontinualni po svojoj prirodi (kao to su odbirci govornog signala, merenje temperature, muzike, i tako dalje). Izvor ovog signala moe biti stacionaran na nain da se njegove statistike tokom vremena ne menjaju, ili nestacionaran. Signali mogu biti isti (direktno mereni sa izvora signala) ili zaumljeni uticajem drugih izvora signala (umova). Problem od neverovatnog znaaja jeste okarakterisati takav realni svet signala pomou odgovarajueg modela signala. Mnogo je razloga zbog kojih je ovakav model signala od znaaja. Najvaniji od njih je da model signala omoguava odgovarajui teorijski opis signala pomou koga se moe predloiti odgovarajua obrada signala i na taj nain dobiti eljeni izlaz. Na primer, ako je u pitanju obrada govornog signala koji je zagaen umom ili smetnjama prilikom prenosa signala, mi moemo iskoristiti model signala kako bismo optimalno otklonili um i potisnuli poremeaj koji se pojavio prilikom prenosa. Drugi znaajan razlog zbog koga je vano razvijati modele procesa jeste da nam ti modeli esto govore neto o izvoru signala ak i onda kada nam ti izvori nisu na raspolaganju. U takvim sluajevima mi moemo, ako su nam na raspolaganju dobri modeli signala, generisati, odnosno simulirati realne signale. Na kraju, moda i najvaniji razlog razvoja modela signala jeste razvoj efikasnih ureaja sistema za predikciju, prepoznavanje, identifikaciju i t.d. Postoji nekoliko razliitih tipova modela signala. Oni se, na grubi nain, mogu podeliti u klasu deterministikih i u klasu statistikih modela. Deterministiki modeli se baziraju na konkretnom znanju specifinih osobina signala. Kod ovih modela se uglavnom, na osnovu ovog znanja, usvajaju karakteristini oblici a zatim se uglavnom estimiraju parametri kao to su amplituda, uestanost, fazni stav i tome slino. Druga iroka klasa modela signala su statistiki modeli u kojima je cilj da se izvri karakterizacija statistikih osobina procesa. Primeri takvih statistikih modela ukljuuju Gausovske procese, Poasonove procese, Markovljeve procese, pa i

skrivene Markovljeve procese. Zajednika nit ovih modela jeste da se signali mogu okarakterisati kao sluajni procesi pri emu je vano odrediti stohastike parametre ovih procesa. Sa stanovita obrade govornog signala oba od ovih pristupa u modeliranju mogu biti od znaaja i od koristi, meutim, sada emo se baviti statistikim pristupom koji se u literaturi naziva Hidden Markov Models ili se oznaavaju skraenicom HMM. Prvo emo na jednostavnim primerima dati osnovne karakteristike Markovljevih modela, zatim emo izvriti ekstenziju prema skrivenim Markovljevim modelima, a zatim emo definisati osnovna tri problema koja se vezuju za skrivene Markovljeve modele: sraunavanje verovatnoe (ili verodostojnosti) observacione sekvence za zadati HMM, odreivanje najbolje sekvence stanja modela i podeavanje parametara modela shodno dobijenoj sekvenci observacija. Bie pokazano i to kako se reavanjem ova tri problema, HMM moe primeniti za reavanje problema prepoznavanja govora. Niti je teorija o skrivenim Markovljevim modelima nova, niti je njena primena u prepoznavanju govora nova. Osnovni teorijski rezultati su publikovani kasnih esdesetih i ranih sedamdesetih (Baum i dr.) dok su prve implementacije ovih rezultati u oblasti prepoznavanja govora izvrena sedamdesetih (Baker na CMU i Jelinek na IBM). Meutim, ira primena i razumevanja ovakve metodologije je naila tek nekoliko godina kasnije. Diskretni Markovljevi procesi Posmatrajmo sistem koji se moe opisati na taj nain da u svakom vremenskom trenutku on moe da se nalazi u jednom od N moguih stanja S1 , S2 ,..., S N , kako je to ilustrovano slikom 1 (na kojoj je zbog jednostavnosti usvojeno N = 5 ).

Slika 1: Markovljev lanac sa 5 stanja i izabranom tranzicijom stanja

U regularnim, ekvidistantnim vremenskim intervalima, sistem se podvrgava moguim promenama stanja a shodno unapred definisanim verovatnoama. Uvedimo notaciju qt koja oznaava stanje u kome se sistem nalazi u trenutku t. sledea relacija: Potpuni opis ovakvog sistema podrazumeva poznavanje verovatnoe da e sistem iz jednog prei u drugo stanje. Za Markovljeve modele je karakteristina

koja zapravo znai da predistorija ne utie na to u koje e stanje prei sistem u sledeem trenutku, ve je od znaaja iskljuivo njegovo trenutno stanje. Pri tome se jo podrazumeva da se ove verovatnoe ne menjaju tokom vremena, te se moe usvojiti fiksni skup parametara aij sa sledeim znaenjem:

Koeficijenti aij se nazivaju koeficijentima tranzicije i oni moraju zadovoljiti sledee uslove:

Ovako definisan stohastiki proces bi se mogao nazvati merljivim Markovljevim modelom sobzirom da se pretpostavlja da se u svakom trenutku zna u kome je stanju sistem, jer se pretpostavlja da svakom stanju odgovara neki specifian skup fizikih uslova. U cilju ilustracije ovakvog modela pretpostavimo Markovljev model vremena sa tri stanja. Pretpostavlja se da se jednom dnevno belee vremenske prilike i da se shodno tome moe detektovati jedno od sledea tri stanja: Stanje 1: padavine (kia ili sneg) Stanja 2: oblano Stanje 3: sunano. Takoe se pretpostavlja da se vremenske prilike dana t mogu predstaviti iskljuivo jednim od ova tri stanja, i da je matrica tranzicija A data sledeim verovatnoama:

Ako je poznato da je vreme prvog dana (t=1) sunano (stanje broj 3), moemo postaviti sledee pitanje: Kolika je verovatnoa, na osnovu modela, da e sledeih sedam dana vreme biti ovakvo:

sunce-sunce-kia-kia-sunce-oblano-sunce? Na osnovu ovog pitanja moemo formirati sledeu sekvencu observacija: O = { S3 , S3 , S3 , S1 , S1 , S3 , S2 , S3 } koja odgovara vremenskim trenucima

t=1,2,...,8. eleli bismo da odredimo verovatnou ovakve sekvence usvajajui gore definisani model:

pri emu je iskoriena notacija

koja oznaava verovatnou inicijalnog stanja. Sledee zanimljivo pitanje je: ako znamo da je sistem u nekom odreenom stanju, kolika je verovatnoa da e ono ostati u tom stanju tano d dana? Opet se na ovo pitanje moe odgovoriti izraunavanjem verovatnoe sledee sekvence

koja za usvojeni model glasi

Vrednost pi ( d ) predstavlja verovatnou boravka d koraka u stanju i. Na osnovu ove vrednosti, jednostavno se moe sraunati oekivana duina boravka u nekom stanju, pod uslovom polaska iz tog stanja:

Shodno poslednjem rezultatu moemo zakljuiti na osnovu datog modela da je oekivani broj uzastopnih sunanih dana jednak 1/ 0.2 = 5 , oblanih dana 1/ 0.4 = 2.5 i kinih dana 1/ 0.66 = 1.67 . Proirenje na skrivene Markovljeve modele

Do sada smo razmatrali Markovljeve modele u kojima svakom stanju odgovara neki vidljivi (merljivi) dogaaj. Ovakav model je prilino restriktivan da bi bio primenjiv na itave klase problema koji su od interesa. Ekstenzija ovakvog koncepta vodi ka skrivenim Markovljevim modelima koji podrazumevaju da su observacije generisane iz nekog stanja opisane funkcijama verovatnoe. Tako se uvodi koncept dvostrukog stohastikog procesa. Prvi proces omoguava tranziciju kroz skup stanja a drugi proces za zadato stanje generie niz observacija. Na taj nain, imajui observacije na raspolaganju nema se jasna predstava o tome u kome je stanju sistem trenutno. Vrlo lep, jednostavan a ilustrativan primer ove ekstenzije jeste model novia. Model novia: Zamislimo sledei scenario. Vi ste u sobi koja je podeljena na dva dela nekim neprovidnim zastorom. Vi se nalazite u jednom delu sobe a iza zastora je druga osoba koja izvodi eksperiment sa noviem. Ona Vam nee rei ta trenutno radi sa noviem, jedino e da Vam saoptava rezultat eksperimenta (pismo ili grb). Tako e Vama na raspolaganju biti jedino sekvenca observacija:

gde znak

stoji umesto oznake za pismo ili glavu. Na osnovu gornjeg scenaria pitanje je kako da

formiramo skriveni Markovljevi model koji bi opisao sekvencu observacija koja nam je na raspolaganju. Prvo pitanje je ta treba da budu stanja ovog modela i koliko treba da ih bude. Jedan i najjednostavniji nain jeste da pretpostavimo da postoji samo jedan nefer novi koji bacamo. U tom sluaju postoje dva stanja koja rezultuju pismom ili glavom. Takav model je prikazan na slici 2a.

Slika 2.a U ovakvom sluaju Markovljev model nije skriven (observabilan je) i jedini problem koji moe da se postavi jeste koliko je novi nefer (odnosno koliki je njegov bajes-pomeraj). Druga mogunost je da formiramo skriveni Markovljevi model. U ovom sluaju pretpostavljamo da postoje dva razliita stanja i da svako stanje odgovara razliitim nefer noviima, to znai da za svako stanje ponaosob postoje razliite verovatnoe pojave pisma ili glave. ematski prikaz ovog modela je dat na slici 2.b.

U ovakvom modelu pojavljuje se problem odreivanja verovatnoa tranzicije iz stanja u stanje, kao i verovatnoa pojave pojedinih observacija za svako stanje ponaosob. Trea mogunost da se formira skriveni Markovljevi model je ematski prikazana na slici 2c.

Slika 2.c Ovakav model podrazumeva postojanje tri razliita nefer novia, pri emu svakome od njih odgovara po jedno stanje. Postavlja se logino pitanje, koji od ovih modela najvie odgovara realnoj situaciji, odnosno dobijenim observacija. Pri tome je oigledno da prvi model u sebi sadri samo jedan nepoznati parametara, drugi model 4 parametra a trei model 9 nepoznatih parametara. Shodno tome postaje jasno da model sa veim stepenom slobode (veim brojem nepoznatih parametara) sigurno moe bolje da opie sekvencu merenja. Iako je ovo tvrenje tano, videemo kasnije da prilikom reavanja nekih praktinih problema moraju da se uzmu u obzir striktna ogranienja vezana za dimenziju modela. U nameri da ilustrujemo mogue sloenosti skrivenih Markovljevih modela posmatrajmo primer Urni i kuglica (slika 3).

Slika 3. Pretpostavimo da u prostoriji postoji N urni i da se u svakoj od njih nalazi veliki broj obojenih kuglica. Pretpostavimo dalje da postoji M razliitih boja. Fiziki proces generisanja observacija je sledei: Neka osoba je u sobi i na osnovu nekog stohastikog procesa ona sluajno bira poetnu urnu i iz nje, sasvim sluajno izvlai kuglicu i saoptava njenu boju. Loptica se vraa u urnu iz koje je izvaena. Sada se nova urna bira na sluajan nain i ceo se proces ponavlja. Tako ovaj eksperiment rezultuje nizom observacija koje sadre samo boje izvuenih kuglica. Najjednostavniji HMM za ovakav eksperiment jeste da se formira model koji ima onoliko stanja koliko ima urni, a da se pri tome svakoj urni, odnosno svakom stanju, pridrue odgovarajue verovatnoe sa kojima se iz njih moe generisati odgovarajua boja. Elementi skrivenih Markovljevih modela Gore navedeni primeri nam daju jasnu ideju o tome ta je skriveni Markovljev model i kako se mogu interpretirati eksperimenti vezani za njega. Sada je neophodno formalno definisati elemente HMM-a i objasniti kako se generie sekvenca observacija. Skriveni Markovljev model se karakterie kroz sledee parametre: 1. N je broj stanja u modelu. Iako su stanja skrivena, za veliki broj praktinih problema postoji jasna fizika interpretacija stanja i njihovih fizikih znaenja. U sluaju novia stanje odgovara konkretnom noviu, dok u primeru urni stanje se vezuje za konkretnu urnu. U optem sluaju stanja se definiu tako da se u svako stanje moe stii iz bilo kog drugog stanja (to je takozvani ergodini model), meutim, videemo kasnije, da je mogue definisati i drugaiju interkonekciju izmeu stanja. Obino se sa S = { S1 , S2 ,..., S N } oznaava skup svih moguih stanja, a sa qt stanje modela u trenutku t. 2. M je broj razliitih observacija koja se mogu realizovati iz stanja i ovaj parametar obino predstavlja dimenziju (kardinalni broj) diskretnog alfabeta. Observacioni simboli

odgovaraju fizikom merenju modela. Za primer novia to su pismo ili glava, za primer urni to su odgovarajue boje. Skup ovih simbola se obino oznaava na sledei nain V = { v1 , v2 ,..., vM } . 3. Raspodela verovatnoa tranzicija A = { aij }

U optem sluaju u kome se svako stanje moe dostii iz bilo kog drugog stanja pretpostavlja se da je aij > 0 za svako i i j. Za neke druge tipove HMM moe se apriori usvojiti da je aij = 0 za neke specifine parove i i j. 4. Verovatnoe pojave pojedinih simbola iz pojedinih stanja, B = { b j ( k ) } gde je:

5.

Inicijalna raspodela stanja p = { pi } gde je

Na osnovu zadatih vrednosti za N, M, A, B i p , HMM moe da generie odgovarajuu sekvencu observacija

pri emu svaka od observacija Ot oznaava neki od simbola skupa V, dok T oznaava ukupan broj observacija u sekvenci. Postupak generisanja sekvenci observacije se realizuje kroz sledei niz koraka: 1. Izabere se inicijalno stanje q1 = S j shodno inicijalnoj raspodeli verovatnoa p . 2. Postavi se vreme t=1. 3. Izabere se Ot = vk shodno verovatnoama pojave simbola za stanje S j , b j ( k ) . 4. Izvri se tranzicija u novo stanje qt +1 = Si na osnovu raspodela verovatnoa za tranziciju stanja, odnosno aij . 5. Postavi se vreme t = t +1 , i vrati se na korak 3, ukoliko je t < T , inae se zavrava procedura. Gornja procedura se moe koristiti kao generator observacija a istovremeno kao model koji opisuje sekvencu observacija za zadati HMM. Na osnovu gornje diskusije postaje jasno da je skriveni Markovljev model opisan tripletom A, B i p , osnosno u skraenoj notaciji:

Tri osnovna problema vezana za skrivene Markovljeve modele U elji da se formira HMM koji e efikasno opisivati fiziki proces koji nas zanima ili u smislu primene ve postojeeg HMM-a, tri kljuna problema mogu da se pojave: Problem 1: Pretpostavimo da nam je data sekvenca observacija O = O1O2 ...OT i model

l = ( A, B, p) , kako da efikasno sraunamo verovatnou P ( O / l ) da je takav model generisao takvu sekvencu observacija. Problem 2: Ako nam je data sekvence observacija O = O1O2 ...OT i model l = ( A, B, p) , kako da odredimo odgovarajuu sekvencu stanja Q = q1q2 ...qT koja ima najvie smisla ili koja za zadati model najvie odgovara dobijenoj sekvenci observacija. Problem 3: Kako da odredimo parametre HMM-a l = ( A, B, p) ako nam je na raspolaganju sekvenca observacija, odnosno kako da maksimiziramo P ( O / l ) . Problem 1 je takozvani evaluacioni problem i on predstavlja postupak kojim se rauna verovatnoa generisanja neke observacije iz poznatog modela. Ovaj se problem moe tretirati i kao problem ocene u kojoj meri neka sekvenca odgovara usvojenom modelu. Ovakav pogled na problem 1 e biti od velike koristi za reavanje problema prepoznavanja oblika. Problem 2 postavlja problem reavanja skrivenosti u skrivenim Markovljevim modelima, i on pokuava da nam da odgovor koja logina sekvenca stanja odgovara dobijenoj sekvenci observacija. Problem 3 se obino javlja na samom poetku prilikom formiranja HMM.a. Polazi se od skupa merenja koja su predstavljena u formi sekvence observacija, a cilj je da se 'obui' HMM tako to e se odrediti njegovi parametri tako da on najbolje optimizuje (fituje) prikupljenim merenjima. Ukoliko posmatramo problem generisanja sistema za prepoznavanje izolovanih rei, navedeni problemi se svode na sledee. Za svaku od W rei iz renika mi elimo da formiramo poseban HMM sa N stanja. Predstavimo govorni signal zadate rei kao vremensku sekvencu kodiranih spektralnih vektora. Pretpostavimo dalje da je kodiranje izvreno tako da kodna knjiga sadri M razliitih vektora. Formirana je obuavajua baza u kojoj je svaka re predstavljena sa odgovarajuim brojem uzoraka odnosno sekvenci kodiranih spektralnih vektora (generisanih od strane jednog ili vie govornika). Prvi zadatak je da se formiraju pojedini modeli za svaku re ponaosob. Ovaj problem je definisan problemom broj 3. Da bismo razumeli fiziki postupak generisanja dobijene observacione sekvence moramo reiti problem broj da bi se izvrila segmentacija sekvence u pojedina stanja. Konano, kada se formira W razliitih modela za svaku

re ponaosob, moe se vriti prepoznavanje izgovorenih rei tako to se za snimljenu re izvri reavanje problema 1 za svaki od generisanih modela. Model koji dobije najvee poverenje (najveu odgovarajuu verovatnou) bie prepoznat kao izgovorena re. U sledeem odeljku bie data matematika reenja za sva tri navedena fundamentalna problema skrivenih Markovljevih modela. Reenje problema 1 Cilj nam je da odredimo verovatnou pojave sekvence observacija O = O1O2 ...OT pod pretpostavkom da nam je HMM dat tripletom l = ( A, B, p) . Najjednostavniji nain jeste da se se uzmu u obzir sve mogue sekvence stanja. Zamislimo jednu fiksnu sekvencu stanja

gde je sa q1 oznaeno inicijalno stanje. Tada je verovatnoa sekvence observacija pod pretpostavkom poznate sekvence stanja i modela jednaka:

pri emu je pretpostavljena statistika nezavisnost observacija. Otuda se dobija: Sa druge strane verovatnoa sekvence stanja se moe napisati u formi:

Zdruena verovatnoa sekvence stanja i observacija je proizvod pojedinih marginalnih verovatnoa:

i konano se verovatnoa sekvence observacija dobija sumiranjem odgovarajuih zdruenih verovatnoa pomnoenih sa odgovarajuim marginalnim verovatnoama sekvenci stanja:

Iako poslednji izraz deluje prilino jednostavno, numerika sloenost njegovog izraunavanja je
T vrlo velika. On zahteva ( 2T - 1) N mnoenja i N T - 1 sabiranja. Za sluaj modela sa N=5 stanja i

duine sekvence T=100, broj operacija je reda veliine 1072 to postaje teko izvodljivo u realnom vremenu. Otuda je dosta veliki napor uloen da se doe do procedure koja e biti numeriki znaajno jednostavnija. Takva procedura postoji i naziva se Forward-Backward procedura. Definiimo forward promenljivu at ( i ) na sledei nain:

koja predstavlja verovatnou dela observacije O1 , O2 ,..., Ot (do trenutka t) sa dogaajem da je u trenutku t aktivno stanje Si . Tada se ove forward varijable mogu dobiti induktivno:

Korak 1. inicijalizuje forward verovatnou kao zdruenu verovatnou za stanje Si i observaciju O1 . Idnukcioni korak, koji predstavlja srce ovog algoritma, je ilustrovan slikom 4.a. Ova slika pokazuje kako u stanje S j moe da se dostigne u trenutku t+1 iz N razliitih stanja u trenutku t. Relacija (20) se izraunava za svako stanje j , 1 j N i za sve vremenske trenutke t = 1, 2,..., T - 1 . Konano, korak 3 daje konano sraunatu verovatnou P ( O / l ) kao sumu forward promenljivih aT ( j ) jer je

Slika 4a Ovakav pristup reenju problema 1 zahteva N 2T sraunavanja (to za sluaj N=5 i T=100 rezultuje sa 3000 izraunavanja umesto prethodno sraunatih 1072 ). Sraunavanje takozvanih forward verovatnoa je zasnovano na letis (lattice or trellis) strukturi kakva je prikazana na slici 4.b.

Kljuni korak u ovoj strukturi je da svakom od N stanja u modelu odgovara po jedan vor u letis strukturi, i na taj nain se svih moguih N podsekvenci skuplja u N vorova, bez obzira na to koliko je sekvenca observacije duga. Na slian nain se mogu sraunati i takozvane backward verovanoe bt ( i ) definisane na sledei nain: bt ( i ) = P ( Ot +1Ot +2 ...OT qt = Si , l

(24)

Ovaj izraz predstavlja verovatnou dela observacije od trenutka t+1 pa do kraja, ukoliko se zna stanje Si u trenutku t i ukoliko je poznat model l . Ponovo se ove verovatnoe mogu sraunavati induktivno, kroz sledee korake:

Inicijalni korak 1) potpuno neodreeno inicijalizuje vrednosti verovatnoa na 1 za svako i. Dok korak 2, koji je ilustrovan na slici 5, pokazuje da ukoliko elimo da budemo u stanju Si u trenutku t, moramo da uzmemo u obzir sva mogua stanja u kojima se moemo nai u trenutku t+1, sa odgovarajuim verovatnoama.

Kasnije emo videti da nam ovi backward koeficijenti mogu biti od velike koristi za reavanje problema 2 i 3. Reenje problema 2 Za razliku od problema 1 za koji postoji egzaktno reenje, u sluaju problema 2 postoji vei broj reenja u cilju nalaenja ''optimalne'' sekvence stanja koja se pridruuje izmerenoj sekvenci observacija. Tekoa lei u tome kako definisati optimalni niz stanja, jer je mogue navesti vei broj razliitih kriterijuma optimalnosti. Na primer, jedan od kriterijuma moe usvojiti stanje qt koje je samo po sebi najverovatnije (najverodostojnije). Ovaj kriterijum maksimizira oekivani broj korektno izabranih individualnih stanja. U cilju implementacije ovakvog kriterijuma u reavanje drugog problema, uvedimo sledeu varijablu:

koja predstavlja vervoatnou da je sistem u trenutku t bio u stanju Si , ako nam je data sekvenca observacija O uz poznavanje modela l . Relacija (26) se moe jednostavno predstaviti u duhu forward-backward varijabli:

Pri tome je jasno da postoji ogranienje u sledeoj jednakosti:

Shodno tome, izbor optimalnog stanja u trenutku t se moe izvriti shodno sledeoj relaciji:

Iako relacija (29) maksimizira oekivani broj korektnih stanja ( birajui najverovatnije u svakom trenutku t) mogu se pojaviti neki problemi u tako generisanoj sekvenci. Na primer, ako HMM ima nultu verovatnou za neku tranziciju stanja (ako je recimo aij = 0 za neko i i neko j) lako se moe dogoditi da se u optimalnoj trajektoriji pojavi ovakva tranzicija, mada je ona nemogua. Ovakav dogaaj je mogu jer relacija (29) bira pojedinana najverovatnija stanja ne vodei rauna o njihovoj tranziciji. Jedno od moguih reenja jeste da se gorenavedeni kriterijum unekoliko modifikuje. Jedan od naina je da se biraju parovi optimalnih stanja ( qt , qt +1 ) ili tripleti ( qt , qt +1 , qt +2 ) . Iako ovakvi kriterijumi za neke od aplikacija mogu biti svrsishodni, najee korieni kriterijum jeste da se direktno odreuje jedna najverovatnija sekvenca stanja P ( Q / O, l ) , to je ekvivalentno

maksimizaciji kriterijuma P ( Q, O / l ) . Formalna tehnika za odreivanje najbolje sekvence je zasnovana na metodi dinamikog programiranja i naziva se Viterbijevim algoritmom. Viterbijev algoritam trai najbolju sekvencu stanja Q = { q1q2 ...qT } na osnovu sekvenci observacija

O = { O1O2 ...OT } , i u tom cilju zahteva izraunavanje sledee vrednosti:

koja predstavlja najveu verovatnou du jedne putanje, u trenutku t , koja uzima u obzir prvih t observacija a zavrava u stanju Si . Indukcijom se dobija

Da bi se generisala eljena sekvenca observacija, neophodno je pratiti trag najboljih argumenata, te je na taj nain predloena sledea iterativna procedura:

Reenje problema 3 Primetimo da je reenje problema 3 najkomplikovanije i ono zahteva da se na osnovu niza sekvenci observacije odrede parametri modela ( A, B, p) . Nema naina da se analitiki rei problem odreivanja parametara modela za zadatu sekvencu. Ideja je da se izabere takav model l = ( A, B, p) koji e maksimizirati P ( O / l ) , a procedura je iterativna i naziva se Baum-Welchov

metod. U tom cilju definiimo prvo parametar xt ( i, j ) koji predstavlja verovatnou da je model bio u stanju Si u trenutku t a u stanju S j u trenutku t+1, pod uslovom izmerenih observacija:

Sekvenca ovakvih dogaaja je ilustrovana slikom 6.

Uzimajui u obzir prethodno definisane forward i backward koeficijente, dalje moemo pisati:

Ve je definisan parametar gt ( i ) , pa se ovaj parametar lako dobija sumiranjem parametara x :

Ukoliko sumiramo koeficijente gt ( i ) po indeksima vremena t, dobiemo vrednost koja se moe interpretirati kao oekivani broj pojave stanja Si u sekvenci. Slino, sumiranjem koeficijenata xt ( i, j ) po promenljivoj t = 1,..., T - 1 dobija se koeficijent koji se moe interpretirati kao oekivani broj prelazaka iz stanja Si u stanje S j . Otuda moemo pisati:

Shodno gore navedenim relacijama, predlae se sledea estimaciona procedura:

Treba naglasiti da navedena procedura rezultuje lokalnim maksimumom, odnosno ne garantuje se dosezanje globalnog maksimuma usvojene kriterijumske funkcije. Takoe treba dati jo dva znaajna komentara. Prvi je da navedena reestimaciona procedura u svakom koraku zadovoljava sledea ogranenja:

Konano, ukoliko bismo u postupak estimacije parametara modela krenuli metodom parcijalnih izvoda po verovatnoi P ( O / l ) uz ukljuivanje pomenutih ogranienja, dobili bismo sledee jednakosti:

Zanimljivo je da svaka od ovih relacija ima svoj iterativni reprezent u relacijama (40).