11.

Szmtgpes nyelvszet

Ktelez irodalom
A magyar nyelv kziknyve nyelvtechnolgiai fejezete vagy A magyar nyelv c. kziknyv nyelvtechnolgiai fejezete (Mindkett: Kiefer.)
11. Szmtgpes nyelvszet

Mestersges intelligencia

Az els nagy ambcik...

Gondolkod szmtgp?
Alan Turing 1950: a Turing teszt

11. Szmtgpes nyelvszet

Eliza
Weisenbaum 1966
A frfiak mind egyformk. Ezt hogy rted? Mindig nyaggatnak minket valamirt. Mondanl egy konkrt pldt? Ht, a fim kldtt ide. A fid kldtt ide. Azt mondja, mindig depresszis vagyok. Sajnlom, hogy depresszis vagy. Taln ki kellene bklnm az anymmal. Meslj mg a csaldodrl.

11. Szmtgpes nyelvszet

Pszichoterapeuta
a pciensek elhittk, hogy valdi szemllyel beszlgetnek... A mdszer:
Kulcsszkeress A kulcssz aktivl egy szablyt Regulris kifejezsek segtsgvel behelyettests a szablynak megfelelen A kulcsszavak rangsorolva vannak

11. Szmtgpes nyelvszet

Ksbbi scriptmodellek (Schank, 70-es vek)

Trtnet:
Egy ember bement egy tterembe s rendelt egy hamburgert. Amikor a hamburger megrkezett, meg volt elgedve vele s amikor tvozott, kifizette a szmlt s sok borravalt hagyott. Krds: Megette az ember a hamburgert? Vlasz: (Valsznleg) igen.

11. Szmtgpes nyelvszet

A mdszer lnyege
Forgatknyvek lethelyzetekrl (tipikus esemnyek rszletes lersa) Az tterem forgatknyve:
bemegynk az tterembe a ruhatrban letesszk a kabtot kivlasztunk egy asztalt ha foglalt tbla van egy asztalon, oda nem lnk ...
11. Szmtgpes nyelvszet

A Skynet elksett

11. Szmtgpes nyelvszet

Nyelvtechnolgia ma

Szernyebb clok...

Felhasznlsok
Helyesrs-ellenrzs Szvegkivonatols Gpi fordts Mozijegyrendels Bankszmlaegyenleg-lekrdezs Tudakoz Repljegyfoglals Dolgozatosztlyzs ...
11. Szmtgpes nyelvszet

Felismers produkci
Felismers:
Ingerrzkels (rott karakter, beszdhang, kzjelek) Elemzs (parsing) Megrts

Produkci:
Gondolat (mentlis reprezentci) Kdols Megjelents
11. Szmtgpes nyelvszet

Mdszerek
Szablyalap Pldaalap statisztikai ves amerikai nyelvtechnolgiai konferencia eladsai (ACL):
50 45 40 35 30 25 20 15 10 5 0 1990 Nem stat
11. Szmtgpes nyelvszet

2003 Stat

Meg kell rtsk, hogy egy mondat valsznsg-rl beszlni teljesen rtelmetlen. Noam Chomsky 1969.
Ahnyszor

tvozik egy nyelvsz a csoportbl, felszkik a beszdfelismersi rtnk. Fred Jelinek, IBM 1988.
11. Szmtgpes nyelvszet

Beszdfelismers, beszdszintetizls

Eredmnyek s korltok

Szksges tuds

Fonetika: a hangok akusztikai tulajdonsgai (formnsfrekvencik) Fonolgia: egy-egy nyelv hangrendszere Esetleg egy kiejtsi sztr

11. Szmtgpes nyelvszet

A hang fizikai jellemzi

A hang hullmknt terjed a levegben. A beszdhang sszetett, tbb hullm egyttesbl ll (formnsszerkezet). Ktfle sszetett hang:
periodikus: ismtld hullmalak (magnhangz) aperiodikus: rendszeres ismtlds nlkli (bizonyos mssalhangzk)

11. Szmtgpes nyelvszet

[a] s [s] hullmalak

11. Szmtgpes nyelvszet

A beszdhang fizikai jellemzi

Paramterek:
rezgs szaporasga (frekvencia) rezgs erssge (intenzits) rezgs idtartama

Az sszetett hullmok tulajdonsgait a spektrogram jelenti meg:

vszintes tengely: id fggleges tengely: rezgsszm (frekvencia) (formnsok: F0 (100-200Hz), F1 (300-600Hz), F2 (8003000Hz)) harmadik dimenzi (a jel erssge): intenzits
11. Szmtgpes nyelvszet

Spektogram

11. Szmtgpes nyelvszet

Spektogram

11. Szmtgpes nyelvszet

Tovbbi szksges ismeretek

A hangok variabilitsa:
Beszltl fggen (hanger, hangmagassg, artikulcis klnbsgek) Szvegkrnyezettl fggen

Fonotaktikai szablyok:
Hasonuls: mzz, mztartalm, msztartalm Magnhangz-harmnia: kenyeremet, kalapomat Folyamatos beszd

Prozodikai szablyok: intonci, hangsly, ritmus

11. Szmtgpes nyelvszet

Bayesi beszdfelismers
Ha adott egy hangsor (h), mi a valsznsge egy s sznak: P(s|h)
Korpusz: szgyakorisg Varicikorpusz: hangsorokhoz rendelt szlistk Fonotaktikai folyamatok valsznsgei (pl. szvgi n lehagysnak valsznsge) Legvalsznbb sz: maximlis P(h|s)P(s)

Helyesrs-ellenrzs hasonl elveken

11. Szmtgpes nyelvszet

N-gram modellek (Markov-lncok)

A mondat kvetkez szavnak prediktlsa

Korpusz Automatikusan kinyert nyelvtan: egy sz valsznsge, ha az elz (egy, kett, hrom...) sz a mondatban adott: P(sn|sn-1)

sn gyakorisga sn-1 utn Osztva sn-1 gyakorisgval

Minl nagyobb a szvegkrnyezet, annl pontosabb a nyelvtan.
11. Szmtgpes nyelvszet

Az bredj mr fel kifejezs n-gramja

bredj mr fel

bredj

.001

.032

.135

mr

.025

.004

.022

fel

.002

.011

.003

11. Szmtgpes nyelvszet

Az n-gram modell htrnyai:

Stlus- s tmafgg

Hatalmas korpuszokat ignyel

11. Szmtgpes nyelvszet

11. Szmtgpes nyelvszet

Parsing

Szerkezeti elemzs

Morfolgia: a szavak bels szerkezete

A szavak elemekre (morfmkra) bonthatk:
Szt + affixumok: El-kel-kposzt-s-t-hat-atlan-sg-ai-tok-rt

Szalaklista: gazdasgtalan, st lehetetlen (produktv szkpzs)

11. Szmtgpes nyelvszet

Az elemz komponensei

Sztr: szt, affixumok Cmketr (tags)

Szfaji kategrik (fnv, ige, hatrozsz, stb) Morfolgiai jegyek (mltid, tbbesszm, stb)

11. Szmtgpes nyelvszet

Szablyok
Milyen szfajhoz milyen morfolgiai jegy tartozhat? Morfofonolgiai kategrik:
Sziszeg vg: olvas, olvasol Egyb: fl, flsz

Morfotaktika: affixumok sorrendje

Kenyer-em-et, *kenyer-et-em Szeletem: szelet-em s nem *szel-et-em

11. Szmtgpes nyelvszet

Plda a taggingre
alak alak<NOUN> alakult1 alak<NOUN[UL]VERB<PAST>> alakult2 alak<NOUN[UL]VERB[PAST_PART]ADJ> alaktottk alak<NOUN[T] VERB<PAST><PLUR><DEF>> alaktsunk alak<NOUN[T] VERB<SUBJUNCIMP><PERS<1>><PLUR>>
11. Szmtgpes nyelvszet

Morfolgiai egyrtelmsts
Szvegkrnyezet:
Tavaly megalakult a prt. A tavaly megalakult prt nyerte a vlasztsokat.

Szablyalap Statisztikai: korpuszbl kinyert valsznsgek alapjn

Szalap n-gram modell Kategriaalap n-gram modell
11. Szmtgpes nyelvszet

Ismeretlen szavak
Ha a sztrban nem szerepel egy sz...
Tbbrtelm cmkzs (+ egyrtelmsts)
egyenletes elosztsban (minden cmke) cmkegyakorisg szerint (bizonyos gyakorisgi kszb fltt)

Cmkzs ismert affixum alapjn:

Roxfortban roxfort<NOUN<CAS<BAN>>> Szmisen rottolnak a maknok a leghntebb mufjotukban.

11. Szmtgpes nyelvszet

Eredmnyek

9598% teljestmny
(a cmketr mrettl fggen)
Megfelel az ember teljestmnynek.

11. Szmtgpes nyelvszet

Mondatelemzs
Az elemzs clja: a szavak kztti szintaktikai/szemantikai viszonyok feltrsa
Dependencianyelvtanok Frzisstruktra-nyelvtanok

11. Szmtgpes nyelvszet

11. Szmtgpes nyelvszet

A kutya nagy csontot eszik

11. Szmtgpes nyelvszet

11. Szmtgpes nyelvszet

[[egy felmrs] szerint] [[minden tizedik] rendr] [drogozott]]

Mondat

Nvut.Fr.

Fn.Fr.

Ige.Fr.

Fn.Fr.

Szmn.Fr.

egy felmrs

szerint

minden tizedik

rendr

drogozott

11. Szmtgpes nyelvszet

Jl lttam az embert a tvcsvel. tvcsvel.

Mondat Hatroz jl Ige lttam az embert Trgy a tvcsvel

Mondat Hatroz jl Ige lttam Trgy az embert

11. Szmtgpes nyelvszet

Eszkz a tvcsvel

Krnyezetfggetlen nyelvtan
Mondat NvutFr FnFr IgeFr NvutFr FnFr Nvut FnFr Nvel Fnv FnFr SzmnFr Fnv SzmnFr Quantor Sorszmnv IgeFr Ige Nvut szerint Nvel egy Fnv felmrs, rendr ...
11. Szmtgpes nyelvszet

A kombincis szablyok
*Egy felmrsek szerint minden tizedik rendr

drogoztuk. *Egy felmrssel szerint minden tizedik rendrt drogozott. *Szerint egy felmrs tizedik minden rendr drogozott. !Egy felmrs szerint drogozott minden tizedik rendr. ...
11. Szmtgpes nyelvszet

Problmk
Mirt lehet kt ltszlag hasonl mondatbl az egyik j s a msik rossz:
Meg szeretnm enni. Szeretnm megenni. Meg akarom enni. ?Akarom megenni. *Meg megyek enni. Megyek megenni. Kenyerem van. Van kenyerem. Melegem van. *Van melegem.

11. Szmtgpes nyelvszet

sszetett rendszerek

Hasta la vista, baby

Mi kell mg?
Diskurzuselemzs: szveg
Jl lttam az embert a tvcsvel. Megmutatta egy gyereknek. Az felllt egy smlira, hogy jobban lsson. Majd

Pragmatika: a nyelv mint kommunikcis eszkz

A: Meg tudn mondani hogy hny ra van? B: Igen.

11. Szmtgpes nyelvszet

Beszlgets szemantikja
Mondjon nekem reggeli jratokat kedden Bostonbl San Franciscoba.
MUTAT:

JRAT: EREDET: VROS: Boston DTUM: kedd ID: reggel CL: VROS: SF
11. Szmtgpes nyelvszet

Egy szemantikai nyelvtan

Krnyezetfggetlen nyelvtan, ahol a bal oldali elem egy szemantikai kategria:

LISTZ -> mondjon nekem | szeretnk | mutatna | INDULSID -> RA (eltt | krl | utn) | reggel | dlutn | este RA -> egy | kt | hrom | huszonngy JRAT -> (egy) jrat | jratok EREDET -> VROSbl CL -> VROSba VROS -> Boston | San Francisco | Denver | Washington |
11. Szmtgpes nyelvszet

Repljegyfoglals embertl
V1: Mjusban szeretnk utazni. 1: s mjusban melyik nap? V2: Ht, egy trgyalsra kell ott lennem, ami 12-tl 15-ig lesz. 2: s melyik vrosba szeretne replni? V3: Bostonba. 3: s hnykor szeretne indulni Pittsburghbl? V4: Hmm, gondolom nincs sok vlasztsom, ha nem akarok tszllni. 4: Hrom egyenes jrat van. V4: Ja, s mikor? 5: Az els 10 rakor indul s helyi id szerint 12.05-kor rkezik Bostonba...

11. Szmtgpes nyelvszet

Beszlgets pragmatikja
turntaking illokcis er megllaptsa (krdez, kr, megllapt, javasol, stb) visszajelzs bizonytalansg jelzse kooperci: ltszlag irrelevns informci helyes rtelmezse

11. Szmtgpes nyelvszet

Gpi fordts

Utazom hven.

Szksges modulok
Forrsnyelv nyelvtana (parsing) Transformcis nyelvtan (transfer) Sztr (transfer) Clnyelv nyelvtana (generls) Parallel korpuszok: statisztikai megfeleltetsek

11. Szmtgpes nyelvszet

Babelfish
I'd like to make some arrangements for a trip that I'll be taking to Boston on Tuesday some time in the morning. Je voudrais prendre quelques arrangements pour un voyage que je prendrai Boston mardi une certaine heure le matin. I would like to take some arrangements for a voyage which I will take in Boston Tuesday a certain hour the morning.
11. Szmtgpes nyelvszet