ROBOT CNG NGHIP

K THUT NHN DNG GING NI

TIU LUN

Internal use only Do not distribute

THNH VIN NHM

GVHD: Th.S NG VN CNG DHCK6DLT SVTH: MSSV:

Trn Vn Binh L Thanh Hng Nguyn Ha Giang Chu Binh Khang Trn Ngoc Trng Trng Trn Thin Phu

10316531 10373791 10372861 10373771 10323651 10329671

Internal use only Do not distribute

Content Ni Dung
1. M u
2. Ly thuyt m thanh va ting noi 3. Ly thuyt nhn dang ting noi

4. Nhn dang ting noi trong ting Vit va nhng ng dung

5. Kt lun

Internal use only Do not distribute

M u
Ngay nay, cng vi s pht trin ca nganh in t va tin hoc, cc h thng my t ng dn thay th con ngi trong nhiu cng on ca cng vic. My c kh nng lam vic hiu qu va nng sut cao hn con ngi rt nhiu. Song cho n nay, vn giao tip ngi my tuy c ci thin nhiu nhng vn cn rt th cng: thng qua ban phm va cc thit b nhp d liu khc. Giao tip vi thit b my bng ting ni s la phng thc giao tip vn minh va t nhin nht, du n giao tip ngi my s mt i ma thay vao la cm nhn ca s giao tip gia ngi vi ngi, nu hoan thin thi y s la mt phng thc giao tip tin li va hiu qu nht.

Internal use only Do not distribute

M u
c bit khi Vit Nam tham gia d n Astar do Vin Nghin cu Pht trin Cng ngh cao Nht Bn khi xng nm 2008, vi s tham gia ca 9 nc chu , gm: Vit Nam, Nht Bn, Trung Quc, Singapore, Han Quc, n , Thi Lan, Malaysia va Philippines. Theo , cc nc cng xy dng phn mm nhn dng m thanh ngn ng nc minh tch hp phng thc nhn dng m thanh vao h thng nhn dng m thanh chung ca d n. H thng s dch sang ngn ng ch va gi n s in thoi ngi gi pht m bng th ting ho cn. Khi , ai cng c th d dang giao dch bng cc th ting thng dng chu u, chu nh ting Anh, ting Trung Quc, ting Vit Nam d cha bit ngoi ng.

Internal use only Do not distribute

NHN DNG TING NI LA GI?

http://www.youtube.com/watch?v=N3VZny KViC4&feature=mfu_in_order&list=UL http://www.youtube.com/watch?feature=pla yer_detailpage&v=yhH5Pts36iQ

Internal use only Do not distribute

ng dung ky thut nhn dang ting noi trong am thoai a ngn ng

Internal use only Do not distribute

L THUYT M THANH V TING NI

Ngun gc m thanh: m thanh la do vt th dao ng c hoc ma pht ra. m thanh pht ra di dng sng m. Sng m la s bin i cc tnh cht ca mi trng an hi khi nng lng m truyn qua. m thanh truyn c n tai ngi la do mi trng dn m. Sng m c th truyn c trong cht rn ,cht lng, khng kh. C cht dn m rt km goi la cht hut m nh: len,da, cht xp Sng m khng th truyn trong mi trng chn khng. Khi kch thch dao ng m trong mi trng khng kh thi nhng lp kh s b nn va dn.Trng thi nn dn ln lt c lan truyn t ngun m di dng sng doc ti ni thu m. Nu cng ngun m cang ln thi m thanh truyn i cang xa.

Internal use only Do not distribute

L THUYT M THANH V TING NI

Cc i lng c trng cho m thanh: a/ Tn s ca m thanh: la s ln dao ng ca phn t kh trong mt giy . n v la Hz , k hiu : f b/ Chu k ca m thanh: la thi gian ma m thanh thc hin mt dao ng hoan toan. n v la thi gian, k hiu la T . c/ Tc truyn m: la tc truyn nng lng m t ngun ti ni thu. n v m/s. Tc truyn m trong khng kh nhit t 0- 200 C thng la 331 340 m/s.

d/ Cng m thanh: la nng lng c sng m truyn trong mt n v thi gian qua mt n v din tch t vung gc vi phng truyn m.
e/ Thanh p: la lc tc dng vao tai ngi nghe hoc ti mt im nao ca trng m thanh. n v : 1pa=1 N/m2 hoc 1bar = 1dyn/cm2 .

f/ m sc: Trong thanh phn ca m thanh, ngoai tn s c bn cn c cc sng hai ,s lng sng hai biu din sc thai ca m. m sc la mt c tnh ca m nh ma ta phn bit c ting trm, bng khc nhau, phn bit c ting nhc c, ting nam n ,ting ngi nay vi ngi khc.
k/ m lng: la mc to nh ca ngun. n v la W .
Internal use only Do not distribute

L THUYT M THANH V TING NI

Cc tn s ca m thanh:

Fo goi la tn s c bn ca m thanh. Nam gii fo = 150 Hz. N gii : fo = 250 Hz.

Giong nam trm 80 320 Hz Giong nam trung 100 400 Hz Giong nam cao 130 480 Hz Giong n thp 160 600 Hz Giong n cao 260 1200 Hz Cng sut ca ting ni , khi ni to nh cng khc nhau.Khi ni thm cng sut 10-3 mW , ni binh thng 10 mW , ni to 103 mW .

Internal use only Do not distribute

10

L THUYT M THANH V TING NI C ch to lp ting ni ca con ngi:

Cc c quan pht m ca con ngi ch yu gm phi, kh qun, thanh qun, b phn mi va ming.Thanh qun c hai np gp goi la dy thanh m, dy thanh m s rung khi lung khng kh i qua khe thanh mn la khe gia hai dy thanh m.B phn ming la mt ng m khng u.B phn mi cng la mt ng m hoc khng u c din tch va chiu dai c nh, bt u t l mi n vm ming mm.

Qu trnh to ra m phi mi: vm ming mm ngn chn b phn mi v m thanh pht ra thng qua mi.i vi qu trnh to ra m mi :vm ming mm h xung v b phn mi lin kt b phn ming, lc ny pha trc ca b phn ming khp li hon ton v m thanh ra thng qua mi.i vi m thanh ni giong mi, m thanh pht ra c mi v mi.

Internal use only Do not distribute

11

L THUYT M THANH V TING NI

C ch to lp ting ni ca con ngi:

m thanh ca ting ni c th chia lam ba loi khc nhau:
1. m hu thanh: ging nh m khi chung ta ni a hay e, c to ra khi dy thanh m cng ln va rung khi p sut khng kh tng ln, lam thanh mm m ra ri ng li khi lung khng kh i qua.Nhng dy thanh m rung to ra dng sng ca lung khng kh c dng xp x tam gic.Chu ki cao m thanh ca an ng trng thanh thng t 50Hz n 250Hz, gi tr trung binh khong 120Hz.i vi ph n trng thanh, gii hn trn cao hn nhiu, c th ln n 500Hz.

Internal use only Do not distribute

12

L THUYT M THANH V TING NI C ch to lp ting ni ca con ngi:

2. m v thanh: c to ra khi dy thanh m khng rung.C hai loi m v thanh c bn: m xt va m hi.i vi m xt nh khi ta ni ch s, mt s im trn b phn pht m co li khi lung khng kh ngang qua n , hn lon xy ra to nn nhiu ngu nhin. i vi m bt hi, nh khi ta ni ch h , hn lon xy ra gn thanh mn khi dy thannh m b gi nh mt phn. Ngoai hai loi m c bn ni trn ,cn c mt loi m trung gian va mang tnh cht nguyn m, va mang tnh cht ph m, c goi la bn nguyn m hay bn ph m. V d nh i,u trong t ai va u. 3. Ph m n: v d nh m p, t,k hay , b, g trong ting Vit c to ra do loi kch thch khc.

Internal use only Do not distribute

13

L THUYT M THANH V TING NI

H thng nghe ca ngi:
Qu trinh nghe ca ngi nh sau: sng p sut m thanh tc ng n tai ngi, sng nay c chuyn thanh chui xung in, chui nay c truyn ti no b thng qua h thn kinh, no chui c x l va gii m. Khi nghe mt sng m thun tuy tc m n (sng sine),nhng im khc nhau trn mang y s rung ng theo tn s ca m n i vao tai.im lch ln nht trn mang y ph thuc vao tn s ca m n. Tn s cao to ra im lch ln nht pha y va tn s thp to ra im lch ln nht pha nh. Nh vy mang y lam nhim v phn tch tn s tn hiu vao phc tp thanh nhng tn s khc nhau nhng im khc nhau doc theo chiu dai ca n. Nh vy c th xem moi im la b loc thng di va c tn s trung tm va bng thng xc nh.

Qu trnh nghe ca h thnh gic la mt dy cc b lc bng thng, c p ng ph lp ln nhau va bng thng hiu qu ca chung xp x vi cc gi tr ca bng tn ti hn.
Internal use only Do not distribute

14

L THUYT M THANH V TING NI Qu trnh sn xut ting ni v thu nhn ting ni ca con ngi:
S biu din qu trinh thu nhn ting ni ca con ngi

Internal use only Do not distribute

15

L THUYT M THANH V TING NI Qu trnh sn xut ting ni v thu nhn ting ni ca con ngi:
Qu trinh sn xut ting ni bt u khi ngi ni mun chuyn ti thng ip ca minh cho ngi nghe thng qua ting ni.T chc thn kinh s chu trch nhim chuyn i thng ip sang dng m ngn ng.Khi mt m ngn ng c chon la,cc lnh thn kinh vn ng iu khin ng b cc khu vn ng nhm pht ra chui m thanh.Vy u ra cui cng ca qu trinh la mt tn hiu m hoc. i vi qu trinh thu nhn ting ni, ngi nghe x l tn hiu m thanh thng qua mang tai trong; n c kh nng cung cp mt phn tch ph cho tn hiu ti. Qu trinh thn kinh s chuyn i tn hiu ph thanh cc tn hiu hot ng vi thn kinh thnh gic ;c th coi y la qu trinh ly ra cc c trng.Cui cng cc tn hiu c chuyn thanh m ngn ng va hiu c thng ip.
Internal use only Do not distribute

16

L THUYT M THANH V TING NI Qu trnh sn xut ting ni v thu nhn ting ni ca con ngi:
Qu trinh sn xut ting ni bt u khi ngi ni mun chuyn ti thng ip ca minh cho ngi nghe thng qua ting ni.T chc thn kinh s chu trch nhim chuyn i thng ip sang dng m ngn ng.Khi mt m ngn ng c chon la,cc lnh thn kinh vn ng iu khin ng b cc khu vn ng nhm pht ra chui m thanh.Vy u ra cui cng ca qu trinh la mt tn hiu m hoc. i vi qu trinh thu nhn ting ni, ngi nghe x l tn hiu m thanh thng qua mang tai trong; n c kh nng cung cp mt phn tch ph cho tn hiu ti. Qu trinh thn kinh s chuyn i tn hiu ph thanh cc tn hiu hot ng vi thn kinh thnh gic ;c th coi y la qu trinh ly ra cc c trng.Cui cng cc tn hiu c chuyn thanh m ngn ng va hiu c thng ip.
Internal use only Do not distribute

17

L THUYT NHN DNG TING NI Tng quan v nhn dng ting ni

Nhn dng ting ni la mt h thng to kh nng my nhn bit ng ngha ca li ni. V bn cht, y la qu trinh bin i tn hiu m thanh thu c ca ngi ni qua Micro, ng dy in thoi hoc cc thit b khc thanh mt chui cc t. Kt qu ca qu trinh nhn dng c th c ng dng trong iu khin thit b, nhp d liu, son tho vn bn bng li, quay s in thoi t ng hoc a ti mt qu trinh x l ngn ng mc cao hn.

Internal use only Do not distribute

18

L THUYT NHN DNG TING NI Tng quan v nhn dng ting ni

Internal use only Do not distribute

19

L THUYT NHN DNG TING NI Tng quan v nhn dng ting ni

Cc h thng nhn dng ting ni c th c phn loi nh sau: Nhn dng t pht m ri rc/lin tc; Nhn dng ting ni ph thuc ngi ni/khng ph thuc ngi ni; H thng nhn dng t in c nh (di 20 t)/t in c ln (hang nghin t); Nhn dng ting ni trong mi trng c nhiu thp/cao; Nhn dng ngi ni.

Internal use only Do not distribute

20

L THUYT NHN DNG TING NI Tng quan v nhn dng ting ni

Trong h nhn dng ting ni vi cch pht m ri rc c khong lng gia cc t trong cu. Trong h nhn dng ting ni lin tc khng i hi iu nay. Ty thuc vao quy m va phng php nhn dng, ta c cc m hinh nhn dng ting ni khc nhau. Hinh 3 la m hinh tng qut ca mt h nhn dng ting ni in hinh .

Tn hiu ting ni sau khi thu nhn c lng t ha s bin i thanh mt tp cc vector tham s c trng vi cc phn on c dai trong khong 10-30 ms. Cc c trng nay c dng cho i snh hoc tim kim cc t gn nht vi mt s rang buc v m hoc, t vng va ng php. C s d liu ting ni c s dng trong qu trinh hun luyn (m hinh ha/phn lp) xc nh cc tham s h thng.
Internal use only Do not distribute

21

L THUYT NHN DNG TING NI Tng quan v nhn dng ting ni

Nhn dng ting ni la mt h thng to kh nng my nhn bit ng ngha ca li ni. V bn cht, y la qu trinh bin i tn hiu m thanh thu c ca ngi ni qua Micro, ng dy in thoi hoc cc thit b khc thanh mt chui cc t. Kt qu ca qu trinh nhn dng c th c ng dng trong iu khin thit b, nhp d liu, son tho vn bn bng li, quay s in thoi t ng hoc a ti mt qu trinh x l ngn ng mc cao hn.

Internal use only Do not distribute

22

L THUYT NHN DNG TING NI Cc nguyn tc c bn trong nhn dng ting ni

Tn hiu ting ni c biu din chnh xc bi cc gi tr ph trong mt khung thi gian ngn

Ni dung ca ting ni c biu din di dng ch vit, la mt dy cc k hiu ng m

Nhn dng ting ni la mt qu trinh nhn thc

Internal use only Do not distribute

23

L THUYT NHN DNG TING NI Cc qu trnh nhn dng ting ni:

Hinh sau y cho ta thy cc bc c bn ca mt h thng nhn dng ting ni, gm c ba giai on: phn tch c tnh, phn lp mu va x l ngn ng.

Internal use only Do not distribute

24

L THUYT NHN DNG TING NI Phn tch cc c trng (tham s) ting ni

Hai phng php trch chon c trng ting ni ang c s dng rng ri hin nay trong cc h thng nhn dng hin nay: MFCC ( melscale frequency cepstral coefficients) v PLP ( Perceptual Linear Prediction).

1. Phn tch cepstral theo thang o mel MFCC Phng php c xy dng da trn s cm nhn ca tai ngi i vi cc di tn s khc nhau. Vi cc tn s thp (di 1000 Hz), cm nhn ca tai ngi la tuyn tnh. i vi cc tn s cao, bin thin tun theo ham logarit

Internal use only Do not distribute

25

L THUYT NHN DNG TING NI Phn tch cc c trng (tham s) ting ni

1. Phn tch cepstral theo thang o mel MFCC

Internal use only Do not distribute

26

L THUYT NHN DNG TING NI 2. Phng php m ha d on tuyn tnh LPC

M hinh LPC c s dng trch loc cc tham s c trng ca tn hiu ting ni. Kt qu ca qu trinh phn tch tn hiu thu c mt chui gm cc khung ting ni. Cc khung nay c bin i nhm s dng cho vic phn tch m hoc.

3. Phng php PLP

Phng php nay la s kt hp ca hai phng php trinh bay trn

Internal use only Do not distribute

27

L THUYT NHN DNG TING NI Phn lp mu:

bc nay , h thng s gn dy cc vector c tnh thanh dy cc ti u n v ting ni c bn. C bn phng php hay c p dng la: i snh mu, rule-based, m hinh Markov n, mng Neuron

X l ngn ng: Mc ch ca m hnh ny l tm ra xc sut ca t trong pht m theo sau cc t. Mt phng php n gin hay c p dng l dng N-gram, vi gi thit rng t ch ph thuc vo n-1 cc t ng trc n.

Internal use only Do not distribute

28

L THUYT NHN DNG TING NI

Cc phng php nhn dng ting ni M hnh Fujisaki :
Fujisaki la mt m hinh nh lng dng m hinh ha ng iu. M hinh Fujisaki hng vao vic m hinh ha qu trinh sinh ra t n s c bn F0, gii thch v mt vt l hoc, sinh l hoc qu trinh sinh ra F0 v cc tnh ch t ca qu trinh . M hinh c p dng ch yu trong ng dng tng hp nhm xy dng phn ng iu trong ting ni tng hp.

M hnh Markvo n
M hinh Markov ma mi mt trng thi tng ng vi mt s kin quan st c m rng bng cch cc quan st (observation) tng ng vi cc trng thi la mt ham xc sut ca cc trng thi

Internal use only Do not distribute

29

L THUYT NHN DNG TING NI TRONG TING VIT Nhng thun li v kh khn trong nhn dng ting Vit
u im:

Ting Vit la ngn ng n m, s lng m tit khng qu ln. iu nay s giup h nhn dng xc nh ranh gii cc m tit d dang hn.
Ting V it la ngn ng khng bin hinh t. m tit ting Vit n nh, c cu truc r rang. c bit khng c 2 m tit nao oc ging nhau ma vit khc nhau. iu nay s d dang trong vic xy dng cc m hinh m tit trong nhn dng

Internal use only Do not distribute

30

L THUYT NHN DNG TING NI TRONG TING VIT

Nhc im: Ting Vit la ngn ng c thanh iu ( 6 thanh). Thanh iu la m v siu on tnh, c trng v thanh iu th hin trong tn hiu ting ni khng r nt nh cc thanh phn khc ca m tit. Cch pht m ting vit thay i theo tng vng a l.

H thng ng php ng ngha ting Vit rt phc tp, rt kh p dng vao h nhn dng vi mc ch tng hiu nng nhn dng. H thng phin m cng cha thng nht.
Cc nghin cu nhn dng cng cha nhiu va t ph bin.

Internal use only Do not distribute

31

L THUYT NHN DNG TING NI TRONG TING VIT

Hin tai, vn nghin cu ky thut nhn dang bng ging noi trong ting Vit mi chi ang c tin hanh nhng bc u tin trong nhng nghin cu ca TS Nguyn Vn Gip, KS Trn Vit Hng H Bch Khoa TPHCM. Ri tai Nghin cu, pht trin mt s sn phm tiu biu va thit yu v x ly ting noi va vn bn ting Vit do PGS TS Lng Chi Mai, Pho Vin trng Vin CNTT, lam ch nhim.

Internal use only Do not distribute

32

KY THUT NHN DNG GIONG NI

KT LUN:
Qua nhng gii thiu s b v ky thut nhn dang ging noi cung nh trong ng dung ting Vit vao ky thut nhn dang ging noi chung ta nhn thy rng: 1. y la ky thut mi vi nhiu tim nng pht trin trong tng lai gn vi nhng ng dung ph thng cung nh nhng ng dung oi hoi trnh cao.

2. Nhng ng dung hin tai cha thc s cu th va ph bin rng ri nn se cn thm nhiu thi gian va cng sc tip tuc tm hiu nghin cu thm.
3. Trong ting Vit co nhng thanh iu nn cang phc tap hn trong vic nghin cu va ng dung. Do o, cng vic nay hin vn ang trong qu trnh nghin cu thm.
Internal use only Do not distribute

33

KY THUT NHN DNG GIONG NI

KT LUN:
Vi nhng kt qu thu c o chung ta hy vng rng mt ngay khng xa mi ngi trn toan th gii co th hiu nhau thng qua nhng chic in thoai di ng hay qua nhng thit bi thu-pht in t hin ai ma khng nht thit phi hc tp ngn ng ca nhau mt cch vt v.

Tuy nhin, trong tng lai o chi la mt phng tin giao tip hiu qu va vic hc tp mt ngn ng nao o c, tham kho hay nghin cu la iu khng th thiu. Do o, vic pht trin ky thut nay se mang lai cho con ngi s giao tip d dang hn, thoi mi hn va thun li hn ma thi.

Internal use only Do not distribute

34

The End
Internal use only Do not distribute

35