Map

thao tc Map c th th c hi n song song, t p h p cc file input tr c tin c c t thnh nhi u

ph n g i l FileSplits. N u 1 file qu l n c th nh h ng n th i gian t !i , n s c c t
thnh nhi u ph n nh . "c ph n n# !h$ng %i t g & c u tr'c logic %n trong c a file, nn 1 file c
c u tr'c hng c(ng c th % c t theo gi i % n %#te. Sau , 1 nhi & ap i s c t o ng
& i i FileSplit.
)hi t nhi & ap % t u, n s ra t output *riter cho i nhi & re+uce , c
c u hnh. Sau s +-ng .ecor+.ea+er t t /nputForat c th c FileSplit c a n.
/nputForat ph0n t1ch input & sinh ra cc c p !e#2&alue. /nputForat c(ng th l1 cc ghi ch3p n
nga# ng %in c a FileSplit. 41 + 5e6t/nputForat c lu$n +7ng cu i c-ng c a FileSplit, & %
i n i +ung +7ng u tin c a nh ng FileSplit th 8 tr i.
/nputForat !h$ng nh t thi t sinh ra nh ng c p !e#2&alue c ngh9a. 41 + output c nh c a
5e6t/nputForat g &alue l hng c a input & !e# l + ch c a hng trong file, h u h t cc ng
+ ng !h$ng quan t0 + ch n#.
)hi c c t .ecor+.ea+er, cc c p !e#2&alue s c tru# n cho cc apper , c u hnh.
Mapper ng i +-ng cung c p c th l % t c i u g h u n & i cc c p !e#2&alue nh p
&o & g i :utput"ollector.collect thu th p cc c p !e#2&alue h nh ngh9a. :utput nh t nh
ph i s + ng 1 l p !e# & 1 l p &alue. "h1nh l & output c a Map ph i c &i t &o SequenceFile
c th$ng tin & lo i file & ghi ch3p u c-ng 1 !i u ;s + ng l p con n u u n 6u t ra c u tr'c +
li u !hc<. /nput & output c a Map !h$ng c n c quan h g & !i u ho c & t p h p.
)hi output c a Mapper c thu th p, ch'ng s c chia !hu &i t &o output theo ch nh c a !
=artitioner. >ash=artitioner c nh +-ng h hashco+e c a l p !e# ;nn h hashco+e c n ph i
u c0n % ng l ng c$ng &i c trn cc nhi & re+uce<.
N files input sinh ra M nhi & ap & i ap s sinh ra s file output t ng ng & i s nhi "
& re+uce , c c u hnh trong h th ng. M i file output u cho 1 re+uce nh t nh & cc c p
!e#2&alue c a 1 !e# nh t nh sinh ra t t t c cc ap s c tru# n cho t re+uce nh t nh.
"o%ine
)hi ap sinh ra cc c p !e#2&alue th nh ng c p n# , t n t i trong % nh . t?ng hi u 6u t, c
th cung c p 1 l p co%iner l nhi & thu g n tr c. N u +-ng l p co%iner th cc c p
!e#2&alue !h$ng &i t li n &o output. 5ha# &o ch'ng c go l i trong lists, i !e# c 1 lists.
)hi t l ng nh t nh !e#2&alue , c &i t, %uffer s tru# n h t cho thao tc thu g n c a
co%iner & 6u t ra cc c p + ng t ng t nh ap 6u t ra. "
41 + , trong ng + ng *or+ count c a >a+oop, ap 6u t ra + ng cc c p ;*or+, 1< u c th +-ng
co%iner 6 l1 nhanh h n. "h c n?ng thu g n s thu go output trong lists c a % nh , i t 1 "
list. )hi c t l ng nh t nh cc c p !e#2&alue c 6u t &o % nh , ch c n?ng thu g n s
c g i go l i i *or+ 1 list, & 6u t ra + ng ;*or+, s l ng *or+ n# trong ph n n#<.
Nhn t .e+uce th ch c n?ng thu g n c(ng 6u t ra gi ng nh Map, nh ng s l ng cc c p ,
gi i r t nhi u so & i thao tc trn c ng. #
.e+uce
/nput c a 1 nhi & re+uce ph0n tn trong nhi u file !h p cc no+e ;& a ch # ap<. 5rong $ hnh
ph0n % , tr c tin ch'ng c n c cop# & local files#ste ;cop# phase<.
)hi t t c + li u , s n sng trn no+e ch # re+uce, ch'ng c l u &o 1 file ;appen+ phase<. @'c $
, file n# , c s p 6 p cc c p c !e# gi ng nhau n ! nhau. Ao thao tc re+uce tr
nn n gi nB file c c tu n t &o, cc &alue c tu n t a &o cho n !hi g p !e# ! "
ti p.
"u i c-ng, i nhi & re+uce 6u t ra 1 file output. nh + ng file c th c
Co%"onf.set:utputForat ch nh. N u +-ng Sequential:utputForat th c n ph i ch nh l p !e# ! !
& l p &alue.
1.Map re+uce l gD
Mapre+uce c th hi u l 1 ph ng th c th c thi gi'p cc ng + ng c th 6 lE nhanh 1 l ng "
+ li u l n. "c + li u n# c t t i cc # t1nh ph0n tn."c # t1nh n# s ho t ng song
song c l p & i nhau.i u n# l r't ng n th i gian 6 lE ton % + li u $
M t c i ng ch' E c a Mapre+uce l + li u u &o c th l + li u c c u tr'c ; + li u
l u tr + ng % ng quan h 8 chi u < ho c + li u !h$ng c u tr'c ; + li u + ng t p tin h th ng <
"c # t1nh l u tr cc + li u ph0n tn trong qu trnh th c thi c g i l cc n't ;no+es< c a h
th ng.N u cc # t1nh n# c-ng s + ng chung trn 1 ph n c ng th ch'ng c g i l 1 c
; "luster <.N u cc # n# hoatF ng ring r trn cc ph n c ng !hc nhau th ch'ng c g i l
1 l i ;Gri+<
8. u i c a apre+uce %
H lE t t %i ton & l ng + li u l n c cc tc & ph0n t1ch & t1nh ton ph c t n !h$ng l ng
tr c c
" th ti n hnh ch # song song trn cc # ph0n tn 1 cahs ch1nh 6c & hi u qu .)h$ng ph i
quan t0 n s trao i + li u gi a cc clusters & i nhau & ch'ng ho t ng 1 cch c l p, #
!h$ng ph i theo +Ii 6 lE cc tc & ,6 a lE l i.
" th th c hin $ hnh Mapre+uce trn nhi u ng$n ng ;Ca&a,"JJ,=#thon,=erl,.u%#,"< & i cc
th &i n t ng ng "
K.Ngu#n t c ho t ng c a Mapre+uce
Mapre+uce ho t + ng g 8 qu trnh th c hi n 8 h LMapL & L.e+uceL
M t ng ch1nh c a Mapre+uce ch1nh l th c hi n &i c L"hia tr L
2"hia & n c n 6 lE ;+ li u < thnh cc phn nh 6 lE
2H lE cc & n nh 1 cch song song trn cc # t1nh ph0n tn ho t ng c l p
25$ng h p cc ! t qu thu c a ra ! t qu cu i c-ng
Nh & # ton % qu trnh apre+uce c th hi u nh sau
2 c + li u u &o
25h c hin 6 lE cc ph n + li u &o ;6 lE t ng ph n t < ;5h c hi n h Map<
25r n & s p 6 p cc ! t qu thu c t cc # t1nh l sao c ! t qu ti n l i nh t so
& i c 1ch c a qu trnh
25 ng h p cc ! t qu trung gian thu c t cc # t1nh ph0n tn ;5h c hi n h re+uce< #
2 a ra ! t qu cu i c-ng
S ho t ng c a qu trnh Mapre+uceB "
N."hi ti t 8 h Map & .e+uce
5ha# & nh ngh9a + li u + i + ng % ng gi tr c quan h ,Mapre+uce th c hi n nh ngh9a +
li u + i + ng cc c p g O!e#,&alueP
i & i 1 t p tin L!e#L c th l tn c a t p tin c7n L&alueL c th l n i +ung c a t p.M t &1 +
!hc L!e#L l a ch 1 trang *e% c7n &alue l s l n ng i +-ng tru# c p trang *e% .>ai h Map !
& .e+uce t p trung 6 lE + li u + i + ng cc c p O!e#,&alueP nh trn
> MapB A li u c a &o h ap l cc + li u , c ph n nh thnh cc ph n. u
&o c a h Map l cc c p O!1,&1P.Sau !hi 6 lE ton % + li u u &o ;g nhi u ph n sau
!hi c ph0n nh < ! t qu thu c l t p h p g cc c p O!8,&8P."c + li u n# c g i l "
cc + li u trung gian
"c + li u trung gian n# c th c gh3p l i & i nhau theo +anh sch c !ha thu n tin cho
qu trnh re+uce sau n#
> .e+uceB5 + li u u ra c a h ap ;g +anh sch cc c p O!8,&8P< c a c # t1nh ph0n
tn,h re+uce th c hi n &i c t ng h p cc gi tr n# l i.) t qu u ra l cc c p O!K,&KP ,
c 6 lE
Qu trnh th c hi n apre+uce & i %i ton LRor+"ountL
> MapB
/nputB 1 +7ng &?n % n
:utputBAanh sch cc c p O!e#,&alueP ng & i t ng ch trong +7ng &?n % n .5rong L!e#L l
ch ,&alueS1.
> .e+uceB
/nput B+anh sch cc c p !e#, gi tr c c a i t
:utputB !e#St trong c o n,&alueSs l ng t t ng ng trong o n "
T.5h c thi Mapre+uce trong h th ng
2=h0n nh + li u u &o
5h$ng qua th &i n Mapre+uce ng & i t ng ng$n ng ,chuong trnh c nhi & ph0n nh t p
+ li u u &o.A li u &o c chia thnh cc ph n nh
2Sao ch3p ch ng trnh "
"h ng trnh apre+uce l nhi & sao ch3p ch ng trnh ch # thnh cc ti n trnh song song " "
ln cc # t1nh ph0n tn."c # g c Master & Ror!er.5rong # Master l nhi &
i u ph i s ho t + ng c a qu trnh th c hi n Mapre+uce trn cc # Ror!er."c # Ro!er l
nhi & th c hin qu trnh Map & .e+uce & i + li u n nh n c
25h c hi n h Map
M# aster s ph0n ph i cc tc & Map & .e+uce &o cc *or!er ang r nh r i."c tc & n#
c Master ph0n ph i cho cc # + a trn & tr1 c a + li u lin quan trong h th ng.M# Ro!er
!hi nh n c tc & Map se c + li u n c nh n t- ph0n &-ng + li u , gn cho n &
th c hi n h Map.) t qu u ra la cc c p O!e#,&alueP trung gian."c c p n# c l u t
trn % nh c a cc #
2Sau !hi th c hi n 6ong c$ng &i c Map ."c # Ror!er l nhi & chia cc gi tr trung gian
thnh . &'ng ;t ng ng & i . tc & .e+uce< l u 6u ng 9a & th$ng %o ! t qu ,& tr l u cho "
# Master 25h c thi tc & .e+uce
Master s gn cc gi tr trung gian & & tr1 c a cc + li u cho cc # th c hi n c$ng &i c
.e+uce."c # re+ucer l nhi & 6 lE s p 6 p cc !e#,th c hi n h re+uce & a ra ! t
qu cu i
25h$ng %o ! t qu
Master s !1ch ho t th$ng %o cho ch ng trnh ng i +-ng qu trnh apre+uce , hon t t.) t "
qu u r c l u tr trn . t p tin.