Mining the Web to Create Minority Language Corpora

Rayid Ghani Rosie Jones Dunja Mladenić

Carnegie Mellon Univ., and Carnegie Mellon University, J. Stefan Inst., Slovenia and
Accenture Technology Labs Pittsburgh, PA, USA Carnegie Mellon Univ.
Rayid.Ghani@cs.cmu.edu Rosie.Jones@cs.cmu.edu Dunja.Mladenic@ijs.si

ABSTRACT

86F< #l)')82<1%XG ='%!*t"#$

#2<Ž #B
„7

 
  !" #$$ %& '
(    -2 '
&-)'B
#
I+ &!Up)DEX)
86F   B)
#$ #$$
 )*)
 %+  ,!-  ')
#$./$#
0
#$1#23)

0
#$4)
' %& 
6(   _!CD)
* E#24%' #+)RlFl) DZ*

G

'' 1
2
654 )879:2 '
&<;=%>=
 2'8.#?%@ )DEX)
 6F$ #'G)'{  G
vI+'
 o)* #l)B){ @
%AB
3!C)DE)
86F3$ #BG)
#$4'@H8G
JI+B
'K!C %&G!C3D4
#
6)NF #$$  7‘,'JZ=~'!C'1)u #$$ 
' ')
#$2+ D4 #+)=
#LMD4
#
6)NFO #$$7-PQ)R2
6S/'=!CD Z*

G
4R
#M)
D4
#
6)NF #v)
=Z= o.){Z*

B

8A%&8V+@
% 2@T  # !U'82GV<
#<)
)')
 82W2+ D4 #+)X 'R82
#$4#21B8)
#$vZ 3%$  7
 & 824YFO#E)DEX)
K #$$,  
6('*-  #+)=
6@ ?

E8XB
@Q'#$
# OX#u
#ED48#M! ' l@
' '#Y)8.#2)

R!U'82GV
*82L)O$ #'G)#'Z[I+'
  7
#$M)
W 4!U' .)DE) 2LlFl) D4-!U*8X#
#$v!CD
W'\%&'
D4 #+)Z*
6)
3
I+'FY@Q$ #BG)
#D4')
Y2*#2 )
4W u
8A4%
DEX
FW&  #u
#l)G  2m
#u'G Z*' ._O%
6@
I+'FY@Q #$)
/)R(#2,
#' 
#&]X'\ 
#)'D4/)
X)^X"
 %@ 2B 7-’9#'Z“$ #'G)
#1!^$
6)
D4R
R  VY
#$M)O$D4 #+)
!C&!U')
 Y
#$2+ D4 #+)_
#E)
)GX$')`#$$#2E(#2 )
')4!j8XB
8%

6)
 EYF Dv
#
#$~)
'4VY
#2O!
)
) 
#$a8bAbcBdTefgihTa4  M8 ' )82<'j)
O2+ D4 #+) )%
)G$')@Q2
6 ')82:8XB
  7M”,XA'#2J  8$ Ew •Xz
8I+
682k<!UOZ4#1!,)
LD4l)O #
l)'#Y)6Fm  GX) *DEB

#*  #
#$ )M)DEX)
86FE$D4 #+)-BI+B
'
I+'FY@Q$ #BG)
#nD4B)
Y2 7[: m2 '
&:'\%&'
D4 #+) !U3%& '
(~2+ D4 #+)EZ*
6)
n)'D4L2 
$# 2€)(#2€2+ @

#$E
#2Y!Uo!pZG2* 
'
) 21!CDqO'K
#l)82!"
#
6@ D4 #+)$ #' .B
=
D4B@Q%$ R#2L !U*%%&' 7-‹K #@
)
,2+ D4 #+)#2k
8Zr)
)O)
1D4')
Y2O%&'!CDs
D4
6@ #
#2k–1X;D—w6x8˜Xz*E
#!C 'D4 #+)8X#
#$:):
 %
 XF+7t"\%&'
D4 #+)*%%6F
#$O)
jD4M%%G
1)4D)
%  O'G Z*',2
 XA'*)
j
$
Y)KVY
#2K!"
+F%&B
#V)v!U8Z‰)
 #$$ -R ,%  #+)82
XZ*
#$)
X)p-%%AB
M$'#@ (#2m%&l)'
%)4  G
n%%&' 7nj

$ #+)
K')ET7ˆw ŒXz,DEVA
BG
0  )OX
')NFL!^`#$$  7 !,
YF%&'
#VWl)'))~  #m#
A1> F+ 4D4Y2 O!
2+'D4 #+)u!C'Z™GVY@H
#VY8Z Fn!CDŠ)G$'):2+ D4 #+)
):$
AE)

6'G Z* B4D4L
#!UDE)
#m&)v)
4)NF%& v!
1. INTRODUCTION
+F%&'
#VY)W!U 8Z7‰;=
'#€')LT7š E ›
 w ˜Xz 4
#@
"t  ')#
J)'\Y)4 %&GuJ82m!CLD4Y2 
#$< #$$ !U  D4 #+) 8X#
#$J82~#W!C 82GVJ!CD™)
O'v&)

#LDE#+F4 #$$) B
# $F%%
8)
# .
# 2
#$v%&' B
)
L  #'1!j<I+'FuDE)G
o7m>_'Fk')LT79w6x'zK%%&
' $#
6)
#nw6xXy8zT.{%)
8"G
XG')'' $#
6)
#o.o
#2YZR
)
#$ 
#$j)
RD4l)@T!`8I+ #+)pZG2-!U=I+'Fv$'#'GX)
#O!U=)
'

' $#
6)
#o.DEG

#K)G#`X)
#Ww y8zH.#2L%& 
#$O' ')
# '’K;tulFl)'D3.+$ #'G)
#$v)
',!CDœ l)B . 'V
#$M)
w6x |zT7r}o#$$~ %&GXW mB!U!U1
#$
l)
W#2 DE\
D4
0 J)'DO@T!C8I+ #'F#2?2+'D4 #+)L!C8I+'#'F!M)

+'

#$
l)
l)2
  .KL)
'FnXJ82
6F€8G
~#2 )'D4p  B)82„7"
'FMRl) D4D4 2 '
#O!ZG2--I+'F
l)GX)
l)
',8#18
6F1& D4%)82/7 )'D4 .{#2W
8Z+F:'\D4%)
)M)DEX)
86FW$ #BG)82

E}o
#$
l)
j)GJ;=#)
Dƒ‚T}„ ;R…j
v %&G1!C I+'
 ,8#:&M82J)4(#23D4M'`X)82~2+ D4 #+) 7
BF
)QZ #+)QFk`#$$ ~wx †zZ*

3 m8G
n #$
#'L' #+)6F jIY'
 )
X)*82v D
#)
#!{ #l#')
A#212
l@
%&B!UD‡ #$$m
2 #+)
(8)
#ˆ#‰&)~n20  #[!O)
 l#')
AJ)'D4 7‰‘,8Z'A'8.*)
'F€2u#) X)<lFl) D
 #$$ R)
'FE
#2'\/.8Z*
#$O #$$'@H%& '
(8G
'R
#  D4% 8F
#$)DE)
 I+'FY@H$'#'GX)
#o7
)
L #$$  7<j+ D4 #+)
#kDE#YF~)
'v #$$ 4X ”,
#
K#2€ž# :w ŸXz,2''
&:#n$
6)
D !CL
`2
#$

#2'\82„.R)
$
n#u'\%

6)3 & 
#$k!M)
J #$$  #$$'@H%& 
6(E %j!`D¡)
'<
#$1
#$'@TZG2
)
'FjZR
6)) #3
#3
K8
`7 I+'
  7v‘,8Z= A'8./)
'
 B\%&B
D4'#Y),O
D4
6)82J)3EDE

,nnŠ
R&  #L$A
#
#$%&%`X
6)NFL*   ,!C   2 %=!^ )
#y|Y. |||2+ D4 #+) .Yl)FO
D4
6)
#$
Dv6)

#$^ #+) #+)87j‹K #
VWw6x Œz" )
 '3)1)DEX)@ )
4$ #BG
08)
#m%&8Z'!R)

6v 6)M)3)
O „7J

%%G
!*
#$3
#$ 4Z=G2!`D¢1 #$$LMI+B
'
)JW W G
 #$
#O )M
#WABF<8Z% 

#Z*
 #
(#2
#$L2+ D4 #+)
#:)
X) #$$7O£,#J)
M „.„L
#$
ZG2!CD¢#E`#$$ #m~%%&8
#k#)
'#
B#+FD37pPN#E22
6)
#„. 
#$Z=G24!CD# #$$,DE8F
Permission to make digital or hard copies of all or part of this work for
&O%  #+)vM1A+8`XF~
)'D™
#W#)
Bv #$$7L‹@
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies DE# 4 #$$  ."!COB\D4%.{
LDE#+F~

$
@T!C8I+ #'F
bear this notice and the full citation on the first page. To copy otherwise, to ZG2@Hl)
#$ .
# 2
#$<¤N2 ¥.=¤Q`¥W¤Q
¥#2m¤Q ¥7=› 8Y
, #@
republish, to post on servers or to redistribute to lists, requires prior specific $$ ^ K
X_DE#+FKZ=G2Y@Ql)
#$ .X!U^'\D4%M¤Q
#¥./¤Q#¥.
permission and/or a fee.
Copyright 2001 ACM X-XXXXX-XX-X/XX/XX ... 5.00. 
 ¤Q%¥.4¤N
¥79

4D48#)
)OZ=J8##)4 #+)4#
D4% 2.2 Query Generation
Z=G2Y@Q
# 
#n!jDE *#YDv&'O!,)'D4v)<(#2m42+'@ ”,
A #?' ')
#“!v2+ D4 #+)4  
(82?
#Y)' '#Y)
D4'#Y)
#E%)
  M #$$7PN#:$ #'Gi.o)3I+
GV6F3(#2 #29##@H' '#Y)8.)
~)GV?!OI+'F?$'#'GX)
#‰8#‰&
2+ D4'#Y)"
#Ej%& 
6(K #$$.+ZK#  2v)&KR) #@ 2''
&82ˆJ!CXZ* ‰'\D4
#W  #+)J  #+)~#2[##@
l)')I+'
 )
)&)
J(#2J4Z*
2MG#$v!_2+'D4 #+)K
#   #+)42+ D4'#Y)M):$ #'G)J~I+'F<Z*

G

O
VA 6F)
)
R)G$B)= #$$.#2M)
)-(6)'-)=j`X$K%%&)
#4! (#2u2+ D4 #+)v)
)4X<c
h vh fej)m‚i)O#))
D41G…
D4O#2< '  6F<'`X)82< #$$  7L£,j
YF%&)
 
j
 )
  #+)12+ D4'#Y)1‚i
T7 7‰  #+)B…O#2#)L
D4
6@
)
)K+F1' '')
#$E%%%
)
# 
#:#21'\ 
#)'D4  3)u)
~##@H' '#Y)12+'D4 #+) 7

1
J# $1)
!`D™2+ D4'#Y),682F~  ') 2„.p#2:
#$E)
M 6)! D4%
#$Z*
6)
)'%  'D4 #+)87 
J'? #+)G
#12
S/B@
'`
6(8X)
#EYFv,

$
@H% 

#4 #$$R(6)'8.ZR8#O #@  #+)E2+ D4 #+)v
#<
')QFu!,#X)G* #$$' 7€
l)')-A'Fv

$
@H% 

#OIY'
 _)DE)
8 6F+7-£,-'\%&'@ I+'FW$ #'G)
##2uJ8XB
k #$
#E):D4%4!CD¢)



D4 #+)p
XZk)
)p)

-%%G
vZVY"Z= #2 2+ "#) 2+'D4 #+)M  ')
#o7W”,
#
#2už# v'\%&'
D4 #+)82~Z*
6)

 IY
6_%& '
`
0'82MVY#XZ*82$-!YZ*

G
`#$$ pX-  X)82„7 D4%
#$KZ*
6)
M#2jZ*
)
)^ %   D4 #+)p#2j!U#2)
){&)

l)G)'$
 K%&'!UD4821
D4
`X6F!C*)

62X)G')Mw ŸXzT7
J$ #BG)<IY'
 L
#$k #l#')
#“#2n# $AX)
#“!
2. CORPUSBUILDER ARCHITECTURE )'D4j#6F+7’I+BFJ
 2'(#82J)'#
l)M!') !=)'D4
QP #j)

„ ')
#Z-2 '
&-)
_;=%>=
 2BpG

6) B). 8I+
682n)%%&8:
#?)
W2+ D4 #+)L')
 82‚i
# 
#
I+'FY@Q$ #BG)
#vD4')
Y2p#2M)
=`#$$'@T(6)'- 2„7"£, )'D4G…B.#2JOB)j!")'D4R!C
22 #3!`D %%& 
#$E
#3)

%%AG
“2
6S/'E!CD % 2@T  # 3!U'82GV[w6xXŸ8zT.w6x z 2+'D4 #+)*')
 A82‚i'\ 
#&…B7j;=#8I+ #+)6F+.&8B
~I+'F

#n)
)L')
 A82?2+ D4 #+)EX< &'  2“+F€#“)DEX)
 8#~&2 B
& 2:+F!U%XGD4')B K)
v#YD&'K!_
# @
 #$$=  
6('"„  #+){^
6  #+)8.#2,)

o!C 82GV 
#“)'D4 .K)
~#D&'L!'\ 
#?)'D4 .)
<
# 
#

K82E)O$'#'GX)#'Z[I+'
  7 )'D‡  B)
# D4')
Y2/.M#29)
u'\ 
#ˆ)'D‡  ')
#
D4')
Y2„7‰

1 #+)Gl)EZ*
)
n!Cj>_+8#[I+'
  .*Z*

G

2.1 General Algorithm
$
A*$8)'_'\%'
R%&XZ='_YF D4%XF
#$j2
Ul#')
#„.
;=%>=
 2'*
6)'GX)
A 6FE'8X) R#'Z?IY'
  .
#LG2'R) #23# $)
#:Z*
6)
:4$8X)'
')NF1!- %&L7* G
M)
 
 2u3  ')
#!,2+ D4'#Y)
#kJ
#$ L #$$7<
 #F #l#')
#m)~
D4%
6!`Fu)
L'\%&'
D4 #+) .=#2u!U
)GX$')K #$$,
K2'(#824YFE#*D4
#
6)
o2+ D4 #+) ^B\%&B
D4'#Y)RZ=MB),)
#YD&'K!"
# 
#J)'D4K8I+
%X
282+FE)
j'8.#2L)
j #$$()B87 )W)
3#YD&BO! B\' 
#)BD4 .*#2 2€<(\ 2m)'D
’)4

$
J  i./;=%>=
`2',Z=VY,+FL)GVY
#$E,
#
6)
   ')
#D4')
Y2J)
$
)j)
v #+)
6O'\%&'
D4 #+)8 7
,
#$

#%)o!CD‰)
_'^)QZK')^!&2+'D4 #+) .8  #+)"#2 ##@ 3 v'l)
B)
1I+BF
#$3 #$$1DE F~%&'D4
6)vD44%B@
' '#Y)87”,
A #u)
'12+ D4 #+) .p
6) :)'D¢  ')
# 
EI+'
  .o)jZvZ 2<)
 #~#'82:)8#WZ*
 #:)3
D4B)
Y23)E  ')jZ=G2!CD )
   #+)#2J##@T  #+) 2
UN#B)
#o.K#2€XA'4Z*
)L %&~
#m)
3)'D4 7?W3
8A
2+ D4'#Y)K)1&v82~
#' 
##2:'\ 
#~)'D4,!C 2#   )82J'\%&'
D4 #+)K
#$EDEB

#   #
#$L)EG
+
)
~IY'F+.R %& B)
 6F+7

1I+'Fn
L #+))u)
J G
)
v)'D™  ')
#uD4B)
Y2~)M8G

6)'GX)
#nw zT71
O)'D
'#$
#=#2,)
"

$
 l)oG#V
#$*2+ D4 #+)o
„')
 A82/.X% 2   ')
#uD4')
Y2:  ')  :
# 
## 2 <'\ 
#<)'D4
)
$
)
, #$$()BK#2L2282E)v)
,')*!^  #+) 
#$,)
=Z=G2")
)"+ '-
#  #+)-#2v##@T  #+)-2+B@
=##@H' '#Y)_2+ D4 #+)-' G2
#$),)
*  
6(8)
#L+F D4'#Y) .Z*
)
2
6S/''#Y)=D4')
Y2_
#$v2
6S/' #+)=)BDZ=
$
+)@
)
(6)'87
M%+ ',
)
 #J
6)'G)82/.&%/2)
#$O)
 ')j!
#$4G
 D4'K)4  B))'D4  7 ,'FL)'Dr  ')
#~D4B)
Y2
2+ D4'#Y) )
X))
LZ=G2O1' '')82u!CD )8G
l)'%o7 ZB h  ae v.&g Be d Be ."!e$a #$f #'
h  hUcgi%h jg Be d Be .
‘'EZB!U'O)< 
,‹}€')#82u+FW)
L8XB
m #$
# eGg &='b B.-a8bbcGdHelfgihTa(. !ea #Gf #'h  hUcgi%h Ea8bAbcGdTefgihTa7 t_B
:
j2 '
&82
 YhUgi7 ?
 #~IY'F
#$4)
v8G
W #$
#MZ*
6)
WL#'Z I+'F+. & 8Zk!U"
# 
#M)'D4 7p
%&'GX)
#v!C"'\ 
#v)'D4

"#$ .YlZ%%
#$K  #+)-#2 ##@T  #+)"2+ D4 #+)
#6F)
(l)_

6)-
_82O)-)
 DE
#
#$

6)-Kl)82)
O(  !Uj'5O
 #'F+.L)
)KZvX
21'@QI+'F
#$O)
M G
Z*
B %%%
`X)7
'#$
#M!C,)
 D4 I+'F+7PQ!pZM
8A821)
 D4vI+'F
&B!U.Z=)GVAK)
#'\Y)=# '#L

6)=!CDœR8B
82O 6) 7
) D4* h #+ a) +e .{ rZ*‚
6
-)
u,8…I+  _'%)/ .j)'
D4
6)NRF!`!*D 8)G

j)' D  &#+ ),
#2$J+ B@@
PH!*_

6)
8A4&  #W  #o.{#3

6)v
 ')#82„7L
E$ #'G  '')82„7
$
6)
Dq
R!U 8Z*
x7-PN#
6)

08X)
# ) g Be d Be O‚TRŽ"…_' ''))
0 .*D4l)=!C IY #+)=)'D4
y+7r”,'#'GX)WI+BF)'D4E!CDƒ' '#Y)3#2n##@T  #+) !CD )
j  #+)K2+ D4 #+) 7
2+ D4'#Y) ) !)
e=$a #$f  #'
h  hUcgi#+%h )-=2g B+e  D4d G1e  #+)"p2  j‚%G3-2
RŽ#"$,…&)K )
' )
64-.^#ZD4G2+o!`)
8D 2
†Y7-‹')
 j#'\Y)*D4l)R  #+),2+ D4'#Y)=!U*)
 IY'F
7 }o#$$<Ž^
6)'8.
$#“2+ D4 #+)4)  #+)L##@ DE\
DDO@H
VA 

+Y21%

6)
  .o)
)
 ./Z*
6)
<%@
' '#Y)K') 

6)NF%%&)
#o)v)

6*!C8I+ #'F+7_–1!C8I+'#Y)
˜+7
,%/2)-!C8I+'#
 -#2M' "82v#v  #+)"#2M##@ ZG2KD4
VA 6FE)O&  B)82„7
' '#Y)2+ D4 #+)
ŒY7-‹')#)Ol)'%JyY7 ) eBg &_'b R‚i‹_RŽ^PQŽ"…^  ')-)
R)
R)5% .RZG2"G#VA824B@
WKB)
'A, 
#$ ,2+ D4 #+)=
#El) %L†)v 8Z?)
, $@  G2
#$L)E)
'
,)(&2!_   7v
)!_ !=L)'D

6)
D DE\
DDq%%&)#
6)
 j)
D4%XAv%&B!UDE# l@
K)
 ))G{!C8I+ #'F1!-)
X))'Dq8 ' )82:XA'j

#$j)
R #$$*(6)'_)_ ABFvl)'%o7pPQ#Y)B l)
#$,!C)RZ=V   #+)L2+ D4 #+)4E  
6(82€+Fk)
1 #$$:(6@
Z=`2
#YA 4
#YA'l)
$)
#$:
XZ)
4#YD&' !K2+ D4 #+) )'87K

2!" !-4)BDq
8 `X)82JXA'*)
  #@
B)
'A824&'!U,%/2)
#$D4Y2 =' 24&K%)
D4
0 82/.+%&
6@ )
' ')
#:!p2+ D4 #+)')
 A82/.#2
K$
A #1YF
6Fj+F,B\D4
#
#$)
-#YD&'/!%&
6)
=2+ D4 #+)&')#82 687:9 ‚ ?@:ACBDFE-;8<<+HM;8=I>2<1?JF@:@KACACBDFDF?EG;
LC<H0J<I?K<1;8JF=O@KNP?ACNP?KDF?QM;
L;ROD;
D'E1A …B7m)(&2!!U
O!UK+FE)
j  #+)KI+'F+7 v)'Dr
R)
j%Y2B)*!p)!"#2
2Y!N7
 ) a8bAbcGdTefgihiaO‚H£,‹j…p  '))
/
 .)'D4_Z*
6)
E

$
 l)RY22l@
G)
E   7j
vY22l@TG)
E M!COZ=G2
,2'@ 3. EXPERIMENTAL SET-UP
£,vI+B
'v8#u&E2 B
& 2YF~!Uv%XGD4')'vv2B@
(#821 )G
824
#› ')
#1y+7 yY7pK')=
# 
#L#2O'\ 
#%GDO@

 

 
 "!$#

 
%

')'M)J)
ED4E.-
i7 7._)
E#D&' !,
# 24)'D4
 
 "!&#  
%
O8I+)~)
#YD&'M!,'\ 2L)'D4 7WPN#m22
6)
#k)


D4:D4')
Y2€
82€)u  ')1
# 2J)'D41L)k  B)
) !ela$#f$#'h hUcgih%Ea8bAbcGdTefgihia3‚%3=£…*  ')jZG2jZ*
6)
:%@ '\ 2v)'D4 .&)
$
: 
#$1
82~#~' '#Y),##@
 

6)QF1%%&)
#„))
'
*Y22l@TG)
4   7   #+) 2+ D4 #+), %%%
)7MvX
82:)
#YDv&'

*
D4% l)=D4 *82O=j 
#
-G#2D   ')
# !/
# 28]'\ 2)'D4p!CD xR)vx8|#2 D4% 2v)
!C6@
!_)BD4 .&
i7 7j4#
6!UDq%

)QF:2
l)
)
#:
,
D4%&82 8Z*
#$
6\M)BDˆ  ')
#D4')
Y2  h  a+e .g Be d Be .
XABLRZG24
#)
A+8 XF“‚
M,…B7_›Y 
#$<)'D44'@ !el$a #$f #'h  hUcgi%h :g Be d Be .veBg &_'b B.Ma8bAbcBdTefgihTaM. !e$a #$f #'h  hCcGgih 
'G2
#$))

6j!C IY #BFk‚TRŽ"…
&  #~82~ L
D4% a8bAbcGdTefgihia7
D4 LVY#8Z*#)~$
AL$+Y2u 6)v!CO!C8)1 
#$~
#
2+ D4'#Y)" ) $
08)
#<w6x zT.&w y|zT7
,
#$ ,D)
#D4
2
l@ 3.1 Using Existing Corpus-construction Tech-
)
)
#EXA'!`8I+ #'FO!o)BD4,%‚ 3-RŽ<@ !el$a #$f #'h  hUcgi%h  dTg Be d niques
G1e "2 …4
4& '#
XZ*#k)W%&B!UD &'))'O)
#m
D4% ”,
#
&#24ž# ,w Ÿ8z/
8Z 24)
)=
#$Z=G2EI+'
 -Z'
!`8I+ #'F<#k3
D4
`X% 'D w Ÿ8zT7:‘j
# M#2k;_!C)w6xx'z 5O
 #+)!UR(#2
#$M2+ D4 #+)=
#^$$.&#2E)
)R' '')@

8Zm)
)*eGg &='b ^
-,$+Y2v 
#$D4'B
#
D‰!C-
#!CDE)
#
#$1)
4I+'FY@TZG2   G2
#$1)1)

6M%

6)
 
#W)

B)
'T7[–1 2 #
:#2€”& #
V“w6x zj
8Z )
X)E 
#$   #+)2+ D4'#Y)%&B!UD4 2~)
4&'l)873PQ)
M
D4%&)G#+))

#$ka8bAbcGdTefgihia<‚H£,‹,…jG

 A MA'F~$+Y2u'6)v#u2+'@ #)J)
)E)

61'\%&'
D4 #+)4ZB:#n#“DE, % 2
D4'#Y)K8X) $
08)
#~Z*
 #:28
#$4Z*
6)
:OD4
#
)QF3 # '%)8. !R^$$:2+ D4 #+),#2:)
'M2
l)G')v2+'D4 #+),'6@
Z*

B
<

D4
 ) % 'D   #
3
# 4›XA #
#<
  ')829!CD‡)
WZ ˆ#2[l)82‰# 2
V&7 'D4%X82
JD4
#
6)NF<`#$$#)
4'o7:–1)
X)82uYF~)
4%&'@ )
'
E&'l)@Q%&B!UD4
#$WD4')
Y2E$
#l)L)
'I+'Fk$ #B@

%&'!CDE# 4C! !ea #Gf #'h  hUcgi%h Lg B+e Od Be 1"XABLg B+e Od )
#[D4')
Y21#2? #$)
 .,#?)
:)GVY3!v(#2
#$k&)

G1e "2.ZJ2'
A82k:X
`#+)4!Oa8bAbcGdHelfgihTa.=Z*

B
m
4'@ ^$A$#21›XA #
#J2+ D4 #+)#)
,W o7
 B)
#$J)'D4M  G2
#$3):3Dv6)
#D4
`-2
l)
)
#u'
Y22l@TG)
4  K!^)'D4%‚ 3_( £ ' !el$a #$f #'h  hUcgi%h  dQa8bAbcGdTefgihia8…B7 3.2 Using Search Engine’s Built-in Features -

OI+BFJ$ #'G) 2<X)8G
~l) %:DE8F3&E#XA "I+'F+. “More Like This or Related Pages”
*#Z
8A682FL
82/.'
)
'R&  K)
D4')
Y2O
 PN#WG2B)J l)G

mZ*
')
'v8XB
u #$
#'O682Fu
#@
%

l)
86F  B)
#$1)'D4 & 8)
O22
6)
#W!  %&G)k!C#B)
#
6)QF?Z*

B
9D4 1;=%>=
`2'8.
#'Z‰2+ D4 #+)*2
2#)B
#$jZG2J2
l)
)
#*
#JZR F Z:G#9#?'\%&'
D4 #+)
#$m’6)G 3
l)Gš n¤N‹K  ) 2 3p$ ¥
Z*

B
3
*# )'#  )
j)'D   B)
#o7 !U#')
#o7
-l)G)oZ*
6)
)
_D4_
#
)
Y2+ D4 #+){^
# )
_lFl) DO@
2.3 Recovery from Empty Query Results )
<›XA #
#n'\%&'
D4 #+) .K#2€~;=%>=
 2BJI+'F
PQ#)
*8*!o2')BD4
#
l)
R)'DO@H  B)
#OD4')
Y2„.AB
$'#'GX)
#o.'))
#$
#' 2#2EB\' 2* #$)
-)˜#2O)

 gBe d Ge1"2.eBg &_b'^#2Ea8bAbcGdTefgihTa.YI+'Fj)BD4{  ') 2 )'D ' '')
#D4')
Y2:)Wa8bAbcGdTefgihTa7L
 #~Z')
 )

 #€G
#$3#FkZ*
 #)
3#2'6F
#$<2+ D4 #+)Ol)G)
l)
 

$
 l)vG#VY
#$:’K6)G  3,
l)G:

6)v  
6(82mM  #+)+FW
G
#$O)
$
W)
422
6)
#u!*1#BZ 2+ D4 #+)87On
 #W  #$$j()B87-W)
 #1I+'FL’6)G  3
l)G
#$v
V 
,‹}:)
I+'Fv22p#j#'Zm2+'D4 #+) .ZR#'82,D4B)
Y2 !„6)'
#$ (#22+'D4 #+):¤N
VA ¥J)
4#4ZE')
 A 2u#2W22u!
)
MIY'FE)O  XA'87_)+VL)
 %%G
J!"   
A 6F )
  #+)# R)O*
#
6)
o')87

#' D4 #+)
#$j'#+)'& +.(l)_)
$
O
#' 
#O)'D4 .)
 # L 29a8bbcGdHelfgihTa1Z*
6)
€I+'F #$)
€˜~)

OD4')
Y2
)
$
)
4B\' 
#)'D4 .^)GVY
#$3)
,  +K)
$-
+/. Y)

2& '#3%&'!UD4
#$Z= o
#3)
'K'\%&'
D4 #+) 7


$
'l)  
#$)'D4,)
_I+'F:
j!U#2:Z*

G
<B)#j

‹,}"7 3.3 Initial conditions
ŽJ8G
ˆ2+ D4'#Y)@H82?'\%&'
D4 #+)G, #2
6)
#o.v;=@
2.4 Language Filter %>=
 2BR
2L   _) 
#$'\D4%K!{M%&
6)
j2+B@
WE%v8G
m2+ D4 #+) !U')G
82
#u %&#E):: G
D4'#Y)M
#)
4)GX$')`#$$._'\  %)v
#)
L'vVA'FYZ=G2
+I 'F)
$
R #$$"(6)'87{Wp82j#/,+G2/š {{'\Y)B;) '\%&'
D4 #+)8.o2 B
& 2~
#WD4O2')G
"
#W ')
# 3.3.2 7Ž

D4% 'D4 #+)G)
#“w6x8•Xz,! ;8Y#L#2mo #Vš 4G
XG')'E#@ D4l)'\%&'
D4 #+)ZM%%
82!C,# $)
A '\D4% 2+ @
$GD  2~$
6)
D w zpZ*

G
JZRj
8Z*#J)E&MXAB•|10 D4 #+) .p#L8G
k
#kt"#$

„.=;=0  G
o.=›'
#m#2k;_A)
#o.
  G)1#m:
')QFu!K #$$'E#2k2+ D4 #+)M #$)
 7 )
$
!U4)
3'EVA'FYZ=G2k'\%&'
D4 #+)1x8|Wt-#$

nl)%@
W'#
2'82Lv2+ D4 #+)-)v&' #$ ))
*)G$B)R #$$ ZG2  #l)
6))82~)
O
#
6)
-#'$A)
AE2+ D4'#Y)874
4 #@

6!)
X){ #$$-ZRo)%@TG#V82j+F)
- #$$_(6)'87^{* l@ $$MD4Y2 &!UK)
 #$$(6)'RZ4%%
82„7
)
DEX),)
j%&B!UDE# ,!^)
(6)'R!C,›XA #
#o.YZ= VA82
#)
A3%& VA'E)' )x ||WG#2D4Fm  B)82€ @
%$ K!`Dq
l),!" A'Go)
#2L  
6(82Jj›Y #
# 3.3.1 Choice of Initial Document
›
# O ^)
OI+BFJ$ #'G)
#WD4')
Y2j2 '
&82:
#:)


+F<)
L`#$$1(6)'87••:!*)
'ZBMN2$82u)~
#u!i') %%&'"2'
A-)
=I+'F,)'D4„!CDˆ2+'D4 #+)^682YFj!U#2/.
&L
#›XA #
#o.-$
Y
#$<:% 

#m!,•1• 0L7u’K#k#$
6)
M
D4%&)G#+))J #
2Bv)
4'S/ ')v!*F
#$1)
4
#
6)

' )
#3!C 3%$ -N2$821)4&# $AX)
M
8Z*)
X) 2+'D4 #+)-82/7^*82O)
 K2
6S/''#Y)_
#
6)
&%&
)
A2+B@
•|@Q•A ˜ 0 !)
O%$ M  
6( 2 ##@N›XA #
#<Z='EB)@ D4'#Y),
#u›XA #
#o7
4%%&')
 M!)
 4
#
6)
=2+ @
F3##@N›XA #
#o7R’K{'6),X %&)823
#3)'D4*!
)

p)DE)
_`#$$  
6(8)
#O#2#K!C)
BpDE#Y 2 )
  %* #
l)823!=˜||4^$$2+'D4 #+)*#2WxX˜|||
' )
#ZRK8X
 21)87 2+'D4 #+)RD4l)6FL
#3t"#$

:#21>-G0

# 3^)$'
 ›%& VA'x
Ka OKa  2Y.%.
#„.N.
i.
i.&...VY

D4'#Y)_*
XZ*#E

#L^ x7"j+ D4 #+)y,Z_)
K2+ D4 #+) %h " 0.

Y.$ #'.&2 0.$082„.
Y2„.0 
V+({.
82)O$ #BG) {'\Y)B;X)8š ,›XA #
#1 #$$MD4Y2 i7 l)VY l
i.VY#.    '.#8l
#o.8l
#o.#N#
Yc
* %')8.l)G#„.%&Y2N')il.Y 
#.V&.V'8.
-F%& {%
 }„ #$)
-+83›
0  D4
08.

.V08.%&XA 0 X
x ŽDE ‘,)
 6) ˜Œ
3

†:˜  ›%& VA'y

y ,,'Z* 3^
6)
' Ÿ+x8Œ KAŒ Ka OKa  # 0.2 .


i.DEG.%D4')8.#'.
† PN#!UDE 3^'#oW @3p$ •| Ÿ %%
68.l)'#.VA'8.
G#
h%"
 %&'# #l.VXVA
i.l)G#
i. #8ll)8.0 %#.


 !#"$%'&)($+*,-./0123+4#5(76289:. )V#N.%&G X)
T.%')8.VA0  .#8AY2

6;-(<=7>$89:. Yc
*
0 D4 #l8Y.0 %#.VXVA
i.'A')il.A'
V#V
i.
0 D482.$l)
#.&%'
8#l.
li.&$082
3.3.2 Initializing with User-supplied Keywords 
JLKMONP#(2Q.62$5-(SRTL4/U:WV25+/U:/2+4#XY$74:Z#[
HP )EDE F#)LZ FL&J8lF)W(#2m #+)
32+ D4 #+)4
# -\"]#)^\;=<_\6Y894/!`6YTbacd6,e)VM74:Z0
J #$$L)J%%6FW):lFl) D37~’K#m6)'#X)
AL) f 2Y/U2((S"g62+ih1.(2j4:lk;m7non!m7p2qrh'%25sVM74:Z0
l)GX)
#$,Z*
6)
4K%&
6)
A*2+ D4 #+)p
#v)
=)G$')" #$$.AZ= t 2Y/U2((u8v89W62
4#(w4#89-vY6%s4:<xy%2z
DE F4l)GX)RZ*
6)
1 !U'Z?Z=G2R
#E)
K)G$B)*`#$$)G
#82 {3|;4#-}-~qv4#(xhc#Zz€{(5~eƒ‚#W„#p…g†Y„‡ˆhc#(2q
R$0%
!`D)
K'=*#X)
A%& VA'87-oM)

_ #2OZ=,VA82O)NZ= M74:Z0‰2./U(-(Š%X4#89-b:"vY4:($+4#5!V25/U:24#
#)
A4%&8VA' !*›XA #
#W)3%%6F:Z*
6)
WZ=G2 7EW "](2‹4#(Œ4:Y+"]4:e_(2($+4#55+TŒVM74:Z0 t 4#5Ž2./U2((
VA824)
 ,I+ l)
#!{8G
L#)
A%&8V'8.+) 

6)*
#
6)
 6226/5+TPV25/U:24#bhc#(2Œ%4/!4:.=:95Z05T<Yj4:2$-4:
Z=G2!*F
#$3)QF%&  71WEVA82W!CM) # Ka OKa JZG2 . :%-o5+4#‘640‘:-q,Y6%j4:rx-(-Y.-zˆ{’%.-$/-|;/~q“x7($d[
)E)G
#JZG2,›Y #
#JDE F&v
VA 6F)E)

#VL!-(l)87 40‘#.7-4:R$5+zˆ{”}7#2~4#(Wx7ZZ‘#zP{].Z-4#-|;~e‚)„•.‡–
W)
 #LVA82O!CR)  # %h "N6F1›XA #
`#4ZG2 .Y)v$')*)R — „˜™h1.(2qŽVM74:Z0 f 2Y/U2((š0.-
4#(w8v$6Y[
#)
A%&8VA'8š K
#+)
)
#K&)*Z*
X)KZ=G2,X%)
   .54/Y(›Y-8vq<Y6%›4:šV25/U:24#œ"]#xNP-R2zž{g$5~q
)L)

6 #$$7;_A)
#u#2W;=0 'B
„.„!C '\D4%./
X x740‘#-zŸ{g;..4#2~qsx70.:.zž{”U;-R$4#~u4#( x7($.-.#.Tz
DE#+F,l)
#$p#2,ZG2{
# D4D4#jZ*
6)
M›XA #
#o7^’#X)
 {gZ-40}4#5~qjh%25ŠV$-4:Z0- t 2./U2((¡h1#(2u67"g625"]#
%& VA'-!o›XA #
#ODE FvVY#XZuZ=G2-Z*

G
4XR
 2Z*
)
¢ ($‘l($+*,Y/0vY$9s%<N‰R£qY6%¤4:vV25/U:24#
)
'  #$$  7
'F:DE F+.„
8Z'A'8.^#)VY#XZ )
) D4 "]#rx77>%4#‘:-zˆ{’+}8¥/-|;4-U4#~qx¦$hc-zb{U:7g|;~q‹x7.-;Y4#6[
XE
 2<Z*
6)
)
'M`#$$  71Ž^
#6FWZ=EVA82~!U ) # .4#0zj{”‘:d5~e
Z=G2  Yc 
*A!U(#2
#$v)'\Y)R
#:›XA #
#1#1)
Z „7

RZG2_#)
AK›Y XA'#
#4%&8VA'-%%
82"Z*
6)
48# 4.1 Using Existing Corpus-construction Tech-
&  #m
#€^:y+7mW82u)
 LZG2E4D4+GV
#
6)

’%%6F
#$
#$'@TZG2OgBe+ Od Be1"2=#2M!ea#Gf#'h hUcgih%gBe d
2+ D4'#Y) .#2Ox8|t-#$

l)%@TZG2p^)
_
#
)
# $AX)
A niques
2+ D4'#Y)87 Be1"LIY'
  )1)
OW W!U4›Y #
#'6)v
#W'`X@
)
A 6FJ8Zˆ% 

#o.oj
8Z*#:
#<Ž^
$Ex0 7

#$4)
La8bAbcGd
efgihTaI+'FE$ #'GX)
#3D4')
Y22 '
&821
# ')
#:y+7 yv)@
3.4 Comparison of Methods
PQ#1G2'R)O'D4%X,)
)'Dr  ')
#1D4')
Y2 .Z=82 %&'!CD4p)
C !el$a #$f #'h  hUcgi%h Kg Be d Be %%AB
Z*
6)
O
#@
 G
O
#O
 )
#4!C=,#YD&Bp!„2
S/B #+)-IY'FM #$)
 7^W $
# 21#2u'\ 2'@TZG2kI+B
' 7kŽ)
'D4."
#$
'D4%X82<)
 D™
#W)'D4 !*&)
%%&)
#u!K2+ D4 #+) D4EZG2O
#u)
I+'F€‚T†3!UE
# 
##2m†3!C4'\ @

#3)
j)G$B), #$$./#21#YD&B*!p)G$'),2+ D4 #+)* 
#…E%&'!CD4L&'))'E)
#€)
J
#$~Z=G2?I+B
'L% Y
6@
v%%&)
#J!{ 1  '  7Ž*)
 B\%&B
D4'#Y)R›XA'@ 6F182„7_{O'l)G

3Z*
B)
'*)
,&'))'K%&'!UDE# !
#
#1Z*)
,)GX$')K #$$7 a8bAbcGdTefgihiaMZR,2j)O)
B

  !- #$$.Z %&'!UD482
)
*D4R )
#4#E^$A$7=’6)
$
v!U'Z='R2+ D4 #+)
ZB*!C#2XA'GT.)
) #2M DE
#82v)
RD4.Z*
)
4£,‹K@Q†
3.5 Generalizing across Languages
›+Fl) DE)
'\%&'
D4 #+)Z*
6)
~›XA #
`#J+F)
 D4 A K2 ‚H£j22l@H‹,X)
jZ*
6)
E†
# 
#L#24†'\ 
#4)'D4G…{(#2
#$
#)K%XY
2#+F'
2 # )
)**) G
#
`I+ R8#&$ #'@ XA',Œ||L2+ D4'#Y)R
#:^$A $3X!C)''\D4
#
#$3x8|||E2+ @

0'82<)3)
'  #$$' 7L{1) l))
O
+F%&)
 
j)
)  D4 #+) .^Z*

£,‹*@Gx4. 3-RŽ{@Gx#2RŽ{@xE!U#2Lll)vXA'†||.
%%AG
Z*
R
#2  2W%&'!UD¢Z= #uDE#+FW #$$' .-Z= xXyyY.#2~xXŸ2+ D4 #+)='%& ')
A 6F+7
'%&8)vD4O!R)
OB\%&B
D4'#Y)j!C^$$.=;_A)
#k#2
;=0' B
„7 4.2 “More Like This”
’„Z-8#M -
#vŽ^
$Ry+.{%%&82 Y22l@HGX)
D4')
Y2
)%&'!UD4E¤N‹K  )821%$ ¥O!U#')
#1!-’6)G8Y
l)G7-PQ)R(#2
4. RESULTS 2+ D4'#Y)=
#)
K)G$')* #$$ #2†† 0!^)
K)
D4.

*$A!„_lFl)'D
-)  ')-DE#+Fv2+ D4 #+)"
# Z*

,
#$vMI+'FO824#<a8bAbcGdTefgihiaZ*
6)
1I+BF@H #$)
E˜
)
O)G$')O #$$M%&
 EZ*

ED4
#
D4
0
#$1)
4 l)87 (#2*O2+ D4'#Y)*
#L)
j)G$')K #$$M#21•| 0œ!p)


W )
#“D48 1Z=<82nZ'‚TA…E%&'  #+)G$W! )
D47
2+ D4'#Y)')
 82W
#)
O)GX$')v  ‚@?#A0BC#A/D/B…v#2€‚i…
)
*#D&'"!^2+ D4'#Y)"
#O)
R)GX$')=  =%&B=#
I+RZ  4.3 Choice of Initial Documents
I+'FO‚@?#A/BE7F:GH:I-G:B…B7-
=#YDv&'„!IY'
 {
82
^2'(#82 Ž^
$†u
8Z*1)
<#YDv&'L!2+ D4 #+)
#[›XA #
#
)
M#YD&'K!")
D4 O#'ZˆI+'F
,
823)O)
M G
!U#2„.%))821$A
#l),)
#YD&BR!-2+ D4 #+)B\D4
#82/7
'#$
#,’K)G 3,
l)G7pW* D4%82)
*)BD' '')
#LD4')
Y2 PQ)8#L&, '#L)
))
D4')
Y24%&'!UD4 D4%G6F4!UK
  G2
#$K)K)
 -)QZK%&'!UDE# _D4 '{!Up8G
M '#$)
)
'L
#
)
R2+ D4 #+) 7J’) )
O)
D44)
O 6)2
'$82/.

#2 %& #2 #+)6F+7 XA' x8|||O%&
)
A 2+ D4'#Y)=
2&  #!C#2„7
 1800 2500
OR-3 initial doc 1
OR-1 initial docs 2
1600 PTF-1 initial docs 3
TF-1
Slovenian documents Found

Slovenian documents Found

2000
1400

1200

1500
1000

800
1000

600

400
500

200

0 0
0 500 1000 1500 2000 2500 3000 3500 0 500 1000 1500 2000 2500 3000 3500 4000 4500

Total documents Examined Total Documents Examined


 l 
bV25U#24#g‡ .n!– — ;‡†Y„‡Yp2k{c‚‹~4#( m-– 
3 54M¡‚ˆ&š($+*,.:ˆ2+4#5\M#Y+U:s(-628¥/0q
Y…]˜ …”•@…gk‡ Yn!– — ‡;†Y„‡Yp$k'{c‚‹~,Y8X;5-Œ897%(2Jh'+% m•– 6@…gmjh3%u5‘0%u&W$."]#899h3%u.8
5+4:
.-.6253e
\-56.+r4#(¥'7>756.+)Y8 h1-.'6$Y"]89( Œ+*,.ˆ89Y‘#u5+‘X40"@.-<%š2+4#5)(76289:P
R#Tˆm•– @…gm9{ !\~ h+% ¥-56.+=4#()->756Y (h14:."]( R#T
%r2.-;/!:"™U#- f7-.-0- 0%(76289:.e
Y-8q 4#(s4#l-U:uR$YY[ $Y"]8
‘sm-•Y–" @…gm h+%W&
756Y 4#(&97>756.+
Y89
#2
M,€#O #$)
E˜+.+ _)
#1x ||2+'D4 #+)"#2v!U #$)

x8| -)
#L˜j2+ D4'#Y) 7^

=
8Z*_)
X)_)
R)NZD4B)
Y2
1D4l)6Fu

#$WI+'
 Z*

B
2~#)')#€#YFu2+ @
2000
OR-5
MLT
1800
D4 #+)j‚i'%& 
6FE!U*#$B,I+'
 G…_)=)
!UBZ“  'l!U6F
I+'
 *6FL')#L)
,)GX$')K  2+'D4 #+) 7
Slovenian Documents Found

1600

1400 ?
 #J'Y

#$4)
 #YD&B!I+'
 
82„.-a8bAbcBdTefgihTa
‚H£,‹,…v(#24)
J$ ) l)#YD&B4!)GX$')12+ D4 #+) 79PN#
)'D4!=)
#D&',!*2+ D4'#Y),'\D4
#82/.a8bbcGdHelfgihTa4

1200

1000
$
#4)
R& l)‚i #$)
3x98 †…"'\ '%)"Z*
 #ED4')
Y2"
8A
800
&)*)
,D4%&'!CDE# O‚i #$)
: +…B7
600 
p)QZ*%

l)
-D4')
Y2-%‚ 3-RŽ1#/ 2 3_£…/' '')pD4#$
)'D4*G#2D46FZ*
)
:%

6)NF3%%&)
#^)L' l@

$#821+FE)'DO@T!C8I+'#'FE#21Y22l@TG)
'%& ')
A 6F+7
400

200
j')G
  2L )KX
8Z*#1
#3Ž^
$  O#2¡˜Y7 ,,),)

0
0 500 1000 1500 2000 2500 2
6S/''#  =
#E8,#E)
K$G%
=
#1Ž^
$G  ;#$'*I+B
'
Total Documents Examined  DvG
D4
VA'FL)')#1#E2+ D4 #+)R),i.&#21

 <KMŒ^\.‘bx$#‰#.&%Z0'%2Yz ¢ (2Ž4v(76289:\ 8#M&" l)6F+7Ra8bAbcGdTefgihia=%&'!UD482j& l)o!U^YI+'FY@H #$)

%<Y4:.‘:7
54#‘640‘:j4:.62(¤4‰%2.(¤:"%<8¥#q h%25 '\  %)_˜Y.AZ*
'jg B+e Od B1e "2R!C#2DE#+FM2+ D4 #+){Z*
6)

6Y‘P4l6YTšR4:;-(uim•– @…gmQh+%s6-.T[ 5‘0%)( !UBZ“I+'
  .+'#+)Gl)
#$ Z*
6)
LIY'FY@H '#$)
x.+Z*
B
6)=!C#2
{ *Ž[+(:~ ¢ (2'4
(-628¥/0\=%!Y4:.‘:7'54#‘640‘:)4:.62( )
,  l)87
,.-0/ :"%o8¥#e ?
 #'Y
#$%&'!UDE#'j!U*)
jD4,)BD   ')
#
D4')
Y2uZ*
6)
2
6S/' #+)OIY'F #$)
 .=ZL!U#2k2
S/B # '
&')QZ  #J)
vD4')
Y2 7ŽOg Be d G1e "2.o)
v& l),%&'!U@
DE# K
=G

 A 24Z*
6)
L #$)
E‚UZ*
 5 # M)'D4_
# 282


#$*)
-')p!„x8|KVA'FYZG2{%%
82 +Fj#)
AR›Y #
#
4.4 Initializing with User-supplied Keywords #2 O)'D4*XMB\' 282…B7_ŽG  !ea #Gf #'h  hUcgi%h vg B+e Od B1e "2
%& VA'-$
A'#O
#4^Kyj"
#
6)
%&
)
AR
#!UDEX)
#o.+#2 #23a8bAbcGdTefgihiaK #$)
O†j$
A p)
&'l)-'6) .AZ*

!U !e$a # d
x |Wt"#$

l)%@TZ=G2EO
#
6)
*#'$A)
A1
#!UDE)
#m%&'@ $f #'h  hCcGgih Ma8bbcGdHelfgihTa
#$vD4K)
#:xj
# 2j#2JxjB\' 2
!CD4R=Z' !CR
#
)

08X)
#J
#$Z*
2+'D4 #+) 7^PH) )'Dr$
 KvA'FLDE „#YDv&'!p)
,)GX$')K #$$M2+B@

M
#Y)B l)
#$1)3#)O)
) )
3x |3t-#$

ul)%@HZ=G2MZ=V D4'#Y)_Z*

M
#$4'FE

$
1#D&'!"I+B
' 7
-Z= &"
#$ 2+ D4 #+)^!CD'  6F  X)82O #$$ =
)
R
#
6)
# $AX)
2+ D4'#Y)"B)87p‹'$AG2 =!&)
Rl)G)
#$
’„  #
# ^ Ma8bAbcBdTefgihTa_!U#2jD4p)G$')p2+ D4 #+)
4.6 Generalizing to other languages
'#2
6)
#4)
*8G
4 6)82OZ*
6)
LI+'
 -
#$
#$
#L›XA'@
#
#k2+'D4 #+) 1| 0¡!R)
O)
D4.^Z*
 #u£,‹K@Q†LZM82W )
#€&)
[gBe+ Od Be1"2~#2 !ea$#f$#'h
 hUcgih%~gBe+ Od Be1"2
)
 I+'FY@H$ #'G)
#1D4')
Y2„7 !U=)
KD4R#YD&B"!/))G&2+ D4 #+)"'\D4
#82/.!CR!
›XA #
#o.Y;_A)
#o.;=0  G
E#24^$$7

-$$ l)_)
)
4.5 Term Selection Methods )
L%&B

6)NFk!K)

4I+'FY@Q$ #BG)
#kD4 G
#
D $ #B@
WlFl) DEX)
 6F<'D4%X82J)
v)BD   ')
#WD4')
Y2 
0  O'4`#$$  7u{1˜Y.-
8Z= A'8.-
8Z*)
)M)

!C G
~ #$)
J
#2 %& #2 #+)6F+7K
M D4%
#:!=2
6S/' #+) #YDv&'*!-I+B
'
2 %& #2 #+)K#)
)G$'), #$$#2
)BD‰  ')
#OD4')
Y2{$
 #v
#v^†$
A ^'p!`)'p'@ D4')
Y2„7L

MDE FJ ) B)M)
4#YD&Bj!RZ= @H%$'MZ*

G

)
 Y
#$†|||O2+ D4 #+)=#2E _!Ux |||
82LI+'
  . R'#!CR&')NZ=  #›XA #
`#o.+;=0  G
O#2;_)
#OZ*
 #
# R)
K 6)K
RDEVA 2L+F21.YZ*
'j)
, *X$
A # I+'
 1<DE2:Z*
6)
?!C8I+'#Y)@TZ=G2 .KZ*
B8:^$A $š 
X)jDvG
3XZ='#YDv&'K!_2+'D4 #+) 7Ž,
#l)G# .&!C 3_£ !C IY #+)RZG2K D4,#
I+#1)
,'o7

 

 


  


!"$#

%  '&(
)*+#,
!"
-
.!/



0+1324445 +# % &(6*-


',
!"
-
.!/7



-$1 ! 44458-



x 9:$; :=< ?>A@$B'C 9=<  & > DB 2E < GF*H B ! E ; ! <  &JI'K DB :$; E <  I'K  ! ; 9 L>A@$DB 4 ; C 2  & > B 4 ; 2 9 GF*H B 4 ; MN  &JI'K B 4 ; 4E  I'K 
† :M$; 2 < ?>A$ @ B 9N$; :=< GF*H  1 B 9 C ; ! <  &JI'K B 22 ; M=<  I'K B E ; C <  & >  1 ! ; OO L>A@$DB 4 ; 2 :  &PIK DB 4 ; ! :  I'K DB 4 ; 4E C  & > B 4 ; 42 N GF*H 
˜ E M$; C < GF*H  1 B E M$; 2 <  & >  1 B : ! ; N=< L>A$ @ AB OO+; C <  &PI'K DB OO+; 4 <  I'K  ! ; M L>A$ @ DB 4 ; N 2  I'K B 4 ; !C  &JI'K DB 4 ; 4 ! & > B 4 ; 4 !GF*H 
x | ! 44 <  & >  1 B ::$; O<  &PI'K AB O E ; M=< ?>A@ DB N 4 < GF*H  1 B O+; 4 <  IK  4 ; 4 M L>A$ @ DB 4 ; 4 ! &PIK DB 4  I'K DB 4  & > B 4 ; 44 !GF*H 

 4MRQTS(UWV£
$
?X SZY[S]\3^
7_   `Ybaa  U X dc+a
SZYeU`a"fJSb^ X \S hg   =i `Y  afkj#
$
`^[\  S(U la/Sl mPn
Query Length 1 Query Length 3
1800 2500
OR-1 OR-3
POH-1 PTFH-3
1600 PO-1 TF-3
RTFIDF-1 PTF-3
Slovenian Documents Found

Slovenian Documents Found

UN-1
PTF-1 2000
1400
PTFH-1
TF-1
1200
1500
1000

800
1000
600

400
500

200

0 0
0 1000 2000 3000 4000 5000 6000 7000 0 1000 2000 3000 4000 5000 6000 7000

Total Queries Issued Total Queries Issued

Query Length 5 Query Length 10
7000 1600
TF-5 OR-10
PTFH-5 PTFH-10
PTF-5 PTF-10
OR-5 1400
6000
Slovenian Documents Found

Slovenian Documents Found

1200
5000

1000
4000

800

3000
600

2000
400

1000
200

0 0
0 20000 40000 60000 80000 100000 120000 0 20000 40000 60000 80000 100000 120000 140000 160000

Total Queries Issued Total Queries Issued


 p o,ac8v4:Q:"1($+*,Y/0).-8 5-+‰89%(2\"]#!6.T‰5+/‘0%Œ:" f q‹&2q(q4#( f7- -56(v4#(ˆ->756(
Y-8vqh3%
#d"g629%o628rR$:"6+eŽm•Y–" @…gm.;Y:5T ¢ (2'89#.(76289:. ‘+U:/9%o;4#89o628rRM-
:"6+q 7>v"]#=5‘0% f q h%-.<nrm•”– — ‡;†Y„‡Yp ¢ (2v%2‘%lT2+/5(¤6--ekqŒ0YQ%j($3*£-.-=WY4#5-rl%
‘#.4:$% r£5‘:6+c4:.¥896%Q89#.)5Z:5T
Y
Y76=(76289:.4/'4#55”q$4#(j;
4#RM¥#;5T0e #ˆ7%(2'4:.!Y%/h
25+T"%¥628¥R$-Ž#"‹(-628¥/0"]62( ->--(2 t -0- e


  Z!"1-s!"1
I(!"

1
)*+#!/ ‚„ƒ…‡†"ˆ/‰ Š=‹Œ"xŽ"‹ƒ Zˆ/‘ ’“/”=• ‹x–s—bŽ"ƒD˜L“
! 4443IZ"D!"t)*+#
™š=›yœ ž Ÿ D¡v¢£ ¤
¢ ¥v¦
§ ¨d£ ¢'¨` '¨©v¤P›yªD«¬Pž/›y¤b›y­7¡
I KZuv2
' w+tx0=
y!" ! O": ®$™š=›yœ ž Ÿ D¡v¢£ ¤
¢ œ‡¯D§ ¨` '¨`°Ÿ
ž ±d¨d²Ÿ³­7Ÿ´y±7µ›y´L¤­¤²¤¬P¤b›y³¡v¢'› ±y¡v¶«
&JI'KZuv2 w+tx0=
y!" 9C 9 ·`¸ ›yœ ž Ÿ D¡v¢£ ¤
¢ ¹Dº»¼ ¨`«7ŸD­y¡7±¨d°ŸD¬(Ÿ½¨`¢£ ¶7¡v¬R›y¤«7«G£ ž ¤P›yž ¤
¶©vž ŸJ›y¾¡v­³¡v¶
™š=›yœ ¿­yŸD¤‡«G£ ¤
¢ ÀD¥ ¨d£¨dµ'¨©v¤P›y³¡Z›ŸP›y¤
>A@ uv2 w+tx0=
y!" z &0( ®$™š=›yœ ¿­yŸD¤‡«G£ ¤
¢ §œ¥ ¨d¶Gµ'¨`µ'¨`Ÿ
¶ŸD°£ «ŸP› DŸ
©v£ ž›y£ ¶7ŸP›y²­7£ ²¤³
I'KZuv2 {|=!/
y!" 2E ·`¸ ›yœ ¿­yŸD¤‡«G£ ¤
¢ Áœ ¨d¤
ž ž ¤
ª'¨`«¤
¾Ÿ³‡±7¡v­¨`µ©L £ ¶7¡v¢£
›y£ ¡?Â+›y¬bë7Â+›y¶Gµ¬b¬P¤­7Ä
&JI'KZuv2 {|=!/
y!" C !4 ™š=›yœ ¿$©L¡v´?ª §¦
À ¨d¢¤J¨ '¨d²­yŸJ›y­y¡Z›«Gª¡(›y¤
>A@ uv2 {|=!/
y!" }d~~ ®$™š=›yœ ¿$©L¡v´?ª ¥vÁ
¦ ¨` '¨`¢¤P¨d¶›©v¤
¾­yŸD¾DÄ|›©v¤b›ÃD¤
·`¸ ›yœ ¿$©L¡v´?ª ÅÆ» ¨` ž ³Ľ¨d¬(«`¨`«³¡v¢›  ŸDµ¢³'›y³¤v ¾DÄJ›y³£ «¡
I'KZuv2 {|
#D 2 :N ™š=›yœ ™=¤Ã
¤
ž Ÿ
à Ç¼È ¨d¶G¤P¨d¢ý¨d¤
¢Ãb›«Gª¡(›«7ŸJ›y¤
&JI'KZuv2 {|
#D C N ! ®$™š=›yœ ™=¤Ã
¤
ž Ÿ
à §À
§ ¨dµ¢¤
¢Ã|¨`¤
¢Ã|¨`³¤‡«G£=›ŸD°¡LÄ|›ŸD²«£ ¾P›y°¡L¡?Â
·`¸ ›yœ ™=¤Ã
¤
ž Ÿ
à §œ
À ¨d¢£ ÄD¤P¨És¤
ž ¤
¢ÃJ¨d¶£ Ĥ(›y£›©v¤b›y¶7¡v­7 
¡v­
>A@ uv2 {|
#D ~s€ &
I'KZuv2 I(!"1=!"t1 CC 4 
JpÊMËq)628rRM-!:"1Y4:.‘:7o(76289:.Œ"]62(‰4/ f7-.-0-
&JI'KZuv2 I(!"1=!"t1 2NE 6-+e m•Y–" @…gmP"]62( 89#.s(-628¥/0Q%4#ŠR$0%
>A@ uv2 I(!"1=!"t1 }`}s€ g‡ .n)– — ‡;†Y„‡Yp2kŠ4#(  m6Y…”˜ …]•@…gk g‡ Yn!– — ‡;†Y„‡Yp$kL"]#w%

o£ˆm•Y–" @…gm¥"]62(l89#.rY4:.‘:7o(76289:.\%4# ;4#89r628rR$':" 6-qM"]#oV25+/U:/2+4#
4#(<ac}-%,e T[
R$0% g‡ .n)– — ‡;†Y„‡Yp$k‰4#(  mY…”˜ …”•]…”kg‡ .n!– — ;‡†Y„‡Yp2kP"] 4#5£6-'.%/h' 4:.\%#;o%4/\89#;8
8925T¥"]62(
%;4#89628rR$“:"MY0.4#5(76289:. ->4#8
-(£q#"]# 4#55:" $Y+U:1(76289:.‹Œ6 7>$-89:.e‹‚# 1‚[’&'-U:-.T
V25+/U:/2+4#,qMa.:4/4#,qac}%4#( J40‘#4#5+:‘$e 6-.T=h14:Ž6226 r,4¥.4#(8
5+T
;/5+Y(rŽY%/h,e
 Query Length 1 Query Length 3
1800 2500
OR-1 OR-3
POH-1 PTF-1
1600 PO-1 PTFH-3
UN-1 TF-3
RTFIDF-1
Slovenian Documents Found

Slovenian Documents Found

PTF-1 2000
1400 PTFH-1
TF-1

1200
1500
1000

800
1000
600

400
500

200

0 0
0 1000 2000 3000 4000 5000 6000 0 1000 2000 3000 4000 5000 6000

Total Documents Examined Total Documents Examined

Query Length 5 Query Length 10
5000 1600
OR-5 OR-10
TF-5 PTFH-10
4500 PTF-5
PTFH-5 1400
Slovenian Documents Found

Slovenian Documents Found

4000
1200
3500

1000
3000

2500 800

2000
600

1500
400
1000

200
500

0 0
0 1000 2000 3000 4000 5000 6000 0 1000 2000 3000 4000 5000 6000
Total Documents Examined Total Documents Examined

  Ê$šac8v4:;‰:"\($+*,Y/0
.-8 ;5-¤89%(2¥"]#=6.Ts5‘:% f q&q (q14#( f7- -56(<4#(s->756(
Y-8vq™89-4:Y6.-(‰40‘:4#;Œ.0Y4#5 (76289:.o7>4#8
(£ebm•Y–" @…gm
).;Y:5T<%89#;)2.7 ¢ ($‘ˆV25/U:24#
(76289/0e
“.-7Yb.74:-Œh'+%Q%
628rRM-o:" 6-.TjY8vq,%6‘%b894#:T<6-.T#[d89%(24:.94:R$5+¥Y ¢ (ˆU:-.T
"]7hwY0.4#5Y4:.‘:7[ 54#‘640‘:'(76289:.“h%/v6.‘v5+‘!6--e#ˆ7%(2 ¢ ($‘¥5+ %4#v& -.- V25U#24#9(76289:.4:.
8
3YY-(£e
5. DISCUSSION

#A+8 F+7k›
# EZ1D4%
#$~
#u)
1% !
£,%%AB
3%&B!UD4RZ= p)K   B)
#$L2+ D4 #+)R
#3 ›XA #
#nZG2 . #YAB$ # :! )
JD4%82?2
l)
)
#
D4
#
6)NF1`#$$l)GX)
#$L!`D E!C'Z‰Z=G2jj2+ D4 #+) Z 21
#2
8) v #   XABG$7
)
6)v2+  8I+
643 #$$E(6)' !U )
)MD4
#
6)QF< #@ v)

0 O)
''  !RL8G
 #$
#O#2:!U+  #
$$7 
'vv(6)'j8
 M!UIY
6)O!UBZ  #$$  )
)GV3!-$'#'GX)
#$LIY'
 )
),M

$
6FJ' GX)#2
‚i# ,,+G2/š {B\)B;X)1w6x •z
MD4Y2 !UOXA'M
$
Y)QFW #@  XA'O2
6S/' #+)%)!K)
L`#$$1% LZ3X328
#$
$$ G…B.)")

=
=%&) #+)
6F4
D4
6)GX)
#E!„%%G
o7 Z*
6)
o7n
':X3 A'G*)
B4ZR FE)
)OZ=3  2  '')
PQ# 
'*ZVJw Ÿ8zH.Z,'\%&'
D4 #+)82Z*
6)
1 #l)B)
#$O(6@  %&G!`D¡)
 „ 7
,
#$112
')
#F~!=)
D4
#
6)NF
)B,#@T)
'@ )F+.Yl)G)
#$O!`Dr)

#
6)
^2+ D4 #+)K#2&+)@
 
 
# 
$ 
 
 
$ <
 
 
# €
2 E
D 
 Y
# 
 
 
 
 
F   ')
#$!U#')
#nZ=G2E)kI+'F
l)G%%
#$.,#2“'\%&'
D4 #+)4Z*
)
9^$A $F
  282n'#@ #23)
 #:
6)'G)
#$34!U'Zˆ)
D4 )L'
D4
#X)v!C#B)
#~Z=G2
'G$
#$O'6) 7 )
X)MO
82:Z*
6)
)
'  #$$ 
 #O%%AB
~)
)
W1 ))
1 %4  ')82k)
$
mL%%AB
Z 2ZVMZ= )pZ 28I+
6*2DE
#OVY#8Z*82$*
#)

+F4D4%
#$)
 %=#24AB
!`F
#$M)
,2 

#RDE2K+F !UD™!=V#8Z*  2$E&)j!U#')
#~ZG2!U)
O%)
  X
)
R #$$*(6)'87"

-$
A'_-
#!UDEX)
#E&)")
R%'@  #$$7£,3%%AG
?8#L!`Dƒ'\D4% 'L
#n)
)L
6)
'

#!o= % 7pPQ#4$ #'G&#O)
RZ 4Z=8##)=  #6Fv8I+
'",
#2!C!/2+ D4'#Y)"#2 8I+
6 "A'FM
6)) 
''G$.)
$
MZ=  2vD48-)
_GX)R){Z*

B
MZ=(#2 2DE
#VY#8Z*82$7{W" `2  K-R%
2'{)
)o'G Z* ^
#'Z›Y XA'#
#<2+ D4 #+)jj'\%&'
D4 #+),%$' #2 
% $ #2'K)
M2DE
#3#D4 K!")
  #+)
 Z*
' )
)
2 B8
#$LG)MZ 2<$
AvE&#2J#:)
v#YD&B,!  #$$4
j%&VA #o7vŽ '\D4% ./
#:)
v8!*›Y #
#„.
2+ D4'#Y)_Z8#(#2L
#$*D4')
Y2 7-;`#J')Ki7Kw †z Z  2L%
`2'* Z= L%$ 
#E)
 7 
„2DE
#„7"

=Z= 2
#2k”,
#
=#2už# 1w ŸXzE)
4D48 M%&'  #+)vA+8@ #)E 6)L
#n$+Y2n XABG$:% 

#?
#'J#) K)

 F''G$1#2 D X)
)'D™!C8I+ #'F~): X) %$ M#2')
17 
2DE
#W4
#k›XA #
#u#2~)
'E
)
 XABG$4!=)

6 #$$4D4Y2'  .oj)
'F:
X    
 '3%$ K)
`2)
47 
^2DE
#1)
)M
#:›XA #
`#o7=PN#
)M)
 #+)
'\%&'
D4 #+)G& % 7-’6)
$
LR)GV4
R#) =B\%&B
D4'#Y) .Z*!U#2O%%8\
DEX) 6FO†Yx. ||| W O%$'
)4'#l)')O #$$MD4Y2 /!U›Y XA'#
#:#2Z= 24#) #2'_)
 7 
/2DE
#o.:y  0!o)
 Dœ&
#$M'`
6(82#)R
#

8A)
:¤Q) ¥ED4Y2 „)4 D4%v$A
#l)8.&ZM8#Jl)
p ›XA #
#o7"›
D4
`X6F+.+)!/)
†|. |||O›Y XA'#
#E2+ D4 #+)
)
 OD48  #2~8 `X)4!GX)4) Z*

G
<Z=422<#'Z Zj!C#2„.y y 0œ!p)
 DœZB#)K#2BR)
7 
^2DE
#„7
+8 FOZ=G2R#2)
2
l)
)
#L!/)
*ZG2_Z=
X ’#)
'=Z8FE!^  '')
#$O›XA #
`#E %=Z= 2L&K)
'G Z*^„)
%$ *l)G)
#$v!CDr)
j‹'$
# ;=#+)
'
 ›Y XA'#
M ) $FL


# =
+1‚i=)
, ) $FL!o)
K #@ w ŒXzv–<7,

$'#Y)
i.Ž=7;=+')0  .&›/7}o8ZR'# .;7}-7”,
  .&#2
)F4Z*
')
, #$$
%&VA #…B7-

R#,Z= 2L#)& –<7&”,
T7Ž+ 821'G Z*
#$4
#$O #+)'\Y)*$G%
 7PQ#
  G) & 8  =
+O2+ K#)
8A#1'\
l)
Aj
l),! ,18g 
+g B+e &fgihT:a &f   :a OOBe 2+Ka /2"Be &of3e  
›Y #
#~ ~
6) 
#<$ #BG_#2:!= ~%$ 
#W›XA'@ fgH$f #fc B5c 426 7 ,---.%$ ,˜yŸ '˜K† .o;
6.t-$F%)8.
#
#u
#u%X)
' 87~‘,8Z= A'8.-3 D
#82%%G
o.pZ*
' x8| 'x ›'%) Dv&'*y|||Y7
)
R '#Y)^D4')
Y2M
"82M)j+8X)* 82%$'"!C='G Z*' w Ÿ8z ‹M7”,
#
o#21‹M7ž#  7}o8X#
#$OD4#
#$
D4
$
Y)*&
#+)' l)
#$)O #
2'87 `#$$ D4Y2 &!CDqD)

#$&)'\Y)K2)G7PN#
£,#"%D4

#$*6)'#X)
-Z=-'D4%X82j^%%AG
jZ*
6)
RelOa 1b
h $cv'a j8g "8,
h 8g 
+g B+e &fgihTKa &Kf   Ka OB1e 2+:a 
Zj
#$4)
M
6)@H
#3!U#')
#
6)NFJ!=+V
#$%?¤N
D4
`X¥ +O a+e 4fgihTKa ~Kf b 9 a P:b    :f &:f   g ;  <9 
Z= @H%$'M)
) D44 G
 #$
# M%XY
24#2v
XZ*# ,---=8.&y|||7

#›'')
5 # 7 yY.R%%AG
4)%&'!UD482O)

6)'#X)
7 w z ‹M7”,
#
i.‹ 7ž#  .&#2L7&–1 2 #?
> 7&>=
 2
#$
D4
#
6)NFO`#$$ %&G+F48#
#$)M$ #'G)Z 
8G
JI+'
  7{ G
#
8o‹ %&)K{ G
#
 „‹ %&)
6. CONCLUSIONS
 ,
Xj% '#Y) 2MlFl)'Dœ!UK)DE)
8 6F$ #'G)
#$
W ;R–
@N;’,}„,@Q|x'@x ||.&;# $
v–1  #
,#
A'
6)NF+.
W M8G
OI+B
'^),
`2M'%^!U=KD4
#
6)QF #$$ ;= #+)'*!U’K)DEX)82L}o8X#
#$E#2,
''F+.y||Yx7
#2
8Z=82,)
X)^+F,
#$KRX
B)NFj!Y)'D[' '')
#MD4')
Y2 w •XzMt*7”,'8.&”v7Ž^ VA.›/7}{ ZR # .ˆ"7 3p7>=
6D4
#$
D3.
#2 I+'Fj '#$)
 .XZ= #M$ #'G)=IY'
 o)
){%&'!UD‰Z  ’M7 j$'8.&;7}-7”,
 ' .&#2"7 3^ ##+GV/7PND4%X
#$
X)4   B)
#$<'%&G:!UO%& 
6(1 #$$  7PN#k%X)
' 8. 8) $F%& 
6(Z= 18XB
1YFL8X#
#$EI+BF
Z=E
8Z)
)M  ')
#$:)BD4   G2
#$J)1)

63a8bbcGdHelfgihTa D4Y2
6(8X)
# 7PN#  : M!ac
h  Ka @ !$!2 %h fgihT:a c Kf bE8g  
' =Z=VY_Z= !U 'G& #$$'R#24,Z*
`2
')QFO! +g B+e  BAg 4   <8%^.›#1j
 $./;’ .ž#YXF 'xXy4y||Yx7

#
)
/2+ D4 #+)_RVA'FYZG2-%%
824YFv)
K'_ 6)=
# w6x8|XzM’M7‹M7”, 2
#$E#27‹K)
o7’9Z*
##8ZR@H 2

D4
 %&'!UDE# 7 %%AB
1) #+)'\Y)@H #
6)
Aj%&' 
#$4' ')
#o7
£,_%%AB
!C)DE)
*I+'FY@H$'#'GX)
#O
_'!U!C  $f +Y
h 2B f+e 8h .&:† ‚lxB@N†… x8|AŸ 'x †|."x •••Y7
#+F“%%
8)
#9Z*
':ZWW~)
 29uABF“ '@ w6xxBz 7‘,
#'#2>7&;_!C)87‹  # j!U'82GV#2
GX).")M'\%& #
A4  
('87JE8#W)
'#4)
4 G

#!U''# #')NZ=VY 7PQ# # eOa +1b
h cv'a j8g "  Dh Cg 18g 
'#$
#<1<
D4%'(6)'
#$D4 G
#
D3.R
#$
#$u
#n#6F G""f ++g B+e &fgihiKa &f + E !<
 Ka OOBe 2+Ka 
)
2+ D4 #+),
VA 6FJ)X)
l!CF~  
6(B8.o)
Y8
#$
GBc fe +~Kf &b Ka !" 5g_
h F+O'ae OfgihTKa @
BgieB%h f  .
4)
3'\%& #3!##
#$<)
3  
6(B1#n,2+ D4 #+) x8••†7
B)
'A82+F4)
j'G Z*'87_
VY
#2=!p

$
@H%'

#1  
@ w6xXy8zMŽ=7ž'
# V&7  gHfgihUcgi%h f   B8g a8bc  ae  ! ++G
G5a KhUgihiKa 7
('{Z*

G
Z 2v& #'()o!CD[)

p%%G
v
#' 2-lFl) D4 –1Pl 3"' .{x8•••Y7
Z*
6)
L%X' .lFl)'D4_Z*

G
4!U')G
ED4*Z @Q%$ =)v2 
2 w6x8†Xzv–<7}„
&BDE#3#2J;7;=
'
i7&
'8)
#o.&2
l)
)
#
#)
R'`
6(8X)
#L!C_j$
A'#Z @H%$*#2lFl) D4pZ*

B
#2L!p
#$
l)
M2X)G7PN# # eOa +1b
h $cM'a  8g  BH_hUeGcg

#YA O'j
#%)j)
YjDEV
#$M%%G
%%
84
# +g B+e &fgihT:a &f   :a OOBe 2+Ka G{:f K:f  I
Bc':a 'e +BcMKf &b

*'!Co#21
D4%&)G#+)KX8 7 0Jf  fgihiKa .ox8•• 7
w6x z 7&–1 2 #?
 > #21–<7/”&' #
V/7Ž8X)  B)
#3!U
#Y`#  2  2
l)
)
#J#2#
A8FA  7PN#
Acknowledgments

M)
RZBM%%&)82
#3%)K+FL)
/,›Žu}oP›1”G#+) RelOa 1b
h $cv'a j8g "1X8g F+g B+e &fgihTKa &Kf   Ka OB1e 2+:a 
‹t_;_@N•Ÿy|†AŸ 7  $f +Y
h 2B f+e 8h K;L  /MMN=8.{x •••Y7
w6xX˜8zMž7‹K ##
#23’M7–1X; D37

#$
#!C 'D4 #+)
  #
#$O)%
2'*)
,Z= 3'54'
'#Y)6F+7PN@ # RelOa 1b
h $cM'a 
7.wxBzREFERENCES
7>='F+.–<7”,
#
i.‹ 7” ./tR7 @H‘M7›&7‘,#„. 8g "1X8g F+g B+e &fgihTKa &Kf   Ka OB1e 2+:a   $f +Y
h 2
O7‘jl)
#$ .”v7 F%
 . v7DE8.>7–1
'8.#2  fe 
h .ox8•••7
w6x8ŒX z 3p7‹K #
V&7–1
#
#$O)
Z 1!CK

#$„)'\Y)87PN#
*3
ž7&–1+87,+ D4 #+)R ) $
08)
#<#2IY'F
$'#'GX)
#J#L)
jZ 2Z*
2jZ'3
#$vZ  7  RelOa 1b
h $cv'a PO:Q8g 
G""f   1Bgi
h L'a 8g ",cc'Oa 'hifgihTKa 

8 h " .ox †‚H˜…B7 'a   Ka M!YgHfgihiKa &f +"
h $KhCcGgih 'cG.–3F #2„.ox8•••7
w y8z 3^7>-XZ*#„./›&7v73"
')G.3v77"3-
')GY.&#2‹ 7&–1B '87 w6xXŸ8zv›/7‹&')#1#G 2 O7›Y%XBVLž#  7‹  # 

DEX)
 DEX)
 R!pl)GX)
l)
 ^DEB

#,)G# )
#„7 Z
$
+)
#$4!p8XB
1)BD4 S7 RY:a +e &Kf p'a j8g "G BeBh G:f 
 Ka -!YgHfgihTKa f "8h KYhUcgi%h 'c.ox •‚Hy…B.{x8••†Y7  Oa 'h Bg - aTe +O a+e 4fgihTKa   'h +B./yŸ xXy• 'x AŒ.px •AŸŒ7
w †Xz ž7&; #o.&–<7&;=## T.#23’M7j„7’K)DE)
 w6x zMž7ž7‹K+ B

.ž87‹K  #',!U  2BVL
#1
#!CDEX)
#
2
 XABF1!p #$$ D4Y2 R!U*)'\Y)K2)G  7PQ# ')
 i7PQ#J”v7/›6)#„. 2
6)8!. % "  4feGUg
BgieGh f 
eOa +1b
h cv'a j8g "   ! +g Be fgihTKa f   cGg  WVJ0!C! BeG
h gic
h FGYgHKa Ofgi%h  Oa * g
 Ka OB1e vKa   Kf &"f   5gR'a  fgHf.%$  +Ÿ• '$A•|Y. RelOa Bcc
h $.&%$ K†x † '+†Ay†Y(7 3"'#Y)
 ‘,i.{x •AŸYx7
3"

 2' %

.ox8•••7&’;R–<7 w6x8•Xzv”v7# ,,+G2/7o'\Y)8)87
w zjˆ7>7;XY##23ž7–<7o'#VY"7 ,K@H$GDO@H82E)'\Y)
Y))(%  ]]Y287 ')87 $7 #`]##+G2]{'\Y)B;)B]+7
8X) $
0 )
#„7/PN# # eOa +1b
h $cM'a 
% +hUe& b G" f  w y|XP z 7#$4#2ž7 3^ 2'#o7&’9 D4%GX)
jl)2YF#
 : M!acG8h * Ka  Oa * 'g G&f  chUc Kf b + a+e 4fgihT:a  !U8X)  ')
#J
#)'\Y)*8) $
08X)
#o7&PQ# # eOa +1b
h c

BgieBh Kf  .%$  x8ŒYx 'xXŸ˜+./}{ 3- $ . , 3v./xx'@x8†4’K%
 'a j8g "NQ8g 
+g B+e &fgihTKa &Kf   Ka OB1e 2+:a   $f +Y
h 2
x8•K• 7  fe 
h K;A  XMY?=8.ox8••ŸY7
z (^7&;=
 #o. *v7–1 #$.>+7 (&
Yo.#2‹ 7‘v7Ž8Z*'87W 

w ˜8)
ŽDr#@H
#8X#
#$)vZ 3 G
o7PN# # eOa +1b
h $cFa 
8g "),---&+g B+e &fgihT:a &f   :a OOBe 2+vKa /.#
+O'ae OfgihTKa   cg   c 0C8h  1BeB8h ./y|||7