ILPbook

!#"%$'&)()*,+.-/"10324()57698)8;:<*,$2>=*,?@(A0
BCEDCGFHCJILKMCOP N CRQ>DTSLCUVMN WYX Z\N [ K WVM]1^
_\`bca degfih dekjmlon,lpqhsrthsuRh d

vRw uExby w jmlbjEzbfRy `|{ dMlr}j
~%|OJH1sO|||k|/A%U\< 'k.s|
}¡%M¡Os¢R|k¡s|A¡£|g¤k¥¡|okk|OO¦¡£§¡£|sM¡£|k
¨qskgk<¢tk|¤g¡£|%J§s1¢tO©
ªiq«£|¤4 ¬ s|)J¯®@° ¬ kk±
²,³J´sµ¶<·¹¸»ºs¼>½i¾£¿s¸±¶>ÀUÁ£¾£¿sÁkÂsÃ@Ã@¸»³¿Ä ÅJ¼Æ¶ÆÇ³¸¹Èµ¼ÆÉÂs³J´ËÊUÌÌJÍÎ¸±¶£Âs·¹¸±¾ ³MÉ<
1U\¯<#'k¯Ïs|
Contents

I Introduction to ILP 1

"!" # $
¦ |||¤<¡£¦«g¤|¤M¡Lqsk||¥ g %
'&)(1s¤Æ¥k||/|O|¥ g +*
% ªis|¥s¥| s)gg
|||¤<¡£¦«g¥¤>|k¥£-,.H
, |¥ g +%
'/ 0H
, J¢t¤<¡O ¡Æ gg /
1)L
2 ||¤q ¡£|1s¢R ªi¨ g 3
45
"!" 6 87#9 :<;"9=>=> 9 4$
&¦ ªÏ¥¤>|k¥£-,.,H|¥@s|A|||¤<¡£¦« ¡Æssk¡£?,H|¥s &-%
& '& @,H|k¤qsJ ªi¨3ggA&-B
& % ¡££s¤<¡£¦«g ªi¨ ggCM%
& ¡£k|¤<¡£|k|¥@¡£|gJs¡£|kks¤gC%%
$ED FG : H IJ :K!IF $L
M% ¦NM|£s ° ¡£ ¡£¤Æ||PO| gC%
M% ¦¦ O Q ¡£¦«qs¡O¥|£sÏ¥|£s ° ¡£ *
M% ¦'& «kk4kkM¡£Yg %
M% ¦ % 2 ||¦¢»|¥@¢t£-H , <UkH¢tO¥|£s ° ¡£ B
M% '& J¤ s ° ¡£H¡£¤Æ||PO | gA/-%
M% '& ¦ ~ IR |O/kqsk¤Æ)s¢RkTS |H , ¡L¥£s||UA/-%
M% '& '& 2 ||¦¢»|¥@¢t£-H , <UkH¢tOkJ¤ s ° ¡£ A/3
U

II Empirical ILP 65
I + # I= ; # :7 H FF I=>F
|¦5L 2 /««<s¢> ª gC13
|'& L 2 /««<s¢@ M ªi gA3
| %)L 2 /««<s¢ ( > 2 ª gA3-1
| L¡£|OH , |k¤qsJ ªi¨¡£H
, §gA33
EH "!$#$%&# FG 9 G (' ! )? 7:!87# F H
= +* ,
/ ¦5L 2 /M¡£|>s¢ ¡£|ªÏ .->§«k ,H¡gCBM
/ '& 1 2 ¡k¡£k|M¡£ }R «ss|>qsk||¥ gCBs
/ '& ¦ L 2 /0/|-H , |qsk||¥@|k|, gCsB
/ '& '& 2 | ~"> 2 ~ gCB/
/ '& % L1 g M 9ggCBB
/ '& 21 & ggo%
/ 3 % -k|¥ s¤Æ¥k||)|O|¥gAqsk||¥ o/
/ M% ¦ -k|¥ s¤Æ¥k||)|O|¥
/ ¡k¡£k|M¡£ }R «ss|>qsk||¥ go/
/ M% '& ~ £s|¢t?H , |¥@ ªi¨|k|H , 1¡£ |kJk¦¡£sJ¢t?, 3
/ ~%|ªÏ .->As¥k¦¡£ , go
/ |¦ ¨k R |k¤kk|¥Hs¢ ¡££s||¥@0/|-H , |Ï+**
/ |'& ¨ ¡ R |k¤kk|¥ gÏ+*&
/ | % L 2 /0/|-H , |k|/s¢EªÏ .->3gÏ+*%
/ | ªis|¥s¥| s%/ªÏ .->3gÏ+*/
/ '/ ~%|g¤H , |0/M¦¡ .s¢Rqsk||¥@¤|¡££s|)®L® ( ¤ s|k%Ï+*B
/ 1 1 qss||¥ ¡£|g s|¥s¥>| sggÏ
/ M1 ¦ ~%|54#R |<¡£?H , s¤<§| sAgÏ
/ M1 '& L 2 /0/|-H , ||<¡£?H , ¡£|TS |¦¡£ Ï+%
/ '3 ªÏqsk||¥@|<¡£?H , ¡£¤ s|kOO¦¡£/®> .-> Ïq
/ '3 ¦ ªÏqsk||¥ |IR k¤|kk¦«g|<¡£?H , ¡£g®® ( ¤ s|k /
/ '3 '& ªÏqsk||¥ k¤|kk¦«|<¡£?H , ¡£g®® ( ¤ s|k Ï&-*
76 ;@ := F 7# 9 I7# # F J H "!$#$% I4$
1M¦ 8/MJkPH , ¡Æs\k<¡£| gÏ&-%
1M'& ªÏqsk||¥Ë¢¹-H , ¦ k ¡£|k||'gÏ&
1M % ªÏqsk||¥Ë¡£|g¤|¤M¡Ls¢Es)sk¤Æ gÏ&-1
1M ªÏqsk||¥@k|%¡£ ¡O¥«k)¤qsk/kO ||¤ Ïs&

1M'/ ªÏqsk||¥@¥sJ¤Æ|kL||¥-,HJk¦¡£| Ï+%%
H F.F J I= 9 ; J"F I$
3¦ ªi¨ s%kqsk¤Æ)s¢R|k¥£-, ¤ s|k gÏ+%3
3 '& ®>TS||¥ kTS|,H¡¥£s||§gÏ+%
3 %)2 / AkTS|,H¡J£ ¡£4gÏq*
3 O Q TS |H , ¡J£ ¡£k%¢t > ª s|)ªÏ .-> Ïq|
3 |¦ O Q TS |H, ¡J£ ¡£1¢t > ª gÏq|
3 |'& O Q TS |H, ¡J£ ¡£1¢tOªÏ .-> Ïq
3 '3 / 2U¡£Os¢Rkqsk¤Æ||¥HkTS |H , ¡L¥£s|| gÏq3
3 1 2UH , sk|¥ > ª s|)ªÏ .-> gÏq

III Handling Imperfect Data in ILP 151
,
"7: 9> := ;@I
H $
MB ¦ ~bJs¢RPH , J¢t¤<¡O ¡Æ gÏ/-%
MB '& Ls|||¥ H , kk|¥Ë«ss| gÏ//
MB % Ls|||¥@|k/ ¡k¡£k|M¡£ }R «ss|>qsk||¥ Ï/-1
MB Ls|||¥@|kA ªi¨ gÏ/-B
MB '/ |k¡£¤1¢t%|k R s|||¥@AH , |k¤qsJ ªi¨ Ï+1&
MB 1 ¨ks|¦¡ H¡£P, ¡£gÏ+1/
MB '3 |k¡£¤O ¡%Uk/ggÏ+13
MB '3 ¦ ~%|¡££s||¥@k<¡Ls|/¦¡£%s¡£¦¡£|Ï+13
MB '3 '& qsk¤Æ/||k¡£¤ ¡%UkgÏ+1B
L => H & 6
" 9 :F J
"7: 9> H
) $
M¦ qsk¤Æ/ks¤/ggÏ3-%

M'& qsk¤Æ/||k¡£¤ ggÏ3-1

M %qsk¤Æ/¡££ ¡£¥sAs|/¡£|||¥ ¤k¦¡£k gÏ3-B
M 0 ,H| ,H¡Æ ¡£.|<¡Æs gÏ3s

6 ;@ := F 7# 9 I7# # F = :F

= ; 7#IF , $
+M* ¦ ¡£k||¤|¥ |k§¡£|g0/|-,H| gÏ+Bs
+M* '& 8/MJkPH, ¡£%O¦¡£/ªÏ .->AgÏ+B/
+M* % 8/MJkPH, ¡£%O¦¡£ , > ª gÏ+B

IV Applications of ILP 197

H 9>!"7#IF 7
" # 9 FG :F JI!"= :

" :FFIF ILL
¦ ®> s¥|¡£¤L|k|, s|A0/MJkP,H¡ÆsÏ ¡Æ &-**
'& /|¤qs\s¤Æ¥k||)|O|¥ g &-**
% 8/MJkPH , ¡£s|/kk|¦¡£ g &-*%
M% ¦ªÏqsk||¥@¢tkY, ¡£|g¡£k¡££s||¥Ëk<¡ &-*/
M% '& /|¤qsÏ<«ss ¡£.s¢E| s¥|¡£¤>k|. &-*1
M% % ¨ ¢t?, s|¤gA||k;0/|-H , | & +*
®>k¤|kk gg & q
I4 I7#I= = IFGJ
IFG #9 4
&¦ ~%| S |¦¡£g,H¡ ,H<¡£|Tg &3
& ' & ~%|gqsk||¥@|k|, g &
& % 8/MJkPH , ¡Æs\k<¡£| g &&
& O Q k|¦¡£s|A|k¤|kk g &&-%
I$8H 9 K!7: 6 =
I7:F
=> : FF I=>F 44
+M% ¦ s¦¡Æ ¡£¦« ,H||¥ g &&-B
+M% ¦¦ ~%| 9¢t?, s?, g &&-B
+M% ¦'& ~%|- R}¡£|Jg¡£, g &&s
+M% ¦ % ?Ë , | ¡£|¥ 9A¥¤/g &-%M
+M% '& L 2 /0/MJkPH , ¡OAqsk||¥ O s¦¡Æ ¡£¦« H
, |U &-%%
+M% '& ¦8/MJkPH , ¡Æs\k<¡£|g &-s%
+M% '& '& OQ k|¦¡£>gg &-%1
+M% '& % 2UH, skk.O¦¡£/s¡£|% ªi¨¡£H , L &-%B
+M% % O Q ¡£§Uk gg &-%
+M% ®>k¤|kk gg & *
q| ¦J ¨ kH| ¤<¡£ |;"¥ ; |7:k :s¡£ #A kF ¤|sA¡£k|¤<¡£|k
4 $
& %
q|'& /||¥@¡£k|¤<¡£|kMs¤<¡£¦«¦¡ §k ¡£|k|| & 3
q | % ªÏqsk||¥@| s¥|¡£¤k|1¢tk, Os¦¡Æ ¡£¦« ,H|9 &/&
q| %M¦ ~%| 2 Q®> ,H<¡£||¥s g &/-%
q| %M'&GªÏqsk||¥@¡£,HJ£sm| s¥|¡£¤>k| &/3
q | ®>k¤|kk gg &-1&

.
D (' 7: #9 ; J 4 $

4 ,

Foreword
~ |1JH1sJM¡%|||¤<¡£¦«>¥¤|k¥£-,.,H|¥ ªi¨,O|¤ÆA1Ë|<
%
¡£¤Æ||¥sË¤,Ë|||¥|k|¤|Es¢J|||¤<¡£¦« , s¤Æ||1qsk||¥>O¦¡£@¡£|
k|kk¡Æ ¡£s¢'¥¤g|k¥£- ,.,H|¥|~%|@|<¡£¤Æ||¥s;sP ,HL ¡>I R
||¤|¥>¥|£sMk|E¡Æs¡£|¥¢tk ,kJ¤ S¤1|k«s ¡£|Es|@s¤Æ¥k||
|O|¥s
ªÏ<¡ ,HA0 /M| s O|||¤<¡£¦«A¥¤.|k¥£- ,.,H|¥; ¤|kk¡£¦ k R
¥sk|Ts | s¢ ¡£| ,H¡ P ,HJ¡Æs¡ k¤¡ |<« ,H¡
, s¤Æ||)qsk||¥ kkqsk¤Æ\ ,4 «<gO ªi¨ ªi¨ '± s¦O ªi¨G
¡£|g¡£kk¤<¡£/s¢R¡£¤Æ||P O|>s|/¡£k¡£O/|||¤<¡£/s|/¥¤>|k R
¥£- ,.,H|¥|~%| , ss§|||¤<¡£¦«¥¤/|k¥£- ,.,H|¥ ,Hk;JU¢t|
¡£s ¡££s|¦¡£sR¡£¤Æ||P O|4¡£ ¡4qsk ¢tk ,90 /|- ,H|R- ,H¦i|||¤ R
¡£¦«H¥¤@|k¥£- ,.,H|¥.|kËs 0 /M|kkk¦« Sk¡ R k|¥¤Ë¢t£- ,H<Uk
|¡£qsHs¢J¡£|O¡££s|¦¡£s| ¡k¡£k|M¡£ R}«ss|U¢t£- ,H<Uk¯s| ¢¹s¤¦¡Æ ¡£R¡£|
|k;s¢gs¤Æ¥k|| |O|¥s~%|8 Sk¡.J¡. P ,HJ¡Æs¡ J¤qs|k
, s.| , s|%s¢R0 /MJ¡£kg¤qs||s¡J>¢t? ,Ë| ¡£AAs) ¡k¡£k|M¡£ R}«ss|
¢t£- ,H<Uk¯ ~%|Ak¤|J¡ sk k¥| S¤qs¡ J¤qs|k/s¤Æ¥k||
|O|¥ /¡£|s< ¡£ k|¤¤k o|qsk¦ s4s||¤q ¡£|As¢ s¡£ S R
¤ sb¡£¥|¤s 21¡4¡£| £- ,HH¡£P ,Hs |||¤<¡£¦« ¥¤ |k¥£- ,.,H|¥As
k ,G¢t1Js¡£ ¡£|§s|.|£s¤<¡£¤s |||¤<¡£¦«¥¤|k¥£- ,.,H|¥s%
¡£k|¥L¡£|k<¡£¤qsskEsE¦¡R||k¦¡£ , skk|¦¡£R¢tk , ¥¤b|k¥£- , R
,H|¥Os|¤ ,H|M¡Æ ¡£sqsk||¥1¡£|s|4ssM¡£ s|¤¡£|i¡£
ssM¡ ¡£|k%¡£¢t| S¡£|O||bs¢\|< |k¤||s |||¤<¡£¦«O¥¤1|k R
¥£- ,.,H|¥ s>skH«)P ,H|kkk¦«Ës||¤q ¡£|O)k¤¡£ S¤4|k¤«
|O|¥)¡£|kAs|¥¤§|k¥£- ,.,H|¥|~ > ,H¡£sP ,HJ R
¡Æs¡s¤Æ|<« ,H¡q©L¡£|| /|¥¥<¡£)sLk¤¡£¦)|k||¤
|k|¥
¥|£sm||kJk|||¤<¡£¦«>¥¤|k¥£- ,.,H|¥¡£ ,H |< k¤¡£ S¤
|O|¥ |k|¥A|k¥ s| |ks¡£ |¥|k|¥|mO|¤Æ >| ||IR
k|;;k¤¡£ S¤k|ks |¥ <¡Ls±1 & /|¥¥<¡£A<¡Ls±1 &s±

~ |%sM¡£|k s¢|¡£|RJ¯sLs>ªiq«£|¤1¬ s|@Mk¬ ®@° ¬ kk±sk ,H, R
%
Jk/s¢4¡£| 2L §ªisJ£ ¡£ s¢4¡£|s° ¬ <¢H¡£<¢¹s |¡£¦¡£M¡£ ª k|| £sM
«| 4|k¤<¡£ }«ss (U£ ¡£s| ~%|/ sJ£ ¡£s| ¦¡£ ,H,ËJk
q«s M¡£¡Æs|||¥k|M¡Æ ¡£ .s||¦|¥Js¡£. , s¤Æ||qsk||¥4s|
¥¤4|k¥£- ,.,H|¥ ¡£§kqs R ¦¢t|O|¥@|¥|k|¥§|k| ,HLs
ªiq«£|¤'¬ sRskqsM¤ R sM¡£|k4JiJs¡£4skqs©EÀUÁ£¾ Í¾£¿·»ÇÁ£¾ µ¿
Ç
ÂsÃLÌJÍ¼ÆÉqÄÊ ÀUÁkÂ¶<·¹¸±¶£ÂsÍÀUÁ£¾£¿sÁkÂsÃ@Ã@¸»³ ¿ 1µ¸¹´¼ ¥ |||sgs|ËLs
ªiq«£|¤s¬ |¥ , ¨kkJ BB Es| > Ê L² OÄ
Ê ¯·¹µ|´ 4¸»
³ Ë¼Æ¼ Ì)Âs³J ´ 1µ|ÂsÍÎ¸
·}Âs·¹¸»ºs¼ ³m¾ !%Í¼£´¿#¼ "q¾ $
Á <Ì¼<Á,%· &É<· ¼<Ã4É Ë }«ss. (U£ ¡£s| ¥ / ° <¡£}¤O¬ s|
Ls)ªiq«£|¤s¬ R~%| / ~ ¨kk1 B ,. }¡4g¡£|k<¢tk |)k|k|kk ¡£ ¡
Ls;ªiq«£|¤s¬ E| O¦¡£ Mk¬ ®@° ¬ kk±E¤ ,Ë||4|4¡ U¡£k¡£Ë
¡£|%J¯
~ |ËJAOk¦¡k¡£)¢tk,3s;|¥|k|¥.JkkJ¤<¡£¦«4O¦¡£s||¤qR
%
¡£|Ï,H|\i ||\ ¢»¡£ s¡£k||¤<¡£¡£s|4Ok|«<s¢||||¤<¡£¦«
¥¤%|k¥£- ,.,H|¥> ¨Rs¡U Æ¡£|LsM¡£|kb¢t¤|' ¡£| ,H|k¤qs|k<¡k¡£|¥
¢tH|||¤<¡£¦«)¥¤A|k¥£- ,.,H|¥ ¨Rs¡. k Æ'~%|; ,H|k¤qs%k<¡k¡£|¥
¤|kk¡£¦ ¡£|L|LJ¡1k|¦¡£ ¢tUs||¤q ¡£|bsU¦¡1sP ,H' ¡U¡£|k ° |¥
|O|¥ ¢tk ,9Js¡£¡£ s¦ sk¥ k<¡£Ës¢%|k«s ¡£|/ ¡£|4k¤|
s¡q%¡£| sM¡£|k.|kk¡§¡£|8 Sk¡§P ,HJ¡Æs¡ ¤¡£k|M¡£\©¡£||q
¡£ ¡'|||¤<¡£¦«O¥¤U|k¥£- ,.,H|¥>¤qsHJ|T S|¡'¢tk , ¡£|%U R |||k¡£
¡££s|¦¡£s|||¤<¡£Ë¡£¤Æ||P O|bk|¤Æ.sE¡£I R |O |||¤<¡£@s¢J|¤k
¡£k@~%|g|q ¢t? ,H>¡£| sks¢'¡£|@¡£ , ªÏ . -> s| ¦¡£0 /¡£I R
k)®> . -> 1O|¤Æ)||k¦¡£%¦¡£O( 'H¤|¤<A¢tk ,¡£|g¡££s|¦¡£s\qsk||¥
s¥k¦¡£ ,H4~%|H( 'H¤|¤< s¢1ªÏ . -> >« k<«ss¡qi|s¡|¦)¡£A¡£|
|kks|M¡Esk%¡£O¤ ,H|M¡Æ ¡£sqsk||¥1¡£|R ||\s¦¡Ï1s k¤¡£¦
|k¤«k/¡£ ¡k ,Hs¢ ¡£|skk ,HM¡£|Os¢EªÏ . ->* )s®> .
->Ask¤k¦
k ¡£4¡£L¡£|1¤ skEs¢¯J¦| ,H s¦Lqsks|U|k|¤q ¡£E4¤ ,H|M¡Æ ¡£
qsk||¥¡£| ¨ 2 2 R qsks|¦¡ ," 2L|s¡£|Uk¥| S¤qs¡'¤¡£k|M¡£ s¢
ªÏ . ->;>¡£ ¡g¦¡L¡£| Sk¡|||¤<¡£¦«@¥¤4|k¥£- ,.,H|¥ ¡£ , s|
¡£.s||Ë ,Hk¤qs ¡ÆM ¨Rs¡ k k ÆJ¡£|@sM¡£|kL¡Æs¤Æ@s|s¡£|>s<
|k| , O|o||¥ kqs R ¦¢ts||¤q ¡£|© P ,HJ¢t¤<¡/ ¡ÆM~ ¡£|
sP ,/b¡£|<«¡£¥ ¡£)s|<«ss ¡£/|< ||k¡£¤ ¢t |||¤<¡£¦«/¥¤
|k¥£- ,.,H|¥||s|/k| §¡£|%1qA¡£ ¡|||¤<¡£¦«¥¤>|k¥£- ,.,H|¥
kqsM¡£)s||HP ,HJ¢t¤<¡ ¡Æ/s| ¡£|k<¢tk.sk/kqs R ¦¢t@s||¤q R
¡£| QOqs R ¦¢tLs||¤q ¡£|1sk¡£|gk| k¤<¡Ls¢E¨Rs¡O, +Ë|O|¤Æ/¤¡Æs|
k ,HgP ,H|kkk¦«gkk|¦¡£ ,H|¤| ¡£|4q1skI R}O|||¥Hs||¤q ¡£§
k| , ¡£¥s ¡4¡£| ~%|k ¤qs||q« s 2UM¢tk|¤.> 2L¡£ S¤ s I R

¡£¥|¤si 2 2L R M,\ |¥|k|¥ S|¦¡£Ë,H¡ ,Hk |k¥ ,is|
Os¦¡Æ ¡£¦« ,H||¥|
(Uk| ¥¦«|¥ ¥ ¡£k||¤<¡£ ¡£ ¡£| Ss¢>|||¤<¡£¦«/¥¤
|k¥£- ,.,H|¥|b¡£| Jsk k|O.O ¡ |O|¥ H|¥|k.¤qs
s¤Æ|<«UO¦¡£¡£| |< ¡£¤Æ||¥s |¡£|? ,Hks ¦¡R qsk¦gkqss|Us|
s¤¤kk|s~%|k<¢tksM EJ<«L¦¡bOJs¢Ï¡£k¡U¡£ËgO|Ls|||¤s
|¤|||¥ ¥£s| ¡£Ukkqsk¤Æ|k§s||£s¤<¡£¦¡£|k s¢s¡£ S¤ sU¡£ R
¥|¤4s|/¤ ,H|M¡£%k¤|¤ As¡£¤| s¡£|k¡£k¡£/ , s¤Æ||
qsk||¥||O|¥L|¥|k|¥||O|¥L|k¤«HH ¡Æssk1s|
¥¤>|k¥£- ,.,H|¥|
¡ R02 , s||kJk¥| 2L|kE% ½Rµ¶ Ë

¼ %
Â¼£´s·

Preface
|||¤<¡£¦«1¥¤b|k¥£-,.,H|¥ ªiïRLkkqsk¤ÆHskqL ¡R¡£|U¡£kk¤<¡£

s¢ , s¤Æ||qsk||¥s| ¥¤%|k¥£-,.,H|¥|i }¡1sP,H' ¡Ug¢t?, sM¢t£-,H R
Uk.sUU\s1|£s¤<¡£¤qsms¥k¦¡£ ,H¢tU|||¤<¡£¦«>qsk||¥Ës¢ik ¡£s
|k¤kM¡£|¡£| ¢t? , s¢1¥¤@|k¥£- ,H k , ¥¤@|k¥£- ,.,H|¥|
ªi¨ sO||k¦¡£/¦¡£%k||/¡£|k<¡£¤qsÏsk¯s|/¢tk , , s¤Æ||gqskI R
|¥|s.0 /MJkP ,H¡Æsms||ks¤Æ§s|.k¡Æ ¡£ ¡£1sk|1|£s¤<¡£¤qsJs|| R
¤q ¡£| ªi¨)s skqsMk|O4¦¡£is||¤q ¡£>Js¡£¡£ s¡£|b¢tO|¥
skqs©/|O|¥)s¤ O|k¦¡£\b|||¤<¡£¦«A|k¥£- , ¡£|k%|||¤<¡£¦«
¡Æ@|¥|k|¥|s|/|O|¥g|k¤«/§ ¡Æssk
~%|RJgRsË¡£k||¤<¡£g¡£¡£|R0 /M¤¦¡£|¥L|< S4s¢kkqsk¤Æ\ }¡
k||;J4s¢b¡£k¡>¡£H¡£|4¢tO|¥ kqs|kk|\©O|O|¥Ë|¥|k
¤|¤k|O¦¡£/¡£|@sM¡£ , ¡£¤g¡£|ks¢|O|¥Ësk>¢t0 /MJ¡
¡£ ,H ks¢»¡ 1sk |¥|kLO|A¤||k- S|¡>¢tk ,3|||¤<¡£¦«Ë|k¥£- , R
,H|¥>¡£ kkqsk¤Æ|kU ¡£ , |<« ,H¡1s|H ¡Æssk ,H<¡£|| R
¥s¡£k¡£/§¡£¤Æ||P O|¢t%|O|¥g|k¤«AA ¡ÆsskLs|
|||¤<¡£¦« ¡Æ/|¥|k|¥ s|kkqsk¤Æ|k s| ¥£s| ¡£ ¡£||¡£@
s¡£ S¤ sO¡£¥|¤s , s¤Æ||;qsk||¥|%¥¤/|k¥£- ,.,H|¥|1ks¢»¡ 1sk
|¥|k|¥Hs|/ ¡Æssk ,H<¡£||¥s
2Lb ªi¨ bk ¡£¦«¦||¥ S\¡£|O ªi¨ ¦¡££ ¡£|k1¤|k¡£ , s|¦
s¢U¤M¢tk|¤ s|Ukk| |k¤||¥ 2GJ)¤¤<¡£;s¢UsJk
/|¥¥<¡£ &s±1¤«k|¥ ¡£|/O| Ss¢ ªi¨ bHsk q«ss s|s
s>Usg§J/¡£|;k<«k ;¡£|@¤¡£0 /¡s¢U¡££s¤<¡£¦«Ë ªi¨
®> QsM¡ & ± ¡££s¤<¡£¦«; ªi¨ U|)s¢¡£|/¡ U , kHk| S|.s¢
ªi¨ '¤k¦ k ¡£H¡£4|k¥£- ,G|||¥¥|¥Ës| ¡£|Hk<«kHO|k
? , sU ,ËJ@s¢L0 /|- ,H|@@q«ss s|s ~%|Ak¤| , kËk| S
s¢% ªi¨ ¤qs ,H|k¤qsE ªi¨ | s¤Ës ,H|sk ¡£| 0 /¡££s¤<¡£ s¢
k¥| sk¦¡£O¢tk ,T. sk¥4 ,ËJ>s¢'Jkk|¦/kk||0 /|- ,H|g~%|
k|k¦¡bs¢\ ,H|k¤qsM ªi¨ ,Ë|¤Æ ¤k¡£g¡£|0 /M¡£|¥k|¤¤k¢t|mqsk||¥
¡£ ,HÏs|)O¡£|k<¢tk ,Hkk|¦¡Æs|¢t|£s¤<¡£¤qs s||¤q ¡£|%¡£s
U
"
¡££s¤<¡£¦«> ªi¨ |~%|%JH0/¡£|k¦«¦§¤«kO,H|k¤qs¯ ªi¨ ¡£¤Æ||PO|
s|)s||¤q ¡£|
~%|JËb|¦«|H¡£¢t|bs¡£¨Rs¡U R'sH¡£k||¤<¡£@¡£g¡£|
Ss¢O ªi¨ R¨Rs¡@ k |k¤kJ@ |<¡Æs' ,H|k¤qs ªi¨¡£¤Æ||P O| s|
¡£ ,H¨Rs¡H k k 4@¤|¤k|O¦¡£ ¡£|A|k| , s¢>s|||¥P ,HJ R
¢t¤<¡ ¡Æ§ ªi¨ \O|kqs4¨Rs¡, +Y¥¦«s ««<Gs¢U ,H|k¤qs ªi¨
s||¤q ¡£|
¨Rs¡O b¤ ,H|kk 2UsM¡£k>¡£ %M 2UsM¡£>>¡£|¤Æ|O|J.¡£|>¡£I R
¤L¤«k/¡£|4J¯ 2UsM¡£ &H¡£k||¤¡£|4sk¤4¤|¤M¡£s|
¡£? ,H|¥sAs¢'¥¤4|k¥£- ,.,H|¥|J|||¤<¡£¦« ¡Æsskgs| |||¤<¡£¦«
¥¤@|k¥£- ,.,H|¥| ~%|.sk¤H¥|£s ° ¡£ s|kJ¤ s ° ¡£;¡£¤ÆI R
|P O|O|k)A ªi¨ sk|k¤kJ)$ 2UsM¡£ %M
2UsM¡£k§ ¡£ 3 ¤|¡£¦¡£M¡£¨Rs¡§ k Æ 2UsM¡£.¥¦«§s ««<
s¢'k<«£sb ,H|k¤qs ªi¨#¡£ ,HgO¦¡£ s ,H|sk > ª || s
* ±'O|¤Æ s J¡£|)sk ¢t. ,Ë|¤Æs¢| Uk¯#~%|)¤¡££s
¤ÆsM¡£Os¢ ¡£|1s¡q 2UsM¡£ /|¥¦«O@|<¡Æs§|k¤kM¡£As¢i¡£| ªi¨
¡£ , ªÏ . ->JM~%|U|¤||%4|k¤kM¡£ s¢Ï¡£|ªÏ . -> «k ,H¡q
¡£|O|kJk¦¡£s|qsk||¥¡£ ,H'|¤kJ£ ¡£H¡£ªÏ . ->J¡£|%¡££s| R
¢t? , ¡£;s¥k¦¡£ ,/m§kJ¤ S¤q ¡£s¢b¡£| Js¡£|kg s|¥s¥Ës|
¤ ,H|0 /M¦¡ ;ss¦kË }¡ggsk§k|O |GªÏ . ->¤qs J@0 /¡£|| ¡£
¥|£ ¡£ËJs¡£|kg ,Hk40 /M|kkk¦« Js¡£|k s|¥s¥s 2UsI R
¡£@ 1>|k¤kJk<«£s0 /MJkP ,H¡£EËqsk||¥>k ¡£|iO¦¡£ ªÏ . ->J
2UsM¡£ 3M¡£|>¢t£- ,H<Uk s¢ kT S| ,H¡¥£s||O1|kA¡£ ¤ ,Hsk>¡£|
Js¡£|k s|¥s¥Os|§¡£|gkqsk¤Æ)¤ ,H|0 /M¦¡ .s¢EªÏ . ->As|$ > ª
¨Rs¡H k k ¡Æs¡£ËO¦¡£ 2UsM¡£ BMbO|¤Æ Sk¡H|k¤kJ@¡£|§|k| ,
s¢@s|||¥P ,HJ¢t¤<¡/ ¡Æ ¡k¡£k|M¡£ R}«ss| s| ªi¨ ¡£ ,Hs|
¡£| ¥¦«@s ««<s¢O¡£¤Æ||P O|Hs| ||k¡£¤Ë|k s|||¥
P ,HJ¢t¤<¡ ¡ÆM 2UsM¡£LH|kk¡£L¡£| ªi¨ ¡£ , , > ª|O|¤Æ)I R
¤kJ£ ¡£'¡£¤Æ||P O|1¢t's|||¥P ,HJ¢t¤<¡U ¡Æg¢tk ,Y ¡k¡£k|M¡£ R}«ss|
¡£ ,H§¡£ ¡£| > ªo¢t£- ,H<Uk¯ }¡£. s|¥s¥/| s kqsk¤Æ ks¤
s| kqsk¤Æ| s ||k¡£¤ kqsk¤Æ ¡££ ¡£¥s s| ¡£|||¥/¤k¦¡£k Lsk
|k¤kJ/A|<¡Æs± 2LA0 /MJkP ,H¡ÆsÏ¤ ,Hskk§s¢EªÏ . ->J > ª s|
, > ª §¤Æ|k||¥- ,H@| , s)O¦¡£ s¡£ S¤ s¦§¡£k||¤ kkk
|k U§¡£|g0 /|- ,H|O , s|$ 2UsM¡£g+ *M
2L¦¡£||¥ 0 /MJkP ,H¡£97s¡£ S¤ s| , s| ||| ¤¡£k
- ,H|¡£s¢J|k%k<«qsP ,HJ¡Æs¡RJ¢t? , s|¤OskJ¤<¡£bs¢J ªi¨ ¡£ ,H
¡£|1|¦¡£P , ¡£E¡£¡ ¡£|Es||¤q ¡£¡£>kqs R ¦¢t|k| ,HE¨Rs¡E, + ¥¦«
"
|<¡Æs4|k¤kM¡£4s¢¡£|1s||¤q ¡£|is¢JªÏ .->4s| , > ª.¡£¡£|k
L
| k¡O|£s¤<¡£¤qs\qsk||¥Ë|k|,H 2U,Hskk|Oskgsk , s|LO¦¡£
> ª s| Mªi /|¥¥<¡£/s|$ |¥A *±5 2UsM¡£ËË|k¤kJ
¡£|@s||¤q ¡£As¢'ªÏ . ->/¡£H¡£|Ë|k| , s¢bqsk||¥Hk|¢t ,H|¤qs
| s¥|kiO|k.0 /|- ,H|Ës|kJ¤ s¡s¤Æ¥k|| |O|¥ Uk
|k«| ,H|¤qsR0 /MJ¡q 2UsM¡£ & ¤ ,Hsk¡£|@J¢t? , s|¤
s¢ , > ª > ªs|8 Mªi A¡£|¡Æsk§s¢E|||¤|¥ k|%¢tO|<¡£ R
,H||¥>¡£|Ls||k|k ¡£OkkM¡£Hs¢Ï S|¦¡£ ,H¡ ,Hk\ 2UsM¡£+ %
|k¤kJg¡£| |||¤<¡£ s¢ Os¦¡Æ ¡£¦« ,H|>¢tk ,T0 /|- ,H| Jq«k
s| |k¤kJ>¡£|Hs||¤q ¡£)s¢ , > ª ¡£.¡£|>|k| ,/ , s|¥§sk
¤ ,Hskk.¡£Hs¡£|O¡£ ,H Rs¦ 2UsM¡£qH¤|¤||%O¦¡£)s
««< s¢'k<«£sbs||¤q ¡£|s¢ Mªi ¡£§|¡££ ¡£g¡£|@Js¡£¡£ s
s¢R ªi¨¢t%|£s¤<¡£¤qsÏs||¤q ¡£|
Acknowledgements
~ |JË'kk|¦¡Us¢mk<«£s¯qskUs¢mkkqsk¤Æ\ /¡Us¢m¦¡b1s'|| ¡
%
¡£| 2L¡£ S¤ sJ ¡£¥|¤>ªisJ£ ¡£Hs¢i¡£|52U,H|M¡£O¤|¤g®>s¡ R
,H¡q s° ¬ <¢R¡£<¢¹s. |¡£¦¡£M¡£L.ª k|| £sM8 1 U|.sO¡£¡£s|H }«ss
(U£ ¡£s|i¡£| |qs s¢'¡£|. 2L¡£ S¤ sR ¡£¥|¤HªisJ£ ¡£\¢tg¥|||¥
|Ëkkqsk¤Æ¡£k¡£Ë¡£1sk| ¤Æs|¥|¥;kkqsk¤Æ ¡£|¤Ë 2L Æ >|
¡£s|>¥>skH¡£ )s £s ¬ J¥±J¡£|4|qss¢E¡£| 2U ,H|M¡£¤|¤
®>s¡ ,H¡qM¢t%|Ok||J¡||k|¥HsJ¡£|kgqsks¢Rkkqsk¤Æ\
>|Ekkqsk¤Æ 1sskHË¡£|U¡££s|¦¡£Ës¢¡£| 2L¡£ S¤ s ¡£¥|¤
ªisJ£ ¡£.§¡£|skqsOs¢ , s¤Æ||qsk||¥ s| Os¦¡Æ ¡£¦« ,H||¥|
~%| 2 Q®> |kk¤<¡ (U£ ¡£sH<¡Ls±1 Bs>J < ,Hs¡£¦«s ¡£)s|
;k|k¤As¢|qs4¢tË|ËUk¯ ~%|§kJ¤ s1||kJk§qsk||¥;¡£,
2 / ° <¡£}¤@ ¬ B3±sO|¤ÆË1s|k 2 Q®> ¢tRk¤|¡£k|¤<¡£|¥
Os¦¡Æ ¡£¦« ,H|Es¢'¡£|@|qs¡qÏ1sgsk ¡£|@|q§s¢b¡££s|¢t? , R
|¥ Hk ¡£/qsk||¥ |k| , ¡£ |kJk¦¡£sm¢t? ,/1~%|L|qHs
J ¢t|¡£|b|<«JH¡£g|¥|£s ªi¨ «k ,H¡b¤qs ªÏ . ->
ªiq«£|¤g ¬ <¡Ls±1M±E~%|Us||ks¤Æ.s'|k«| |bO¦¡£.gJkk|¦¡
¡£ |kË «ssk<¡ As¢qsk||¥ ¡£¤Æ||P O|m|¤|||. ¥ ,H¤Æs|? ,HO¢tOsI R
||¥@P ,HJ¢t¤<¡% ¡ÆM|<«J/A|kJk¦¡£sJqsk||¥@¡£ ,H (U R
k|E|k|¥>¡£|1|k R s|||¥O¡£¤Æ||P O|O¦¡£|¡£|OªÏ . ->¢t£- ,H<Uk¯
U§q«Ask;ssM¡£¡£| , ¢t4|k¤<¡Ë|k§|4 ªi¨ qsk| , > ª
®@° ¬ kk s| (U£ ¡£s/ &s±sA0 /¡£|k/s¢i¡£| > ª || s *
¡£ ,/%ªÏ . ->/s| , > ª ¡££s|k¤|)¡£|4s||ks¤Æ|Ls¢ 2/s|
"
> ª , s|¦gË¡£|%|k%s¢ ,Hk1k||¡£¤q ¡£ ,H¤Æs|?,HR¢tEs|||¥
P,HJ¢t¤<¡g ¡ÆM\O|¤Æ g| s¢'¡£| , s;¡£|¤s¢'¡£|gJ¯ 1 Hsk
¥£ ¡£<¢t|\¡£H ¥. / ° <¡£}¤ ¬ ¢t%|Ok||J¡L§¡£||<« ,H¡Ls¢EªÏ .->J
s|/¡£ (U£s 2U¡£|§O| ¤¡£k|M¡£)|0 /MJ¡£kËs|)sM«¤/¡£|
k¤<¡£As¢ ¡£|g|k R s|||¥ ,H¤Æs|? ,H%|k¤kJ/§¡£|%J¯
1 bOkg¡£O¡£s|g¨ <¡£8 R s¤Æ\ ¥ |||s|¡£|| /|¥¥<¡£\
~Rs£ -ksÏ¤¬ }¤g ¬ s|\§s¡£¤| sMªÏ|¤®> QsM¡%O|H¤¡£k|M¡£Ak¥ R
| S¤qs¡£¦.¡£ ¡£|%J.A|k«||¥H|M¢t|Ï¤ ,.,H¡£s|)sM«¤s 1
U|@¢t|¡£|sU¡£¡£s| )sks MkJ|s|H®>|£5 / s||}¤s¬ O|
¤¡£k|M¡£A¡£Ë¡£|g|<« ,H¡s¢EªÏ . ->§s|) + 2
) +5;.«kkAs¢
2| " ~ 2>~#|¤kJ£ ¡£ ¡£ËªÏ . ->JkkJ¤<¡£¦«¦ (Uk|| ¡£¥¤Os|
QOJ¡>~ £s||i¢tO¡£|Lk||J¡s|;¡£k¡/¡£|Uk QOk |I R
sg¢t , s|¥| > ª.¡£ , q«ss s|R¢t 0 /MJkP ,H¡Æs¤ ,Hskk|
/¤Æs (1s\R }«ss (U£ ¡£s|@ (U£s ®>¹£¬ s¯ +> s|P ,H¨k ¡Ës| QOk
|| s;¢t , s|¥.¡£|0 /MJkP ,H¡ÆsE ¡ÆAq«ss s| (U£s >kR¢t
|'~ >J¡£k|k§ ¡£||ks£ ¡£Hs¢\¡£|'J s| |'¤qs¥|
¡£|. 2L¡£ S¤ sE ¡£¥|¤ ªisJ£ ¡£;¢t¡£|g¤¡£k|M¡£|>¡£/¡£|
«<OO0 /M|kkk§¡£|%J¯
>|Ïkkqsk¤Æ4sÏJg¤¡£||k¦k||J¡£g>¡£|'«| s /I R
¡£s¢4¤|¤ s| ~ ¤Æ||¥s ~%|kkqsk¤Æ 1sAsks¡.s¢g¡£|
'M¨ QO ~ k (1sk¤ QOkqsk¤Æ< 2L¤<¡£H||@ %*/sg 2 ªi'Hs|H¡£|L'M¨ QO ~
k k (1sk¤ QOkqsk¤Æ@¨kk¤<¡R|| 1*&-*% |||¤<¡£¦«UªÏ¥¤b¨k¥£- ,.,H|¥|Ï~%|
«| s /|¡£As¢b¤|¤4s|)~ ¤Æ||¥sAk||J¡£LsHªiq«£|¤ ¬
||k|¥ |@¡£|k R0,H¡£ «k¦¡@¡£¡£| -|¦«kk¦¡ s¢L |4 ¡ -ks R
2U- ,Hs¥\ -ksM | A B/s| ¡£¡£| Mk¥ )sk -|¦« R
k¦¡ ¯s¢¹+ /m +>k¥| BBM~%| (U¥ sA¡Æ ¡£ R¤|¤¨ ¤< 'H¤
¥£s¡1s|§|%4k /R0,H¡£ ¡Æq§ ¡U¡£| g ¡£|s. -|¦«kk¦¡£¦¡%ªÏI R
«\ (U¥ ,oM J &#~%| «| s /|¡£s¢4¤|¤s|
~ ¤Æ||¥ss|¡£|8 (Uk¦¡£k 2U||¤Ok||J¡£ Mk¬ ®@° ¬ kkL||k|¥
|A¥¡ R0,H¡£ ¡Æq# ¡§¡£| ~ |k|¥ |¡£¦¡£M¡£s M sk¥g - @Osk
M J & 1 sk¥£ ¡£<¢t|m¡£. Q% ° sk /¤Æsk Mk¥5 )sk$ -| R
«kk¦¡ ,i¡£$ )s|k¤. (UkM|¥|Hs| ªÏ|¤H®> QsM¡ g ¡£|s -| R
«kk¦¡£¦¡bªÏM« ,Ms|@¡£¡£|| /|¥¥<¡£ ~%|O~ |k|¥ |¡£¦¡£M¡£ i¢t
¡£|Lk||J¡gs¢b|LUk))¡£|Ë¡£P ,Ë| ¡£|¥Hkkqsk¤Æ «k ,H¡£>s¢
¡£|%|¡£¦¡£M¡£|
~%| |||¤<¡£¦«¥¤o|k¥£- ,.,H|¥G¤ ,.,Ë||¦¡ ¥ ¡£|kT ¡£|
'M¨ QO ~ k k Ë|kk¤<¡. |||¤<¡£¦«;ªÏ¥¤/¨k¥£- ,.,H|¥|b|k«| ¡£P , R
"
| ¡£|¥H«k ,H¡>¢t¡£|Ë0/M¤Æs|¥@s¢b|qs>s|kk|¦¡£>/¡£| S
¡£|%JHO@¤¡£k|M¡£ ¡£@¡£|gJM.s¢ |O|¥g|<«JAO¦¡£|
¡£|Ë¤ ,.,Ë||¦¡ 1 Ask.¥£ ¡£<¢t|'¡£ ¡£|| /|¥¥<¡£ s| ªÏ|¤A®>
QsM¡Ë¢t¡£|4¤¡£k|M¡£|¡£ ªi¨ kkqsk¤Æs|¢t4¡£|4k¥s| ° R
¡£sm ¡£%O|¤Æ/q« , s|>¡£|Okkqsk¤Æ)¥k|AkH¦«¦
Copyright acknowledgements
~%|@¢tO|¥ , ¡£k si1s¡Æss ¢tk, ¡£|@J²,³J´sµ¶<·¹¸»ºs¼4½i¾£¿s¸±¶4ÀUÁ£¾
¿sÁkÂsÃ@Ã@¸»³¿sm|¦¡£¡£|| /|¥¥<¡£\JO¦¡£;¡£|Ë|J?H , kk)s¢
2 ¤qs|H
L , ¤¨kk© R¥|k/ ¦ R¥|k M1 M1 J¤<¡£| 3 | 3 '/ 3 H
1 s|$R¥R
|k q| M
2 , kÏs¡ s¢ 2UsM¡£'Us|Jqsk ËÊUÌÌJÍÎ¸±¼£ÓÊLÁ,·¹¸ ¶<¸¹ÂsÍs²,³· ¼<Í»ÍÎ¸¦¿¼<³m¶Æ¼
3© &3-% &s %M¯ %M|||U¡£|L¡£¦¡£ ~%|M¡£¦¡ @s¢is¤Æ¥k||§|O|¥
Hqsk||¥ ,H|¤qs|| s¥|¡£¤Ok| ¦E }¡'bk|||k|HO¦¡£ ¡£|J? ,H R
kAs¢ ¡£|g|||k|%~Rq £s|¤
~%s|¡£ (U£sH®>¹£¬ s¢t R¥|k> &¦®>|£5 / s|| ¤1 s| 2L£- ,
gs£s}¤
¬ ¢t R¥|k@q| %Ms| 2LkO;k|¦«ss£s.¢t R¥|k@q|¦
ª k|| £sM)sk¤Æ % gÂ´Â ½ÏÂsºÁkÂ¶

s| m ÂÉ
¾
¼<Á£¾É ¸
"
Part I
Introduction to ILP
1
Introduction
|||¤<¡£¦«§¥¤H|k¥£-,.,H|¥/Ë;kkqsk¤Æskq ¡4¡£|§¡£kk¤<¡£s¢
, s¤Æ|| qsk||¥/s| ¥¤@|k¥£- ,.,H|¥|@ }¡ËsP ,Hg ¡Ë§¢t? , sR¢t£- ,H R
Uks| |£s¤<¡£¤qss¥k¦¡£ ,H¢t|||¤<¡£¦«¦;qsk||¥§¥¤Ë|k¥£- ,H
¢tk ,90 /|- ,H|.~%|¤ÆsM¡£4¥¦«4s ¡£k||¤<¡£¡£)|||¤<¡£¦«H¥¤
|k¥£- ,.,H|¥| }¡ Sk¡Os¤ Os¡£U¡£|>kqs|UO¦¡£H¡£|>sk¤1s¢i|||¤<¡£¦«
¤|¤M¡4qsk||¥As| |k¤|kk¡£| k@s¢Us¤Æ¥k|| |O|¥ s|
s|¥s¥U| s }¡E¡£|@¥¦«>|k<¢¯««<s¢¯|||¤<¡£¦«1¥¤'|k¥£-, R
,H|¥|¯s||kkk>¡£|4|k| , s¢bs|||¥HP ,HJ¢t¤<¡ ¡Æ s|;|k¤|kk
¡£|Js¡£¡£ ss¢Ï|||¤<¡£¦«¥¤%|k¥£- ,.,H|¥L¢t'|£s¤<¡£¤qs¯s||¤q ¡£|
1.1 Inductive concept learning

~%|H¤|kk¡4¡£k¡ ÃHÂ¶ÆÇ¸»³m¼ Í¼£ÂsÁ,³¸»³¿siAk| S s¢1s¡£ S¤ sE¡£ R
¥|¤s g¡ Us¢t\ > ¡£| |Hs|\s¦¡£||¥ ¡£|k g|)¤|k|k|
H¡£| ¡£|ks¢Ï¡£¥|¤s¦¡bUs¥kH¡£ ¡'¡£|¤qss|¦¡ Ës¢Ïqsk||¥
g¤k|¤ sR¢ts ¡£¥¡>Jq« )s¤Æ||Hqsk||¥§¡£| k|¡£ R
S ¢tk ,T¡£|Hk¤¡£ S¤ J¡s¢U«<Gss¡s¢1¤¥|¦¡£¦«@k¤|¤s >
¡£| s¡£|gs|\" , s¤Æ||@qsk||¥§¡£¤Æ||P O|¤qs JHk|¤¤k¢t|¦ |k
|O|¥.s¤ O|k¦¡£¡£ÏO|¤Æ k|¡£ S¤q ¡£¢tk , ¡£|H|¥ R
|k|¥§J¡s¢b«<g4L- ,H¦\¦¡>>¥|£s¦;s¤¤M¡£ ¡£ ¡>¡£| , s
|k| ,9 ||||¥§0 /MJ¡Ë¡£ ,H ¡£AO|¤Æ ¡£|Hk|¤¤kËs¢Os¡£ S¤ s
¡£¥|¤>A|||¡£§% sk¥¦ || 11¡£|s¤ O|k¦¡£§s¢R|O|¥s
2L's¡bs¢\¤ ,H|M¡£bk¤|¤ ) |¥|k|¥|¡£|O¥s|s¢ , s¤Æ||%qskI R
|¥ ¡£ |<« ,H<¡£||O¡£¤Æ||P O|)s| ¡£H¢t.||||¥ ¡£ R
¥¡Í¼£ÂsÁ,³¸»³¿ ÃHÂ¶ÆÇ¸»³m¼ÆÉ<Ms ¥|¦|k|¤Æ)qsk||¥Ë|k¥£- ,HUO|¤Æ)skgs|L¡£
¤Æs|¥¡£| ,Hk¦« k|\¡£OJ¢t? , ¼<·¹· ¼<ÁÏ ¡ %¥¦«¡Æsk¯R~ OJ¢t? ,
J<¡k¡£ ",Hqs| ¢t0 /|- ,H|s ¡£)J¢t? , ,HkH( 'H¤¡£¦ s|& ) ,Hk
s¤¤|£ ¡£¦ '(U<¡k¡£ E¤qssk||s¡£§¡£|§qsk| s|¦¡ ¡£ s||§

|ks|O¤ sk%s¢R|k|,H
.|ks;k|ks , s¤Æ||4qsk||¥ s£s|¥,H 21skJ|EBEIR
¤||§|||¤<¡£¦«§qsk||¥|bss¦¡£¤ |||¤<¡£¦« Ëqsk||¥|qsk||¥)O¦¡£
¥|<¡£¤ s¥k¦¡£ ,HOs| ¤||¤<¡£|¡Aqsk||¥ qsk||¥O¦¡£ ||£s
|<¡£, |¡£|? ,Hksk<«£s¯qsk||¥s£s|¥ ,HE¤qs JO¡£¥£ ¡£@O¦¡£I R
.k|¥ ,Ë|¦¡£¡££ ¡£¥s/qsk||¥.¡£ , /¤Æskis|/~ ¤|¤bM ±
skkU k|ks /¤Æ| ¡£k|¥ ¤k¦¡£k /¤Æ|@ BB@|T S|
qsk||¥gs¡£|s|¦¡ ¡£4s¤ O|kO|< |O|¥ k O|k|¥¡£|Okk|¦¡
s¢Ïqsk||¥¡£4J|||k¡Æs|s|LH , s| H¡£|'k|ksM¤||¤<¡£I R
¡O¡£ ,HLskg|s¡O¤|k|k/¡£ Jgqsk||¥Ë¡£ ,H
~%|%J ¢t¤|k%¸»³J´sµ¶<·¹¸»ºs¼Í¼£ÂsÁ,³¸»³¿sE }¡OU¥|£s¦ |O§¡£ ¡
|||¤<¡£8 ,Hqs|>kqsk||¥ ¢tk ,3kJ¤ S¤Ë¡£.¥|£s± ¡£|Ë¤qsk@s¢O¸»³
´sµ¶<·¹¸»ºs¼UÍ¼£ÂsÁ,³¸»³¿ ",Á£¾ Ã ¼ ÂsÃLÌJÍ¼ÆÉ<¡£|'qsk|ii¥¦«4k ,H'0 /|- ,H|Ï¢tk ,
O|¤Æ¥|£sUk|ËA¡£| |||k¦|¥/¡£| 0 /|- ,H|Ësk |k¦«\
|||¤<¡£¦«qsk||¥4s%J§k|¤¤k¢t|¦As|| ¡£@4«ssk<¡ s¢i¤ skk S R
¤q ¡£As|A|k|¤<¡£§|k| ,HMk|¤Æ;s1¡£|| s¥|k1s¢R@ ¡£¡O%
| s¡U|kqsks|b¡£|L|k|¤<¡£ s¢ ,H¤Æs|¤qs¯|kJ¡£Us¢i¡£m ¡£|
sk's¢\¦¡£b¤Æ| ,H¤qs¤Æs£s¤<¡£k¡£¤~%|kL|k| ,Hb¤qs J%¢t? ,Ë| ¡£
sË¡Æsk@s¢qsk||¥;¤|¤M¡£@¢tk , 0 /|- ,H|bk<¢tkk ¡£ s.¸»³J´sµ¶<·¹¸»ºs¼
¶Æ¾ ³m¶Æ¼ ÌJ·1Í¼£ÂsÁ,³¸»³¿sJO|k ¤ skk S¤q ¡£)k|L¢t.kJ¤ S¤@¤|¤M¡ ,Ë|¡
Jg|||¤A¢tk ,|¡Æs|¤ s|A|I R |¡Æs|¤1s¢ ¡£ ¡¤|¤M¡q

~ H|T S|g¡£|g|k| , s¢R|||¤<¡£¦«g¤|¤M¡Lqsk||¥@| Sk¡||
" #!!
¡£ |T S|4)¶Æ¾ ³m¶Æ¼ ÌJ·¹ }¢ O@||¦«k£sÏk<¡s¢R k¤<¡£ %|k«s ¡£|,
¤|¤M¡ ¤qs/J¢t? , s ° As@k||k<¡>s¢R k¤<¡£ ©
0 /|- ,H|s , q§J¡£|k<¡Ls¢s\ ¡£¡£O) k¥¡£¯s| ¡£|
% " $
k<¡@s¢sb ¡£¡£4q«|¥)s¡£¤| sg|kqsks P ,H sk¦\¡£|.¤|¤M¡
sk¤Æ ¯1¡£|k<¡Ls¢EsÏsk¤Æ|LAk ,Hg||¦«kks¢E k¤<¡£ U~ Hqsk/
¡£ Js|>¡£@¡£mO|<¡£| &(') )&('*
¤|¤M¡ ,Hqs|¡£ qsk/¡£.k¤¥| ° 4 k¤<¡£> (U£ ¡£s/ B±J± s¦
¢t%qs¤Æ
Describing objects and concepts

, s¤Æ||>qsk||¥|M4¢t?, sJ s|¥s¥¢t1|k¤k||¥@ k¤<¡£s|§¤IR
¤M¡£L||¡£ Jk¤<¡£\ > k¤<¡£>skg|k¤kJ;)s ¾ ¼Æ¶<·%´¼ÆÉ¶<Á,¸ Ì
·¹¸±¾ ³)Í¦Âs³¿sµ|Â¿¼< 2U|¤M¡£O¤qs§J>|k¤kJA ¡£|>£-,H> s|¥s¥LU§
,+
ks£ ¡£.¶Æ¾ ³m¶Æ¼ ÌJ·1´¼ÆÉ¶<Á,¸ ÌJ·¹¸±¾ ³)Í¦Âs³¿sµ|Â¿¼<
os Âs·¹·¹Á,¸ µ· (¼ º ÂsÍÎµ¼A k¤<¡/|k¤kM¡£# s|¥s¥ k¤<¡£;sk | R
k¤kJ;. S/M kJ¡£k4s¢¢tq ¡£|kÏsk ¤qs Âs·¹·¹Á,¸ µ· ¼ÆÉ<\qs¤Æs¢
U

¡£|, ¡Æs|¥«ss|1¢tk, g¤kkkJ|||¥|kkJ¤ SH«ss|%k<¡qE H¡£|
¥- ,H s¢%Js ¢t|¡Æs|¤sR k¤<¡£ËskHJs4¤qsk|4s| ¡£| k¤<¡£
¡ U ¡k¡£k|M¡£U¢t%|k¤k||¥ ¤qsk|Osk>¡£|gk|¦¡Os|A¡£|£s| s¢E@¤qsk\
~%| k<¡s¢'«ss|>¢t>¡£|H ¡k¡£k|M¡£
O|k.
Ã ¾ ³J´
É s|¡£|.k<¡ s¢O«ss|4¢t
-0 /! J1 H¡Æs|A¢t2
4L

-**34J5 /$!6+6R! 47!8§s|9
+
Ç¼£ÂsÁ,·»É 1É Ì|Â´¼ÆÉ ¶<ÍÎµ É>´s¸¹Â
!#"$&%'(*)+ 4
È +Ë,
*36kkJ¤<¡£¦«¦
Â
2LA||¦«|sJ¤qsk§¤qsAJ>|k¤kJ/§sA ¡k¡£k|M¡£ R}«ss|L s|¥s¥

>¤k||¤<¡£¦«O0 /M|kkk\s ¥|¦ 4 ; : 4<=?>'@:BA C C 3±R H
| k¡b ¡k¡£k|M¡£ R}«ss|' s|¥s¥ss¡£|R£- ,H1 k¤<¡b¤qs@J1|k¤kJ
H¡£||E DF: 4<=?>'@:BAHG 3JIgL )¡£| Sk¡ R k|L s|¥s¥sL ¢ K¾ Á,³ ¶<Í¦ÂsµÉ¼ÆÉ<
|k ¥¤|k¥£- ,.,H|¥|J.¤qsk¤qsJ@|k¤kJA¿sÁ£¾ µ³J´ "Â¶<·¹
s ¥|¦M 3NO: : 4<=?>'@:BAHG 3 ,R H¡£|b¤qsksM 3NO:4'g|k|¤q ¡£O- ,Hss|H¡£|
«ss|s¢J¡£|%¡ Usk¥ ,H¡£P s|E 4Rs¢J¡£|%|k|¤q ¡£Q 3NO:BR&>sk
¡£|g¤|¡Æs¡£. : 4<=?>'@:BA4s| 3
2 sOs¢¤qsk|L¤qs;J4|k¤kJ;;s) k¤<¡>|k¤kM¡£) s|¥s¥
¤ ,H|kk|¥@¢t|L ¡k¡£k|M¡£ © 4TSOs|, BSO|k¤k||¥ |¤qsk\ms|
4VU>s|W HUL|k¤k||¥H¡£|4s¡£|¤qsk\% s; ¡k¡£k|M¡£ R}«ss| sI R
¥s¥sUs@s¢¡ U ¤qsk|X DY: 4<=?>'@:BAHG 3ZI s|; D\[56+N'AHG 3]I ¤qs
¦¡£|bJO|k¤kJ H R}¡£|| D^: 4<=?>'@:BAHG 3BG
[56+N'AHG 3I s¦¡£k R
¡£¦«¦U ¤k||¤<¡£¦«)0 /M|kkk 4TS _ : 4<=?>'@:BA ` C BS
3E C 4VU [56+N'A E C HU 3± ¡£| s|¥s¥ s¢§k
¤ s|k¡ U s¦¡£k ¡£¦« |k¤kM¡£|)skX a1 47N : 4<=?>'@:BAHG 3BG
[56+N'AHG 3
s| a1 47N 3NO: : 4<=?>'@:BAHG 3
G3NO: [56+N'AHG 3 , O|kb a1 47N>|k|¤q ¡£
- ,Hgs|9 3NO:HOË¢t||¤<¡£A- ,Hs
2U|¤M¡£H¤qsJA|k¤kJ0 /¡£|ks¦@¡£|ks¦ 2 ¤I R
¤M¡@4|k¤kJ ¼ · ¼<³MÉ<¸±¾ ³JÂsÍ»Í ¡£|¥§¡£|.|k¤kM¡£|4s¢sbs¢%¦¡£
|¡Æs|¤ '0 /|- ,H|s¡£|L¤|¤M¡ a1 47N Js1¤qs.JL0 /¡£|ks¦
|k¤kJ¡£|Ak<¡Hs¢LsUsk@s¢L¤qsk|@O|¤Æ q«A¡£|§£- ,HA£s|¯
s ¥|¦| ¡£|L¢tO|¥4k<¡%s¢ R}¡£||c© a1 47N d *DJ[56+N'AHG 3BG
Aa1*:*6'AHG 3eIfG
Dg[56+N'AHG 3BG3hi!jAHG 3&IkGlll4GDm: 4<=?>'@:BAHG5G3hi!jAHGEI
/¡£|ks|¤|¤M¡|k¤kM¡£|E¤qs@J1|||k£s|'¢tEL ,ËJEs¢
8
kqsk||¤|||¥¡£|O¢¹s¤<¡b¡£ ¡U¤|¤M¡ , q ¤¡Æs sH S|¦¡£O , R
JHs¢|¡Æs|¤ 2U|k O|¡£¦O¦¡HH|k<¢t£s|A¡£ |k¤kJ/¤|¤M¡£
¸»³· ¼<³MÉ<¸±¾ ³JÂsÍ»Í ¡£ ¡U.gks£ ¡£L¤|¤M¡%|k¤kM¡£H s|¥s¥%O|¤Æ
sOO¢t ,Hk¤ ,Hs¤<¡s|¤|¤k4¤|¤M¡g|k¤kM¡£|ms ¥|¦m)¡£|
¢t? , s¢Lk|~%|A¢tO|¥;k|§b¢t 0 /|- ,H|sUs¡£|ks1| R
k¤kM¡£/s¢R¡£|4¤|¤MP ¡ a1 47N )s; ¡k¡£k|M¡£ R}«ss|¤|¤M¡>|k¤kM¡£

s|¥s¥s©
a1 47N # BS C3BC HU 3
BS B B C HU B
lll
BS BC HU
;¡£| ¡k¡£k|M¡£ R}«ss| s|¥s¥sJ¡£|@s¡£¤|¡s¢'s ¸ " ·»Ç¼<³§k|Ë>
| k||¤<¡£s¢U¤||¦¡£|\qs¤Æ ¤||¦¡£J|¥A§¤k||¤<¡£s¢1 ¡k¡£k R
|M¡£ R}«ss| sk 0/M|kkk|4s¢U¡£|@¢t? ,Q VN 4<j5 6 B*hi!6, 2Lg¡£|
¡k¡£k|M¡£# 4TSs| 4VU|A|s¡s|Jqsg;¡£|HsJ« k|s\¡£|< ¤qs
q«4s.«ss|§¡£|s||k|k ¡££s|¥s
4¤qskb¡£|'¤|¤M¡E|k¤kM¡£ s|¥s¥ ,HkbJU¢t|s|ËsO
¢t¡£| |k s¢U«ssk s|Ï¡£| ¤|¤M. ¡ a1 47NA¤qs JH|k¤kJ ,Hk
¤ ,Hs¤<¡%1qJ©
a1 47N # BS ; HU
¡£| s|¥s¥Hs¢Ok¤ s|kE¡£|.sJ« ¤|¤M¡@|k¤kM¡£ ¡Æss
¡£|¢tO|¥4¢t? ,/©
a1 47N 4TSGBS
G
4VUGHU BS HU
}¢1¡£|H|k¤kM¡£ s|¥s¥HsO¢t¡£| |k s¢U¢t||¤<¡£ I ,ËJ¢t
|k¤k||¥L¡£k|¤<¡£|kË¡£? ,H ¡£|Âs· ¾ Ã a1 47N 4TS
GBSG
4VUGHU
¡£| sJ« ¤ s|k ¤| Jk| s¤# ¡£| ¡£ , O¦¡£ ¡£k|¤<¡£|k
¡£? ,H;¡£| sk¥ ,H¡£L a1 47N 3NO: 4TS
GBS
G3NO: 4VUGHU ,
||¥|©
a1 47N 3NO: 4TS
GBS
G3NO: 4VUGHU
BS HU
Definition of inductive concept learning

Lq«|¥Hk¤<¡£;|k¤kM¡£/ s|¥s¥%¢tO k¤<¡£Ls|)¤|¤M¡£mH|kR
¤||kËL||¡£ ¡LOi¡Æs|k/O|<¡£|gH¥¦« k¤<¡J|¥O¡£
¥¦« ¤|¤M¡q>± s¦OO|<¡£|§¡£||k¤kM¡£ s¢g¡£| k¤<¡ÉqÂs·¹¸É ¼ÆÉ
¡£|4|k¤kM¡£;s¢E¡£|Ë¤|¤M¡q> }¢b¦¡L|JUË£q/¡£ ¡¡£|Ë¤|¤M¡| R
k¤kM¡£ ¶Æ¾ ºs¼<Á£ÉL¡£|H k¤<¡Ë|k¤kM¡£\ig¡£ ¡g¡£|H k¤<¡4|k¤kM¡£
¸É@¶Æ¾ ºs¼<Á£¼£´>§¡£|g¤|¤M¡|k¤kM¡£\
ªÏ<¡H|'¢tk , | \U|k§¡£|§¡£? , "Â¶<·1¢t s k¤<¡H|k¤kM¡£
s|§Ç ÆÌ¾ ·»Ç¼ÆÉ<¸ÉE¢tbsH¡£|ks¤|¤M¡U|k¤kM¡£ ¡£gJqsk|\ 2L
U

¼ ÂsÃLÌJÍ¼ ¢tbqsk||¥¤|¤M¡ ;' sJ ¢¹s¤<¡qO¦¡£ sJ@¦¢m¡£|
k¤<¡%sA|¡Æs|¤s¢i¡£|g¤|¤M¡ s|A sJ
26
%Ë|IR |¡Æs|¤>s¢i¡£|>¤|¤M¡,'ªÏ<¡ ||s¡£gËk<¡Os¢ |-,H|~%|

s¡£|Ok ± s¦M¦¢ ¦¡
¢¹s¤<¡£4¢tk, sJ ¢t?, )k<¡@s¢UÌ¾É<¸»·¹¸»ºs¼/¼ ÂsÃLÌJÍ¼ÆÉ
s| ¡£|k
0/
sJ ¤|¡£¦¡£M¡£'%k<¡Rs¢m³m¼}¿Âs·¹¸»ºs¼1¼ ÂsÃLÌJÍ¼ÆÉ ¢t\¡£|b¤|¤M¡

O¡Æss1¡£|UJ¡ s¢Jskk ,H|¥L¡£ ¡R¢¹s¤<¡£E s|Hsk1|s¡E sJ

1
0/M|¤¦¡£¦||M¡L£ ¡£|OP,H|¤¦¡£¦ A¡£| ,H,ËJkk|/A|s¢R¡£|g¡ U

k<¡£ s'¤|k O||¤sMUOOMk ,H<¡£P ,HE|kO¡£|%¡£?, 0/|-,H|%|¡£qs
s¢i¢¹s¤<¡s|.«¤>«k£M 10 /|- ,H|sMO|Aqsk||¥4¡£|¤|¤M¡2a1 47NË
Js1 a1 47N 3NO: : 4<=?>'@:BAHG 3
G3NO: Aa1*:*6'AHG 3 O§Jk¦¡£¦«@0 /|- ,H|s
s| a1 47N 3NO: : 4<=?>'@:BAHG 3
G3NO: Aa1*:*6'AHGq+ * bO@|¥ ¡£¦«g0 /|- ,H|s

#¡£| k R ¤qsoÉ<¸»³¿sÍ¼¶Æ¾ ³m¶Æ¼ ÌJ·@Í¼£ÂsÁ,³¸»³¿s ¤|¤M¡)|k¤kM¡£#
|||¤;¢tk , ¢¹s¤<¡£L sJ Ys| @m± s¦J¢tk , 0 /|- ,H|>s|;¤|¡£ R
0/|- ,H| s¢g k|¥/¤|¤M¡ # oÃ@µÍÎ·¹¸ ÌJÍ¼¶Æ¾ ³m¶Æ¼ ÌJ·4Í¼£ÂsÁ,³¸»³¿sU sJ

||s¡£.| k¡Ë¤|¤M¡@- ,H4k|kk¡£|¥ | k¡/¶<Í¦Â ÉÆÉ¼ÆÉ</ ¡£|
¤qsksL¡£| k<¡/s¢¡££s||¥ 0 /|- ,H| G¤qs#J|¦«| ¡£ k||k<¡£/s¢

Jk¦¡£¦«gs|/|¥ ¡£¦«0 /|- ,H|%¢t%qs¤Æ/||¦«|sm¤|¤M¡ ¤ sk,
~%|g|k| ,Ys¢ qsk||¥@Ëk|¥L¤|¤M¡ ¢tk ,Y0 /|- ,H|%¤qs§|
Jg¡Æ ¡£)s%¢tO©

"!" 6 8 ; 7# 9 M¦« k<¡ s¢'Jk¦¡£¦«Ës||¥ ¡£¦«
¤|¤M¡L|k¤kM¡£A s|¥s¥
>|k|¤Æ/¡£ ¡q©
0/|-H, |Rs¢¯L¤|¤M¡ -S|@LJs¡£|k s0/M|kkkHËL¥¦«
<«/Jk¦¡£¦« |-,H| ' %¤«k;

|H|¥ ¡£¦«g |-,H| ') %¤«k)
0/ k6
0/ k6
~ ¡£¡O¡£|g¤«£s¥sJË¢t||¤<¡£
3> B6NHA G6 ¦

¤qs J ¡£k||¤\\O|¤Æ k<¡£|k|¡£|@«ss|&VN$!6 ¦¢ 6 ¤«k
s| c*hA+64s¡£|Oks1~%|4P,H|,H¡Æ ¡£§s¢R¡£|%¢t||¤<¡£)|J||L

¡£|g k¤<¡Ls|/¤|¤M¡L|k¤kM¡£A s|¥s¥ 1|¡Æs|¤s¦¢6
4TS C
: 4<=?>'@:BA B BS C3BC [56+N'A B C
4VU F HU 3

s| T

a1 47N # BS C3BC HU 3
BS B B C HU B
lll
BS
BC HU

¡£| 3> B6NHA¢t||¤<¡£#kP,H|¦¡£¡£AO|<¡£|,6 £ ¡£ S)s s¢4¡£| | R
k||¤<¡£A G ¥¤)|k¥£-,.,H|¥|1O|k Js¡£|kAA k<¡As¢
|k¥£-, ¤ s|k§s| s 0/|-,H|;.¥k|| ¢¹s¤<¡q ¢t1sk ¤ÆsIR
|¥H|k¤||k (U* L ¢t? , s¢bMªi® R kkM¡£Ak|s¢EM¢tk|¤
ªÏ B3L¤qs J)|k ¡£¤Æ|¤ÆO|<¡£|? 6; ¡Æs
0/|-,H|sOa1 47N 3NO: : 4<=?>'@:BAHG 3
G3NO: [56+N'AHG 3 '%¡ÆsA

a1 47N 3NO: 4TS
GBS
G3NO: 4VUGHU
BS HU

~%|@¢t||¤<¡£ 3> B6NHA G6¤qs J 0/¡£|| ¡£.Uk)¢tk<¡£gs¢U0/R
-,H|%§¡£|¢tO|¥1qJ©
3> B6NHA '
G d$6 B3> B6NHA G6 gVN$!6O '&
k<¡£|k||¥@¡£|gk<¡s¢R¢¹s¤<¡£1¢tk, O|¤Æ)sk¤«k;
¤«ks¡£|Jk¦¡£¦«L |-,H|1s|§||>s¢i¡£|
4¡£|U|k|, ¡Æ ¡£,H¡Es¢|||¤<¡£¦«U¤|¤M¡qsk||¥¦¡ kO|k
|¥ ¡£¦« |H ¡£|g¤qsk UH£q;¡£ ¡g¡£| Js¡£|k g¤,H|<¡£
¡£ ¡U¡£|Js¡£|k 3 0/
s| ¤|k¡£¡/O¦¡£ kkJ¤<¡A¡£ ¡£| |-,H|U 2 Js¡£|k

¶Æ¾ ÃLÌJÍ¼<· ¼1O¦¡£/kkJ¤<¡L¡£H |-,H| ¦¢R¦¡¤«k>s\¡£|Jk¦¡£¦«g |-, R
0/
2 Js¡£|k Ë¤|k¡£¡@O¦¡£
0/
kkJ¤<¡¡£A |-,H|

¦¢'¦¡¤«k4||@s¢'¡£| |¥ ¡£¦« |-,H|Ï± s¦
|b± s¦¦¢.3> B6NHA G
0/
¦¢
3> B6NHA 0/
G
0/
| R¥|k ¦)k|O.| k¡ Jkk|/k¦¡£ ¡£|

k¥sk||¥@¡£|g¤,H|<¡£|k ¤|k¡£|¤<As¢@Js¡£|k
)
2kP,H sU¢t?, s ° ¡£.s¢R¡£||k|, s¢E¤|¤M¡>qsk||¥ ¥¦«
Q sM¡ Î&±sO|k1¡£|1¤,H|<¡£|ks|@¤|k¡£|¤<@¤k¦¡£k Lsk
@®>
¡£¥<¡£|Ok<¢tkkA¡£Hs/Èµ|ÂsÍÎ¸»· A¶<Á,¸»· ¼<Á,¸±¾ ³
Criteria of success
k>¥s £s¡£¡£ ¡
s¥k s0/|-H #
~%|gsJ«¡Æ ¡£§|TS |¦¡£.s¢ |||¤<¡£¦«>¤|¤M¡Oqsk||¥4kO|k1¡£ ¡
s| , |¢tk, UA~%|k.R|U<«b|/|k R
L¤kkkJ| ¡£
O s¡£|§ k¤<¡£)s§U
(U£ ¡£s/B± |¤§|As¢¡£| , k@sP,HËs¢Lqsk||¥;Ë¡£¤ skk¦¢»
U

©b¤,H|<¡£s|¤|k¡£¡ ©|¤,H|<¡£s|¤|k¡£¡
3> B6NHA G 3> B6NHA
G

©b¤,H|<¡£s||¤|k¡£¡ ©|¤,H|<¡£s||¤|k¡£¡
3> B6NHA G 3> B6NHA
G

R¥|k@¦©2U,H|<¡£|ks|/¤|k¡£|¤<As¢E@Js¡£|k

||k/ k¤<¡£%O¦¡£AkkJ¤<¡O¡£ ||¤qs§«<#¡£|g|||¤AJs¡£|k
sk sO)¶<Í¦Â ÉÆÉ<¸ ¼<Ábs¢R|<o k¤<¡£b~%|k<¢tks|¡£|s¤¤|£s¤<§s¢ ¤ skk R
¢»|¥4||kA k¤<¡£1'¡£| , sH¤k¦¡£k s¢\¡£|>k|¤¤k%s¢Ï¡£|>qsk||¥
¡£ ,/
~%|P ,HJ¡Æs¡EJ¢t? , s|¤1¤k¦¡£k Ls¢Jqsk||¥>|¤||U¡£|1¢t R
|¥|©

7#FGFG # ! ~%|'¤ skk S¤q ¡£gs¤¤|£s¤<gs¢ ,Hqsk|k
sE¡£|%Jk¤¡Æs¥%s¢J k¤<¡£b¤kk¤<¡£¦Ë¤ skk S @Ë¡£|%Js¡£|k

F;" G~%|¡££s|ksk|¤<As¢ T||s¡£%¡£|g0/¡£¡O¡£@O|¤Æ/¦¡
'|||k¡Æs|s|L¡£Ë , s|@2 Jk k| ,Hqsk|kL'¡£|4Í¼<³¿s·»Çgs¢

¡£|OJs¡£|kM0/M|kkk§@¡£|%¡£s¡Æs ,ËJ's¢m¤||¦¡£|bHs
|||¤Hk|Ok<¡ 2L|s¡£|bJkk|¦¡ 4¡£ ,Hqsk|k%¡£| ,ËJ
s¢R|¦¡£%|k)§¡£|g|¤||¥ s¢ ¡£|g|k¤kM¡£\
%

:F :7 FG #9 ¡Æ ¡£¡£¤qsbk¥| S¤qs|¤ ¡£¡£Ë¤qsJ |k¡£
< «ss ¡£O|<¡£|1Js¡£|k 3k|kk¡£O4¥||>k¥| sk¦¡
¡£|'¡££s||¥0/|-,H|s|Ë|s¡Lk¥| sk¦¡ O|¤ÆËR||U¡£L¤Æs|¤s
, ¡£/k¤k@s¢¤ skk S

= # ~%| M¢t?, ¡£;¤¡£¡¡£| k ¡£¦«@M¢t R
|||s s| (U£ ¡£s/M Rk¤qs
¡£|L¤ skk S 'J¢t?, s|¤Ls¤¤k||¥¡£¡£|L| 'H¤|¦¡ s¢\¡£|L¤ s R
k S ¤q ¡£|k|/
)
, i }¡R"H

, qsk|k4g¡Æs|¥L¡£Ls¤¤|¡R¡£|'|k
|ks|¦¡ Hs¢i¡£|¤|¤M¡ ¡£@Jqsk|\|± s¦¡£|gJk¤¡Æs¥s¢
k¤<¡£g ¡£ ¡gJ|¥.¡£ 0/|-,H|sÏ ,H|¤qsE| s¥|R
kb>¤kk¤<¡b¤ skk S¤q ¡£@¡£g ,Hk1|ks|%| s¥|kR|k«|
kM¢t? , ¡£¡£sH¤kk¤<¡'¤ skk S¤q ¡£@¡£g£sk%| s¥|k
O|¤Æ/%|¦.k|kk¡£;/Ë¢t<o0 /|- ,H|
1.2 Background knowledge

2U|¤M¡gqsk||¥ ¤qs J4«kqsk¤Æ||¥.¡£|Ëks¤@s¢'¤|¤M¡g| R
k¤kM¡£| /
¦¡£¤Æ|B& ±' }¢R¡£|gqsk|%s|H|k%|O|¥sJM¡
¡£|Oqsk||¥|k|, ¦¡qsk|0M/ ¤|k¦«¦@¢tk, 0|/ -,H|U<«|¦¢ R
S¤|¦¡ qsk||¥|k|,HË¡ |¤qs¦kO|k/k||¡Æs¡£ s%JM s¢L|k
|O|¥s1 O\k<¢t%¡£H|¤ s£ ¡£¦«|k%|O|¥4s Â¶q¿sÁ£¾ µ³J´
³m¾ !%Í¼£´¿¼<8 -k|¥gs¤Æ¥k||H|O|¥s¡£|%qsk|@,H¥¡E0/M|kk'¡£|
|¥

¥|£s ° ¡£.s¢R0 /|- ,H|O/ ,Hk ¡£|£sÏs|/¤|¤k , s||
~%|ËJs¡£|k> s|¥s¥ os|\m||k¤<¡£¦|¡£|4s¤Æ¥k|||O R
|<¡£? ,H|'¡£|1kqsk¤Æ ks¤%s¢JJkk|U¤|¤M¡b|k¤kM¡£|sk
¤qs/¡£|HÇ ÆÌ¾ ·»Ç¼ÆÉ<¸ÉgÉ Ì|Â¶Æ¼<L~%|k<¢tksm¡£|Ës¤Æ¥k|||O|¥@s
¡£@J>|¤||. ¡£||k| , ¡Æ ¡£ ,H¡Os¢i|||¤<¡£¦«>¤|¤M¡Oqsk||¥|

§k<¡s¢'¡££s||¥§0/|-H

"!" 6 8 ; 7# 9 J '"+*9 !
* I 7#I
9 M¦«
, | s | s¤Æ¥k|| |O|¥LS|

Js¡£|k \0/M|kkk )kH
>'k|¤Æ¡£ ¡ @¤H
, Ë¤|¤M¡|k¤kM¡£; s|¥s¥

, |<¡£As|¤|k¡£¡HO¦¡£ kkJ¤<¡H¡£ ¡£|
s¤Æ¥k||)|O|¥#s|A¡£|g0/|-H , | U

~ , ss%¡£|b¢t?,Ë| ¡£Ës¢\|||¤<¡£¦«¤|¤M¡Uqsk||¥gJ£ ¡£s±
¡£|§¢t||¤<¡£ 3> B6NHAA¡£k||¤O ¡£| ¦Ës| '& ,Ë|¡HJ
0/¡£||)¡£@¡Æssg¡£Hs¤¤|¡O¡£|gs¤Æ¥k||)|O|¥ L©
G
3> B6NHA . G6 ;
3> B6NHA G6 %
G
3> B6NHA . G ;3> B6NHA G
~%|§¤,H|<¡£|k s| ¤|k¡£|¤< kO|k,H¡£ sk§sk8,H| S
¡£ kqs)sO¡Æ ¡£/Jg

= ; 7# IFGF 2 Js¡£|k '¶Æ¾ ÃLÌJÍ¼<· ¼JO¦¡£kkJ¤<¡i¡£%s¤Æ¥k||

|O|¥ s|.0/|-H, | ¦ ¢is¡£|LJk¦¡£¦«0/|-,H|1skL¤«R

k\± s¦¦¢
e3> B6NHA .G G
FG :F 2Js¡£|kY
|O|¥ s| |-,H|
¦¢'|A|¥ ¡£¦« |-,H|Ë¤«k\
R¤|k¡£¡EO¦¡£ËkkJ¤<¡¡£>s¤Æ¥k||
|

0/ 0/
± s¦|¦¢
3> B6NHA .G G
1.3 Language bias

2L ,H¤Æs|? , ,H| .qsk||¥¡£,Y¡£4¤|¡££s ¡£|Lkqsk¤Æ
¢t Js¡£|k. -,H ¸¹Â É
-O¡£¥ s|/¦¡£¤Æ|EB& ± Ë¼Æ¶<Í¦ÂsÁkÂs·¹¸»ºs¼
¸¹Â É||s¡£@0 /M|¤¦¡qE|k R kJ¤ S| sO|¤Æ ¤qs |k<¢t£s|¦ J ¢t R
,Ë| ¡£s ,H| S¯s|gs£- ,H<¡£Ls¢b¡£|Ë¡£,/ (U s>¤qs;¦¡£|>| R
¡£? ,H|'| ¡£|1Js¡£|kks¤1Rkqsk¤Æ| É¼£ÂsÁ£¶ÆÇ ¸¹Â É ÏR|<¡£? ,H|
¡£|gJs¡£|kks¤g¦¡£k¦¢ Í¦Âs³¿sµ|Â¿¼ ¸¹Â É ,
~%|Lk¤<¡£/¢t¤|kL) s|¥s¥| s ('/k¤<¡£|¥.H¡£k|¥ sI R
¥s¥>| s 4k10 /M|kkk¦«Js¡£|k1 s|¥s¥ ¡£|>kqsk¤ÆAks¤J R
¤ ,H? , sgs| qsk||¥ ,Hk ( 'H¤¡ |U<«E¡£| , q |k<«¡
¡£| ¡£ , ¢tk , S|||¥;/kM¡£ O|¤Æ|s¡4¤¡Æs| ¡£| k
0 /M|kkk¦« s|¥s¥sR~%|E0 /M|kkk¦«|k ) ¡££s¤<¡Æs|¦¡ @¡££s| |||k
,Ë|¤Æ/s¢ ¡£|g¤|kk¡Lkkqsk¤Æ)A|||¤<¡£¦«gqsk||¥|
1 |A¤|k|k|¥Ë s|¥s¥| s¡£|H¼ <ÌJÁ£¼ÆÉÆÉ<¸»ºs¼<³m¼ÆÉÆÉs¢R4Js¡£|k
s|¥s¥ËJ¤ ,H.¤k|¤ sE|s¡£\4~%|@¡£? , ¼ <ÌJÁ£¼ÆÉÆÉ<¸»ºs¼<³m¼ÆÉÆÉ¤qsM¡£|k
¡ Ug| k¡b|P ,H|k| ~%| Sk¡|P ,H|kËR¡£|%0 /M|kkk¦«JUs¢
4¢t? , s? , .¦¡£1¡Æs|sk ,Hqs||¥|É<·¹Á£¾ ³¿¼<Á¼ <ÌJÁ£¼ÆÉÆÉ<¸»ºs¼UÌ¾ !U¼<Á ,Hqs|
¡£ ¡H¡£|k;sk/¤|¤M¡£ ¡£ ¡ ¤qs J/k|kk¡£ ¡£|/¡£k|¥H¢t R
, s? ,9O|¤Æ¤qs|s¡ JAk|kk¡£ ¡£|§UqssH¢t? , s? ,/ ~%|

s¡£|Ë|P,H|k¡£|·¹ÁkÂs³MÉ Ì|ÂsÁ£¼<³m¶( .Í¼<³¿s·»Ç s¢%¡£|§¤|¤M¡ k|k R
k¡Æ ¡£\ 10 /|- ,H|s|¦¡1%Jkk|L¡£@¡Æ ¡£>¡£ ¡%¡ U.(UqsIR}«ss|
¡k¡£k|M¡£Aq« ¡£| £- ,H«ss| #Js¡£ s ¡k¡£k|M¡£ R}«ss| s|¥s¥

£q

s|; Sk¡ R k| s|¥s¥s (UM¡q¯O|kqs>A¡£|g¢t? ,HOU4q«¡£ £q
c*hA+6 C c*hA+6 g
.¡£|g ¡k¡£
VN$!6 C g VN$!6 ,U¤qsHkP ,H|¦
+'sk|¥¤qs¢t? , s? ,HRq«JH|k |||¤<¡£¦«Oqsk||¥ R

¡£ ,H ¡£Lk|kk¡b0 /|- ,H|Rs|Ë¤|¤M¡|k¤kM¡£|R~%|kU¢t? , s? ,H
sk;kP ,H s@¡£¡£|;¢t? , s? ,H@¢t.k|kk¡£|¥ |O|¥ ¥|£s±
£s|¥|¥)¢tk , |kJk¦¡£sb¥¤ ¡£;¢t| Sk¡ R k|Ë|k|¤q ¡£.¤qs¤||
1 ¦¡£| ¡£|k¤J |. ,H¡g¢tk O|¡£¦ |¡£|¥|k|gJ<¡ U ¡£ ,H
O|¤Æ/qsk) ¡k¡£k|M¡£|k¤kM¡£|¯s|/¡£ ,HOO|¤Æ)qsk Sk¡ R k|
k ¡£sm|k¤kM¡£|
<«£sO|¦ |O |||¤<¡£¦«)qsk||¥ s¥k¦¡£ ,H'k|¤Æ s ® %
|| s B1's| 2 /¤Æsk B%8 /¤Æsk\<¡Ls±1 B1 b|k s
¡k¡£k|M¡£ R}«ss|; s|¥s¥)¡£ k|kk¡; k¤<¡£)s| ¤|¤M¡£gs| sk
¡£|>¤qs Âs·¹·¹Á,¸ µ· (¼ º ÂsÍÎµ¼ËÍ¼£ÂsÁ,³m¼<Á£É<>~%|<;sk@sk ¤qsAÌJÁ£¾ÆÌ¾É<¸»·¹¸±¾ ³JÂsÍ
Í¼£ÂsÁ,³m¼<Á£É k|¤ s# ¡k¡£k|M¡£ R}«ss|) s|¥s¥)§ ¦¡£.0 /M|kkk¦« JU
O|¦«ss¡¡£ |kJk¦¡£s\¤qs¤||% )Js¡£) ® % s| 2 ¯ k¤<¡£sk
|k¤kJ§H¡£? ,HUs¢Ï¡£|'¥s¢tq ¡£|kM± s¦MH«ss|Us¢i S/M§¤ R
¤<¡£;s¢>Âs·¹·¹Á,¸ µ· ¼ÆÉ<4~ Ak|kk¡¤|¤M¡£i|¤k;¡£kskË|k
® %4s|.¦¢ R}¡£| k|U 2 ~%|L¡ U , sHP ,H¦¡Æ ¡£|Es¢Ï|kJk¦¡£s
qsk|ksk@¡£| P ,H¦¡£;0 /M|kkk¦«|k@s¢U¡£| k|kk¡Æ ¡£s¢t? , s R
? ,s|¡£| P ,H¦¡£ ¤qss|¦¡ s¢L¡Æs|¥ ¡£ s¤¤|¡H¡£|)q«ss s|
s¤Æ¥k||)|O|¥s
2L|s¡£|Ë¤ sk4s¢Oqsk||¥/¡£ ,H¤qsÁ£¼<Í¦Âs·¹¸±¾ ³ Í¼£ÂsÁ,³m¼<Á£É<E|||¤
|k¤kM¡£|s¢%k ¡£| |T S|¦¡£|s¢%|k|¤q ¡£,/ ¡£|k ¡£ ,H
k¤<¡£'¤qs JO|k¤kJ ¡£k|¤<¡£|£s¦± s¦@¡£? ,Hbs¢m¡£|¤ ,HJ|¡£
s| k ¡£|4- ,H|¥)¡£|.¤ ,HJ|¡£ ~%|.¥¦« k ¡£|4¤|¡£¦¡£M¡£
¡£|gs¤Æ¥k||)|O|¥sU /k ¡£§qsk|k|¡£| s|¥s¥%|k/¡£
k|kk¡/0 /|- ,H|Os¤Æ¥k|| |O|¥s| ¤|¤M¡A|k¤kM¡£|
skg¡ |¤qs¦§k||k<¡£>s¢ Sk¡ R k|¥¤sU )s¡£¤| s|¡£|4 s|¥s¥s¢
Í¾£¿s¸±¶LÌJÁ£¾£¿sÁkÂsÃ4É ªÏ B3 |k«|gk 'H¤¡40 /M|kkk¦«|k4¢tk¦« R
|¥/Ak¥| S¤qs¡ ,ËJgs¢1k ¡£ qsk||¥§|k| ,H ªÏqsk|kg¡£ ¡
|||¤§Js¡£|kH¡£|§¢t? , s¢¥¤ |k¥£- ,H@sk§¤qs ¸»³J´sµ¶<·¹¸»ºs¼
Í¾£¿s¸±¶1ÌJÁ£¾£¿sÁkÂsÃ@Ã@¸»³¿>¡£ ,H
U

1.4 Inductive logic programming

(1s¤Æ¥k|||O|¥Ë| q> ¤¡££sRk)k ¡£)qsk||¥|O|k
¡£| ¡Æsk;¡£/|TS |s ¢tkT , ¥¦« 0/|-,H| s |||Ok ¡£ ± s¦
¡£|g¡Æsk¥<¡L|k|¤q ¡£ %A¡£?H
, s¢ ¦¡£k¦¢s| %|O;k ¡£|%¢tk, ¡£|
s¤Æ¥k||.|O|¥s }¢\¡£|Js¡£|kU s|¥s¥Os¢igk ¡£ qsk|
Ï¡£|b s|¥s¥s¢|¥¤E|k¥£- ,H ¡£|qsk||¥O ¢¹s¤<¡q ¥¤E|k¥£- ,
¡£|k)s|#sAk¤¡£¦ J#- ,H¸»³J´sµ¶<·¹¸»ºs¼Í¾£¿s¸±¶ ÌJÁ£¾£¿sÁkÂsÃ@Ã@¸»³¿
ªi¨ /|¥¥<¡£/M &s ±R H ªi¨ ¡£ ,H¡£|%¡££s||¥0 /|- ,H|
¡£|bs¤Æ¥k||Ë|O|¥Us|g¡£|b|||¤4Js¡£|kEsk's0 /M|kkk
.¥¤|k¥£- , ¢t? ,/JO¦¡£ s||¦¡£sik¡£k¤<¡£|>P ,HJk;qs¤Æ
s¢%¡£| ¡£|k. s|¥s¥ 0 /|- ,H|sR¡££s||¥)0 /|- ,H|ËskH¡ |¤qs¦
k|kk¡£os§¥k|| ¢¹s¤<¡£§s¢g¡£|)¡Æsk¥<¡§|k|¤q ¡£s>s| ,H¡§s¢»¡£
s¤Æ¥k||)|O|¥g%k¡£k¤<¡£A¡£HJs¢ ¡£|g£- ,H¢t? ,/
>|§s¢O¡£|§qsk¦ ¡£ ,HË¡£ ¡ , s|.|kAs¢k ¡£sbs¤Æ¥k||
|O|¥ 9¡£| |k¤ks¢qsk||¥ ¡£k|¤<¡£|£s |k¤kM¡£|o1s
L® - 21 /¤Æsk B*±~%|.Uk ,H|'M¢tk|¤§ s|k
Î B% ±U¨s¡£ ËUk |||¤<¡£¦«A¥|£s ° ¡£ ¨s¡£ 1s|
¡£|Uk§s¢M- ,.,ËM¡Os| (1s| k Î B1 Ïq«|k|k ,H¡Os¢ ¡£|g¤| R
k¡ ¡£O§¡£|skq@s¢R|||¤<¡£¦«g¥¤>|k¥£- ,.,H|¥|
An example ILP problem

ªÏ<¡||¡££ ¡£4¡£| ªi¨#¡Æsk §kP,H|@|k|, s¢Uqsk||¥.¢¹-,H¦
k ¡£|
6 = ; 7# : H ;" ' 7#I=
~%|4¡ÆskAO¡£.|TS |4¡£|¡Æsk¥<¡Lk ¡£9:*580[M 6 N G
,JO|¤Æ;¡Æ ¡£

¡£ ¡Jkk >.s|¥¡£s¢'Jkk
H\)¡£?H , >s¢b¡£|@s¤Æ¥k||
|O|¥Hk ¡£| c6=?*h 6.s|?a1NO6!,H~%|k k ¡£|skH¥¦«
~Rs|¦ ~%|k/sk.¡ U Jk¦¡£¦«As| ¡ U |¥ ¡£¦«§0/|-,H|@s¢¡£|
¡Æsk¥<¡Ok ¡£\
4¡£|'Js¡£|kR s|¥s¥bs¢k4¤ s|kR¦¡i Jkk|¡£¢t? ,Ë| ¡£
¡£|¢tO|¥Ë|T S|¦¡£§s¢R¡£|¡Æsk¥<¡Ok ¡£\©
:*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
~%| |T S|¦¡£H¤|k¡£¡As|¤ ,H|<¡£AO¦¡£kkJ¤<¡.¡£ ¡£|)s¤Æ R

¥k||A|O|¥gs|§¡£|>¡££s||¥Ë0 /|- ,H|b®>J|||¥ .¡£|s¤Æ R
¥k|||O|¥sU¡£|A s|¥s¥ s| ¡£|/¤ ,H|0 /M¦¡ s¢L¡£|§¡Æsk¥<¡

QNO 47 47!8
:*580[M 6N
& 6 !=a1h 6'A
=?N!Gc
l a1NO6!
*34*8BNO>'1@:EB@>`h 6+:H8M6
ceGT=?N
l
c6=?*h 6 c
l
:*580[M 6N
:*580[M 6N
:*580[M 6N
6 B6HG >'
=
l
>'=WGc
l
6 B6HGc
l
a1NO6!
a1NO6!
a1NO6!
ceG >'
=
l
>'=WG6 B6
l
>'=WG 4<
l

c6=?*h 6 =? N
l
c6=?*h 6 6 B6
l
~Rs|@¦©@2 kP,H|> ªi¨|k|,/©Eqsk||¥Ë¡£| ´Âsµ¿ Ç· ¼<ÁUk ¡£\
¤|¤M¡q|¡£|¡Æsk¥<¡O|k|¤q ¡£|TS|¦¡£ , q.¤|k¡Os¢E@k<¡s¢ ¤ s|k

k|¤Æ;s©
:*580[M 6N
:*580[M 6N
G

G

c6=?*h 6
c6=?*h 6

GT=?>+[56N 2
G
l

G cH[56N
2G
l
Dimensions of ILP
|||¤<¡£¦«¥¤O|k¥£-,.,H|¥¡£,H s'U\s1s¡£|U|||¤<¡£¦«>qskIR
|¥¡£H , '¤qs J|¦«|.s|¥k<«£sm|P,H|k|Rk¡'s¢is±¡£|<
¤qs qsk@¦¡£|k|¥U¤|¤M¡' Ë , |¦¡£|'¤|¤M¡£ |k|¤q ¡£,b¤ R
|\|¡£|< , q.kO |ksJ¡£|¡££s||¥Ë0/|-H , |1¡£ Jg¥¦«AJ<¢tk¡£|
qsk||¥A|k¤k ¡£¤Æqsk|k , q s¤¤M¡Ë0/|-H , ||H |
|¤kH, ¡Æs1qsk|k,~%|k\b||k|¥;¡£|Aqsk||¥;|k¤k1;qsk|
, q k¦ s £s¤@¡£/«k¦¢»¡£|H«ss|¦¡ ;s¢1¥|£s ° ¡£|gs|&)
¤ skk¦¢».0/|-H, |O¥|£ ¡£/§¡£|gqsk|~%|qsk|%%¤qsA¡£ R
s¤<¡£¦«1Ë¡£|R¤qskOs|@|IR ¡££s¤<¡£¦«1s¡£|OksRs¦s>qsk| , q
¡£¡£)qskA¤|¤M¡Ë¢tk, k¤£ ¡£¤Æ ¤qss¤¤M¡@s |¦¡£ sRJs¡£| R
k ¡£| O|¤Æ¡£|k<«k ¡£|Hqsk||¥/|k¤k/~%| ¡k¡£
¡£,HLskg¤qs.¡£|§k<«kk
2L¦¡£||¥¡£|k;|P ,H|k| sk)|k|¤|/||J||¡qO0/M¡£|¥
ªi¨¡£ ,HLskgk¦¡£ ¡£) ¡%¡ U ||s¢ ¡£|gkJ¤<¡£k ,/ 21¡|g|;sk
¡£¤Æ |I R ¡££s¤<¡£¦«%¡£ ,H¡£ ¡bqsk@k|¥1|k|¤q ¡£E¢tk , k¤£ ¡£¤Æ\
O|g ¡%¡£|s¡£|Oskg¡££s¤<¡£¦«s|/|¤k ,H¡Æs\¡£|§k<«kk%¡£ ¡
qsk ,Ë|¦¡£|4|k|¤q ¡£ O|¥.®>. QsM¡ Î &EU ¤qsR¡£| Sk¡

'

¡ Js¢R ªi¨¡£,H@¼<ÃLÌJ¸»Á,¸±¶£ÂsÍ¯²£½iÀ É(É<· ¼<Ã4É%s|A¡£|gk¤|/¡ JH¸»³· ¼<Á
Â¶<·¹¸»ºs¼Ë²£½iÀ (É É<· ¼<Ã4É< ~%| k¤| ¡ JHs¢1¡£,HË¤qs s¦¡£k ¡£¦«¦J
k<¢tkkA¡£ s¸»³m¶<Á£¼<Ã ¼<³·}ÂsÍ¯²£½iÀ (É É<· ¼<Ã4É<
¡££s¤<¡£¦« ªi¨ ¡£ ,H#|¤|| / s|kA B%± 2 Q#+>
M- ,.,ËM¡s| (1s| k B1± 21ªÏ ~ ®> QsM¡s| (UkM|¥| B
®> QsM¡Ls| (UkM|¥| &s |k¤kJ/skË§®> QsM¡ Î & ,
2U Mª /|¥¥<¡£/s| (U|¡£|@ BB s|/s¡£|s||ks¤Æ|sk)
«¡£|¥OkkM¡£ QOM«k|M
1 ¡£ BBM B ± ¡££s¤<¡£¦«b ªi¨
¡£ ,H¡ |¤qs¦/qsk|T S|¦¡£|>s¢ ,Ë|¦¡£||k|¤q ¡£>¢tk ,T.? , s
k<¡>s¢E0 /|- ,H|Ls| O|k¡£H¡£||k. >/¡£|s¡£|s|\J ,H|k¤qs
ªi¨ ¡£ ,HH¡ |¤qs¦qsk |T S|¦¡£s¢ k|¥§|k|¤q ¡£A¢tk ,
sk¥¤¤<¡£/s¢b0 /|- ,H|L~%|>¤ skLs¢b ªi¨ ¡£ ,H|¤|| > ª
|| s *± , > ª ®@° ¬ kkbM ± Mªi /|¥¥<¡£@s| |¥
* ±ªÏ . -> ªiq«£|¤g
¬ <¡Ls±1M± 2 Q 5-> MkJ|/ & ±<¡£¤s
~%|4J , s|¦¤|¤k|O¦¡£ ,H|k¤qs ªi¨¡£ ,H4O|¤Æ
skqsM k|Y¡£|ËJs¡£¡£ sb¢tË|£s¤<¡£¤qs1s||¤q ¡£|¨Rs¡@ s¢O¡£|
JH¥¦«Os§««<os¢i ,H|k¤qsJ ªi¨¡£ ,H|O¦¡£As§ ,H|sk1
ªÏ . ->As|$ > ª
1.5 Imperfect data

k O|k'¡£ ¡ s|
~%|Ë|TS|¦¡£)s¢¡£|Ë|||¤<¡£¦«4¤|¤M¡gqsk||¥ ¡ÆskA¢tk,T¤<¡£¦
s¥kL§s0 /|- ,H|'¢tk , UU<«| |£s¤ R
¡£¤%¦¡ , q@s|J ¡£ ¡¡£| k¤<¡'|k¤kM¡£|'s| ¡£|¤ skk S¤q ¡£|
sJÏ|kk¡£@¡£s@|||¤<¡£¦«Uqsk||¥L¡£ , ¤¡Æs4«ssk|R||
s¢bkkkm¦¡£|L£s|| ,3L¡£ , ¡£¤s> ;k|¤Æ ¤qsk\UË£q/¡£ ¡>¡£|
$
qsk|EsR¡£|qsMO¦¡£§¸»ÃLÌ¼<Á "q¼Æ¶<· ´Âs·}ÂsR @¡£|R¤qsks¦¡ , q4J%sM«ss¡Æ R
¥|%|s¡1¡£@|k¡U¡£ ¡ s| Ts¥k>Asm0 /|- ,H|U¢tk , U 2 «
|k£s|%|kJ¡ s¢ÏsH|||¤<¡£¦«Oqsk||¥¡£ , E¡£|H¡£|s|¦¡ ¡£
q« ¡£|H ¤<¡£4s¢1P ,HJ¢t¤<¡g ¡ÆA |¡£|¥|k||¥§J<¡ U ¥||
k¥| sk¦¡£1.¡£|g0 /|- ,H|s|/k¥| sk¦¡£U||¡£H¤Æs|¤%kk
1 | qsk||¥A|T S|¦¡£|s¢1k ¡£|\¡£|@¢tO|¥.||s¢U ¡Æ
P ,HJ¢t¤<¡£Ask|ks¦.|¤|¡£k ªiq«£|¤ ¬ s|)®@° ¬ kk & ±©
|ks ± s¦ £s||,okkkÏ¡£|¡££s||¥10/|-,H|is|s¤Æ¥k||
|O|¥s
|k H
' ¤¡£¦/¤«k 0/|-,H|4ks¤s\± s¦J¡£ kskk4¡££s||¥ 0/R

-,H|1¢tk,YO|¤Æ/¦¡O%| 'H¤|¦¡1¡£Hk s|¦H|<¡£¤<¡L¤kk ¡£|
|0/|s¤<¡£|ks± s¦ s||k|k ¡£RÏ|k 'H¤¡i|k¤kM¡£g s|¥s¥
O|¤Æ@|E|s¡E¤¡Æs@sË0/|s¤<¡b|k¤kM¡£Ës¢¡£|U¡Æsk¥<¡E¤|¤M¡q
s|
,Hkk|¥Ë«ss|%§¡£|¡££s||¥@0/|-,H|
ªÏqsk||¥ ¡£,HO|ks¦.q«@k|¥ ,H¤Æs|?,Y¢t%|qs|¥4O¦¡£
¡£|Sk¡L¡£|k4¡ J>s¢P ,HJ¢t¤<¡ ¡ÆM>|¤Æ8,H¤Æs|?,HJs¢»¡£;¤qs

³m¾ ¸É(¼ ±Ç|Âs³J´MÍÎ¸»³¿;Ã ¼Æ¶ÆÇ|Âs³¸É<Ã4É<Esk.¡ |¤qs¦ |k¥| ¡£|k<«¡ ¡£|§I R
*
||¤Js¡£|k ¢tk ,G¾ ºs¼<Á ·¹·¹¸»³¿E¡£| ¡Æ%k<¡ U± s¦¡£q«g¤|¤M¡
|k¤kM¡£| O|¤Æ)s¥kgO¦¡£ J¢t¤<¡£¦AA¡£|g¡££s||¥@0 /|- ,H|
|M¡.Jk¦ ||k 0 /|- ,H| 2L¤¤k||¥¦U¡£|;¤ ,H|<¡£|k§s|
¤|k¡£|¤<H¤k¦¡£k > ¡£|O|T S|¦¡£ s¢m¡£|O|||¤<¡£¦«qsk||¥>¡Æsk@|
¡£)JHk + /M s| k| s¤ ,Hk ¥|£s Os¦¡ ¤k¦¡£kO|¤Æ
U|4s ¡£|'Js¡£|ki¡£ ,Hk¤ skk¦¢»Lk ,Hbs¢¡£|b¡££s||¥%0 /|- ,H|
/kk|¥@«ss|sk|ks¦.s||A/@ks£ ¡£ ,H¤Æs|? ,/
|¤¤kkkRs¢ ® %%s| 2 / s ¥|¦ 2| "~ 2>~ 2U¡£|§<¡Ls±1 B3 ±
21 & 2U sk.s|)|<¡k¡ B 2U sk.s| (UUM s| 2U|' /
|| s %Eq«@Jk|¤¤k¢t|¦s||)¡£§ O|4£s|¥Ës¢bkqs R
¦¢tb| , s|Rs|Ë|¤||'k<«£sM¡£¤Æ||P O|E¢t s|||¥P ,HJ¢t¤<¡R ¡ÆM
~%|kL|¤||%|k|||¥ |k R |k|||¥s|HJ¡ R |k|||¥ Rs¢\|¤k@¡£k
s|.¡£|L|ks¢ik¥| S¤qs|¤¡£¡£% k|¡£k||¤q ¡£\@ QO¤¡£¦|P ,H|k«
|ks|¦¡ ¡£P , ¡£ 2U¡£|; * gq« Jo|k#¡£|s|¤ ¡£|
¡£¤Æ||P O||k #¡£k|k|||¥ 2U¡£|As| (U£ ¡£sAM @s|ok|
¡£k||¤q ¡£ 2U sk.s| (UUMs¯®@° ¬ kkÏ<¡Ls±1 &s±
-¡£Ek¤¡£¦ k ¡£;qsk||¥§¡£ ,Hs J ,H¡£¦;s¢U¡£ R
s¤<¡£¦«s|.|¤k ,H¡Æsm ¡£|ksMk¦|¥Ë§Ë? , s¯k<¡%s¢i0 /|- ,H|~%|
0 /|- ,H|4s J skk ,H ¤kk¤<¡qbs4U1s¡£|§s|Uk@|k«|
¡£|>£s¤sE~%| ªi¨¡£ ,H%|.|s¡Os||kk1¡£|kk|>s¢ ¡Æ4P , R
J¢t¤<¡£\%U<«mO¦¡£A¡£|ËsM«¡>s¢E ,H|k¤qs\ ªi¨ ¡£ ,H¯O|¤Æ
kqs¤Æ| ¡£|%¡Æs¥%s¢J( 'H¤|¤<4O|ks||¤q ¡£¡£|£s¤<¡£¤qsM| , s|R
¢tqsk|s¡£|>¡£k¡O s|||¥ËP ,HJ¢t¤<¡U ¡Æ4. ªi¨ |¤kqsk\b~1U
k¤¡ k ¡£ qsk||¥¡£ ,H > ª s|ªÏ . ->J|¤||§k||¡£ R
¤q ¡£g|k R s|||¥ ,H¤Æs|? ,H ªiq«£|¤4 ¬ s|/®@° ¬ kkb & ±" 2 J¡ R
|k¤kk|¥ ,H¤Æs|? , sk k||¤kk |k|||¥ sHskJ
|k 521ª ¨R °° s|i<¡Ls±1Ms (Uk||As|/¨R °° s|bM ± s

$
0/¡£|k ¡£ > ª ¡£ ¡g¤,Ë||,H|k¤qsRs| 0/M| s ¡£IR sk R
sk||¥| (Us¡k¡£, R | ªi¨ ¡£,H s ¥|¦82U Mª s|>Mªi >¤qs P, R
| ,H¡|k R s|||¥LË|k|¥g ,Hqsk|k1s¢JM¢t?, ¡£¤,H|kkk\
s§s||ks¤Æ§k¤¡£¦ sJ£ ¡£. /|¥¥<¡£.<¡%s± Î& \s|Ak| R
«ss£s/<¡Ls± Î &±
>|@s¢b¡£| , s;¤|¤k|g|LUk) ªi¨#sJ¡£|@|<« R
,H¡Ës| |k s¢%|k R s|||¥.¡£¤Æ||P O|Ë ,H|k¤qsE ªi¨ i~%|k
kk|Lskgs||kkk;§|<¡Æs\/¨Rs¡ k Us¢ ¡£|gJ¯
1.6 Applications of ILP

2L P,HJ¡Æs¡.s||¤q ¡£ s¢g ªi¨G |O|¥s¤O|k¦¡£ k¤|
¥|£ ¡£ 0/MJ¡Ë¡£H
, RO|¤Æ |k. Sk¡ R k|k|kk¡Æ ¡£ s|
Jkk|¦ )| H , |'s¢1¡£|.|, s\ 2|«'¡ J.s¢s||¤q ¡£
|O|¥1|k¤«ËË ¡Æssk ¨ ¡£<¡£kËs| £qO<HM£qO<
<¡.s± M ± Rs¦b ªi¨ ¤qsJ/|k s ¡£1 «ssk| ¡£|Hs¢
k¤¡£ S¤ |k¤«s ¥|¦ ¡£| ¢t? , ¡£\i|k¥s¢%0/MJkP,H¡£Ës|
¡£|.«k S¤q ¡£ ®> QsM¡g %±
~%|4k¤<¡£|k | M¡£|g¡£| k s¢% ªi¨ |O|¥.s¤ O|k R
¡£\J|O|¥Ë|k¤«;; ¡Æssks|;k¤¡£ S¤Ë|k¤« L¡£|
s||¤q ¡£|4sk§|¦ |k | ,H¡£| |ks 2L ««< s¢k<«£s
¡Æ ¡£ R s¢ R}¡£| R s¡% ªi¨ s||¤q ¡£|1%¥¦«/A¨Rs¡ k k Us¢ ¡£|gJ¯
Knowledge acquisition
~%| , s |k|, ¡£@JL¢¹s¤§O|A||||¥40/MJ¡O¡£,H%U¡£|s¤ R
O |k¦¡£Hs¢i|O|¥s |O|¥>s¤O |k¦¡£ ¡ÆssOs¡Us¢Ï¡£PH
, k|¤
¦¡L|¤k£s)¡£ |k«@s|;¡£«< |, sA0/MJ¡£LO|§sk4s¢»¡£
|s|>¡£@¢t?Ë , | ¡£L¡£|%0/MJ¡£kg/Ë¢t?
, k|¦¡Æs|>¢t , s¤Æ|||ks
~%| |k|, @|O sË¡£| ³m¾!%Í¼£´¿¼/Â¶£Èµ¸É<¸»·¹¸±¾ ³ ¾ ·¹·¹Í¼<³m¼Æ¶ )R
¤Æ||)qsk||¥ ¤¡£k|M¡£ ¡£ ¡£|/O|||¥ s¢>¡£| Js¡k¡£|¤Æ ¡£|
|<« ,H¡;s¢4¡£§¡£ ¡)skk¡s| s¡£ s¦ sM¡£, ¡£¡£| |O R
|¥)s¤ O|k¦¡£ |k¤k ¡Æ ¡£ R s¢ R}¡£| R s¡@|||¤<¡£¦«Aqsk||¥;¡£¤Æ|| R
¥s)¤qs J@|k¡£A¤|¡£k|¤<¡g0 /MJ¡g|O|¥ sk ,Hk4 ¤<¡£¦«¦
¡£s¡££s|¦¡£sO| s¥| R sk¡£¤Æ||P O|.¢t |O|¥ s¤ O|k¦¡£
(U£ ¡£s/ & ± 2U|kk¡£¦b¡ U ¡£k|| q«AJ¤ ,H§|k ,H|¡@¡£|
kkJ¤<¡q

>¡£|'|bs|\s|||¤<¡£¦«'¥¤E|k¥£-,.,H|¥1i¤|¤k|4O¦¡£¡£|
|ks¢ ,Hk%JU¢t|¯¤|¤M¡U|k¤kM¡£ s|¥s¥¢¹s¤¦¡Æ ¡£|¥¡£|O|k
s¢R| , sIR kJ¤ S¤>|O|¥ .¡£|%1¡£| , s§kk|s||kkk;.¡£|
J¯# ªi¨G¤qs J)|k ¡£sM¡£, ¡£¤qs¦ ¤|¡£k|¤<¡§|O|¥;sk
¢tH0 /MJ¡§¡£,H.sk | s| Os¦¡Æ ¡£¦« ,H|U¢t O|¤Æ
|kJk¦¡£smqsk||¥4¡£¤Æ||P O|>skg|s¡Ok 'H¤¡q
2L) ¤<¡£¦« ªi¨|O|¥4s¤ O|k¦¡£.¡£Ï1¡£|¡£ , ( 2>ª
/k)Ms <¡ ° s| 1 kJE & ± ( 2>ª |¤|| ,H|1s¤ R
O|k¦¡£ ¡£mO|¤Æ/s|¡££s¤<¡£Ok| ,H|U¢tk ,k|@k¡%¡Æ+ /M| ,4
¡£iO|¤Æ¤|¡£k¤|¡Æs¡¡£? ,H>¤¤|kk|¥§ssk¥ ,H¡£>)¡££s||¥
0 /|- ,H|s|AË|k|¤q ¡£>¡£k|¤<¡£|k|¥Ë¡£JO|¤ÆAs|¡££s¤<¡£%k|>k<¡£1¡£
¡£J¥s§|£sk¤Æ 2L|s¡£|Lqsk||¥Hs||k¡£¤4¡£ , ¡£ ¡L¤qs;J
|k sËs ¡££s¤<¡£¦« s ¢tg||||¥/s|kT S||¥)/|O|¥ sk
@®> 2U ¨bªi ~ ¤|¤ s| |£ ¡£ *UO|¤Æ s4¡£|k§¡£¥£ ¡£
qsk||¥ ,H||1 |O|¥)sk)¤|k¡£|¥ s¢gs¤<¡£ ,H|Hs|
k¤<¡|O|¥4s|)sA0 /MJ¡L¡£ , k|±
> ¡£|>s¡£|Us|\Mk¥| S¤qs¡U ¡1sUJ§|<«s¡£§¡£¡£|>|<« R
,H¡Us¢\¡£¦¡£bs¢Ï|||¤<¡£¦«qsk||¥g¡£¤Æ||P O| /k.<¡s±%M ±
}¡As.J#k¤¥| ° |k<«|k¦ ¡£|0 /MJ¡A¡£ ,HA¤ ,.,Ë||¦¡
¡£ ¡.¦¡ sk¡£k¦«)¡£|)|O|¥s¤ O|k¦¡£|k| , |k|¥
| ||¦«|s¡£¤Æ||P O| s| ¡£ ¡/¦¡§ ,Hk s||k|k ¡£;¡£ q«
¡£¦¡ 's¢¡£¤Æ||P O|/s|#k¤<¡A| ,Hks¢g¡£| , s¤¤k||¥¡£
¡£|§ ¡£|k§s¢O¡£|§| , ss| ¡ J§s¢|O|¥A|||@«¡£¥ ¡£
Ls? ,HA<¡Ls±1 BB±;~%|< , s¤Æ|| qsk||¥)¤ ,.,Ë||¦¡ sË¤ ,HH¡£
¡£| £- ,H ¤|¤|k|ËO|¤Æ¡£ ¡£| )s¤Æ||ªÏqsk||¥ ~ J /
)ª~ %'M¨ QO ~¨kk¤<¡>¨ & / |£ ¡£ <¡Ls±1 & sP ,HA ¡|<« R
||¥ UkJ|¤Æs¢ , s¤Æ||qsk||¥@¡£|¢tk , O|¤Æ;| ,Hk
¤qsJ§k¤<¡£ k|Ë¡£ S| ¡£|AJ¡HkM¡£¡£ kJ¤ S¤A|kI R
,/ ~%| Ã@µÍÎ·¹¸É<·¹ÁkÂs· ¼}¿ Í¼£ÂsÁ,³¸»³¿§s£s|¥ , s sk ,Hk¥k¤¡£¦
/¤Æskms| ~ ¤|¤RM ± 2 ,Ë|¦¡£¡££ ¡£¥s@qsk||¥¡£ , ¡ |¤qs¦
¡£¥£ ¡£>¡ U/ ,HkËM¢tk|¤@¡ J s ¥|¦i|||¤<¡£¦«sÏ|||¤<¡£¦«sRsI R
||¤<¡£¦« %s|& ) O¤ ,H|M¡Æ ¡£s ,H¤Æs|? ,H
~%|'ªÏ . ->>«k ,H¡ ªiq«£|¤
¬ <¡s±%M|kk¡£4>¡£|ÏJ
¡£¥£ ¡£L«ssk| ¡k¡£k|M¡£ R}«ss||||¤<¡£¦«@qsk|kLO¦¡£|.¤ ,.,H
ªi¨ ¢t£- ,H<Uk¯ }¡@¤qs ¡£| J.«<Us@;¡£¦¡4s¢qsk||¥)¡£¤ÆI R
|P O|ikP ,H s%¡£$ )ª~Ï~%| qsk||¥.¡£ ,Hg;¡£|@¡£¦¡>sk §| R
¤k ¡£k |||¤<¡£ ¡£ , s| ¡ Uk|H|||¤<¡£ ¡£ ,H;ªÏ . ->

$
¤ ¡£k|M¡£b¡£4 ¡k¡£k|M¡£ R}«ss|%qsk|k¡£| ªi¨ ¢t£-,H<Uk4O|¤Æ.sO
¢tRqsk||¥Lk ¡£|R4¡£|1|kk|¤Os¢Js¤Æ¥k||@|O|¥s~ ªi¨
->|k|¥L¡£|@¡£¤Æ||P O|g¢t>s|||¥§P ,HJ¢t¤<¡ | L ¡ÆAs|
ªÏ .
¡£|gJs¡£¡£ sm¢t%|£s¤<¡£¤qsÏs||¤q ¡£|
Rs¦i<¡| ,H¡£ ¡£ ¡¡£|H ,H|k¤qs ªi¨ s||ks¤Æ ¡£)| R
|¥s¤ O|k¦¡£ ,Hks||k|k ¡£¢tU| , s|'O|kk ¡£¦«¦ U
¡Æs|k|A| , s s¤Æ¥k|| 1|O|¥g%q«ss s|LAs||¦¡£ ¡£
sk¥. ,ËJ s¢0 /|- ,H|@s¢>k|¥.¤|¤M¡q @| , s|4O|k
,Ë|¦¡£|§¤|¤M¡£ q«)¡£ J)s¤ O|k s|¦¡k¡£ Jkk|¦ |¤kk¤<¡
s¤Æ¥k||H|O|¥Oq«ss s|s ¡£|%¡££s¤<¡£¦«% ªi¨ s£s|¥ ,k ,H
¡£ J ,Hkgs||k|k ¡£s
Knowledge discovery in databases

|O|¥L|k¤« H ¡Æssk1b¤|¤k|.O¦¡£H¡£|L|I R}¡£k¦« s0 /R
¡££s¤<¡£s¢'P,H|¤¦¡q¯|k<«|k¦)|||O\Rs|Js¡£¡£ s¦/|k<¢t|M¢t R
, ¡£)¢tk ,T ¡Æ§¡£k ¡Æssk £qO<;<¡s± MÏ¨ ¡£<¡£k
s| £qO<M ± £qO<.<¡Ls± ÎM Ï||¤q ¡£L¡£ ¡O|gs¢ ¡£| , s
|k| ,H>;|O|¥@|k¤« ¡ÆsskL¡£|@|k| ,3s¢'|
¡ÆM 2L¡£| , kk¦¡ )s¢U|£s¤<¡£¤qs¦)s||¤qs|Ëqsk||¥§¡£ ,HO¦¡£
|k R s|||¥1¤qss|¦¡£msk ¡k¡£k|M¡£ R}«ss|Eqsk|k kkqsk¤Æ| R
|¥L|k¤« ¡Æssk1s , s|¦4¡Æss§| s¤LH¡£|>¤¡£0 /¡%s¢i
k|¥1k ¡£\ sH ¡k¡£k|M¡£ R}«ss|U¢t£- ,H<Uk¯E~%|O|k| , s¢J|||¤ R
|¥¡£|ksk ¡£g|T S|¦¡£|i¡Æs|¥L¡£Ls¤¤|¡R¡£|U|J|||¤
s¡£|'k ¡£|s'k¤¦«§ ¡k¡£¡£ |¦@ ¡£¦s'|s¢m¡£| , s
kk|Ls||kkk)A¤|kk¡L ªi¨kkqsk¤Æ\
2U|kk¡b ,H|k¤qs ªi¨ ¡£ ,H'skqsMk|¡£|1Js¡£¡£ s¢tR| R
|¥|k¤«/¢tk , sk¥g¤¤<¡£|Os¢E ¡ÆMO@ ,H|k¤qsÏ ªi¨ ¡£ ,H
k|¤Æ;s > ª Mªi 9s|)ªÏ . ->J¯skgskqsM.( 'H¤¡||¥A¡£ J
s||>¡£%kqs R ¦¢t | , s| (U£ ¡£s/ & ±RU<«k|\¡£O|k¤«
¡£k|J|||¤b- ,H|¥| k¡Ek ¡£| ,Ë|¦¡£|b|k|¤q ¡£Uqsk|k
k||gJb|k<¢t£s|¦s||¡£%¡£|b|O|¥b|k¤«¡Æsk¯E8 /|- ,H|
s¢ ,Ë|¦¡£|.|k|¤q ¡£/qsk|k ¡£ ¡Hk| ¡£|/Js¡£¡£ s1¢t |O|¥
|k¤«Ask ( 2>ª )¨bª ®> QsM¡<¡Ls±1 %Ïs|$ 21ª 2 -L®> b
®> QsM¡Ls| (UkM|¥| %±
²,³J´sµ¶<·¹¸»ºs¼§´Âs·}Â ¼<³¿s¸»³m¼Æ¼<Á,¸»³¿sRs|«1s||¤q ¡£ s¢% ªiö¢t| R
|¥ |k¤«¢t¤|k/ ¡£| |||¤<¡£¦« |k¤«#s¢Ë¡£¥k¦¡ ¤IR
¡££s¡£ kP ,H s@s 21ª 2 -L®> b sHULsH ¡Æ ) |O|¥)sk

, s¡£s|¤ ) |k¥§As¤¤ks|¤O¦¡£.¡£|kg¤|¡££s¡£ R s¤Æ %±
Scientific knowledge discovery

~ |kË0/M¡£Hs£sÏJ<¡ U¡£|4|k¤«;s¢k¤¡£ S¤¡£|k>s|
%
¡£|¤|¡£k|¤<¡£gs¢|O|¥bskÏ¢t\0/MJ¡ ¡£,H ®> QsM¡%±
~%|O|k¤« |k¤k' gk¤¡£¡'s| ¡£|%|O|¥Ls¤ O|k¦¡£@|k R
¤kA@|O|¥|¥|%|ks¦.k¦./@ ,ËJOs¢R|k«s ¡£|
%0 /|- ,H|1O|¤ÆA¡£|<§¥|£s ° >|k|¥ |O|¥sJM¡%¡£|g| , s\
~%|kk|¦¡bb¡£|ËO|¤ÆHb|¦¡£ s¦|||O.s|H¤qsHJO¤|k|k
@|<|¤gO@|<o¢t? ,Ë| ¡£.s¢R|O|¥sb A¡£|g¥|£ ¡£As¢E
|<#¡£|.¦¡U1|k<¢t|m¡£@J¢t? ,Y0 /MJkP ,H¡£UO|¤Æ§U|§¤ S? ,Y
¢¹sk¦¢».¡£|4¤|kk¡£¦/||¦¡%¡£| 2Lk|¡£|4¥|£ ¡£)¡£|/A¢¹s¤<¡
Js¡£|kO|¤Æ;sO¡£HJg¡£|k|¥|¦.¡£¡£\O ªi¨ ¤qs)|A¡£|4k¤ R
¡£¡Os|.¡£||O|¥|¥|1§s¯¡£|>||¤q ¡£.|skOs¢Ï¡£|
¤|¡£k|¤<¡£\
ªi¨¤qs/Jg|k)§¡£|¢tO|¥4¡Æs¥s¢Rk¤¡£ S¤g|k¤«J©
A¡£|,H|k¤qsmO¡££s¤<¡£¦«¥|£ ¡£/s¢E¥|£si¥¤qsJ¡£|R
k1¢tk , kJ¤ S¤g|k«s ¡£|
§¡£|¡££s¤<¡£¦«g¥|£ ¡£As¢R¤k|¤ s\0/MJkP,H¡£%O||k¤«R
k|¥H@¥¤qsJ¡£|¯s|
¡£| ¡£, ¡£¤ ¡£¡£|¥)s¢O/¥¦« ¥¤qsR¡£| |kJk|¥
¤ k|¤ s0/MJkP,H¡£\¡£ ¡ÏU|¢¹sk¦¢»¡£|E¡£| ®>
Q sM¡%±
~%| ¥|£ ¡£os¢ ¥¤qs¡£|k/¢tk, k<¡£s¢ |k«s ¡£|;¤qs
J J¢t?,H #Js¡£#,H|k¤qss| ¡££s¤<¡£¦« ªi¨ ¡£,H ~%|
,H|k¤qs% ªi¨G¡£, Mªi skqsM ¥|£ ¡£¡£|kHO|¤Æ sk
,Hqs||¥s¢t||¡£4k¤¡£¡£1s| q«>J.|||k| k¤¡£ S¤¦¡££ ¡£|k
/|¥¥<¡£A<¡Ls±1 &s |¥@<¡Ls±1 &± L¡£|R¡£ ,HR¡£ ¡EskqsM
k| ¡£|Js¡£¡£ sms¢ ªi¨ ¢t%k¤¡£ S¤|k¤«.¢tk , ¡Æ4O|¤Æ , q
¤¡Æs |kOsk > ª s|. , > ª Rs|HªÏ . ->J~%|skJ¤<¡'s¢m¥¤qs
¡£|Ë¢t? , ¡£Ë|k|¥ ,H|k¤qsM ªi¨ ¡£ ,H' sJ£ ¡£Ë¡£|k|¥|M¡
¡£|%J¯
~%|k¤|Hkk|s¡£|O|k¥ s¢m0 /MJkP ,H¡£b||k|¥k¤¡£ S¤O|k¤« R
is||kkk ;¡££s¤<¡£¦«@ ªi¨ ¡£ ,HË ¡£|>¡Æsk)¦¡>P ,HJ R
¡Æs¡'¡£ ¡1s0 /MJkP ,H¡£UJ¢t? ,H.skk<«ss¡1s| ¡£ ¡b¡£|<.s||kk

$
| k¡ k<¡k¡£|¥@0/M| s| ¡£|.¡£| 8/|-,H|@s¢ ªi¨¡£,H
J s¡£¡£ s¦As||¤qs|¢tO¡£|O¡Æsk)sk / )s| 21ªÏ ~m~%|4¡£|k) R
k|sJ¡£|¡£ , ¡£¤¡£¡£|¥ s¢HJs¡£|k ° ;¡£|A¡£ ¡¢¹sk SO¦¡
s¡£¦¤ S? ,H ¦¡qb¤qsskJ/s||kkk ¡££s¤<¡£¦«§ ªi¨ ¡£ ,H
®> QsM¡<¡Ls±1M ±
Other applications
2 H
, |¥>s¡£|R ªi¨ s||¤q ¡£|iU Sk¡bq«U¡£ ,H¡£¡£|1ks¢»¡ 1sk%IR
¥|k|¥¡ÆskHs¢Ï|||¤<¡£¦«4Í¾£¿s¸±¶'ÌJÁ£¾£¿sÁkÂsÃGÉ( ³·»Ç¼ÆÉ<¸É<E .¡£|Us||¤q ¡£\
¡£|g¡Æsk§s¢s) ªi¨ qsk|O%¡£H|||¤4 ¥¤|k¥£-,¢tk, 0/|-,H|
s¢|k¥£- , Jq« 2L;|¦¡£ s±MJkk|¦A|¤kk¤<¡L|k¥£-,/, q/sk
J;¥¦«\ / s|kA B%±O|;s¢¡£|;qsk¡. ªi¨ ¡£ ,HO1s
|kP , sk¦s|| ¡£ ¡£|§|k| , s¥k¦¡£ ,H¤/|k¥£- , |||¥¥|¥ ,
2L|s¡£|Uks¢»¡ 1sk>|¥|k|¥Ës||¤q ¡£Hs¢Ï ªi¨ U|k¤kJ§< (U£ ¡£s
s|8 MkJ| Î % ±
2L|s¡£|H¡ J/s¢s||¤q ¡£\'¤qs ¸»³J´sµ¶<·¹¸»ºs¼¼<³¿s¸»³m¼Æ¼<Á,¸»³¿s' ¤I R
¤k| O¦¡£@¡£|%¤|¡£k|¤<¡£ s¢m ,H| ) |k¥Ës¢m|<«¤1¢tk , >kJ¤ R
S¤q ¡£ 0 /|- ,H|1s¢E¦¡£OJq« / ° <¡£}¤@ ¬ B3 (U£ ¡£sH<¡s±% B±
~%|%¡Æsk.Osk |O;s%|k¥A¢tk , Sk¡|k|¤|
(Us¡£ ,H|k¤qs1s| ¡££s¤<¡£¦«§ ªi¨ ¡£ ,HH¤qs JA|k ¡£|k
s||¤q ¡£)¡Æsk.U<«E ,H|k¤qsR ªi¨ ¡£ ,H4sk ,Hk s¦/¡£
Js|| |£s¤<¡£¤)¢t ¡ U kqsk| Rk¡q%¡£|k< ,Hk)0 /MJk R
|¤ O¦¡£ qsk||¥§k|¥@¤|¤M¡£g¢tk ,T sk¥@¤¤<¡£|>s¢U ¡Æ.¡£s
O¦¡£/|k¦«|¥ |O|¥4skO¢tk , ? , s\ ,ËJs¢E0 /|- ,H|%¤ R
|\O ,H|k¤qsO ªiŸ¡£ ,HAsk8 ,Hk)( 'H¤¡AJ¤qs|ks¢¡£||k;s¢
||k¡£¤J¤qs|k¡£|k.| | ¡£¡Æss¡£ s¤¤|¡A|J||IR
¤L- ,H|¥H| k¡L¤|¤M¡£\s|/J¤qs|kË|H0 /|- ,H|Lsk¥|£ ¡£
®> QsM¡Ls| (UkM|¥| &s±
<«£sis||¤q ¡£|U|¡££ ¡£O¡£|Js¡£¡£ sms¢ ªi¨§qsk||¥4¢tk,
kqs R ¦¢t ¡ÆM~%|kAs||¤q ¡£||¤||.qsk||¥ Os¦¡Æ ¡£¦«. ,H|
¢tk , £- ,H|'Jq«k (U£ ¡£s><¡bs±bM®@° ¬ kk|s| (U£ ¡£sË &s ±
|||¤|¥¡£ ,HJ£sUk|@¢t@£ ¡£¦¡£ ¢¹s|¦¡ | s¥|k |¥/M ±'|k R
|¤<¡£|¥k¤|s ¡£k|¤<¡£|k s¢|ks¡£| /|¥¥<¡£A<¡Ls±1 &sgs|
S|¦¡£Ë ,H¡ ,Hk|k¥ ®>¹£¬ s.s|$ /|¥¥<¡£ &\®>¹£¬ s)Ms
®@° ¬ kkis|)®>¹£¬ s)M ±O ,Hs¢R¡£|kËs||¤q ¡£|OskM¡£|/
¨Rs¡ k k 's¢ ¡£|gJ¯

2
Inductive logic programming
|||¤<¡£¦«>¥¤%|k¥£-,.,H|¥sU¦¡£b¡£|k<¡£¤qs¯ks¡£' ¤,H|M¡Æ ¡£s
¥¤ ªÏ *±E~%|1¤ÆsM¡£1¡Æs|k|'¡£|>sk¤¡£?,H|¥s@|k
¥¤U|k¥£- ,.,H|¥>s|H|||¤<¡£¦«O ¡ÆsskUs|@¢t? , s¦g|T S|'¡£|
¡ÆskOs¢ ,H|k¤qsJs|A¡££s¤<¡£¦«>|||¤<¡£¦«¥¤|k¥£- ,.,H|¥| }¡sk
¡£k||¤ 1qs¢¡£k|¤<¡£|k|¥ ¡£|/kqsk¤Æ ks¤)s¢|k¥£- , ¤ s|k
sk ¡£|k R ¤qs R k||k ,HM¡£Hk|k|¥gs¢\¤ s|k'¡£k||¤H
¨s¡£ Î 1 ±
2.1 Logic programming and deductive

database terminology
~ |'k¤<¡£ |k| ¡£k||¤b¡£|sk¤¥¤%|k¥£-,.,H|¥s| |||¤ R
%
¡£¦«) ¡Æssk/¡£?,H|¥s'O|¤ÆO%J)|k ¡£|k|¥|M¡ ¡£|)J¯
A¤ ,H|k||k¦« ¡£k||¤<¡£ ¡£/¥¤@|k¥£-,.,H|¥As| ¡£| |kR
¥£- ,.,H|¥. s|¥s¥H¨k¥|\U k<¢t¡£|Hkqs|g¡£ (U£ ¡£s Î * ±. 2L
¡£k||¤<¡£¡£ |||¤<¡£¦« ¡Æssk§¤qs J)¢t|| -P , s Î BB ±
2Y|<¡Æs ¡£|k<¡£¤qs¡£kq ¡ ,H¡4s¢%¥¤ |k¥£- ,.,H|¥As||||¤<¡£¦«
¡Æsskg¤qsJË¢t|| ªÏ Î B3±~%|@¢tO|¥ |T S|¦¡£|sk
s|k|¥§¢tk , ªÏ Î B3±s|§¡Æss¡£ s¤¤|¡¡£|¨k¥@¡Æ+ /m
2 Á£É<· k¾ Ák´¼<Á§ÂsÍ ÌÇ|Â ¼<·b¤|k¡£Ës¢1«ssk s|R|k|¤q ¡£ I ,ËJËs|
¢t||¤<¡£;I ,ËJ O|¤Æ|¤||Ë¤|¡Æs¡£, 2 º ÂsÁ,¸¹Â Í¼Lk|kk¡£
sH||J'¤qskL<¡k¡£¢tUH g¡£k|¥s¢\U'¤qskL<¡k¡£k's|& )
|¥¦¡£ 2 ",µ³m¶<·¹¸±¾ ³(É Ã ¾ ÍRH UH¤qsk)<¡k¡£@¢tU ¡£k|¥
s¢UU¤qsk <¡k¡£ks|& ) >|¥¦¡£ 2 ÌJÁ£¼£´s¸±¶£Âs· ¼4(É Ã ¾ ÍJg§U¤qsk
<¡k¡£1¢tUAA ¡£k|¥@s¢EU%¤qsk<¡k¡£kOs|& ) O|¥¦¡£

O| B 8.s|9

2 «ssk s|Ë · ¼<Á,Ã@Rs| §¢t||¤<¡£ I ,ËJbP ,.,H| ¡£¦A¢tU
§|£s¤Æs<¡£ R}¡£||Ës¢b¡£? ,H ¡£? ,/~%| 8
G
[ O ¡£? ,
[/sk>¢t||¤<¡£§I ,ËJ%s| %Ë«ssk s|s 2¤|¡Æs¡

U

L ¢t||¤<¡£)I,ËJis¢bsk¦¡ *MJ± s¦¢tU/;H|£s¤Æs<¡£ *R}¡£||gs¢
¡£?,H 2|k|¤q ¡£'I,ËJP,.,H| ¡£¦¢tU4|£s¤Æs<¡£ R}¡£||
s¢Ï¡£? ,HUU¤qs§s Âs· ¾ Ã@¸±¶ "q¾ Á,Ã@µÍ¦ÂsMÂs· ¾ Ã@@ (Us¡£ s|§¦¡£L³m¼}¿Âs·¹¸±¾ ³
sk@ÍÎ¸»· ¼<ÁkÂsÍ É'O||<« %s/ ¡£ ,H¤¢t? ,Ë| MR §¡£|1¤qsk 1¤qs
4Ì¾É<¸»·¹¸»ºs¼gÍÎ¸»· ¼<ÁkÂsÍ|s| %¤qs/§³m¼}¿Âs·¹¸»ºs¼gÍÎ¸»· ¼<ÁkÂsÍÎ
2 ¶<Í¦ÂsµÉ¼1OË¢t? ,Ë| Ës¢ ¡£|¢t? ,
S U+l l l S bU
l l l

O|kqs¤Æ
Ï%Ë¦¡££sms| S
G UGl l l G sksJ¡£|L«ssk s|U¤¤| R
k|¥Ë S bU,l l l
>@2o¤ s|k¤qs/skËJk|kk¡£;sO S|¦¡£>k<¡

Jkk|¦§,HM¡ %s¢E¦¡££sb~%|¡£|k<¡# S
GbU+Gl l
<G
SGl l l Ë¡Æs||

¢ti¡£|U¤ s|k SbUl l

S l l l ÏO|¤ÆË O|¦«ss¡£¦gk|kk¡£
s S
bU l l
1C
SeC l l l¦ /¡g¤,.,H|¦¯¡£|L£-,HË¤ s|kË
Ok¦¡k¡£As SGbU+Gl l
<G
SGl l l¦O|k¤,., s'.¡£|><¢»¡ R s|.k|
s¢ ||s¡£ | k||¤<¡£| s| ¤,., s¡£| k¥¡ R s| k|@||s¡£
¤k||¤<¡£| 2k<¡Ls¢E¤ s|kLO¤qs/¶<Í¦ÂsµÉqÂsÍÏ·»Ç¼Æ¾ Ás|/k|kk¡£
¡£|g¤k||¤<¡£As¢R¦¡£O¤ s|k
ªÏ¦¡££s¤ s|kHs| ¤ s|£sU¡£|k sk/s!U¼<Í»Í "q¾ Á,Ã ¼£´ "q¾ Á,Ã@µÍ¦Â¼
! ,'ªÏ< ¡ GJ@ %¡£? ,/'ªÏ<¡ BNHA U||s¡£g¡£|gk<¡Ls¢ «ssk s|
H! G%£s§¡£ J4¿sÁ£¾ µ³J´¦¢Es|A|¦.¦¢ «ssk |
7#!"F 2 K¾ Á,³#¶<Í¦ÂsµÉ¼@¤ s|k O|¤Æ ¤¡Æs| ¡ ,H¡@|
Jk¦¡£¦«¦¡££s±
" ;"9= 7#!"F 2´¼ ³¸»· ¼RÌJÁ£¾£¿sÁkÂsÃ ¶<Í¦ÂsµÉ¼ EL¤ s|k'O|¤Æ
¤¡Æs|%0/|s¤<¡£¦§|gJk¦¡£¦«¦¡££s±R }¡s%¡£|¢t?,
#
SGlll4G

O|k
G S
Glll4G
sk ¡£,H
~%|ËJk¦¡£¦«¦¡££s %;H|TS|¦¡£4|k¥£-, ¤ s|k4¤qs/¡£| Ç¼£Â´
s¢¯¡£|%¤ s|ksR~%|O¤k||¤<¡£@s¢J|¥ ¡£¦«%¦¡££s S
Glll4G
E¤qs
¡£| ¾q´ bs¢M¡£|'¤ s|ks 2k4¤ s|kbO¦¡£|LJk¦¡£¦«b¦¡££s Ë´¼ ³¸»· ¼
¿¾qÂsÍÎ 2 Ì¾É<¸»·¹¸»ºs¼'µ³¸»·Ï¶<Í¦ÂsµÉ¼mi1¤ s|kbs¢¡£|E¢t? ,$ ¡£ ¡Ï %|T S|¦¡£
|k¥£- ,3¤ s|k4O¦¡£ s ,HM¡ ;JMg ;¡£| ¨k¥ ¡£? ,H|¥s¯k|¤Æ
@¤ s|kg%¤qs/ "Â¶<·Ïs|/%||s¡£)kP ,H|¦ %

H
" ;"9= 2 k<¡Rs¢M|TS|¦¡£'|k¥£-, ¤ s|k Ï¤qs4´¼ ³¸»· ¼
Í¾£¿s¸±¶1ÌJÁ£¾£¿sÁkÂsÃ@
>|¦H ¡£ ,H'sk>sUHH¡£|LJM s¢Ï|T S|¦¡£L|k¥£- ,G¤ s|k ¡£|
| k¥£-,.,H|¥; s|¥s¥/¨k¥ (U£ ¡£s/*±U|U<«%¦¡££s@s¢L¡£|
¢t?,9³m¾ ·'½R¯O|k Ls ¡£,/JskËsU\O|k@>+O¡£k|k<¡£
|||%¡£| ³m¼}¿Âs·¹¸±¾ ³ Â (É "Âs¸»ÍÎµÁ£¼Uk| 2U sk; 3-B±
9= 7#!"F 2oÌJÁ£¾£¿sÁkÂsÃ3¶<Í¦ÂsµÉ¼1O@¤ s|kgs¢ ¡£|¢t?,
#
SGlll4G
&¦
O|k s ¡£,/\s| qs¤Æ s¢ SGlllG
>s¢b¡£|Ë¢t?, #
³m¾ ·½RMO|k Os) ¡£,/
! = 7 ;"9= 2 ³m¾ Á,ÃHÂsÍÌJÁ£¾£¿sÁkÂsÃO@k<¡s¢E|k¥£-,¤ s|k
I
" :
# 2oÌJÁ£¼£´s¸±¶£Âs· ¼4´¼ ³¸»·¹¸±¾ ³HO@k<¡Ls¢R|k¥£-,¤ sIR
kOO¦¡£§¡£|g£-,H|k|¤q ¡£gI,ËJ s|/sk¦¡ U§¡£|%|qs|
Ïª <¡E|E| |¡££ ¡£¡£|1sJ«1|TS|¦¡£| Ëk,HUkP,H|b0/|-,H|
~%|¤ s|k
:*580[M 6N G

c6=?*h 6
GT=?>+[56N
2G
O@|TS|¦¡£g|k¥£-,¤ s|ks|O|>¡£|g¤ s|k
:*580[M 6N G
@>+L=?*h 6

G cH[56N
2G
4 |?, s L|k¥£-,9¤ s|ks§~ ¥<¡£| ¡£|H¡ U)¤ s|k4¤|¡£¦¡£M¡£
|k|¤q ¡£g|TS|¦¡£As¢E|k|¤q ¡£#:*580[M 6NHR&b~%|O|k|¤q ¡£g|TS|¦¡£
Lsk |? , sÏ|k¥£- ,/%~%| Sk¡>¤ s|k4Ls;s||k<« ¡£;k|kkI R
¡Æ ¡£§s¢ ¡£|¢t? ,Ë|

©*:*580[M 6N G

c6=?*h 6
G
=?>+[56N 2
s|/¤qs)sk@JOk¦¡k¡£AAk<¡|s¡Æ ¡£/s
$:*580[M 6N
G

G c6=?*h 6
G =?>+[56N
2G
(U U|TS|¡£|kk¡£k¤<¡£A¢t?,H%s¢R|k¥£-,¤ s|k©
U

" 7#9>7#!"F 2 4Âs·}ÂsÍ¾£¿¶<Í¦ÂsµÉ¼iRO|k¥£-,¤ s|k'O¦¡£|¢t||¤<¡£
IË, J@s¢L|IR ° k sk¦¡ ~%| ,Hqs|Ë¡£ ¡ |¦ «ssk s|@s|
¤|¡Æs¡£¤qs/J|k;sO|k|¤q ¡£sk¥ H
, ¡£
F I
7#!"F 2 ¶Æ¾ ³MÉ<·¹ÁkÂs¸»³m¼£É¤ s|kÏ1|k¥£-, ¤ s|k>O|¤Æ
sJ«ssk s|%.¡£|gJMAskHs|Jqs%§¡£|g|qs\

! ) I!FG 6 87#!"F 2 ³m¾ ³ Á£¼Æ¶<µÁ£É<¸»ºs¼O|k¥£-,3¤ s|kË> |k¥£-,

¤ s|kO O|¤ÆH¡£|O|k|¤q ¡£IË
, J ¡£|O|qs |'|s¡Us|Jqs
/s§s¢ ¡£|g¦¡££sU§¡£|gJM
2 ,H|¥@¡£|P,HJ¡Æs¡1|<« ,H¡£§k ¡£sJ ¡ÆsskskH´¼(
´sµ¶<·¹¸»ºs¼.´Âs·}Â Â É¼ÆÉ ªÏ B3 -P, s;BBO|¤Æs¢tgJs¡£ 0/R
¡£|ksUs| ¡£|ks'|T S|¦¡£|s¢%k ¡£|§~%|.¥¤ |k¥£- , R
,H|¥4k¤Æ|\§|||¤<¡£¦« ¡Æssk ªÏ B3 Ïsk¥|1¡£ ¡%|||¤<¡£¦«
¡Æssk4¤qs J ¤<¡£¦«¦ k|kk¡£ s| P ,H| ,H¡£ |k|¥)¥¤
s| ¥¤@|k¥£- ,.,H|¥| ~%|H|T S|¦¡£|gJ sk ssM¡£ ¢tk , - R
, s Î BB is|/ªÏ Î B3±
<I7# # 2\R s#Á£¼<Í¦Âs·¹¸±¾ ³9a k <¡.s¢¡£||%± s¦% k||k<¡§s¢¡£|
21s¡£k s|k||¤<¡ s¢`#|, s |ES Uglll
M'O|k;
´¾ ÃHÂs¸»³ U · ÆÌ¼ 'gk<¡1s¢m«ss|E }¡U'skk H
, H¡£ ¡Uk ¡£
S |¦¡£||k¡Æ ¡£/s¡£|Oks
<I7# # 7
'"F 2 Á£¼<Í¦Âs·¹¸±¾ ³JÂsÍL´Âs·}Â Â É¼ Q® ( § k<¡As¢gk R
¡£|
2 k ¡£ ; ¡Æssk§Ëkk¡£ s¦ ¡£|.£-,HAs@;|k|¤q ¡£§
)¥¤H|k¥£-,/)~%|§sk¤ | k|¤.J<¡ U|k¥£-, ¤ s|k &¦
s| ¡ÆsskA¤ s|k &' & ,'|TS|Jg' ¡£|A|k/s¢¡ J 2
¤ s|kLO· ÆÌ¼£´L¦¢\qs¤Æ.«ssk s|Os|Jqsk|¥4 sk¥ ,H¡£Us¢Ï¤ s|k¦¡££s
'skk¤ ¡£HO¦¡£ k<¡Us¢m«ss|b¡£|O«ssk s|%¤qsH¡Æsss b0 /|- ,H|s
¡£|Ëk ¡£, h 4 B6'A 47 G
,JU , qA1s¡>¡£§kJ¤¦¢»A¡£ ¡ Ls¢¡ J
a16NHA+>' s|
G%s¢ ¡ J& 304 J
}¡'k||HJ%|s¡£ ¡£ ¡b¡ J'|k«|kP ,H|1¡Æs¤<¡£¤O1q s¢mkJ R
¤¦¢»|¥ k , s¡£¤4M¢t? , ¡£/s|;¤qs|¤kqsk¡£|Ë|||¤<¡£¦«@( 'H¤|¤kqsk¤ÆAks¤sb .¥¤s¡£|L¡£? ,H
É¾ Á,·ms|ÃHÂs³ ±É¾ Á,· ¼£´@Í¾£¿s¸±¶UskL|k\MO|kqs%.¥¤O|k¥£- ,.,H|¥g¡£|
¡£? , · ÆÌ¼L>|k |¡£qss¢%É¾ Á,· ªÏ B3 U@ORs|M¡>¡£|4¡£? ,
· ÆÌ¼<

H
" '"F 7#!"F 2 ¡Æssk¤ s|kgË¡ J/ÌJÁ£¾£¿sÁkÂsÃ3¶<Í¦ÂsµÉ¼%s¢R¡£|
¢t?/
, ©
# SGlll4G
& '&
O|k oOs/ ¡£, s| SGlll4G
skg¦¡££s
" I
"!" 6 8
'"F "" D 2|||¤<¡£¦« ¡ÆsskgO k<¡s¢%´Âs·}Â
Â É¼Ë¶<Í¦ÂsµÉ¼ÆÉ<
® ¡ÆsskA¤ s|k |k§«ssk s|@s| ¢t||¤<¡£ I,ËJ@ |k|¤q ¡£
sk¥ ,H¡£ 2Lgk¤|kk¦«H¡ JËs| k¤|kk¦« |k|¤q ¡£ |TS|¦¡£|sk
sU\1¡£|) s|¥s¥/ k||¡Æs¡£ s¦ ,Hk)0 /M|kkk¦«¡£s¡£|) sI R
¥s¥%s¢Jk ¡£s ¡Æssk }¢JUOk¡£k¤<¡b ¡ÆsskO¤ s|kE¡£gJ%|I R
k¤|kk¦«s|U>M¡Æs ¡£|L¢t? , s? , s¢i|||¤<¡£¦«|£sk¤Æ|¤qsJ ¡Æssk

" I
"!" 6 8J" # J" :7
'"F " " D 2´¼£´sµ¶<·¹¸»ºs¼'Ç¸±¼<ÁkÂsÁ£¶ÆÇ¸
¶£ÂsÍ%´Âs·}Â Â É¼4 |||¤<¡£¦«A ¡ÆsskAk¡£k¤<¡£ ¡£ |I R k¤|kk¦«
|k|¤q ¡£g|T S|¦¡£|Os|A|I R k¤|kk¦«g¡ J
I R k¤|kk¦«>¡ JO|<¡£? ,H| S|¦¡£>k<¡£%s¢i«ss|UO|¤Æ/sk¤|¡Æs¡£
¡£k|¤<¡£|k ¡£? ,H O¦¡£ ¤|¡Æs¡Ask¥ ,H¡£ 1 |A¡£|;0 /M|kkk¦«
JU%s¢ ®L® (U¡£|>£- ,HsU¡£ ¡%s"¢ Q® (L|®L® ( sOU¡£|ks
k ¡£|iO|¤Æ@¤qs@J ,Ë|¤Æ ,HkU¤ ,Hs¤<¡R¡£s Q® ( k|kk¡Æ ¡£\
2LO¡Æ ¡£)qsk|@|k|¤q ¡£g|T S|¦¡£§O k<¡s¢R|k¥£- ,¤ s|k
23|k|¤q ¡£A¤qsJ/|T S|¼ · ¼<³MÉ<¸±¾ ³JÂsÍ»Í §s k<¡ s¢>¥k||¢¹s¤<¡£
¸»³· ¼<³MÉ<¸±¾ ³JÂsÍ»Í sA k<¡/s¢4 ¡Æssk ¤ s|k }¡/Askk ,H#¡£ ¡Aqs¤Æ
|k|¤q ¡£|T S|¦¡£|0 /¡£|ks¦§¡£|ks¦ 2k ¡£/
/ ¡Æssk.kk¡£ s¦¡£|.£- ,H sË)|k|¤q ¡£ |T S|¦¡£ )¥¤
|k¥£- ,/R~Rs| &¦Lk ¡£U|||¤<¡£¦«> ¡Æssk -P , s; BB\s|.¥¤
|k¥£- ,.,H|¥ ªÏ B3 ¡£? ,HÏ¡£ ¡ÏOsJb|kg¡£|k|¥|M¡Ï¡£|bJ¯
6N$= 47@>$h >+8 6 N$= 47@>$h >+8

NO6+h H4<>' @=?6Qa
H VN 4<j5 6> ,NO6+h H4<>' a

a5NO6+: 4<3H 6A B=?j
>$h!a
N'8B1=?6!> Ea5NO6+: 4<3H 6 a

Va1h 6#DmMSGlll4G I
NO6+h H4<>' a

A+64> 9Va1h 6'A

8BNO>'1@: c*3ea MS
Glll4G

:*6 47 44<>' > Ea5NO6+: 4<3H 6 a
A+64> 98BNO>'1@: c*3A

~Rs|&¦© QO ¡£|¥@ ¡Æssks|A¥¤>|k¥£-,.,H|¥4¡£?,H

U

2.2 Empirical ILP
~%|§|TS|¦¡£ s¢|||¤<¡£¦«.¤|¤M¡Hqsk||¥)O¦¡£ s¤Æ¥k|| |O R

|¥sm|kk¡£ /¡£|4¡£k||¤<¡£A¤ÆsM¡£\kqs|>s¢tO© M¦«;

k<¡bs¢¡££s||¥L0 /|-,H| s|@s¤Æ¥k|| |O|¥ L-S|H>Js¡£IR
k M0 /M|kkk/ k ,H¤|¤M¡%|k¤kM¡£. s|¥s¥ >k|¤Æ.¡£ ¡

>¤ ,H|<¡£ s| ¤|k¡£¡gO¦¡£kkJ¤<¡g¡£§¡£|@s¤Æ¥k|| |O|¥

s| ¡£| 0 /|- ,H| UH |||¤<¡£¦« ¥¤Ë|k¥£- ,.,H|¥| Ak<¡s¢

¥k||.¢¹s¤<¡£|O|kLÌ¾É<¸»·¹¸»ºs¼4¼ ÂsÃLÌJÍ¼ÆÉ
ÌJÍ¼ÆÉ ;sk c*hA+6g§¡£|g¡£||)¡£k|k<¡Æ ¡£\
sk`
VN$!6|s| ³m¼}¿Âs·¹¸»ºs¼4¼ Âs
~ , ss ¡£|§sJ«§|T S|¦¡£ s¢qsk||¥)J£ ¡£s¢t4 ªi¨ R¡£|
Ã
¢tO|¥A|s¡£ s¢Ë¶Æ¾ ºs¼<ÁkÂ¿¼g4|k ¡£|.|T S|¦¡£|s¢%¡£|H¢t||¤<¡£

3> B6NHAgA O ¡£| % 1s| ,

|Ak<¡ UUJs¡£|k '
I 9 M¦«s¤Æ¥k|||O|¥ LEJs¡£|k
¤«k 0 /|- ,H|X 6
s|0 /|- , R
O¦¡£kkJ¤<¡ ¡£
s¤Æ¥k||)|O|¥ ¦¢ 6± s¦
3> B6NHA .G G6 ^
VN$!6 4 6
; & %
2U|k O|¡£¦¯¡£|¢t||¤<¡£X
3> B6NHA .G G '%|T S|;s©
3> B6NHA .G G d '
$6 6O &
~%s||§ k, s¡£¤. | s¡£ s ¢¤||«k£ksJ¥§¤<¡£¦4«|¦k

2L¥s\Ï¤,H|<¡£|k4s| ¤|k¡£|¤< kO|k@¡£ ¡&3> B 6NHA .G
93> B6NHA .G G

G
¡£|.¤ÆsM¡£ }¡§¡Æ ¡£ ¡£ ¡?6.¤«k#

¡£|.|TS|¦¡£|Ës¢O ªi¨
¥¦« s¤Æ¥k||
||s¡£.
|O|¥ o¦¢26Ë> ¥¤qsÏ¤|kO||¤ s¢ L~%|>¡Æ ¡£ ,H¡>

6O|k¡£|L¥¤qs|I,ËJ ¡Æs||U¢tbk , s¡£¤
s¢Lk, s¡£¤§¡ÆsP,H¡q
6A¦¢
¡£k|k<¡Æ ¡£¯m± s¦¯O||<«gs;¡£k|k<¡Æ ¡£

¥¤qs m¡ÆsP,H¡ ªÏ B3 ±Es¡£'¡£ ¡qs¤¤k||¥¡£L¡£|U|T S|¦¡£
6A <« Jkk|
, ss 9¡£k|s

¦¡sk , ssQ6g¡£k|s

;|£s¤<¡£¤sJ¢tL ¥¦«; s|¥s¥g| s >mss||k|k ¡£|ks¢|k R
¤||k ,Ë|¡'JO|k ¡£g¤Æ|¤Æ O|<¡£|Us 0 /|- ,H|%b¡Æs
S
/¡/s¢»¡£\L¡£| Mªi® R kkM¡£ |ks¢4|k¤||k ªÏ B3 O¦¡£

!#"$%& !' )(* +,-. /0 1"$! /0 )"$%23 !
/ 4 .56 7 849! 8(*+!4/+;:1 + <="$9->?(A@B9CD FEG 9+!4!
+ <2CGHIJEK "#E7/.,LMN. O"$:PCK !Q
SRTCVUBWYX!Z[EN\05

J|||@E|J||| |M¡£ R|k@¡£>¤Æ|¤Æ4O|<¡£|bs@0/|-,H|U¤qs
J1|||¤@¢tk, R|¡Æs|¤ss¡£|1¡£,H/ @s| 2U MªA , R
|§ |M¡£/J||/Ak|1¡£Hq«/ S|¦¡£>| /|M¡£I R J|||
Mªi® R kkM¡£\M||kk¦«;¥s1A¡£|4Mªi® R |ks¢ ¡£k ¡|M¡£W [)sk
|s¡10/Ms||As|§sk¡£kq ¡£As'¢¹s\" 2L¦¡£k ¡£¦«¦M¢t1sk.¤ÆsI R
|¥ |k¤||kg¤qs/Js||.¡£ ¤Æ|¤ÆA¡ÆsP ,H¡ (U *± U
~%|@sJ«Ë|s¡£)s¢¤«£s¥@¤qs ¸»³· ¼<³MÉ<¸±¾ ³JÂsÍE¶Æ¾ ºs¼<ÁkÂ¿¼<JsL¡£|
s¤Æ¥k|| |O|¥ 4¡£|ksUs| ¤qs ¤¡ÆsJs¡£¥k||
¢¹s¤<¡£>s|;|I R ¥k||)¤ s|k >/¡£|4s¡£|Ls|\J¡£|A¼ · ¼<³MÉ<¸±¾ ³JÂsÍi³m¾
·¹¸±¾ ³ ¾ "A¶Æ¾ ºs¼<ÁkÂ¿¼k O|k@0 /¡£|ks1s¤Æ¥k|| |O|¥ ¡£|
¢t? , s¢>¥k||¢¹s¤<¡£ |¦ (Us¡£|s¡£|@Uk;skqsM ¡£k||¤
/ s|kA B%± O|¤Æ¤qs Uk 0 /¡£|ks¦ ¡£|)Í¦Â ¡££ ¡£¥s
.¡£|ks¦ k|¥|¦¡£|Â´Â,ÌJ·¹¸»ºs¼H¡££ ¡£¥s ,GP ,H sk¦U| k¡
|s¡£|>s¢'¤«£s¥ ¤qs J@|k 2 Q 5-> MkJ|/ & ± /¡
,H|k¤qsO ªi¨ ¡£ ,H§|k)¡£|;0 /¡£|ksL|s¡£ s¢g¤«£s¥sOO|
¡££s¤<¡£¦«g ªi¨¡£ ,H ,H¡£¦ |kg¡£|g¡£|ks\|s¡£§s¢R¤«£s¥s
g¡£|b¤qsk¡£ ¡ ¤|k¡£is¢M¡£|ks|k|¤q ¡£|T S|¦¡£| 0 /¡£I R
ks ªi¨7¡£ ,H k|¤Æ s > ª || s * s| Mªi
/|¥¥<¡£/s|$ |¥A * \q«b¡£O¡££s|¢t? , ¡£O¥k|| [IR qs
,H| s¢%¡£|.s¤Æ¥k|| ¡£| L~%| ,H|'¤¡Æs|Ësb¡£k|

¥k||A¢¹s¤<¡£1¡£ ¡¤qsAJg|k¦«A¢tk , AHMªi® R |ks¢i¡£kgs¢R|M¡£
kR¡£s [\R |¡£qs s!¢ 3> B6NHA . G G6,s0 /¡£|ksM ªi¨ ¡£ ,Hb ,H|
¡£|'¢t||¤<¡£
¡£@¡£¡OO|<¡£|Ls/0 /|- ,H|k
3> B6NHA G G6 ®> QsM¡<¡Ls±1 %±s|T S|@Jg
6%0 /¡£|ks¦.¤«k)
6 GF # 7 I 9 29Js¡£|k

0/¡£|ks¦¤«k/s 0/R
-H, | 6 O
¤ s|k 's|

¦¡£ kkJ¤<¡;¡£ ¥k||C,H| ¦¢4¡£|k0/M¡£;
3 k3

gs|o k ||¡£¦¡£M¡£ k|¤Æ ¡£ ¡
S
Glll4G
Q

6 ~%|§.||s¡£#
3> B6NHA G G6,
~%|Ë¡Æsk/s¢b,H|k¤qsi ªi¨ JO|¤Æ>¤|¤k|O¦¡£;qsk||¥..kIR

¥ Ë|k|¤q ¡£Ë¢tk, .¥¦« k<¡s¢'0/|-,H|Ï¤qs | JË¢t?,Ë| ¡£ s
¢tO
9:1* )4/ "M+!!-"!/! "$' @ ..Y >.:)
.62- !#"$&5&%(')+**!5

U

6 = ; # :7 H
6 &
¢¹ skk<
¡ s¢E¡£¥£ks||||A¥H¢¹ s|¤<-¡£%,Hs|¢s AU|m|¤||kO)¡£||¥ ks|¢¤q¡£ k¡£| Ï s|
0/
|k¤kM¡£ s|¥s¥ >%kJ¤¦¢»|¥¡Æs¤<¡£¤;k¡£k¤ R

a
¡£|%§¡£|g|TS|¦¡£As¢R|k|¤q ¡£aÏs|
s¤Æ¥k|||O|¥ LR|T S||¥)|k|¤q ¡£&/ s¡£|
¡£sW a gO|¤Æ , q J§|k¡£|§|T S|¦¡£ s¢2as|
O|¤Æ |k«|s||¦¡£s%M¢t? , ¡£sJM¡H¡£|sk¥I R
,H¡£Os¢ ¡£|g0 /|- ,H|Os¢R|k|¤q ¡£L
aÏ

&
|T S|¦¡£ ¢t
aÏ>0 /M|kkko >>k|¤Æ#¡£ ¡
¤,H|<¡£Ls|.¤|k¡£¡1O¦¡£.kkJ¤<¡1¡£¡£|>0/|-,H|

s|/s¤Æ¥k||/|O|¥ L
¡£|b¢tO|¥|qU'k<¢ti¡£O¡£|'|TS|¦¡£s¢OaËsi¡£|'|TS|¦¡£gs¢|¡£|
}· ÂsÁ±¿¼<· k ¡£\ 1 |;qsk||¥ ¢tk, |/0/|-,H|¯¡£|4¤,H|<¡£|k
s| ¤|k¡£|¤< ¤k¦¡£k | ¡£ J)k +/M k| ¡£ q« «k¦
kJ¤ S¤gJs¡£|k ªiq«£|¤ ¬ s|)®@° ¬ kkb& ±
,H|k¤qs ªi¨ ¡£ ,HY|¤|| > ª || s * ±A
@ , > ª
®@° ¬ kkbM ± Mªi /|¥¥<¡£/s|$ |¥A *± )ª R 2 QR~
(Uk¥ss|Hs|8 Mks. BB±>ªÏ . -> ªiq«£|¤g ¬ <¡Ls±1M± 2 Q R
5-> MkJ|/ & os| Q ~Rs|¥¦¡k«ss|¤Æ)s|)|P ,Ë|£§ & ±
ªÏ . ->Ts| > ª||¥£s| ¡k¡£k|M¡£ R}«ss| qsk|k#¢tk , ¡£| ® %
|| s B1ms| 2 /¤Æsk 1 /¤ÆskÏ<¡s±% B1¯¢¹- ,H
¡£1sk|@ Sk¡ R k|4¥¤qsE¢t£- ,H<Uk¯ 2| k¡@s||ks¤Æ4|k
Mªi RO|¤Æ Ësk ¨s¡£ 4|s¡£s¢k ¡£¦« qs¡@¥I R
£s'¥|£s ° ¡£ NOh 8*8 ¨s¡£ 1 ± 2L|s¡£|Ë ªi¨¡£ , 521ª
¨R °° s| s| |> & (Uk||As|/¨R °° s|bM s0 /¡£|k s¢
> ª ¡£ ¡ ¤ ,Ë||Ï ,H|k¤qs ªi¨;s|0 /M| s ¡£sk4qsk||¥|Ï~%|
¡£ , ( 2>ª /k)Ms <¡ ° s| 1 kJ & '4s ,H|k¤qs
¡£ , O|¤Æ/qsk| ,Ë|¦¡£|L|k|¤q ¡£g|T S|¦¡£|

~%| ¤ ,H|0 /M¦¡ s¢qsk||¥ ¥kO.O¦¡£ ¡£| 0 /M|kkk¦«|k)s¢¡£|
Js¡£|k s|¥s¥ > ~%|k<¢tksb¡£k||¤§¡£|§¤ ,H|0 /M¦¡ E«ssk|
U

k¡£k¤<¡£| ¤qs J;s||¡£¤ s|k.0/M|kkk# > H0/|-,H|s

k ,HLs¢Ï¡£|>¤|kk¡%,H|k¤qs¯ ªi¨ ¡£,H1¤|¡££s ¡£4¢t||¤<¡£IR}¢tk
|k¥£- , ¤ s|kRsg>¡£| ¤qskH > ªiªÏ .-> ªiq«£|¤g ¬ <¡Ls±1M
|||¤bs <«. ,HkUk¡£k¤<¡£@¢t? , s¢J|k¥£- ,¤ s|k± s¦|||¤<¡£¦«
|£sk¤Æ|¤qs\ ¡Æsskg¤ s|k
~%| 4 --R |<¡£? ,Hs¤<A| sL Mªi /|¥¥<¡£/s|$ |¥/ *
§¢¹s¤<¡L@k , s¡£¤g| sOsO¦¡O|J|||s¡|¦.A¡£|¢t? , s¢RJs¡£| R
k4|M¡ sko¡£|s¤Æ¥k|||O|¥s +'sk|)s¡£|)k¡£k¤ R
¡£|@¤qsJA|k|¤|||¥ sk¥ ,H¡ ¡ J s|I ,.,H<¡£ s¢>|k| R
¤q ¡£L)sks¢bsk¥ ,H¡£ ªiq«£|¤g ¬ <¡Ls±1M±J||M¡ ) M¡£|M¡ ,H|
s|kA B%±|k¥£- ,k¤Æ| , ¡Æ %k| ,H| 1 kJ BBM /k
M ±E|k|¤q ¡£.k<¡£ (Uk¥ss| <¡Ls±1 B±s£- ,H<¡£k ° s|¥s¥
®> QsM¡ & ± ¡£¥k¦¡ ¤|¡££s¡£ ®> QsM¡<¡s±%M
s|/|<¡£? ,H ¡£| QO|kk B±
2.3 Interactive ILP

~%|g|k|,s¢R¡££s¤<¡£¦« ªi¨ ®> QsM¡& ±|O|¤ÆA1¡ |¤qs¦ IR
¤k ,H¡Æs±|¤qs/J¢t? , s ° §s%¢tO
6 H
6 &
k<¡)s¢4¡££s||¥ 0/|-,H|
| k|¤q ¡£
Jkk|¦ sJM¡ ,Ë|¦¡£|
s¤Æ¥k||;|O|¥ #¤|k¡£|¥ s¢|k|¤q ¡£|TS| R

¡£|Oskk ,HA¡£ Jg¤kk¤<¡q
@¤|kk¡LJs¡£|k 3O|¤Æ/%Jkk|¦.|¤kk¤<¡q

¡£|%§¡£|g|T S|¦¡£|%s¢E|k|¤q ¡£O
|k¤kM¡£ s|¥s¥ >%kJ¤¦¢»|¥¡Æs¤<¡£¤;k¡£k¤ R
sA0 /|- ,H|k

6 sJ @¯s|

s £s¤.O|¥/¡£ s|U.
0 /|- ,H|Os
,H ,ËJkk| O|k sJ
s| %s|/Jkk|¦.s¡£| O|¡£|

U

&
k |¡£<| ¥)¤ sJ|sk¡£|kJ |¥|¥AM¡Æ¡£s |#¢tk,#k<¡££ks|¤<¤Æ¡£ |¡£¥ s¡ |o sR
¤,H|<Ë¡£As|s/|s¤¤Æ|¥kk|¡£|)¡HO|¦¡£Ok|k¥JL¤<¡H ¡£ ¡£|A |-,H|
W$6O
0/
1 | kqs ,H|k¤qs' ªi¨Ë¤|¤k| O¦¡£ qsk||¥;k|¥H¡Æsk¥<¡

k ¡£A¢tk,3 sk¥4¤¤<¡£/s¢bJkk|¦/|/0/|-,H|m¡££s¤<¡£¦«
ªi¨ ¡£ ,H ¡k¡£ ,HM¡¡£Aqsk ,Ë|¦¡£|4k ¡£|mO|¤Æ , q;J ¡£ R
|J||¡qM¢tk ,Y? , s¯k<¡1s¢i¤kk¤<¡10 /|- ,H|b®>|k|¥g¡£|L|k¤k1s¢
qsk||¥|¡££s¤<¡£¦«> ªi¨¡£ ,H%¥|£ ¡£>¡£|UOA0 /|- ,H|%s|Ask
¡£| |k £s¤ LsJM¡g¡£| sJ ¤ skk S¤q ¡£ , ~%|< , q
skHsk ¡£|g|ksJM¡%¡£|«ss|¦¡ s¢ ¡£|g¥|£s ° ¡£|1¤|¡£k|¤<¡£\
2LAP ,HJ¡Æs¡Ukk|gs||kkk/§¡££s¤<¡£¦«> ªiÜ¡£|>kk|s¢ kI R

kk¡Æ ¡£ ¤Æs|¥si± s¦Ïk|¦¢»¡gs¢U| s@L- ,H¦\k<«£sb¡££s¤<¡£¦«@ ªi¨
¡£ ,HU¤qsH¤Æs|¥O¡£|Js¡£|k' s|¥s¥ ||k|¥¡£|qsk||¥g|k R
¤k QO|kk¡Æ ¡£¤Æs|¥>|¤||4«¡£|¥§|<|k|¤q ¡£sLU
s ,H«|¥A¡£) ,Hk JU¢t|'Js¡£|k4 s|¥s¥s.~%|«s4¡£|
O|¡£/s¢ | s , ss¥ ,H¡q|± s¦||¤||¥ËO|<¡£|O|)s|A| ¡£
k|¦¢»¡R| sR~%| O|¡£@s¢k|kk¡Æ ¡£Ë¤Æs|¥1sR|¦gk¤¡£¦4J
s||kkko ,H|k¤qsg ªi¨ kkk|m<¡s±% & /|¥¥<¡£ & m
k|¦«ss£s§<¡Ls±1 &±
2L qsk¦ ¡££s¤<¡£¦«; ªi¨G¡£ ,/ / s|kA B%±O¡£k||¤
¡£|§|s¡£s¢kT S| ,H¡ J£ ¡£ ¥£s| gO|¤Æ Ë|k ¡£¡£k|¤<¡£|k
¡£|4ks¤4s¢¤ s|k / )kqsk¤Æ|L¡£|4kT S| ,H¡¥£s|);H|kqsM¡£I R
Sk¡O¡£I R |O ¥|£s\¡£ kJ¤ S¤ , s||
2L P ,HJ¡Æs¡gk|kk¡Æ ¡£¦«.s¢%¡££s¤<¡£¦«H ªiö¡£ ,H4 21ªÏ ~
®> QsM¡>s| (UkM|¥|H BM\ &s ±' }¡L%sk;) k||/¡£| R
k<¡£¤qs|¢t£- ,H<Uk@s|H|¤|| ,H¡bs¢m¡£|sJ« R0,H¡£| ¤Æs£s¤<¡£ R
¡£¤gs¢%¡££s¤<¡£¦«H ªiö¡£ ,H 21ªÏ ~G¥|£ ¡£4¦¡£gO0 /|- ,H|
s|/sk O|¡£|sJM¡%¡£|1¡£kM¡£A«ss|||k¡£¥k¦¡ ¤|¡££s¡£
, ss¥. kk s¢gJs¡£|k. s|¥s¥.s| k|¦¢»¡£.- ,H|¥ ¡£| , s
s||k|k ¡£ ®> QsM¡ & ±
<«£s'¡££s¤<¡£¦« ªiö¡£ ,HËsk sk «¡£|¥A¡£|HkkI R
¡£ |k|¤| QO||k 1/± /¡4s¢'¡£| Uk;||H¡£|skq§
@kJ¤ sm¢t? ,s¢ ¡£|¥|£s\¡£|§s¢R«kkgkkM¡£§¡£k||¤/
2U Mª /|¥¥<¡£/s| (U|¡£| BBs|gkT S|4
/|¥¥<¡£ ÎM ±

2U
M ª.,H| £¡ |kU||Rs¢J£ ¡£k©Rs|kkM¡£\ O|¤ÆË¥|£s °
¤ s|k ¡££s¤|¡£k|¤<¡£\iO|¤Æ¡£k||¤|<Ys /M s;|k|¤q ¡£
s|¡£k||¤q ¡£\JO|¤Æ ¥|£s ° ||¦¡>¤ s|k4~%| ¡£ , 2 Q#+>
M-,.,ËM¡s| (1s| k B1 ,H|g.«ssk s¡>s¢'¡£| s|kkM¡£ J R
¡£¡£|J£ ¡£k Ës| & ¡£k||¤) 1 ¡£ Î B skkP ,H s
¡£As|kkM¡£s|¡££s¤|¡£k|¤<¡£\mO|4 Q' QOM«k *s|
~ - QOM«kE & ¯«k¤ ,HOk ,H%s¢J¡£|%|k| ,HEO¦¡£@¡£k||¤q ¡£
s|)s|kkM¡£A§¡£k||¤|¥ £ ¡£|£ ¡£§|k¤||ks
2.4 Structuring the hypothesis space

2U|¤M¡ qsk||¥;¤qs J «<Us ;kqsk¤Æ |k|, /¦¡£¤Æ|B& ±
¡Æ ¡£'@¡£|Okqsk¤Æ.ks¤ skg¤qsË¡£|Ç ÆÌ¾ ·»Ç¼ÆÉ<¸É%É Ì|Â¶Æ¼ EskO¤|¤M¡
|k¤kM¡£|Ls|)¡£|¥siO¡£.S|;| ,Hk¡Æ ¡£L£ ¡£¢»|¥Hk,H
Os¦¡ §¤k¦¡£k\ 2 qsk|O¤qs;J|k¤kJ;A¡£?,Hs¢E¡£|4¡£k|¤<¡£|k
s¢R¦¡£%kqsk¤Æ)ks¤s¯¦¡£%kqsk¤Æ)¡££ ¡£¥sAs|/kqsk¤Æ/||k¡£¤
~%|4k¤<¡£¡£k||¤¡£| R k||k ,HM¡£ ¡k¡£¤@O|¤Æ¥¦«4¡£|
¡£k|¤<¡£|k%s¢¯¡£|%kqsk¤Æ ks¤%s¢J|k¥£- ,¤ s|kLq«|¥¡£k|¤<¡£|k ¡£|
Js¡£|k'ks¤s|gqsk|b¤qsHkqsk¤Æ.¦¡b|||¦HsH||M¢t? ,H 1q
>||k¡£¤qs¦g ||M¢t? ,H;kqsk¤Æ\i¡£|@|M¡£I RSk¡g>|kqsM¡£I RSk¡
kqsk¤ÆA¡££ ¡£¥s ¤qs§J>s||\ >.¡£|>s¡£|Us|\| ||k¡£¤>kqsk¤Æ\
¡£||ksJkqsk¤Æ.¡££ ¡£¥Usk| R ¤P ,Ë||¥bJq- ,Gkqsk¤Æ\ 2#|<¡Æs
ss¦ks¢b||k¡£¤L|k¡£.¥||g¡£|Ëkqsk¤Æs¢b¤ s|k>¤qs;J4¢t||
$ 2UsM¡£ BM
ªi¨ 1¡£| kqsk¤Æoks¤ §|<¡£? ,H|# ¡£| s|¥s¥;s¢Ë¥¤
|k¥£- ,H ¤|k¡£|¥4s¢Ï|k¥£- ,G¤ s|kUs¢\¡£|¢t? ,
Us§ ¡£ ,da S
Glll4G 's|
U4¤k||¤<¡£.s¢Ï¦¡££s

O|k
S
Glll4G
L
~%|'«¤qs|| ss¢|k|¤q ¡£'I ,ËJ / Mg¡£|'¦¡££s
Ms¢M¡£|'JMgs¢
¤ s|kLU|<¡£? ,H|.H¡£|L|k|¤q ¡£U¢tk , ¡£|>s¤Æ¥k||§|O|¥
Lb }¢ #sO1¢t%k¤|kk¦«|k|¤q ¡£g|T S|¦¡£||¡£|g|k|¤q ¡£gI ,ËJ

¤qs)sk@J¡£|g|k|¤q ¡£gI ,ËJ0 a/¦¡£k¦¢

~%| k¤<¡£ s|¥s¥ | s ¡Æs¤<¡£¤qs¦#k¡£k¤<¡£)¡£| ¢t? , s¢
¤ s|k/O|¤Æ ¤qsoJ ¢t? ,Ë| ¡£ ¢tk , ¥¦«#«¤qs|| s s¢@|k| R

¤q ¡£¢t||¤<¡£ I ,ËJËs| ¤|¡Æs¡£ s¢%¡£|§ s|¥s¥s;~ ¤|¡££s
¡£|.kqsk¤Æ ks¤s¡£|. s|¥s¥H| s s¤<¡£sU ªi¨ ¡£ ,H@4k ,H
k¡£k¤<¡£;¢t? ,3s¢b¥¤|k¥£- ,Hms ¥|¦\¤|k¡£|¥.s¢¢t||¤<¡£I R}¢tkË|k R

U

¥£-,¤ s|k > ª ,b¤|¡££s| |||¤<¡£¦«;|£sk¤Æ|¤qs ¡Æssk
¤ s|k /ªÏ .-> ,%|TS|¦¡£g¤ s|k Mªi ,
k|4¡£;kqsk¤Æ ¡£|.ks¤§s¢|k¥£-, ¤ s|kË¡£, ¡£¤qs¦E¦¡
/|k<¢t|¡£ ¡£k|¤<¡£|k ¡£| kqsk¤Æks¤ ¡£k||¤|¥ s¡£ sg R
|k|¥¡£ k<¡§s¢g¤ s|k§sk ¡£| R k||k ,HM¡£\~ |T S|
R k||k ,HM¡£\MU Sk¡|/¡£ |T S|k||¡£¦¡£M¡£\©
% ! ' F ! # 2 É<µ É<·¹¸»·¹µ·¹¸±¾ ³ STR'TS
Glll4G 'R ¢t||¤<¡£
¢tk, s« sk s|4¡£;¡£?,H ~%|/s||¤q ¡£ s ¢L;k||¡£¦¡£M¡£
£¡ .M¡Æs| k| s¤|¥ s¤¤|kk|¤/s¢qs¤Æ
«ssk s| 7 .¡£|g£-,H¡£?, ªÏ B3 ±
) FG! ' FG!"= ; # ªÏ<¡X3)s|g3 J;¡ U |k¥£-, ¤ s|k 2U s|kW
É<µ É<µÃ ¼ÆÉE3 ¦¢>¡£|k;0/M¡£§ k||¡£¦¡£M¡£ %k|¤Æ ¡£ ¡ 3
3 R
3
¨s¡£1 ±E~1UË¤ s|k 3Os|J:@sk ±É<µ É<µÃLÌJ·¹¸±¾ ³;¼£Èµ¸»º ÂsÍ¼<³·

¦¢ 3 R k||k ,H.:.s|9: R k||k ,H.3 2 ¤ s|kggÁ£¼£´sµ¶Æ¼£´¦¢R¦¡O
|s¡ R k||k ,HM¡£/ O|¦«ss¡%¡£Hs§|kJOk||k<¡Ls¢R¦¡£k¦¢
~%|g¢tO|¥Ë0/|-,H|Oskg|k/¡£ |¡££ ¡£¡£|sJ«|s¡£|
6 = ; 7# 4 : % ! ' F ! # FG! ' GF !"= ; #
ªÏ<¡.3LJ¡£|g¤ s|ks©
3;:*580[M 6N G
a1NO6!
2G
2 k||¡£¦¡£M¡£ R$=?N!GL
ROc s ||;¡£/¤ s|k34M¡Æs|
As||¦|¥ ¡£ qs¤Æ/s¢R¦¡£%¦¡££s©
3 ;:*580[M 6N =?N!Gc a1NO6! ceGT=?N
2LOJ¡£/M¡O)¤<¡£ &¦|¡£|g¤ s|£s\|s¡Æ ¡£
:*580[M 6N G

G
a1NO6! 2
¡Æs||O¢t
$:*580[M 6N G

G a1NO6!
2G
O|k)sU«ssk s|@sk/skk ,H ¡£ JA||¦«k£s¦>Os¡£ S s| ¡£|
¤ ,., s ||s¡£ | k||¤<¡£\ 2L¤¤k||¥ ¡£ ¡£||TS|¦¡£\H¤ s|km3
R k||k ,H.
3 ¦¢i¡£|kgO@k||¡£¦¡£M¡£ ¡£ ¡O¤qs/Js||.¡£3Lk|¤Æ
¡£ ¡O<«/¦¡££sm.¡£|gkk|¦¡£|¥ ¤ s|kg¤¤|kOX
3

2U s|k#3 R k||k ,HO¡£|g¤ s|k
:*580[M 6N
3 ; G

c6=?*h 6
G7a1NO6!
2G
|||%¡£|g,HM¡ §k||¡£¦¡£M¡£ | |k|¤¡£|gk<¡
G

G a1NO6!
2G
$:*580[M 6N
2U s|k#3 R k||k ,HO¡£|g¤ s|k

O@|kJOk||k<¡Ls¢P$:*580[M 6N G

G c6=?*h 6 G a1NO6!
2G T
:*580[M 6N
3 ;
G c6=?*h 6
G7a1NO6! G
|||%¡£|gk||¡£¦¡£M¡£ L
R
2U s|k#3 R k||k ,HO¡£|g¤ s|k

:*580[M 6N =?N!Gc
c6=?*h 6 =?N
G
a1NO6! ceGT=?N
G
a1NO6! ceG >'=

|||%¡£|gk||¡£¦¡£M¡£ R$=?N!G
LROc
2U s|k93 :*580[M 6N G
a1NO6!
2G
G7a1NO6!
G§s|
: :*580[M 6N G
a1NO6!
2G R k||k ,H |@s|s¡£|Ï± s¦Ïsk
R k||k ,HM¡£AO|¦«ss¡q 2U s|kk: %k||¤\O|¤ s|kk>
3 %|s¡q
R k||k ,HM¡£H¡£k||¤¡£|O¡Æs¤<¡£¤O|s¡£ s¢m¥|£s¦¡ 2U s|k

3Ë¸É4Âs·UÍ¼£Â É<·UÂ É>¿¼<³m¼<ÁkÂsÍiÂ É%¤ s|k#3 3;3 1¦¢e3 kR É<µ É<µÃ ¼ÆÉ3 2U s|k#3
¸ É4Ã ¾ Á£¼g¿¼<³m¼<ÁkÂsÍi·»Ç|Âs³ 3 3#D 3 O¦¢b3d3 ||Ls|W3 d3|L|s¡q
¡£|¤qsks¯UË£qA¡£ ¡`3 L§É Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³}Á£¼ ³m¼<Ã ¼<³·s¢23gs|,3g
¿¼<³m¼<ÁkÂsÍÎ¸ Âs·¹¸±¾ ³ s¢ 3 b~%|g|¦.¤ s|kgkTS|,H¡£|ks¦.¤|k|k/
¡£|%qsk|sk1¡£| ,H|P , s ,H¡¥|£s kJ¤ s ° ¡£| s¢J¡£|%¤ s|ks
~%|k4sk¡ UHP,HJ¡Æs¡%|kJ¡£%s¢ R k||k ,HM¡£\©
} ¢3 R k||k ,HJ3 ¡£|m3§¥¤qs¦ ¡Æs3 3 _3 ~%|/k R
«kk |s¡4s¦1qg¡£k|s.2L4s 0/|-,H|sR s¤Æ Î&¥¦«g¡£|

¢tO|¥ ¡ U ¤ s|k© 3 h 4 A4 h 4 A4 )s|d3

h 4 A4 G
h 4 A4 , M¦«A¡£|g,HM¡ §¡q53>¤|¡£k|¤<¡£¡£
s¢bs)¥¦«;|¥s¡£\JO|&
3 ¤|¡£k|¤<¡£¡£s¢<« |¥s¡£)|¦
U

s|¡£| 3 3 #U<«O|k||¡£¦¡£M¡£0/M¡£H¡£ ¡ ¤qs J

s||H¡£ 3%¡£4J3 Mk|¤>¦¡Uk||<, s Js¡£ ¡£
\s|
¡£ oO|¤Æ/%P,HJkk|sR~%|k<¢tks!3L|O|s¡ R k||k ,H#3
~%|Ok ¡£ ¡£k||¤'@Í¦Âs·¹·¹¸±¶Æ¼E ¡£|%k<¡'s¢mk||¤ ¤ s|k
~%| ,Hqs|%¡£ ¡LsA¡ U ¤ s|kq«Ë qs¡||JJ|| hi!j
s| >¥kq ¡£¡bUEJ|| 8Mh j ,@(Us¡£Ë¡£|hi!jUs|8Mh j'sk1||PO|
|A¡£ k- ,H|¥@s¢ «ssk s|
~%|Hk¤| |kJ¡ s¢ R k||k ,HM¡£ qs|¡£§¡£|@¢tO|¥.|TS R
|¦¡£\©
H F 9 7 9 7: # ~%| Í¼£Â É<·E¿¼<³m¼<ÁkÂsÍ¿¼<³m¼<ÁkÂsÍÎ¸ Âs·¹¸±¾ ³ h 8*8
s¢ ¡ UHk||¤)¤ s|kQ3>s|93 ||s¡£/?h 8*8 3'G3 ,U¡£|gqs¡
||JOJ||/s¢3>s|93 §¡£| R k||k ,HM¡£A ¡k¡£¤s
~ |;k|H¢t ¤,H|M¡£|¥ ¡£|Wh 8*8 s¢>¡ U ¤ s|k§sk)M¡£| ¤ R
%
¡£ %M¦¦
s¡£U¡£ ¡ R k||k ,HM¡£@s|@qs¡R¥|£sM¥|£s ° ¡£4sk1||k¦
¡Æs¤<¡£¤@|s¡£|Lk|¤4¡£|<)|§|s¡>¡ÆssË¡£§s¤¤|¡gs;s¤Æ¥k||
|O|¥sH~%|¤ ,H|M¡Æ ¡£>¡£|k<¢tkHkP ,H|@s| qs¡£AP ,H| R
,H¡. s ªi¨ ¡£ ,/~%|£- ,H)||H¢tH¡£|;|s¡£s¢g¥|£s R
¦¡ sk R k||k ,HM¡£\ > ¡£|§s¡£|@s|\¡Æs|¥s¤Æ¥k||
|O|¥¡£4s¤¤|¡'U|Hqs ¡£g¡£|O|s¡£ s¢ É¼<ÃHÂs³·¹¸±¶1¿¼<³m¼<ÁkÂsÍÎ¸»·
|<¡k¡ BB" (U|¡£|@ BB± 2U s|kE
3ËHÂs·Í¼£Â É<·>Â É4¿¼<³m¼<ÁkÂsÍ\sg¤ s|k
3 O¦¡£ kkJ¤<¡4¡£/s¤Æ¥k|| ¡£| ¦
¢ $3+ 3 ~%| ¡Æs¤ R
¡£¤s R k||k ,HM¡£;sk\\¥|£s¦¡ /L¤ ,H|M¡Æ ¡£s¦ ,Hk¢tqsk|s
L- ,H¦k , s¡£¤¥|£s¦¡ . ¥|£s>|||¤s| s|#|§|s¡
¡£k||¤@ ¡k¡£¤/Ëk<¡Os¢ ¤ s|k (U¤qs|kgs¢i¡£|k|k| ,HMI R
¡Æs¤<¡£¤¥|£s¦¡ . ,Hk>¢tk O|¡£¦§|k)A ªi¨¡£ ,H
R k||k ,HM¡£/%P ,HJ¡Æs¡U¢t%qsk||¥Ë¢t1¡£|¢tO|¥Ëkqsk|©
2LUk|OAsJ«sM¦¡'|k«|%¥|£s¦¡ k|k|¥g¢t'Js¡£|k
¡£|O¡£k|¤<¡£|k|¥ ¡£|gJs¡£|kks¤s
}¡¤qsAJg|k/¡£ |k||g sk¥s¡£Os¢ ¡£|gkqsk¤Æ)ks¤s
1 | ¥|£s ° |¥ 34¡£X3 3 D 3 isR¡£| 0/|-,H|¤«k
3ËObsk/J ¤«k 3 k|¤ ¦¢ $3+ 6 ||

¡£|#sk ^$3 6 | |,~%|§|kJ¡ .|k ¡£

|k||1¡£|Ukqsk¤Æ s¢,Hk'¥|£sM¤ s|kRO| 6%EL|¥ ¡£¦«

0/|- ,H|s©i¦0¢ 3Ei|¤|k¡£¡ ¤«kEO|¥ ¡£¦«'0/|-,H| J¡£|
sb¦¡£¥|£s ° ¡£|>Obsk)J |¤|k¡£¡q/|¤sE¡£|
¥|£s ° ¡£|1s¢ 3>| |s¡|A¡£HJ¤|k|k\
1 |kJ¤ s ° |, ¥ 3 ¡£ 3 P 3,D 3 bs 0 /|- ,H|.|s¡@¤«k
W 3gO |s¡JË¤«k s)s¢'¦¡£LkJ¤ s ° ¡£|¦¡£|

¢ $3+ 6 ||g¡£| sk $3 6 ||,
k|¤ ¦
~%|Ë|kJ¡ 4|k ¡£;|k|| ¡£|.kqsk¤Æ s¢ ,HkHkJ¤ S¤
¤ s|kgO| 6Hs ||¤«kJk¦¡£¦«@0 /|- ,H|s©g¦L ¢ 34|
|s¡O¤«ËJk¦¡£¦«L0 /|- ,H|>||s¢ ¦¡£1kJ¤ s ° ¡£|bO±
|¤sM¡£|kJ¤ s ° ¡£|s¢ 3%|4|s¡U|.¡£4J¤|k|k\
R k||k ,HM¡£Ë|k«|E¡£|1sk ¢t ¡ UP ,HJ¡Æs¡R ªi¨¡£¤Æ||P O|©
Js¡k¡£, R | µ¸»Í¦´s¸»³¿A¾ "Í¼£Â É<·¿¼<³m¼<ÁkÂsÍJ¿¼<³m¼<ÁkÂsÍÎ¸ Âs·¹¸±¾ ³MÉU¢tk, ¡££s||¥
0/|- ,H|k ¡£¦«L¡£Hs¤Æ¥k||/|O|¥sJs|
¡£IR |OÉ¼£ÂsÁ£¶ÆÇ¸»³¿.¾ "gÁ£¼ ³m¼<Ã ¼<³·R¿sÁkÂ,ÌÇÉ<
~%|k ¡ UA¡£¤Æ||P O|4s| «kk kkM¡£;ORJ sJ£ ¡£¡£|
¢tO|¥Ë¤ÆsM¡£

U

3
Basic ILP techniques
2 kqsk¤Æs¢E¡£|4Js¡£|k>ks¤4¤qs;J4J¢t?,H)Js¡k¡£, R |/¡£IR
|O\ M |£s ° ¡£ ¡£¤Æ||PO |Lkqsk¤Æ/¡£|gJs¡£|kOks¤/@Js¡ R
¡£, R | , s||©L¡£|<¡Æs¡¢tk3 , ¡£|Ë¡££s||¥.0/|-H, | H , ¡kJ¤ S ¤
Js¡£|kRs|4kqsk¤Æ4¡£|'Js¡£|kRks¤U|k|¥¥|£s ° ¡£gIR
£ ¡£k M |£s ° ¡£¡£¤Æ||PO |ËskHJ¡Ëk|¦¡£ ¢tg¡££s¤<¡£¦« s|
|¤kH , ¡Æsqsk||¥.¢tk3 , ¢t<G0/|-H , | > ¡£| s¡£|gs|\ikJ¤ s R
° ¡£g¡£¤Æ||PO |kqsk¤Æ@¡£|UJs¡£|kks¤U¡£IR |O\s¢tk , ¡£| H , ¡
¥|£s\¡£@kJ¤ S ¤g¤|¤M¡|k¤kM¡£||k|¥ kJ¤ s ° ¡£ J£ ¡£k
J¤ s ° ¡£Ë¡£¤Æ||PO |%skOJ<¡k¡£Uk|¦¡£H¢tbH, |k¤qs|qsk||¥gH¡£|
|kk|¤s¢Ï|kLk|¤¡£IR |O.kqsk¤ÆA¤qs.qsk¦ JL¥|| ||k R
¡£¤)~%|Ë¤ÆsM¡£Ë¡£k||¤¡£|.sk¤ ¥|£s ° ¡£ s|kJ¤ s ° R
¡£ ªi¨#¡£¤Æ||PO |<L 2 ««<Gs¢U¡£| sk¤ ªi¨#¡£¤Æ||PO |4sk
¥¦«;R s¤Æ Î& ± 1 4¢t|¡£|L|k¤kJ¡£|Ë||¦¢»|¥ ¢t£-H , <Uk§¢t
¥|£s ° ¡£¡£k||¤ /|¥¥<¡£ ÎM ±Us@UOsH||¦¢»|¥
¢t£-,H<Uk ¢tËkJ¤ s ° ¡£ ªiq«£|¤g
¬ <¡Ls±%& UO|¤Æ Ëk ¡£ ¡£
¡£| Mgb 2 ª ¢t£-,H<Uk ®>QsM¡s| (UkM|¥| & ±
3.1 Generalization techniques

M|£s ° ¡£§¡£¤Æ||PO|kqsk¤Æ;¡£|ËJs¡£|k>ks¤Ë;HJs¡k¡£, R |
, s|| U ( s¡k¡£, R |qsk|k ¡Æs¡@¢tk, ¡£| H , ¡ kJ¤ S ¤§¤ s|k s R
U.H¡£|> s|¥s¥| sE¡£ ¡1¤«kO4¥¦«.0/|-H , |Ls|.¡£|.¥IR
£s ° ¡£|U¤ s|k'|¡£¦¡ ¤qs||s¡ ¢t|¡£|RJ'¥|£s ° O¦¡£|M¡ ¤«k|¥
|¥ ¡£¦«g0/|-,H|
;Js¡k¡£ , R |/Js¡£|k>¥|£ ¡£\mH¥|£s ° ¡£X3 s¢¤ s|k3
3 D 3 >¤qs JHM¡Æs| s||¦|¥/ R k||k ,HM¡£IR sk¿¼<³m¼<ÁkÂsÍ
¸ Âs·¹¸±¾ ³ ¾ÆÌ¼<ÁkÂs· ¾ Á,

7: # ;@ M¦«;H s|¥s¥| s >JH¥|£s ° ¡£

J£ ¡£ , s|§¤ s|k 3A¡£ k<¡As¢¤ s|k 3 HO|¤Æ#sk
¥|£s ° ¡£|1s¢3 ©
3 $3 B3 ' `GQ3 D^3+
M|£s ° ¡£HJ£ ¡£kUJ¢t?,G¡ U@sk¤L¡Æs¤<¡£¤J£ ¡£|'

@¤ s|ks©
s||¦§s/«kkk||¡£¦¡£M¡£§¡£@¡£|g¤ s|ks¯s|
&Ok,H«@¦¡££sJ¢tk,¡£|gJM.s¢ ¡£|g¤ s|ks
¤<¡£|@M% ¦¦Os| M% ¦' & U%|k|Ëks<¡£¤Æ ¡ Ugsk¤1¥|£s ° ¡£
M ªi
¡£¤Æ||PO |©1Á£¼<Í¦Âs·¹¸»ºs¼1Í¼£Â É<·J¿¼<³m¼<ÁkÂsÍ¿¼<³m¼<ÁkÂsÍÎ¸ Âs·¹¸±¾ ³ NOh 8*8J |k
s|H¸»³ºs¼<Á£É¼'Á£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³ |k4 2U M ª ,qO|¤ÆËskbJs¡£g|k4Js¡£IR
kO¥|£ ¡£\
/|¥¥<¡£ ÎM O¡£k||¤ ||¦¢»|¥ ¢t£-,H<Uk ¤«k|¥ Js¡£
k ¡£¦«'qs¡E¥|£s¥|£s ° ¡£4s|Ë«kk1kkM¡£\ssk@4¡£|
|s¡£ s¢O Ã ¾É<·É Ì¼Æ¶<¸ ¶H¸»³ºs¼<Á£É¼ Á£¼ÆÉ¾ ÍÎºs¼<³·¹/~%|¢t£- ,H<Uk 4|k |
¡£k||¤ #¤<¡£ %M¦ %M ¡£|§||¦¢»|¥¢t£- ,H<Uk¯Lsg NOh 8*8
s h 8*8 s¢ ,H¡ËkJ¤ S¤.«kk.|qs|k¦«s ¡£|/~%|4Ë Sk¡@¡£
¡£1sk|. ||¦¢»|¥ ¡£| s¢ ,H|k¤qs%s|¡££s¤<¡£¦«/ ªi¨ 2L|s¡£|
¡£ ¡£1sk|A¡£¥£ ¡£|¥ ,H|k¤qsLs| ¡££s¤<¡£¦«; ªiŸ ¡£|k¤¡
Uk |I R ¡££s¤<¡£¦«¡£| k<«k /|<As| QO¤Æsk|g &
~Rs|¥¦¡k«ss|¤Æ/s|;|P ,Ë|£. & s| ,Ë|¦¡£| |k|¤q ¡£ qsk||¥
®> QsM¡<¡Ls±1 %±
3.1.1 Relative least general generalization

¨s¡£ |s¡£ s¢%qs¡4¥|£sb¥|£s ° ¡£ h 8*8 ¨s¡£ 1'
P,HJ¡Æs¡4¢t@ ªi¨k|¤A¦¡Ë¢t?,H4¡£|Ask@s¢¤qsM¡£|@¥|£s ° ¡£
s¥k¦¡£ ,HUO|¤Æ)J¢t? , Js¡k¡£ , R |Akqsk¤Æ;s¢R¡£| R k||k ,HM¡£/ ¡ R
¡£¤s 21sM¡£|O¥|£s ° ¡£Askk ,HO¡£ ¡¦¢ ¡ U ¤ s|k. 3S%s|9 3
U>sk
¡£k|s¦¡O1«As¦H¡£ . ¡ h 8*8 3SG3
U'OÏsk@J¡£k|s
ªÏ<¡1|'k¤qs¡£|L|T S|¦¡£Hs¢\¡£|qs¡U¥|£sJ¥|£s ° ¡£ s¢m¡ U
¤ s|kQ 3s|9 3 ¢tk , ¤<¡£ & |P © h 8*8 3'G3 11¡£|gqs¡O||JJ||As¢
34s|W 3 )¡£| R k||k ,HM¡£; ¡k¡£¤sL~ As¤<¡£s¦A¤ ,H|M¡£4¡£| h 8*8As¢
¡ U ¤ s|kP h 8*8 s¢%¡£? ,Hb ¡£ ,H@s| ¦¡££s| ¡£J.|T S| Sk¡
¨s¡£ 1±

7#99 =>F h 8*8 TSGVU
g,

h 8*8
G
&
A$SGl l l G
A
G h 8*8 A$SGTS
Gl l l Gh 8*8 A *G ,

h 8*8 TS
Gl l l G
A$SGl l l G
A
G8 TS
Gl l l G mO|k
M% h 8*8
d8J\s| Y>
«ssk s|LO|¤Æ/k|kk¡£`h 8*8 A$SGl l l G
A
G8 TS
Gl l l G ,
| h 8*8 AHG HbO|k,A \@s| ¡ qs¡H|As¢A)s| Ë
«ssk s| £¡ |A¤qsksA «ssk s|;O|¤Æ#k|kk¡£
h 8*8 AHG ,
6 = ; 7#IF &
h 8*8
h 8*8
¡Æs||4¢t&

5Gj+G37G 5G3'G: 5G G
±
5G
G j+Gj

h 8*8 5Gj
Gh 8*8 5Gj bG O|k
h 8*8 5Gj , 1 |¤,H|M¡£|¥,h 8*8| ,Ë|¡ËJ ¤qsk<¢t|

¡£)|kH¡£| £- ,H «ssk s|@¢t,Ë|¦¡£|@¤¤|kk|¤Ës¢1¡£|Jh 8*8gs¢
k|M¡£? ,H'± s¦P h 8*8 5Gj ¡£|@0 /|- ,H|s ~%|@||Ë¢t h 8*8Ës¢
¡£? ,H ¡£ ,HOs|/¤ s|ksss
7#99 =>F h 8*8 kS
G .U
h 8*8 a A$S
Gl l l G
A
G7a TS
Gl l l G a h 8*8 A$SGTS
Gl l l Gh 8*8 A *G , ¦¢
¡£ ,H%q«g¡£|g£- ,Hg|k|¤q ¡£I ,ËJ0 aÏ
& h 8*8 a A$S
Gl l l G
A
GT/ TS
Gl l l G U%|||T S|;¦1¢ a g /
#7 99 7: 7:Fh 8*8 S
GbU
%¦¢ SAs| bU;sk ¡£ ,HO¡£|F h 8*8 SGbU .§¤ ,H|M¡£ s
|T S|;sJ«s
&%¦¢|Js¡£ S s| bUskb|¥ ¡£¦«'¦¡££s S kS s| bU .U
¡£|, h 8*8 SGbU h 8*8 kSG .U h 8*8 kSG .U,
%M%¦¢ S% Jk¦¡£¦«s| bUL |¥ ¡£¦«¦¡££s±M%«¤g«k£M
h 8*8 S
GbU U%|||T S|\
6 = ; 7#IF &

a NO6! ceGT=?N
G7a1NO6! ceG >'=
]a1NO6! ceG ,

h 8*8 1
h 8*8 1 a NO6! ceGT=?N
G a1NO6! ceG >'=
;1 @:*6 47@6+:
h 8*8 1 a NO6! ceG
G:*580[M 6N =? N!Gc ;1 @:*6 47@6+:

7#99 7#!"FIFh 8*8 3SG3

U
ªÏ<¡#3S SGl l l G B s|

h 8*8
7G
'
3 U
W3S
G

'
S
Gl l l G
W3
Us|Xh 8*8
4~%| h 8*8 3SG3
U

<G U1|TS|
6 = ; 7#IF &

}¢ S
"!$# &%' (*) +* ,

s|- U./
'0132456!7# &%''04(*) +3248(04(9 ¡£|
:*580[M 6N G
c6=?*h 6
G7a1NO6!
2G ,sO|k
h 8*8 3SG3
U ;
¡Æs||O¢t h 8*8 =?N!G6 B6's|
G¡Æs||%¢t h 8*8 ceG >'=
,
~ |;|TS|¦¡£s¢@Á£¼<Í¦Âs·¹¸»ºs¼)Í¼£Â É<·¿¼<³m¼<ÁkÂsÍU¿¼<³m¼<ÁkÂsÍÎ¸ Âs·¹¸±¾ ³ ¤qs |3J
%
¡£k||¤\
<I7# 6 7#F 9 7 9 7: # ~%| Á£¼<Í¦Âs·¹¸»ºs¼ Í¼£Â É<· ¿¼<³m¼<ÁkÂsÍ
¿ ¼<³m¼<ÁkÂsÍÎ¸ sÂ ·¹¸±¾ ³ NOh 8*8 s¢m¡ U¤ s|k 3Ss|E3
U'¡£|qs¡'¥|£s
¥|£s ° £¡ h 8*8 3SG3
U>Á£¼<Í¦Âs·¹¸»ºs¼U¡£ s¤Æ¥k||)|O|¥L
~%|'¡£¤Æ||P O|>OJL|k¤|kkA k,H ,Hk|<¡Æs¯A¤<¡£ |'&

O|¤ÆH¥¦«bs ««< s¢Mªi Hk|¡q¦¢¯¡£|Os¤Æ¥k||H|O R
|¥;¤|k¡£.s¢g¥k||¢¹s¤<¡£s|: ||s¡£ ¡£|;¤k||¤<¡£ s¢s
¡£|k ¢¹s¤<¡£Ï¡£| NOh 8*8)s¢'¡ U/¥k|| ¡£ ,H kSs| .U Jk¦¡£¦«@0 /|- , R
|,k ¡£¦«>¡£@¡£|g¥¦«As¤Æ¥k||)|O|¥;
|%|T S|;s©
NOh 8*8 kSG .U h 8*8 kS <
G .U <
6 = ; 7# $ : <I7# 6 7#F 9 7 9 7: #

M¦« ¡£| Jk¦¡£¦« 0 /|- ,H| 6$S :*580[M 6N =?N!Gc s|
6U :*580[M 6N 6 B6HG >'=
Es|H¡£|s¤Æ¥k|| |O|¥ ¢t¡£|O¢¹-, R
¦H0/|-,H|L/¤<¡£; |M¡£|>qs¡%¥|£sm¥|£s ° ¡£ s¢e6$SUs|?6U
k ¡£¦«>¡£ %¤ ,H|M¡£)s©
NOh 8*8 6$SG6U h 8*8 6$S <
G 6U =
O|k> ||s¡£§¡£|¤k||¤<¡£ s¢g¡£|¦¡££s#a1NO6! ceGT=?N
G

c6=?*h 6 ?
a1NO6! ceG '> =

G a1NO6! '> =WG6 B6
G a1NO6! >'=WG 4<
G c6=?*h 6 c
G
= N
G¯s| c6=?*h 6 6 B6
l

~ |%kk|¦¡s¢J¤,H|M¡£|¥L¡£|LNOh 8*8 6$SG6U i¤qs JU¢t||@ ¤<¡£@|'&

%
Rs¦ ¢»¡£O¡£|P,H ¡£.s¢kk<«ss¡¦¡££sM¡£|g¢tO|¥ ¤ s|k
%¥|£ ¡£/ Mªi ©
NOh 8*8 6$SG6U ;
:*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
3.1.2 Inverse resolution

~%| sk¤ |qs¢.¸»³ºs¼<Á£É¼ Á£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³¡£k||¤os) ¥|£s ° ¡£
¡£¤Æ||PO|/¡£ ªi¨ /|¥¥<¡£ s| (U|¡£| ÎBB ±U@¡£ «¡ ¡£|
Á£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³ k|§s¢L|||¤<¡£¦«)M¢tk|¤ QO||k 1/ ±Us ¥|¦'¡£ «¡
¡£|Mªi® R kkM¡£H|ks¢\|k¤||kL¢t'|TS|¦¡£L|k¥£-,H ªÏ B3 ±
~%|/sk¤/kkM¡£ ¡£|kJk¦¡£sU¥¤.|k¦«H¡£|/kk¦«¡
a XNË¥¦«A¡£|g|k ,Hk a /@s|X /?N
6 = ; #7 $ P 4 ;";@ GF # 7
6 #
M¦«¡£|Ë¡£| ' 1G &G # k||Jk@U@1s¡g¡£§|k¦«
i¨kJk¦¡£ kk¦«1O¦¡£ #¡£@¥¦« ¯O|¤Æ§U¡£|§kk¦«
O¦¡£X ¡£H|k¦«k i'~%||k¦«s ¡£.¡£k¢t%¡£|OkP,H|>0/|-,H|
¥¦«/ R¥|k %M¦

R¥|k %M¦©@2kP,H|>|kJk¦¡£sm|k¦«s ¡£.¡£ks

~%| sJ«Ë0/|-,H|4|¡££ ¡£OkkM¡£))¡£|Ë|kJk¦¡£sÏ¤qsks

<Sk¡ R k|¤qsks kkM¡£ ,Hk@¤ ,H|¤q ¡£\\«¦«|¥§k||¡£ R
¡ NO6'A 3'G: '||s¡£g¡£|gkk¦«¡s¢E¤ s|kQ
¡£M¡£|bªÏ<Q 3>s|9 :
6 = ; 7# $ P $ F )
<
6 #
~ H |¡££ ¡£>kkM¡£§ Sk¡ R k|¥¤sU4s¥s§|kg¡£|¢¹-,H¦ 0/R

- ,H|E¢tk,¤<¡£ |E||Jk'¡£ ¡ s¤Æ¥k||Ë|O|¥ ¤|k¡£

s¢¡£|A¤ s|k j4S c6=?*h 6 =?N Ës|ZjU a1NO6! ceGT=?N Ës|
$3+ $:*580[M 6N G
c6=?*h 6
G7a1NO6!
2G @ªÏ<¡
L||JkËU41s¡¡£.|k¦«4¡£|4¢¹s¤<k ¡ 6 :*580[M 6N =?N!Gc
¢tk , ~ ¡£|%|\Ug|k¤;s1¢tO©
Rk¡q¡£|Akk¦«J¡ 3S\ NO6'A 3'Gj4S 4@¤ ,H|M¡£||| ¡£|Ak|I R
¡£¦¡£M¡£ S R$=?N1 ~%| ,Hqs|/¡£ ¡)¡£| k||¡£¦¡£M¡£
S .
Sk¡/s||¡£ ¤ s|kW 3A¡£ M¡Æs^ :*580[M 6N =?N!G

c6=?*h 6 =?N
G7a1NO6!
2GT=?N , O|¤Æ ¡£|kk¦«O¦¡£ j4S

3S ;
s|
sO§¡£|g|kJk¦¡£sJ¤qsks'~%|gkk¦«¡Ls¢ :*580[M 6N G

c6=?*h 6
G7a1NO6!
2G c6=?*h 6 =?N
NO6'A 3'Gj4S :*580[M 6N =?N!G
a1NO6!
2GT=?N ,
¡£|
~%|.|0/¡ kk¦«¡ 3
U NO6'A 3S
GjU4¤,H|M¡£|||Ë¡£|.k|IR

LROc ~%| ¤ s|k :*580[M 6N =?N!G

¡£¦¡£M¡£ U
a1NO6!
2GT=?N is|` a1NO6! ceGT=?N ikk¦«16 gNO6'A 3S
GjU
:*580[M 6N =?N!Gc ,
;
~%|A|qsË|k¦«s ¡£¡£k§¢t4¡£|@kkM¡£ |k¤kH@¥¦« R¥R
|k%M' &
,² ³ºs¼<Á£É¼ Á£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³/|k Y¡£|#¡££s¤<¡£¦«# ªi¨ ¡£,72U Mª

/|¥¥<¡£/s| (U|¡£| BB±«¡£'¡£|kkM¡£H|k¤k1|k|¥¡£|
M¦« s¸»³ºs¼<Á£É¼AÉ<µ É<·¹¸»·¹µ·¹¸±¾ ³ S

¥|£s ° ¡£ J£ ¡£bsk. «¡£|¥k||¡£¦¡£M¡£ (U|¡£| BB±
¢t||¤<¡£§¡£ ¡ , s|%¡£? ,H% ¡£ «ssk s|Mk|¤Æ/¡£ ¡
s¢4k||¡£¦¡£M¡£ .
S

6 = ; 7# $

F8FG! ' F ! # FG := ; 7# = ; 7#
Ïª <¡3 :*580[M 6N G
c6=?*h 6
G7a1NO6!
2G gs| ¡£|Hk||¡£ R
¡£M¡£ R$=?N!G
LROc ©

3 3 ;:*580[M 6N =?N!Gc c6=?*h 6 =?N
G7a1NO6! ceGT=?N

$

;,!
# &%' 8(

) + 8

# &%'

S

,!

) +

) +* ,

U 4

R¥|k %M'&©@2ASk¡ R k|O|qs1|k¦«s ¡£.¡£ks

S
('s||¦|¥%¡£|'«kk'k||¡£¦¡£M¡£ '=?N0R GcR
U ¡£|'k¥R
s\¤ s|kk
3>%M¡Æs|\©
3;3 S
;:*580[M 6N G

c6=?*h 6

G7a1NO6!
2G
/¡£|g¥|£si¤qsks¯«kkk||¡£¦¡£M¡£/Ok||¡Æs¡£ s¦<,Hk¤, R

§¡£|g|¦¡£ s¯ skgs||k|k ¡£¦.k¡£k/ S

|0/mR }¡E«¦«R¡£|bÌJÍ¦Â¶Æ¼ÆÉis¢¡£?,HR4k| ¡£>|k|kU¡£ ¡R¡£|'«ssk s|
6 = ; 7# $ F8FG! ' F ! # J ; 7#IF

Ïª <¡ h > B6'A G:*580[M 6N
s| ROceG
LROc 2L||¦|¥
¡£|'k||¡£¦¡£M¡£g¡£ kk|¦¡£ h > B6'A ceG:*580[M 6N c , ~%|
«kk k||¡£¦¡£M¡£ S

Y ceG4*DXIR G ceG4*D &BGq?IR

kJ¤ SO¡£ ¡O¡£| Sk¡L¤¤|kk|¤ ¡1ÌJÍ¦Â¶Æ¼`D#I Us¢R¡£|gk|M¡£?,Yc
¡£| ¡£? , gk| s¤ «ssk s| s| ¡£|Hk¤| ¤¤|kk|¤
DC&BGq I %Lk| s¤;
H~%|Ë|k4s¢b| s¤L S |k|k
¡L| s¤E
¡£ ¡ S
h > B6'A G:*580[M 6N

«kk kkM¡£)OR|s¡gJ@ sJ£ ¡£;¡£|k<¡£¤qs¦m|M¡OR£R
¡£| J/|¡££ ¡£ s0/|-,H|s ªÏ<¡ 47NO6'A 3'G: @||s¡£/¡£|)«kk
kk¦«¡Ls¢R¤ s|kQ3s|X:
6 = ; 7# $ F IF 7:! #
2LA 8/|-H

, | M% %M<¡As¤Æ¥k||#|O|¥ ¤|k¡As¢¡£|;¡ U
¤ s|k9j4S c6=?*h 6 =?N §s| jU a1NO6! ceGT=?N ,YªÏ<¡/¡£|
¤|kk¡ Js¡£|k
|||JkA¡£ ¡@¡£|/qsk|@|¤|¡£kH¡£|
6$S :*580[M 6N =?N!Gc ,~%|)«kk)kkM¡£
Jk¦¡£¦«A0 /|- ,H|X
|k¤k ,H¥¡1¡£|/|k¤)s%¢tO©
¡£|. Sk¡Ë¡£\«kk.kkM¡£ ¡k¡£ ,HM¡£g¡£ S| )¤ s|kJ 3S

O|¤ÆO±q¡£¥<¡£|iO¦¡£jU ¡ÆsB6$Sis|4¤qs4JUs||¡£¡£|'¤| R
kS ¡RJs¡£|k |¡£qs4s5¢ 6$S, 2U|k|¥O¡£|'«kk'k||¡£¦¡£M¡£
U $cR
s «kkHkkM¡£ ¡£ ¥|£ ¡£g¡£| ¤ s|k
|kL
3S 47NO6'A jUG6$S :*580[M 6N =?N!G
a1NO6!
2GT=?N ,.
3SiJ¤ ,Hi¡£|U¤|kk¡EJs¡£|k sk|¤ÆË¡£ P ¡ $jU ;
2U R
6$S<

! # &%' 8(
) + 8

S # &%'

S
S

S"
1!
) +

U ) +* ,

S
U

S

R¥|k %M %M© 2LA«kk|qs1|k¦«s ¡£.¡£ks

«kkLkkM¡£@¡£| ¡Æss j4S c6=?*h 6 =?N s| ¡£|O¤|kk¡
Js¡£|k W $:*580[M 6N =?N!G
_a1NO6!
2GT=?N
$3S
W

(' ¤ ,H|M¡£|Z
S
¥ 3 47NO6'A j4SG3S ,>|k|¥ ¡£| «kk k||¡£¦¡£M¡£
S '=?N0R %¦¡ ¥|£s ° ¡£|;¤ s|kW3S O¦¡£ kkJ¤<¡§¡£

s¤Æ¥k||T|O|¥ L ||¥ 3 :*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
l| .¡£|¤|kk¡Js¡£|k
¤qs | Jk| s¤ @¡£| ,HkO¥|£s¯¤ s|k.
|¤ s|kk 3S
3 O|¤ÆH¡£¥<¡£|

O¦¡£ ¡Æs¡£| 0 /|- ,H|

6$S<H~%|R¡£| |||¤ Js¡£|k
$:*580[M 6N G
c6=?*h 6
G7a1NO6!
2G
d
~%|§¤kkkJ|||¥«kk§|qs|k¦«s ¡£ ¡£k.Ë|¡££ ¡£ R ¥R

|k
%M %M

~%|¥|£s ° ¡£J£ ¡£ |¡££ ¡£¡£|sJ«0/|-,H|

¤qs¡£|Â É¾ Á}ÌJ·¹¸±¾ ³J£ ¡£ ¡£| J£ ¡£,Os| |k ¡£|
ªi¨ ¡£ ,H 2 Q#+> M- ,.,ËM¡s| (1s| kB19s| 2U Mª
/|¥¥<¡£/s| (U|¡£| BB%¡£ ¥|£ ¡£AJs¡£|k <«£sOs¡£|
«kk@kkM¡£;J£ ¡£k>skË|k 2U Mª 2LP ,HJ¡Æs¡LJ£ R
¡£4H¸»³·¹ÁkÂ k¶Æ¾ ³MÉ<·¹Á,µ¶<·¹¸±¾ ³s |¡Æs|¤.s¢1¡£| J£ ¡£RO|¤Æ¤ , R
||i¡ U J£ ¡£kR~%|iJ£ ¡£i¥|£ ¡£R¤ s|k |k|¥|k|¤q ¡£
O|¤Æ sk4|s¡q«ss s|/¡£|Ë|¦¡£ s\qsk| «¤qs|| sL~%|@s|¦¡
¡£¡£k||¤%|< |k|¤q ¡£' ªi¨ bk<¢tkk ¡£4sEÌJÁ£¼£´s¸±¶£Âs· ¼¸»³ºs¼<³·¹¸±¾ ³
3.1.3 A unifying framework for generalization

«kkHkkM¡£>|IR |<¡£?H, |¡£¤sg~b|¤qs¦Ï ¡gqs¤Æ «kk k R
M¡£¡£ «ssk|¥|£s ° ¡£|>s¢1A¤ s|k ¤qs J J¢t?H , \i| R
J |||¥.;¡£|Ë¤Æ|¤Ës¢¡£|Ë¤ s|k4¡£.JË«kk¦;kk¦«|J s|
¡£|g,H|/«kkk||¡£¦¡£M¡£\
6 = ; 7# $ ! )
=> :FG= F IF 7:! #
~ |¡££ ¡£A¡£|;|k|, s¢g|IR |<¡£?,H|?,/1<¡§|§s¥s¡Æss;¡£|
k<¡k¡£|¥§s¢U8/|-,H| %M 1HO|k6$S :*580[M 6N =?N!Gc OL¡£|@¤ s|k
¡£ Jg«kk¦Akk¦«/|J)s| ¤|k¡£s¢R¤ s|kQj4S%s|9jU
Rk¡q\ ¡qs¤Æ«kk kkM¡£;¡£«ssk|L¤ s|k>¢tk, ¤qs
Jgk¤<¡£\U||Jkg¡£ ¡QjUL%k¤<¡£ Sk¡q
¤|\¡£| O|¡£)skk%O|<¡£|O¡£|g¥|£s ° ¡£.k||/J
¤|k«s ¡£¦«sL|k|¥ s ,HM¡ «kk k||¡£¦¡£M¡£\O.k§¤qsIR
¡£|H 8 /|- ,H|.

%M 1Mi¥¦« jU a1NO6! ceGT=?S N s| 6$S
:*580[M 6N =?N!Gc ,¡£|A«kk/k||¡£¦¡£M¡£ U $cR

1s |k ¡£ ¥|£s ° Y 6$S ¡£ ¤ s|kY 3S 47NO6'A jU+G6$S
:*580[M 6N =?N!G
a1NO6!
2GT=?N , 2 ,Hk§¤qsM¡£|@¥I R

£s ° ¡£ ¤| J.s¤Æ|<« |k|¥)¡£|)Ã ¾É<·OÉ Ì¼Æ¶<S ¸ ¶ ¸»³ºs¼<Á£É¼

É<µ É<·¹¸»·¹µ·¹¸±¾ ³ - ,H¦L¡£|b ,HM¡ «kk'k||¡£¦¡£M¡£ U %O|¤Æ
U|Ëqs¡£L¡£| ,H¡EkJ¤ S¤1«kk1kk¦«¡s!¢ jUbs| 6$S,e© 3S
47NO6'A jU+G6$S :*580[M 6N =?N!Gc a1NO6! ceGT=?N ,

~ «k¤,H1¡£|1|k|, s¢¯|IR |<¡£?,H|?,//|¥¥<¡£ E||¦¢»|¥
¢t£-,H<Uk)¢tk ¡£¦«@qs¡¥|£s¥|£s ° ¡£s| «kk kkIR
¡£ /|¥¥<¡£ M ¯|kJk'¡£ ¡Ã ¾É<·iÉ Ì¼Æ¶<¸ ¶¸»³ºs¼<Á£É¼LÁ£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³4J
|k)A¡£|g¥|£s ° ¡£§|k¤k¯|k|¥ ¡£| Ã ¾É<·bÉ Ì¼Æ¶<¸ ¶g¸»³ºs¼<Á£É¼>É<µ
É<·¹¸»·¹µ·¹¸±¾ ³ ¡Hqs¤Æ«kk)kkM¡£ ¡£\ ªÏ<¡ 47NO6'A 3'G: 4||s¡£/¡£|
,H¡OkJ¤ S¤g«kkkk¦«¡Ls¢R¤ s|kQ 3s|X
:
6 = ; 7# $ , A F F;@I F IF 7:! #

M¦« jU a1NO6! ceGT=?N s| 6$S :*580[M 6N =?N!Gc ,Ï|k|¥

¡£|,HM¡ k ||¡£¦¡£M¡£ U S |O¡£| ,H ¡§kJ¤ S¤«kk kk¦«¡
3S 47NO6'A jU+G6$S 1%¤|¡£k|¤<¡£\©
3S :*580[M 6N =?N!Gc a1NO6! ceGT=?N

¡£|Ë|0/¡g«kk kkM¡£;¡£\\¡£| ,H¡>kJ¤ S¤@«kk kk¦«¡
¢ 3SLs| j4SLS L¥|£ ¡£\ 3 47NO6'A j4SG3S ,Ïs¥s)|k|¥ ¡£|Ë,HM¡
3 sP
k||¡£¦¡£M¡£ S |©
3 :*580[M 6N =?N!Gc
c6=?*h 6 =?N
G7a1NO6! ceGT=?N
~%|Ã ¾É<·JÉ Ì¼Æ¶<¸ ¶'¸»³ºs¼<Á£É¼UÍÎ¸»³m¼£ÂsÁU´¼<Á,¸»º Âs·¹¸±¾ ³ ·¹Á£¼Æ¼A¢tÏ¡£|i0/|-,H|bi¥¦«
R¥|k %M |
/|¥¥<¡£ ||¦¢»|¥ ¢t£-,H<Uk k ¡£;¡ U#¥|£s ° ¡£ ¡£¤ÆIR

|PO|©R«kk%kkM¡£@s|@k ¡£¦«Uqs¡¥|£sM¥|£s ° ¡£\8/R
k;kJ¤ S¤qs¦%k ¡£¦«/qs¡.¥|£sL¥|£s ° ¡£| sk)qs¡§¥|£s
¥|£s ° ¡£|@s¢ ,H¡ kJ¤ S¤)«kk/|qs@|k¦«s ¡£|~%| , s
|q@s¢ ¡£|1¢t£- ,H<Uk.%|¡££ ¡£§As/0 /|- ,H|s
6 ! # 9 = +* 9 7: #
= ; 7# $ P L
~ |¡££ ¡£/|¥¥<¡£ .||¦¢»|¥ ¢t£-,H<Uk¯O<¡§|§skk ,H;¡£ ¡
|¦¡£sm¤ s|kQ
¤|k¡£Os¢i¢t|1¤ s|k©Pj4S<5jULs%A8/|-,H| %M B@s| %M 1Ms|§¡ U sIR
j c6=?*h 6 6 B6%s|9 j a1NO6! >'=WG6 B6,1||Jk
:*580[M 6N =?N!Gc
¡£ ¡ ¡ U>Jk¦¡£¦«b¡££s||¥O0 /|- ,H|Rsk'¥¦« 6$S ?
s|W 6U :*580[M 6N 6 B6HG >'=
,%~1U< ,H¡LkJ¤ S¤4«kkË|qsO|k¦«sR
¡£§¡£kskg¥|£ ¡£\

! # &%' (
) +* ,

S # &%'

S
S

S"
1!

) +* ,

U ) +* ,

S
U

S

R¥|k %M |© 2A,H¡OkJ¤ S¤g«kk|qs1|k¦«s ¡£.¡£ks

~%|k| <%MS |kE¡Ë~%¡£|k §,H¡U¡£|k§J£¤- ,HS¤.s«@k k> k|-k,HM|¡£<H%M kB;k|¦|¡£'¡££ ¡£¡£| L¤ sR|k¥sR ©

8/

3 ;:*580[M 6N =?N!Gc
c6=?*h 6 =?N
G7a1NO6! ceGT=?N
~%|gk¤|/¡£kg%¥|£ ¡£;ss¥|k¦J©
-|| £¡ |),HM¡ «kk;k||¡£¦¡£M¡£\ 6U..Sk¡.«kk¦
kk¦«/O¦¡£Xj>¡£ 3 47NO6'A j'G6U ,©
3 :*580[M 6N 6 B6HG >'=
a1NO6! >'=WG6 B6
3 47NO6'A j+G3 ¤,H|M¡£|||¡£|H,HM¡ IR

0 /¡qb
«kk4k||¡£¦¡£M¡£\©
3 ; :*580[M 6N 6 B6HG >'=
c6=?*h 6 6 B6
G7a1NO6! >'=WG6 B6
Rs¦M¡£|4¤ s|k3¤,H|M¡£s¡£|4qs¡L¥|£s ¥|£s °
¡£§s¢3 s|93 U 2 s|k#3 h 8*8 3 G3 1¥|£s ° 6$%
S s|96Uq
R
3;:*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
~%|4sJ«g|k¤k%|¡££ ¡£. R¥|k %M'/
¤<¡£ %M¦¦/U)q«;M¡£| ¡£| ,H<¡£|¢tH¤,H|M¡£|¥ ¡£|
k ¡£¦«qs¡O¥|£sÏ¥|£s ° ¡£.s¢ ¡ U 0/|-,H| 6$S%s|96U©
NOh 8*8 6$SG6U h 8*8 6$S <
G 6U =
8 /|- ,H| %M M O¡£|¤k||¤<¡£;s¢¤ s|k`j4S<cjUqcjgs|,j O~%|
kk|¦¡Es¢¤ ,H|M¡£|¥O¡£| NOh 8*8 6$SG6U Ï ¢»¡£i¡£|UP ,H ¡£s¢kk<«ss¡
¦¡££s k¤<¡£Ë|' & , ¡£|1£- ,H1sR¡£|
h 8*8gs¢¡£| ,H¡RkJ¤ S¤%«kk
|qs1|k¦«s ¡£|1s¢ 6$SOs|X 6U©
3g NOh 8*8 6$SG6U :*580[M 6N G
c6=?*h 6
G7a1NO6!
2G
/|-,H| %M %|¡££ ¡£\|¦>¡£|bsk¤|qOs¢¡£|b||¦¢»|¥%¢t£-,H<Uk
8
¢tJs¡k¡£, R |@¥|£s ° ¡£ ,H<¡£||'sb|k 2U Mª;s|<Mªi
Hk ,., sk ¡£¦«1qs¡b¥|£s¥|£s ° ¡£|sk%qs¡b¥|£s¥IR
£s ° ¡£|%s@
¢ ,H¡LkJ¤ S¤Ë«kkË|qsO|k¦«s ¡£|%~%|Ëkqs|L¤qs
S| ,Hk|<¡Æs1$ /|¥¥<¡£ ÎM ±

% +
!
# &%' 8(,) + 8

% +

!
'013245 !
# &%' ( # &%''04(
) +* , ) +3248(04

S

S

U

S

U
'013245
R¥|k %M'/©/|¥¥<¡£ O
||¦¢»|¥Ë¢t£-,H<Uk ¢t%¥|£s ° ¡£\

0'

3.2 Specialization techniques

J¤ s ° ¡£ ¡£¤Æ||PO|Akqsk¤Æ ¡£|;Js¡£|k.ks¤ ¡£IR |O
, s||¢tk, ¥|£sU¡£kJ¤ S¤AJs¡£|k1|k|¥ R k||k ,HM¡£IR
skHÉ Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³ ¾ÆÌ¼<ÁkÂs· ¾ Á,"2 kJ¤ s ° ¡£J£ ¡£ii|ks¦¤qs
§Á£¼ ³m¼<Ã ¼<³·1¾ÆÌ¼<ÁkÂs· ¾ Á,

< I= ;@ M¦«; s|¥s¥g| s >JHkTS|,H¡>J£R
¡£ , s| §¤ s|k 3¡£)§k<¡s¢U¤ s|k 3 O|¤Æ sk@kJ¤ s R
, ¡£%s¢3 ©
° ¡£| kTS |H
3 $3 B3 ' `GQ3`D^3
2 kTS |H
Y , ¡4J£ ¡£>¡ |¤qs¦;¤,H|M¡£|¦;¡£| k<¡4s¢ ,H|P, s
,H¡%¥|£s 'kJ¤ s ° ¡£|'s¢EË¤ s|k||| R k||k ,HM¡£\ }¡O, R
|%¡ UHsk¤g¡Æs¤<¡£¤gJ£ ¡£|%/@¤ s|ks©
s||¦§@k||¡£¦¡£M¡£§¡£ ¡£|g¤ s|ks¯s|
&s|)@¦¡££sJ¡£@¡£|gJM.s¢R¡£|g¤ s|ks
~%|>sk¤kJ¤ s ° ¡£@ ªi¨¡£¤Æ||PO|L· ¾ÆÌ ´¾!³.É¼£ÂsÁ£¶ÆÇA¾ "LÁ£¼ ³m¼(
Ã ¼<³·O¿sÁkÂ,ÌÇÉ< ~ IR |O qsk|k@¡Æs¡Ë¢tk, ¡£|<,H¡@¥|£sU¤ s|k
s |HkJq ¡£|¦@kTS| kJ¤ s ° ¡£|,G|¡£M¡£|< ||¥¤«'|¥R
¡£¦«'0 /|- ,H| ||k|¥O¡£|'kqsk¤Æ4¡£|<|k|kU¡£ ¡i¡£|U¤ s|k ¤|k|k
¤«L ¡Oqs¡O|gJk¦¡£¦«0 /|- ,H|s
~%| ªi¨ ¡£¤Æ||P O|;1s. Sk¡§|k ¡£|;¡££s¤<¡£¦«/¡£ , /
/| M¢tk|¤ ¡£ , s|kA B% ,o¤<¡£ %M' &¦)|k || R
¡££ ¡£b¡£|b¡£¤Æ||P O|L.gkP ,H|O0 /|- ,H|O|k|¥ËsH¡££s¤<¡£¦« / R s
s¥k¦¡£ ,/ > ¡£| s¡£|gs|\i¡£I R |O kqsk¤Æ s¢1kT S| ,H¡4¥£s||
1¡£| , s.¡£¤Æ||P O||k/A ,H|k¤qsJ ªi¨ 2||¦¢»|¥Ë¢t£- ,H<UkH¢t
,H|k¤qs| ªi¨s¥k¦¡£ ,HRO|¤Æ J¢t? , ¡£I R |O kqsk¤Æ.s¢\kT S| ,H¡
¥£s||O%¥¦«//¤<¡£ %M' &' &
3.2.1 Top-down search of refinement graphs

Uk¤<¡£. s|¥s¥| s
s| ¥¦«.s¤Æ¥k||§|O|¥ L¡£|
Js¡£|k4ks¤ s¢1|k¥£-,9¤ s|k4A ¡k¡£¤si¡£k|¤<¡£|k ¡£| R
k||k ,HM¡£Ë¥|£s¦¡ k|k|¥| Ë¡£|R ¡k¡£¤ssËÁ£¼ ³m¼<Ã ¼<³·¯¿sÁkÂ,ÌÇ¤qs

J4|TS| s|;|k¡£ |k¤<¡L¡£|4kqsk¤Æ;¢tk, ,H¡L¥|£s ¡£ kJ¤ S¤

Js¡£|k 2 kTS|,H¡4¥£s| A|k¤<¡£\Rs¤<¤¤ ¥£s| O|¤Æ
³m¾q´¼ÆÉUsk>|k¥£- ,Y¤ s|kOs| ÂsÁ£¶ÆÉ'¤kkkJ|§¡£Ë¡£|sk¤>kTS|,H¡
J£ ¡£|©Rk||¡£¦¡£M¡£|¥@«ssk s|%O¦¡£§¡£? ,/Ms|§s|||¥Ë4¦¡££s|¡£
¡£|gJM§s¢E@¤ s|ks

2L¥k¦¡£ , %M¦GM¡£|#¡£|Gsk¤ ¡£| s¢ ¡£| / 9s¥k¦¡£ ,
s|kA B%±L }¡skk ,HL¡£|4 s|¥s¥ s¢b|T S|¦¡£4¤ s|k\s|;¡£|
|T S|¦¡£|%s¢Rs¤Æ¥k||)|O|¥g|k|¤q ¡£ L
7#9 J"= $ : FG := ; 7: I

%

!
" #$% &')(
* & $+-,
.0/12/34
56 78 9 ;:< = >?- @A= ;:#$!
,
.0/12/34
BDC ? " ;: 6$(;E= ? 7F @A= 9 ;:#$!
40GH/<I
JK
(;?? (;6(
* 'D?#LF,
BDC ? M ;: = - ;:#$!
(;E= ? 78N 40GH/<I
OPQ? 7<RTS!?U A?U(U8' "? ;SV #$ @?UA!
7 =
WN(
* MX (UQ(;E= ?U 78778NF,
YZIV4 B\[ ] (;#$!
978(; ,
^ Y_4E1Y_4`2a bF,
C%c .0/dV/.
/ ¡££s¤<¡£¦«¦ s¤¤M¡£A|<T¡££s||¥0/|-,H| ¡£|8Sk¡ #
|<¡£ ¢tk ,
J|¥ |¤|k¡£¡q
2U s|kX3
¡Æ ¡£,H¡/s¢4¡£| ¡£ks ;@ \LsL¡£| |¤kk¤<¡A¤ s|k)sk
§¸»³m¶Æ¾ Á,Á£¼Æ¶<·%¦¢.3 kkJ|k|.¢t
~%| , s s¡1s¢\¡£|>s¥k¦¡£ , '¤ s|k¤|¡£k|¤<¡£.H¡£|Lk¤|
#¡Æ ¡£ ,H¡Os¢ ¡£|¡£ks ;@ \©Ekqsk¤Æ||¥@¢t%@|< ¤ s|ks¢
¡£|¡Æsk¥<¡|k|¤q ¡£4|T S|¦¡£A¡£ ¡L¤«k Jk¦¡£¦«0 /|- ,H||s¡L¤« R
k )¡£|Ë¤|kk¡gJs¡£|kËqsk¤Æ s¢¡£|@kT S| ,H¡g¥£s|;¡Æs¡£
O¦¡£/¡£| ,H¡¥|£s ¤ s|k4s|)¤¡£|L/kqsk¤Æ||¥ ¤ s|kkT S| R
,H¡£U.|kqsM¡£I RSk¡ , s|| 21¡1qs¤Æ.¡£\|s ,H|P , sMkT S| ,H¡£
sk'¥|£ ¡£@s|4¡£¡£4¢t ¤«£s¥sE~%|1s¤¤M¡Æs|UkT S| ,H¡£ ,Ë|¡
¤«¡£| k¤<¡£ Jk¦¡£¦«Ë0 /|- ,H|sË~%| |k¤kg¡£|O| ¡£| Sk¡
s¤¤M¡Æs|g¤|k¡£¡L¤ s|k1¢t||\

0'

+

)8/|-,H| %M¦+* / R ss¥k¦¡£ , %|¡££ ¡£\%kP,H|¤¦¡
¡£|Ë s|¥s¥ o>k¡£k¤<¡£;¡£.|IR k¤|kk¦«@|TS|¦¡£Ë¤ s|kgs|;|¦
|;kJ¤ s ° ¡£J£ ¡£ |k\- ,H¦Os|||¥ ¦¡££s%¡£¡£|
JM§s¢E@¤ s|ks
6
= ; 7# $ : J" 9 J I= 9 ; J
%
ªÏ<¡L|Ls¥s§¡Æssg¡£|g¢¹-,H¦.k ¡£|% |-,H|¢tk, ¤<¡£
0/ |U~%|
qsk| Sk¡¥¦« ¡£| Jk¦¡£¦«@0/|-,H|6$S :*580[M 6N =?N!Gc ,

? , s¦¡£|U¡£IR <«M||U4¡£|1kTS|,H¡b¥£s|Ë ¡£| ,H¡¥|£s

¤ s|k c*hA+6 ||s¡£) Js¦¡£k ¡£¦«¦|A¡£|,HM¡ A¤ s|k
O|¤Æ ¡Æs|| ¢t c*hA+6 VN$!6,o¨£s¤<¡£¤qs¦U¡£|)kqsk¤Æ ¢tH¤ s|k
¡Æs¡£%O¦¡£§¡£| ,H¡O¥|£sÏ|T S|¦¡£As¢ ¡£|g|k|¤q ¡£# :*580[M 6N©
3 :*580[M 6N G

¤«k? 6$S<1¡£|;¤|kk¡§Js¡£|k
O|k s ,HM¡ JM Ok¦¡k¡£ |¡£qs s¢g¡£|;JMZ
|¦¡£ s ° ¡£ VN$!6|¤W
$3+ ~%|
3
s| H¤«k

,H| S\

k¤| 0 /|- ,H| |¤|¡£kZ 6U :*580[M 6N 6 B6HG >'=
Ësk)Jk¦¡£¦«
¡£|k<¢tks%¡£|)Js¡£|k.|.|s¡ | ¡£J
~%| ¡£|k 0 /|- ,H|H|¤|¡£k]
¡£¦«s>~%|@qsk|L|<¡£>¤ s|k 3¢tk ,
6 :*580[M 6N >'=WGc g|¥ R
mk|¤Ë¦¡L¤«k¡£|Ë|¥ ¡£¦«
0 /|- ,H|s% }¡>| ¡£kL¡£|4k¤| #U¡Æ ¡£ ,H¡>)k|O¡£ ¥|£ ¡£Ë
|< ¤ s|k>¡£ ¡%¤«kO¡£| Sk¡OJk¦¡£¦«L0 /|- ,H| 6$S<'|¤k 3¤«kO¡£|
|¥ ¡£¦«U0 /|- ,H|P 6 ¡£|Uqsk| | ¥|£ ¡£ ¡£|Uk<¡Es¢¦¡£ikT S| ,H¡£
,H|P , s¯kJ¤ s ° ¡£|'s¢ ¡£|¢t? ,
3 d $:*580[M 6N G
#L
O|k %|gs¢ ¢tO|¥Ë¦¡££s© S

¦¡££sgq«|¥sËsk¥ ,H¡£4¡£|H«ssk s|g¢tk ,9¡£|.|qs s¢%¡£|
¤ s|ks©
H c6=?*h 6 , c6=?*h 6
, a1NO6! G ,
a1NO6! G
,O a1NO6!
2G ,¯s| a1NO6!
2G
,s|
¦¡££s ¡£ ¡'¡£k||¤|< |¡£|¤<¡«ssk s| s|

\¡£|b¤ s|k'JMJ0© a1NO6! G , a1NO6! QG , a1NO6!
2G ,
s| a1NO6! QG
,
- /*+!4!Q QA4'4/0N 3 ! 2/4 " .4 " +!*"$:
! / 4.B5
4 " 9 N464/0;8!
/! O1/4 &" .49(* + +!
Q ! 4/.< ( =!2/ 4.B5

;,!

!

, !

,!

) + 8 ) +

!
# &%' 8

!
# &%' 8

!
# &%' # &%' 8

) + 8
R¥|k %M 1M©b¨Rs¡Os¢R¡£|gkTS|,H¡¥£s|A¢t1¡£|¢¹-,H¦Hk ¡£|

|k|,/
¨Rs¡s¢¡£|ËkTS|,H¡g¥£s|)¢t¡£|4¢¹-,H¦§k ¡£||k|,3L¥¦«
R¥|k %M 1M
~%| kT S| ,H¡£¡£ sJ«Hsk@| ¤|k|k |@|s@~%|
kT S| ,H? ¡ :*580[M 6N G

H¤|k|k Sk¡q%|M¡.Hk R
¡££s¤<¡£ s¦¡4||s¡4¤«4¡£| Jk¦¡£¦«H0 /|- ,H|
3 _ 6$S<A~%| kT S| ,H¡
:*580[M 6N G
c6=?*h 6 @ ¤|k|k|0 /¡.s|@¢t||
¡£ |k¤kP ,H ¡£ J<¡ U Jk¦¡£¦« s||¥ ¡£¦« 0 /|- ,H| 2L k|¤Æ\
¦¡))k<¡Æs|o ¡£| ¤|kk¡ Js¡£|k ~%|;Js¡£|k)U|
J)¡£|kk|¦¡§s¢gqsk||¥¡£|;¤qsk;¡£ ¡.¡£|;qsk|.|¤|¡£kA|
,HkL0 /|- ,H|bU<«k||Jk>¡£ ¡Os|s¡£|1|¥ ¡£¦«>0 /|- ,H|` 6
:*580[M 6N 6 B6HGc Ë|¤|¡£k\ 2U s|k?

¡£¡qk|¤L¦¡'¤«kL
Os¥s |
6 E }¡U'|<¡£H¢tk ,
3 ¡£| J¤ ,H@|¤|k R
s|H¡£|L¤|kk¡1Js¡£|k
~%|¤ s|kO¥|£ ¡£ |k¤k'|k¤kJ sJ«| kJq ¡£\Ms|

¡£|A¡£ ,¡£k s¥s¡£ || ¤ s|k§¡£ ¡ ¤«kJ 6$S< ¡£| |k R

0'

¤k>¡£| k, s||¥kTS|,H¡£)s¢3sk Sk¡)¤|k|k\ L¢4¡£|ks
:*580[M 6N G
c6=?*h 6
@s|m :*580[M 6N G
a1NO6!
2G
skk<¡Æs|A§¡£||kqsM¡£I RSk¡ O||k|¤¡£|<§¤«Q6$S<||M¡Lsk|s¡
¤|k¡£¡qR~%|bkT S| ,H¡£ s¢¡£|b¤ s|k2 :*580[M 6N G

sk
¤|k|k/|0 /¡qJs|/skgs\k<¡££s¤<¡£)s1¡£|<§|H|s¡O¤«. 6$S,
Rs¦
¢ 3 sk@¤|k|k\ - ,H|¥.O|¤Æ :*580[M 6N G

¡£| kT S| ,H¡£gsL
c6=?*h 6
G7a1NO6!
2G ¤«k 6$S4s| 4¤|k¡£¡q 2LË¦¡Ës|J|
¡£|%¤ s|ksk ¤«k. 6U|k ¡£|gqsk|%¡£|O¡£|gkqsk¤Æ/¢t%¤ s|k
3.2.2 A unifying framework for specialization

/¡ ¡£IR |O4,H|k¤qs ªi¨;¡£,HEsk'sk4¡£|b¡£IR |O4kqsk¤Æ
s¢mkTS |H , ¡U¥£s|||k / J~%|kL|¤|| > ª || s* ±
¦¡£Lk|¤¤kkk, > ª ®@° ¬ kkM s| 521ª ¨R °° s|i<¡s±%Ms
( k||§s|)¨R °° s|bM ± 2 Q 5->
U M kJ|/& ± 21ª2 -L®> b
®> Q sM¡Ls| U ( kM|¥| % is|)¨bª ®> Q sM¡O<¡Ls±1% ±
~%|4k¤<¡£|kk¡£@/¥|k¤H¡£IR |OH , |k¤qsE ªi¨ s¥k¦¡£ ,
O|¤Æ |||/ ||¦¢»|¥ ¢t£-H , <Uk ¢t H , ¡/s¢4¡£| sJ« H , |k¤qs
ªi¨¡£H , ' Ak|%¡£ |kk¡¡£|s¥k¦¡£ G, ¡£|gsk¤|s¡Æ ¡£As|
¡£?H , |¥sH|/¡£ Jg¡Æs|k|\
2 Js¡£|k '
U O@k<¡Ls¢R|k¥£- , ¤ s|k$3 B3 . %'

~%|>k<¡ b¡£|L¥¦« |¦¡£ s i¡££s||¥k<¡q }¡1¤|k¡£Us¢iJk¦¡£¦«
0/|- ,H|

s||¥ ¡£¦«A0/|-,H| Ï
||s¡£A¡£|/ ,ËJHs¢L0/|-,H|H U s¢LO|¤Æ sk/Jk¦¡£¦«
s|X |¥ ¡£¦«s5 ; R
ÏªÏ<¡E

~%|LJs¡£|k ¤|kk¡£¦ ||¦¡' ¡£|Lqsk|'b¤qs ¡£| ¶<µÁ

Á£¼<³·¯Ç ÆÌ¾ ·»Ç¼ÆÉ<¸É< s|g¡£|b¤|kk¡£¦||¦¡Ï¤ s|k2 3R¡£|L¶<µÁ,Á£¼<³·i¶<Í¦ÂsµÉ¼<
~%|A¤|kk¡ ¤ s|k? 3.sË¡£|§¢t? ,
~%|A|qs s
¡£ , a S
Glll4G %O|k. a O¡£|4¡Æsk¥<¡>|k|¤q ¡£4I ,ËJ±\s|
¡£|gJM
O ¤k||¤<¡£As¢R¦¡££s SGlll4G
L

~%| ¶<µÁ,Á£¼<³·E·¹ÁkÂs¸»³¸»³¿É¼<·
'b¡£|k<¡1s¢\¡££s||¥g0 /|- ,H|'¥¦«
¡£§¡£|@qsk|>O| ||||¥ ¡£| ¤|kk¡¤ s|k 3 Ë }¡¤|k¡£s¢

U0 /|- ,H|B
Jk¦¡£¦«Ls|E

|¥ ¡£¦«sB
g

RA\*.!%+!N*" 3 ! N!L A"25

~%| Í¾¶£ÂsÍU·¹ÁkÂs¸»³¸»³¿É¼<· g k||k<¡ s¢¡£|A¤|kk¡ ¡££s||¥;k<¡

s¢L0/|-,H| ¤«k ]3 ªÏ<¡E 3 4||s¡£A¡£|A ,ËJ s¢
0 /|- ,H| ¡£|)¤qs%¡££s||¥ k<¡q 3 s¢>O|¤Æ sk)Jk¦¡£¦«
s|X 3 1skg|¥ ¡£¦«s5 3 ; 3 3 ,
2Y¿¼<³m¼<Á,¸±¶ · ¾ÆÌ ´¾!³ ¼<ÃLÌJ¸»Á,¸±¶£ÂsÍÏ²£½iÀ ÂsÍ ¿¾ Á,¸»·»ÇÃY¤qs | J@M¡£|\

}¡¤|k¡£Os¢ ¡£|k , s§¡£|©
1ÌJÁ£¼( ÌJÁ£¾¶Æ¼ÆÉÆÉ<¸»³¿>s¢ ¡£|¡££s||¥Ëk<¡q
&Ë¶Æ¾ ³MÉ<·¹Á,µ¶<·¹¸±¾ ³Hs¢E Js¡£|k¯s|
%M1Ì¾É<· ÌJÁ£¾¶Æ¼ÆÉÆÉ<¸»³¿>s¢ ¡£|gJs¡£|k
Pre-processing of training examples

¨k R |k¤kk|¥;s|| ,Hkk|¥)sk¥ ,H¡4«ss|4 ¡££s||¥/0/|-,H|
s|\mO| |§|¥ ¡£¦«Ë0/|-H , |skË¥¦«\m¡£|Ë¥|£ ¡£;s¢'|¥ ¡£¦«
0/|-H , |®> k¡@1q s¢L¥|£ ¡£|¥ |¥ ¡£¦«A0/|-H , |HskAJkk R
|s /¡@¢tkO |¡£¦b¡£H , @|k.¡£|§kR ¤qs ¥|£ ¡£ |||Ë¡£|
¤kI}R Uk skk H , M¡£ ¦ ¡£|.¤qsksLs0/|-H , | O|¤Æ#sk;|s¡
¥¦« s Jk¦¡£¦«;sk)¥|£ ¡£ s| sJ|¥ ¡£¦« || s* ±
~%| H , <¡£|#/|¦ s||k|k ¡£ #0/|s¤<¡q S |¦¡£ |, s|§O|ks
Jk¦¡£¦«.0/|-H , |@sk.¢¹s¤<¡@¥¦«\ ~%|§|k Ë , |¡@J H , ¡Ë¤qsk<¢t|
O|s||¦|¥.¡£| | k¡H , <¡£||¢t|¥ ¡£¦«@0/|-H , | ¥|£ ¡£
¡£| ¤kI}R UkËskk H
, M¡£ ¦ s¡£ s¤kI}R UkËskk H
, M¡£ ¡£|
|qs R0H, kkH , | s| Ë , |¡g ¡qs¡J s|4¡£§¡£k|k<¡¡£|@kk|¦¡£
s¤¤k||¥¦ ªiq«£|¤ ¬ * ªiq«£|¤¬ <¡s±%M±
Construction of a hypothesis
OJs¡£|kU¤|¡£k|¤<¡£§skk H

k<¡1¡£4¡£|>¡£k¡££s||¥4k<¡ 's| ¡£|>¤|kk¡%Js¡£|k
, '¡£|L¤|kk¡1¡££s||¥k<¡ |¦¡£ s¦
|¦¡£ s¦
k<¡%¡£Ë¡£|,HM¡ .k<¡Os¢i¤ s|k,b~%|gs¥k¦¡£ , ¤|k¡£%s¢Ï¡ U ;@
|Ok<¢tkk ¡£ s ¶Æ¾ ºs¼<Á,¸»³¿;s|oÉ Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³~%|¤«k|¥
O.; F!/06:) +! / Y-
(%4?!: :1 "'!.QY< O !:
! Q.!.< 4 :1 :1

Y! L! *" /;:1Y,>.:)!:1?+!S:1
4 L! ;" M Y O 8!.QY< O6!: ! 8+!N ! !Q ? !Q M+!4
!: ?/.,LM6O- 4< ,+!N/.9" !.QY< O9!: ! AQ.!.< &5

0'

J¢t?,H%Js¡£|k¤|¡£k|¤<¡£;s|A¡£|gkJ¤ s ° ¡£.AJ¢t?,H
¤ s|kg¤|¡£k|¤<¡£\
~%|A¶Æ¾ ºs¼<Á,¸»³¿gAP ,H| ,H¡£1¡£|4¤«k|¥.s¥k¦¡£ ,/M|O)¢tk,
¡k¡£k|M¡£ R}«ss|'qsk|k 2 /¤Æsk B% /¤ÆskÏ<¡Ls±1 B1s|
21 & 2U sk.s|)|<¡k¡ B±E }¡¤|¡£k|¤<¡£'>Js¡£|kb4¡£|k , s
¡£|©
¤|¡£k|¤<¡>@¤ s|ks
s|A¡£|g¤ s|k>¡£ ¡£|g¤|kk¡Js¡£|kJs|
k,H«@¢tk,3¡£| ¤|kk¡g¡££s||¥.k<¡g¡£| Jk¦¡£¦«Ë0/|-,H|g¤«R
k/§¡£|g¤ s|ks
~%|/O¡ |¤qs¦.kJq ¡£;|¡£ s\¡£|4Jk¦¡£¦«g0/|-,H|Lsk4¤«R
k\
~%| , s s¡4g¤ s|k ¤|¡£k|¤<¡£\ P,H|,H¡£ ¡£|§É Ì¼Æ¶<¸¹ÂsÍ
¸ Âs·¹¸±¾ ³§)s¢¡£|@¥|k¤4 ªi¨#s¥k¦¡£ ,/ 2U s|kË¤|¡£k|¤<¡£LJ R
¢t? ,H ,Hqs|/s¢@kT S| ,H¡J£ ¡£ O|¤Æ ¡Æss)¡£| ¤|kk¡
¤ s|k 3
os| |||E>k<¡bs¢J¦¡£EkT S| ,H¡£ 3 d
$3 '3.D^3
.s|||¥Ë4¦¡££s ¡£4¡£|>JMHs¢ 3 bs¤Æ§kT S| ,HQ ¡ 3 sU¡£|¢t? ,
3
JO|k

G ¤ ,., ¡Æs||L¢t¤k||¤<¡£ , ~%|
kJ¤ s ° ¡£AA¡Æs¡£O¦¡£;H¤ s|k& 3 O|¤Æ;sLs) ,HM¡
JM | R ¤P ,Ë||¥§kqsk¤Æs¢O¡£|§kT S| ,H¡H¥£s|\¡£|As¥k¦¡£ ,
s|U| J¡ ¤ s|kLs|Hk| s¤b¦¡O¦¡£H¦¡£ J¡ kT S| ,H¡1 ¡'qs¤Æ
kJ¤ s ° ¡£@¡£\M|¡£|¡£||¤kk¦¡ ¡£|||¥¤k¦¡£kHb£ ¡£ S\
Jq- , kqsk¤Æ\¡£|s¥k¦¡£ , s|Lk<«£s J¡ ¯¤ s|kO|¡£qsAs¢R|s
2L¥k¦¡£ , %M' &M¡£|b¡£|Lsk¤>¡£|1s¢ 4¥|k¤¡£I R |O§ ,H| R

¤qs| ªi¨ s¥k¦¡£ ,/i }¡Uskk ,Hb¡£|¥¦« |k R |k¤kk bk<¡Us¢m¡££s||¥
0 /|- ,H| U¯¡£|4 s|¥s¥g| s >¯¡£|4|T S|¦¡£|s¢s¤Æ¥k||| R
|¥%|k|¤q ¡£ Ls|@¡£|%||k¡£¤E¡£gJ%|kH ¤ s|k%¤|¡£k|¤<¡£\
}¡Lsk skk ,HO¡£|g| R ¤P ,Ë||¥gkqsk¤Æ)s¢ ¡£|gkT S| ,H¡¥£s|\
~%|g¡ U ;@ |Oskg¤¡£kA§¡ UAÉ<· ¾ÆÌÌJ¸»³¿§¶<Á,¸»· ¼<Á,¸¹Â sk
¤qs Èµ|ÂsÍÎ¸»· A¶<Á,¸»· ¼<Á,¸¹Â ,
S !:1 + < 'M /4 < 9" /./!NL->F! !Q8? . ?+!)LM>
"2/4
#" / !Q;+!?M /4 < (*+!4/+ 8O<4L! +!,+! 4
! 4/ L->[ / Y1) /0! .:?5 +!.(*4'" +!8!<

+!!4 + O9LM..? B5

7#9 J"= $ P 4 : ; )

I H 7#9 J"=

` ,
`

K ,

.0/12/34 (;E= ?U @

` !

,

(
A

.0/12/34

7 > ? ;SV #$ ,
@ ` ,

YZIV4 B\[

(; %Q! @$(;?U ?UQ 6A S! 7),

77 N N@ - X b ,
`

N@ K X

56 #$E= = M ;:#$!
6(;E= ? 7W 'D?#

` 240 &

?U @$ ,

@
`
` ,
YZIV4 B\[ * ( (; ! @$(;?U ?U8 A S! 7),
^
Y_4E1Y_4 ba F,
¡£|'¤ s|k'¤|¡£k|¤<¡£ É Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³ m\¡£|³m¼Æ¶Æ¼ÆÉÆÉ<¸»· OÉ<· ¾ÆÌ

ÌJ¸»³¿§¶<Á,¸»· ¼<Á,¸±¾ ³H|¤|OO|A¡£H¡£)s|||¥@¦¡££sU¡£H@¤ s|ks

#¡£| Js¡£|k)¤|¡£k|¤<¡£ ¶Æ¾ ºs¼<Á,¸»³¿ \¡£|É<µ ¶<¸±¼<³m¶(

É<· ¾ÆÌÌJ¸»³¿ ¶<Á,¸»· ¼<Á,¸±¾ ³@|¤|UO|§¡£Ë¡£§s|||¥Ë¤ s|kU¡£4¡£|>R
Js¡£|k
®> k¡%¡£|||¥@¤k¦¡£k 4sk>|ks¦.s|| §|, s|'O¦¡£.J R
¢t¤<¡ s ¥|¦m0/|s¤<¡q\|IR | O ¡Æ.s|;)|, s|OO¦¡£;P,HJ¢t¤<¡ s ¥|¦
| > ¡ÆM | , s|>O¦¡£ J¢t¤<¡ ¡ÆMÏ¡£|H|¤kk¦¡ ¤k¦¡£kk R
O|k1¤|k¡£|¤< O|¤Æ ,Hqs|1|Ë¤«kA|¥ ¡£¦«>0 /|- ,H||s|.¡£|
k 'H¤|¤</¤k¦¡£k§k O|k¤ ,H|<¡£|kOO|¤Æ ,Hqs|O¤«£s¥4s¢Es
Jk¦¡£¦«40 /|- ,H|g | , s|O¦¡£;P ,HJ¢t¤<¡> ¡ÆM\|¡£qss¢b¤|k R
¡£|¤<@s| ¤ ,H|<¡£|k||k¡£¤1¡£|||¥>¤k¦¡£k >sk%s||\ 2U|k R
¡£|¤< s|@¤ ,H|<¡£|ksEU|s||k¡£¤1¡£|||¥¤k¦¡£k Msk1sk
¡£| ,ËJgs¢UJk¦¡£¦« s| |¥ ¡£¦« 0 /|- ,H|¤«k §¤ s|k
%Js¡£|k
A¡£|ksJ ªi¨¡£ ,H|¡£|>k<¡Os¢i0 /|- ,H|1¤«k) ¡£|>¤| R
k¡E¤ s|k 3i|<¡£? ,H|O¦¡£k¥sk¡£¡£|'¤|kk¡EJs¡£|k s± s¦
0'

sP3> B6NHA .G $3+*G

,E~%|b|s¡£ b|k @¡£|¥|k¤%¡£IR |O
,H|k¤qsO ªiŸs¥k¦¡£ , 2L¥k¦¡£ , %M'& ,8/¡£|ksL ªi¨ ¡£,H
k|¤Æ s > ªm|k4¡£|Ë|s¡£;s¢b0/¡£|ksR¤«£s¥ ¡L¡£|@s||k|k R
¡£A| s¤ ¡£|/¥|k¤/s¥k¦¡£ ,/ 2L ¤qsJAk¢tk , ¡£|/sJ«
|T S|¦¡£ s¢10 /¡£|ks¤«£s¥s ¡£| k<¡4s¢10 /|- ,H|g¤«k¡£|
ªi¨¡£ ,H¯± s¦|%¤ ,H|M¡£)sQ
¤|kk¡¤ s|kË>||J||¡s¢b¡£|@¤|kk¡Js¡£|k0 /¡£|ks
3> B6NHA G4$3+*G
,
1 |Ë|T S||¥O¡£|'||k¡£¤ |kË ªi¨;¡£ ,HsUbOs¡Æss 3
s| 3 >¡£/JH¤¡£0 /¡Ë|J||¡qE± s¦i¡£A¡Æss ¡£)s¤¤|¡¡£| 0 /R
¡£|ks ) ¡£|ks1|s¡£ s¢¤«£s¥)|k ¡£|) ªi¨ ¡£ ,/
¡£|ksi¡£ ,H@ 3 Os|, 3 1Oi||s¡£¡£|4 ,ËJkLs¢Jk R
¡£¦« s| |¥ ¡£¦«@0 /|- ,H|;¡£|@k<&
¡£|ksJ¡£ ,H0 3 's|J

¡ 3> B6NHA .G $3+*G
,4 0 /R
3 O||s¡£L¡£|L ,ËJk1s¢iJk¦¡£¦«

s| |¥ ¡£¦«@0 /|- ,H|g¡£| k<&
@¥k|| ,H|\s¢ L

¡ 3> B6NHA G4$3+*G
,ÏO|k
®> k¡.||k¡£¤§sk)|k¤|kk |<¡Æs 2UsM¡£ BM%|M¡Ask

skHM¡£|/|k¢t¤ ,H|<¡£|k~%|4kP ,H|¡||k¡£¤ 3 %O¡£|
¼ <Ì¼Æ¶<· ¼£´ Â¶Æ¶<µÁkÂ(¶ Hs¢)¤ s|k 3 a 3 ,)~%|§0 /MJ¤<¡£s¤¤|£s¤<

H|T S| s ¡£|)|ks|¦¡ ¡£ ¡.s0 /|- ,H|A¤«k ¤ s|k9
Jk¦¡£¦«s²,³ "q¾ Á,ÃHÂs·¹¸»º¸»· L|T S|osJ
¢tk O|¡£¦ |k ||k¡£¤s
3 h >+8OUa
3§
3 ,L/s|s¡£|
/k sJ£ ¡£ «kk|4s¢%¡£|k.||k¡£¤

|¤||;Â¶Æ¶<µÁkÂ(¶ A¿Âs¸»³ 3 G3 3 3 s| ¸»³ "q¾ Á,ÃHÂs·¹¸±¾ ³ ¿Âs¸»³

3 G3 3 3 ,is>Us !U¼<¸¦¿ Ç· ¼£´)Â¶Æ¶<µÁkÂ(¶ H¿Âs¸»³ 3 G3

s| !U¼<¸¦¿ Ç· ¼£´¸»³ "q¾ Á,ÃHÂs·¹¸±¾ ³ ¿Âs¸»³ 3 G3 , 2 «ssk s¡s¢JU¥¡£HM¢t R

, ¡£.¥s§|k/ > ª %|k¤kJ//¤<¡£A|¦b®> k¡O|k R

|¦¡ H¡£P , ¡£ |k¤|kk)A|<¡Æs\ 2UsM¡£ B U¤qs/Jg|kA¡£ ¤ , R

|M¡£# a 3 ,i¡£| ,H¡g¢tk O|¡ |M¡4|s¡¡£|.

,H¡Ës||k|k ¡£ >J|¥

¡£|>Á£¼<Í¦Âs·¹¸»ºs¼ ",Á£¼£Èµ¼<³m(¶ 's¢J¤«kHJk¦¡£¦«U0 /|- ,H|c a 3
/k.s||k|k ¡£H|ks|¦¡ ¡£P , ¡£4skH¡£|.ªis| s¤H¡£P , ¡£ s|

¡£|k = R ¡£P , ¡£ 2U¡£|; *±
Post-processing of a hypothesis

¨ ¡ R |k¤kk|¥s¢Msg|||¤Js¡£|k sP,HJ¡£Ok||¤¡£|b¤,H|0/R
¦¡ 4s¢ s|Ë¡£PH , |k«U¡£|Os¤¤|£s¤<Ës¢¯¡£|%Js¡£|kEO| ¤ skk¦¢»|¥
||k ¤qsks¡£4¡£ ¡>J¡ R |k¤kk|¥§s¢' k|¥4¤ s|k4¤qs sk.J
J¢t?H, P,.H , | ¡£¦/ ¢»¡£>¡£|@kJ¤ s ° ¡£;\mO|¤Æ ||

> ª k .2L¥k¦¡£ ,T|¦, ¨ ¡ R |k¤kk|¥/gJ¢t?,H k,H«|¥

¸»Á,Á£¼<Í¼<º Âs³·ÏÍÎ¸»· ¼<ÁkÂsÍ É ¢tk,>¤ s|k%s|@Ëk,H«|¥Ë¸»Á,Á£¼<Í¼<º Âs³·R¶<Í¦ÂsµÉ¼ÆÉi¢tk,
¡£|Js¡£|k~%||T S|¦¡£|bs¢m¡£|kk<«ss|¤%s¢\¦¡££s ) ¤ s|kE¢t R
O
I7# :7 7:F ªÏ<¡ @
£s¢tk, £¡ | JM s ¢ 3

'
: JL¡£|>¤ s|k>M¡Æs|§ k,H«|¥Ë¦¡ R
, s|

ªÏ¦¡££s #¤ s|k 3 ¸»Á

Á£¼<Í¼<º Âs³·¦¢ L3> B
6NHA .G G 3> B
6NHA .G $:0 $3+*G
3> B6NHA .G W$:0 $ 3+*G g3> B 6NHA .G G
I7# 7#!"FIF U s|k ' ¸»Á,Á£¼<Í¼<º Âs³·\¦¢

2 #3
$ ,,¯ s|

3> B6NHA .G G g3> B6NHA .G $3+*G

3> B6NHA .G
$3+*G ;3> B6NHA .G G
J¢t¤<¡ |IR | 0/|s¤<¡|, s|ikk<«ss¡g¦¡££ss| kk R

<«ss¡ ¤ s|k sË|TS|sJ« Ësk.P,H ¡£\ >¡£|§s¡£|@s|\
/P ,HJ¢t¤<¡O|, s|O||k¡£¤ËÉ<¸»ÃLÌJÍÎ¸ ¶£Âs·¹¸±¾ ³ ¶<Á,¸»· ¼<Á,¸¹Â4skg|k;|¡£qs\
~%|||k¡£¤¡£ ¡'<«ss ¡£1¡£| Os¦¡ Ës¢Ïg¤ s|k ) k<¡'s¢\¤ s|kI,HIR
¡£|ËË¤ s|k1¤|¡£k|¤<¡£\¤qs@J1|kHsk>sEkP,H| S¤q ¡£g¤k¦¡£k M
¡£| ,H¡%¢tk O|¡LJ|¥@¡£|g0 /MJ¤<¡£;s¤¤|£s¤< 3 1 ,
.|£s¤<¡£¤qsLkqsk|L|¡£qs s¢|k¤|kk|¥ «ssk| kP ,H| S¤q ¡£

¤k¦¡£k )¡£JA|k P ,HJ¢t¤<¡@| , s|UAkP ,H|¦ k|T S|A¡£|A| R
¡£ s¢L¸»Á,Á£¼<Í¼<º Âs³m¶Æ¼Ls¢1¦¡££s>s| ¤ s|k|k|¥§¡£| 0 /MJ¤<¡£ s¤¤|£s¤<
||k¡£¤s ¡£|g¤qsksR¡£|H|T S|¦¡£|gs¢1¦¡££s ) ¤ s|kËkk<«ss|¤Hsk
¡£|.¢tO|¥|8 2 ¦¡££s'¤ s|k? 3HËkk<«ss¡@¦¢O¦¡@¤qs J§k ,H«
¢tk , ¡£|HJM s¢ 3ËO¦¡£|M¡4|¤kqsk|¥/¡£| 0 /MJ¤<¡£ ¤ skk S¤q ¡£ s¤ R
¤|£s¤< 3 Us¢R¡£|g¤ s|ks 2 ¤ s|kg%kk<«ss¡O¦¢ ¦¡£OP ,H ¡£ ¢tk ,
9||s¡L|¤kqsk¡£|Ës¤¤|£s¤</s¢R¡£|Js¡£|k%~%| ,Hk¢t? , s
|T S|¦¡£|Oskg¡Æ ¡£/Jg
I7# :7 7:F := ;@I
oªÏ<¡W: J ¡£|¤ s|k IR
¡Æs|H¢tk, O
3 k,H«|¥¦¡££s ¢tk ,G¡£|LJM s¢ 3 bªÏ¦¡££s
A¤ s|kk3>¸»Á,Á£¼<Í¼<º Âs³·\¦¢ 3 : ,
¦¢
I7# 7#!"FIF
$3+,
:= ;@I
2U s|k23 ' \kk<«ss¡
7-. >.:)" +!47:1!Y

R #\

R
#\A
R \
R \05

0'

2 ¥|£sLJ¡ R |k¤kk|¥ H , ¤Æs|?,/Os.|k s ªi¨ ¡£,

521ª ¨R °° s|i<¡s±%Ms U ( k||As|/¨R °° s|bM ±gA¡£|Á£¼£´sµ¶Æ¼£´
¼<Á,Á£¾ ÁÌJÁ,µ³¸»³¿sO|¤ÆHPH, |H, ¡£bgk||¡£¤q ¡£ 1qHs¢\k,H«|¥gkk R
<«ss¡g¦¡££s ) ¤ s|kL|k|¥.¡£| 0/MJ¤<¡£ s¤¤|£s¤<¡£P, ¡£s~%| |q
s¢k||¤ kkH|k|||¥ Hsk || s H , ¤Æs|?, ¢t J¡ R
|k¤kk|¥Ls¢¦¢ }R ¡£|k|R¥|£ ¡£4¢tk, |¤kg¡£k || sHBs3 M
B 3 ±Ë~%|HJ¡ R |k¤kk|¥ H , ¤Æs|?H, s¢ > ª s| ªÏ .->¤qs J
«<U;s%«ssk s¡£%s¢Rk||¤)kk%|k|||¥|
¤<¡£.¦ ¡£|U¤ skk S¤q ¡£4s¤¤|£s¤<1s ,H¡£|Ë|¦sR|
s¢|¡£|Uk|¤¤kb¤k¦¡£k M8 L¡£|R¤k¦¡£k O¤|4JU|k sRkP,H| S¤q ¡£¤k R
¡£k J¡ R |k¤kk|¥@s|AsU¡£|||¥Ë¤k¦¡£k g ¤ s|k>¤|¡£k|¤<¡£\
~%|k<¢tkss¡£|Ës||ks¤Æ|4k|| sk)J ,H¡£|\RkJ¤ s¦¡£|
|sk;/M¢t? , ¡£§¤ ,H|kkk /|¥¥<¡£/s| (U|¡£| BB
/|¥¥<¡£A<¡Ls±1 & s|§¡£|kgsk/§¡£|g¡Æ ¡£¡£¤qsmk¥| S¤qs|¤
s¢R@¤ s|k @k<¡s¢ ¤ s|k gs k 3sM 2U sk§s|/|<¡k¡g B±

Part II
Empirical ILP
4
An overview of empirical ILP systems
~%|Ï¤ÆsM¡£i¥¦« sg««<s¢Mk<«£s,H|k¤qs ªi¨)¡£,HJ¤ s
¡k¡£¡£ s ¡£$> ª\O|¤Æ sgJ ¡£|Hsk¢tAk||¡Æs¡£ s
s¡s¢ ¡£|Uk§§¡£|%J¯b~%|¡£,H Mªi s| ( 2>ªsk
sk§|k |)|k¤kJ\ ,HËs¡£|> ,H|k¤qs ªi¨#¡£ ,HskË¡£|¤Æ|
|JA¢t%¤ ,H|<¡£|k
4.1 An overview of FOIL

> ª || s*0/¡£||Ek,Hb|qsi¢tk, ¡£|U ¡k¡£k|M¡£ R}«ss|qskIR
|¥gs£s|¥,¡£¡£| ªi¨ s£s|¥,/ Hs¡£¤| s¦¡b|k1¤«k|¥ËsIR
|ks¤ÆHkP ,H s ¡£ 2 /¤ÆskEB%Js| sHM¢t?, ¡£Ësk kqsk¤Æ
||k¡£¤AkP ,H s¡£ ® % || s B1± k , / s|k§ B% O¦¡

||k¦¡£1¡£|g|q@s¢ ¡£I R |O/kqsk¤Æ)s¢RkT S| ,H¡¥£s||
~%|)Js¡£|kH s|¥s¥ Y > ªo@k¡£k¤<¡£¡£ ¢t||¤<¡£I R}¢tk
|k¥£- , ¤ s|k 2U|¡Æs¡£Ës| ¤ ,HJ|| ¡£? ,H , q|s¡Ës|Jqsg
|||¤)¤ s|k1~%|JMAs¢ ¤ s|k ¤k||¤<¡£/s¢E¦¡££s
@>+ 4O|k bsH ¡£ ,/EªÏ¦¡££sR@¡£|OJMËq«¦¡£|b|k|¤q ¡£
I ,ËJP / U¢tk ,9¡£| s¤Æ¥k|| |O|¥ LEg¡£|H¡Æsk¥<¡Ë|k|¤q ¡£
I ,ËJ±ÏO|¤Æ ,Hqs|g¡£ ¡gk¤|kk¦« ¤ s|k¤qs J |||¤\ 21¡qs¡
|s¢R¡£|g«ssk s|OA¡£|4sk¥ ,H¡£s¢HJM§¦¡££s ,Ë|¡>s|Jqs
¡£| |qss¢U¡£| ¤ s|k | s¢1¡£|H¦¡££s>¡£)¦¡£<¢»¡qA)¦¡££s
¡£ ¡O||)Ë«ssk s|L¡£H@¤|¡Æs¡>skgsU\ S
~ £s||¥@0 /|- ,H|%sk>¢t||¤<¡£I R}¢tk¥k||§¢¹s¤<¡£ ¤|¡Æs¡O¡£||,
(1s¤Æ¥k|||O|¥ ¤|k¡£4s¢%0 /¡£|ks'|k|¤q ¡£H|T S|¦¡£|
& .4 + <)L! SO<4L! S/ Y1O< !?+ O+!,"$: I Y5
!+ 4/,"'+!42"$<! /!48LM1/ /!: O.Y8 L->8 Y / !Q,!
!4/.<A Y (*+!4/+,+ O=+!9"$: -R \#"$*/+ MY L! Y5 +!4
"$<!9+ ALM..?/.Y > !

%:1.
!% 2! !4 5
% U U

¥¦« <S|¦¡£@k<¡4s¢b¢t||¤<¡£IR}¢tk@¥k|| ¢¹s¤<¡£i± s¦ O|k
||s¡£L@¥k|| ,H|±
~%|> ªs¥k¦¡£ , Hsk¤qs¦ ¡£|/£- ,H)s ¡£|/¥|k¤/,H|k R
¤qsE ªiös¥k¦¡£ , ¢tk ,9¤<¡£ %M' &' &4 }¡g¤|k¡£gs¢b¡£|k sk¤Ë¡£|©
|k R |k¤kk|¥ s¢O¡££s||¥0 /|- ,H|bJs¡£|kH¤|¡£k|¤<¡£s| R
Js¡£|kOJ¡ R |k¤kk|¥|
¥ ¡£¦«)0 /|- ,H|.sk)|s¡ |¤k£sk¦¥¦«¡£ > ª'~%|< , q
Jg¥|£ ¡£)A|k R |k¤kk|¥|sk)A¡£|g¤kI R}Uk/skk ,HM¡£\
OJs¡£|kL¤|¡£k|¤<¡£)$ > ª sk¤qs¦ ¡£|£- ,H4sO¡£|§¶Æ¾ ºs¼<Á,¸»³¿
;s¢ 2L¥k¦¡£ , %M' &Ë¨ ¡ R |k¤kk|¥As¢'¡£|@|||¤ Js¡£|kg
¢t? ,Ts¢'k||¤ kk|k|||¥|Ï|k |8 ,H¡£| ¤<¡£ %M' &' &§s|
|k¤kJ/Ak ,H ,Hk>|<¡Æs\)¤<¡£| BM % s| BM |

~%|/¶Æ¾ ºs¼<Á,¸»³¿)s¢¡£| > ª s¥k¦¡£ , 2L¥k¦¡£ , |¦skk ,H
¡£|>¥¦« |k R |k¤kk Uk<¡%s¢Ï¡££s||¥0 /|- ,H| U¡£|> s|¥s¥| s
s¢i¢t||¤<¡£I R}¢tk>|k¥£- ,¤ s|kM¡£|0 /¡£|ks\s¤Æ¥k||/|O R
|¥ LisLUEsL¡£|Ëkqsk¤Æ ||k¡£¤s|;¡£|@||k¡£¤L|k s>¡£|
¡£|||¥ ¤k¦¡£k M
7#9 J"= : H J8I 9 7#9 J"=

` ,
`

K ,

.0/12/34 (;E= ?U @

>(
* ` ! ,

)
&
%

4
2
.% &24 4

$SV7QN(
* ,

@ ` ,

ZR ?<(; ? #$E=< @N??
=A
?U
bN@ ,

77 N N@ -N X b ` ,

56 #$E= = M ;:#$!
6(;E= ? 7W 'D?# N@
N X ?U @$ `

240 ( +

,

YZIV4 B\[

@

` ` ,
?- (;<7 @$(;?U 6=<
A 7),
^
Y_4E1Y_4 ba F,
% U U

A¡£|g||>É Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³@\> ª k>@¤ s|kgs¢ ¡£|¢t?,

a S
G U+GlllG # SGbUGl l l G

R|||¥¤ s|k ¤|k¡£;s¢H ,ËJ;s¢@kTS|,H¡ ¡£| qsk¤Æ
¡Æs¡£O¦¡£ ¡£| ¤ s|kHO¦¡£ s ,HM¡ JM 21¡Ëqs¤Æ¡£\E¡£| ¤ s|k
3 a S
G UGlll4G

SGbUGlll4G
SH||¦¡.k¢¹s..kTS|
s|||¥@4¦¡££s
\¡£Ë¦¡£UJMbªÏ¦¡££sUsk> ¡£,H U|¥ ¡£A ¡£,H
@>+ 4O|k @s¢L¡£|§¢t? , /
@S
G
1UGl l l G
,'O|k
¡£| «ssk s|Hs|JqsH 3 U¡£|
9«ssk s| ¦¡£| s|JqsHm 3L
sk|<o0 /M¡£¡£ s¦. Os¡£ SA«ssk s||s|? / %@|k|¤q ¡£I ,ËJ
¢tk , ¡£|>s¤Æ¥k||A|O|¥ L 21¡%qs¡1|s¢Ï¡£|
«ssk s|Us
¡£@s|Jqs' 3}@ QO¤|kk¦«¤qs± s¦M ¡£ ,H's¢Ï¡£|¢t? ,da S
G bUGl l l G
, q sk J)s||¡£ ¡£|/JM s ¢ 3} ~%| k O|k ¡ qs¡H|A R
k 0 /M¦« s¡£ sk|k|¥ D A R4¡£ |k|
¡£/|k<«¡Ë¡£|H¤ s|k ¢tk , ¤qs|k|¥) S|¦¡£@k¤|kk k 2UsM¡£ 3 ,
2 ,Hk@k||¡£¤q ¡£s||ks¤Æ ¡£/|k<«¡£|¥) S|¦¡£ k¤|kk |<« R
Js|¥¡£|k)|@sHJk¤¡£¦ P ,H| ,H¡£ O¦¡£| > ªÏ
21- ,HkI R s|s| || s; % ±
¤|k¡£s2

¡£|.kJ¤ s ° ¡£ \ > ª , ss@|k§s¢LÍ¾¶£ÂsÍ'·¹ÁkÂs¸»³¸»³¿)É¼<·
O|¤Æ >|¦¡£ s¦.k<¡¡£.¡£|@¤|kk¡¡££s||¥ k<¡ !S
5
¢ R}¡£||m¡£|@¤qsÏ¡££s||¥ k<¡g¤|k¡£sP

1 |

¢ = R}¡£||>s¢b¤I R

¡Æs¡£Mqs¤Æ s¢m¡£| , J|¥4«ss|skk¥ ,H¡'¡£g¡£|Q =«ssk s|b ¡£|
¤|kk¡'¤ s|ksEªÏ<¡ ||s¡£%¡£|%¤qs¡££s||¥Lk<¡'s¢¯¡£||E¡£ ¡£ ¡£¢»
¡£| ¤|kk¡ ¤ s|kJ 3 a S
G UGlll4G

||s¡£4¡£|4 ,ËJ>s¢E¡£||L ±> ,H¡£Ls¢ sk4Jk¦¡£¦«¡£||

SGbUGlll4G
S,;ªÏ<¡

s|A ,H¡£%s¢ sk|¥ ¡£¦«>¡£|| ¡£|g ,ËJkOs¢i¡£||%§¡£|k
k<¡£Lsk||s¡£) s|X kkJ¤<¡£¦«¦ U
~%|7

> ª kJ¤ s ° ¡£\ P ,H| ,H¡£|¥ ¡£| ¢t||¤<¡£
ca16+304<*h 4HH4<>' `h 8M>'N 4[0= 3'G
,U@¥¦« 2L¥k¦¡£ , |' & qs¤Æ
JMs¢O¡£|§¤ s|k?

kT S| ,H¡ ¡£\'¤ s|k 3 S4ËM¡Æs| s|||¥;¦¡££s
%¡£;¡£|
3 a S
G U+GlllG
SGbUGlll4G
S,O|¤Æ
F+!1/. + 
5 +!."$!" +! -!: LM.2"
!: ! #"$: /<O. L->
/!41LM=.!1L-> 'R
\05<(%.O." /*+!=
/Y -. M$! 1R /.;LM Q<.+ \ " +!14 /0 ;LM(%..;+!
/. ! !Q8
;+! 6"A!: ! ="$: 1/<O.;L->
A!.!98LM
?1 @ ..Y!< , B5
% U U

7#9 J"= P4 H J8F;@I #7: # 7#9 J"=

M
<(
)?U @
,

M(*?? 6(
* `
`
,

G \B [ /

` ,
?

!"#$&%
(' *
! )
c

S !*) '
7 " 6
?U
77QN "<7N'
+'
78(;?U*(; ,

?U# N X
`

<(
)?U @ S 6N 6' ;:< b'

S-,
>*!
6 A-A 'D ,
@ `
,
%
(;? #$
/ k@>+ 4A,H s¢U¡£| «ssk R
s|
@S
G
1UGlll4G
4J|¥§¡£A¡£| m«ssk s|gskqsM¤¤|kk|¥/
3}5 /. cSGlll4G-. 10(2 34O|%k ,HOsk |< ¦1/4 cS
Glll4G-4 15 #6 ± s¦IR
¡£k||¤ ¡£|¦¡££s
E~%|k<¡1s¢m¡£|| SE¤«k§H¤ s|k.
O¡£|4k<¡>s¢¥k|| .&h : 496 R}¡£|| |¡Æs¡£ ¡£|%s
3 S
¢ D7. cSGlll4G

. 10(2 3G84 cSGlll4G-4 15 # 6dI g¢t4O|¤Æ¡£|§JM SGbU+Glll4G
S
G
%

¡£k|s/¨k||¤|¥)/|<G¡££s||¥/k<¡ SgsË/k<¡Ës¢10 /¡£|k|Ës¢1¡£|

¡£|| ¡£ ¡R£ ¡£¢»
|¤qs4Jb0 /M|kkk g¡£|'k ¡£ss¥|£1¡£ R

,H|¥s §£q|¥@¡£ ¡ SUU¡£| ¡£|£s k§s¢ ÏO¦¡£.¡£|gk ¡£
¤kkkJ|||¥@¡£H¦¡££s
}
~Rs||¦g|¡££ ¡£U¡£|
> ª kJ¤ s ° ¡£§s¥k¦¡£ , A¡£|¢¹- , R
¦;k ¡£|g|k| ,T¢tk , ¤<¡£ |.~%|Hkqsk¤Æ¡Æs¡£gO¦¡£ ¤ s|k
3S :*580[M 6N G
7L~%|@|¦¡£ s\¤qsÏ¡££s||¥Hk<¡ !SO¤¡Æs|>s
¡££s||¥0 /|- ,H|¡ Us¢mO|¤Æ skOJk¦¡£¦« S C

S & , 2U|k|¥A¦¡££s
S c6=?*h 6 >¥¦«gkkË¡£§¡£|@|<G R
¤qs\¡££s||¥@k<¡ 0Us¢R¡£||O¤«k;?

& Es| ¡ U4|¥ ¡£¦«
3
U|O|¤Æ/¤¡Æs|%¡ U Jk¦¡£¦«
U & Ls| |@|¥ ¡£¦«Ë¡£|| U , 2L|||¥.¡£|@k¤| ¦¡££s
a1NO6!
2G %¡£.¡£|ËJM)s¢b¤ s|k 3
U|k||¤¤ s|k 3 >O¦¡£
bU g

¤qs|¡££s||¥k<¡ 1¤¡Æs||¥|¦ Jk¦¡£¦«O¡£||~%|¤|k¡£¡
% U U

1N$NO6!L3h cA+6&3S1©E:*580[M 6N G

!S =?N !Gc
S C&

3S Hl **
6 B6HG >'
>'=WGc
=

S c6=?*h 6
S C&

6 B6HGc 47 S *Ml Bs
U ©E:*580[M 6N G
S C&
c6=?*h 6

1N$NO6!L3h cA+6&3

0U =?N !Gc
U C& 3
U *Ml'/-B
6 B6HG >'
=
U
6 B6HGc bU a1NO6!
2G

=?N !Gc
47 bU H¦l +1
1N$NO6!L3h cA+6&3 ©E:*580[M 6N G

U C&
c6=?*h 6
G7a1NO6!
2G

C&
3 *Ml **

6 B6HG >'
=
*
~Rs|g|¦© > ª ¡££s¤¢t1¡£|¢¹-,H¦Hk ¡£§|k|,/
¤ s|k#3 O|¤Æ/¤«k|H|¥ ¡£¦«>¡£||1%¥|£ ¡£\

}¢/Jk¦¡£¦«H¦¡££sEO¦¡£ |< 0/M¡£¡£ s¦ Os¡£ S «ssk s|g
¡£s)|¡£|| S,.

s||¡£/¡£|.JM s¢%¡£| ¤ s|ksE¡£| k ° sk¦¡ gs¢1¡£| ¡£||4 ¡£|
¤qs¯¡££s||¥Ëk<¡O|¤kqsk 2o¡£||L¢tk , , q.sk@¥¦«>kkL¡£ ,Hk
2U|k|>s¥sA¡£|4|k| , s¢qsk||¥@¢¹- ,H¦
k ¡£|bO¦¡£ ¡£| Sk¡ ¦¡££s

S a1NO6!
2G Ë¡£k||¤|¥ |<
«ssk s| kË~Rs|4|' & , 2Lis¢E¡£|¡£||L !SOq«4¡ U.k|¤¤kkk
0Uq1O|¤Æ ¤¡Æs| ¥¡ %R}¡£||o~%|)¡£||. S ||k¦¡ ¡£|
sJ s| ¢tk ,Y¡£|%sk¡£ }
~%|¤Æ|¤>s¢Ï¦¡££s'U|k¤<¡£.§s.¡£k R skAkqsk¤ÆA||k R

¡£¤s'¤qs !U¼<¸¦¿ Ç· ¼£´ ¸»³ "q¾ Á,ÃHÂs·¹¸±¾ ³ ¿Âs¸»³bO|¤Æ¤qsJ/|k¤kJ s@¢t R
O. }¢1¡£|H¤qsk<¡4s¢U¡£|| U¤¡Æs|# '¡£|| s¢1O|¤Æsk
Jk¦¡£¦« s| |¥ ¡£¦«sÏ¡£| M¢t? , ¡£)|| ¡£Ak¥s ¡£ ¡.¡£I R

|.4Jk¦¡£¦«.S

3 h >+8OU h >+8OU k/¤<¡£ BM
O|¤Æ0 /M| s|@¡£|AM¢t? , ¡£¦«¦¡ s| ¡£|/M¢t? , ¡£ ¥s ||k¡£¤

,Hk)|<¡Æs , ªÏ<¡.¡£|;¤Æ|¤;s¢¡£|;|0 /¡§¦¡££s

¥¦«;kk/¡£

|<¡£||k<¡ S ¡£|M¢t? , ¡£§||;¢tO¡£|£- ,Hk¥si%¡£|
3 S h >+8OU ,Es¡£'¡£ ¡E¦¢
|R|s¡E¡£k||¤U|< «ssk s|

% U U

1N$NO6!L3h cA+6&3S1©E:*580[M 6 N G

!S =?N !Gc S

&
6 B6HG >'
>'=WGc
6 B6HGc
=
S ]a1NO6!
2G
S
S
&
C&
U ©E:*580[M 6N G
a1NO6!
2G

0U
1N$NO6!L3h cA+6&3

=?N !GceGT=?N
=?N !GceG >'
= U

6 B6HG >'=WG6 B6
6 B6HG >'=WG 4<
>'=WGceGT=?N
>'=WGceG >'=
U
6 B6HGceGT=?N
6 B6HGceG >'
=
R~ s|§|'&© ~%|A ¤<¡Hs¢|<«ssk s|Ë ¡£|§¤|kk¡ ¡££s||¥;k<¡ s¢
¡£||O > ª

¡£| S
} S s| S HU<«R¦¢U|< «ssk s|

sk.¡£k||¤\¦¡Ë¤qs s|J¡£ ¡ S I s|&) & S I }¢
s¢>¡£|)Jk¦¡£¦«A¡£|| >sk)k|kk¡£ |).,HkA¡£IR

|A S,L¡£| M¢t? , ¡£¥s| k¤<¡£|¥ ¦¡££s
4-,H|¡£

¡£ 47
3 SG3 3 3 S , ~%|/¦¡££s
O¦¡£ ¡£|/|¥|¡H¥s k¤<¡£ ¡Hqs¤Æ ¡£\ 3 S
G3 Ë¡Æs||

¢t'U¥¡£§M¢t? , ¡£@¥s\± s¦¡£|Ë¸»³ "q¾ Á,ÃHÂs·¹¸±¾ ³ ¿Âs¸»³ 3 3 S

!U¼<¸¦¿ Ç· ¼£´.¡£|¢¹s¤<¡£

\¡£|b0 /|- ,H|s |¡££ ¡£>g~Rs|b|¦! 3S

3
U h >+8OU U U S *Ml'/-BMms| 3 h >+8OU U U *Ml **M 2L` S

U

h >+8OU U U H l **M
U &\U q« 47 S & 3S 3

U & *Ml & *Ml Bs|

s|/kP ,H sk¦ 47 bU & *Ml'/-B H l¦+ 1M

~%|.||k¡£¤.sOg¢t4( 'H¤¡@|k|||¥|RO|¤Æ kkJ|k|H¢t

¡£|/( 'H¤|¤< s¢ > ªbªÏ< ¡
LJ/ Jk¦¡£¦«§¦¡££sUO¦¡£ 47

3
3 S ,
, q¤¡Æs|<«ssk s| s| ¡£|@k R
| s¤ ,H¡O¦¡£ «ssk s|>¤qs |<«|¤kqsk /k« k|¤Æ

k| s¤ ,H¡¤qs ¡J¡|k||¤ Ak<¡ S>¤¡Æs||¥A|¦ ¡£||

% U U

± s¦'O¦¡£P 3 S M* ~%| , +/MP,Ë , ¥s ¡£ ¡H¤qsJ/s¤Æ|<«

s ¦¡££sM¡Æs| k||¡£¦¡£M¡£|¥ |<T«ssk s|
gO¦¡£
& 47= 1= 47
F 3 ,1 }¢E¡£| , +/MP,Ë ,¥s/kO¡£s
¡£|'J¡R¥s4s¤Æ|<«Ë¦¡££skO¢¹s |L¦¡££sm¡£ ¡R¤qs4JbM¡Æs|
O¦¡£Ak|¤Æ)k| s¤ ,H¡Lsk¤|k|k\
~ >P ,H| ,H¡ |k R s|||¥| > ª§ ,H| ¡£|||¥>¤k¦¡£k Osk
¡£|Ë¼<³m¶Æ¾q´s¸»³¿4Í¼<³¿s·»ÇHÁ£¼ÆÉ<·¹Á,¸±¶<·¹¸±¾ ³O|¤ÆHP,H¦¡£ ¡£|O ,ËJ's¢m|¦¡£b|k
¡£|¤| ¤ s|k¡£ ¡£| ,ËJAs¢4|¦¡£A||#¡£0/M|¤¦¡£¦|| R
¤q ¡£H¡£| Jk¦¡£¦« 0 /|- ,H|¤«k ¦¡qA }¢/¤ s|kJ 31¤«k 3
¢
0 /|- ,H| ¡£| ¤|kk¡ ¡££s||¥ k<¡
& Jk¦¡£¦« 0 /|- ,H| M¡ sJ

U¡£|/ ,ËJ s¢>|¦¡£H|k¡£ |¤|A¡£| ) ¤ s|k ,Ë|¡ |s¡ 0 /M¤

a1h 4<304 4A 3VG
h >+8OU
h >+8OU |¦¡£4~%|@¤|¡£k|¤ R
¡£ s¢L¤ s|k§Ë¡£|J ¡£|³m¼Æ¶Æ¼ÆÉÆÉ<¸»· )É<· ¾ÆÌÌJ¸»³¿¶<Á,¸»· ¼<Á,¸±¾ ³ gO|¦¡

¤«kË|/|¥ ¡£¦«H0 /|- ,H| g¤|k¡£¡gO|| ,Hk |¦¡£sk

q«ss s|L¢ts|||¥H¦¡££sU¡£ ¦¡£OJM k@¤<¡£8 BM ,U /¡£| ¡k¡£
¤qsks'¡£|/¤ s|kA@k<¡Æs| ¡£|/Js¡£|kH¦¢¦¡ ,Hk.¡£s B/
s¤¤|£ ¡£.4|k¤qsk| s¡£|Oks;~%|.kqsk¤Æ¢t4¤ s|kË¡£| ¡£|

É<µ ¶<¸±¼<³m(¶ É<· ¾ÆÌÌJ¸»³¿A¶<Á,¸»· ¼<Á,¸±¾ ³ UO|;| |< ¤ s|k¤qs)J¤|¡£k|¤<¡£
||| ¡£|U|¤||¥>|¥s¡£4k¡£k¤<¡£\ Rs¦¡£k ¡£¦«¦ O| sJk¦¡£¦«
0 /|- ,H|sk¤«k\
0 ,H|k« ,H¡£Rs¢ > ª P,H|,H¡£g > ª"& * || sM ±sIR
¤||@´¼<· ¼<Á,Ã@¸»³JÂs· ¼¦¡££s s.|qgJkkU ¢tk, Mªi ,¡ J%s|
,H|Ë|¤ s£ ¡£|>s¢U|k|¤q ¡£ s>UsgJ¡ R |k¤kk|¥As¢'¤ s|k
2U|k|Ugs¡£ s¦|<«J.¤ s|k%O|¤Æ sbk ,H@«ssk s|bs|

.¤kkkJ|||¥§k<¡s¢b¡£||®><¡£? ,H ¡£4¦¡££s || sM sk
¦¡££s ¡£ ¡'¡£k||¤%|< «ssk s|R¢tEO|¤Æ qs¤Æ #¡£||%s'0 /|s¤<¡£¦
|40 /¡£|k s|;qs¤Æ G¡£||s> ¡ ,H¡L|40 /¡£|k/¡£|4|<
¡££s||¥ k<¡ k;¤<¡£ / 1¢t@¡£|/|T S|¦¡£s¢>|<¡£? ,Hs¤< , -I R
k ¦¡££sm1¢t||AO¦¡£/¥s§¤k¡£ ¡£| , + /MP ,Ë ,/|s\|<¡£? ,H ¡£
¦¡££s%sk4s||)¡£ ¡£|JMAs¢R¡£|4¤ s|k||||<« ,H¡q -J
¤ ,H|<¡£s¢¡£|U¤ s|kskk<«ss¡R¦¡££s skUP ,H ¡£\i®><¡£? ,H ¡£
¦¡££ss<« ¡£Hk ,H s¢%¡£|.|k| ,H4 > ªiO|¤Æ sk.|| ¡£;¦¡£
k|¡ R k¥¡£/| R ¤P ,Ë||¥gkqsk¤Æ/¡££ ¡£¥s
% U U

4.2 An overview of GOLEM

(Us¡£#¡£| ¡££s||¥0/|-,H| s| ¡£| s¤Æ¥k||o|O|¥ T
Mªi sk§k¡£k¤<¡£ ¡£¥k|| ¢¹s¤<¡£ }¢ G@¥¦« ¡£|§¢t?, s¢
|IR ¥k|| k ¤ s|k@¦¡ËsË¡£J.¤«¡£ ¡£ sÇ k¼£Â É( ¥k||
,H| /|¥¥<¡£/s|$|¥A* ± -|sg > ªM¡£?,HO¤¡ÆsIR
|¥ ¢t||¤<¡£IË
, Jsk sU;¡£As|Jqs>;Js¡£¡£|Ë0/|-H
, |gs|
¡£|gs¤Æ¥k||)|O|¥s
Mªi bsk. ¨s¡£ Î1 ¯|s¡£ s¢\k ¡£¦«Oqs¡U¥|£s
¥|£s ° ¡£ NOh 8*8 ,OO|¤Æ# ¡£|k#§sk ¡£| |s¡£ s¢4qs¡
¥|£sÏ¥|£s ° ¡£ h 8*8 '¡£k||¤/)¤<¡£ %M¦¦
ªÏ<¡|Lk¤qsi¡£|4|T S|¦¡£)s2 ¢ NOh 8*8.¢tk ,T¤<¡£ %M¦¦ }¢¡£|4s¤ÆR
¥k||;|O|¥4¤|k¡£Ls¢b¥k||/¢¹s¤<¡£\s| k|kk¡£>¡£|4¤IR
k||¤<¡£Hs¢Ïs|¡£|k¢¹s¤<¡£¡£|Q NOh 8*8Ës¢\¡ U4Jk¦¡£¦«%¡££s||¥g0 /|- ,H|P
6$S
s|
6UEk ¡£¦«b¡£¡£|U¥¦«4s¤Æ¥k||@|O|¥s |T S| si¢tO©
NOh 8*8 6$SG6U h 8*8 6$S <

G 6U =
|¤Æ §¤ s|kH¤qs ¤¡Æs S|¦¡£¦8, s¦¡££s>g ¡qs¡¥k
0/MJ|¡£ s¦ËO¦¡£ ¡£| ,ËJUs¢\0/|-,H|b|¤k|¤Æ§¤ s|k¤qs J
¡££s¤<¡Æs|¦ sk¥s@ Mªi |k@k,H ¤|¡££s¡£4¡£k||¤|¥)|<
«ssk s|>¡£§¡£| JMs¢'¡£| NOh 8*8JË~%| «ssk s|>¡£| JM;s¢U¡£|
NOh 8*8Ëq«¡£J4´¼<· ¼<Á,Ã@¸»³JÂs· ¼<± s¦¡£|«ss|bq«¡£Js|k¤<¡£¦@bI R
|k¤<¡£¦||P O|¦ |<¡£? ,H| ¡£|O«ss|'s¢\¡£|O«ssk s|b ¡£||qs
s¢O¡£|J NOh 8*8 k)¤<¡£ / 1)¢t4¡£|.|T S|¦¡£s¢|<¡£? ,Hs¤< , E«
|||¡£|4|<¡£? ,Hs¤<A¤|¡££s¡q! NOh 8*8Lsk|ks¦ O|¦¡£|¥H¤ s|k
O|¤Æ¤¡Æsk|J || kk<«ss¡4¦¡££sË ¡£|/JM Mªi
|k§|¥ ¡£¦«;0 /|- ,H|§s| ,H|)|¤ s£ ¡£| kJ¤¦¢»|¥ ¡£|;||M¡
s| ¡£|M¡£|M¡Ask¥ ,H¡£§s¢4|k|¤q ¡£ H¡£ k||¤¡£|k ° ;s¢¡£|
¤ s|k }¢mP ,H ¡£|¥Lg¦¡££s¢tk ,¡£|OJM@|b|s¡b¤qs|kO¡£|O¤ s|k
¡£ ¤«L|¥ ¡£¦«0 /|- ,H||¡£|/¡£|gkk<«ss¡%¦¡££smO|k¤qsk|)s|
¡£|gk||¤<¡£/|k¤||kg%¤¡£|/O¦¡£§¡£|gk , s||¥Ë¤ s|ks
~%|E NOh 8*8;s¢U¡£|HJk¦¡£¦« 0 /|- ,H|& 6$S :*580[M 6N =?N!Gc >s|
6U :*580[M 6N 6 B6HG >'=
Ï¢tk , ¡£|U¢¹- ,H¦0 /|- ,H|1s¢m¤<¡£§ R¤ , R
|M¡£ sg¢tO |s¡Æ ¡£sE¤«||¤sE¡£| ¢tO|¥/s||k<« R
¡£|sk |k\©A´ ´Âsµ¿ Ç· ¼<TÁ bÌ Ì|ÂsÁ£¼<³i· " "q¼<ÃHÂsÍ¼ >Â Âs³M³ g(¼ k¼<ºs¼ L Ã ÃHÂsÁ +
· · ¾ & Ã '¸ ¸¹Âs³b~%|g¤k||¤<¡£/s¢ ¢¹s¤<¡£%¢tk ,¡£|gs¤Æ¥k||)|O|¥

% U U
+
¤,., Ë¡Æs||O¢t%¤k||¤<¡£ U

a 5GT=
G7a 5G
G7a
G6
G7a
G 4
G
G =
G 6
]
1 ¢t|¡£|Oq«
NOh 8*8 6$SG6U h 8*8 6$S <
G 6U =
O|¤Æ/|k||¤O¡£|¢tO|¥Ë¤ s|ks©

:
G a 5GT=
G7a 5G
G7a
G6
G7a
G 4
G
G =

G 6
G
a 5G
G7a G
G a G
G7a G
G

a V G
G7a
G
G
G
G
)¡£|ËsJ«4¤ s|ks g¡Æs||¢t. & & h 8*8 G ,|¢tqs¤Æ s| JP,H R
¡£|¥Ë¡£|gkk<«ss¡O¦¡££s'|%¡£|¢tO|¥4¤ s|ks©

:
G a V G
G
O|¤Æ/¡Æs||O¢t

:*580[M 6N G
c6=?*h 6
G7a1NO6!
2G
~ ¥|£ ¡£A;k|¥ ¤ s|ks Mªi Sk¡ £s|| ,H¦ |¤Æ@k<«£s
sks¢ Jk¦¡£¦«#0 /|- ,H|;¤ ,H|M¡£¡£||<¡£? ,H ¡£; NOh 8*8s|
¤Æ|kL¡£|4|4O¦¡£)¥kq ¡£¡>¤«£s¥ ¡£|Ë¥kq ¡£¡> ,ËJLs¢b0 /|- , R
|O¤«k ,U~%|O¤ s|kg%¢t|¡£|O¥|£s ° AA£s|| ,H¦ ¤Æ|k|¥
|< Jk¦¡£¦«>0 /|- ,H|%s|§¤ ,H|M¡£|¥4¡£| NOh 8*8Us¢i¡£|>¤ s|kgs|§qs¤Æ
s¢O¡£|.0 /|- ,H| 2L¥s\- ,H|¥)¡£|§kk|¦¡£|, ¥ NOh 8*8¡£|.|.O¦¡£¡£|
¥kq ¡£¡O¤«£s¥1¤Æ|k\'~%|¥|£s ° ¡£ |k¤k%1kJq ¡£A|IR
¡£J¡£|¤«£s¥gs¢ ¡£|J¡¤ s|k¡£|%|¤kqsk|¥| AJ¡ R |k¤kk|¥|
¡£|O ,ËJ's¢m¦¡££sEbk||¤ P ,H ¡£|¥Lkk<«ss¡b¦¡££s ~%|
,Hqs|%¡£ ¡%¡£|g¤ s|kg1¢t|¡£|O¥|£s ° \
~ ¤|¡£k|¤<¡R|T S|¦¡£|Ï¤|k¡£|¥Os¢ ,HkE¡£s|b¤ s|ks Mªi
|k¡£| ¤«k|¥/s||ks¤Æ\©¦¡¤|¡£k|¤<¡£§¤ s|k@¤«k|¥/k ,HËJ R
¦¡£¦«0 /|- ,H|Lk ,H«A¡£| ¤«ko0 /|- ,H|.¢tk , ¡£|¡££s||¥k<¡
s| kJq ¡£.¡£|;O|;|k¤k }¡Ak|| J;|s¡£ ¡£ ¡§¤ s|k§IR
||¤§ Mªi , qHJ>sUH¡£Ë¤«%k ,H|k R |<¡£? ,H|.? , s
,ËJ§s¢ | H|¥ ¡£¦«0 /|- ,H|O¡£|AsO|¥ ¡£|¤|¡£k|¤<¡£
|T S|¦¡£ ¡£ JA|¤|k¡£¡q 2 ,Hqsk|kAs¢>M¢t? , ¡£ ¤ ,H|kkk
/|¥¥<¡£A<¡Ls±1 & s1sik¤¡£¦|k¤k||¤<¡£>O¦¡£ Mªi
¡£ |qs\O¦¡£A|§0 /|- ,H|
% U U

4.3 An overview of MOBAL
~%| ¡£, ( 2>ª /k;M ±@ ¢t|¡£||<« ,H¡ s¢ (1ªÏ ¨
/k)B±¯s/¡£¥£ ¡£/|O|¥4s¤O|k¦¡£A«k ,H¡¤IR
k¡£|¥ s¢k<«£s¡£ ,H)s¢>¡£| , sks© Ã ¾q´¼<ÍÂ¶£Èµ¸É<¸»·¹¸±¾ ³ · ¾¾ Í
O|¤Æ s|¡££s¤<¡£§k|8 ,H| ¢tk , k|É¾ Á,·Ë·}Â ¾ ³m¾
¤|¡£k'¤|¡Æs¡U¡£? ,H'¤¤|kk|¥4s'sk¥ ,H¡£' ¡££s||¥g0 /|- ,H| U
Ã · ¾¾ ÍEO|¤Æ
s|)ÌJÁ£¼£´s¸±¶£Âs· ¼HÉ<·¹Á,µ¶<·¹µÁ,¸»³¿ · ¾¾ ÍÏO|¤Æs|¡££s¤<¡£@k|§k<¡£@¡£ ;¡£J R
¥s.|£sk¤Æ'bs¤Æ/s¢ ¡£|kg¡£1|k«|OM¢t? , ¡£H¡£ ¡O1|k)
k¡£k¤<¡£|¥@¡£|gkqsk¤Æ)ks¤s
( 2>ª¤¡Æs| Q®>~ <¡ ° s| 1 kJ & ±¯s/ ,H|k¤qsm ªi¨
qsk|4¡£ ¡ qsk| ,Ë|¦¡£| |k|¤q ¡£§|T S|¦¡£|@s| |k ( 2>ª
M¢tk|¤)|¥|A¡£ ¥|£ ¡£)|< ¢¹s¤<¡£ ¡£ 0 /¡£| ¡£|/¥k|| ,H|

s¢E¡£|¤|kk¡>¡£| 1O||<«gH|< |k|¤q ¡£|T S|¦¡£)O|||¤\
~ £s||¥ 0 /|- ,H| sk)¥k|| ¢¹s¤<¡£s| |¢t||¤<¡£ I ,ËJ.sk
sU\O~%|@sk¥ ,H¡£Ls¢E¡£|40 /|- ,H|>sk¡ J\L~%|¡ J k¡£
¤qs JL||M¡U ¡£||kU'¤qs.J¤ ,H|M¡£.sM¡£ , ¡£¤qs¦4 ¡£|Lk¡
¡Æ+ /M| ,4.¡£±
¡£|%¢t¤|bs¢m|b¡£k¡UskgÁ,µÍ¼Ã ¾q´¼<Í É<O|¤ÆHk|kk¡% ,H¤ÆI R
s|? , ¢tUk||¤|¥Ë¡£|kqsk¤ÆAks¤gs|Ask>|k/sU¡£ ,H| ¡£U¢tU¤I R
¡£k|¤<¡£|¥@Js¡£|kU~%|<§sk|k«|A ¡£||k%1¤qsAJ>|k¦«
¢tk , ||M¡Uk|UH¡£| ,H|Js¤ O|k¦¡£H¡£±R ¡£|L|k¤k%s¢ÏqskI R
|¥|M¡£||ks¢Rk| ,H|%1¢t|¡£|k¡£k¤<¡£/AP ,H¦¡Æ ¡£|'P ,HJk
.¡£|¡£J¥s§s|§¡£|gk¡O¡Æ+ /M| ,4
2 Á,µÍ¼@Ã ¾q´¼<5Í GsL¡£|4¢t? , SGlll4G
#O|k s|
bsk
¦¡££sJk¤Æ| , sUbs¤Æ ÍÎ¸»· ¼<ÁkÂsÍJÉ¶ÆÇ¼<ÃH Â
s%¡£|>¢t? ,

@S
Glll4G
U
@>+

@S
Glll4G
%O|k si|I R |k|¤q ¡£«ssk s|
sk4P ,H|¤¦¡£¦
||¦«k£s¦ Os¡£ S\ ~%| ÌJÁ£¼£´s¸±¶£Âs· ¼§º ÂsÁ,¸¹Â Í¼
O¤qs J§|¡Æs¡£ ¡£
|¦ ¡£H |k|¤q ¡£I ,ËJÏs¢ ¡£|gkJ¤ S;sk¦¡ J }
~%|Hkqsk¤Æ ¢tJs¡£|kË Q®>~g¥|| k| ,H| ~%|
Js¡£|k ks¤)¡£ ¡ s¤<¡£s¦ kqsk¤Æ| ¡£|)k<¡.s¢gs%|k|¤q ¡£
¥k|| |¡Æs¡£ ¡£|Hs¢gk| ,H| O¦¡£ |k|¤q ¡£ ¢tk ,¡£|)s¤Æ R
¥k|| |O|¥ L 2L ¸»³MÉ<·}Âs³·¹¸¹Âs·¹¸±¾ ³ @;k¤|I R k|@k||¡£¦¡£I R
¡£\± s¦M S|¦¡£Lk<¡1s¢Ïsk Q R
a.O|k U4|k|¤q ¡£O«ssk s|s|& a
O@|k|¤q ¡£gI ,ËJ±@ 2L/|¡Æs¡£ ¡£.s¢E@k| ,H| ||s¡£/
EbM¡Æs|H k| s¤|¥gqs¤Æ.|k|¤q ¡£%«ssk s|%E #@¡£|¤kk R
kJ|||¥ |k|¤q ¡£gI ,ËJÏ¢tk ,Y¡£|k< ¡ Ë 2 k¤|I R k|k| ,H|

EÌJÁ£¼£´s¸±¶£Âs· ¼%¿sÁ£¾ µ³J´¦¢\ss¢\¦¡£'|k|¤q ¡£O«ssk s|bsk|¡Æs¡£ ¡£
¡£|%¤qsks! J¤,H Sk¡ R k|%k|s
§qsk||¥¡£| :*580[M 6N k ¡£|k| ¢tk , ¡£|¢¹- ,H¦k ¡£|
|k| , s¢¤<¡£ @¡£||kLsk ||O¡£H|T S| - ,H|¥@s¡£|Ok|
,H|b¡£| ,H|±©
G

G

2G
A¡£|%¤qsks¡£|g¤kk¤<¡¤ s|k
:*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
¤qsAJg|||¤\ L¡£|OksQ®>~ U|A.«ss§¡£ ¡£ S|A¡£|%¤ s|ks
~%|4sJ« ,H|\¤|/sk J|¡Æs¡£ ¡£§¡£@¡£|g¤ s|k
A+>' G
=?*h 6
G7a1NO6!
2G
1 @¤qs;¡£|gkË¡£ ¡|@k| ,H|R¤qsJ@|k<¢t|R¢t>k¦«|¥.k<«£s
qsk||¥@|k|,H
~%|ks¤s¢EJs¡£|kmP,H¦¡£.Ak| ,H||O¡£J«/ sk¥s
~%|%|£sk¤Æ|¤qsMk|Es¢¯k| ,H|Rsk @0 /¡£|| R k||k ,HM¡£
sO¡£|¡£ , ¡£|k||Ls¡£'s¢m¡£|Js¡£|kUks¤s bqs¤Æ k|

,H|± sJkk||¡Æs¡£ ¡£|ms¢||k|¤q ¡£E«ssk s|iskE¡£kg¡£ , R
¡£¤qs¦s|Ësk'¡£¡£@s¥s|¡i¡£|U¥k||¢¹s¤<¡£R U" 2L4|¡Æs¡£ ¡£g
Jkk|b¦¢¡£|'|k|¤q ¡£i¡£ ¡ k||¡£¦¡£M¡£'|k|¤q ¡£«ssk s|Ïq«1O¤ , R
¡£|>sk¦¡ .s|§¤kkkJ|§¡£Ë¡£|k¡Os|.¡£J¥sHP ,H¦¡Æ ¡£|i~%|
¡£J¥s/|£sk¤Æ;¡Æ ¡£>O|¤Æ|k|¤q ¡£gsk4¡£§JË|k ,H|±
¡£@k|kk¡.¡Æs¤<¡£¤§1q s¢L0 /M|kkk|¥ k , s¡£¤ ¢t@qs¤Æs R
¥ ,H¡gs¢'qs¤Æ |k|¤q ¡£ §k<¡s¢'Jkk|Ë«ss|>¤ ,H|M¡£\ 1 |
|¡Æs¡£ ¡£|¥A¡£| k| ,H|±R)k||¡£¦¡£M¡£s¢O)|k|¤q ¡£H«ssk s|
«ss |¦ ¦¢m¡£|k¡£Us¢isk¥ ,H¡£'¤kkkJ| ¡£4k¡£'s¢isk¥ ,H¡£'s¢
s skqsM@|¡Æs¡£ ¡£ |k|¤q ¡£%«ssk s|s Q®>~¤qs sk|k¤|¡Æs¡£
¡£|/|||¤Js¡£|k%|M¡H¡£|/k| ,H|@q«/¡£ JA|k¥|
s¤¤k||¥¦
4.4 Other empirical ILP systems

sk¦4,H|k¤qs¡£,HE¡£ ¡E¡£|¤Æ|@¡£|1|k|,s¢Jqsk||¥Lk ¡£s
b
|k¤kM¡£|isk L® - 21 /¤ÆskB%s| )ª R 2 QR~ (Uk¥ss|
% U U

s| MksABBM * ±O~%|<sk4Js¡£ ,Ë|¦¡£|g|k|¤q ¡£4qsk|k
|M¡ |¦L¢t\¡£|b¤qsk's¢M| s>|k|¤q ¡£ ± s¦ |k|¤q ¡£i¤kkkJ|||¥
¡£;|kJk¦¡£s¤ skk, )ª R 2 QR~Ysk)s@s0 /M| s ¡£I R sk
qsk||¥@¤qss|¦¡
)s ,H|k¤qs' ªi¨ ¡£ ,H1sk ¡£| > ª s||ks¤Æ\Uq«
,Hk¥@k¤¡£¦~%|k%|¤|| 21 2 kkk|<¡'s±'M ± QR~O
QO¤Æsk|s|$ /|< M ±C Q ~Rs|¥¦¡k«ss|¤Æ)s|)|P ,Ë|£§ &
s|$ 521ª ¨R °° s| s| |> &¯¨R °° s|Ï<¡Ls±%M ±
21 2 1sH|¦¡£ s¦ |k¥|¡£ «k¤ ,HA¡£|/|k| ,H@s¢ > ª
¤qs|k | R ¤P ,Ë||¥ ¡£| ¤qsks¢ |I R |k¤kP ,H ¡£|¥ s| |I R
|<¡£? ,H ¡£¦¡££s O¡£ ¡L||kJkË¦¡L¡£k||¤> kP ,H sk¦¡ R sk
||k¡£¤s¤qs@s|\ O|¤Æ |kHHs||¦¡£4¡£¡£|%M¢t? , ¡£
¥s ||k¡£¤s L¡£|Ë| k|¤4¡£ > ª |¤|| )kI R sk Jq- ,
kqsk¤Æ\kP ,H s¡£Ë¡£||> 2 2 ¢t|¡£|%0 /¡£|kAs¢ 21 2 |¤qs
21 2 )¨ kkk|m<¡Ls±1 & ±s ¤<¡£¦«¦s||kkkR¡£|'|k| ,s¢|I R
«¡£|¥ |<|k|¤q ¡£¯± s¦k|kk¡Æ ¡£)¤Æs|¥||k|¥@¡£|qsk||¥
|k¤k'U<«|¡£|>kk|Ls¢ik|kk¡Æ ¡£§¤Æs|¥>H¡£|>|kk|¤s¢
|kO<¢»¡%||kk¦«\
521ª QR~O s| Q TJ|¥ ¡£ ¢¹- ,H¦s¢ ªi¨Gqsk|k ¡£ ¡
¤|JË- ,H|I R ¡££s¤<¡£¦«4¡£|;k<«kk M¦« s|¦¡£ si|T S R
|¦¡£ s¢\¡£|O¡Æsk¥<¡U¤|¤M¡q|s|.s.s||¦¡£s|k<¡1s¢m¡££s||¥g0 /|- ,H|
O|¤ÆH|£s¥k%O¦¡£@¡£|O|¦¡£ s|T S|¦¡£\s¡£|%¡Æsk@E¡£g¤|¡£k|¤<¡1|<
|T S|¦¡£\sk¡£|§ |sO|¤Æ O1s¥k.O¦¡£ sb¡£|§¡££sI R
|¥0 /|- ,H| ¡£|§P ,H¦¡q O|||¦¡£ s¡Æsk¥<¡@¤|¤M¡H|T S|¦¡£
4¥¦«\R¡£|< Jq«.«kP ,H s>¡£ > ª L¡£|OksR¡£|< ¡k¡£ ,HM¡
¡£/|<¡£¤<¡Ës| ksg|¤kk¤<¡¤ s|ki¦¢UJk¦¡£¦« 0 /|- ,H|sk |s¡
¤«k\¯¡£ |||¤g¤ s|k%¡£ ¡%O\¤«O¡£| ,/
521ª s| Q ¡£¥£ ¡£E ªi¨)s|g0 /M| s ¡£I R skqsk||¥| 521ª
|k§¡£|M¢t? , ¡£I R ¥s ,H<¡£k¤)¢tk , > ªsA||¦«k£s ,Hqsk|k
¡£ |¤| O|<¡£|¡£ J£ ¡£s ° 0 /M¡£|¥ s¡£s¢H¡£| |T S|¦¡£
|||¤<¡£¦«¦¤|¡£k|¤<¡A|<3s¡£.s¢¡£|;|T S|¦¡£\A Q skJ R
¡£s ° ¡£|§0 /M¡£|¥;¡£| s| ¤|¡£k|¤<¡£H|<J£ ¡£sUs¡£
|M¡ s||¦¡£o| R J£ ¡£s ° A¡£| ¤|¡£k|¤<¡£|T S|¦¡£o¡£|
|\ L¢%¡£|§sJ«.¡£ ,Hb|¦ 521ª Ës|H¡£;s|| | ¡Æ
(Uk||As|/¨R °° s|bM ± 2¢»¡£ ¤|¡£k|¤<¡£|¥ ¤|k¡£¡§s|¤ , R
|<¡£|T S|¦¡£\|§Á£¼£´sµ¶Æ¼£´§¼<Á,Á£¾ ÁUÌJÁ,µ³¸»³¿|k¤||kgOs||.¡£@¦¡q@ 2L
M¡£|>s¢ ¡£|%|k¤||k¤qs/J¢t||A)¤<¡£ BM |

~ |@,H|k¤qsi ªi¨#¡£, 2 Q 5-> MkJ|/& E> «ssk s¡
%
s¢ / s|k§B%± }¡ sk J|¥Ë¡£¡£|A¤ sk s¢L,H|k¤qs'¡£| R
k<«kks4¦¡¤qs ¡Æss§s |¦¡£ sR¡£|s| ¤kk¤<¡) ¤,H|<¡£ ¦¡q
~%| , sA| k|¤L¢tk , / /|¤||s©'¡£|M¡£P, sÏ¥|£ ¡£/s¢E¡£|
kT S| ,H¡@¥£s| O¦¡£|M¡4|||¤q ¡£,R¡£| |k s¢O¦¡££ ¡£¦«H|J||¥
|¡£qs s¢O|kqsM¡£I RSk¡ kqsk¤Æ\¡£|.k ,H«ssUs¢Okk<«ss¡Ë¤ s|k's|
¡£|g|ks¢R|¥ ¡£\
2Gk¤¡4 ,H|k¤qs ªi¨#¡£ , s||kkk|¥§¡£|@|k| ,Ts¢Uqsk||¥
,Ë|¦¡£||k|¤q ¡£g5 )¨bª /|¦¡£|Ë¨k|¤q ¡£ ªÏqsk| ®> QsM¡g<¡
s±' %M| %s , 2L¦¡£||¥@¦¡ ,H¥¡Ek , qs s|@ ¡£|£sM¡£gs||¦Ë
k|¥|k|¤q ¡£qsk|Uk<«£sJ¡£P ,H' k|'¡£4¥|£ ¡£L|T S|¦¡£|'s¢
k<«£s |k|¤q ¡£¡£|kËskgkk||k| ,H1O¦¡£A¡£|s||ks¤Æ\Js ¥|¦
O|)qsk||¥ ,ËM¡£s¦.k¤|kk¦«|k|¤q ¡£'~%||k| ,H%¡£ , ¢tk ,
¡£|k|'|J|||¤< s¢m¡£|Lk|¥%|k|¤q ¡£qsk||¥¡Æsk1s|H¡£||k
s¢J¡£|O0 /¡£|ks|T S|¦¡£@s¢m¤«£s¥ ,H¡b ,H|k¤qs ªi¨ ¡£ ,H
(1sk§ |qs'¢tk , > ª )¨bª«k¤ ,HU¡£|k>|k| ,HUs|.1s|
¡£k¦« ,Ë|¦¡£|'|k|¤q ¡£%qsk||¥>|k| ,HEJ<| ¡£|%k¤JOs¢Js¡£|
,H|k¤qsm ªi¨¡£ ,H
% U U

5
LINUS: Using attribute-value learners in
an ILP framework
~%|U¤ÆsM¡£U|kk¡£O ,H<¡£|H¢t' ¤<¡£¦«¦H|k|¥Ës¤Æ¥k||.| R
|¥ qsk||¥/Js¡£|kJk¦¡£s's|k ¡£s|k¤kM¡£|;~%|
,H<¡£|\@P ,H| ,H¡£ ¡£| ¡£ ,7ªÏ . ->Jg ,H| |kJk¦¡£s
qsk|k@ ,Hk§0 /M|kkk¦«/¥¤ |k¥£- ,.,H|¥/¢t£- ,H<Uk¯ ªÏ . ->
1s§ ªi¨ ¡£ ,¡£¥£ ¡£|¥4k<«£sÏ ¡k¡£k|M¡£ R}«ss|qsk|k }¡%¤qs§J
«k¤<¡£§.k|'¡£ S|.¡£|>J¡%kM¡£H¡£@4¥¦«.|kI R
,/~%|A¤ÆsM¡£ Sk¡ |k¤kJË¡£|kA ¡k¡£k|M¡£ R}«ss| qsk|k4O|¤Æ
skgs¡s¢ ¡£|ªÏ . ->A«k ,H¡q'~%| ,H<¡£|As¢R|k|¥Hs¤Æ¥k||
|O|¥; qsk||¥ |k¤kJ Js¡£¢t. ¡k¡£k|M¡£ R}«ss|)s| ªi¨
|k| ,HA~%|.ªÏ . -> s¥k¦¡£ ,/iP ,H| ,H¡£|¥.¡£| ,H<¡£|\Rg¡£|
M¡£|\%¢tU |k¤kM¡£ s¢¡£|¡£ , A s|¥s¥;| s.s¢
¤|¡££s| |||¤<¡£¦« |£sk¤Æ|¤qsL ¡Æssk ®L® ( H¤ s|kG0 /¡q
¡£|¤ ,H|M¡Æ ¡£sM¤ ,H|0 /M¦¡ @s¢m¡£|LªÏ . ->@qsk||¥¡Æsk@'s||kkk\
Rs¦Ïs 0 /¡£|k ¡£A¡£|Hk¥sEªÏ . -> s¥k¦¡£ ,/\¤qs ®> . ->
®><¡£? ,H ¡£ªÏ . -> ,|%|kJkAO|¤Æ)sOU¢t10 /¡£|||¥ ¡£| sI R
¥s¥| s%s¢E¤|¡££s|/®L® ( ¤ s|k%¡£H|<¡£? ,H ¡£¤ s|k
5.1 An outline of the LINUS environment

ªÏ .
->.OsA ªi¨qsk|UO|¤Æ/|||¤%Js¡£|kL.¡£|>¢t?,s¢ ¤IR

¡££s| |||¤<¡£¦«|£sk¤Æ|¤qsL ¡Æssk ®L® ( ¤ s|k 2L.||M¡
¦¡Ë¡Æss@¡££s||¥)0/|-,H| Ub¥¦«s@¥k||¢¹s¤<¡£Us| s¤Æ¥k||
|O|¥ ¡£|;¢t? , s¢ Jkk|¦ k¤|kk¦« §|||¤<¡£¦« ¡Æssk
®® ( @¤ s|k ~%|;|T S|¦¡£| s¢4®® (s| ®L® (¤ s|k.¤qs J
¢t||//¤<¡£8 &¦

U

~%|>, s |qªÏ .->#/¡£¡££s|¢t?, ¡£||k|, s¢ qskIR
|¥ k ¡£s>®L® ( |k¤kM¡£|/¡£ |kJk¦¡£sLqsk||¥¡Æsk
ªiq«£|¤g ¬ <¡Ls±1M±;~%|4Ës¤Æ|<« ¡£| kR ¤qs `K Y¸»³· ¼<Á
"Â¶Æ¼<s¤|k¡£|¥>s¢¯« &-***|Rs¢J¨k¥L¤|s 21¡|kk¡qªÏ . ->4I R
¤kJ£ ¡£Ï¡£|'|kJk¦¡£ssqsk|k 2| "~ 2>~ 2U¡£|<¡Es±b B3±
L 1 Mg / ° <¡£}¤ ¬ B/ Os| 21 & 2U sk.s| (UUM ± }¡
qs ¡£|¤kJ£ ¡£Hs¡£|Ë|kJk¦¡£sbqsk|kM¡@s¢OO|¤Æ |.
,Hk¤qs/Jk¤<¡£/¡£ Js||\
~%| ¡£¢¹s¤ ¡££s|¢t? ,H.¡£| ¡££s||¥ 0 /|- ,H|§¢tk , ¡£| ®L® (
¢t? , ¡£ ¡£|¢t? , s¢ ¡k¡£k|M¡£ R}«ss|¡£||%~%| ,H¡P ,HJ¡Æs¡O¢tq R
¡£|ks¢m¡£|b¡£¢¹s¤O¡£ ¡q@¡Æs|¥¡£s¤¤|¡U¡£|%¡ JUs¢m¡£|Ls R
¥ ,H¡£1s¢i¡£|L¡Æsk¥<¡%|k|¤q ¡£ss||¤q ¡£|'s¢is¤Æ¥k||A|k|¤q ¡£
s|§¢t||¤<¡£|sk¤|k|k)s ¡k¡£k|M¡£1¢tO ¡k¡£k|M¡£ R}«ss|Lqsk||¥|
/M¡£|¥ ¡k¡£k|M¡£ R}«ss|)qsk|k.¤qs ¡£| J;|k ¡£ |||¤¦¢ R}¡£|
8
k| Rs¦|¡£|4|||¤¦¢ R}¡£|)k|>sk¡££s|¢t? ,H)¡£ ¡£|¢t? ,
s¢1®L® (¤ s|k¡£|H®L® (¡£¢¹s¤s ~%|Hk¤Æ| ,HHs¢'¡£|HªÏ . ->
«k ,H¡%¥¦«/ R¥|k /¦
ªÏ . ->Ës@¡£¥£ ¡£ «k ,H¡E¢tEqsk||¥>Js¡£ ¡k¡£k|M¡£%s|
k ¡£sM|k¤kM¡£|b|k|¥4 ¡k¡£k|M¡£ R}«ss|%qsk|kE~%|LªÏ . ->Hs¥ R
k¦¡£ , '|k¤|s¡%s¢m¡£|qsk||¥4s¥k¦¡£ ,|k. 2 s R
¦¡Æ ¡£¦« /| 2L¤ O|k¦¡£¡£ , / ° <¡£}¤ ¬ B3 4O|¤Æ 1sH|k¡£
qsk@¢t||¤<¡£|s¢m¤ ,HJ|¡£bs¢m Os¦¡Æ ¡£¦« ,H||s¢J¡£|O|qs¡b@¡£|
2 Q®> 0 /MJ¡ ¡£ , ¢t | s¥|k|¥ ¤qsk| s¤ skk¡£ ,H s
(U£ ¡£sH<¡Ls±1 B±
ªÏ . -> 1sUk|¤¤k¢t|¦.s|| ¡£g¡£|L|k| ,Gs¢Ïqsk||¥g| s¥| R
¡£¤1k|E@k| , ¡£¥ss|k¤kJH 2UsM¡£O ªiq«£|¤%¬ <¡bs±UMq\
% ± ¡£|U|k| ,s¢qsk||¥k ¡£s|k¤kM¡£|Rk<«£sM| , s|
|O¢tk , ¡£| , s¤Æ||4qsk||¥ ¦¡££ ¡£|k ªiq«£|¤Ë ¬ <¡gs±ËM ±m| R
k¤kJ sk. 2UsM¡£ 1MÏs|¡£|@|k| ,3s¢'qsk||¥.k|L¢t S|¦¡£
,H¡ ,Hk;|k¥; 2 2>® ®@° ¬ kkM ±m|k¤kJsk 2UsI R
¡£O & -k|¥|kJk¦¡£s| ¡k¡£k|M¡£ R}«ss|1qsk||¥s¥k¦¡£ ,HªÏ . ->
sO ¢tHk¤¡AsM«ss|¤ s|||¥ P ,HJ¢t¤<¡ ¡Æ ¡£|ks¥ R
k¦¡£ ,H'¡£@Jgs||.qsk¦H¡£@kqs R ¦¢tsP ,HJ¢t¤<¡1 ¡ÆMb8 /MJkP ,H¡£%
¤Æ|k||¥- ,H'| , sO¦¡£ËL¤¡£k4- ,H|¡Rs¢|kss|k¤kJË
2UsM¡£)+ * ®@° ¬ kk s|)ªiq«£|¤ ¬ Mqm'ªiq«£|¤ ¬ s|)®@° ¬ kkb & ±
k|¡£ ¡ªÏ . ->)J¢t? ,HUR;P ,HJ¢t¤<¡qJ|) ¡Æ s¢bk ¡£s
¡£|ks

% U

*
%$? 7 (A = @ ?UA @A=
7Q'\*(; '\(; ' @A= '\(;
'\(;

A!
(A ' *
%N? 7 (A 67Q'\*(; 9

?U'D?U#NAQ A?U!* ;R =A
* >*!

?U @
;:#$!

O

?U*
7 (
?
' R
?U*

?U(;?U N?U*
M'D?U#

' R
?U*

R ?<(; @ 9

?U'D?U#NA J a
J 'D?U#
J a
J (
*
R¥|k /¦©@2L/««<s¢EªÏ .->J

U

5.2 Attribute-value learning

ªÏ . ->§|¤kJ£ ¡£%k<«£sR ¡k¡£k|M¡£ R}«ss|Lqsk|kO¡£@¡£|g¥¤>|kR
¥£-,.,H|¥/«k ,H¡q ªÏ<¡@| Sk¡@k¤qs'¡£|.|kJk¦¡£sbqsk||¥

k<¡k¡£|¥|©0 /|- ,H|Osk>¡£||%s¢E ¡k¡£k|M¡£L«ss|% sJ.O¦¡£/@¤|¤M¡
- ,H % sJ ¢tU¡£|Jk¦¡£¦«>|¡Æs|¤Os¢i¡£|¤|¤M¡Ls| ¢t
¡£||¥ ¡£¦«>|¡Æs|¤,s|.¡£||||¤AJs¡£|k%¡ |¤qs¦Hq«¡£|

¢t? ,s¢E¦¢ R}¡£|§k|O%|¤kA¡£kb~%|Ok¤<¡£/|¡££ ¡£%@kP ,H|
|kJk¦¡£sÏqsk||¥H¡Æsk/s|;¥¦«s;M¡£|s¢E¡£|kË|kJk¦¡£s
qsk|kO|¤kJ£ ¡£§¡£@¡£|ªÏ . ->§«k ,H¡q
5.2.1 An example learning problem

||Jk ¡£ ¡ ¡£|qsk||¥ ¡Æsk;¡£ S | |k¤kM¡£ s¢ ¢tk||¦
s||M¢tk||¦ kJs¡£
1 |§<¡Ls±1* %¢tk, k<¡Hs¢>0/|-,H| | R
k¤kJ Hk / ¡k¡£k|M¡£E |'kPH , | S |k|,/¥¦« ~Rs| /¦
k / 0/|-H , |;sk ¥¦«\g|k¤kJ |S « ¡k¡£k|M¡£)s¢Ë¡£|k| R
¡ ¡ J 1
2 ¡k¡£k|M¡£ = 4<h 47!8s| ,BA 4<6)q«)«ss|Hs¢L¡£|/¡ J

M6'A @> M6'AHGT@>s ¡k¡£k|M¡£ ,>$h : 47!8gs «ss|Rs¢|¡£|'¡ J [5>$h : 47!8

>'NO:5Gj
*h h >$>'eG ch H814s| ¡k¡£k|M¡£ ,6+*: A'[5a16s| >$: '
OA `
q«g«ss|%s¢ ¡£|¡ JA'[5a16 'NO>'1@:5G
A/$!NO6HG>$3 H8M>'
A [5a16
k , ¡£|40/|-,H|)~Rs| /¦Jss¥k¦¡£ ,Y¢tk, ¡£| 2 ¢¹-,H¦
|||¤%¡£|¢tO|¥Ë¦¢ R}¡£|Ak|©

~Rs| /¦©b8/|-,H|%s¢ ¢tk||¦§s|/|M¢tk||¦.kJs¡£

U

R¥|k/'&©b®>¤k.¡£kg¢t1¡£|gkJs¡1Uk\
h BA'A
!N 4<6@:*h # = 4<h 47!8 M6'A iC

h BA'A g
1 !N 4<6@:*h #
,>$h :
= 4<h
= 4<h
47!8 ;j
*h h >$>'
47!8 ;@>
ch H 8
47!8 M6'A *C ,>$h : 74 !8 A `>'NO:
-k|¥§s; ® %R sk;|¤k/¡£k4||||¥ s¥k¦¡£ , 2| ~"2>~

¡£|g¡£k$R¥|k/'&@O|||¤\1 }¢R¡££s|k¤kJ)¡£ ¡£|g¢t?, s¢Ek|
¡£|¡£kg|k||¤0 /|s¤<¡£¦.¡£|sJ«g¦¢ R}¡£|Ak|
5.2.2 ASSISTANT
2| ~"2>~ |k¤|s¡ s¢ 21ª 2U|¤M¡ ªÏqsk||¥ ¡£,
|¡<¡Ls±111 Ls| ® % || s3sMRB1 ±g~%|@ ® %§s¥k¦¡£ ,
¥|£ ¡£§Js¡£|kg;¡£|Ë¢t?T , s¢U§|¤k;¡£k@¡£ ¡s|¡£|
¤ skk S ¤q ¡£ s¢%|<Y k¤<¡£ L 2 4k|¤Æ\¦¡4 H , Ë , Js¢1¡£| ~O®> ®>~
~ IR ®>O |||¤<¡£ s¢®>¤k~ k || sB1 ¢¹-H , ¦s¢IR
||¤<¡£¦«gqsk||¥@|k¥£-H,
21ª .s|§ ® 4 % PH
, |H
, ¡14kPH , | H , ¤Æs|?, ¢tU¥|£ ¡£|¥@4|¤ R
k ¡£kO¢tkG , g¥¦«Hk<¡Us¢Ï ¡k¡£k|M¡£ }R «ss|U¡£||bbs¤Æ s¢m¡£|O¡£k
| |s¢'¡£| ¡£k g sJ s ¡k¡£k|M¡£sÏO|@|£s|¤Æ|¡£ ¡qs
¢tk,¡£|||4skg sJAA¡£|Jkk|>«ss|s¢R¡£|4 ¡k¡£k|M¡£s'~%|
¡£k¤|¡£k|¤<¡£)|k¤kLO||k¡£¤qs¦.¥||//¤Æ|k|¥ ¡£| ,H¡
M¢t? , ¡£¦« ¯ ¡k¡£k|M¡£4 ¡Lqs¤Æ;¡£\\sP ,H; ¡ ,H|P ,H ° |¥4¡£|40 /MJ¤<¡£
,ËJOs¢ ¡£¡£||/¢t%¤ skk S¤q ¡£\
U

ªÏ<¡ J@¡£| k<¡s¢U¡££s||¥. |-,H| s| 5#¡£| |¤k 0/ S
Glll
¤ skk9 ® %¤|¡£k|¤<¡£ |¤k ¡£k kJq ¡£|¦ ¤qs|¥ 2L¥R
k¦¡£ , /¦gAqs¤Æ/¥|£ ¡£)||gs¢ ¡£|¡£ks
7#9 J"= : " $
`

,

BDC

" ;:#$!
6 A? "' "#$ 9(

40GH/?6' >? ,

S
-,-,-, 0
!
*! ((;?U7 @$N "=A
*
0OS
%
'A?U!* ,

C%c . c

%
56 (*?U=
!*
7 $*? 'D? ,
/<I C%c .

cS -,-,-,
^ JK ( Q? X "? 78*?
Y_4E1Y_4
- X 8
@*? , ,
|qs¦bqs¤Æq ¢@ sJ 0/|s¤<¡£¦ |§¤ sk -,Hs U<«

qq«R¤qs@skJU,HM¡ .-Lªiª.qq«, ¤qsËJ' sJ,Hkb¡£s
|.¤ skË- ,H M@ 2 Q 21 qq«, }¢O¡£|kAsk.|)¡££s||¥)0/|-,H|
q«|¥@ ¡k¡£k|M¡£O«ss|U¡£ ¡UU|.qsH¡£@4s¡£¤| s'q ¢\¡£|.¡£|'

S

S

R¥|k / %M©b®>¤k§¡£kg||¦¡%§ ® %ËO¦¡£/ ¡k¡£k|M¡£ §¡£|gks¡q

U

.-Lªiª;q ¢ M@2 Q 21#qq«Us|JqsbO|H¡£|k>skO|¡£¤qs|¡££s||¥
0/|- ,H|%O¦¡£A| k¡¤ sk%-,H
21¡qs¤Æ)¡£)s¢ ¡£|g ® % s¥k¦¡£ ,/¡£|gkqsk¤Æ)||k¡£¤¤Æ|k¡£|

,H¡EM¢t? , ¡£¦« ¡k¡£k|M¡£Usk s@M¢t?, ¡£IR}¡£|k<¡£¤@,Hqsk|k
¤qs¼<³·¹Á£¾ÆÌ ªÏ<¡ J;¡£|¼<³·¹Á£¾ÆÌ ;s¢¡£|;¡££s||¥ k<¡ UO± s¦
¡£|.- ,H|¡4s¢OM¢t? , ¡£|| ¢tg¡£| ¤ skk S¤q ¡£ s¢%| k¤<¡

s|)s| 1 qq« 1s ±©
5
Sa

¥ Ua /¦
('

O|ka L¡£|@|kL|ks|¦¡ As¢'¤ sk 5- ^HGlllG-4 -ks¦

a ¤,H|M¡£ sH¡£|;k ¡£¦«/¢tkO||¤< s¢g0/|-,H| ¢tk, U

± s¦B a mO|k

|s|W ¡£|Ë ,ËJ>s¢'0/|-,H|¢tk,
os¢¤ sk s¡£ ¡£ ¡@s¡£| J<¡k¡£4|ks|¦¡ ¡£P, ¡£Ë¤qs J
|k |¡£qs s¢'¡£| k ¡£¦«Ë¢tk O||¤< k.¤<¡£ BM 1.O|¤Æ ¥¦«s
««<s¢R|ks|¦¡ ¡£P , ¡£,

~%|>¡£k.s¢\¡£|L¡££s||¥k<¡ UM ¢»¡£Uk|¦¡k¡£|¥g¦¡1s¤¤k||¥4¡£4¡£|
«ss| SGlll4G @s¢E ¡k¡£k|M¡£ Os©
5 a

S a S a

¥ U

a
a
/'&
O|kaL ¡£|/|k |ks|¦¡ ¡£ ¡ 3s «ss| %s| a ¡£|
|k1|ks|¦¡ ¡£ ¡sA0 /|- ,H|>J|¥|¥4¡£ ¤ sk s%«ss| is¢
¡k¡£k|M¡£ 4
~%|H¸»³ "q¾ Á,ÃHÂs·¹¸»º¸»· s¢E ¡k¡£k|M¡£ ,Hqsk|ksP ,H/ ¡ ,H|P,H ° |¥
¡£|4 ,ËJLs¢E¡£¡£L||;¢tO¡£|4¤ skk S¤q ¡£/s¢bH|< k¤<¡q }¡L
|T S|;s©
/ %

21¡bqs¤ÆH¡£Hs¢¯¡£|s¥k¦¡£ ,/ ¡£| ,H¡bM¢t? , ¡£¦«1 ¡k¡£k|M¡£1R¡£|O|

O|¤Æ , + /MP ,H ° 1 ,|O O|¦«ss¡£¦ ,H|P ,H °
,
2| "~ 2>~ 2U¡£|§<¡Ls±1 B3 ±i¡£|Hsk¤ ® %§qsk||¥/s¥ R
k¦¡£ ,0 /¡£|| @k<«£s1qbO|¤Æ |¤||s© s|||¥|¤ ,H|<¡£¦
kJ¤ S¡££s||¥/0 /|- ,H||sk ° ¡£ s¢O¤¡£||@ ¡k¡£k|M¡£E| R
s¤|¡£k|¤<¡£ s¢1|¤k¡£kR|k|||¥As¢1||k s|Ës¡£gs¢U¡£|
¡£ks| | s|k|U¤ skk S¤q ¡£@skH@¡£| s¦« (1qk s |k|¤|s
U

>|Os¢m¡£| ,H¡bP,HJ¡Æs¡E¢tq ¡£|k'E¡£kO|k|||¥||k.sb ,H¤ÆIR
s|?, ¢tHs|||¥ | ¡ÆM ~ k)|k|||¥ sPH , ¡.|k||¤|¥
¡£k O|¤Æ| |s¡H« |S ¡.Jkk|¦ kk||H ¡ÆM ¡£kA|k|||¥|
¡£|§||k s|.s¡£@s¢L;¡£k/sk§PH , ¡£ k|Ë¡£ |¤kqsk§¡£|
¤ skk S ¤q ¡£As¤¤|£s¤<As¢ ¡£|¡£kg/||k)¤qsk
~%|k4sk¡ U ¡ Js¢R|k|||¥|©
ÌJÁ£¼( ÌJÁ,µ³¸»³¿sJ¢t?,HË||k|¥>¡£|%¤|¡£k|¤<¡£@s¢m>|¤k4¡£ks
O|¤Æ.|¤|'O|<¡£|'¡£4¡£.b¡£¤¡£|¡£kL¤|¡£k|¤<¡£. ¡
@¤¡ÆsA||s¯s|
Ì¾É<· ÌJÁ,µ³¸»³¿s,H|§ ¢»¡£b¡£|>|¤kH¡£kLs1J.¤|¡£k|¤ R
¡£\ O|¤Æg¡£P , ¡£\¡£|0 /MJ¤<¡£4¤ skk S¤q ¡£kkkÏ¡£|||
s¢J¡£|1¡£ks| ¡£|H|¤|O|<¡£|¡£g|k||%¡£|Ok|M¡£k'ks¡£
¡%¡£|kg||
~%||k|||¥ ¡£¤Æ||PO|>skgsk;A¡£|g||k¡£¤g¤qs§¡£|0/MJ¤<¡£
¤ skk S¤q ¡£ s¤¤|£s¤<Rs¦¡£k ¡£¦«¦Ï¡£|H0 /MJ¤<¡£¤ skk S¤q ¡£ R
k§¡£P , ¡£s ,H¡£| ¤<¡£ %M' &' & s|#|k¤kJ# ,Hk| R
¡ÆsÏ¤<¡£ BM |8 /MJkP ,H¡£L)| k¡>| , s|Oq«Ëk|O;¡£ ¡
¡£|)¢tq ¡£|k.|s|¤|¥ ® %MOs.P ,H| ,H¡£ 2| "~ 2>~%¥| R
¡£A|¤k ¡£k O|¤ÆskA? , sbkP ,H|@s| ,Hk§¤ ,H|k||k R
|sJs|; ¡O¡£|4£- ,H¡£P ,H ,Hks¤¤|£ ¡£gO|;¤ skk¦¢»|¥H|< k¤<¡£
2U¡£|§<¡s±% B3 2U¡£|As| (U£ ¡£sAM ±
5.2.3 NEWGEM
L1 g M / ° <¡£}¤ ¬ B/ |k¤|s¡ s¢ ¡£| 2 3+R02
,
/¤ÆskL1M1B% Us|1sË¢t|¡£|Ë| R
kkËs¢qsk||¥)¡£H
«J¡£ 2 / /¤ÆskÏ<¡Ls±1B1 Ës|A2 3 (U|kos|
/¤ÆskM ±
(Us¡£ 2 s| L1 Mg |||¤ËJs¡£|k)¡£|4¢t?,3s¢b¦¢ R}¡£|
k|Y®>k¤kM¡£|/skqsk|#ks£ ¡£¦ ¢tAqs¤Æ#||¦«|s>¤ sk
> k¤<¡£U¢tk, ¥¦«.¤ sk1sk¤|k|k.¦¡£'Jk¦¡£¦«0/|-,H|Ms|§s
s¡£|1 k¤<¡£sk>|¥ ¡£¦«>0 /|- ,H|1s¢i¡£|>¤|¤M¡q'~ £s||¥40 /|- ,H|
sk4|k¤kJ sL¡£||Ls¢' ¡k¡£k|M¡£«ss| 21¡k¡£k|M¡£L¤qsJ4s¢¡£|k
¡ J©'| ,Hs±|qs1O¡£k|¤<¡£|k\ 2U|¤M¡L|k¤kM¡£|%§¡£|¢t? ,
s¢¦¢ R}¡£|k| sk.k|kk¡£¡£| +ªA|s¡Æ ¡£ +'sk s| R}«ss|
ªÏ¥¤Ë /¤Æsk 3 ,

U

£¡ | +ª§|s¡Æ ¡£\ É¼<Í¼Æ¶<· ¾ Ágk ¡£@s ¡k¡£k|M¡£H¡£ )«ss|

¡£# | k||¤<¡£s¢H«ss|Ës ¥|¦ = 4<h 47!8 M6'A s| ,>$h : 47!8
j
*h h >$>' ch H8 ±ikkJ¤<¡£¦«¦ 29¶Æ¾ ÃLÌJÍ¼ gA¤k||¤<¡£ s¢1k¤<¡£k

s ¥|¦ = 4<h 47!8 M6'A M C ,>$h : 47!8 j
*h h >$>' ch H8 ± 2 Js¡£|k>L
k<¡s¢R¦¢ R}¡£|Ak|Os¢ ¡£|¢t? ,
h BA'A h BA'A &*hi!6 # > B6N
O|k h BA'A #*hi!6Ë||s¡£L|4s¢E¡£|4|¤k/¤ skk\s| > B6N@L

.| k||¤<¡£s¢U¤,H|0/M¤«k|¥/sRJk¦¡£¦«Ë0/|-,H|s| ||@s¢
¡£|.|¥ ¡£¦« 0 /|- ,H|4s¢%¡£|.¤ sk;L 1 Mg |||¤4¡£| ¢tO|¥
Js¡£|kO¢tk ,Y¡£|g0 /|- ,H|O¥¦«AA~Rs| /¦

%* . # % %
2%* &%*%*224 # %* +

BDC
*% .
# % %

2

.241
BDC
% 2%*
k|4¡£ , ss.¡£|.¡£?,H|¥s ,Hk ||¦¢t?, O¦¡£¡£|§k¡ s¢O¡£|

J ¯MUgOm|kg¡£|¡£?, ¶Æ¾ ³J´s¸»·¹¸±¾ ³ |¡£qs/s¢Rk¤<¡£|¡£|¡£?, ¾q´
|¡£qs/s¢R¤ ,H|0 /ms|/ k|>O¦¡£/@| k||¤<¡£As¢ ¡ U ¤,H|0/M

%* .
# % % > 2

.241
BDC
% > 2%*
OmJOk¦¡k¡£A§¡£|¢t?, s¢ ¡ UHk|

%* .
# % % > 2

.241
BDC
*% .
# % BDC % > 2%*
}¡4k|| JH|s¡£ ¡£ ¡ #||s¡£Ë/k ¡£O|¤Æ |s¡|¤k£sk¦

P,H|¤q ¡£\ 1 |<¡£|>¡£|4¡£k|k<¡Æ ¡£;s¢ #1s>P,H|¤q ¡£§L¤kk¤<¡
|J|| ¡£|E¡££s||¥1 ¡Æ / ° <¡£}¤ ¬ s|/ªiq«£|¤ ¬ BB± g¡£|k¥s
+ª4|s¡Æ ¡£/¡£|4I ,ËJ |k ¡£|4|k¤<¡£)s¢E¡£|Ëskk
k|¡O||¤q ¡£U¡£|g ¡£|£s\|k¤<¡£§s¢ M¢tk|¤O|)@k|s¢i¡£|
¢t? ,%|k\
~%| 2 s¥k¦¡£ , Sk¡R¡£k||¤¡£|bk R ¤qs ¤«k|¥ s||ks¤Æ\
2L ,H¡£|qsk ¡£| ¤qsk s& ¢ 4 ¤ skk SGlll 5OR¡£|H¡Æsk s¢
qsk||¥g¡£|>|k¤kM¡£|Us¢ 43¤ skk1 Sk¡U¡££s|¢t? ,H.¡£+ 43qskI R
|¥¡Æsk1|§¢t qs¤Æ||¦«|sU¤ sk } qs¤Æ¡Æsk¯U0 /|- ,H|
s¢1¤ sk b¢t? ,
s| 0 /|- ,H|J|¥|¥§¡£)ss¡£|¤ skk¢t? ,
i M¦« ¡£|/¤|kk¡H¡££s||¥k<¡Hs¢>0 /|- ,H|
|¦¡£ s¦ k<¡ ¡£
U

¡£|.¡£kH¡££s||¥/k<¡4s| ¡£|.¤|kk¡@Js¡£|k O|¤Æ ,H¡
¢tk O|¡£¦.|¦¡£ s¦Ëk<¡%¡£Ë¡£|>,HM¡ .k<¡Os¢ik|,M¡£| ¤«k|¥ | s¢

¡£|L 1 Mg s¥k¦¡£ , ¤|¡£k|¤<¡£L Js¡£|kO§¡£|k , s§¡£|©
¤|¡£k|¤<¡>@k|s
s|A¡£|gk|>¡£@¡£|g¤|kk¡LJs¡£|k¯s|
k,H«@¢tk,3¡£| ¤|kk¡g¡££s||¥.k<¡g¡£| Jk¦¡£¦«Ë0/|-,H|g¤«R
k/§¡£|gk|s
~%|UHUkJq ¡£.|¡£ms|¡£|LJk¦¡£¦«L0/|-,H|UskL¤«k\ 2L¥R
k¦¡£ , /' &ËP ,H| ,H¡£U¡£|%\
7#9 J"= P4 ! 6 6 J8I 9 7#9 J"=

K

`
`
,
,

.0/12/34
,

(;-8*(;E= ? 78= > ;:#$!

. % &
4
2

*% &%
4

> <7 2+ ,

$SV7
` %* %* & %
BDC 2 + +9
T, , 9 77 " ?U*
MNF,

56 #$E= 'D?#
YZIV4 B\[

>= > ;:#$!
6(;E= ? 7W
9 T, , 9 ] 6(;#$!
,
2+ ,
^
Y_4E1Y_4 ba F,
2 ¡Æs¡£'Js¡£|kU¤|¡£k|¤<¡£ ¢tk, sH,HM¡ Js¡£|kUs R

¡£k ¡£¦«¦ ¢tk, sË|¦¡£ sJs¡£|kEk|||4g¡£|U|kE }¡E¥|£ ¡£
.Js¡£|k;¡£|iqs¤Æ ¡£ |k||¤|¥.|@k|Ës¢¡£|@Js¡£|k
~%| s¥k¦¡£ , k¤<¡£/ Jk¦¡£¦«0 /|- ,H| ¤qs \¼Æ¼£´ s| ¡Æs¡£
O¦¡£ ¡£| , + /MP , s¦ ¥|£sOk| |§O¦¡£s1Jkk|§«ss|@¢tHs
¡k¡£k|M¡£,E~%|LJM s¢\¡£|k|b¡£| kJ¤ s ° Hk4¡£ ¡'¦¡U|'|s¡
¤«s|¥ ¡£¦«@0 /|- ,H|s\|M¡¡£ ¤«kg¡£| b6+6+:4~%|Hs¥k¦¡£ ,
s|gk<«£sbs¦¡£k ¡£¦«4k|LO|¤Æ , + /MP ,H ° ¡£|@ ,ËJ>s¢'¤«k

U

Jk¦¡£¦«0/|-,H|Os|)skgsOkP,H|s%Jkk|s~%|k<¡s¢Es¦¡£k ¡£¦«
k|§J|@@¤qsJq- , É<·}ÂsÁ4 ¡£| 2 ¡£? ,H|¥s , 1 |
|Ë|¥ ¡£¦«>0 /|- ,H|LU¤«k\|¡£|>s¥k¦¡£ ,Gk¤<¡£U¡£|>J¡%k|>s|
s||'¦¡¡£¡£|¤|kk¡UJs¡£|k~%|Ls¥k¦¡£ ,kJq ¡£b¡£|O|k¤||k
|¡£Ïs\Jk¦¡£¦«0 /|- ,H|Oskg¤«k\
~%||k¤||k>¢t1¥|£ ¡£|¥@Ëk| JM b¡£@Js||§¡£Ë¡£|>¤| R
k¡gJs¡£|ki«s ;¡£|@k¤| ¡£ s¢b¡£| ;@ ;s¢ 2L R
¥k¦¡£ , /' &|%¥¦«/ 2L¥k¦¡£ , / %M
7#9 J"= P$ ! 6 6 J$'@= F J 7#9 J"=
`
,

%

G \
B [ /

2+ (;E= ?UK @A= 9 ;:#$!
c

(;-N(;E= ? 7F @A= " ;:#$!
,
(
>

) (; 2 *(;E= ?- 9 @A=
;:#$!
9 !*6

(;E= ?K ,
> W
" <7 b

9 ;:(; 7 7),
%
T, , ? #$E= " X ?U6<7 b'

/<I

(;
G B\[ /

2+ 'D?#
((;?U7 @N * ?R%7 ;SV 7 ? 'D ? (; "(;?U ?U <,
^ Y_4E1Y_4 2+ ,
¡£|A|¦¡£ s , +/MP, s¦¥|£s1k|.JMUsU ¡k¡£k|M¡£@q«/s

Jkk|«ss| Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³Hs¢ k|gJM§O¦¡£/kkJ¤<¡L¡£ ¡£|b6+6+:
¡£ ¡s¡£/JH¤«k s| A|¥ ¡£¦« 0/|-,H| ¡£ ¡k|| |s¡J
¤«k %1||§k ,H«|¥@k,H>«ss|1¢tk,sA¡£ks\| k||¤<¡£
s¢O«ss|Ës¢||¦«|sU ¡k¡£k|M¡£Ëk¡£ ¡Ë¡£|§k|.k , s|@s@¥|£s
sgJkk|s s¡£¤Ë¡£ ¡4s¦¡£k ¡£¦«ËkJ¤ s ° ¡£|sk@Jkk|ËO|¤Æ
¤qs|kO¡£|g¤ ,Ë| ¡£k sJ¤ ,H|0 /M¦¡ .s¢ ¡£|s¥k¦¡£ ,/
~%|gÃ ¼£Â É<µÁ£¼L¾ "%Á,µÍ¼LÈµ|ÂsÍÎ¸»· 1|<¡£? ,H|>s¡£ sk|s¢ms¦¡£k ¡£¦«
k|Ls|)Hs£- ,H<¡£ ªi AªÏ0 /M¤qs E«ss ¡£ ||¤<¡£ %|T S|
.¡£|g|k'~%|%Os/kk¡£ sÏs¡s¢ ¡£|g|||¤<¡£¦«| s%|k)§¡£|
¡£ ,//~%| ,Hqsk|k ¤|k¡£4s¢%/¡s¢%¤k¦¡£k §¡£ ¡Ësk s|| ¡£
qs¤Æk|s 1 | ¡£| Sk¡ ¤k¦¡£k ¤qs||s¡ |k¤kP ,H ¡£HJ<¡ U¡ U
U

k|%¡£|;k¤| |) |k\Ls| k \o~%|)¢tO|¥ . ¡ s¢
|<¢¹s|¦¡O¤k¦¡£k 4¡£ ¡Ok|Ok|%¢tk,Y¡£|gJ¡O¡£@Ukks©
|¥|% ,ËJOs¢R¤«k;Jk¦¡£¦«0/|-,H|
UO ,ËJOs¢R¤||¦¡£|1§¡£|gk|s
U%¡£s¡Æs\ ,ËJOs¢ «ss|%A¡£ks\| k||¤<¡£|

~%|k¤|A|k R |TS|/s£-,H<¡£ ¤qs >¼£ÂsÃ ¯¸ ¼ '¡£|> ,ËJ1s¢
s¦¡£k ¡£¦« k|¡£/JH¤|k|k ¡£| s¥k¦¡£ ,/\± s¦Ï¡£| OM¡£ s¢
¡£|gJq- , AJq- ,kqsk¤Æ\U®><¢¹s|¦¡%«ss|>¢t1¡£|%s£-,H<¡£%+*M
~%|< 2 s¥k¦¡£ , s|¡£| ¥|£ ¡£ s¢Ok|4s¢%| k¡Ë| R
¥kOs¢R¥|£s¦¡ QO| , q.J4¿¼<³m¼<ÁkÂsÍ q«|¥@¡£| ,H|P , sJ ,ËJ
s¢ ¡k¡£k|M¡£qs¤Æ O¦¡£ ¡£|8 , + /MP , sO ,ËJ.s¢| k||¤<¡£¦«)«ss|,
Ã@¸»³¸»ÃHÂsÍ ¡£| ,H|P , s ,ËJs¢1Js¡£ ¡k¡£k|M¡£s| «ss|, ËÉ Ì(¼
¶<¸ ¶ ¡£| , + /MP , s¯ ,ËJ%s¢R ¡k¡£k|M¡£|qs¤ÆAO¦¡£ ,H|P , s ,ËJ%s¢
«ss|,
1 | qsk||¥ ¢tk , |¤|k¡£¡§0 /|- ,H|O± s¦%0 /|- ,H| q«|¥
¡£|/£- ,H/ ¡k¡£k|M¡£.«ss| |M¡ J|¥|¥;¡£ | k¡H¤ skkU¡£| 2
s¥k¦¡£ , |k«|O¡£|kgM¡£|©
|¤|k¡£¡@0/|-,H|@skH¡£kq ¡£ sËJk¦¡£¦« 0/|-,H|4¢t4qs¤Æ

¤ sk
|¤|k¡£¡0/|-,H|skË¡£kq ¡£ sg|¥ ¡£¦« 0/|-,H|¢tqs¤Æ

¤ sk
|¤|k¡£¡0/|-,H|Oskgk,H«A¢tk,¡£|g ¡ÆM
L1 Mg s|>2 /Aq« ¡£| |¤k,H¡Æs'qsk||¥A¢¹s¤¦¡ .~%|
|k ¤qsk|||¦s|¦¡£ sUJs¡£|k ~%|)|k¥£-,H P,H|,H¡@¡£|
,H<¡£| s¢iqsk||¥gO¦¡£ ",µÍ»ÍmÃ ¼<Ã ¾ Á sU|Jk ¡£Ëqsk||¥gO¦¡£ Ì|ÂsÁ
·¹¸¹ÂsÍiÃ ¼<Ã ¾ Á ,' /¡£|%¡ Js¢Eqsk||¥|M¡£||k¥£- , k ,H ,ËJks\¡£|
¡££s||¥40 /|- ,H|1kAkË¢¹s|sUU\s1¡£|>k|1¦¡U¢t? ,H\< k|
sk@¥s£s¡£ ¡£AJ@¤|k¡£¡4s| ¤ ,H|<¡£4O¦¡£ kkJ¤<¡g¡£/s
s|/|< U¡££s||¥@0 /|- ,H| QO|ss| /¤Æsk BB±

U

5.2.4 CN2
~%|gk|>|||¤<¡£.¡£, 21 & 2U sk.s|)|<¡k¡BÏ¤,Ë||1¡£|
s|¦¡ /¡£A¤J O¦¡£ | ¡ÆAs¢'¡£| s¥k¦¡£ ,HLs¢'¡£|H~O®> ®>~¢¹-, R
¦ O¦¡£ ¡£|A¦¢ R}¡£| k|§¢t? , s| ¡£| 0/M|§kqsk¤Æ ¡££ ¡£¥s s¢L¡£|
2 ¢¹- ,H¦ }¡%s1k<¡Æs| ¡£|¤«k|¥ s||ks¤ÆAs|.¡£|>Jq- ,Ykqsk¤Æ
,H¤Æs|? ,¢tk , 2 |M¡EsRk ,H«@¦¡£ |J|||¤<ËËkJ¤ S¤10 /|- , R
| b6+6+: R||k|¥¡£|Okqsk¤Æ\ |¡£|? ,Hks@k|¡£|qs|O¦¡£ |
¡ÆMU¦¡ sH0 /¡£||¡£|/kqsk¤Æks¤A¡£ k| ¡£ ¡H| |s¡HJ¢t? ,
J¢t¤<¡£¦¡£|.¡££s||¥) ¡ÆM |¦¡£ s¦ 21 &;|ks ¡£k R sk
kqsk¤ÆË||k¡£¤b¡£|||¤'k|kËk| 2U sk.s|)|<¡k¡ B±R }¡Rs
k¤¡£¦gJ40 /¡£||4O¦¡£¡£|Us|¦¡ O¡£|||¤b||k|k4k| s|g¡£
|k (1qk s s¤¤|£s¤< ¡£P , ¡£ s kqsk¤Æ ||k¡£¤
2U sk.s| (UUMs%®@° ¬ kkÏ<¡Ls±1 &s± ~%| ||k¡£¤.|k
¢t%s|||¥@|§ ¡Æ sk|k¤kJ)A|<¡Æs\/¤<¡£ BM %M

1 | qsk||¥.¦¢ R}¡£|;k|\ k¤<¡£gs¢'.¥¦«¤ skgskË sJ

s|/¡£kq ¡£;sJk¦¡£¦«g0 /|- ,H|
s1|¥ ¡£¦«0 /|- ,H|
Js|;sÏs¡£| k¤<¡£>skg¡£kq ¡£
s¢i¡£|>k¤<¡£/¤ sk M¦«.¡£|>¤|kk¡O¡££sI R
|¥ k<¡ s¢>0 /|- ,H|
|¦¡£ s¦ k<¡H¡£ ¡£|/¡£k§¡££s||¥ k<¡ s|
¡£| ¤|kk¡4Js¡£|k |¦¡£ s¦§k<¡¡£§¡£| ,HM¡ k<¡s¢1k|,Ï¡£|
M¡£UHs¢\¡£| 21 &4s¥k¦¡£ , 2U sk.s| (UUM J¢t'|||¤|¥
||k|kk| 2L¥k¦¡£ , / 4P ,H| ,H¡£4¡£| ¤«k|¥ bs¥k¦¡£ ,
M¡£|§)¤<¡£8 /' & %M
2L¥k¦¡£ , / 41s.M¡£|Os¢Ï¡£|5 21 &¤«k|¥ s¥k¦¡£ ,/sUk|¥
¢tO@s¡£¤| s1¤ sk h BA'A &*hi!6
~%|;J¡.JM ¤Æ|k s¤¤k||¥ ¡£ ¡£|)kqsk¤Æ ||k¡£¤AO|¤Æ
,Hqsk|k1¡£|>0 /MJ¤<¡£A¤ skk S¤q ¡£§s¤¤|£s¤<.s¢Ï¡£|>k|sM¡£P , ¡£.
¡£|ªis| s¤|ks|¦¡ ¡£P , ¡£ 2U sk§s| (UUbM ±
ªÏ<
¡ 4 J¡£|¡£s¡ÆsÏ ,ËJOs¢E¤ skk§¡£|g|k| ,/'ªÏ<Q ¡ 3 1J
¡£|g ,ËJ%s¢RJk¦¡£¦«0 /|- ,H|%s¢ ¡£|g¤ sk h BA'A &*hi!64s|?
¡£s¡Æsm ,ËJ1s¢ 0 /|- ,H|1.¡£|>¤|kk¡%¡££s||¥Ëk<¡
|¤«k/§
k|`
3 U¡£|
3 E~%|ªis| s¤L¤ skk S¤q ¡£.s¤¤|£s¤< ¡£P , ¡£ 3 b¡£P , ¡£'¡£|
|ks|¦¡ H¡£ ¡sA0 /|- ,H|¤«k;Ak|k 3L%Jk¦¡£¦«gs©
3 ]
a 3

3
3

4

.¦¡£'|k<«|'«kk\M|¡£qs s¢\¡£|>ªis| s¤¡£P , ¡£s 21 &g1sU|k|¥

sA¡£k R sk;||k¡£¤ 2U sk.s|)|<¡k¡ B ±
U

7#9 J"= 8
! 4
J8I 9 7#9 J"=

K

`
`
,
,
.0/12/34
.% &24

%* &%
4

$SV7
2+ '$?U*
,

BDC 2+ 42 # 24

40GH/<I

9 9
%*
77 " ?U*
MN T, ,
` %* &%
BDC 2+ ,

56 #$E= 9'D?#
2+

"= M ;:#$!
6(;E= ? 7W ,
YZIV4 B\[ 2+ 24 # 24
,
^
Y_4E1Y_4 ba F,
~%|4Jq-, kqsk¤Æ)¢tO¡£|4J¡LJM/s¢Hk| 2L¥k¦¡£ , /'/ |kR

¤|g ¡£IR |O;¢¹sk|\g~%|@kqsk¤Æ ¡Æs¡£>O¦¡£)¡£| ,H¡¥|£s
JM VN$!6,O|¤Æ ¤«k1s¡£|1¡££s||¥>0/|-,H| 21¡bqs¤ÆH¡£\k<¡
s¢\¤qs|| ¡£ 6+=
E¢tE¡£|J¡UJMsU¯s¡£|J¡UJMË¢t||
k ¢¹sOskgsM¡q'~ HkJ¤ s ° g@JM¯@¤||¦¡£As¢ ¡£|¢t? , H
s||Ë¡£>¦¡ss@s||¦¡£s¤k||¤<¡q 2L¡£|1Jkk|UkJ¤ s ° ¡£|is¢
¡£|>¤qs|| ¡£U¢tk , 6+=3sk>¤|k|k\b~%|J¡%JMH¢t||§k4¢¹s
Ls¤¤k||¥¦A|J ¡£s|)¡£| 6+=X4H6 ,H¡L|k ,Hk|¥H¤qs|| ¡£
- ,H|¥Ë¡£|g|<O¦§¥|£ ¡£)kJ¤ s ° ¡£|1skg¤Æ|k\
~ |4J¡>JM§¢t||)kH¢¹s¯)s||¦¡£\|¡£¡£)¢t¦¡£O¡Æ ¡£¡£¤qs
%
k¥| S¤qs|¤s/~%|4g¡£;|k|k ¡£ ¡4¦¡4k|kk¡£ )¥|| k¥| sk¦¡
;¡£|Ë¡££s||¥ 0 /|- ,H|gs| |s¡g.k¥| sk¦¡ /O|¤Æ >||Ë¡£§¤Æs|¤s
¡£| 1q1¡£|)|||k£s|/| s s¢>¡£|)¡£k s| s|sk¡§s¤¤I R
£s¤<< ,H<¡£k¤1|kA¡£@¡£P , ¡£¡£| Os¦¡ s¢RË¤ s|k| ¡Oqs¡%s¡£¦
q«|\ 4/|<¡Æs ¡£kq ¡ ,H¡4s¢1¡£| ||k¡£¤ 21 &)s| ¡£|
k§s|||¥ |. ¡ÆMMUk<¢t%¡£|gkqs|%¡£ ¤<¡£ BM %M

' #

7#9 J"= 8
! 4
J$'@= F J 7#9 J"=

`

,

`

,
2+ 24 # 24

%

,

`

G \B [ /
%
c
2+
%
C%c . (U c
) ' 2+
%
C%c . (UW!
M (
A c
BDC ) ?6 2+ 3!I
) A (

@ SV(
40GH/<I
2+ ` ) ,

77 )
,

BDC M'

%
40GH/<I ? #$E= X ?U6<7 'D?# ,
%
/<I C%c .
/ I
< %
C c .

% ` ,
/<I G B\[ /
^ Y_4E1Y_4 2+ ,
5.3 Using background knowledge in learning

~%|4k¤<¡£ k|O@| s¤Æ¥k|| |O|¥.¤qsJ. ¤<¡£¦«¦sIR
|Ë¡£g|||¤%¤,Hs¤<¡bJs¡£|k' Js¡£Ë¡£| ¡k¡£k|M¡£ R}«ss|1s| ¡£|
ªi¨k<¡k¡£|¥|
5.3.1 Using background knowledge

in attribute-value learning
~%| H , <¡£|)¢tL|k|¥.s¤Æ¥k|||O|¥Ë ¡k¡£k|M¡£ R}«ss|gqskIR
|¥§M¡£|¡£|@kJs¡£0/|-H , |Ë¢tk, ¤<¡£ / '& ¦Ë }¡gk|O
¡£ ¡A¡£| |||¤ Js¡£|k/¤qs#|¤|| |< ¡£?H , ¥¦« sAs¤ÆR
¥k|| |O|¥ sJM¡¡£|@Uk s¢UkJs¡£.1 ( s¤Æ¥k|| |O|¥
¤qsJ 0/M|kkk ¡£|H¢t?9 , s¢",µ³m¶<·¹¸±¾ ³MÉgs¢O ¡k¡£k|M¡£ «ss|HÁ£¼<Í¦Â
·¹¸±¾ ³MÉ-H
, |¥ ¡k¡£k|M¡£«ss|% ;qsk||¥H ¡k¡£k|M¡£|k¤kM¡£|¯¡£|k
U

¢t||¤<¡£| ) k ¡£|O¥¦«kkg¡£ |< ¡k¡£k|M¡£OO|¤Æsk¤|k|k
¡£|/qsk||¥ |k¤k }¢>¡£|/s¤Æ¥k|||O|¥) k|kk¡£
¡£| ¢t? , s¢1¢t||¤<¡£|E¡£|H«ss| s¢)|< ¡k¡£k|M¡£ ¤ ,H|M¡£ sË
¢t||¤<¡£ s¢U¡£|@«ss|gs¢10 /M¡£|¥) ¡k¡£k|M¡£i ¡£|k ¢tgqs¤Æ ¡££s||¥
0 /|- ,H|s@~%|H£s|¥ s¢'«ss|¢t>¡£|@¢t||¤<¡£ g¦¡£|g S|¦¡£@k<¡s¢
|k¤k<¡£H«ss|44s ¡£«ssbs¢%kqs' ,ËJk > ¡£| s¡£|s|\E¦¢
¡£|L|<# ¡k¡£k|M¡£¤qs.q«>skQ
¡£|§s¤Æ¥k|| |O|¥§sË¡£| ¢t? , s¢k ¡£|R¡£|.|¦ «ss|
VN$!6>s| c*hA+6 ¦¢m¡£|«ss|Us¢\¡£|¤ R
kkJ|||¥ ¡k¡£k|M¡£4s¢%¡£| 0 /|- ,H| | ) |;|s¡Ë£ ¡£¢» ¡£|.k ¡£ ,
/s¡£|%Uk|k ¡£|OskJqs.¢t||¤<¡£|
0 /|- ,H|sRs¤Æ¥k|||O|¥.¤qs¤Æ|¤Æ ¢tg¡£| Os¦¡ s¢
¡k¡£k|M¡£O«ss|b¢t'skbs¢i ¡k¡£k|M¡£'s¢\¡£|L£- ,HO¡ J ± s¦ ¡k¡£k|M¡£
O¦¡£§¡£|£- ,Hk<¡s¢i«ss|, A¡£|>UkAs¢ kJs¡£1¢tk , ¤<¡£ /' &¦
¡£|ÏU|4qsg¡£¡ UL|< ¡k¡£k|M¡£Ï¡£ ¡ ¡£¡ ¡£|' Os¦¡£e = 4<h 47!8
,BA 4<6s| ,6+*: A'[5a16 >$: A'[5a16 EkP ,H|¤¦¡ <¡|¤|k|
|¦¡£||< ¡k¡£k|M¡£ ,6+*: A'[5a16 >$: A'[5a16 - ,H#
¡£| «ss|4s¢%O|¤Æ skE b=?6 A'[5a16HG
VN$!6§s| c*hA+6 -k|¥)¡£||qME|¦¡£ s¦)I R
¡£k||¤§ / ° <¡£}¤ ¬ Î B3±Ms§0 /¡£||/k<¡%s¢Ï¡£||1U¥|£ ¡£/s|
kJs¡£%1¥¦«A§~Rs|
|k qsk||¥|o~%|;k<¡As¢ ¡k¡£k|M¡£ R}«ss|A¡£|| ¢t ¡£|)Uk s¢

/' &MO|k )¡Æs||%¢tU¡£|g¤ sk !N 4<6@:*h .s|
/¢t 1 !N 4<6@:*h J

|¤¦¡£U¡ U@«ss| VN$!6gs| c*hA+6¤ ,H|<¡£¦ |¡£|¥|k.J<¡ U
¡£|.¢tk||¦ s| |M¢tk||¦ kJs¡£E¡£|§|< ¡k¡£k|M¡£? b=?6 A'[5a16§
¡£|.|¦ ¡k¡£k|M¡£ ¡£|§|¤k ¡£k§|||¤ > 2| "~ 2>~~%|
¡£kg%k|O) R¥|k / |

~Rs| /'&© 8/|-,H|Es¢|¢tk||¦4s|Ë|M¢tk||¦kJs¡£ ~%|% s¡R¤ ,H

¥¦«%¡£|«ss|%s¢R¡£|g|< ¡k¡£k|M¡£#b=?6 A'[5a16

' #

R¥|k/ |©b®>¤k.¡£kg||¦¡%A|k|¥ s¤Æ¥k||)|O|¥s
} ¢|¡£|b0/|-,H|i¢tk,o~Rs| /'&Oskb¥¦«¡£LL1 Mg ¡£|b¢tO|¥

¦¢ R}¡£|Ak|Oskg|||¤\©

h BA'A !N 4<6@:*h # b=?6 A'[5a16 ^VN$!6
1 !N 4<6@:*h # b=?6 A'[5a16 c*hA+6
h BA'A ;
~%| 0 /|- ,H| k|O/¡£ ¡)|< ¡k¡£k|M¡£0/M|kkk|¥¢t||¤<¡£|As¢
k ¡£|Ë- ,H|¥ ¡£|§k¥s' ¡k¡£k|M¡£Ë¡£ ¡@|k¤kJ.¡£|§0 /|- ,H|
¤qs4J ,HkbM¢t? , ¡£¦«R¡£s¡£|'k¥s ¡k¡£k|M¡£8 -k|¥s¤Æ¥k||
|O|¥sU;qsk|Ë¤qs ||> ,Hk.¤ ,Hs¤<¡@Js¡£|k'O|¤Æ ¤qs
Js¡£¡£ s¦Hq«4 J<¡k¡£O¤ skk S¤q ¡£As¤¤|£s¤<§/||k)¤qsk
5.3.2 Transforming ILP problems to propositional form

~%| H
, <¡£|§M¡£|.A¤<¡£ / %M¦1skA.¡£||q¡£ ¡1¡£||k
s¢s¤Æ¥k||#|O|¥¤qs ¡£k||¤;|< ¡k¡£k|M¡£.¢t qsk||¥|
~%|A£- ,H ,H<¡£| ¤qs sk J|k ¡£| ªiŸ¢t£-,H<Uk¯G~ |
k|'¡£|Aqsk||¥|k| , Ë¡££s|¢t? ,H ¢tk, k ¡£s'¡£ ¡k¡£k|M¡£ R
«ss|g¢t? ,3s|;k¦«;s; ¡k¡£k|M¡£ R}«ss|qsk|~%|>s||ks¤Æ;
¢tqsk||¦ ¢tO@k¡£k¤<¡£/¤ skOs¢R ªi¨|k| ,H
~%| s¥k¦¡£ , O|¤Æ k¦«§ ªiŸ|k| ,H.¡££s|¢t? ,H|¥ ¡£| ,
¡£ |kJk¦¡£s¯¢t? , ¤|k¡£Os¢ ¡£|¢tO|¥4¡£|kg¡£|©
~%|qsk||¥|k|, ¡££s|¢t?,H@¢tk, k ¡£s¡£4 ¡k¡£k|M¡£ R
«ss|>¢t?,/
~%|O¡££s|¢t?,H qsk||¥g|k|, k¦« Hs ¡k¡£k|M¡£ R}«ss|
qsk|
~%|>|||¤AJs¡£|k1U¡££s|¢t?,H.s¤Æ ¡£4k ¡£s¢t?,/
U

@¡£|Ek¤<¡£\¡£|%Js¡£|k s|¥s¥1Ek¡£k¤<¡£Ë¡£>¢t||¤<¡£IR}¢tk
|k¥£-,9¤ s|kgO|¤Æ sk ¡ J\E¤|¡££s|s| |IR k¤|kk¦«sE± s¦
¡£H¢t||¤<¡£I R}¢tk¤|¡££s|®L® (#¤ s|k k4¡£|4|T S|¦¡£|¤ R
¡£. &¦,R~%|OsJ«s¥k¦¡£ ,sO ¢t>«ssk<¡ 4s¢\s||ks¤Æ|b|<« R
JË¢tR|kJk¦¡£s|k| ,H|¤|||¥L|k R s|||¥¡£¤Æ||P O|b
¡k¡£k|M¡£ R}«ss|Hs¥k¦¡£ ,H k|¤Æ s 2| "~ 2>~ 2U¡£|§<¡s±% B3
21 &
2U sk.s|)|<¡k¡ B±|¡£ Jg|k/¢t%qsk||¥@k ¡£|
~%|/s¥k¦¡£ , Ë|¡££ ¡£kP ,H| ªi¨ |k| , s¢Lqsk||¥
¢¹- ,H¦/k ¡£|k||ÏkP ,H sO¡£A¡£| | ¤<¡£ | ~%| ¡Æsk;>¡£
|T S|b¡£|b¡Æsk¥<¡ik ¡£# :*580[M 6N G
, O|¤Æ¡Æ ¡£i¡£ ¡ Jkk
Ls|¥¡£Es¢¯Jkk
s4¡£? ,HEs¢¡£|Us¤Æ¥k|| |O|¥1k ¡£|
c6=?*h 6 =?*h 6 s|? a1NO6!, 2LR¡£|@«ssk s|sk s¢'¡ Jk
¡ J a16NHA+>'§E|T S| s@ a16NHA+>' $ceG26 B6HGa1H
GPA!6HG >'=,E~%|k
a16NHA+>'R@~%|
skL¡ U Jk¦¡£¦«>s|.¡ U@|¥ ¡£¦«0 /|- ,H|1s¢Ï¡£|L¡Æsk¥<¡%k ¡£\R~%|
¡££s||¥0 /|- ,H|Es|4¡£|Uk ¡£|i¢tk ,¡£|Us¤Æ¥k||@|O|¥%sk
¥¦«/A~Rs| / %MMO|¤Æ/%kP ,H s'¡£ ~Rs|@¦
~%| Sk¡¡£ s¢¡£|@s¥k¦¡£ ,/¯± s¦J¡£|4¡££s|¢t? , ¡£)s¢¡£|Ë ªi¨
|k| ,o¡£L ¡k¡£k|M¡£ R}«ss|R¢t? ,/ iJ¢t? ,H4sÏ¢tOi~%|UJkk|
s||¤q ¡£|bs¢Ï¡£|>s¤Æ¥k||§|k|¤q ¡£1 ¡£|sk¥ ,H¡£Us¢Ï¡£|L¡Æs R
¥<¡1k ¡£ skL|<¡£? ,H|\¡Æs|¥4¡£Ës¤¤|¡Osk¥ ,H¡U¡ J'bs¤Æ
k|¤Æ s||¤q ¡£)¡£k||¤ |< ¡k¡£k|M¡£s |>0 /|- ,H|s\si«ssk R
¢t
s|>sk4s¢¡£|Ë£- ,H¡ J.

qsk||¥ |k| ,3L¥¦«;~Rs| / |JO|k ¡Æs||>¢t c6=?*h 6 =
=?*h 6 s|? a ¢tL

a16NHA+>'RL~%|Ë¤kkkJ|||¥A ¡k¡£k|M¡£ R}«ss|
a1NO6!, ~%| ¡k¡£k|M¡£ R}«ss|4¡£||gsk ¥|£s ° R
¡£| k ¡£¦«.¡£ ¡£|A¥¦«s¤Æ¥k|||O|¥ @s¢L¡£|/||¦«|s
¢¹s¤<¡£sJM¡%¡£|¡Æsk¥<¡Ok ¡£\
~Rs| / |bº ÂsÁ,¸¹Â Í¼ÆÉ>¡Æs| ¢t>¡£| sk¥ ,H¡£gs¢U¡£|@¡Æsk¥<¡k R
¡£\s|ÌJÁ£¾ÆÌ¾É<¸»·¹¸±¾ ³JÂsÍ "q¼£Âs·¹µÁ£¼ÆÉ ||s¡£U¡£|1|<O¦¤|¡£k|¤<¡£H ¡k¡£k|M¡£

RR <\ -R \ -R

\
8\ -R <\ -R 8\
R <\

R
\

R \

R \

RR

\ -R <\
<\

~Rs|/ %M©@2L|s¡£|OkP,H|L¢¹-,H¦Hk ¡£|k||1|k|,/

2 2

2

2
22 22

22

2 2

2 2 22 2 2

2 2 2 2 2

~Rs|/ |©b¨kJk¦¡£sJ¢t?,s¢ ¡£| ´Âsµ¿ Ç· ¼<Á1k ¡£|k|.|k|,/
s¢i¡£||kJk¦¡£sJqsk||¥4¡Æsk¯1 |/qsk||¥4¢t||¤<¡£IR}¢tk®L® (
¤ s|ki|¦/¡£| |< ¡k¡£k|M¡£gsk@¤|k|k ¢t>qsk||¥| }¢'U k R
,H«L¡£|L¢t||¤<¡£I R}¢tkLk¡£k¤<¡£\¡£|sk¥ ,H¡£1s¢Ï¡£|>¡Æsk¥<¡1k ¡£
skU|k s ¡k¡£k|M¡£ 4¡£|U|kJk¦¡£s¡Æsk4s U k¤<¡£ / |
¢tO ,Hk|<¡ÆsA0 /M| s ¡£ ,
¡£|k¤|§¡£\Ms. ¡k¡£k|M¡£ R}«ss|Oqsk||¥g|k¥£- ,G|||¤'¡£|
¢tO|¥Ë¦¢ R}¡£|§k|¢tk ,Y¡£|¡£||O§~Rs| / |©
h BA'A #
c6=?*h 6 gVN$!6 C a1NO6!
2G ^VN$!6
¡£| s¡¡£\Ë¡£| |||¤ ¦¢ R}¡£|k| sk ¡££s|¢t?,H ¡£
®L® ( ¤ s|kb /|%0/|-,H|sMU¥<¡O¡£|¢tO|¥4¤ s|ks©
:*580[M 6N G

c6=?*h 6
G7a1NO6!
2G
l
s¡£/¡£ ¡H¡£|)£-,H)kk|¦¡ ¤qs J)M¡Æs| kP,H s@qsk||¥

|k|,/¯O|k4¡£|4¡Æsk¥<¡>k ¡£9:*580[M 6N G
O¡£.J4|TS|
¡£?,HUs¢i¡£|>k ¡£| c6=?*h 60 =?*h 6gs| a1NO6!,M¥¦«.¡£|>s¤Æ¥k||
|O|¥.¢tk , ~Rs| /' /; }¡@|¡££ ¡£g¡£ ¡Ë ¡£|Ës||ks¤Æ ¡£I R
ksJs¤Æ¥k||§|O|¥> ¡£|¢t? , s¢i|I R ¥k||.¤ s|k1¤qs§J
|k)/s||¦¡£ ¡£H¥k||§¢¹s¤<¡£
5.4 The LINUS algorithm

ªÏ .->J M¦«¡£|/¡££s||¥ 0/|-,H| s ¥k||¢¹s¤<¡£ |TS||¥¡£|
~%| ,H<¡£|@M¡£|ËH¤<¡£./ %M'&LEP,H|,H¡£ËË¡£|1 ªi¨ qsk|
|k|¤q ¡£ea!R$Rs¡£|1|TS|¦¡£|Rs¢¯s¤Æ¥k|| |O|¥1|k|¤q ¡£/ R$

s| ¢t||¤<¡£| R$ L%¡£|;¡ J§s¢sk¥ ,H¡£.s¢g|k|¤q ¡£&

a!R$
/ R$ Rs|A¢t||¤<¡£| R$ ¯s|/¡£|g s|¥s¥| s #s¢E¤|¡££s|
s|X
®L® ( ¤ s|k|¡£|ªÏ . ->§qsk||¥ s¥k¦¡£ , Uks%¢tO©
U

R <\
R \ -R \ -R
\
R
\
R \ -R <\
R 8\ R \ -R <\ -R 8\
R <\ R \
~Rs| /'/©E ¡£|ksms¤Æ¥k||A|O|¥L¢tUqsk||¥¡£| ´Âsµ¿ Ç· ¼<Á
k ¡£|k|\
7#9 J"= ?H "!$#$% 7# 9> F I

" " D 7#!"FIF
, 2? ;R ?<(; 6 9?U @N - A!

Q 7
'= >78 @A= " ;:#$!
,

, K @9!(@?*7<

X
7@ 9 ?U'D?U#

K'\(;b'D?#

+)%'

7 'D?#L 9J J 'D?U# NA?U!* ;R =A
* ,

a
, ?#
+)%' 7*(; ' R
%' A?U!* ;R =A
*

A?U ?,
,
%' %*
4 ,

?U'D?U# J a J
,
ZR ?<(; %*
4 N@ ?UA bF,
^
Y_4E1Y_4 ba F,
5.4.1 Pre-processing of training examples

¨k R |k¤kk|¥Ës¢m¡£|¡££s||¥gk<¡1«¦«U|¥ ¡£¦«0/|-,H|¥|£ ¡£
O|/|¥ ¡£¦«g0/|-H , |Osk|s¡O¥¦«\b }¡sk@«¦«%¡£|gs|||¥Ës¢
, kk|¥ sk¥ H
H , ¡%«ss||k¤kJ/)¤<¡£ MB '&
~%|@¥|£ ¡£s¢'|¥ ¡£¦«4¢¹s¤<¡£)¡£| S k¡¡£ s¢¡£| ªÏ .->s R
¥k¦¡£ T , ¡ÆssË¡£;s¤¤|¡4¡£|H¡ J ¡£| s| ¡£| ¤kI}R Uks R
k H , M¡£ ¦\O|¤Æ g.¢tkO |¡Ëskk H , M¡£ | k¡g¥¤Ë|k¥£-, R
, |¥Os||¤q ¡£| ªÏ .->|k«|i¢tÏ¢t|iM¡£|Ïs¢||¥ ¡£¦«b0/|-H
H , |
¥|£ ¡£\sA|q@JkkU/¢tk, 2 / ° <¡£}¤ ¬ B3 ±
¥ ¡£¦«¢¹s¤<¡£%¤qs/Jg¥¦« ¼ <ÌJÍÎ¸±¶<¸»·¹Í

·¹¸±¾ |³ ¡£|¥ |¶ '£ Â ¡£,H|¥/|| ,¥| s¡£\¦«J@¢¹ksk¤<|¡£>|¤||,Ë|g¡£| ;¡£¶<|Í¾1És¼£´¢i«sUs¾ |Á,Í¦´;%ÂsÉÆ¢ É<¡£µ|ÃL Ì
1
(!
!
k

sk¥ ,H¡£Os¢ ¡£|¡Æsk¥<¡O|k|¤q ¡£sk¥|£ ¡£\

-||¡£|ËÌ|ÂsÁ,·¹¸¹ÂsÍ'¶<Í¾É¼£´ !U¾ Á,Í¦´/Â ÆÉ É<µÃLÌJ·¹¸±¾ ³ ¡£|4Ì¶(!'Â ,H| ,m¢t
¥¦«;¤,Ë| ¡£/s¢E«ss|Ls¢¡£| 3||J||¡>«ssk s|
s¡£|O¤,Ë| ¡£|Es¢J«ss|s¢J¡£| |J||¡U«ssk s|sk
¥|£ ¡£\
.¡£|4³m¼£ÂsÁ Ã@¸ÉÆÉ¼ÆÉ ,H|s¢¹s¤<¡£%skL¥|£ ¡£AH«ss|¥Ë|¦ ¡£|
«ss|s¢R|gs¢ ¡£|k«ssk s|% ¡Ë¡£P,HsMO|k#
; 3
~ |g¥|£ ¡£§¢¹s¤<¡£Osk|k)s1|¥ ¡£¦«|¡Æs|¤Os¢i¡£|>¡Æsk¥<¡%k R

%
¡£\i0/M¤M¡Ë¢tg¡£|k.¥¦«s4Jk¦¡£¦«s/kHU q« ¡£)|s¡£H¡£ ¡
ªÏ . ->A|¡£|¥|k|OJ<¡ U)¡£|k R ¤qs ´¼ Ì¼<³J´¼<³·Ïs| ¸»³J´¼ Ì¼<³J´¼<³·
«ssk s| 2 ,H|¥§¡£| sk¥ ,H¡£s¢'¡£|Ë¡Æsk¥<¡g|k|¤q ¡£s «ssk R
s|sk@¡£kq ¡£s ´¼ Ì¼<³J´¼<³·¹ÏO|¤Æ gss¥|>¡£)¶<Í¦Â ÉÆÉ>«ssk s|
¡k¡£k|M¡£ R}«ss|@qsk||¥| ~%| s¡£|# 3@sk¥ ,H¡£4skH¤|k|k
¸»³J´¼ Ì¼<³J´¼<³·m«ssk s|¯ss¥|1¡£;Âs·¹·¹Á,¸ µ· ¼ÆÉO) ¡k¡£k|M¡£ R}«ss|qskI R
|¥|>~%|L|¡£|¤<¡£)>P ,HJ¡Æs¡q¯k|¤@ªÏ . ->/¡£kq ¡£>|J||¡4s|
||J||¡H«ssk s|Ë| k¡£¦ ¦¡£Ë¡ U qsk||¥ ,H|©Aqsk||¥
|T S|¦¡£|@s¢k ¡£| ¡£|Á£¼<Í¦Âs·¹¸±¾ ³ qsk||8 ¥ ,H| Ës| qsk||¥;¡£|
|k¤kM¡£|s¢||¦«|sÏ¤ skk ¡£|§¶<Í¦Â ÉÆÉOqsk||¥ ,H| ,Os¡£g¡£ ¡
¡£|k>¤qs.J ,HkO¡£s.|L|J||¡%«ssk s|O§ªÏ . ->J ¡£|U¤qsks
@¤ sk%«ss|O@¤ ,Ë| ¡£§s¢ «ss|%s¢sm|J||¡L«ssk s|
| s||0 /|s¤<¡ | , s|'ªÏ . -> s@¡£ JAk| ¡£|¶<Í¦Â ÉÆÉ
qsk||¥ ,H|/H¡£| Á£¼<Í¦Âs·¹¸±¾ ³qsk||¥ ,H|AO¦¡£ ¼ <ÌJÍÎ¸±¶<¸»·¹Í A¥¦«
|¥ ¡£¦« 0 /|- ,H|@~%|Hs¡£|¡£|k ,H|gs¢U|¥ ¡£¦« 0 /|- ,H|¥I R
£ ¡£)sk|s¡Ls||k|k ¡£s 1 |;|¤qs)|s¡>skk ,Hg¡£ ¡¡£|¥¦«
¡££s||¥/k<¡@¤ ,H|<¡£sR¡£| (¶ !'Â |¥ ¡£¦« 0 /|- ,H|4¥|£ ¡£> ,H|
«|k¦ |s¡Ës||k|k ¡£sEsUUs¡£|)³m¼£ÂsÁ Ã@¸ÉÆÉ¼ÆÉ ,H|s) R
<«i;k ,HË| , s|¡£|4Ì(¶ !' Â ,H|4¤|J@|k ¡£| |@sL¡£
Jq1sk>s¢Ï¡£|skk ,HM¡£ ¡£ ¡%4¥¦«§Jk¦¡£¦«L0 /|- ,H|LJ|¥|¥g¡£
|gs¡£¤| s1¤ sk%|O|s¡J|¥Ë¡£ s§s¡£|O¤ sk
|I R |)0 /|s¤<¡| , s|¯¡£|/(¶ !'Â ,H|4¤qsJË|k\U<«
¡£| ,H|4s||k|k ¡£¦§|k/¡ U.¤qsk>~%| Sk¡¤qsk4O|
¡£| k<¡s¢UJk¦¡£¦«@0 /|- ,H||s¡0 /Ms|¡£¦«sH~%| k¤| ¤qsk |qs
O¦¡£/¡£|Ë|k| , s¢bk|kk¡£|¥.¡£|¡££s||¥H0 /|- ,H|k|¤Ë|¥ ¡£¦«
U

0/|-,H|sk@¥|£ ¡£ ¡£| k¤<¡ iks¤Hs| |s¡¡£| k ¡£
ks¤ kg¤ ,.,H¡£O)¤<¡£ M1 % ,
5.4.2 Post-processing
2 H
L , ¡£|H ¤<¡£.%M'&'&J¡ R |k¤kk|¥gP,H ¡£Ekk<«ss¡¦¡ R
£s¢tkT , ¡£|H¤ s|k¤|¡£¦¡£M¡£|¥)AJs¡£|k k|g¡£ , ss ¡£|
|||¤)Js¡£|k H , kg¤H
, s¤<¡Ls| H , ks¤¤|£ ¡£O|)¤ skk¦¢»|¥
|< ¤qsk )|IR |A0/|s¤<¡>|, s|H¦¡££s /¤ s|k3kk R
«ss¡>¦¢R¡£|¤ s|k3 JM¡Æs|)/PH , ¡£|¥ ¢tkY , 3 J||s¡>¤«
s§|¥ ¡£¦«g0/|-H , |O|s¡O¤«k;?3
|)|, s|\ ¦¡££s# ¤ s|k 3Lkk<«ss¡>¦¢b¦¡>¤qsJ
kH , «A¢tkY , ¡£|JM§s¢i¡£|g¤ s|k>O¦¡£|M¡O|¤kqsk|¥@¡£|g¤ skk S ¤qR
¡£4s¤¤|£s¤<s¢|¡£|'¤ s|kU¡£|b¡££s||¥Ok<¡q L 2 ¥k¦¡£ , / '%3 PH, ¡£
kk<«ss¡O¦¡££s'¢tk, @¤ s|ks
7#9 J"= 6 7: :=> # #I7# 7: 7:F

` ,
.0/12/34
BDC
40GH/ "((*?U(;Q #NA ,

%
BDC 40GH/§§¡£|¢t? ,Ë| 4|kJk/ || s Î B3s ±©
3

3 *Ml'/

3

O|k 3 g 3 3 ,E~%|E¡£P, ¡£U1sb|k Ë¡£|%0/MJkP,H¡£

s¢ 2UsM¡£b~%| k|¡L|gs¢R¡£|gJkk|¢t?,Ë| s1¢t%¤,H|M¡£|¥

¡£| 0 /MJ¤<¡£s¤¤|£s¤< 3 , QO¤qs ¡£ ¡gs¡£| J<¡k¡£>s¤¤|£s¤< ¡£ R

, ¡£mM¡£|/ 2UsM¡£ BMJ¤|;J4|k|¡£qs\ms ¥|¦J¡£|Ëªis| s¤
¡£P , ¡£ |<¡k¡s| (U£ ¡£s/ B1ms|H¡£|.
= R ¡£P , ¡£ 2U¡£| *±
5.4.3 An example run of LINUS

ªÏ<¡||¡££ ¡£' H
, kU|<¡Æs¡£|UUk4s¢mªÏ .->4 >kP,H|'0/|-,H|s
2U|k|A¡£| |k|, s¢4qsk||¥ ¥sLJk¦¡£|§ ¤Æ|k)Jsk
4<h h 648M*h
O|¦¡£ |¥A ¡
O¦¡£ |¦¡ U)|¤ O|¦¡£H|¥)s| | s¤Æ;|¥|.~%| ¡Æsk¥<¡4k ¡£
1G ,N'G " 1G ",N %¡Æ ¡£O¡£ ¡O¡£|Jk¦¡£§AO|¤Æ/¡£|
1G ,N .s|#¡£| | s¤Æ |¥ ¡ " 1G ",N
.¥s± 2Lk¥ ,H¡£
¡£m [ ,LO| ,N s|

os| " osks¢¡ J Í¼ O¦¡£ «ss|
",N sk s¢4¡ J NO O¦¡£ «ss| ¡£

B , (1s¤Æ¥k||A|O|¥1k|kk¡£).¡ U I ,.,H<¡£k¤L|k|¤q ¡£
*: - 4<h 6 G
Rs| *: - NO G
iO|¤Æ ¤qs J%s||@ sk¥ ,H¡£
s¢L¡ J 4<h 6;s| NOJ1kkJ¤<¡£¦«¦ ¡£|;s||k<« ¡£Z *: -¡Æs|| ¢t
*: -**36! ,~%|§||¦¡ R I ,.,H<¡£k¤ |k|¤q ¡£. Os¦¡
RO|¤Æ
Uk1§sk¥ ,H¡£1s¢\¡£|>£- ,H¡ Js , q sk4JL|kAH¡£|L|||¤
¤ s|k
2 |k¤kM¡£As¢ ¡£|g||¦«|sm¡£|s¢ ¡£|s¥k¦¡£ , ¢tO
Rk¡qR ¡Æ)|k R |k¤kk|¥|E¡£|.k<¡£Ës¢OJk¦¡£¦« s| |¥ ¡£¦«

¢¹s¤<¡£Ësk.¡Æs|k|\) |4| , s\ ¥¦« sk |.Jk¦¡£¦«H0 /|- ,H|
¥s||¥- ,HLJk¦¡£\ sJ Us|.¡ U@|¥ ¡£¦«>0 /|- ,H| ¥s
||¥- ,HJk¦¡£|| sJ ,©
4<h h 648M*h 1G
,N'G " 1G ",N
l
3/1
4<h h 648M*h 5G
4<h h 648M*h 1G
4<h h 648M*h j+G
MG5G 3
l
BG3'£G
l
BGj+G %
l

&~%|>¥¦«.¢¹s¤<¡£%skL¡££s|¢t?,H.¡£@ ¡k¡£k|M¡£ R}«ss|O¡£||~%|
s¥k¦¡£ , S k¡L|<¡£?H
, |O¡£|4Jkk|s||¤q ¡£|%s¢R¡£|4s¤Æ¥k||
|k|¤q ¡£1.¡£|sk¥ H , ¡£1s¢i¡£|L¡Æsk¥<¡%k ¡£\¡Æs|¥Ë¡£@s¤¤|¡
sk¥ H, ¡g¡ J§bs¤Æk|¤Æ s||¤q ¡£;g¤|k|k ss ¡k¡£k|M¡£s
U

H|0/|-,H|s¡£|Ok<¡'s¢\ ¡k¡£k|M¡£|<¡£?,H||¥>¡£|%¢t?, s¢J¡£|%¡£||
1¡£|¢tO|¥|©

|¤ |k|¤q ¡£#*: - 4<h 6 s| *: - NOsk I,.,H<¡£k¤s\¡£|s¡£|
Jkk|%s||¤q ¡£|*: - 4<h 6 " 1G Rs|*: - NO ",N'G ,N
skg|s¡O¤|k|k)s ¡k¡£k|M¡£%¢t%qsk||¥|
}¡ik||gJ|s¡£¡£ ¡\¡£|'sk¥ ,H¡£\s¢¡£|E¡Æsk¥<¡Ï|k|¤q ¡£s

,N " s| ",N , q J |¤|| #¡£| k¤<¡£k<¡;s¢ ¡ R

+ "T TÁ "T TÁ " "T Á TÁ LÂ´ Í¼ "T " ++
¡£k|M¡£¢tqsk||¥|kg¡£ ¡b¡£|%¢t? , s¢m¡£|%¡£||U| Js¢tO©
Â´ ÁkÂs³ TÁ Á "!<@U<« |O|¥§¡£ ¡¡£ ¡>¡£| ¥s¦¡ §s¢U
¤Æ|kbJk¦¡£4||s¡|J| Ë¡£|%s¡£¤| s Jk¦¡£|Rs¢¯¡£|1|¤
|M¡£ ¡£|¡£|k ¡£¦«@Jk¦¡£|mUHq«H0 /M¤|| ¡£|k sk¥ ,H¡£
¢tk , ¡£|4¡££s|¢t? ,H)¡£|| s||¦¡£\J;|L0 /MJkP ,H¡£m¡£|¢¹ R
¤¦¡Æ ¡£L¡£| ¤ ,Hskk;O¦¡£ > ªm¡£| ¤|¤M¡4|k¤kM¡£ s|¥s¥
s¢ O|¤Æ/|O|s¡Ls ¢t%¦¡££sUs¢ ¡£|¡ J B*hi!6
~%|U¡£||± s¦ ¡£|'«ss|Rs¢¡£|1 ¡k¡£k|M¡£skU¥|£ ¡£@4¤qs|¥
¡£|)¤kkkJ|||¥|k|¤q ¡£ O¦¡£ sk¥ ,H¡ «ss|H¢tk ,¡£|)¥k||
¢¹s¤<¡£ s¢|k|¤q ¡£¸»Í»Í¼}¿ÂsÍÎ ¡£| ¤qskss¡£|U ¡k¡£k|M¡£ ¤qs4¡Æssb«ss|'·¹Á,µ¼
"ÂsÍ É¼< 1¡£|g¥¦«A0 /|- ,H||¡£|¢tO|¥4¡£||sk¥|£ ¡£\©

#

VN$!6HG c*hA+6HG c*hA+6HGVN$!6$!
c*hA+6HG c*hA+6HG c*hA+6HGVN$!6$!
VN$!6HG c*hA+6HG c*hA+6HG c*hA+6$!

~%|kb¡£||Ïsk¥|£s ° ¡£| k ¡£¦«R¡£1¡£|b¥¦«s¤Æ¥k||| R
|¥ >s¢'¡£| ||¦«|s ¢¹s¤<¡£4sJM¡¡£|@¡Æsk¥<¡k ¡£\ 0/|-,H|s
¡£| Sk¡O¡£||gs¤<¡£s¦.s%¡£|¢tO|¥ ,Hqs||¥|©
3©
C
4<h h 648M*h &G EG G # C?@>+
@>+*: - 4<h 6 &
G

C9*: -
NO EG
l
%M 0/¡q's ¡k¡£k|M¡£ R}«ss|Hqsk||¥;|k¥£-, Ë|k ¡£|||¤§
k<¡4s¢1¦¢ }R ¡£| k| 1 |>2| ~"2>~Gg|k\ ¡£|H|||¤ |¤k
¡£k1skO¡££s|k¤kJ ¡£g¡£|¦¢ }R ¡£|Hk|O¢t?/
, EL1 Mg3|||¤'¡£|

¢tO|¥Ëk|>¢tk,Y¡£|sJ«g¡£|k¡£||©

%* . BDC 8# 8#
" & 1 54 5

| Rs¦¡£||||¤A¦¢ R}¡£|.k|1¢t h BA'A

skL¡££s|¢t?,H
¡£H®L® ( ¤ s|kb /|%0/|-,H|sMU¥<¡%¡£|¢tO|¥Ë¤ s|ks©
4<h h 648M*h
1G
,N'G " 1G ",N
*: - NO
"

1G

,N'G ",N
l
/ AJ¡ R |k¤kk|¥|M|@kk<«ss¡1¦¡££sJ'¢t||/s|.¡£|Js¡£IR

kOk, s|%||¤Æs|¥\
)k ,., s|¡£|4qsk||¥ |k|, %¡££s|¢t?,HA¢tk, k ¡£s
¡£ s ¡k¡£k|M¡£ R}«ss|§¢t? , s| k¦« s ¡k¡£k|M¡£ R}«ss|Aqsk|
~%||||¤/Js¡£|kO1¡£|/¡££s|¢t? ,HAs¤Æ.¡£ k ¡£sJ¢t? ,/
5.4.4 Language bias in LINUS

(U<¢tkA¥¦«|¥;¡£|Ak¡£k¤<¡£|@P,HJk ¡£|AJs¡£|kH s|¥s¥
¤|k|1¡£|>¢t? , s¢i¡££s||¥40/|-H
O|¤ÆHs¤<¡£s¦4|<¡£?H

s¢i|||¤<¡£¦«|£sk¤Æ|¤qsJ ¡Æssk>¤ s|k%§ªÏ .->JM¦¡U1PH , J¡Æs¡b¡£
, | s|\|§s¡£¤| s|k|¤q ¡£
, |U¡£|%Js¡£|kbks¤s~ £s||¥>0/|-H, |
q«L¡£|O¢t?G , s¢Ï¥k||H¢¹s¤<¡£ O|¤Æ<, q ¤¡ÆsH¡£k|¤<¡£|k\||M¡U|IR
, %s|/s¤Æ¥k||;|O|¥sO¡£|g¢t?, s¢E|||¤<¡£¦«
k¤|kk¦«¡£?H
¡Æsskg¤ s|k Jkk|¦.k¤|kk¦« , '
+ sk s|%sk¡ J\
Background knowledge
)ªÏ .->J¯|k|¤q ¡£|TS |¦¡£|%A¡£|gs¤Æ¥k||;|O|¥ #skgs¢
¡ U ¡ J©
#< :7: >
0! # F -O¡£¦¡ ¢t||¤<¡£| R$ sk s||s¡Æ ¡£ |k|¤q ¡£
, |g|¤ s£ ¡£|%kJ¤¦¢»§¡£|H¸»³sÌJµ· s| ¾ µ·ÎÌJµ· sk¥ ,H¡£JkP,H R
H
si¡£ H, |U|¤ s£ ¡£| M ªis| > ª"& * || sM ±
1 |s||¡£/¥k|| ||M¡4sk¥ H , ¡£g¢tk,T¡£|@¡££s||¥A0/R
-H
, |%M¡£¦¡ ¢t||¤<¡£|.¤H
, |M¡£)¡£|;||PO |¥k|| «ss| s¢
¡£|bM¡£|M¡1sk¥ H , ¡£81 |.|k. s |||¤ ¤ s|ksM¡£|M¡
«ssk s| Ë, |¡JgJ||§¡£H¤|¡Æs¡£
U

#< :7: >;"I
" : IF -O¡£¦¡ >|k|¤q ¡£e/ $R | q«1|¦@¸»³sÌJµ·Msk¥ ,H¡£

s| q¤ s JAk¥sk|s@Jqs M¡£¦¡ ¢t||¤<¡£|@q«|¥«ss|
VN$!6g c*hA+6|¦
2Gk||¤<¡£ s¢b¡£|@Js¡£|kks¤ s¤Æ|<« ;¡Æs|¥§¡£§s¤ R

¤ |¡%¡£||k R kJ¤ SA¡ J%s¢R|k|¤q ¡£sk¥ ,H¡£Os|A.0/M|¦¡£|¥
¡£|¢¹s¤<¡%¡£ ¡k,HM¡£¦¡ |k|¤q ¡£skgI,.,H<¡£k¤s©
% =>= :<;"I
" : IF -O¡£¦¡ 4|k|¤q ¡£'¤qs J|¤ sk§É( Ã@Ã ¼<·¹Á,¸±¶
/k<¡@s¢Osk¥ H , ¡£4s¢%¡£| £-,H ¡ Js 0/|-,H|sE/|s
|k|¤q ¡£k/ G
UOI,.H , <¡£k¤W G
Ë¦¢ s|
skgs¢R¡£|
£-H , ¡ Js\s|,/ G
/
2G 1¢tL<«/«ss|4s¢ s|
H
2 ||¦¡ R ;I,.H , <¡£k¤@M¡£¦¡ )|k|¤q ¡£6/$!*h 4 Ëg|TS |
§|<¢¹s|¦¡O)sk¥ H , ¡£%s¢R¡£|g£-H , >¡ Js
s¡£§¡£ ¡@¡£|A¤,H|0/M¦¡ ss¦kË¤<¡£ /'/ O ¡£ / 1

|>|s¡L¡Æss@¡£§s¤¤|¡>¡£|ËI,.,H<¡£)s¢b|k|¤q ¡£s|;¡£|Ë|kËs¢
M¡£¦¡ H¢t||¤<¡£|
Hypothesis language

¡£|Ë¤|kk¡PH
¥s¥
, |H
, ¡Æ ¡£/s¢'ªÏ .->Jm¡£|@k¤<¡£ Js¡£|k sIR
.k¡£k¤<¡£ ¡£ ¤|¡££s| |||¤<¡£¦« |£sk¤Æ|¤qs> ¡Æssk
®L® ( ¤ s|k/ ®L® (L\«ssk s|4sk ¡ J s|k¤|kk¦«.|k| R
¤q ¡£4|TS|¦¡£|Lsk4|s¡sU\O s||¦¡£\¯sÏ«ssk s|O¡£ ¡>s|Jqs
¡£| JM s¢%/¤ s|kHq«H¡£;s|Jqs ¡£| |qssgU± ± s¦ |¦
¤|¡££s|/¤ s|kskg|||¤\
~ ;J kJ¤ S¤sE¡£| JM s¢s|||¤¤ s|k ªÏ . -> 4)¤I R
k||¤<¡£As¢R¦¡££sMqs¤Æ/q«|¥ |gs¢ ¡£|¢tO|¥4¢t|1¢t? ,H©
@||||¥@s¢Ë«ssk s|L¡£HË«ss|s|s ¥|¦ ;
&sAOs¦¡ §s¢Rsk%s¢ «ssk s|Ms ¥|¦
%Ms ¡£, O¦¡£ |k|¤q ¡£/I,ËJ M¡£¦¡ |k|¤q ¡£ s|||M¡

sk¥ H
, ¡£ O|¤Æ skU«ssk s| ¤¤|kk|¥>¡£|1|qs@s¢¡£|1¤ s|ks
s ¥|¦5/ G
s|
|s ¡£,#O¦¡£4%|k|¤q ¡£I,ËJ M¡£¦¡ ¢t||¤<¡£ Jq«|¥LsÏ||M¡
sk¥ ,H¡£g«ssk s|O|¤Æ¤¤|4 ¡£| |qss¢1¡£| ¤ s|ksEs|

M¡£|M¡ s k¥ ,H¡£\O¦¡£sg|¡Æs¡£ ¡£ ¤,H|M¡£ J«ssk s| «ss|s
s ¥|¦ G
2G
G
£¡ | sJ«s s|

3sk@«ssk s|>¢tk, ¡£|H|qs s¢U¡£|H¤ s|ks
s| )A¤|¡Æs¡s¢U¡£|Hs||k|k ¡£@¡ Js ªÏ¦¡££ss¢'¢t?, & s|
% R¤qsHJ%¦¡£|Jk¦¡£¦«%|¥ ¡£¦«sªÏ¦¡££sEs¢J¡£|%¢t?, |||
¦¡£ ,H 1s| , q§sk q«¡£|¢t? , I^ s|& ) Dm|O|k
O@kqs R}«ss|§¤|¡Æs¡q
~%| ¡k¡£k|M¡£E¥¦«@¡£|kJk¦¡£sqsk|kbsk ¡£|Osk¥ ,H¡£
s¢i¡£|>¡Æsk¥<¡%|k|¤q ¡£s & % b|s R}«ss|A ¡k¡£k|M¡£1kk|¦¡£|¥4¢tk ,
s||¤q ¡£|s¢M¡£¦¡ |k|¤q ¡£ s| M¡£|M¡ sk¥ ,H¡£@s¢M¡£¦¡
¢t||¤<¡£| 21¡k¡£k|M¡£O||| %s| , q.Jg¦¡£|O|k¤k<¡£g%kqs R
s) ¡k¡£k|M¡£ ¤<¢ U0 /|-

«ss|\ 1¤qsk & Us| % 1s/ ¡k¡£k|M¡£ R}«ss|Lqsk|1Om|kg¤|| R
¡£|s¢'¡£|@¢t? , VN$!6 c*hA+6H¡£| |||¤ k|ÏO|k
,H|O)¤<¡£| / %M' &@s|8 / | % ,'~%|kËsk
¡££s|k¤kJ ¡£4¦¡££s s|J @>+ 4MkkJ¤<¡£¦«¦MH¡£|>®L® (¤ s|k
>¤qsk Ls ¡k¡£k|M¡£ R}«ss|4¡£ ,TOR|k@¤||¦¡£|Ls¢b¡£|Ë¢t? ,
I ; D O|¤Æ¤qsJHP ,.,H| ¡£¦;|k®L® (

¤ s|k L¤qsk ,m;s||¦¡£/¡£ ¡£|Ë¤||¦¡£| IF/s|
DF¯¡£|Ë¦¡££s G
2G Os¡£ J@s||)¡£H¡£|@®L® (#¤ s|k4k
¡£ ¡1¡£|>«ss|Ls¢ ¤qsAJ>¤ ,H|M¡£§¢tk , ¡£|sk¥ ,H¡£%s¢i¡£|L¡Æsk¥<¡
|k|¤q ¡£s
~ ¥||A|||¤<¡£\UªÏ . -> |k ,H<¡Æ R <«%|O|¥/O|¤Æ¤qs
0 /M¤||/s s¢O¡£|/sJ«.¢t|@¤qsk'¡£| k||¤|¥¡£|§kqsk¤Æks¤s
0 /|- ,H|s'¦¢L|¦ ¤qsk Ë k<¡Æs|\'¡£|/Js¡£|kH s|¥s¥§
k¡£k¤<¡£#¡£s ¡k¡£k|M¡£ R}«ss|; s|¥s¥sY~%|A¤qs J s¤Æ|<«o
|k|¥ |¦ ¡£|4sk¥ ,H¡£%s¢R¡£|¡Æsk¥<¡Ok ¡£As ¡k¡£k|M¡£1¢t%qskI R
|¥| 21sk & ,b ¡£|As¡£|@s|\'kk|¦¡ ¢tk , ¡£|A|kAs¢L|k| R
¤q ¡£ ) ¢t||¤<¡£|¢tk , os> ¡k¡£k|M¡£¢tqsk||¥|O~%| 6/$!*h 4 /|k| R
¤q ¡£ qO|¤Æ¥|£ ¡£i¦¡££sJs¢¡£|E¢t? , & , \||¦¡ R LgªÏ .
->J
~%| ¤ ,H|0 /M¦¡ )s¢'qsk||¥HO¦¡£ ªÏ . ->;ss¦ ° ¤<¡£ /' /
s| k|O'¡£|L ,ËJ's¢\|<# ¡k¡£k|M¡£bqs||¥g¡£¦¡££ss¢m¢t? ,
% EsJ«s@ 2 |<¡ÆsHss¦ks¢m¡£|s¤<¡£sJs¡£|k'ks¤s|¤|||¥
¡£|A ,ËJHs¢> ¡k¡£k|M¡£@O|¤Ækk|¦¡H ¦¡££s4s¢L¢t? , ,U¤qsJ
¢t||/ 2UsM¡£ 3 ®@° ¬ kk s|/ªiq«£|¤ ¬ &±
U

Language biases for two typical learning tasks

, ¡£| sJ«s",H<¡ÆR <«|O|¥H¤qs J |k ¡£/sk|¡¡£|
2 H
L
s|¥s¥.| sË ªÏ .->JEO|¤Æ Ë||§¡£|§|k s¤¤k||¥;¡£¡£|
¡ J s¢%qsk||¥§¡Æsk ¡4s|\ (U U ¡g¡ U)¡ J4s¢1¡ÆskO¦¡£
¡£|s||k|k ¡£k<¡k¡£|¥%s¢R¡£|g s|¥s¥>| s©
7#FGF 7# 9>=
2Lis ¡k¡£k|M¡£ R}«ss|Eqsk| ªÏ .->>Ï|kg¡£

|||¤g|k¤kM¡£|%s¢E||¦«|sm¤ skkb A¡£|%¤qsks¡£|g¤ skk

¤qs4J'| k¡ ¢tk , s| s|4sk'|<¡£? ,H|4g¡£|b«ss|is¢

k¤<¡£ sk¥ ,H¡ bk<¡'s¢\sk¥ ,H¡£Rs¢J¡£|%¡Æsk¥<¡bk ¡£\
~%|g|||¤/¤ s|kq«g¡£|¢t?,
h BA'A h BA'A &*hi!6 # SGlllG

O|k h BA'A &*hi!6.Ë/¤ sk4- ,H.s|¦¡££s
1¤qs ¡Æss§s
s¢%¡£| ¢t|¢t? ,H4M¡£| ¤<¡£ / | |; ¡£|.0 /MJkP ,H¡£
;qsk||¥ s¢ ,H|¤qs | s¥|¡£¤k|\|k¤kJ 2UsM¡£Ë
ªÏ . ->.1sOk|/§¡£|g¤ skOqsk||¥ ,H|s
<I7# # 7# 9 =
2L s ªi¨Tqsk|ËªÏ . ->o|||¤ ¤I R
¡££s|/®L® ( ¤ s|kOs¢ ¡£|¢t? ,
a S
Glll4G S
Glll4G

O|k a L¡£|@- ,HËs¢'¡£|Ë¡Æsk¥<¡|k|¤q ¡£ s|¦¡££s
bq«
s/s¢E¡£|4¢t? ,H OsJ«sL )¡£|40 /MJkP ,H¡£O¦¡£;ªÏ . ->
|k¤kJ)$ 2UsM¡£ 1M¯ªÏ . ->.1s|k)§¡£|k ¡£§qsk||¥
,H|sbqsk||¥)¢t||¤<¡£I R}¢tk.¤ s|k ¡£|'|¦¦¡££s4s¢O¢t? ,
& 1s| % 'Uk4s¤<¡£s¦ |k\
~ Ëk ,., sk ° s¡£|L s|¥s¥O| s'.ªÏ . ->H'|¤ s£ ¡£¦«s~%|L|k
¤qs/k<¡O¡£|g s|¥s¥>| s1¡£Hs§s¢ ¡£|sJ«g¢t? ,HM|J|||¥HA¡£|
qsk||¥Ë¡Æsk§ ¡Os|\
5.5 The complexity of learning constrained

DHDB clauses
~ § ss¦ ° ¡£|4¤,H|0/M¦¡ /s¢E¡£|Ë ªi¨ qsk||¥ ¡Æsk/M¡Æs|))|k|¥
s¤Æ¥k||H|O|¥O@¡£|%qsk||¥|k¤k<¡b|¤|k|¡£|O , R
Js¢m ¡k¡£k|M¡£EË¡£|1¡££s|¢t? ,H@qsk||¥L¡Æsk ªiq«£|¤g
¬ <¡Ls±1M±

V
¡£k|¥¦;k ¡£ ¡£§¡£|gkk| >¡£|Hkqsk¤Æ ¤,H|0/M¦¡ ; ªÏ .-> ¡£ R
, ¡£ ¡£|A|£s|¤Æ||¥¢¹s¤<¡£Ës¢¡£|AkT S|,H¡H¥£s|\'|k¤|kk
¤<¡£ 3 |'& ¡£|4k¤<¡£\|¦ s¤Æ¥k|| |O|¥.|k|¤q ¡£
/ R$ gsk)¤|k|k ¡£|;ss¦k1O|kqs. ¤<¡£ 3 |' & M¡£¦¡

¢t||¤<¡£| R$ sk ¤|k|kos§U± 1 O>|¡££ ¡£)¡£| ¤ , R
|0/M¦¡ ¢t? ,Ë| s§ ¡£|A¡Æsks¢>qsk||¥¢¹- ,H¦ k ¡£|k||Ë|k
¤<¡£ / %M¦
%¡£@J>¤|k|k/§Ë|kJk R
~%|¡£s¡Æsm ,ËJ%s¢ ¡k¡£k|M¡£Q
¡£smqsk|O Os
2

S 5 # 6

/
O|k9
\ Ë¡£|A ,ËJ@s¢>sk¥ ,H¡£@s¢¡£|§¡Æsk¥<¡ k ¡£9a
± s¦|º ÂsÁ,¸¹Â Í¼ÆÉiË~Rs| / ,s|5 #6 ¡£|1 ,ËJEs¢¯|< ¡k¡£k|M¡£
kk|¦¡£|¥Ë¢tk , ¡£|Jkk|s||¤q ¡£| Us¢i¡£|s¤Æ¥k||/|k|¤q ¡£/
§¡£|sk¥ ,H¡£Os¢ ¡£|¡Æsk¥<¡k ¡£\
R}¢tkk¡£k¤<¡£\O RÏ Os¡£%¡£|¡£s¡Æs ,ËJ
-||i¡£|¢t||¤<¡£I
s¢%|<Y ¡k¡£k|M¡£kk|¦¡£|¥)|¦¢tk , ¡£| Jkk|Hs||¤q ¡£|gs¢1¡£|
h1s¤Æ¥k|| |k|¤q ¡£ ¡£| sk¥ ,H¡£gs¢U¡£| ¡Æsk¥<¡k ¡£ ± s¦
ÌJÁ£¾ÆÌ¾É<¸»·¹¸±¾ ³JÂsÍ "q¼£Âs·¹µÁ£¼ÆÉ1A~Rs| / ,©
2
S 5 # 6

/'/
||Jkg¡£ ¡ /1¡£|g ,ËJOs¢ |¡£|¤<¡%¡ JOs¢Esk¥ ,H¡£Os¢ ¡£|
¡Æsk¥<¡R|k|¤q ¡£ aÏ$ Mi¡£|' ,ËJ s¢|¡£|¤<¡i¡ JRs¢¯sk¥ ,H¡£ s¢|¡£|
s¤Æ¥k||A|k|¤q ¡£/ }0 U¡£| ,ËJ%s¢Rsk¥ ,H¡£1s¢ / Ï¡£ ¡Osk
s¢ ¡ J s|9
11¡£|g ,ËJ%s¢Esk¥ ,H¡£%s¢ ¡Æsk¥<¡O|k|¤q ¡£La
¡£ ¡UskOs¢m¡ J E~%| 5 # 6 b¤ ,H|M¡£H ¡£|%¢tO|¥>¢t? ,Ë| M©

5 # 6

S

/ 1
~%|] | s¤¢tsk¥ ,H¡£ s¢H¡ J ¤qsJsË-,H¦ S

1qR||J||¡£¦g¢tk,o¤Æ|k|¥O¡£|Usk¥ ,H¡£ s¢0/ O|¤Æ
skgs¢R| k¡%¡ J
|¤/ k ¡£O|kA¡ U sk¥ ,H¡£HskA|¡£¤qs%¤qsJAk|k R
k¡£/Hk ¡£As¢H? , s%sk¦¡ ¡£|4sk¥ ,H¡£s¢Hs¤Æ¥k||
U

| k|¤q ¡£§¤qs JAk¡£k¤<¡£ ¡£ J§|¡£|¤<¡q ¡£|Ë¤qsk§¡£|§¢tO|¥
¢t?,Ë| Ë||©

5 # 6

S /'3
~Rs| / % s| / |'|k«A¡£ ¡ /'S c6=?*h 6 /4U \=?*h 6)s|Z/
a1NO6!, 2LsÏsk¥ ,H¡£skgs¢R¡£|g£-,H¡ J S a16NHA+>' ,5@S ;1U

~ |¡££ ¡£#¡£|sJ«o¢t?,Ë| so ¡£|kP,H|o0/|-,H| ¢tk,
3.s|
&/|¤ ¡£|k g|¦ | ¡ Js U¤qsJH|k
|¡£qs sL ¢ ¡£|g|s¡Æ ¡£\ S cU s| &H~%|Es¤ R
¤k||¥>¡£g O ¡£ / 1 ,B 5 # 6 F 5 # 6

& S &E~%| ,Hqs|E¡£ ¡E¡£|kOsk1¡ Us||¤q ¡£| s¢Jqs¤ÆHs¢¯¡£|%|k| R

¤q ¡£ c6=?*h 6>s|
=?*h 6
,@kkJ¤<¡£¦«¦ P ,H sk¦&

=?*h 6- ,H¦ c6=?*h 6 , c6=?*h 6
s|

5 # 6
& U |

=?*h 6 ,
¡£|.¢t|@s||¤q ¡£|4s2 ¢ a1NO6!R&;J|J ¥ a1NO6! G , a1NO6! G
,
a1NO6!
2G s| a1NO6!
2G
, Rs¦ 5 # 6 5 # 6
5 # 6 &

& BM

}¢4¡£| ||¦¡ R s¤Æ¥k|| |k|¤q ¡£ 6/$!*h 4 )A|k\>¡£|

,ËJOs¢R¦¡£%Jkk|gs||¤q ¡£|U Os%¡£|©

5 # 6

S

&
S

&

O|k
O||s¡£L¡£| ,ËJLs¢sk¥ ,H¡£Ls¢R¡£|¡Æsk¥<¡L|k|¤q ¡£
¡£ ¡HskAs¢¡£|/£-,H.¡ J Us|ZË¡£|A ,ËJ s¢>|¡£|¤<¡@¡ J
s¢gs k ¥ ,H¡£ s¢¡£|/¡Æsk¥<¡.k ¡£ ¢tk, ¡£|sk¥ ,H¡£ s¢>¡ J
U | k¡L ¡k¡£k|M¡£%s¢ ¡£|¢t?,
G¤qs/Jg¤|¡£k|¤<¡£\
2Lkk ,H|¥ ¤|¡Æs¡A||J.J||]- ¡£|sk¦¡ s¢gs¤Æ¥k||
|O|¥|k|¤q ¡£M¡£|> sk¥¡1 ,ËJ1s¢ ¡k¡£k|M¡£U¡£ ¡1¤qsAJ>I R
¡Æs| ¤qsk.¡£ ¡Hsb«ssk s|Ësk§s¢O¡£|§£- ,H ¡ JAËs¢O¡£|§k|
hi ,ÏO|k hU>¡£| ,ËJgs¢U|k|¤q ¡£g¡£| s¤Æ¥k|| | R
|¥s| A¡£|sk¦¡ @s¢J¡£|O¡Æsk¥<¡b|k|¤q ¡£s Hs¡£|Uk|¡£|k °
s¢m¡£|O¡££s|¢t? ,HHqsk||¥¡Æsk bJ¦| ,H sM ¡£|Lsk¦¡ /s¢m¡£|O¡Æs R
¥<¡O|k|¤q ¡£L a)s|§¡£| ,ËJ h s¢ s¤Æ¥k||/|O|¥g|k|¤q ¡£
~%|bsOR|E¡£|kO¨ 2 2 R qsks|¦¡ gkk|¦¡£E¢tR¡£|%|kJk¦¡£s¤qsk
§¡£|g ªi¨¢t£- ,H<Uk ®@° ¬ kki<¡Ls±1 & ¤ ±

5.6 Weakening the language bias
}¡41sËk|O ®@° ¬ kkÏ<¡Ls±1& ¤sRªiq«£|¤ ¬ s|)®@° ¬ kk&s'¡£ ¡
¡£| s|¥s¥ | s)oªÏ .-> ¤qsJ Uqss|\Ëk ¡£ ¡ªÏ .-> ¤qs
qsk ¤ s|k.O|¤Æ ¡£k||¤;|< «ssk s|o~ s ¢t<,Hk)0/R
|kkk¦«|kis;|q ¢tk , Mªi JkkU\\sk |k$ > "ª & *
|| sM L¡£ s<« ¡£A¡£|;|k| ,HHO¦¡£ ¥kM kqsk¤Æ\ 1 |
ªÏ . -> sO|¦ m«ssk s|L¢tk ,T¡£| |qs s¢1A¤ s|ksÏ¡£|H|q
s¢4|<¡£? ,Hs¤< sO ¢tAk¡£k¤<¡£ ¢t? , s¢ |< 1«ssk s| ¡£ J
¡£k||¤ ¡£§¡£| qsk| ¤ s|kH~%|@« ¡ J s¢Uk¡£k¤<¡£ | R
¡£? ,Hs¤< sO¡£|AªÏ . -> ¡££s|¢t? , ¡£s||ks¤Æ ¡£;J§|k
¡£|%¤qsk4s1U ®@° ¬ kki<¡Ls±1 & ¤ ¯ªiq«£|¤ ¬ s|)®@° ¬ kk &s±
('@0 /¡£|||¥¡£|1¡££s|¢t? , ¡£@s||ks¤Æ s¢¯¡£|ªÏ . ->@s¥k¦¡£ ,/
¡£|%£- ,H1¤ skEs¢J¥¤'|k¥£- ,HR¤qs J1qsk| s|||¤ Mªi
- ,H¦.¡£|4¤ sks¢O´¼<· ¼<Á,Ã@¸»³JÂs· ¼4Í¾£¿s¸±¶%ÌJÁ£¾£¿sÁkÂsÃ4É%|T S|Jg% /¢¹s¤<¡q
¡£|¤ sk§s¢4|k¥£- ,H.|||¤ ¡£|0 /¡£||oªÏ . -> s¥k¦¡£ ,
k¥¡£¦§ sk¥JsL|¥ ¡£;¦¡££sskËsU)/¡£|4J|s¢¤ s|k
(1sk)§¡£|Os||ks¤Æ\¯k ,HJk¦¡£¦«qsks|¦¡ Hkk|¦¡£%Uk|k«
¢t¡£|o¤ sks¢ |<¡£? ,H ¡£ ¥¤ |k¥£- ,H ®@° ¬ kkÏ<¡Ls±1 & ¤
O¦¡£|¡£|/¨ 2 2 R qsks|¦¡ ¢t£- ,H<Uk s¢ +'s s¡ Bs Os| ªÏ%s|
+>¦¡ s |M ±i g¡£|Ïk¤<¡£\¡£|b s|¥s¥E| s\s ¢ 4#R |<¡£? ,H ¡£E¤ s|k
b¡£k||¤ s| |¡££ ¡£@ s 0 /|- ,H|s 1 ¦¡£|M¡'kbs¢\¥|£s¦¡
®@° ¬ kki<¡s±% & ¤ QOM«kE & ±¯U4Oiskk ,HË ¢t||¤<¡£I R}¢tk
Js¡£|k s|¥s¥s
4
5.6.1 The -determinacy bias
2 kk H
L , |¥O¡£ ¡Es¡£¥ ¤|¡Æs¡@->i¥¦«\s|¦>¡£|'¤ sk s¢| ªi¨;|kIR
, O|ks|k|¤q ¡£' sks¢isk¦¡ H ¡ ,H¡-4OJ¤|k|k\
H
~%||s¡£§s¢Uº ÂsÁ,¸¹Â Í¼4´¼ ÌJ·»ÇË S k¡|TS |\
# ' 7#
; J 2U|k| ¤ s|k
a S
G UGlll4G
S
GbU+Gl l l G Gl l l
+'sk s|O¡£ ¡s|Jqs>)¡£|Ë|qss¢¡£|Ë¤ s|k4q«/´¼ ÌJ·»Ç ° k|

ªÏ<¡ )«ssk s| Ts|Jqs Sk¡ ¦¡££s q ªÏ<¡ : J ¡£| , +/M R
,Ë , |M¡£§s¢Ï¡£|>s¡£|U«ssk s|' 1¡£ ¡%s|JqsU ¡£|>¤ s|k
U

a
S
G ,L~%|;¡£|§´¼ ÌJ·»Ç s¢«ssk s|
UGlll4G SG bUGl l l G S
:
(' k<¡k¡£|¥ , +/MP,Ë , s« sk s|.|M¡£ 4kb¡£|A¡Æs¤<¡£¤A¤,H|0/M¦¡ s¢

¤ s|kO§¡£|gJs¡£|k s|¥s¥>%k¡£k¤<¡£\
~%|¢tO|¥|TS|¦¡£os¢;´¼<· ¼<Á,Ã@¸»³JÂ(¶ 4ssM¡£o¡£ ¡£|¤qsk s¢
¢t||¤<¡£IR}¢tk¤ s|k1¡Æss/¢tk , ®@° ¬ kki<¡Ls± Î & ¤ ±
" => 2 |k|¤q ¡£O|T S|¦¡£ L´¼<· ¼<Á,Ã@¸»³JÂs· ¼¦¢\s|s¢\¦¡£¤ s|k
skË|<¡£? ,H ¡£s 2 ¤ s|kË@´¼<· ¼<Á,Ã@¸»³JÂs· ¼¦¢bqs¤Æ s¢b¦¡£>¦¡££sO
|<¡£? ,H ¡£s 2¦¡££s\Ë´¼<· ¼<Á,Ã@¸»³JÂs· ¼%¦¢Rqs¤Æ;s¢E¦¡£O«ssk s|1¡£ ¡
| |s¡Hs|Jqs@ |k¤||¥ ¦¡££s4s@|¦|§Jkk|§||I R
|¥)¥¦« ¡£|.||||¥s¢%¦¡£«ssk s|g¡£ ¡Ës|Jqs4|k¤||¥
¦¡££s
4()
=> % ~ |'|<¡£?,Hs¤<gk¡£k¤<¡£gi¤qsH¸ ´¼<· ¼<Á,Ã@¸»³JÂ¶(R¢t
@¥¦« , +/MP ,Ë , «ssk s|>|M¡£ 4k
+
M¦«§¡£|gsk¦¡ J|| -\¸ ´¼<· ¼<Á,Ã@¸»³JÂ¶(LP,H|¸ ´¼<· ¼<Á,Ã@¸»³JÂs·¹¸±¾ ³ s%| R
S|4 /|¥¥<¡£4s| |¥ Î* ±Rs¡£b¡£ ¡iO| 4ms|.->k¡£k¤<¡ ¡£|
¡Æs¤<¡£¤O¤H
, |0/M¦¡ Ës¢\¤ s|k¡£|O|s¡£ s¢m|<¡£?H
, s¤<Ëkk¡£ s¦
Lk, s¡£¤Uk¡£k¤<¡£\sE¦¡R|J||4¡£|1¥¦«4¡££s||¥L0/|-H
, |Es|
s¤Æ¥k||)|O|¥s
}¢UËk<¡>¡£|ËJs¡£|k> s|¥s¥g¡£ ¡£|4 s|¥s¥s¢ 4#R |<¡£?,H ¡£
¤ s|kb¡£|§¡££s|¢t? , ¡£ s||ks¤Æ s¢>ªÏ .-> Ë¡£1s||¤qs|sbs
| ,H|¡££ ¡£/;¤<¡£8 /' 3U®><¡£? ,H ¡£>¦¡££s%sk ¡£|£sÏ0 /¡£I R
k s¢%¡£|§M¡£¦¡ ¢t||¤<¡£|Ë|k |kk¡£¦ ªÏ . ->JE ¡£|§¥¡4s¢
¡£|LsJ«L|T S|¦¡£|UL¤qs £q@¡£ ¡q ¡£|¤|kk¡1P ,H| ,H¡Æ ¡£Ës¢
ªÏ . ->J|¦.«ssk s|1s¢E|M¡£ *Hs| 4skgsU)s|A¡£ ¡%«ssk s|
s¢L|M¡£ , q|s¡HJA|k s¡£| ¦¡££s0 /M¤M¡§s |k¤kJ
¤<¡£ / | |
~%|sk¦¡ J|| -@ S/M\ > ¡£|Ls¡£|Us|\¡£|Ls£- ,H<¡£ 4R¤qs
J|¤kqskA¡£@|¤kqsk>¡£|g0 /M|kkk¦«|kLs¢ ¡£|Js¡£|kO s|¥s¥s
O S/MJ
-M¡£|g|k¤qs/¤|k|%¡£|¢tO|¥4kks¢R s|¥s¥©
R R R QS LU Qlll
O|k4¡£|Ë M|kkk¦«|ks¢ s|)¡£|>¡£|4¤,H| M¦¡ /s¢E¡£|Ëkqsk¤Æ

ks¤ g¥kOgO¦¡£ k.~%| s|¥s¥ ¡£| s|¥s¥@s¢%¤|¡££s|
0/ 0/
4

¢t||¤<¡£IR}¢tkA®L® ( ¤ s|k }¢ kM¡£¢t@¡£|A ªi¨ |k|, ¤qsIR

|s¡>J4¢t||)¡£|Ëk¤<¡£ s|¥s¥sJ¡£|Ë|0/¡ s|¥s¥4/¡£|Ëkk
, q JL¤Æ|k\s|H¡£|Lqsk||¥|k¤k1kJq ¡£.|¡£J¤ ,H|<¡£Ls|
¤|k¡£¡%kM¡£ b¢t||\@ 2L|¥¡£|k>|MªÏ . ->H¤|\.|k|¤ R
|sk|¦¢»¡b¦¡£E| sM- ,H¤qs¦skP ,H sk¦>¡£ 21ªÏ ~ ®> QsM¡ & ¯s|
2 2L s| (UkM|¥| & ±
U<«|¡£|k>skLk<«£sm|k| ,HbO¦¡£ k|¦¢»¡£|¥| s'M- ,H¤qs¦
Rk¡s¢bs±|¡£|4kkLs¢ s|¥s¥¤|k|k;s¡£ J)k ,Hk|k
¤ ,H|<¡£s 2U|k|\¢t>0 /|- ,H|sm¡£|@¤qskËO|k@¡£|Ë¡Æsk¥<¡|T S|¦¡£
'|s¡U|<¡£? ,H ¡£ b|s¡1 sHs¢\¡£|L s|¥s¥bH¡£|Lkk, H¡£|
¤qsk@¡£|@¡£ , , q)¤¡£|Ë¡£Ak|¦¢»¡¦¡£>| sL¢tk<«O¦¡£|M¡ S|||¥
£ ¡£¢¹s¤<¡£§kM¡£\U0 /¡q¯¡£|gqsk||¥ |k¤kLOkJq ¡£/¢tOqs¤Æ
s|¥s¥ ¡£|.kkb|¡£;¡£|§s||k|k ¡£ |s ~%|Ëqs|4¡£k
( 'H¤¡Oqsk||¥|Ms¦¡£||¥.k ,H>P ,H|k« ,H¡£%sk>Jkk|sE~%| ,H¡
P ,HJ¡Æs¡|k| ,/|U<«|EO|.s|H|¡£k|¦¢»¡¡£|O| s¦¢mqskI R

|¥; ¡Æ;4P ,HJ¢t¤<¡qEO|¤Æ ¤qs qsk¦ J ¡£|§¤qsk§ ,H|k¤qs' ªi¨
~%|k<¢tksUO\£ ¡£|Oskk ,H S/M/ s|¥s¥| s }
5.6.2 An example determinate definition

ªÏ<¡O|O|¡££ ¡£¡£||s¡£§s¢84#R |<¡£?H
, s¤< /@kP,H|> ªi¨|k|,/
~%| ¡Æsk ¡£ |TS | ¡£| |k|¤q ¡£ 8BNO@:=?>+[56N O|k
8BNO@:=?>+[56N G
'¡Æ ¡£U¡£ ¡%Jkk 1¥£s| H
/¡£?H
, s¡£|Us¢iJkk
H
, Ls¢E¡£|4s¤Æ¥k|||O|¥4|k|¤q ¡£ cH[56N s|9=?>+[56N
~%|Ë¡££s||¥.0/|-H , |skË¥¦« ~Rs| / M1 s| s¤Æ¥k|| | R
|¥A~Rs|/ '3
QNO 47 47!8

8BNO@:=?>+[56N
&
6 !=a1h 6'A
ceGj
>$j
l
8BNO@:=?>+[56N
8BNO@:=?>+[56N
8BNO@:=?>+[56N
ceG
A!6
l
j
>$j+G
A!6
l
>'=WGj
>$j
l

~Rs| / 1M©i~ £s||¥0/|-,H| ¢t qsk||¥O¡£|%¿sÁkÂs³J´sÃ ¾ ·»Ç¼<ÁÏk ¡£|k|\
U

*34*8BNO>'1@:EB@>`h 6+:H8M6
cH[56N HB!G >'=

l cH[56N a1H
Gc
l cH[56N HB!G - 47=

l

=?>+[56N
cH[56N
=?>+[56N
ceG >'=

l
>'=WG
A!6
l
6 B6HG
A!6
l

=?>+[56N
cH[56N
=?>+[56N
h 4 MGc
>'=WGj
>$j
6 B6HGj
>$j

l

l

l

=?>+[56N
cH[56N
=?>+[56N
ceG - 47=

l
- 47=WG:* B6
l
-*6+eG:* B6
l
~Rs| /' 3© (1s¤Æ¥k|||O|¥.¢tËqsk||¥/¡£|/¿sÁkÂs³J´sÃ ¾ ·»Ç¼<Ágk R

¡£|k|\
2 ¤kk¤<¡O¡Æsk¥<¡O|k|¤q ¡£g|TS|¦¡£§©
8BNO@:=?>+[56N
8BNO@:=?>+[56N
G

G

=?>+[56N
G

GT=?>+[56N
cH[56N Q
G

GT=?>+[56N

G
l
G
l

~ |gJs¡£|k¤qs J |||¤ A s|¥s¥4O|¤Æ g ¡gqs¡4s
%

0/M|kkk¦«§s QS,.~%| ¤ s|k4skH|<¡£?,H ¡£ |M¡4|s¡4¤|¡££s| ,
J¤qs|kbqs¤Æ¤¤|kk|¤'s¢M%|< «ssk s| ± s¦ cH[56N QG
\s|
J =?>+[56N G
's1|¦ |Jkk|L||||¥Ë¥¦«As¡£¤| sb«ss|
s¢1¡£|Hs¡£| L«ssk s|g ¡£| ¦¡££s ± s¦
3 ¡£|¤qsk ¡£|g
¡£|)¤qsk)k|¤/qs¤Æ Jkk sH0 /|s¤<¡£¦| ,Hs¡£| s|¢¹ ¡£| ~%|
Js¡£|kL¢t||¤<¡£I R}¢tk@s|;¡£| , + /MP ,Ë , |M¡£ s¢Us)«ssk s|
| 4 ,R~%|sk¦¡ 4J||k -sE¡£JO ¡qs¡E¡ U¡£gs |||¤<¡£
s¢ ¡£|sJ«g|T S|¦¡£\
U<«¯¡£|g¥¤qs¦ O|¦«ss¡Js¡£|k
8BNO@:=?>+[56N G

8BNO@:=?>+[56N G

=?>+[56N G
G cH[56N QG

l
=?>+[56N G
GT=?>+[56N G

l
R|s¡E|<¡£? ,H ¡£sk|¤U¡£|1|< «ssk s| 4¡£|1¦¡££s* =?>+[56N G
¤qsAq« ,HkL¡£s§|||||¥4¢t% S/MA«ss|Ls¢ s ¥|¦ ; cR
d >'= - 47=
qs¤Æ Jkk¤qs;- ,H¦/q«@k<«£sE¤Æ||k\
1 g¤qs§¡£|Okg¡£ ¡%¡£||kJ¡ §s¢R|<¡£? ,Hs¤<.s¢E@¤ s|k|O|s¡
|J|Ë|¦g¡£|'¥¦«¡££s||¥%0 /|- ,H|Rs|s¤Æ¥k||Ë|O|¥s
|M¡Lsk@A¡£|gk|k|¥ s¢R¦¡££sU§¡£|gJM§s¢E@¤ s|ks
5.7 Learning determinate clauses with DINUS

¡£|4k¤<¡£\bªÏ .-> ¡£kq ¡£ 0/M¤|k¦«¦ s@s ªi¨ qsk||k|¥
|¦As¤Æ¥k|||O|¥Ë/¡£|¢t?, s¢b|k|¤q ¡£O|¤Æ8, q/q«

V

Js¡£ ||M¡Ës| M¡£|M¡Ësk¥ ,H¡£ 1 Hk|Y|G¡£AUqss ¡£|H sIR
¥s¥'| si4ªÏ .->s|4qsk|<¡£?,H ¡£'®® ( ¤ s|k 2LËs¥k¦¡£ ,
¡£ ¡¡££s|¢t? ,H>¡£| |k| ,Ts¢Uqsk||¥§|I R k¤|kk¦«@¢t||¤<¡£IR}¢tk 4#R
|<¡£? ,H ¡£O¤ s|kU¡£4|kJk¦¡£sM¢t? ,/¤qs ®> . -> ®><¡£? ,H R
¡£ªÏ . -> , Sk¡|kk¡£s|A¡£|/|¡££ ¡£§|k|¥@¡£|g0 /|- ,H|
¢tk , ¤<¡£ / 1M' &~%|@s¤Æ/¡££s|¢t? , ¡£)s¢b|||¤ |kJk¦¡£s
¤|¤M¡)|k¤kM¡£|A¡£ ¡£| |k¥£- , ¤ s|k¢t? , §¡£| |k | | R
k¤kJ s| |¡££ ¡£ s 0 /|- ,H|s Rs¦'U|k¤|k.|3¡£|
s¥k¦¡£ ,¤qs J0 /¡£|| ¡£ qsk k¤|kk¦« ¤ s|k®>qs|¥ O¦¡£
|I R k¤|kk¦«>¤ s|kU'qskMsb¡£|Lk¤|kk¦«>¤qsk , q k O|k O| R
|¥@¡£|g|k £s¤ UAk|1¡£ ¤ ,H|<¡£>¡£|¡££s|¢t? , ¡£§|k¤k
5.7.1 Learning non-recursive determinate DDB clauses

>kP,H|¤¦¡ ¯U Sk¡¤|k|>¡£|@|k|,Ts¢Uqsk||¥.|IR k¤|kk¦«
¤ s|k ~%|)¡££s|¢t?, ¡£s¢¡£|; ªi¨ |k|, s¢g¤|¡£k|¤<¡£|¥ s
, ¡£|TS |¦¡£§¢t%¡Æsk¥<¡|k|¤q ¡£a S
G UGl l l G U¢tk, 0/R
4#R |<¡£?H
-H
, | s|§¢tk, |k|¤q ¡£|TS |¦¡£|% %|k¤kJ)Jg
ªÏs ¡£| k¥s>ªÏ .-> s¥k¦¡£ / , O¡£| 0/¡£|| s¥k¦¡£ , sk
¤|k¡£ s¢O¡£|k , s¡£| ¡£|<S k¡H¡£¤¡Æs|Ë¡£| H , ¡@PH, J R
¡Æs¡O| k|¤1¡£@¡£|L¡£|k¥smªÏ .->§s¥k¦¡£ / , |k¤kJ//¤ R
¡£|@/ M% ' & s| / ,Es¡£'¡£ ¡qs¢t kPH, |¤¦¡ |k R |k¤kk|¥>s¢¡££s||¥
0/|-H, |s|AJ¡ R |k¤kk|¥Hs¢RJs¡£|k>sk|s¡|k¤|kk\
~ £s|¢t?,¡£|g ªi¨|k|,Y¡£H|kJk¦¡£s¯¢t?,/
2U|¡£k|¤<¡1g¡! s¢m|<¡£?,H ¡£%¦¡££sR¡£ ¡b¡£k||¤O|<
«ssk s|%s¢R|M¡£; ¡ ,H¡ 4k 2U|¡£k|¤<¡@¡ is¢E§«ssk R
s|Ës||<G«ssk s|¡£k||¤ |<¡£?,H ¡£H¦¡££s
¢tk , %
& 2U|¡£k|¤<¡/ ¡ 9s¢sO¦¡££s@¡£ ¡.|k;|k|¤q ¡£ ¢tk ,
¡£| s¤Æ¥k|||O|¥.s| «ssk s|¢tk , }§~%| | R
¡£? ,H ¡£O¦¡££sE¢tk , skO0 /M¤||.¢tk , ¡£|'¡qsb¡£|<
|Ë|s¡U|k¤kP ,H ¡£OJ<¡ U§Jk¦¡£¦«Ls|.|¥ ¡£¦«L0 /|- ,H|
k|¤¡£|4|< «ssk s|Oq«@ ||P O|4||||¥ ¢tqs¤Æ0 /R
- ,H|sb||§¡£;¡£|A|<¡£? ,Hs¤<k¡£k¤<¡£ , ~%|Akk|¦¡£|¥
¡LO¡£|4¡s¢E¢tq ¡£|k ¡k¡£k|M¡£%|k;¢t|kJk¦¡£s
qsk||¥|
U

%M%~ £s|¢t?, ¡£| 0/|-,H|A¡£|kJk¦¡£s¢t?,/ Aqs¤Æ
0/|-H, |s ¡£|b¡£kM¡£4«ss|bs¢qs¤ÆËs¢|¡£|'|kJk¦¡£ss¢tq ¡£|k
, |A§¤qs1¡£@¡£|gs¤Æ¥k||)|O|¥L
O|<¡£?H
2L||¦ |kJk¦¡£sLqsk||¥ s¥k¦¡£ ,¡£|||¤ |kJk R
¡£sm¤|¤M¡L|k¤kM¡£\
~ £s|¢t? , ¡£|.|||¤ |kJk¦¡£s|k¤kM¡£ ¡£;k<¡@s¢O| R
¡£? ,H ¡£1®® (¤ s|ks|||¥>¡£|%|¤k£s@|<¡£?,H ¡£1¦¡££s
O|¤Æ/¡£k||¤A¡£|g|< «ssk s|
DINUS – The transformation algorithm

2 ¥k¦¡£ , / B |k¤kJA¡£| ¡££s|¢t?, ¡£ s¢Ës# ªi¨ |k|, ¡£
L
|kJk¦¡£sJ¢t?/ , M± s¦|¡£| S k¡¡£)s¢ ¡£|sJ«s¥k¦¡£ , ¢t%qskIR
|¥g|IR k¤|kk¦«|<¡£?H , ¡£O¤ s|k~%|Ls¥k¦¡£ , skk ,Hb¡£ ¡b¡£|
qsk||¥/¡Æsk g¡£ S | )|k|¤q ¡£.|TS |¦¡£s@)k<¡@s¢O|<¡£?H , ¡£
( ¤ s|kiO¦¡£a SG UGlll4G \¡£|'|qs\@
®®
0/|-H
M ¦«4sk¡£|¡££s||¥
, | sg¥k||¢¹s¤<¡£gs¢U¡£|@¡Æsk¥<¡g|k|¤q ¡£a!R$RÏ¡£| s|¥s¥
| s Ls¢ 4#R |<¡£?H , ¡£/®® G ( ¤ s|kU¡£|)|TS |¦¡£| s¢>s¤Æ¥k||
|O|¥|k|¤q ¡£Q/ R$ LJs|/¡£|¡ JLs¢sk¥ H , ¡£Os¢E|k| R
¤q ¡£2a!R$ s|X/ R$ '~%|M¡£|M¡Ls¢ ¡£|4s¥k¦¡£ Y

a MSGUGl l l G $ '
s|A sJ ¢t
A¢t ¡k¡£k|M¡£ }R «ss|.qsk||¥¡£|§¢t?, 'i
, @k<¡Ls¢E0/|-H
s¢¡£|| sJ 3¢t
ba MS
GUGl l l G
, |
~%||O|¥>sk s¢is¤Æ¥k||A|k|¤q ¡£ , q ¡Æss>¡£|¢t?,

s¢E |?, s b¥¤>|k¥£-,/ /¡£ % 1s¢ 2L¥k¦¡£ , / BË¡ U ¡ Js¢
O|kOq«g¡£HJJk/¡£@¡£|%|O|¥gsks
~%| Sk¡b¡ JLsk4¼ ¸É<· ¼<³·¹¸¹ÂsÍ O|kO|¤Æ skO|k ¡£g|<¡£?,H|
¡£|§«ss| s¢¡£|A|< «ssk s| M¦« s¡£ s¦ |¡Æs¡£ ¡£
¥s ¦¡££s ¤¡Æs||¥.«ssk s|L¡£ ¡g|§|s¡s|Jqs|k<«|
¦¡££s,s)0 /M¡£¡£ s O|/k<¡£|k|¡£|4k<¡ Jkk|¦§ ,HM¡ %s¢
s'||||¥¢t¡£|.|J|| «ssk s|gO|¤Æ £ ¡£¢» ¡£|§¦¡££s±
O0 /|- ,H|s¡£| O|X =?>+[56N G ,¯O|k d cs|
/|<G«ssk s|ËU| k<¡£|k ¡£| k<¡Ës¢%s|UkE >'=WG
- 47=,s¡£)¡£ ¡ ¢t |<¡£? ,H ¡£)¦¡££s@¡£|;k<¡§s¢s|Uk§
s¦1q@k|¥<¡£\
~%|Ls¡£|b¡ Js¢ O|kUsk¥k|| Ã ¼<Ã ¼<Á£ÉÆÇ¸ Ì O|kUsJM¡
s¤Æ¥k|| |O|¥.|k|¤q ¡£O|k.¡£|.¥s'4¤ ,H|<¡£¦

V
7#9 J"= , " " !$#$% J F= # 7#9 J"=
S kU1-,!,!,

'

K 9
b'Z=AA?U A!
` ,
`
,

K 9
b'
?U
,
`
%

K 9 6'Z*!

-,!,!, 9 1SMU-,!,!,
, C%c . c
` 1S MU4
S M U4-,!,!,
9 1
A? Q'K
S
A??U A >% 67 ?U#N A 97Q(;<R
' '
6A-
6 " X =AA?U A!
>- ,
S
` ,
% ` A A?U QN

?U
'D?# ,

1 S M U-,!,!, 1 SM U-,!,!, '
/<I C%c .
-,!,!, %
, ` 6,
, C%c . (U ) * *S OU c

) S k U-,!,!, ! ' S-,!,!,
JK ?U#N - 6=A
* 2')=AA?U A!
2 ;:< (* @9 -<7
*S-,!,!,
' -(
* X =AA?U A!

*7 ,
M= =A
* K'2=AA?U A!
K 9 7 ?U#N *!
# '

9 * ?< @

?U* =A
* '9
?U
F!( @?*7
<
4# ,
X
7@ ,
`
%

/<I C%c .
J||\ ~%|k%skb|k¡£|<¡£?,H|¡£|b¡£kM¡£g«ss|is¢M¡£|'|kJR

k¦¡£sJ¢tq ¡£|k
s s¤<¡£sP,H|,H¡Æ ¡£ s¢ 2L¥k¦¡£ , / BM1¡£| s| %

k|| J ¡£kqq«\± s¦L¡£| «ss|As¢4¡£| |< «ssk s|/s|#¡£|
|kJk¦¡£sb¢tq ¡£|k k|| J§¤qs¤| ¡£¢tËqs¤Æ0/|-,H|AsË¡£|<
skH¡£k||¤\ ¡£|1q ¡£|H|<¡£?,Hs¤< s¢1¦¡££s> ¡£ >
sM¡£ , ¡£¤qs¦g¡£¡£ O| ¡£|0 /M¡£¡£ s O|H|<¡£? ,H||¥¡£|O«ss|
s¢Ï¡£||< «ssk s|U§4¦¡££s¯1Jk\@ 2o¦¡££s¯1|<¡£? ,H ¡£L¦¢Ï¡£|
k<¡Es¢¯s|UkR¡£¡£|'0 /M¡£¡£ s O|4Rk|¥<¡£g¢t s¡£|U0 /|- ,H|
}¢E¡£|4k<¡>s¢bs|Uk>¢tk ,H0 /|- ,H||s¡>Hk|¥<¡£\¡£|4¦¡££s\
|s¡O|<¡£? ,H ¡£s
U

The DINUS algorithm at work: An example
/¡£|¥£s| ,Hs¡£|)0/|-,H|s¥¦«o~Rs| / 1 s| /'3s¢.¤ R

¡£A/ 1M'&>Uq« 4 #h & s|F &TªÏ<¡ - &3~%|
¦¡££s cH[56N G ,1O|k ss| 3 |< «ssk s|s'
|s¡§|<¡£?,H ¡£ s ¥|¦ >'= A!6 j
>$j ,U<«
¦¢ T s| .|<gO¡£|;¦¡££sO |<¡£?,H ¡£sC2L ¡£|)¡Æsk¥<¡
G
s| ES
|k|¤q ¡£ X
s|X
8BNO@:=?>+[56N G
,gUq«
G
G bG

GT= G
G= QG
O|k @s|k= ¡Æs|¢t cH[56N
=?>+[56NkkJ¤<¡£¦«¦

~%|%¥¦« ES, cS d G
2G GbG G kE~%|¡ |¤||1¦¡ R

£s\k|¤ÆËs G , G
, QG
, G ms|gkP ,H sk¦
= G ,c = G ,! =

= QG
G
= bG
,!
G,c = G ,L )¢¹s¤<¡q¯¡£|Ësks¢
sk¥ ,H¡£Hs¢ #s| = sk)s1¡£|/sk ¢tk , ¡£| 21s¡£k s|k||¤<¡
cS cS,0 /M¤|||¥@¡£|gsk1¡£ ¡|k||¤g¦¡££s'¢tk , ES<
~%|Ë¡££s|¢t? , ¡£/|k¤k>¢t¡£|Ë ªi¨#|k| ,3s>|T S| )¡£|
¡££s||¥ 0 /|- ,H| ¢tk , ~Rs| / 1#s| s¤Æ¥k|| |O|¥¢tk ,
~Rs| /' 3 A|¡££ ¡£ ~Rs| / BM §¡£| ¡ UJk¦¡£¦« s|#¡£|
¡ U|¥ ¡£¦« 0 /|- ,H|4sL ¢ 8 G
8 ¡Æs||4¢tk 8BNO@:=?>+[56N ,E¥¦«
skO¡£|«ss|Us¢\¡£|H«ssk s| s|
H¡£|«ss|'s¢\¡£|L|< «ssk R
s| 4 s| ¡£k||¤;/¡£|4|<¡£? ,H ¡£¦¡££s%¢tk , ¡£|
¡ %Js|A¡£|«ss|Os¢ ¡ U s¢ ¡£||kJk¦¡£sJ¢tq ¡£|k%¢tk ,¡£|g¡
M- ,H¦ = GUs| = G ,|||s¡£A kS1s| .UMkkJ¤<¡£¦«¦
s¡£/¡£ ¡.|¦ ¡£|)|kJk¦¡£s1¢tq ¡£|k ¡k¡£k|M¡£ kS
G .U+Glll Hsk
s¤<¡£s¦ ¤|k|k).¡£| ¡k¡£k|M¡£ R}«ss|>qsk||¥Ë¡Æsk¯

2 5 #6 2
2

2

22

2

2

2 2

2 2

~Rs|/ BM©b¨kJk¦¡£sJ¢t?,s¢ ¡£|4¿sÁkÂs³J´sÃ ¾ ·»Ç¼<ÁUqsk||¥@|k|,/

V
DINUS – Back transformation to DDB clause form

~%|@s¥k¦¡£ Y , ¡£ ¡>¤«¡£>¡£|4|||¤|kJk¦¡£s\¤|¤M¡|TS| R
¡£H¡£Ë®® ( ¤ s|kL¢t?G
, '¢¹sk¦@¡££s¥¡k¢t1sk\Rk¡q¡££s|k¤kJ¡£|
|||¤.k|U¡£4®® ( ¤ s|k sUH¡£|L¤|¡££s| ¤qsk ,b~%s§s|
¡£|g|¤k£s)|<¡£?H , ¡£¦¡££sM|k|k|¥ ¡£ ¡%¡£|g«ss|%s¢R¡£|g|<
«ssk s|O¤qs;J||PO |¦/|<¡£?H , |/¢tk, ¡£|«ss|s¢A«ssk s|
>qs¤Æ ¤ s|k kJq ¡¡£|Ë¢tO|¥.|k¤ki|¡£s «ssk s|>¡£|
JM)s¢b¡£|@¤ s|k s||s¡¦¡£>|qs sk@¡£k||¤|<¡£?,H ¡£
¦¡££s©\¤Æ|k1|< «ssk s|bs|@s|¡£¡£|U¤ s|k'¡£|'¦¡££s ;¡£ ¡
¡£k||¤ ¡£| |<G«ssk s|s.~%|.¦¡££sgsk ¡£|k|k s¤¤k||¥
¡£@¡£| , + /MP ,Ë ,Y|M¡£)s¢ «ssk s|1¤¤|kk|¥ §¡£| ,/
~ g|¡££ ¡£b¡£| ¡££s|¢t? , ¡£¡£g>k<¡bs¢m®® ( ¤ s|k¡£|%¥£s|I R
,Hs¡£|0 /|- ,H|O|k\>||Jk4¡£ ¡>H|kJk¦¡£s\qsk||||¤
¡£|¢tO|¥4¡ UHk|%¢tk ,Y¡£|g0 /|- ,H|O§~Rs| / BM©

h BA'A
h BA'A
# kS ^ VN$!6
# .U ^ VN$!6
~%|Ë|k¤kM¡£ Ë¤|k¡£¡@O¦¡£¡£|§0 /|- ,H|b± s¦|Ë|s¡ ¤«
s|¥ ¡£¦«§0 /|- ,H|s s¡£sb|U<«'¡£ ¡ ¦¡Ë@|s¡Ë¡£s¦ ¡£ ¡
s/|kJk¦¡£s\qsk|OU|;s¤<¡£s¦§|||¤¡£||k¤kM¡£\Jk|¤
¡£| Sk¡k|U|/k 'H¤¢tO|k¤kP ,H ¡£|¥4J<¡ U;¡£|gJk¦¡£¦«s|
|¥ ¡£¦«g0 /|- ,H| Ë~%|g¡ UHk|sk>¡££s|k¤kJA¡£@¡£|g¤ s|k©
8BNO@:=?>+[56N G
=?>+[56N G
l
8BNO@:=?>+[56N G
=?>+[56N G
l
~%|O|<«ssk s| os| @¦¡££s =?>+[56N GEs| =?>+[56N G

sk>|s¡O¡£k||¤§§|<¡£? ,H ¡£>¦¡££sk@¡£|¦¡££s cH[56N bG

s|m =?>+[56N QG
@¢tk ,#Gq«/¡£J)s||¡£ ¡£| Sk¡§s| k¤|
¤ s|kskkJ¤<¡£¦«¦E~%| Ss|¢t? , s¢¯¡£|O¥¤U|k¥£- ,U|@¡£|HJs©
8BNO@:=?>+[56N G

8BNO@:=?>+[56N G

cH[56N bG

GT=?>+[56N G
l
=?>+[56N QG

GT=?>+[56N G
l
/M|kkk;A¥¤s¡£|%|k¥£- ,¡Æs||O¢t©
8

1 +24
`

` #, , ; ` 6
;

,Hk|k¤k¦.¢t©
U

1 +24
`

` #, , ; ` 6

s%¡£|«ss|s¢Rqs¤Æ/s¢ ¡£|g|<o«ssk s|1%||PO|¦§|<¡£?,H|\
5.7.2 Learning recursive determinate DDB clauses

~ /qsk k¤|kk¦« |<¡£?H , ¡£@|TS |¦¡£|"L
2 ¥k¦¡£ , / A
B ||¡£/J
, | S ®@° ¬ kkÏ<¡Ls±1 & ± ªÏ<¡ |.S k¡ |¡£|¥|k J R
k¥¡£¦>H
¡ U ¡£|Ë¤qsk@s¢'k¤|kk¦«@¦¡££sOO|¤Æ |§|s¡gs|k¤|kk¦«@¦¡££s
O|¤Æ |¡£k||¤1|<«ssk s| Ë¡£| Sk¡¤qsks,H,ËJkk| O|k
sk1||\Ms|@Ë¡£|%k¤|\Js¡£ ,H,ËJkk| s| 0/M¡£¡£ s O|k
sJM¡%¡£|¡Æsk¥<¡Ok ¡£Askg||\
A¡£| Sk¡L¤qsk O|)k¤|kk¦«¦¡££sU|H|s¡O¡£k||¤g|<o«ssk R
s|,b|¦¡£| & Ës| % 4s¢ 2L¥k¦¡£ , / B| ¡£ J ,H| S\
¡£ & ,JO|¤Æ¤|¡£k|¤<¡£L¡£|Ë¡Ls¢b¦¡££s JU4¡£kq ¡>¡£|¡Æsk¥<¡
|k|¤q ¡£` a sgs;s¢'¡£|@s¡£|s¤Æ¥k|| |O|¥@|k|¤q ¡£s|
¢t? ,TsiJkk|4¦¡££sOO¦¡£;¦¡s|;¡£|4«ssk s|>q«ss s|s¯0 /M¤|||¥
¡£|H¦¡££s! a S
G UGl l l G , U<«E ¡£ % LUH¤qs||s¡<«ss ¡£
¢tq ¡£|k@«¦«|E ¥ a > O||¥¡£|.s¤Æ¥k|| |O|¥s ¡£ ¡
¤qsk/U Sk¡.¤Æ|¤Æ O|<¡£|H¡£|)¥k|| O| - ,H|¥ ¡£|A¡££s||¥

0 /|- ,H|'¢t aÏHO|¤Æ§¤qskU>¤qs.|<¡£? ,H|L¦¡£b¡£kM¡£ «ss| VN$!6¦¢
¡£|g0 /|- ,H|g%Jk¦¡£¦«s c*hA+6¦¢R|¥ ¡£¦« ,' }¢ |U<«¯¡£|
|s¡Jg¢t||)- ,H|¥@¡£|0 /|- ,H|Uq«¡£Hkk¡¡£ ,H ,ËJkk|
O|A¤qsI R
O|Ï¡£ ¡mU ,Ë|¡sk/¡£|@|k>O|<¡£|¡£| s|U¡£.¡£| O|
«¦«/1¡£k|g1¢¹sks
~ H|¡££ ¡£L¡£|4sJ« ,H| S¤q ¡£ ¡£. 2L¥k¦¡£ , / BM¤|k|O¡£|
¡Æskgs¢qsk||¥O¡£|Uk ¡£k =?6=?j
6N G
, O|k s¢|¡ JL
6+h 6=?6!
s|
3s¢1¡ J h 4 A4,/~%|.s¤Æ¥k|| |O|¥ ¥¦«|¤||¡£|
|k|¤q ¡£P 3>'=a1>'@6!A G
2G , O|k s| skbs¢¡ J h 4 A4Ïs|

s¢i¡ Jk 6+h 6=?6!,'~%|%|k|¤q ¡£>1|T S|)s
3>'=a1>'@6!A 7 G &G

s| |¤ ,HJkU¡ ¡£g¦¡£|qs s| ¡Æs E }¡bb ¯ ¡k¡£|
«kk s¢¡£| 3>'A ¢t||¤<¡£#I ,ËJ± ~%| Os¦¡ |k|¤q ¡£O|¤Æ
Uksk¥ ,H¡£>s¢E¡£|Ë£- ,H4¡ JË>sk ¥¦«\> ;¡£|L¤qsk -As
¡£ J ¡Oqs¡ %Mb~%| , + /MP ,Ë ,Y|M¡£)s¢ «ssk s|1%k<¡¡£ 4
~Rs| / >¥¦«E¢t|R¡££s||¥>0 /|- ,H|s|@¡£| ¡££s|¢t? , ¡£Ë¡£
|kJk¦¡£s ¢t? ,/ k ,#¡£|E¡Æs|EUb¤qsgk¡£ ¡Ï¡£|b|¦>|<¡£? ,H ¡£
¦¡££ss 3
2G &G 3s|# = ¡Æs|g¢t 3>'=a1>'@6!AUs|# =?6=?j
6NskkJ¤ R

V

2 5 #6

2

2 2

2

S S U S U
2 2 2

2

2 2 2
S U S U S

U
S
U
U
U
U

2
2
2 2

2

~Rs|/ M©b¨kJk¦¡£sJ¢t?,s¢E@k¤|kk¦« ªi¨|k|,/
¡£¦«¦ ,s| cS d G

2G &G sO|k s| sk%s¢¯¡ J 6+h 6=?6!s|

Gs| Gsks¢i¡ J#h 4 A4,b~Rs|¥@¡£ s¤¤|¡%¡£|>¡ JOs¢Esk¥ ,H¡£
¡£| ,H| S;s¥k¦¡£ , |k||¤>¡£|Ë¡Ls¢¢tq ¡£|k>)¡£|4¡Æs|s>~%|
¦¡££s 3
2G G
,L 3
2G &G
,L 3 EG G ,L 3 EG &G ,L 3 EG G
@s|
3 EG &G
Lsk sk.¡£|@¡>s¢b¢tq ¡£|kÏ|M¡gq« J 0 /M¤||¢t
¡£|.£ss.s¢Okqss|¦¡ ¡£|<s¦1qËq«.¡£|H«ss| c*hA+6, 2U|k|
¡£|;|kJk¦¡£s1¢tq ¡£|k §O|¤Æ ¤kkkJ||.¡£ ¡£|;k¤|kk¦«¤qs

=?6=?j
6N G ,~%|§«ss|§s¢O¡£|4¢tq ¡£|k§¤qsJ§|<¡£? ,H|¢tË¡£|
Sk¡.0 /|- ,H|s%k|¤/¡£|)¥k|| O|H¡£| ¤qsk9 =?6=?j
6N H G & ,
O|¤Æ ¤qs JË¢t|| sg.|¥ ¡£¦«Ë¡££s||¥.0 /|- ,H|sËU<«i¢t>¡£|
s¡£|¡£|k§0 /|- ,H| ,H ,ËJkk|> O|kËq« ¡£;J.Jk ¡£|§sI R
Uksk , sks;O¦¡£ s s¡£kk
, 2 kP ,H sO|k«s ¡£||¢t
¢tq ¡£|k s|
2o|kJk¦¡£s¯qsk| ,H¥¡U¥|£ ¡£>¡£|L¢tO|¥4k|U¢tk , ¡£|
¥¦«/|kJk¦¡£sJ0 /|- ,H|©
h BA'A
h BA'A

#
#
.U ^VN$!6
^ VN$!6
~%|k|1U|/J>¡££s|¢t?,HA¡£@¡£|¢tO|¥Ë|TS|¦¡£\©
=?6=?j
6N G

3>'=a1>'@6!A
2G & G
G G
l
=?6=?j
6N G
3>'=a1>'@6!A
2G & G
G =?6=?j
6N G
l
O|¤Æ/1¡£|g¤kk¤<¡|TS|¦¡£As¢ ¡£|g¤|¤M¡.=?6=?j
6N G
,
~%| k¤| ¤qskH¤¤|k¦¢Uk¤|kk¦« ¦¡££sLO¦¡£ |< «ssk s|gsk
sU\ O|¤Æ sksR¢t0 /|- ,H|sR|¤k£s ¢tqsk||¥A¡£|J/$ 4<340A+>'N'
|k¥£- ,/ s||¦¡£)¡£.¡£|Ë¤Æs|¥gM¡£|sJ«s\¡£| Sk¡gk||¡£
s¢'¡£ Ls¢ 2L¥k¦¡£ , / B§sgsk.¡£AJ@¤Æs|¥\@ ¡£|>¡£\i¡£|
U

¡Æsk¥<¡H|k|¤q ¡£ a@¡£kq ¡£0/|s¤<¡£¦ s ¡£|As¡£| |k|¤q ¡£ ®><¡£ R
,H||¥ ¡£| «ss|gs¢'¡£| |< «ssk s| ¦¡££sL«¦«|¥§¡£|@¡Æsk¥<¡
|k|¤q ¡£@k O|kg;¡£|¤qsk@¡£|@|k s¢g¼ ¸É<· ¼<³·¹¸¹ÂsÍO|ksJM¡¡£|
¡Æsk¥<¡O¤|¤M¡q
6
Experiments in learning relations with
LINUS
~%| ¤ÆsM¡£R|k¤|kkR¡£|'J¢t?, s|¤bs¢¯ªÏ .->g¢t|ik ¡£gqskIR
|¥H¡ÆskL¡Æss)¢tk, ¡£| , s¤Æ||qsk||¥ ¦¡££ ¡£|ks%~%|Ë|, s/| R
k¤kM¡£|sk¡Æss/¢tk, || s Î* s|A¡£|kk|¦¡£Os¢ªÏ .->/sk
¤ ,Hsk¡£;¡£|.kk|¦¡£@M¡Æs| > ª || s *± 2L qsk¦
«kk s5 ¢ > ª > ª * @1s.|k ¡£|;0 /MJkP ,H¡£ 2LO¡£|;| R
, s|L¤¡Æs|I R |) ¡ÆMg~%| Sk¡¡£|k@| , s|L«¦«@ «
? , s ,ËJ4s¢O0 /|- ,H|A ¡£|H¢t|¡£| , s\Ï¡£|H¡££s||¥/k<¡Ës¢
¤Æ|k ||¥- ,H Jk¦¡£|4 sk¥H||¥¡£;s|H¡£|.¤ ,Hskk s¢
¡£|ªÏ . -> kk|¦¡£O¦¡£@¡£|kk|¦¡£bs¢ > ª;s|Hs¡£| , s¤Æ||Oqsk||¥
¡£ ,H§¡£? ,H%s¢R¤ skk S¤q ¡£/s¤¤|£s¤<
6.1 Experimental setup

Ïª .->;1sg|k ¡£|§Á£¼<Í¦Âs·¹¸±¾ ³Í¼£ÂsÁ,³¸»³¿AÃ ¾q´¼ k.¤<¡£ / | ,Ë
k|4¡£;¢¹s¤¦¡Æ ¡£@¡£|.¤,Hskk O¦¡£ > ªR|¦¡££sgs¢O¡£| ¢t?,
Y |¡Æs¡£ ¡£|¥))«ssk s| ¡£)¤|¡Æs¡@Uk§sU ¡£|.IR
||¤/|k|¤q ¡£|T S|¦¡£|E~%|11ss¤Æ|<«/§k¤<¡£|¥@|¦.s|| R
¤q ¡£|gs¢%M¡£¦¡ )|k|¤q ¡£Ës|< ¡k¡£k|M¡£g¡£/JH|k ¢tqsk||¥
kË¤<¡£ / | ,
~%| sk¥ ,H¡£.s¢¡£|;s¤Æ¥k|| |k|¤q ¡£.|k > ªUk
|s¡ ¡ J s| ¡£|A£- ,HA|k|¤q ¡£H¤|JA|k¢t@| k¡H¡ J
s¢4sk¥ ,H¡£ ªÏ . ->J1qs¤Æ k|¤Æ#|k|¤q ¡£)1s§k| s¤ k<« R
£s\|k|¤q ¡£|¢t1qs¤Æ/¤ ,Ë| ¡£§s¢ |k|¤q ¡£sk¥ ,H¡1¡ J
O0 /|- ,H|s¡£|
k| s¤ ¡ Uk ¡£| *: -**36! NOs|m
¡£ 1M' / ,

*: -**36!Ok ¡£A/¡£|¤Æ|k>||¥- ,H0 /|- ,H|g1s
*: -**36! 4<h 6 k¤ R
A¡£|g0 /MJkP ,H¡£ 2| "~ 2>~s|)L 1 Mg 9Ukg|k/O¦¡£|

' #

ªÏ .->J ~%|'kk|¦¡£iM¡Æs|O¦¡£2| ~"2>~ s|4L1 Mg qs¤Æ
s¢Ï¡£|| , s|bUk>¡ |¤qs¦Hk¥¡£¦ | k¡ ¡£|< Ukgs¯¤,Hs£R
|O¡£¡£|Lkk|¦¡£UM¡Æs| > ª H¡£|L¤Æ|k%||¥-,H|, s\¡£|
¤ skk S¤q ¡£/s¤¤|£s¤<)s|/¡£|¤ ,H|M¡Æ ¡£s\( 'H¤|¤</s¢ªÏ .->§1s
¤ ,Hsk O¦¡£@¡£|q«ss s|Ukk|¦¡£b¢t > ª® - 21 /|¥¥<¡£ B3
2U Mª /|¥¥<¡£A<¡Ls±1 B ±
s|
6.2 Learning family relationships

~%|1¢¹-,H¦k ¡£|k||Rqsk||¥¡Æsk4R|k¤kJ ¡£ Bs|
|| s B±@ M¦«Ësk'¡ U>¡ ° 4¢¹- ,H\s¢¡ U¦« ,H,ËJk qs¤Æ\
sOk|O) R¥|k 1M¦
=?>+[56N &G b¢tk ,Y0 /|- ,H|
ªÏ . -> 1s%|k§¡£@qsk.¡£|>k ¡£J

s¢¡£|Ïk ¡£>s|¡£|s¤Æ¥k||k ¡£| cH[56N G
, .4 c6 G
,
A+>' G
)s|d :*580[M 6N G
,9¥ ¡£¦« 0 /|- ,H|/Uk ¥|£ ¡£

|||Ë¡£|.¤kI R}Uk skk ,HM¡£ ¡£| 3 ` ,H| ,EJs¡£ ¢tËªÏ . ->
s|$ > ª~ |¡££ ¡£L¡£|gJ¡ R |k¤kk|¥ ¢tq ¡£|kgs¢EªÏ . ->JU Sk¡
|kk¡U¡£|¡£? ,H| ¡£%¤ s|k'|||¤ ªÏ . -> |k| ¥ 2| "~ 2>~
J<¢tkgJ¡ R |k¤kk|¥ ,
2U|k¡£||¨ |J 2L||k< 52U|k¡£|
)sk¥sk<¡ 2L¡£| -,H

+>¤<¡£k
s||¦¢t52Usk
2U 2Usks¡k¡£
QOJ¡£ 5)sk ¨kk £s|¤k¤q
M @,H ªÏ|¤ 5)sk¤ 2L|¥ >~ , sk
2L¦¢t|k ||
R¥|k 1M¦©b~1U ¢¹-,H¦ ¡£kO|k ,Hqs|ÃHÂsÁ,Á,¸±¼£´H· ¾ |¢tk, ¡£
ÎB is| || s ÎB ±

=?>+[56N &G
=?>+[56N &G

*

: 580[M 6N EG
G
@>+ cH[56N &G
l
@>+L:*580[M 6N EG
G

A+>' EG
G
@>+ cH[56N &G
l
@>+&:*580[M 6N EG ,
~%|§k¤| ¤ s|k§¤¡Æs|4¡£|.kk<«ss¡Ë¦¡££sP
O|¤ÆA1sOk,H«/§J¡ R |k¤kk|¥|b~%|gkk|¦¡£|¥@|k|¤q ¡£|TS| R
¡£gÏ Os¡£%¡£|b|T S|¦¡£g|||¤ªÏ .
->|k|¥L 1 Mg GO|¤Æ
¤¡Æs|| kk<«ss¡H¦¡££s 23¤ ,Hskk s¢L¡£|)J¡ R |k¤kk
¤ s|k%O¦¡£§¡£|g¤ s|k|||¤/ > ª %¥¦«/Jg
ªÏ .
-> > ª
|¥ ¡£¦«g0/|-,H|©23 ` |¥ ¡£¦«g0/|-,H|©23 `
=?>+[56N &G =?>+[56N &G

:*580[M 6N EG
G
@>+ cH[56N &G
l
=?>+[56N &G

:*580[M 6N EG
G
@>+ cH[56N &G
l
=?>+[56N &G

A+>' EG
G
@>+ cH[56N &
G
l
A+>' EG
G
@>+ cH[56N & G
l
1 ¤qsk4¡£ ¡5> ª ¥|£ ¡£ ,Hk4kJ¤ S¤ËJs¡£|kÏs|;¡£ ¡

Ë
¡£||TS|¦¡£|%|||¤AAªÏ .->§s| > ª sk>«AkP,H s's|AJs¡£
¤kk¤<¡q ~%| Js¡£|k/|||¤ ªÏ .-> ¤qs J s£s||£sks
¢tO © ¡£| ,Hs¡£|Rs¢ ¦¢ oRL¤Æ|Ës¢ s| R|s¡R¡£|U¢¹ ¡£|
s¢ ~%|Js¡£|kO|||¤/ > ª ,HkkJ¤ S¤ ¦¢ |¥ ¡£§
¡£k|k<¡£ s¨k¥ ,mk|¤ .|< 0 /M¡£¡£ s¦ Os¡£ S«ssk s|
s|Jqsk.¡£|;|¥ ¡£ ¦¡££s± }¡.¤qs J;k ,., sk ° s© H¡£|
,Hs¡£|Rs¢ o¦¢ E>¤Æ|4s¢ s| R|s¡R¡£|U¢¹ ¡£|Es¢JsJM ,
~%||T S|¦¡£A¤¡Æs|O |<o«ssk s| O|¤Æ)¡Æs||O¢tOs§Jkk\
1 |;|s¡A|¤k£s# ¡£|§¤qsks>|<T«ssk s|§sk|¤k£s O|
s¢m¡£|k ¡£|b 8BNO@:=?>+[56N G

¡£? ,H
qsk||¥)|T S|¦¡£|Ës¢k ¡£|k|¤Æs&
=?>+[56N G
s| cH[56N G
,E~%|¡£|Js¡£|k
s|¥s¥1s¢ > ª/ ,Hk%0 /M|kkk¦«O¡£s ¡£|%|Os¢mªÏ . ->ËO|¤Æ |
|s¡s ¢t1¡£|g¡£k||¤<¡£As¢R|< «ssk s|
'
#

6.3 Learning the concept of an arch
¡£|g0/|-,H|si¡Æss ¢tk, 1 |¡£ Î3/'s| || s Î* ±Ï¢t|
k¤<¡£%skL¥¦«\~1U@s¢Ï¡£|,Ysk>sk¤Æ| Jk¦¡£¦«0/|-,H|'s| ¡ U
skg|s¡ |¥ ¡£¦«g0/|-,H|,sOk|O) R¥|k 1M'&
4|||¤|¥/¡£| ¡Æsk¥<¡Ëk ¡£ NO34[ &G EG ,E¡Æ ¡£|¥/¡£ ¡ 4
¢t? ,9ssk¤Æ O¦¡£ ¤ ,H| Ts|
s|
|¥s¤Æ¥k|| k ¡£| Uk|k\© AaHa1>'N'A G
,Q
>'!34[56'A G
,1

s| ¡£ 4 ¡£| ¢t R
h 6 1 > G
,
jN 4<34 , `6+:H8M6 Us| a1NO*h h 6+h 6a4 a16+: ,
->.1s Sk¡k|AO¦¡£A0 /M|¤¦¡£¦H¥¦« ¡ U U|¥ ¡£¦«g0 /|- ,H|
ªÏ .
s|A¡£|AO¦¡£§¡£|g|¥ ¡£¦«g0 /|- ,H|%¥|£ ¡£/§¡£|# 3 `.,H|s~%|
kk|¦¡£Os¢EªÏ . ->As|$ > ª skg¡£AJg
Ïª .-> > ª
|¥ ¡£¦«g0/|-,H|©0/M|¤¦¡£¦ |¥ ¡£¦«g0/|-,H|©0/M|¤¦¡£¦
NO34[ &G EG
AaHa1>'N'A EG
G |H¤ s|kJ¤qs|ks¢ ¡£|
@>+P >'!34[56'A EG
l |¤||¥ |¥s¡£Ak¡£k¤<¡£
|¥ ¡£¦«g0/|-,H|©L¶(!'Â |¥ ¡£¦«g0/|-,H|©L¶(!'Â

NO34[ &G EG
h 6 1 > EG
AaHa1>'N'A EG

G

G

NO34[ &G EG
h 6 1 > EG
AaHa1>'N'A EG

G

G
@>+P >'!34[56'A EG
l @>+P >'!34[56'A EG
l
~ |Js¡£|kb|||¤ O¦¡£ 0/M|¤¦¡£¦¥¦«H|¥ ¡£¦«%0/|-,H|b¤qs

%
J.s£s||£sks4¢tO© 4 9s| ¢t?, s sk¤Æ ¦¢ k||J¡£
s| |>|s¡L¡£|¤Æ ¦>s¡£4¡£ ¡L¡£|L|T S|¦¡£) ,Hk4¥|£s

R¥|k 1M'&© 2Lk¤Æ|Ls|)|qs ,Hkk¢tk, 1 |¡£ Î3/is| || s

Î* ±

¡£s ¡£| |HM¡Æs| ¡£|E3 `8,H| ¡£| ¡k¡£gsËss||¦¡£s
¦¡££sm¡Æ ¡£|¥@¡£ ¡ ,Ë|¡OJg<¢»¡Os¢
1 ¦¡£@0 /M|¤¦¡£¦¥¦«@|¥ ¡£¦«%0/|-,H| > ª§1sb|s|U¡£¥| R
¡£Ë Js¡£|kJ¤qs|k@s¢E¡£|Ë|¤||¥.|¥s¡£;k¡£k¤<¡£ |k¤kJ
A¤<¡£ BM bO|¤Æ§k¡£k¤<¡£1¡£|L¡£s¡Æsm|¥s¡£§s¢Ï¡£|Js¡£|k1¡£Ë¡£|
,ËJ4s¢1|¦¡£||¡£/ ,H£ ¡£H¡£|H¡££s||¥A0 /|- ,H|0 /M|¤¦¡£¦
-k|¥Ë¡£|# 3 ` ,H|>s¢ |¥ ¡£¦«0 /|- ,H|%¥|£ ¡£\|ªÏ . ->§¥q«¡£|
£- ,Hkk|¦¡£s > ª
Analysis of the results

~%|>Js¡£|k%|||¤§.Js¡£§ªÏ .->.s| > ª¤«kOsk4¡£|>¤qsk
|¡££ ¡£/
R¥|k 1M %MJO|¤Æ;> |¥ ¡£¦«40/|-,H|4s¢E¡£|@sk¤Æ;¤IR
¤M¡qL )¡£|4¤qsk4O|;¡£|4|¥ ¡£¦«40 /|- ,H|>sk¥¦«;0 /M|¤¦¡£¦.¡£|
%kqsks|s|M¡L¦¡%O¤|¡£ R ¡£|¦¡£¦«§¡£|¤qskO|k4|¥ ¡£¦«g0 /R
- ,H|Osk¥|£ ¡£)|||%¡£|g¤kI R}Uk/skk ,HM¡£\
k|Ë¡£¥<¡H8 ,Hk§s||k|k ¡£.Js¡£|k'± s¦¡£|§£- ,H§ R
Js¡£|k.s kJ¡£ 1 |¡£ Î 3/±UU;q«)¡£J;q1sk)s¢¡£|
¢tO|¥Ë|k| ,H©
~%| |k|, s¢Ëk|kk¡Æ ¡£\ 1 |¡£ |ko k, s¡£¤ |<¡

k|kk¡Æ ¡£AO|¤Æ/%|s¡OO|¦«ss¡%¡£@¡£|gk ¡£smk|kkIR
¡Æ ¡£ k¤<¡£ ªÏ . -> s| > ª ,H M¢t? , ¡£)1s4¡

O| ¡££s|k¤k||¥ ¡£|;k , s¡£¤)|<¡§k|kk¡Æ ¡£ ¡£ ¡£|;k R
¤<¡£ k ¡£|s ¥|¦¡£|b a1N' > .k ¡£4O|¤ÆHkk¡£ s@¡£|
k , s¡£¤|<¡k|kk¡Æ ¡£A1s|s¡O|¤||\
s||k|k ¡£U|k1s¢¡£| ¤kIR}Uk@skk ,HM¡£ ,H¤Æs|?,¢t
¥|£ ¡£|¥ |¥ ¡£¦«g0 /|- ,H|
R¥|k 1M %M©@2 ¤«k;|¥ ¡£¦«0/|-,H|s

'
#

~%|>k<¡1s¢ÏJk¦¡£¦«0/|-,H|''|s¡10/Ms|¡£¦«s¡£|k<¢tkL¡£|
k<¡4s¢U|¥ ¡£¦« 0 /|- ,H||¤||sk§k ,H Jk¦¡£¦«@0 /|- , R
|Os¢ ¡£|sk¤Æ/¤|¤M¡q
¥ ¡£¦«.0 /|- ,H|Ësk ¥|£ ¡£ ¡£| k¤<¡ Eks¤§s|
|s¡ ¡£| k ¡£ ks¤s k.¡£|§ k¤<¡Hks¤A||s¡£
¡£| 21s¡£k s|k||¤<¡Ës¢%¡£| ¤kkkJ|||¥)¡ J@s¢1¡£|J
sk¥ ,H¡£>s¢¡£|¡Æsk¥<¡>|k|¤q ¡£ )¡£| 3 ` ,H|4si¡£|
Jkk|¤ ,Ë| ¡£|s¢\«ss|'s¢ )sk¥ ,H¡£'s¢\¡£|O¡Æsk¥<¡
|k|¤q ¡£ skË¥|£ ¡£ , ¡£|Ëk ¡£;ks¤sÏqs¤Æ s|| R
¤q ¡£)s¢'HM¡£¦¡ §|k|¤q ¡£4>s||)¡£ ¡£|4 k¤<¡ks¤@s
sHs||¦¡£s|P ,H|k\s± s¦¡£|%k ¡£Ëks¤OR¡£| 21s¡£ R
k s |k||¤<¡s ¢ «ssk s| kH O ¡£ / ,Ë ¡£|
| , s s>Ubsg;¡£|@¢¹- ,H¦/k ¡£|k||L| , s ,\k R
¡£|@skA|k¡£ |k¤kJ§¡££s||¥;0 /|- ,H|Hs|| |s¡
k|kk¡Ë||k¡g| , s|O|¥ s>¡£|@¤qsk ¡£|
|ki0 /|- ,H|EO|¤Æg¢tO,i g¡£|b¥|£ ¡£gs¢M|¥ ¡£¦«
0 /|- ,H||¦g¡£|1 k¤<¡bks¤1 ¤<¡£ M¡£¦¡ |k|¤q ¡£
sk.s|| ¡£/¡£|.¥|£ ¡£|¥ ¡£¦« 0 /|- ,H||¤H¡£|
k ¡£|@skAkk¡£ s1¡£ |k¤k||¥;¡££s||¥0 /|- ,H| s|
skg|s¡O ¤<¡£\¯|s¡OsmJkk||¥ ¡£¦«0 /|- ,H|Osk¥I R
£ ¡£\
|k 'H¤¡Lk<¡Ls¢ ¡££s||¥@0/|-,H|'~%|gJs¡£|k>|||¤/

ªÏ .->s| > ª sk.¤kk¤<¡ËO¦¡£k¥sk¡£)¡£|.¥¦«¡££s||¥
k<¡qEU<«s¡£|<g¤«i¡£|'|¥ ¡£¦«b0/|-,H|¥¦«R¥|k 1M %M
2LUO¯J>k|O§Jg¡£|>M¡Æs|.kk|¦¡£1¤qs.J>P ,H|k«.
k¤<¡£|¥H ,Hkgs||k|k ¡£k<¡s¢ ¡££s||¥@0 /|- ,H|
Learning from an enlarged training set

ªÏ . ->H1s%|kAAs§| sk¥.k<¡Os¢Ï¡££s||¥40/|-,H|M¥¦«§ R¥R
|k1M |MO|¤Æ/|¤||%¡ U s||¦¡£sm|¥ ¡£¦«g0/|-,H|
k , ¡£|4| sk¥)¡££s||¥Hk<¡qm¤¡Æs||¥H¡ UAs||¦¡£sÏ|¥ ¡£¦«
0/|- ,H|Ï¡£| Js¡£|kg|||¤ ªÏ . ->|k|¥AJs¡£ 2| "~ 2>~
s|§L 1 Mg Ukk¡£ s¦ ¡£|L£- ,H>sU¡£|>|LkJ¡£§ 1 |¡£
Î 3/±©

U

$ e V
R¥|k 1M |©@2L/| sk¥§¡££s||¥@k<¡s¢Esk¤Æ|Ls|/|qs ,Hkk
NO34[ &G EG
AaHa1>'N'A EG
G
AaHa1>'N'A G
G
@>+ >'!34[56'A EG
l
~ |L|||¤HJs¡£|kU¤kkkJ||b¡£g¡£|s¡'s¢m¡£|k, s¡£¤O|<¡
%
|k¤kM¡£A¤|k¡£|¥ s¢ ,Ë|¡ |%|¦ 1 |¡£ 3/±
6.4 Learning rules that govern card sequences

~%|U|kÏqsk||¥%|k|, 1sik¥s¦s||kkkË¡£|UM¨ 2 Q 2 )s
¡£ , ®><¡k¡£k¤Æ/s| /¤ÆskB1±~%| |k¤kM¡£|k@L¡Æss
¢tk , || s Î * ± ¡£|/|k@¤qsk ¥- ,Hs¡£|§|qs@«¡£H
k¤k<¡k|kJ¤¦¢»|¥§H¤||¦¡£)|||O|¤Æ ¤qsk;¤qs;JËs||)¡£
k O||¤4s¢E¤qsk|U~%|| qk ¡k¡£ ,HM¡O¡£ s|)@¤qsk/¡£@¡£|¤|kk¡
k O||¤sb }¢J¤qskËE¥sk|¤¤kkb¦¡R | s¤4¡£¡£|1k¥¡Rs¢|¡£|1 s¡
¤qsk\is¡£|Ok ¦¡g| s¤ |||g¡£| s¡g¤qsk\@~%|H|k ° ¡Æs1ÃHÂs¸»³
ÍÎ¸»³m¼'k|kk¡£%¡£|>k O||¤4s1|<«J§kË¢¹sO|¡£|L«¡£¤qsiÉ<¸¹´¼
ÍÎ¸»³m¼ÆÉ@k| |¤kk¤<¡ | q ~%|k) qM¡£1k|k||¤¢tk , || s
Î * ±sk¥¦«/ R¥|k 1M' /

bs¤Æ¤qsk s¡£|)¡£s¡£|>

Sk¡ o¡£| k O||¤|k«| s 0 /R

- ,H|¢t/qsk||¥ ¡£| ¡Æsk¥<¡)k ¡£ 3 c>$h h >4 ~%|0 /|- ,H|
sJ
k|4|s%~%|¡Æsk¥<¡Lk ¡£9
¦¢¡£|¤qsk#s|JqskA ¡£| , s |sLs|
¤qsk s¢g£s| 9s| k|¦¡ ¤qs ¢t k O||¤ |||¥O¦¡£\©
¦¢¦¡§§
3 c>$h h > &G EG G 9GG U¡Æ ¡£¡£ ¡
¤qsk#s¢4£s| s| k|¦¡ ¤|k¤M¡£¦« ¤qsk|As¢4k|¦¡ s|
¤|k¤M¡£¦«¤qsk| s¢¡£|)£- ,H)¤ (1s¤Æ¥k|| k ¡£|@¡£ ¡.¤qs
J |k |||¤#¤ s|k)sk¡£|¢tO|¥|X
a5NO6+36+:*6'A A 4 G
,Q
>$:*: NO ,¯s|9
© a5NO6+36+:*6'A NO G
,
h >`6N NO G
, c*36 ,.
>$:*: c1= ,
A+=?6 3>$h >'N G
,

'
#

#N Q

7 >

#N (;7

7 (;7

#N Q

7 >

#N (;7

#N

7 >

R¥|k 1M'/©~%|k qM¡£1s¢i¡£||k1¤qsk§¥-,Hs¢tk,®><¡k¡£k¤Æ

s|/¤Æsk ÎB1 is| || s Î* ±
¡£| Sk¡1 qM¡q¡£|>¡£||.|qs Uk|O1s© 2U,H|<¡£ ¤

kO||¤ ,Ë|¡1JLs¢i|.|¥s¡£.s|§ , sO¤qsk , q |s¡%s|JqsU|0/¡
¡£L¢t , s'¤qsk ¦E¦¡£|> ª§|ªÏ .->4¤|Ë|k¤«E¡£|1¡£||
k|sJ¤qs|kL|4M¢t? , ¡£@ ¡£|L¥||'s¢\¤qsk|'1sU|¤| H¡£|
s¤Æ¥k||)k ¡£|ªÏ . ->§|k|¥ 2| "~ 2>~ O¦¡£AJ¡ R |k¤kk|¥
|||¤A¡£|g¤ s|kO¥¦«/Jg
3 c>$h h >
3 c$> h h >
&G EG
&G EG

G 9G G

G 9G G

$> :*: c1=

G

A+=?6 3>$h >'N EG
l

3 c>$h h > &G EG
G 9G G
@>+ea5NO6+36+:*6'A A 4 9G
l
>$:*: c1=
G
@>+ea5NO6+36+:*6'A NO G
l
1 | g¡£|Ë¤ s|kL|||¤;ªÏ .->/|k|¥.Js¡£82| ~"2>~ s|
L1 Mg ¤«>s\¡£|4Jk¦¡£¦«0/|-,H|¡£|4|L|||¤;$> ª
U

$ e V

sk |s¡ ¤,H|<¡£s© ¡£|< |7|s¡ ¤« ¡£| Jk¦¡£¦« |-,H|
3 c>$h h > +* Æ q % , ~%| ||¡£ ¡£||¤||¥
MG
[56+N'AHG MG
Aa1*:*6'AHG HG
|¥s¡£.¡£|||¥4¤k¦¡£kHO|¤Æ.|k<«¡£%¢t|¡£|Ukqsk¤Æ.¢tU¤ s|k@2L R
0/
¡£||¥¡£|U|¤||¥L|¥s¡£4k¡£k¤<¡£ |k<¢t|O|Ë|qs|¥OO¦¡£4|

¡ÆMm¦¡>>||k|¦¡Æs|¢tL|I R |)| , s|>~%|@|k@s¢¡£|Ë|¤||¥
|¥s¡£§k¡£k¤<¡£A¤|§J¤¡£k§A@s£-,H<¡£©E¦¡%k||AJsIR
| ¦¢1¡£| | , s | 4|0 /|s¤<¡qE|M¡Ëk|||s¡ËJ.s|| ¡£
0 /|s¤<¡.| , s|@O¦¡£| |ks%k|¤Æ sH¡£|)| , s| |k¤kJ ¡£|
¤ÆsM¡£'kskL¡£|>¤ s|k%|||¤§§ªÏ . -> |k|¥ L 1 Mg 9s|
> ª©
ªÏ .
->§|k|¥HL 1 Mg > ª
qM¡g qM¡g
|¥ ¡£¦«g0 /|- ,H|©0 /M|¤¦¡£¦ |¥ ¡£¦«g0 /|- ,H|©0 /M|¤¦¡£¦

3 c>$h h > &G EG

G 9G G
3 c>$h h > &G EG

G 9G G
A+=?6 3>$h >'N EG

3 c>$h h > &G EG
>$:*: c1=
G

l

G 9G G
A+=?6 3>$h
3 c>$h h >
>$:*: c1=
>'N EG
&G EG

G

l

G 9G G

>$:*: NO
l
3 c>$h h > &G EG
@>+ c*36
G

G 9G G
>$:*: NO
l
h > `6N NO G

l
§¡£|gk¤|/ qM¡q|Js¡£AªÏ .->.|k|¥HL1 Mg s| > ª ¤ R

k¤<¡£¦ |||¤#¡£| ¡£||ok|s© ¨ q#s¦¡£k ¡£¢¹s¤ s| |IR}¢¹s¤
¤qsk| ¦
ªÏ .
->§|k|¥HL 1 Mg > ª
qM¡ & qM¡ &

3 c>$h h > &G EG
G 9G G
3 c>$h h > &G EG
G 9G G

c*36
G
@>+ c*36
l

c*36
G
@>+ c*36
l

3 c>$h h >

c*36
G
@>+ c*36
&G EG

l
G 9G G

3 c>$h h >
c*36

G
@>+ c*36
&G EG

l
G 9G G

'
#

Ïª .-> |k|¥ 2| ~"2>~ O¦¡£ J¡ R |k¤kk|¥ >¥|£ ¡£ /R
Js¡£|k ¤¡Æs||¥Ok|J ||R¤ s|kbO|¤Æ1sR|s¡ k,H«ËgJ¡ R
|k¤kk|¥|

3 c>$h h > &G EG
G 9G G c*36
G

3 c>$h h > &G EG
G 9G G
@>+ c*36
l

c*36
G

3 c>$h h > &G EG
G 9G G
@>+ c*36
@>+>$:*: c1=

l

l
¡£|)¡£|k qM¡q%¡£|;¡£|| k|)© ¨ q |¥| ¤qsk
¡£|.k|¦¡@|k¤||¥;¡£ ¡@s¢O¡£|. s¡Ë¤qsk | q ;UË¤qsk ¡£|
k|¦¡L¢tO|¥@¡£ ¡>s¢E¡£|4 s¡>¤qsk ¦. > ª |k¤«k |¦A|Ë¤ s|ks
s||k /MP , ¡£¦>|k¤k||¥O¡£| Sk¡Es¡ s¢M¡£|'k|sRªÏ .
->g|k|¥ 2| R
~ 2>~ |k¤«k s s||k /MP , ¡£;s¢b¡£|@O|Ëk|s© ¨ q.|¥|
"
E Os¤qsk Ë¡£|%k|¦¡|k¤||¥¡£ ¡bs¢¯¡£|% s¡¤qsk | qËU
¤qsk ¡£|Hk|¦¡g¢tO|¥.¡£ ¡s¢1¡£|H s¡¤qsk ¦.~%|H|||¤ ¤ s|k
skg¥¦«AJg

3 c>$h h > &G EG
G 9G G h > `6N NO &G
G

3 c>$h h > &G EG
G 9G G
a5NO6+36+:*6'A A 4 9G
l

a5NO6+36+:*6'A A 4 EG
G
@>+h > `6N NO &G
l

2L¥s\¡£|LJs¡£|k1|||¤. ªÏ .-> '¤,H|<¡£sO| > ª

\|s¡q8-k|¥OL1 g M ªÏ .->¥|£ ¡£g0/|s¤<¡£¦L¡£|b¡£||g|qs
k|s
ªÏ .->§|k|¥HL1 Mg > ª
qM¡ % qM¡ %

3 c>$h h > &G EG G 9G G
h > `6N NO &G
G

a5NO6+36+:*6'A A 4 9G
l
3 c>$h h > &G EG G 9G G
h > `6N NO G
G

3 c>$h h > &
G EG G 9G G
@>+Lh >`6N ON &G
G

a5NO6+36+:*6'A A 4 EG

l a5NO6+36+:*6'A A 4 EG
l

P '

________
/
xKx x x\
/x ¨ x x \
/ x x xkx\

/x

x x x \
/ x x x x\
/x x x x \

/ x x x x\
/x x x x \
( 7 ' @
--------
R¥|k 1M 1M© 2L#0/|-,H| ¥sO|¦¡£ R}¡£R0,H« Jk¦¡£ ¡£| Q
||¥-,Hs
6.5 Learning illegal chess endgame positions

@¡£|%¤Æ|kb||¥-,H%|, s 1 |¦¡£ |¥s|.QOg«kk| (U s¤Æ |¥|
k ¡£ 4<h h 648M*h
|k¤kJ /|¥¥<¡£<¡ s± ÎB s| || s Î* ±b¡£|A¡Æsk¥<¡
1G ,N'G d 1G d`N'G " 1G ",N H¡Æ ¡£§O|<¡£|
¡£| Jk¦¡£ O|k ¡£| 1 |¦¡£ |¥ A ¡ 1G ,N ,¡£| 1 |¦¡£

QO@ ¡ d 1G d`N Es| ¡£| (U s¤Æ |¥ ¡ " 1G ",N 'sH¥s
1 |¦¡£ R}¡£ R0,H«1Jk¦¡£\

R¥|k 1M 1>||¤<¡£¡£|%0 /|- ,H|1¥sJk¦¡£
4<h h 648M*h 8!G 1MG3'G 3BG3'G B ,
> ª ¡£|.s¤Æ¥k|||O|¥.¢t¡£|Ëqsk||¥)¡Æsk ËkI R
kk¡£ ¡ Uk ¡£|b *: -**36! G
4s| h 6'A'A [5 G
,|| R
¤q ¡£|¥/¡£ ¡4£s| )S 4s£s¤¡4¡£;£s| )S
Ts|£s| )S
kb¡£sH£s| )S
HkkJ¤<¡£¦«¦~%|Lsk¥ ,H¡£bs¢m¡£|kLs¤Æ¥k||
|k|¤q ¡£.sk)|s¡ ¡ J s|¡£|)£- ,H)|k|¤q ¡£.sk)|k ¢tHJs¡£
¡ J.s¢sk¥ ,H¡£# ªÏ . ->J'qs¤Æ s¢¡£|k;|k|¤q ¡£ k| s¤
A¡ U.|k|¤q ¡£m|g¢tqs¤Æ)¡ JËs¢sk¥ ,H¡£O~%|ÏªÏ . ->A|k

' #

¡£|@¢tO|¥.k ¡£|©*: -**36! 4<h 6 G

>s| h 6'A'A 4<h 6 G
O¦¡£

sk¥ ,H¡£Os¢ ¡ J 4<h 6 O¦¡£§«ss|QH¡£E[ ,1*: -**36! NO G
%s|
h 6'A'A NO G
RO¦¡£Hsk¥ ,H¡£bs¢J¡ JQ NO O¦¡£@«ss|O%¡£B ,s|
Os¦¡
||k/¢t%Js¡£§¡ Js¢Esk¥ ,H¡£
~%| 0 /MJkP ,H¡£AO¦¡£ ªÏ . -> s| > ªUk J¢t? ,H# ¡£|
£- ,H¡££s||¥s|#¡£¡£|¥k<¡£;s/|k /|¥¥<¡£#<¡;s± Î B ±
~%|k Uk S|«H? , sRk<¡£gs¢L+ **§0 /|- ,H|qs¤Æs| S|«H sk¥Ëk<¡£gs¢
+ ***;0 /|- ,H|Ëqs¤Æ\bs¤Æ s¢O¡£|§k<¡£@1s@|ks )¡££s||¥)k<¡@¢t
> ª s|ªÏ . -> |k|¥ 2| "~ 2>~Ys|L 1 Mg , ~%| |||¤
k<¡£'s¢\¤ s|kbUk¡£| ¡£¡£§sb|k¤kJ /|¥¥<¡£ <¡1s± Î B ±©
¡£|¤ s|kUM¡Æs| ¢tk ,G? , s|k<¡'UkL¡£¡£ H¡£| /-***g0 /|- ,H|
¢tk ,3¡£|@ sk¥Ëk<¡£4s|¡£|@¤ s|kgM¡Æs|¢tk ,Tqs¤Æ sk¥Ëk<¡gUk
¡£¡£)§¡£|gk , s||¥Ë /-**@0 /|- ,H|
~%|g¤ skk S¤q ¡£§|k¤||kO|k)AªÏ . ->.Uk¡£|¤ skk S¤q ¡£
|k¤||kOs¢i¡£|g¤kkkJ|||¥ ¡k¡£k|M¡£ R}«ss|Lqsk|k U¡£|k|
M¡Æs| 2| "~ 2>~ @¡££s|k¤k||¥>¡£||¤k@¡£k'¡£gk|
s|L 1 Mg ¡£| ¤ skk S¤q ¡£ |k¤||kH1s@sg¢tO©¦¢Os 0 /R

- ,H|%b¤«k§@¡£|¤ s|k's¢m¡£| 4<h h 648M*h\|k|¤q ¡£|T S|¦¡£ k|
¢t1¡£|g¤ sk ,¦¡%%¤ skk S)sOJk¦¡£¦«s|s¡£|OksO|¥ ¡£¦«s
~Rs|.
1M¦ ¥¦«¡£|Hkk|¦¡£g¡£| ¤Æ|k4||¥- ,H 0 /MJkP ,H¡q ~%|
¤ skk S¤q ¡£§s¤¤|£s¤<§1¥¦«A.¡£|Jk¤¡Æs¥gs¢ ¤kk¤<¡£¦.¤ skk S
¡£¡£|¥A|¡Æs|¤s| ;¡£|@¡Æs|sk |<« ¡£ k , q«£s¥ « /
0 /MJkP ,H¡£E~%| Sk¡E¡ U>kOsk'¡ÆssË¢tk , /|¥¥<¡£Ë<¡s± Î B ±
¡£|.¡£|k 4¢tk , || s Î * %s| ¡£|§ s¡@¡£|k§kO |kk¡H¡£|
kk|¦¡£s¢b|>0 /MJkP ,H¡£Ës¡£4¡£ ¡>¡£|@kk|¦¡£L¢tk , || s Î *
! !Q1!: ! ! !Q1!: !
->.: 2/./!/> :1 2/./!/> :1
= %%-5 +5 'N+!

!5 % +! %-5 % +!
) @ ..Y* 5 'G !5 5 ' / !5
7 5 5 * /
5 *G 5 % $5 1/ !5 %7 5
5 :1
= ) =! *!5 G 5 ''5 / !5 %7 5 !5 :1
= ) **!5
G
5 5 / !5 %7 5
5 :1

!#"%$&')(!*+'-,./0)1213423576,#')2!*+2,#1'8219*+:<;=$>;@?:')'
1A35BC

!" $# %
& 0) 1 ,*>,#*21A ,#1 *+:='+BC *+0+2121371A *+' *+213C')*+' :=*+2BC' 21
*+:(' 0)' * * & ,>0), & '
0).,#0 *) (1,+-.0/ 21 *+: *+:20)A .,#0 21345) * *+2,#1,+..0/
21 *+: .,#(0 *+: .,#0=6) (17+-8.1A 21 *+: ' * * & ,/0), & '94;:=< *+2BC' 0)
3#2?# > 1 .,#0 A@CB*D*EG#F 8C . B 21.0+BC : *+2BC'>3#2?>#1 .,#0IHKJGLI<M) 21?(A
*+0+1' .,#0)B *+2,#1 *+, *)*+0)2(*+ EN > ( .,#0)B6/ 0)1213 1A *+0+1' .,#0)B *+2,#1
215*+,O1PI1 Q ? (')'
J 1 0)2.G/ ,#1C*+: ')B *+0+21213=')*+'5HKJGLI<M) (')2139B)R)SJ") TBM> L VU & 2!*+:
6,#' *"E 60), ?')')213X7 W ,#(*+60 .,#0)BCAZYT[MJGH =B ??,#0)A213 *+, *+:]\NE *+' * .,#0 A E
61A15*&'+BC6'/ *+:2' 0)')(!* 2' ')23#12?' ?15* * *+:^ ^ _8` #> (B !*+:,#(3#:
HKJGLI<M/ ) (')213aLI3cbedf3g 60 .,#0)BCA ')23#:5*+?h & ,#0)') *+: 1iYT[MJGH(/ *+:2'&0) E
')(!* 2' 1,* ')23#12?' ?15*6U # > 1 * *+:6F.` #> jW 8 : ? (')'7,#*21A
& !
2 +
* 6
: K
H G
J I
L M
< )
)
0 =

&
' )
'
: #
, 0 * 1A (1A0)' *1A kU *+0+1')6 0)15* W '2YT[MJGH(l '
[ 1 *+: 0)3#=*+0+21213C')*+' ,*+: '"h ' *+BC' 60 .,#0)BCA m ( ?h & MQ ,*+:
HKJGLI<M) 1AnYT[MJGH 60 .,#0)BCA B (?:/*)*+0 *+: 1n1<M4;3 1Ai4oJ"d,[H
B !*+:,#(3#:OHKJGLI<M7 ) 2' '), & 0 *+: 1OYT[MJGH(5 / 2!* 2' B (?: .' *+0 *+: 1a1<M4;3
1Ap4oJ"d,[H qHKJGLI<M/ ) 2'&'), & A A, & 1 B 21?h h *+: 6 0 *+'>2BC6BC15*+A
21r: 0),#,#3R / *+: *
2' *+:;1PI1Q 215*+0 .? 1A ')6?2 ?h *+: 6,#' *"E 60), ?')'),#0
B BC,#0) C s ?215*&2BC6BC15* *+2,#1 & ,#(A ')23#12?' ?15*+?h 2BC60),#> 2!*+' ')6A
Y ,#0 2(' *+0+ *+2,#1t& / .,#0*+:8')B *+0+21213 ')*+'= / *+:8#> 0+3# *+2BC ')615*
,#1 *+0+1' .,#0)BC213 *+, *)*+0)2(*+ EN > ( .,#0)B6/ 0)1213 1A *+0+1' .,#0)BC213 *+,
1PI1- Q .,#0)B & ' 0/ 1Ak#+ =')?,#1A' .,#0=B)R)SJ") TBM> L / 1A 0/ # 1A
+ ')?,#1A'>.,#02LI3cbedf3gu/ 0)')6?*+2?#> ?#h
7
Y ,#0 2(' *+0+ *+2,#1t / *+: ? (')' 21A(?A hpHKJGLI<M) (')213kB)R)SJ") TBM> L
U & 2!*+: 6,#' *"E 60), ?')')213X& W .0),#B ,#1 ,. *+:7')*+'=,.>.. v BC6' 0)73#2?#> 1
, &
wNxxyz0{Xx U|9}~a}f}n}O}9W O

wNxxyz0{Xx U|9}~a}f}n}O}9W 5
wNxxyz0{Xx U|9}~a}f}n}O}9W {XX{Xy \ wNxy U|9}rW }I~V5
wNxxyz0{Xx U|9}~a}f}n}O}9W {XX{Xy \ wNxy U|9}rW }
{XX{Xy \ {K U~a}9W
Nw xxyz0{Xx U |9}~a}f}n}O}9W |O} {XX{Xy \ {K U~a}9W
wNxxyz0{Xx U9 | }~a}f}n}O}9W |O}*~V5
:') ? (')' B h 6 0+6:0+')A-'"a B 6,#')2!*+2,#1 2' 235

2!. *+:
Q ? ; 213 2',#1*+: '+BC 0+1R ,#0a' 'uU2 ?/>2' *)*?A hRW *+:
$&, , / ,#0 *+:5
b<:2!*+>; 213 1AC*+:*Q ?7; 213 0)&1 v * *+, ?: ,*+:0/ ,#0
*+:2b<:2!*+>; 213 1A *+:IQ ? ; 213 0)&,#1 *+:>'+BC&'m ( 0)l!=B !*+:,#(3#:
# % j o!5 , ? !" !
t t
*+:') ? (')' 0) 12!*+:0?,#1')2' *+15* 1,#0

?,#BC6*+/*+:h ?,#0)0)?*+?h ? ')')2!.jh
^F_ 8` , .*+:=(1')1 ?')'
7
ILP as search of refinement graphs
J 1 *+:2' ?: 6*+0/*+:>.0+BC & ,#0C,. 0)' 1BC15* 3#0+6:' 2' (')A*+, A')?0)2
YT[MJGH 1ArHKJGLI<M)#$&' 1BC15*,#60+ *+,#0)'
1A 0)' 1BC15* 3#0+6:'0)=' 0)' *
A' 1A7.,#0cg6J") 1A *+:1 .,#0cYT[MJGH 1AHKJGLI<M) :20
:h 6,*+:')2'')6 ?'
0) A*+0)BC21Ah *+: 0)' 1BC15*&,#60+ *+,#0)' *+:h (') :2' 1 ' *+:
?,#BC6 0)2'),#1 ,.TYT[MJGH 1A]HKJGLI<M) 21C*+0)BC' ,. *+: v 60)')')2?>#1')'>,. *+:20
:h 6,*+:')2' 13#( 3#'/ *+: ?,#BC6 v 2!*=
h ,.*+:200)' 1BC15* 3#0+6:'5 / ' &
'>*+: ')'), ?2 *+A ')0)?: ?,#' *+' :2' ?: 6*+0 2'> ')A ,#1 *+: A' 12!*+2,#1

1A 1 ?h ')2' ,.
0)' 1BC15*>3#0+6:'&2161 0),#' 2 1AnH > 0+ ? ^^
7.1 ILP as search of program clauses

H * (' 0)? +* : * BC,#' * 0)1213 *+?:12 m (' A')?0)2A421 *+:82!*+0+E
*+(0)=?1/> 2 & A '>')0)?:/*+?:12 m ('/2!*+:0 :(0)2' *+2?=,#0 v: (' *+2?>#

g 2!*+?:^F
:>' * *+' 217*+:&')0)?: ')6 ?>0)&?,#1?6* A')?0)26*+2,#1'
/
1A *+: 3#,552' *+,2' 1A ,#1 ,#0BC,#0) ' * *+'
'+ *+2' .jh 213&*+:om ( 2!*h ?0)2!*+0)2,#1
:2' ')?*+2,#1/3#2?# > '&70)2.
')(BCB 0"h ,.CJGH : '&')0)?:t/ A2')?(')')A 0)A0h

21n) ?*+2,#1 C1Ai4 : 6*+0* +
B 0)1213 '"h ' *+B ?1 A')?0)2A 21*+0)BC'>,.
*+: ' *+0)(?*+(0) ,.2!*+'
')0)?: ')6 ?/ 2!*+' ')0)?: :(0)2' *+2?' 1A ')0)?: ' *+0+ *+3# h J *C2'76,#')')2

*+, ' *+0)(?*+(0)/*+:/')0)?: ')6 ? h (')21383#10+2 *+2,#1 1A ')6?2 2 E
*+2,#1 ,#60+ *+,#0)'OY ,#0= ')?*+A8 13#( 3#72 '
1A 3#2?#> 1 ? 3#0),#(1A

1, & A3# I/ ')6?2 2 *+2,#1U 0)' 1BC15* W ,#60+ *+,#0)'CA' 1 '),E ?A
& :2?:/3#2?#> ' *+:=' *+0)(?*+(0) ,.*+:=:h 6,*+:')2'>')6 ?
J 1 JGH :T / ?,#1?6*CA')?0)26*+2,#1'70)')*+'7,. 60),#3#0+B ? (')'7B '7A2'GE
?(')')AC21A4 : 6*+0=+05 / ')0)?: ,. *+: ')6 ?&,. 60),#3#0+B ? (')' ?1760), ?A
"!#%$'&(!*)+ / .0),#B 3#10+*+, ')6?2?' ?]U g6J") /KYT[MJGH(/qHKJGLI<M)R> -, !*."!*-$"/0
W ,#0 /
.0),#B ')6?2?' ? *+, 3#10+oU 4oJ"d,[H(/qd,[H 3giW J 1/*+,#6SE A, & 1 '"h ' *+BC'/ *+:
')0)?: .,#0 /? (')C' *0 *+' & 2!*+: *+: BC,#' * 3#10+ ? (') 1A ?,#15*+21 ('
# %01
# % G ?M(? o!c t 1
h 2!*+0+ *+2?>#C')0)?:213 ,.&/0)' 1BC15* 3#0+6: A' 1A h8')6?2 2 *+2,#1
U0)' 1BC15* W ,#60+ *+,#0)'AJ 1 ,*)*+,#BE (6 '"h ' *+BC'/*+: ')0)?:8' *0 *+' & 2!*+:
*+:=BC,#' *&')6?2?' ? ? (')=?,>#0)213C'),#BC=6,#')2!*+2?># vBC6' & :2?:/2' # 3 1SE

0+2 A 21 *+:=? (')=3#10+2 *+2,#160), ?')'
P > 213 A' 1A*+: ' *+0)(?*+(0) ,. *+: :h 6,*+:')2' ')6 ? ,.1kJGH : '"h 'GE
*+B6/ *+: ')0)?: ' *+0+ *+3h 1A :(0)2' *+2?'0)B 21 *+,> ')6?2?' A
.$
0 # 2'=*+: A')20)A-')0)?:-' *+0+ *+3h/(* *+2BC ?,#BC6 v2!*h (')( ?h 0) E
m (20)' *+:=?:,#2? ,.
'),#BC ')2BC60 ' *+0+ *+3h')(?: ' , 0 #
,#0 >#1
$ ,
cY ,#0 vBC6/ *+: ')0)?: ' *+0+ *+3h (')A 21]4oJ"d,[H 2' ' *"E
' 0)' * ')0)?:t/ & :25g6J") BC6,h ' ')2??h=0)A*+:SEN' 0)' * ')0)?: & 2!*+:7'),#BC
2BC60),# > BC15*+'6YT[MJG H ')0)?:' *+: 0)' 1BC15*73#0+6:821 /3#0)A0h/:2 E
?2B 213 B 1107
Y 21 ?h
/ *+:')0)?: ' *+0+ *+3h 21 HKJGLI<M) A61A' ,#1
*+:= *)*+0)2(*+ EN > ( 3#,#0)2!*+:B (')A Y ,#0 v BC6
/ 21 HKJGLI<M) (')213O4;L
*+:=')0)?: ' *+0+ *+3 h 2' B%')0)?:
:0) 0) * & , *h 6',.=')0)?:<:(0)2' *+2?'" :(0)2' *+2?' & :2?:A20)?*
*+: ')0)?: 1A :(0)2' *+2?' & :2?: A?2A & :1 *+,C' *+,#6/*+: ')0)?:t / ?A
"!# " .
Y #
, 0
v
C
B
6

/
2 1 +
*
:
?
)
'
, . +
* #
, S
6 E
A , & 1 U #
3

1 0+&*+,
')6?2?' ?W ')0)?:t/ BC')(0) ,. A2')?0)2BC21 *+2,#1 * & 1/6,#')2!*+2?# > 1A 13E
*+2?#> = v BC6'&?1/ (')A '> :(0)2' *+2? .,#0&A20)?*+2137*+:=')0)?:t/ 1A
217*+:>?')&,. ,*)*+,#BE (66U ')6?2?' ?&*+,=3#10+jW / BC')(0)>,. 21.,#0)B *+2,#1
?,#BC60)')')2,#1
& ,/*h 6 ' ,. ' +* ,#66213 ?0)2!*+0)2 ?1 A2' *+213#(2'):A :A' 0)' * A E
*+0)BC21' & : 1C*+, ' +* ,#6C(2A213==? (')/ '),#BC*+2BC' ?A7*+: #

"!# " !*
5 B ' #
,
( +
*

2
1
/
A
2 p
1 )

? +
*
2 #
, i
1 +

S /
2 1
v

? *
A #
, B

2 1' *+:2'
?0)2!*+0)2,#1 (')( ? h 0) m (20)' ?,#1')2' *+1?h & 2!*+: 0)')6?* *+, *+: ')* ,. *+0+21SE
213 vBC6' 1A ? 3#0),#(1u A 1, & A3#6 U' *+,#6 0) ' 1213/ ? (') & :1
2!*C1, ,#13#0 ? , >#0)' 135 *+?2 >#/ vBC6' W :/')?,#1A ?0)2!*+0)2,#t 1 / '),#BC E
/
*+2BC'?A *+: "!# " !*
/5A*+0)BC21' & :1C*+,=' *+,#6
(2A213 1 & ? (')'7.,#0 *+:*0)3#* 60)A2? *+A ' 12!*+2,#1 g/,#' *C,. *+t 1 /
*+: ')0)?:.,#0C1 & ? (')' 2' *+0)BC21 *+A & :1<&6,#')2!*+?2 >#/ vBC6'
: >#71 ? , >#0)tA / 2 ? / & :1 *+: 21A(?A : h 6,*+:')2' 2' #!* " & 2!*+:
0)')6?*>*+,7*+:=*+0+21213 ')* 1A*+: ? 3#0),#(16 A 1, & A3# J 1/,#0)A0 *+,
,#*21 BC,#0)7?,#BC6 ?*=?,#1?6* A')?0)26*+2,#1' 1A *+, ?:2 >#C1,#2') *+,#G0 E
1? /!*+0)1 *+?2 >#&' *+,#66213 ?0)2!*+0)2 B h 662t A / & :2?: 0)>(')( ? h7,.
7' * *+2' *+2? 1 *+(0)
Q 213 BC620)2?tJGH
: '"h ' *+BC'/tYT[MJGH-1AiHKJGLI<M)/?,#1')2A0 vBE
6' 21 ,#1 0)(1 :h0)/*+: (' *+, (') ' * *+2' *+2?&:(0)2' *+2?'C.,#0
1

? o!( $# %
A20)?*+213 1A *+0)BC21 *+213 *+: ')0)?: 9) (?: :(0)2' *+2?' 0) ')')15*+2 .,#0
: 1A213 1,#2'"h8*+0+21213 vBC6' 1A : >#/1 ')(??')' .(?h-(')A 21
*)*+0)2(*+ EN>(=0)10)'IP>(0)2' *+2?' (')A 21iYT[MJGH 1AiHKJGLI<M) 0) ,#(*"E
21A/2i
1 4 : 6*+0 B BC,#0)= ,#0+ *+=A2')?(')')2,#1 ,.A2 0)15* :(0)2' *+2?'
2
?1/ .,#(1A 2n 1 4 : 6*+* 0 F
7.2 Defining refinement graphs

H *&(' 0)?*+: A '
1 2!*+2,#1' ,.E ')(')(BC6*+2,#1 1A 3#10+2!*h .0),#B ) ? E
*+2,#1 H * 1 A * & ,860),#3#0+B ? (')' 4 (') 2'C *C' *
' 3#10+ ' ? (') U
W=2!. E ')(')(BC' /2 ?/2!. *+:0) v2' *+'

')(' *+2!*+(*+2,#1S/ ')(?: *+: * : ,* 21 ^#^ 4 (') 2'7BC,#0)
3#10+ *+: 1 U e W 2!.
:,#A' 1A
A, ' 1,*cJ 1 *+:2' ?')/

& '+h *+: * 2'& ')6?2 2 *+2,#1 ,.

H * ')*C,. 60),#3#0+B ? (')' : .,#, & 213 A' 12!*+2,#1' 0)
*
A 6*+A .0),#B ) : 620), ^F+ 1A6H 20)A ^FF *
!#"%$& " !# "!*
B (' 2 '> B
662137.0),#B

*+,' 12!*+ ')(')*+'>,. M/ ' " *),+ U 2W /')(?:/*+: *> ? (')'&21 ' U W

0) ')6?2 2 *+2,#1' ,.*+:=? (')
H * ' C0)' 1BC15* #

, 60+ *+,#0>1A 1A * & , ? (')'
21
24 (') 2'>

, . ? (') 2!. 2 '>C')6?2 2 *+2,#1

, . / 2 ?/2!. - ' U W

. "%$/0 B 2' =A20)?*+At/?h ?2?&3#0+6: 21

& :
2 ! &(

? :

)
0 C

6 )
0 #
, #
3 +
0
B
?

( )
'
'
1 A
?,#0)0)')6,#1A8*+,/0)' 1 E
BC15*C,#60+ *+2,#1'/ 2 ?/ *+:0)/2' 1 0)?.0),#B *+, / } - M/ 2!.
- ' U W
B 0)' 1BC15* ,#60+ +* ,#0 ' B 6'> ? (') *+, ')* ,.2!*+' 0)' 1BC15*+'
' U W h-BC6,h 213 * & , ')2? '"h 15*?*+2? ,#60+ *+2,#1'7,#1 ? (')'" ')(' *+2 E
*+(*+213 n > 0)2 & 2!*+: +* 0)B6/ 1A AA213 2!*+0+ *+, *+:, A0h ,.
? (')
B 0)' 1BC15* ,#60+ *+,#0 ' 21A(?' C3#10+2!*h/,#0)A0)213 ,#1
IY ,#0
3#?2 >#1 0) ' 1BC15* ,#60+ *+,#0 ' /
*+:C0) *+2,#1 2' BC,#0)C3#10+ l 2' A1,*+A
h 21 Y ,#0 * & , ? (')' 1A / 3215 :,#A'&2!.*+:0)= v2' *+' A20)?*+A
6 *+:-.0),#B *+, 21 *+: 0)' 1BC15*C3#0+6: 21A(?A h ' J 1.,#0)B ?h/
# G ?M(? o!c t 1
21I BC1'&*+: * ?1 ,#*21A/.0),#B h C')0)2' ,. 0)' 1BC15*
' *+6'
7.3 A MIS refinement operator

, 2 (' *+0+ *+ *+:1,*+2,#1 ,. 0)' 1BC15*C,#60+ *+,#0/ & 0)2Rh8A')?0)2
*+:
' 0)' 1BC15* ,#60+ *+,#0 ,.(g6J") ) : 620), ^F+
B ')')(BC213 3#2?>#1i'0vA ')* ,. 60)A2? *+71A .(1?*+2,#1 '"h B ,#'/ *+:

' ' 1BC15* ,#60+ *+,#0 2' A' 1A '&216) : 620), ^F+0/66 &#^ .
)
0 *
4 (') 2'&
,.
? (') /2 ?/ - ' U W / 2!. "

91A TU }}}Wr & :0)
9' * 1A' .,#0 *+:
BC6*h ? (')/ ,#13#'*+, *+: ')* ,. 3#2?>#1760)A2? *+ "' h B ,#'/51A
/ / / C0) A2' *+21?*5>0)2 '
2' A '
1 2!*+ 60),#3#0+B ? (') 1A 2' ,#*21AC.0),#B h AA213
*+,7*+:=, 0 A h,. 2!*+0+ & :2?:/: '&,#1=,.*+: .,#, & 2 13 .,#0)BC'"
#2 / & :0) ,*+: 1A , ??(0 21 cB ?*+( ?h/ 21 *+:
,#0)23#21 A' 12!*+2,#1t/ 2' ,#*21A .0),#B h (12!.jh 213 1A
/ (* *+:2' 2' m (2?>15* *+,/AA213 *+:72!*+0+9 &*+,
*+:=, 0 A h,.
2U"! }#!$}}#!&%W / & :0)M
,#13#'*+, *+:&')* ,. 3#2?>#1
.(1?*+2,#1C'"h B ,#' 1A'! }#!$}}#!&% 0)2>0)2 ' 1,* , ??(0GE
0)213821 e B 3521t/ 21 *+: ,#0)23#21 A' 12!*+2,#1t/ 2' ,#*21A
.0),#B h 21' *15*+2 *+213>*+,aU"! }#!$}}#!&%W
+)(*"U"! }#!$}}#!&+W / & 3 2?>#1')*&,.60)ASE
: 0),(* ,#13#' *+, *+: #
2? *+='"h B ,#'&1A-! #} !$}}#!&+, ??(0&21

d ?2 >#1 *+:760)A2? *+ '"h B ,#/. y .10 y S/ *+: 0),E 6 ? .(1?*+2,#1 '"h BE
,# U ?,#1' *15* W %
1A=*+: * & ,E 6 ?.(1?*+2,#1 '"h B ,# 32 ! qU 465 Ui}#!rWW /
' U
7 . y 1
. 0 y R
U
i
}
#
! W Wu98:. y .10 y RUi}uW };. y .10 y RU }uW }

. y .10 y RU i} |2 ~ jW}. y .10 y RUi}#!AW(<. y .10 y RU"!=}#!W#= :M' 0)' *&0) E
' 1BC15*>2' 3#10+ *+A/h(')213 *+:' 0)' */*+: 1 v *&* & ,C(')2137*+:=')?,#1A
1A *+:= ' * (')213 *+: *+:20)A 0)( .0),#B *+:=A' 12!*+2,#1 ,. '
>@?BA:CED"CFHGJIJAKMLG6FNIPOQFHRD"CSLHKUTVA:C/TJFHGVWCPTYX:GVCZ[QI\F#TVC^]_FI@TVRFHO O àD7TJFHG"TJD^b6[ TVAaTVA:CEIPOQFHRD"C
]cMd >fe d)g e\h\h\h\e d)ij^kmlnfoqp h ?BA:[QDBIPOQFHRD"C/[QDYGVCPrs:CZat&àFZ:Z[ s:WuO [ TVC\GJFHOQD$TVLu[ TJDBtvLZ`w$x:LG
IPLs&yC\s:[ C\sIPCzFHs_C\{XT7àtvLZ`|[QD6b6GV[ T"TVC\s_[ sD7TVCFZ|LHKlnfoqpw
1

o!( !N j f t # #
Y
21 ?h/#* (' BC15*+2,#17*+: *5g6J") ')0)?:' *+:>0)' 1BC15* 3#0+6:C*+,#6SE
A, & 1t& / 21 0)A*+:SEN' 0)' * .'):2,#1 : 60)(1213 BC?: 12')B 2!*C(')' 2'
')A ,#1 *+: .,#, & 213 60),#60 *h ,. 0)' 1BC15*+'" 2!. ? (') A, 'C1,*
?,>#0 1 v BC6/ 1,#1=,.
2!*+' 0)' 1BC15*+' & 2(U')r) ?*+2,#1 XW
7.4 Refinement operators for FOIL and LINUS

:2' ')?*+2,#1 A' 1' *+: 0)' 1BC15* ,#60+ *+,#0)' .,#0;YT[MJGH 1A]HKJGLI<M)0B '
+* : & ,#0 ,.CHKJGLI<M) ?*+( ?hCA61A' ,#1 *+: (1A0)?h 213 *)*+0)2(*+ EN>(
3#,#0)2!*+:B (')At/ *+: (') ,. 6 0 *+2?( 07 *)*+0)2(*+ EN>( 0)10/;4;L S/
2'/')')(BCA 21 ,#0)A0 *+, A')?0)2 *+: 0)' 1BC15* ,#60+ *+,#0 .,#06HKJGLI<M)
1A *+: & h 21 & :2?: HKJGLI<M) ')0)?:'7*+: 60),#3#0+B ? (') ')6 ?7J 1
*+: * ?') /,*+k
: YT[MJGH 1A HKJGLI<M)C')0)?: *+: :h 6,*+:')2' ')6 ? 21 *+,#6SE
A, & 1 B 110
1A *+: ,#60+ *+,#0)' *+:
h (') 0) ')6?2 2 *+2,#1OU0)' 1BC15* W
,#60+ *+,#0)'
7.4.1 Refinement operator for FOIL

: 216(* *+,OYT[MJGH ?,#1')2' *+'>,. "

*0)3#*&60)A2? *+) ,.0)2!*h / A' 1A h 7')* ,.
3#0),#(1A.?*+' /
' 12!*+ ')* ,. 60)A2? *+_

O ' (* ,. 0)2!*+2' *N/ ?: A' 1A h ')* ,.
3 0),#(1A .?*+'.,#0 ?: 60)A2? *+ 1A2!*+' 135 *+2,#1 YT[MJGH
# ? ,#BC6(*+'
*+: ?,#0)0)')6,#1A213R/
6,#')')2?h BC6*h/')*+'|* 1A
| * ,. 2)0 0) v2?>#
6 0 *+2 ,#0)A0)213#' * & 1 6 20)' ,.0)3#(BC15*+'
Y ,#0 vBC6/ 21 *+: ? :')'

1A35BC A,#B 21t/ A')?0)2A 219) ?*+2,#1 _8S/ *+:
*0)3#* 60)A2? *+>2' wNxxyz0{Xx U|9}~a}f}n}O}9W1A ? 3#0),#(1Aa 1, & A3#
9?,#1')2' *+'7,. *+: 60)A2? *+' {XX{Xy \U i#} !AW 1A xy:5:5 \ { Ui}#!W pJ 1
*+:2' ?') wNxxyz0{Xx / 0/
/ ( {XX{Xy \ / S//(A xy:5:5 \ { /
; S /
R/ R / ; 8 != 1A ;
: !# "!*
' B

6 =
'
?

( )
' *+, ')* ,. ? (')'
& :2?: 0)CBC,#0)C')6?2?' ? *+: 1 64 (') 2'
,. ? (') /
2 ?/ - ' U W
/ 2!. "
g
s x zWGVLR:sZK FI@TJDFHGVCaGVCD7TVGV[QI@TVCZTVLIPLsD7TJFHsTNTVR:X:O CD\z$[ w Cw zTVLIPLsTJFH[ s Ls:O `
IPLsD7TJFHsTFHGVWR:{C\sTBy#FHO R:CDFHsZ|s:L)D7TVGVRI@TVR:GVCZ|TVC\GV{)D\w
# G ?M(? o!c t 1
1A TU }}}Wa

& : 0)
' *1A' .,#0 +* :
BC6*h ? (')/ 82' *+:7*0)3#*=60)A2? *+7'"h B ,# /
1A / /
/
0)=A2' *+21?*5>0)2 '
60),#3#0+B%? (') 1A 2'&,#*21A/.0),#B h AA213C*+,C*+:

2' C
, A0h ,. 72!*+0+ & :2?:/: &
' ,#1=,.*+: .,#, & 2
1 3 .,#0)BC'"
#2 ,#0 B4 \u5 & :0) ,*+:1 1A , ??(0 21
)(*"U"! }#!$}}#!&+W,#0 B4 \ (*GU"! }#!$}}#!&+W / & :0)|(* 1A
*>' *&,#1=,. ! }#!$}}#!&+660)' 21
+ TU"! }#!$}}#!W ,#0 B4 \TU"! }#!$}}#!W / & :0)u! / !$/ /q!
, ??(0 21 1A *+:0) B (' * v2' * *' * ,#1u*.0),#B *+: :A
,. / ')(?:/*+: * 1/20)0) v2?># 6 0 *+2 ,#0)A0)213* !*:,#A'/
2 ?/ * !* ,#13#' *+, *+: ')* ,.&,#0)A0)213#'=')'), ?2 *+A
& 2!*+:/? (')
: 20)0) v2?># 6 0 *+2 ,#0)A0)213#' 0) (')A *+, >#,#2A ?,#1' *+0)(?*+213 0) E
?(0)')2?>#-? (')' & :2?: ?,#(A421>#, *+:BC')?>#' & 2!*+: *+: '+BC-0)3#(SE
BC15*+' *+: h & 0)?A & 2!*+: U *+: ('7?(')213 1-210' 12!*+C, ,#6W nJ . 2!*"E
0+_ TU"! }#!$}}#!W 660)' 21 *+: , A0h ,. <? (') & 2!*+: :A
TU }}}W / *+:1 *+0)BC21 *+213 0)?(0)')2,#1=2' 3#( 0+15*+A 2!.U* !*
:,#A' .,#0 '),#BC w Y ,#0 BC,#0)/A*2A *+0) *+BC15* ,. *+:2'C')( )?*')

(21 1 ^^. o* B 0)?15* A >#,#6BC15* 21 *+: (') ,.,#0)A0)213#'&*+, >#,#2A
201 ' 12!*+ 0)?(0)')2,#1 2'&A')?0)2A/2n 1 4 BC0),#1/1A
(21 1 ^^+ *
b<2!*+: ?:7? (') 2'
')'), ?2 *+A7 ')* ,. ,#0)A0)213#'
,. 2!*+' >0)2
' /
' *2'):A h *+:C2!*+0+' 21 2!*+'=, 0 A h# >2'=A*+0)BC21A ??,#0)A213*+,
*+:=0)('&3#?2 >#1 , & "
B ')'), ?2 *+A & 2!*+:/*+: ? (')|TU }}}W; 2' 1 BC6*h/')*
,.
,#0)A0)213#'
b<:1 AA213 2!*+0+' *+, *+: , A0h/,. ? (') /

?: 13#'=' .,# E
, & '"
#5J . 2!*+0+ A 2' AAA8*+, *+: , A0h ,. ? (') & 2!*+:8
')* ,.,#0)A0)213#' *+:1/*+: 1 & ? (') & 2 : ># C)' * ,.
,#0)A0)213#'
/ & :0) , ??(0)0)1?' ,.S 1A 21 0)
(1?2 ' A *+, ,#*21

1 o!( !N j f t # %
5J . 2!*+0+(*"U"! }#!$}}#!&+W>2' AAA *+, *+:7, A0h ,. ? (')
& 2!*+:8')* ,. ,#0)A0)213#' *+,/,#*21 ? (') & 2!*+: ')* ,. ,#0GE

A0)213#' / 13 A (* : ' ')*,. ,#0)A0)213#' |*N/ *+:1 ,

\G {65w \ w y x74v5 y U |*W 1 ,#3#,#(')? h/ & : ># i

\G {65w \ w y x74v5 y U | *W .,#0 2!*+0+ B4 \u(*GU"! }#!$}}#!&+W
& 2!*+:/')*>,.
,#0)A0)213#' | *
+ q / & :1 2!*+0+ , .*+:=.,#0)B T
U"! #} !$}}#!W #
, 0 B4 \
TU"! }#!$}}#!W 2' AAA +* ,*+:7, A0h ,. ? (') *+, ,# *21
? (')
Y ,#0 vBC6/ 2!. ? (') 2' wNxxyz0{Xx U|9}~a}f}n}O}9Wc xy:5:5 \ { U|9} 9W /
*+:1 * 8| =X/ ' *
/1A
JV !" P# $
8| = :2!*+0+ wNxxyz0{Xx UA}~a}f}n}O}9W B h8AAA-*+, *+:
, A0h ,. / ')21?(| :,#A'=U| - "W(* wNxxyz0{Xx U5}~a}f}n}O}9W
B h 1,*/ ')21?=1, ,#0)A0)213 :,#A' .,#0 2!*9U| - GW
: , # "!*
&% ,. 1, A>21 0)' 1BC15* 3#0+6: 2' *+: 1 (B 0
,. 2!*+0+'*+: * ?1 AAA *+, *+: , A0C h ,. *+: ? (') 21C*+: 1, A(J *
?1 ??( *+A h ')(BCBC213 *+: 1 (B 0)' ,. 2!*+0+' AAA 21 ?: ,.
*+: ,# > &?')' :>1 (B 0 ,. 2!*+0+'2' * & 2? *+:>1 (B 0 ,. A2 0)15*
?:,#2?' ,. 0)3#(BC15*+'=.,#0 *+:C ? 3#0),#(1A 60)A2? *+' / ,#1?C.,#0=6,#')2!*+2?#>
1A-,#1? .,#0 135 *+2?# > 2!*+0+' ) (66,#') & : #> / ? (') & 2!*+: x
A2' *+21?*2 > 0)2 ',U 0).0)0)A/*+,C'>,#A > 0)2 'W : 1 (B 0&,.2!*+0+'
AAA/21 ?: ?')=2' 3#2?# > 1/, &

#|0 ('*) -,
+

x ' U x/. W "
*+:0) 0)0) 1
+
, A2' *+21?* ?:,#2?'
,.
6 20)' ,.
,#A >0)2 '

|0#2 *I 0' ?U x13 * . W
&+
. U * . W
&+
/4 &
: 0) *&2' +* :0)2!*h
,. 60)A2? *+;(* " 1 BC?h/ C
* >0)2 '&: ># *+, ?:,#')1 .)0 ,#B x
>0)2 '>1A * . 1 & > 0)2 'rU * ' * ,#1 ,.*+: ?:# , ')1 *
>0)2 ' B (' *>=,#AW
5 ?BA:[QD [Q7
D 67RD7T;FHs R:X:XvC\G,tvLR:sZ z b6A:[QIJA ZL&CD_s:LHT_TJF"8C[ sTVL FI\IPLR:sT TVAF#T;D"L{C
O [ TVC\GJFHOQDuIPLsTJFH[ s:[ s:W;s:C\b y#FHGV[QFHt:O CD X:GVLZRIPC C29R:[ y#FHO C\sTIPOQFHRD"CD c FHO X:AFHtvCPTV[QI|y#FHGV[QFHsTJDJj
b6A:C\s FZ:ZCZaTV; L :#wx:LGB[ sD7TJFHsIPCzTVA:C O [ TVC\GJFHOQD=<@pl?>Spfp2@$cMd eBA eBC jYFHsZD<@pl?>Spfp2@$c CêBA e dj
X:GVLZRIPC 2C 9R:[ y#FHO C\sTIPOQFHRD"CDNb6A:C\sFZ:ZCZ TVL;TVA:C IPOQFHRD"/ C E?FF pGIHF"c A eBJaeLK/eBM eBN)eBO juk
F p PQP l R#HS@$c A eBT j
# G ?M(? o!c t 1
+|0
&'
U*
*
* U . W ) *, x } & :0) 2'
*+: 0)2!*h ,. *+: *0)3#*
4
60)A2? *+ 1A
>?,#15*21' A2 0)15* ,#0)A0)213#' * !*N/ ')(?:
*+: _ * * 2' 21 *+:7:A ,. " 3#2?>#1 1 ,#0)A0)213'* !*.0),#B /
& ?16 ? 1h ,. *+:
x >0)2 'C21 *+: 0)B 21213 .
0)3#(BC15* 6 ?' : > 213 A2 0)15* ,#0)A0)213#'/
*+:2' 3#2?>#' 0)2')C*+,

) , x

?:,#2?'C,. 0)3#(BC15*+'/ (* & /B (' * *+:1 0)BC,># *+:
?:,#2?' & :0) * & , U ) , x
,#0)A0)213#'>:,#A

W / 1A/*+:1 AA *+:

?:,#2?' & :0)=*+:0)=,#0)A0)213#'&:,#AuS

U ) , x 4 W / *+?

4
:0+1?:213 . ?*+,#0 ,.> 1, A 21 *+: 0)' 1BC15*73#0+6: 2' *+:1
3#2?>#1/h *+: .,#, & 2
1 3 .,#0)B ( "

~r U W(m0 3 0#2 * 3 0
U !W

* 4
& :0) x ' *1A' .,#0 +* :=1 (B 0&,.

? 3#0),#(1An 1, & A3#=60)A2? *+'|(*
Y ,#0=*+: ? (') wNxxyz0{Xx U|9}~a}f}n}O}9Wf x y:5:5 \ { U|9}9W=21
*+: ?:')' 1A35BC
v BC6/ & : ># x S/ / 0/ ;

S/ 1A *+:=0+1?:213 .?*+,#0 .,#02YT[MJGH 2'"
~r
U W= '> 3 ' '9UU 3

. W . U . W W 3

" '=='
++^.F
7.4.2 Refinement operator for LINUS

: 216(* *+,OHKJGLI<M)?,#1')2' *+'&,. "
6 0)A2? *+ ,. 0)2!*h /

* 0)3#* A '
1 A h ')*=,. 3#0),#(1A .?*+'/
1A *+: *h 6'>,.
2!*+'&0)3#(BC15*+'
/ / / 0/
' 12!*+ )' *>,.
60)A2? *+'a(*,.
0)2!*+2' */ & 2!*+:*+:20
r ? ,#0)0)')6,#1A213

A' 12!*+2,#1' >1A *h 6'>,.0)3#(BC15*+' * /
60)A2? *+= / * &+/
i' 12!*+ ')*C,. 11,* *+A 60)A2? *+'nU .(1?*+2,#1'WA ,. 0)2!*+2' /
& 2!*+: *+:20 ?,#0)0)')6,#1A213C60)A2? *+=A' 12!*+2,#1'/*h 6' ,.
216(* 0GE

3#(BC15*+' q / / q /1A *+: *h 6 ,. *+: ,#(*+6(*&0)3#(BC15* | /
?BA:[QD|KMLGV{NR:OQFFDVD"R:{CDaTVAF#T FH{Ls:WTVA:C LGJZC\GV[ s:WDa[ s "!\zSs:LT7bYLLGJZC\GV[ s:WD
d#%$ C #FHsZ)d#%$ C'& zSE)*, ( + zA:LOQZ w-&O [ WATY{LZ[ rvI\F#TV[ LsD$LHK TVA:CKMLGV{NR:OQF FHGVCs:CIPCDVDVFHGV`
D"A:LR:OQZaTVA:[QD6tvC TVA:C I\FD"Cw
.0/ GVCZ[QI\F#TVC)ZCPrs:[ TV[ LsDEFHGVC)D"CPTJD LHKYT7`&XvCZX:GVLWGJFH{IPOQFHRD"CD\zU[ w Cw zD"CPTJDELHKBZCZRI@TV[ yC
Z:F#TJFHtFD"C IPOQFHRD"CD\w?BA:CD"CEX:GVCZ[QI\F#TVCDBI\FHs_tvCEGVCIPR:GJD"[ yCw

1 o!( !N j f t #
)' *
,. * h 6 A '
1 2!*+2,#1' ,. *+: .,#0)B 8 }} + =X/ & :0) /
/ + 0) A 2 )0 15*&?,#1' *15*+'&,#0 *+)0 BC' & 2!+* :?,#1' *15*>0)3#(BC15*
>('
J 1 HKJGLI<M) /*+: ? 3#0),#(1A 1, & A3# .,#0 *+: ?:')'71A35BC A,#B 21
?,#1')2' *+' ,. *+: 60)A2? *+' {XX{Xy \ {K / xy:5:5 {K / {XX{Xy \ wNxy 1A
x:y 5:5 wNxy / & :2?: & ,#0 ,#1 0)3#(BC15*+' ,.*h 6'C {K 1Ar wNxy /0)')6?*+2?>#?h
U ')O) ?*+2,#1 _8W : ('/ & 7: # > "up wNxxyz0{Xx / 0/

wNxy / I
{K / {XX{Xy \ {K / S/
4

I

{K / f {XX{Xy \ wNxy / , S/ 2 2 f wNxy / x:y 5:5 {K /
4 S/ 4 {K / x: y
5:5 wNxy / S/
4

V wNxy /

4

{K 8 } S}+0} R} 8S} 0} S}F ==1An wNxy 8 { #} 0} } } y } } z } Y=

/ 2 ?/ - ' U W
4 (') 2'&70)' 1BC15* ,.
? (') / 2!. "
<
1A TU }}}Wk/ & :0)
' *1A'C.,#07*+:
BC6*h ? (')C1A / / /6 0)7A2' *+21?*M>0)2 ' ,. *h 6'

)
/ /
/ ' ')6?2?' A .,#0>*+: 0)3#(BC15*+' ,. *0)3#* 60)A2? *+

2' n1PI1Q ? (') 1A 2' ,#*21A . 0),#B h8AA213 *+,/*+:
, 0 A h ,. 72!*+0+ & :2 ?:/: '&,#1=,.*+: .#
, , & 213 .,#0)BC'"
#*
/ & :0); 2'>>0)2 ,.
*h 6 q & :2?: , ??(0)'>21
1A - q
2 # , 0 B \ 2
4 u / & :0), 1A1 0)>0)2 ' ,.

*+:='+BC * h 6 q 1A ,*+:/, ??(0&21
+)(*"U"! }#!$}}#!&+W,#0 B4 E
\ (*GU"! #} !$}}#!&+W / & :0) ! / !$/ /
!&+
660 21 1A/0) , . *+: ? ,#0)0)')6,#1A2137*h 6'&')6?2?' A
.,#0>0)3#(BC15*+' ,.
60)A2? *+,(*
*U"!
}#!$}}#! }W & :0) ! / !$/&/u!
660 21 1A
0)>,. *+:>?,#0)0)')6,#1A213 *h 6' )' 6?2?' A .,#0 2
1 6(* 0)3#(BC15*+'
,.
.(1?*+2,#1n 1A - |
B '' * *+A 21 *+: 60)> 2,#('
?: 6*+0)'/SHKJGLI<M)=*+0+1' .,#0)BC'*+:oJGH : 60),#SE
B *+,> 60),#6,#')2!*+2,#1 .,#0)B/$&,#(3#:?h ')6 213R/ ?: ,. *+: 2!*+0+' 2' *+A
,#> ?,#0)0)')6,#1A' *+,7 60),#6,#')2!*+2,#1 . *+(0) 3#10+ *+Ah HKJGLI<M) A(0GE
213 *+: *+0+1' .,#0)B *+2,#1760), ?')' ,=3#(2A *+:&21A(?*+2,#1 60), ?')'/SHKJGLI<M)
(')' BC*E # > 5 1, & A3#/ & :2?: ?1 v ?(A 1h ,. *+: ,#> .,#(0
# G ?M(? o!c t 1
? ')'/ *+: (' 0)A(?213 *+:7')0)?: ')6 ?,J . & 70)*21 ,#1?h *+:r' 0)' * ?')/

*+:=:h 6,*+:')2'> 13#( 3# 2' 0)A(?A/*+, 1/ *)*+0)2(*+ EN>( 13#( 3#
: 0+1?:213C.?*+,#0>,. 1, A 21 *+: 0)' 1BC15* 3#0+6:/.,#0*HKJGLI<M)
?1 ??( *+A h ')(BCBC213&*+: 1 (B 0)'
,. 2!*+0+' *+: *?1 AAA
*+,7*+:=, 0 A h,.
? (') .,#0 ?: ,.*+: ,># .,#(0 ?')'"
#|0

* 2 *2_/ & :0) * 2' *+:C*h 6C,. *+: w E *+: 0)3#(BC15* , . *+:
*0)3#*&60)A2? *+) .,#0&0)3#(BC15*)*,.*h 6
* / 2 * 2 2!*+0+' , .
*+:
.,#0)B *t 0) 6,#')')2
|0#
' %
) , / & :0) 2'=*+:C1 ( B
0 A 2' *+21?* * h 6'
, .
,. 0)3#(BC15*+' ,. *)0 3#*760)A2? *+ 1A
% 2' *+: 1 (B 0 ,.

0)3#(BC15*+' ,.UC,.*h 6 5.0),#B *+:&0)3#(BC15*+' ,.*h 6

/) , %
A2 0)15*>2!*+0+' ,.*+: .,#0)B *t ?1/ ?,#1' *+0)(?*+A
+|0 *t
4
+
' U
%W

&+ %
/ & :0) * 2' *+: 1 (B 0,.A2' *+21?* *h 6'
, . 0)3#(BC15*+' ,. 60)A2? *+ (*N/ * 2' *+: 1 (B 0 ,. 0)3#(BC15*+' ,.

(* *+: */0) ,.=*h 6
1A
% 2' *+: 1 (B 0 ,. 0)3#(BC15*+'

,. *0)3#* 60)A2? *+-*+: *70) ,. *h 6
& ?1 ' * =6 ?'
.,#0 0)3#(BC15*+' ,. * h 6
21uU
%W

&+ %
& h '/ 21A61A15*+?h .0),#B
?:, ,#')2137*+: 0)3#(BC15*+'&,./(* & :2?: 0)=,.
A2 0)15* *h 6'
|0 5 2 | q2

' U
%W

%

/ & :0) 2 |q2 2' *+: 1 (B 0 ,. >('
,. *+: ,#(*+6(* *h 6C.,#0=.(1?*+2,#1 / 72'=*+: 1 (B 0 ,. A2' *+21?*
*h 6',.216(* 0)3#(BC15*+' ,. .(1?*+2,#19/ 2' *+: 1 (B 0 ,. 216(*
0)3#(BC15*+' ,; . =*+: *=0)7,. *h 6
1A
% 2' *+: 1 (B 0 ,.
0)3#(BC15*+'&,.
*0)3#*>60)A2? *+a/*+: * 0)=,.
*h 6

*+:2' .,#0)B (
2' ,#*21A h8?,#B 21213/*+: 21' ,.&0)'),#1213 (')A 218?')'
,(
1p
A +" ?1 ?:,#')1 21 2 |q2 &
. ?1/=?:,#')1 2

1 U
%W
h ' /
% &
:2=*+: 216(* 0)3#(BC15*+'
& h '
Y ,#0 1, A ' 2 1 *+:C3#0+6:t/*+:C0+1?:213/.?*+,#0=2'=*+:1 3#2?>#18h *+:
.,#, & 213 .#, 0)B ( "

~r U W(~r m0 3 0# 3
* 4
0 * 3
0
U W
LHTVC/TVAF#T6TVA:CEIPL{X:RTJF#TV[ Ls|LHK TVA:CEt:GJFHsIJA:[ s:W K FI@TVLGB[QDBtFD"[QI\FHO O `TVA:CEDVFH{C FDYTVA:C

IPL{X:RTJF#TV[ Ls LHKTVA:C s&R:{NtvC\GLHK F#T"TVGV[ t:RTVCDBTVLtvCERD"CZaKMLG6O CFHGVs:[ s:W[ s qzI\FHGVGV[ CZ "-
LRT[ s &CI@TV[ Lsw zb6A:[QIJA W[ yCDYTVA:C IPL{X:O C[ T7àLHK TVA:C O CFHGVs:[ s:WNTJFD 8qw
- "-
1

! G ? A? o!( $# 1
& :0) x ' * 1A'C.,#0 *+:/1 (B 0 ,. ? 3#0),#(1A 1, & A3# 60)A2? *+'
(*&1A x .,#0=*+: 1 (B 0 ,. .(1?*+2,#1' p) 21? 1, 1 & >0)2 ' 0)
215*+0), A(?A 21 *+: , A0h-,. ? (')/ *+:/0+1?:213 .?*+,#072' ?,#1' *15*
*+:0),#(3#:,#(* *+:=0) ' 1BC15* 3#0+6:t/ 2 ?/ ~raU W(~r .,#0&
~r%2' / 21 .?* / m ( *+, *+: 1 (B 0 ,. 60),#6,#')2!*+2,#1 . *+(0)' 3#1SE
0+ *+A- h HKJGLI<M) A(0)213 *+: *+0+1' .,#0)B *+2,#1 ' *3#p d 2?>#1- ?,#1' *15*
(660 ,#(1A ,#1 *+: 0)2!* hnU1 (B 0 ,. 0)3#(BC15*+' W ,. ? 3#0),#(1A 1, & E
A3#&60)A2? *+ ' / *+:2' 1 (B 0 2' 6,#? h 1,#BC2 21 /5*+:>0)2!* h7,. *+: *0)3#*
60)A2? *+ /1A x / *+: 1 (B 0 ,. 60)A2? *+f ' U1A .(1?*+2,#1' W 21C*+: ? E
3#0),#(1A 1, & A3# :2' .?* : ' 1 (')A *+,860) , ># 6,#')2!*+?2 >#n
: B*4=E
0)1 22!* h-0)')(!*+' .,#0 ?,#1' *+0+21A,#3#2?/60),#3#0+BC' 2e
1 1 0),#' 2 *
^^
Y ,#0 *+:7?:')'=1A35BC vBC6/60 9 'uFk F0/60#f 'ZUS) 4 , 3
) 4 , Wu S/_0
4
0 0 0
4 4 4 4 ' +
e
F0/>*+: ' * ?')
?,#15*+0)2(*+'&1,C1 & 2!*+0+'/1A*+:=0+1?:213 .?*+,#0 .,#2
0 HKJGLI<M)2'"
~r F 3 3 ' F 3 ., +
7.5 Costs of searching refinement graphs
: 2'C')?*+2,#1 ' *+2B *+' *+: ')0)?: ?,#' *+' ,.YT[MJGH 1A HKJGLI<M);) 0)?:
?,#' *+' A61A ,#1 *+:/?,#BC6 v2!*h 21:0)15*C*+, *+:/')?*+A 13#( 3#
U *+: 0+1?:213 .?*+,#0 ,. *+: 1, A' 21/*+: 0)' 1BC15* 3#0+6:W /*+: ?,#' *+'
,. >( *+213 *+: :(0)2' *+2?'fU *+: 1, A >( *+2,#1 ?,#' *+'W / 1A *+: ')0)?:
' *+0+ *+ 3 h# g/,#0) ')6??2 ' ??h/')')(BC213/ ?,#1' *15* 1, A >( *+2,#1 ?,#' *
n9A/ *+:7*+,*')0)?:8?,#' * 2' 3#?2 >#1 h *+:760), A(?* ,.n9 1A *+:

1 (B 0 ,. 1, A' ')0)?:A M Y ,#0 ')?*+A ')0)?: ' *+0+ *+3h/ *+: 1 (B 0
,.1, A'>')0)?:A A61A' ,#1 *+: 13*+
: 99,.
*+: ? (') 3#10+ *+A
1A *+:=0+1?:2137.?*+,#2 0 ~raU W ,.*+:=1, A'&21*+:=0) ' 1BC15*>3#0+6:
B ')')(BC213 ?,#1' *15* 0+1?:213 .?*+,#A 0 ~rA/ & ,#*21 *+: .,#, & E
213 v60)')')2,#1' .,#0 ')0)?: ?,#' *+' ,.&*+::2 E ?2B 2131A B ')0)?:
' *+0+ *+3#2'"
Nw xx v4 5 \=9 'p~r ' n9 U +W
~ y{ .] v4 5 \=~ y { .

wN \ '9 'p~r ' n9 U XW

: 1, A/>( *+2,#1 ?,#' * n9 21?(A' *+:/?,#' * , . >( *+213 *+:
')0)?:-:(0)2' *+2?' 1A *+: ' *+,#66213 ?0)2!*+0)2 kJ .2~r 1 A n9 0)C1,*
# G ?M(? o!c t 1
?,#1' *15*/ *+: ,>#= v60)')')2,#1'>?: 13# ??,#0)A213#?h#
Y ,#*
0 YT[MJGH(/ m ( *+2,#1 U +W 662';~r 1A n9 0)=1,* ?,#1' *15*
:0).,#0) / *+: 0+1?:213 .?*+,#0)'~raU W=,.&? (')' ,#13/*+:')0)?:
6 *+: U?,#BC6(*+A h
m ( *+2,#1 U !WW 1A *+: ?,#0)0)')6,#1A213C1, A >(SE

*+2,#1 ?,#' *+' n9aU W : ># *+, ?,#1')2A0)A C :0).,#0)
/
m ( *+2,#1ZU +W
2' BC, A?2 ' A ' .,#, & '"
wNxx 4v5 \= ~raU W;'n9aU W
U _8W

J 1pYT[MJGH(/ *+: ?,#' * n 9aU W&,. >( *+2137*+: ')0)?: :(0)2' *+2?' 1A *+:
' *+,#66213 ?0)2!*+0)2 A61A' ,#1 *+: 1 (B 0)' ,.6,#')2!*+2?# > 1A=135 *+2?>#*+(6'
?,#
> 0)A h *+: ? (') : ('/ & : #> n9 U W= ]U U WW / & :0)
U W= 2 2 1A 2' *+: , ? *+0+21213 ')*9U *+: ')*&,. *+(6' ?,>#0)A/h
_W> < 1.,#0 *+(1 *+?h
/ 21 YT[MJGH *+: ')2 ,. ?1 21?0)') & :1 2!*+0+

& !
2 +
* :
1 & >
)
0 2

'
2'AAA *+, *+: ? (')fU ')2) ?*+2,#1 !W / & :2?: B '
2!*&A2?C s ?(!*&*+,C3#2?#> 1/ v ?* ,#(1A/.,#0 n9 U W ;Y ,#0 ')2BC62?2!*h/ &

')')(BC n9 U W( ]U W / & :0) 2 2 2'*+:&1 (B 0 ,. v BC6'
21 *+:7212!*+2 *+0+21213 ')* = :2' ')2BC62?' ? *+2,#1/A' *+, *+: .,#, & 213
U ?0)(AW ' *+2B *+ ,. *+: *+,*
?,#' *=,. 21A(?213 ? (')7,. 13*+: 9
& 2!*+:6YT[MJGH "
wNxx 4v5 \ ]U 9 'i~r ' W

J 1eHKJGLI<M) (')213 4;L S/ & :0)/*+: ')0)?:' *+0+ *+3h 2'CB ')0)?:t/

m ( *+2,#1 U XW 662' : 0+1?:213 .?*+,#0]~r 2' ?,#1' *15* & :2
*+:/1, A > ( *+2,#1-?,#' * n9aU W9>0)2'/ A61A213 ,#1 *+:/1 (B 0)'
,. 6,#')2!*+2?#
> 1A 135 *+2?># vBC6' ?,>#0)A h ? (') : ('/ & : >#
n9 U W2 ]U U WW / & :0) U W* 2 2 ' *1A' .,#0>*+:71 (B 0 ,.
*+0+21213/ v BC6' ?,#> 0)A h8*+: ? (') ) 21? 21 HKJGLI<M) *+: ')2 ,.
*+:>')*
A?0)')' ' ? (')>2' 0)' 1At/ & : ># U W Z .,#0 2 2_/
1An9 U W( ]U W
B 1 AA2!*+2,#1 ?,#' * 21HKJGLI<M4 ) 2' 2BC6,#')A 4 h *+: *+0+1' .,#0)B *+2,#1
.0),#B *+: ,#3#2? 60),#3#0+B .,#0)B 215*+,8*+: *)*+0)2(*+ EN
> (/.,#0)B 1Ae> 2?
>#0)'+ :-*+,* ?,#' * ,. (')213HKJGLI<M) & 2!*+:V4;L
2' *+:1 *+:-')(B
,. +* :-*+0+1' .,#0)B *+2,#14?,#' *+' 1A *+:-?,#' * ,. *+:-')0)?: .,#0 ? (')'
:?,#' *7,. *+0+1' .,#0)BC213/*+0+21213 vBC6' .0),#B *+: 1PI1Q .,#0)B *+,

*+:C *)*+0)2(*+ EN>( .,#0)B 2' * {65 4v5 \ = Z ]U~r ' W }
& :2 *+:8?,#' * ,. *+0+1' .,#0)BC213 1421A(?A42!. E *+:1 0)( *+, 1PI1Q
1

*j f t #

? (')/2' * {65 4v5 \
= ]U 99W / & :0) 9 2' *+: 1 (BE
0,.=?,#1A2!*+2,#1' U2!*+0+'W721 *+: 0)( U? (')W B 1<' *+2B *+ ,.=*+:
*+,* ?,#' *&,.
21A(?213 7? (') & 2!*+:6HKJGLI<M) 2' *+:1n~ y{ .] 4v5 \
]U~ y{ .
wN \
' 9 'p~r ' 3 ~r ' 3 99W
/' *+: 1 (B 0 ,.S>0)2 ' 21 ? (') 3#0), & '/~r U W
,&?,#1?(A
3#0), & ' ??,#0)A213#? h#7 :2' A' *+, B (?: 0)3#0 ')0)?: ')6 ?C21uYT[MJGH
A ~r
1, ~ y{ .
wN \ o ' ~r : ('/ *+: BC,#0) v60)')')2?># 1SE
1 YT[MJGH ?(')' wNxx 4v5 \ *+,& 3#0) *+0 *+: 1,~ y{ .] 4v5 \
3#( 3# 2f
7.6 Comparing FOIL and LINUS

: /:h 6,*+:')2' 13#( 3#(')A 21ZHKJGLI<M) 2' BC,#0)0)' *+0)2?*+A *+: 1 *+:
,#1 (')A 21 YT[MJGH =L>,*?h/ 1, 1 & >0)2 '70) 215*+0), A(?A 1A 1,
0)?(0)')?2 >#=? (')'&0) , & A 21 *+: 21A(?A ? (')'o4 ,#1')m (15*+?h/ *+:
? ')' ,. 60),#BC'*+: * ?1C&'),#?>#AChAHKJGLI<M) 2' ')B 0*+: 1 *+:&? ')'
,.
60),#BC' *+: *&?1/='),#? >#A/ h6YT[MJGH
:0+1?:213 .?*+,#0 ,.> 1, A 218*+: 0) ' 1BC15* 3#0+6:-21A2? *+'
*+: ')0)?: ?,#BC6 v2!* h & :2?:2' 21:0)15* *+, *+: ?,#1?6* A')?0)26*+2,#1 1SE

3#( 3# ) 21? HKJGLI<M) (')' -BC,#0) 0)' *+0)2?*+A< : h 6,*+:')2' 13#( 3# /
*+: 0+1?:213 .?*+,#07,.>*+:/1, A' 21 2!*+'70) ' 1BC15* 3#0+6: 2'7')B 0
*+:0).,#0) />')0)?:<?1 BC,#0) sC?215* HKJGLI<M) '), (')'BC* E
>#
1, & A3# *+, 3#(2A>*+: 21A(?*+2,#1 60), ?')' & :2?:?1 .(0 *+:0 0)A(? *+:
0+1?:213 .?*+,#0( J 1 *+: ?,#15*+ v *&,. *+: v60)')')?2 >#1')' - sC?21
? h/*+0+A E
, C/2!*&(')' 7')'& v60)')')?2 ># 13#( 3# *+, 3521 sC?21 ? h#
J 1 ,#0)A0 *+,?*+( ? h/?,#BC6 0) *+: 0+1?:213 .?*+,#0)' ,. *+: * & ,"' h G' E
*+BC ' / *+: 0) ' 1BC15* ,#60+ *+,#0 .,#I 0 HKJGLI<M) '):,#(A 0)' *+0)2?*+A/*+, ?')'
16 A +0/2 ? /*+,7(')2137 m ( 2!* h1A ? 3#0),#(1A/60)A2? *+'&,#1? h#c J 1*+:2'
?') /S0#2 0 1A 0 * 0#2 * :2' 2' A(7*+,*+:
4
.?* *+: * *+:&21.,#0)B *+2,#1 ,#(**+: * h 6' ,. >0)2 '2' (')A *+,=0)' *+0)2?*
*+: ?:,#2?' ,. *+: 6,#')')2 60)A2? *+ 0)3#(BC15*+' 1A *+, *+: .?* *+: * 1,
1 & >0)2 ' 0) 215*+0), A(?A :7 *)*+0 ?('), ' ~r *+, ?,#S 1 E
' *15 ~r U W 21?0)')' & 2!*+: *+: 1 (B 0
,R
* / & :2 . >0)2 '21
:
2BC2!* *+2,#1 ,C . HKJGLI<M) *+,70)1213 1,#S 1 E 0)?(0)')?2 ># ? (')' .(0 *+:0 21?0)')'
*+:=A2 0)1? * & 1 *+: * & ,C0+1?:2137.?*+,#0)' : ( ' /*+:=0+1?:213
.?*+,#0 .,#5 0 HKJGLI<M)2' B (?: ')B 0 *+: 1 *+: ,#1 .,#5 0 YT[MJGH(/ & :2?: , & '
\x R:[ s:OQFHs

FHO GVCFZ`TJF"8CDY[ sTVL)FI\IPLR:sTYT7`&XvCD\z:t:RT6LR:GFHGVWR:{C\sT6D7TV[ O O
A:LOQZ:D\w
# G ?M(? o!c t 1
HKJGLI<M) *+, BC,#0) sC?215*rP>, & >#0/ *+: ?*+( 60 .,#0)B 1? 3#0) *+?h
A61A'>,#1 *+: & h +* :=0)' 1BC15* 3#0+6:/2' ')0)?:A
,* ')0)?: ?,#' * A61A' '),/,#18*+:C')0)?:-:(0)2' *+2?' 1A8' *+0+ *"E
3# h n) 21?kHKJGLI<M) (')'7 *)*+0)2(*+ EN> (70)1213 3#,#0)2!*+:BC' .,#0=21A(? E
*+2,#1t/ *+: :(0)2' *+2?' (')A 2182!* A61A ,#1 *+: BC?: 12')BC' (')A 21 *+:
*)*+0)2(*+ EN
> ( 0)10)'CJ 17*+: ' *+2B *+2,#1 ,.')0)?:C?,#' *+'*+: (') ,.*+:
4;L C3#,#0)2!*+:B & ' ')')(BCA 5J 1/*+:2'>?') / ,*+:iHKJGLI<M/ ) 1AiYT[MJGH (')
' * *+2' *+2??/ h ')A8')0)?:8:(0)2' *+2?'=1A ' *+,#66213 ?0)2!*+0)2 :C')0)?:
' *+0+ *+3#2'=0) :2 E ?2B 213 21 YT[MJGH 1A B ')0)?:821 HKJGLI<M) (')213
4;L od 2?#> 1 *+: 237A2 0)1? 21 *+: 0+1?:2137.?*+,#0)' 1A*+: ')2BC2 0
')0)?: ' *+0+ *+3#2' / *+: *+,* ?,#' * ,. 21A(?213 ? (') 21HKJGLI<M) 2'
')B 0
*+: 1 *+: *&216YT[MJGH
Part III
Handling Imperfect Data in ILP

8
Handling imperfect data in ILP
: 2B ,. *+:2' ?: 6*+02' *+,&60),> 2A.,#0 *)*+0 ?,#1?6*+( 5(1A0)' *1ASE
213 ,.A2 0)15*2 21A' ,.2BC60 .?* A *0/ ' & ' *+: BC?: 12')BC' 1A
:(0)2' *+2?'=.,#0=: 1A213/2BC60 .?* A * 218 *)*+0)2(*+ EN>( 0)1213/1A
JGH : : ?: 6*+0 3#2?>#' 1 ,>#0"> 2 & ,. *+: A2 0)15*M 21A' ,. 2BC60 .?*
A *81A *+: 0) *+A 1,#2') E : 1A213 BC?: 12')BC'J 1 1,#2') E : 1A213R/
:(0)2' *+2?'=6
h ?15*+0+ 0),#7 :C0),#' ,. ??(0+?h 1A 21.,#0)B *+2,#1SE
')A:(0)2' *+2?' ' & ' *+: 60),# 22!* h7' *+2B *+' (')A21C*+: :(0)2'GE
*+2?' 0) A2')?(')')A 1A 2(' *+0+ *+A ,#1 1= vBC6 ?:')'1A35BC 60),#B/
8.1 Types of imperfect data

J 1 0) E 2!. A,#B 21'/ 0)1213 '"h ' *+BC' ,. *+1 : >#>*+,
A & 2!*+:C2BC60 .?*
A * :0) 0)>0)2,#('; 21A'&,.
2BC60 .?*+2,#1' 21A * 0/ 2 1 ?(A213"
1,#2')/ 2 ?/ 0+1A,#B 0)0),#0)' 21 *+0+21213 vBC6' 1A ? 3#0),#(1A
1, & A3#/
21')(0sC?215*+?h/?,>#0)A vBC6 ')6

?/ 2 ?/*+, , ')6 0)') *+0+21213 vXE
BC6' .0),#B & :2?:/2!*&2' A2?sC?(!* *+C , 0)2 ?hCA*+?* ?,#0)0) *+2,#1'/
21 v?*+1')'/2 ?/ 1=21 660),#60)2 +*

A')?0)26*+2,#1 13#( 3# & :2?:=A, '
1,*>?,#15*21 - .?22!* *+ 1 v?* A ')?0)26*+2,#1/,.*+:=*0)3#*>?,#1?6*/
1A
BC2')')213r>(' 21*+: *+0+212137 vBC6'
*
B ' 6,#215*+A #, (* 21pQ 0+ A21Au4 0 ^^. / 1,#2'"h A * B h 21:0GE
15*=*+,*+: & ,#0)A 213 ,#')0">#AeU 3?/ A(7*+, *+: 2C B 60)?2')2,#1 ,. '),#BC
A> 2?W ,#0 *+,/*+: *+0+1')BC2')')2,#18,. ,#')0"> *+2,#1' *+, *+: 0)1213/'"h ' *+B
# %
# X r *j!(!f
t
U 3?/2BC60 . ?* BC')(0)213 m (26BC15*/*+0+1')?0)26*+2,#180)0),#0)'W iY (0 *+:0GE
BC,#0)/ *+:0) B h '), u '"h ' *+B *+2?/0)0),#0)'l 21 A * U 3?/ ?(')A h
21?,#0)0)?* ?20+ *+2,#17,. BC')(0)213 m (26BC15* / '), *+: * 2!* 2' 0)A213 ?,#1SE
')2' *+15*+?
h , & W
b :1 0)1213>21 1 )* *+0)2(*+ EN>( 13#( 3#/ *+: .,#(0T 21A'
,.A *
<
2BC60 .?*+2,#1' 0) ' .#
, , &
' "
1,#2') 2 1 *+: *+0+21213 vBC6'/ & :2?: ?1 * +* : .,#0)B ,. 0)0),E
1,#(' *)*+0)2(*+M>('>1A- ,#0 0)0),#1,#('>? )' ')2?' ? *+2,#1',Uj>(' ,.
*+:=? )' '5>0)2 W /
*+, , ')6 0)') *+0+212137 vBC6'/
1 21 660),#60)2 *+U'),#BC& *)*+0)2(*+' B h 1,*

&0)>15* W
,#021')(0sE
?215*9U2BC6,#0 *15* . *+(0)'&B h =BC2')')213XW )' *&,. *)*+0)2(*+'/(')A
*+, A')?0)2 *+:= vBC6'/ 1A
BC2')')213 *)*+0)2(*+M>(' 21*+: *+0+21213 vBC6'
J 1 GJ H :T/ & :10)1213 )0 *+2,#1 A')?0)26*+2,#1' 21 ' 0)' *"E ,#0)A0C 1SE
3#( 3#
/ *+: .,# , & 213 .,#0)BC' ,
. 2BC60 .?*&A * 0)=(')( ? h C

B *"
1 ,#2') 21 *+: *+0+212138 vBC6' U?(')A h 0)0),#1,#('

0)3#(BC15*
>(' 1A- ,#0 0)0),#1,#(' ? ')')2?' ? *+2,#1 ,. .?*+' ' *+0)( ,#0 . ')W /'
& ' 1,#2')=21*+:= ? 3#0),#(1A6 1, & A3#/
*+, , ')6 0)') *+0+212137 vBC6'/
21 660),#60)2 *+pU'),#BC60)A2? +* '7B h 1,* 0)>15* W ,#0 2 1')(0sE
? 215*uU')')15*+2 60)A2? *+'B
h BC2')')213XW ? 3#0),#(1A 1, & E
A3# / 1A
BC2')')213 0)3#(BC15*5>('&21 *+: *+0+212137 vBC6'
H 0)1213 '"h ' *+BC'&(')( ?h : ># 7')213# BC?: 12')B .,#0 A213 & 2!*+:
*+:' 0)' *&*+:0), 21A'&,.
2BC60 .?*&A *0/2 ?/ & 2!*+: 1,#2'"h/ 21?,#BC6*+ 1A
21 v?*A *V) (?:<BC?: 12')BC'/&,. *+1?A ! 0$ %& # $

/
0) *h 62??h A')23#1A8*+, 60)>#15* *+:C21A(?A :h 6,*+:')2' .0),#B
! .
*+:A * ')*/ 2 ?/*+, >#,#2A-,>#0)?h ')6?2?' ??,#1?6*CA')?0)26SE
*+2,#1' g/2')')213 >('&0)=(')( ? h : 1AA
h/7')6 0+ *+=BC?: 12')B/

X 2 $#
) (??')'),#0)' ,.
*+:9JG1+C1AiB *)*+0)2(*+ EN>( 0)10)'>21?(Af>0GE
2,#('a 21A',.=1,#2') E : 1A213 *+?:12 m ('V3 0)?hZJGH : '"h ' *+BC'/ ,#1 *+:
,*+:0>: 1At / A2A 1,* AA0)')'>*+: 2')')( ,. 0)12137.0),#B 2BC60 .?*>A *
) #> 0+
0)?15*JGH : '"h ' *+BC'/ :, & #> 0/ 21?(A ,#0+ *+=1,#2') E : 1A213
BC?: 12')BC'
8.2 Handling missing values

@ (' ,. )* *+0)2(*+'-0)3#(BC15*+' ,. *+0+21213 vBC6' ?1 BC2')')213R/
& :2?: 2'>.0)m (15*+?h *+:7?')721 0) E 2!.=A * ')'9L>,* B 1h 0)1213
'"h ' *+BC' 0) ?*+( ?7 h *+, : 1A&BC2')')213=A *(<>')( ?h/ f 1, & A3#
13#210 : '=*+, '),#?# > *+:2' 60),#B .,#0) ?*+( ?h 0)(11213 /0)1213
'"h ' *+B/ : BC,#' *&.0)m (15* & h *+,C'),#?# > =*+: 60),#B%2'&h/0)6 ?213C
BC2')')213; > (IU (')( ?h ?A A,#1tl *T 1, & l> (W h *+: B ),#0)2!*hI> (
,. *+: *)*+0)2(*+ - 0)3#(BC15* & :0) B ),#0)2!*h 2'
?,#1')2A0)A & 2!*+:21 *+: ? ')'
*+, & :2?: *+:C*+0+21213/ v BC6 & 2!*+: BC2')')213]> (C,#13#' *+,6J * 2'
2BC6,#0 *15*=*+: * *+: B ),#0)2!*hi > ( & 2!*+:21 *+: ? ')' ,. *+: v BC6C2'
?,#1')2A0)A821' *+A ,. *+:CB ),#0)2!*hn > (721 *+: & :,#7*+0+21213')* / '
*+: *)*+0 ?1AC*+, ?,#15*+0+A2?*+,#0"C h A *=H * (' * 1 v BC6>.0),#B
BCA2?21C) (66,#') *+: *21=*+: A *&')**+: B ),#0)2!*h ,.6 *+215*+'0) B
1A *+: * *+:2 > ( ,. *)*+0)2(*+ 5y 2' BC2')')213 21C1C v BC65/ A')?0)2213
7*h 62? .B 21')'0)6 ?2137*+: BC2')')213r > ( & 2!*+:]> ( . {Xxy 2'
?0 *21?h & 0),#13
B BC,#0)>'),#6:2' *+2? *+A660),5?: *+, : 1A213 BC2')')213f> (' 2' 2BC6 E
BC15*+A 21 *+: A?2')2,#1SE *+0) 0)1213 '"h ' *+B B)R)SJ") TBM> L
4 ' *+12
0
*> ^F = / (* #> 1 *+:1 Z 1, & A3# 13#210 B (' * ?*
& 2!*+: 60)?(*+2,#1 J 1 B)R)SJ") TBM> L / 1 v BC6 & 2!*+: 8BC2')')213u> (
2'&?*+( ?C h 0)6 ?A & 2!*+:')#> 0+ v BC6'/ ,#1 .,#0 ?:/,.*+:=6,#')')2
*)*+0)2(*+ > ('/ & 23#:5*+A h *+: ?,#1A2!*+2,#1 =U & 2!*+:/0)350)A/*+, *+: ? ')'
,. *+: v BC6W 60),# 22!*+2' ,.=*+:n> (' :') 60),# 22!*+2' ?1
' *+2B *+A & 2!*+:80) *+2?# > C.0)m (1?8 h .0),#B *+: ')*7,. 21' *1?' 218*+:
?(0)0)15*>1, A ,.
A?2')2,#1 *+0)o4;L 4 0 1AnQ ,#' & ^ ^ : 1A'
BC2')')213r > (' (')213 *+:='+BC 60)21?26
J 1 *+: JGH : '"h ' *+B HKJGLI<M) / *+:0),#6*+2,#1' ?1- (')A J 1 HKJGLI<M)
(')213pB)R)SJ") TBM> L *+: ,#> A')?0)2A ,#6*+2,#1 2' : 1AA-h B)R)SJ")E
TBM> L 2!*+')!. e[ *+:0 & 2')/ ,#1 0)m (' */ *+:n1PI1Q 215*+0 .?/,.HKJGLI<M)
2!*+:0 0)6 ?' *+:6 A,#1tl * 1, & lT > ( & 2!*+:8*+: B ),#0)2!*hp> ( ,. *+:
# X r *j!(!f
t
)* *+0)2(*+ .,#0 *+:3#2?>#1 ? ')'/ ,#0 *+0) *+'72!*7' 7 A,#1tl * ?0)lT>(uB 1
vBC6 & 2!*+:u A,#1tl * ?0)l>( 3#*+' v6 1AA 215*+, '>B 1h/ vBC6'
'=*+:0) 0)A>(' 21 *+:C?,#0)0)')6,#1A213]>0)2 *h 6/?: & 2!*+:8,#1
>( ,. *+: *)*+0)2(*+ P 1A2138,. A,#1tl *?0)l>(' 2'C.0)m (15*+?h
60) , > 2AA 21/ *)*+0)2(*+ EN>( 0)10)'rU .,#0 vBC6/ 2!*&2'&2BC6BC15*+A 21
B)R)SJ") T BML> 1A/60),#3#0+BC' ,.*+:fB
.BC2?hC')(?: '*LI3cbedf3giW
8.3 Handling noise in attribute-value

learning
) >#0+ *)*+0)2(*+ EN>( 0)1213760),#3#0+BC' ?,#15*21/BC?: 12')BC' *+,C?,#6
& 2!*+:-2BC60 .?*7A *7) #, BC ,.&*+:B ,#13 *+, *+:,#6 1 , & 1 J 1A(? E
*+2,#14,.O1 ?2')2,#140)' U 21MJG1
(21 1 ^F# jW .BC2?h,.C60),#3#0+BC'
& :2?:<0)1?,#1?6* A')?0)26*+2,#1' 21 *+: .,#0)B ,. A?2')2,#1 *+0)'> / ')(?:

'4oB $
Q 0)2B 1* ^F * 1AAB)R)SJ") TBM> L 4 ' *+12 *> ^F
0

:/60),#3#0+B 4 _8 (21 1 ^^+ 21A(?'C:h 6,*+:')' 21-*+:.,#0)B ,.
A?2')2,#18*+0)'7,#0 ')*+'7,.&2!. E *+:1 0)(' :B 218BC?: 12')B .,#0 : 1SE
A21381,#2') 2121MJG1 60),#3#0+BC' 2' . #% / : ,*+:0 *h 6 ,.
60),#3#0+BC' & :2?: 0)1 .0),#B 2BC60 .?* A * 0) 0)( 21A(?*+2,#1760),#3#0+BC'/
')(?: 'TB 8 /
g 2?: ' 2 * ^#F 1A4;L 4 0 1An> L 2*)* ^F^S/

4 0 1AnQ ,#' & ^ ^ :20 1,#2') E : 1A213CBC?: 12')BC' ?,#1')2' * ,.G/
.,#0 #"
v BC6/

21n4;L / . / !*
1A 21]B 8
J 1 *+0) 60)(1213C1A/0)( *+0)(1? *+2,#1t / *+:=(10)2 6 0 *+'&,.*+: :hE
6,*+:')2' 0) 2BC21 *+A/21 ,#0)A0 *+, 21?0)') *+: 60)A2?*+2?# > ??(0+?h ,.
*+: :h 6,*+:')2';B ' 6,#')2!*+2?# > =')2A E ?*/ *+:=,#*21A/A')?0)26*+2,#1' 0)
')B 05 / ')2BC60 1A BC,#0)&?,#BC60):1')2c0)
A20+ *+?= h A2')0)350)AA
: 21.,#0)B *+2,#1=?0)0)2A h *+: ')'
2BC6,#0 *15*
*)*+0)2(*+'=2' 1,* (')A8.,#0=? ')')2!.jh 213 1 & ?')'/ & :2?:82' '),#BC*+2BC'=
A2'+A0 > 15*3#(> L #> 0 *+:')'
/ =')23#12?' ?15* 21?0)')>21 ? ')')2?' ? *+2,#1C??(SE
0+? h ?1/ ?:2#> A h *+0)=60)(1213C1A/0)( *+0)(1? *+2,#1
L ,#2') E : 1A213 BC?: 12')BC' 21 21MJG1 60),#3#0+BC' 21?(A
> . # % / $
4 ' *+12
0 ! .$ % ! #
*> ^F 1A

,. 0)(' A0)2?#> A .0),#B A?2 E

')2,#1 *+0)' (21 1 ^F 7 :0)C0) * & , *h 6' ,. *+0) 60)(1213" 60) E
$ % /
60)(1213 1A 6,#' *"E 60)(1213 2' 60 .,#0)BCA8A(0)213/*+: ?,#1SE
' *+0)(?*+2,#1/,. A?2')2,#1*+0) 1A/A?2A' & :*+:0>*+, ' *+,#6/,#0 *+, ?,#15*+21 (
*+0) ?,#1' *+0)(?*+2,#1 *= ?0 *21 1, A ! .$ % / / ,#1 *+:7,*+:0 : 1At/
%
X GM M! !j !N I # 01
2' BC6,h#A . *+0 *+:&A?2')2,#1 *+0)&2' ?,#1' *+0)(?*+A (J * ' *+2B *+'*+:>? 'GE
)' 2?' ? *+2,#1 0)0),#0)' 21 *+:C1, A' ,. *+: *+0) 1A *+:18A?2A' & :*+:0 *+,
60)(1 *+:=')(*+0)' 0), ,*+A/ * *+:,#') 1, A'
! .$ % ! #

,. 2!. E *+:1 0)(' A0)2?>#A .0),#B A?2')2,#1 *+0)'

(21 1 ^F 0 / ^F 2'>7.,#0)B%,.0)A(?A 0)0),#0&60)(1213oJ 1/0)A(?A
0)0),#0 60)(121R 3 / ,#60+ *+,#0)' .0),#B 60)A ' 1A ')* 0)662A8*+, *+:21SE
A(?A ?,#1?6* A')?0)26*+2,#1 218 3#0)0 A h B 11 0 / (15*+2*+:C,#60+ *+,#0) ' /2!.
662t A / & ,#(A 0)')(!*=21 A?0)') 21 *+: ? ')')?2 ' ? *+2,#1 ??(0+ ? h ,#1
3#?2 >#1 60)(1213>')5 * U2!*+:0 *+: ')*
.0),#B & :2?: *+: A')?0)26*+2,#1 & '21A(?A
,#0 /')6 0+ *+C*+' *+213 ') * W ]
J 1
*
(21 1 ^F / *+:C6,#' "* E 60), ?')')213 ,.
0)(' A0)?2 >#A .0),#B A?2')2,#1 *+0) 2' 60 .,#0)BCA hn' 0)' *=2BC21 *+213 2G0 E
0) >15* ?,#1A2!*+2,#1'.0),#B ?: ,.*+:&0)(' 1A *+:1C h 2BC21 *+213>0)('
*+: * A, 1,* ?,#15*+0)2(*+ *+, *+: ??(0+ ? h ,.*+: 0)( ')* $&? *+: A. E

212!*+2,#18,.>*+: 20)0) >1? ,. 2!*+0+' .0),#B ) ?*+2,#1 + ' * *+213 *+: *C
?,#1A2!*+2,#Z 1 U2!*+0+j W>218 0)(n U? (') *
W 2' 2!. 2!*=?18C0)BC , >#A
.0),#B *+:=0)(O U? (') W & 2!*+:,#(*>A?0)')213C2!*+' ? ')')?2 ' ? *+2,#1/??(0+ ? h# J .
0)( ? , >#0)' U W vBC6' ,.&*+: 60)A2?*+A ? ')'71A U W v B E
6' ,. 21?,#0)0)?* ? ')') ' / (21 1 60),#6,#')' *+:C.,#, & 213 ? ')')?2 ' ? *+2,#1
??(0+? h ' *+2B *+"
U W . .0_8
|U W(
U W 3 U W
L>,*+ *+: **+:2' +' BC :(0)2' *+2? 2' (')A 21 ? (') 6,#' *"E 60), ?')')213 219HKJGLI<M)

U ')r) ?*+2,#1n8 W
: 0)( 21A(?*+2,#1 '"h ' *+B 4;L
4 01A6L>2*)*=^F^ (')' 1
15*+0),#6hE ')A ')0)?: :(0)2' *+2?/ & :2?:/.>#,#0)'>0)('&*+: *>?,>#0 vBC6'
,.,#1 ? ')' ,#1?# h :2' BC1' *+: */.,#0 vBC6/ 0)( *+: *&?,>#0)' * & ,
6,#')2!*+2?# >
v BC6' 1A1, 135 *+2?># ,#1' & 2 60).0)0)A*+, 0)( *+: *
?,# > 0)'C *+:,#('+1A-6,#')2!*+2?#> 1A * & , 135 *+2?#> v BC6'i ,#2A ') E

?*+213=:23#:?h ')6?2?' ? 0)('/04;L =(')' # "

/ & :2?: 1')(0)'
*+: *7*+:/A2' *+0)2(*+2,#1 ,. v BC6'7?,#> 0)A h *+:/0)(2'7')23#12?' ?15*+?h
A2 0)15* .0),#B *+: * & :2?: & ,#(A , ??(0 h ?: 1? :/')0)?: ' *+0+ *"E
3h (')A 2' B ')0)?: 1A *+: ')0)?:8.,#0 0)(' 2' ' *+,#66A & :1-
v BC6'>0) ?,#> 0)A ,#0 1, BC,#0) ')23#12?' ?15*&? (')'&?1/ .,#(1A
b :2C/')23#12?' ?1?7*+' * 2BC21 *+' 0)(' *+: * 0)C, & ?0 *21
<
*+:0)'):,#A ,. ')23#12?' ?1?/ *+:0) 2' ' *+2*+:760),#B ,. 0)(' & :2?: )(' *
# X r *j!(!f
t
6 ')' *+: ')23#12?' ?1? *+:0)'):,#A

4 0 1AnQ ,#' & ^^ V) (?:<0)('
& 2 *+1A *+, &60).0)0)AC,>#0 BC,#0) 3#10+ 1A 0)2 /#(* 66 0)15*+?h
')' ??(0+ *+ 0)(' & 2!*+: :23#:0 15*+0),#6h ,. *+: A2' *+0)2(*+2,#1C,. *+: vBE
6' ?,>#0)A C :2'=?*+( ?h BC1' *+: * *+: BC*+0)2?' ,. 15*+0),#6h : ' 1
&(!*)+) & , .
(1A')20+ / 2 ?/ 60).0)1?.,#0 0)(' , & A, & 1 21 *+:
3#10+ *+, ')6?2?' ? U *+,#6SE A, & 1W ')0)?: ')6 ? $>2')213 *+: ')23#12?' ?1?
*+:0)'):,#A/?(')'>*+:= ># ,.')6??2 ' ?2!* h * & :2?:/*+:=')0)?: *+0)BC21 *+'
*+, 0+2') /(*>A, '&1,*>2BC21 *+&*+:=A, & 1 & 0)A 2 ' 2!*+')!.
B%0)?15*72BC60),>#BC15* ,.I4;L
4 0 1AnQ ,#' & ^^ ' *+2B *+'
*+: v6?*+A ??(0+?h-,. 0)( (')213 *+:]H 6 ? 0)0),#07' *+2B *+uJ .
0)( & :2?:<60)A2?*+'? ')']E 21< A,#B 21 & 2!*+: ? ')')'?,>#0)'
U W vBC6' /
'

U W ,. & :2?: 0)76,#')2!*+2?>#6U,. ? ')',EW / *+:OH 6 ?
' *+2B *+ 2' ?,#BC6(*+A/ h *+: .,#, & 213 .,#0)B ( "

' U W

3
TUEq2 W= UF!W
U W 3
<>')213 *+:2' ' *+2B *+C.,#0 A20)?*+213 *+: ')0)?: 21' *+A-,.&15*+0),#6h-2BC2 E
1 *+' *+: (1A')20+ A, & 1 & 0)A82 ' 1A ?:2>#'=2BC60),>#A ??(0+?h
21 60+?*+2?c) o) ?*+2,#1fF_8 .,#0 BC,#0)A*2A A2')?(')')2,#1 ,#1 *+:=H 6 ?
' *+2B *+
8.4 Handling noise in ILP

g/,#' *>,.*+:=0)?h JGH : '"h ' *+BC'>,#137*+,7*+:=215*+0+?*+2?>#fJGH : 6 0+A23#B
1A ')')(BC ?,#0)0)?* A * : ('/ *+:h A,&1,*AA0)')' *+: 2')')( ,.0)1213
.0),#B 2BC60 .?* A *(> P , & #> 0/ & 2!*+:C*+: A0#> 15* ,. BC620)2?RJGH : & :2?:
: ' *+: 6,*+15*+2 >.,#0 60+?*+2? 662? *+2,#1'/ *+: 215*+0)' * 21 : 1A213
1,#2') 21JGH / : : ' 21?0)')A () #> 0+50)?15*TJGH : '"h ' *+BC' 21?(A ,#0+ *+
1,#2') E : 1A213 BC?: 12')BC'
:CBC?: 12')BC' .,#0 A213 & 2!*+: *+:' 0)' * *+:0)A 21A'=,. A *2BE
60 .?*+2,#1' ?1 ')A,#1660),#60)2 *+>')0)?: :(0)2' *+2?' 1A ' *+,#66213
?0)2!*+0)2 (')A/21 :h 6,*+:')2'&?,#1' *+0)(?*+2,#1 =B 1/!*+0)1 *+2?>#=660),5?: 2' *+,
3#10+ *+ *+:=*0)3#* 60)A2? *+ A' 12!*+2,#1 '>2!.
*+: A * & 0) ?,#BC6*+?h
?,#0)0)?* / 2 ? /
h BC6,h 213 *+:7' *1A 0)A ?,#1')2' *+1?h 1A ?,#BC6*+1')'
' *+,#66213?0)2!*+0)2 : 21A(?A
: h 6,*+:')2'=?,#(A *+:1 7')( )?*+A *+,
'),#BC .,#0)B%,.
6,#' "* E 60), ?')')21R3 /')(?: '&0)A(?A 0)0),#0&60)(1213

X GM
#
J1 H JGLI<M) / 0)1213<2' ?*+( ?h460 .,#0)BCA h 1 *)*+0)2(*+ EN>(
K
0)10iU')p4 : 6*+0 8W eB 'kHKJGLI<M) 21?,#0)6,#0+ *+'CA2 0)15* *)*+0)2(*+ E
>( 0)10)'/>0)2,#(' 1,#2') E : 1A213 BC?: 12')BC' ?1C>662A cY (0GE
*+:0)BC,#0) / *+: *+' *&A0>1?'&211,#2') : 1A213R/ ')(?: ' 0)( 21A(?*+2,#1
& 2!*+:64;L (')21372BC60),#
> A60),# 22!*h ' *+2B *+'/?1 ')2?hC 21?,#0)6,E
0+ *+A

YT[MJGH(/ A')?0)2A 2 1u) ?*+2,#1 !/ 21?(A'=6,#' *"E 60), ?')')213 ?,#BC6,E

115* (21 1 ^
^ / ' & '>' *+,#66213C?0)2!*+0)2 & :2?: A?2A & :*+:0
*+, ' *+,#6 AA213 2!*+0+' *+,= ? (') 1A & :*+:0*+, ' *+,#6CAA213 ? (')'
*+,
7:h 6,*+:')2'oB '>7? (')=2' ?,#BC6*+At/ 2!*+0+' 0)=2BC21 *+A .0),#B 2!*+'
, A0h / 2!. *+:2' A, ' 1,* ?(') *+: ? (')>*+, ?,#> 0 1 & 135 *+2?#> v BC6'
: ' *+,#66213 ?0)2!*+0)2 -21YT[MJG9 H 0) ')A ,#1<*+: #! &
. !*

(21 1 ^^. / & :2?: 0)' *+0)2?*+' *+: *+,*513*+:=,. 1 21A(?A
? (') *+, *+: 1 (B 0 ,.2!*+'1AA *+, v 62?2!*+?h 1 (BC0+ *+ *+: 6,#')2!*+2?#>
*+0+21213/ v BC6' 2!* ?,#> 0)' : 1 (B 0 ,.&2!*+' 1AA-*+, v 62?2!*+?h
21A2? *+ v BC6' ?,#> 0)A h ? (') ,#(* ,. *+:
U W 6,#')2!*+2?#>

v BC6'&21 *+:=?(0)0)15*>*+0+212137')*>2'
xjwN w \"~ w \ 5 U } W= x74z U W 3 x74z

U W
: 1 (B 0 ,. 2!*+' 1AA-*+, 1?, A ? (') & 2!*+: . 2!*+0+'=218*+:
, A0h2' ? ?( *+A '
x{ Y5y ~ w \ 5 U W= U

3 x7 4 z U x W 3 7x 4z U +WW . x74z U7._W
*
& :0) x 2' *+: 1 (B 0 ,.A2 0)15* ' 21 *+: ? 3#0),#(1A] 1, & E
6 0)A2? *+

A3# 1A + 2' *+: 1 (B 0 ,.
6,#')')2I>0)2 22 *+2,#1'IU?:,#2?' ,.T>0)2 E
'W ,.*+:=60)A2? *+=(')A 21 2!*+0+ * (21 1 ^^.
: ? ,#1' *+0)(?*+2,#1 ,. ? (') 2' ' *+,#66A U *+:=1?')')2!*h ' *+,#66213 ?0)2 E
*+0)2,#1 2' +' *+2'"' AW & :1
1, 135 *+2?>#= vBC6'>0) ?,>#0)A h *+:=? (')/ ,#0
AA213 1h/2!*+0+ & !2 *+:/6,#')2!*+2?># 3521 & ,#(A ?(')r x{ Y5y ~ w \ 5 U W
*+, v?Ap xjwN w \"~ w \ 5 U } W
J . *+:0) 0)C1,/BC,#0)72!*+' >2 .,#0 AA213/1,*+:0 2!*+0+ / (* *+:
? (') 2' ' *+2 * ' *;F8`
??(0+ *+/2!* 2' 0)*21A 21C*+: 21A(?A ')* ,.
>
s,FZ A:LI/IJA:LD"C\s|TVA:GVCD"A:LOQZ w
# X r *j!(!f
t
? (')' ,*+:0 & 2')/ 2!* 2' A2')?0)AA
: ?,#1' *+0)(?*+2,#1 ,. :h 6,*+:')2'pU ')* ,. ? (')'W72'7*+0)BC21 *+A
U *+:=')(0sC?21?h ' *+,#66213 ?0)2!*+0)2,#1 2' '+ *+2'"' AW & : 1
*+:=6,#')2!*+2?># vBC6'>0) ?,>#0)At/,#0
+* : 2!*+0+' & !2 *+: 6,#')2!*+2?># 3521 0)m (20) BC,#0) *+: 1
xjNw w \"~ w \ 5 U }
W *+, 1?, A
: 1?, A213 13*+:-0)' *+0)2?*+2,#1-: ' ')>#0+ A' ?21?2' Y
20)' */ 21
1,#1SE 1,#2'"h v?* A,#B 21' 2!*'),#BC*+2BC' 60)>#15*+'iYT[MJGH .0),#B (2A213
?,#BC6*+&A')?0)26*+2,#1'IU')4 : 6*+0 W cJ 1C1,#2'"h A,#B 21'/52!* , & 'c>#0"h
')6??2 ' ? ? (')' ? , >#0)213 ')B 1 (B 0 ,. vBC6'/ & :2?: 2'>1,* A E
')20+( ) (66,#') & >: >#> *+0+21213 ')* & 2!*+: ,#1 6,#')2!*+2?>#&1A/. + 13E
*+?2 ># vBC6'&; 1, & 213C*+: *&*+: A,#B 21 2'>1,#2"' h/ BC,#' * "' h ' *+BC'>*+: *
?1 : 1A>1,#2') & ,#(A 0)350)AC*+: ')213#&6,#')2!*+?2 >#& vBC6 ' 0)0),#1,#('
1A & ,#(AC1,* >#1 *)*+BC6* *+, (2A =? (')&*+, ? , >#0 2!*c L> >#0 *+:') ' /

YT[MJGH & 2 : ># . U ., x74z U . XW u *
3 x74z ) , W 2!*+' >2 *+, (2A
? (')7? , >#0)213*+: ')213# 6,#')2!*+?2 >#7 vBC6 : :(0)2' *+2 ? / *+: ( ' /
E
, & ' .,#0 (2A213 0) *+?2 >#? h ,#13 1A ')6??2 ' ?=? (')' *+: *&? , >#0 7')B
1 (B 0&,.
vBC6 ' / & :2?:/2' 1,*&A')20+ 21 1,#2"' hA,#B 21'
Y
21 ? h/ ')(66,#') ') >#0+&0) *+2,#1'720)0) >15*7*+, *+:*0)3#*C0) *+2,#1
0) AAA *+, *+: ? 3#0),#(1k A 1, & A3# :2' & ,#(A ?(') *+: 1 (B 0
,. 2!*+' 1AA8*+, 1?, A /0) *+2,#1 *+,/21?0)') 1A *+: (' A?0)') *+:
?*+?2 >#=1 (B 0&,.
2!*+'& >2 >.,#0 (2A213 ? (')'= J 1/60+?*+2? /*+:2'
& ,#(A ?(')A YT[MJGH-*+, .2 *+,21A(? A ' 12!*+2,#1 ,. *+: *0)3#* 0) *+2,#t 1 /
>#1 2!. 2!* ?,#(AC(2A ')(?:=A ' 12!*+2,#1 3#?2 >#1 ,#1? h *+:>0) >15* 0) *+2,#1'
J 1 AA2!*+2,#t 1 / *+: 1?, A213 13*+: 0)' *+0)2?*+2,#1 2'70)')6,#1')2 .,#07*+:
.?* *+: * 1 2BC6,#0 *15* . *+(0) / & :2?: v2' *+'721 HKJGLI<M) /2' BC2')')213 21
YT[MJGH(/ 2 ? /2!*+0+' ,.*+:=.,#0)B {Xx? y B h 1,* 660&21*+:=, 0 A h
,. ? (')
: ? =,.*+:2'. *+(0) :21A0)'*+: (') ,. YT[MJGH21 60),#BC'
& :2?: ?,#B 21 *)*+0)2(*+ EN>( 1A 0) *+2,#1 0)121R 3 /')(?: ' *+: 60),#S E
B ,. 0)? h A2 3#1,#')2'=,. 0):(B *+2?7A2')')' A')?0)2A821 4 : 6*+0C##
B !*+:,#(3#: *+:2'?,#(A ?20)?(9 B >#15*+A72r 1 YT[MJGH h 215*+0), A(?213 AA2!*+2,#1
60)A2? *+' 21 *+: ? 3#0),#(1] A 1, & A3# ,. *+: .,#0)B * / 3? /
/ )
'
(
? : &
C
B ,
A 2 ? '
? +
*
2 #
, 1 & #
,
(
A
2
1
? )
0

)
' +
*
: 1
( B

0
, . 2!*+' 1AA
*+,=1?, A ? (') :&1?, A213 13*+: 0)' *+0)2?*+2,#1 & ,#(A *+:1C60) >#15*

X GM
# #
YT[MJGH .0),#B 0)1213 ')(0sC?215* 1 (B 0 ,. ? (')'/ & :2?: & ,#(A A *+,
21?,#BC6*+ : h 6,*+:')'
B *+: ,># 60),#BC' & 2!*+:8*+: 1?, A213 13*+: 0)' *+0)2?*+2,#18' *+B
.0),#B *+:-A' ?21?' ,. *+:-')?*+A 1?, A213<')?:BC B BC,#0) '),E
6:2' *+2? *+A41?, A213 ')?:BC /
g (3#3#*+,#1 * ^^ *' 215*+, ? E
?,#(15* *+:721.,#0)B *+2,#1/1?')'+0"h *+,1?, A *+:7 ? 3#0),#(1A 1, & A3#
' &
'&*+: 60), ,.' & :2?: & ,#(A 3#10+ *+ *+:=*+0+21213 vBC6' ?,>E
0)A :2' 1?, A213 ')?:BC>2' ')A ,#1 3#,#0)2!*+:BC2? 21.,#0)B *+2,#1 *+:,#0"h
*
) ,#,#BC,#1, 8^#
: 212!*+2 2BC6BC15* *+2,#1 ,.=d,[H 3g 0)A0 h '):, & ' & 0)1')' ,.
*+: 1A7*+, : 1A 2BC60 .?*A *CJ * , & ' 3#10+ *+A ? (') *+, ?,# > 0
60) E A*+0)BC21A 1 (B 0>,.
135 *+2?# > = v BC6' :2'&2'>70)(A2BC15*0"h
& h ,. : 1A213 1,#2')ZL BC?h/ ')(66,#')/*+: *C? (')' 0)/, & A-*+,
?,# > 0 * BC,#' * * & , 135 *+2?#> v BC6',J . ? (')7?,#> 0)' ... 6,#')2!*+2?#>
1A8* & , 135 *+2?# > v BC6'
/ 2!* 60),# ?h 0) ?*+'7/3#1 (21 ?,#0)0) *+2,#1
218*+: *+0+21213 v BC6'p> P , & #> 0/ 2!.&2!* ?,#> 0)' * & , 6,#')2!*+2?#> 1A * & ,
135 *+2?# > / v BC6'/ *+:/?,#0)0) *+2,#1 2!* 0)60)')15*+'2'#> 0"h 2 ?- h A( *+,
?: 1?7d,[H 3g '):,#(A8* 215*+, ??,#(15*C * ' * ,*+: *+: 1 (B 0
,.6,#')2!*+2?# > =1A 135 *+2?#> = v BC6'&?,#> 0)A h *+: ? (') 1A , & / .,#0
21' *1?/ ? (')' *+, =(2!* & :2?: 0) *&' **F8` ??(0+ *+
) #> 0+ ,*+:0 660),5?:' *+,1,#2') E : 1A213 ?1 662A & 2!*+:
d,[H 3g 0B 1/!*+0)1 *+2?#> 660),5?: 2' 1,* *+, , & ? (')' *+,7?,#> 0 13E
*+2?# > v BC6'/ (*&*+,C66?h '),#BC .,#0)B%,.
0)A(?A 0)0),#0 60)(1213C . *+0
*+: ? (')'0) 3#10+ *+A $&?15*+?h/Id,[H 3g : ' 1(')A & 2!*+:21

1,#1SE BC,#1,*+,#12?C0)1213/.0+BC & ,#0 Q 21 ^ ^ / BC6,h 213 21-AA2 E
*+2,#1 *+:&,# > E BC15*+2,#1A71?, A213=')?:BC&,.t/
g (3#3#*+,#17* ^^
d , , A70)')(!*+' 2171,#2') E : 1A213 21760+?*+2?A,#B 21': #> &1C0)6,#0 *+A
0
) 0)212?> '+1* ^^ (')213 *+:2' ')?:BC
$ A(?A 0)0),#0 60)(1213 2'>*+: BC?: 12')B 662A *+, ')*+' ,. ? (')'
&
21A(?A4hYT[f4;H(/ 0)1213 '"h ' *+B *+: * 215*+3#0+ *+'/BC620)2?MJGH :

UYT[MJGHTW 1A v6 1 *+2,#1SE ')A=0)1213 :
121A ; 20 ^^ : 0
')*C,.>*+0+21213 vBC6' 2'7')62!*7215*+, ')* .,#070)1213 1A ')* .,#0
60)(12134 & , ,#60+ *+,#0) ' / &( " "
1A & !#
0)6' 0)' * / 0
21A61A15*+? h8662A *+, ?: ? (')C,. *+:C21A(?A :h 6,*+:')2' :
BC, A?2 ' ? *+2,#1 *+: O* h 2A'7*+: 3#0) *+' * 2BC60) , >#BC15* 21 ??(0+?h 2' 0) E
*21A :C60), ?A(0)C2'=0)6 *+A (15*+2*+:C662? *+2,#1 ,. 1 h ,. *+:
,#60+ *+,#0)' & ,#(A A?0)') ??(0+ ? h# :(*+:,#0)' 0)6,#0 * *+: * 0)A(?A
# X r *j!(!f
t
0)0),#0C60)(1213860 .,#0)BC'C*)*+0C*+: 1 YT[MJGH(l ' ' *+,#662138?0)2!*+0)2 (')A21

YT[f4;H(/ v?6* .,#0 ')B *+0+21213 ')*+' UF./ vBC6'W :h (') *+0+21SE
213 ')*+' ,
. F.0/ .0/5+ . 1A F. vBC6' ,. 235 6,#')2!*+2,#1'721 *+:
;=$>; ?:')'>1A35BC
/')62!* 215*+,7# `9.,#0 *+0+21213 1A6++ +` .,#0 60)(1SE

213 : h/'),7"' h 15*+:*+2?? h 215*+0), A(? 1,#2') 21 0)3#(BC15*+',U?A ./0
1,#2')
W BC,#(15*+213 *+6, 8` 1A ? ')')?2 ' ? *+2,#1 1,#2')]
U .ÀW 21 *+: *+0+21213
vBC6'
8.5 Heuristics for noise-handling in empirical

ILP
: 2' ')?*+2,#160),#6,#')' ')>#0+ :(0)2' *+2?' *+, (')A 21 BC620)2?JGH : .,#0
A20)?*+213 *+: ')0)?: .,#0C? (')'1A 6,#')')2?h .,#0C' *+,#662138?0)2!*+0)2 ,#0

6,#' "* E 60), ?')')213 H > 0+ ? *7 ^^ 0/ ^^ ]J *7')')(BC'7/*+,#6SE A, & 1
BC620)2?T JGH :43#,#0)2!*+:6
B /?,#1')2' *+213,. *+:7?,>#0)213 1A ')6?2 2 *+2,#1
, ,#6'
'
,#(*+21A 2r
1 B 3#,#0)2!*+:B + >,. ) ?*+2,#1+ CJ 1 *+: ')6?2 2 *+2,#1
, ,#t
6 / ,#1? h ,#1 ')6?2 2 *+2,#1 ,#60+ *+,#0 2' ')')(BCA " AA213 2!*+0+ *+,
*+: , 0 A h ,. *+: ?(0)0)15* ? (') i Qh8AA213 2!*+0+*+, *+: , 0 A h ,.

? (') U & :0)
2'> ?,#1 )(1?*+2,#1/,.2!*+0+' W / 1 & ? (') 2'

?,#1' *+0)(?*+A / & :0) } = ) 0)?: * h 62?? h7' *0 *+' & 2!*+:C*+:
? (') & 2!*+: 1CBC6* hC, 0 A hC1A ?,#15*+21 (' h :(0)2' *+2?? h ')0)?:213 .,#0
2!*+0+' *+,C=AAA/*+,7*+:=, 0 A h ,.*+:=? (')
J 1 *+:2'=')?*+2,#1 & C?,#1')2A0 *+: :(0)2' *+2?'=(')A *+, 3#(2A7*+: ')0)?:
,. 2!*+0+'7 : '+BC :(0)2' *+2?'=?1 '), C(')A ' ' *+,#66213 ?0)2!*+0)2 0/
A?2A213 & :*+:0 *+,' *+,#6 AA2132!*+0+'&*+,*+:7? (') 1A & :*+:0 *+,
' *+,#6 AA213? (')' *+, *+:7:h 6,*+:')2'9Y (0 *+:0)BC,#0)/ & 7?,#1')2A0 ,#1?h

*+: ')6?2 2 *+2,#1 ,. ')213#>? (') ,. :h 6,*+:')2' / & :2?: 21 3#10+
?,#1')2' *+',. ')*
,.? (')'c> L ,*+ *+: * *+:2' 2' A,#1 21=,#0)A0 *+,&')2BC62!.j> h *+:
1 ?h ')2' ? (')' 0)A0h 3#10+ *+A '):,#(A '), * 1 215*+,??,#(15*
$&? *+:=A2')?(')')2,#1/,.*+:2' 60),#B%216) ?*+2,#1n
+
J 1 AA2!*+2,#1*+, *+: 15*+0),#6hR- 21.,#0)B *+2,#1SE ')A ')0)?: :(0)2' *+2?=(')A

21 *+: ?,#1' *+0)(?*+2,#1=,.A?2')2,#1 *+0)'oU ')o) ?*+2,#198 W / ; > 0)2*h ,.,*+:0
:(0)2' *+2?' : #
> 1-60),#6,#')A h ,*+:0 (*+:,#0)' Q 0)2B 1 *> ^F 0/
/
g 213#0)'=^F^ B 1 BC620)2?4?,#BC6 0)2'),#1 ,. ')0)?: :(0)2' *+2?'

g 213#0)'=^F^ '):, & '&*+: *&*+:0)=2' 2!*)*+ A2 0)1? * & 1/*+:B 1A
/

*+: *7*+:207(') 0)A(?' *+: ')2 0+ *+:07*+: 1 2BC60),# > ' *+:/??(0+?- h ,.
21A(?A :h 6,*+:')'> P , & #> 0/ *+0&
v 60)2BC15*+' : #> '):, & 1 *+: *>*+:2'

j !" jT GGX I * j # %
:,#A' 21<'),#BC A,#B 21'/ & :0)'/21 ,*+:0)'/')(' *15*+2 A2 0)1?' 21

??(0+?hCB hC'), 0)2') Q (15*+21 1AnL>2*)* ^^ 0 =P>1?/ *+:>2BC6,#0GE
*1?=,.')0)?: :(0)2' *+2?' '):,#(A 1,*& (1A0)' *+2B *+A =Y (0 *+:0)BC,#0)/
*+: ??(0+? h=A61A'
'), ,#1=*+: :(0)2' *+2?'662A 21=6,#' *"E 60), ?')')213&,.

0)(' - A?2')2,#1 *+0)' - ? (')' Q 0)(1R 1Au:
12 ^^/ g/213#0)'7^F^#0/

(21 1 ^F 0

/ ^F
P>(0)2' *+2?'(') A2 0)15* 60),# 22!*h=' *+2B *+'CJ * & ' '):, & 1 *+: **+:
BC*+:, A ,.' *+2B *+213760),# 22!*+2' (')A 21*+:=:(0)2' *+2?'>: '> 3#0) *+0
2BC6 ?* ,#1C*+: ??(0+? hC,. *+:>21A(?A : h 6,*+:')2' *+: 1C*+: ?*+( .,#0)B
,.
*+:=:(0)2' *+2?9 ' U??(0+? h/ 15*+0),#
6 h/3#212 E 21A v W 4 ' *+12 ^^ :0) E
.,#0) / 21 ,#0)A07*+, 2BC60) , >#/??(0+ ? h 21 JGH :T/ & /60),#6,#')*+, (') ')2BC6
:(0)2' *+2?' '=A ' 1A 21 *+:2'=')?*+2,#1 1A8/0)2 60),# 22!* h ' *+2B E
*+2,#1 BC*+:, A '&60),#6,#')A/2n 1 ) ?*+2,#n 1 F
$&? *+: 1,* *+2,#1 ?,# 1 >#15*+2,#1' .0),#B ) ?*+2,#p
1 + * H * *+:
1 (B 0 ,. vBC6' 21 *+: 212!*+2 *+0+21213 ') * / ,. & :2?:0) 6,#')2!*+?2 >#
1A 135 *+?2 >#c H * A1,*+ *+: 1 (B 0
,. vBC6'
21=*+: ?(0)0)15*
*+0+21213=')*
/1A U W*+:>1 (B 0 ,. vBC6' 21 *+:>, ?*+0+21213

')* / 2 ? / *+: ')* ,. vBC6' .0),#B *+: ?(0)0)15* *+0+21213 ')* &
:2?:
0)=? , >#0)A
h*+:=? (')
/ : ,. ? (') U & 2!*+: 0)')6?* *+, *+:7?,#0)0)')6,#1A213 *+0+2S 1 E

213C')*

W 2'>?,#BC6(*+A h/' *+2B *+2137*+: (!0! & -! "

% / 2 ? / :, &
3#, , t A l 2' *+: A2' *+0)2(*+2,#p 1 U')62! * W U W . U W ,. 6,#')2!*+?2 ># 1A135 *+?2 >#
vBC6'>?, >#0)A h/*+: ? (')2 J 1 60)21?26 /*+: BC,#0) 6,#')2!*+?2 ># v B E
6' ? , >#0)A8*+:7*)*+0A L>,*+ / :, & >#
0 /*+: * *+:213#'=0)71,*='), ')2BC6
21 1,#2"' h A,#B 21'
J 1/*+: .,#, & 21R 3 / & f ' 0)' * 60),#6,#') * & ,C* h 6'>,.:(0)2' *+2?' & :2?: ?1
(')A 21/BC620)2?t JGH : *+,C >( *+=*+:, m ( 2!* h,. C? (') : ')2 B E
6' * BC')(0) ,. *+:n m ( 2!* h ,.= ? (') "&
2' 2!*+'

!* /

/ A ' 1A ' *+: 60),# 22!* h *+: * 1 vBC6 ?, >E
0)A/ h ? (') 2' 6,#')2!*+?2 >#
"%$
|U W= TU
'2 W
UF W
:
"&
!* !* 2'&A' 1A ' . |U W
g s / TVC\GV{)D\z]c :\j{CFHsDU]c j@zH[ w Cw zTVA:CX:GVLtFHt:[ O [ T7` VT AF#T$TVA:CA:CFZuLHKUIPOQFHRD"C
k[QDN[ { X:O [ CZt&`[ TJDutvLZ`wx:LGIPLGVGVCI@TuIPOQFHRD"CD\z ]c E
j [QDzt:RTuTVA:[QDu[QDus:LHT
s:CIPCDVDVFHGV[ O `TVGVR:C/KMLGSIPOQFHRD"CDY[ sZRIPCZ|KMGVL{ s:L[QD"àC:FH{X:O CD\w
# X r *j!(!f
t
B 1 ,*+:0&BC')(0) ,.*+:m ( 2!*h ,.

7? (') 2' 2!*+' v6?*+A % !* $

/ & :2?:/2' *+: BC,#(15* ,.
21.,#0)B *+2,#1 1?')'+0"h +* ,7')6?2!.jh +* : *>1
vBC6 ?,# > 0)A h *+:=? (')=2' 6,#')2!*+2?>#
" $&

qU W( I
. x74z TU
'2 W UF +W
,*)*+0 ')(2!* *+:JGH :<.0+BC & ,#0/ *+:760),#6,#')A :(0)2' *+2? A2 0)' .0),#B

*+: 15*+0),#6hE ')A 21.,#0)B *+2?> 2!*h
(21 1 ^F# / & :2?: ?,#(A- (')A
21' *+A : 3#,5 21]JGH : 2'/1 BC?h/ *+, (2A ? (')'&?,>#0)213C'&B 1h
6,#')2!*+?2 ># vBC6' ' 6,#')')2U60).0+?h v?(A213 135 *+2?># vBC6'W
1A-1,* *+, (2A A')?0)26*+2,#1' *+: * & ,#(A B v2B ?h A2')?0)2BC21 *+ E
* & 1 ? ')')'
91 A 7 : (')( 15*+0),# 6 h BC')(0) B h (')A 2!. &
& 15*&*+,C3#10+ *+ 7A')?0)26*+2,#1 ,.*+:=? ')
' 9' &
d ?2 >#1 *+:>?(0)0)15* ? (') 1A =1 & ? (') /
/

|1a !* !*
U } W=1A % a U } W 0) A ' 1A '
.,#, & '
"%$ . $
|1aU } W( |U W . |U W= TU

'2 W . TU
'2 W
UF XW
" $& . $
a
U } W(qU W . qU =
W x74z TU
'2 W . x74z TU
'2 W UF_8W
: ??(0+?h=3521=2' *+: 21?0)') 21 *+: ? ')')2?' ? *+2,#1 ??(0+?h/ & :2
*+:/21.,#0)B *+2,#1-3521 2' *+:/A?0)') 21 *+: 21.,#0)B *+2,#1 1?')'+0"h *+,
')6?2!j. h *+: * 1 vBC6 ?,>#0)A h *+: ? (') 2'>6,#')2!*+2?>#/ ?:2>#A h

')6?2 2 213 ? (') *+,
b8 1 v * 60),#6,#') *+: (') ,. & 23#:5*+' 21 *+:7,># :(0)2' *+2?'2b<2!*+:SE
,#(*=* 213/215*+, ??,#(15* *+:C1 (B 0=,. vBC6' ?,>#0)A h8 ? (')/
*+: :(0)2' *+2?' ?1<1 BC? h . >#,#a 0 >#"0 h')6??2 ' ? ? (')' & 2!*+:<:23#: 3521
) 9
B h *+:/* ^^. : & 23#:5*+' 0)>215*+0), A(?A 21C m ( *+2,#1M
' UF W 1A

UF W 7 J . ??(0+? h 1A 21.,#0)B *+2,#1 3521 0) & 23#:5*+A h8*+: 0) *+?2 >#
.0) m (1? h ,. 6,#')2!*+?2 ># vBC6' ?

, >#0)A8 *=1 21A?2 > 2A( ')6?2 2 *+2,#1
) "& /
' *+6 /

|1aU } W 1A ) "& !* $
%
!*

a U
} W
)
0 =
#
,

*

2
1
A

? ! !" ;!N $#

. 0$ "%$ . $
U W

|1aU } W= ' U TU
'2 W . TU
'2 WW UF W
U W

. 0 " $& . $
U W
a

U } W=

U W
' U x74z TU
'2 W . x74z TU
'2 WW UF W
: B 216(0)6,#')=,.
215*+0), A(?213 & 23#:5*+A/3521' 2' *+,'
1 A +* := 1?
* & 18*+:C352181A *+:C1 (B 0 ,. vBC6'=?,>#0)A h +* :C? (')
B ')2BC2 0)?h A' 1A & 23#:5*+A 21.,#0)B *+2,#1 3521<2'(')A 2 1 T Y [MJGH U')

) ?*+2,#1 !W
8.6 Probability estimates

P>(0)2' *+2?' . ,#0 >( *+213 *+:Om ( 2!*h ,. ? (') ( ')C60),# 22!*+2'>*+: *
: ># *+, ' *+2B *+A .0),#B *+: ?(0)0)15* *+0+21213&')*

: 60),# 22!*h
' *+2B *+' 0)& ')A ,#1 *+:>A2' *+0)2(*+2,#16U')62!* W U W . U W,. 6,#')2!*+2?>#

1A/135 *+?2 >#= vBC6'&? , >#0)A h*+:=? (') $& *+?2 ># .0) m (1 ? h #

2' ,. *+1 (')A *+,660) , v2B *+ *+: 60),# 22!* h TU
'2 W f P>, & >#0 / *+: 0) E
2 22!* h ,. *+:2' 660) , v2B *+2,#1 A?0)')' ' *+: ')2 ,. A?0)')'
J 1 *+:7 v *+0)BC ?') ,. ,#1? h ,#176,#')2!*+?2 ># vBC6721

*+:7' *+2B *+
,6 . TU
'2 W>2' #f3c>#1 & :1 *+: A * 0) 1,* 1,#2"' h/*+:2' ' *+2B *+ 2' *+, ,
,#6*+2BC2' *+2? , >#,#2A8*+:2' 60),#6 B / *+:k H 6 ?C & ,. ')(??')')2,#1 ?1
(')A L>2*)*&1n
A Q 0+ * ,/^F# " 2!. 21-*+: '+BC6,. *+0)2 ' *+:0)
'
& 0) 5 ')(??')')' / *+: 60),# 22!* h ,.>*+:1 v * *+0)2 213 ')(??')' .(&2'

/
')')(BC213 (12!.,#0)B 212!*+2
A2' *+0)2(*+2,#1 ,. ')(??')')' 1A .2(0)'
, >#,#2A *+:2'7')')(BC6*+2,#t *
1 /=4 ' *+12 ^^. 60),#6,#')' *+: ('),.&*+:' .aE
' *+2B *+ A0)?2 >#A/ h A Q h#')2 1/' *+2B *+2,#1 60), ?A(0) . *+0 5 ')(??')')'
'
21 *+0)2

/ & :0)E
' / *+: 60),# 22!* h/,. ')(??')' 21 *+: 1 v *=*+0)2 2' ' *+2B *+A '
2'*+: 60)2,#0
60),# 22!* h ,.')(??')' 1 A . 2' 6 0+BC*+0
,.*+ :=BC*+:, A
$& "%

U W
TU
'2 W( UF FW
U W
# X r *j!(!f
t
: (')7,. 0) *+2?># .0)m (1?h 2'=660),#60)2 *+ & :1 *+:71 (B 0 ,. ?,>E
0)A vBC6' 2' 0)3#J 1 *+: * ?')/ *+:7' *+2B *+' ?,#1')2A0)A 3#2?>#
60+?*+2??h *+: '+BC 0)')(!*cP>, & >#0/ & :1C ')B 1 (B 0
,. vBC6'
2' >2
/' 2'
,. *+17*+: ?') 21760+?*+2?/*+: (') ,.0) *+2?># .0)m (1?h
2'>21 660),#60)2 *+;Y ,#0&21' *1?/60),#BC'>0)2') & :1 U Wo .iUA2?> 2')2,#1
hp.W f J . U W . 1A U W2 .C*+:1 TU
'2 W>?,#BC'f.0/ >#1 2!. U W
2' ')B B 'C'):, & 1 hZ4 ' *+12 / *+:2' BC1'7*+: * *+:/' *+2B *+2' 1,*
-
0)2 4 ' *+12 ^^.
$/ $ $&

U W 3
TU
'2 W= UF ^W
U W 3
3(m ( *+2,#1 UF ^W 662'/ '&*+:0) 0) ,#1?h * & , ? ')')'>216JGH : "
1A 7
J 1 A,#B 21 & 2!*+: ? ')')'fE/ *+: .,#0)B ( C21 m ( *+2,#1 UF!W 662'
:uH 6 ? ' *+2B *+ 2' BC,#0) 0)2 /*+: 1<0) *+2?># .0)m (1?h & :1
A213 & 2!*+: ')B 1 (B 0 ,. vBC6'=:, & >#0/=2!*0)2' ,#1<*+:
')')(BC6*+2,#1 ,. (12!.,#0)B 60)2,#0>60),# 22!*h A2' *+0)2(*+2,#1/,. *+: * & ,7U iW

? ')')' >
L 2*)*&1AnQ 0+ * , ^#F & :2?:/2' 0+0)?h BC*&21 60+?*+2?
$&

U W 3 . ' U
,W
TU
'2 W= UF!.W
U W 3 .

: .aE ' *+2B *+ 4 ' *+12 ^^. >#,#2A' *+: 60),#BC' ,. 0) *+2?>#
.0)m (1?h
1A *+:kH 6 ?C' *+2B *+nU21 6 0 *+2?( 0 & :18*+: 1 (B 0 ,. *+0+21213
vBC6' 2' ')B jW h * 213 215*+,7??,#(15* *+: 60)2,#0 60),# 22!*+2' ,. *+:
? ')')'C :C60)2,#0 60),# 22!*h U
,W ?1 ' *+2B *+A h *+:C0) *+2?>#

.0) m (1? h ,. 6,#')2!*+2?>#= vBC6' 21 *+: 212!*+2 *+0+21213 ')*" : 6 E
0+BC*+/
0 . ?17 ')* ')( )?*+?2 >#?h 2!* v60)')')' ,#(0
?,#10' A1?&21 *+: vXE
60)2BC15* > 2A1?r U *+0+21213= vBC6' W : ?*+( >( ,.B.%'):,#(A
')* ??,#0)A213C*+, *+: BC,#(15* ,. 1,#2') 21/*+: vBC6 ' U 0)3#0|. .,#0
BC,#0) 1,#2') W B ' . 3#0), & ' *+, & 0)A 20 1 ' 12!* h/ *+: .aE ' *+2B *+C660),5?:'
*+:=60)2,#0 60),# 22!* h ,.*+:=?,#0)0)')6,#1A213C? ')'
:73#,5,. 60),#6,#')213C*+: .aE ' *+2B *+=*+, (')A 2i 1 JGH :2'>*+,60) , E
> 2A.,#0 i ' 0)B *+:,#0)*+2? ? 3#0),#(1A ')A ,#1 *+:6 Q h#')2 1 1 ? hE
')2' 1A *+, (2A : h 6,*+:')' & :2?: 0) BC,#0) ??(0+ *+ & :1 ? ')')2!j. hE
213(R
1 1, & 18?')' 4 ' *+12 ^^.0/^^ : .aE ' *+2B *+ 2'=3#10+
60),# 22!* h ' *+2B *+ Qh-660),#60)2 *+? h ')*)*+213 2!*+' * & , 6 0+BC*+0) ' .

1 j !" o! # 01
1A U
,W /*+: ,*+:0 * & ,7' *+2B *+' 0) ,#*21A ' ')6?2 ?')' ,. *+:
.aE ' *+2B *+"

0) *+2?># .0)m (1?h TU
'2 W=
# U .,#0). .W / 1A

S/q U
,W=
*+:,H 6 ? ' *+2B *+TU
'2 W(
# U .,#0).
W
8.7 Heuristics at work

J 1 *+:2' ')?*+2,#1t/ & 2(' *+0+ *+*+: (') ,.=*+: ,># A' 1A<:(0)2' *+2?'
1A-60),# 22!*h ' *+2B *+' ,#1 ')2BC6C vBC6/ ')A ,#18*+: *' ,.
0)1213235 ?:')' 1A35BC 6,#')2!*+2,#1'/ ' A' 1A821u) ?*+2,#1 _8 J 1
AA2!*+2,#1 *+, *+: ? 3#0),#(1A 1, & A3# 60)A2? *+' A' 1A-.,#09HKJGLI<M) /
& & 2>')')(BC/*+:/60)')1? ,. * & , ,*+:0 60)A2? *+'/ {Xy ( wNxy U i#} !W
1A {Xy ( {K U i#} !rW / & :0) {Xy ( ' *1A' .,#0 {XX{Xy \ 4 y ( {Xx MY ,#0 1,E
* *+2,#1 ?,#1# > 121?
/ *+: 0)> 2 *+2,#1' {X wNxy 1A {X {K 0)>(')A
21' *+A/,. {XX{Xy \ wNxy 1A {XX{Xy \ {K / 0)')6?*+2?# > ?#h
8.7.1 The training set and its partitions

) ( 66,#') *+: */ .0),#B 1 2 12!*+2 *+0+21213 )' * ,.7..8 vBC6' (21 1
*
^^. / 1aJGH : 3#,#0)2!*+:B : ' ?,#1' *+0)(?*+A +* :&.,#, & 213=?(0)0)15* ? (') "
wNxxyz0{Xx U|9}~a}f}n}O}9Wc {X wNxy U|9}rW UF!#W
: , ? *+0+21213 ')* ,. *+:88 vBC6'C?,>#0)Ah *+: ?(0)0)15*

? (') 2' 3#2?>#1 21
nF!#[ (* ,.78 vBC6'/ ')2 v 0) 6,#')2!*+2?>#
1A 121 0)7135 *+2?># :2'=')2!*+( *+2,#1 2' A1,*+A h /EG^ ')62!* ,. *+:
, ? *+0+21213 ')*
L>,*+ *+: * *+:a' 0)' * 135 *+2?># vBC6 2'a 1,#2'"h l!"
2!* 2' 6(0)6,#')? h 21?,#0)0)?*+? h ? ')')2?' A ' 35 1A35BC 6,#')2!*+2,#1U ,W
!*+:,#(3#:2!*&2' /21.? * /235c U
,W
B AA213C2!*+0+ *+,C*+: , 0 A h,.? (')k UF!#W A'&*+, 1 & ? (')
wNxxyz0{Xx U|9}~a}f}n}O}9W, {X wNxy U|9}rW } 1A- ')62!* ,. *+:
1 & , ? *+0+21213 ')*
:,#0)*+2?? h/ 21
&*+:0) 0) F .(0 *+:0
')62!*+' ,.*+: EG^7')62!* ,. +" EG.0/8EG.0/ / EG.0/ E/ U &
h ' ,.
?:, ,#G' E
213 BC,#13C 6,#')2!*+?2 >#= vBC6 ' / . & h ' ,.?:, ,#')213 BC,#1O 3 ^C135 *+?2 >#

vBC6' / A2')0)350)A213 ')62!*+' .EG. 1A EG^ =' . . FW : ')62!*+' 0)
,#0)A0)A ??,#0)A213 *+, *+: A?0)')21M 3 >(',. *+: ? ')')?2 ' ? *+2,#17??(0+? h
# X r *j!(!f
t
4v5w \ w y y { . xy:5 yz0{ \ w y y { . xy:5

wNxxyz0{Xx y U} S }

y } S} } W

wNxxyz0{Xx } 0} }0} } WIU B4w@5 W

U

wNxxyz0{Xx U z }0} z }} } XW
wNxxyz0{Xx U y }F0} { }0} } 8W

wNxxyz0{Xx U } R} y }0} } 8W
wNxxyz0{Xx U y } 0} z } 0} }W

wNxxyz0{Xx U } }#0} S} y } W

wNxxyz0{Xx U } 0#} 0} R} y }FW

wNxxyz0{Xx U } R#} 0}} y } XW
wNxxyz0{Xx U }F0} z } 0} } 8W
wNxxyz0{Xx U } 8S} }F0} z } 8W

wNxxyz0{Xx U { } S} z } #} 0}FW

wNxxyz0{Xx U t} S} y } 8S} z }FW

wNxxyz0{Xx U } R} y } 0#} 0} W

wNxxyz0{Xx U t} S#} 0} } z } W

,F=3Cv >
h"!$# %& '(!)*&
# & +,!$+.-/0m1&23!$+'
UF W+-4 &!$5& +' 67!$# 8*3!$+?>.-/m1& ' h
,!$+73!$7-/9m1&23!$+'UF FW:" .<; := 8 .<; = .>; = .<; = .<; =

.?; = . = 8 . @ =

. A = . = .
@B=

J
C
'
4

v

8

'
$
! D
!$#
+!E'1& F
GA UHE$R' I
hJ!$# K& $h5# & +,!$+W:L# K +!$)' !$#
vMc- Y +6& 2
F.' n
F FG' N!$K!$# +O +' 6
8.7.2 Search heuristics at work

b># +#8+!$$ +P!$M
GQ 8' vR! !$O!$# S
GR0h%- *& MUFWT Y2P!$#
6+? > '"6& '(!U!hRGQ' 7 & O!$%!$# M"hRB!$"hK-V +3!$)6& '(!$
!$# W M F G+
Q +3!$+' P- !$# S +3!$X-/Y!$# Q
21 6& '
' [ZO 6 /U +' & +' 65!$# 5 +3!$+' K-E!$# 1
1 m &2+!\
h +3!$ = '
+6( +' 6]!$# 7 +3!$+' L-Q!$# D!6B!. +3!$+!$-: W a2 Y %#

-^!$# % F +
+!$$ = %' BZ>R!$$+' +' 6LB! 2-V*&
wNxxyz0{Xx U|9}~a}f}n}O}9Wa {X wNxy U|9}rW } _+D
!+' VeE [ &!-LF
!$# B!$+?8 *
h G+
+!$ = ' ?h % +!$4'7B!$&2?F h R& U
h +' 6
' O-`!$# L F +!$$5/U +' O +^'(!U+!$$ 7Fh & O!$# O$ +!$:W
3 +6#(!O&!O-X!$# F
4 F G+
L+!$$WL+,!$N
G[Z = !$6B!$# ZO+!$#]!$#

& !$+' 6E +!$T~VVHU .D; W = | U .D; W = {Xy ( wNxy U|9}9W;U .D; W =
{Xy ( {K U~a}9WIHU . W = {X {K U~a}9WIHU . @ W = {X wNxy Uf}rW*HU .
@ W = B

4 \ x:y 5:5 {K U~a} WHU . W = ' B
Y .-/& 8-!$# ]
G> ]+!$$ =
k
2
4 \ {Xy ( {K U~a}9WMU ;1. F :W

F a6+?> 8!$# +8G' +' 6
+!$S' !$# ),!$+73!$U-V!$# *1 m &2+!D
h -V*& 3-b!$S +' 6 c!$.!$#
1

! "$#%& ')( ')( ')(

* ')(
+-,/. 02143 5)6 387 9:33 ; 6 387 0<< = 6 387 0>;3 55)6 387 5? 3
8E
'@,@A

FHGJIK+MLN.DO
? 143
921 5
5)6 387 9:33 9 6 387 00;
< ?D6 387 ?85 0
!PRQ
FHGJIK+MLN.DO 021 5 @ 35 6 387 0=:3 5 3 6 387 ? == 8
3 7 < = 387 3B0
! "$#%& T8( T8(
55S6 ?85
T8(
5 6
* T8(
+-,/. 02143 5)6$5 7 0 ?? ; 6 387 B=< = 6 387 B:3 ?U5 = 6 387 ? 9>;
8E
'@,@A

FHGJIK+MLN.DO
? 143
921 5
5)6$5 7 0 ?? 9 6 387 <9= B 6 387 C 90 ??V6 387 5C 9
CD6$5 7 5 33 = 6 387 B 5 < ; 6 387 B 5 < ?D6 387 = 5 0
!PRQ
FHGJIK+MLN.DO 021 5 @ 5 3 6 387 B:3 CW5 3 6 387 9B= 55S6 387 90B 5CD6 387 ? ; ?

*F R=4Q*& 2m1&2+!hK& "
hA|1 =
|1 = '

Y& +' 6
+ ^'(!M
2
++! h,!$+73!$
GR0ha-4*& kUFW:O# 8*& 9m1&2+!hN+M &!$ & +' 6!$# F&SE
$h76(+'k|1 '
|1 = QZQVQ!$# E+'-/73!$+'6(+'7# & +,!$+
'
ZO+!$#5 +^'(!.
2
++!ha,!$+73!$F# D+' vp ' !$
*3!$?+ >F-/
m1& '
h = { c!$# a
H *K,!$+73!$ = ' . ] ' !$.!$#
.aEC,!$+73!$WZO+!$#.
B!S!$ %'
2
++!h| U
,W= Ub!$# O*3!$+?>W-/ E
m1& ' h-^G+!$+?>O v U+'K!$# O+' +!$+*R!$$+' +' 6LB!S4 - ;; v W:
JC'a#a+' +?R > + &2^& ' = !$# %'1& F
GO +' 6] ?U l ' !$L!$# %$'RE
+' 6 -O +!$.ZO+!$# +'c#\+' +?R > + &2U# & +,!$+p2 Y 8 v = ; F
/U +'J[Z = & 'p8O W ' M!$#23!)!$# F+!$$ {Xy ( {K U~a}9W W ZO+!$# +!
. F#2)!$# .-/& ,!$#
G,!L$'RN ZO# '5> &23!$
hn1 | [E# +)$
+!$$bU !$# +O$8 +! W = > &23!$J
h61 | = #2)' ?] h !$ # 8> '(!$#5
G,!

$'R F ; X8 ]/U [Z = & 'a: W

Y +6&
F N'
F J# [Z !$# k> & F-O!$# N& $h 6(+' ' +'SE
-/73!$+'c6(+'c# & +,!$+K& +' 6 +^'(!D
2
++!I h ,!$+73!$F' !$#
N F +!$"
O F a' Y +6& , F "'
F ]# [Z !$#23!.!$# # & +,!$+
| ' & +' 6 *3!$+?> 7-/1
1 m & ' h > &23!$!$# n & l +!$FE ; !$
E ; .
G,!]# +.+f1 m & ,!$+'2
7.74 +!$ = & #\E ; = & 'SE
+*
YL X ' [ZO+' 6I!$# a# "' 6(a 7+' = !$# a
G,!7+!$$Q!$c
G
J!$"*& U F W W + {Xy ( {K U~a}9:W 2J !$E ^B!E+)"E 8 +! = >E
+' 67!$# k ' +"h ^ l v 8ZO# +#I+)+*+[2 Z 5L' 6(3!$+?> ,Qhi1 |

!$# +) +!)+M > &23!$ ' ?J h M!$# F> '(!$#I
G,!OHU . :W E [ 'J!$# F!$#

#2' = !$# +E$F +!E+E > &23!$I)!$# K
G,!%
hp1 | .'
1
|

1
:
!
0.6
0.5
0.4
Accuracy gain
0.3
0.2
0.1
0
-0.1
-0.2
-0.3
-0.4
1 5 10 15 20 25 30 35 40 45 50 55 60 65 68
Splits
AGrf AGLa AGm=2 WAGrf
Y +6& ,Fo@S& M- # & +,!$+I|1 = |1 = |1

L'
|1

'
K
F +!$ = J +' 6K!$K!$# % +' 6O|1

U/aY +6& FW:B)2,!L-/ !$# A|1

8'
|1 # & +,!$+ =
!$#
= '
UHOZQX
|1 =
|1

=
K'

= ZO# +# "' !K+'
F W.# & +,!$+8ZQ & \+'c-HB!KB!
!$# ++ !$$
HPB! & X v *+'%!$# + +'%S4 B!+ # Q# & +,!$+=|1 B!$

!$# %-/[ZO+' 6D
G,!) +!$)WE ; = R58E ; = E ; = WEkUb!$# f> & ; F
-/E!$# D+!$$ {Xy ( {K U~a}9W)+'I[Z = & '78W = 8R.E ; = B!$R+'
' D+!$$U!$#23!ZQ& N& .
E ; = 8E ; E ; +!$W v+,! = !$# E-/& ,!$#N +!
E+4B!$7 !$#
G,! = +' 6)!$%*& wNxxyz0{Xx U|9}~a}f}n}O}9Wc
{X wNxy U|9}rW } {Xy ( {K U~a}9W P)>R+' 6MB!S. = !$# U>F' 6(3!$+?>

v L+B!$?h & 6N!$D
G%' +"h

Y +6& aF ' F I# [Z !$#23!!$# a# & +,!$+O|1 '

&
,!'(!$+*?K
h +^'(!S-/ !$# )!$# 4!$# )# & +,!$+UZO# +#" = '!$#
!$# #2' = 1 h ++* # J# & +,!$+O|1 ' Z|1
m &2+!3!$+?> ?c
E!$# r ,!lTbU !$# L,!O++*U W +' 6F!$K!$# L++*+!D
h &
1

1
1.5
Information gain [bits]
1
0.5
0
-0.5
-1
-1.5
-2
-2.5
-3
1 5 10 15 20 25 30 35 40 45 50 55 60 65 68
Splits
IGrf IGLa IGm=2 WIGrf

Y +6& IF RC@S& W- = =
# & +,!$+

O'

']F
+!$ = J +' 6K!$K!$# % +' 6O|1

ZO# +# & '(!$%!$# D +^' %

GB!CZQ'c!$# D +!L$'R1. R &
h5!$#
!CZQ# & +,!$+(JC'a& 7+'7!$# ++W& ' ,!' 2
%+' L!$# fH *
& !$+'F-Ê& ' +-/ + +,!$+
&!$+'8-`*
' >+ ' ! !$R
,!$' 6?ha>R+*3!$ = #2>R+' 6DEG^K +,!$+
&!$+'"-X!$#
_' v
<M+' 6 !$# 5$5++*+!h & = +!7ZWN# [ZO'>!$#23!N
|1
UH'
9W)# & +,!$+8 lV!$]|1 UH' W)!$#2' !$#
# & +,!$+Q R+' M ++R > + ' ),!$ ' 6?hK& 66, !$S!$8& O!$# |.aE
,!$+73!$ +'L V!$M# + > U
GB!!$P*+[2
Z 3!$+'L& $h Q 4 ,!$' + 5
^^ ; =
4 ,!$' + N
Q ' 6Q Q $3! a^
^ = 1 +4^
^ = !$# +X O!$)!$# Q#R h G!$#SE
+U!$#23!S# & +,!$+U& +' 6%ZQ+6#(!$SG,-/_
GB!!$U!$#2'& '(ZQ+6#(!$"' =
!$# a
G,!
G+' 6
|1 '
& +' 6I!$# 1 .aEC,!$+73!$ B)7I& ]-
!$#1& F
= +;
- |10+%!$
G7& !$# ' |1 +.' V 4 =
|1
# & N
G%& V
Xa' & = !$# '2?hR+L-S!$# D G #c# & +,!$+%'I!$#
+ a# ]' 6(J v a& 66,!$"!$#23!7ZQ+6#(!$>& $h?'
1 :
!
+'-/73!$+'K6(+'
|1 '

v# +
+!W.++* G,-/7' O!$8& 'SE
ZQ+6#(!$n|1 ' _& +' 6K!$# ;.aEC,!$+73!$4# +M OK!$D!$# .#hE
G!$# +4!$#23!4ZQ+6#(!$# & +,!$+UG,-/_
GB!!$ !$#2'& '(ZQ+6#(!$7' =
!$# W
G,!U
G+' 6
<'
|1>& +' 6E!$# .aEC,!$+73!$X# + *+ '
!$D
G%+'-/NZO+!$#]-/& ,!$# O vG+'(!^ZQ]+'] EC+-/) 7+'
9
mFOIL:
Extending noise-handling in FOIL
# JGH : "hR,!$ aYT[MJGH 1+U^^ = 1+X' 6QQ$3!a^^
+K*6?hc
2 '\!$# 6YT[MJGH (#V\# N7+' +^' N+F!$#23!
aYT[MJGHJ& Q#]# & +,!$+Q' 7,!$ +' 6.+!$+*E!$#23!Q+ >M' + E
#2' +' 6 O
B)' !$# .7 % + ^' +L!$#
G # ,!$$3!$
6 hI&
+' aYT[MJGH ] G>!$ !$# 5# + CE +F
+' 65# & <+' YT[MJGH4WX
& )+!$S#"2 = aYT[MJGHJ& W) +!$+'2 +'-/73!$+' = & #
M!$# 8" hRB!$" hJ' J +^'(!I>+*
9U/B!$+[Z2 +!$$WQ' ,!$$+'(!$ =
+
Ga+']!$# %' vR!)B!$+'V
JC' $! # +F#2!$ = ZQ Z2,!D +
G7!$# ]# 2]-MaYT[MJGH4Tbc
!$# '\ +
G"!$# ]#\# & +,!$+ = !$# "# ,!$$3!$6h ' ,!$ +' 6
+!$+*F& a!$D#2' %' +"h"23!Y +'2?h = ZQ% +& M%+G,!'(!
+ '(!3!$+'7 B!+
9.1 Search space

# %#J2.- aYT[MJGHI+ B!$+' a
h"!$# %*' 6&26E- 6$
*& = !$# . +3!$O-/ !$# .
216& ' i1' [ZO 6 = ' N!$# +OGE
G' +' 6N *$3!$+' 9B)L+& ,!$$3!$ +'uY +6& ^ = !$
# D
216& '
1' [ZO 6L7h!E!$# E-/ - F6+M 6$ = + = FB!O- 6$
*& CJ ' !$# +.6+K 6$ = !$# 7
216& ' +3!$.#2>!$

G. 2 Z ' +'J& #5DZWN h !$#23!)#JP!$7 +3!$8ZWhRM+' ,!'(!$+ E
3!$9/U
+' W
W G- +!$W& '1
G& ' J6& '(!$U# %
21 6& ' 61
' [ZO 6
7 h '(!+'7' 'SCE 6& ' ]' 7' 'SCE & ' +!Q*& = Q+'kHKJGLI< G0YT[MJGI H '

d,[H g = 'N!$# .!$# O#2' = 'a' ?] h & .6& ' N-HB!$)O
21 6& '
1' [ZO 6
# 7!$$+' +' 6N v .#2>7!$# -/ -6& ' -HB!$ 1!$& B!$&
!$ 7h. G +'.!$$+' +' 6M v ' 8
216& ' 1' [ZO 6 =
&!
1
1 ! N :
!
!$3!$7U' ,!'(!$S

hKaYT[MJGH4# +U+'K-HB!U' 4!$#23!ocU { }#0W4'

cU } WX7hF' ?h8
G6' $+ D
hKaYT[MJGH]!$.I>+*
oB = ' D' !4!$%
,!$& B!$& J!$ cU i#} !r:
W SX'2
%6' $+ 3!$+' -X!$# .*3!!$W-/ =
!$# S!$$' ,-/73!$+' P- `3!!$' +' 6)' F& '`3!!$' +' 6 O&0
> +4^^ ; R7h

G7& = ZO# +#c!$$' ,-/ -/& ' B!$+'c"R
h F
G.!$J +3!$7"R h F
G8'
>R+> $
B $ O+' &! 2
< Z -/UaYT[MJGH = '(!+' +' 6%!$$+' +' 6L v =
2E
6& ' O1 ' [ZO 6)' " +*3!$ *$3!$+' -/4!$# O!K -V' +' 6
+6(PG+!$+' M+'J!$# X X # %' 6( /U +
G5+' RB!$+'5_8W
+%6+? > 'c+'u Y +6& O ^ k2 Y %' !3!$+'2 '> ' +' = {XX{Xy \ wNxy '
{XX{Xy \ {K 8

R > +*3!$J!$ {X wNxy ' {X {K = GB!$+?> ?h
# 5 *$3!$+' xy{ U wNxxyz0{Xx U wNxy } {K } wNxy } {K } wNxy } {K W7 W + 'SE
!$+[2 Z "!$# 5!6B!N*3!$+' ' >!$# 5!R h GN-8+!$N6& '(!$ R++*?h =
*$3!$+' = & #N0 { 5y U {X wNxy U wNxy } wNxy WS W + '(!$+-jK
h !$# E
21 6& '
' [ZO 6J +3!$7' !$# aG' +' 6 !R
1 h G7-L6& '(!$eCJ '
S!$8'& +? > E*& = !$# M!6B!Q +3!$M#2S!$8
G) *
MK
21 6& ' J +3!$%ZQ
# n > +*
D# '>"6& '(!$7-% +!$$#2> J!$
Ga-L!$#
!R h GJ +*3!$J-/"!$# IG' +' 6\ +3!$ CJ '> ]!$ -/& GE
!$# W & )!$# E#]2E- G+
M+!$$ = +!$+'22+'-/73!$+'
-/9!$# ] *$3!$+' F+F& = ZO# +# +F +
G\
G[Z ' \+' &

+' &! 3&!$ &!MR 9U/ +6'23!$+'N-46& '(!$)O+' &! 3&!$ &! W = GGE
+
L"hRB!$+- +3!$.6& '(!$M' NB!$+[Z23!$+'N- +!$$
%/ !*/ %/ ! &(

# *$3!$+' . 4Xy:5
UX{ wNxy U 3 } 3 WW
,!3!$L!$#23!L
G!$# 6& '(!$L-U!$# D +3!$ {X wNxy #2>K!$N
G

G& ' = + = !$# p>+*
"+'< +!$$MZO+!$# !$# +] +3!$5"R h E

G#2
>N!$c GD+' !$# a*& ]!$IZO# +# !$# N+!$$W+D V
# *$3!$+' . 4Xy:5 U tywz 0 4 RU 3 } . WWL,!3!$%!$#23!%!$# Z2,!FGE
6& '(!N-.!$# 5 +3!$ tywz 0 4 #2]!$\
G5
G& ' = ZO# + !$#
' 7
h
GD+!$# L
G& ' E& '1
G& ' VD# +L' L!$#23!%+'I
+!$$ 0 4 RUi}#!rW =
tywz ZO+#2>O!$%
GM'>+*
= ZO# +a!
7ha
GF+!$# L'5JL7' BZ >+*
M Y +'2? h = !$# K *$3!$+'
. 4Xy:5 U tywz 0 4 RU . } . WW ' 4!$#23!Q' hK-G!$# M6& '(!$U7 hK
G
+' &!O&!$ &!
JC']6' $ = a
3 l 6& '(!+W Ra+'"& #J8ZWh7!$#23!OF' BZ
>+*
W' ' !S
GO+'(!$R & +'D+!$U * 4+!$# S%' BZ U'
8 : [ :> 1

! #" $ % '& (*)
#
I % L $L L >LNP LL %L $L KO7
#"
#
I&
FHG%L 5 L ? L 0!L;L=!L9!L C L< KO7 +)

,-

:F I& K.!& !I!% L
FHG%L% L
FHG%L% L
FHG OO7
$ *>/
I10 ,32 O7
$ *>/
IK!PRQ %
I!% L% >OO7 $ *>/
IK#/+/ %
I!% L% >OO7
$ *>/
IK!PRQ
FHGJI&
FHG%L
FHG OO7 $ *>/
IK#/+/
FHGJI&
FHG%L
FHG OO7
# /
465 P!#!/ IK!PRQ
FHGJI8D7 L9S7 OO7
!
P !K
I !
R
P Q %
8
I 7 D 9
L 7 S
O
O 7 465 P!P!##!/!/ IKIK##/+/+// %
FH
GJI87DI87DL97SL97SOOO7O7
46/ 5 R:%IK!PRQ % L#" I L O8)KO7 46/ 5 R:%IK#/+/ % L#")KO7
4/ :4 R:% IK!PRQ
FHG%L#" 5I ?L O8K) O7
/ 4:4 R:% IK#/+/
FHG%L#";K) O7
4:4 5 ? 4:4
<=> ?@>A
:?*#BC
@>
!PRQ %
IK$L$ O7$!PRQ %
I!$ LNO7 !PRQ
FHGJI 5 L ? O7$!PRQ
FHGJI ? L 5 O7
!PRQ %
I!$ L% O7%!PRQ %
ID>% L$ O7 !PRQ
FHGJI ? L0O7$!PRQ
FHGJI0!L ? O7
!PRQ %
ID>% LNP8O7%!PRQ %
IKP L% O7 !PRQ
FHGJI0!L;!O7$!PRQ
FHGJI&;L0O7
!PRQ %
IKP L>O7%!PRQ %
ILNP8O7 !PRQ
FHGJI&;L=O7$!PRQ
FHGJI=!L;!O7
!PRQ %
IL O7$!PRQ %
I!%L>O7 !PRQ
FHGJI=!L9O7$!PRQ
FHGJI9!L=O7
!PRQ %
I!%L'& O7$!PRQ %
IE$ & L O7 !PRQ
FHGJI9!L C O7$!PRQ
FHGJI C L9O7
!PRQ %
IE$ & L%( O7%!PRQ %
I!J( L'& O7 !PRQ
FHGJI C L<O7$!PRQ
FHGJI<!L C O7
<=> ?@>A
:?*#BC
@>
#/+/
FHGJI10 L2 O 6 1F0HGI2 7
,>@J.K>LM= <=> ?@>A

:?*#BC
@>
# 5 / R88N
I& K.!& !IE$ & L9!L>% L C L>% L <ONO7 #/+/ %
IK$L$ O7
# 5 / R88N
I& K.!& !IKP L<!L>% L ? LNP L C OO 7 #/+/ %
I!$ L% O7
# 5 /R8N8
I& K.&!!I!$L9!L%>L 5 L(JL 5 OO7 #/+/ %
ID%>LNP8O7
#/+/ %
IKP L>O7
FH.!&
R88N
I& K.!& !I!$ L9!L'$ & L;L9$ L0ONO7 #/+/ %
IL O7
FH.!&
R88N
I& K.!& !ID>% L9!LN$L ? L%L0ONO7 #/+/ %
I!%L' & O7
FH.!&
R88N
I& K.!& !I!J ( L<!LL;L9J( L ? OO 7 #/+/ %
IE$ & L%( O7
Y +6& ÊaYT[MJGH\+' &!L-/E!$# K
-Q' +' 6"+6( G+!$+'
+']!$# X X # M' 6(
1
! N :
!
>+*
%7hN
G8&
,!$+!$&!$J-/E] lG6& '(!*J -4' "R . E
*$3!$+'J+E6+? > '5-/L" +3!$ = aYT[MJGH\& L!$#23!%X-S!$#
6& '(!$ 7F h
GW+!$# +' &!4 & &!(M P [ZQ> = 3!4,!4' W-
!$# r
> +*
E+'Ia> +*
++ 3!$+'
: ' + B!) W^
^ 4-Q] SE
+3!$]/U ' BZ_+!$$j W F& ,!%
GK = 6( L-SR F *$3!$+'
# +)' ,!$$+'(!E+)'-/ +'pYT[MJG\ H MZQ = ' +M1 m & +?> '(!)!$
!$# %' ' B!$ ' E' ,!$$+'(!O- O&0 > + ^^
*-. % & "

B

+'2"h5 +3!$, +%"hRB!$+D+-Q!$#
!$&!$#6>& O-YTUi}#!W' TU"!=}uW%m1&2 -/M'hN
+' +' 6D-
' !JC'56' $ = 7 +3!$F'5
GF"hRB!$+8+' "2+M-
"
6& '(!$ # a *$3!$+' 5 . . y \G wN U {X wNxy } ?U } W jW8,!3!$

!$#23!F!$# " +3!$ {X wNxy +F"hRB!$+7+' +!$MZ2,!D' \'
6& '(!X# + ' X!$#23! ' ?h%' Q- !$# W+!$$ {X wNxy Ui}#!W
' {X wNxy U"!=}uW4ZO+`
GE' + "ZO# 'N +' 6F+!$$4!$8!$#

GR0 hJ-S"*&
JC'-/73!$+'
G&!E +3!$F" hRB!$" hJ+L
& J+']HKJGLI< 7U/ RB!$+'i8R XW:
a
YT[M JGH & "

* . , &
B0' ,!$$+'(!
+D +\+'
= $
! 1
#
& Q
/
-
& ,
$
!
#
Q

&

+
' 8
6 $
!
# )
1
'
& F
G

Q

t
- >

*
+

++ 3!$+' -
+3!$c J !Q& &2? h8!$& ' S&!S!$#23!S+!$$ + {X wNxy Ui}uW
xy:5:5 {K U"!=}#!rW)#2 >F!$&!$p # >& {Xx"5y -/LXG+
, >& E-
0' !7 #1& = !$# h8+GW'K& ' ' $" hK &!3!$+'21 >G E
# +'5!$# D' +' 6] RO
HP+!$$)!$#23!. N' !.'(!+'I+ 'SE
!$+*>+*
"]6& '(!$N '2
&
+!$$ B)N
*3!$+'KZO# )!CZQF6& '(!$WM+ '(!$+2'"
GM '(!$N
h
7*3!$+'J-Q77)+!h = ' ?hJB!$+[Z25+!$$)K[ZQ +'
aYT[MJGHa
hK B-H& I * . ,
! U/2$B!$ &

#2(>& W: # +
' ,!$$+'(!7h7
GL++'23!$
h"B!!$+' 6F!$# L2$B!$ { wN{ 0 xy:5
W:
!$K!$# >& wNXy \ wN{Xx U/ RB!$+'6^ X
9.2 Search heuristics

# 87+'a +^' 8
GB!CZQ'IaYT[MJGH ' pYT[MJGH
+O!$#23! = +' ,!$ - !$#
'(!$hEC
2\ZQ+6#(!$\+'-/73!$+'I6(+' # & +,!$+"+' YT[MJGH = '\&SE
$h",!$+73!$E+& JOK#a# & +,!$+E+']aYT[MJGH4 # +7h7
GL!$#
H *.,!$+73!$8O!$# F. # +,!$+3!$ .aEC,!$+73!$ Q,!$' + ^^ ; =
^^ QQ!$# ,!$+73!$ #2>
G' & +' !$ & ' +' 6
8 : [ >
101
Q,!$' + N' 6QQ$3!a^^%' <]#<# & +,!$+]+' & +' & B!$+'
Q*"' nQQ,ZQ4^^ = 1+PB!) W^^ = 63!$?h + >R+' 6
' + EC#2' +' 6K+'a3!!$+
&!$ EN>& E' +' 6K"hR,!$oQQ!$#a,!$+73!$O
+
Ga+' RB!$+'nF
J - 7*& > U W!$$+' +' 67 v = &!E-4ZO# +# U WM
Q
G+!$+?> = +!$. vGB!$\& $h '
G,!$+73!$
hI!$# kH *,!$+ E
73!$
U W 3
|U =
W TU
'2 W(
U W 3

h]!$# ,.aEC,!$+73!$
U W 3 . ' U
,W
|U W= TU
'2 W=
U W 3 .
ZO# ) U
,WQ+Q!$# L +Q
2
++!h-P!$# L*
' ]+W,!$+73!$]
h
!$# %*3!$?+ >E-/
m1& '
ha- G+!$?+ >L
v +']!$# LZO# E!$$+' +' 6KB!
J !# & "
GE' !$"!$#23!Q!$# L,!$+73!$WE &!$" +B!$?hD-/
!$# 8 v M+'a!$# 8+6+'2^!$$+' +' 6B!E+'JaYT[MJGH = +'J'(!$$,!)!$7!$#
& %- KRG!$$+' +' 6FB!M-X
vR!$' J!$& W-/W!$# + & G%+']YT[MJGH4
# +L ++'
+ & ,!$+[Z2I
hJ!$# F-/[ZO+' 6"6& '(! R& G"+' 6
' +"h!$$+' +' 68 v = ' & ?h7*+[Z2NWG+!$+?> = +Q>a
h
D*& o
JCn' YT[MJGH = !$# +O v %7h]
G. vR!$' J!$ = -/O+' ,!' = !$'

!$& S+'D!$# MR !$$+' +' 6%B! 4,!$+73!$+' 6E!$# ) vGB!$]& $hD-/
!$'"G+!$?+ >O!$& SZQ& O
hR+".)# +6#7' & 6#7-/U!$# )*& M!$8
G
!$V%#1& %7*& F+6#(!)
GF
& +!M!$#23!E>%"+' 6.' &
v
# ,H *L,!$+73!$L' N!$# .aEC,!$+73!$L& J#J# & +,!$+
[Z_-/8n1+' -O & ' +' 6 ++*E!$J!$# 76(+' & ' +' 6J+' YT[MJGH U/

RB!$+' L' ]
F XW:4# +;1+' "-X & ' +' 6F+Q +
GN# = !$# & 6#
+!S+S' !WB!$&2? hK+ '(!$+'a
YT[MJGH4 R& GE.+!$$ cZO+!$#7' BZ
>+*
W+W!$D
G% N!$K*& =J -X!$# %*& =
!+' "ZO+!$#]!$# +

G+*+ 3!$+' = > U Q W G+!$+?> E v = !$# %
G,!ZQ%'J# +>
ZO+!$# -/& ,!$# L2 Z ' '(!$%+E"*& F!$#23!L> U M
W G+!$+?> K' 5'
' 6(3!$+? > a v # J# & +,!$+ > & ]|U K W -E& # I*& NZQ&

G

"
= +-L,!$+73!$
h !$# iH *J' !$# -.aE

,!$+73!$ = GB!$+?> ?h J -W!$# +> & D+%%!$#2' !$# # & +,!$+> & D-
!$# U
G,! 2,!$+**& 4-/& ' .O-H = ' M *'(!X-' BZ > +*
P+'
1 ! N :
!

ZO+!$#DZO+ R & E%
GB!!$S*& Q' m1& '(!$?h = & #" *'(!$
' a' !M
GL' + = !$#1& M$
>R+' 6D' + $
L &!3!$+'2^ ^,!
JC'5-HB! = 'hJZQ
G#2>c# & +,!$+8-/& ' B!$+' -H++!3!$O!$# +1+' 5-
& ' +' 6 R& G7!$#23!8!$# "# & +,!$+O>& -MJ*& 7>+' 6 U W
G+!$?+ >F' U WO' 6(3!$+?>8 v E+),!$+73!$
ha!$# 9>& 8-4!$#
-/& ' B!$+' U U W } U WW:4# ) & ' +' 68 RW +
G]
G>)+U!$# '

& ,!$+[Z2a+- ; ' ?; = -/O^' 'SCE ' 6(3!$+? > 5 ' ]:\

9.3 Search strategy and stopping criteria
B >+' 65 (# = ++*L!$J!$# "' 7+' YT[MJGH = +8& \+' a YT[MJGH4
# +S' U!$#23!Q*& QM
& +!UGB!$+!$+?>?h = & '(!$+`' M-^!$# M,!$ +' 6
+!$+*E+4$3!$+ Z2Vc
BM-b!$SL*& #2U
G'
& +! = !$# OG+!$+?> v
>]
hD+!QO>7-/ !$# O!$$+' +' 6%B!4# M#",!$$3!$6h+'
aYT[MJGHc+O
G # = ZO# +# 3!),!M2,!$+*?h7>R+*3!$W!$# .

-%6B!!$+' 6c+'(!$c& ' +$
JRO7v+7 = ZO# +# +!hR +M-%60h
# + CE +F
+' 6%#V
# .#a-/OK*& %,!,!$ZO+!$#]!$# %*& LZO+!$#a'a!h]
GR0h
E& +' 6)!$# # = E 7RB!U-G ++' 6)*& -/& ' KL-H + 7+'SE
!+' 7Ub!$# L
GkW = ZQP!$# L
G,! 5wzSqw wN{ \W*& L-/& ' NK-H
BW!)# ,!$J- !$# .# = !$# . Z2' '(!$)- # *& .+'N!$# .
G
U/
!+' \
h +' 6I+!$$.!$I!$# +K
GR + WFN >&23!$\& +' 6I!$#
#F# & +,!$+ = ' .!$# S
G,! - !$# + + >'(!$ ' ,!$+!$&!$U!$# S' BZ

Ga XK'(!$W!$# E' BZ<
G F*& )#2W!$F
Gu 4v5:5w 0 xb'5wzSqw wN{ \:
# )#"-/S.*& M!$+'23!$4ZO# '"!$# M' BZ>
G
GS!h
U/' MG+
?hL+6' +[Z2'(!X+ >'(!$ -!$# S*& X+'L!$# S& '(!
G
#2 > )
G'7-/& ' 73!S!$# M& '(!W,!$:W 4# )
G,!Q+6' +[Z2'(!S*& O-/& '
-H8+FB!+' +'c!$# "#R h G!$# +K+-O+!$8
v GB!$ & $h +F
GB!!$
!$#2'a!$# 8 B-H& !)& $h bU !$# 8
2
++!" h - !$# 8L-/1 m & '(!L- !$#
*
,W = ,!$+73!$a-/ !$# F'(!$+.!$$+' +' 6B!E
a h !$# F*3!$+?>
-/1 m & ' ah ,!$+73!$
# +6' +[2 Z ' !$,! & +' aYT[MJG_ H +a++*"!$ !$# ' c&
+' ;L Q*" ' nM
L +
B!!L^F^ O' +F
2 ' !$# ]+ +# RR $3!$+

,!3!$+,!$+ %

X
2+#I^ ^ 2J -U*& > U W
v =
U W -
ZO# +# DG+!$+? > = !$# > & D-Q!$# ,!3!$+,!$+K'c
G& *3!$ %-/ E
[ZOcP H B!Y U
,X W ' U ,W
GS!$# W +
2
++!$+ -2*
>' =
>
s [ {X:GVL#yC\{C\sT LHK:IPOQFHRD"C :[QD F6GVCPrs:C\{C\sT :LHK:IPOQFHRD"C :#z#D"RIJAETVAF#T A c: j A c:\j@w
8 1

,!$+73!$7
hD!$# )*3!$+?>-/m1& ' +W-PG+!$+?>)' 7' 6(3!$+?>) v
+'I!$# '(!$+K!$$+' +' 6NB!| U
,W,
' 1 U ,Wf
aJC' +!$+' =

TU
'2 W= # + S!$# L vGB!$J& $h" Z2' aW!$# E
2
++!hK!$#23!
'c v D>
hI*& +%G+!$+?> = ' TU '2 Wf . TU
'2 W:
# 'aZQ%#2>
TU
'2 W U '2 W
T
w0yxjw 4 4 { \ wJ4 U W U W '6U TU
'2 W x74z U
U
,W
2 W x74z U
W 3 TU '
U ,W

WW
# +,!3!$+,!$+]+D +,!$+
&!$ v+73!$?h

ZO+!$# ' a 6

-4-/ aMJ -U+!$*>& 8+E
G>K7G+[Z2I+6' +[Z2' .!$# # = !$#
*& %+ a+6' +[Z2'(!
BZ1+' 8-2 & ' +' 6 = + '(!$.+'.aYT[MJGH = +X
2F'.!$# S-/[ZO+' 6
6& '(! R& G]2,!$+* *& > U W)G+!$+?>K v
# E
G,!QZQE'"# GM!$K# + >E

h7 Z2' +' 6.!$# +Q*& )+Q8*& M!$#23!
> U WEG+!$?+ >' c' J' 6(3!$?+ > v 7# 7+ +# RR $3!$+
,!3!$+,!$+WZQ& D+'K!$# +4M#2
>O!$# 5 >& .
U W' x74z U U
,WW:c
J -G!$# +
>& W+4 !$#2'K!$# O+6' +[Z2' W!$# # = ' %+6' +[Z2'(!4Z2' '(!S-
!$# +4*& O'D
G-/& ' V= [)!$# ,ZO+ = !$# O*& +B 4v5:5w 0 xb5wzSqw wN{ \:
# 7# -/%*& 8+%!$+'23!$IZO# 'c!$RN-/BZ G+!$?+ > v E
OU/G+
? h X
WEFB-b!E-/L]6' $3!$I*& F!$]
GK+6' [+ Z2'(!L
ZO# '' %+6' [+ Z2'(!4*& 'D
GW-/& ' KZO+!$#K vGB!$"& $ hK63!$
!$#2'"!$# L B-H& ! E7' +' 6.!$# L vGB!$J& $h U/,!$+73!$]
h7!$#
# & +,!$+I>& W4!$K
GL# +6# Q!$#2'"!$# L B-H& !& $h]7h7& L'SE
,!$& B!$+' 6F' F*& W3!2+'" 7+' 4ZO# E' 6(3!$+?>E v S >+
JC'J& #J = !$# %+!$+'N-4& $ ha+6#(!O
G%+!$N' a!$# . vXE
GB!$ & $
hJ-U!$# F' ,!$& B!$I*& E +6( =
>R+ !$#23!
!$# h])+6' +[Z2'(!4# E#]ZQ& "!$# ']!$+'23!$OZO# 'N' F-/& ,!$#
+6' [+ Z2'(!F*& 7&
G7' ,!$& B!$Vp
BM-b!$,ZW = !$# 7*& 8ZO+!$#
>" h [Z & $ hI+6#(!%
G + V7# +. (# ZWF +I+'
!$# 2 Z ' +!$F'(!L#I +6'I 7+' = ZO# K!$# K B-H& !%& $h -
!$# %*
+O
G >,
^ ; `"
9.4 Implementation details

R >$S2$B!$8D+' & 7+' aYT[MJGH = ZO# +#c B!$+' K!$# 7#
# & +,!$+.& = !$# 8ZO+!$#J-4!$# 8
G0+'a!$# F
G0# = !$# 8>X-
+6' [+ Z2' 7 +5!$a!$# +' & c*& F' !$# & 7-WB!$+[Z2c
! N :
!
: $B!$ @S& EB-H& !>&

# & +,!$+ H * H *
.
. ' 'SEC' 6(3!$+?> ;

G G+!$+?> +'(!$6
+6' +[Z2' ' 'SEC' 6(3!$+?>
>+*
+^'(! +^'(!
+ '(!$+

f^4aYT[MJGH 2$B!$O' N!$# +;>&
' 'SECB!$+[Z2.+!$$P# =>& U- O2$B!$ = $h) = + B!
h%& +' 6O!$#
7' 5y \U K} {Xx? y W:c Y2 v = !$%
>+ W!$# O B-H& !4' ,!$$+'(!
-P& +' 6.B!$[+ Z2"+!$$4' ? h = !$# M7' 5y \U { wN{ 0 xy:5 } wNXy \ wN{Xx WS+
& VNXaB!8!$# # # & +,!$+K!$a!$# .aEC,!$+73!$KZO+!$# . = !$#
-/[ZO+' 6!CZQa7' LK& V 5 y
\ U \
y w@5 wN }
f 6
.
W } 5y
\ U
7 p
. } W
: 9
B +,!
-U!$# D2$B!$L& +'5a
YT[MJGH ZO+!$#5!$# KG+
9>& = LZQ4
!$# % B-H& !5>& & = + 6+?>'a+'N
f^
# K2$B!$ y w@5 \ wN B!$+' )!$# K#I# & +,!$+F& '
'<
G5+!$# ]!$# u H *5"!$# .aEC,!$+73!$ = !$# I B-H& !N
G+' 6 $! #
H *a,!$+73!$<# 2$B!$ . = ZO+!$#?c B-H& O ! >& = E
!$+' K!$# ] >& a_- . !$
Ga& ?+'\!$# .aEC,!$+73!$ # J B-H& !

G9ZO+!$ # U/,!3!$\
h !$# ]2$B!$ 0 y{ .6WF+M ZR> = + = ZR>N*&
OB!+' +'K!$# M
G 3!U#7#",!$V4# M B-H& ! 5wzSqw wN{ty

!$# # J DG' O!$K+6' +[Z2' L> -c^^`"
aYT[MJGH+ + '(!$L+'
& +'(!$& T:46M' .& ' ' 0 <IL 0 : B =E
1!3!$+'54# L& '(!M+ '(!3!$+'7+Q-H+?h+' s+'(!U# %& ' +' 6
!$+)-/W!$# X
X ' 6(L 7+' U/ Q#2!$% ; WS++'"!$# % -
!CZQK+'1&!$ = ZO# +O!$# )& ' ' +' 68!$+-/S!$# Z2' +!$)'(!W#" +6'

7+' U Q#2!$F WO+)+'J!$# F E-4!CZQ]# & L# KG' +' 6
!$+-/k
YT[MJGH = + '(!$ +'
= +' !$# 7-%' a'
+'1&!$ = GB!$+?>?h
R >$R+ +[Z23!$+' G#2>Q
G'.7 U 2%!$IYT[MJGH4<M' +
YT[MJGH R
& +' *'5 ^^ = a
YT[MJGH 7 .' a +,!$+' B!$+'I
GB!CZQ' B!$GE
+'23!$%' J' 'SEC B!$+'23!$%+!$$=B) = +' ,!$J- & +' 62,!$+*PGE
8
+' 6!$D >'(!)+'%Z2' +!$?h7& +?>.*& = r>"hN+ E' ,!$$+'(!
+L& VA
L)? h = ]*& F& ,!%' !%'(!+' ]+!$$ + '(!$+
!$ Y+'N+!$
GR0h = ZO# +#a RO' !MZWhRM >'(!)+'%Z2' +!$L& +'V
! N :
!
10
Experiments in learning relations from

noisy examples
# F& !$+73!$LG,-/7' .!$,!)-/IJGH >

: 6+!$# # &
G.!$# +ESE
+3!$+'c!$5 $B!$+W 7+' F+'>?>R+' 6 +G,-/B!K23! P [ZQ> = +!
M
+7 +?s& !7!$ & J!$# >E-%' + U/+G,-/B!$' W+'?& #< E
7+' 7Y2& ,!$# = ZO# +">$O,!' 2\23! B!$D
!+' -/
$B!$+ B!!$+' 6U' [Z >+*
S-/43!!$+
&!$ EN>& W' +' 6E"hR,!$
Q* "' n QQ,ZQ4
^^ = ' !)7'h]23!B!$M- !$# +*1+' J.>+*

-/S!$# JGH \
: U# L
- ' +' 68+6(2G+!$+' Q+'7!$# X X
# ' 6( = '!$# )!$# Q#2' = #2Q
G'"& NW%!$,!$
G"-/S,!

++ JGH : "hR,!$9UYT[MJGH = YT[ ;H = d,[H g = HKJGLI< RW: Qh]+'(!$R & E
+' 6F8'(!$"& '(!W- ' +)+'!$# )!$$+' +' 6. v W,!$+[Z2+*?h = +!
+SG+
!$FW!$# M G' ' L-V!$# )' +' 6%G,-/7' M'7!$#
' +L> L& $3!$?h
# +M#2!$) '(!$)!$# . vG+'(! & !$M-U ?hR+' 6OHKJGLI< =
YT[MJGH ' \a YT[MJGH>!$ !$# N
-M' +' 65+6(UG+!$+' F+' !$#

X X # ' 6( = +'(!$R & 7+' RB!$+'" X8 v +' !$# ) ^B!$
-' + = >+& .& '(!$8-' +DZQ" c!$a!$# 7 v NWZQ
6& K-O vG+'(!$FZQNG,-/V JC' !$# Z2,!D6& = ' +7ZW
c!$a!$# 7 v 8' 'SEC+' '(!?hkJC' !$# +. = ZQ72
!$# OG,-/7' -qHKJGLI< K& +' 6fB SJ RTBMLM ' a
L cbed g !$,YT[MJGH
UYT[MJGH ; W:(JC'N!$# %' J6& a- vG+'(!$ = ' +LZWM+' '(!?h
?!$c!$# JB!]-L!$$+' +' 6 v # G,-/7' J-%aYT[MJGH
+F2 !$uYT[MJGH R 1 +L^
^ =
1+O' QQ$3!\^^ =

^^ 3
f Y +'2?h = 72+' -oHKJGLI< = aYT[MJG\
H ' YT[MJGH RK' !$#
' 'SCE +' '(!V' +M> +'J-X!$# %23!K+ '(!$V

: ) : [ !
!
10.1 Introducing noise in the examples

X v +' )!$# % ^B!$M- ' +%+'"!$# % v O']!$# .& $hN-X!$#
+' &
# hRG!$# = >$E+"-L vG+'(!$7ZQ ' & B!$>+'
ZO# +#"!$# E v SZQL& !$"ZO+!$#" +^'(!O& '(!$Q- ' +(JC'
!$# . vG+'(!$ = !$# .7PB!$)-W ;; v M# U/ RB!$+'J W
ZQL& NS!$$+' +' 68B!$ = ' 7!$# DZR>E*6MB!$WZQE6"+'(!$F'
!$,!$+' 6DB!)- ;;; v
JC' !$# K-/[ZO+' 6 = ` -Q' +D+'c6& '(!f| ' %!$#23!%+' ` -
v = !$# >& L- 6& '(!*| ZWO *a
haK$' >& L-
!$# U$ !hRG4-/Y& ' +-/< +,!$+
&!$+'
& +' *'5^F CY2V v =
` -8' +5+'<6& '(!6| ' ]!$#23!N+!$ >& ZWN#2' 6<!$
$' >& M+' &!Q-4 ;;
v = +' G' '(!$?h-P' +M+'7!$#
6& '(!$F# D*M>+*
8ZWE!$3!$c%' +!$+'2 6& '(!

Q* "' n
LM+
B!!L
^F^ )ZO# ' +'(!$R & +' 6 ' + # 5G'(!6 -
+'(!$R & ' +]>+\-/ ` !$ F ; ` D-/[ZO ` = ; ` = `
9 =
; `
= ; ` = ; ` = ' 7F ; `"AQW16& ' 71' [ZO 6DZW.' !%& !$
ZO+!$#N' +
JC'
$! # ] vG+'(!$D +
G\+' RB!$+'> ; = ' +7ZW !$
!$# O!$$+' +' 6L v U+' G' '(!$?hK-/U#7G'(!6 = + = +'%' 'SE
+' '(!4-H# +'V R& GZQ7#2 N!$$+' +' 6]B!F-L ;; v
% " ;
X ` -`' +Q+'8!$# o>& -G6& '(!c| = RB!c>& ZQ
!'\' ; -!$# ZQ]$' ?hIB!$\' & !$VpJC' !$#
vG+'(!$E +
G5+' ; = ' +.ZW% 5+' '(!?h
RB!$+'
# +F' 8!$#23! >& 8ZQ Z2,!K& !$\&!K-O!$# ;; B!
>& pLM vR! = &!F-!$# ^ 7+' +' 6a' S ' EC' +" h >& = +!$+'2
ZQQ& !$8!$E# +>) ; `<-2' +"h>& CY +?>SU v ;U/&!
-W!$# 7& ' & !$ ^ ; WEZQ" * ZO+!$# ' +"hI v .!$ # +>
` - ' +%+'a6& '(2 ! |8
J !# & \
GN' !$ !$#23!K!$# N ^B!$-)' +]+' !$# N6& '(!$
F
+' DZO# '" ?hR+' 6%
216& ' " +3!$4!$%!$# a(Y2U+' ,!' =
U
f]~
' + U!$# M +3!$9
tW = ZO# +#7'D! * >& (
\G y '
{Xx"5y = ' !$+' 67!$#23!)!$# 9b># +!$ ORN+ = )+)' ! = 'J!$# F$ Z2F
!$# IQ Q * XL+' 6 Tb># '" ; ` -q>& U-V6& '(!$
f]' k~ N
4@w 5 = !$# ' ` U ; 2 ; 3>; 2E ; ' ; WX-`!$# o>& -G +3!$
B
U
f6 ~ tW
W B
4@w 5 2
Y & ,!$# = !$# f> & M%& !$J+'
] +^'(!LZWh -/0!$# FZWh !$# K!CZQa6& '(!$%K& !$VrJ -SZQ
:

& !$F!$# >& S-` +3!$U
f]~ tW +'.!$# W$UZWhF !$#
>& W-X6& '(!$
f ' ]~ = !$# E +,!$+
&!$+'7- !$# E& !$
>& OZQ& J
G.& ' +-/ = + = \G y U
W' {Xx"5y U W:5PM[ZQ> = +-
+!$# 4-
f" ' O ~ "+4& !$
hD+6' +' 6L$' >& !$%+! =
!$# D& !$+' 6N +,!$+
&!$+' -/L!$# D& !$u > & %-U
f ~ tW
+;\G y U FW
W ' i {X"x 5y U F:W

L +"hI> & U' ! ' $+?E
M h +' B! R+' 4!$# %h 4# '8$'SE
?h = +!M7N h #2 G'a!$#23!M!$# .B!I> & %+MB!$V22 Y & ,!$# =
> 'c+-S' 6& '(!> & F+L+' B! = !$# K& !$+' 6"!$$+' +' 6" v
7h ,!$+Q
G]B!$?h *+[2 Z V # +K'(!$+
&!$K!$5!$# ] +? s & !h -

'2?h +' 6F!$# % ^B!$M- ' +%']JGH : 1 +X' 6H R > $ ^ ^

10.2 Experiments with LINUS

Xa v +' F!$# D ^ B!$.-Q' + = !$# D+.-Q vG+'(!$LZQ'SE
& B!$"ZO+!$# HKJGLI< 7 ' YT[MJGH = +( ' !$R & +' 68' +)+'!$# )!$$+' +' 6. v E
W+'7!$# L +^'(!WZWhRY +,! = ' +)ZW N+'7!$# I>& W- !$#
6& '(!$ -2!$# S!6B! *3!$+' = !$# 'K+'.!$# >& -2!$# Q*C>+*
=
' Z2'2? h = +'
G!$#J!$# F6& '(!L' !$# F**>+*
f>& MLM+
ZW) a' 'SEC+' '(!?h+'a^!$# %
U#5 vG+'(!)ZWEG,-/ & +' 6"' 8-4!$# .!$# 8ZWhRL-4+'SE
!$R & +' 6D' +.' JD# 'J' +%> LM+LZWS
Z2,!)+'(!$R & a+'
!$# K!$$+' +' 6"B!$AB B!.-Q*& LZWL!$# ' +' & I-/ # -S!$#
!$$+' +' 6NB!$F& +' i
6 HKJGLI< c' YT[MJGH4CY +'2?h = !$# 7*+[Z23!$+'c&SE
$hK-`!$# OB!$U-^*& 4ZW4!$,!$'K!$# !$,!$+' 6%B! = ' K!$# M>$6
-X!$# ZR>.& !$ZWO &!$V
JC'8!$# Q vG+'(!$ = B SJ RT
BMLM ' rL cbed g ZQW& K 3!!$+ E
&!$ EN>& W' +' 6%6+!$# X+'AHKJGLI< Gb>+!$# +'AHKJGLI< = B SJ RTBMLM
ZW & '8ZO+!$#8+!$X B-H& !X2$B!$ = ZO# +#FB! !$# Q' + EC#2' +' 6O#SE
' + !$L!$M EC & ' +' 6.' ? h # I
L cbed g02$B!$4ZQ)B!U!$

#2' EG,-/B!O23! = + = !$K+' ++ !$# E'1& F
G-X+!$$S+'NF*&

' !$.7v++ Q!$# M'1& F
GS-V v S& ' + m1& ?hK>]
h.*&

# +XZW ' Q+'8 X!$)2U!$# QG,-/7' S-G6+!$# ^ZO# +#
'F#2' S+G,-/B! 23!O!$)!$# QG,-/7' S- !$# Q!$#23! 'F' !CB)'
?hr>+'7-KYT[MJGH UYT[MJGH ; W ZWS& "+'K!$# M vG+'(!$4# M
2E
6& ' a
1' [ZO 6)& "+'aYT[MJGH ' kHKJGLI< DZWU!$# M$)S +
G
+' RB!$+'a
: ) : [ !
!
(a) Noise in arguments only (b) Noise in class only

100 100
95 95
90 90
85 85
80 80
75 75
70 70
65 65
60 60
55 55
50 50
0 5 10 15 20 30 50 80 0 5 10 15 20 30 50 80
(c) Noise in arguments and class ASSISTANT

100
95
90
85
80
NEWGEM
75
70
65
60
FOIL
55
50 1 2 3
0 5 10 15 20 30 50 80
Y +6& K ; (B)& $h >RU' +L+']!$$+' +' 6K v
Y +6& ; XUHW.6+?>K!$# ]& !$K-M!$# ] vG+'(!$KZO+!$# ' +]+'SE
!$R & J' ?h"+']!$# 86& '(!$ = Y +6& K ; XU/
WQZO+!$#N' +%+']!$# .*
>+*

' ?h = ' ,Y +6& W ; XU/WGZO+!$#%' +U+'(!$R & %+'L!$# S6& '(!$
' a+'"!$# %*5>+*
L3!!$# %$L!$+
LM+M ^ B!$"0>?hD!$# O*+[Z23!$+'& $hD-V
G!$#D"hR,!$
# *+[2
Z 3!$+'<& $h> ]!$# G'(!6 -F' +I+'SE
V)!$# F,!EZO# 'I+!)ZWL+'(!$R & 5+'
G!$# !$# D6& '(!$L'
!$# *]>+*
= ' <!$# ,!NZO# 'Y+'(!$R & <+'>!$# *]>+ E

7' ?hpHKJGLI< & +' 6iB SJ RTBMLM # +> J
GB!!$F*+[Z23!$+'
& $
hI!$#27
' YT[MJGH4KB)9L cbed g
& ' a#2' + -/L#2' +' 6
+G,-/B!O23! = HKJGLI< ]& +' 6OL cbed g
G,-/]ZQ%!$#2'nYT[MJGH4
B)'2? hR+E-U!$# K*& L+' & I
h HKJGLI< J& +' 6]B SJ RTBMLM_'
:
1
YT[MJGH<# [ZOK!$#23!KZO+!$# !$# ]+' ]-M!$# ]G'(!6N-)' +"+' !$#
!$$+' +' 6K
v = !$# L-/[ZO+' 6F'a
G%
">V
# c>$6 *& I' 6!$#>+' a+'YT[MJGH ' J+'
HKJGLI< ]& +' 6AB SJ RTBMLML
# >$6K'1& F

G%-S v L>
hI]*& K[ZO?hJ E
M+'6YT[MJGHc' a+' M+']HKJGLI< N& +' 6AB SJ RTBMLML
Y %
G!$# "hR,!$ = !$# '1& F
G.-WG+!$+?>D v %' !8>
2

h8!$# #hRG!$# +U+ = -H,!$ -/(HKJGLI< F& +' 6B SJ RTBMLM !$#2'
-/2YT[MJG4 H
B)X!$# F-HB!$L+' +3!$8!$#23!fYT[MJGH\+6#(!$?ha>Z !$L!$# F!$$+' +' 6" v E
= ZO# +#?& !$+'? [ZQG,-/7' a' & ' ' ># ++

7+' ?h & J!$c!$# s+' h -L!$# ' R +' 6 ' 6!$# ,!$+B!$+'? +GE
& +'
RB!$+'nF
ZQ\-/& ,!$# ]71N
G&!"!$# I& !$]#2>5!$ G
W
57 Y +,! =
!$# ]+D' +' N+'c!$# N*+[Z23!$+' & $h\3! ; `
' +">
# ++D & N!$I!$# a' S ' EC+' '(!'23!$& a-E+' +' 6I' +a+'\!$#
!$$+' +' 6L23! # +U # ' ' ' +$ G+'F!$# O vG+'(!$UZO#
' +MZW "+' '(!? h 1+4
^^ R' = +'7!$# M!$$+' +' 6

23! = 8- v LG+!$+?>AU/+6(`G+!$+' WS'
KE' 6(E
!$?+ >k
U/6(PG+!$+' W:oB ' +' 6D"hR,!$0ZO+!$#JG,-/B!)' + EC#2' +' 6
#2' + # & a# +>8K*+[Z23!$+'a& $h"ZO# +#JF& ,!O' !M
G
[ZQ%!$#2' !$# "& $hc# +>
hca B-H& !.*+[Z23!$+' & K!$#23!

*[+ Z2F# v 7+'(!$J!$# "7 +!h * U/+' & 8]+'(!$ *
xyz0{Xx :W
bc.'a' !$+L!$#23!M+'6Y +6& K ; %!$# %*+[Z23!$+'a& $hN
& ' %!$# 0 ` 7 +!h *.& $h# +%+L& ' ,!' 2
DZO# '
' ++.+'(!$R & c+' !$# *f > +*
nU Y +6& N ; X/U
WLW '
G!$#c+'
!$# 6& '(!$.' 5!$# D* > +*
U Y +6& ] ; X/U WW = +' K!$# D' +
#2' 6!$# a* +,!$+
&!$+' =
&!7' !+'\!$# aaZO# J' ?\ h 6&SE
'(!$).& !$ U Y +6& K ; XHU W:W Q# +M+' +3!$!$#23!O!$# %!$$+' +' 6
v E.
G+' 67> Z !!$VEX7 v *+'a!$# +) # ' ' ' = ZQK2!
'>6& '(!7-/
Q* ' Q -
Q ,ZQ ^ ^ W B !5 ;; ` ' + +' !$#
6& '(!$ = !$# N6& '(!$K' !$# "*K" B!$?h +' G' '(!
# D7 v +7?]
h >
Z !!$c& O/U ' KGL v O
W ZQ& 5!$# 'I
GKGE
B!"ZO+!$#
2
++!h +-E!$# *7+ wNxxyz0{Xx ' ZO+!$#?
2
++!h
: ) : [ !
!

100 100
95 95
90 90
85 85
80 80
75 75
70 70
65 65
60 60
55 55
50 50
0 5 10 15 20 30 50 80 0 5 10 15 20 30 50 80
(c) Noise in arguments and class

100
95 ASSISTANT
90
85
80 NEWGEM
75
70
65
60
55
FOIL
50
0 5 10 15 20 30 50 80 1 2 3
Y +6& K
; R(B)& $h >RU' +L+']!$$+' +' 6D' ]!$,!$+' 6 v
]+-S!$# D*%+ xyz0{Xx Ub!$# D B-H& !%
2
++!$+)-QG+!$+?>D' ' 6E
3!$+?>] v W:
# a
2
++!h -E5B!7' ,ZQDZQ& \!$# '
G

4
'

4
3
4
'

4
A =
` = ZO# +# + %[ZQ.!$#2' !$# "` B-H& !8 E
& $h"# >Z !!$+' 6J
"> +'
& % vG+'(!$.2B!$8
G#2>R+
GB!CZQ'J!$# L!CZQ7 vR!$

B)X vG+'(!$) +
G5+'a!$# +)B!$+'JZQKG3!$JZO+!$# ' +"h
!$,!$+' 6"B!$ 1
+X' nH R > $ D^
^ [ MM
L +.ZWL+'(!$R & +'J!$#
!$,!$+' 6?B!$5+'Y v B!$?h !$# $ ZWh +' !$# !$$+' +' 6 B!$ U/$
& '(!$F-O' +"+'c!$# N6& '(!$ = !$# ]*9 > +*
F
G!$#W:5#
*+[2
Z 3!$+']& $" h -X
G!$#]HKJGLI< ]' ]YT[MJGI H GN+6' +[2
Z '(!$?h =

&!"!$# +7*3!$+? > aG,-/7' 7+' & ' #2' 6 = + = HKJGLI< & GE
:
+' 6nB SJ RTBMLM # +>
GB!!$K' HKJGLI< c& +' 6iL cbed g ZQ
*+[Z23!$+'N& $h]!$#2'6YT[MJGH4

Y +6& ; W# [ZO !$# U& !$P-/V!$# U4ZO# S' + W Z X+'(!$R &

+'7
G!$#!$# )!$$+' +' 6.' 7!$# M!$,!$+' 68 v =Y +6& . ; RUHW 6+?>Q!$#
& !$U-`!$# O vG+'(!$4ZO+!$#D' ++'(!$R & D' ? hF+'F!$# M6& '(!$ =

Y +6& F ; RU/
WUZO+!$#]' +L+'"!$# L*; >+*
)' ? h = ' 6
Y +6& 8 ; RU/ W
ZO+!$#"' +M+'(!$R & "+'7!$# E6& '(!$W' "+'!$# E* >+*
M3!Q!$#
$E!$+

X"& 7+ = ZQ82a!$# 8G,-/7' .-=HKJGLI< J' pYT[MJGH
- ' +' 6L+6(RG+!$+' 4+'L# Q' 6( R>$
'D!$# O
^
+.-W vG+'(!$%ZQ7' & B!$ = ZO# A>+& .& '(!$%-W' 'SE
+' '(!' + ZQQ %!$!$# !$$+' +' 6 v CQQ!$#,HKJGLI< L& GE
+' 6B SJ RTBMLM ' ]YT[MJGH G,-/"ZQ = 2"!$OHKJGLI< "& +' 6

L cbed g = ZO# +#"& ]' F#2' + -/S#2' +' 6.+G,-/B!Q23!cB)
8& !W-P!$# )& ,-/& V!$
EC & ' +' 6F#2' + & N+'aB SJ RTBMLM
' !$# a s+' h -E!$# J' R +' 6c' 6!$# ,!$+B!$+' & ?+' YT[MJGH =
HKJGLI< & +' r6 B SJ RTBMLM # +>]
GB!!$Q*+[Z23!$+'"& $h!$#2'
YT[MJGH4
10.3 Experiments with mFOIL

# + B!$+'% +& X!$# 4G,-/7' U-RaYT[MJGH7' 9YT[MJGH'L!$# U$
!I-' +' 6a+6( # K' 6(G+!$+' L-/ ' +"h v

JC'J'(!$$,!)ZO+!$#a!$# . vG+'(!$)+' RB!$+'c ; = ' +%ZWE,!$+[Z2+*?h
!$%!$# MB!Q v U+'7'+' '(! -H# +'V a
YT[MJGHa& +' 6
!$# a.aEC,!$+73!$OU%#7# & +,!$+O# +>7
GB!!$U*+[Z23!$+'D&SE
$hK!$#2'aYT[MJGH4bc)%7)%2+'D-tYT[MJGH5' aYT[MJGHNZO+!$#
HKJGLI< c& +' 6iB SJ RTBMLM ' !$# !$$+' +' 6JB!$8ZO+!$# ' 'SEC+' '(!
' +

B '(!9>+' -2YT[MJGHUYT[MJGH RW = +
G +' & +' *'
^^ =
ZW.& c+'5!$# D vG+'(!$OJ !LZW.& 'IZO+!$# +!$L B-H& !%2$B!$
<M' + i
YT[MJGH ; = YT[MJGH R ' & !$# +'-/73!$+'
G&!7!$# J!hRG]-
+3!$56& '(!$ #1& = O!$# "hR,!$]& !$# J-/[ZO+' 6
2E
6& ' \ +3!$ {XX{Xy \ wNxy Ui}#!rWF' xy:5:5 wNxy Ui}#!W.ZO+!$# GE
6& '(!$K-!hRG6 wNxy UbZO+!$# >& { !$ W = {XX{Xy \ {K Ui}#!W8'
xy:5:5 {K Ui}#!W4ZO+!$#"6& '(!$W-V!hRG UbZO+!$#O>& ))!$FW = '
m1&2+!h ! = & a-/
G!$#]!hRGM- 6& '(!$
: ) : [ !
!
# O2$B!$ +'KaYT[MJGH]ZQOB!S -/[ZOX# O

G ZO+!$#FZW
B!E!$ ZR>6U/ B-H& ! WM' !$# F+6' +[Z2' 8!$# # JZWLB!L!$ uU/'
+6' +[Z2' "ZWK!$,!$W:\# +KG' D!$ !$# N2$B!$KB!!$+' 6

& +' Q*] ' nQ
Q ,ZQ ^ ^ = ZO# +#a!$& ' J&!M!$DZQ"ZQ Q#
' ,!$& B!$+'"- *& QZWW,!$ G"ZO# 'N8*& MZO+!$#" v GB!$a&SE
$hk/U ,!$+73!$8
% h !$# Q#K# & +,!$+W [ZQ !$#2'8!$# Q B-H& ! & $h
ZW)' ,!$& B!$VM# rH *%,!$+73!$.' a!$# .aCE ,!$+73!$ = ZO+!$#J>E
$ +^'(! > & )-/ . = ZQD& E# # & +,!$+%# r> &
-/a. ZQFO-/[ZO ; = ; ; = ; = = = = = F ' c[ = D&
B!E- !$#
>& & J
h Q,!$' + ] ' nQ
Q $3! ^ ^
# a!$# J+7-L v G+'(!$ZO+!$# aYT[MJGH ZQJG3!$ ZO+!$#
a+6' +[2 Z ' !$# # c-2^^" ` 6 Y +'2?h = v G+'(!$.ZQ"GGE
-/'!$$+' +' 6% v UZO+!$#' 'SCE +' '(!`' +(HKJGLI< D& +' 6
B SJ RTBMM L = YT[MJG< H ' aYT[MJGH ZO+!$# . ; ; "ZQN + +'c!$# +
L!$ v & !$aZO+!$#aG!$# ,1 +' O- ' +
Y +6& 5 ; 6+?> K!$# ]& !$D-M!$# ]
v G+'(!$KZO+!$#\' +]+'(!$E
& ' ?I h +'c!$# O> & 8-W!$# "6& '(!$ =
Y +6& a ; aZO+!$# ' +7+'
!$# , > & )-4!$# 8**> +*
%' ?h = ' p Y +6& ; ZO+!$#J' +8+'(!$E
& 7+'K!$# 2 > & U-G!$# )6& '(!$S' D!$# M*(> +*
3!U!$# O$
!$+ # .& !$ME!$# . > $6.> )ZR> . v G+'(!$
L +J ^B!$?0> ?\
M h !$# a*+[2 Z 3!$+' & $h -E
G!$#ZYT[MJGH
' aYT[MJG4 H # a*+[2 Z 3!$+'\& $\ h ?K!$# NG'(!6
-W' ++' V8!$# ,!.ZO# ' +!%ZW.+'(!$R & c+'c
G!$#I!$# O > E
& 7-E!$# 6& '(!$7' !$# J*A > +*
= ' !$# J,!ZO# '?+'SE
!$R & +'I!$# A > & .-Q!$# 7*f> +*
K' ?h k) B 8' +KZW8+'(!$E
& 8+' '(!?h = & $% h G%' !$' +? h ZO# '.!$# S& '(!
-' ++' V]CJ 'c+% v G+'(!$.ZO+!$# ' 'SCE +' '(!U' +
1 +X' 6H R > $ D^
^ [ = +
GI+' RB!$+' ; = '5+' K+'
& $F h ZWU
"> ZO# '' ++' D-/ ` !$ ; " ` c) B 4& #
'N+' %+' !O '(!)+']!$# L& !$O- v G+'(!$ZO+!$#N+' 'SE
! ' + = ZQ87N h ' & .!$#23!M!$# .+' .ZW) & .!$7#2' 8+'a!$#
' 'SCE +' '(!?J h ' + = ' I' !L!$NKG+[2 Z K G,!$+L-
!$# %' +' 6K"R h ,!$M+'> ?> V
J -%!$# 5
G,!1. +"# '>-/7#>G'(!6I-%' + = !$# 5& !$
# + >
h aYT[MJG< H ]
GB!!$F!$#2' !$# ]' # +>
h YT[MJGH /U
Y +6& E ; X
W aYT[MJG] H ZO+!$#F!$# 2H *W,!$+73!$(a g > = +-GaYT[MJGH
& N!$# .aCE ,!$+73!$JZO+!$# . ; ; = -/7ZO# +#<
G,!aG,-/7' +
:

4w@5y
5 \w. { \y ; ; ; ; ; F ;
{ x {Xy ^ $^ ; F
;
F0
0
S

S ^ ^0 ;
. ; ; ^ FF0
FS
0 ;
*R ^F
S F ; R
F
. ; ; ^
^ F
F R ^$F ; ;
*R ^
S F0 ^0 ;
. ; ^
^ R
F R ;
^0 ^
0 ^
S ( F0 ; F0 ^
. ; ^ ^ F F
^0
*R
*
0 F0 ;
. S ;
^ R R F^0 FS [
S

0
*R ; F0 R
. 0 ;
^ R R
FF0 R F ; F
0
F
S

0 ; 0
^ ; ;
. R ;
^0 F F0 ^F

^0 FF

*R ;
S ^ R ^
. F0 ;

F0 ^ ^0
; ^F
S R
; 0 ;
. [0 ;

0 0 S

F0[ 0 ;
0 ; F 0 ;
~ :y 5 \ . ^

^ F FR ^$F ; ;
0 ^
*R ; F0 0 ;
Y +6& F ; 4aYT[MJGH4RB)& $h >RU' +%+']!$# .6& '(!$

: ) : [ !
!

4w@5y
5 \w. { \y ; ; ; ; ; F ;
{ x {Xy ^
$^ S R

FF0 ^ ; F0 ; F R F F0

0
* ;
. ; ; ^ ^ R ^
*
FF0 F$F $F ^ F S^

F^
. ; ; ^
^ R ^ S ; F^0 ^ FF0 $F0 ;
^0 ; R
. ; ^

^ R ^
F^0 F FF0 F FF

F0 ;
. ;
^ ^ R ;
^ ; F$FF0 $F S
* F

S
^
R
. S ; ^ R R ^ 0 ;

F^0 $F S F 0 ^ F R

0 ^ 0
. 0 ; ^ R R
^ F ;

F S F$F 0 ; F R ^ F R ;

0 ^ 0 F
. R ;

^0 F ^ S ; ^
F S $F S FF F R F
0 R
. F0 ; F0 ^ F F F

F ; ^0 F $F ; F
R F
. [0 ;

0 0 0 F0

F0 ; F

0 0 ^
~ :y 5 \ .

^ ^ R ^ S ; F^0 ^ FF0 F 0 ;

^0 ; ;
Y +6& F
; 4aYT[MJGH4RB)& $h >RU' +%+']!$# %*
:

4w@5y
5 \w. { \y ; ; ; ; ; F ;
{ x {Xy ^
$F

; F
R ^ R F
S F
. ; ; ^ F
S
^
S F
R ^ R ; 0
. ; ; ^
F^0 $F ; [
0 F
0 ; F0 R ^0 F
. ; ^
F^0
^0 F
F
0 ; ^ F0 F ; 0
^0
. ; ^ FF0

^0

0
*R
* ^0 F F0 ^F
. S ;
^ R R FF0
^0 F
0 ;
S F
R ( ; ^
. 0 ;
^ R R F
*$ F ;
^
0
S 0 ; ^
. R ;
^0 F F
0 ;
*R

R
* S
F ;; ;
. F0 ;
F0 ^ F ; R
S [
S
;
S
^ ^0
. [0 ;
0
0 R

R

^
S

^ F0 R S
; *
~ :y 5 \ . ^
F^0 $ F ;
^
0 F
*R
* ^0 0

Y +6& ; aYT[MJGH4B)& $h >R ' +J+' !$# 6& '(!$]' !$#
*
: ) : [ !
!

100 100
95 95
90 90
85 85
80 80
75 75
70 70
65 65
60 60
55 55
50 50
0 5 10 15 20 30 50 80 0 5 10 15 20 30 50 80
(c) Noise in arguments and class

100
95 FOIL2.0
90
85
80
75
70
65
60
mFOIL(best m)
55
50
0 5 10 15 20 30 50 80 1 2 3
Y +6& K ; cB)& $h >RS' +4aYT[MJGHIZO+!$#N

G,!|. ' nYT[MJGH4
# +> = +!X,!$+(G,-/

GB!!$ !$#2'8ZO+!$#.!$# ;H *S,!$+73!$ = XZQ
%
GB!!$E!$#2'7YT[MJGH4V# D +^' .
GB!CZQ'caYT[MJGH\ZO+!$# . ; ;
' iYT[MJGH 3 !. ; ` ' c ` - ' +%-4t1+' ).+6' +[Z2'(!M3!M,!
3!!$# ,
^ ; ` > = +' 6K!$K!$# \NE !$,!O-/ G' '(!E$
Y2 Z0v G'(!6a-E' + = !$# N
G#2>R+D-)!$# N*+[Z23!$+'
& $a
h - aYT[MJGH -/O +^'(!*>& M- . +O++*Q!$D!$# .
G#2>R+
-W& $5
h - ;L 7ZO+!$#5!$# .9,!$+73!$F-/L +^'(!>& L-u.5JC'
,!)E+!)6[ZOM-/ . ; !$. ; ; = 6[ZO)& '(!$+ 7 v +F&
+.# ' c!$# ' -H"# +.
G#2R > +.+.+& ,!$$3!$I+'7
Y +6& N ; =
ZO# M!$# )& $+QO6+?> '-/4!$$+' +' 6L v UZO+!$#' +O+'
G!$#
6& '(!$M' N*
:
100
0%
95
90 5%
Accuracy
85
10%
80
15%
75
70 20%
65
0 0.01 0.5 1 2 3 4 8 16
Value of m
Y +6& K
; R=QQ#2>R+- aYT[MJGHc& $h]-/ +^'(!2>& -/.5
100
95
90
85
80
75
70
65
60
55
50
0 5 10 15 20 30 50 80
FOIL2.0 mFOIL(best m)
Y +6& I ; FiB)& $h -EaYT[MJGH ZO+!$#

G,!'. ' ^^` +6' +[Z2'
!$# # V
: ) : [ !
!
100
95
90
85
80
75
70
65
60
55
50
0 5 10 15 20 30 50 80
ASSISTANT FOIL2.0 mFOIL (m=0.01)
Y +6& ; ^HKJGLI< = YT[MJGH ' aYT[MJGH & $hG ' 'SEC+' '(!
' +
J -^M^^`Y+6' +[Z2' S!$# # K+ +.!$# WG,-/7' Q-àYT[MJGH
ZO+!$#?
G,! . R++*K& !$7#2>5
G' G,!$?-/ ;L
Q* "' n
QQ,ZQ4^^ o
PM[ZQ> = +!O,!$+VG,-/
GB!!$!$#2'nYT[MJGH
-/"' +5
G
> ` +' 6& '(!$""
G!$#>6& '(!$]' >*B
2+'I-& $+.-QaYT[MJGH ZO+!$#
G,!;. ' 7YT[MJGH = -/%' +
+'a6& '(!$M' N*O+6+?>'a+'6Y +6& F ; F
Y +'2? h = ZQS2 !$# SG,-/7' 4- a YT[MJGHiUbZO+!$#;. ; ; = '

a+6' [+ Z2' F!$# #
W = YT[MJGH ' 7 HKJGLI< U/& +' ] 6 B SJ RTBMLM*W
'7!$$+' +' 68 v SZO+!$#"' S ' EC+' '(!G' + # L& !$S-/Q' +
+'86& '(!$ ' 8* Q6+?>'8+'9Y +6& M ; ^XaYT[MJGH"# +>K
GB!!$
*[+ Z23!$+'N& $
h]!$#2'N
G!$n
# YT[MJGHc' n
HKJGLI< G
Part IV
Applications of ILP
11
Learning rules for early diagnosis of
rheumatic diseases

QB! +*6' +S+'7!$# )?h,!6E-X8# & 73!$+M +E+W8 +?s& !

a6P)>R+' 6J2\4!$# 7+'>,!$+6(3!$+' = 7'h 23!$+'(!$8' ' !

G+*
? hJ +*6' 3-b!$L!$# + Z2,9
! >R++!L!$a!$# G+*+,!# E
'I-/E!$# +L+)!$#23!." hR!$ = +' +X7' +-/,!3!$+' = *
G$3!$" h '
$ +6+ Z2' +' 6E-=>+& )# & 73!$+8 +.F++*M' 5' !

G[+ Z2 E+*6' +)'c]
GD+' B!%
G& -S!$# D&
B!$+?>+'SE
!$ B!3!$+'\-E'2' ,!$+ = +' + = *
G$3!$" h ' $ +6+U23!
4+'23!OB!) W^F^
# + +*6' ,!$+< 7+' ZW?& + 4+'23! B!> ^F^ =
X%$+ W' 4+'23!O^^ ; +'D vG+'(!$4ZO+!$#K!$# O ++'SE !$O' +' 6
"hR,!$ B SJ RTBMLM Q,!$' + "B!) W^F
U/ RB!$+' R W:iJC'c!$# +
CE +-/O +*6' ,!$+) 7+' = !$# L& L- B SJ RTBMLM ZW;>"h] + E
3!$D+' D+!%' ZO+!$#I+' B!$6U/++' 6XW)' I' & kU/' +"hRW
23!
# +M#2!$M +
GM!$# 8 +3!$+'"-(HKJGLI< ]!$D!$# .
-
' +' 6D& O-/M?h] +*6' +O- # & 73!$+% +2JC' +!$+']!$
!$# .3!!$+
&!$ EN>& E +!$+' O- 23!$+'(!O23! = HKJGLI< "ZW)D6+?>'

2 16& ' i
1' [ZO 68 >R+
hJ +PG+*+,!M+'N!$# .-/ -
!hR + ECR& ' )- "hR!$Q# 8 vG+'(!$M +
GJ+']!$# +
#2!$]ZQI ' ZO+!$#HKJGLI< ?& +' 6 ;L
Q*"' nQQ,ZQ4^^

U/ RB!$+' R XW:\# ;L I6+!$# 5#2D!$# a
++!hI!$ G
ZO+!$#I' +"J h 23! =
&!%+' & % +!$+' L+' !$# K-/ -Q+- E !$# '5&
J !"!$& ' "&!"!$#23! ;L +7
GB!!$"& +!$?-/!$# & 5-L!$# 52,!$+& *
+V
21 6& ' 61 ' [ZO 6.+']!$# %+' & B!$+']- +*6' ,!$+L&
[ & .,!$& 0h # [ZO8# [Z_!$# ' + CE #2' +' 6N#2' +%- ;L a'
E
!$# N
++!I h -*HKJGLI< c!$5& ]
21 6& ' 1 ' [ZO 6N ^B!F!$# ]G,-/GE
7' /U + = *+[2
Z 3!$+' & $\ h ' +'-/73!$+' '(!$'(! KW ' !$#

:: V
!
v+!hF-^!$# O+' & 7 +*6' ,!$+& cJC'7 +!$+' = % + > E
&23!$+'>-.!$# I& N# [ZON!$#23!]!$# I& -8
2 16& ' 1' [ZO 6 +'
HKJGLI< D+ >4!$# *m1&2+!hK-V& # MG,-/7' O-KHKJGLI< D& +' 6
;L 7+L"2J!$"!$# FG,-/7' HKJGLI< J& +' 6 B SJ RTBMLM =
& a+'N+W
v G+'(!$O+']!$# + 7+' H >R$ %B!) W^^

Y +,! = ZQ '(!.!$# D +*6' ,!$+F
' I6+?> K!$# D
21
6& '
1' [ZO 6M!$8
GM& "+'!$# M+' & " +*6' ,!$+O& (M L R
v ! = !$# )& !$
-.!$# v G+'(!$a' >!$# +E> &23!$+' -F+' & <& a
'(!$VE# F#2!$E' & )ZO+!$# +& +'5' +B!$+' O-/
-/& ,!$# ZQ`
11.1 Diagnostic problem and experimental data

L3!
G&! ( Q23!$+'(!$VZQSB!$%3!P!$# =<M' +?>+!h,ga + Q'(!$

+'H &
$'2 # OW> ;; +^'(!4# & 73!$+W + ZO# +#D'

GK6& G5+'(!$"!$# = + v = +6#(!L)!CZQ?>D +*6' ,!$+F*9B)L& 6E
6,!$
h G+*+,! = +6#(! +*6' ,!$+ * ZQ ' + V

D.# [ZOM!$# .'2O- !$# . +*6' ,!$+L*E' N!$# .'1& F
G
- 23!$+'(!$O
G' 6+' 6F!$D#a*
# L vG+'(!$WZQLG,-/]'N'2' ,!$+E23! = ZO+!$# &!Q!E
+' 6 +'(!$I& '(!D23!5
G&!K23!$+'(!$ l +' +S7' +-/,!3!$+' = *
G$E
!$"h ' $ +6+ Z2' +' 67# 7+ vR!$' '2' ,!$+3!!$+
&!$.
)-/[ZO
v = 6 = -H+? hN'2' + = & $3!$+' -U '(!%" hR!$ =

& $3!$+' -W# & 73!$+D + = +'(!.2+' UH,!$# !$+ = ,!$# +!$+W = '1& E

G4-^2+'-/& +'(!$ = '1& F
G4-G,ZQ' +'(!$ = +'2 2+'6U/G' 0hR!$+ =
G' 0hR+!$+W = !$# M2+' U/# 2# = 2 +'a+'aF& = !$# $v =
G ' =
# W = & $3!$+'.-`' +' 6M,!$+^' = 1+'F7' +-/,!3!$+' = F& $R7'SE
+-/,!3!$+' =
h.7' +-/,!3!$+' = !$# O7' +-/,!3!$+' ' ]!$# $h

[E&!Q- ( L23!$+'(!S S' ? hAFLZQ)+' B!$ ` %3!!$+
&!$5 > E
& ZQ++' 6Ub-/ 3!!$+
&!$ vD' D6W: # + ZW ' !4
73!$+

+' ,HKJGLI< ]& +' 6 ;L K'a#2' L++' 6K23!
11.2 Medical background knowledge

# J >+*
"23!$+'(!23!5ZQ & 6'(!$ ZO+!$# +!$+'2Q +*6' GE
!$+i1' [ZO 6VB G+*+,!7-/"# & 73!$+ +]#2] >R+ ># +
1' [ZO 6
G&!L!$# K!hR + ECR& ' .-Q"hR!$ R+ v !hR +
> [

Q* L) LM& F
G- 23!$+'(!$
|8 6' $3!$+?>. +' % + F

|
6' $3!$?+ > +'(!O +
F
~7 +'`73!$"h +' % + [
~- !$# +'`73!$"h7 + ^
vR!$$E ,!$+& *W# & 73!$+
R
" hR,! EC+' & N" hR'
>R+!$+ *
' 'SECG+[Z2%# & 73!$+L7' +-/,!3!$+'
' 'SEC# & 73!$+E +

M # Q+6#(! +*6' ,!$+U* ' .!$# QG' +' 6)'1& F
G
- 23!$+'(!$
6& +' 6- "hR!$WZQ.& 66,!$J

h]!$# %G+*+,!

# 4Z2,!76& +' 6I*3!$D!$# +'(!2+' ' !$# a & $3!$+'\-
' +' 6 ,!$+^' # I#2$B!$+,!$+IF
+'23!$+' ]56+?>'<+'
!$#
!
L
G[Z 2V!$# OF
+'23!$+' L+' +6' +[Z2'(!O+>'(!
+'(!O2+'
ga' +' 6D,!$+^'
' 2+'
%# &
,!$# !$+
# &
%
,!$# +!$+ %# &
# L' N6& +' 68*3!$Q!$# E +'2^2+']' 7!$# L & $3!$+'7-
' +' 6K,!$+^
' U# %-/[ZO+' 6KE!$# %#2$B!$+,!$+%F
+'23!$+'
R +'2V2+' ga' +' 6D,!$+^'

' 2+'
%# &
G' 0hR!$+
%# &
G' 0hR+!$+ %# &
# %!$# +]6& +' 6K*3!$ vJ' N!$# 2+'V(JC' +3!$+?>L+W!$#
2+']+'"!$# L!$# $v"+'"!$# L# -/W7)23!$+'(!$ = G!$# OF
+'2E
!$+' O%' S
' ECG[+ Z2
R v [)!$# O2+'

7 !$# $v
7 #
:: V
!
# a-/& ,!$# 6& +' 6

*3!$ +'(!2+' ' +'22+'V #
-/[ZO+' 6KE!$# %#2$B!$+,!$+%ECR& '
+'(!O2+'
R +'2V2+'
' 2+' G' 0hR!$+
,!$# !$+ ' 2+'
' 2+'
G' 0hR+!$+
,!$# +!$+ G' 0
hR+!$+
,!$# +!$+ ' 2+'
' 2+' ' 2+'

# )Z -b!$#6& +' 6L*3!$ +'(!42+' = +'2 2+'' K!$# O'1& F
G

- 2+'-/& +'(!$
+'(!O2+'
R +'2P2+' +'-/& +'(!$
' D2+' G' 0hR!$+ ;
,!$# !$+ ' D2+'
+'(!$
;
' D2+' G' 0hR+!$+ ;
,!$# +!$+ G' 0hR+!$+
+'(!$
,!$# +!$+ ' D2+'

+'(!$
;
' D2+' ' D2+' ;
# L+ vR!$#N6& +' 6F*3!$Q!$# L'1& F

GW-X,ZQ' +'(!$' ]!$#

'1& F
GO- 2+'-/& +'(!$

1ZQ' +'(!$ +'-/& +'(!$
; ;
;

+'(!$
;

+'(!$
; ;

+'(!$
;
# K
G>F
216& ' i1' [ZO 6F+M' R 5+'a!$# .-/0-4&!$++!h

-/& ' B!$+' = +'(!$R & +' 6 G+[Z2a-/& ' B!$+' >& D-/#?#2$B!$+,!$+
F
+'23!$+'N- "hR!$;Y2O v = !$# %!$# +a6& +' 6- #2$ E
!$+,!$+)" hR!$W+W+ '(!$"

h7!$# L&!$++!hK-/& ' B!$+']6+?>']
G[Z%
!*/0 0 %/ ! !* %/ !*/0 * / !*/ %/
!*/0 !* !* $

!*/0 # # $

!*/0 *
: [
# )#2$B!$+,!$+MF

+'23!$+' U-V+' &!W3!!$+
&!$5>& =hR+&!$+ E
+!h -/& ' B!$+' >& ZO# +# ' ' +
' & ' ,!' 2
=

6 = !*
' #
+' !$# ]
G>"&!$++!h -/& ' B!$+'VJ#
'2 * ,!$+[Z2+* lSU/' ! & K
h8G+*+,!$W =
&! !$# h8 '(!U'SE
+' 6-/& ECR& ' .-S"hR!$EZO# +# #2>K!$# +LF+'5 vG,!. + E
6' +B) !$# D!$# %F
+'23!$+' IhR+5!$# D$F-/& ' B!$+'p>& $
*
# %# +L- /- & ' B!$+' +' ,!$]-X&!$++!h +3!$+W
2a']!$#
$M6& '(!CJ S ! +U+G,!'(! -/U%G+*+,! !$f1' [Z?!$# M v B!>&
-G!$# O-/& ' B!$+'nU/+ = $! # O v B!QF
+'23!$+'K-^"hR!$W = ' ' !U' ?h
!$] 1' [Z_!$#23!.DF
+'23!$+' o - >& L-W+' ?+ >R+ &2 3! !$+
&!$%#2
R& eUbZO# +#IZQ&
GK!$# D+-S!$# +f1' [ZO 6KZQ7' R c+'
!$# L-/ - &!$++!h7 +3!$O#2>R+' 6' ?ha>& . / ' % 0 W:
11.3 Experiments and results

JC' !$# "+' & B!$+' -M +S +*6' ,!$+7& = HKJGLI< cZWK& \+' !$#
*O' +' 6KR OU/ RB!$+'

XW: ;L
Q*"' nQQ,ZQ4^^
ZW& ]ZO+!$# +'kHKJGLI< 7!$F+' & E& Q-/Q#N-P!$# E+6#(!W +*6' ,!$+
* = !1+' 6N+'(!$N& '(!%!$# D
216& ' u1' [ZO 6D+'5!$# F-/ -
&!$++! h-/& ' B!$+'
JC'" S!$8 >&23!$O!$# ) ^B!$W-P
2 16& ' 1' [ZO 6E' "' + E
#2' +' 6L#2' +4'D!$# O*+[Z23!$+'D& $h' D!$# O v+!h
-Q!$# +' & c& = !CZQJ6& .-W vG+'(!$%ZQ7G,-/V.'
6& \' !$# ]ZO# ]B!7-M23!$+'(!23! = ' \!$# ]!$# D' !$' +^GE
'(!D2,!$+!$+' .-O!$# ]23! B!D+'(!$J!$$+' +' 6 ' !$,!$+' 65 v uJC'
#K6& 8-2 vG+'(!$ = !$# W vG+'(!$XZQQ-/& ,!$# +6' K' 6
' !$# 8!CZQ5 +' +' pL)?h = +' ' 7#2-O-!$# " vG+'(!$F!$#

216& ' 1' [ZO 6E +

G]+' RB!$+' LZWW& ]+'7!$# )'SE
+' 6. R U
#"-^!$# M6& +' 6U'(!$+
&!$"'" +!$+'223!!$+
&!$ =
6+?>R+' 6E)!$!R-`+ F
v ' BZ?3!!$+
&!$ # B!4-G3!!$+
&!$ & K-/ 'SE

+' 6DZO+!$# ;L K!$#1& )' +,!$J-[D+' +!$+*V' D' BZ 3!!$+
&!$oJC'J!$#
!$# O#2-X- !$# % vG+'(!$O'
216& ' n1' [ZO 6LZWM& = '
!$# DB!.-W3!!$+
&!$L' +,!$ -S!$# N[]+' +!$+* 3!!$+
&!$L' ?hrB)' 6
!$# 5!$# " +' +' = !$# 5+6' +[Z2' J!$,!N' + EC#2' +' 6 #2' +

+' ;L uUbZO+!$#cN+6' [+ Z2' D>U-5^^ÀW)ZW.& +'I' #2-Q-Q!$#
vG+'(!$M' a' !O+']!$# %!$# O#2-
:: V
!
# *+[Z23!$+'I& $h ZW.& cE!$# DG'(!6-Q vXE
SB!$?h*+[Z2"
h"8& MB!4# E v+!hDZWQ&

hD!$# M'1& F
GS-V& S+'D!$# MB! = 4ZQGU!$# M!$!2'1& F
GS-V+!$$
U/' +!$+' WO G+' 6"+' X& )+'J!$# FB!fY +'2?h = !$# F+'-/73!$+'
'(!$'(! = + = *3!$?+ >"+'-/73!$+' XL' ' R ' 7' n
QQ$3! a ^^
ZWM& = ZO# +#N! )+'(!$7& '(!M!$# . ?+ s& ! h]- !$# .*[+ Z2
E
!$+'%
a # + & S- *+[Z2PG,-/7' U+
+RhL +
G
G[Z%UX& *3!$)!$# %*3!$+?>L+'-/73!$+'" = K& +!

?h"R +[Z2
+ '(!3!$+'7- ;L
1+ B!) W
^^ PZWO& V
# 8,!M6' $P-/ - !$# 8' ,ZQ)-4D*+[Z2 = 6+?>' K!$,!$+' 6

v = +8J
2
++!h5 +,!$+
&!$+'I>8!$# 7*F-W!$# " 7+'V

HPB!S!$# )B!W*S-P v y
GI = +!$S +U
2
++!h T
U9WU'
!$# %
2
++!7
h B!$& ' a
]h !$# %*+[Z2 U9W:4# % !* !* #!*
-X!$# +O' ,ZQM+
.Ix74z U TU9WW 3 x74z U U9WW } U9W TU9W

U y W=
x74z U . TU9WW . x74z U . U9WW }3 U9W TU9W
B) U y WW+' +3!$!$# 8& '(!)- +'-/73!$+']

G&!O!$# 8B!)*GE

+[2

Z 3!$+'- y 6(+' 7
hD!$# )*+[Z2l W' ,ZQ = +!Q+UG+!$+?>M+- U9W
TU9W = ' 6(3!$+?>D+-S!$# ' ,ZQ8+L+ +' 6uU U9W TU9WWL' a+-
U9W= TU9:W
# !* !* #!*
% U W - !$# F' ,ZQL-U*+[2 Z
' 5!$,!$+' 6 B!7' +,!$+' 6I-E v 8 y } y }???} y =
G' 6+' 6
!$c' a-L*k } }???} '
GJ& *3!$ D!$# J$3!$+ -E!$#

> $6K+'-/73!$+'aK-U!$# K' ,ZQ.' 5!$# F'(!$5 h -4!$# K +
+,!$+
&!$+']- *
U W(

' Uy W

.

* TUu*W;' x74z U TUu*jWW
# D*3!$+?>F+'-/73!$+'JD-S!$# k B-H& !lV*+[Z2 = ZO# +# ZWhR
B!$& ' X!$# S +
2
++! hE +,!$+
&!$+' = + C
J - !$# Q*+[Z2XZWhR
6& Q!$# )+6#(!Q*Q' "+S
&!$?hD& E
G&!Q+!MU U9W( W = !$# '
U W( = >R+ "!$# E*Q +,!$+
&!$+' S-P!$# )!$$+' +' 6F' 7!$,!$+' 6

B!$)E!$# %$
XES!$# W>&23!$+'.-GM*+[Z2X!$)!$# Q +?s& !h.-2!$# Q
=
!$# Q*3!$+?>S+'-/73!$+'LQ! +'(!$E& '(! !$# Q +X
2
++!hE-
: [ >

*,U/ +*6' W:=L)?h = 8B!O*+[Z23!$+'"+'(!$KFE

2E

O +*6' +4 >R+ SS+'-/73!$+'8!$#2'7%B!Q*+[Z23!$+'D+'(!$
F$E +*6' + = ZO# +#N+W' ?h '(!$J
hN8-/BZ<!$$+' +' 68 v
Y2E v = +'5 7+' MZO# D' F-U!$# K +*6' ,!$+F*L+E# +6# ?h
+ ? h = +!8+." hI!$ # + >"# +6#c*[+ Z23!$+'c& $
ha# 6
B-H&
! l
*[+ Z2S!$#23!+6' S!$# E,!W'7 +*6' +U!$FG23!$+'(!$SZQ&
+'5!$#23!.D#2>7& ' "> ?h # +6#I*+[Z23!$+'I& $hkPM[ZQ> =

+!$O*3!$+?>.+'-/73!$+'"8+ = +' +3!$+' 6K!$#23!M!$# .*[+ Z2M
E
>R+ O' +'-/73!$+'"3!M
11.3.1 Learning from the entire training set

JC'N!$# Z2,!M6& a- vG+'(!$ = !$# .23!D
G&!M ( F23!$+'(!$ZQ
& V7Y2& 8 vG+'(!$8ZQNG,-/ +'cZO# +# !$# "& 3' 'SEC& ]-

21 6& ' r1 ' [ZO 6' .!$# Q& 3' 'SCE & Q- !$# Q+6' +[Z2' U!$,! ZQ
>+VD# *+[2 Z 3!$+'I& $h ' I!$# D*3!$+?> K+'-/73!$+'
/U
G!$# & *3!$J' !$# .!$$+' +' 67B! W = MZQ M!$# F v +!a
h -4!$#
+' & J& LB!$ = ZQ.& VQ
D F6+? > O!$# %& !$M- !$#
v G+'(!$
# 7& !$.# [Z !$#23!%!$# & 7-W
21 6& ' 1 ' [ZO 6+'
!$# & $h -E!$# J+' & ?& ' !$# a!$$+' +' 6IB! a g a+GGE
!'(!$?h = +!F+' "!$# E+'-/73!$+''(!$'(!O-P!$# L& 4# )!$!
'1& F
GS-P+!$$U G+' 6.+'72& S+' 7ZO+!$#D!$# )& )-V
2E
6& ' u1 ' [ZO 6DZO# 'c!$# D+6' +[2 Z ' K!$,!.ZW8& = ' c7+'
& ' #2' 6aZO# 'a!$# %+6' +[2 Z ' E!$,!OZWM' !O& V
> ?@>A
*@ > . A> . F > AL< A L<
?*#BC
@> ,, .> A ,>

9 < ;
B

B9 0:3 ?
> = ?5 C ??

0:3 5 3 ?
> C:? B =B

B9 0:3 5
> > = ? ; 0:3

0< 5? 3

[Z
R Q*+ 23!$+' & $h = *3!$+?>J+'-/73!$+' U/
G!$#
& ?' !$# a!$$+' +' 6
B!"+!$-WK' ? v+!h\-L& 7 +?>

-/ ( F v
:: V
!

# M& O-G!$# O+6' +[Z2' W!$,!S63!$?hF !$# O+ O-G!$# &
B!$ =
G!$#]ZO+!$#J' NZO+!$# &!O& +' 6D
216& ' n1' [ZO 6oPM[ZQ> = +!
%& "% M+'K!$# M*+[Z23!$+'D& $hD'D!$# !$$+' +' 6LB!
# +8+8'23!$& $ = +' 7!$# "7+'I-/& ' B!$+' -!$# +8' + EC#2' +' 6a#SE
' + +.!$ >'(!D& 8-/ >Z !!$+' 6J!$# 7!$$+' +' 6aB!pB)!$# & 6#
!$# + O!$# L*[+ Z23!$+'N& $h]']!$# E!$$+' +' 6FB! = +!& &2?h
+' O!$# %*+[Z23!$+'N& $h]'a& ' 'JrU/.
K :
W
B)6& +' 6 G +'F!$# W+' & D& CJC'K!$# W& 4+' & FZO+!$#
' +6' +[Z2' D!$,! = $! # ",!8' 6& +' 68
z 4 w z ZO+!$#

!$# +,!$'5' z 4 w z KZO+!$#a!CZQ?>KR& ' z 4
w z FR& DZR>
!$+ = z 4 w z Q' z 4 w z -/& !$+X# = ' z 4 w z OR&
!CZO+ b># '\!$# ]+6' +[Z2' "!$,!+F& = !$# N'1& F
GK-)R& '
= O!$# 8'1& F
GM-4& 3+!$$W L $,!$+? h oCJ 'a!$# +

= z 4 w z 7R& F!CZO+ = z 4 w z N!$# "!$+ = z 4 w z J'
z 4 w z M' W# = z 4 w z > 'D!$+ ' z 4 w z M' +' Q!$+
# 8,!M'a6& +' 69U 7' W F
+' % +'2 2+' = !$# 8,!

+'-/73!$+? > L3!!$+
&!$ = !$D!$# > '(!O-/3!$&

XK& 7+ = G&!$++!F h -/& ' B!$+' Q-/ !$# E
21 6& ' 1 ' [ZO 6
GI+'J!$# K+' & I& .# K& K-S
21 6& ' u1 ' [ZO 6K+E
> <
G!$#?!$# 5*+[2 Z 3!$+' & $h ' !$# *3!$+?> +'-/73!$+'
K-U!$# K+' & I& %3!E!$# K,!%-Q"+6#(!E+' K-S& FE
v +!h *CJ ' !$# .-/[ZO+' 6DB!$+' = 7 + > &23!$+'a-4!$# 8 ^B!$E-

21 6& ' n1 ' [ZO 6%'N!$# %+' & a& + '(!$V
11.3.2 Medical evaluation of diagnostic rules

# F+' & +*6' ,!$+%& MZQF# [ZO' !$]G+*+,!M-/M# & 73!$+
+LZO# "-/& ' I,!L-U!$# K& E' +' 6-/& ' I& ' ,!' 2

# MG+*+,!4>&23!$K!$# O'(!$+OB!Q-^+' & & S +' 6L!$%!$#
-/[ZO+' 6L R & =Y24#7-^!$# M' +!$+' 4+'%& = ' MG+'(!4ZW
6?+ >'K!$E!$# & W+-`!$# ' +!$+'8ZWU+'F-H
>& 4-`!$# +*6' + 7 W
h
!$# O& = +'1& 4' G+'(!U+-`!$# O' +!$+'8ZWQ6(+' ,! !$# O +*6' +4'
"G+'(!$)+- !$# 8' +!$+'NZWE+>'(!M!$7!$# 8 +*6' +M# F7
-U& %ZWE,!
+# M!$# 8& 0- !$# 8G+'(!$O-/)P' +!$+' M+'
!$# %&
# OB!$&271 $' 6F-/ +'1& ' Q!$)!$# cJC'(!$& +!$+?>?h = 7
OZW 6+?>'.!$)& XZO# +#K=>"h8#2$B!$+,!$+S-/X) +W' 8&

GW>'D &

+# F+'FE +1
GR`(gJ OZW 6+?>'F!$E6RR = B!
: [ 1
> AL< A >> >@>
BC :L ? A L ?

0 ? 5 3
5

5 ; 5 ? C 3 ? B

? 0 ? 5 9 3 00
5 5 ? 0 5 00
? 0 5 ; 3 C =
5 ? 0 3 00

5 ? 0 5 00
0 0 3 33
3 33
>>

5 5
3 ? 5 = 5 3 0 :
0 3 3 =0

] 9ga + vG,!8>&23!$+'5-Q& %+' & IZO+!$# &!%
2E
6& ' 61' [ZO 6
& ogJ5LZWM6+?>'N!$D& ZO# +# L' !OZO' 6 =

&!)%' !O!$R
#2$B!$+,!$+D-/L!$# +*6' + gJ ; ZW86?+ >' !$J& %ZO# +#
G+
O +' 6L!$%!$# OG+*+,!l (1' [ZO 6 R# [ZQ
> = !$#
hK
2B!W
+' + '(!$+*F
+'23!$+')-1-/3!$& $3!$# V!$#2'.W#2$B!$+,!$+4' TB
' 6(3!$?+ >O7 ,EOZWS6?+ >'D!$.+ +' 6L& = ZO# +#"B!$&2?hF+' +3!$
!$#23!!$# % +*6' ++' !O+ ?h
WZQLB!$4-2& XZQ>&23!$ = !$# W' +' & 8ZO+!$#K' 8ZO+!$# &!
!$# F& K-U
2 16& ' 1' [ZO 6 =
G!$#5+' & 5& +' 67!$# F+6' +[Z2'
!$,! Y +6& N# [ZO]& KZO# +#\ZQN >&23!$ D
G,!

h
!$# aG+*+,!' !$# +D71 # h ZQa+' & ?
h HKJGLI< \& +' 6

;L "ZO+!$#5!$# D& -Q
216& ' 71' [ZO 6' I!$# D+6' +[Z2' F!$,!
B)W& F-/F!$# N +*6' + U/' 'SECG+[Z2]# & 73!$+]7' +-/,!3!$+' W
ZQ.6+? > 'a7 ; S# +O+ & L!$D!$# L-HB!O!$#23!O!$# %' ?h"#2$B!$+,!$+
-4!$# +)*E+O!$#23!% 23!$+'(!$)ZO+!$# & 73!$+. +)ZO# ]' ' !L
G
+*6' N!$# ,ZO+..+6' N!$# + +*6' +

S )' )& 7+ !$# S +( vG,! >&23!$+'%- !$#
+' & a& [E&!M- ; & +' & NZO+!$# &!O
216& ' n1' [ZO 6
' 7& OZQ86?+ >'J7] = !CZQ7& OZQ86+?>'J7
= Z -b!$' 7
= !$'a7 ; ' N!$# %& O7OEaU/+ +' 6F& W:U# 8>$6
& L77+ ; D' N!$# L!$# %+ +' 6F& O>)D v
:: V
!

! "$#% & '*)+-,/.
(
021 43 365 !" 7 "89:39;;<>=?@ 9A37BCD
021 43 365 BE 1 9A4F
! " G
@C?@ 8 !D
GH1 9JI 365 E 5 1 KL372<NM =OD
3 1 P7Q4R EED 021 43 365 9A3"* ST"D;U* 1 WOV D
U* 1 /YX E3
834F[Z\
9; , G
M B]3 1 EX ?

! "$#% &('*)+-,/.
^ G =C=?@D
_`BE Eab3D
R*c 9A* 5 "43EAb3D
3 1 @EQdE37 EEDeR EED GH1 9JI 365 E 5 1 KL37D/U* 1 WVOD
U* 1 /YX 3 EfZgE3
834F[ZhK ,ji X ?

KL37
! "$#% &('*)+-,;k
^ 2<bl=?@D
G
021 43 365 !" 7 "89:39; nmi 9A37BCD
GH1 9JI 365 E 5 1 KL37 G MCoD
G
021 43 365 9A3"* ST" >i ?qpO@ B]3 1 D
3 1 m QrRs!tD:_`BE EED U* 1 M"VOD
U* 1 M[b"!u7D
3 1 lvQdE37 EEDeR EED/U* 1 PLVOD
U* 1 PwYX B 34FxZ(3 EX ?
b y`9/9A3"8
! "$#% &('*)+-,/.
Rs!t[\9Au"D
021 43 365 BE 1 9A4F
! "z<No 8 !D
_`BE 9A* 5 "43E \3D
3 1 lvQdE37 EEDeR EED/U* 1 WVOD
U* 1 /YX 3 EfZgE3
8 4F7X ?
3BE y`9/9A3"8
! "$#% & '*)+-,;k
(
^ G p { ?@D
GH1 9JI 365 E 5 1 KL372<NM{D
GH1 9JI 365 "|e3u KL372<}P?@D
3 1 MEQdE37 EED 021 43 365 A
9 3"* ST"D/U* 1 WVOD
U* 1 /YX B "4F~Z
9;2<NM B]3 1 EX ?
Y +6& 5 O& K-/D?h
+*6' +K-E# & 73!$+] ++' &

ZO+!$#]!$# %& .-
216& ' n1' [ZO 6
: [
! tCC4F 1 BE 1 9A"9N#% &('*)+-,

021 43 365 BE 1 9A4F
! " G MC?@ 8 !D
GH1 9JI 365 E 5 1 KL37 >i ?@DG
_`BE Ea3BED
_`BE 9A* 5 "43E \3C?
FL"8
1 F"!
"83O$#% &('*)+-,/.
Rs!t[\9Au"D
^ 2<}POl]D
GH1 9JI 365 E 5 1 KL37 G MLl7?@D
_`BE Eab3D
G
021 43 365 9A3"* ST" >i ?uP@ B]3 1 D
8 9A* 5 "43EAb3D
3 1 lvQdE37 EEDeR EED/U* 1 WVOD
U* 1 /YX B "4F~Zb3 EX ?
FL"8
1 F"!
"83O$#% &('*)+-,
Rs!t[\9Au"D
^ 2<bl=?@D
GH1 9JI 365 E 5 1 KL372< m ?@D
R*c 9A* 5 "43EA 7L3"4"L?
b3E*!FL F BE 1 9A4F

! " $#% &('*)+-,
G
^ 2<}PoC?@D ^ nmCm ?@D
GH1 9JI 365 E 5 1 KL372<NM i ? @D
R Eab3 E?
b3*BE 1 9A4F
! "$#% &('*)+-,;k
^ G @ m ?@D
021 43 365 !" 7 "89:39;;<}P 9A37BCD
GH1 9JI 365 "|e3u KL37 >i ?@D G
_`BE Eab3D
8 9A* 5 "43EAb3D
3 1 @EQdE37 EEDeR EED GH1 9JI 365 E 5 1 KL37D/U* 1 WVOD
U* 1 /YX 3 EfZ(3 EfZhK ,ji X ?
Y +6& K*U/'(!$+'1& W
:: V
!

Q* LM& F
GO- & X!V' B*>$6
ZO+!$#N7 - & 7
; E

B8

B
;;
Q)
Q

; ;;

; ;;
Y ;
[I>$ ^ F ;

M Tga +1 vG,! >&23!$+'%-2& X+' & .ZO+!$#8
216& '
1' [ZO 6
[E'8!$# Q!$# #2' = &! -GF)& +' & 8ZO+!$#F
216& ' 1' [ZO 6 =
!$# "& 8ZQ]6+?>' 7 = ' +' "7 = -/& ,!$' 7\ = >'
7 ; ' ' ?hc' "& 7ZWF+ +' 6 # ]>$6]& "7I+
+'?!$# +] ; ' !$# 5+ +' 6c& 5> ZR> v "' ?h
B)G!$# Z26& +' +3!$)!$#23!W!$# %
216& ' ]1' [ZO 6%&
,!'(!$+*?h
+
> !$# %+' & a& W-/ !$# % +^ vG,!)G+'(!O-T>R+BZ%
11.3.3 Performance on unseen examples

R+' 5!$# I& !$+73!$a!$,!a-.!$# m1&2+!h?-8+' & & ]+"!$# +]GGE
-/7' N' & ' ' v = !$# J ' ?6& -E vG+'(!$ZW
,-/J'J!$' +^'(!E2,!$+!$+' O- !$# 823!7B!E+'(!$!$$+' +' 67'
G
!$,!$+' 6N v K#1& = G' +' 6N!$N# -S!$# D vG+'(!$%'
!$# ]'(!$+]!$$+' +' 6 B! = -/& K+K-M!$'\ vG+'(!$D#\ZQNGGE
-/ = ZO# ; `
-!$# "'(!$+723!JB!KZQ"& -/8' +' 6 '
; ` -/)!$,!$+' 6 9B + ^'(!%2,!$+!$+'J+'(!$"!$$+' +' 6]' 5!$,!$+' 6N v E
WZWM& a+'N#a-X!$# % vG+'(!$M' ]!$# %$L2,!$+!$+' QZQ
& a-/OG-/& +
# J vG+'(!$ZQ + 3!7+'>,!$+6(3!$+' 65!$# J ^B!$7-E
2E
6& ' ]1' [ZO 6%' N' + EC#2' +' 68#2' +'"!$# LG,-/7'
: [
> ?@>A
*@ > . A> . F > AL< A L<
?*#BC
@> ,, .> A ,>

; ? B ? 0

> ;
= 0

C:? ???
5 B 0:3 C 9
> ;
0 B ;?

;C ?? 9
> > ;
< 9

? 9 ? ; <<

" IB*>$6K*+[Z23!$+'5& $h = *3!$+?>F+'-/73!$+'a
U/& N'"!$,!$+' 6K23! WQ' ] v+! h-X& W+' & N
h HKJGLI<

& +' 6 ;L R
-)+' & & K'\& ' ' # NG,-/7' ]-M!$# N& FZW
& N+'"!$-X!$# L*+[Z23!$+']& $hN' ]!$# %*3!$+?>E+'-/GE
73!$+' B & 7" h -O!$# N& !$K-O!$# N vG+'(!$K+K6?+ >'
+ '
c ># *+[Z23!$+' & $h?' !$# *3!$+?>a+'-/7E
!$+'IK-/% vG+'(!$.D6+?>' +'I
] N'
] =
GB!$+?>?h
B)W vGB!$ = !$# L>$6)*+[Z23!$+'"& $h7+SF& #][ZQS!$#2'
!$# 5*+[2 Z 3!$+' & $h ' !$# !$$+' +' 6 23! +'
R #
*3!$+? > M+'-/73!$+'DL8 W&
,!'(!$+*?hcY +'2?h = !$# E& MB!

+ +%a & = L!$# & %#2 > !$a v *+' N7L'1& F
G%-

v 9U ; ` -X!$# %'(!$+%23!KB! :W

# J& a-L
21 6& ' Z1 ' [ZO 6J+ > \!$# a*+[2 Z 3!$+' E
& $h ' J!$# 8*3!$+? > .+'-/73!$+']L# +> VM) B +' 6!$7!$#
,!3!$+,!$+o\NE !$,!D-/D G' '(!"$ = !$# N +^' a+' & $\ h +
' !O,!3!$+,!$+? h +6' +[2
Z '(!WZO# 'a!$# ;L K+6' +[2 Z ' E!$,!M+' !O& V
P [ZQ> = +!8+> "c
M h +6' +[2 Z '(! HU 3!.!$# A\NE !$,!^^` > jE W ZO# 'c!$# 7+6E
' +[2
Z ' E!$,!O+Q& a+' ;L R4# %*3!$+?> )+'-/73!$+'L +^'
+),!3!$+,!$+?N h +6' +[2 Z '(!E+'
G!$#5OHU 3!E!$# 9\NE !$,!,^ ` ' u^ ^ ^^`
> = GB!$+?> ?h = ZO+!$#J' ]ZO+!$# &!!$# %+6' +[2
Z ' L!$,!M+' ;L :W
# F+6' +[2
Z ' .!$,!L' + CE #2' +' 6#2' +0+' ;L 763!$?N h E
& 8!$# v +!Ih -W!$# 7+' & c& ]J !FJ+ > %!$# 7*GE
+[2 Z 3!$+'J& $a h +6' +[2 Z '(!$?h o>b # '5
21 6& ' i1 ' [ZO 68+M& =
+!E+6' +[2 Z '(!$?N h + > E
G!$#J!$# F*+[2 Z 3!$+' & $h Uj\NE !$,!L+6' +- E
+' > ^ ^ ^^ÀL W ' !$# *3!$+?> D+'-/73!$+'5pUj\NE !$,!8+6' +[Z0E
' . > ^ À:W
:: V
!
,!$+!$+' L D+6' +[2

M Z ' L!$,! R+6' +[2
Z ' %> ^^`
b>+!$# &!*Q2X b>+!$#6Q2X b>+!$# &!*Q2X b>+!$#6Q2X
F ` `
R `
F ^`

`
` ` F`
` (
R X` `
F ^`

( ^`
; `
`
F `
; `
( `
( ; `
( F`

F `
F `
^ `
F `

(
R X`
`
`
F ^`
F F F`
( `
; `
F `
^ `
; `
( ^`
F `
;
`
( ; ` ^ `
F `
B*>$6 (R ^`
( ^` ` F `

7 Q*+[Z23!$+' & $h
-U& = +?>5
h ;L ZO+!$#5'
ZO+!$# &!Q
216& ' 1' [ZO 6AUQ2X,W = '7!$# M!$,!$+' 68B!W-/S#"-P!$#
!$'a2,!$+!$+' W-X!$# ( F v
B R6& +' 6 G +'.!$# W& SB!$4+' & 8ZO+!$#F& +' 6E
216& '
)

1' [ZO 6cJC'.!$# Q& X+' & .ZO+!$#8' ;L M+6' +[Z2' 4!$,! = !$# Q,!

' 6& +' 6L z 4 w z ZO+!$# ^]' z 4 w z ZO+!$# F ; R E
& ' a+'?!$# \ ; & 5B!$ z 4 w z cR& ac F !$+ = z 4 w z

R& 8D!$+ = z 4 w z KR& ]!$+%' z 4 w z "R& D
!$+ >
b # '<!$# ;L \+6' +[2 Z ' 5!$,!J+N& = !$# '1& F
Ga-FR E
& ' D = .!$# "'1& F
GF-M& /U +!$$E W D $,!$+ E
? h CCJ '"!$# +Q = z 4 w z MR& Q!$'"!$+ = z 4 w z E> 'N!$+ =

z 4 w z MZR> L!$+ = z 4 w z KR& K!$+ = z 4 w z R& R
!$+L' z 4 w z 8R& *

K!$+
Cv G+'(!$.ZQ"N' & B!$cZO+!$# HKJGLI< I& +' 66B SJ RTBMM L
'I!$# $K2,!$+!$+' L-Q!$# D23!NB!F%& c
huHKJGLI< I& +' 6 ;L R
B SJ RTBMM L +' & F ++' !$ = ZO# "' +7+.#2' +!$# 8
h
!$K CE & ' +' 6"EG,!"CE & ' +' 6 Q,!$' + ]
B!M ^F f_ B & 7"a
0
h -
!$# %& !$O-X!$# . v G+'(!$O+6+?> 'a+'N
K F
# K
21 6& ' 1 ' [ZO 6K + ' !L+6' +[2 Z '(!$?ah +'2& ' F!$# FGGE
-/7' "-!$# "!$K+' & \
h HKJGLI< & +' 6pB SJ RTBMM L L4# +F+
: [
,!$+!$+' L D+6' +[2

M Z ' L!$,! R+6' +[2
Z ' %> ^^`
b>+!$# &!*Q2X b>+!$#6Q2X b>+!$# &!*Q2X b>+!$#6Q2X

R`
`
`
`

` *
X` ; `
F`
^`
`
` *
X`
*
X`
R`
`
`
` `
R`
`

` *
X` ` *
X`

` ; `
R`
`
F ^` *
X`
R`
`
^
`
` [` `
;
`
`
` `
B*>$6
` *
X` ^`
`

7 R O*3!$+?>.+'-/73!$+'aL-U& = +?>5
h ;L DZO+!$#
' IZO+!$# &!.
2 16& ' 1' [ZO 6i UQ2X,W = 'I!$# D!$,!$+' 6aB!.-/%#
-X!$# L!$'a2,!$+!$+' W-X!$# ( F
v

2
?h & K!$N!$# F-HB!%!$#23!L!$# D
216& ' 71' [ZO 6D+L+' "-/
S& +!
4-/X& S+' & B!$+' = + = !$# Q6& +' 6 !hR +?hL +,!$+' 6& +#
GB!CZQ'' W +*6' + ' K1!$# W!$# cJC'K ++'F!$ = 'F!$# W!$#
#2' = -/3!$& .!$#23!F +,!$+' 6& +#
G,!D' 6JUG+
+*6' F
-H>& V
# .' + EC#2' +' 6D#2' +O- EC & ' +' 6' aG,!"EC & ' +' 6+'
B SJ RTBMLM\+' F!$# W& $h.-2!$# Q+' & 8!$ # W+'
,!3!$+,!$+?\
h +6' +[2Z '(!uHU 3!"!$# ^F` > L +' 6 !$ !$# i\NE !$,!
-/F G' '(!7$ 8 W +' !$# NN-M CE & ' +' 6 ' \G,!"CE & ' +' 6 =
ZO# 'D' L
21 6& ' O1 ' [ZO 6+ & = ' K+'F!$# W-GG,!"CE & ' +' 6
ZO# 'Y
21 6& ' 1 ' [ZO 6c+N& V J !a+N+'(!$,!$+' 6\!$ ' !$I!$#23!
CE & ' +' 6D+' J
G!$#]!$# %*+[2 Z 3!$+'a& $a
h ' ]!$# .*3!$+?>
+'-/73!$+' = ZO# + G,!"CE & ' +' 6 +' >!$# I& $> h 3!]!$#
v G' 8- +' 6D!$# %*3!$+?> L+'-/73!$+'7
Y +'2?h = B!W& '(!$+'7!$#23!W!$# %& $+O' ]*3!$+?> )+'-/73!$+'

)# +
> J
h6HKJGLI< N& +' 6 ;L FZO+!$#a
21 6& ' n1 ' [ZO 68'
ZO+!$# HKJGLI< & +' 6 B SJ RTBMM L /U
G!$# ZO+!$#\' ZO+!$# &!D
21 6& '
:: V
!
QW16& ' 4& ' +' 6 B)& $h

O*3!$?+ >
1' [ZO 6 +'-/73!$+'"
' ' F ; ` F F`
' ( ` ; `
' G,! F ^ ` `
h ' (R X ` F ^ ; `
h (
` ; `
h G,! F ^^` ^X `

c FuB*>$6 *+[Z23!$+'?& $h ' *3!$+?>J+'-/73!$+'
7U/& \' !$,!$+' 6I23!W.-O!$D6' $3!$\
h HKJGLI< & +' 6
B SJ RTBMLML
1' [ZO 6WLK,!)!$# K$rPM[ZQ> = !$# K& L+' & I
h ;L
> 5!$]
GF+)!$"& ' ,!'
J h !$# F +X vG,!L!$#2' !$# F E
++'a!$)+' &
hnB SJ RTBMM L LqCJ 'J!$#23!)'(!$ R v ! = !$# 8
216& '
1' [ZO 6&
,!'(!$+*?5
h + > I!$# O1 m &2+!5
h -Q!$# & %+' & c
h
;L DO> &23!$N
" h !$# % +V v G,!/U %
% D' X:W
11.4 Discussion
HKJGLI< = '8+' & B!$+?>W' +' 6M"hR,!$ = ZW & F!$E'8 +*6' ,!$+S&
-/ '2' ,!$+E23!K-X23!$+'(!$WZO+!$#N# & 73!$+E +=JC'J +!$+'
!$]!$# D>+*
823!$+'(!%23! = +
G
hi>& L-W Z0v B!.-W3!"E
!$+
&!$ = HKJGLI< \ZW76?+ >' 7+' G+[Z2 U/
216& ' WA1' [ZO 6 =
ZO# +#aG+[Z2JL-X!$# %#2$B!$+,!$+LECR& ' )- "hR!$

ga +1>&23!$+'L- & X+' & .
h9HKJGLI< %& +' 6 ;L # [ZOX!$#23!
!$# L& .-X
21 6& ' 61 ' [ZO 6%&
,!'(!$+*?7 h + >!$# m1&2+!h7-
!$# +' & & L-/ N + G+'(!%-oR > +BZ%aM P [ZQ> = > 'cZO# '

21 6& ' p1 ' [ZO 6K+M& = !$# F> $6K& .+)' !)ZO' 6 =
&!E' !
!$RF#2$B!$+,!$+AHU > $6L7a ; :W # %'2?R h +W
]
h FG+*+,!S-/
# & 73!$+L +O+' +3!$N > $ '
B)'2' ,!$+)23!FE

h7'23!$& I>"h"' +"h+' )!$# h" = +'7-HB! =
23!$+'(!$Q l [ZO'> +!$+'?-L!$# 5 + = ' ?h +'(!$ B!$
h
G+*+,!F-/D# & 73!$+] +ZCJ '(!$ B!3!$+' -)!$# +D23!5+
N

&
B!$+?>D' J!$# B-/8 vR!$?ha& ' +*
2B))& # = +'J7'h
D!$# N23!5 >' '(!$$ +B!$K!$# N vG, ! l
2
16& ' 1' [Z;E
6
# %6& +' 6K-

G&! ;; +^'(!O +*6' +'(!$K' ?h"+6#(! + E
6' ,!$+O*S+U
73!$+CY2U 6' $3!$+?>M +U/*

|8c' | W"7'h> v J >+*
LM?h X` -K
*
!$# 523! B!N' +,!$]-%23!$+'(!N "-/7!$# !CZQ\ +*6' GE
!$+W* = !$6B!$# WZO+!$#"!$# L*W-X' 'SEC# & 73!$+) +9U/

]W:rY2& ,!$# = K +*6' ,!$+F*.K*3!$+?>?h
' 'SEC# 6' & = #2>R+' 6c+!!$"' #2$B!$+,!$+ Q' E
m1& '(!$? h = !$# G+[Z2
216& ' O1' [ZO 6 = ZO# +#D+ & &2?h8&
+'" +^'(!$+*^ +*6' + = 'N' !
GE& N ^B!$+?>?h7ZO# 'a +' 6
ZO+!$#N& #J*6L6& - +*6'
R.- !$# 823!$+'(!$M#2 L!$#2' ' . +*6' + =
&!E' ?hN'

+*6' +QZWM+' & N+']!$# % v LB!
L3!FZQ.B!$a
hN +^'(!M +V RB!$ZO+!$# &!)# +>E
+' 6!$# +PB!$?+ >4' ' & 4# + & .
G4!$# U'.!$#23!X E
!$+W!$# %23!K'(!$$ +B!!$# % vG,!l M
216& ' n1' [ZO 6
# +F'2?hR+.# [ZOF!$# 7

. '(!K+' !$# 723!aB!iLM>GE
!$# = & B-/& +'-/73!$+'N'5,!$+
G8 vR!$$B!$I>'5-/0& #523!
# J*3!$+?>N+'-/73!$+' J-L*+[Z23!$+' D-E!$$+' +' 6I v

UbZO+!$# &!N& +' 6 !$# I+6' +[Z2' !$,! W"+ ^` UH& $h< R FÀWZO# '
' N
21 6& ' u1' [ZO 6KZWL& = ' ^` UH& $h R ^ÀWMZO# '

21 6& ' O1
' [ZO 6OZWU& i/U
L W: # M*3!$+?>W+'-/73!$+'
D-Q]*+[2 Z )!$#23!.ZWR
h LB!$& ' L!$# D +)
2
++!a
h +,!$+
&SE

!$+'F-G +*6' ,!$+Q*U+ aHU & $K
h XÀ:W # O+'-/73!$+'.
-P!$# )+' & ]& S!$#1& W+' +3!$S!$#23!W& B-/& ^+'-/73!$+'D+Q'(!+'
+']!$# %23!KB!
# N7+' 6(Q-M!$# ],!$& 0h ZWK!$ '2?h "# [Z !$# ]& N-M
2E
6& ' p1' [ZO 6' !$# K' + EC#2' +' 67#2' + -HKJGLI< & +' 6

;L " ^B!E!$# KG,-/7' F' !$# F v+!hJ-U+' & 5 +*6' ,!$+
& N# 7& 7-' + EC#2' +' 6N#2' +.+ > !$# 7*+[Z2E
!$+'\& $h\-)+' & & bc]#2>JI# [ZO' !$#23!K!$# N& N-
+!$+'2X
216& ' u1' [ZO 6D' + >F!$# K*+[Z23!$+'I&SE
$h\' !$# N*3!$+?>]+'-/73!$+'ca-)+' & & bcN vGB!
:: V
!
!$#23!D,!$+Q
GB!!$K& !$D& \
GN# +>
h ,!$+B!$+' 65!$# ]

!$ +^'(!$+*P +*6' ++'JD7&
B!E- +*6' ZO# 8G+[Z2
U/
216& ' WI1' [ZO 6D& 5#2>"8&
,!'(!$+* ,Y2& ,!$# GE
= !$# UB!$+'%-R!hR +(23!$+'(!$ ' ?hE+ O vGB!$.!$M'(!$+
&!$

!$D
GB!!$O& !$
12
Finite element mesh design
# Z2' +!$Q'(!5UY W B!$# R8+X-/m1& '(!$?h8& F!$E'2?h Q,!$U+'
#R h +P,!$& B!$& S# 8,!$& B!$& )L '(!$im1&2'(!$+!3!$+?>?h]
Z2' +!$%B!$+' fU/# WO- '(!$ E $" +]!$# fJGH ?"hR,!$

d,[H g = +
Gc+' RB!$+' = !$a' ,!$& B!F& . + +' 6a' SE
+*3!$J#>&!$+' E $J
^^ = E $" ' ia g & 66B!$'I^^ =
E $7 0
B!M ^^ CJ ' !$# +5#2!$5ZQ +
G !$# \ +3!$+' -
YT[MJGH ' aYT[MJG< H !$ !$# a$N

1
+X' 6Q Q $3! a^^ =
1
+ ' E $J ^^ ;c 0
b 2 Z ,!E 2Z ' .!$# 8' +' 6

+?h = !$# '? R ZO+!$#? +!$+' -E!$# J v G+'(!OB!$&
' 2 Z '2?7
h '(!E' a +& O!$# %& !$
12.1 The finite element method

#
Z2' +!$D'(!kUY WLB!$# R +%& vR!$' +?>?h
h ' 6+' 8'

+'(!$+,!$8!$5'2?h 7,!$D+'c #hR+W,!$& B!$& 5# ],!$& B!$&
Q '(!$O1m &2'(!$+!3!$+?> ?.
h 2
Z ' +!$QB!$+' ;/U # X
W -`'(!$
# B-/73!$+' -L# '(!7+7 &!$?& +' 6c+' 76
$+
m1&23!$+' Z
Y +6& 5 Ra# [ZO75!hR ++' ,!' a-)& # I,!$& B!$& =
ZO+!$#\5G' +' 6 Z2' +!$"'(!D#V # N,!$& B!$& N# [ZO' +K
+GL' ' B!$ E $J^^
JC' .!$ +6'\J'1& +SR U-MJ #hR+W,!$& B!$& "+!8+
' $"h !$c B!$+' ]!$# +*3!$a&!$+'\-/DR +' 6I#
G' '(!K2,! # "
2+" 7' c-/FpY # +.!$#23!K+!8# &
'(!)!$# .#2G.-4,!$& B!$& 8& $3!$?h;JC'J +!$+' = Z2' .#
# & F
GQ& D+'8 *XZO# # +6#8 B-/73!$+' Q vGB!$ = + 'F

!$5+' ++ K!$# ]F+' !$# ]& *3!$ B-/73!$+7 ' >& 7 [E' !$#
!$# #2' = I(# + +*3!$]ZO# a7W B-/73!$+'
I vGB!$V XR@Z2' #< ]!$\& ' ' $"h &!3!$+'2
1
)
!

Y +6& E R B?!hR + ,!$& B!$& ZO+!$#K+!$ G' +' 6fY #VcY2

E $ ^^
># UZO# '7 v&!$+' 6%!$# OR = ZO# +Q!$R%(ML# R &
+'(!$$
8
v+73!$+'Jf
JC'I6' $ = !$# K(,!%# ZO# +#
6?+ >O+E!$0
& s+'(!$? h][Z O# & N
G% hV
Q' + $
] vG,!$+]+Fm1& +\+' # R+' 6I +*3!$"&SE
!$+'Z>& = +' !$# h 5 ^B!$>
h?>$E-HB!$ = +' & +' 6c!$#
#2GM-^!$# M,!$& B!$& = !$# M,!$ +K!$8+!S' D!$# M
G& ' 2"hD'SE
+!$+' T
B)4!$# *
Y
B!$# RD#2U
G'& vR!$' +?>?hK-/ !$# O*,! !$# +,!h
h = >+& Y
#\ +6' D] +
G\+' '1& & K &
+#
G,!$<#
+!$+' D!hR +?h\+' & N!$# J#2GJ-L!$# J
B!$

'2? h = !$# ),!$O +!$.!$# = !$# Z2'2q Y
# U/# 'N3-b!$
>$P!$+*WS' ]!$# %& !$-X!$# .'2?hR+(QhN ?hR+' 6D +*3!$
m & = !$# F23!7-/
7# +' 8' +' 67!$# ' + 1 !$# DG,!$E'5
GF&
> : : [
!$D' ,!$& B!E1' [ZO 6.
2L-/OAY #a +6'N vG,!)"hR,!$a
# /Z2,! ,!$ !$[ZW & +' 6?7# +' c' +' 6\!$# ' + m1& I+a!$#

# +O-V' +*3!$W '(!3!$+'D-/ !$# O
_3!U#2' VcJC'D!$#
Oq- Y #D +6'K!$# + +' & !$# '(!3!$+'-`!$# O,!$& B!$&

'2?h = !$# O,!$W +K!$%+! = !$# O
G& ' 2"hK' +!$+' U' D!$# )Z0E

'2 +6'K-`!$# W#VcB)'D3!!$+
&!$ EN>& Q '(!3!$+' = & D+'K,!
-Q!$# +*? hJ >+*
F7# +' D' +' 6N" hR,!$ = +%'(!$+*?h
+'2 +*3!$O-/S '(!$+' 6F!$# +Q
a(L)?h = 8'2
)SE
'(!3!$+' -!$# 76B!$" h -OJ,!$& B!$& "F& ,!K+' & D!$# 7*3!$+'
GB!CZQ' +!$% ++!$+?>8G' '(!$ = ZO# +#c' ' !.

GD '(!$ '23!"E
& $? ha+'I' 3!!$+
&!$ EN>& 8*' 6&26fJC' ,!$ = JGH >!$# ' + m1& .# &

G. +V
12.2 The learning problem

# .&!$+']- OY #a+ B!$+' a
h"!$# %'1& F
GO- '(!$
' #?-E+!$D 6?# J

-E' +' 6I& D-/D B!$+' +' 6

!$# F&!$+' -S Y >#5' = !$#1& =
G8-/F& *3!$ L"
0-
' +' 6a& %!$J B!$+' K!$# 7'1& F
G8-W'(!$8' 'c 6N#
!$$+' +' 6% v U#2>M!$# O-/ . y:5 UO} iW = ZO# M +S' 6)*
G
U/& ' + m1& D-/.#c 6 W.' +L!$# 7'1& F
G.-W'(!$.' !$# 6
' !$
h<*
GJC'<!$# NZQ = !$# I!6B!a*3!$+' . y:5 #2
6& '(!$X- !hRG yz0y UbZO# +#8' +,!$ -2( 6Q*
GWV' yxy . y \ 5 =
ZO# yxy . y \ 5 81}} U=1
0
JC' ++'2"h% vG+'(!$ E $"' nga& 66B!$'I^^ = !$# O
SE
B!$7/U ,!$& B!$& " W ZO+!$# !$# +]G' +' 6\# ]ZQ & <+' !$#
' +' 6] RF]# R = ]#R h $& +D .++' %' c]2G%+
# ++'2"J
h & !$%
!+'
h7d,[H g ZQ!$# ' 2I!$
!$# .G,-/7' L-(YT[MJGH ' iHKJGLI< = ZO# +#aZQF +]!$K!$# .$

E $" ' ia 0
g & 66B!$'I^^ E $ ^
^ L!$# '<6(3!$#
23!"
G&!)!$# D +!$+'2 ,!$& B!$& E7 +G8' ' B!$ = 7)'
K
G+' 6D
G
v^
Y +?>E +^'(!W,!$& B!$& ,UB 78#hR $& +) WhR+' = Q 78 +G
' ' B!$ =
J"2GL+ = ")' 3J "
G+' 6"
Gv W = E
+
G?+' E $
^^ = ZQ & ?-/' +' 6 +' & vG+'(!$
# %G+!$+?>E!$$+' +' 6F v WZQ. +?>N-/ !$# .,!$& B!$& SX
#5 68+' 7,!$& B!$& FG' LG+!$+?>%!$$+' +' 6 v .,!3!"E
)
!
.10 y 4 yxy . y \ 5

\G \ y
F$^ ;

| R ^ [
~ ^ ^ (
F
[ F
^ ^

5 R E+,!$+
&!$+' -M!$# N'1& F
GD-) 6KZO+!$# GB!D!$I!$#
'1& F
GO- '(!$O']!$# a
+' 6]!$# '1& F

G%-W'(!$%' +!OY2%+' ,!' = !$# G+!$+?>K v

. y:5 U { } XWS,!3!$W!$#23!W-/& Q+'N +*3!$)'1& F
G- '(!$Q-/
!$# % 6 {
# J' 6(3!$+?>]!$$+' +' 6I v KZQJ6' $3!$ & ' 7IR +[Z2
U/R!$# WWaZQ & !$+'VQ# ha+' & J,!O-HB!$M- !$#
-/ . y:5 UO} iW = ZO# +#"ZQ%' !O' 68!$# LG+!$+?>E v =PM[Z;E
> = *3!$?+ >? hF7 >R+*3!$+' *
U/ + ^' S+'K!$# O'1& F
GU-V'(!$W
ZQ8' !M' + 5M& '(!$M v 5Y2O v = 6+?>'a!$# .GGE
v . y:5 U }FW = !$# -HB!$ . y:5 U } W }f. y:5 U }^W'
+!$?+ >
. y:5 U } ; WFN' !' 65!$# N' 6(3!$+?>N v B0 B!+\ E
+!$+' -E!$# a!$$+' +' 6 23! +76+?>'?+' E $a^^ # JZQ
!$6B!$#
F G+!$+?>J v 7' F ; ' 6(3!$+?> v <#

+,!$+
&!$+' .-!$# "'1& F
G8-O 6D +' 6a!$J!$# "'1& F
GF-O E
'(!$O+6+?>'a+'N
K R
# ]
216& '
1' [ZO 6] +
GK7-O!$# 7-HB!$8!$#23!F+'SE
2& ' %!$# %&!$+']- AY # = & # !$# E!R
h G.- 6 =
G& ' SE
"hJ' +!$+' )' 5( +' 6 = )ZQ )!$# F#2GF-4!$# F,!$& B!$& 6/U E
*3!$+' -%' +6#1
G# RR?' G+!$' : W )B +' 6c!$ +!$7+GGE
!' .' a6B!$+E#2G = 'a 6%'a
G' 6K!$D' %-X!$# L-/[ZO+' 6
!hRG w . 4 \ { \ x74 z } w . 4 \ { \ } w . 4 \ { \ 5 4 \ } B4 \ w . 4 \ { \ }
w " w \ } {Xx w "w \ }u( { \ y w "w \ } 5 4 \ 4 4xy } x74 z 4 4xy }
w " w \ 4 xy } X
{ x w "w \ 4xy ' ( { \ y w "w \ 4xy (b>+!$#"GB!
!$>!$# \
G& ' 2"h ' +!$+' = ' 6\'
GZ yy } 4ty 5wNXy w y }
\ 4 5wNXy w y n w y Y +'2?h = +' 6\!$ ( +' 6N'< 6 +
4 \ 7x 4{XXy } 4ty 5wNXy 7x 4{XXy }0\ 4 5wNXy x74{XXy 4 \ w ^4 Y5xb x74{XXy
B
: N
* {w qw z y { . x y:5

\
4v5w w y9y { . xy:5 yz0{ \ w 9 y y { . xy:5
. :y 5 U"0[}W . y:5 "U 0[} W
.
:y 5 "U 0 S} W .
y:5 "U 0 S} W
. :y 5 "U 0:0} W .
y:5 "U 0:0} W
. #
:y 5 "U 0 R} W . #
y:5 "U 0 R} W
.
:y 5 "U 0[ ; } W . y:5 "U 0[ ; }FW
. :y 5 "U 0[} W .
y:5 "U 0[} W

K R R4X$+' +' 6K v W-/W!$# ,Y #a +6'N
a
QW16& ' n1' [ZO 6.

G&!O!$# %#2G%- K,!$& B!$& .+' & !$#
"hRB!$+ *3!$+' tywz 0 4 ' 4 q 4v5w \ y = VZQ1V!$# U*3!$+' y ( {Xx
# U*3!!$V,!3!$V!$#23!P!CZQO 6X4' ! ' ?) h G+!$ =
&! 4-R!$#
$L#2G = & #J' '(!$+%+(M < ' + E!$# L& '2"" h *3!$+' S!$#23!
v "!$# J G,!$+-E!$# J 6 = !$# J*3!$+' tywz 0 4 = 4 q 4v5w \ y
' y ( {Xx I
+'2" h # c6& '(!$a-KE
21 6& ' +3!$
]-M!R h G yz0y 2 Y F# +3!$ = !$# 2 Z ,!6& '(!D+K'\+' &!
6& '(!E' a!$# .' 5+M'J& &!)' C
v !$)-/ !$# %!$$+' +' 6
v %' 5!$# K
21 6& ' u1 ' [ZO 6D +
+' 6"!$# K*
G5 6
-/
Y +6& K R.L6+?> 'a+'N
% R K' I R = GB!$+?> ?h
12.3 Experimental setup

HP' +' 6%' >&23!$+'8ZWU ' O
hF!$# GEN>+23!$+'F> EC' EC&!
,!$$3!$6h]Y2%# -Q!$# ZR > 7,!$& B!$& = aB!8-*& %ZW8 +?>
-/ !$#
21 6& ' 71 ' [ZO 67' c v L-/L!$# D7+' +' 6"-/&
,!$& B!$& U' F!$# 'F!$,!$D'F!$# W,!$& B!$& ,/U > CE ' CE &! :W CCJ 'F!$# W*GE
+[2 Z 3!$+'N R = !$# .+' & J& O#2> .!$7+6'N!$# .B!)'1& F
G
-^'(!$4!$%#-G!$# 6a g O +?h = !$% B!$+' W!$# O'1& E

GQ-P'(!$S'" 6M = !$# )6($. : y 5 UO} iU W +S = ZO# +Q

G& ' ] > +*
L' +' !=J - +O+6' N!$# %B!M'1& F
G = !$#
& S)' (J -P+!S+Q+6' "'7+' B!Q'1& F
G = S+S' !W+6'
r> & %3!)(/U +& ' > W = !$# %& O
B W!$# L& +?> %*& W!$#23!WZQ%
& +!W+'] ++'2"K
) h v G+'(!$
)
!
~ {XXz 4 taSB4 xyz0y

z0y \ y ~ 4 tX{ k4tw \ wJ4 4{Xw z
x74 z U"0[^W w y U"0[W B4 \ x74{XXy U"0[W
5 4 \"U 0[ ; W
w y U"0 W B4 \
x74{XXy U"0 W
B4 \ w . 4 \ { \U"0 W w y U"0:W B4 \ x74{XXy U"0:W

5 4 \ 4 4xy U"0 FW #
w y U"0 XW B4 \ #
x74{XXy U"0 XW
{Xx w " w \"U 0:W \ 4 5wNXy w y U"0:W 4
\ 7x 4{XXy U"0 W
{Xx w " w \ 4xy "U 0[W \ 4 5wNXy w y U"0 ^W 4
\ 7x 4{XXy "U 0 W
y 4 . y \G 4 n\ y5 \G \ y
tywz 0 4 R"U 0[#} 0 W 4 q 4v5w \ y U"0[}#0:W 5 { . y U"0[}#0:W

tywz 0 4 R"U 0 S#} 0:W 4 q 4v5w \ y "U 0[ ; #} 0:W 5 { . y "U 0:0#} 0:W
tywz 0 4 R"U 0:0#} 0[ ; W
4 q 4v5w \ y "U 0[#} 0: W 5 { .
y "U 0 ^0#} 0[ W
tywz 0 4 R"U 0[ ; #} 0[W 4 q 4v5w \ y "U 0[^0#} 0:^W 5 { . # # (
y "U 0 #} 0 W

K R =QW16& ' n1' [ZO 6L-/W!$# ,Y #a +6'N
a
& +'%Z2' +!$.R = ' 7& +?>F*& MZQK[ZQa+'aaYT[MJGH '
d,[H g = ' & +?>I*& ]
& +!"
h YT[MJGH ZQI + <3-b!$GE
ZW *2 Y O!$# .*+[Z23!$+'a R = !$# .& OZQF 5 +' 6
!$J!$# H *7,!$+73!$-!$# +8 v GB!$\*+[Z23!$+' & $h U/ E
+
G<+' RB!$+'
^ :W Q*& NZO+!$# & $> h ]!$#2' F ; ` ZQ
+ "-/Q2+'7ZO+!$# YT[MJGH = ZO# E!$# +Q+Q ' L&!$73!$+? h
aYT[MJGH & N!$# L
21 6& ' n1 ' [ZO 6. +
GJ
G> =CJ 'JSE
+!$+' = +!$$Q- !$# L-/ {X?x y = ZO# {X?x y +MK' ,!'(! = ZQ
[ZQ%-/K > +*
P-!R h G yxy . y :\ # oH *U,!$+73!$4ZWX& K

!$# O## & +,!$+ Q*& 4ZQM' ,!$& B!$7& '(!$+ ' %+6' +[2 Z '(!
*& .& I
GD-/& ' V# B-H& !%
G + iUZR > %W ' +6' +[2 Z '
!$# # U^^ÀS W ZQ. h V
B OYT[MJG<
) H RK' !D#2> a+!$$8-O!$# ]!R h G {X?x y = *3!$+'
-)!$# ]-/ @w 5 { {X?x y U u. W ZQ !$5!$# a
21 6& ' Z1 ' [ZO 6
-/E#I' ,!'(!%-4!R h G yxy . y :\ 8# K B-H& !E2$B!$)ZQD&

+'7YT[MJGH R]B -/BZ -W!$# +' & & %ZQ"& +? > HU .' J2,!$+*
O v +,!O+'"!$# + 7+' = !$# %& +?> %+!$$QL+'(!$F!$# L*&
!$# & 6#?!$# B!$+'23!$a+!$$-H++!\
h -,YT[MJGH R:W M P [ZQ> = !$# h
ZQ. + J!$# ] h & J+'%2 Z ' +!$LR
N

JC'"!$# ) vG+'(!$QZO+!$#]d,[H g = E EC R+' 6F-P!$# )
2E
6& ' *3!$+' OZWE' $" h E& 8!$!$# F,!$+B!$+' )-4+'(!$R & +' 6
' BZ
> +*
%' R K *$3!$+' L+'7d,[H g = +!LZW.' $"hI!$
+!M# - !$# .*3!$+' tywz 0 4 } 4 q 4v5w \ y ' y ( {Xx !$7>$ &
SE
*3!$+' # ]!$$' ,-/73!$+'c+K +
G\+' B!+W+' E $ ^
^
' E $ ' Za
g & 66B!$' ^^ # a' +]2$B!$6/U '1& F
GD-
' 6(3!$+? > ] v F!$#23!D7h
GN>
\ h 5*& . W ZWDB!D!$ ZR>
# 2 x zXz 5{ . xy 2$B!$ ZWUB!S!$ ; = + = !$# O#D-/4#7-G!$#
*& F,!,!$8
c h $' ?I h +1
+' 6 ; 2+8-G+!$+?> 7 v F'
' ,!$& B!$+' 6%!$# +( x zXz 2/U RB!$+' :
W # M2$B!$c> & 4ZQ
& 66,!$J
h62 Y ' 6 = ' %-X!$# % > GM-(d,[H g
# & 'F!$+S- YT[MJG] H 'K#F!$$+' +' 6)B!U& '(!$8!$DZR> +'1&!$
'J 0<IL B SaYT[MJGH !$R"
G&!O!CZQ7# & O-/!$# %$L!`

d,[H g = ZO+!$#"B!!$+' 6OW +
GN
G> = !$R7 8+!!$MM!$#2']'
# & *J !)# &
G8' !$J!$#23!MYT[MJG\
H ' pd,[H g 8+ '(!$a+'
<' aaYT[MJGI H +' 46
12.4 Results and discussion

RF& )-/MY <#5 +6' = +' & I
h aYT[MJGH = F6+?>'I+'pY +6E

& D R R R++*S*& ZQ.+' & a
h6YT[MJGHc' id,[H g
QQ!$#7YT[MJGH?' a
YT[MJGH #
LZO+!$#5!$# *3!$+'
2 0 4 R
tywz
# +a +3!$ Ra' !a +++'23!$
GB!CZQ' G+!$+?> ' ' 6(3!$+?
>
v JC'> +!$+' = +!7+7' >] B!$+'23!$ = +' # 65#2
& &2? hN!CZQ]' +6#1
GE# B-/ = !$# F6(+' U/+'-/73!$+'N6(+'J+'pYT[MJGH
K& $h +' ]+' aYT[MJGHTW.+F7Q
Q' m1& '(!$?h = !$# +
+3!$7+8,!.' >F& +' !$# 7+' & *& 6B)' +!$+'2

_+a' YT[MJGH = ZO# +#7+4!$# M& M-V+!$U*3!$+?>?hKGR4G,-/7' =
4 ##/++/ (H(HIKIK'' LN+ O + 5% >% 4 5

, 5 LF # :
FJIK')O7
4 LN+ O E%
: $IK')OLN+ , B!7
4 #/+(HIK' LN+ O /+( 5
+ , ? L :IK')OL
5 5 // 5 4 5
##
IK' L A OLF # :
FJIA O 7
4 #/+H( IK' LN+ O 5
P! % P%IK')OLN+ , 9!L
5 5/ % 5 5
##
IK' L A OL FJ !P!P%IA OL ! ( ! % >%$IA O7
Y +6& K R R O& W-/2Y #a +6'N+' & a
hNaYT[MJGH4
)
!
\G \ y .] =

|

~ ^

^
;
; ;

^
` R ^

E R # '1& F
GU' KG'(!6-G v B!$?h8*+[Z2
h]YT[MJGH = aYT[MJGHc' id,[H g +']!$# ,Y #N +6'a 7+'V
+W!$#23!!$# %*6E'1& F
GO-
216& ' a*3!$+' W+' O!$# %'1& F
G
-
+!$O' !$' R 8*& Q#1& = M*& )8[ZQ]!$7
G

& +!

# U'1& F
GP-1!$,!$+' 6O v PB!$?h)*+[Z2%
hfYT[MJGH = aYT[MJGH
' d,[H g +.6?+ >' +'
N R QQ!$# a
YT[MJGH?' d,[H g GGE
-/N
GB!!$!$#2'nYT[MJGH4PM[ZQ> = !$# 8# +>J*+[Z23!$+'N& $E
+4' c
! >" hF# +6#V # + 7
h8
G & W!$%3!4,! !CZQ%' =Y +,! =

)+' GB!$+'7-P
8 R)>Q!$#23!Q#]-V!$# E
B!$W#2Q
& ' + m1& .#2$B!$+,!$+S# 8'J' !M
G%!$& aZO# ' ' +' 6F-/
!$# K!$# L,!$& B!$& R' = !$# K' +6#1
GE*3!$+' +E' !%& +' !$#
+' & *& = ZO# +# ' 8!$#23!F'(!$+*Q+'-/73!$+' +8' !8!'
+'(!$& '(!
X5 B!$+' 7!$# "G+
"6(+'c-O!$# " GF& ]-!$# 04
tywz
*3!$+' = ZQN' & B!$ + 7 vG+'(!KZO+!$# aYT[MJGH4 # ],!,!"E
+' 65*& 1. y:5 UO} iWO ZO# +# +KZ2'
h G+*+ 3!$+' = ZWD E
*>
h !$# 5*& . : y 5 UO} iW tywz 0 4 RUO}9:W # +]'2

aYT[MJG\ H !$N& D!$# D G,!$+L-Q!$# D' +6#1
G+' 6] 6%+'5!$# D+' &
*& c> b # +O!$# )'1& F
GQ-PB!$? Z " 6S-/Q
B!$;>
h *+[2 | !$
7+' 7 v +73!$?F
h !$# M$ = !$# )'1& F
GS-VB!$?D h *+[2
Z
6F-
B!A +' c-/
; !$ Ra# +8& 66,!$8!$#23!Ka+6E

' +[2Z '(!%+ > '(!%+LG+
F+-U!$# D+'-/73!$+'
G&!L' +6#1
G+' 6
6M+W!
'a+'(!$& '(!) G?h
XJ+ > D!$# 7
G> 7& !$ = a*6%B!8-W,!$& B!$& F# & c
G
N
& N-/' +' 6 = ZO# +#]ZQ& N >R+ L-/WL & ' 2' hoJC'-/7E
!$+'F
G&!X!$# W' +6#1
G -`'F 6W# & K)
GS!'K+'(!$E& '(!4+'
'" +*3!$M7' ' XF' & $6M!$# )& )-V!$# 0 4 .*3!$+'
tywz =
R3# +)' = ZO# +# ZQ& I[ZY-/)' 'SEC B!$+'23!$8+!$$
7
ZO+!$# 77M6(+'V R& #>R3# +"0h + '(!$?+'

YT[MJGHJ-/S B!$+'23!$M+!$$ ZO+!$# FS726(+'VCJC'].++* ZWh =
' 'SEC B!$+'23!$7+!$$LZO+!$# ' 'SEC' 6(3!$+?>"6(+'c+6#(!F
G] !$5
*& (JC']!$# E#N +6'] 7+' = !$# E,!O+G"
h7!$# +W vR!$' +'
# & N' !M
G% # +
+!$?+ >
)
!
13
Learning qualitative models of dynamic

systems
& +!3!$+?>QR 4'
G& 7+' ,!$-G!$$ +!$+'2R'1& + R
2
+'K)ZO+ Q$' 6W-`!1 = +' & +' 6) +*6' + = 6' $3!$+' 6E v *'23!$+' -
!$# )" hR,!$6 l
G#2
>R+Q' " +6' +' 68'
>^
>R+Q-/ Z2,!W +' +
J
!.+L' B!$& !$#23f! m1&2+!3!$?+ >FR LD&0s+'(!.-/E!$# D"hR'(!$# E
+7-L'(!$M& -/70hR'2+a"hR,!$ J !"+ = !$# B-/ = +G,!'(!
!$"
GF
.!$"6' $3!$rm1&2+!3!$+?>.R )&!$73!$+?h-/0 v

G#2
>R+O- 0
hR'2+L" hR,!$
B)Orm1&2+!3!$+?>)R ^' +,!$-X*3!$+' W' 68!$# L"hR,!$ >+ E

3G' '(!$J-F!$# cR "R
h ,!$ = *3!$+'>' +' 6 "R h ,!$
UJGH "R
h ,!$D W '
GN& !$ +' & ]1 m &2+!3!$+?> "R F-/ v E
5
G#2R > + Q
Q $3! \B!J ^^ E +
G5!$# +3!$+'?-.!$#
JGH "R
h ,!$ d,[H g !$5!$# a
-E' +' 6I 1 m &2+!3!$+?> ]R
-S!$# K0R h '2+K"R h ,!$ -S' ' B!$c'(!+' = & &2?J h B-/I!$a
!$# A<5E !$&
GK"R h ,!$a8# D#2> D
G' = # [ZQ> = > $4
)ZO+!$#

!$# E +3!$+'K-Td,[H g !$.!$# +U! = ,!$+' 6%-/_!$# M+'2
++!8 h -

d,[H g !$5& N' 'SCE 6& ' \' ' 'SCE B!$+'23!$"
21 6& ' 1 ' [ZO E
6
JC' !$# +.#2!$ = Q

Z " +
G!$# ] +3!$+'I-!$# 7+' & B!$+?>76+
6$+' 6%"hR,!$ a YT[MJGH
1+ ' nQQ$3!a^^ G!$8!$# E$
!`CbcZ2,!U6+?>)
+B-G+'(!$R & B!$+'.!$E!$#
SJ"g U &2+!3!$+?> SJ"ga&SE
*3!$+
' W XL& +G%
^F (-/7+Y' .+& ,!$$3!$4+!$ & S'.!$# S' ' B!$SE
'(!+' U<5E !$&
GWL"hR,!$aJ# 7 vG+'(!$K' c& !$8-O' +' 6
im1&2+!3!$+?>R S-O!$# <5E !$&
G""hR,!$ ZO+!$# aYT[MJGH>"' vR!D E
'(!$ = -/[ZQ
h5" +& +'I-S*3!$JZQ`rY +'2?h = ZQK' &
ZO+!$#N% +B!$+' W-/W-/& ,!$# WZQ`
1
:: : S
!
13.1 Qualitative modeling

&2+!3!$+?>QR 4'
G& 7+' ,!$-G!$$ +!$+'2R'1& + R
+' "ZO+ K$' 6K-S!1 QQ$3!a^^ K# D!1%+' & K +*6' +
U/ 6 = QQ$3! B!N ^F^*j W = 6' $3!$+' 6c v *'23!$+' 7-L!$# J"hR,!$6l

G#2>R+uU/ 6 = Y` ' # +' ]' Y2
& ^^ ; j W7' > +6' +' 6\' >
>R+O-/ Z2,!M +' + ,U/ 6 = b>++* ^^ ; j W:=QQ$3! ^^ P
'SE
B!$& )!$#23!Mm1&2+!3!$+?>%R M8&0s+'(!E-/O!$# 8"hR'(!$# +L-4'SE
!$S& .-/80hR'2+"hR,!$ = ' & G,!$8!$# +8' B!$& 7ZO+!$# '
v
B)' 68>$V,!
+# 7-/7+ -/S Z2' +' 6rm1&2+!3!$+?>MRSE
4-^0R h '2+W"R h ,!$ = !$# ,!4ZO+ ?h91 ' [ZO'"5m1&2+!3!$+?>Q +^'SE
!$+* 1 m &23!$+' . '2& ' E L X O' nQ *
Q [ZO' ^F = &2+!E
!$+? > 4RL# "h 2 *
Y
& %^F 4' SJ"g
X & +GL^F c
L b 8ZO+
!!$# SJ"g U &2+!3!$+?> SJ"a g & *3!$+'8 W -/7+ = +!#2
G'
0" h & a-/' +' 61 m &2+!3!$+?> ER
CJ 'N!$# +OB!$+' = ZQ 2 Z ,!)+'(!$R & E!$# SJ"g L
X & +GL^F P-/7 E
+ ' ]!$# 'N+& ,!$$3!$)+!'"!$# ,<5E !$&
GE"R h ,!$a=c b %K +
GL# [Z
!$# SJ"g !$# "h '?
Ga-/F& *3!$ +' 6+ Q 0
Q $3! B!M ^^ =
!$#23!Q+!Q'"
G)& NQ
21 6& ' 1 ' [ZO 6)+'!$# ) RW- ' +' 6
m &2+!3!$+?> ER Q-/
1 v
13.1.1 The QSIM formalism

JC' !$# 5!$# "h?-80hR'2+ "hR,!$ = #hR+L"hR,!$ +" '(!$

h B!7-E'(!$+'1& & A>+*
= ZO# +# 7h #2' 6J>D!$+ RB!$
-8 +^'(!$+*Em1&23!$+' = *3!$+' 6 !$# I"hR,!$ >+*
= !hR +?h
& I!$]R 0 hR'2+F"hR,!$.'1& +?h,dL+?>' ]R 5UH"B!%-
+^'(!$+* m1&23!$+' WM-4!$# 8"hR,!$ ' +!$)+' +!$+*V,!3!$ = !$# 8
G#2>R+
-S!$# "hR,!$ '
GD +B!$
h ?hR+' 6a]'1& +4?>L!$N!$#
B!M- + ^'(!$+*Vm1&23!$+'
B ++*V (#8+P!'F+',m1&2+!3!$+?>4+F& *3!$+' XL& +G%^F
JC' SJ"g = % #hR+`"hR,!$ +U +
G7
h%B!Q-q>+*
4 '(!"E
+' 6N!$# % " -Q!$# "hR,!$
U/'(!$+'1& & ?hI +^'(!$+*

EN>& "-/& ' B!$+' WW' JKB!M- #!* . / !*
+
+' 6D# [Z
!$# )2$B!$QM*3!$!$8#"!$# cCJ '7!$# +S = kU1 m &2+!3!$+?> W
R 2+S.B!Q-P' ,!$$+'(!Sm1&23!$+' dL+?>'7,1 m &2+!3!$+?> R `' "
m1&2+!3!$+?>%+' +!$+*P,!3!$8-4!$# 8"hR,!$ = !$# SJ"g +F& *3!$+'a6+!$#
:
XL& +GL^F* R & %7 +B!$56$ #5' +,!$+' 6"-UG+
.-/&!$&
,!3!$)' a!$# %+ +*3!$E& E*3!$+']
GB!CZQ' !$# %,!3!$ 3!$#
+']!$# +O6$ #a,!,!$+' 6K-/ !$# .+' +!$+*G,!3!$%G' a!$
G#2>R+O-
!$# %"hR,!$a
# *
>& O-P% #hR+G2$B!$U+UG+[Z2km1&2+!3!$+?>?h8+'D!$
-Q+!$L*3!$+' # + ZO+!$# ]!$!? ha cB!.- %& * /

K#
/ " -E52$B!$K' +,!$D-M+!$r>& N' \ +B!$+' -
#2' 68# D +B!$+' -S#2' 6K'I
G w t U/+' +' 6XW = 5 \ U/,!$0hRW
' Xy U/ +' 6XW:N+D+. '(!$ 8N!$!?h B!F-
"hRF
G+7 +,!$+' 6& +# !$+7G+'(!$c# ]& '(!D!$+7+K+!$# K3!K
GB!CZQ' +,!$+' 6& +# \!$+ ECG+'(!$ BW!"I +,!$+' 6& +# \!$+ ECG+'(! = +-
>$S #hR+S2$B!$%+'Rc
h N+' 6D' ,!$$+'(!81 m &24!$
*' 7A>& = !$# hN%$+]!$D#2> #!* "!*%& * /

# W' ,!$$+'(!$ & K+' SJ"g Q +6' F!$EG+! )*6S* -
+^'(!$+* m1&23!$+' L!$a
GD7 GI,!$$+6#(!-/,ZW ?h +'(!$]1 m &2+!3!$+?>
' ,!$$+'(!4m1&23!$+' # K h +' & W73!$# 73!$+1*3!$+' # + = & #7
Xy w U yx74 w \ }| yxy { \ Jw 4 W ' . x \U { 5:5 }| yxy { \ Jw 4 } 4 y :W

Q' ,!$$+'(!$4+
HU f wNy } 4 y X W '
U y \ } :y 5@w 5 \ {ty W = '
!$# 4!$# P#2' = ,!3!$ !$#23!P!$# 4+ W' !$' +?O h +' +' 6 3 +' 6
-/& ' B!$+'2*3!$+' # +
GB!CZQ' !CZQc #R h +O2$B!$ =
&!7 ' !
G+-j"
h !$# %*3!$+' # +] B!$?h
13.1.2 The U-tube system

H B! & +& ,!$$3!$X!$# U
G>U' !$+' V'L!$# U' ' B!$SEC'(!+' oU<5E !$&
GW
P
v = 2!$]-/ QQ$3!DB!M ^^ 4# f<5E !$&
GL"hR,!$ = +& GE
!$$3!$I+' Y +6& "[ = ' +,!$%-U!CZQa'(!+' = | ' u~ = ' ' B!$
ZO+!$# a +G7' 2 Z IZO+!$# ZW3!$.!$a!$# 7G' +' 6J> { '
0[MP H B!E!$# ;2[Z -/ | !$ ~
G8 ' !$5
hi { 0 = !$# ;2[Z -/ ~ !$
|
hp; 0 { 8# > +*
{ = 0 = { 08' ; 0 { F!$# K2$B!$E-
!$# %"R h ,!$a
# E2[ZOC { 0 ' ,; 0 { !$# !$+ +?> 3!$+?> P-R!$# ZW3!$ > 0
' { = GB!$+? > ?h = ' ]& ']+'" G+!$) +B!$+' (P H B!W!$# E +^'
+' !$# > 7-L!$# J'(!+' k| ' e~
Gi w tV { . 0[Y#
& Df : y 5:5 ' 6D!$# 8 +G8+'2& ' )!$# ;2[ZV { 0[W!$# 8# +6# M!$#
& = !$# a63!$K!$# 12[Z% B ++*8 G' ' v +,!$
GB!CZQ'
!$# J > M +^' 5' !$# J & Y#
G> ' ,!$$+'(!$7'?
G
-/F& *3!$]+' SJ"g -/[ZO
:: : S
!
{
0
{ 0 ;0 {
Y +6& K[ # 9<5E !$&

G%"hR,!$a

{ ;0 {
\

05 { 0
\
{ 05 . ;0 {
w t] { . 0
f y:5:5
U w ttW
{ 05
UHf y:5:5 W
J -PZQLM' !W v ++!$?hK+'(!$,!$"+'!$# ) & = !$# )*,!S!CZQrm1&2 E
+!3!$+?>E' ,!$$+'(!Mm1&23!$+' O'a
GL+ +[Z2]+'(!$D'
{ 05
U w ttW
Y2U2+' = +'7%'1& + R = !$# O*,!4!CZQ8m1&23!$+' U+6#(!

#2>%!$# L-/
f y:5:5 w t
{ 05 f y:5:5
:
w. y { 0 { 0 ;0 {
\; x{1; Xy 0x ; w t { 0 ; Xy Y0 {1; w t
Uj\ ; }\:W ; ? x{1; Xy x 0 ; ? w w t ; ?_ { 0 ; Xy 0 1
Y { ; ? ; w t
\
: ; ? x1{ ; 5 \ x 0 ; ? w 5 \ ; 5 \ ; 5 \
Uj\:} w tW ; ? x1{ ; 5 \ x 0 ; ? w 5 \ ; 5 \ ; 5 \

D[ &2+!3!$+?>)
G#2>R+-X!$# ,<5E !$&
G%"hR,!$a
= ZO# 'J+ +[Z2

{ 05 w t
ZO# = ' MLG+!$+?>E' ,!'(!$JC']!$# +W = !$# L*3!$+' # +

GB!CZQ'K!$# o>+*

T { 0 = f y:5:5 ' w tD+ B!$?h = ' K' ! ' ?h
m1&2+!3!$?+ >? h = G[+ Z2a6+?>'N!$# >& - } '
# E*' 7 r>& S-/U!$# I >+*
U-P!$# +QR 2-/U!$# <5E !$&
G =
aB-b!!$D+6#(! = .W-/[ZO
{
. w } ; } x{1; } w
0) . w
}; } x0 ; }w

{ 0) . w } ; } { 0 ; } w
0 { . w
; } Y0 {1; } ; } w
# k>& K7"hRF

G+'28G' +' 6 !$ +'1& 8+'%Z2' +!h =
= +%
' Z2' +! h ' !$# +' +!$+*C
>& .-Q!$# -/&
>+*
"# 7B-b!"E !$E
+6#(!O +' 6G' M!$D!$#

*3!$+']
GB!CZQ'J!$# . E
G' +' 6D'1& +q >&
#
SJ"g +F& *3!$+'L- !$# o<5E !$&
GS"hR,!$ R & X!$# U!$$Q6+?>'
+'
[ Y2 !$# N!$$aZQJ' = /- D v = !$#23!7+' !$#
+' +!$+*P,!3!$8!$# 9>& 8-4!$# F> { +)m1&2 !$ x{1; ' +) +' 6
U Xy W:8# +%+E '(!$ { x{1; Xy 9
JC'5!$# K!$+8+'(!$"> !$#23!
-/[ZO = { +8
GB!CZQ' ; ' x{1; ' +' 6 = ZO# +# +.ZO+!!$'\
{ ; ? x{1; Xy
13.1.3 Formulating QSIM in logic

QQ$3!7B!E ^^P!$$' *3!$%!$# SJ"g (#a!$am1&2+!3!$+?>L+F&SE
*3!$+'a+'(!$]76+. 6$+' 6D-/7+ U/ & 46XW:IB_B!$#I-
:: : S
!
!$# SJ"g m1&2+!3!$+?>W+F& *3!$+'K6+!$# = ZO+!!$'7SL6+W 6$ =
+6+?>'a
G[Z%
5w . x{ \ y U \ { \ y W

\G {65 w \ Jw 4 U \ { \ y } y \ \ { \ y W }
5 w . x{ \ y U y \ \ { \ y W
\G {65w \ wJ4 U 5 \ { \ y U7} W } 5 \ { \ y U y 7} WW=

\G {65 U} y DW } ` 4Xyx. w tXy ytXy \
}
xyz0{X"x 5 \ { \ y U y 7} W ` 4Xyx. Xy ytXy \
# D+F& *3!$+'a,!,!$E-/0!$# F+' +!$+* m1&2+!3!$+?>
\ { \ y = ' +,!$+' 6
-V!$# Mm1&2+!3!$+?>5>& W' " +B!$+' S- #2
' 6E-V!$# E"hR,!$ 2$E
!$4# +F& *3!$ Z2,! Z2' SEG+
Q!$$' +!$+'8!$. y
B \ { \ y '
!$# '5'(!$+'1& E!$# F+F& *3!$+']-/0!$# F' BZ ,!3!$L# F*3!$+'6\G {65
+UE' S ' EC B!$+' +,!$+Q*3!$+'F!$#23!46' $3!$SG+
Q!$$' +!$+' -G!$#
" hR,!$ 2$B!$ = + = G+
.' BZ >& M-/M!$# aM J !L+) Z2'
2,!-)!$# SJ"g !$# " h
XL& +GL ^F ?# aR -LI2,!$+& *
"hR,!$ +4 Z2'
hF!$# O +3!$ xyz0{Xx"5 \ { \ y ZO# +#+G4' ,!$$+'(!$
'F!$# ;>& -`!$# "hR,!$_2$B!$ # O Z2' +!$+'F-`!$# + +3!$
#2!$# L-/[ZO+' 68-/a
xyz0{Xx"5 \ { \ y UG_W=
46 5 \G { w \:XUG_W }
46
5 \G { w \ RUG_W }

ZO# K!$# D' ,!$$+'(!$%K2,!%-S!$#
SJ"g !$# "h<M' %'(!$+'1& +!h
& !$+' = !$# M
_-V' +' 6L!$# M6(+!h8-V,!3!$S+Um1& +?>'(!
!$K!$# %
- ' +' 6F!$# %0hR'2+-X!$# %"hR,!$a
# 4-/[ZO+' 6 46W +3!$ G' L!$!$# SJ"g_' ,!$$+'(!$

{XX UD} S}.0} 4 W `D 3 f.

. x \UD} S}.0} 4 W `D f.

. w Y5 UD} S} 4 W `D I .

. x?Y5 UD} S} 4 W
` f U DW

. . w Y5 UD} S} 4 W
` f U DW
Xy w UD} W
` f D \
: : :
JC'7!$# )
G>MD} %' k..,!' 7-/U"hR,!$ 2$B!$W' k 4
,!' O-/OK+,!- G' +' 6A>&
# ,m1&2+!3!$+?>LR ^-/!$# ,<5E !$&
G%"hR,!$0'a
GLZO+!!$'a+'N!$#
6+E 6$+' 68' !3!$+'N-/[ZO
xyz0{Xx"5 \ { \ y U { } 0} { 0};0 { Wo

{XX U 0} w t} { } U x 0 ; } 1; } x {1; W jW } "

. ?x Y5 U w t} { 0} U ; } ; W } U 1; } { 0 ; W jW } "
. w
Y5 U { 0};0 { } U { 0 ; } Y0 {1; W j W } "
Xy w U { };0 { W }
Xy w U 0} { 0W
ZO# U } }WU' Q!$#23! = ' DEG' +' 69>& Q-/Q!$#
' ,!$$+'(!ZY2K v = +' !$# {XX ' ,!$$+'(! = U x 0 ; } 1; } x{1; WF'
!$#23! ; 3 1; x{1;
x0 D
J -SZQK' !%+'(!$,!$ +'5!$# A
wt 2$B!$ = !$# Z2,!L!CZQa'SE

,!$$+'(!$U'
GO *
h {XX U 0} { 0} { } U x 0 ; } { 0 ; } x{1; W jW = 4"hRE "
B!$+?h =
h"!$# %' ,!$$+'(! {XX U { };
0 { } 0 } U x{1; } Y
0 {1; } x 0 ; W jW: "
13.2 An experiment in learning qualitative

models
B -/& ' 2'(!X
+'a!$# %!$# "ha-40hR'2+."hR,!$E+O!$# 8+ 'SE

!$+[Z23!$+'N
= Z2' 5O-/[ZO QQ$3!a^^ S6+?>'J v O-
!$# )
G#2 >R+Q- .0hR'2+M"hR,!$ = Z2' N.R 2!$#23!Q v *+' S!$# E vXE
M ga!$?+ >3!$

ha!$# 8# hRG!$# +E!$#23!)+!E# &
G8+M!$"'

m1&2+!3!$+?>Q!$#2'Am1&2'(!$+!3!$+?>R = QQ$3!%B!Q ^^ #2>M'(!$?h
-/F& *3!$5!$# 7+ '(!$+[2 Z 3!$+'I
-/ SJ"g R .8N7# +'
' +' 6c
a 2 Y F& *3!$ +' !$# +7-/$BZQ = !$# J! -%'SE
+' 6 SJ"g E !R h G1m &2+!3!$+?> MR S+WQ-/[ZO 6+?>' #!*
'
( # *!

% := 2 Z ' / ! &(
= & #\!$#23!
#!*

/ ! &( ( # !*

'
v
*

+ "
' $
!
#
% :=
W
/
-

7

?
h =
\ y4 {Xxjw \ { \ w y
4Xyx 2 { . xy:5 rq~ y { wJ4
# I+ '(!$+[Z23!$+' ! '>

G -/F& *3!$ N 7# +' 5' +' 6
!`kL)?h = !$# K!5-W+' & B!$+?>D7# +' D' +' 6]+L!$ Z2' N#hE
G!$# + !$#23! v *+' MB! -26+?>'8 v CJC'8S !$# S'
:: : S
!
' a7& 7- v+,!$+' 6a

216& ' 1' [ZO 6"
G&!%!$# 76+?>'
v W' !$# ) 7+'73!Q#2' V R = !$# )' +' 6%! '7
GM-/F&SE
*3!$4-/[ZOX6+?>'
216& ' O1' [ZO 6 ' v = 2 Z ' 7

#hRG!$# + = & #F!$#23! ' v *+' +
2 b c W

'F
!$#23! ( # *!
% G' !$
=
#!*

=
G' U!$
/ ! &(

<' N!$# L!6B! $
!
I
=
B)%km1&2+!3!$+?> 8R X' +,!$L-S*3!$+' )' 67!$# K2$B!$
-U!$# DR "R h ,!$ = ZQD#2> K!$N& D'I+' & B!$+?> K"R h ,!$ -/E'SE
+' 6a*3!$+' = + = 'c+' & B!$+? > 76+K 6$+' 6]"R h ,!$a6Q Q $3! B!

^^ 4 +
GD!$# +3!$+' -Q!$# AJGH "R
h ,!$ d,[H g !$N!$#

-X' +' 6Dr1 m &2+!3!$+?> ER ^-X!$# L0R h '2+L"R h ,!$ -X'SE
' B!$D'(!+' = & &2?% h B-/F!$LX!$# 5<5E !$&
GQ"R h ,!$a # #2>

G' = # [ZQ > = > $
PZO+!$#.!$# W +3!$+'L- d,[H g !$M!$# +
! = ,!$+' 6]-/ !$# D+'2
++!J
h -2d,[H g !$a& ' 'SCE 6& ' c'
' 'SCE B!$+'23!$L
21 6& ' 61 ' [ZO 6
CJ 'L!$# +PB!$+' = ZQU +
G4!$# U +3!$+')-1!$# =JGH a"R h ,!$ aYT[MJGH
!$!$# .$%!N - ' +' 6O1 m &2+!3!$+?> %R P- !$# 9<5E !$&
G."R h ,!$
1 +X' 6Q
Q $3! a^^ Tc b 2 Z ,! +
GQ+'8 B!+(!$# W v G+'SE
!UB!$& ' !$# ' '(!F!$# 7& !$.6' $3!$
h aYT[MJGH = -/[ZQ

c h a2+'IZO+!$#I!$# 7& !$.
!+' c
h d,[H g ' YT[MJG? H '
!$# %$L
a
13.2.1 Experimental setup

B)"'(!$+' + = ZO# ' -/F& *3!$+' 6I!$# J!
-%+ '(!$+[Z23!$+' -
R SW.7# +' M' +' 6L! = ( # !*

%
GM!$$+'SE
#!* ' ,!$+!$&!$E!$# K
216& ' 1' [ZO 6

+' 6" v %'
# / ! &(
!$L
GW' KG' !$E!$# W#hRG!$# + !$L
G
+' & a
hND7# +' E' +' 6K"hR,!$aJC'N!$# E-/[ZO+' 68ZQ. +
G%+'
F B!+X!$# F!$$+' +' 6" v %' 5
216& ' u1' [ZO 6D& +'
& M
vG+'(!;
bc876?+ >%!$# .2$B!$MB!!$+' 6O-/!$# 8+' & B!$+?>
6+E 6$+' 68"hR,!$0aYT[MJGHI& J+']!$# % vG+'(!
B)S!$# MR `-P."hR,!$ +S Z2' "
hD!$# ) +3!$ xyz0{Xx"5 \ { \ y = !$#
' +' 67!a+)!$]+' & D" Z2' +!$+' -U!$# +) +3!$.# K
G#2>R+
!$$-`!$# 2<5E !$&
G"hR,!$ U/
E[WX >R+ 4!$# G+!$+?>Q!$$+' +' 6
v )-/)!$# K +3!$ xyz0{X"x 5 \ { \ y bU !$# K*,!)!CZQa,!3!$L-U!$# F!$$
m1&2jW:kJC' +!$+' = aG+!$+?> D v KZO# +# G' .!$a!$#
)ZO# )!$# E+Q' 8ZW3!$W+'!$# E'(!+' Q+Q' + V4# LB!W-
: : :
u qQ i

!FDTuI uI i FD75L I 5L I i
!FD5 I! 5 I! i F6V?
u qQ i ??u i
!FDTuI uI i ??u 5 FD75L I i ?? 5L I i
!FD5 I! 5 I! i ?? i F6V?
u qQ i ??u i
D:uI uI i ??u 5
D75L I i
D5 I! i
"V?
u qQ i
DTuI i
D5L I i
D5 I! i
"V?

a[ R X+!$+?>7 v %-/.' +' 6a6m1&2+!3!$+?>DR U-W!$#
<5E !$&
G
G+!$+?>L v ' + J+6+?>'a+'N

K[ R
LM6(3!$+?>4 v U/+6( ,!3!$W^ '(! +G+
lB,!3!$VZO# +#
' ' !8 GL+' 'h5
G#2>R+L-S!$# D"hR,!$aOY2L+' ,!' = !$# D,!3!$
U x{ x{1; w t } x 0 x 0 ; w t } { 0 o ; Xy } Y0 { .6 ; w t W8+K5' 6(3!$+?>
v =
G& D+!)' ' !L#2 G'5!$#23!E!$# 8ZW3!$E>E+'5
G!$# 'SE
!+' X+' (LM6(3!$+?>S v 'F
GQ+!$# X#2' SEC6' $3!$F
hF'
vG,! = E'
GF6' $3!$I& ' )!$# FS E ZQ5& !$+' = ZO# '
^G+!$+?>L v Mf1' [ZO'V
QQ$3!8B!W
^^ `& "+ vD#2' SEC$3-b!$7' 6(3!$+?>M v =
' W+ = ZO# +#N +^Q' ?h7+6#(!$?hK-/ !$# LG+!$+?>)' =JC'NF E
++'2"h% vG+'(! = -/ !$# -/& UG+!$?+ >W v U+'D
L[ L'
!$# O+ vD' U+ = aYT[MJGHa6' $3!$7'>?hD6' $ = + = & ' 'SE
,!$$+' R kbc!$#1& F& J*6%B!K- (a' 6(3!$+?>7 v =
$' ?h # '
h ^+!$' + ^^ O-/ !$# J B!$aB!"-L' 6(3!$+?>
v O6' $3!$a& ' !$# %SE ZQa& !$+'V
# SJ"g !$# "h = -/F& *3!$]+']6+ = " >E
2
16& ' 61' [Z;E
6\X & N!$# N v+!h -M!$# a' +' 65
= !$# N E
G' +' 6k>& %6& '(!f 4 7+L+!!$J-/0!$# D' ,!$$+'(!$8#

2 16& ' a 1' [ZO 6O!$#1& Q' +,!$S-G!$# M +3!$ {XX UD} S}.W =
. x \UD } S}.
W = . w Y5 UD } W = . x?Y5 UD
} W = . . w Y5 UD } W
'
Xy w UD} W = ZO# +# G' !$5!$# SJ"g ' ,!$$+'(! ++ E
!$+?>KZO+!$# !h +,!$F-MG' +' 6p>& Y2F2+' ZO+!$#
d,[H g Q
Q $3! B!) W^^ = !$# . x S
\ *3!$+'DZW v& "-/ !$#

216& ' r1 ' [ZO 6C)
B 16& '(!$X-!$# S
21 6& ' F +3!$
-4!$# 8$8!R h G ^!$# h FG& ' a!$E- !$# 8-/ t { . y
{Xx {X?x y w rq { z0y
B SaYT[MJGH [ZO4-/4!$# M& M-V' 'SCE 6& '
21
) 6& ' k1 ' [ZO 6 =
ZQa& +B!$?h !$# 465 2 Z ' +!$+' D-)!$# N
21 6& ' +3!$
' > + ' !"!
& *3!$J!$# ]6& ' ?-HB!$ ) B M-.!$# 5
21 6& '
:: : S
!
+3!$ = v! Xy w `= F"hRB!$+IY2M v = {XX Ui}#!=}MW+

m1& ?+ >'(!7!$ {XX U"!=}i}MW:<# $J# D-/!$# J +3!$ . x \:
R++*?h = . w Y5 Ui}#!W +Um1& +?>'(!U!$,. w Y5 U"!=}uW: # +U & Q!$#
2.- R Q!$D
G%' + V
B)6& '(!$K-M!$# N
2 16& ' 1' [ZO 6a +3!$KZQN'SE
+ N+' &! = + = ' ? h7*3!$+' W
GB!CZQ'N!$# %6?+ >']" hR,!$ 2$B!$
U { } 0} { 0};0 { WEZQD' + VD# +%+L'2
= E!$# DB!
m1&2+!3!$+?>LR P'
G%-/F& *3!$N+'N!$M- !$# 82$B!$)'
ZO+!$# &!E+'(!$R & +' 67' BZ>+*
*JC'58 = # [ZQ> = !$# 8+'(!$E
& B!$+'.- ' BZ >+*
P+ ' $" h=
Y2
v = +-R!$# o<5E !$&
GS"hR,!$
ZQ% +
Ga' ?h"+'"!$- { ' 0 = !$# %' BZ>+*
; { 0E'
;0 { /U )3!),!)' 8- !$# kWZQ& J

G8' $"hJ-/O!$# 8' ,!$& B!$+'
-Q 1 m &2+!3!$+?>8R -U!$# K"hR,!$arB)LaYT[MJGH [ZO)-/)!$# K+'(!$E
& B!$+'a- ' BZ > +*
= & #5D8& N
G = +'a +' + = #2' a+-
' $" h
Y +'2?h = B! & X'(!$+'L!$#23! !$# S B-H& ! #8# & +,!$+S' .,!$ +' 6

+!$+*ZQW& K+'.aYT[MJG4 H # 5H *S,!$+73!$4ZW & D )#
# & +,!$+U' 8+6' +[2 Z ' 4> 1-R^^` ZWX h %+'L!$# U+6' +[2
Z '
!$,!$ # W B-H& !
G ZO+!$#F-
ZW4+' 8!$ ; +'8 X!$L > +
6B!!$+' 6K,!$& ] +']R^!$+7c) L ?h = +- !$# %
G ZO+!$#N+W' =
G
#I+EB!$&2?N h # + CE +F
+' 6F# ' 5+) ' 8!$"6B!!$+' 67,!$& +'
R^!$+7F & +' 6K!$# %#a-/6RR]R
13.2.2 Results

d +?> 'c!$# JG+!$+?> = !$# (J' 6(3!$+?>7 v F' c!$# "
216& '
L

1' [ZO 67% +
G
G> = aYT[MJGH 6' $3!$ ; +^'(!.R =
# [ZO'7+'
L[ # h M >&23!$Sm1&2?hF6RRD
hDaYT[MJGH
%!$# c h B!$?I
h +,!$+' 6& +#
GB!CZQ' !$# 6+?> ' G+!$+?> ' ' 6(3!$+?>
v (CJ 'a +!$+' = !$# N h L- !$# L$E' 6!$# = + = ' +,!O- -/&
' ,!$$+'(!$U#V=MP [ZQ> = ' !S -G!$# 1 m & +?> '(!U!$L!$# OB!
R
gaR >+V m1& ?+ >'(!P!$W!$# 4B!XR = # [ZO'.+' RB!$+'D[ =
>R+ !$#23!QG' +' 6f>& QO+6' +'D!$# M*3!!$ # )$
# K-/R [ ^+!$' +
= G'2MF& ' +3!$+' Z
[E&!7-E!$#

^ FJG+
J,!3!$ = !$# 5R >5[ ; ,!3!$ UH ' 6 ZO# +#

Ia #hR+?h G+
= + = aG+!$?+ >N
v W: b># '
G+!$+?> v 8' !$# 7$ (N' 6(3!$+?> v %ZQ"6+?>' !$
: : : 1
*
.&!!!/

IK $LN $LN.S*$LN.$ O
L A I 6 < <= O =>

I < < O L L A I <= O =
I < <= O
L A I < <= O =>

I < < O L L A I <= O =
I < < O

5
L A I < <= O =>

I < < O L L A I <= O =
I <= O

?
0
L A I < <= O =>

I <= < O =
I <= O =L L A I < < O

;
L A I < <= O =>

I <= < O =
I <= O =L =A I < <= O

=
9 9/ 1 Qv I"DrI!"VODTC
C
EQ vDrI!D eIWVODT
"Q eI"Dv IWVOD`
"Q vDrI!"V
L A I < <= O =>

I <= < O =
I < <= O
I <= O
L A I < <= O =>

I <= < O =
I <= < O
I <= O

C
<
L A I < <= O =>

I <= < O =L =A I < O
I <= < O

B
L A I < <= O =>

I <= < O =L =A I < O
I < <= O

35
L A I < <= O =>

I <= < O =L =A I < O
I < < O

L A I < <= O =>

I <= < O =L =A I < O
I <= O

55
L A I < <= O =>

I <= < O =L L A I < O
I <= < O

5?
5 0
L A I < <= O =>

I <= < O =L L A I < O
I < <= O

5;
L A I < <= O =>

I <= < O =L L A I < O
I < < O

5 =
5 9 9/ 1 Qv I"DrI!"VODTC

C
EQ vDrI!D eIWVODr9 9/ 1 Q vD eIWVOD`
"Q vDrI!"V
L A I < <= O =>

I <= < O =L L A I <= O
I <= < O
L A I < <= O =>

I <= < O =L L A I <= O
I < <= O

5C
5 <
L A I < <= O =>

I <= < O =L L A I <= O
I < < O

5 B
L A I < <= O =>

I <= < O =L L A I <= O
I <= O

? 3

D[ &2+!3!$+?>ER Q-/W!$# ,<5E !$&
G%6' $3!$a
hNaYT[MJGH4
YT[MJGH = +!MZWL

%!$76' $3!$ = ' 67!$# )R = !$# 8!CZQ"R
a
-/
.[ %ZO# +#N)m1& +?>'(!S!$8!$# )B!WR = >']ZO+!$#"
G
- + D ; ' ]!$# ,. x \W*3!$+']+']!$# %
216& ' n1' [ZO 6
B)'a+G,!'(!+& .+W-/ !$# .

G >%& !$ = '2? h = !$# %'
-/5+!$+'\-Mm1&2+!hc-/Am1&2+!3!$+?>"R K!$# K!$#2' !$# N,!'SE

2c+!$+*N& +' 7# +' ' +' 6 Q' + +' 6a!$# 7R L-/

[ = Q-ZO# +#\>QG+!$+?>"' \' 5' 6(3!$+?>] v =
' c -QZO# +#c-Q$D' 6!$# = !$# +%' c+%
>R+& # +% S

E
&
GO & 7
hD+G+' 6L +!$+'2' ,!$$+'(!$U'D!$# OR
' + "+'!$# )#] RPM[ZQ> = +!$+'2 7'(!$+)+!$+*
7h",!$+V
GL' V
:: : S
!
13.2.3 Comparison with other ILP systems

Q $3! B!] ^^ ) +ed,[H g !$ !$#
-L' +' 6 -
Q
m1&2+!3!$+?>WR +'K!$# SJ"g -/7+aP# hD& !$# W-/& UG+!$+?>

v X-/
)[ )' F+ vF#2' SEC$3-b!$K' 6(3!$+?>Q v 2U/'
+:
W 4# LR G+' & ]
h]d,[H g ZW# [ZO']!$F
GE0R h '2+?h
1 m & +?> '(!!$D!$# %B!MR
P [ZQ> = > $)R +[2
M Z 3!$+' K#2 !$
Ga ' J+' D!$c ?h

d,[H g 0)
B 2d,[H g !$' ? h 6& ' 7-HB!$W
21 6& ' 1 ' [ZO E
6 = !$# 467 2 Z ' +!$+' )'(!$+' I
G> F#2 !$"
GF +J+'(!$
!
O- 6& ' N-HB!$WX & .!$# % v +!]
h - !$# .' +' 6K
SE
= !$# 7 +3!$8ZQ7!
& *3!$ ZO+!$# !h +,!$8-G' +' 6
>& HU 6& '(!] 4 :W # . x 7 \ ' ,!$$+'(!"ZW]' !N +?3!
c Y +'2?h = !$# {XX ' ,!$$+'(!#27!$K
G) GN+'(!$8> $P&
SE
' ,!$$+'(!$M+'N !$7 > +N!$# . v +'N- !$# .'1& F
GO- 6' $3!$
6& ' N-HB!$
^+!$' + ^^ U' & B!$ /- & ,!$# . vG+'(!$.+'I' +' 6a]m1&2+!E
!$+?>FR -4!$# A<5E !$&
GF"hR,!$ = & +' 6"
G!$#ud,[H g ' YT[MJGH4 R#
& >>$LB!$N-. v = +' & +' 6c!$# B!N- G+!$+?> v E

O' ]!$# LB!M- (K$' ?h6' $3!$a' 6(3!$+?>L v & a
h
YT[MJGH40B)' 6F!$# %' & +' -X# ZQ = ZQLZQ& N+
a )!$D'(!$+'
!$# L-/[ZO+' 6
# Q,!$+B!$+'L!$) vR!$' +'21

216& ' r1' [ZO 6S+'9YT[MJGH]'
d,[H g & "' v +' +' !$# a v+! h -)!$# a' +' 6

= O
Z
#
+
F
# 2
#

$
! E
G

W
2
#

'

F

h
8

G
+' 6E +3!$ +'(!$
+ W ++!$?+ >
# 8
' 8- !hRG.+'-/73!$+']& M
O+'a+'(!$ B!$+' 6

!$# %6' $+ 3!$+' W R & a
h6YT[MJGHc' id,[H g
SEC [ZO'a"hR,!$ = & # *YT[MJGH = ' JD*6W'1& F

GO- ' 6(E
X
!$+?>% v +'N !$D >'(!)>GEC6' $+ 3!$+'V
# J-/[ZO+' 65R ^+!$' + a
^^ OZW"+' & ?
h d,[H g -/
!$# M$O v QU& "
hDaYT[MJGH '
216& ' k1' [ZO 6)S+'
QQ$3!B!) ^^

xyz0{Xx"5 \ { \ y U x { | ~a} x 0)X n} { 0MX a ~ } Y0 { X W(

Xy w 5 w . xjw wNy Un}rW }
xyz0{Xx"5 \ { \ y U x{ | A} x 0)X 6} { 0) A } Y0 { pW
# .' +!$+' Xy w 5w . xjw wNy Un}rWW' Xy w U 0} { 0W:U# +
v E+& ,!$$3!$S!$# L
!$#23!OFR ^+' & N
h6d,[H g '
#2
>L
>$P+'(!$ B!3!$+' # +W+Q & E!$8!$# )-HB!W!$#23!2d,[H g 7h
+'(!$R & E' BZ>+*
= & #aW!$# E' +'"!$# )!$ Y0 { +'"!$#
R V
G[Z = !$# %' +' 6D-XZO# +#a7h"
G% +?s& !!$D6$V

R++*)
% GLZO# 'c& +' 66YT[MJGH ^+!$' + a^^ RK-
!$# )
Q)
'(!+'aHKJGLI< = S+!Q#2U!hRGk>+*
= ' "'
& M' 'SEC6& '
216& ' a1' [ZO 6(PM[ZQ> = HKJGLI< K
' ' !S+'(!$E
& .' BZ >+*
= ZO# +#J'a >'(!E+!W-/ ' +' 6D'J +*3!$
R V+-X& #6 > +*
OL' V
LM' -S!$#
G>
% G%+'IaYT[MJGH = %+!%' & ' 'SE
6& ' 7
21 6& ' k1 ' [ZO 6E' !$# O!R h +' 68-q> +*
U >'(!$W& 'SE

U6' $+ 3!$+' = ZO# +O,!$+ #2R > +' 6%!$# MG+
++!8
h !$.+'(!$R & M' BZ
>+*
iJ !K# &
G"' !$ = # [ZQ> = !$#23!K' BZ > +*
%!$#23!K7h

GE+'(!$R & "
h !$# E
21 6& ' ]1 ' [ZO 6E +3!$)+ ?D
h !$F
G
' 'SCE +++'23!$+' 6' J!$#1& L91 +' -UR3 # aZQ& 5
G8'
!$K!$3!O!$# G? h
13.3 Related work

B)'8?h%"hR,!$ -/ ' +' 6*m1&2+!3!$+?>4R '2
&g6B = & +' 6)
,!$+B!$ -/ - 6+ = + +
G +'
ga B!$+ ^F '

QQ$3! B!J ^F^ # + \- *
&g6B !$\!$$' ,-/ !$# I
SE
- ' +' 6K+'N6+)!$D G+!$+'2G-/ ZWO-/& ,!$# O >GJ+'
HKJGLI< G
&g6B \ZW7& = # [ZQ> = !$c'?
G&!" "hR,!$a
J !O& JF B!$?h7 +^'(!OB!M-X ++!$+?>U/
216& ' 61' [ZO 6
+3!$W ' 8+P!$#1& X+' 2$
!$O!$# UZQL'8' +' 65m1&2+!3!$+?>
R W- & *% "hR,!$ QQ$3!B!) W^^0

d =LMgi[ =H Q+$]^F^4"6' $3!$% SJ"g
R X+'56+ =

& +' 6)OG+*X1+' .- ,!X6' $16' $+ 3!$+'V R++*? hO!$Ma
YT[MJGH =
+!D& ,!$' 6I!hR +' 6I-I>+*
= I!$#23!K!$# ]>& N' +B!$+' -
#2' 67ZW hR. GL!$6B!$# .' c' ' !.
GD+ vZU/& ' + D+'uYT[MJGH
' d,[H g ZO# "!$# h ' v W:iJ !K#2F!$# "++!3!$+'
6B!F+ -
:: : S
!
HKJGLI< = '2?hF' .' BZ >+*

47 hK
GM+'(!$R & V(
PM[ZQ> = +!U!
+'(!$& '(!O!$# %G' +' 6A>& +']!$# %' ,!$$+'(!$
# Mg6J (# XL$'NB!M ^^ = O+#2 OB!M ^^0`+UGE
'(!$+*?h)+ '(!$+!$Id =LMgi[ =H
= #2+' 6O,! - d =LMgi[ =H(l +
E
+!3!$+' = +' & +' 6F!$# %+'2
++!hD!$D+'(!$R & %' BZ >+*
# .& B-/&
+!$+' F+' & N -H++!h -) vR!$$B!$+' u 6 m1&2+!3!$+?>7
G#2>R+D&!D-
m1&2'(!$+!3!$+?>]23!I' \6' $3!$+' -E!$'23!$?+ >"7 v+7? hI' +,!$'(!
R .ZO# ' +' B!$7+'-/73!$+' +K6+?>'\
G&!F!$# ] v "
G E
#2>R+=Y2& ,!$# = +' +'2G'2?hR+Q+Q& ]!$F & E!$# EB!-
' ,!$$+'(!$O6' $3!$V

@S ^^ V +786' B!$+E6+!$# g U &2+!3!$+?>*gaR
c>&!$+'WE!$a!$# 7
-O' +' 66m1&2+!3!$+?>DR L-/ v E
4# LG' +' 69
> & E' !W!']+'(!$K& '(!ogaR
'(!$cM!$E+'J!$# 86' B!$+F6+!$# aO# F6' B!$+8G$3!$M-
!
0!
v#2' 6Q&
!$W
GB!CZQ'7!$ = ZO# +W!$# 6' B!$+-/ !*
G$3!$L6' $3!$%$' &
!$.' +' 68!$O<M+' 6J] +^'(!
!$$+' +' 6B! =
g >
!+' ZR>KR Mm1& +?>'(!)!$7!$# FB!%'

JC'5 +!$+' = g ?ZWE +N!$7>$ !$# )7P 7+' = +' & SE
+' 6)
=EC+& +!;U/+,!$GEC2+!$GEC+& +! W: R++*?hO!$d =LMgi[ =H =

g 'a' !O+'(!$R & %' B Z >+*

BMH ga$L^^0 =
+6+'2?hN +6' 5!$N'5# .23!!$' = +
N
2 'I!$# D+ ]-Q,!%6' $46' $+ 3!$+'Vr
J !%'cN&
' 'SEC6& ' \
216& ' 1' [ZO 6 <M+' 6I' ? h !$# ]-/& KG+!$?+ >] vXE
E' J!$# F$8
2 16& ' 1' [ZO 6KEa YT[MJGH = BMH +' &
R ) m1& ?+ >'(!]!$ !$# IB!a' _# IR E'(!+' ]>$
& ' 2'(!N' ,!$$+'(!$ = BMH & ]' ' 6(3!$+?> v 7!$ &
+!I ga$)7& ,-/& ?hJ+' & 5R O- !$# <5E !$&
G."hR,!$ E
+
GJZO+!$#J!$# ] U { } 0} { 0W)' ZR>] U { } 0} { 0};0 { } w ttWM2E
$B!$=
PM[ZQ > = +' 6K' BZ " hR,!$ 2$B!$
m1& +M +!$+'2
^,!L' #2M!$"
G8#2' +' 7G+* ZWhJ+' BMH4G# r x zXz EC
2
"hR,!$ BMH =
d =LMgi[ =H ' kg6J %' !S' 7' 6(3!$+?>O v
13.4 Discussion
bcK#2>D& ,-/& ?hI + !$# K+' & B!$+?>K6+. 6$+' 67"hR,!$
aYT[MJG7 H !$M!$# Q
-2' +' 6)*m1&2+!3!$+?>UR 1- !$# Q' ' B!$SE
'(!+' L0R
h '2+F"Rh ,!$a8#
++!N
h -QaYT[MJGH !$N& K' 'SCE 6& '
N
216& ' i1' [ZO 6. >5& B-/& +'N!$# +MGB!L' J0>'(!6&
2\!$ d,[H g ' YT[MJGH44aYT[MJGH R & ?7'h R
ZO# +#<B!$?h +,!$+' 6& +#
GB!CZQ' !$# I6+? > '<G+!$+?>I' <' 6(3!$+?>
v )WZQ]- !$# K > !$"
G81 m & +?> '(!)!$!$# FB!ER
BW!O!$# %$L!$+ = # [ZQ> = !$# +O> !$# %' +!N h -/O+!$+*F!$#
!$#2'a B!$' = ' +,!$' J h ' a' 6!$# /U v +!hRS W !$ +,!$+' 6& +#
' 6" +^'(!m1&2+!3!$+? > .R M) B !$# & 6#J!$# F'1& F
GE-S +^'(!
R 87h
G" &
h & +' 65 +' +'2Q'2?R h + = !$# +F RK' !
>+]!$# %' a-/& +!
L+!$+*]/U
+*: W
B ' !$# S
ZO+!$#D' +' 61
) m &2+!3!$+?> R 4+ !$# M
-
+'(!$R & +' 67' BZ > +*
I)
B !$# & 6#pd,[H g = YT[MJG\ H ' 5aYT[MJGH '
+'(!$R & .' BZ > +*
= !$# 8+!$$W!$#23!E+'(!$R & %!$# 9> +*
M
!R h +?h
G!$#]' 'SCE B!$+'23!$bU !$# E' BZ> +*
Q']#2> %M!$#2'
' > & L W ' ' 'SCE +++'23!$+' 6pbU !$# +!$$E a' !% +,!$+' 6& +#I
G E
!CZQ'aG+!$+? > L' N' 6(3!$+?> E v :W =2 Y W v = +- > +*
a9#2
LG+!$+?> 21 m &2+!3!$+?> o> & O' A> +*
)! #2SL' 6(3!$+?> 5> & = !$# O+!"E
$ {XX U i#} != } MW = ZO# + )' BZ > +*
4ZO+1
GQ' 'SCE B!$+'23!$ =
<']
GE+!$# WG+!$+? > = KQ' 6(3!$+?> =M P [ZQ> = +-B = !_' Y
+
G '1& +?h = !$# ' +)& ' + 1 m & ?N h B!$+' 6+?> '- ' !
# +U& 66,!$4!$#23!QfHKJGLI< CE +
O (# H R
> $ .' 1
+4^^
G$3!$+' 6K'N EN > & a> +*
= ZO# .' BZ> +*
L+'(!$R &

GB-/' +' 6 = & KZO+!$#F!$# M (#D-G' +' 6M1 m &2+!3!$+?> WRSE
7-/ EN
> & ?23! L X $'NB!) W^ ^ = +6#(!]
G ^B!$+?> J !
+6#(!WF
G)G+
M!$F6' $3!$M1 m &2+!3!$+?> MR Q +B!$?D h -/ '1&SE
+^23! = ZO+!$# &!O R v !$$B!$+' 6A1 m &2+!3!$+?> E
G#2R > +
:: : S
!
14
Other ILP applications
# +#2!$76+?>"' >">R+BZ0-L>$)'(!] +3!$+' K-MJGH
!$5
.!' -/9 CE +-/D 7+' +' & +' 6 & 8-/8 +B!"E
+' 6L!$# O' 2"hD,!$& B!$& M-^ !$+' ga& 66B!$'NB!) ^^0 = 'SE
+' 6"& )-/) +B!$+' 6],!$& B!$& #B!$+?>R+!hJ*3!$+' # + )+' & 6] +6'
XL+' 6DB!M ^^0 = ' c+' & +' 6N!$G$4 +*6' ,!$+K& %-/%$3!$+!$

G' '(!M-H& !$ Y2' 6N^^ 0
O# F v )+& ,!$$3!$E!$# 8G!$'(!$+*
-CJGH -/ E ZQN +3!$+'
# JGH "hR,!$ d,[H g
= +
G>+' RB!$+' = ZWN& <+'
!$# E!$# % +3!$+' S +
GN# (b># 'N+' & +' 6F +*6' ,!$+)& =
!$# L!$$+' +' 6K23!D+G,-/B!EO+!O+6' $3!$a-/ m1&2+!3!$?+ >LR
+F& *3!$K& ' QM>+B!hK-^' +!$+' #1& = ' %' +O#2' +' 6L#SE
' +XQ' Vc
JC'.!$# S! %- +B!$+' 6),!$& B!$& #B!$+?>R+!h%*3!$+'

-/Q & 6 = d,[H g #2W
G']& ]+']8' S ' EC' !$' +O' +' 68B!!$+' 6 =

ZO# !$# ' R +' 6 3 +'Y# = '(!$+' +' RB!$+ ' F =
ZW] h?!$ #2' 23!c+G,-/B!$+' ga& 66B!$'NB!) W^^ =
R+' +?>$']B!) W^^
14.1 Predicting protein secondary structure

# +SB!$+'7
+RhD>R+BZOS!$# M
-V' +' 6.& U-/U +B!$+' 6
!$# W' 2"hK,!$& B!$& -G !$+' = !$)ZO# +#ad,[H g #2 G

' +

ga& 66B!$'NB!) W ^^ bc Z2,!a +
G5!$#
+ !$- = !$# '
!$# 8>'(!E
216& ' 1' [ZO 6 = ' Z2'2?hN& 7+ %!$# F& !$
ga& 66B!$'NB!) W^^ = 1!$'1
G6B!) W^^0
B0 !$+' +K
2+?h ,!$+' 6I-E+' 5+ 6U/
.&/
W: 4 E
+B!$+' 67!$# 8!$# EC +' +'2X#2GK-U !$+' )-/0!$# +E+' ]+
m1& ' %+UZO+ ?h
G+>7!$8
G)' )-P!$# )#2 ,!& ' ?>]

+' & *F
+6h J !7+ -E' + $
a+'(!$,!!$I!$# a #2GE
>:
!
Y +6& F 4# 8 ,!$& B!$& %-4F!hR +P !$+'V
7&!$+Q+' & ,!$"h +' N#2G]6' $?hc B!$+' F!$# "-/& ' B!$+' -

N !$+'VkY +6& ] 6+?>8NR 4-Q!$# 7 ,!$& B!$& 7-]!hR +
!$+'V
# Km1& ' D-U+' "+ )+)a!$# % . / ./ -4!$#
!$+'V R 23!$+*?h = !$# "+' a+ 87$' 6c+' +^'(!823!!$'
U/ +$ = !$ & ' = `3!WB!$+' = B!$_W:U# M!$# EC +' +'2223!$+*`#2G
-S" !$+'5+)J!$# 0 #!*%& . / ./ fb># '5!$"hR+' 67!$] +B!

!$# #2G,U
0 #!*%& . / ./ W +! + + !$L' + 4' ?h.' 2,!$+&SE

* #2GfU/23!!$'W = +' ,!$K-2!$# F& !$+!$& S-GG+
++!$+ !$# EC# + v
U/ +$jWS#2GLZWM' + a
hnga& 66B!$'NB!M ^^ *
# O!6B!4*3!$+' {Xx { UHf 4 \ yw
} 4v5w \ wJ4 W G+[Z2U!$#23!4!$# O+ E
& 3! G+!$+'8 4v5w \ wJ4 +'8 !$+'Kf 4 \ yw
G ' 6X!$E' EC# + v^TLM6E
3!$+?>K v L,!3!$D + & DG+!$+' E+'52,!$+& *) !$+' EZO# +#
7' !K+' ' EC# + v ' 2" h ,!$& B!$& Y28+' ,!' = !$# "G+!$?+ >
v {Xx { U } ; XW

W ' !$#23!!$# %+ & .3!MG+!$+'5 ; D+'
!$+' PMg
U/# "h1!$# +' B! W%+.+' ' EC# + vâ# 7' 6(3!$+?>" vXE
{Xx { U } ;
W ,!3!$7!$#23!"!$# + & 53!"G+!$+' ; c+'
!$# "$7 !$+' +8' !K+' ' CE # + v /U +!FB!$&2?I
h
G' 6.!$5 tCE +
' 2"hN,!$& B!$& :
W
X ' & %!$J+ '(!$+-jh ZO# B!$# KaG+!$+'I+' N !$+'c+.+'c'
H [ : [: > N : >
[ ;
EC# + v = ga& 66B!$'KB!U ^^* & W!$# Q-/[ZO+' 6)+'-/73!$+'8
2E
6& ' 61' [ZO 6
# F*3!$+' 4v5w \ wJ4 U|9}~a}9WM,!3!$)!$#23!)!$# F+ & F-U !$+'
| 3!8G+!$+7
' ~ +.$! # "+' E + D U# + & "'c
G"'h
' 5-%!$# ; G+
5+' + ]' >+" ' !$<
h [ZQ
5#2$B!$ Y2" v
= !$# -HB! 4v5w \ wJ4 U }} z W
$hRQ!$#23!Q!$# E+ & L3!WG+!$+'a)+'" !$+'J +Q6?Rh +'
U/& +' 6K!$# %,!' 2a' EC#2$B!$M+' D+NR +' 6XW:
# D-/[ZO+' 6N+!$# B!$+K*3!$+' %[Z +' v+' 6a-Q!$# 7 !$+'

m1& ' = *3!$?+ >)!$K!$# L+ & L-/QZO# +#a' 2"h],!$& B!$& %+

G+' 6 +B!$V # h #2> !$
G >R+
v ++!$?h =
,
d [H g #2>'
& +!"EC+' +!$# B!$+Y*3!$+' # *3!$+'
4 \cU|9}~a}f}n}O}5}A} 6}
0W G+[Z2W' +' M $'(!WG+!$+' U+'
5 !$+' = + = +!K$R h D!$#23!DG+!$+' 9| !$ cR& K+' m1& '
[E' -HB! +' !$# + *3!$+' 7h
G = -/ +' ,!' =
*
4 \cU ^0} ; } R} S} 0} R} } 0} :W # {Xx { \G w xy \U|9}~a}9W =
{Xx { {w RU|9}~K *
W ' {Xx { {w U|9}~WK*3!$+' D[Z ++ E
*1 +' -E+' v +' 6 = ZO# +#?G+[2 Z 7+ & D!$#23!"a+ ?hc!$
G8' !$# "$7-H7-)' CE # + ^
v J# h +6#(!F
G" 2 Z '
*$3!$+? > ?"
h
" h !$# L-/[ZO+' 68!$# L-HB!$
{Xx { \G w xy \U } 3 } 3 XW

{Xx { {w RU } 3
W
{Xx *
{ {w U } 3 XW
4#hR+)' # +O G,!$+-E+' ?+ >R+ &2+ & "a E
+
GN
hN& '2"h" +3!$U# 8 G,!$++' & E#hR # E

++!h = #hR # +++!h = #26 = + = G*+!h = ZO# B!$# 8]+ & K+
+ #23!$+QU73!$+ = ZO# B!$# S+!4+UL#hR 6' ' 4U!$ =

B!$ R+ = # hR #
++!$+ = G*+!$+KB!$ = a '(!$>
h
' ,!'(!$ = & #F 4 x{ ; V} 4x{ R}??X# U& U-R +^'(! ' ,!'(!
'2U-/UG*+!h
| 4x{ ;
' #hR #
++!h 0 43; +
' $" h8!$)
>'(!4& ' & ,!$[+ Z2F6' $+ 3!$+' +r
' d,[H g Ub!$#
& I
GD >'(!$
h5 v ++!L,!3!$'(!.-S!hRG.+' ,!$W: O E
*3!$+' W
GB!CZQ'a!$# %' ,!'(!$ = & # xy:5:5 \ { U 4x{ ; }V 4x{ RW =
%D >R+ JO
2
16& ' n
1' [ZO 6
>:
!
HPB!X& X' [Z R%ZO+!$#85>"h%# ,!X +!$+'.-!$# U vG+'(!

B!$& ' !$# ]& !$K# +>\
h ga& 66B!$' B!D ^^* R+ vR!$'
!$+' %ZQ7& = !CZQ?>-/L!$$+' +' 6a' -/& L-/L!$,!$+' 6 ab>+!$# &!
+' 6 +' B!+M# [Z d,[H g
ZW"& ' !$ +' & J& 7-/ !$#
!$$+' +' 6E23! = B!4& U'(!$+'8!$#23!U#-`!$# +' & D& ZWS[ZQ

!$%+*+j- h8& K!$D ; +' ,!' S' D&
B!$?+ >M,!3!$+,!$+ +!$+*

ZQ& D!$ & 6W+!$ +6' +[Z2' W
GB-/[ZO+' 6M+! +'(!$E!$# WB!U-G&
& -/.*+[Z23!$+'V]# "+' & & 8>\& ' ; ` -!$#
+' ,!'
HP> ; &
{Xx {1; U|9}~W= 4 \cUn}O}5}A}~a} 6} } 0} W }

v 4 5w \ wJ4 U|9}n} W } B4 \ TU W } B4 \ U W }

4v5 w \ wJ4 U|9}O} rW } B4 \ { 4 . { \ wN U rW }
5 . {Xxx 4
4 x{ RU rW }
4v5 w \ wJ4 U|9}5} fW }
4v5 w \ wJ4 U|9}A}9W } B4 \ { 4 . { \ wN UH9W }
4v5 w \ wJ4 U|9}~a}9W } y 0 4 4 0 wN U9W }
B4 \ { 4 . { \ wN U9W }
4v5 w \ wJ4 U|9} 6} W } x{ z0y U W } B4 \ { 4 . { \ wN U W }
4v5 w \ wJ4 U|9} } W } 0 4 4 0 wN U W }
4v5 w \ wJ4 U|9} i} iW } x{ z0y U iW } x \ U 6} fW
HP>U%&
{Xx { X
U|9}~W= 4 \ cUn}O}5}A}~a} 6} } 0} W }
{Xx {1; U|9}9W } {Xx {1; U|9}9W
HP> F&

{Xx { R U|9}~W= 4 \ cUf}n}O}5}~a}A} 6} } W }
{Xx { XU|9}~W } {Xx { XU|9}9W } {Xx { X
U|9} p
W
Y +6& F R O& -/ +B!$+' 6 EC# + v"' 2"hN,!$& B!$&
X + >J!$# >$6I-L!$# 5 ++'2"h\& = !$# 5' +' 6
RPZW +!$$3!$V # U +B!$%' 2"hL,!$& B!$& UG+!$+' ^-/& '
& +' 6!$# U+' +!$+*3& U/%> ; & W^ZQS .!$!$# U
216& '
>
[ > [ 1
+'-/73!$+'V d,[H g ZW7!$# '?& ' 6(+' !$c R & J' BZ U/>.W
& )# +MZWE' $"h5M!$# 8> ; +B!$+' OZQFG1 = +
' ? h"# ,! EC# + v7 m1& ' )ZQ% +B!$VU# %>4%& +'] ^B!
Z2!$ !$# aG1? +B!$+' 7' +' \!$6B!$# # ,!7m1& '
- CE # + v +B!$+' ?# a' +' 6I RZW7+!$$3!$ ' J
ZO+!$# > SF +B!$+' ) !$7!$# 8
216& ' p1' [ZO 6K' >
%& SZQE+' & V=
Y +'2?h = M-P!$# )> XE' "> %& SZQ

6' $+ N
] h #2' a
N h +'(!$R & +' 6F!$# +"R h B!$+M> +*'(!$
B ?R
)
h +' 6]d,[H 9 g !$"!$# 8!$$+' +' 67B!L R & 5!CZQ'(!hCE ' D> ;
& = ZR > %"R h B!$+)> E& ' "!CZQD"R
h B!$+)> 8& =2 Y
+& ,!$$3!$+' =
Y +6& F F6+?> ' %& )-/ #a- > ; = > 4.'
> R
# S+' & 8& X# + > K& $%
h - F< ` '%!$# U!$$+' +' 6O' 9 F `

'L!$# 4!$,!$+' 6OB!C2 Y P2+' = !$# U
G,! R > +& ?L
h G,!$%& ! +
` = # + > F

% h & +' 6EO' & $1' B!CZQ.
(# L X ' B!M ^^ ;
# & L+' &
h7d,[H g ]#2> D!$# 0> '(!6D> %!$# D' &SE
$X' B!CZQ B!$# R -U
G+' 6"8& ' ,!' 2
%# K G+!$+'2
'
5[fg6J LX +' 6' 1!$'1

G6J^^ ; 2# +> ` & $K h & GE
+' 6O!$# S$S23!OB! cd,[H g M P [ZQ> = !$# S '(!3!$+'FG[ZQ
- 5[fg6J +%++!$ = +!%ZW.' !F
K!$ 2Z ' c-Q!$# +G,!'(!
*3!$+' # + 8
GB!CZQ' + & K!$#23!Od,[H g -/& ' !$I
G]+' > ?> \+'
CE # + 7 v -/73!$+'V
14.2 Modeling structure–activity relationships

# .7 +!h7- #27&!$+V#5' a > '(!M+
2J'

Z2' +' 65+6#(!$?hc+ > >+*'(!$F-)23!$'(!$ B!$+?>] & 6c# +K+'SE

>?>N*
G$3!$+7-.# +,!$N"hR'(!$# + +' 6 ' !$,!$+' 6 #1& ' a-
G& ' 4# %
++!K h !$D&!$73!$+?hK +>& Q!$#23!*3!$)!$#
B!$+?R > +!c
h -) & 6K!$ !$# +K# +W,!$& B!$& a' \# +W G,!$+
-V!$# +S' ,!$+!$& '(!$f/U &
GG' '(!$S W & 7 R> + )63!Q & B!$+'"+'
#27&!$+V# ' a > '(!M,!$
# U
-R*3!$+' 6Q!$# 4,!$& B!$& U-# +G& ' O/U & 6XW
' !$# ]# +Q G,!$+F-M+!$F' ,!$+!$& '(!$F!$I G+[2 Z ] G,!h
HU B!$+?R
> +!hR4
W -V!$# EG& ' 7+1 ' [ZO'NS!$# E
- R +' 6f1 m &2'SE
!$+!3!$+? > O,!$& B!$& #B!$+?R h *3!$+' # + IU SB I:W CJ '7!$# +UB!$+' = .G E
> +!D
+[2 Z 5+' ,!' 5-.!$# +]6' $E
+ 2 Z ,!N +
G = '2?h = !$#
>:
!
LIP|
4
PIL
L PIL|

Y +6& K U# .,!$& B!$& .-X!$# +B!$# +
'26& Y2 XL+' 6DB!
' iga* ' + %' 4X%$+ ^^
^^

-DR +' 6 !$# SB - Ub!$+B!$# +
+ -K & 6
'26& W)+' # +
+!$+' 6]'I' hRiUb!$# #!
+#hR -/*3!$F & B!W
0
XL+' 6DB!M ^^ = 1!$'1
G67B!) W^^ obc.' vR!) +
G%!$# %-/F&SE
*3!$+' -W!$# +8
FJ7# +' ' +' 6 U/*+[Z23!$+'E W
=
+' & +' 6%% +!$+'D-^!$# !$$+' +' 6L v S'
21 6& ' a1 ' [Z;E

6)Q,!3!$"+' XL+' 6DB!) W^^ cc 0
b M!$# '"& 7+ !$# )& !$S-

!$# . +3!$+'"-=d,[H g !$K!$# +O
X +' 6DB!) W^^ P-/[ZQ
L 0

h5!$# D& !$.-W ?R h +' 6N G+!$+'2 ' +' 6]"R
h ,!$%!$N!$# D$

ga* ' + %' % X $+ 8^^
X+B!$# +0'26& EFG& ' MZO+!$#57# + ,!$& B!$&

E +B!$5+'pY +6& 7 E# D8!$# D!$'23!$8&
,!$+!$&!$+' GE
+!$+' nUH = c' WF'\!$# a # 'hR)+' 6 E& 6K-/ !$# +K-H+?h
+ '(!$[+ Z2N
h]!$# %&
,!$+!$& '(!$ }
'
4

XL+' 6JB!F ^^ U& 23!a' a!$+B!$# + '26& %!'
-/
P)' # B!K ^F U-/.!$$+' +' 6J' ?-/& ,!$# F6' 8!'
-/ O!$# B!L ^F = ^F -

-/M!$,!$+' 6 IJC'J!$# K & 6 = !$# K -
G+
# +P-/VG+!$+' P = O'
X# S+' & (P /U #R
h 6' = + =
' )&
,!$+!$&!$+'W = Q = Y = Q Q = J = LI| P = LM_ [ = [P = U [PMPW = ;| P [AU ;| P W ;P = 4
4
B!$
U# -L!$# * c' 'SEC#hR 6' &
,!$+!$& '(!$]+7 +
G ZO+!$#?' +'

#hR+EC# +O G,!$+aG*+!h = + = 2 v+
++!h = #hR 6'SEC
G'
>
[ > [
' = #hR 6'SEC

G' !$ = ' = !$ = G*+
++!hL'
^B!9B +,!E-U!$# K&
,!$+!$& '(!$%!$6B!$# EZO+!$# !$# +E# + SE
^^ # # +4,!$& B!$& .-
,!$+%'c
GK-/& ' +' XL+' 6NB!F
!$# D & 68' I!$# D&
,!$+!$& '(!$lX G,!$+%+,!$
G>D' ,!$+!$&!$D!$#
7+' 1' [ZO 6L-/W!$# SB Y
a
# 7
+6+ B!$+?>R+!h5-ON & 6 Ub!$+B!$# + '26& WE+%E
& .Ix74z U *W = ZO# *)+K!$# J1 m & ++
+& ' ,!'(!7-/K!$# JGE
R+*3!$+'c-!$# ] & 6 !$ +#hR -/*3!$7 & B! ) P ' #JB!M ^F 0
# KB!$+?>R+!$+O- !$# .!$$+' +' 6 & 6)$' 6.-/0 ; 7!$k
F F = ZO# +%!$#
B!$+?>R+!$+L-Q!$# K!$,!$+' 6a & 68 # +6# = $' 6+' 6]-/
R ]!$6
F F R
LM!$L!$#23!O!$# 8B!$+?>R+!h]- D & 67+OD EN> & ]-/3!$& aUj> +*
W W '
' !MD +B!$ EN > & N'
B ,!' 2 (#?!$ +B!7!$#
+6+B!$+?R > +!h -.c & 6
+M!$7-/F& *3!$8'5 ++P1 m &23!$+' *3!$+' 6!$# KB!$+?R > +!a h -4!$# F & 6
!$c!$# #R h +CE # +M G,!$+7-L!$# G' +' 6 &
,!$+!$& '(!$
) 0
P ' #JB!) W^F # I1 m &23!$+'>+7!R h +?h -/F& *3!$
h & +' 6
+' 46+'" +B!$?K h '!$# ) G,!$+SU'7+'(!$ +*3!$5> +*

' ,!$& B!$N-/ !$# L G,!$+W
N h +*3!$M!$$' ,-/73!$+' cM B -b!$
Z2' +' 6!$# 86+'JR s +'(!$ = !$# 81 m &23!$+'J'J
G8& J!$7 +B!
!$# QB!$+?R > +!L h - ' BZ\G& ' -/ !$# S G,!$+X-!$# + &
,!$+!$& '(!$
X5 ?I h +' & B!$+?> 76+K 6$+' 6"!$J!$# +. 7+' = !$# SB

+4-/F& *3!$+'7%+6#(!$?K h +^'(!SZWh L 0
X +' 6DB!M ^^ cCJ 'SE
,!$-`!$"R h +' 6E!$% +B!U +B!$?.h !$# & 'R1 ' [ZO'"B!$+?R > +!8
h -VEG& ' =
+!N+N2<!$\!$# u1 ' [ZO' B!$+?R > +!$+]-F!$# NG& ' B B!
-)2+ 2+' F'\!$# '\
G]' > ,!$ +'(!$ '\> $W$'R1 +' 6

0
LR > +I^F
# N!6B!*3!$+' z y{ \Ua z i}a z !f8 W ,!3!$D!$#23!G& '
v # +
+!$L# +6# E
+6+ B!$+?R > +!ah !$#2'IG& ' ! X+!$+?> D'
' 6(3!$+? > M v QM6' $3!$"
h 2+' 6L!$# )B!$+?R > +!$+U-V2+U-
& 6 +I v L-Q# +6# LB!$+?R > +!h KG+!$+?> K v O/U 6 =

z y{ \U ; } WW = ' !$# )G' +' 682+S-P[ZQWB!$+?R > +!
h M' 6E
3!$+?
> ]
v n/U 6 = z y{ \U } ; W:W +KZO# ]!$# aB!$+?R > +!$+K
1 m &2I/U LZO+!$# +'5!$# 76+' E-W v G+'(!4& '(!8L W
+ V
# L
216& '
1' [ZO 6)-/5d,[H g ' +,!$W-P!$# L
G>E'SE
!$+' 7+' 1' [ZO 6a' ] v ++!$?h ,!3!$ +!$# B!$+*E
!$+'
>:
!
# O*3!$+' 5 \G Ua z }

} } W 6+?> !$# # + ,!$& B!$&
4
-L!$+B!$# + '26& Y27 v = !$#
216& ' -HB!

5 \G U ; }, } 9 } p W ,!3!$M!$#23!E & 67' ; #2 ;Y &
SE
4 4
,!$+!$&!$ 3!7G+!$+' = [ ;P
&
,!$+!$&!$>3!7G+!$+'
4
4
' ?'
&
,!$+!$&!$+'a3!OG+!$+'
B
216& ' F +3!$SZW +'(!$R & .-/X#F-!$# Q' +' S# E

+1 G,!$+X- !$# Q&
,!$+!$& '(!$ 6 = 4x{ RU, }V 4x{ WP,!3!$
!$#23! ;Y #2]cG*+!h -. = 4x{ RU 9
4

}V 4x{ WK,!3!$7!$#23!
;Y 4
#2 G*+!h?- = '
5 w y U kU W } 5w y WN,!3!$
4
4
!$#23!,[AU ;P|W ;P
4

+E-S+
4
R+ +*!$"!$# K !$+' )ZQ = E
+
G7+'!$# M >R+& QB!$+' = +^ '(!Q' ,!'(!W'2WM&
-/#a G,!h
R +!$# B!$+6

1' [ZO 6 ZWN v ++!$?h +' & ?+'?!$#

216& ' V1' [ZO 6 = +' & +' 6>*3!$+' 5
GB!CZQ'_' ,!'(!$ =
& # z y{ \ 4x{ RU 4x{ 0
}V 4x{ W7' >*3!$+' "
GB!CZQ' S
' E
,!'(!$M' Z0v6 >& = 6 = z y{ \ ; 4x{ RU 4x{ W:

d,[H g = & ZO+!$# +' !$# -/$BZQ<-' 'SEC' !$' +c' +' 6
R+' +? 0
> $']B!) ^^ W' &!$++ +' 6]!$# "' R +' 6 # "-Iga& 66 E

!$' B!D ^^ 3
= +' & ' +' 7& 82+' 6J & 65B!$+?>R+!$+nB)'
v 7& 7+F6+?> ' +'
Y +6& J # ]& 7,!3!$F!$#23!F & 6p| +

GB!!$Q!$#2'] & 6A~ +- & 6A_ ~ #2W' F&
,!$+!$&!$+' 3!G+!$+' QF'
' a!$# .&
,!$+!$&!$+'i 3!)G+!$+'a- & 6a| #2M#R h 6' ' ; =
CE ' L.' 12 v +
++!7
h !$#2'
z y{ \U|9}~W( 5 \G U|9}n}O}9W }

5 \G U~a} t}f} W }
U4B4 RUn} U4 ; W }
w U4 B4 RUn}V w U4 W }
xy U n}9W }
xy:5:5
xy U9W
Y +6& F (B & E-/2+' 6K & 6B!$+?>R+!$+
>
[ > [

Q2+' 6%!$# )G,-/7' )-Td,[H g !$8!$# MP)' #]B!W ^F
(# = XL+' 6DB!L ^^
,!3!$%!$#23!M!$# RG7'J$'R]*3!$+'
-8!$# & 6 B!$+?>R+!h a +B!$
hd,[H g
ZO+!$#>!$#
">

W+ ; ^ .'"!$# )!$$+' +' 68B!O- & 6O' ; (.-/Q!$# )!$,!$+' 6KB!-
& 6= Y24!$# M +B!$+' U
hD!$# IP)' #"m1&23!$+' = !$# RG7'$'R

*3!$+' E ; ^]' ; (

= GB!$?+ >? hr
QQ+ %# +>R+' 6]+6#(!$?h
GB!!$4& $h8!$#2'F,!3!$+,!$+RB!$# R = !$# Q+' & D& E >R+
K +!$+'N- !$# %# +,!$" h"6 >' +' 6D!$# %
a
B SJ RTBMLM>' 45J = #2>M'(!$?h

WZQ8 G+!$+'2R' =
G' + !$ !$# SB

+
G
G>
0
ga* ' + %' X%$+ 8^^ cb># +2B SJ RTBMLM>& Q!$# )2+7E

2+'K-/F& *3!$+' = 45J D+' & U6+'D!$4!$#23!U +B!QB!$+?>E
+!h +' J++*EZWh .!$# ) P ' #\1
m &23!$+'V U# & 6 +8 +
G
ZO+!$# K3!!$+
&!$U!$# .' +' %# +P G,!$+O- = !$# .' +' %# E
4
+X G,!$+E- ' -/& L +!$+'2
GR' 3!!$+
&!$AU
= =
:W
4
=
4
# E*3!$+' Q# +>N)

GB!!$Q!$#2'7!$# )' W
h d,[H g '
!$# pP)' # m1&23!$+'V ; c-/a
B SJ RT BMLM ' ; a-/ 45J '
!$# !$,!$+' 6J & 6N# "& !$8>U!$#23!.-/%!$# 72,!$+& * SB

3!W#2' ] G+!$+'22' +' 68"hR,!$W+6#(!Q&!$G,-/ JGH
"hR,!$ [E' 5# & ' !]>R = # [ZQ> = !$#23!]B SJ RTBMLM '
45J %#2>S
G'.6+?>'87 +U-*3!$+'21' [ZO 6IU 4 W =
G[ZO+' 6J' + ]-/HKJGLI< H >R$ %B!) W^^[ aB) ga* ' +
=
' X%$+ ^^
' !E M!$# .
- # ' +
++!h"-
!$# %+' & N!$rU/*+[Z23!$+'N' N6+'a' W:
# F7+' 6& '(!)-/M!$# 8& K-(JGH >+M+'J!$# 86' $+!ha-4!$#
216& ' k1' [ZO 6 = !$$+' +' 6. v Q' 7' ! +!$+'*'SE
6&26(
B)!$# & 6#+!S#2S
G'"G+
O!$%-/F& *3!$!$# SB

-/M!$+B!$# + '26& )+'J G+!$+'2P-/ = !$# +)7ha
GF+GGE
+
7K3!K,!F+ $B!$+4-/F76' $W
L)?h = !$#
Z0v\,!$& B!$& N' ' & F
GK-O&
,!$+!$&!$+' G+!$+' .7"+!F"hc!$
1
6' $3!$)% G+!$+'2 '(!3!$+'V(JC'SZO# O!$# MG& '
& ' 7,!$& 0h aN v = + = -L,!$+B!$ ,!$& B!$& = JGH
7h7ZQP
G%+' +G' $

>:
!
14.3 Learning diagnostic rules from qualitative

models
# K& D-m1&2+!3!$+?>8R M!$]'5 +*6' ,!$+8& )ZWL ^B!$+?>?h
' ,!$$3!$ +' !$# XB MJ"[ vG,!]"hR,!$ -/7 +*6' +' 6c +*

# h1!$# +* ga - B!$+ FB!L 8^F
= ga B!$+ 7 ^F = QQ$3! ]B!% 8 ^F^ *
# ]
2+"+ +8!$5& Nim1&2+!3!$+?>7R Q-) "hR,!$ !$56' $3!$
G#2>R+.-W!$#23!8"hR,!$a6J -W!$# 7+8N-H& !.+'I!$# 7"hR,!$ = +!%ZO+4

G
2B!$\+'c!$# ]
G#2
>R+86' $3!$\
hc!$# "R u_Y`& !h l G

#2>R+
6' $3!$7
hD+F& *3!$+'K'
GM& !$. >R+ M v 4-/S%' +' 6
6$ = ZO# +#a']!$# 'a'] +*6' ,!$+E& *3!$+' 68!$# %
" >

G#2
>R+-X!$# %" hR,!$ !$K!$# %+'(!$'2P& r
U/ +*6'
W:
# XB
MJ"[ B!$# R 6 h"+O-H+? h"6' $ ' J'
G8 +N!$
!$# F 7+' .
G+ F!$# " 7+'c-O +*6' +' 6J +*]#h1!$# +*
-/
5dLOU/B!$R +6$W:JC'5-HB! = +!E#2%0hJ
G' +
!$]6' $3!$K +*6' ,!$+.& E-/M!$# KB!$+XG[ZQL& ?h &
"hR,!$

-F\$3!$+!$ X ^FF =
^FF
L!$#23!N*3!$5!$# I,!3!$& a-,>R++

+' +3!$F!$I!$# a +*6' ZJ !!$& ' &! = # [ZQ> = !$#23!N-H& !$
+'\!$# +" hR,!$ ' ' !7
Ga +*6'
h + ?h R1+' 6I3!!$# ]>R++

+' +3!$L3!LF!$+FG+'(! =
&!%1 m & +A1 ' [ZO 6D-U!$# D+' +3!$
>& M3!O' %OL >R+& !$+EG+'(!$Y2 v = !$# %' 6(3!$+?>
&!$5-8 + J# > -.G[ZQ]-/ !$# 5
23!!$"> h 3!"!$+ ^*%+
' !a&0 s +'(!J!$ ' & I!$#23!N!$#
23!!$"> h +]-H& !h 8'2?h = +-8!$#

23!!$"K h +#26"3!U!$+ ^* B= +!U+U' ?K
h ZQM B!$?K
h '23!$& $ !$#23!
> + O' DG[ZQ)3!!$+ ^* = + =
GB-/L+!O+#26V
+!O R
# +YB!$+' 6+?> ' >">R+BZ - !$# XB MJ"[ B!$# R 6h
QQ$3!B!) W^F^ = +& ,!$$3!$?'> + JB!$+5+& +!" v
J !E!$# 'I
+Rh
& 7+ M!$# D +3!$+'a-U!$# +EB!$# R 6hN!$"!$#

-8 +*6' +' 6 -H& !$]+' !$# IB!$+)G[ZQa&
"hR,!$ -F

$ 3!$+!$ X^FF = ^FF
= O
Z # 8D G+!$+'2^' WZWM&
!$N+' & D +*6' ,!$+F& E-/ ] m1&2+!3!$+?>8R Y +'2?h = +!L,!3!$
!$# W-/F& *3!$+'F-`!$# !8-^' +' 6)!$G$ +*6' ,!$+W& -/ !$#
$L
M']JGH ! Y2' 6a^^ = ^^
:: [ :
14.3.1 The KARDIO methodology

JC'a!$# XB MJ"[ +*6' ,!$+%"hR,!$ QQ$3!B!) W^F^ = !$# . >++' 6
!hRG)-t1' [ZO 6)+U = !$& +' 6%!$# )& ' ?hR+' 6.& $`,!$& B!$& )-
!$# O 7+'VTJC''(!$$,! = #2[Z 1' [ZO 6O,!3!$U!$# *3!$+'K
GB!CZQ'
!$# ] +*6' ,!$+
' +!$F&!$+'c +B!$?h = ZO+!$# &!KB-/+' 6J!$
!$# 7& ' ?hR+' 6 +' + b># +7J R U-MJ >R+-H++!3!$
!$# "!c-) v *+' +' 6 # [Z !$# ] R > +]ZQ1 = & ,-H]1' [ZO 6]7h

GD&0s+'(!.L>'c B-/$
FZO# 'c +*6' +' 67-H& !$L+' !$# D R > + =
+' L!$# %& .- & ,-Hf1' [ZO 6.+W!R h +?7
h L s +'(!
J !8+%' +
D!$J& 7 +^'(!8 '(!3!$+' 8-Q!$# 7+' 1 ' [Z;E
6]-/K +^'(!D!1 Q *
Q $3! B!7 ^F^ O6& ]!$#23!' N
'(!3!$+'I+L6+? > ' = +!E+L,!% +*3!$8!$N&!$73!$+?" h !$$' GE
-/ !$# +W '(!3!$+'a+'(!$F!$# L' L!$#23!+
G,!O& +!$]-/W!$# L2,!$+ E
& *4!7 3!Q#2' V(CJ ' XB MJ"[ = & ,-HM1 ' [ZO 6MZWW6' $3!$7-/
!$# K IR X
h +F& *3!$+' = ' 5ZWE!$# '5
h +' & B!$+? >
' +' 6F!$RW+'(!$D s +'(!M +*6' ,!$+%' N +B!$+'N&
XJ+& ,!$$3!$F!$# 7' !$+' %+'(!$R & c+' !$# 7
G > !CZQ 2$6$ # =
B! & ' + X!$# W+ SB!$+Q+& +! # [ZO'D+'r
Y +6& ) T? B R
-V!$# E+& +! = '(!$JW 468 6$ = +S6+? > '"+'
Y +6& %
# O+& +! = UL"R h ,!$ = +4G+[2 Z D
K h +!$4G' '(!$*/U
&
=
23!!$"hRW
' a!$# .ZWa h !$# Jh 8+'(!$' ' B!$VM# 8
G#2R > +)- !$# 8"R h ,!$ '

G. +?> a-/ !$# .
G#2R > +O- !$# .G' '(!$ = ZO# +#J+M 2 Z '
+']!$# %R
# % +3!$ /
Z2' !$# E
G#2>R+-P!$# L+& +!O8ZO#
# .6& '(! ." "
' !$!$# E-/& ' B!$+'2^,!3!$L- !$# L
23!!$"h

Y +6& F (B + EB!$+L+& +!

>:
!
F 1 r
*43
FLF 1 Q 4q"8Rq"D 1 uI MRq"D 1 uIPRq"D -BMD -BPLV
I!4q"8EQ 4q"8Rq"D U*3 WVOD
I 1 uIQ 1 uI MRq"D U*3 "D -BM"VOD
I 1 uIQ 1 uIPRq"D U*3 "D -BPLV?
4q"8[
* 43 I!4q"8EQ 4q"8Rq"D U*3 WV
I!4q"8EQ6I!4q"8 3 cOD3 3O3"V?
I!4q"8EQ6I!4q"8 5L 1 8D3 O3"V?
1 uI;
*43 I 1 uIQ 1 uI"Rq"D U*3 "D -B V
I 1 u IQ6I 1 uI 3cOD3 3O3D B V?
I 1 u IQ6I 1 uI 3cOD3 O3D
CcV?
I 1 u IQ6I 1 uI I3| ED D
CcV?
Y +6& F &2+!3!$+?>ER ^-4K+ EB!$+L+& +!
U/ NO-H& ! hRW = / , " ' / , " ' !$.!$# .-/& ' B!$+'2 ,!3!$
-L!$# J!CZQ\
&
pU ! , !*)+ W = ZO# + ' ' !$ !$#

+6#(!$' E-U!$# K

&
AU & W:%# D
G#2>R+E-S
G!$#5
&
E+E E
Z2' aZO+!$#a!$# . +3!$, / ), ' a!$# .
G#2>R+O- !$# .
23!!$"h]ZO+!$#a!$#
+3!$ , ." # M6& '(! ! 0( ' !$4!$# o>!6fU/' 'SE =

XWW'N!$# %
23!!$"ha' N!$# %
&
LM!$L!$#23!O!$# >!6%+ +
G

hNAm1&2+!3!$+?>I>& = $3!$# !$#2'am1&2'(!$+!3!$+?>aU/'1& +jWS'
L
6+?>Q' v!Q-/ L#2[Z = vR!$' +'2` '(!E
Y +6& L
!$+'a- !$# 8+& +!W# F v!L+Om1& +?>'(!M!$!$# 8 R & '
!$# 5& !$+' !$#23!]3!",!"' JG' '(!"+' !$# +& +!7+D-H& !h
3!7 ' h\+' 6N'(!D+'\!$+Z LM!$]!$#23!!$# a+6#(!$' D-)!$# a
&

'(!$"!$# J
">
J
G#2>R+-E!$# J"hR,!$a #1& 7!$# J#2[Z
1' [ZO 6 +B!$?h *3!$!$# J,!3!$ U/ +*6' +WF-L!$# +& +!!$c!$#

">
%
G#2>R+-X!$# %"hR,!$a
U# -S!$# F-HB!$L+'5!$# 2 Z 6& D'I
GK +?>
h5B!!$+' 6]!$# F-/& ' E
!$+'2,!3!$X-!$# U+& +! G' '(!$ ' %!$# '8+F& *3!$+' 6W!$# U
G#2R > +
-V!$# )+& +!c2
Y S v = !$8 +?> M!$# M!$# +-HB!Q+'D!$# 2Z 6& = ZQ
' K!$L L+ +' &! !$# R 1-/V
Y +6& ) E+'(!$L 46)+'(!$ B!$
' N!$# 'J7 !$# f1 m & ,!$+'
$ / , ." ! , / , , *! )+ , / , !
:: [ : >
R7u 5L 1 r 1 9:43
FLF 1 Q 4q"8Rq"D 1 uI MRq"D 1 uIPRq"D -BMD -BPLV
F 1 Ì"B]O43/
"LFL" 43 0 4 3"
LF F 1 Q6I!4q"8 3 cODqI 1 uI 3cODqI 1 uI 3cOD BD B V? _
FLF 1 Q6I!4q"8 5L 1 8DqI 1 uI 3cODqI 1 uI 3cOD
CcOD
CcV? v 1 8 I!4q"8
FLF 1 Q6I!4q"8 3cODqI 1 uI I3| EDqI 1 uI 3cOD
CcOD B V? 1 uI M[I3|
FLF 1 Q6I!4q"8 3cODqI 1 uI 3cODqI 1 uI I3| ED BD
CcV? 1 uIPwI3|
Y +6& F
R R#2[Z< '(!3!$+'J- K+ EB!$+L+& +!
# 46K+'(!$ B!$ZQ& ]!$# 'J ?h
&

JC'J!$# +M Z F#2>F& J!$# 467+'(!$ B!$M!$7 !$# 9m1&2+!3!$+?>
= Q
+F& *3!$+'V7Y2Ks+' h\K!$# K' = +!D+6#(!K
G]' $"h\!$
+ '(!FG+*V+'(!$ B!$W-/Q!$# % +3!$+'7 7+']3!#2' =
ZWM ' %+' XB MJ"[F
# L!-X +*6' +Q'N
GI>R+BZQJF*+[Z23!$+'7!`=JC'"!$# +
= !$# O
" >
O-/3!$& Q!$# M3!!$+
&!$S' D!$# M +*6' +*
U/,!3!$

-Q!$# 7"hR,!$kWL+%!$# * 4'(!$+8+'I!$# #2[Z_ '(!3!$+' '

GK' +
v )-/%" G+!$+'2X' +' 6""hR,!$a E+*6' GE
!$+F& )-/)!$# F+& +!E& ' L!$# F+' 6.-H& !L& !$+'IF6+?>'I+'
Y +6& K F
JC' & L v = !$N# '(!$" hI+' !$# D#2[Z '(!3!$+' E
G' U' O +*6' ,!$+Q& (PM[ZQ> = !$# +4+UL' m1& ' )-`!$# O+' 6
-H& ! & !$+'.' %' 8' !
G !$& U+'%6' $ JC' = ' U2,!$+& *
' +-/,!M+!$- +'a +^'(!)ZWhR = ' B!E-4"hR!$M7h
-H& !M' 7

G7&
h +^'(!8-H& !$]JC' & # = +*6' ,!$+D& .+' &
-/ 5#2[Z '(!3!$+' 7h
GN&
,!'(!$+*?h # ,!$D!$#2'\!$#

#2[Z '(!3!$+' +!$- QQ$3!B!) W^F^ = F>' !$# "+6+'2
IR X^FF
fJC'I +!$+'
= +- $! # K+' & 5& EB!$?h
*+-jh]^!$$+' +' 6K v = !$# ha%6+?hDm1& +?>'(!!$D!$# %
R P3!!$# %& ,-H.>
P >R+' 6E*
G$3!$.!$# Q+ U+& +! v = B! & ' [Z\& 7+
)
!$# 2XB MJ"[ B!cB)'K3!!$! !$) >K'F vG,! "hR,!$ ZO+!$# &!
>:
!
&

F 5 ///2/2,, 5$ %G !$ $ F #% " !&*( ,/&!&*() " !&*( ,/&!&*()
&

F 5 5 # % " !&*( 55 ,/P

G;) " !&*( ?? ,/&!&*( )
&

F 5 // 2/2/ ,, $ % !$%&?5 $ $ 5
RF # % " !&*( 5 ,/&!&*() " !&*( ? ,/P

G;)
&

F 5 # % " !&*( 5 ,/P

G;) " !&*( ? ,/P

G;)
Y +6& F F E+*6' ,!$+E& W-/OD+ EB!$+L+& +!
5R P-H+ = & .!$7!$# .F

+'23!$+*P v+!h]- !$# 8
SE
-4 +*6' +' 6DF& !$+ L +*8#h1!$# +* Q' m1& '(!$?h =
m1&2+!3!$+?>R `-^!$# )B!$+`B!$+?>R+!hK-V!$# M# ,!SZWQ' ,!$& B!$

> h #2' a *
g B!$+ D^F # +NR E*3!$]!$# I-/& ' B!$+'2E,!3!$I-
G' '(!$O- !$# %B!$+^"R h ,!$ -X!$# L# ,!!$DB!$R +6$
U 5L d W = + = %-U!$# KB!$+ B!$+?R > +!Jh -S!$# K# ,!9B #2[Z
'(!3!$+'8ZWX!$# 'F6' $3!$F
. h +F& *3!$+' 6O( #R h +6+?)h GGE
+
)' ] +?F h +'(!$,!$+' 68-H& !$Q-V!$# E# ,!WB!$+G"R h ,!$HU GE
#1 h !$# +*W =
!+' +' 6a v ++!.*3!$+' # + %
GB!CZQ' #1 h !$# +*8'
5L
d a g B!$+ %B!) W^F u) *
B '\ v G,!D"R h ,!$ !$#23!D& F!$# ] +?>
& ,-H 1 ' [ZO 67ZWF!$# ' > G H R
> $ %B!) W^F 5# ]& GE
-H;1 ' [ZO 6QZW4 D
F h & +' 6E G+!$+'2(' +' 6)"R h ,!$
!$D
!+'N
G!$#N +*6' ,!$+L' a +B!$+'N& a
g B!$+ D^F
CJ '7-HB! = a
g B!$+ OZQ'(!W-/& ,!$# S
7 h &!$73!$+' 6L!$# M"R h '(!$# +W-P.
R )-/ & ,-H 1 ' [ZO 6 a
g B!$+ D^F = a

g B!$+ D^FF > b # +
,!$$+6#(!-/,ZW\ +3!$+'c-) G+!$+'2S (# D&0 s \-/
!$# D +' -Q& ,-HO1 ' [ZO 6+'(!$N +*6' ,!$+F& = +!EZW.+'SE
&0 s +'(!-/K!$# a#2 K! -E' +' 6I R Za
g B!$+ N!$#1&
> G7!$# )G+*` & G)' +' 6."R h ,!$ &g6B a
g B!$+ D^F =
0
ZO# +#c& %!$# + ]-Q!$$' ,-/+' 6"!$# D
-W' +' 6]*3!$+'
!$7K G+!$+'2G-/a=
B)ZQ.#2 >8'J++']!$# %
GR = !$# +O+
+W3!S!$# E)-THKJGLI< = ZO# +#]+Q86' $G & GE"hR,!$ -/Q' +' 6
*3!$+' = + = r
' JGH " hR,!$acJC'D +!$+' = 'D
,!$$B!$+'F# +$#h8ZW
+'(!$R & a+'(!$K!$# .# ,!MR = ZO# +#N-H++!3!$Q!$# %' +' 6D R
ga B!$+ D ^FF
HPB!"& "' & a!$# +B!$+'?
h +& ,!$$3!$+' 65# [Z0!$# a!\-L"hR'SE
!$# ++' 65J R U-/ & ,-Hk1' [ZO 6"'
G7-/F& *3!$
' JGH
! ` Q' + 6(+' $! # N+ "+& +!D-MY +6& #
!6B!F +3!$7+
w "w \U~ { \ }~ x 0[}~ x 0 S} wz 0\:} wz 0\ W%' !$#
!$$+' +' 6 v NI-%!$# 5-/ 6+?
> '<+' Y +6& R_# I
2E
:: [ : 1

6& ' 1' [ZO 6 ' +,!$J-F!$# c +3!$ 0 { \\ y U
\ { \ y } 4x \ {z0y W

' 0 x 0U \ { \ y } 4x \ {z0y } wz 0\W:cY2 O v G+-jhR+' 6)6(R'
+6(1
G#2>R+ -`!$# +& +!U' F!$#
216& ' O1 ' [ZO 6 +
G

G> = aYT[MJGI H ZW)
E!$D+' & L!$# %B!MR
# O!$$+' +' 6L v UG+-jKh !$# -/& ' B!$+'2+!.
h ZQM1 m & +-/_&
>R+ = ZO# +D!$# 7
21 6& ' 1 ' [ZO 6"G+[2 Z 8!$# -/& ' B!$+'2+!5 h -
!$# G' '(!$43!4#2' V # R R!$E
G+' & KZQ& KG+-j. h ZO# +#
G' '(!$7# &
Ga' ' B!$>' +' ZO#23!ZW h CJ ' !$# ZQ =
ZO# ' +' & +' 67R V-/ !$# . +
G#2R > + = ZQF8B!$&2?] h E
+6' +' 6N] R > +F-/ 2 Z ,!. +' + 8# +E-/F& *3!$+'J> L!$#23!.
ZO+ %$' 6%- +6'J' JR +' 6F
O+O'2
L!$K!$# 8 + E
3!$+'5-JGH >!$# ' + 1 m & B +& +'5-S!$# KG!$'(!$+* +3!$+' M-
JGH +']1m &2+!3!$+?> E' +' 6D'a
GL-/& ' N+'6Q
Q $3! ^^ *
14.3.2 Learning temporal diagnostic rules
# XB
MJ"[ B!$# R 6hI +
G\+'c!$# " >R+& KB!$+' '
G
+>!$?!$# a 7+' a
G+ a!$# c 7+'<-K +*6' +' 6 +*
#h1!$# +*8-/
5dLnU/B!$R +6$WEZO# N+!FZWD+6+'2?h
+V
JC' -HB! = +!7#2"0h
G'> + !$ 6' $3!$J +*6' ,!$+
& K-/K!$# aB!$+WG[ZQ& ?h\&
"hR,!$ -LI$3!$+!$ X

^FF = ^FF
!$#23!L*3!$8!$# K,!3!$& %-S+' +3!$)!$"!$# K,!3!$%-S"hRGE
!$ G' '(!$ = + = !$L +*6' Cb># + XO +
G4!$# $3!$+!$

G[ZQ&
" hR,!$
+Rh = Y2' 6 ^^ G6+?>F) B!+7 +!$+'V
JC'\!$# ]-/[ZO+' 6 = ZQ Z2,!6+?>a5 +6,!-M!$# N*3!!$K +!$+'V bc
!$# '
+RI h & 7+ K!$# 7 +3!$+'5-W!$# XB MJ"[ B!$# R 6h

!$7!$# 8G[ZQE&
"R *
h ,!$ ' F
h X ^FF = ZO# +# +6' M+GGE
!'(!8!$+ CE G' '(!KGB!$pY +'2?h = ZQ" +
G7!$# -/F& *3!$+'I-
!$# 8
-4' +' 6D!$G$P +*6' ,!$+%& )+'N!$# .-/$BZQ] -
JGH
Y ' 6N^^
2
# SG[ZQ &
"R h ,!$ -R!$# SR h ' B! $3!$+!$ ' +,!$ - > $1& ' +!$ =
+' & +' 6E'K$8 h -`*X2' = 'K$8 h ,ZO+!$# +' 6E6& *3!$ = 'F E
!$+V+'(!$6$3!$+'N& ' +! = D
23!!$"] h 2a ' JD
23!!$"N h '(!$P& ' +!S#
,!$& B!$& F- !$# .G[ZQE&
"R h ,!$ +M+& ,!$$3!$N+'i
Y +6& D ^ E& +' 6

+! = !$# %ZQN R h 8- !$# .G[ZQ)&
"R h ,!$ ' +,!$)- !$# 8++'
% 0! # 0! #
#2 0

'
CJ 'c +!$+' = !$# D
23!!$"5 h 7h
#!*%& !*&

G

&

+
' J
6

,
$
!
+

N

# 7
"
h R ,
$
!

+ .

%
' Z 2
6
&

+
^
'(!$?h
-/#J++'" #2.
] h 6& ' aG$3!$W!$7'
>:
!
Solar Panels Array Array Switching

Regulator
Payload
Electrical
Integration Buses
Unit
Batteries
Battery Control
Unit
Y +6& K ^=QQR7 +*6$ - $3!$+!$)G[ZQM&

"hR,!$a
E& +' 6
23!!$" hc#26+' 6 U/ ,!$+W = ,!$+"' ' +!$+' +' 6 =
!$# E+W' ,!'(!& ' +6#(! = F!$# E*Q2' W$h7 >R+ W!$# EG[ZQ
' -/ !$# O$3!$+!$ CJ '+ = !$# O+ ' %& ' +6#(! = %G[ZQU+4& SE
+a-/ !$# F
23!!$" hJ2 = ZO# +#5+M!$# '5#265 & +' 6" ,!$+
D7+'(!+'!$# L#26+' 6r>!6L& '(!$+`!$# L' vR!M+ = !$# L
23!!$"h"+
X
!$+1 EC#26" & +' 68,!$+=[E+'2?h = !$# )
23!!$"h2' Q!$

G%' +!$+' U/+ = !$D +#268VB!$++! hRWQ+'N O!$D7+'(!+'

23!!$"h]# !$#V(J !M# & ]!$# 'a
G%#26V
# F#26+' 67' +#26+' 6-4
23!!$+M+M'(!$J
hN!$# 8
23!"E

!$" h"'(!$^& ' +! = ZO# +#N' 4' N- Q#26+' ]
6 U 4 5WQ' 4' N- E+G E

#26+' 6nU 4 fWQ+6'2WZO# ' +*3!$4# 4 >+6'2V+!$+66

h7+!$# W8
23!!$"h>GE !$G$3!$& E+6'2 = .
23!!$"h7>GEN>!6)+6E
'2%N
h !$7' -/ 6& ' G$3!$ # 4
+6'2E+
6' $3!$
h +!$# FJ
23!!$"h & ' GEN>!67+6'2 =
'c v+!$+' 6J+

h]!$7' "-/ !$# %6& ' V
# N,ZO+!$# { 5 5 w \ ; '(!$K
23!!$"h #26+' 6 ' \+K

& +' 6E#26+' 6 TJ G + '(!?h%G' = M-H& ! ZO+R+Q+'8
23!!$"h
- +! +
#26+' 6 R++*?h = !$# J,ZO+!$# yx{( {1; F # ,!"EC&!$!$# a
23!!$"h\!$
' +!$+' +' 6%' 7'7+ '(!2# ,!"EC+& +!U+'>?>R+' 6L!$# +4,ZO+!$#ZO+
& !M+']O- G[ZQO-X!$# %
23!!$"hN2`
gJ'h%G' '(!$P-R!$# UG[ZQ &
"hR,!$ 4m1& + G%ZO+!$#%'
' 8!$# Q' +' 6 U!$$' +!!$86& *?hL!$M!$# Q6& ' V R'
+' 6M+' & %
& *>!6 = G[ZQM& ?hN-/ *O2' )' J
23!"E
:: [ :
!$"hA>!6 X ^FF

=
^FF
G +D!$# DXB MJ"[ B!$# R 6h
!$D+' & % +*6' ,!$+E& !$#23!O+'-/W-H& !$W-/ !$# %' M +' 6
X Z ,!' ,!$& B!$? m1&2+!3!$+?>"R W-M!$# N$3!$+!$"G[ZQ
2
&
"hR,!$au<M+' 6 # & +,!$+a1' [ZO 6]
G&!FG' '(!K
G#2>R+F
G+
.G' '(!M-H+& ZQ8+F& *3!$N!$76' $3!$FB!E-4 v E
TB) O& !X- G' '(!X-H+& P' X +' 6 #2' 6Vc2
Y [Z;E
+' 68.+F& *3!$D-H+& = !$# )' Q +' 6UZQE& ]W3!!$+
&!$Q'
!$# 7 +*6' +kUb-H& ! W%.!$# 7*J# " v .ZQ"
h
& +' 6%!$# O G+!$+'2' +' 6L" hR,!$ B Q* ]' 6
LM+
B!!%
^F =
0
>+*'(!OC
r - B
ga+#2 1+4 ^F = !$
!+'] +*6' ,!$+E&
J !D!$& ' &! = # [ZQ > = !$#23!]-H& !$K+' !$# +D"hR,!$ ' ' !
G
+*6' %
hL+ ?h)R1+' 63!P!$# (>R++
+' +3!$P3! !$+ G+'(! =

&!S m1& +Mf
1' [ZO 6O-^!$# O+' +3!$C
>& S3!U' O4 >R+&
!$+KG+'(!$ Y2% v = !$# ' 6(3!$+?>&!$D-ON+ K# -
G[ZQ-/
!$# a
23!!$"h 3!!$+ ^*)+D' !7&0s+'(!7!$ ' & N!$#23!
!$# 8
23!!$"ha+O-H& !h `'2?h = +- !$# .
23!!$"hNZWE' +!$+' J3!M!$+

^* B= +!Q+Q' ? h'23!$& $`!$#23!W+!Q >R+ W' FG[ZQO3!Q!$+ ^* = + =
GB-/
+!E+)#26V,
[)!$# )-H& !$)-4!$# +M! hRGK'5R& )+'J!$# F2$3!$
G' '(!W-P!$# E$h,ZO+!$# +' 6F6& *3!$Q' "+'!$# EG$3!$+' U-/
6& ' a'(!$
R& # -H& !$ = ZO# +#5' ' ?ha
G8 B!$B!$I3-b!$E7,!+'a!$+. *h =
& 5' !E
GK +*6' JZO+!$# !$# F& E+' & I
h X ^FF = & *
!$7!$# 8 G+!$+'2PB!$& V)# F-H& !$)8*3!$+'2?h7 G' '(!%'
!$+a+' !$# ' !$#23!" -H& !"3!7!$+ ^*E+7&

h?'?G$3!$+'
K' aY2' 6
^FF*G!$ K+' GE
L!$# K-H+& K-' !$# %G' '(!83!.+E!$+

^^ = ^^ ^ vR!$' a!$#
m1&2+!3!$?+ >MR ^- X
G$3!$O!$G$2'(!$Q' 7!$# '] +D!$# DXB MJ"[ B!$# R 6h
!$D+' & L!$G$V +*6' ,!$+E&
JC'N!$# E!$G$tm1&2+!3!$+?>)R = #aG' '(!O+ +
Ga
h

% +3!$ 4 . 4ty \@*"U \ { \ y } W = ZO# +#6+?>U!$# O,!3!$O- 4 . 4ty \@*
3!% 2,!$+& *M!$+.G+'(!$
[%# K*3!$+'J
GB!CZQ' & +?>K!$+

G+'(!$"+]6+?>'>
h?!$# 5 +3!$ 5 yy U ^*N} W = ZO# +#> ' !$]!$#23!
!$+?G+'(! -/[ZO ^* # <R ] +' & !$# > +3!$
. w@5:5wJ4
{ 5y UH { 5y } ^*W = !$#23!%,!3!$E!$# K++'5 #26 U/ ,!$+
#26+' 6 = ,!$+ = ' +!$+' +' 6 = + WW3!!$+ ^*
# %+F& *3!$S
2a'"!$# +R G!O'N+' +!$+*`,!3!$L- !$# L"hRGE
!$ ' N.G' '(!Q!$#23!W+W& 7-H& !hcJ !Q!$# ']>Q-/ ,!3!$
>:
!
!$J,!3!$" +' 6a!$a!$$' +!$+'& = & '(!$+U!$# "hR,!$ # Ka,!E
),!3!$MZO# E!$# E+S' F#2' 6E- G' '(!W,!3!$Q!$# & 6#">$
!$$' +!$+' CJC'7#7!$$' +!$+'nUH3!S#7!$+,!$W !$# ),!3!$S-^!$# M'SE
L8 VMY2M#5G' '(!)-H& ! = 2$3!$rJGH ?!NZW

Z2' = !$MZO# +A 0
# d,[H g ZW4 + Y2' 6N^^ R+'8 !$)
!$# 8+F& *3!$a23!7'
!+'N!$G$ +*6' ,!$+%& *Y2M+& ,!$$E
!$+' ZQFZO+X' ?hJ' + E!$# JGH >-/F& *3!$+'J-U!$# F!J-Q' +' 6
!$G$V +*6' ,!$+E& W-/
23!!$"h]-H& !$
JC' !$# ]JGH ! -E' +' 6 !$G$W +*6' ,!$+]& K-/K
23!!$"h

-H& !$ = !$# !6B!N*3!$+' { x \U ^*W7,!3!$]!$#23!"!$# 5ZWa
23!!$"h
-H& !D3!K!$+"G+'(! ^* Y2K
v = !$# ]-HB!a { x \UH ;; W8,!3!$K!$#23!
!$# 8+M
23!!$"hN-H& !M3!M!$+%G+'(!) ; ; W# 8
216& ' i1' [ZO 6
'(!+' !$# L-/[ZO+' 68+'-/73!$+'V
O +' 6>- ^ ' Y3!># !$+YG+'(! B +3!$
5y654 *GU(} WE,!3!$.!$#23!%!$# ' 5y654 *W3!%!$+ F#2%!$#
>& =Y +6& F ; 6+?>W!$# L' O +' 6W-/ ^F'
3!!$+EG+'(!M ;;
# F +3!$. w@5:5wJ4 {

5 y UH { 5y } ^*W!$#23!L,!3!$)!$# F++'
#23! !$+ ^* # Q-HB! . w@5:5wJ4 { 5y U y:54x"5 \ wNy } ;; W ,!3!$
!$#23!]3!!$+aG+'(!" ;; !$# J$3!$+!$NG[ZQ"&
"hR,!$ ++' !$#
,!$+OU/#26+' 6XWQ #2
# U*3!$+'E

GB!CZQ'8& +?>S!$+ G+'(!$P6+?>'%
hE!$# U +3!$

5 yy U ^*N} W = ZO# +#J ' !$O!$#23!O!$+LG+'(! M-/[ZO ^*CoY2
v = !$# a-HB! 5 yy UH ;; } ; WF,!3!$7!$#23!7!$+NG+'(!] ;
+ +*3!$?hK-/[ZOW!$+EG+'(!M ;;
B !hR + & K+' & 5-/ !$#

G>K-/F& *3!$pJGH >!JZQ&
#2>%!$# L-/[ZO+' 68-/a
{ x \U ^*W=
5y654 * U * } ^*W } 5 y654 * U * } ^*W }??
5 yy U } ^*W =
5y6 54 # UU } W } 5 y654 # UU } W }??
5 yy U } W =

54 U } W } 5 y654 U } W }??
5y6

:: [ : 8
. ) #

. ) #

. ) # !

. ) # !

. ) # !
. ) #
. ) # !

.
) # !
.
) # !
.
# !
.
!* ) # !

.
/0 !
.

!* ) # !
.

/0

, ." ! 0(
.
. ) #

.
) # !
.
/0 !

.

/0 ,

.
/0 !

. ! 0 & , & !

#! & , & !
.
.
#! % &
, ." . ! "
#! & & , & !
.
.
#! & % &

.#! & ! .&( !

. #! & !

,. / ! 0( !

Y +6& L ; R' S +' 64-/4!$# M$3!$+!$G[ZQS&

"hR,!$ 3!U!$+
G+'(!M ;;
>:
!
Y2' 6 ^^PK +]d,[H g !$K'" +*6' ,!$+)& Q-/WE
2$3!$ ' 8G$3!$P-H& !$CPMW)3!!$!$8!$)'. +*6' ,!$+U&
-/SF& !$+ -H& !$cY2S) B!+ = ZQEB-/S!$# ) Q!$rY2' 6 ^^ =

^^
14.4 Discussion
<M'(!$+ ' [Z = & ,-/& S +3!$+' M-S7# +' F' +' 6"& c3!!$+
&!$ E
>& 8' MJC'J!$# +)#2!$ = !$# F E ZQJ +3!$+' M-4+' & E
!$+?>N6+" 6$+' 6JZQa&!$+' V bca +
G\!$# a
-
' +' 65& K-/D +B!$+' 65!$# N' 2"h\,!$& B!$& J-) !$+' = !$#
B!$?+ >R+! h]& M' ]!$# %
- +' & E

- ' +' 6K,!$& B!$& #
+' 6]!$G$ +*6' ,!$+K& L-/ ]m1&2+!3!$+?>KR B)!$# & 6#IZQ
-/R& 'J!$# %-/F& *3!$+'N- !$# .!1EIJGH
M' J!$# 8 E
>'(!
216& ' ]1' [ZO 6 = ZQL'],!3!$E!$#23!W!$# L# +>N& !$O
' & $6+' 6
JC' !$# Y +3!$+' \ +
G +' !$# + #2!$ = !$# JGH "hR,!$

d,[H g ZW)& V5 JC'a!$# . >R+& M#2!$ = C! ZQ7 EC+-/L +3!$+'
;- HKJGLI< I' Ia YT[MJGH ZQ '(!$ = '2? h = ' +' 6] + &
-/%? hI +*6' +%-W# & 73!$+D + = ' c' +' 6N& %-/ Z2' +!$
'(!4#K +6'V # O +3!$+'8-àYT[MJGH"!$L' +' 6Im1&2+!3!$+?>
R W- 0hR'2+E"hR,!$OZW)D +
GV
# J
G>a +3!$+' K]]-M!$# Z2,!73!!$!$D-IJGH !$E
ZW A1' [ZO 6N"hR'(!$# +D-/ EC+-/D23! [E' ]# & \
GNZW
!$#23!8!$# 7! 1K7G[+ Z2"+' ,!' F-6' $S!1 = 6 = +'SE
& +' 6!$G$ +*6' ,!$+%& M-/) >R+F +
G

h D!$G$
m1&2+!3!$+?>OR = +' & +' 68& S-/Q +B!$+'7-t>+& Q G,!$+S-
# +.-/ !$# +F,!$& B!$& = ' ' +' 6 +S +*6' ,!$+7&

ha!1+' 67+'(!$"& '(!L +
216& ' p1' [ZO 6 Q' m1& '(!$?h =
!$# +3!$+' ) +
G +' !$# +L
GR
J+& ,!$$3!$.!$# DG!$'(!$+*
- JGH
-/ EC+-/E +3!$+'
Bibliography
B) ' nQQ&0hR' R6# D^^

.

B) = P.1' aQQ&0hR' R6# = g qU ^^ W: B>2$3!$+?>O,!$& 0hD-V *GE
3!$?+ >.' a0
hR'2+? h" & ,!
%*' 6&26L
+*O+'N' !)' +' 6
JC' !
*! #!# !* . 0
%&/ " %$

!*% !* % # !* # RB)

G ' = R!$*' V

QW+'I^^
QW+' = g =U ^^W: CvG+'(!$L+' ' 'SEC' !$' +.' +' 6 JC'
" % !*% !* #!# !* # = 26XF ; F!

ga6('4X%&-/7' ' = 'igJ3!$ = oB8
QQ6(2' ' idL+2'2"^FF*

QQ6(2' = YQG' dL+2'2 = B8CU ^FFW:2BV1' [ZO 68+'(!$' +?>KSE
(#K!$%' !S+' & B!$+'V JC' % !
" % !*% !* #
%
!*
#

= 26% ; RKga6(' X%&-/7' ' = '7gJE
oB

!$ = 8
QQ6(2' ' idL+2'2"^^ ;

QQ6(2' = YQ' ]dL+2'2 = B8tU ^^ ; W:TdL& + +' 6.+' & B!$+'ZO+!$#" E
7+'"!$# +JC' XLR $3!$ =
' iga+#21+ = % = +!$ =
` #
* :

. " (# % ! # R= >& (JJJ = 26
^Rga6('4X%&-/7' ' = 'igJ3!$ = oB8

QQ6(2' DB!) V^F^*

QQ6(2' = YQ = dL+2'2 = B8 = ' X' = G
cU ^F^W: E & B!$+' +'
!$SCE [ZO'N+' & B!$+?>E' +' 6 CJC'
! " % !*% !* # !#

!* # = 26 ga6(' % X &-/7' ' = 'pgJ3!$ =

oB8
QQR 'a' nga+#21+4^^

QQR '
= O' ga+#21+ = %,U ^^W: L3!EC +?>'>' ,!$& B!$+?>

+' & B!$+'+'AB

E XB<B!$# R7' vG+'(!$KJC' !
&
" % !*% !*% # !*%!0! D% !* . " (#B= 26
; R0J
Q &!$ RR+B!h 4 = HP2B)*+!$ = oB8
QQ$3!a^F^*
QQ$3! = J U ^F^W:(gJ# +' L' +' 6 TJC'ndL+# R?h = XK = +!$ = /
%& # ! , ! 4'1& 4 = LMBZ `
QQ$3!a^^ ;
QQ$3! = JfU ^^ ; W: ! ! ! - % !* . " (#
B) +'SENbch = bc1+' 6#2 = 3 ' a +!$+'V
QQ$3!a^^
QQ$3! = J ;U ^^W: &2+!3!$+?>DR +' 6 .' +' 6J' '(!$ 6JC'
! " % !*% !*% # !* . " (#

4$6&
QQ$3!a^^
QQ$3! = JTU ^^ W:CB) +3!$+' Q- 7# +' E' +' 6 X[ZW 21' [Z;E
6L"hR'(!$# +oJC' !
" % !*% !* % # !* % $
!* !* %/ " " B= 26% ; &
GR FRXh
QQ$3!a^^*
QQ$3! = JcU ^^W:IgJ# +' 8' +' 67' im1&2+!3!$+?>%' +' 6 $
# 4X G

QQ$3!7' idL

G' + N^^*
QQ$3! = J ' 7dL
G' + = g U ^^W:rJC' & B!$+?>D' +' 6N + !$
!
& " % !*%
6$ ' ,!$& B!$+' ' 6>+[Z23!$+'V;JC'
!* # !# !* %&/ ! ! - = 26
^ ^R;QQ =

R>' +*
QQ$3!B!) ^^F^*

QQ$3! = J = ga B!$+ = J = ' H >R$ = L.;U ^F^W: "! ./ &
! #" %& / !*) &0( % !* " og6JC 4 =
#
WF
+ 6 = g6B8
QQ$3!B!) ^^^
QQ$3! = J = ga& 66B!$' = G = ' Z@S = B8IU ^^W:eHP' +' 6um1&2 E
+!3!$+?
> NR -L0hR'2+a"hR,!$JC'
! " % !*%

!* #!# !* #
= 2

6
Q

F

F F
X
g
a

(
6
' X
%

& /
- 7

' '

=
'iJ g 3!$ = o8B

QQ$3!B!) ^^^

QQ$3! = J = ga& 66B!$' = G = ' n@S = B8cU ^^ W:*HP' +' 6am1&2+!E
!$+?
> %R W- 0hR'2+L"hR,!$JC'iga& 66B!$' = G = +!$ = %&/
! ! -
= 2

6
( & R 0
B )

+

4

= H
P

'

V
'
QQ$ +P' Q*J^^ ;

QQ$ + = XO' Q* = X9U ^^ ; W: HP' +' 6 -/ +G,-/B!N23!
JC' QQ$ + = X ' XL' +6 = XK = +!$ = # $
0!* %& !

B= 26 ;
& R XL&(ZQ = QQ,!$'V

QQ+7']B!) V^F

QQ+7' = H4 = Y2+ 7' = P. = [E# ' = %B8 = ' 1!$' = ) U ^FX W:

!* %&

!* #
cb ,ZQ,!$# = QQ'(!

QQ& 'RN' ' +U^^

QQ& 'R = )1' ' + = g U ^^W:B)'+'>,!$+6(3!$+'K-G' + E !$$'(!
*3!$+'2' !W' +' 6%6+!$# JC' !
" % !*%
!* #!# !* # = 2

6
Q

F ^

^Xga6(' X%&-/7' ' =

'igJ3!$ = oB8
QQ"h5^^ ;
QQ"h Y (U ^^ ; :W
= Q & "h5>&23!$+' +'I& +?>D23!
2 ! %&
!*) &0( # = F^R
QQ& '(!$+' D^FF*
QQ& '(!$+' = b o U
^FFW: dL' $+ &
& !$+'c' c+!$. +3!$+'
!$D+' & B!$+'a' N & ' 2' h . " (#B=
U W: ^G

QQ& '(!$+' .' nLM+
B!!L^^
QQ& '(!$+' = b ' rLM+
B!! = L0U ^^ W:B -/& ,!$# X2+'%- +!!$+' 6
& -/ ++S
' E !$L+' & B!$+'V # = F U W:
0F
W'SE ' M' & +' *' ^^ *

W'SE ' = %P' & +' *' = U ^^W:rB*>+ +' 6N +!-HMZO# '
!
"# " % !*% !

' +' 6]& ?+ >!$# +AJC'

!*% # *! . " (# ga6(' X%&-/7' ' = 'AgJ3!$ =
B
o 8
W
G' ^F^ *

W
G' = tU ^F^W: CJ '(!$R & B!$+'V $ +6U-/Q7# +' )' +' 6
. " (#B=

; U H W:H0^

Q,!$' + 5^^ ;

Q,!$' + = Q)(U ^^ ; W: 4,!$+73!$+' 67
2
++!$+5B_& +*X!a+' 7E
# +' 5' +' 6 JC' !
/ !# !* # !*
% .
" (# B= 26%
&G ^ 4+!$7' = HP' 'V
Q,!$' + 5^^

Q,!$' + = Q), U ^^W: % ! , , #

4# ?!$# + = Y`& !h8- 4B!$+ 4' 6+' +' 6%' Q &!$ R +' =
<M' +?>+! h]c
- H &
$'2 = H &
$'2 = R>' +*(JC' R>' +*'V
Q,!$' + N' 6QQ$3!a^^

Q,!$' + = Q)S' ZQQ$3! = JIU ^^W:e[E' ,!$+73!$+' 6I
2
++!$+F+'
!$ & ' +' 6 JC' XLR $3!$ = = +!$ = !
/ !#
% !*

!* !*

= 26% H G[ R +' 6 = QQ+'V
Q,!$' + ]B!M V^F

Q,!$' + = Q) = XL' ' R ' = J = ' p
QQ$3! = JC U
^F W:;
B SJ RTBMLMF
B 1' [ZO 6N++!3!$+'c!$RQ-/K # +,!$+3!$\& JC'ZQQ$3! = J
' H >R$ = L. = +!$ = !

#
= 26H
R+67 4 = b>+[Z = <DXK
Q*J^
F*

Q* = XKU ^
FW:OLM6(3!$+'cL-H+& AJC' d%*+ = P.X' ga+'R =
= +!$ =

! %& ! , 0

B= 26 ^ R 4'1& 4 = LMBZ
`
Q*"' nQQ,ZQ4^^

Q* = X ' 7QQ,ZQ = %=U
^^
W: O& K+' & B!$+' ZO+!$# ;L R R
'(!8+ >'(!$JC' % !
/ !# !*

!* !*

= 26% H G[ R +' 6 = QQ +'V
Q*"' nLM+
B!!L^F

Q* = X4' ZLM+

B!! = L*U ^F W: JC' & B!$+'\+'\' +"h 7+' JC'
QQ$3! = JS ' ZH >R$ = L. = +!$ =

!
# =
26%H ; R+67 4 = b>+[Z = <DXK
Q*"' nLM+

B!!L^F^*
Q* = X' LM+
B!! = LfU ^F^W: # ;L +' & B!$+'>6+!$# a
# = U XW: H F

Q+$]^F^*

Q+$ = MU ^F^W:HP' +' 6 m1&2+!3!$+?>NR D-/ v a
G E
#2
>R+& JC' !
& " % !*%
!* #!# !* /

1!'-/ = W+-/' +*
L>R+I^F

L>R+ = .
P
M 'R1+' 6)-/
U ^F W: & '1
2*' D2+SEC2+'.23!
!*. =
* (
& (
E XLM' 6QQ[ZO' ^F

E XL = ' 7QQ[ZO' = =U ^F XW:B m1&2+!3!$+?>F #hR+.
2c'
. " ( # *

'2& '

B= &0F
EM!.^^
E " #!* !* %&/
M! = H4,U ^^ W:
! ! - % ! # (B) + 4 = HP' 'V

EM!.^^*

E M! = H4fU ^^W: JC' & B!$+?> 6+J 6$+' 6 ' <+'(!$+[Z2
+>"hPX# ' +GG,! = X%3!$# +*<M' +?>+!$+!oHP&0>' = HP&0>' =
QQ6+& a
EM!)' nQQ&0hR' R6# D^F^*

E M! = H41' OQQ&0hR' R6# = g
U ^F^W:GX[ZW U-/+' ?h8' !"E

' uJC' !
" % !*% ! !* # !*
% $
. " ( #B= 26,F ^0F ta g 6(' % X &-/7' ' = ' J g 3!$ =
oB 8
EM!)' nQQ&0hR' R6# D^^*

E M! = H4E'
QQ&0hR' R6# = g A U ^^ W: JC'(!$$B!$+?>\' !
' +' 6"' I' ,!$& B!$+?
> K+' & B!$+'
h5'26h = #

F U :W ; &G ;
EM!)' nQQ&0hR' R6# D^^3

E M! = H4X' QQ&0hR' R6#
g ;U ^^ 3
W:aB& ' +-jhR+' 6N-/$BZQ
!*) &0( # )4=
=
' !"EC' +' 6\6+!$#

RUH W: H ^
EM!)' nQQ&0hR' R6# D^^*
E M! = 4
H ' QQ&0hR' R6# = g U ^^W:0B !$# "h8-G*& $R +>E

"hTJC' !
"# " % !*% ! *! % #!* .
" (# ga6('4X%&-/7' ' = 'igJ3!$ = oB8
EM!MB!) ^^^

E M! = H4 = QQ&0hR' R6# = g = ' gJ,!$' = ) Q 5U ^^W:nJC'(!$6+!h
!
" $
' ,!$$+'(!$+'\+'(!$$B!$+?>a' !7' +' 6 JC'
% !*% !* #!# !* # = 26N^: ^F;ga6('

X%&-/7' ' = 'ngJ3!$ = oB8
EM!MB!) ^^^*

E M! = H4 = H >R$ = L. = ' 1+ = GCU ^^W:5ga& !$+ L + E
3!$M' +' 6 JC' !

"# " % !*% ! !*% # !*
. " (# ga6(' X%&-/7' ' = 'igJ3!$ = oB8
EM!MB!) ^^^

E M! = H4 = H >R$ = L. =
' 1+ = GcU ^^
W:ga& !$+ . SE
+3!$.' +' 6 *JC' !
& " % !*% !* #!# !* %&/

! ! -
= 6 RH
2
* ; RQQ = R>' +*
E+B!!$+#a' nga+#21+4^F*
E+B!!$+# = LM' a + = %,U ^FW: HP' +' 6\!$ +B!J E
g +#21

m1& ' ]JC' ga+#21+ = % = W
G' = = ' ga+!$# = L = +!$ =
# . " ( # % ! #

> & kJJ

R=

g 6('4%
a X &-/7' ' = HP2B)!$ = oB8
E $J^^

E $ = Q) U ^^W: Q' ,!$& B!$+' 6VZ2' +!$Q'(!4# 4& +' 6%,!$+[Z2+*
+'(!$+6' )B!$# R gJ,!$l O!$# + = Y`& !h"- X# ' + R+' =
<M' +?>+!h]-(gJ+
G = J
g +
G = R
>' +*(JC' R>' +*'V
E $7B!) ^^^

E $ = Q) = ' + = B8 = ' OQQ$3! = J U ^^W: B 1' [ZO 6
2W-/
!
!* #!# B-

Z2' +!$K'(!.# +6'VAJC'

1!$B-H'6JC' ,!$+!$&!$ = H &
$'2 = R>' +*

E $"' nga& 66B!$'I^^

E $ = Q) ' 7ga& 66B!$' = GU ^^ W:F# 7 +3!$+' -Q+' & B!$+?>
6+ 6$+' 6 !$@Z2' +!$5'(!a#< +6'V JC' ga& 66B!$' =
G = +!$ = %&/
! ! - = 26
RKB) +
H ' 'V
4 = P

1+U^^
1+ = G U ^^W:cP)' +' 6F' +E+']+' & B!$+?>L6+) 6$+' 6
gJ,!$l U!$# + = Y`& !hF- 4B!$+ 4' 6+' +' 68' Q &!$ R+ E
' = <M' +?>+!h]-cH &
$ '2 = H &
$ '2 = R>' +*
1+X' 6QQ$3!a^^ *

1+ = G' OQQ$3! = J U ^^ W:P)' +' 6)' ++'F+' & B!$+?>6+
6$+' 6 JC' !

#!*%& " % !*% !* #!# !* %&/
! ! - Xh = 2'V=J 5[E *g EFR

1+X' 6QQ$3!a^^3

1+ = G`' 6QQ$3! = JTU ^^3
W:(<M+' 6K!$# ,.aEC,!$+73!$E+']+' & E
!$+?>6+F 6$+' 6 JC' !
!* #!# !* ! % ! #

"! # % / !# !* % # !* . $

" ( # 0@E+' '2 = B)& ,!$+*

1+X' E $J^^
1+ = GG' E $ = Q)CU ^^W:oB 2+'a- *3!$+'N'SE
+' 6\6+!$# ' !$# 5
- Z2' +!$ '(!N#> +6'V JC'
!
/ (! !* % # ! % ! % !* ([E# + =

& 6*>R+*cJC' R>' +*'V
1+X' E $J^^

1+ = G ' E $ = Q);U ^^W: Q2+'c-O+ "hR,!$F'
!$# a
-DZ2' +!$a'(!# +6'VZJC' !

!* #!# B- 1!$B-H'6JC' ,!$+!$&!$ = H &
$'2 = R>' +*

1+X' 6H >R$ D^^[*

1+ = GU' H >R$ = L.IU ^^[W: HP' +' 6I*3!$+' F-/ +E
G,-/B!)23!SX# ' + OG,!*J E CE [ = B- 1!$B-H'nJC' ,!$+!$&!$ =
H &
$ '2 = R>' +*

1+X' 6H >R$ D^^

1+ = GV' H >R$ = L.(U ^^
W:fHP' +' 6"*3!$+' O-/ ' +"h
" % !*% !* #!# !* # = 26X^^ ; ! R

v fB)' ++ 2+'I-;HKJGLI< ' 7YT[MJGH4AJC'

ga6('4X%&-/7' ' = 'igJ3!$ = oB8
1+X' 6H >R$ D^^

1+ = GQ' eH >R$ = L.IU ^^ W: OZ2' '(!"6$ # -/aYT[MJGH

' HKJGLI< GTJC'6ga& 66B!$' %&/ !

= G = +!$ = ! - =
26M^0B) + 4 = HP' 'V
1+ B!M V^^*

1+ = G = Q,!$' + = Q) = ' XB!$>R1+ = J9U ^^W: # c& -
QWh+*'.
2
++!h),!$+73!$P+'%& U+' & B!$+'VJC' !
!$
.
. # %& !* %/ " # !*% #B= 26
G F R>' +* RB!$+'6J = H &
$ '2
1+ B!M V^^3

1+ = G = ga& 66B!$' = G = ' O& = G U ^^3
W: B =E
'2
++!h -K' ,!$$+' ' ' & +?> 6+5 6$ JC' !

& " % !*% !* #!# !* !* %/ !*% #!*

%& ./ " 0b>+' +' = gJ +'V

1+ B!M V^^3

1+ = G = ga& 66B!$' = G = ' O& = G U ^^3 W: B =E
'2
++!h>- B!$+'23!$ 6+ 6$ JC' !

%
!* #!# !* !* %/ !*% # #!* 3=
2

6
)
FG[ B 5g

L BZ
4 = M = L
Y` ' # +' O' nY2

& %^^ ;
Y` ' # +' = Q).' Y2
& = XKa U ^^ ; W: R- EC v *'23!$"h +F&SE
*3!$+' c'>+'(!$6$3!$+'?-,m1&2'(!$+!3!$+?>I' m1&2+!3!$+?>n1' [ZO 6
JC' !
*! / " % !*%
!* #!# !* /

HP& 6(' = 1ZO+! *' V
Y2' 6N^^

Y2' 6 = )SU ^^W:JC' & +' 6O!$G$-H& !P +*6' ,!$+ & V-/ 5m1&2 E
+!3!$+?>8R IJC' !
" % !*%
!* #!# !*
#
= 26 ; g 6('4X%&-/7' ' = 'igJ3!$ =
; a oB8
Y2' 6N^^
Y2' 6 = ) U
^^ W:
JC' & +' 6c!$G$-H& !7 +*6' ,!$+a& -/
m1&2+!3!$+?>aR eJC'ga& 66B!$' = G = +!$ = %&/ !
!*$
- = 26
RH ^0B) + H ' 'V
4 = P
Y *#I^^

Y *# = XkU ^^ W: HP6+D (# c!$ 7# +' ' +' 63 '
>">R+BZ% = XU W:

Y *#I^^*
Y *# = XcU ^^W: 4 +3!$8+'>'(!$+' +'a+' & B!$+?>823!' 6+' +' 6
JC'pQ Q $ + = X = +!$ = !
/ !# *! % #-!* #

= 26*F0^ R +' 6 = Q
Q +'V
Y2
& %^F
Y2
& = XK U ^F XW: &2+!3!$+?>W RU!$# "h . " (#B=
* F G[F
Y2$ZOh]B!M V^^
Y2$ZOh = b = 4+*3!$B!$hE R#2 + = dK = ' ]gJ3!$# & = )tU ^^W:XL' [Z;E
6% +>"ha+'N23!
2W'a>">R+BZ%;JC' 4+*3!$B!$hE R#2 + = dK
' Y2$ZOh = b = +!$ = !*) &0( & #! & , 0
B= 26

H RRBIBIBIJ 4 g6JC 4 = ga' = oB WF
+ 6 = g6B8
dL
G' + a^^
dL
G' + =
g 0U ^^ W:Sg6B Xf< G
B)'8!$++ 9gaR XJC'-/' X hRGE
!$a0JC' ! *! #!# !* ! % ! # " ! #

% / !# !*% #!* . " ( #

@
E
+

' 2
' = B
) & GE
!$+*
P)' #JB!) ^^F

P)' #
= ) = HP+ = % = QQ*' h = = ' H ' 6+ 6 = %R
U
^F W: Q2+'
-Q!$# +' # +
+!$+'5-W# +# +*J+U' c*B!$
2+& E+U +#hR E
-/*3!$ & B!
h
= EC +*+' E EU/&
,!$+!$&!$S EC
G' hRj W
hR++ +'
&2'(!$+!3!$?+ >,!$& B!$&
E B!$?+ >R+! h *3!$+' # + = vXEC$ h " hR,!6$
# h =
' F &!$ 6$ # + +'8,!$& B!$& E B!$+?>R+!hF'2?hR+ & =

%

& F
P)'NB!) ^^FF*

P)' = X = J
g & = % = ' ga+h = b U
; ^FFW: "

%!0!
!*

# ' b>+h = LMBZ

`
PM+'(!$'I^F^*
PM+'(!$' = dK =U ^F^W: Q' ' B!$+' +,!%' +' 67 R & .
" (#B= ; U HW:F
PM& '(!MB!) V^*
PM& '(! = ;Q) = gJ+' = = ' 1!$' = X U ^W:
%&/ !* cB) + 4 = LMBZ `

X%
2+#I^
^*
X%
2+# = U
^ ^W:
! , , %& % #B= >& ;JJ
R +' 6 = LMBZ `

X%$+ E' 4+'23!%^^ ;
X%$+ = B83' 4+'23! = @F0U ^^ ; :W SgJ# +' Q' +' 6O+'.# & 73!$6h
"
= XU W:[G
XL+B! ' ]bc
G4^^
XL+B! = R' Abc
G = GqU ^^W: Q'(!$+' 6E!$# M v+!hK-V'SE

+' 6D+'N6+)!$# & 6#a"hR'(!B!$+8' N!EC+'(!$aR =JC'iga& 66 E
!$' = G = +!$ = %&/ ! ! - = 26D ^ B)E

H ' 'V
+ 4 = P
XL+ ++ 1& ^B!) ^^^

XL+ ++ 1& = Q) = LM& 7
= g = ' R# +F& $ = g 0 U
^^
W: cs+'(! ' +' 6
-Q6+F 6$EZO+!$#I' 'SEC B!$+'23!$K' 'SEC +++'23!$+' 67+!$$
JC' !
" % !*% !* #!# !* # = 26

(
& R ga6('4X%&-/7' ' = i ' gJ3!$ = oB8
XL+ ++ 1& ^B!) ^^^

XL+ ++ 1& = Q) = LM& 7 = g = ' R# +F& $ = g U ^^W: E+++'23!$+'SE

25' ,!$& B!$+?>F+' & B!$+'J-46+% 6$2JC' !
% $
!*% !* % # !* . " ( # ga6('4X%&-/7' ' = '
gJ3!$ = oB8
XL+' 6' 1!$'1

G6J^^ ;

XL+' 6 = %V' 1 !$'1
G6 = g =U ^^ ; W:rgJ# +' K' +' 6] (#5-/
!$# W +B!$+'F-G !$+'F' 2" hK,!$& B!$& !
= R[ H !

R
XL+' 6DB!M V^^

XL+' 6 = % = ga& 66B!$' = G = HPBZO+ = % = ' 1!$'1
G6 = g U ^^ W: E& 6
+6'7
h7# +' O' +' 6 X# )& )-P+' & B!$+?>M6+ 6$+' 6
!$cR W!$# a,!$& B!$& E B!$+?>R+!h *3!$+' # + K-E!$+B!$# + '2E
6& E
+' +' 67!$] +#hR -/*3!$8 & B! !
!*% &(
!% #

XL' WB!) V^^ ;

XL'
= F = Q# ' = YQ = ' pH ' 6+ 6 = %cU ^^ ; :
W 2JC >'(!$E+'

!$+' ' 2"h ,!$& B!$& ] +B!$+'
h ' ' #2' \' & $Q' B!"E
ZQ` ! ! = R
RHGFR
XLR $3!$ B!) V^^
XLR $3!$ = = R7' = F = <M hR' 1+ = g = W& = XK = ' Q$Z = G
U ^^ W:pQQ& + +' 6J 7# +' 7' +' 6a!$R
GvîJC' HP G = Q) '
1!$ = H4 = +!$ = !*) &0( # ! #

,
!*. / !* % !*
4

>
R
+

XL' ' 'R7' nQQ$3!a^^

XL' ' 'R = J ' uQQ$3! = JU ^^W:9JC'-/73!$+'SEC
25>&23!$+'
+!$+'"-/*+[Z2l OG,-/7' # = U W: &
0F ;

XL$'NB!) ^^^

XL$'
= J = O+#2 = Q) = ' XL& +G = )
Q (U ^^W:*B)&!$73!$+8
G & E
!$+'D-tm1&2+!3!$+?>R qJC' % !
" % !*%
!* #!# !*
/

R
B)& ,!$+' = ;DF
XL& +GL^F*
XL& +G = Q)2U ^FW: &2+!3!$+?>+F& *3!$+'V . " (#B=
^ UHW: F^F
H +I^FF*
H + = X0U ^FFW: % !* !0! & %& & ! $XL&(ZQ = QQ,!$' =

g6B8
H >R$ D^^ ;
H >R$ = L.KU ^^ ; W:
% ! !*) &0( / !* $

" 4# Y!$# + = Y`& !h7-XX# ' + R+' = <M' +?>+!h"-CgJ+ E

G = gJ+
G = R>' +*
H >R$ .' 1+4^^ *

H >R$ = L.W'
1+ = GU ^^ W: QW16& ' e1' [ZO 65'
*$3!$?+ >L
+*W+'N+' & B!$?+ >L' !M' +' 6 CJC' '(! = XK = +!$ =
!
&" % !*% !* #!# !* % ! %%& %&/ $

% #B= 26 H%R

R +' 6 = QQ+'V
H >R$ .' 1+4^^3

H >R$ = L.`' 1+ = GCU ^^3
W:oJC' & B!$+?>8' +' 6D- *3!$+'
-/ ' +"h" v JC'iga& 66B!$' = G = +!$ = %&/ ! !*$

- = 2

6
^ 0
B
)

+ 4

= H
P

'

V
'

H >R$ %B!) ^^F

H >R$ = .L = Q
Q $3! = J = ga B!$+ = J = Q = Q) = PM">3! = g = ' AdL$ =
B8;U ^F :W
X B MJ"[*E B)' vG,!F"hR,!$9-/.B!$R +6$ # +
+*6' +W- +*%#1
h !$# +* "
B= RU W: ( ^
H >R$ %B!) ^^^[ *
H >R$ = L. =
1+ = G = ' A
dL
G' + = g U ^^[W:SHP' +' 6)' ' E
& +?>% Z2' +!$+' W-X*3!$+' SZO+!$#]HKJGLI< GcJC' % !
/ !#
!*

!* *! = 26 F R +' 6 = QQ+'V

H >R$ %B!) ^^^

H >R$ = L. = 1+ = G = 4+'23! = @F = ' MXL+ 7' = @FSU ^^
W:HP'SE
+' 6 & F-/8?hc +*6' +8-M# & 73!$+" +uJC' !
&
%& % . !* %
#!* . " (#B= 2

6
a
[FG ^
J"[ B ,!$2a
4 = )
H >R$ %B!) ^^^ *

H >R$ = L. = Q,!$' + = Q) = '
1+ = GSU ^^ W: R#8# & +,!$+ +'
++^+' & B!$+?>L6+E 6$+' 6 TJC' !
!* #!# !* ! $

% ! #
"! # "% / !# !*% # !*

. " (# S@E+' '2 = B)& ,!$+*

H >R$ %B!) ^^^3

H >R$ = L. = Q,!$' + = Q) = ' 1+ = G0U ^^3
W:S<MQ-2# & +,!$+ +'
+++' & B!$+?>46+ 6$+' 6 JC' !

#!*%& " % !*%
!* #!# !* %&/ ! ! - Xh = 2'V J 5[E

*g EFR

H >R$ %B!) ^^^*

H >R$ = L. = 1+ = G = 4+'23! = @F = ' XL+ 7' = @FU ^^W:K#
&!$++!h8-^
216& ' a1' [ZO 6M+'D' +' 6L + +*6' ,!$+&
& . " ( #B = R

^
HP+ ' @E+! 'hR+4^^
HP+ = g ' 9@E+! 'hR+ = XRU ^^W:0HP' +' 6)+ U' !$ & ' +
+,!$+
&!$+' !*/ % ! % !* %/ = ; U W: ^H0^
HPhRI^F

HPhR = U ^F
W: !*/ %& !* ! % ! ! - R +' 6 =
QQ+' = 3 ' a +!$+'V

HPhRI^^ ;
HPhR = = +!$,U ^^ ; :
W !* %/ !*% !
R +' 6 = QQ+'V
ga+#21+4^^*
ga+#21+
= % G U ^^W:[E'F!$# ;m1&2+ CE +' +7(&!$+'8-`!$# 6' $
>+' 6
a JC' % !
* ! / !* !* !*
%
! #

= >& BEQQ = & 6*>R+*
ga+#21+4^
*

*
ga+#21+ = % GqU ^ XW:q@H4C@S+*
EN>& D6+"hR,!$a JC'
!
* ! / !* / $ /& !
0
b
c
,
*
! @
E
+

6
+
' *
+ 9
<
M
' ?
+ >

+
! h =
ga6('(!$[ZO' = b
ga+#21+4^F ;
ga+#21+
= %5U ^F ; :
W 3!!$'\6' +!$+' K& EC6& + +' & B!$+?>
+'-/' !* !* ." % %& # $
" (#B= RU XW: ^
ga+#21+4^F*
ga+#21+ = %TU ^FW:cB !$# "hN' aB!$# R 6h7- +' & B!$+?>%'SE
+' 6 rCJ ' a
g +#21+ = % = W
G' = = ' 7ga+!$# = L = +!$ = $
# . " ( # % ! #

R= >& *J = 26

F G[ +6( = A) B !$ = oB8
ga+#21+ ' aX& +U^^

ga+#21+ = %' KX& + = K
d RU ^^W:
! " % !*% !* $
#!# !* / . "
a
d
L

6 a
g
J

7
' <
M
' ?
+ >

+!h Y +,-Hv =
= `
@C8 B
ga+#21+PB!) ^^F*

ga+#21+ = % = ga B!$+ = J = PM' 6 = = ' H >R$ = L.IU ^FW:?#

F& !$+ CE & GM+' '(!V' +' 68"hR,!$ B ' N+!$Q!$,!$+' 6DSE
+3!$+'7'"!$# L +G 7+' TJC' !
% !*% !*% $
# !* . " (#B=
26E ; HG ; Sga6(' X%&-/7' ' =
'igJ3!$ = oB8
ga+# +K^FF*
ga+# + F U ^FFW:gJ# +' .' +' 6K+']!$# .' vR!SZR>fhoJC' !

=
& / !# !* !* !*

= 267 ; &G
R 4+!"E
H ' 'V
7' = P

ga+' 6%^F^*
ga+' 6 = o U
^F^
W:a
B)'c ++ 2+' - & ' +' 6aB!$# R
#
*

-/ ++']!$%+' & B!$+'V = U W: & (
ga+' 6%^F^

ga+' 6 = TU ^F^
W:(B)'a ++^2+'N- B!$+'N&
# (

-/ ++'SE !$L+' & B!$+'V = U XW: ^ R

ga+!$# ^F
ga+!$# = L U ^FW:cdL' $+ 3!$+'"#V . " (#B=
F U W: ;
ga* ' + %' X%$+ 8^^
ga* ' + = F' X%$+ = B8tU ^^ W: E& 68 +6'"
h77# +' )'SE
+' 6 R +' 6. & 6B!$+?>R+!hCJC' !
!* #!# B-
1!$B-H'6JC' ,!$+!$&!$ = H &
$ '2 = R>' +*

gaR' hN' O+#2 %^^

gaR' h = %2' O+#2 = Q)TU ^^ W:cB)&!$73!$N
& 66+' 6D- 6+
6$I>R+*7!$# "h5>R++'V,JC' !

#!*%& " % !*% !* $
#!# !* %&/ !
! - Xh = 2'V J 5[E *g E
FR

ga$L^^
ga$ = CU ^^ W: .$!* &( %&/ !* ! % ." #

4#
< ' +?>+!ha- 1!$$3!$# ?hR =
!$# + = E2,!$'(!)- Q &!$ R+' = M
dL*6[Z = R!$*' V
ga+ J^F^*
ga+ X
= K U ^F^W: R hFR +' 6 XJC'aga+ = XK = +!$ = !*) &0(
Q
"%
0 !* %& 0 !* #
Q+'V
R +' 6 =
ga+ J^^
ga+ X ;U ^^W:iQW*'
= K RG$3!$+?>7R +' 6 JC' !

" % !*% !* # !# !* / . " = 26 0F ;
dL6,gJ'n<M' +?>+!h = Y`+,-Hv = @CB8
ga+ 7B!) V^^

ga+
= XK = W& = XK = ' QQ,ZQ = %RU ^^W:SB ',1' [ZO 6

'(!3!$+'F+'(!$6$3!$+' 6M' +' 6!$RXJC' !

" % !*%
!* #!# !* / . "
= 266FH0^5dL6ugJ'
<M' +?>+!h Y +,-Hv =
= ` @CB8
ga B!$+ D^F

ga B!$+ = J(U ^F XW: &2+!3!$+?
> .R -4!$# F# ,!fgJ,!$l )!$# + =

Y`& !h.- 4B!$+ 4' 6+' +' 6 = <M' +?>+!hF- H &
$'2 = H &
$'2 =
R
> ' +*(JC' R>' +*'V
ga B!$+ D^F *

ga B!$+ = JTU ^F W: Q +'J-X!$# 5d 1' [ZO 6 EC
2.& +' 6
!$# 6B +' & B!$+?>a' +' 6 6+!$# OG,!$-JC'(!$+6'(! XhRGE
!$2dL& ]<*JG< EGY EGF EG^( = E2,!$'(!- Q &!$ R+' =
<M' +?>+!h]-CJC+' + = <M
2'2
Q#22+6' = JGH4
ga B!$+ D^F

ga B!$+ = JXU ^F
W:L cbed g v =
46$<-/P' +' 6W-/

!$# ' + R& '(!3!$+'F' D& l 46& + OG,!$ - JC'(!$+6'(! XhRG E
!$2dL& ]<*JG<
EGY EGF EG^ ^ = E2,!$'(!- Q &!$ R+' =

<M' +?>+!h]-CJC+' + = <M
2'2 Q#22+6' = JGH4
ga B!$+ D^F

ga B!$+ = JtU ^F
W: HP' +' 6F-Km1&2+!3!$+?>MR KJC']QQ$3! = J'
H >R$ L =
= . +!$ = !

#
= 26 ; H R R
R+67 4 = b
>
+

[
Z = D
< X K
ga B!$+ D^FF*

ga B!$+ = JoU ^FFW:]# "D-O
,!$$B!$+' 8+'c' +' 6]m1&2+!3!$+?>
R tJC' !
!*/ " % !*% !* #!# !* # $
ga6('4X%&-/7' ' = 'igJ3!$ = oB8

ga B!$+ .' nH >R$ D^FF*

ga B!$+ = J2' nH >R$ = L.TU ^FFW:cJC' '(!P' +' 6F-/ v E
P+'%6+ EC
2)-/7+aJC',QQ$ + = X = +!$ = !
!* #!#
# $ 0!* %& !
B=
!* 2

6

]
;

^G R
R+F
$ = X,!$& 6(
ga B!$+ %B!) ^^F

ga B!$+ = J = QQ$3! = J = ' eH >R$ = .
L MU ^F XW:># J +?>3!$+' -

+c1' [ZO 6D-/ ]m1&2+!3!$+?>FR 4-S!$# # ,!OJC' !

!* #!#
Q = R>' +*
Q
ga& 66B!$'I^F

ga& 66B!$' = G U ^F
W: < B)'K$ EC
2D (#F!$E' ,!$& E
!$+?>+' & B!$+'VRJC' !
% " % !*% ! !*% # !* $
. " (#B= 26 F
& ^Rtga6(' X%&-/7' ' = ' gJ3!$ =
oB 8
ga& 66B!$'I^^

ga& 66B!$' = G U ^^W:SJC' & B!$+?>6+U 6$+' 6 ) !*
!* %/ = F U XW: ^ F
ga& 66B!$'I^^ *
ga& 66B!$' = G = +!$OU ^^ W: %&/ ! ! - rB)E

H ' 'V
+ 4 = P
ga& 66B!$'I^^3

ga& 66B!$' = GMU ^^ 3
W:eB !$# B!$+-/$BZQ -/7 +3!$a+'SE
>'(!$+'V JC' !

#!*%& " % !*% !* #!# !* %&/ !

! -

X

h
=
2

V
'
(
J 5 [
E Y
*
g E

F R
ga& 66B!$'a' nQQ& '(!$+' D^FF*
ga& 66B!$' = G ' 7 QQ& '(!$+' = b U ^FFW:O gJ# +' D+'>'(!$+' Z ,!"E
- 2
S +3!$Q
h7+'>,!$+' 68&!$+'VqJC' % !
" % !*%
!*% # !* # = 26 ^ ,ga6(' X%&- E
R
oB

7' ' = 'igJ3!$ = 8
ga& 66B!$'a' nY2' 6N^^ ;

ga& 66B!$' = GG' pY2' 6
= )cU ^^ ; :
W cs+'(!E+' & B!$+'a- 6+% E
6$rCJ ' !

!*% #!* (!* #!* 3=

26M F F [E# #2 = Xh
ga& 66B!$'NB!) ^^F^*

g & 66B!$' = G = QW+' = g = P)hGE"ga+# + = = ' ga+# + = FXU ^F^W:B)'
a
vG+'(!(2+'%- #1& 7'8' .7# +' 4' +' 6-/7+
JC' !

" % !*%
!* #!# !* #
= 26

[G F a
g 6('4%
X &-/7' ' = 'iJ g 3!$ = o8 B

ga& 66B!$'NB!) ^^^*

ga& 66B!$' = G = XL+' 6 = % = ' 1!$'1
G6 = g 2U ^^ W: 4!$+' E
' 2"E h ,!$& B!$& S +B!$+'L& +' 66+JC'

!
#!*%& " % !*%

!* #!# !* %&/ !
! -
X

h
=
2

V
' J 5 [
E

*g E F R
ga& 66B!$'NB!) ^^^3

ga& 66B!$' = G = R+' +?>$' = B8 = ' pQW+' = g cU ^^ 3
W: Q +' =
+6' +[2
Z ' D' c& $hOJC'
! " % *! %
% !* #
!*
#
= 2

6
%

F

R K
g
a

(
6
' X %

& /
- 7

' '

7
' g
J E

=
!$ = o8 B
LM+
B!!L^FF*
LM+
B!! = LU ^FFW:,B ,!$& 0hI-S6' $+$3!$+' +'I6+8 6$9JC'
!
& / !# !*

!* !* = 26E[HG[F
4+!$7' = P H ' 'V
LM+
B!!O' nQQ$3!a^F*
LM+
B!! = L ' QQ$3! = J;U ^FW: HP' +' 6J ++'c& .+'c' +"h
7+' JC'rQQ$ = g =
+!$ =
*
0 #-%& #! %
!
"
:= 26 : WF
+ 6f<M' +?>+!h 4 = WF
+ 6
' +X' XL+

E^^
' + = g ' XL+
= W:F# &!$++!ha-o1' [ZO 6+'5+'SE
F=U ^^
& B!$+?>%' +' 6 # = ^ U W: &
0^

' + B!) ^^^

' + = g = QQ& 'R = ) = ' R+?>,!$+' = dK;U ^^W:pB 1' [ZO 6 E
+'(!$' +?>7 (#c!$a' +' 6N*3!$+'2 ' !$ JC' !

" % !*% !* #!# !* # = 26 (& ( gaGE
oB

6('4X%&-/7' ' = 'igJ3!$ = 8
X^FF*
X = FoU ^F F :W ]# "+' & B!$+' -W-H& !8 +*6' +%"hR,!$8-/

m1&2+!3!$+?>LR SX# ' + OG,!M5J Ig EGFFE ; ^ = # .X& +' 6OJC'SE
d *6[Z = R!$*' V
,!$+!$&!$ = L
X^FF

X = FoU ^FF
W:"# 7+' & B!$+' -W-H& !. +*6' +%"hR,!$.-/

m1&2+!3!$+?>NR JC' !

!*% !*% # !* $

tga6(' X%&-/7' ' = ' gJ3!$ =
. " ( #
B= 26. R
oB8
4+*3!$B!$hE R#2 +' nY2$ZOh ^^

4+*3!$B!$hE R#2 + = dKK' Y2$ZOh = b = +!$U ^^W: !*)+$
&0(& #! & , 0
BIBIBIJ 4 g6JC 4 = ga' =
oB WF
+ 6 = g6B8
4+'23!OB!) ^^F^*
4+'23! = @F = XL' ' 'R = J = ' = L = ' pQQ$3! = JCU ^F^W:*ga +
!
#!*%&

'2? hR+E-Q&!$73!$+?h]+' & +*6' ,!$+8& 9JC'

/ !# !*% # !* . " (# & B= 26
* : R +' 6 QQ+'V =
4!1+'I^^*
4!1+' = dKCU ^^W:*B_' !$8'
+' & B!$+?>86' $+ 3!$+'V2JC' ga! =
Q) ' ga+# + = F = +!$ = # " ( #

= 267 G[
4 +'1
& 6#n<M' +?>+!h 4 = 4 +'1
& 6#V
& +' *'5^
^*
& +' *' = 2U ^
^W: E+>+' 65& K
h +' & B!$+' -/9*67 E
B!$+' F-M v uJC'Zga+# + = F = +!$ = "

!0
. !* (B= 2

6
Q
[

F
;
4

+ 1
'

&

6 r
# <
M
' ?
+ >

+!h 4 = 4SE
+'1
& 6#V
& +' *'5^F *

& +' *' = =U ^FW:rJC' & B!$+'I-Q ++'5!$

# =

XU W: FH

G ;
& +' *'5^F

*

& +' *' = RU ^F W:0dL' $3!$+' 6) R & B!$+'8& X-/ ++'.!$
!
% " % !*% ! !*% # !* . " $

JC'
(#B= 26M ; : ; R
ga6('4X%&-/7' = 'ngJ3!$ = oB8
& +' *'5^F 3

& +' *' = SU ^F 3

W: R+ +-jhR+' 6Q ++'L!$ " % !*% !*/ %
! % $ # ./ &
B= R
UHW: R H

& +' *'5^F^ *

& +' *' = 5U ^F^W: HP' +' 6 *3!$+' Q2+' -M "hRF
G+

,! = QW E2,!$'(!
' JK' ' B!$+' +,!) (#VUX# ' + G
< ' +?>+!hN- XhR ' h = XhR ' h = )
- Q &!$ R+' = M B & ,!$$+*
& +' *'5^^ ;

& +' *' = CU ^^ ; W:*HP' +' 676+V Z2' +!$+' O-/0*3!$+' $
#

= UH W: ^
& +' *'5^^

& +' *' = 5U ^^W: XL' [ZO 6Nm1& ++!$+' -/ ,!$& B!$& 23!

H= UHW: &
R

& +' 6K B!$+'23!$E+!$$4!$D+,!O#V
& +' *'5^^ *

& +' *' = CU ^^W:

! !* # 5ga6('
%

X%&-/7' ' = 'ngJ3!$ = oB8
O+'R.' iga+#21+4^FF*

O+'R = %
' 7ga+#21+ = % GU ^FFW:rJC' '(!4' +' 6]-
' !O +!$+' c
BYB!$# R]' ] vG+'(!G& !$CJC']P)h =

= ga+# + = F = ' O+#2 = = +!$ = = # " ( #

26 ( [*vR-/n<M' +?>+!h 4 = [*vR-/V
O+#2 M' ngaR' hI^^

O+#2 = Q)`' ngaR' h = % U ^^W:(Y +,!"EC Q!$# "h">R++'V(JC'
!
" % !*% *! #!# !* # = 26
oB

& g 6('4X%&-/7' ' = 'igJ3!$ =
a 8
O+#2 OB!) ^^^

O+#2 = Q) = XL$' = J = ' XL& +G = Q)(U ^^ W:*B)&!$73!$+8
G & E
!
% *! %
!* # !*
!$+' -5m1&2+!3!$+?>KR kJC' %
. " ( #
g
a

(
6
' X
%

& /
- 7

' ' =
i
' g
J 3
$
!
= o B
8
O
+' 'I^
O
+' ' = XU ^ W:B\7# +' EC+'(!$L6+
2.'L!$# U&!$+'
% ! !*/

+' + % = RU :W

O!$#NB!) V^F
O!$# = Q) = B)+6 = = M& 17' = Q) = 1!$+! = =
4# ++ = B8 =

4# ' = % = QQ& #1
h = G = ' R+6 = )nU ^FW:
= EC +*+' E E

G' hR hR++ +' ' '26& 5'(!$+
2B!$+*.6'(!$ E0l = lE
+B!$# "
vShE Rl EC&
,!$+!$&!$SEC
G' hR`'26& 4-G!$+B!$# +a &
= *

^

0

^

O!$#NB!) V^F

O!$# = Q) = M& 17' = Q) = 4# ' = % = QW'2+ = F = Q#2 ' = =
' 6P2hR = % U ^F
W: = EC +*+' E EC
G' hRhR++ +' 4O'(!$+
2B!$ E

+* 6'(!$ R
('2?hR+4-G!$# M ^B!S-V = EC +* hR&
,!$+!$& '(!Q+ M'
#2G8'
+' +' 6!$-/& M +^'(!E +#hR -/*3!$. & B!F' hR
& = ; F
O&0>+ ^^ ;
O&0>+ = ) U ^^ ; :W
3!$& $3!$+'V X,!$G' +' 6.# +4ZO# '7+'>,!$+' 6
&!$+'V JC' ! / !# !* # !* . " $

%
(#B= 26

& R 4+!$7' = P H ' 'V
O&0>+ ^^

O&0>+ = )fU ^^W: Q B!$' "-/"+' & B!$+?>5 R & VJC'

!
" % !*% !* #!# !* # = 26
& ga6('4X%&-/7' ' = 'igJ3!$ = oB8

O&0>+ ^^
O0& >+ = )5
U
^^ W: CvR!$' +' F-+'>+' -&!$+' +
!$8!$# "h" B!$+'VKJC'6ga& 66B!$' = G = +!$ = %&/ ! !*$
-
= 26M 0^ RR
B) + 4 = HP' 'V
O& 4^F^*

O& = GtU ^F^W: 0 ! % !*) &0( % ! %& %&/ !*
H ' 'V
4+!$7' = P
F&!M' 6QW' +4^F*

F&! = )U' QW' + = %2U ^FW: HP' +' 65' !$
h\1+' 6

m1& ,!$+' ;JC'iga+#21+ = % = W
G' = = ' pga+!$# = L = +!$ =
#
. " ( # % ! #

R= >& kJJ =

26%[ &G ^ ag 6('4X%&-/7' ' = 'igJ3!$ = oB8
R#2' 'J' ]bc>.^

R#2' ' = )2' kbc> = b
U ^ XW: #!* ! %
!*--/ !* (<M' +?>+!h]-CJC+' + 4 <
2'2 =
= M JGH4

R#2 +N^F*

R#2 + = MU ^FW: (!* ! , / 0 g6JC 4 =

WF
+ 6 = g6B8
!
R9h1!$#aB!) ^^^ ;
R9
h1!$# = X = dLRR 7' = % = ' ZPM+66+' = )*U ^^ ; :
W B0#hR
+ & E

2 QWh+*' *+[Z27JC' !
/ !# *! % # !*
. " (#
B= 26M ; 4+!$7' = HP' 'V
R' c^

R' = %U ^X W:B -/7X!$# "hI-Q+' & B!$+?>D+'-/' $
% !* !* %& !*. ! = R
H = * :
R+' +?>$']B!) V^^
R+' +?>$' = B8 = ga& 66B!$' = G = ' Ag QW+' U ^^ W: E+,!$+' 6& +# +' 6O vXE
!$+' P-/ ' +4+'L' 'SEC' !$' + ' +' 6 JC' !

#!*%& " $
% !*% !* #!# !* %&/ ! ! - 2Xh = 2'V
J 5[E *g EFR

1!$'1
G6B!) V^^
1!$'1
G6 = g = HPBZO+ = % = XL+' 6 = % = ' 6ga& 66B!$' = GKU ^^ W:CgaRSE
+' 6 !$# N,!$& B!$& J' \-/& ' B!$+' -E' hR
h\7# +' ]' +' 6
& ! /

= ^
' 61+!>' +#a' R# +F& $"^^
' 61+!>' +# = GO' R# +F& $ = g 9U ^^ W: OZ2' +' 6 \*3!$+'2
!$# "hDZO+!$#F& !$+ W-H& !$U+'D!$# M' !' 7&
G' !$TJC' !

" % !*%
!*% # !* # = 26 (
ga6('4X%&-/7' ' = 'igJ3!$ = oB8

X& +X' XLR $3!$ ^^ ;

X& + = dKO' XLR $3!$ =
9U ^^ ; W: B) '(!$+# + ' +' 6\+'
' S
' EC# 6'1& & O 7+']!$# +oJC' XLR $3!$ = `' pga+#21+ =
% = +!$ = #
. " ( # % ! #
R=
oB

>& JJJ = 26

: g 6('4X%&-/7' ' = 'ngJ3!$ =
a 8
<M7' ^FF *

<M7' = U ^FFW:
%! ! , 0 %& !*) &0( 0 $
"

= > & J Q &!$ R+'

B 4 = OR>R+ = g6B8

<O!$6 I' iga+!$# ^F

<O!$6 = XU' ga+!$# = Lo g * U ^F W: B)m1& ++!$+' -L +*3!$

+*U-/U+' & B!$+?>)' !W' +' 6 qJC' ! !*%

% !* #!*

oB . " (#

B= 26 : RXga6(' % X &-/7' ' = HP=B)!$ =
8
@S+*'(!L^F

@S+*'(! = H4;U ^F XW:]B !$# "hc-W!$# 7'2
*! --/ !* ! %
=
RU W:[ :G (R
b>++*M^^ ;
b>++* = Q)(U ^^ ; W:IJC'(!$$B!$+'SEC
2I+'>'(!$+'VM +6' +' 6" >R+
-/ Z ,!N +' + VJC'
2 !

!*/ " % !*%
!* #!# !*
/

H P
& (
6

' =
1 O
Z
+ !

*

' V

b>+' ,!$' ^

b>+' ,!$' = XP. U ^ W:=HP' +' 6D,!$& B!$& $P +!$+' -/ v E
KCJ 'ab>+' ,!$' = XSP. = +!$ =
% #! ! ! !* %/ " !*
g L
a d $Z;EGM L BZ `
P + = M
b>+,!$#I^FF*
b>+,!$#
= %qU ^FFW:tHP' +' 6.
hD-H+& W!$. > JC' !

& / !*$
!* !* !*

= 2

6
&

4+ $
! H ' 'V
7' = P
b>+,!$#I^F^*

b>+,!$# = %CU ^F^W: Q B!$+' 66+L 6$M
hJ+'>F&!$+'V
JC' !

!*/ / !# !* !* !*

= 26 ^
H ' 'V
; 4+!$7' = P
b>' ]B!) ^^^ ;

b>' = = 7 = = b #2
= B8(B8 = ' ga+#21+ = % G IU ^^ ; W:

Q2+' 6c' +' 6c2$ +6A>R+*c +*6$73!$+k>R+&2+ 3 !$+'ViB
%,!$& 0h]+'N+' 6E' !M' +' 6F& +' 6D"hRF
G+ = ' & $V' B!)'
6' B!$+.6+!$# B!$# R =
JC' !
" % !*% * ! /
%
!* ! &(! !
% *! " ( " JXL' vS>R+ = 2L.
bc
G4^FF*
bc
G = G U ^FFW:SB)&!$73!$+S '(!3!$+'D & ,!$'(!4+'F'K
GE
>3!$+'2R +>"hD"hR,!$a JC' !
& / !# !*

!*
!* = 26 R 4+!$7' = HP' 'V

^+!$' + a^^
^+!$' +
= K
X tU ^^W:TgJ# +' )' +' 6.- m1&2+!3!$+?>OR PX# ' +

OG,!IJ E CE

^ = B- 1!$B-Hn

' JC' ,!$+!$&!$ = H &
$'2 = R>' +*5JC'
R>' +*'V

Index

2 = F = =

+*# +-b! = = [

= F
GR0 h = *
= F^
EC&
& !$+' = = [^
G!!$EC& ]# = ^ = [

!$+' = = F
$' # +' 6D-HB!$ = (
& $ h = ^ = = ^ = ; = [
=
;P*Bg
F
& $ hN6(+' = = [ oJ"d,[H =
^ = = F
2!$?+ >%,!$$3!$6 h]+'ng6J = ^
=
* = = F^ = ;
=
#2
GB!
*O' +' 6KR = ; = ; F
Z2,!"EC
= *[+ Z23!$+'%& $
h = ^ = ^ = [ =
+3!$+' Q-CJGH =
= R = ^^ =

* (
*+[Z2 = ^ = ;
B = FF ;HKB2< MJ = L =
*& $V!$# "h = *

B SJ R
TBMLM = F
= [^ *& = *
3!O,!MO6' $ =
3!$ = = * ' ,!$$+' =
3!$+)-/F& * = * 23!
2 =

3!!$+
&!$ = = = ;

3!!$+
&!$ EN>& E*' 6&26 = L3!6 =
3!!$+
&!$ EN>& E' = = F & B!$+?>J23!
2 U Q5W =

= F = = ^
216& ' 1' [ZO 6 = ; = ^ & B!$+?>U# +$# +23!
2
U P Q5W =
= F = ;
=
; = ;
G # = ^ = ^ =

^ = [F =
F Z2' +!$% 6$ = *
G,!"E 2Z ,!M# = [ F B!$+'23!$ =

+* = = = F PM' = = *
*$3!$?+ > =
' 'SEC& +?> =
w EC B!$+'2h
= 6$ =
*' 6&26 = = ; = ; F = & ' +! = *
# = *& %' ,!$& B!$+' = ^
# +-b!O- = = [ ;HKJGLM =
F

SE ZQ%& !$+' = F = ; = 23!

+G,-/B! = = ; = = F
;H = F 23!
2
;L = ^ & B!$+?> = =
B!$' = F = = F = = ; = & B!$?+ >.# +$# + =
[F *3!$+'2 =

v = F^ 23!
2%*& =

v+!h = ; F L3!6F*& =
' ! = Q =
' !) +!$+' = Q *& =
= F = = ^

vR!$' +'2 = ++']!$ = F
+'(!$' +'2 = *$3!$?+ >L
+* =
' !) +!$+'N*' 6&26 = & B!$?+ >.23!
2 = = =
' !)' +' 6 & B!$?+ >U23!

2U*& = = F =
+' & B!$+?> = = = =

= ; = ^
F& !$+ =
& B!$+?>)# +$# + 23!
2 =
+' 6 =

' +!$+' = F^ & B!$+?>N# +$# +W23!
2
' +,!$' h = F = = F = = ; *& =
F = ;
=
' ,!$$+' a*& = = ; F Z2' +!$%*& =

> = F^
Z2' +!$% 6$ =
>$6 = F Z2' +!$% 6$ *& = *
vR!$' +'2 = ^ G' '(!I>+*
= ;
+'(!$' +'2 = ^ !$#
7'(!$+ = F >+*
=
>+' 6\6+!$# = ^ = F^ = ^ = !$#SEC
G& ' 0H *EC&!$+' =

F ^
>+' 6R = ^ = F +?>3!$+'"!$ = ( =

> = +!$+'N*' 6&26
4 y
5 U I} }y W = = F = ^ ' ! =
4 y 5 UI} } W = = F

B! =
4 y 5 U }y W =
= F B!$+'2h = =
4 y 5 U } W = F = ^ B!$+'23!$L*& =
4 y 5
"U } } y W = ^ B!$+'23!$L+!$$ = =

& '(!)#hRG!$# + =
= ^ ; = ^ B!$+'23!$L6+E 6$ =
& '(!M!$$+' +' 6FB! =
= F^
= ^ P Q =
{ = ; = = *
P Q *& =
= F = ;

P Q +'(!$,-H =
F YT[ ;H = ; = F
+*6' ,!$+E& Y [MJGH

T = = ^ = ; =
= =

+ = ^^ -/F& *
!$G$ =
3!$+ = *
MJGLI< = F = ZQ E -/ = *
+>"h YT[
= F
1' [ZO 6 =
-/& ' B!$+'N"hRF
G = =
+'(!$+[2
Z =
=;
7+' = 6' $+!h = =
& 67B!$+?>R+!h = *
7'(!$+ =
& 6 +6' = *
" hR'(!B!$+ = =
0hR'2+L"hR,!$
6' $+ 3!$+' =
' +' 6 m1&2+!3!$+?>IR m & = ^ =
6' $+ 3!$+')!$# ' + 1 F
- =
6(
Z2' +!$ = *
++qJGH =
= F = ; =

d,[H g = = ^ = ; =
*
' R +' 65' 6!$# ,!$+B!$+' = =
6RR ' O- +! = [
^ 63!$,!M[ZQO
G& ' =
'(!+'(! = F 6& ' = *
7'(!$+OU/6+jW = F = 6& ' N-HB! =
'(!$ h = F = ^
6& ' aR = ^
v =
' 6(3!$+?> =
= F =
SEC"h =
*
G+!$?+ > =
= F =
SEC"hNR = ^
v+,!$'(!$+*Km1& "h = [ = #2' +' 6K' + = = F = [
vGB!$ & $ h = # = *
v ++!$? h 6?+ >'?' 6(3!$+?>a v E # & +,!$+
= ;; # = [F =
v +?>8G[ZQ = # & +,!$+ = = [

v ?+ >' = # + EC+F
+' 6 = ^
vR!$' +'2P>$6 = ^ = # + CE +F
+' 6%# = [F
vR!$' +'2K JGH " hR,!$ =
PM'a*& = = *
vR!$' +'2+! h = = = ^
#hRG!$# + = =
& '(! = = ^ ; = ^
-HB! = = * #hRG!$# +M' ,!$& B!$+' = F

6& ' = #hRG!$# +M*' 6&26 = ;
Z2' +!$L'(!M#a +6' = R
#hRG!$# +M' 6!$# = ; =
Z2' +!$L'(!MB!$# R = R
#hRG!$# +M2 = ; = = [

w EC B!$+'2h = = F

+'>E&!$+' = = ( = ( =
J L = F ,!OG[+ Z2 = ^
+- E !$# 'N& = = FF +'>.&
,!$+!$&!$+' = = (
w CE B!$+'23!$+' = ,!OG+[Z2 = F
+6(E# 5' 6(cG+!$+' = J =
; =
F +>' =
JGH = [ +>'(!O*& =
+G,-/B!O23! = = ; = = F +>'(!O+!$$ = = ; =
+' G' '(*

! >+*
= ; JC*[< =
JGL <
=
XB MJ"[ =
+' & B!$+?>)' !W' +' 6 = = =

= = ;
1' [ZO 68m1& ++!$+' =
1' [ZO 6S1
m & ++!$+'E
G!!$'
+' & B!$+?>%23!K' 6+' +' 6 = ^ =
+' & B!$?+ >%' 6+' +' 6 = R
+' & B!$+?>%' +' 6 = 1' [ZO 6U +>"hL+'L23!
2
= ^
=
+' & B!$?+ >%6+) 6$+' 6 = =

[ = = ^ = = ^ = [ =

*' 7O>& = ^
*' 6&26
+' v B!$' = [ = 3!!$+
&!$
EN>& =
+'-/73!$+'7'(!$'(! = ; *' 6&26F
+* = = = ; F
= ;
+'-/73!$+'76(+' = = = [

=
ZQ+6#(!$ = R
H * = = ^ = [ =
+'-/73!$+'7 = ; *3!!$+ = =

*3!$?+ > = ;
* h],!$$3!$6h]+'ng6J = ^
+'-/73!$+?>R+!h = = F
= [ ' +' 6
+' &!M6& '(! = ; +' & B!$+?> =
+' &!3&!$ &!OR =
* F& !$+,!$$3!$6h = F
+' ,!'(!$+*3!$+' =
' +' 6W +*6' ,!$+ & = ^^ =
+'(!$6+!h"' ,!$$+'(!$ ' +' 6F-/ v =
+>"hN- = ; ' +' 6KR
+'(!$' +'2 = =
* = ; F
+'(!$' +'2V>$6 = ^ =
*3!$+' = ; F =
+'(!$' +'2tJGH "hR,!$ = ; ' +' 6 m1&2+!3!$+?>ER = R
+'(!$' +'24 +3!$7 Z2' +!$+' =
,!%6' $46' $+ 3!$+' = =
^
* ; =
+'(!$$B!$+?>fJGH = = ,!O& GM
G& ' =
+'(!$$' ,!$& B!$+' = = F
H =Y ^
=

' 6!$# ,!PG+[Z2U+'>U&

,!$+!$&!$+' =
#hRG!$# + = ; = F
x zXz = = ; =
* g =H = = ^

+ +# RR7$3!$+K,!3!$+,!$+ =
F F& !$+ D +3!$7' +' 6 = ^ =
HKJGLI< = = ; = F = = = F
+!$$ = * F& !$+,!$$3!$6h7' +' 6 = F
B!$+'23!$ =
' 6(3!$?+ > =* ' GEC+ = F = ;
G+!$+?> = * ' +! h5,!$ +' 6"+!$+' = ; =
B!$+[Z2 =

= [ F
+!$$^# 7 =
' 6(3!$+' = *
RG!$$+' +' 6KB! = F = ^ ' 6(3!$+S ' E GE -H+& =
6+E 6$ = ' 6(3!$?+ >% v = =
F =
B!$+'23!$ =
' 6(3!$?+ >%+!$$ = *
6+E 6$ "hR'(!$# + = R ' BZ>+*
=
; =
6+E 6$+' 6 = =
L cbed g = F F
6+G'(!+'(! = F = ' + = = = = F
= [ = F =

F
.aEC,!$+73!$ = = [ =
' + EC#2' +' 6W#2' + = [ = =
7# +' L' +' 6 = = F = [
7 ' hEC,!$a6+ = ' 'SEC& +?>.*& =

g6B Xf< = = ^ = ; = ^
' 7V 6$ =

g6B t@MJGL = = = F ' !3!$+'
F
G# +] m1& " h = = [ *& $ = =
#a +6' = R
B! =
=
aYT[MJGH = = ; = =
F^ LI<IH Hc3- = F

g6J = = ^ = = = ;
++' 6r>& = [ = =

B!) +!$+' =
gnHqE Rg6B = ; =

B!) +!$+'N*' 6&26 =
gi[QoBMH = ; =
>+*
= ; =
R $ =

+' &!3&!$ &! =
* &!$ &!)6& '(! = ;
R 5 *$3!$+' =
=
* = ; = > Z !!$+' 6 = [ = =
FF

*
L6' $V!$#2' = = [^
B =EC'2
++!h =
,!O+'-/73!$+?> = F
2,!$+*SE ZQ%& !$+' =
,!EG+[Z2F+'>K&!$+' = F = ;
^ { = ;

* = ( & JO & ' +' 6 = = F
G+!$?+ >L v =

= F =
Z2' '(! = = = [ ^
G+!$?+ >L+!$$ = * Z2' '(!)6$ # = = [ = [ ^
G,!"EC R+' 6 = = ; = ; = = Z2' '(!)G$3!$+' =

Z2' '(!XG$3!$ = = ^ = [ ^
G,!"EC & ' +' 6 = FF =
=
EC R+' 6 = F = ;; = ; *3!$+' =
EC & ' +' 6 = FF = *3!$+']' =
+3!$% Z2' +!$+' = *3!$+'E' +' 6WR = ; = ; F =
+'(!$' +'2 = ^

+3!$%6& ' =
*3!$+'2^23!

2 =
+3!$%+ ' >'(!$+' = F *3!$?+ >E-/
m1& '
h = = [
+3!$%" hRF
G = *3!$+?>L+'-/73!$+'" = ;

2
++!h7,!$+73!$ = = [ *3!$?+ >O,!Q6' $`6' $+ E
6$ !$+' = ; = ( *

=
' 7 = '(!3!$+'J#2' 6 =
6$ *& = &!$+' = F = (

Z2' +!$ = * # & 73!$+L +
R- R & = F +*6' +- =
^^
R-X!$ x zXz = ; = ; = ( =
* =
0H
= ^ & LR =
G+!$+'2G-/3!$& = ^F = ; ^ 5D = ; =

F
G+!$+'2^' = = F

!$+'.' 2" h.,!$& B!$& = * ( +'(!$+[Z2% +>"h = = ;
+'(!$[+ Z2(
1' [ZO 6U +>"h = ;
& ' +' 6 = FF =
# = [ =

SB = *

G = [F
SJ"g=

= F =

G,!"E 2 Z ,! = [F
m1&2+!3!$+?>ER =
# + EC+F
+' 6 = [F
m1&2+!3!$+?>E,!3!$ = ^ #J
+* =
m1&2+!h = ^ = [ #J# & +,!$+ = [F = [F =
m1&2+!"h +!$+' = F = ^

(B ;P 3- = F
m1& "h #J2 = [ =

v +,!$'(!$+* = [ = #J,!$$3!$6h = [F =

F
F
G# + = = [ = ^ ;
B!$ = F^
E =
7'(!$+% >$6 = F
B!$[+ Z2a+!$$ =
7'(!$+%'(!+'(! = F

7'(!$+L6' $+!h = !$$+' +' 6KB! =

# +-b!O-
+* = = [ & '(! = = F^ = ^
+6' [+ Z2' = ; = = =

F R = F = ^
+ [+ Z23!$+'7+!$+' = !$$' ,-/73!$+')!$ QJ-/ = ^
+' 6L +3!$L' +' 6 = !$$' ,-/73!$+'I!$ P Q -/ =
0H *EC R- !$ = ^ ^^ = ;
0H *EC&!$+' = F = ( !$$' ,-/73!$+'I!$ G+!$+'2
!$#SEC
G& ' = ^ -/ = ^ = ; = [
,! = = !$$' 2' h = ^ =

G+*+ 3!$+' = !$& ' 3!$+' = =

G+*+ 3!$+'"R = ^ = ^ !hRG = =

G+*+ 3!$+'F!$# ' + m1& = =
& ' +-jhR+' 67-/$BZQN-/E6' $ E
+! = [
,! = ^
+ 3!$+' = F
,!$ +' 6D+!$+' = ^ = [F = F
& ' +j- hR+' 6 -/$BZQ c-/FG+*

' +! h = ; = = [F + 3!$+' =

0
& s+'
h = ; = = [F & ' +!O*& = *

,!$& B!$& # B!$?+ >R+! hE*3!$+' # + = *
&!$++!h-/& ' B!$+' = ; = ;
,!$& B!$& a!$ = &!$++! h7 +3!$ = ;

&
,!$+!$&!$+' = ^ = = [^ >+*
= = ^F
+
' > = = (
&
& !$+' = =
G' '(! = ;
+' G' '(! = ;
& )+!$+* = F
' BZ = ; =
0
& s+'
hL,!$ +' 6O+!$+' = ; =

= [F

= ; =
>+*
E !$# =
"hRB!$+L +3!$ = ; =
@H4 = FF
"hR'(!B!$+%6' $+! h = =
ZQ+6#(!$ & $h]6(+' = = [
!6B!O*3!$+' = ;
ZQ+6#(!$ +'-/73!$+'>6(+' = =
MJ E = F

R = [
!$G$V +*6' ,!$+E& =
ZQ E /- "-/F& * = *
!$ =
,!$& B!$& =
t = *
!$# "h
*& $ =
*
!$SEC [ZO'>+' & B!$+' -. ++'
!$ = F
!$SEC [ZO'a# = = [

ILPbook

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

ILPbook

Uploaded by

Copyright:

Available Formats



BCEDCGFHCJILKMCOP N CRQ>DTSLCUVMN WYX Z\N [ K WVM]1^

_\`bca degfih dekjmlon,lpqhsrthsuRh d

M'& ­qsk¤Æ/||k¡£¤ g          g         Ï3-1

IV Applications of ILP 197

­¡ R02 , s||kJk¥| 2L|kE% ½Rµ¶ Ë

|||¤<¡£¦«1¥¤b|k¥£-,.,H|¥ ªi¨iRLkkqsk¤ÆHskqL ¡R¡£|U¡£kk¤<¡£

ª k|| £sM)sk¤Æ % gÂ´Â ½ÏÂsºÁkÂ ¶

1.1 Inductive concept learning

Describing objects and concepts

2LA||¦«|sJ¤qsk§¤qsAJ>|k¤kJ/§sA ¡k¡£k|M¡£ R}«ss|L s|¥s¥

Definition of inductive concept learning

%Ë|IR |¡Æs|¤>s¢i¡£|>¤|¤M¡,'ªÏ<¡ ||s¡£gËk<¡Os¢  |-,H|~%|

 sJ ¤|¡£¦¡£M¡£'%k<¡Rs¢m³m¼}¿Âs·¹¸»ºs¼1¼ ÂsÃLÌJÍ¼ÆÉ  ¢t\¡£|b¤|¤M¡   

O¡Æs s1¡£|UJ¡  s¢Jskk ,H|¥L¡£ ¡R¢¹s¤<¡£E s|Hsk1|s¡E sJ

0/M|¤¦¡£¦||M¡L£ ¡£|OP,H|¤¦¡£¦ A¡£| ,H,ËJkk|/A| s¢R¡£|g¡ U

 <«/Jk¦¡£¦« |-,H| '  %¤«k; 

s| ¤|k¡£¡/O¦¡£ kkJ¤<¡A¡£ ¡£|  |-,H|U 2 Js¡£|k 

kkJ¤<¡ ¡£A |-,H|

,  ¡£/k¤k@s¢¤ skk S 

1.2 Background knowledge

1.3 Language bias

+'sk|¥¤qs¢t? , s? ,HRq«JH|k  |||¤<¡£¦«Oqsk||¥ R

1.4 Inductive logic programming

An example ILP problem

~Rs|@¦©@2 kP,H|> ªi¨|k|,/©Eqsk||¥Ë¡£| ´Âsµ¿ Ç· ¼<ÁUk  ¡£\

¤|¤M¡q|¡£|¡Æsk¥<¡O|k|¤q ¡£|TS|¦¡£ , q.¤|k¡Os¢E@k<¡s¢ ¤ s|k

1.5 Imperfect data

1.6 Applications of ILP

Knowledge discovery in databases

Scientific knowledge discovery

2.1 Logic programming and deductive

!  ) I! FG 6 87#!"F 2 ³m¾ ³ Á£¼Æ¶<µÁ£É<¸»ºs¼O|k¥£-,3¤ s|kË> |k¥£-,

 6N$= 47@>$h >+8  6 N$= 47@>$h >+8

~Rs|&¦© QO  ¡£|¥@ ¡Æssk s|A¥¤>|k¥£-,.,H|¥4¡£?,H

¢tO|¥A|s¡£ s¢Ë¶Æ¾ ºs¼<ÁkÂ¿¼g4|k  ¡£|.|T S|¦¡£| s¢%¡£|H¢t||¤<¡£

 ~%s||§ k, s¡£¤. | s¡£ s ¢¤||«k£ksJ¥§¤<¡£¦4«|¦k 

¡£|.¤ÆsM¡£ }¡§¡Æ ¡£ ¡£ ¡?6.¤«k#

6    GF #  7  I  9 29Js¡£|k 

~%|Ë¡Æsk /s¢b,H|k¤qsi ªi¨ JO|¤Æ>¤|¤k|O¦¡£;qsk||¥..kIR

  |k¤kM¡£  s|¥s¥ >%kJ¤¦¢»|¥¡Æs¤<¡£¤;k¡£k¤ R

k¡£k¤<¡£| ¤qs J;s||¡£¤ s|k.0/M|kkk# > H0/|-,H|s

2.3 Interactive ILP

    6  H 

 s¤Æ ¥k||; |O|¥ #¤|k¡£|¥ s¢|k|¤q ¡£ |TS| R

 sA0 /|- ,H|k

1 | kqs ,H|k¤qs' ªi¨Ë¤|¤k| O¦¡£ qsk||¥;k|¥H¡Æsk¥<¡

2.4 Structuring the hypothesis space

2U s|k#3 R k||k ,HO¡£|g¤ s|k

R k||k ,HM¡£H¡£k||¤¡£|O¡Æs¤<¡£¤O|s¡£ s¢m¥|£s¦¡ 2U s|k

s|¡£| 3 3 #U<«O|k||¡£¦¡£M¡£0/M¡£H¡£ ¡ ¤qs J

|k||1¡£|Ukqsk¤Æ s¢,Hk'¥|£sM¤ s|kRO| 6%EL|¥ ¡£¦«

3.1 Generalization techniques

  7:   #  ;@  M¦«;H s|¥s¥ | s >JH¥|£s °  ¡£

M|£s °  ¡£HJ£ ¡£kUJ¢t?,G¡ U@sk¤L¡Æs¤<¡£¤J£ ¡£|'

3.1.1 Relative least general generalization

6 = ; 7#IF &

7#99  7#!"FIFh 8*8 3SG3

6 = ; 7#IF &

~%|'¡£¤Æ||P O|>OJL|k¤|kkA k,H ,Hk|<¡Æs¯A­¤<¡£ |'&

6 = ; 7# $ :  <I7#  6  7#F  9  7 9  7:   #  

~ |%kk|¦¡s¢J¤,H|M¡£|¥L¡£|LNOh 8*8 6$SG6U i¤qs JU¢t||@ ­¤<¡£@|'&

3.1.2 Inverse resolution

R¥|k %M¦©@2kP,H|>|kJk¦¡£sm|k¦«s ¡£.¡£ks

BCEDCGFHCJILKMCOP N CRQ>DTSLCUVMN WYX Z\N [ K WVM]1^

_\`bca degfih dekjmlon,lpqhsrthsuRh d

M'& qsk¤Æ/||k¡£¤ ggÏ3-1

¡ R02 , s||kJk¥| 2L|kE% ½Rµ¶ Ë

|||¤<¡£¦«1¥¤b|k¥£-,.,H|¥ ªi¨iRLkkqsk¤ÆHskqL ¡R¡£|U¡£kk¤<¡£

ª k|| £sM)sk¤Æ % gÂ´Â ½ÏÂsºÁkÂ¶

2LA||¦«|sJ¤qsk§¤qsAJ>|k¤kJ/§sA ¡k¡£k|M¡£ R}«ss|L s|¥s¥

%Ë|IR |¡Æs|¤>s¢i¡£|>¤|¤M¡,'ªÏ<¡ ||s¡£gËk<¡Os¢ |-,H|~%|

sJ ¤|¡£¦¡£M¡£'%k<¡Rs¢m³m¼}¿Âs·¹¸»ºs¼1¼ ÂsÃLÌJÍ¼ÆÉ ¢t\¡£|b¤|¤M¡

O¡Æss1¡£|UJ¡ s¢Jskk ,H|¥L¡£ ¡R¢¹s¤<¡£E s|Hsk1|s¡E sJ

0/M|¤¦¡£¦||M¡L£ ¡£|OP,H|¤¦¡£¦ A¡£| ,H,ËJkk|/A|s¢R¡£|g¡ U

<«/Jk¦¡£¦« |-,H| ' %¤«k;

s| ¤|k¡£¡/O¦¡£ kkJ¤<¡A¡£ ¡£| |-,H|U 2 Js¡£|k

kkJ¤<¡¡£A |-,H|

, ¡£/k¤k@s¢¤ skk S

+'sk|¥¤qs¢t? , s? ,HRq«JH|k |||¤<¡£¦«Oqsk||¥ R

~Rs|@¦©@2 kP,H|> ªi¨|k|,/©Eqsk||¥Ë¡£| ´Âsµ¿ Ç· ¼<ÁUk ¡£\

¤|¤M¡q|¡£|¡Æsk¥<¡O|k|¤q ¡£|TS|¦¡£ , q.¤|k¡Os¢E@k<¡s¢ ¤ s|k

! ) I!FG 6 87#!"F 2 ³m¾ ³ Á£¼Æ¶<µÁ£É<¸»ºs¼O|k¥£-,3¤ s|kË> |k¥£-,

6N$= 47@>$h >+8 6 N$= 47@>$h >+8

~Rs|&¦© QO ¡£|¥@ ¡Æssks|A¥¤>|k¥£-,.,H|¥4¡£?,H

¢tO|¥A|s¡£ s¢Ë¶Æ¾ ºs¼<ÁkÂ¿¼g4|k ¡£|.|T S|¦¡£|s¢%¡£|H¢t||¤<¡£

~%s||§ k, s¡£¤. | s¡£ s ¢¤||«k£ksJ¥§¤<¡£¦4«|¦k

¡£|.¤ÆsM¡£ }¡§¡Æ ¡£ ¡£ ¡?6.¤«k#

6 GF # 7 I 9 29Js¡£|k

~%|Ë¡Æsk/s¢b,H|k¤qsi ªi¨ JO|¤Æ>¤|¤k|O¦¡£;qsk||¥..kIR

|k¤kM¡£ s|¥s¥ >%kJ¤¦¢»|¥¡Æs¤<¡£¤;k¡£k¤ R

k¡£k¤<¡£| ¤qs J;s||¡£¤ s|k.0/M|kkk# > H0/|-,H|s

6 H

s¤Æ¥k||;|O|¥ #¤|k¡£|¥ s¢|k|¤q ¡£|TS| R

sA0 /|- ,H|k

1 | kqs ,H|k¤qs' ªi¨Ë¤|¤k| O¦¡£ qsk||¥;k|¥H¡Æsk¥<¡

2U s|k#3 R k||k ,HO¡£|g¤ s|k

R k||k ,HM¡£H¡£k||¤¡£|O¡Æs¤<¡£¤O|s¡£ s¢m¥|£s¦¡ 2U s|k

s|¡£| 3 3 #U<«O|k||¡£¦¡£M¡£0/M¡£H¡£ ¡ ¤qs J

|k||1¡£|Ukqsk¤Æ s¢,Hk'¥|£sM¤ s|kRO| 6%EL|¥ ¡£¦«

7: # ;@ M¦«;H s|¥s¥| s >JH¥|£s ° ¡£

M|£s ° ¡£HJ£ ¡£kUJ¢t?,G¡ U@sk¤L¡Æs¤<¡£¤J£ ¡£|'

6 = ; 7#IF &

7#99 7#!"FIFh 8*8 3SG3

6 = ; 7#IF &

~%|'¡£¤Æ||P O|>OJL|k¤|kkA k,H ,Hk|<¡Æs¯A¤<¡£ |'&

6 = ; 7# $ : <I7# 6 7#F 9 7 9 7: #

~ |%kk|¦¡s¢J¤,H|M¡£|¥L¡£|LNOh 8*8 6$SG6U i¤qs JU¢t||@ ¤<¡£@|'&

R¥|k %M¦©@2kP,H|>|kJk¦¡£sm|k¦«s ¡£.¡£ks

~%| sJ«Ë0/|-,H|4|¡££ ¡£OkkM¡£))¡£|Ë|kJk¦¡£sÏ¤qsks

,² ³ºs¼<Á£É¼ Á£¼ÆÉ¾ ÍÎµ·¹¸±¾ ³/|k Y¡£|#¡££s¤<¡£¦«# ªi¨ ¡£,72U Mª

R¥|k %M'&©@2ASk¡ R k|O|qs1|k¦«s ¡£.¡£ks

/¡£|g¥|£si¤qsks¯«kkk||¡£¦¡£M¡£/Ok||¡Æs¡£ s¦<,Hk¤, R

6 = ; 7# $ F8FG! ' F ! # J ; 7#IF

R¥|k %M %M© 2LA«kk|qs1|k¦«s ¡£.¡£ks

~%|§¤kkkJ|||¥«kk§|qs|k¦«s ¡£ ¡£k.Ë|¡££ ¡£ R ¥R

~%|¥|£s ° ¡£J£ ¡£ |¡££ ¡£¡£|sJ«0/|-,H|

3S :*580[M 6N =?N!Gc a1NO6! ceGT=?N

/|¥¥<¡£ ||¦¢»|¥ ¢t£-,H<Uk k ¡£;¡ U#¥|£s ° ¡£ ¡£¤ÆIR

R¥|k %M |© 2A,H¡OkJ¤ S¤g«kk|qs1|k¦«s ¡£.¡£ks

3 47NO6'A j+G3 ¤,H|M¡£|||¡£|H,HM¡ IR

J4|TS| s|;|k¡£ |k¤<¡L¡£|4kqsk¤Æ;¢tk, ,H¡L¥|£s ¡£ kJ¤ S¤

7#9 J"= $ : FG := ; 7: I

/ ¡££s¤<¡£¦«¦ s¤¤M¡£A|<T¡££s||¥0/|-,H| ¡£|8Sk¡ #

s| H¤«k

¦¡££s ¡£ ¡'¡£k||¤|< |¡£|¤<¡«ssk s| s|

# &%' # &%' 8

R¥|k %M 1M©b¨Rs¡Os¢R¡£|gkTS|,H¡¥£s|A¢t1¡£|¢¹-,H¦Hk ¡£|

~%|¤ s|kO¥|£ ¡£ |k¤k'|k¤kJ sJ«| kJq ¡£\Ms|

~%|LJs¡£|k ¤|kk¡£¦ ||¦¡' ¡£|Lqsk|'b¤qs ¡£| ¶<µÁ

~%| Í¾¶£ÂsÍU·¹ÁkÂs¸»³¸»³¿É¼<· g k||k<¡ s¢¡£|A¤|kk¡ ¡££s||¥;k<¡

2Y¿¼<³m¼<Á,¸±¶ · ¾ÆÌ ´¾!³ ¼<ÃLÌJ¸»Á,¸±¶£ÂsÍÏ²£½iÀ ÂsÍ ¿¾ Á,¸»·»ÇÃY¤qs | J@M¡£|\

! Q.!.< 4 :1 :1

7#9 J"= $ P 4 : ; )

(; %Q! @$(;?U ?UQ 6A S! 7),

?U @$ ,

¡£|'¤ s|k'¤|¡£k|¤<¡£ É Ì¼Æ¶<¸¹ÂsÍÎ¸ Âs·¹¸±¾ ³ m\¡£|³m¼Æ¶Æ¼ÆÉÆÉ<¸»· OÉ<· ¾ÆÌ

#¡£| Js¡£|k)¤|¡£k|¤<¡£ ¶Æ¾ ºs¼<Á,¸»³¿ \¡£|É<µ ¶<¸±¼<³m¶(

sP3> B6NHA .G $3+*G

|¤||;Â¶Æ¶<µÁkÂ(¶ A¿Âs¸»³ 3 G3 3 3 s| ¸»³ "q¾ Á,ÃHÂs·¹¸±¾ ³ ¿Âs¸»³

, ¡£.¥s§|k/ > ª %|k¤kJ//¤<¡£A|¦b®> k¡O|k R

> ª k .2L¥k¦¡£ ,T|¦, ¨ ¡ R |k¤kk|¥/gJ¢t?,H k,H«|¥

, s|

I7# 7#!"FIF U s|k ' ¸»Á,Á£¼<Í¼<º Âs³·\¦¢