‫‪www.MatlabKar.

com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‬

‫ﻧﻮﺷﺘﻪ ي ‪Tom M. Mitchell‬‬

‫ﻣﺘﺮﺟﻢ‪ :‬ﻣﺤﻤ‪‬ﺪ ﻧﺨﺒﻪ زﻋﯿﻢ‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‬ ‫‪2‬‬

‫ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‬
‫ﻧﻮﺷﺘﻪ ي ‪Tom M. Mitchell‬‬

‫ﺗﺮﺟﻤﻪ ي ﻣﺤﻤ‪‬ﺪ ﻧﺨﺒﻪ زﻋﯿﻢ‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪3‬‬ ‫ﭘﯿﺸﮕﻔﺘﺎر ﻣﺘﺮﺟﻢ‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‬ ‫‪4‬‬

‫ﭘﯿﺸﮕﻔﺘﺎر ﻣﺘﺮﺟﻢ‬

‫ﺑﺎ ﺳﻼم‪ ،‬ﮐﺘﺎﺑﯽ ﮐﻪ ﭘﯿﺶ روي ﺷﻤﺎﺳﺖ ﺷﺎﻣﻞ اﻟﮕﻮرﯾﺘﻢ ﻫﺎ‪ ،‬روش ﻫﺎ و ﻧﮑﺎت ﻣﺮﺑﻮﻃﻪ ي "ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ" اﺳﺖ‪ .‬ﮐﺘﺎب ﻃﻮري ﻧﻮﺷﺘﻪ ﺷـﺪه اﺳـﺖ‬
‫ﮐﻪ ﻗﺎﺑﻞ ﺧﻮاﻧﺪن ﺑﺮاي ﺗﻤﺎﻣﯽ داﻧﺸﺠﻮﯾﺎن ﺑﺎ ﻫﺮ ﻣﯿﺰان اﻃﻼﻋﺎت اوﻟﯿﻪ ﺑﺎﺷﺪ‪ .‬ﺧﻼﺻﻪ ﻣﯽ ﮐﻨﻢ اﻣﯿﺪوارم از ﺧﻮاﻧﺪن ﮐﺘﺎب ﻟﺬت ﺑﺒﺮﯾﺪ و اﻟﺒﺘﻪ ﭼﯿﺰﻫـﺎﯾﯽ‬
‫ﻣﻔﯿﺪي ﯾﺎد ﺑﮕﯿﺮﯾﺪ‪ .‬ﺑﺮاي ﻣﻦ ﮐﻪ ﺑﺴﯿﺎر ﻣﻔﯿﺪ ﺑﻮد!‬

‫در ﺗﺮﺟﻤﻪ ي ﮐﺘﺎب ﺳﻌﯽ ﺷﺪه ﺗﺎ ﺧﻮاﻧﺪن ﻣﺘﻦ ﺑﺮاي ﺧﻮاﻧﺪ راﺣﺘﺮ ﺑﺎﺷﺪ‪ ،‬و ﮔﺎﻫﯽ ﺑﻌﻀﯽ ﺟﻤﻼت و ﮐﻠﻤﺎت و ﭘﺎراﮔﺮاف ﻫﺎ )!( ﺗﻐﯿﯿﺮ ﮐﺮده اﻧـﺪ‪ .‬اﮔـﺮ ﻫـﺮ‬
‫ﮔﻮﻧﻪ اﺷﺘﺒﺎه ﻏﻠﺖ اﻣﻼﯾﯽ ﯾﺎ اﺷﺘﺒﺎه ﻧﮕﺎرﺷﯽ در ﻣﺘﻦ دﯾﺪﯾﺪ ﻣﺮا ﺑﺒﺨﺸﯿﺪ و آﻧﺮا ﺑﻪ ﻣﻦ اﻃﻼع دﻫﯿﺪ‪.‬‬

‫ﺗﺎﺑﺴﺘﺎن ‪89‬‬

‫ﭘﯽ ﻧﻮﺷﺖ‪:‬‬

‫ﺗﺎرﯾﺦ آﺧﺮﯾﻦ اﺻﻼﺣﺎت اﻋﻤﺎﻟﯽ‪ :‬ﻣﻬﺮ ‪91‬‬

‫‪Mail: nokhbeh100@gmail.com‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪5‬‬ ‫ﭘﯿﺸﮕﻔﺘﺎر ﻣﺘﺮﺟﻢ‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‬ ‫‪6‬‬

‫ﭘﯿﺸﮕﻔﺘﺎر‬

‫ﭼﮕﻮﻧﻪ ﻣﯽ ﺗﻮان ﺑﻪ ﻣﺎﺷﯿﻦ ﯾﺎد داد؟!‬

‫در ﻣﺒﺤﺚ ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ‪ 1‬ﻫﻤﻮاره ﺑﺎ اﯾﻦ ﺳﻮال درﮔﯿﺮ ﻫﺴﺘﯿﻢ ﮐﻪ "ﭼﮕﻮﻧﻪ" ﻣﯽ ﺗﻮان ﺳﺎﺧﺘﺎري ﺑﺮاي ﺑﺮﻧﺎﻣﻪ ﻫﺎي ﮐـﺎﻣﭙﯿﻮﺗﺮي ﻃﺮاﺣـﯽ ﮐـﺮد ﮐـﻪ‬
‫ﺑﺘﻮاﻧﻨﺪ ﺑﺎ اﺳﺘﻔﺎده از آزﻣﺎﯾﺸﺎت ﻣﺘﻌﺪد ﺑﺮ ﺗﺠﺮﺑﯿﺎت )ﻣﻬﺎرت( ﺧﻮد ﺑﯿﻔﺰاﯾﻨﺪ‪ .‬اﻣﺮوزه ﮐﺎرﺑﺮد ﯾﺎددﻫﯽ ﺑﻪ ﺳﯿﺴﺘﻢ ﻫﺎ‪ ،‬در ﻋﺮﺻﻪ ﻫـﺎي ﮔﻮﻧـﺎﮔﻮن ﮔﺴـﺘﺮش‬
‫ﯾﺎﻓﺘﻪ اﺳﺖ‪ ،‬ﺑﺮاي ﻣﺜﺎل ﻧﺮم اﻓﺰار ﻫﺎي ﮐﺎوش داده‪ 2‬اي اﯾﺠﺎد ﺷﺪه ﮐﻪ ﻣﯽ ﺗﻮاﻧﻨﺪ در ﺑﺮاﺑﺮ ﺣﻤﻼت و ﺳﺮﻗﺖ ﻫﺎي اﯾﻨﺘﺮﻧﺘﯽ ﻣﻘﺎﺑﻠﻪ ﮐﻨﻨﺪ‪ ،‬ﺳﯿﺴﺘﻢ ﻫﺎي‬
‫اﻃﻼﻋﺎﺗﯽ اي ﮐﻪ ﻣﯽ ﺗﻮاﻧﻨﺪ ﻋﻼﻗﻪ ي ﻫﺮ ﻓﺮد ﺑﻪ اﻧﻮع اﻃﻼﻋﺎت را ﻣﺸﺨﺺ ﮐﻨﻨﺪ و ﯾﺎ ﺣﺘﯽ ﺧﻮدرو ﻫﺎي اﺗﻮﻣﺎﺗﯿﮏ ﮐﻪ ﻣﯽ ﺗﻮاﻧﻨﺪ ﯾﺎد ﺑﮕﯿﺮﻧـﺪ ﭼﮕﻮﻧـﻪ‬
‫ﺑﺪون راﻧﻨﺪه در ﺧﯿﺎﺑﺎن‪ ،‬راﻧﻨﺪﮔﯽ ﮐﻨﻨﺪ! اﯾﻦ در ﺣﺎﻟﯽ اﺳﺖ ﮐﻪ اﯾﻦ ﻋﻠﻢ ﺑﺎ ﺳﺮﻋﺖ ﺑﺴﯿﺎر زﯾﺎد در ﺣﺎل ﭘﯿﺸﺮﻓﺖ و ﺗﮑﺎﻣﻞ اﺳﺖ‪.‬‬

‫ﻫﺪف اﯾﻦ ﻧﻮﺷﺘﻪ ﻣﻌﺮﻓﯽ راه ﺣﻞ ﻫﺎ و اﻟﮕﻮرﯾﺘﻢ ﻫﺎي ﮐﻠﯿﺪي ﺗﺸﮑﯿﻞ دﻫﻨﺪه ي ﻫﺴﺘﻪ ي ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ ﺑﻪ ﺧﻮاﻧﻨﺪه اﺳﺖ‪ .‬ﺑﺎﯾـﺪ ﮔﻔـﺖ در اﯾـﻦ راه‬
‫ﺳﻌﯽ ﺧﻮاﻫﯿﻢ ﮐﺮد ﮐﻪ از داﻧﺶ ﻫﺎي ﮔﻮﻧﺎﮔﻮن ﻧﻈﯿﺮ آﻣﺎر‪ ،3‬ﻫﻮش ﻣﺼﻨﻮﻋﯽ‪ ،4‬ﻓﻠﺴـﻔﻪ‪ ،5‬ﺗﺌـﻮري اﻃﻼﻋـﺎت‪ ،6‬ﺑﯿﻮﻟـﻮژي‪، cognitive science ،7‬‬
‫ﭘﯿﭽﯿﺪﮔﯽ ﻣﺤﺎﺳﺒﺎﺗﯽ‪ 8‬و ﺗﺌﻮري ﮐﻨﺘﺮل‪ 9‬در رﺳﯿﺪن ﺑﻪ اﯾﻦ ﻫﺪف ﮐﻤﮏ ﺑﮕﯿﺮﯾﻢ‪ .‬از ﻧﻈﺮ ﻣﺎ‪ ،‬ﺑﻬﺘﺮﯾﻦ راه ﺑﺮاي آﻣﻮﺧﺘﻦ ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ ﻧﺰدﯾﮏ ﺷـﺪن‬
‫ﺑﻪ ﻣﻄﺎﻟﺐ‪ ،‬از ﺗﻤﺎﻣﯽ وﺟﻮه و ﻣﻔﺎﻫﯿﻢ آن اﺳﺖ‪ .‬در ﮔﺬﺷﺘﻪ اﯾﻦ ﮐﺎر ﺑﺨﺎﻃﺮ ﻧﺒﻮد اﻃﻼﻋﺎت اوﻟﯿﻪ در ﺗﻤﺎﻣﯽ ﺟﻨﺒﻪ ﻫﺎ در ﯾﮏ ﺟﺎ ﺳﺨﺖ ﺑﻪ ﻧﻈﺮ ﻣﯽ رﺳﯿﺪ‪.‬‬
‫ﻫﺪف اوﻟﯿﻪ ي اﯾﻦ ﮐﺘﺎب اراﺋﻪ ي ﭼﻨﯿﻦ اﻃﻼﻋﺎﺗﯽ در ﮐﻨﺎر ﻫﻢ اﺳﺖ‪.‬‬

‫‪1‬‬
‫‪Machine Learning‬‬
‫‪2‬‬
‫‪Data-mining Softwares‬‬
‫‪3‬‬
‫‪statistics‬‬
‫‪4‬‬
‫‪Artificial intelligence‬‬
‫‪5‬‬
‫‪philosophy‬‬
‫‪6‬‬
‫‪Information theory‬‬
‫‪7‬‬
‫‪bilogy‬‬
‫‪8‬‬
‫‪Computational complexity‬‬
‫‪9‬‬
‫‪Control theory‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪7‬‬ ‫ﭘﯿﺸﮕﻔﺘﺎر‬

‫ﺑﺨﺎﻃﺮ ﻫﻤﯿﻦ ﺑﯽ ﻧﻈﻤﯽ ﻃﺒﯿﻌﯽ ﻣﻄﻠﺐ‪ ،‬اﯾﻦ ﮐﺘﺎب ﻓﺮﺿﻬﺎي ﺧﯿﻠﯽ ﮐﻤﯽ در ﻣﻮرد اﻃﻼﻋﺎت اوﻟﯿـﻪ ي ﺧﻮاﻧﻨـﺪ اﻧﺠـﺎم ﻣـﯽ دﻫـﺪ‪ .‬در ﻋـﻮض ﻣﻔـﺎﻫﯿﻢ‬
‫اوﻟﯿﻪ ي آﻣﺎر‪ ،‬ﻫﻮش ﻣﺼﻨﻮﻋﯽ‪ ،‬ﺗﺌﻮري اﻃﻼﻋﺎت و دﯾﮕﺮ ﻋﻠﻮم در ﺻﻮرت ﻧﯿﺎز ﺑﺎ ﺗﻤﺮﮐﺰ ﺑﺮ ﻗﺴﻤﺖ ﻣـﻮرد ﻧﯿـﺎز ﺗﻮﺿـﯿﺢ داده ﻣـﯽ ﺷـﻮﻧﺪ‪ .‬اﯾـﻦ ﮐﺘـﺎب‬
‫ﻣﯽ ﺗﻮاﻧﺪ ﻫﻢ ﺗﻮﺳﻂ داﻧﺸﺠﻮﯾﺎن دوره ي ﮐﺎرﺷﻨﺎﺳﯽ و ﻫﻢ ﺗﻮﺳﻂ داﻧﺸﺠﻮﯾﺎن دوره ي ارﺷﺪ رﺷﺘﻪ ﻫﺎي ﻋﻠﻮم ﮐﺎﻣﭙﯿﻮﺗﺮ‪ ،‬ﻣﻬﻨﺪﺳﯽ ﮐﺎﻣﭙﯿﻮﺗﺮ‪ ،‬آﻣـﺎر و ‪...‬‬
‫ﻣﻄﺎﻟﻌﻪ ﺷﻮد‪ .‬ﻫﻤﭽﻨﯿﻦ اﯾﻦ ﮐﺘﺎب ﻣﯽ ﺗﻮان ﺑﻪ ﻋﻨﻮان ﻣﺮﺟﻊ ﺑﺮاي ﺑﺮﻧﺎﻣﻪ ﻧﻮﯾﺴﺎن ﺣﺮﻓﻪ اي و ﻏﯿﺮ ﺣﺮﻓـﻪ اي ﺑﺎﺷـﺪ‪ .‬در ﻧﻮﺷـﺘﻦ اﯾـﻦ ﮐﺘـﺎب دو ﻧﮑﺘـﻪ‬
‫رﻋﺎﯾﺖ ﺷﺪه اﺳﺖ‪ :‬اﺑﺘﺪا اﯾﻨﮑﻪ ﮐﺘﺎب ﺑﺎﯾﺪ ﺑﺮاي داﻧﺸﺠﻮﯾﺎن دوره ي ﮐﺎرﺷﻨﺎﺳﯽ ﻗﺎﺑﻞ ﺧﻮاﻧﺪن ﺑﺎﺷﺪ و ﻫﻤﭽﻨﯿﻦ ﻣﻄـﺎﻟﺒﯽ ﮐـﻪ ﭘﯿﺸـﻨﯿﺎز ﺷـﺮوع دوره ي‬
‫دﮐﺘﺮاي ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ اﺳﺖ را در ﺑﺮ ﮔﯿﺮد‪.‬‬

‫ﺳﻮﻣﯿﻦ ﻧﮑﺘﻪ اي ﮐﻪ در ﻧﻮﺷﺘﻦ ﮐﺘﺎب رﻋﺎﯾﺖ ﺷﺪه اﺳﺖ اﯾﻦ اﺳﺖ ﮐﻪ ﺑﺎﯾﺪ ﺗﻌﺎدﻟﯽ از ﮐﺎرﺑﺮد و ﺗﺌﻮري در آن ﺣﻀﻮر داﺷـﺘﻪ ﺑﺎﺷـﺪ‪ .‬ﺗﺌـﻮري ﯾـﺎدﮔﯿﺮي‬
‫ﻣﺎﺷﯿﻦ ﺳﻌﯽ دارد ﺑﻪ ﺳﻮاﻻﺗﯽ ﻧﻈﯿﺮ "ﺑﺎ اﻓﺰاﯾﺶ ﻧﻤﻮﻧﻪ ﻫﺎي آﻣﻮزﺷﯽ ﮐﺎراﯾﯽ ﯾﺎدﮔﯿﺮ ﭼﮕﻮﻧﻪ ﺗﻐﯿﯿﺮ ﻣﯽ ﮐﻨﺪ؟" و "ﮐﺪام اﻟﮕﻮرﯾﺘﻢ ﻫﺎي ﯾﺎدﮔﯿﺮي ﺑـﺮاي‬
‫ﮐﺪام ﮐﺎرﻫﺎي ﯾﺎدﮔﯿﺮي ﻣﻨﺎﺳﺐ اﻧﺪ؟" ﭘﺎﺳﺦ دﻫﺪ‪ .‬اﯾﻦ ﮐﺘﺎب ﺷﺎﻣﻞ ﺑﺤﺚ ﻫﺎﯾﯽ در اﯾﻦ ﻣﻮارد و دﯾﮕﺮ ﻣﻮارد ﻣﺮﺑﻮﻃﻪ ﺑﻪ ﻋﻼوه ي ﭘﺎﯾﻪ ﻫـﺎي آﻣـﺎري‪،‬‬
‫ﭘﯿﭽﯿﺪﮔﯽ ﻣﺤﺎﺳﺒﺎﺗﯽ و ﺑﺮرﺳﯽ ﺑﯿﺰي اﺳﺖ‪ .‬ﺗﻤﺮﯾﻦ ﯾﺎدﮔﯿﺮي ﻣﺎﺷﯿﻦ ﺑﺎ اراﺋﻪ ي اﻟﮕﻮرﯾﺘﻢ ﻫﺎي اﺻﻠﯽ اﯾﻦ زﻣﯿﻨﻪ و دﻧﺒﺎل ﮐـﺮدن ﻋﻤﮑـﺮد آﻧﻬـﺎ اﻧﺠـﺎم‬
‫ﻣﯽ ﮔﯿﺮد‪ .‬داده ﻫﺎي واﻗﻌﯽ و ﺑﺴـﯿﺎري از اﻟﮕـﻮرﯾﺘﻢ ﻫـﺎ در ‪ http://www.cs.cmu.edu/~tom/mlbook.html‬آورده ﺷـﺪه اﺳـﺖ‪.‬‬
‫ﮐﺪ ﻫﺎي ﺷﺒﮑﻪ ﻫﺎي ﻋﺼﺒﯽ‪ ،‬داده ﻫﺎي ﺑﺎزﺷﻨﺎﺧﺘﯽ‪ ، 1‬ﮐﺪ ﻫﺎي ﯾﺎدﮔﯿﺮي درﺧﺘﯽ‪ ،‬داده ﻫﺎي ﺑﺮرﺳـﯽ ﻫـﺎي وام ﮔﯿﺮﻧـﺪﮔﺎن‪ ،‬ﮐـﺪ ﻫـﺎي دﺳـﺘﻪ ﺑﻨـﺪي‬
‫ﮐﻨﻨﺪه ي ﻫﺎي ﺑﯿﺰ و داده ﻫﺎي ﺑﺮرﺳﯽ ﻫﺎي ﻣﺘﻮن در آﻧﺠﺎ آورده ﺷﺪه اﻧﺪ‪.‬‬

‫‪1‬‬
‫‪recognition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل اول‪ :‬مقذمه‬

‫اص صٗب‪ٛ‬ی ً‪ ٠‬سایب‪١٠ٛ‬ب ػبخت‪ ٠‬ؿذ‪ٟ‬ا‪ٛ‬ذ‪ ،‬ا‪ٛ‬ؼب‪١ٙ‬ب ‪ٞ٘١‬اس‪ ٟ‬ث‪ ٠‬د‪ٛ‬جبّ سا‪١‬ی ث‪ٞ‬د‪ ٟ‬تب ثت‪ٞ‬ا‪ٜٛ‬ذ آ‪١ٙ‬ب سا ثشای ٗوبكذ دٓخ‪ٞ‬ا‪١‬ـب‪ ،ٙ‬آٗ‪ٞ‬صؽ د‪ٜ١‬ذ تب ؿبیذ ثت‪ٞ‬ا‪ٜٛ‬دذ‬
‫س‪ٝ‬صی آ‪١ٙ‬ب سا ً‪ٞ‬سی ثش‪ٛ‬بٗ‪ ٠‬سیضی ً‪ٜٜ‬ذ ً‪ ٠‬ثت‪ٞ‬ا‪ٜٛ‬ذ خ‪ٞ‬دؿب‪ ٙ‬ثب ُزس اص آصٗبیـبت‪ ،‬ثش تجشث‪٠‬ی خ‪ٞ‬د ثیلضای‪ٜ‬ذ ‪ٞ١ ٝ‬ؿ٘‪ٜ‬ذ ؿ‪ٛٞ‬ذ‪ٗ .‬یت‪ٞ‬ا‪ ٙ‬س‪ٝ‬صی سا تل‪ٞ‬س‬
‫ًشد ً‪ ٠‬سایب‪١٠ٛ‬ب ٗیت‪ٞ‬ا‪ٜٛ‬ذ اص س‪ٝ‬ی داد‪١ ٟ‬بی دسٗب‪ٛ‬ی ‪ٛ‬ح‪ٟٞ‬ی تـخیق ثی٘بسی ‪ ٝ‬س‪ٝ‬ؽ دسٗب‪ٗ ٙ‬ؤثشتش سا پیذا ً‪ٜٜ‬ذ؛ دس ػبخت٘ب‪١ٙ‬دب دس اثدش ُزؿد‬
‫صٗب‪ ٝ ٙ‬ثب دس ‪ٛ‬ظش ُشكت‪ ٚ‬داد‪١ ٟ‬بی ا‪ٛ‬شطی‪ ،‬ث‪٢‬ی‪٠ٜ‬تشی‪ ٚ‬ثش‪ٛ‬بٗ‪٠‬ی ا‪ٛ‬شطی سا ثشای ػبخت٘ب‪ ٙ‬ت‪ٜ‬ظیٖ ً‪ٜٜ‬ذ؛ دس ‪ٛ‬دشٕ اكدضاس ‪١‬دبی ؿخلدی‪ ،‬ثدب ت‪ ٞ‬د‪ ٠‬ثد‪٠‬‬
‫ػٔیو‪٠‬تب‪ ،ٙ‬ثش‪ٛ‬بٗ‪٠‬ی ٗ‪ٞ‬سد ‪ٛ‬ظش سا ثشایتب‪ ٙ‬پیـ‪٢ٜ‬بد د‪ٜ١‬ذ‪ .‬دس ‪ٝ‬اهغ ثب ٗ‪ٞ‬كوی دس آٗ‪ٞ‬صؽ كحیح ث‪ ٠‬سایب‪١٠ٛ‬دب‪ ،‬دس‪ٝ‬اص‪١ ٟ‬دبی ذیدذی اص ص‪ٛ‬دذُی ثدشای‬
‫ا‪ٛ‬ؼب‪١ٙ‬ب‪ ،‬ثبص خ‪ٞ‬ا‪١‬ذ ؿذ‪٘١ .‬چ‪ٜ‬ی‪ ٚ‬پیـشك ث‪٢‬تشی دس صٗی‪٠ٜ‬ی آِ‪ٞ‬سیتٖ‪١‬بی تجضی‪ ٝ ٠‬تحٔیْ اًالػبت‪ ،‬ث‪ٗ ٠‬ب ً٘ي خ‪ٞ‬ا‪١‬ذ ًدشد تدب ت‪ٞ‬ا‪ٛ‬دبیی‪١‬دبی‬
‫ا‪ٛ‬ؼب‪( ٙ‬یب حتی ٗحذ‪ٝ‬دی ‪١‬بی آ‪ ٙ‬سا!) ث‪٢‬تش دسیبثیٖ‪.‬‬

‫دس حبّ حبهش‪ٗ ،‬ب دهیوبً ‪٘ٛ‬یدا‪ٛ‬یٖ چِ‪ ٠ٛٞ‬ثبیذ سایب‪١٠ٛ‬ب سا ثش‪ٛ‬بٗ‪ ٠‬سیضی ً‪ٜ‬یٖ تب ث‪ ٠‬خ‪ٞ‬ثی ا‪ٛ‬ؼب‪١ٙ‬ب یبد ثِیش‪ٛ‬ذ‪١ .‬ش چ‪ٜ‬ذ ًد‪ ٠‬س‪ٝ‬ؽ‪١‬دبیی ًد‪ ٠‬تدبً‪ٜٙٞ‬‬
‫ًـق ؿذ‪ٟ‬ا‪ٛ‬ذ‪ ،‬ثشای ا‪١‬ذاكی خبف‪ ،‬ثؼیبس ٗ‪ٞ‬ثش ػْ٘ ٗیً‪ٜٜ‬ذ اٗب ثشای ت٘بٗی ا‪١‬ذاف ٗ‪ٜ‬بػت ‪ٛ‬یؼت‪ٜ‬ذ‪ .‬ثشای ٗثبّ دس ًب‪ٝ‬ؽ اًالػبت‪ ، 1‬اػدتلبد‪ ٟ‬اص‬
‫آِ‪ٞ‬سیتٖ‪١‬بی یبدد‪١‬ی ث‪ٗ ٠‬بؿی‪ ،ٚ‬ثؼیبس ٗتذا‪ ّٝ‬اػ ‪ .‬حتی دس صٗی‪١٠ٜ‬بیی ثب داد‪١ٟ‬ب ػش ‪ً ٝ‬بس داس‪ٛ‬ذ‪ ،‬ای‪ ٚ‬آِ‪ٞ‬سیتٖ‪١‬ب ثؼیبس ثیؾ اص حذ ا‪ٛ‬تظدبس ػ٘دْ‬
‫ًشد‪ٞ ٝ ٟ‬اة داد‪ٟ‬ا‪ٛ‬ذ‪ .‬ث‪ ٠‬ػ‪ٜٞ‬ا‪ٗ ٙ‬ثبّ دس ٗؼبئٔی ٗب‪ٜٛ‬ذ ؿ‪ٜ‬بػبیی ُلتبس‪ ، 2‬آِ‪ٞ‬سیتٖ‪١‬بی ٗجت‪ٜ‬ی ثش یبدُیشی ٗبؿدی‪ ،ٚ‬ثؼدیبس ث‪٢‬تدش اص ػدبیش س‪ٝ‬ؽ‪١‬دب‪،‬‬
‫‪ٞ‬اة داد‪ٟ‬ا‪ٛ‬ذ‪ .‬ظب‪١‬شاً ث‪ٛ ٠‬ظش ٗیسػذ دا‪ٛ‬ؾ ٗب اص سایب‪١٠ٛ‬ب‪ ،‬سكت‪ ٠‬سكت‪ ،٠‬ث‪ ٠‬ثٔ‪ٞ‬ؽ ٗیسػذ‪ .‬ث‪ ٠‬شات ٗیت‪ٞ‬ا‪ُ ٙ‬ل ‪ٗ ،‬جحث یبد د‪١‬ی ث‪ٗ ٠‬بؿدی‪ٛ ،ٚ‬وـدی‬
‫ث‪ ٠‬ؿذت پشس‪ َٛ‬دس صٗی‪٠ٜ‬ی ػٔ‪ً ٕٞ‬بٗپی‪ٞ‬تش ‪ ٝ‬تٌ‪ٜٞٓٞ‬طی ًبٗپی‪ٞ‬تشی ثبصی ٗیً‪ٜ‬ذ‪.‬‬

‫دػتب‪ٝ‬سد‪١‬بیی دس ای‪ ٚ‬صٗی‪ ٠ٜ‬ثذػ آٗذ‪ ٟ‬اػ ‪ :‬ثش‪ٛ‬بٗ‪١٠‬بیی ‪ٞٛ‬ؿت‪ ٠‬ؿذ‪ٟ‬ا‪ٛ‬ذ ً‪ ٠‬یبد ٗدیُیش‪ٛ‬دذ ًد‪ ٠‬كدذای ًٔ٘دبت سا تـدخیق د‪ٜ١‬دذ ‪(Waibel‬‬
‫)‪ ،1989; Lee 1989‬هشیت ث‪٢‬ج‪ٞ‬د ثی٘بسا‪ ٙ‬راتآشی‪ ٠‬سا پیؾ ثی‪ٜ‬ی ً‪ٜٜ‬ذ )‪ً ،(Cooper 1997‬ال‪ ٟ‬ثشداسی ثب ًدبست اػتجدبسی سا تـدخیق‬
‫د‪ٜ١‬ذ‪ ،‬ات‪ٗٞ‬جیْ‪١‬ب سا دس ثضسُشا‪١ ٟ‬ذای ً‪ٜٜ‬ذ )‪ ٝ (Pomerleau 1989‬ثبصی‪١‬بیی ٗثْ تخد ‪ٛ‬دشد‪ 3‬سا دس حدذ ا‪ٛ‬ؼدب‪١ٙ‬دبی ٗدب‪١‬ش ثدبصی ً‪ٜٜ‬دذ‬

‫‪1‬‬
‫‪Data Mining‬‬
‫‪2‬‬
‫‪Speech Recognition‬‬
‫‪3‬‬
‫‪Backgammon‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪2‬‬

‫)‪ٛ .(Tesauro 1992,1995‬تیج‪١ ٠‬بی تئ‪ٞ‬سیای ثذػ آٗذ‪ ٠ً ٟ‬س‪ٝ‬اثي پبی‪ ٠‬ای ثدی‪ ٚ‬تؼدذاد ‪ٛٞ٘ٛ‬د‪١ ٠‬دبی آٗ‪ٞ‬صؿدی ٗـدب‪١‬ذ‪ ٟ‬ؿدذ‪ ٝ ٟ‬تؼدذاد‬
‫كشهی‪١ ٠‬بی ٌٗ٘‪ ٝ ٚ‬اٗیذ ٗیضا‪ ٙ‬خٌب دس كشهی‪١٠‬ب سا ٗـخق ٗیً‪ٜٜ‬ذ‪ .‬آدٗی دس ػلش حبهش ًٖ ًٖ ثد‪ٗ ٠‬دذّ‪١‬دبی ا‪ٓٝ‬ید‪٠‬ی یدبدُیشی ا‪ٛ‬ؼدب‪ٝ ٙ‬‬
‫حی‪ٞ‬ا‪ ٙ‬پی ٗیثشد ‪ ًٖ ًٖ ٝ‬ساثٌ‪٠‬ی آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ًبٗپی‪ٞ‬تشی سا ثب ای‪ٗ ٚ‬ذّ‪١‬ب پیدذا ٗدیً‪ٜ‬دذ ;‪(Lair 1986; Anderson 1991‬‬
‫)‪ .Qin 1992; Chi and Bassock 1989; Ahn and Brewer 1993‬دس ػْ٘ ‪ٛ‬یدض‪ ،‬دس د‪١‬د‪١ ٠‬دبی اخیدش آِد‪ٞ‬سیتٖ‪١‬دب‪ ،‬تئد‪ٞ‬سی ‪ٝ‬‬
‫تحویوبت ثش س‪ٝ‬ی ػیؼتٖ‪١‬بی صیؼتی یبدُیشی پیـشك هبثْ ت‪٢ ٞ‬ی ًشد‪ٟ‬ا‪ٛ‬ذ‪ .‬خالك‪٠‬ی تؼذاد ثؼیبسی اص پش‪ٝ‬ط‪١ ٟ‬بی یبدُیشی ٗبؿدی‪ ٚ‬دس دذ‪ّٝ‬‬
‫‪ 1.1‬آٗذ‪ ٟ‬اػ ‪ً Rumelhart (1994) ٝ Langley and Simon (1995) .‬بسثشد ‪١‬بی دیِشی سا دس یبدُیشی ٗبؿی‪ ٚ‬تحوین ًشد‪ٛ‬ذ‪.‬‬

‫ٓزا دس ای‪ٞٛ ٚ‬ؿت‪ٗ ٠‬ب ػؼی خ‪ٞ‬ا‪١‬یٖ ًشد‪ٗ ،‬جبحث ‪ ،‬آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ‪ٛ ،‬تبیج ‪ٛ‬ظشی ‪ً ٝ‬بسثشد ‪١‬بی آ‪١ٙ‬ب سا ٗ‪ٞ‬سد ثشسػی هدشاس د‪١‬دیٖ‪ .‬ثد‪ ٠‬دٓیدْ‬
‫‪ٝ‬یظُی راتی ای‪ٗ ٚ‬جحث دس استجبى آ‪ ٙ‬ثب سؿت‪١٠‬ب ‪ ٝ‬صٗی‪١ ٠ٜ‬بی ُ‪ٛٞ‬بُ‪ٗ ،ٙٞ‬ب‪ٜٛ‬ذ ٗجبحث ‪ٞ١‬ؽ ٗل‪ٜٞ‬ػی‪ ،‬آٗبس ‪ ٝ‬احت٘بالت‪ٜ١ ،‬ذػ‪ٗ ٠‬حبػجبتی‪ ،‬تئ‪ٞ‬سی‬
‫ً‪ٜ‬تشّ‪،‬تئ‪ٞ‬سی اًالػبت‪ ،‬كٔؼل‪ ،٠‬س‪ٝ‬ا‪ ٙ‬ؿ‪ٜ‬بػی‪ ،‬ػلت ؿ‪ٜ‬بػی ‪١ ، ... ٝ‬ش ب ً‪ ٠‬الصٕ ثبؿذ‪ٗ ،‬جبحث سا دس حذ ‪ٛ‬یبص ثشسػی خد‪ٞ‬ا‪١‬یٖ ًدشد‪ .‬دذ‪1.2 ّٝ‬‬
‫ایذ‪١ ٟ‬بی اكٔی ً‪ ٠‬یبدد‪١‬ی ث‪ٗ ٠‬بؿی‪ ٚ‬ثب ػٔ‪ٗ ٕٞ‬ختٔق دیِش داسد سا ث‪ ٠‬ك‪ٞ‬ست خالك‪ ٠‬ثیب‪ً ٙ‬شد‪ ٟ‬اػ ‪ .‬اص آ‪ٛ‬جبیی ً‪١ ٠‬دذف اص اید‪ً ٚ‬تدبة ثٌدبس‬
‫ُیشی ‪ٛ‬تیج‪١ ٠‬بی ثذػ آٗذ‪ ٟ‬اص ای‪ ٚ‬تحویوبت اػ ‪ ،‬الصٕ ‪ٛ‬یؼ خ‪ٞ‬ا‪ٜٛ‬ذ‪ ٟ‬دس ای‪ ٚ‬صٗی‪١٠ٜ‬ب حشك‪ ٠‬ای ثبؿذ‪ٌٛ .‬ت‪١ ٠‬بی ًٔیذی ای‪ ٚ‬صٗی‪١٠ٜ‬ب ٗؼ٘‪ٞ‬الً ثب‬
‫صثب‪ٛ‬ی ػبد‪ ٟ‬ثیب‪ ٙ‬ؿذ‪ ٟ‬اػ ‪٘ ٝ‬الت ‪ ٝ‬ػجبسات ‪ٛ‬ب آؿ‪ٜ‬ب ‪ٛ‬یض تؼشیق خ‪ٞ‬ا‪ٜ١‬ذ ؿذ‪.‬‬

‫‪1‬‬
‫‪ 1.1‬مسائل یادگیری خوش وضع‬
‫ثیبییذ ٌٗبٓؼ‪٠‬ی یبدُیشی ٗبؿی‪ ٚ‬سا ثب ٗؼشكی چ‪ٜ‬ذ ػْ٘ یبدُیشی ؿش‪ٝ‬ع ً‪ٜ‬یٖ‪ .‬اثتذا ٗل‪ ٕٞ٢‬یبدُیشی‪ 2‬سا ث‪ ٠‬كشٗی تؼشیق ٗیً‪ٜ‬یٖ ً‪١ ٠‬شُ‪ ٠ٛٞ‬ثش‪ٛ‬بٗ‪٠‬‬
‫ًبٗپی‪ٞ‬تشی ً‪ً ٠‬بساییاؽ دس ًبس خبكی ثب تجشث‪ ٠‬ث‪٢‬ج‪ٞ‬د یبثذ سا دس ثش ُیشد‪ .‬ث‪ ٠‬ػجبست دهینتش‪،‬‬

‫تعریف‪ :‬صٗب‪ٛ‬ی ُلت‪ٗ ٠‬یؿ‪ٞ‬د ً‪ ٠‬یي ثش‪ٛ‬بٗ‪٠‬ی ًبٗپی‪ٞ‬تشی اص تجشث‪٠‬ی‪ E 3‬دس ٗ‪ٞ‬سد ًبس‪ T 4‬ثش حؼت ٗؼیبس ًبسایی‪ P 5‬یبدُیشی داسد ً‪ً ٠‬بساییاؽ‬
‫ثؼذ اص تجشث‪٠‬ی ‪ E‬ثشای ًبس ‪ T‬ث‪٢‬ج‪ٞ‬د ثیبثذ‪.‬‬

‫ثشای ٗثبّ‪ ،‬ثش‪ٛ‬بٗ‪٠‬ی ًبٗپی‪ٞ‬تشیای ً‪ ٠‬یبد ٗیُیشد تب چٌشص‪ 6‬ثبصی ً‪ٜ‬ذ ٗیت‪ٞ‬ا‪ٛ‬ذ ًبسایی خ‪ٞ‬د سا ً‪ ٠‬ثب "ت‪ٞ‬ا‪ٛ‬بیی ثدشد‪ٗ "ٙ‬ؼٔد‪ٗ ٕٞ‬دیُدشدد‪ ،‬اػ٘دبّ‬
‫ٌٗ٘‪ ٚ‬ثبصی چٌشص سا اػ٘بّ ٌٗ٘‪ ٝ ٚ‬تجشث‪ ٠‬ای ً‪ ٠‬اص ثبصی دس ٗوبثْ خ‪ٞ‬دؽ ثذػ ٗیآ‪ٝ‬سد سا تجشث‪ ٠‬دس ‪ٛ‬ظش ُشك ‪ .‬دس ًْ‪ ،‬ثشای ای‪ٗ ٠ٌٜ‬ؼدئٔ‪،٠‬‬
‫ٗؼئٔ‪ ٠‬ای خ‪ٞ‬ؽ ‪ٝ‬هغ ثبؿذ‪ ،‬ثبیذ ‪ٝ‬یظُی‪١‬بی س‪ٝ‬ثش‪ ٝ‬سا ثشای آ‪ٗ ٙ‬ؼٔ‪ًٜ ٕٞ‬یٖ‪ٗ :‬ج٘‪ٞ‬ػ‪٠‬ی اػ٘بّ ٌٗ٘د‪ً ،ٚ‬دبساییای ًد‪ ٠‬ثبیدذ ث‪٢‬جد‪ٞ‬د یبثدذ ‪ٜٗ ٝ‬جدغ‬
‫تجشثیبت‪.‬‬

‫مسئلٍی یبدگیری ببزی چکرز‪:‬‬

‫ػْ٘ ‪ :T‬ثبصی ًشد‪ ٙ‬چٌشص‪.‬‬ ‫‪‬‬

‫‪1‬‬
‫‪well-posed‬‬
‫‪2‬‬
‫‪learning‬‬
‫‪3‬‬
‫‪experience‬‬
‫‪4‬‬
‫‪task‬‬
‫‪5‬‬
‫‪performance‬‬
‫‪6‬‬
‫‪checkers‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪3‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫ًبسایی ‪ :P‬دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬دس ٗوبثْ حشیق‪.‬‬ ‫‪‬‬

‫تجشثیبت آٗ‪ٞ‬صؿی ‪ :E‬ثبصی ت٘شی‪ٜ‬ی دس ٗوبثْ خ‪ٞ‬دؽ‪.‬‬ ‫‪‬‬
‫‪1‬‬
‫ث‪٘١ ٠‬ی‪ٜٞٗ ٚ‬اّ ٗیت‪ٞ‬ا‪ٗ ٙ‬ؼئٔ‪١ ٠‬بی یبدُیشی خ‪ٞ‬ؽ ‪ٝ‬هغ ثؼیبسی سا ‪ٛ‬ظیش ٗؼئٔ‪١٠‬بیی چ‪ ٙٞ‬یبدُیشی تـخیق دػتخي ‪ ٝ‬یدب یدبدُیشی ‪١‬دذای‬
‫یي ات‪ٗٞ‬جیْ ٗـخق ًشد‪.‬‬

‫مسئلٍی یبدگیری تشخیص دستخط‪:‬‬

‫ػْ٘ ‪ :T‬تـخیق ‪ ٝ‬دػت‪ ٠‬ث‪ٜ‬ذی ًٔ٘بت دػ ‪ٞٛ‬یغ دس تلب‪ٝ‬یش‬ ‫‪‬‬

‫ًبسایی ‪ :P‬دسكذ ًٔ٘بتی ً‪ ٠‬دسػ دػت‪ ٠‬ث‪ٜ‬ذی ؿذ‪ٟ‬ا‪ٛ‬ذ‬ ‫‪‬‬
‫تجشثیبت آٗ‪ٞ‬صؿی ‪ :E‬پبیِب‪ ٟ‬داد‪ ٟ‬ای اص ًٔ٘بت دػ ‪ٞٛ‬یغ ثب دػت‪ ٠‬ث‪ٜ‬ذی‪١‬بیـب‪.ٙ‬‬ ‫‪‬‬
‫مسئلٍی یبدگیری َذایت یک اتًمبیل‪:‬‬

‫ػْ٘ ‪١ :T‬ذای ات‪ٗٞ‬جیْ دس آصاد سا‪ ٟ‬ثب اػتلبد‪ ٟ‬اص د‪ٝ‬سثی‪١ٚ‬بی ‪ٛ‬لت ؿذ‪ٟ‬‬ ‫‪‬‬
‫ًبسایی ‪ٗ :P‬یضا‪ًٓٞ ٙ‬ی ً‪ ٠‬ثذ‪ ٙٝ‬خٌب ات‪ٗٞ‬جیْ ‪١‬ذای ؿذ‪( ٟ‬خٌب ٌٗ٘‪ ٚ‬اػ ت‪ٞ‬ػي ػبْٗ ا‪ٛ‬ؼب‪ٛ‬ی تـخیق داد‪ ٟ‬ؿ‪ٞ‬د)‬ ‫‪‬‬
‫تجشثیبت آٗ‪ٞ‬صؿی ‪ٗ :E‬ج٘‪ٞ‬ػ‪ ٠‬ای اص دػت‪ٞ‬س ‪١‬بی ‪١‬ذای ‪ ٝ‬ػٌغ‪١‬بی ٗشث‪٠ًٞ‬ی د‪ٝ‬سثی‪١ٚ‬ب دس صٗب‪١ ٙ‬ذای ات‪ٗٞ‬جیْ ت‪ٞ‬ػي ا‪ٛ‬ؼب‪ٙ‬‬ ‫‪‬‬
‫‪2‬‬
‫یبدُیشی تـخیق ك‪ٞ‬ت ًٔ٘بت‬ ‫‪‬‬
‫‪3‬‬
‫توشیجبً ‪٠٘١‬ی ػیؼتٖ‪١‬بی ٗ‪ٞ‬كن تـخیق ُلتبس اص یبدُیشی ٗبؿی‪ ٚ‬ث‪ٛ ٠‬ح‪ٞ‬ی اػتلبد‪ٗ ٟ‬یً‪ٜٜ‬ذ‪ .‬ثشای ٗثبّ‪ ،‬ػیؼتٖ ‪(Lee Sphinx‬‬
‫)‪ 1989‬اػتشاتظی تـخیق كذا‪١‬بی ا‪ٓٝ‬ی‪ً٘ٔ ٝ 4٠‬بت سا اص ػیِ‪ٜ‬بّ‪١‬بی ٗـب‪١‬ذ‪ ٟ‬ؿذ‪ ٟ‬یبد ٗیُیشد‪ٗ .‬تدذ ‪١‬دبی ؿدجٌ‪١ ٠‬دبی ػلدجی‬
‫)‪ٗ ٝ (Waibel 1989‬تذ ‪١‬بی یبدُیشی ٗذّ‪١‬بی پ‪٢ٜ‬ب‪ٗ ٙ‬بسً‪ (Lee 1989) ٝٞ‬ثشای تـییش ػیؼتٖ ثشای حؼبع ثد‪ٞ‬د‪ ٙ‬ثد‪ ٠‬اكدشاد‬
‫ٗختٔق‪ ،‬كش‪ٓ َٜ١‬ـبت ٗختٔق‪ٗ ،‬یٌش‪ٝ‬ك‪١ٙٞ‬بی ٗختٔق‪ ،‬كذا ثب ‪ٞٛ‬یض ‪ٞٗ ... ٝ‬ثش اػ ‪ٗ .‬تذ ‪١‬بی ٗـبث‪٢‬ی ًبسثشد ٗـدبث‪٢‬ی دس ثؼدیبسی اص‬
‫ػیؼتٖ‪١‬بی تلؼیش ػیِ‪ٜ‬بّ‪ 5‬داس‪ٛ‬ذ‪.‬‬
‫یبدُیشی ‪١‬ذای یي ات‪ٗٞ‬جیْ‪.‬‬ ‫‪‬‬
‫‪6‬‬
‫ٗتذ ‪١‬بی یبدُیشی ٗبؿی‪ ٚ‬دس آٗ‪ٞ‬صؽ ات‪ٗٞ‬جیْ‪١‬بی خ‪ٞ‬دًبس دس ا‪ٞٛ‬اع بد‪١ٟ‬ب ‪ ٝ‬خیبثب‪١ٙ‬ب ث‪ ٠‬دسػتی ث‪ً ٠‬بس سكت‪٠‬ا‪ٛ‬ذ‪ .‬ثشای ٗثدبّ‪ ،‬ػیؼدتٖ‬
‫‪ (Pomereau 1989) ALVINN‬ثشای ‪١‬ذای ات‪ٗٞ‬جیْ دس ػشػ ‪ٗ 77‬بیْ ثش ػبػ ‪ٗ 97 ًّٞ ٝ‬بیدْ دس ٗیدب‪ ٙ‬ات‪ٗٞ‬جیدْ‪١‬دبی‬
‫دیِش ث‪ ٠‬دسػتی ػْ٘ ًشد‪ ٟ‬اػ ‪ .‬تٌ‪ٜ‬یي‪١‬بی ٗـبث‪٢‬ی ًبسثشد‪١‬بی احت٘بٓی دس ثؼیبسی اص ٗؼبئْ حؼِشی‪ 7‬داس‪ٛ‬ذ‪.‬‬
‫یبدُیشی دػت‪ ٠‬ث‪ٜ‬ذی ػبختبس ‪١‬بی ‪ٛ‬ج‪ٗٞ‬ی ذیذ‪.‬‬ ‫‪‬‬
‫یبدُیشی ٗبؿی‪ ٚ‬دس پبیِب‪ ٟ‬داد‪١ ٟ‬بی ثضسٍ ٗختٔلی ثشای یبدُیشی ‪ٛ‬ظٖ‪١‬بی ًٔی ث‪ً ٠‬بس سكت‪٠‬ا‪ٛ‬ذ‪ .‬ثدشای ٗثدبّ‪ ،‬آِد‪ٞ‬سیتٖ‪١‬دبی دسخد‬
‫یبدُیشی دس ‪ٛ‬بػب‪ 1‬ثشای یبدُیشی چِ‪ِٛٞ‬ی دػت‪ ٠‬ث‪ٜ‬ذی اؿیبء اػد٘ب‪ٛ‬ی دس تحویدن ‪(second Palomar Observatory Sky‬‬

‫‪1‬‬
‫‪recogonize handwritten words‬‬
‫‪2‬‬
‫‪spoken words‬‬
‫‪3‬‬
‫‪speech recognition‬‬
‫‪4‬‬
‫‪phonemes‬‬
‫‪5‬‬
‫‪signal-interpretation‬‬
‫‪6‬‬
‫‪computer-controlled‬‬
‫‪7‬‬
‫‪sensor-based‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪4‬‬

‫)‪ Survey 1995‬ث‪ً ٠‬بس سكت‪٠‬ا‪ٛ‬ذ‪.‬‬

‫یبدُیشی ثبصی‪١‬بی ًٔ٘بتی ‪ٛ‬ظیش تخت‪ٛ ٠‬شد‬ ‫‪‬‬
‫ٗ‪ٞ‬كنتشی‪ ٚ‬ثش‪ٛ‬بٗ‪١ ٠‬بی ثبصی‪١‬بیی ٗثْ تخت‪ٛ ٠‬شد ثش پبی‪٠‬ی آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ٗبؿی‪ٞٛ ٚ‬ؿت‪ ٠‬ؿذ‪ٟ‬ا‪ٛ‬ذ‪ .‬ثشای ٗثبّ‪ ،‬ث‪٢‬تدشی‪ ٚ‬ثش‪ٛ‬بٗد‪٠‬ی‬
‫‪٢‬ب‪ ٙ‬ثشای تخت‪ٛ ٠‬شد‪ (Tesauro 1992, 1995) TD-Gammon ،‬اػتشاتظی ثبصی سا ثب یي ٗیٔید‪ ٙٞ‬ثدبصی ًدشد‪ ٙ‬دس ٗوبثدْ‬
‫خ‪ٞ‬دؽ یبد ٗیُیشد‪ .‬ای‪ ٚ‬ثش‪ٛ‬بٗ‪ ٖ١ ٠‬اً‪ ٜٙٞ‬دس ٗؼبثوبت ‪٢‬ب‪ٛ‬ی ثب ا‪ٛ‬ؼب‪١ٙ‬ب ٗؼبثو‪ٗ ٠‬ید‪١‬ذ‪ .‬تٌ‪ٜ‬یي‪١‬دبی ٗـدبث‪ ٠‬دس ثؼدیبسی اص ٗؼدبئْ‬
‫ًبسثشدی ً‪ ٠‬دس آ‪١ٙ‬ب كوبی ؼتج‪ ٞ‬ثؼیبس ثضسٍ اػ سا ٗیت‪ٞ‬ا‪ ٙ‬ث‪ً ٠‬بس ثشد‪.‬‬
‫ذ‪ 1.1 ّٝ‬چ‪ٜ‬ذی‪ً ٠ٛٞ٘ٛ ٚ‬بسثشد ٗ‪ٞ‬كن یبدُیشی ٗبؿی‪.ٚ‬‬
‫‪ٞ١‬ؽ ٗل‪ٜٞ‬ػی‬ ‫‪‬‬
‫یبدُیشی ‪٘ٛ‬بیؾ ‪٘ٛ‬بدی ٗلب‪١‬یٖ‪ .‬یبدُیشی ٗبؿی‪ ٚ‬ث‪ِٛ ٠‬ب‪ ٟ‬ؼتج‪ .ٞ‬یبدُیشی ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬س‪ٝ‬ؿی ثشای ث‪٢‬ج‪ٞ‬د حْ ٗؼئٔ‪ .٠‬اػتلبد‪ٟ‬ی ‪٘١‬ضٗب‪ٙ‬‬
‫اص دا‪ٛ‬ؾ هجٔی ‪ ٝ‬داد‪١ ٟ‬بی آٗ‪ٞ‬صؿی ثشای یبدُیشی‪.‬‬
‫ٗتذ ‪١‬بی ثیضی‬ ‫‪‬‬
‫هوی‪٠‬ی ثیض ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬پبی‪٠‬ی ٗحبػج‪٠‬ی احت٘بالت كشهی‪١٠‬ب‪ .‬دػت‪ ٠‬ث‪ٜ‬ذی ً‪ٜٜ‬ذ‪ٟ‬ی ػبد‪ٟ‬ی ثیض‪ .‬آِ‪ٞ‬سیتٖ‪١‬بی تخ٘ی‪ٗ ٚ‬وذاس ٗتـیدش ‪١‬دبی‬
‫‪ٛ‬بٗؼٔ‪.ٕٞ‬‬
‫‪2‬‬
‫تئ‪ٞ‬سی پیچیذُی ٗحبػجبتی‬ ‫‪‬‬
‫ٗحذ‪ٝ‬دی ‪١‬بی تئ‪ٞ‬سی ٗ‪ٞ ٞ‬د ثش س‪ٝ‬ی پیچیذُی ٗؼبئْ یبدُیشی ٗختٔق‪ ٠ً ،‬دس ؿبٓت پیچیذُی ٗحبػجبتی‪ ،‬تؼذاد ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی‪،‬‬
‫تؼذاد خٌبی هبثْ تحْ٘ ‪ ... ٝ‬ثیب‪ٗ ٙ‬یؿ‪ٞ‬د‪.‬‬
‫‪3‬‬
‫تئ‪ٞ‬سی ً‪ٜ‬تشّ (پیؾ ثی‪ٜ‬ی)‬ ‫‪‬‬
‫س‪ٝ‬ی‪١٠‬بیی‪ ٠ً 4‬یبد ٗیُیشد تب ٗوبدیش اص پیؾ تؼیی‪ ٚ‬ؿذ‪ ٟ‬ای سا ث‪٢‬ی‪ٗ ٝ ٠ٜ‬شحٔ‪٠‬ی ثؼذی كشآی‪ٜ‬ذ ً‪ًٜ ٠‬تشّ ٗیؿ‪ٞ‬د سا پیؾ ثی‪ٜ‬ی ً‪ٜ‬ذ‪.‬‬
‫‪5‬‬
‫تئ‪ٞ‬سی اًالػبت‬ ‫‪‬‬
‫ٗؼیبس آ‪ٛ‬تش‪ٝ‬پی ‪ٗ ٝ‬ل‪ ٕٞ٢‬اًالػبت‪ .‬س‪ٝ‬ؽ ً‪ٞ‬تب‪ٟ‬تشی‪ ٚ‬ت‪ٞ‬هیح دس یبدُیشی‪ً .‬ذ ػبصی ث‪٢‬ی‪ ٝ ٠ٜ‬ساثٌ‪٠‬ی آ‪ ٙ‬ثب ػشی آٗ‪ٞ‬صؿدی ث‪٢‬ی‪ٜ‬د‪ ٠‬ثدشای‬
‫ت‪ٞ‬كیق یي كشهی‪.٠‬‬
‫كٔؼل‪٠‬‬ ‫‪‬‬
‫تیؾ ‪ ٠ً ،occam‬ت‪ٞ‬كی‪ٗ ٠‬یً‪ٜ‬ذ ث‪٢‬تشی‪ ٚ‬كشهی‪ ٠‬ػبد‪ٟ‬تشی‪ ٚ‬آ‪١ٙ‬بػ ‪ .‬ثشسػی ت‪ ٞ‬ی‪ ٠‬ثشای تؼ٘یٖ كدشای داد‪١ ٟ‬دبی آٗ‪ٞ‬صؿدی ٗـدب‪١‬ذ‪ٟ‬‬
‫ؿذ‪.ٟ‬‬
‫س‪ٝ‬ا‪ٛ‬ـ‪ٜ‬بػی ‪ ٝ‬ػلت ؿ‪ٜ‬بػی‬ ‫‪‬‬
‫هب‪ ٙٞٛ‬هذست ت٘شی‪ٗ ٠ً ، 6ٚ‬یُ‪ٞ‬یذ ً‪ ٠‬ػشػ ػٌغآؼْ٘ ا‪ٛ‬ؼب‪ ٙ‬ثش اثش ت٘شی‪ ٚ‬ثدش س‪ٝ‬ی ٗؼدبئْ ٗختٔدق یدبدُیشی ث‪٢‬جد‪ٞ‬د ٗدییبثدذ‪.‬‬
‫تحویوبت ػلت ؿ‪ٜ‬بػی پبی‪٠‬ی ٗذّ‪١‬بی ؿجٌ‪١ ٠‬بی ػلجی ٗل‪ٜٞ‬ػی دس یبدُیشی سا تـٌیْ ٗید‪ٜ١‬ذ‪.‬‬
‫آٗبس‬ ‫‪‬‬

‫‪1‬‬
‫‪NASA‬‬
‫‪2‬‬
‫‪computational complexity theory‬‬
‫‪3‬‬
‫‪control theory‬‬
‫‪4‬‬
‫‪Procedures‬‬
‫‪5‬‬
‫‪information theory‬‬
‫‪6‬‬
‫‪power low of practice‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪5‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫ت‪ٞ‬كیق ‪ٝ‬یظُی‪١‬بی خٌب (ٗثْ‪ ،‬ثبیبع ‪ٝ ٝ‬اسیب‪ٛ‬غ) ً‪ٞٗ ٠‬هغ تخ٘ی‪ ٚ‬ده یي كشهی‪ ٠‬ثش اػبع ‪ ٠ٛٞ٘ٛ‬داد‪١ ٟ‬بی ٗحذ‪ٝ‬د ا‪ٛ‬جبٕ ٗیُیشد‪.‬‬
‫ثبص‪١ ٟ‬بی اً٘ی‪ٜ‬ب‪ ،ٙ‬آصٗ‪١ٙٞ‬بی آٗبسی‪.‬‬
‫ذ‪ 1.2 ّٝ‬ثؼوی سؿت‪١ ٠‬بی ػٔ٘ی ‪ ٠ٛٞ٘ٛ ٝ‬ای اص تأثیشؿب‪ ٙ‬دس یبدُیشی ٗبؿی‪.ٚ‬‬
‫تؼشیق ٗب اص یبدُیشی ث‪ ٠‬ا‪ٛ‬ذاص‪ٟ‬ی ًبكی ًٔی اػ تب ت٘بٗی ًبس‪١‬بیی ً‪ ٠‬ث‪ًٞ ٠‬س ًٔی "یبدُیشی" ‪ٛ‬بٗیذ‪ٗ ٟ‬یؿ‪ٞ‬د سا دس ثش ثِیدشد‪ .‬اید‪ ٚ‬تؼشیدق ثد‪٠‬‬
‫ا‪ٛ‬ذاص‪ٟ‬ی ًبكی ‪ٛ‬یض ًٔی ‪١‬ؼ تب ثش‪ٛ‬بٗ‪١ ٠‬بی ًبٗپی‪ٞ‬تشیای ً‪ً ٠‬بساییؿب‪ ٙ‬ثب تجشث‪ ٠‬ثیـتش ٗیؿ‪ٞ‬د سا دس ثش ثِیشد‪ .‬ثشای ٗثبّ‪ ،‬یي پبیِب‪ ٟ‬داد‪ً ٟ‬د‪٠‬‬
‫ث‪ً ٠‬بسثشا‪ٛ‬ؾ ا بص‪ٗ ٟ‬ید‪١‬ذ تب داد‪١ٟ‬ب سا تـییش د‪ٜ١‬ذ ‪ٛ‬یض ثب ای‪ ٚ‬تؼشیق ٗب اص ػیؼتٖ یبدُیش تٌبثن داسد‪ :‬صیشا ً‪ً ٠‬بسایی آ‪ٛ ٙ‬یض ثب تجشث‪ ٠‬ای ً‪ ٠‬حبكْ‬
‫تـییش داد‪١ ٟ‬بی پبیِب‪ ٟ‬داد‪ ٟ‬اكضایؾ ٗییبثذ‪ .‬ثذ‪ِٛ ٙٝ‬شا‪ٛ‬ی دس ؿ٘‪ ّٞ‬ثیؾ اص حذ ای‪ ٚ‬تؼشیق ٗیت‪ٞ‬ا‪ ٙ‬ثش‪ٛ‬بٗ‪١ ٠‬بی یبدُیش سا ثش‪ٛ‬بٗ‪١٠‬بیی دا‪ٛ‬ؼ ً‪ ٠‬ثش‬
‫اثش تجشثیبت پیـشك ٗیً‪ٜٜ‬ذ‪ .‬دس ای‪ٜ‬جب ‪١‬ذف اص ثحث ثشسػی ٗل‪٠ً٘ٔ ٕٞ٢‬ی "یبدُیشی" ‪ٛ‬یؼ ثٌٔ‪١ ٠‬ذف دس ای‪ٜ‬جب تؼشیدق دهیدن دػدت‪ ٠‬ای اص‬
‫ٗؼبئْ اػ ً‪ ٠‬ث‪ٛ ٠‬ح‪ٞ‬ی ث‪ ٠‬یبدُیشی ٗشث‪ٞ‬ى ٗیؿ‪ٛٞ‬ذ‪ .‬ثشای ثشسػی آِ‪ٞ‬سیتٖ‪١‬بی حْ چ‪ٜ‬ی‪ٗ ٚ‬ؼدبئٔی ‪ ٝ‬دسى ث‪٢‬تدش ٗجدب‪ٛ‬ی ػدبختبسی ٗؼدبئْ ‪ٝ‬‬
‫كشای‪ٜ‬ذ ‪١‬بی یبدُیشی ث‪ ٠‬چ‪ٜ‬ی‪ ٚ‬تؼشیق دهیوی ‪ٛ‬یبص داسیٖ‪.‬‬

‫‪ 1.1‬طراحی یک سیستم یادگیری‬

‫ثشای ث‪ ٠‬تل‪ٞ‬یش ًـیذ‪ ٙ‬ثؼوی اص ٗـٌالت ًشاحی ‪ ٝ‬س‪ٝ‬ؽ‪١‬بی یبدُیشی ٗبؿی‪ ٚ‬ثیبییذ ًشاحی ثش‪ٛ‬بٗ‪ ٠‬ای ثشای یبدُیشی ثبصی چٌشص ثب ‪١‬ذف ثبصی‬
‫دس ٗؼبثوبت چٌشص سا ثشسػی ً‪ٜ‬یٖ‪ٝ .‬اهح اػ ً‪ً ٠‬بسایی سا دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬دس ای‪ٗ ٚ‬ؼبثوبت تؼیی‪ٗ ٚ‬یً‪ٜ‬یٖ‪.‬‬

‫‪ 1.2.1‬اوتخاب تجربیات آمًزشی‬

‫ا‪ٓٝ‬ی‪ ٚ‬ا‪ٛ‬تخبة ًشاحی‪ ،‬ا‪ٛ‬تخبة ‪ٞٛ‬ع تجشثیبت آٗ‪ٞ‬صؿی اػ ً‪ ٠‬ا‪ٛ‬تظبس ٗیس‪ٝ‬د ػیؼتٖ ثب آ‪١ٙ‬ب یبد ثِیدشد اػد ‪ .‬ا‪ٛ‬تخدبة ‪ٛ‬د‪ٞ‬ع تجشثیدبت آٗ‪ٞ‬صؿدی‬
‫ٗیت‪ٞ‬ا‪ٛ‬ذ اثش چـٖ ُیشی دس ٗ‪ٞ‬كوی یب ؿٌؼ یبدُیش داؿت‪ ٠‬ثبؿذ‪ .‬یٌی اص ‪ٝ‬یظُی‪١‬بی ٗ‪ ٖ٢‬تجشثیبت آٗ‪ٞ‬صؿی ٗؼتویٖ یب ؿیش ٗؼدتویٖ ثد‪ٞ‬د‪ ٙ‬آ‪ٙ‬‬
‫اػ ‪ .‬ثشای ٗثبّ‪ ،‬دس یبدُیشی ثبصی چٌشص‪ ٌٚ٘ٗ ،‬اػ تجشثیبت آٗ‪ٞ‬صؿی چی‪ٜ‬ؾ ‪١‬بی كلح‪٠‬ی چٌشص ثدب حشًد ٗ‪ٜ‬بػدت ٗشث‪ًٞ‬د‪ ٠‬ثبؿد‪ٜ‬ذ‪ً ،‬د‪٠‬‬
‫‪ ٠ٛٞ٘ٛ‬ای اص تجشثیبت آٗ‪ٞ‬صؿی ٗؼتویٖ اػ ‪ .‬اٗب ٌٗ٘‪ ٚ‬اػ اًالػبت ث‪ًٞ ٠‬س ؿیش ٗؼتویٖ ثبؿذ‪ٗ ،‬ثالً ػشیای اص حشًبت یبدُیش ‪ٛ ٝ‬تیج‪٠‬ی ثبصی‬
‫ثبؿذ‪ .‬دس ای‪ ٚ‬حبٓ ‪ ،‬دسػتی ‪١‬ش حشً خبف دس ای‪ ٚ‬ثبصی ثبیذ ث‪ًٞ ٠‬س ؿیش ٗؼتویٖ اص ای‪ ٚ‬حویو ً‪ٛ ٠‬تیج‪٠‬ی ثبصی ثشد یب ثبخد ثد‪ٞ‬د‪ ٟ‬اػدت‪ٜ‬جبى‬
‫ؿ‪ٞ‬د‪ .‬پغ یبدُیش ثب ٗؼئٔ‪٠‬ی دیِشی‪ ،‬اسصؽ د‪١‬ی‪ 1‬یب تؼیی‪ٗ ٚ‬یضا‪ ٙ‬تأثیش حشًبت دس ‪ٛ‬تیج‪ ٠‬ثبصی ٗ‪ٞ‬ا ‪ ٠‬اػ ‪ٛ .‬ؼدج داد‪ ٙ‬اسصؽ ثد‪ ٠‬حشًدبت ‪ٛ‬یدض‬
‫ٗیت‪ٞ‬ا‪ٛ‬ذ ثؼیبس ػخ ثبؿذ‪ ،‬صیشا ً‪ ٌٚ٘ٗ ٠‬اػ حشًبت اثتذایی ثبصی ثؼیبس ػبٓی ث‪ٞ‬د‪ ٝ ٟ‬اٗب ‪ٛ‬تیج‪٠‬ی ثبصی ثبخ ؿذ‪ ٟ‬اػ ‪ .‬پغ دس حبٓد ًٔدی‬
‫یبدُیشی اص تجشثیبت آٗ‪ٞ‬صؿی ٗؼتویٖ ثؼیبس ػبد‪ ٟ‬تش اص تجشثیبت ؿیش ٗؼتویٖ اػ ‪.‬‬

‫‪ٝ‬یظُی ٗ‪ ٖ٢‬د‪ ٕٝ‬تجشثیبت آٗ‪ٞ‬صؿی دس ‪ ٠‬اختیبس یبدُیش دس ً‪ٜ‬تشّ ػشی‪١‬بی ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی اػ ‪ .‬ثشای ٗثبّ‪ ٌٚ٘ٗ ،‬اػ ‪١ ٠ٛٞ٘ٛ‬دبی اسائد‪٠‬‬
‫ؿذ‪ ٟ‬ث‪ ٠‬یبدُیش ت‪ٞ‬ػي ٗؼٔ٘ی تؼیی‪ ٚ‬ؿ‪ٞ‬د‪ ،‬یؼ‪ٜ‬ی ٗؼٔ٘ی چی‪ٜ‬ؾ ‪١‬بی كلح‪ ٠‬سا ا‪ٛ‬تخبة ًشد‪ ٝ ٟ‬آ‪١ٙ‬ب سا ثب حشً ٗت‪ٜ‬بػجـب‪ ٙ‬ث‪ ٠‬یدبدُیش ثذ‪١‬دذ‪ .‬یدب اص‬
‫ًشف دیِش‪ ،‬یبدُیش كلحبتی سا ً‪ ٠‬ثشایؾ اث‪٢‬بٕ داس‪ٛ‬ذ ث‪ٗ ٠‬ؼٖٔ ثذ‪١‬ذ تب ‪ٝ‬ی حشً ٗت‪ٜ‬بػجؾ سا تؼیی‪ًٜ ٚ‬ذ‪ .‬یب حتی ٌٗ٘‪ ٚ‬اػ یبدُیش ً‪ٜ‬تشٓی ‪ٖ١‬‬
‫ثش چی‪ٜ‬ؾ كلحبت ‪ ٖ١ ٝ‬ث‪ًٞ ٠‬س ؿیش ٗؼتویٖ دػت‪ ٠‬ث‪ٜ‬ذی كلحبت داؿت‪ ٠‬ثبؿذ‪ ،‬ثشای ٗثبّ ٗؼٔ٘ی ‪ٞ ٝ‬د ‪ٛ‬ذاؿت‪ ٠‬ثبؿذ ‪ ٝ‬ثش‪ٛ‬بٗ‪ ٠‬دس ٗوبثدْ خد‪ٞ‬دؽ‬
‫ثبصی چٌشص سا ا‪ٛ‬جبٕ د‪١‬ذ‪ .‬ت‪ ٠ ٞ‬داسیذ ً‪ ٠‬دس ای‪ ٚ‬ك‪ٞ‬ست‪ ،‬یبدُیش ٌٗ٘‪ ٚ‬اػ ا‪ٛ‬تخبة ً‪ٜ‬ذ ً‪ٝ ٠‬هؼی ‪١‬بی ‪ٞٛ‬یی سا ً‪ٜٞ١ ٠‬ص ثب آ‪ٞٗ ٙ‬ا د‪ٛ ٠‬ـدذ‪ ٟ‬سا‬
‫ثشسػی ً‪ٜ‬ذ یب دس ٗوبثْ اػ ‪ٝ‬هؼی ‪١‬بی ُزؿت‪٠‬اؽ سا اٗتحب‪ًٜ ٙ‬ذ تب ٗیضا‪ ٙ‬اٗیذ‪ٝ‬اس ً‪ٜٜ‬ذ‪ ٟ‬ث‪ٞ‬د‪١ ٙ‬ش یي اص ‪ٝ‬هؼی ‪١‬ب سا ٗؼٔ‪ًٜ ٕٞ‬دذ‪ .‬دس كلد‪ّٞ‬‬

‫‪1‬‬
‫‪Credit assignment‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪6‬‬

‫آتی تؼذادی اص تؼشیق ٗؼئٔ‪١ ٠‬بی یبدُیشی ؿبْٗ ٗؼبئٔی ً‪ ٠‬دس آ‪١ ٠ٛٞ٘ٛ ٙ‬بی آٗ‪ٞ‬صؿی ثد‪ً ٠‬د‪ٞ‬س تلدبدكی ‪ ٝ‬خدبس اص ً‪ٜ‬تدشّ یدبدُیش ا‪ٛ‬تخدبة‬
‫ٗیؿ‪ٛٞ‬ذ‪ٗ ،‬ؼبئٔی ً‪ ٠‬یبدُیش ا‪ٞٛ‬اع ٗختٔلی اص آصٗبیؾ سا ث‪ٗ ٠‬ؼٔ٘ی حشك‪ ٠‬ای اسائ‪ٗ ٠‬یً‪ٜ‬ذ ‪ٞ ٝ‬اة سا ‪ٞ‬یب ٗدیؿد‪ٞ‬د‪ٗ ٝ ،‬ؼدبئٔی ًد‪ ٠‬دس آ‪ ٙ‬یدبدُیش‬
‫‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی سا ثب حشً خ‪ٞ‬دًبس دس ٗحیي اًشاف خ‪ٞ‬د ثذػ ٗیآ‪ٝ‬سد سا ثشسػی خ‪ٞ‬ا‪١‬یٖ ًشد‪.‬‬

‫‪ٝ‬یظُی ٗ‪ ٖ٢‬ػ‪ ٕٞ‬تجشثیبت آٗ‪ٞ‬صؿی‪ٗ ،‬یضا‪٘ٛ ٙ‬بی‪ٜ‬ذُی آ‪ ٙ‬اص ت‪ٞ‬صیغ ‪١٠ٛٞ٘ٛ‬بیی اػ ً‪ ٠‬ثشای تؼیی‪ً ٚ‬شد‪ً ٙ‬بسایی ‪ P‬ػیؼتٖ ‪٢ٛ‬بیی اػتلبد‪ٗ ٟ‬یؿ‪ٞ‬د‪.‬‬
‫دس ًْ‪ ،‬صٗب‪ٛ‬ی ً‪١ ٠ٛٞ٘ٛ ٠‬بی آٗ‪ٞ‬صؿی ت‪ٞ‬صیؼی ٗـبث‪١ ٠ٛٞ٘ٛ ٠‬بی تؼ داس‪ٛ‬ذ یبدُیشی هبثْ اػت٘بد تش اػ ‪ .‬دس ٗؼئٔ‪٠‬ی یبدُیشی ثبصی چٌدشص ٗدب‪،‬‬
‫ٗؼیبس ًبسایی ‪ P‬دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬دس ٗؼبثوبت ‪٢‬ب‪ٛ‬ی اػ ‪ .‬اُش تجشثیبت آٗ‪ٞ‬صؿی ‪ E‬كوي اص ثبصی ٗوبثْ خ‪ٞ‬د ػیؼتٖ ثذػ آٗذ‪ ٟ‬ثبؿدذ‪ ،‬اید‪ٚ‬‬
‫خٌش ث‪ٝ ٠‬ه‪ٞ‬ح ٗ‪ٞ ٞ‬د اػ ً‪ ٠‬تجشثیبت آٗ‪ٞ‬صؿی ٌٗ٘‪ ٚ‬اػ ‪ً ٠ٛٞ٘ٛ‬بٗٔی اص ت‪ٞ‬صیغ حبالت ٌٗ٘‪ٜ‬ی ً‪ ٠‬ثؼدذاً دس ٗؼدبثوبت ػیؼدتٖ ثدب آ‪ ٙ‬تؼد‬
‫ٗیؿ‪ٞ‬د ‪ٛ‬جبؿذ‪ .‬ثشای ٗثبّ‪ ،‬یبدُیش ٌٗ٘‪ ٚ‬اػ ‪١‬یچ ُب‪ ٟ‬ثب حبالت ثؼیبس ‪ٝ‬خی٘ی ً‪ ٠‬ثؼیبس دس ثبصی ثب ا‪ٛ‬ؼب‪ ٙ‬ث‪ٞ ٝ ٠‬د ٗیآیذ ٗ‪ٞ‬ا ‪ٛ ٠‬ـدذ‪ ٟ‬ثبؿدذ‪ .‬دس‬
‫ػْ٘‪ُ ،‬ب‪١‬ی الصٕ اػ ً‪ ٠‬یبدُیشی ثش س‪ٝ‬ی ٗج٘‪ٞ‬ػ‪ ٠‬ای اص ‪١٠ٛٞ٘ٛ‬بیی ً‪ ٠‬ثب ‪١ ٠ٛٞ٘ٛ‬بی تؼ ‪٢ٛ‬بیی ٗتلب‪ٝ‬ت‪ٜ‬دذ آٗد‪ٞ‬صؽ داد‪ ٟ‬ؿد‪ٞ‬د (ثدشای ٗثدبّ‬
‫ٌٗ٘‪ ٚ‬اػ ً‪ٗ ٠‬ؼبثوبت ‪٢‬ب‪ٛ‬ی ػاله‪ ٠‬ای ث‪ ٠‬آٗ‪ٞ‬صؽ ػیؼتٖ ٗب ‪ٛ‬ذاؿت‪ ٠‬ثبؿذ)‪ .‬دس چ‪ٜ‬ی‪ ٚ‬ؿشایٌی ٗـٌْ صا ‪١‬ؼت‪ٜ‬ذ صیشا ً‪ ٠‬تؼدٔي ثدش تد‪ٞ‬صیؼی اص‬
‫‪١٠ٛٞ٘ٛ‬ب آضاٗبً ث‪ً ٠‬بسایی ثبال دس ت‪ٞ‬صیغ دیِش ‪٘ٛ‬ی ا‪ٛ‬جبٗذ‪٘١ .‬ب‪ًٞ ٙ‬س ً‪ ٠‬خ‪ٞ‬ا‪١‬یٖ دیذ‪ٖ٢ٗ ،‬تشی‪ ٚ‬تئ‪ٞ‬سی یدبدُیشی ٗبؿدی‪ ٚ‬ثد‪ ٠‬اید‪ ٚ‬كدشم اػبػدی‬
‫‪ٝ‬اثؼت‪ ٠‬اػ ً‪ ٠‬ت‪ٞ‬صیغ ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی ٗـبث‪ ٠‬ت‪ٞ‬صیغ ‪١ ٠ٛٞ٘ٛ‬بی تؼ اػ ‪ .‬ثش خالف ای‪ ٚ‬كشم ً‪ ٠‬ثدشای سػدیذ‪ ٙ‬ثد‪ٛ ٠‬تدبیج تئد‪ٞ‬سی ا‪ٛ‬جدبٕ‬
‫ٗید‪١‬یٖ‪ ،‬ثبیذ دس ‪ٛ‬ظش داؿ ً‪ُ ٠‬ب‪١‬ی دس ػْ٘ ای‪ ٚ‬كشم ًبٗالً ثش هشاس ‪ٛ‬یؼ ‪.‬‬

‫ثشای اداٗ‪٠‬ی ًشاحی ثیبییذ كشم ً‪ٜ‬یٖ ً‪ ٠‬ػیؼتٖ اص ثبصی ٗوبثْ خ‪ٞ‬دؽ آٗ‪ٞ‬صؽ ٗیثی‪ٜ‬ذ‪ .‬ای‪ ٚ‬كشم اص ای‪ ٠ً ٢ ٚ‬آضإ ‪ٞ ٝ‬د ٗؼٖٔ خدبس ی سا‬
‫اص ثی‪ٗ ٚ‬یثشد ٗضی داسد‪ ،‬اص ًشف دیِش ػیؼتٖ ٗیت‪ٞ‬ا‪ٛ‬ذ تب بیی ً‪ ٠‬صٗب‪ ٙ‬ا بص‪ٗ ٟ‬ید‪١‬ذ داد‪ٟ‬ی آٗ‪ٞ‬صؿی ایجبد ً‪ٜ‬ذ‪ .‬حبّ ٗؼدئٔ‪ ٠‬ثد‪ً ٠‬د‪ٞ‬س ًبٗدْ‬
‫تؼشیق ؿذ‪ ٟ‬اػ ‪:‬‬

‫مسئلٍی یبدگیری ببزی چکرز‪:‬‬

‫ػْ٘ ‪ :T‬ثبصی ًشد‪ ٙ‬چٌشص‬ ‫‪‬‬

‫ًبسایی ‪ :P‬دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬دس ٗؼبثوبت‬ ‫‪‬‬
‫تجشثیبت آٗ‪ٞ‬صؿی ‪ :E‬ثبصی‪١‬بیی ً‪ ٠‬دس ٗوبثْ خ‪ٞ‬دؽ ا‪ٛ‬جبٕ ٗید‪١‬ذ‬ ‫‪‬‬
‫حبّ ثشای ًبْٗ ًشد‪ً ٙ‬شاحی ػیؼتٖ یبدُیشی ثبیذ ٗ‪ٞ‬اسد صیش سا ٗؼٔ‪ًٜ ٕٞ‬یٖ‪،‬‬

‫‪ٞٛ .1‬ع دهین دا‪ٛ‬ـی ً‪ ٠‬هلذ داسیٖ ػیؼتٖ یبد ثِیشد‬

‫‪٘ٛ .2‬بیـی ثشای ای‪ ٚ‬دا‪ٛ‬ؾ ‪١‬ذف‬
‫‪ .3‬س‪ٝ‬ؿی ثشای یبدُیشی‬

‫‪ 1.2.2‬اوتخاب تابع هذف‬

‫ٗشحٔ‪٠‬ی ثؼذی ًشاحی تؼیی‪ ٚ‬دهین ‪ٞٛ‬ع دا‪ٛ‬ـی ‪ ٝ‬چِ‪ِٛٞ‬ی اػتلبد‪ ٟ‬اص ای‪ ٚ‬دا‪ٛ‬ؾ ثشای ث‪٢‬ج‪ٞ‬د ًبسایی ػیؼتٖ اػ ‪ .‬ثیبییذ ثدب یدي ثش‪ٛ‬بٗد‪٠‬ی ثدبصی‬
‫چٌشص ؿش‪ٝ‬ع ً‪ٜ‬یٖ ً‪ ٠‬حشًبت ٗجبص سا دس ‪١‬ش چی‪ٜ‬ؾ كلح‪ ٠‬تـخیق ٗید‪١‬ذ‪ .‬حبّ ًبكی اػ كوي سا‪١‬ی ثشای تؼیی‪ ٚ‬ث‪٢‬تدشی‪ ٚ‬حشًد دس ٗیدب‪ٙ‬‬
‫حشًبت ٗجبص یبد ثِیشیٖ‪ .‬ای‪ً ٚ‬بس یبدُیشی ‪٘ٛ‬بی‪ٜ‬ذ‪ٟ‬ی دػت‪٠‬ی ثضسُی اص ًبس‪١‬بی یبدُیشی اػ ً‪ ٠‬دس آ‪ ٙ‬تؼذادی ػْ٘ ٗجبص دس دػتشع اػد ‪ٝ‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪7‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫كوبی ؼتج‪ ٞ‬ثؼیبس ثضسُی ‪ٛ‬یض ٗـخق ؿذ‪ ٟ‬اػ اٗب س‪ٝ‬ؽ پیذا ًشد‪ ٙ‬ث‪٢‬تشی‪ ٚ‬حشً ٗؼٔ‪ٛ ٕٞ‬یؼ ‪ .‬ثؼدیبسی اص ٗؼدبئْ ث‪٢‬ی‪ٜ‬د‪ ٠‬ػدبصی‪ 1‬اص اید‪ٚ‬‬
‫دػت‪ٗ ٠‬ؼبئٔ‪ٜ‬ذ‪ٗ ،‬ؼبئٔی ٗثْ ثش‪ٛ‬بٗ‪ ٠‬سیضی ‪ًٜ ٝ‬تشّ خي ت‪ٓٞ‬یذ ً‪ ٠‬دس آ‪١ٙ‬ب ٗشاحْ ت‪ٓٞ‬یذ ٗـخل‪ٜ‬ذ اٗب ث‪٢‬تشی‪ ٚ‬اػتشاتظی تشتیت آ‪١ٙ‬ب ٗـخق ‪ٛ‬یؼ‬
‫ٗثبٓی اص ای‪ٗ ٠ُٛٞ ٚ‬ؼبئْ اػ ‪.‬‬

‫ثب ای‪ ٚ‬تؼشیق ٗؼئٔ‪ ،٠‬ثبیذ یبد ثِیشیٖ تب اص ٗیب‪ ٙ‬حشً ‪١‬بی ٗجبص یٌی سا ا‪ٛ‬تخبة ً‪ٜ‬یٖ‪ٝ ،‬اهحتشی‪ُ ٚ‬ضی‪ ٠ٜ‬ثشای ‪ٞٛ‬ع اًالػبت یبدُیشی‪ ،‬یي ثش‪ٛ‬بٗ‪٠‬‬
‫یب تبثغ اػ ً‪ ٠‬ث‪٢‬تشی‪ ٚ‬حشً سا ثب داؿت‪ ٚ‬چی‪ٜ‬ؾ كلح‪ ٠‬پیذا ٗیً‪ٜ‬ذ‪ .‬ثیبییذ ای‪ ٚ‬تبثغ سا ‪ ChooseMove‬ث‪ٜ‬بٗیٖ ‪ChooseMove: B → ٝ‬‬
‫‪ .M‬ت‪ ٠ ٞ‬داسیذ ً‪ ٠‬ای‪ ٚ‬تبثغ چی‪ٜ‬ـی ٗجبص اص چی‪ٜ‬ؾ ‪١‬بی ٗجبص كلح‪ B ٠‬سا دسیبك ًشد‪ ٝ ٟ‬حشًتی سا اص ٗیب‪ ٙ‬حشًبت ٗجبص ‪ M‬ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬خش‪ ٝ‬ی‬
‫ٗید‪١‬ذ‪ .‬دس ػشاػش ثحث یبدُیشی ٗبؿی‪٘١ ،ٚ‬یـ‪ ٠‬ثذ ‪ٛ‬یؼ ً‪ٗ ٠‬ؼئٔ‪٠‬ی ث‪٢‬ی‪ ٠ٜ‬ػبصی ًبسایی ‪ P‬دس ػْ٘ ‪ T‬سا ث‪ٗ ٠‬ؼئٔ‪٠‬ی یبدُیشی یي تبثغ ٗثْ‬
‫‪ً ChooseMove‬ب‪١‬ؾ د‪١‬یٖ‪ .‬ث‪ٜ‬بثشای‪ ٚ‬ا‪ٛ‬تخبة تبثغ ‪١‬ذف یٌی اص ا‪ٛ‬تخبة‪١‬بی ًٔیذی ًشاحی خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪.‬‬

‫ثب ‪ٞ ٝ‬د ای‪ ٠ٌٜ‬تبثغ ‪ ChooseMove‬دس ٗثبّ ٗب ثؼیبس ػبد‪ ٟ‬تؼشیق ٗیؿ‪ٞ‬د اٗب یبدُیشی آ‪ ٙ‬ثب داؿت‪ ٚ‬تجشثیدبت آٗ‪ٞ‬صؿدی ؿیدش ٗؼدتویٖ ثدشای‬
‫ػیؼتٖ ثؼیبس ػخ خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪ٗ .‬یت‪ٞ‬ا‪ ٙ‬ثجبی چ‪ٜ‬ی‪ ٚ‬تبثؼی‪ ،‬تبثؼی دیِش‪ ٠ً ،‬دس ای‪ ٚ‬تؼشیق ٗؼئٔ‪ ٠‬یبدُیشیاؽ ثؼیبس ػبد‪ ٟ‬تش اػ ‪ ،‬سا یبد ُشك ‪،‬‬
‫ای‪ ٚ‬تبثغ تبثؼی اسصیبة‪ 2‬اػ ً‪ ٠‬ث‪١ ٠‬ش چی‪ٜ‬ؾ كلح‪ ٠‬یي اسصؽ یب اٗتیبص ‪ٛ‬ؼج ٗید‪١‬ذ‪ .‬ثیبییذ ای‪ ٚ‬تبثغ سا ‪ V‬ث‪ٜ‬بٗیٖ ‪ ٝ‬ثب ت‪ ٠ ٞ‬ث‪ٛ ٠‬بٕ ُزاسی‪١‬دبی‬
‫هجٔی خ‪ٞ‬ا‪١‬یٖ داؿ ‪ ،V: B → 𝔎 ،‬یؼ‪ٜ‬ی تبثغ ‪ V‬ث‪١ ٠‬ش چی‪ٜ‬ؾ كلح‪٠‬ی ٗجبص یي ػذد حویوی ‪ٛ‬ؼج ٗید‪١‬ذ (𝔎 ثشای ‪٘ٛ‬بد اػذاد حویوی ث‪ً ٠‬بس‬
‫ٗیس‪ٝ‬د)‪ٗ .‬ب ٗیخ‪ٞ‬ا‪١‬یٖ ً‪ ٠‬تبثغ ‪١‬ذف ‪ V‬ث‪ ٠‬چی‪ٜ‬ؾ ‪١‬بی ث‪٢‬تش كلح‪ ٠‬ػذدی ثیـتش ‪ٛ‬ؼج د‪١‬ذ‪ .‬اُش ػیؼتٖ ثت‪ٞ‬ا‪ٛ‬ذ ثب ٗ‪ٞ‬كوی چ‪ٜ‬دی‪ ٚ‬تدبثغ ‪ V‬ای سا‬
‫یبد ثِیشد ٗیت‪ٞ‬ا‪ٛ‬ذ ث‪ ٠‬ساحتی ث‪٢‬تشی‪ ٚ‬حشً دس ‪١‬ش چی‪ٜ‬ؾ كلح‪ ٠‬سا ا‪ٛ‬تخبة ً‪ٜ‬ذ‪ .‬ای‪ً ٚ‬بس سا ٗیت‪ٞ‬ا‪ ٙ‬ثب ت‪ٓٞ‬یذ چی‪ٜ‬ؾ ‪١‬بی آتی كلح‪ً ٠‬د‪ ٠‬پدغ اص‬
‫‪١‬ش یي اص حشًبت ٗجبص ایجبد ٗیؿ‪ٞ‬د ‪ٗ ٝ‬وبیؼ‪٠‬ی ٗوبدیش ‪ V‬آ‪١ٙ‬ب ا‪ٛ‬جبٕ داد (حشً ‪ٛ‬ظیش ث‪٢‬تشی‪ ٚ‬چی‪ٜ‬ؾ ث‪٢‬تشی‪ ٚ‬حشً ٗجبص اػ )‪.‬‬

‫اٗب دهیوبً چِ‪ٗ ٠ٛٞ‬یت‪ٞ‬ا‪ٗ ٙ‬وذاس تبثغ ‪١‬ذف ‪ V‬سا ثشای ‪١‬ش چی‪ٜ‬ؾ كلح‪ٗ ٠‬ـخق ًشد؟ آجت‪١ ،٠‬ش تبثغ اسصیبثیای ً‪ ٠‬ثد‪ ٠‬چید‪ٜ‬ؾ ‪١‬دبی ث‪٢‬تدش ػدذد‬
‫ثیـتشی ‪ٛ‬ؼج د‪١‬ذ هبثْ هج‪ ّٞ‬اػ ‪ .‬ثب ای‪ٞ ٝ ٚ‬د ث‪٢‬تش اػ ً‪ ٠‬تبثغ ‪١‬ذكی خبف سا دس ٗیب‪ ٙ‬ت٘بٗی ت‪ٞ‬اثؼی ً‪ ٠‬حشً ث‪٢‬ی‪ ٠ٜ‬سا تـخیق ٗید‪ٜ١‬ذ‬
‫ثشای ‪ٗ V‬ـخق ً‪ٜ‬یٖ‪٘١ .‬ب‪ًٞ ٙ‬س ً‪ ٠‬ثؼذاً ‪ٛ‬یض خ‪ٞ‬ا‪١‬یٖ دیذ‪ ،‬ث‪٢‬تش اػ آِ‪ٞ‬سیت٘ی ثشای یبدُیشی ًشاحی ؿ‪ٞ‬د‪ .‬پغ ثیبییذ ٗودذاس )‪ V(b‬سا ًد‪b ٠‬‬
‫چی‪ٜ‬ـی اص ٗج٘‪ٞ‬ػ‪ ٠‬چی‪ٜ‬ؾ ‪١‬بی ٌٗ٘‪ B ٚ‬اػ سا ث‪ ٠‬ك‪ٞ‬ست صیش تؼشیق ً‪ٜ‬یٖ‪:‬‬

‫‪ .1‬اُش ‪ b‬چی‪ٜ‬ـی ا‪ٛ‬ت‪٢‬بیی ثش‪ٛ‬ذ‪ ٟ‬ث‪ٞ‬د‪V(b)=100 ،‬‬

‫‪ .2‬اُش ‪ b‬چی‪ٜ‬ـی ا‪ٛ‬ت‪٢‬بیی ثبص‪ٛ‬ذ‪ ٟ‬ث‪ٞ‬د‪V(b)=-100 ،‬‬
‫‪ .3‬اُش ‪ b‬چی‪ٜ‬ـی ا‪ٛ‬ت‪٢‬بیی ٗؼب‪ٝ‬ی ث‪ٞ‬د‪V(b)=0 ،‬‬
‫‪ .4‬اُش ‪ b‬چی‪ٜ‬ـی دس ا‪ٛ‬ت‪٢‬بی ثبصی ‪ٛ‬ج‪ٞ‬د‪ b’ ٠ً V(b)=V(b’) ،‬ث‪٢‬تشی‪ ٚ‬چی‪ٜ‬ؾ كلح‪٠‬ی ٌٗ٘‪ ٚ‬حبكْ اص چی‪ٜ‬ؾ ‪ b‬ثب ثبصی ث‪٢‬ی‪ ٠ٜ‬تب آخدش‬
‫ثبصی (ثب كشم ای‪ ٠ٌٜ‬حشیق ‪ٛ‬یض ث‪٢‬ی‪ ٠ٜ‬ثبصی ً‪ٜ‬ذ) خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪.‬‬
‫ثب ای‪ ٠ٌٜ‬تؼشیق ثبصُـتی اص ٗوذاس )‪ V(b‬ثشای ‪١‬ش چی‪ٜ‬ؾ كلح‪٠‬ی ‪ b‬تؼیی‪ٗ ٚ‬یً‪ٜ‬ذ‪ ،‬ای‪ ٚ‬تؼشیق ثشای ثبصیٌ‪ ٚ‬چٌشص ٗب هبثْ اػتلبد‪ٛ ٟ‬خ‪ٞ‬ا‪١‬دذ ثد‪ٞ‬د‬
‫صیشا ً‪ٗ ٠‬وبدیش هبثْ ٗحبػج‪ٛ ٠‬یؼ ‪ِٗ .‬ش دس حبٓ ‪١‬بی ا‪ٛ‬ت‪٢‬بیی (ٗ‪ٞ‬اسد ‪ 1‬تب ‪ ٠ً )3‬دس آ‪١ٙ‬ب ثبصی ت٘بٕ ؿذ‪ ٟ‬اػ ‪ٗ ٝ‬ـخق ًشد‪ V(b) ٙ‬اسصؿدی‬
‫‪ٛ‬ذاسد‪ٗ ،‬ـخق ًشد‪ٗ ٙ‬وذاس )‪ V(b‬ثشای یي چی‪ٜ‬ؾ كلح‪٠‬ی خبف (ٗ‪ٞ‬سد ‪ )4‬ث‪ ٠‬ؼتج‪ ٞ‬ثشای ػشی ث‪٢‬ی‪ ٠ٜ‬ای اص حشًبت ٗیا‪ٛ‬جبٗذ ً‪ ٠‬ثدبصی سا‬

‫‪1‬‬
‫‪optimation‬‬
‫‪2‬‬
‫‪Evaluation function‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪8‬‬

‫ث‪ ٠‬آخش ٗیسػب‪ٛ‬ذ! چ‪ ٙٞ‬ای‪ ٚ‬تؼشیق ثشای ثش‪ٛ‬بٗ‪٠‬ی چٌشص ٗب هبثْ ٗحبػج‪ٛ ٠‬یؼ ‪ ،‬ای‪ ٚ‬تؼشیق تؼشیلی ؿیشػ٘ٔی‪ٛ 1‬بٗیذ‪ٗ ٟ‬یؿ‪ٞ‬د‪١ .‬ذف یدبدُیشی دس‬
‫ای‪ٗ ٚ‬شحٔ‪ ٠‬پیذا ًشد‪ ٙ‬تؼشیلی ػ٘ٔی‪ 2‬اص ‪ V‬اػ ؛ تؼشیلی ً‪ ٠‬ثت‪ٞ‬ا‪ ٙ‬آ‪ٙ‬سا دس ثش‪ٛ‬بٗ‪٠‬ی ثبصی چٌشص ثشای اسصیبثی چی‪ٜ‬ؾ‌‪١‬ب ‪ ٝ‬ا‪ٛ‬تخبة حشًبت ثد‪ً ٠‬دبس‬
‫ُشك ‪.‬‬

‫ث‪ٜ‬بثشای‪ً ،ٚ‬بس یبدُیشی سا دس ای‪ٗ ٚ‬ثبّ ث‪ٗ ٠‬ؼئٔ‪٠‬ی پیذا ًشد‪ ٙ‬تؼشیلی ػ٘ٔی اص تبثغ ‪١‬ذف ‪ً V‬ب‪١‬ؾ دادیٖ‪ .‬یبدُیشی كشٕ دهیوی اص ‪ V‬دس حبٓ ًٔی‬
‫خیٔی ػخ خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪ .‬دس ‪ٝ‬اهغ‪ُ ،‬ب‪١‬ی ا‪ٝ‬هبت كوي ا‪ٛ‬تظبس داسیٖ ً‪ ٠‬آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی تخ٘ی‪ٜ‬ی اص تبثغ ‪١‬ذف سا پیذا ً‪ٜٜ‬ذ ‪ ٝ‬ثد‪٘١ ٠‬دی‪ ٚ‬دٓیدْ‬
‫كشای‪ٜ‬ذ یبدُیشی تبثغ ‪١‬ذف تخ٘ی‪ 3ٚ‬تبثغ ‪١‬ذف ‪ٛ‬یض ‪ٛ‬بٗیذ‪ٗ ٟ‬یؿ‪ٞ‬د‪ .‬دس ثحث كؼٔی اص ‪٘ٛ‬بد ̂ ثشای تدبثغ یدبدُیشی ؿدذ‪( ٟ‬تخ٘دی‪ ٚ‬تدبثغ ‪١‬دذف ‪)V‬‬
‫اػتلبد‪ٗ ٟ‬یً‪ٜ‬یٖ‪.‬‬

‫‪ 1.2.3‬اوتخاب وحًٌی ومایش تابع هذف‬

‫حبّ ً‪ ٠‬تبثغ ‪١‬ذف ‪ V‬سا ٗـخق ًشدیٖ‪ ،‬ثبیذ ‪٘ٛ‬بیـی ا‪ٛ‬تخبة ًشد‪ ٟ‬تب ثش‪ٛ‬بٗ‪ ٠‬ثت‪ٞ‬ا‪ٛ‬ذ تبثغ ̂ سا ثب آ‪ٛ ٙ‬ـب‪ ٙ‬د‪١‬ذ‪ٗ .‬ثْ ا‪ٛ‬تخبة‪١‬بی هجٔی ًشاحی دس‬
‫ای‪ٜ‬جب ‪ٛ‬یض ثب ُضی‪١ ٠ٜ‬بی ثؼیبسی ٗ‪ٞ‬ا ‪٢‬یٖ‪ .‬ثشای ٗثبّ‪ٗ ،‬یت‪ٞ‬ا‪ٛ‬یٖ ث‪ ٠‬ثش‪ٛ‬بٗ‪ ٠‬ا بص‪ ٟ‬د‪١‬دیٖ ًد‪ ̂ ٠‬سا ثدب دذ‪ ّٝ‬ثضسُدی اص ٗودبدیش ثدشای ‪١‬دش یدي اص‬
‫چی‪ٜ‬ؾ ‪١‬بی كلح‪ٛ ٠‬ـب‪ ٙ‬د‪١‬ذ‪ .‬یب ٗیت‪ٞ‬ا‪ٛ‬یٖ ث‪ ٠‬آ‪ ٙ‬ا بص‪ ٟ‬د‪١‬یٖ تب ̂ سا ثب ٗج٘‪ٞ‬ػ‪ ٠‬ای اص ه‪ٞ‬ا‪ٛ‬ی‪ ٠ً ٚ‬ثب ‪ٝ‬یظُی‪١‬بی چی‪ٜ‬ؾ كلح‪ٌٗ ٠‬بثود داسد یدب‬
‫تبثؼی دس ‪ ٠‬د‪ ٝ‬اص ‪ٝ‬یظُی‪١‬بیی اص پیؾ تؼشیق ؿذ‪ ٟ‬یب یي ؿجٌ‪٠‬ی ػلجی ٗلد‪ٜٞ‬ػی ‪٘ٛ‬دبیؾ د‪١‬دذ‪ .‬دس ًدْ‪ ،‬اید‪ ٚ‬ا‪ٛ‬تخدبة ‪٘ٛ‬دبیؾ ؿدبْٗ یدي‬
‫ٗوبیؼ‪٠‬ی ٗ‪ ٖ٢‬اػ ‪ .‬دس یي ًشف‪ ،‬ػؼی ٗیً‪ٜ‬یٖ ‪٘ٛ‬بیـی ً‪ ٠‬ا‪ٛ‬تخبة ً‪ٜ‬یٖ ًبٗالً ؿبْٗ ثبؿذ تب ثت‪ٞ‬ا‪ ٙ‬آ‪ٙ‬سا ث‪ ٠‬ا‪ٛ‬ذاص‪ٟ‬ی ًبكی ث‪ ٠‬تؼشیدق ایدذ‪ ٟ‬آّ‬
‫‪ٛ V‬ضدیي ًشد‪ .‬اص ًشف دیِش‪ ،‬ثب ؿبْٗتش ث‪ٞ‬د‪ ٙ‬ای‪٘ٛ ٚ‬بیؾ تؼذاد داد‪١ ٟ‬بی آٗ‪ٞ‬صؿی ً‪ ٠‬ثش‪ٛ‬بٗد‪ٛ ٠‬یدبص خ‪ٞ‬ا‪١‬دذ داؿد تدب ٗیدب‪ ٙ‬كشهدی‪١٠‬دب ثت‪ٞ‬ا‪ٛ‬دذ‬
‫ٗ‪ٜ‬بػتتشی‪ ٚ‬سا ا‪ٛ‬تخبة ً‪ٜ‬ذ ثیـتش خ‪ٞ‬ا‪١‬ذ ؿذ‪ .‬خالك‪ ٠‬ای‪ ،٠ٌٜ‬ثیبییذ یي ‪٘ٛ‬بیؾ ػبد‪ ٟ‬سا ا‪ٛ‬تخبة ً‪ٜ‬یٖ‪ V :‬سا ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬تشًیت خٌی‪ٝ 4‬یظُدی‪١‬دبی‬
‫صیش دس ‪ٛ‬ظش ٗیُیشیٖ‪:‬‬

‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی ػیب‪ ٟ‬دس كلح‪٠‬‬ ‫‪‬‬

‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی هشٗض دس كلح‪٠‬‬ ‫‪‬‬
‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی ؿب‪ ٟ‬ػیب‪ ٟ‬دس كلح‪٠‬‬ ‫‪‬‬
‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی ؿب‪ ٟ‬هشٗض دس كلح‪٠‬‬ ‫‪‬‬
‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی ػیب‪ ٟ‬ت‪٢‬ذیذ ؿذ‪ ٟ‬ت‪ٞ‬ػي هشٗض (ً‪ ٠‬ػیب‪ٗ ٟ‬یت‪ٞ‬ا‪ٛ‬ذ دس حشً ثؼذی آ‪ٙ‬سا ثِیشد)‬ ‫‪‬‬
‫‪ :‬تؼذاد ٗ‪٢‬ش‪١ ٟ‬بی هشٗض ت‪٢‬ذیذ ؿذ‪ ٟ‬ت‪ٞ‬ػي ػیب‪ٟ‬‬ ‫‪‬‬
‫̂ سا ثب تبثؼی خٌی ث‪ ٠‬كشٕ صیش ثیب‪ ٙ‬خ‪ٞ‬ا‪١‬ذ ًشد‪:‬‬ ‫ث‪ٜ‬بثشای‪ ٚ‬ثش‪ٛ‬بٗ‪ ٠‬تبثغ‬

‫̂‬

‫ا‪٘١‬ی ‪ٛ‬ؼدجی‬ ‫تب‬ ‫هشایت ػذدی یب ‪٘١‬ب‪ٝ ٙ‬ص‪١ٙ‬ب ‪١‬ؼت‪ٜ‬ذ ً‪ ٠‬ت‪ٞ‬ػي آِ‪ٞ‬سیتٖ یبدُیشی تؼیی‪ٗ ٚ‬یؿ‪ٛٞ‬ذ‪ٗ .‬وبدیش‬ ‫تب‬ ‫دس ای‪ ٚ‬ساثٌ‪٠‬‬
‫‪ٛ‬یض ثبثتی ث‪ ٠‬ای‪ٗ ٚ‬وذاس كلح‪ ٠‬اهبك‪ٗ ٠‬یً‪ٜ‬ذ‪.‬‬ ‫ٗتـیش ‪١‬بی ٗختٔق كلح‪ٗ ٠‬ـخق ٗیً‪ٜٜ‬ذ ‪ٝ‬‬

‫‪1‬‬
‫‪nonoperational definition‬‬
‫‪2‬‬
‫‪operational definition‬‬
‫‪3‬‬
‫‪approximation‬‬
‫‪4‬‬
‫‪linear combination‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪9‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫ث‪ًٞ ٠‬س خالك‪ ،٠‬ثب ا‪ٛ‬تخبة‪١‬بی ًشاحی ٗب‪ ٙ‬تب ث‪ ٠‬حبّ‪ٞٛ ،‬ع تجشثیبت یبدُیش‪ ،‬تبثغ ‪١‬ذف تخ٘ی‪ٜ‬ی ‪ ٝ‬كشٗی ثشای ‪٘ٛ‬بیؾ آ‪ ٙ‬ثد‪ٞ‬د‪ ٟ‬اػد ‪ٗ .‬ؼدئٔ‪ ٠‬دس‬
‫حبّ حبهش ث‪ ٠‬ؿٌْ صیش اػ ‪:‬‬

‫طراحی میبوی بروبمٍی یبدگیری چکرز‪:‬‬

‫ًبس ‪ :T‬ثبصی چٌشص‬ ‫‪‬‬

‫ًبسایی ‪ :P‬دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬دس ٗؼبثوبت‬ ‫‪‬‬
‫تجشثیبت آٗ‪ٞ‬صؿی ‪ :E‬ثبصی‪١‬بیی ً‪ ٠‬ثش‪ٛ‬بٗ‪ٗ ٠‬وبثْ خ‪ٞ‬د ا‪ٛ‬جبٕ ٗید‪١‬ذ‬ ‫‪‬‬
‫تبثغ ‪١‬ذف‪V : Board → 𝔎 :‬‬ ‫‪‬‬
‫‪٘ٛ‬بیؾ تبثغ ‪١‬ذف‪:‬‬ ‫‪‬‬
‫̂‬

‫ػ‪ ٠‬هؼ٘ ا‪ً ّٝ‬بس یبدُیشی سا ٗـخق ٗیً‪ٜٜ‬ذ دس حبٓی ً‪ ٠‬د‪ ٝ‬هؼ٘ ا‪ٛ‬ت‪٢‬بیی ٗشث‪ٞ‬ى ث‪ ٠‬ا‪ٛ‬تخبة‪١‬بی ًشاحی ٗب ثدشای پیدبد‪ ٟ‬ػدبصی ثش‪ٛ‬بٗد‪٠‬ی‬
‫یبدُیشی ‪١‬ؼت‪ٜ‬ذ‪ .‬ت‪ًٜ ٠ ٞ‬یذ ً‪ ٠‬اهبك‪ً ٠‬شد‪ ٙ‬ای‪ ٚ‬هؼ٘ ‪١‬ب كوي ثشای ًب‪١‬ؾ ٗؼئٔ‪٠‬ی یبدُیشی اػدتشاتظی ثدبصی چٌدشص ثد‪ٗ ٠‬ؼدئٔ‪٠‬ی یدبدُیشی‬
‫ٗ‪ٞ ٞ‬د دس ‪٘ٛ‬بیؾ تبثغ ‪١‬ذف اػ ‪.‬‬ ‫تب‬ ‫ٗوبدیش هشایت‬

‫‪ 1.2.4‬اوتخاب یک الگًریتم تخمیه تابع‬

‫ثشای یبدُیشی تبثغ ‪١‬ذف ̂ ‪ٛ‬یبص ث‪ٗ ٠‬ج٘‪ٞ‬ػ‪ ٠‬ای اص ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی داسیٖ‪١ ٠ً ،‬ش ًدذإ یدي چید‪ٜ‬ؾ كدلح‪٠‬ی ‪ ٝ b‬یدي ٗودذاس یدبدُیشی‬
‫اػ ‪ .‬ثشای ٗثبّ‪٠ٛٞ٘ٛ ،‬ی صیدش‬ ‫ثشای ‪ b‬اػ ‪ .‬ث‪ ٠‬ػجبست دیِش‪١ ،‬ش ‪٠ٛٞ٘ٛ‬ی آٗ‪ٞ‬صؿی ص‪ٗ ٝ‬شتجی ث‪ ٠‬ؿٌْ‬
‫ثذی‪ٗ ٚ‬ؼ‪ٜ‬بػ ً‪ ٠‬هشٗض ٗ‪٢‬ش‪ٟ‬ی دیِشی دس كلح‪ٛ ٠‬ذاسد) ث‪ٜ‬دبثشای‪ٚ‬‬ ‫چی‪ٜ‬ـی سا ‪ٛ‬ـب‪ٗ ٙ‬ید‪١‬ذ ً‪ ٠‬ػیب‪ ٟ‬ثبصی سا ثشد‪ ٟ‬اػ (ت‪ ٠ ٞ‬داسیذ ً‪٠‬‬
‫ٗوذاس ‪ V‬دس ای‪ +100 ٠ٛٞ٘ٛ ٚ‬خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪.‬‬

‫سا ثدشای‬ ‫دس صیش كشای‪ٜ‬ذی سا ً‪ ٠‬اثتذا چ‪ٜ‬ی‪١ ٠ٛٞ٘ٛ ٚ‬بی آٗ‪ٞ‬صؿیای سا اص تجشثیبت آٗ‪ٞ‬صؿی ؿیش ٗؼتویٖ اػتخشا ٗیً‪ٜٜ‬دذ ‪ ٝ‬ػدپغ ‪ٝ‬ص‪١ٙ‬دبی‬
‫‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی پیذا ٗیً‪ٜٜ‬ذ سا ت‪ٞ‬هیح خ‪ٞ‬ا‪١‬یٖ داد‪.‬‬

‫‪ 1.2.4.1‬تخمیه مقادیر آمًزشی‬

‫ثب ت‪ ٠ ٞ‬ث‪ ٠‬كشهی ً‪ ٠‬دس ٗؼئٔ‪٠‬ی یبدُیشی ًشدیٖ‪ ،‬ت‪٢ٜ‬ب اًالػبت آٗ‪ٞ‬صؿی ٗ‪ٞ ٞ‬د ثشای یبدُیش ای‪ ٚ‬اػ ً‪ ٠‬آیب ثبصی ‪ٛ‬تیج‪٠‬ی ثبصی ثدشد ثد‪ٞ‬د‪ ٟ‬یدب‬
‫ثبخ ‪ .‬دس ٗوبثْ‪١ ٠ٛٞ٘ٛ ،‬بی آٗ‪ٞ‬صؿیای الصٕ داسیٖ ً‪ ٠‬ث‪١ ٠‬ش یي اص چی‪ٜ‬ؾ ‪١‬بی كلح‪ ٠‬یي اٗتیبص ‪ٛ‬ؼج د‪ٜ١‬دذ‪ .‬ثدب ‪ ٝ‬د‪ٞ‬د ای‪ٌٜ‬د‪ٛ ٠‬ؼدج داد‪ٙ‬‬
‫ٗوذاس ث‪ ٠‬چی‪ٜ‬ؾ‌‪١‬بیی ً‪ ٠‬ا‪ٛ‬ت‪٢‬بی ثبصی ‪١‬ؼت‪ٜ‬ذ ثؼیبس ػبد‪ ٟ‬اػ اٗب ‪ٛ‬ؼج داد‪ٗ ٙ‬وبدیش آٗ‪ٞ‬صؿی ػذدی ث‪ ٠‬چی‪ٜ‬ؾ‪١‬بیی ً‪ ٠‬دس ‪ٝ‬ػي ثبصی هشاس داس‪ٛ‬ذ‪،‬‬
‫اكالً ػبد‪ٛ ٟ‬یؼ ‪ .‬آجت‪ ٠‬ای‪ ٚ‬حویو ً‪ٛ ٠‬تیج‪٠‬ی ثبصی ثشد یب ثبخ ث‪ٞ‬د‪ٛ ٟ‬ـب‪٘ٛ ٙ‬ید‪١‬ذ ً‪ ٠‬تي تي چی‪ٜ‬ؾ‪١‬بی كلح‪ ٠‬ثبصی خد‪ٞ‬ة یدب ثدذ ثد‪ٞ‬د‪ٟ‬‬
‫اػ ‪ .‬ثشای ٗثبّ اُش ثش‪ٛ‬بٗ‪ ٠‬ثبصی سا ثجبصد‪ ٌٚ٘ٗ ،‬اػ ثذی‪ٗ ٚ‬ؼ‪ٜ‬ب ثبؿذ ً‪ ٠‬چی‪ٜ‬ؾ‪١‬بی اثتذایی كلح‪ ٠‬ثبصی ثبیذ ػذد ثیـتشی داؿت‪ ٝ ٠‬چی‪ٜ‬ؾ‪١‬بی‬
‫ا‪ٛ‬ت‪٢‬بیی ػذد ً٘تشی داسد ‪ ٝ‬ثبخ ‪ٛ‬تیج‪٠‬ی ػشی حشًبت هؼیق ٗیب‪ٛ‬یای ث‪ٞ‬د‪ ٟ‬اػ ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪17‬‬

‫ثشخالف اث‪٢‬بٕ راتی دس تخ٘ی‪ٗ ٚ‬وبدیش آٗ‪ٞ‬صؿی چی‪ٜ‬ؾ‪١‬بی ٗیب‪ٛ‬ی ثبصی‪ ،‬یي س‪ٝ‬ؽ ػبد‪ ٟ‬ثؼیبس ٗلیدذ ػ٘دْ ٗدیً‪ٜ‬دذ‪ .‬اید‪ ٚ‬س‪ٝ‬ؽ ٗودذاس آٗ‪ٞ‬صؿدی‬
‫̂ ٗوذاس د‪١‬ی ٗیً‪ٜ‬ذ‪ ،‬دس ای‪ٗ ٚ‬وذاس ̂ تخ٘ی‪ ٚ‬كؼٔی یبد ُشكت‪ ٠‬ؿدذ‪ ٟ‬اص ‪ٝ V‬‬ ‫سا ثشای ‪١‬ش چی‪ٜ‬ؾ ٗیب‪ٛ‬ی ‪،b‬‬
‫)‪ٛ successor(b‬یض چی‪ٜ‬ـی اػ ً‪ ٠‬ثؼذ اص حشً ثش‪ٛ‬بٗ‪ ٠‬د‪ٝ‬ثبس‪ٞٛ ٟ‬ث ث‪ٝ ٠‬ی ٗیسػذ (چی‪ٜ‬ـی ً‪ ٠‬پغ اص حشً ثش‪ٛ‬بٗ‪ ٝ ٠‬حشً حشیق ایجبد‬
‫ٗیؿ‪ٞ‬د)‪ .‬ای‪ ٚ‬هب‪ ٙٞٛ‬ثشای تخ٘ی‪ٗ ٚ‬وبدیش آٗ‪ٞ‬صؿی سا ٗیت‪ٞ‬ا‪ ٙ‬ث‪ ٠‬ك‪ٞ‬ست صیش ثیب‪ً ٙ‬شد‪:‬‬

‫قبوًن تخمیه مقبدیر آمًزشی‪:‬‬

‫(̂‬ ‫)‬

‫ثب ‪ٞ ٝ‬د ای‪ ٠ٌٜ‬اػتلبد‪ ٟ‬اص ̂ تخ٘ی‪ٜ‬ی (ً‪ ٠‬خ‪ٞ‬د اص ‪٘١‬ی‪ ٚ‬داد‪١ٟ‬ب تخ٘ی‪ ٚ‬صد‪ٗ ٟ‬یؿ‪ٞ‬د) ثشای تخ٘ی‪ ٚ‬ذیذ ٗوبدیش ػجیت ث‪ٛ ٠‬ظش ٗدیسػدذ‪ ،‬اٗدب اید‪ٚ‬‬
‫س‪ٝ‬ؽ ًجن تجشث‪ ٠ ٞٗ ٠‬اػ ‪ .‬ت‪ ٠ ٞ‬داسیذ ً‪ ٠‬اص ٗوذاس )‪ successor(b‬ثشای تخ٘ی‪ٗ ٚ‬وذاس چی‪ٜ‬ؾ ‪ b‬اػتلبد‪ٗ ٟ‬یً‪ٜ‬یٖ‪ .‬ؿ‪ٞ٢‬داً ‪ٝ‬اهح اػ ًد‪٠‬‬
‫ده ̂ دس ‪ٛ‬ضدیٌی چی‪ٜ‬ؾ‪١‬بی ا‪ٛ‬ت‪٢‬بیی اكضایؾ ٗییبثذ‪ .‬دس ‪ٝ‬اهغ دس ؿشایٌی (ً‪ ٠‬دس كلْ ‪ 13‬ثحث خ‪ٞ‬ا‪١‬ذ ؿدذ) س‪ٝ‬ؽ تخ٘دی‪ ٚ‬تٌدشاسی ٗودبدیش‬
‫ٗیْ خ‪ٞ‬ا‪١‬ذ ًشد‪.‬‬ ‫آٗ‪ٞ‬صؿی ثش اػبع تخ٘ی‪ ٚ‬چی‪ٜ‬ؾ‪١‬بی ‪ successor‬ثبث ٗیؿ‪ٞ‬د ً‪ ٠‬ث‪٠‬‬

‫‪ 1.2.4.2‬تىظیم يزنها‬
‫ث‪ ٠‬ك‪ٞ‬ستی اػ ً‪ ٠‬ث‪٢‬تدشی‪ ٚ‬ت‪ٜ‬بػدت سا ثدب ‪ٛٞ٘ٛ‬د‪١ ٠‬دبی آٗ‪ٞ‬صؿدی‬ ‫ت‪٢ٜ‬ب ًبس ثبهی ٗب‪ٛ‬ذ‪ٗ ٟ‬ؼی‪ً ٚ‬شد‪ ٙ‬آِ‪ٞ‬سیتٖ یبدُیشی ثشای ا‪ٛ‬تخبة ‪ٝ‬ص‪١ٙ‬بی‬
‫داؿت‪ ٠‬ثبؿ ذ اػ ‪ .‬ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬ا‪ٓٝ‬ی‪ٗ ٚ‬شحٔ‪ ،٠‬اثتذا ثبیذ تؼشیق ً‪ٜ‬یٖ ً‪ٜٗ ٠‬ظ‪ٞ‬س اص ث‪٢‬تشی‪ ٚ‬ت‪ٜ‬بػت ثدب داد‪١ ٟ‬دبی آٗ‪ٞ‬صؿدی‬
‫چیؼ ‪ .‬یٌی اص س‪ٝ‬ؽ‪١‬بی ٌٗ٘‪ ٚ‬تؼشیق ای‪ ٚ‬ث‪٢‬تشی‪ ٚ‬كشهی‪ ،٠‬یب ث‪٢‬تشی‪ٗ ٚ‬ج٘‪ٞ‬ػ‪ٝ ٠‬ص‪١ٙ‬ب ث‪ ٠‬ك‪ٞ‬ستی اػ ً‪ ٠‬خٌبی ٗشثؼی ‪ E‬ثی‪ٗ ٚ‬وبدیش آٗ‪ٞ‬صؿی‬
‫‪ٗ ٝ‬وبدیش تخ٘ی‪ٜ‬ی ̂ سا ٗی‪ٜ‬یٖ٘ ً‪ٜ‬یٖ‪.‬‬

‫∑‬ ‫(‬ ‫̂‬ ‫)‬

‫ث‪ٜ‬بثشای‪ٗ ٚ‬ب ث‪ ٠‬د‪ٛ‬جبّ ‪ٝ‬ص‪١ٙ‬بیی ‪١‬ؼتیٖ‪ ،‬یب ث‪ًٞ ٠‬س ٗـبث‪ ٠‬ث‪ ٠‬د‪ٛ‬جبّ ̂ ی ‪١‬ؼتیٖ ً‪ٗ ٠‬وذاس ‪ E‬سا ثشای ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی ٗـب‪١‬ذ‪ ٟ‬ؿذ‪ٗ ٟ‬ی‪ٜ‬یٖ٘ ً‪ٜ‬ذ‪.‬‬
‫دس كلْ ‪ 6‬ثبث ٗیً‪ٜ‬یٖ ً‪ ٠‬دس ٗؼئٔ‪١٠‬بیی ٗثْ ٗؼئٔ‪٠‬ی ٗب آ‪ٗ ٙ‬ی‪ٜ‬یٖ٘ ًشد‪ٗ ٙ‬ج٘‪ٞ‬ع خٌبی ٗشثؼی ٗت‪ٜ‬بظش ثب پیذا ًشد‪ٗ ٙ‬حتْ٘تشی‪ ٚ‬كشهی‪ ٠‬ثدب‬
‫داؿت‪ ٚ‬داد‪١ ٟ‬بی آٗ‪ٞ‬صؿی اػ ‪.‬‬

‫آِ‪ٞ‬سیتٖ‪١‬بی ثؼیبسی ثشای پیذا ًشد‪ٝ ٙ‬ص‪١ٙ‬بی ت‪ٞ‬اثغ خٌی ً‪ E ٠‬سا ٗی‪ٜ‬یٖ٘ ٗیً‪ٜٜ‬ذ ‪ٞ ٝ‬د داسد‪ .‬دس ای‪ ٚ‬حبٓ آِد‪ٞ‬سیت٘ی ٗد‪ٞ‬سد ‪ٛ‬یدبص اػد ًد‪٠‬‬
‫ٗشحٔ‪ ٠‬ث‪ٗ ٠‬شحٔ‪ ٠‬ثب اكضایؾ ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی دس ‪ٝ‬ص‪١ٙ‬ب تجذیذ ‪ٛ‬ظش ً‪ٜ‬ذ ‪٘١ ٝ‬چ‪ٜ‬ی‪ٛ ٚ‬ؼج ثد‪ ٠‬خٌدبی تخ٘دی‪ٗ ٚ‬ودبدیش ‪ٛٞ٘ٛ‬د‪١ ٠‬دبی آٗ‪ٞ‬صؿدی‬
‫حؼبػی ً٘ی داؿت‪ ٠‬ثبؿذ‪ .‬یٌی اص ای‪ ٚ‬آِ‪ٞ‬سیتٖ‪١‬ب‪ ،‬آِ‪ٞ‬سیتٖ ً٘تشی‪ ٚ‬خٌبی ٗشثؼی یب ‪ٛ LMS1‬بٗیذ‪ٗ ٟ‬یؿ‪ٞ‬د‪ .‬ای‪ ٚ‬آِ‪ٞ‬سیتٖ ثدشای ‪١‬دش ‪ٛٞ٘ٛ‬د‪٠‬ی‬
‫آٗ‪ٞ‬صؿی ٗـب‪١‬ذ‪ ٟ‬ؿذ‪ٝ ٟ‬ص‪١ٙ‬ب سا ث‪ ٠‬ا‪ٛ‬ذاص‪ٟ‬ی ً‪ٞ‬چي دس ‪٢‬تی ً‪ ٠‬خٌب سا ثشای ‪٠ٛٞ٘ٛ‬ی آٗ‪ٞ‬صؿی ًٖ ٗیً‪ٜ‬ذ تـییش خ‪ٞ‬ا‪١‬دذ داد‪٘١ .‬دب‪ً ٙ‬د‪ٞ‬س ًد‪ ٠‬دس‬
‫كلْ ‪ٛ 4‬یض ثشسػی خ‪ٞ‬ا‪١‬یٖ ًشد‪ ،‬ای‪ ٚ‬آِ‪ٞ‬سیتٖ سا ٗیت‪ٞ‬ا‪ ٙ‬ؼتج‪ٞ‬ی ؿیت ‪ٛ‬ض‪ ّٝ‬تلبدكیای دس كوبی كشهی‪١ ٠‬بی ٌٗ٘‪ٗ( ٚ‬وبدیش ٗختٔق ‪ٝ‬ص‪١ٙ‬ب)‬
‫ثشای ٗی‪ٜ‬یٖ٘ ًشد‪ ٙ‬خٌبی ٗشثؼی ‪ E‬دا‪ٛ‬ؼ ‪ .‬آِ‪ٞ‬سیتٖ ‪ LMS‬ث‪ ٠‬كشٕ صیش تؼشیق ٗیؿ‪ٞ‬د‪:‬‬

‫‪1‬‬
‫)‪Least Mean Squars (LMS‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪11‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫قبوًن تغییر يزن ‪.LMS‬‬

‫ثشای ‪١‬ش ‪٠ٛٞ٘ٛ‬ی آٗ‪ٞ‬صؿی‬

‫̂ اػتلبد‪.ًٚ ٟ‬‬ ‫اص ‪ٝ‬ص‪١ٙ‬بی كؼٔی ثشای ٗحبػج‪٠‬ی‬ ‫‪‬‬

‫‪ ،‬تـییش صیش سا اػ٘بّ ً‪ٚ‬‬ ‫ثشای ‪١‬ش ‪ٝ‬ص‪ٙ‬‬ ‫‪‬‬
‫(‬ ‫̂‬ ‫)‬

‫ثبث ً‪ٞ‬چٌی (ٗثْ ‪ )7.1‬اػ ً‪ ٠‬ا‪ٛ‬ذاص‪ٟ‬ی تـییش ‪ٝ‬ص‪ ٙ‬سا ٗتؼبدّ ٗیً‪ٜ‬ذ‪ .‬ثشای دسى ؿ‪ٞ٢‬دی ای‪ ٠ٌٜ‬چشا ای‪ ٚ‬هدب‪ ٙٞٛ‬تـییدش ‪ٝ‬ص‪ ٙ‬دسػد‬ ‫دس ای‪ٜ‬جب‬
‫( كدلش اػد ‪ٝ ،‬ص‪١ٙ‬ددب تـییدشی ‪ٛ‬خ‪ٞ‬ا‪ٜ١‬دذ ًددشد ‪ ٝ‬صٗدب‪ٛ‬ی ًدد‪٠‬‬ ‫̂‬ ‫ًدبس ٗدیً‪ٜ‬ددذ‪ ،‬ت‪ ٞ‬د‪ًٜ ٠‬یدذ ًدد‪ ٠‬صٗدب‪ٛ‬ی ًد‪ ٠‬خٌددبی )‬

‫̂ ً٘تش اص ا‪ٛ‬تظبس اػ )‪ ،‬ث‪١ ٠‬ش ‪ٝ‬ص‪ ٙ‬ث‪ٛ ٠‬ؼجتی اكضایؾ خ‪ٞ‬ا‪١‬ذ داد‪ .‬اید‪ ٚ‬ػ٘دْ ٗودذاس‬ ‫( ٗثج اػ (ثشای ٗثبّ‬ ‫̂‬ ‫)‬
‫كلش ثبؿذ‪ٗ ،‬ؼتوْ اص ای‪ ٠ً ٚ‬خٌدب چد‪٠‬‬ ‫̂ سا اكضایؾ داد‪ ٝ ٟ‬دس ‪٢ٛ‬بی ٗیضا‪ ٙ‬خٌب ً٘تش ٗیؿ‪ٞ‬د‪ .‬ت‪ ٠ ٞ‬داؿت‪ ٠‬ثبؿیذ ً‪ ٠‬اُش ٗوذاس ‪ٝ‬یظُی‬
‫ٗوذاس ثبؿذ ‪ٝ‬ص‪ ٙ‬تـییشی ‪ٛ‬خ‪ٞ‬ا‪١‬ذ ًشد‪ ،‬ث‪ٜ‬بثشای‪ ،ٚ‬ت‪٢ٜ‬ب ‪ٝ‬ص‪١ٙ‬ب ‪ٛ‬ظیش ٗتـیش‪١‬بیی تـییش خ‪ٞ‬ا‪ٜ١‬ذ ًشد ً‪ٝ ٠‬اهؼبً دس كلح‪٠‬ی ثبصی اتلبم ٗدیاكت‪ٜ‬دذ‪ .‬بٓدت‬
‫ٗیْ خ‪ٞ‬ا‪١‬ذ ًشد (كلْ ‪.)4‬‬ ‫اػ ً‪ ،٠‬اثجبت ٗیؿ‪ٞ‬د ً‪ ٠‬ای‪ٗ ٚ‬تذ ت‪ٜ‬ظیٖ ‪ٝ‬ص‪ ٙ‬ػبد‪ ٟ‬حت٘بً ث‪ً٘ ٠‬تشی‪ ٚ‬خٌبی ٗشثؼی توشیجی ثشای ٗوبدیش‬

‫‪ 1.2.5‬طراحی وهایی‬
‫ًشاحی ‪٢ٛ‬بیی ػیؼتٖ یبدُیشی چٌشص سا ٗیت‪ٞ‬ا‪ ٙ‬ثب ‪ 4‬هؼ٘ ‪ 1‬ثش‪ٛ‬بٗ‪ٛ ٠‬ـب‪ ٙ‬داد ً‪ ٠‬پبی‪٠‬ی اكٔی ثؼیبسی اص ػیؼتٖ‪١‬بی یبدُیشی ‪١‬ؼت‪ٜ‬ذ‪ .‬ای‪ ٚ‬چ‪٢‬بس‬
‫هؼ٘ دس ؿٌْ ‪ 1.1‬ث‪ًٞ ٠‬س خالك‪ٛ ٠‬ـب‪ ٙ‬داد‪ ٟ‬ؿذ‪ٟ‬ا‪ٛ‬ذ‪:‬‬

‫سیستم کبرایی هؼ٘ اػ ً‪ ٠‬ثبیذ ٗؼئٔ‪٠‬ی پیذا ًشد‪ً ٙ‬بسایی سا حْ ً‪ٜ‬ذ‪ ،‬دس ٗثدبّ چٌدشص‪ ،‬اید‪ً ٚ‬دبس ثبیدذ ثدب اػدتلبد‪ ٟ‬اص تدبثغ‬ ‫‪‬‬
‫‪2‬‬
‫‪١‬ذف‪١‬بی یبد ُشكت‪ ٠‬ؿذ‪ ٟ‬ا‪ٛ‬جبٕ ؿ‪ٞ‬د‪ .‬ای‪ ٚ‬هؼ٘ ‪ ٠ٛٞ٘ٛ‬ای اص ٗؼئٔ‪ ٠‬ای ذیذ (ثبصی ذیذ) ث‪ ٠‬ػ‪ٜٞ‬ا‪ٝ ٙ‬س‪ٝ‬دی دسیبك ًشد‪ٗ ٝ ٟ‬ؼیشی‬
‫ثشای حْ آ‪ 3 ٙ‬خش‪ ٝ‬ی ٗید‪١‬ذ‪ .‬دس ٗثبّ ٗب‪ ،‬اػتشاتظی ػیؼتٖ ًبسایی دس ا‪ٛ‬تخبة حشً ثؼذی دس ‪١‬ش ٗشحٔ‪ ٠‬ت‪ٞ‬ػي تدبثغ ̂ ٗـدخق‬
‫ٗیؿ‪ٞ‬د‪ .‬ث‪ٜ‬بثشای‪ ٚ‬ا‪ٛ‬تظبس داسیٖ ً‪ً ٠‬بسایی ػیؼتٖ ثب اكضایؾ ده ای‪ ٚ‬تبثغ اسصیبثی اكضایؾ یبثذ‪.‬‬
‫کبرشىبس ٗؼیشی اص حشًبت ثبصی سا دسیبك ًشد‪ ٝ ٟ‬آ‪١ٙ‬ب سا ث‪ٗ ٠‬ج٘‪ٞ‬ػ‪ ٠‬ای اص ‪١ ٠ٛٞ٘ٛ‬دبی آٗ‪ٞ‬صؿدی تجدذیْ ٗدیً‪ٜ‬دذ ‪ ٝ‬خش‪ ٝ‬دی‬ ‫‪‬‬
‫ٗید‪١‬ذ‪٘١ .‬ب‪ًٞ ٙ‬س ً‪ ٠‬دس ؿٌْ ‪ٛ‬یض ‪ٛ‬ـب‪ ٙ‬داد‪ ٟ‬ؿذ‪ ٟ‬اػ ‪١ ،‬ش ‪٠ٛٞ٘ٛ‬ی آٗ‪ٞ‬صؿی دس ای‪ٗ ٚ‬ثبّ ٗت‪ٜ‬بػت ثدب چی‪ٜ‬ـدی اص كدلح‪ ٠‬دس ٗؼدیش‬
‫ؿب‪ ٙ‬اػ ‪ .‬دس ٗثبّ ٗب‪٘١ ،‬ب‪ ٙ‬هب‪ ٙٞٛ‬یبدُیشی ساثٌ‪٠‬ی ‪ 1.1‬اػ ‪.‬‬ ‫ثبصی ‪ٗ ٝ‬وبدیش تخ٘ی‪ٜ‬ی‬
‫تبمیم دَىذٌ ٗج٘‪ٞ‬ػ‪ ٠‬ای اص ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی سا دسیبك ًشد‪ ٝ ٟ‬كشهی‪ ٠‬ای ٗت‪ٜ‬بػت ثب آ‪ ٙ‬خش‪ ٝ‬ی ٗید‪١‬دذ‪ ،‬اید‪ ٚ‬كشهدی‪٘١ ٠‬دب‪ٙ‬‬ ‫‪‬‬
‫تخ٘ی‪ ٚ‬تبثغ ‪١‬ذف اػ ‪ .‬ای‪ ٚ‬هؼ٘ ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی ٗحذ‪ٝ‬د سا تبٗیٖ ٗید‪١‬ذ‪ ٝ ،‬كشهی‪ ٠‬ای ً‪ ٠‬تبثؼی ًٔی اػ ‪ ٝ‬ای‪ٗ ٚ‬ج٘‪ٞ‬ػد‪ٝ ٠‬‬
‫تدب‬ ‫دیِش ‪١٠ٛٞ٘ٛ‬ب سا ٗیپ‪ٞ‬ؿب‪ٛ‬ذ اسائ‪ٗ ٠‬یً‪ٜ‬ذ‪ .‬دس ٗثبّ ٗب‪ ،‬تبٗیٖ د‪ٜ١‬ذ‪ ٟ‬آِ‪ٞ‬سیتٖ ‪ LMS‬ث‪ٞ‬د ‪ ٝ‬خش‪ ٝ‬ی آ‪ٛ ٙ‬یض ̂ ث‪ٞ‬د ً‪ ٠‬ثب ‪ٝ‬ص‪١ٙ‬بی‬
‫ٗـخق ٗیؿذ‪.‬‬

‫‪1‬‬
‫‪module‬‬
‫‪2‬‬
‫‪trace‬‬
‫‪3‬‬
‫‪game history‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪12‬‬

‫ایجبد کىىذٌی تجربٍ كشهی‪٠‬ی كؼٔی (تبثؼی ً‪ ٠‬تب ً‪ ٜٙٞ‬یبد ُشكت‪٠‬ایٖ) سا ث‪ ٠‬ػ‪ٜٞ‬ا‪ٝ ٙ‬س‪ٝ‬دی دسیبك ٗیً‪ٜ‬ذ ‪ٗ ٝ‬ؼئٔ‪ ٠‬ای ذیذ ایجبد‬ ‫‪‬‬
‫ٗیً‪ٜ‬ذ (كلح‪ ٠‬ای ذیذ ایجبد ٗیً‪ٜ‬ذ) تب ػیؼتٖ ًبسایی دس آ‪ ٙ‬ث‪ً ٠‬ب‪ٝ‬ؽ ثپشداصد‪ٛ .‬وؾ ای‪ ٚ‬ػیؼدتٖ ا‪ٛ‬تخدبة ٗؼدئٔ‪١ ٠‬دبی ت٘شی‪ٜ‬دی‬
‫ذیذی ً‪ ٠‬ػشػ یبدُیشی سا ث‪ ٠‬حذاًثش ثشػب‪ٛ‬ذ‪ .‬دس ٗثبّ ٗب‪ ،‬ایجبد ً‪ٜٜ‬ذ‪ٟ‬ی تجشث‪ ٠‬یي اػتشاتظی ثؼیبس ػبد‪ ٟ‬سا د‪ٛ‬جبّ ٗیًشد‪٘١ :‬یـ‪٠‬‬
‫یي چی‪ٜ‬ؾ كلح‪٠‬ی ثبث سا ثشای ایجبد ثبصی ذیذ ا‪ٛ‬تخبة ٗیًشد‪ .‬دس اػتشاتظی‪١‬بی پیچیذ‪ ٟ‬تش سا ٗیت‪ٞ‬ا‪ ٙ‬ثشای ًب‪ٝ‬ؽ ‪ٛ‬بحی‪١ ٠‬دبی‬
‫خبف كوبی چی‪ٜ‬ؾ كلح‪ ٠‬ث‪ً ٠‬بس ثشد‪.‬‬

‫ؿٌْ ‪ً 1.1‬شاحی ‪٢ٛ‬بیی ثش‪ٛ‬بٗ‪ ٠‬یبدُیشی چٌشص‪.‬‬

‫ا‪ٛ‬تخبة‪١‬ب ًشاحیای ً‪ ٠‬ثشای ًشاحی ثش‪ٛ‬بٗ‪٠‬ی ثبصی چٌشص ا‪ٛ‬جبٕ دادیٖ ‪ٝ‬یظُی‪١‬بی دهین ػیؼتٖ‪١‬بی ًبسایی‪ً ،‬بسؿ‪ٜ‬بع‪ ،‬تدبٗیٖ د‪ٜ١‬دذ‪ ٝ ٟ‬ایجدبد‬
‫ً‪ٜٜ‬ذ‪ٟ‬ی تجشث‪ ،٠‬سا تؼیی‪ٗ ٚ‬یً‪ٜ‬ذ‪ .‬ثؼیبسی اص ػیؼتٖ‪١‬بی یبدُیشی ٗبؿی‪ ٚ‬سا ٗیت‪ٞ‬ا‪ ٙ‬دس كشٕ ‪٘١‬ی‪ ٚ‬چ‪٢‬بس هؼ٘ ثیب‪ً ٙ‬شد‪.‬‬

‫تشتیت ا‪ٛ‬تخبة ُضی‪١ ٠ٜ‬بی ًشاحی ثشای ثبصی چٌشص دس ؿٌْ ‪ 1.2‬ث‪ًٞ ٠‬س خالك‪ ٠‬آ‪ٝ‬سد‪ ٟ‬ؿذ‪ ٟ‬اػ ‪ .‬ای‪ ٚ‬ا‪ٛ‬تخبة‪١‬بی ًشاحدی ًدبس یدبدُیشی سا اص‬
‫چ‪ٜ‬ذی‪ٛ ٚ‬ظش ٗحذ‪ٝ‬د ًشد‪ ٟ‬اػ ‪ .‬ثشای ٗثبّ‪ٞٛ ،‬ع دا‪ٛ‬ـی ً‪ ٠‬رخیش‪ٗ ٟ‬یؿ‪ٞ‬د سا ث‪ ٠‬تبثغ خٌی ٗحذ‪ٝ‬د ًشد‪ٟ‬ایٖ‪ .‬ػال‪ ٟٝ‬ثش ای‪ ،ٚ‬تبثغ خٌی سا كوي تبثغ ‪6‬‬
‫ٗتـیش خبف اص كلح‪٠‬ی ثبصی كشم ًشد‪ٟ‬ایٖ‪ .‬اُش تبثغ ‪١‬ذف ‪ V‬سا ثت‪ٞ‬ا‪ ٙ‬ثب تشًیجی خٌی اص ‪ٝ‬یظُی‪١‬ب ‪٘ٛ‬بیؾ داد‪ ،‬ثش‪ٛ‬بٗ‪٠‬ی ٗب ثب احت٘بّ خد‪ٞ‬ثی ‪V‬‬
‫سا تخ٘ی‪ ٚ‬خ‪ٞ‬ا‪١‬ذ صد‪ .‬اٗب اُش ‪ V‬سا ‪ٛ‬ت‪ٞ‬ا‪ ٙ‬ثب تشًیت خٌی ای‪ٗ ٚ‬تـیش‪١‬ب ‪ٛ‬ـب‪ ٙ‬داد دس ث‪٢‬تشی‪ ٚ‬حبٓ ٗیت‪ٞ‬ا‪ ٙ‬اص ثش‪ٛ‬بٗ‪ ٠‬ا‪ٛ‬تظبس داؿ ً‪ ٠‬توشیت خ‪ٞ‬ثی اص‬
‫آ‪ٙ‬سا یبد ثِیشد‪ .‬صیشا ً‪١ ٠‬یچ ثش‪ٛ‬بٗ‪ ٠‬ای ‪٘ٛ‬یت‪ٞ‬ا‪ٛ‬ذ چیضی سا ً‪٘ٛ ٠‬یت‪ٞ‬ا‪ٛ‬ذ ‪٘ٛ‬بیؾ د‪١‬ذ یبد ثِیشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪13‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫ؿٌْ ‪ 1.2‬خالك‪٠‬ی ا‪ٛ‬تخبة‪١‬بی ًشاحی ثش‪ٛ‬بٗ‪٠‬ی ثبصی چٌشص‪.‬‬

‫ثیبییذ كشم ً‪ٜ‬یٖ ً‪ ٠‬توشیت خ‪ٞ‬ثی اص ‪ V‬سا ثت‪ٞ‬ا‪ ٙ‬ثب ای‪ ٚ‬كشٕ ‪٘ٛ‬بیؾ داد‪ .‬حبّ ای‪ ٚ‬ػؤاّ ٌٗشح خ‪ٞ‬ا‪١‬ذ ثد‪ٞ‬د ًد‪ ٠‬آیدب اید‪ ٚ‬تٌ‪ٜ‬یدي‪١‬دبی یدبدُیشی‬
‫تو٘ی‪ٗ ٚ‬یً‪ٜٜ‬ذ ً‪ ٠‬دس ك‪ٞ‬ست ‪ٞ ٝ‬د ای‪ ٚ‬توشیت آ‪ ٙ‬سا پیذا ً‪ٜٜ‬ذ‪ .‬كلْ ‪ 13‬ثشسػی ی تئ‪ٞ‬سی ا‪ٛ‬جبٕ ٗید‪١‬ذ ً‪ ٠‬ثشای تح ؿشایي ٗحدذ‪ٝ‬د ً‪ٜٜ‬دذ‪ٟ‬‬
‫ای‪ ،‬س‪ٝ‬ؿی ٗـبث‪ ٠‬ای‪ ٚ‬س‪ٝ‬ؽ ‪ٝ‬اهؼبً ث‪ ٠‬ػ٘ تبثغ اسصیبثی ٗیْ خ‪ٞ‬ا‪١‬ذ ًشد‪ .‬خ‪ٞ‬ؿجختب‪ ٠ٛ‬دس ‪ٛ‬تبیج ػ٘ٔی ٗـب‪١‬ذ‪ٗ ٟ‬یؿد‪ٞ‬د ًد‪ ٠‬حتدی ‪ِٜ١‬دبٗی ًد‪ ٠‬اص‬
‫ٗحذ‪ٝ‬د‪ٟ‬ی ؿشایي اثجبت خبس ٗیؿ‪ٞ‬یٖ ٗؼ٘‪ٞ‬الً ای‪ ٚ‬س‪ٝ‬ؽ ثشای یبدُیشی تبثغ اسصیبثی ٗ‪ٞ‬كوی آٗیض اػ ‪.‬‬

‫آیب ثش‪ٛ‬بٗ‪ ٠‬ای ً‪ٗ ٠‬ب ًشاحی ٗیً‪ٜ‬یٖ ث‪ ٠‬ا‪ٛ‬ذاص‪ٟ‬ی ًبكی ه‪ٞ‬ی خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د تب ثت‪ٞ‬ا‪ٛ‬ذ ثبصیٌ‪ٜ‬ی ‪٢‬ب‪ٛ‬ی سا ثجشد؟ احت٘بالً خیش‪ .‬ای‪ ٚ‬ث‪ ٠‬خبًش ای‪ ٚ‬اػد ًد‪٠‬‬
‫‪٘ٛ‬بیؾ خٌی تبثغ ̂ ثؼیبس ػبد‪ ٟ‬اػ ‪٘ٛ ٝ‬یت‪ٞ‬ا‪ٛ‬ذ ضئیبت ثبصی سا تؼیی‪ًٜ ٚ‬ذ‪ .‬ثب ای‪ٞ ٝ ٚ‬د‪ ،‬ثب دس ‪ٛ‬ظش ُشكت‪٘ٛ ٚ‬بیـی پیچیذ‪ ٟ‬تش ثشای تبثغ ‪١‬دذف‪،‬‬
‫ای‪ ٚ‬س‪ٝ‬ؽ ًٔی ٗیت‪ٞ‬ا‪ٛ‬ذ ثؼیبس ٗ‪ٞ‬كوی آٗیض ثبؿذ‪ .‬ثشای ٗثبّ )‪ً (Tesauro 1992, 1995‬شحی ثشای ثش‪ٛ‬بٗ‪ ٠‬ای ً‪ ٠‬یبد ٗیُیدشد تختد‪ٛ ٠‬دشد‬
‫ثبصی ً‪ٜ‬ذ سا ثب یبدُیشی تبثغ اسصیبثی ٗـبث‪٢‬ی ثش س‪ٝ‬ی ‪ٝ‬هؼی ‪١‬ب سا اسائ‪ٗ ٠‬یً‪ٜ‬ذ‪ .‬ثش‪ٛ‬بٗ‪٠‬ی ‪ٝ‬ی تخ٘ی‪ ٚ‬تبثغ یبد ُشكت‪ ٠‬ؿذ‪ ٟ‬سا ثب اػتلبد‪ ٟ‬اص ؿجٌ‪ ٠‬ای‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪14‬‬

‫ػلجی ً‪ٝ ٠‬یظُی‪١‬بی ًبْٗ ‪ٝ‬هؼی كلح‪ ٠‬سا ث‪ ٠‬بی صیشٗج٘‪ٞ‬ػ‪ ٠‬ای اص ‪ٝ‬یظُی‪١‬بی كلح‪ ٠‬دسیبك ٗیً‪ٜ‬ذ ‪٘ٛ‬بیؾ ٗید‪١‬ذ‪ .‬ثؼذ اص آٗد‪ٞ‬صؽ ثدش‬
‫س‪ٝ‬ی یي ٗیٔی‪ ٙٞ‬ثبصی آٗ‪ٞ‬صؿی خ‪ٞ‬دػبخت‪ 1٠‬ثش‪ٛ‬بٗ‪٠‬ی ‪ٝ‬ی ت‪ٞ‬ا‪ٛ‬ؼ دس ٗوبثْ ثبصیٌ‪ٜ‬ب‪ ٙ‬ػٌح ثبالی تخت‪ٛ ٠‬شد ثبصی ً‪ٜ‬ذ‪.‬‬

‫آجت‪ٗ ٠‬یت‪ٞ‬ا‪ٛ‬ؼتیٖ آِ‪ٞ‬سیتٖ‪١‬بی دیِشی سا ثشای ًبس یبدُیشی ثبصی چٌشص ًشاحی ً‪ٜ‬یٖ‪ .‬ثشای ٗثبّ‪ ٌٚ٘ٗ ،‬ث‪ٞ‬د ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی سا رخیش‪ً ٟ‬شد‪،ٟ‬‬
‫‪ ٝ‬دس ‪ٝ‬هؼی ‪١‬بی ذیذ دس دس‪ٗ ٙٝ‬ج٘‪ٞ‬ػ‪٠‬ی رخیش‪ ٟ‬ؿذ‪ ٟ‬ث‪ ٠‬د‪ٛ‬جبّ ‪١ ٠ٛٞ٘ٛ‬دبی ٗـدبث‪ ٠‬ثِدشدیٖ (آِد‪ٞ‬سیتٖ ‪ ،nearest-neighbor‬كلدْ ‪.)8‬‬
‫یب ٗیت‪ٞ‬ا‪ٛ‬ؼتیٖ تؼذاد صیبد اص ثش‪ٛ‬بٗ‪١ ٠‬بی ثبصی چٌشص سا ایجبد ًشد‪ ٝ ٟ‬ا بص‪ٟ‬ی ثبصی ث‪ ٠‬آ‪١ٙ‬ب ثذ‪١‬یٖ ‪ٞٗ ٝ‬كدنتدشی‪ ٚ‬آ‪١ٙ‬دب سا حلد ًدشد‪ ٝ ٟ‬ثدب اید‪ٚ‬‬
‫ٗج٘‪ٞ‬ػ‪ ٠‬ثب ‪٢‬ؾ‪ ٝ 2‬تشًیت ثش‪ٛ‬بٗ‪١٠‬ب سا تٌبْٗ د‪١‬یٖ (آِ‪ٞ‬سیتٖ‪١‬بی ط‪ٛ‬تیي‪ ،‬كلْ ‪ .)9‬ث‪ٛ ٠‬ظش ٗیسػذ ا‪ٛ‬ؼب‪١ٙ‬ب س‪ٝ‬ؿدی ٗتلدب‪ٝ‬ت ثدشای یدبدُیشی‬
‫اػتلبد‪ٗ ٟ‬یً‪ٜٜ‬ذ‪ ،‬دس ای‪ ٚ‬س‪ٝ‬ؽ آ‪١ٙ‬ب ؿشایي سا ثشسػی ًشد‪ ٝ ٟ‬ت‪ٞ‬هیحبت ‪ ٝ‬دالیٔی ثشای ٗ‪ٞ‬كوید یدب ؿٌؼد ثدبصی ایجدبد ٗدیً‪ٜٜ‬دذ (یدبدُیشی‬
‫ت‪ٞ‬هیحی‪ ،‬كلْ ‪ً .)11‬شاحی ٗب یٌی اص ًشاحی‪١‬بی ٌٗ٘‪ ٚ‬اػ ‪ ٝ‬ثشای آؿ‪ٜ‬بیی ثب ثحث ‪ ٝ‬ا‪ٛ‬تخبة‪١‬بی ًشاحی ٗتذ یبدُیشی دػت‪ ٠‬ای اص ٗؼدبئْ‬
‫آ‪ٝ‬سد‪ ٟ‬ؿذ‪ ٟ‬اػ ‪.‬‬

‫‪ 1.1‬دورنما و مشکالت یادگیری ماشین‬

‫یٌی اص ‪ِٛ‬ب‪١ ٟ‬بی یبدُیشی ٗبؿی‪ ،ٚ‬ؼتج‪ٞ‬یی ٗیب‪ ٙ‬كوبی كشهی‪ ٠‬ای ‪ٛ‬ؼجتبً ثضسٍ كشهی‪١ ٠‬بی ٌٗ٘‪ ٚ‬ثشای ٗـخق ًشد‪ ٙ‬ث‪٢‬تدشی‪ ٚ‬كشهدی‪ ٠‬ثدب‬
‫ت‪ ٠ ٞ‬ث‪ ٠‬داد‪١ ٟ‬بی آٗ‪ٞ‬صؿی ٗ‪ٞ ٞ‬د ‪ ٝ‬دا‪ٛ‬ؾ هجٔی اػ ‪ .‬ثشای ٗثبّ‪ ،‬كوبی كشهی‪ ٠‬ای ت٘بٗی كشهی‪١٠‬بیی خش‪ ٝ‬ی یبدُیش ثبصی چٌشص (ًد‪ ٠‬دس ثدبال‬
‫ثیب‪ً ٙ‬شد‪.‬‬ ‫تب‬ ‫ًشاحی ًشدیٖ) سا دس ‪ٛ‬ظش ثِیشیذ‪ .‬ای‪ ٚ‬كوبی كشهی‪ ٠‬ای ؿبْٗ ت٘بٗی ت‪ٞ‬اثغ اسصیبثیای ٗیؿ‪ٞ‬د ً‪ٗ ٠‬یت‪ٞ‬ا‪ ٙ‬آ‪١ٙ‬ب سا دس هبٓت‬
‫پغ ًبس یبدُیش ؼتج‪ ٞ‬دس ٗیب‪ ٙ‬ای‪ ٚ‬كوبی كشهی‪ ٠‬ای ‪ٝ‬ػیغ ثشای پیذا ًشد‪ ٙ‬ػبصُبستشی‪ ٚ‬كشهی‪ ٠‬ثب ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی ٗ‪ٞ ٞ‬د اػد ‪ .‬آِد‪ٞ‬سیتٖ‬
‫‪ LMS‬ثب تٌشاس تـییش ‪ٝ‬ص‪١ٙ‬ب ‪ ٝ‬تلحیح تخ٘ی‪١ٚ‬بی اؿتجب‪ ٟ‬تبثغ دس ‪١‬ش ٗشحٔ‪ ٠‬ث‪ ٠‬ای‪ ٚ‬تبثغ اسصیبثی دػ پیذا ٗدیً‪ٜ‬دذ‪ .‬اید‪ ٚ‬آِد‪ٞ‬سیتٖ سا ٗدیتد‪ٞ‬ا‪ٙ‬‬
‫‪ِٜ١‬بٗی ً‪٘ٛ ٠‬بیؾ كشهی‪ ٠‬یبدُیش ثب پبساٗتش ‪١‬بی پی‪ٞ‬ػت‪ ٠‬اػ ًبس ثشد‪.‬‬

‫ثؼیبسی اص كل‪ ّٞ‬ای‪ً ٚ‬تبة آِ‪ٞ‬سیتٖ‪١‬بیی سا اسائ‪ٗ ٠‬یً‪ٜٜ‬ذ ً‪ ٠‬كوبی كشهی‪ ٠‬ای تؼشیق ؿذ‪ ٟ‬ثب اػدتلبد‪ ٟ‬اص ‪٘ٛ‬بیـدی خدبف (ٗثدْ ت‪ٞ‬اثدغ خٌدی‪،‬‬
‫ت‪ٞ‬كیق ٗ‪ٌٜ‬وی‪ ،‬دسخ تل٘یٖ ‪ ٝ‬ؿجٌ‪١ ٠‬بی ػلجی) سا ؼتج‪ٗ ٞ‬یً‪ٜٜ‬ذ‪ .‬ای‪٘ٛ ٚ‬بیؾ‪١‬بی ٗتلب‪ٝ‬ت كشهی‪١٠‬ب ثشای یبدُیشی ا‪ٛ‬د‪ٞ‬اع ٗختٔدق ت‪ٞ‬اثدغ‬
‫‪١‬ذف اػ ‪ .‬دس ‪١‬ش یي اص ای‪٘ٛ ٚ‬بیؾ كشهی‪١٠‬ب‪ ،‬آِ‪ٞ‬سیتٖ یبدُیشی ٗ‪ٜ‬بػت اص ػبختبسی ‪٘ٛ‬بیؾ ثشای تشتیت ؼتج‪ ٞ‬دس كوبی كشهدی‪ ٠‬ای ً٘دي‬
‫ٗیُیشد‪.‬‬

‫دس ت٘بٕ ً‪ ّٞ‬ای‪ً ٚ‬تبة‪ ،‬اص ای‪ِٛ ٚ‬ب‪ ٟ‬ث‪ٗ ٠‬ؼبئْ یبدُیشی ثشای دػت‪ ٠‬ث‪ٜ‬ذی ٗتذ ‪١‬بی یبدُیشی ثش اػبع اػتشاتظی‪١‬بی ؼدتج‪ ٝ ٞ‬ػدبختبس كودبی‬
‫كشهی‪ ٠‬ای ٗ‪ٞ‬سد ؼتج‪ً٘ ٞ‬ي ٗیُیشیٖ‪٘١ .‬چ‪ٜ‬ی‪ ٚ‬ای‪ِٛ ٚ‬ب‪ ٟ‬سا ثشای ثشسػی سػ٘ی س‪ٝ‬اثي ثی‪ ٚ‬ا‪ٛ‬ذاص‪ٟ‬ی كوبی كشهدی‪ ٠‬ای ٗد‪ٞ‬سد ؼدتج‪ ،ٞ‬تؼدذاد‬
‫‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی ٗ‪ٞ ٞ‬د ‪ ٝ‬اً٘ی‪ٜ‬ب‪ ٙ‬تؼ٘یٖ كشهی‪٢ٛ ٠‬بیی ثش س‪ٝ‬ی داد‪١ ٟ‬بی ذیذ ًبس ٗیثشیٖ‪.‬‬

‫‪ 1.3.1‬مشکالت یادگیری ماشیه‬

‫ٗؼئٔ‪٠‬ی ٌٗشح ؿذ‪ ٟ‬چٌشص ػؤاالت ًٔیای دسثبس‪ٟ‬ی یبدُیشی ٗبؿی‪ ٚ‬ایجبد ٗیً‪ٜ‬ذ‪ .‬یبدُیشی ٗبؿی‪ ٝ ٚ‬اًثش ٗت‪ ٚ‬ای‪ً ٚ‬تبة ثشای ‪ٞ‬اة ثد‪ ٠‬چ‪ٜ‬دی‪ٚ‬‬
‫ػؤاالتی اػ ‪:‬‬

‫‪1‬‬
‫‪self-generated‬‬
‫‪2‬‬
‫‪mutate‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪15‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫چ‪ ٠‬آِ‪ٞ‬سیتٖ‪١‬بیی ثشای یبدُیشی ًٔی ت‪ٞ‬اثغ ‪١‬ذف اص ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی خبف ‪ٞ ٝ‬د داسد؟ دس چ‪ ٠‬ؿشایٌی یدي آِد‪ٞ‬سیتٖ خدبف ثدب‬ ‫‪‬‬
‫داؿت‪١ ٠ٛٞ٘ٛ ٚ‬بی آٗ‪ٞ‬صؿی ًبكی ث‪ ٠‬تبثغ ٗ‪ٞ‬سد ‪ٛ‬ظش ٗیْ ٗیً‪ٜ‬ذ؟ چ‪ ٠‬آِ‪ٞ‬سیتٖ‪١‬بیی ثشای چ‪ٞٛ ٠‬ع اص ٗؼبئْ ‪٘ٛ ٝ‬بیؾ‪١‬ب ًبسایی ث‪٢‬تدشی‬
‫داس‪ٛ‬ذ؟‬
‫چ‪ٗ ٠‬یضا‪ ٙ‬داد‪ٟ‬ی آٗ‪ٞ‬صؿی ًبكی اػ ؟ چ‪ٗ ٠‬حذ‪ٝ‬دی ‪١‬بی ًٔیای سا ٗیت‪ٞ‬ا‪ ٙ‬ثدشای ساثٌد‪٠‬ی اً٘ی‪ٜ‬دب‪ ٙ‬كشهدی‪١٠‬دب‪ٗ ،‬یدضا‪ ٙ‬تجشثیدبت‬ ‫‪‬‬
‫آٗ‪ٞ‬صؿی ‪ٝ ٝ‬یظُی‪١‬بی كوبی كشهی‪ ٠‬ای یبدُیش ثذػ آ‪ٝ‬سد؟‬
‫دس چ‪ ٠‬ؿشایٌی ‪ ٝ‬چِ‪ ٠ٛٞ‬دا‪ٛ‬ؾ هجٔی یبدُیش ٗیت‪ٞ‬ا‪ٛ‬ذ ث‪ ٠‬كشآی‪ٜ‬ذ یبدُیشی ً٘ي ً‪ٜ‬ذ؟ آیب دا‪ٛ‬ؾ هجٔی صٗب‪ٛ‬ی ً‪ً ٠‬بٗالً دسػ ‪ٛ‬یؼ ‪ٛ‬یدض‬ ‫‪‬‬
‫ٗیت‪ٞ‬ا‪ٛ‬ذ ث‪ ٠‬كشآی‪ٜ‬ذ یبدُیشی ً٘ي ً‪ٜ‬ذ؟‬
‫ث‪٢‬تشی‪ ٚ‬س‪ٝ‬ؽ ا‪ٛ‬تخبة تجشث‪٠‬ی آٗ‪ٞ‬صؿی ثؼذی چیؼ ‪ ٝ ،‬چِ‪ ٠ٛٞ‬ای‪ ٚ‬ا‪ٛ‬تخبة ای‪ ٚ‬س‪ٝ‬ؽ پیچیذُی یبدُیشی ٗؼئٔ‪ ٠‬سا تـییش ٗید‪١‬ذ؟‬ ‫‪‬‬
‫ث‪٢‬تشی‪ ٚ‬سا‪ً ٟ‬ب‪١‬ؾ ًبس یبدُیشی ث‪ ٠‬یي یب چ‪ٜ‬ذ ٗؼئٔ‪٠‬ی تبثغ تخ٘ی‪ ٚ‬چیؼ ؟ ث‪ ٠‬ػجبست دیِش‪ ،‬چ‪ ٠‬ت‪ٞ‬اثغ خبكی سا ثبیذ ‪١‬ذف یدبدُیشی‬ ‫‪‬‬
‫‪1‬‬
‫هشاس داد؟ آیب ٗیت‪ٞ‬ا‪ ٙ‬خ‪ٞ‬د ای‪ ٚ‬كشای‪ٜ‬ذ سا خ‪ٞ‬دًبس ًشد؟‬
‫چِ‪ ٠ٛٞ‬یبدُیش ٗیت‪ٞ‬ا‪ٛ‬ذ ث‪ًٞ ٠‬س خ‪ٞ‬دًبس ‪ٛ‬ح‪ٟٞ‬ی ‪٘ٛ‬بیؾ سا ثشای ث‪٢‬تش ًشد‪ ٙ‬هذست ‪٘ٛ‬بیؾ ‪ ٝ‬یبدُیشی تبثغ ‪١‬ذف تـییش د‪١‬ذ؟‬ ‫‪‬‬

‫‪ 1.1‬این کتاب را چگونه بخوانیم‬

‫ای‪ً ٚ‬تبة ؿبْٗ ٗوذٗ‪ ٠‬ای ثش آِ‪ٞ‬سیتٖ‪١‬ب ‪ ٝ‬س‪ٝ‬ؽ‪١‬بی اثتذایی یبدُیشی ٗبؿی‪ٛ ٝ ٚ‬تیجد‪١ ٠‬دبی تئد‪ٞ‬سی اص اٌٗدب‪ 2ٙ‬یدبدُیشی ًبس‪١‬دبی ٗختٔدق ‪ٝ‬‬
‫ظشكی ‪١‬بی آِ‪ٞ‬سیتٖ‪١‬بی خبف ‪١ ٠ٛٞ٘ٛ ٝ‬بی ًبسثشدی یبدُیشی ٗبؿی‪ ٚ‬دس ‪٢‬ب‪ٝ ٙ‬اهؼی اػ ‪ .‬كلْ‪١‬بی ای‪ً ٚ‬تبة سا ٗدیتد‪ٞ‬ا‪ ٙ‬ثد‪١ ٠‬دش تشتیدت‬
‫دٓخ‪ٞ‬ا‪ ٟ‬خ‪ٞ‬ا‪ٛ‬ذ‪ ،‬ثب ای‪ٞ ٝ ٚ‬د ثؼوی ‪ٝ‬اثؼتِی‪١‬ب ثی‪ ٚ‬كل‪ ّٞ‬ا ت‪ٜ‬بة ‪ٛ‬بپزیش‪ٛ‬ذ‪ .‬اُش ای‪ً ٚ‬تبة سا ثشای ػیالثغ دسػی اػتلبد‪ٗ ٟ‬یً‪ٜ‬یدذ‪ٝ ،‬اهؼدبً ت‪ٞ‬كدی‪٠‬‬
‫ٗیؿ‪ٞ‬د ً‪ ٠‬اثتذا ث‪ ٠‬كل‪ 2 ٝ 1 ّٞ‬پشداخت‪ ٠‬ؿ‪ٞ‬د‪ .‬ث‪ ٠‬ض ای‪ ٚ‬د‪ ٝ‬كلْ ثوی‪ ٠‬كل‪ ّٞ‬سا ٗیت‪ٞ‬ا‪ ٙ‬توشیجبً ث‪١ ٠‬ش تشتیت دٓخ‪ٞ‬ا‪ ٌٚ٘ٗ ٟ‬خ‪ٞ‬ا‪ٛ‬ذ‪ .‬ثشای ًالػی‬
‫ً‪ ٠‬یي تشٕ خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د ٗت‪ 7 ٚ‬كلْ ًبكی خ‪ٞ‬ا‪١‬ذ ث‪ٞ‬د‪ ،‬آجت‪ ٠‬كل‪ ّٞ‬اهبكی ٗیت‪ٞ‬ا‪ٛ‬ذ ثشای ٌٗبٓؼ‪٠‬ی آصاد ُزاؿت‪ ٠‬ؿ‪ٞ‬د (ً‪ ٠‬اص ا‪٘١‬ی هبثدْ تد‪٢ ٞ‬ی‬
‫ثشخ‪ٞ‬سداس‪ٛ‬ذ)‪ .‬دس صیش خالك‪ ٠‬ای اص آ‪ٛ‬چ‪ ٠‬دس ‪١‬ش كلْ آ‪ٝ‬سد‪ ٟ‬ؿذ‪ ٟ‬آٗذ‪:ٟ‬‬

‫كلْ ‪ 2‬ث‪ ٠‬یبدُیشی ٗل‪ ٕٞ٢‬ثش پبی‪٠‬ی ‪٘ٛ‬بیؾ ‪٘ٛ‬بدی‪٘ٛ ٝ 3ٚ‬بیؾ ٗ‪ٌٜ‬وی اػ ‪٘١ .‬چ‪ٜ‬ی‪ ٚ‬دس ای‪ ٚ‬كلْ تشتیت ًٔی ث‪ ٠‬ضئی كشهی‪١٠‬دب ‪ٝ‬‬ ‫‪‬‬
‫ثبیبع اػتوشایی ‪ ٝ‬ا‪٘١‬یتؾ ثشسػی ؿذ‪ ٟ‬اػ ‪.‬‬
‫كلْ ‪ 3‬یبدُیشی دسختی ‪ٗ ٝ‬ؼئٔ‪٠‬ی ‪ overfit‬سا ثشسػی ٗیً‪ٜ‬ذ‪٘١ .‬چ‪ٜ‬ی‪ ٚ‬تیؾ ‪ occam‬هب‪ٛٞٛ‬ی ً‪ ٠‬كشهی‪١ ٠‬بی ً‪ٞ‬تدب‪ٟ‬تدش سا تدش یح‬ ‫‪‬‬
‫ٗید‪١‬ذ‪ٛ -‬یض آ‪ٝ‬سد‪ ٟ‬ؿذ‪ ٟ‬اػ ‪.‬‬
‫كلْ ‪ 4‬ث‪ ٠‬یبدُیشی ؿجٌ‪١ ٠‬بی ػلجی ‪ ٝ‬آِ‪ٞ‬سیتٖ ‪ ٝ Backpropagation‬س‪ٝ‬ؽ ًٔی ؿیت ‪ٛ‬ض‪ٗ ّٝ‬یپشداصد‪ .‬اید‪ ٚ‬ثخدؾ ؿدبْٗ‬ ‫‪‬‬
‫ٗثبٓی اص پشداصؽ اًالػبت تل‪ٞ‬یش (ك‪ٞ‬ست ا‪ٛ‬ؼب‪ٛ )ٙ‬یض ٗیؿ‪ٞ‬د‪ .‬آدسع ٗ‪ٜ‬بثغ داد‪١ٟ‬ب ‪ ٝ‬آِ‪ٞ‬سیتٖ‪١‬بی اهبك‪ٛ ٠‬یض آ‪ٝ‬سد‪ ٟ‬ؿذ‪ ٟ‬اػ ‪.‬‬
‫كلْ ‪ 5‬ث‪ٗ ٠‬لب‪١‬یٖ پبی‪ ٠‬ای تئ‪ٞ‬سی آٗبس ‪ ٝ‬تخ٘ی‪ ٚ‬ثب ت٘شًض ثش اسصیبثی ده كشهی‪١٠‬ب ثب اػتلبد‪ ٟ‬اص داد‪١ ٟ‬بی ٗحذ‪ٝ‬د ٗیپشداصد‪ .‬ای‪ ٚ‬كلْ‬ ‫‪‬‬
‫ث‪ ٠‬ثبص‪١ ٟ‬بی اً٘ی‪ٜ‬ب‪ 4ٙ‬ثشای تخ٘ی‪ ٚ‬ده كشهی‪١٠‬ب ‪ٗ ٝ‬تذ ‪١‬بی ٗوبیؼ‪٠‬ی ده ٗتذ ‪١‬بی ٗختٔق یبدُیشی ٗیپشداصد‪.‬‬

‫‪1‬‬
‫‪automatic‬‬
‫‪2‬‬
‫‪feasibility‬‬
‫‪3‬‬
‫‪symbolic representation‬‬
‫‪4‬‬
‫‪confidence interval‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪16‬‬

‫كلْ ‪ 6‬ث‪ ٠‬یبدُیشی ثیضی دس یبدُیشی ٗبؿی‪ٗ ٚ‬یپشداصد‪ ،‬ای‪ ٚ‬كلْ ث‪ً ٠‬بسثشد ثشسػی ثیضی ‪ ٖ١‬ثشای ثشسػی آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ی‬ ‫‪‬‬
‫ؿیش ثیضی ‪ ٖ١ ٝ‬ثشای آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ثیضی‪ ٠ً ،‬احت٘بّ كشهی‪١ ٠‬بی سا ٗحبػج‪ٗ ٠‬یً‪ٜٜ‬ذ‪ٗ ،‬یپشداصد‪ .‬ای‪ ٚ‬كلْ ‪٘١‬چ‪ٜ‬ی‪ ٚ‬ؿدبْٗ‬
‫ٗثبٓی اص ث‪ً ٠‬بس ثشد‪ ٙ‬دػت‪ ٠‬ث‪ٜ‬ذی ً‪ٜٜ‬ذ‪ٟ‬ی ػبد‪ٟ‬ی ثیض دس ٗؼئٔ‪٠‬ی دػت‪ ٠‬ث‪ٜ‬ذی ٗت‪ ،ٙٞ‬ثب اػتلبد‪ ٟ‬اص ثش‪ٛ‬بٗ‪ ٝ ٠‬داد‪١ ٟ‬بی ای‪ٜ‬تش‪ٗ ٛ‬یؿ‪ٞ‬د‪.‬‬
‫‪(probably‬‬ ‫كلددْ ‪ٛ 7‬ظشی د‪٠‬ی یددبدُیشی ٗحبػددجبتی سا پ‪ٞ‬ؿددؾ ٗ دید‪١‬ددذ‪ .‬دس ایدد‪ ٚ‬كلددْ ثدد‪ٗ ٠‬ددذّ یددبدُیشی توشیجدبً دسػد‬ ‫‪‬‬
‫))‪ٗ ٝ approximately correct (PAC‬ذّ یبدُیشی ٗشص خٌب‪ 1‬خ‪ٞ‬ا‪١‬یٖ پشداخ ‪ .‬ػال‪ ٟٝ‬ثش ای‪ ٚ‬دس ای‪ ٚ‬كلْ ث‪ ٠‬آِد‪ٞ‬سیتٖ سای‬
‫ُیشی ‪ٝ‬ص‪ ٙ‬داس‪ٛ 2‬یض خ‪ٞ‬ا‪١‬یٖ پشداخ ً‪ ٠‬س‪ٝ‬ؿی ثشای تشًیت آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی اػ ‪.‬‬
‫كلْ ‪ 8‬ث‪ٗ ٠‬تذ ‪١‬بی یبدُیشی ٗجت‪ٜ‬ی ثش ‪١٠ٛٞ٘ٛ‬ب ٗیپشداصد‪ ،‬ای‪ٗ ٚ‬تذ‪١‬ب ؿبْٗ یبدُیشی ‪ٛ‬ضدیيتشی‪٘١ ٚ‬ؼبی‪١٠‬ب‪ ،‬ثشاصؽ ‪ٝ‬ص‪ ٙ‬داس ٗحٔی ‪ٝ‬‬ ‫‪‬‬
‫‪ٗ case-based reasoning‬یؿ‪ٞ‬د‪.‬‬
‫كلْ ‪ 9‬آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ً‪ ٠‬ثب آ‪٢‬بٕ اص تٌبْٗ صیؼتی ػبخت‪ ٠‬ؿذ‪ٟ‬ا‪ٛ‬ذ سا ثشسػی ٗیً‪ٜ‬ذ‪ .‬ای‪ ٚ‬آِ‪ٞ‬سیتٖ‪١‬دب ؿدبْٗ آِد‪ٞ‬سیتٖ‪١‬دبی‬ ‫‪‬‬
‫ط‪ٛ‬تیي ‪ ٝ‬ثش‪ٛ‬بٗ‪ٞٛ ٠‬یؼی ط‪ٛ‬تیي ٗیؿ‪ٛٞ‬ذ‪.‬‬
‫كلْ ‪ 17‬آِ‪ٞ‬سیتٖ‪١‬بیی ً‪ ٠‬ثشای یبدُیشی دػت‪ ٠‬ه‪ٞ‬ا‪ٛ‬ی‪ ،ٚ‬ؿبْٗ س‪ٝ‬ؽ‪١‬بی ثش‪ٛ‬بٗ‪ٞٛ ٠‬یؼی ٗ‪ٌٜ‬وی اػتوشایی ثشای ‪١ horn clause‬بی‬ ‫‪‬‬
‫دس ‪ ٠‬ا‪ ،ّٝ‬سا پ‪ٞ‬ؿؾ ٗید‪١‬ذ‪.‬‬
‫كلْ ‪ 11‬ث‪ ٠‬یبدُیشی ت‪ٞ‬هیحی‪ٗ ،‬تذی یبدُیشی ً‪ ٠‬اص دا‪ٛ‬ؾ هجٔی ثشای ت‪ٞ‬هدیح ‪ٛٞ٘ٛ‬د‪١ ٠‬دبی آٗ‪ٞ‬صؿدی اػدتلبد‪ٗ ٟ‬دیً‪ٜ‬دذ ‪ ٝ‬ثدب اید‪ٚ‬‬ ‫‪‬‬
‫ت‪ٞ‬هیحبت ثش س‪ٝ‬ی ‪١ ٠ٛٞ٘ٛ‬بی آٗ‪ٞ‬صؿی تؼ٘یٖ ٗید‪١‬ذ ٗیپشداصد‪.‬‬
‫كلْ ‪ 12‬س‪ٝ‬ؽ‪١‬بی ث‪٢‬ج‪ٞ‬د ده كشهی‪ ٠‬یبدُیشی ثب تشًیت دا‪ٛ‬ؾ هجٔی ‪١ ٠ٛٞ٘ٛ ٝ‬بی آٗ‪ٞ‬صؿی سا ثحث خ‪ٞ‬ا‪١‬ذ ًشد‪ .‬دس ای‪ ٚ‬كلْ ‪١‬دٖ اص‬ ‫‪‬‬
‫آِ‪ٞ‬سیتٖ‪١‬بی ‪٘ٛ‬بدی ‪ ٖ١ ٝ‬اص ؿجٌ‪١ ٠‬بی ػلجی اػتلبد‪ ٟ‬خ‪ٞ‬ا‪١‬ذ ؿذ‪.‬‬
‫كلْ ‪ 13‬ث‪ ٠‬یبدُیشی تو‪ٞ‬یتی ٗیپشداصد‪ ،‬س‪ٝ‬ؿی ً‪ ٠‬ػیؼتٖ ثبیذ ًبسایی خ‪ٞ‬د سا ًجن پبداؽ‪١‬بیی ً‪ ٠‬دسیبك ٗیً‪ٜ‬ذ (چد‪ ٠‬آ‪ٛ‬دی چد‪ ٠‬ثدب‬ ‫‪‬‬
‫تأخیش) ث‪ ٠‬ػ‪ٜٞ‬ا‪ ٙ‬اًالػبت آٗ‪ٞ‬صؿی حذاًثش ً‪ٜ‬ذ‪ .‬ثبصی چٌشص ً‪ ٠‬پیؾتش دس كلْ ‪ 1‬ثشسػی ًشدیٖ ‪ ٠ٛٞ٘ٛ‬ای اص ‪٘١‬ی‪ٞٛ ٚ‬ع ٗؼئٔ‪ ٠‬اػ ‪.‬‬

‫‪ 1.1‬خالصه و منابع برای مطالعهی بیشتر‬

‫یبدُیشی ٗبؿی‪ ٚ‬ث‪ ٠‬ػؤاالتی ‪ٛ‬ظیش چِ‪ِٛٞ‬ی ػبخ ثش‪ٛ‬بٗ‪١ ٠‬بی ًبٗپی‪ٞ‬تشیای ً‪ ٠‬ثت‪ٞ‬ا‪ٜٛ‬ذ ًبساییؿب‪ ٙ‬سا دس ا‪ٛ‬جبٕ ًبسی ثؼذ اص تجشث‪ ٠‬اكضایؾ د‪ٜ١‬دذ‬
‫ٗیپشداصد‪ٌٛ .‬بت ًٔیذی ای‪ ٚ‬كلْ ؿبْٗ ٗ‪ٞ‬اسد صیش ٗیؿ‪ٞ‬د‪:‬‬

‫اثجبت ؿذ‪ ٠ً ٟ‬آِ‪ٞ‬سیتٖ‪١‬بی یبدُیشی ٗبؿی‪ ٚ‬اسصؽ ػ٘ٔی صیبدی دس ثؼیبسی اص صٗی‪١ ٠ٜ‬بی ًبسثشدی داس‪ٛ‬ذ‪ .‬اید‪ ٚ‬آِد‪ٞ‬سیتٖ‪١‬دب ثد‪ً ٠‬د‪ٞ‬س‬ ‫‪‬‬
‫خبف دس (‪ٗ )a‬ؼبئْ ًب‪ٝ‬ؽ داد‪ ٟ‬دس پبیِب‪١ٟ‬بی داد‪ ٟ‬ای ً‪ ٌٚ٘ٗ ٠‬اػ تشتیت‪١‬بی ٗحدن خبكدی سا داؿدت‪ ٠‬ثبؿدذ ًد‪ ٠‬ثد‪ ٠‬كد‪ٞ‬ست‬
‫ات‪ٗٞ‬بتیي هبثْ تـخیق ‪١‬ؼت‪ٜ‬ذ (ثشای ٗثبّ‪ ،‬ثشای ثشسػی حبكْ یي دسٗب‪ ٙ‬پضؿٌی ثش س‪ٝ‬ی پبیِب‪ ٟ‬داد‪ٟ‬ی ثی٘بسا‪ ٙ‬یب یبدُیشی ه‪ٞ‬ا‪ٛ‬ی‪ٚ‬‬
‫ًٔی ثبصُـ ػشٗبی‪ ٠‬ثش س‪ٝ‬ی پبیِب‪ ٟ‬داد‪ٟ‬ی اًالػبتی)؛ (‪ )b‬هٔ٘ش‪١ٝ‬بیی ً‪ ٠‬ا‪ٛ‬ؼب‪ ٙ‬دا‪ٛ‬ؾ ًبكی ثشای دسى ‪ ٝ‬اسائ‪٠‬ی آِ‪ٞ‬سیتٖ‪١‬بی ٗد‪ٞ‬ثش‬
‫دس آ‪١ٙ‬ب سا ‪ٛ‬ذاس‪ٛ‬ذ (‪ٛ‬ظیش تـخیق چ‪٢‬ش‪ ٟ‬دس ػٌغ) ‪ )c( ٝ‬هٔ٘ش‪١ٝ‬بیی ً‪ ٠‬ثش‪ٛ‬بٗ‪١٠‬ب ثبیذ تٌجین پزیش ثب ٗحیي دس حبّ تـییش ثبؿ‪ٜ‬ذ (‪ٛ‬ظیدش‬
‫كشای‪ٜ‬ذ ت‪ٓٞ‬یذ ثب ا‪ٛ‬جبس ٗحذ‪ٝ‬د ٗ‪ٜ‬بثغ ‪ ٝ‬یب تـخیق ػاله‪ ٠‬ث‪ٌٗ ٠‬بٓت ثشای كشدی ً‪ ٠‬ػالین ٗتـیشی داسد) ًبسثشد ‪١‬بی صیبدی داس‪ٛ‬ذ‪.‬‬

‫‪1‬‬
‫‪mistake-bound‬‬
‫‪2‬‬
‫‪Weighted majority‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪17‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫یبدُیشی ٗبؿی‪ ٚ‬ث‪ ٠‬ػ٘ ایذ‪ ٟ‬ای اص ٗج٘‪ٞ‬ػ‪٠‬ی ٗت‪ٜٞ‬ػی اص ه‪ٞ‬ا‪ٛ‬ی‪ٜ‬ی ؿبْٗ ‪ٞ١‬ؽ ٗل‪ٜٞ‬ػی‪ ،‬احت٘بّ‪ ،‬آٗبس‪ ،‬پیچیذُی ٗحبػجبتی‪ ،‬تئد‪ٞ‬سی‬ ‫‪‬‬
‫اًالػبت‪ ،‬س‪ٝ‬ا‪ٛ‬ـ‪ٜ‬بػی‪ ،‬تئ‪ٞ‬سی ً‪ٜ‬تشّ ‪ ٝ‬كٔؼل‪ٗ ٠‬یس‪ٝ‬د‪.‬‬
‫یي ٗؼئٔ‪٠‬ی یبدُیشی خ‪ٞ‬ؽ تؼشیق ‪ٛ‬یبص ث‪١ ٠‬ذف‪ٗ ،‬ؼیبس ػٌ٘ٔشد ‪ٜٗ ٝ‬جغ تجشثیبت آٗ‪ٞ‬صؿی ی دهین تؼشیق ؿذ‪ 1ٟ‬داسد‪.‬‬ ‫‪‬‬
‫ًشاحی یي س‪ٝ‬ؽ یبدُیشی ٗبؿی‪ ٚ‬ؿبْٗ تؼذادی ا‪ٛ‬تخبة‪١‬بی ًشاحی ‪ٛ‬ظیش تؼیی‪ٞٛ ٚ‬ع تجشثیبت آٗ‪ٞ‬صؿی‪ ،‬تبثغ ‪١‬ذف یبدُیشی‪٘ٛ ،‬بیـی‬ ‫‪‬‬
‫ثشای ای‪ ٚ‬تبثغ ‪١‬ذف‪ ٝ ،‬آِ‪ٞ‬سیت٘ی ثشای یبدُیشی تبثغ ‪١‬ذف اص تجشثیبت آٗ‪ٞ‬صؿی ٗیؿ‪ٞ‬د‪.‬‬
‫یبدُیشی ث‪ِٛ ٠‬ب‪ ٟ‬ؼتج‪ :ٞ‬ؼتج‪ٗ ٞ‬یب‪ ٙ‬كوبیی اص كشهی‪١ ٠‬بی ٌٗ٘‪ ٚ‬ثشای پیذا ًشد‪ ٙ‬كشهی‪ ٠‬ای ً‪ ٠‬ث‪٢‬تشی‪ ٚ‬تٌبثن سا ثب ‪ٛٞ٘ٛ‬د‪١ ٠‬دبی‬ ‫‪‬‬
‫آٗ‪ٞ‬صؿی ‪ ٝ‬هی‪ٞ‬د ‪ ٝ‬دا‪ٛ‬ؾ ا‪ٓٝ‬ی‪ ٠‬داؿت‪ ٠‬ثبؿذ‪ .‬دس اًثش كل‪ ّٞ‬ای‪ً ٚ‬تبة ثش ٗتذ ‪١‬بی یدبدُیشی ٗختٔلدی اػد ًد‪ ٠‬كودب‪١‬بی كشهدی‪ ٠‬ای‬
‫ٗختٔلی سا ؼتج‪ٗ ٞ‬یً‪ٜٜ‬ذ تبًیذ ٗیً‪ٜ‬یٖ (ثشای ٗثبّ‪ ،‬كوبی ت‪ٞ‬اثغ ػذدی یب ؿجٌ‪١ ٠‬بی ػلجی یدب دسخد ‪١‬دبی تلد٘یٖ یدب هد‪ٞ‬ا‪ٛ‬ی‪ٚ‬‬
‫‪٘ٛ‬بدی‪ ٚ‬یب ‪ٛ ٝ )...‬تبیج تئ‪ٞ‬سیای دس ٗ‪ٞ‬سد ؿشایي ‪ِ٘١‬شایی ای‪ٗ ٚ‬تذ‪١‬ب ث‪ ٠‬كشهی‪٠‬ی ث‪٢‬ی‪ ٠ٜ‬سا ثشسػی خ‪ٞ‬ا‪١‬یٖ ًشد‪.‬‬
‫ٗ‪ٜ‬بثغ خ‪ٞ‬ثی ثشای ٌٗبٓؼ‪ ٠‬دسثبس‪ٟ‬ی آخدشی‪ ٚ‬تحویودبت دس یدبدُیشی ٗبؿدی‪ ٝ ٚ‬د‪ٞ‬د داسد‪ٗ .‬جٔد‪١ ٠‬دبی ٗشثد‪ٞ‬ى ؿدبْٗ ‪،Machine Learning‬‬
‫‪IEEE ،Journal of the American Statistical Association ،Neural Networks ،Neural Computation‬‬
‫‪ٗ Machine Intelligence ٝ Transacations on Pattern Analysis‬یؿ‪ٛٞ‬ذ‪٘١ .‬چ‪ٜ‬ی‪٘١ ٚ‬بیؾ‪١‬بی ػبال‪ ٠ٛ‬ای ً‪ٜ ٠‬ج‪١ ٠‬دبی‬
‫ٗختٔلی اص یبدُیشی ٗبؿی‪ ٚ‬ثدش ُدضاس ٗدیؿد‪ٞ‬د‪ ،‬اید‪٘١ ٚ‬دبیؾ‪١‬دب ‪ٛ‬ظیدش ‪،International Conference on Machine Learning‬‬
‫‪،Conference on Computation Learning Theory ،Neural Information Processing Systems‬‬
‫‪International Conference on Knowledge ،International Conference on Genetic Algorithms‬‬
‫‪ ٝ European Conference on Machine Learning ،Discovery and Data Mining‬دیِش ‪٘١‬بیؾ‪١‬ب ‪١‬ؼت‪ٜ‬ذ‪.‬‬

‫تمارین‬
‫‪ .1.1‬ث‪ ٠‬ػ‪ً ٠‬بٗپی‪ٞ‬تش ًبسثشد‪١‬بیی د‪١‬یذ ً‪ ٠‬ث‪ٛ ٠‬ظش ٗیسػذ یبدُیشی ٗبؿی‪ ٚ‬دس آ‪١ٙ‬ب ؿیش ًبساػ ‪ ٝ‬ػ‪ً ٠‬بسثشدی ً‪ ٠‬ث‪ٛ ٠‬ظدش ٗدیسػدذ یدبدُیشی‬
‫ٗبؿی‪ٜٗ ٚ‬بػت اػ ‪ً .‬بسثشد‪١‬بیی سا ا‪ٛ‬تخبة ً‪ٜ‬یذ ً‪ ٠‬دس كلْ رًش ‪ٛ‬ـذ‪ٟ‬ا‪ٛ‬ذ ‪ ٝ‬ت‪ ٞ‬ی‪ًٞ ٠‬تب‪١‬ی ثشای ‪١‬ش ًذإ ثیب‪ٝ‬سیذ‪.‬‬
‫‪ .1.2‬چ‪ٜ‬ذ ًبس یبدُیشی ً‪ ٠‬دس كلْ آ‪ٝ‬سد‪ٛ ٟ‬ـذ‪ٟ‬ا‪ٛ‬ذ سا ا‪ٛ‬تخبة ً‪ٜ‬یذ‪ .‬ث‪ًٞ ٠‬س ؿیش سػ٘ی ای‪ً ٚ‬بس‪١‬ب سا دس پبساُشاكی ت‪ٞ‬كیق ً‪ٜ‬یذ‪ .‬حبّ ای‪ً ٚ‬بس سا ثدب‬
‫اػتلبد‪ ٟ‬اص تؼیی‪ ٚ‬تب حذ ٌٗ٘‪ ٚ‬دهین ًبس‪ٗ ،‬ؼیبس ًبسایی ‪ ٝ‬تجشثیبت آٗ‪ٞ‬صؿی ا‪ٛ‬جبٕ د‪١‬یذ‪ .‬تبثغ ‪١‬ذف ‪٘ٛ ٝ‬بیـی ثشای آ‪ ٙ‬تؼیی‪ًٜ ٚ‬یذ تدب ثتد‪ٞ‬ا‪ٙ‬‬
‫تبثغ سا یبد ُشك ‪ٗ .‬ؼیبس ‪١‬بی اػبػیای سا ً‪ ٠‬دس ت‪ٞ‬كیق دهین ای‪ً ٚ‬بس ث‪ً٠‬بسثشد‪ ٟ‬ای‪ ٚ‬سا تؼیی‪ًٜ ٚ‬یذ‪.‬‬
‫‪ .1.3‬اثجبت ً‪ٜ‬یذ ً‪ ٠‬هب‪ ٙٞٛ‬تـییش ‪ٝ‬ص‪ ٠ً LMS ٙ‬دس كلْ آ‪ٝ‬سد‪ ٟ‬ؿذ اص ؿیت ‪ٛ‬ض‪ ّٝ‬ثشای سػیذ‪ ٙ‬ث‪ٗ ٠‬ی‪ٜ‬یٖ٘ خٌبی ٗشثؼی اػتلبد‪ٗ ٟ‬یً‪ٜ‬ذ‪ .‬دس حبٓ‬
‫̂ تبثغ‬ ‫خبف خٌبی ٗشثؼی ‪ٗ E‬ـبث‪ ٠‬آ‪ٛ‬چ‪ ٠‬دس ٗت‪ ٚ‬كلْ آ‪ٝ‬سد‪ ٟ‬ؿذ تؼشیق ٗیؿ‪ٞ‬د‪ .‬حبّ ٗـتن ‪ E‬سا ‪ٛ‬ؼج ث‪ٝ ٠‬ص‪ ٙ‬ثب كشم ای‪٠ٌٜ‬‬
‫اػ ‪ .‬ث‪ٜ‬بثشای‪ ٚ‬ؿ٘ب ثبیذ ‪ٛ‬ـب‪ ٙ‬د‪١‬یدذ ًد‪٠‬‬ ‫خٌی تؼشیق ؿذ‪ ٟ‬دس ٗت‪ ٚ‬دسع اػ حؼبة ً‪ٜ‬یذ‪ .‬ؿیت ‪ٛ‬ض‪ ّٝ‬ثب تـییش ‪١‬ش ‪ٝ‬ص‪ ٙ‬دس ‪٢‬‬
‫هب‪ ٙٞٛ‬آٗ‪ٞ‬صؽ ‪ LMS‬ثشای ‪١‬ش ‪٠ٛٞ٘ٛ‬ی آٗ‪ٞ‬صؿی ‪ٝ‬ص‪١ٙ‬ب سا دس ای‪ ٢ ٚ‬تـییش ٗید‪١‬ذ‪.‬‬
‫‪ .1.4‬اػتشاتظی‪١‬بی ٗختٔلی ثشای ػبص‪ٛ‬ذ‪ٟ‬ی تجشث‪٠‬ی ؿٌْ ‪ 1.2‬دس ‪ٛ‬ظش ثِیشیذ‪ .‬دس ًْ‪ ،‬اػتشاتظی‪١‬بیی سا دس ‪ٛ‬ظش ثِیشیذ ً‪ ٠‬ای‪ ٚ‬ػبص‪ٛ‬ذ‪ٟ‬ی تجشث‪٠‬‬
‫چی‪ٜ‬ؾ‪١‬بی كلح‪ ٠‬ای سا اسائ‪ ٠‬د‪١‬ذ ً‪:٠‬‬
‫چی‪ٜ‬ؾ كلح‪ ٠‬تلبدكی ثبؿذ (اٗب ٌٗ٘‪ 1ٚ‬ثبؿذ)‬ ‫‪‬‬

‫‪1‬‬
‫‪well-specified‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدگیری مبشیه‬ ‫‪18‬‬

‫چی‪ٜ‬ؾ كلح‪ ٠‬ثب ا‪ٛ‬تخبة یي چی‪ٜ‬ؾ كلح‪ ٠‬اص ثبصی هجْ ‪ ٝ‬اػ٘بّ چ‪ٜ‬ذ حشً ً‪ ٠‬دس آ‪ ٙ‬ثبصی ا‪ٛ‬جبٕ ‪ٛ‬ـذ‪ ٟ‬ثبؿذ‬ ‫‪‬‬
‫اػتشاتظی دٓخ‪ٞ‬ا‪ ٟ‬خ‪ٞ‬دتب‪ٙ‬‬ ‫‪‬‬
‫ٗؼیبس ‪١‬بی ای‪ ٚ‬اػتشاتظی‪١‬ب سا ثب ‪ٗ ٖ١‬وبیؼ‪ ٝ ٠‬ثشسػی ً‪ٜ‬یذ‪ .‬اُش ٗیخ‪ٞ‬اػتیذ یٌی اص ای‪ ٚ‬اػتشاتظی‪١‬ب سا ثدشای یدبدُیشی ثدب تؼدذاد تجشثد‪٠‬ی‬
‫آٗ‪ٞ‬صؿی ثبث ثب ٗؼیبس ػٌ٘ٔشد تؼذاد ثیـتش ثشد دس ٗؼبثوبت ‪٢‬ب‪ٛ‬ی ًذإ ػٌ٘ٔشد ث‪٢‬تشی خ‪ٞ‬ا‪١‬ذ داؿ ؟‬

‫‪ .1.5‬آِ‪ٞ‬سیت٘ی ٗـبث‪ ٠‬آِ‪ٞ‬سیتٖ ٌٗشح ؿذ‪ ٟ‬ثشای ٗؼئٔ‪٠‬ی ثبصی چٌشص سا ثشای ثبصی د‪ٝ‬ص‪ 2‬اسائ‪ ٠‬د‪١‬یذ‪ .‬تبثغ یبد ُشكت‪ ٠‬ؿذ‪ٟ‬ی ̂ سا تشًیدت خٌدی‬
‫‪ٝ‬یظُی‪١‬بی دٓخ‪ٞ‬ا‪ ٟ‬كلح‪ ٠‬دس ‪ٛ‬ظش ثِیشیذ‪ .‬ثشای آٗ‪ٞ‬صؽ ٗؼئٔ‪٠‬ی خ‪ٞ‬د‪ ،‬اص ثبصی ثش‪ٛ‬بٗ‪ ٠‬دس ٗوبثْ ‪ٛ‬ؼخ‪٠‬ی د‪ٗٝ‬ی اص ‪٘١‬ب‪ ٙ‬ثش‪ٛ‬بٗ‪ً ٠‬د‪ ٠‬اص ٗؼیدبس‬
‫ػٌ٘ٔشد ثبثتی ً‪ ٠‬دػ ‪ٞٛ‬یغ خ‪ٞ‬دتب‪ ٙ‬ثبؿذ اػتلبد‪ًٜ ٟ‬یذ‪ٞ٘ٛ .‬داس دسكذ ثبصی‪١‬بی ثشد‪ ٟ‬سا ثش حؼدت تؼدذاد ثدبصی ا‪ٛ‬جدبٕ ؿدذ‪ ٟ‬دس ٗشحٔد‪٠‬ی‬
‫آٗ‪ٞ‬صؽ سا سػٖ ً‪ٜ‬یذ‪.‬‬

‫‪ 1.1‬بازی چکرز (برای خواننذگانی که با این باازی ششانایی نذارناذ (اضاافه شاذت توسا‬
‫مترجم س‬
‫ثبصی چٌشص یي ثبصی د‪ٛ ٝ‬لش‪ ٟ‬اػ ً‪ ٠‬د‪ً ٝ‬شف‪ ،‬س‪ٝ‬ی یي كلح‪٠‬ی ٗشثغ ثب ً‪ ٝ ّٞ‬ػشم ‪ 8‬خب‪ ٝ ٠ٛ‬ث‪ٞٛ ٠‬ث ثب ‪٘١‬ذیِش ثبصی ٗیً‪ٜٜ‬ذ‪ .‬دس ؿٌْ‬
‫صیش كلح‪ ٠‬ای كلح‪٠‬ی ثبصی چٌشص سا ٗـب‪١‬ذ‪ٗ ٟ‬یً‪ٜ‬یذ‪:‬‬

‫ػالئٖ ‪ٛ ٝ‬ـب‪١٠ٛ‬بیی اص ای‪ ٚ‬ثبصی سا دس آثبس ث‪ ٠‬ب ٗب‪ٛ‬ذ‪ ٟ‬اص ٗلش ثبػتب‪ٗ ٙ‬شث‪ٞ‬ى ث‪ 1677 ٠‬ػبّ هجْ اص ٗیالد ٗؼیح سا دیذ‪ .‬ثبصی‪١‬بیی ث‪ ٠‬ای‪ ٚ‬ػجي ‪ٝ‬‬
‫دس ؿٌْ‪١‬بی ُ‪ٛٞ‬بُ‪ ٙٞ‬اص صٗی‪ ،ٚ‬سا ٗیت‪ٞ‬ا‪ ٙ‬دس ‪ٛ‬وبى ُ‪ٛٞ‬بُ‪ ٙٞ‬اص د‪ٛ‬یب ٗـب‪١‬ذ‪ً ٟ‬شد‪.‬‬

‫‪1‬‬
‫‪legal‬‬
‫‪2‬‬
‫‪tic-tac-toe‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪19‬‬ ‫كلْ ا‪ٗ :ّٝ‬وذٗ‪٠‬‬

‫ثشخی اص ه‪ٞ‬ا‪ٛ‬ی‪ ٚ‬اثتذایی ای‪ ٚ‬ثبصی ث‪ ٠‬ای‪ ٚ‬ؿٌْ اػ ‪:‬‬

‫‪١‬ش ثبصیٌ‪ ٚ‬داسای ‪٢ٗ 12‬ش‪ ٟ‬اػ ً‪ ٠‬دس خب‪١ ٠ٛ‬بی تیش‪ ٟ‬چیذ‪ ٟ‬ؿذ‪ٟ‬ا‪ٛ‬ذ‪.‬‬ ‫‪‬‬
‫ثبصیٌ‪ٜ‬ب‪١ ٙ‬ش تیٖ كوي ٗیت‪ٞ‬ا‪ٜٛ‬ذ ثش س‪ٝ‬ی خب‪١ ٠ٛ‬بی تیش‪ ٟ‬حشً ً‪ٜٜ‬ذ‪.‬‬ ‫‪‬‬
‫حشًبت ث‪ ٠‬ك‪ٞ‬ست هشثذی ا‪ٛ‬جبٕ ٗیؿ‪ٞ‬د‪.‬‬ ‫‪‬‬
‫اُش ٗ‪٢‬ش‪ٟ‬ی حشیق دس ٗؼیش حشً هشاس ُیشد اُش خب‪٠ٛ‬ی ثؼذی خبٓی ثبؿذ ٗیت‪ٞ‬ا‪ ٙ‬ثب پشؽ اص س‪ٝ‬ی ٗ‪٢‬ش‪ٟ‬ی حشیق آ‪٢ٗ ٙ‬ش‪ ٟ‬سا صد‪.‬‬ ‫‪‬‬
‫اُش ثبصیٌ‪ٜ‬ی ثت‪ٞ‬ا‪ٛ‬ذ ٗ‪٢‬ش‪ٟ‬ی حشیق سا ثض‪ٛ‬ذ ‪٘ٛ‬یت‪ٞ‬ا‪ٛ‬ذ حشً دیِشی ا‪ٛ‬جبٕ د‪١‬ذ‪.‬‬
‫ٗیت‪ٞ‬ا‪ ٙ‬دس یي حشً ثیؾ اص یي ٗ‪٢‬ش‪ٟ‬ی حشیق سا ث‪ ٠‬ك‪ٞ‬ست پـ ػش ‪ ٖ١‬صد‪.‬‬ ‫‪‬‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی‬

‫‪experience‬‬ ‫تجشث‪٠‬‬
‫‪recogonize handwritten words‬‬ ‫تـخیق دػتخي‬
‫‪well-posed‬‬ ‫خ‪ٞ‬ؽ ‪ٝ‬هغ‬
‫‪performance‬‬ ‫ًبسایی‬
‫‪learning‬‬ ‫یبدُیشی‬
‫‪Task‬‬ ‫ًبس‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل دٍم‪ :‬یادگیری هفَْم ٍ ترتیب کل بِ جزء‬

‫ٔؼئّ‪ٝ‬ی‌اػشمشای‌س‪ٛ‬اثغ‌وّی‌ثب‌داؿشٗ‌سؼذادی‌ٕ٘‪‌ٝ٘ٛ‬خبف‪ٞ‌،‬ذف‌اكّی‌یبدٌیشی‌اػز‪‌.‬دس‌ایٗ‌فلُ‌ث‪‌ٝ‬یبدٌیشی‌ٔف‪(‌1ْٟٛ‬دی‌ثرشدٖ‌ثر‪‌ٝ‬سؼشیر ‌‬
‫‌‬
‫یس‪ٛ‬اٖ‌خؼشد‪ٔ‌ٛ‬یبٖ‌فشهی‪ٞ ٝ‬ربی‌اص‌‬ ‫یه‌سػش‪‌2ٝ‬اص‌اؿیب‌یب‌اسفبلبر‌ثب‌داؿشٗ‌سؼذاد‌ٔحذ‪ٚ‬دی‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌‪ٙٔ‌ٚ‬فی)‌ٔ ‌‬
‫یدشداصیٓ‪‌.‬یبدٌیشی‌ٔف‪‌ْٟٛ‬سا‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌ثب‌ث‪ٟ‬ش‪ٌ‌ٜ‬یشی‌اص‌خبكیشی‌راسی‌‬
‫دیؾ‌سؼشی ‌ؿذ‪‌ٜ‬ثشای‌دیذا‌وشدٖ‌ٌٔبثكسشیٗ‌فشهی‪‌ٝ‬ثب‌ٕ٘‪ٞٝ٘ٛ‬ب‌دا٘ؼز‪‌.‬دس‌ثؼیبسی‌ٔ‪ٛ‬اسد‌ایٗ‌خؼشد‪‌ٛ‬سا‌ٔ ‌‬
‫دس‌فوبی‌فشهی‪ ٝ‬ای‌(سشسیت‌خض‌ث‪‌ٝ‬وُ‌فشهی‪ٞ‌ٝ‬ب)‌ػبصٔبٖ‌د‪ٞ‬ی‌وشد‪‌.‬ایٗ‌فلُ‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بی‌یبدٌیشی‌ثؼیبسی‌سا‌ٔؼشفی‌خ‪ٛ‬ا‪ٞ‬ذ‌وشد‌‪ٕٞ‌ٚ‬چ‪ٙ‬ریٗ‌‬
‫یدرشداص‌یٓ‌‪‌ٚ‬س‪ٛ‬خیر‌‪‌ٝ‬‬
‫یو‪ٙ‬ذ‪‌.‬دس‌ادأ‪‌ٝ‬ث‪‌ٝ‬یبدٌیشی‌اػشمشایی‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌سا‌ثشسػی‌ٔ ‌‬ ‫‌‬
‫ث‪‌ٝ‬فشهی‪ٝ‬ی‌دسػز‌ٔیُ‌ٔ ‌‬ ‫شٓ‪ٞ‬ب‌‬
‫ؿشایٌی‌سا‌و‪‌ٝ‬ایٗ‌خ‪ٛ‬اة‌ایٗ‌اٍِ‪ٛ‬سی ‌‬
‫‌‬
‫ثش‪ٛ‬ا٘‪ٙ‬ذ‌داد‪ٜٞ‬ب‌سا‌ثشای‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌دیٍش‌سؼٕیٓ‌د‪ٙٞ‬ذ‌سا‌ثشسػی‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‪‌ .‬‬ ‫ای‪ٙ‬ى‪‌ٝ‬چٍ‪ٕٔ‌ٝ٘ٛ‬ىٗ‌اػز‌ ‌‬
‫ثش٘بٔ‪ٞٝ‬ب‌‬

‫‪ 1.2‬هقذهِ‬
‫یای‌‬
‫لؼٕز‌ػٕذ‪ ٜ‬ای‌اص‌یبدٌیشی‌ٔ‪ٛٙ‬ى‌ث‪‌ٝ‬یبدٌیشی‌ٔف‪ٟٔٛ‬ی‌وّی‌اص‌س‪ٚ‬ی‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ٔحذ‪ٚ‬د‌اػز‪ٔ‌.‬شدْ‪‌،‬ث‪‌ٝ‬ػ‪ٙ‬ر‪ٛ‬اٖ‌ٔثربَ‪ٔ‌‌،‬فرب‪ٞ‬یٓ‌وّر‌ ‌‬
‫یسر‪ٛ‬اٖ‌‌ثر‪‌ٝ‬ػ‪ٙ‬ر‪ٛ‬اٖ‌‬ ‫ٔثُ‌"دش٘ذ‪ٔ"‌،"ٜ‬بؿیٗ"‌‪ٚ"‌ٚ‬هؼیشی‌و‪‌ٝ‬ثشای‌لج‪ِٛ‬ی‌٘یبص‌ث‪‌ٝ‬ثیـشش‌دسع‌خ‪ٛ‬ا٘ذٖ‌داسْ"‌‪‌...‌ٚ‬سا‌یبد‌ٔ ‌‬
‫یٌیش٘ذ‪ٞ‌.‬ش‌ٔف‪ٟ‬ر‪‌‌ْٛ‬سا‌ٔر‌ ‌‬
‫یٌیر‌شد)‪‌.‬‬ ‫‌‬
‫دش٘ذٌبٖ‌صیش‌ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌حی‪ٛ‬ا٘بر‌لشاس‌ٔر‌ ‌‬ ‫‌‬
‫اص‌اؿیب‌یب‌اسفبلبر‌دس‌٘ظش‌ٌشفز‪(‌.‬ثشای‌ٔثبَ‪ٔ‌،‬دٕ‪ٛ‬ػ‪ٝ‬ی‌‬ ‫صیش‌ٔدٕ‪ٛ‬ػ‪ ٝ‬ای‌اص‌یه‌ٔف‪‌ْٟٛ‬وّ ‌‬
‫یسش‌‬
‫ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌سبثؼی‌ٔ‪ٌٙ‬می‌ٔمذاس‌ثش‌س‪ٚ‬ی‌ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ثضسي‌سش‌دس‌٘ظش‌ٌشفز‌(ثشای‌ٔثبَ‪‌،‬س‪ٚ‬ی‌ٔدٕ‪ٛ‬ػر‪‌‌ٝ‬ی‌حی‪ٛ‬ا٘ربر‌‬
‫‌‬ ‫یس‪ٛ‬اٖ‌‬
‫‪ٕٞ‬چ‪ٙ‬یٗ‪ٞ‌،‬ش‌ٔف‪‌ْٟٛ‬سا‌ٔ ‌‬
‫ٔمبدیش‌سبثغ‌ثشای‌دش٘ذٌبٖ‌دسػز‌‪‌ٚ‬ثشای‌دیٍش‌حی‪ٛ‬ا٘بر‌غّي‌اػز)‪‌ .‬‬

‫ٕ٘‪ٞٝ٘ٛ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌(و‪‌ٝ‬ثؼوی‌ػو‪ٔ‌ٛ‬ف‪ٟٙٔٛ‬ذ‌‪‌ٚ‬ثؼوی‌دیٍرش‌‌ػور‪ٔ‌ٛ‬ف‪ٟ‬ر‪٘‌ْٛ‬یؼرش‪ٙ‬ذ)‌‌‬
‫دس‌ایٗ‌فلُ‪‌،‬ث‪‌ٝ‬اػش‪ٙ‬شبج‌سؼشی ‌وّی‌یه‌ٔف‪‌ْٟٛ‬ثب‌اػشفبد‪‌ٜ‬اص‌ ‌‬
‫یٌ‪ٛ‬ی‪ٙ‬ذ‪.‬‬ ‫یدشداصیٓ‪‌.‬ث‪‌ٝ‬ایٗ‌وبس‌دس‌حبِز‌وّی‌یادگیری مفهوم‌یب‌سخٕیٗ‌سبثغ‌ٔ‪ٌٙ‬می‌اص‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌ٔ ‌‬ ‫ٔ‌‬

‫‪1‬‬
‫‪‌concept‬‬
‫‪2‬‬
‫‪‌category‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری مفهوم‪‌:‬اػش‪ٙ‬شبج‌ٔمبدیش‌سبثغ‌ٔ‪ٌٙ‬می‌ثب‌یبدٌیشی‌اص‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌اص‌‪ٚ‬س‪ٚ‬دی‌‪‌ٚ‬خش‪ٚ‬خی‌سبثغ‪‌ .‬‬

‫‪ 1.1‬کار یادگیری هفَْم‬

‫یثشد"‌سا‌دس‌٘ظش‌ثٍیشیذ‪‌.‬خذ‪‌2.1‌َٚ‬چ‪ٙ‬رذ‌س‪ٚ‬ص‌ٔخشّر ‌سا‌‌ثرب‌‪ٚ‬یظٌری‌‪ٞ‬بیـربٖ‌‪٘‌1‬ـربٖ‌‬
‫ثشای‌دسن‌ث‪ٟ‬شش‪ٔ‌،‬ف‪"‌ْٟٛ‬س‪ٚ‬ص‪ٞ‬بیی‌و‪‌ٝ‬اِذ‪‌ٚ‬اص‌آثش‪ٙ‬ی‌ِزر‌ٔ ‌‬
‫ؾثی‪ٙ‬ر‌ی‌ٔمرذاس‌‬ ‫ید‪ٞ‬ذ‪ٚ‌.‬یظٌی‌‪‌EnjoySport‬ای‪ٙ‬ى‪‌ٝ‬اِذ‪‌ٚ‬اص‌آثش‪ٙ‬ی‌دس‌آٖ‌س‪ٚ‬ص‌اص‌آثش‪ٙ‬ی‌ِزر‌ثشد‪‌ٜ‬یب‌خیش‌سا‌ٔـخق‌ٔ ‌‬
‫یو‪ٙ‬ذ‪ٞ‌.‬رذف‌یربدٌیشی‌در‌ی ‌‬ ‫ٔ‌‬
‫‌‬
‫ثب‌دا٘ؼشٗ‌دیٍش‌‪ٚ‬یظٌی‪ٞ‬ب‌یه‌س‪ٚ‬ص‌اػز‪‌ .‬‬ ‫‪ٚ‬یظٌی‌‪‌EnjoySport‬‬

‫یو‪ٙ‬یٓ‌و‪‌ٝ‬‬ ‫‌‬
‫ثشای‌فشهی‪ٞٝ‬ب‌یه‌ٕ٘بیؾ‌ػبد‪‌ٜ‬دس‌٘ظش‌ثٍیشیٓ؛‌فشم‌ٔ ‌‬ ‫‌‬
‫فشهی‪ٞٝ‬ب‌ثبیذ‌اػشفبد‪‌ٜ‬و‪ٙ‬ذ؟‌ثیبییذ‌‬‫دس‌ایٗ‌یبدٌیشی‌یبدٌیش‌اص‌چ‪ٕ٘‌ٝ‬بیـی‌ثشای‌‬
‫ی‪ٞ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌ثبؿذ‪‌.‬ث‪ًٛ‌ٝ‬س‌دلیك‌سش‌‪ٚ‬یظٌری‌‌‪ٞ‬رب‌سا‌ثر‪‌ٝ‬كر‪ٛ‬سر‌ؿرؾ‌سربیی‌ٔشسجر‌ی‌دس‌٘ظرش‌‌‬
‫‪ٞ‬ش‌فشهی‪‌ٝ‬ػٌفی‌اص‌لیذ‌س‪ٚ‬ی‌چ‪ٙ‬ذیٗ‌‪ٚ‬یظٌی‌اص‌‪ٚ‬یظٌ ‌‬
‫یٌیشیٓ‌و‪ٔ‌ٝ‬مبدیش‌ؿؾ‌‪ٚ‬یظٌی‌ٔب‌سا‌ٔؼّر‪‌ْٛ‬و‪ٙٙ‬رذ‪‌.‬ایرٗ‌ؿرؾ‌‪ٚ‬یظٌری‌‌ثر‪‌ٝ‬سشسیرت‪‌ٚ‌Water‌،Wind‌،Humidity‌،AirTemp‌،Sky‌:‬‬
‫ٔ‌‬
‫یس‪ٛ‬ا٘‪ٙ‬ذ‌یىی‌اص‌حبالر‌ٕٔىٗ‌صیش‌سا‌داؿش‪‌ٝ‬ثبؿذ‪‌ :‬‬ ‫‌‬
‫‪ٚ‬یظٌی‪ٞ‬ب‌ٔ ‌‬ ‫‪ٞ‌Forecast‬ؼش‪ٙ‬ذ‪ٞ‌.‬ش‌یه‌‬

‫ٔمذاس‌"?"‌‪‌:‬یؼ‪ٙ‬ی‌‪ٞ‬ش‌ٔمذاسی‌سا‌ٔ ‌‬
‫یس‪ٛ‬ا٘ذ‌داؿش‪‌ٝ‬ثبؿذ‬
‫ٔمذاس‌ٔـخق‌خبكی‌داؿش‪‌ٝ‬ثبؿذ‌(ثشای‌ٔثبَ‪ٕٔ‌AirTemp‌:‬ىٗ‌اػز‌‪‌Warm‬ثبؿذ)‬
‫ٔمذاس‌"‪‌:‌"0‬یؼ‪ٙ‬ی‌‪ٞ‬یچ‌ٔمذاسی‌ثشای‌ایٗ‌‪ٚ‬یظٌی‌لبثُ‌لج‪٘‌َٛ‬یؼز‪‌ .‬‬
‫یو‪ٙ‬رذ‌‌)‪‌.(h(x) = 1‬ثرشای‌‬ ‫‌‬
‫سا‌ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌یه‌ٕ٘‪ٝ٘ٛ‬ی‌ٔثجز‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔر‌ ‌‬ ‫یس‪ٛ‬اٖ‌ٌفز‌‪‌x‌،h‬‬ ‫‌‬
‫سٕبْ‌لی‪ٛ‬د‌فشهی‪ٝ‬ی‌‪‌h‬سا‌سأٔیٗ‌و‪ٙ‬ذ‪‌ ٔ‌،‬‬ ‫اٌش‌ٕ٘‪‌x‌ٝ٘ٛ‬‬
‫‌‬
‫(ٔدضا‌اص‌ای‪ٙ‬ى‪‌ٝ‬ثمی‪ٚ‌ٝ‬یظٌی‪ٞ‬رب‌چر‪‌ٝ‬ثبؿر‪ٙ‬ذ)‌ثر‪‌ٝ‬كر‪ٛ‬سر‌صیرش‌‬ ‫دسن‌ث‪ٟ‬شش‪‌،‬فشم‌ای‪ٙ‬ى‪‌ٝ‬اِذ‪‌ٚ‬فمي‌دس‌س‪ٚ‬ص‪ٞ‬بی‌‪ٔ‌ٚ‌Cold‬شً‪ٛ‬ة‌اص‌آثش‪ٙ‬ی‌ِزر‌ٔ ‌‬
‫یثشد‌‬
‫ٔیؿ‪ٛ‬د‪:‬‬
‫ٕ٘بیؾ‌داد‪‌ ‌ٜ‬‬

‫>?‪<?,Cold,High,?,?,‬‬

‫‪‌ EnjoySport‬‬ ‫‪‌ Forecast ‌ Water‬‬ ‫‪‌ Wind ‌ Humidity‬‬ ‫‪‌ AirTemp‬‬ ‫‪‌ Sky‬‬ ‫‌‬
‫ؿٕبس‪ٜ‬ی‌ٕ٘‪‌ ٝ٘ٛ‬‬

‫‪‌ Yes‬‬ ‫‪‌ Same ‌ Warm ‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪‌1‬‬

‫‪‌ Yes‬‬ ‫‪‌ Same ‌ Warm ‌ Strong‬‬ ‫‪‌ High‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪‌2‬‬

‫‪‌ No‬‬ ‫‪Change ‌ Warm ‌ Strong‬‬ ‫‪‌ High‬‬ ‫‪‌ Cold‬‬ ‫‪‌ Rainy‬‬ ‫‪‌3‬‬

‫‪‌ Yes‬‬ ‫‪‌ Change‬‬ ‫‪‌ Cool ‌ Strong‬‬ ‫‪‌ High‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪‌4‬‬

‫ٕ٘‪ٞٝ٘ٛ‬بی‌ٔثجز‌‪ٙٔ‌ٚ‬فی‌یبدٌیشی‌ٔف‪‌ .EnjoySport‌ْٟٛ‬‬
‫خذ‪‌ ‌2.1‌َٚ‬‬
‫یثشد‪‌،‬ث‪‌ٝ‬ك‪ٛ‬سر‌صیش‌ٕ٘بیؾ‌داد‪‌ ‌ٜ‬‬
‫ٔیؿ‪ٛ‬د‪‌ :‬‬ ‫‌‬
‫وّیسشیٗ‌فشهی‪‌،ٝ‬ای‪ٙ‬ى‪ٚ‌ٝ‬ی‌‪ٞ‬ش‌س‪ٚ‬ص‌اص‌آثش‪ٙ‬ی‌ِزر‌ٔ ‌‬

‫>?‪<?,?,?,?,?,‬‬

‫‪1‬‬
‫‪‌attribute‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یؿ‪ٛ‬د‪‌ :‬‬ ‫‌‬

‫ٔمبثُ‌فشهی‪ٝ‬ی‌ای‪ٙ‬ى‪‌ٝ‬دس‌‪ٞ‬یچ‌س‪ٚ‬صی‌ٔمذاس‌‪‌EnjoySport‬ثّ‪٘‌ٝ‬یؼز‌ث‪‌ٝ‬ك‪ٛ‬سر‌صیش‌ٕ٘بیؾ‌داد‪‌ ٔ‌ٜ‬‬ ‫‌‬
‫دس‌٘مٌ‪ٝ‬ی‌‬ ‫‪‌ٚ‬‬

‫>‪<0,0,0,0,0,0‬‬

‫ث‪ًٛ‌ٝ‬س‌خالك‪‌،ٝ‬ػُٕ‌یبدٌیشی‌ٔف‪‌EnjoySport‌ْٟٛ‬دیذا‌وشدٖ‌‪‌ٚ‬س‪ٛ‬كی ‌س‪ٚ‬ص‪ٞ‬بیی‌(دس‌لبِت‌ٌفش‪‌ٝ‬ؿذ‪‌)ٜ‬ور‪‌EnjoySport = Yes‌ٝ‬اػرز‌‪‌.‬‬

‫آٖ‪ٞ‬رب‌‌سؼشیر ‌ؿرذ‪‌ٜ‬اػرز‪‌،‬سربثغ‌‪ٞ‬رذف‪‌،‬دػرش‪ ‌ٝ‬ای‌اص‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌و‪‌‌ٝ‬سبثغ‌‪ٞ‬ذف‌ثش‌س‪ٚ‬ی‌ ‌‬
‫یس‪ٛ‬اٖ‌ثب‌ ‌‬
‫ٔؼئّ‪ٝ‬ی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬سا‌ٔ ‌‬
‫دس‌وُ‪ٞ‌،‬ش‌ٌ‪‌ ‌ٝ٘ٛ‬‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ٕ٘‪٘ٛ‬ر‪ٞ ‌ٝ‬ربی‌آٔ‪ٛ‬صؿری‌ٔ‪ٛ‬خر‪ٛ‬د‌‌ٔـرخق‌ورشد‌‪ٔ‌.‬ؼرئّ‪‌ٝ‬ی‌وّری‌یربدٌیشی‌‌ٔف‪ٟ‬ر‪‌ْٛ‬‬
‫‌‬ ‫فشهی‪ٞ ٝ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌و‪‌ٝ‬یبدٌیش‪‌1‬دس‌٘ظش‌ٔ ‌‬
‫یٌیشد‌‪‌ٚ‬‬
‫‪‌EnjoySport‬ثب‌ایٗ‌ؿىُ‌وّی‌ٔزو‪ٛ‬س‌دس‌خذ‪‌2.2‌َٚ‬آٔذ‪‌ٜ‬اػز‪‌ .‬‬

‫‪ 2.2.2‬نماد گذاری‬
‫یؿ‪ٛ‬د‌اػشفبد‪‌ٜ‬خ‪ٛ‬ا‪ٞ‬ذ‌ؿذ‪‌.‬دػرش‪‌ٝ‬اخؼربٔی‌ور‪‌ٝ‬‬
‫یای‌و‪‌ٝ‬س‪ٛ‬هیح‌داد‪‌ ٔ‌ٜ‬‬
‫دس‌سٕبْ‌وشبة‪‌،‬صٔب٘ی‌و‪‌ٝ‬ثحث‪ٔ‌،‬ؼبیُ‌یبدٌیشی‌ٔف‪‌ْٟٛ‬اػز‪‌،‬اص‌ٕ٘بد‌ٌزاس ‌‬
‫یؿ‪ٛ‬د‪‌.‬دس‌ٔثبَ‌ٔرزو‪ٛ‬س‪‌X‌،‬سٕربْ‌س‪ٚ‬ص‌ ‪ٞ‬ربی‌ٕٔىرٗ‌‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب"‪٘‌2‬بٔیذ‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‌‪‌ٚ‬ثب‌ٕ٘بد‌‪ٔ‌X‬ـخق‌ٔ ‌‬ ‫‌‬ ‫یؿ‪ٛ‬د‌"‬
‫ٔف‪‌ْٟٛ‬س‪ٚ‬ی‌آٖ‌سؼشی ‌ٔ ‌‬
‫ی‪ٞ‬بی‌‪ٔ‌Forecast‌،Water‌،Wind‌،Humidity‌،AirTemp‌،Sky‬ـخق‌ٔ ‌‬
‫یؿ‪ٛ‬د‪ٔ‌.‬ف‪ٟٔٛ‬ی‌و‪‌ٝ‬ث‪‌ٝ‬د٘جربَ‌یربدٌیشی‌‌آٖ‌‬ ‫اػز‌ثب‌‪ٚ‬یظٌ ‌‬
‫‪ٞ‬ؼشیٓ‌"ٔف‪ٞ‌ْٟٛ‬ذف"‪٘‌3‬بٔیذ‪‌ٚ‌ٜ‬ثب‌‪ٕ٘‌c‬بیؾ‌داد‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‪‌.‬دس‌وُ‪ٞ‌c‌،‬ش‌ٔمذاس‌ٔ‪ٌٙ‬می‌اػز‌و‪‌X‌ٝ‬ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌خش‪ٚ‬خی‌ٔ ‌‬
‫ید‪ٞ‬ذ‌‪‌ٚ‬ث‪‌ٝ‬صثربٖ‌سیبهری‌‬
‫داسیٓ‪‌.c:X → {0,1} :‬دس‌ٔثبَ‌ٔرزو‪ٛ‬س‌ٔمرذاس‌‪ٕٞ‌c‬ربٖ‌ٔمرذاس‌‪‌EnjoySport‬اػرز‌(‌‪‌c(x)=1‬اٌرش‌ٔمرذاس‌‪‌EnjoySport=Yes‬ثبؿرذ‌‪‌ٚ‬‬
‫‪‌c(x)=0‬اٌش‌ٔمذاس‪‌EnjoySport=No‬ثبؿذ)‪.‬‬

‫‌‬

‫ٔؼّ‪ٔٛ‬بر‪:‬‬ ‫‪‬‬
‫‪ٞ‌ٕٝ٘ٛ٘ o‬بی‌‪‌:X‬سٕبٔی‌ ‌‬
‫حبِز‪ٞ‬بی‌س‪ٚ‬ص‪ٞ‬بی‌ٕٔىٗ‬
‫‪ٔ(‌Sky‬مبدیش‌ٕٔىٗ‪)Rainy‌ٚ‌Cloudy‌،Sunny‌:‬‬ ‫‪‬‬
‫‪ٔ(‌AirTemp‬مبدیش‌ٕٔىٗ‪)Cold‌ٚ‌Warm‌:‬‬ ‫‪‬‬
‫‪ٔ(‌Humidity‬مبدیش‌ٕٔىٗ‪)High‌ٚ‌Normal‌:‬‬ ‫‪‬‬
‫‪ٔ(‌Wind‬مبدیش‌ٕٔىٗ‪)Weak‌ٚ‌Strong‌:‬‬ ‫‪‬‬
‫‪ٔ(‌Water‬مبدیش‌ٕٔىٗ‪)Cool‌ٚ‌Warm‌:‬‬ ‫‪‬‬
‫‪ٔ(‌Forecast‬مبدیش‌ٕٔىٗ‪)Change‌ٚ‌Same‌:‬‬ ‫‪‬‬
‫‪ٔ o‬دٕ‪ٛ‬ػ‪‌ٝ‬فشهی‪ٞ ٝ‬بی‌‪ٞ‌:H‬ش‌فشهی‪‌ٝ‬ثب‌یه‌ؿؾ‌سبیی‌ٔشست‌اصْ‌سغییش ‪ٞ‬ربی‌‪‌،Wind‌،Humidity‌،AirTemp‌،Sky‬‬
‫یس‪ٛ‬ا٘ذ‌"?"‌(‪ٞ‬ش‌ٔمذاس‌ٕٔىٗ)‪ٔ(‌"0"‌،‬مذاسی‌ٕٔىٗ‌٘یؼز)‌‪‌ٚ‬‬ ‫‪‌Forecast‌،Water‬س‪ٛ‬كی ‌ٔ ‌‬
‫یؿ‪ٛ‬د‪ٔ‌.‬مذاس‌‪ٞ‬ش‌ٔشغیش‌ٔ ‌‬
‫یب‌یه‌ٔمذاس‌خبف‌ثبؿذ‪.‬‬
‫‪ٔ o‬ف‪ٞ‌ْٟٛ‬ذف‪EnjoySport c : ‌:‌X → {0,1}‌:‬‬
‫‪ٞ‌ٕٝ٘ٛ٘ o‬بی‌یبدٌیشی‪ٞ‌ٕٝ٘ٛ٘‌:‬بی‌ٔثجز‌‪ٙٔ‌ٚ‬فی‌سبثغ‌‪ٞ‬ذف‪(‌.‬خذ‪)2.1‌َٚ‬‬

‫‪1‬‬
‫‪‌learner‬‬
‫‪2‬‬
‫‪‌set of instances‬‬
‫‪3‬‬
‫‪‌target concept‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ٔد‪ٟٛ‬الر‪:‬‬ ‫‪‬‬
‫‪ o‬فشهی‌‪ٝ‬ی‌‪‌h‬ػو‪ٛ‬ی‌اص‌‪‌H‬اػز‌اٌش‌و‪‌ٝ‬ثشای‌سٕبٔی‌‪ٔ x‬ب‌داؿش‪‌ٝ‬ثبؿیٓ‌)‪‌ ‌h(x)=c(x‬‬
‫خذ‪‌2.2‌َٚ‬وبس‌یبدٌیشی‌ٔف‪‌ EnjoySport‌ْٟٛ‬‬
‫یؿ‪ٛ‬د‌(‪(‌)c(x)‌ٚ‌x‬خذ‪‌)2.1‌َٚ‬و‪ٞ x‌ٝ‬رب‌ػور‪‌X‌‌ٛ‬‬
‫دس‌‪ٍٙٞ‬بْ‌یبدٌیشی‪‌،‬ث‪‌ٝ‬یبدٌیش‌ٔدٕ‪ٛ‬ػ‪ ٝ‬ای‌اص‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ثب‌ٔمذاس‌سبثغ‌‪ٞ‬ذفـبٖ‌اسائ‪‌ ٔ‌ٝ‬‬
‫آٖ‪ٞ‬رب‌‌ٔمرذاس‌‬ ‫‪ٞ‬ؼش‪ٙ‬ذ‪ٞ‌ٕٝ٘ٛ٘‌.‬بیی‌و‪‌ٝ‬دس‌آٖ‌‪ٞ‬ب‌ٔمذاس‌‪ٔ‌ٕٝ٘ٛ٘‌c(x)=1‬ثجز‪‌1‬یب‌ػو‪ٔ‌ٛ‬ف‪ٞ‌ْٟٛ‬ذف‪٘‌2‬بٔیذ‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‪‌.‬دس‌ٔمبثرُ‪ٕ٘ٛ٘‌،‬ر‪ٞ‌ٝ‬رب‌یی‌ور‪‌ٝ‬دس‌‌ ‌‬
‫‪ٙٔ‌ٕٝ٘ٛ٘‌c(x)=0‬فی‪‌3‬یب‌غیش‌ػو‪ٔ‌ٛ‬ف‪ٞ‌ْٟٛ‬ذف‪٘‌4‬بٔیذ‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‪ٌ‌.‬ب‪ٞ‬ی‌ثشای‌ساحشی‌وبس‌اص‌ص‪ٚ‬ج‌ٔشسرت‌>)‪‌<x,c(x‬ثرشای‌ٕ٘ربیؾ‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سا‌ثب‌حشف‌‪٘‌D‬ـبٖ‌ٔ ‌‬
‫ید‪ٞ‬یٓ‪.‬‬ ‫‌‬ ‫یؿ‪ٛ‬د‪‌.‬‬
‫آٔ‪ٛ‬صؿی‌اػشفبد‪‌ ٔ‌ٜ‬‬

‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ٕٔىٗ‌سا‌‬
‫‌‬ ‫آٖسا‌فشهی‪‌ٝ‬ػبصی‪‌5‬و‪ٙ‬ذ‌یب‌سخٕیٗ‌ثض٘ذ‪‌.‬‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌اص‌ػّٕىشد‌‪‌c‬و‪‌ ‌ٝ‬‬
‫یس‪ٚ‬د‌و‪‌ٝ‬ثب‌داؿشٗ‌ ‌‬
‫اص‌یبدٌیش‌ا٘شظبس‌ٔ ‌‬
‫یٌشدد‪‌.‬دس‌وُ‪ٞ‌،‬رش‌فشهر‌ی‌‪ٝ‬ی‌‪‌h‬دس‌‪‌H‬یره‌‬
‫ید‪ٞ‬یٓ‪ٔ‌H‌.‬ؼٕ‪ٛ‬الً‌س‪ٛ‬ػي‌وبسثش‌ا٘ؼب٘ی‌‪‌ٚ‬دس‌ا٘شخبة‌٘‪ٛ‬ع‌ٕ٘بیؾ‌فشهی‪‌ٝ‬سؼییٗ‌ٔ ‌‬
‫ثب‌حشف‌‪٘‌H‬ـبٖ‌ٔ ‌‬
‫سبثغ‌ٔ‪ٌٙ‬می‌ٔمذاس‌اػز‌و‪ٞ‌.h: X → {0,1}‌ٝ‬ذف‌یبدٌیش‌دیذا‌وشدٖ‌‪ h‬ای‌اػز‌و‪‌ٝ‬ثشای‌سٕبْ‌ٔمبدیش‌‪‌x‬دس‌‪‌ .h(x)=c(x)‌،X‬‬

‫‪ 2.2.2‬یادگیزی استقزایی فزضیه‬

‫ثبیذ‌س‪ٛ‬خ‪‌ٝ‬داؿز‌و‪‌ٝ‬وبس‌یبدٌیشی‌دیذا‌وشدٖ‌فشهی‪ h‌ٝ‬ای‌اػز‌و‪‌ٝ‬ثشای‌سٕبٔی‌‪ٞ x‬بی‌‪ٔ‌X‬ـبث‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌وبس‌و‪ٙ‬ذ‌دس‌حبِی‌و‪‌ٝ‬س‪ٟٙ‬ب‌اًالػبر‌‬
‫شٓ‪ٞ‬رب‌ی‌یربدٌیشی‌اػرشمشایی‌‬ ‫ٔ‪ٛ‬خ‪ٛ‬د‌دس‌ٔ‪ٛ‬سد‌‪‌c‬فمي‌سؼذاد‌ٔحذ‪ٚ‬دی‌ٕ٘‪‌ٝ٘ٛ‬اػز‌و‪‌ٝ‬دس‌اخشیبس‌یبدٌیش‌لشاس‌ٌشفش‪‌ ٔ‌ٝ‬‬
‫یؿ‪ٛ‬د‪‌.‬ث‪ٙ‬بثشایٗ‌اػشفبد‪‌ٜ‬اص‌اٍِ‪ٛ‬سی ‌‬
‫یؿ‪ٛ‬د‌ور‪‌ٝ‬فرشم‌و‪ٙ‬ریٓ‌‬
‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬دس‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ٔمذاس‌فشهی‪‌ٝ‬ثب‌ٔمذاس‌سبثغ‌‪ٞ‬ذف‌یىی‌اػز‪‌.‬وٕج‪ٛ‬د‌اًالػبر‌ثبػث‌ٔ ‌‬
‫حذاوثش‌سوٕیٗ‌ٔ ‌‬
‫ث‪ٟ‬ششیٗ‌فشهی‪ٕٞ‌ٝ‬بٖ‌فشهی‪‌ٝ‬اػز‌و‪‌ٝ‬ث‪‌ٝ‬ث‪ٟ‬ششیٗ‌ؿىُ‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌ٌٔبثمز‌داسد‪‌.6‬ایٗ‌فشم‪‌،‬فشم‌اػبػی‌یبدٌیشی‌اػشمشایی‌اػز‪‌،‬دس‌‬
‫یو‪ٙ‬یٓ‌أب‌دس‌فلرُ‌‪ٞ‬رب‌ی‌‬
‫دسثبس‪ٜ‬ی‌ایٗ‌فشم‌ثحث‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‪‌.‬فؼالً‌دس‌ایٗ‌لؼٕز‌ث‪ًٛ‌ٝ‬س‌غیش‌سػٕی‌ایٗ‌فشم‌سا‌سؼشی ‌ٔ ‌‬
‫ادأ‪‌ٝ‬وشبة‌ٔفلالً‌ ‌‬
‫یو‪ٙ‬یٓ‪‌ .‬‬
‫یسش‌ایٗ‌فشم‌سا‌ثشسػی‌ٔ ‌‬
‫‪‌7‌ٚ‌6‌،5‬سػٕ ‌‬

‫یادگیری استقرایی فرضیه‪ٞ‌:‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬دس‌ٔدٕ‪ٛ‬ػ‪ ٝ‬ای‌ث‪‌ ‌ٝ‬‬

‫ا٘ذاص‪ٜ‬ی‌وبفی‌ثضسي‌اص‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سبثغ‌‪ٞ‬ذف‌سا‌خر‪ٛ‬ة‌‬
‫یص٘ذ‪‌ .‬‬
‫یس‪ٛ‬ا٘ذ‌دس‌٘مبى‌دیٍش‌٘یض‌سبثغ‌‪ٞ‬ذف‌سا‌خ‪ٛ‬ة‌سخٕیٗ‌ٔ ‌‬
‫سخٕیٗ‌ثض٘ذ‌ٔ ‌‬

‫‪ 1.2‬یادگیری هفَْم با دیذ جستجَ‬

‫یس‪ٛ‬اٖ‌یبدٌیشی‌ٔف‪‌ْٟٛ‬سا‌خؼشد‪ٛ‬یی‌ثیٗ‌سٕبْ‌فشهی‪ٞ ٝ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌)‪‌(H‬دا٘ؼز‪ٞ‌.‬ذف‌اص‌ایٗ‌خؼشد‪‌ٛ‬دیذا‌وشدٖ‌فشهی‪ ٝ‬ای‌اػرز‌ور‪‌ٝ‬‬
‫اص‌٘ظشی‌ٔ ‌‬
‫ث‪‌ٝ‬ث‪ٟ‬ششیٗ‌‪ٚ‬خ‪ٕٔ‌ٝ‬ىٗ‌سفشبس‌سبثغ‌‪ٞ‬ذف‌سا‌دس‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌سخٕیٗ‌ثض٘ذ‪‌ٟٓٔ‌.‬اػز‌و‪‌ٝ‬ثذا٘یٓ‌و‪ً‌ٝ‬شاح‌ثب‌ا٘شخبة‌٘‪ٛ‬ع‌ٕ٘ربیؾ‌فشهری‪‌‌،ٝ‬سٕربْ‌‬
‫یو‪ٙ‬رذ‌‪‌.‬د‪ٚ‬ثربس‪‌‌ٜ‬ثر‪ٔ‌ٝ‬ثربَ‌‬ ‫فشهی‪ٞ ٝ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌)‪‌،(H‬فشهی‌‪ٞٝ‬بیی‌سا‌و‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌ٔ ‌‬
‫یس‪ٛ‬ا٘ذ‌ٕ٘ربیؾ‌ثذ‪ٞ‬رذ‌‪‌ٚ‬دس‌ورُ‌‌یربد‌ثٍیرشد‌سا‌‌٘یرض‌‌ٔحرذ‪ٚ‬د‌‌ٔر‌ ‌‬
‫‪‌EnjoySport‬ثشٔی ٌشدیٓ‪‌،‬سٕبْ‌فشهی‪ٞ ٝ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌‪‌ٚ‌H‬دػش‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌ٕٔىٗ‌‪‌X‬سا‌دس‌٘ظش‌ثٍیشیذ‪‌3‌Sky‌.‬حبِز‌ٕٔىٗ‌‪‌ٚ‬ثمی‪ٚ‌ٝ‬یظٌ ‌‬
‫ی‪ٞ‬رب‌‌‬

‫‪1‬‬
‫‪‌positive example‬‬
‫‪2‬‬
‫‪‌member of targent concept‬‬
‫‪3‬‬
‫‪‌negative example‬‬
‫‪4‬‬
‫‪‌nonmember of targent concept‬‬
‫‪5‬‬
‫‪‌hypothesize‬‬
‫‪6‬‬
‫‪‌best fit‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٞ‬ش‌وذاْ‌د‪‌ٚ‬حبِز‌ٕٔىٗ‌داس٘ذ‪‌،‬دغ‌دس‌وُ‌سؼذاد‌حبالر‌ٕٔىٗ‌ثشای‌‪‌3x2x2x2x2x2=96‌،X‬خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌.‬ثب‌ٔحبػجبسی‌ػبد‪‌ ٔ‌ٜ‬‬
‫یس‪ٛ‬اٖ‌(‌ثب‌دس‌‬
‫٘ظش‌ٌشفشٗ‌"?"‌‪ٌ‌)"0"‌ٚ‬فز‌و‪‌ٝ‬وُ‌سؼذاد‌فشهیبر‌ٕٔىٗ‌‪‌5x4x4x4x4x4x4=5120‬خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌.‬أب‌ٔ ‌‬
‫یدا٘یٓ‌فشهیبسی‌و‪‌ٝ‬یه‌یرب‌چ‪ٙ‬رذ‌‬
‫یو‪ٙٙ‬ذ‌("‪‌"0‬ث‪ٛ‬دٖ‌یه‌ٔمذاس‌ث‪ٔ‌ٝ‬ؼ‪ٙ‬ی‌ایٗ‌اػز‌و‪‌ٝ‬دس‌‪ٞ‬یچ‌حبِشی‌اص‌ایٗ‌‪ٚ‬یظٌی‌‬ ‫"‪‌ "0‬داس٘ذ‌ٔ‪ٙ‬شفی‌‪ٞ‬ؼش‪ٙ‬ذ‌چ‪‌ ‌ٖٛ‬‬
‫‪ٕٝٞ‬ی‌ٔمبدیش‌سا‌‪‌0‬دیؾ‌ثی‪ٙ‬ی‌ٔ ‌‬
‫یؿر‪ٛ‬د‌ )‪‌.‬درغ‌سؼرذاد‌‪ٚ‬الؼری‌ورُ‌فشهریبر‌ثشاثرش‌اػرز‌ثرب‌‪‌.1+(4x3x3x3x3x3)=973‬س‪ٛ‬خر‪‌ٝ‬داؿرش‪‌ٝ‬ثبؿریذ‌ور‪ٔ‌ٝ‬ثربَ‌‬
‫ٔمذاس‌سبثغ‌‪ٕ٘‌1‬ر‌ ‌‬
‫‪‌،EnjoySport‬یه‌ٔثبَ‌ثؼیبس‌ػبد‪‌ٜ‬اص‌یبدٌیشی‌ٔف‪‌ْٟٛ‬اػز‌‪ٔ‌ٚ‬ش‪ٙ‬بػجبً‌سؼذاد‌وُ‌فشهیبر‌ٕٔىٗ‌وٕی‌٘یض‌داسد‌دس‌حبِی‌و‪‌ٝ‬دس‌اوثش‌ ‌‬
‫ٔثبَ‪ٞ‬رب‌ی‌‬
‫‪ٚ‬الؼی‌ایٗ‌سؼذاد‌ثؼیبس‌صیبد‌‪ٌ‌ٚ‬ب‪ٞ‬ی‌ا‪ٚ‬لبر‌٘یض‌٘بٔش‪ٙ‬ب‪ٞ‬ی‌اػز‪‌ .‬‬

‫شٓ‪ٞ‬بی‌خؼشد‪‌ٛ‬ثش‌س‪ٚ‬ی‌فشهی‌‪ٞٝ‬ب‌‬
‫شٓ‪ٞ‬بی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ث‪ٌٔ‌ٝ‬بِؼ‪‌ٝ‬ثش‌س‪ٚ‬ی‌اٍِ‪ٛ‬سی ‌‬
‫ثب‌دیذ‌خؼشد‪‌ٛ‬ث‪ٔ‌ٝ‬ؼئّ‪ً‌،ٝ‬جیؼی‌اػز‌و‪ٌٔ‌ٝ‬بِؼ‪‌ٝ‬ثش‌س‪ٚ‬ی‌اٍِ‪ٛ‬سی ‌‬
‫ػالل‪ٝ‬ی‌ٔب‌ث‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‌و‪‌ٝ‬ث‪ًٛ‌ٝ‬س‌ٔ‪ٛ‬ثش‌‪‌ٚ‬ػشیغ‌ثش‪ٛ‬ا٘‪ٙ‬ذ‌سؼذاد‌صیبد‌‪‌ٚ‬حشی‌٘بٔش‪ٙ‬ب‪ٞ‬ی‌اص‌فشهی‪ٞ‌ٝ‬رب‌‌سا‌ثشسػری‌و‪ٙٙ‬رذ‌سرب‌‬
‫سجذیُ‌ؿ‪ٛ‬د‪‌ ‌.‬‬
‫ث‪ٟ‬ششیٗ‌فشهی‪‌ٝ‬سا‌ثشای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌دیذا‌و‪ٙٙ‬ذ‪‌ .‬‬

‫‪ 2.3.2‬تزتیب کل به جشء فزضیهها‬

‫یو‪ٙٙ‬ذ‪‌.‬ایرٗ‌ػربصٔبٖ‌د‪ٞ‬ری‌ثرشای‌سٕربْ‌‬
‫ثؼیبسی‌اص‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬خؼشد‪ٛ‬ی‌ثیٗ‌فشهی‪ٞ‌ٝ‬ب‌سا‌ثب‌یه‌ػبخشبس‌ٔفیذ‌ػبصٔبٖ‌د‪ٞ‬ی‌ٔ ‌‬
‫شٓ‪ٞ‬بیی‌ًشاحی‌وشد‌و‪‌ٝ‬ثرذ‪‌ٖٚ‬‬
‫یس‪ٛ‬اٖ‌اٍِ‪ٛ‬سی ‌‬
‫یس‪ٚ‬د‪‌:‬سشسیت‌وُ‌ث‪‌ٝ‬خضء‌فشهی‌‪ٞٝ‬ب‪‌.‬ثب‌اػشفبد‪‌ٜ‬اص‌ایٗ‌ػبخشبس‌ًجیؼی‌ٔ ‌‬
‫ٔؼبیُ‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ث‪‌ٝ‬وبس‌ٔ ‌‬
‫ا٘ذاص‪ٜ‬ی‌‪٘‌H‬بٔش‪ٙ‬ب‪ٞ‬ی‌اػز‌ثر‪‌ٝ‬‬
‫یس‪ٛ‬اٖ‌حشی‌‪ٍٙٞ‬بٔی‌و‪‌ ‌ٝ‬‬
‫شٓ‪ٞ‬ب‌ٔ ‌‬
‫یس‪ٛ‬ا٘‪ٙ‬ذ‌سٕبْ‌فشهی‌‪ٞٝ‬ب‌سا‌ثشسػی‌و‪ٙٙ‬ذ‪‌.‬ثب‌ایٗ‌٘‪ٛ‬ع‌اٍِ‪ٛ‬سی ‌‬
‫ثشسػی‌سه‌سه‌فشهی‌‪ٞٝ‬ب‌ٔ ‌‬
‫خ‪ٛ‬اة‌سػیذ‪‌.‬ثشای‌ٔثبَ‌د‪‌ٚ‬فشهی‪‌ٝ‬صیش‌سا‌دس‌٘ظش‌ثٍیشیذ‪‌ :‬‬

‫‌‬

‫‌‬

‫‌لی‪ٛ‬د‌وٕششی‌داسد‌دغ‌سؼذاد‌ثیـششی‌ٕ٘‪‌ٝ٘ٛ‬دس‪‌ٖٚ‬آٖ‌‪ٚ‬خ‪ٛ‬د‌خ‪ٛ‬ا‪ٞ‬ذ‌داؿز‌دس‌‪ٚ‬الرغ‌‬ ‫حبَ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌دس‪‌ٖٚ‬ایٗ‌د‪‌ٚ‬فشهی‪‌ٝ‬دس‌٘ظش‌ثٍیشیذ‪‌.‬چ‪‌ٖٛ‬‬
‫‪1‬‬
‫یسش ‌اػز‪‌ .‬‬
‫‌اص‌ ‌وّ ‌‬ ‫یٌ‪ٛ‬ییٓ‌‬
‫‌٘یض‌‪ٞ‬ؼز‪‌.‬ث‪ٙ‬بثشایٗ‌ٔ ‌‬ ‫‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬ای‌و‪‌ٝ‬دس‌ ‌ثبؿذ‌دس‌‬

‫یسش‌یب‌ٔؼب‪ٚ‬ی‌ث‪ٛ‬دٖ"‌ثیٗ‌فشهی‪ٞ‌ٝ‬ب‌سا‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌ث‪‌ٝ‬ك‪ٛ‬سر‌دلیك‌سش‌٘یض‌سؼشی ‌وشد‪‌.‬ا‪‌،َٚ‬ثشای‌‪ٞ‬ش‌ٕ٘‪‌x‌ٝ٘ٛ‬دس‌‪ٞ‌ٚ‌X‬ش‌فشهر‌ی‌‪ٝ‬ی‌‬ ‫ساثٌ‪ٝ‬ی‌راسی‌"وّ ‌‬
‫‌‬
‫یسش‌یب‌ٔؼب‪ٚ‬ی‌ث‪ٛ‬دٖ"‌سا‌ثش‌اػبع‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌و‪‌ٝ‬فشهی‌‪ٞٝ‬رب‌‌‬ ‫ساثٌ‪ٝ‬ی‌"وّ ‌‬
‫یو‪ٙ‬ذ‌اٌش‌‪‌ٚ‬فمي‌اٌش‌‪‌.h(x)=1‬حبَ‌ ‌‬
‫یٌ‪ٛ‬ییٓ‌‪‌h‌،x‬سا‌ساهی‌ٔ ‌‬
‫‪‌h‬دس‌‪‌ ٔ‌H‬‬
‫‌سا‌ساهی‌ورشد‌‬ ‫‌اػز‌اٌش‌‪‌ٚ‬فمي‌اٌش‌‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬ای‌و‪‌ٝ‬‬ ‫یسش‌اص‌‬
‫‌داسیٓ‪‌ ‌:‬وّ ‌‬ ‫یو‪ٙ‬یٓ‪‌.‬ثشای‌د‪‌ٚ‬فشهی‌‪ٝ‬ی‌ ‌‪‌ٚ‬‬
‫یو‪ٙٙ‬ذ‌سؼشی ‌ٔ ‌‬
‫سا‌ساهی‌ٔ ‌‬
‫‌سا‌٘یض‌ساهی‌و‪ٙ‬ذ‪‌ .‬‬

‫‌اٌرش‌‪‌ٚ‬فمري‌اٌرش‌‬ ‫‌د‪‌ٚ‬سبثغ‌ٔ‪ٌٙ‬می‌ٔمذاس‌سؼشی ‌ؿرذ‪‌ٜ‬س‪ٚ‬ی‌‪‌X‬ثبؿر‪ٙ‬ذ‌ ‌وّر‌ ‌‬

‫یسرش‌‌یرب‌ٔؼرب‪ٚ‬ی‌اػرز‌ثرب‌‬ ‫‌تعریف‪‌:‬اٌش‌ ‌‪‌ٚ‬‬
‫‌‬

‫→‬ ‫‌‬

‫‪1‬‬
‫‪‌more general‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌اٌش‌‪‌ٚ‬فمي‌‬ ‫‌‬ ‫یسش‌اػز‌اص‌‬

‫یسش‌ثبؿذ‪‌.‬فشهی‌‪ٝ‬ی‌ ‌(اویذاً)‌وّ ‌‬
‫ثؼوی‌ٔ‪ٛ‬الغ‌الصْ‌اػز‌فشهی‪ ٝ‬ای‌ث‪ًٛ‌ٝ‬س‌اویذ‌اص‌فشهی‪‌ٝ‬دیٍش‌وّ ‌‬
‫‌خربف‌سرش‌‪‌1‬اص‌ ‌اػرز‌‌اٌرش‌‪‌ٚ‬س‪ٟٙ‬رب‌اٌرش‌‬ ‫(‪‌.‬ثؼوی‌ٔ‪ٛ‬الغ‌٘یض‌الصْ‌اػز‌ثشػىغ‌ثربال‌ثٍر‪ٛ‬ییٓ‌ور‪‌ٝ‬‬ ‫)‬ ‫اٌش‌‬
‫‪‌.‬‬

‫‌‬
‫یسشی‪.‬‬
‫ساثٌ‪ٝ‬ی‌وّ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌‪‌ٚ‬فشهی‌‪ٞٝ‬ب‌‪‌ ‌ٚ‬‬
‫ؿىُ‌‪‌ ‌2.1‬‬
‫د‪ٙٞ‬ذ‪ٜ‬ی‌‪‌H‬یب‌‪ٕٞ‬بٖ‌سٕبٔی‌فشهی‌‪ٞٝ‬بػز‪ٞ‌.‬ش‌فشهی‪ٔ‌ٝ‬ش‪ٙ‬بػرت‌ثرب‌‬‫د‪ٙٞ‬ذ‪ٜ‬ی‌‪‌X‬یب‌‪ٕٞ‬بٖ‌سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بػز‪ٔ‌ٚ‌‌.‬شثغ‌ػٕز‌ساػز‌٘ـبٖ‌ ‌‬
‫ٔشثغ‌ػٕز‌چخ‌٘ـبٖ‌ ‌‬
‫ید‪ٞ‬رذ‌‌(ػرش‌ا٘ش‪ٟ‬ربیی‌‬
‫خبفسش‌ث‪ٛ‬دٖ‌سا‌٘ـبٖ‌ٔر‌ ‌‬
‫ساثٌ‪ٝ‬ی‌ ‌‬ ‫صیش‌ٔدٕ‪ٛ‬ػ‪ ٝ‬ای‌اص‌‪‌X‬اػز‌(‪ٕٞ‬بٖ‌صیش‌ٔدٕ‪ٛ‬ػ‪ ٝ‬ای‌و‪‌ٝ‬آٖ‌سا‌ساهی‌ٔ ‌‬
‫یو‪ٙ‬ذ)‪‌.‬فّؾ‌‪ٞ‬بی‌ثیٗ‌فشهی‌‪ٞٝ‬ب‌ ‌‬
‫یسش‌‬
‫یؿ‪ٛ‬د‌دغ‌فشهی‌‪ٝ‬ی‌ ‌اص‌فشهی‌‪ٝ‬ی‌ ‌وّ ‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ٔش‪ٙ‬بػت‌ثب‌ ‌سا‌ؿبُٔ‌ٔ ‌‬
‫‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ٔش‪ٙ‬بػت‌ثب‌ ‪‌،‬‬
‫‌‬ ‫خبفسش٘ذ)‪‌.‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬‬
‫فّؾ‪ٞ‬ب‌ ‌‬
‫‌‬
‫اػز‪‌ .‬‬
‫ساثٌ‪ٝ‬ی‌ ‌ثیٗ‌ایٗ‌ػ‪‌ٝ‬فشهری‪‌ٝ‬‬ ‫ثشای‌دسن‌ث‪ٟ‬شش‪‌،‬ػ‪‌ٝ‬فشهی‌‪ٝ‬ی‌ ‪‌ ‌ٚ‌ ‌،‬سا‌دس‌‪ٕٞ‬بٖ‌ٔثبَ‌‪‌EnjoySport‬دس‌٘ظش‌ثٍیشیذ‌(ؿىُ‌‪‌ ‌.)2.1‬‬
‫یو‪ٙ‬ذ‪‌.‬ث‪ً‌ٝ‬ر‪ٛ‬س‌‬
‫‌سا‌ساهی‌و‪ٙ‬ذ‌ ‌سا‌٘یض‌ساهی‌ٔ ‌‬ ‫یسش‌اػز‌صیشا‌‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬ای‌و‪‌ٝ‬‬
‫‌اص‌ ‌وّ ‌‬ ‫چٍ‪‌ٝ٘ٛ‬اػز؟‌‪ٕٞ‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬لجالً‌٘یض‌ٌفش‪‌ٝ‬ؿذ‌‬
‫یسرش‌‌اص‌دیٍرشی‌٘یؼرز‪‌.‬ثرب‌‪ٚ‬خر‪ٛ‬د‌ای‪ٙ‬ىر‪‌ٝ‬دس‌‬
‫‌وّر‌ ‌‬ ‫یسش‌اػز‪‌‌.‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪ٞ‌ٝ‬یچ‌وذاْ‌اص‌فشهی‪ٞ ٝ‬ربی‌ ‌‪‌ٚ‬‬
‫‌٘یض‌وّ ‌‬ ‫‌اص‌‬ ‫ٔـبث‪‌ٝ‬‬
‫‌ٔؼشمُ‌اص‌ای‪ٙ‬ى‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌چ‪‌ٝ‬‬ ‫‌‪‌ٚ‬‬ ‫ساثٌ‪ٝ‬ی‌‬
‫یؿ‪ٛ‬د‪‌.‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬د‪‌ ‌ٚ‬‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌اؿششان‌داس٘ذ‌أب‌‪ٞ‬یچ‌وذاْ‌دیٍشی‌سا‌ؿبُٔ‌ٕ٘ ‌‬
‫‌‬
‫یٌیش٘ذ‌سؼشی ‌ؿذ‪‌ٜ‬ا٘ذ‌‪‌ٝ٘‌ٚ‬ثش‌اػبع‌سبثغ‌‪ٞ‬ذف‪‌.‬ث‪ًٛ‌ٝ‬س‌سػرٕی‪‌،‬‬
‫ثبؿذ‌سؼشی ‌ؿذ‪‌ٜ‬ا٘ذ‌‪‌ٚ‬فمي‌ثش‌اػبع‌ای‪ٙ‬ى‪‌ٝ‬وذاْ‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌دس‌دس‪‌ٖٚ‬فشهی‪‌ٝ‬لشاس‌ٔ ‌‬
‫‌سشسیت‌خبكی‌سا‌دس‌دس‪‌ٖٚ‬فوبی‌فشهی‪ٞ‌ٝ‬ب‌‌‪‌H‬ایدبد‌ٔ ‌‬
‫یو‪ٙ‬ذ‌(ایٗ‌ساثٌ‪‌،ٝ‬ثبصسبثی‪‌،‬دبد‌ٔشمبسٖ‌‪‌ٚ‬ا٘شمبِی‌اػز)‪‌.‬ث‪ً‌ٝ‬ر‪ٛ‬س‌غیرش‌سػرٕی‪‌،‬‬ ‫ساثٌ‪ٝ‬ی‌‬
‫‌‬

‫‪1‬‬
‫‪‌more specific‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌‬ ‫یٌ‪ٛ‬ییٓ‌یه‌ػبخشبس‌خضئی‌ٔشست‪(‌1‬دس‌ٔمبثُ‌وّی‪‌)2‬اػز‪ٙٔ‌،‬ظ‪ٛ‬سٔبٖ‌ایٗ‌اػز‌و‪ٕٔ‌ٝ‬ىٗ‌اػز‌خفرز‌‌فشهر‌ی‌‪ٞٝ‬رب‌یی‌ٔثرُ‌ ‌‪‌ٚ‬‬

‫صٔب٘ی‌و‪‌ ٔ‌ٝ‬‬
‫‪‌.‬‬ ‫‌‪‌ٚ‬‬ ‫‪ٚ‬خ‪ٛ‬د‌داؿش‪‌ٝ‬ثبؿ‪ٙ‬ذ‌و‪‌ٝ‬‬

‫ٔؼئّ‪ٝ‬ی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ثش‌س‪ٚ‬ی‌فوبی‌فشهی‌‪ٞٝ‬رب‌‌)‪‌(H‬ایدربد‌ٔر‌ ‌‬
‫یو‪ٙ‬رذ‌‪‌.‬لؼرٕز‌‬ ‫‌دس‌ایٗ‌اػز‌و‪‌ٝ‬ػبخشبس‌ٔفیذی‌ثشای‌‪ٞ‬ش‌ ‌‬ ‫ساثٌ‪ٝ‬ی‌‬
‫ا‪ٕٞ‬یز‌ ‌‬
‫یدشداصد‪‌ .‬‬
‫یو‪ٙ‬ذ‪‌ ٔ‌،‬‬
‫ثؼذی‌ث‪‌ٝ‬اٍِ‪ٛ‬سیشٕی‌و‪‌ٝ‬ثب‌اػشفبد‪‌ٜ‬اص‌ایٗ‌ػبخشبس‌خؼشد‪‌ٛ‬سا‌ػبصٔبٖ‌د‪ٞ‬ی‌ٔ ‌‬

‫خبفسشیٗ‌فشهی‌‪ٝ‬ی‌‪‌H‬دس‌٘ظش‌ثٍیش‬
‫‪‌h .1‬سا‌ ‌‬
‫‪ .2‬ثشای‌‪ٞ‬ش‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌‪x‬‬
‫ثشای‌‪ٞ‬ش‌‪ٚ‬یظٌی‌ ‌دس‌‪h‬‬ ‫‪‬‬
‫یو‪ٙ‬ذ‌وبسی‌ا٘دبْ‌٘ذ‪‌ ٜ‬‬
‫‌سا‌ساهی‌ٔ ‌‬ ‫اٌش‪‌،x‬‬

‫یؿ‪ٛ‬د‌سا‌دس‌‬
‫یسشی‌و‪‌ٕٝ٘ٛ٘‌ٝ‬سا‌ؿبُٔ‌ٔ ‌‬ ‫دس‌غیش‌ایٗ‌ك‪ٛ‬سر‌دس‪‌h‬اص‌خبكیز‌ ‌ث‪‌ٝ‬ػٕز‌وّ ‌‬
‫یسش‌ؿذٖ‌ثش‪(‌ٚ‬لیذ‌وّ ‌‬
‫ایٗ‌‪ٚ‬یظٌی‌خبیٍضیٗ‌وٗ)‪‌ .‬‬

‫‪ .3‬فشهی‪‌h‌ٝ‬سا‌خش‪ٚ‬خی‌ثذ‪‌ .ٜ‬‬
‫خذ‪‌2.3‌َٚ‬اٍِ‪ٛ‬سیشٓ‌‪‌ FIND-S‬‬

‫‪ : FIND-S 1.3‬پیذا کردى خاصتریي‌فرضیِ‬

‫یسشی‌ثشای‌ػبصٔبٖ‌د‪ٞ‬ی‌خؼشد‪ٛ‬ی‌ثیٗ‌فشهی‪ٞ‌ٝ‬ب‌اػشفبد‪‌ٜ‬وشد؟‌یه‌سا‪‌ٜ‬ؿش‪ٚ‬ع‌وشدٖ‌اص‌خبف‌سرش‌یٗ‌فشهری‪‌‌ٝ‬دس‪‌ٖٚ‬‬
‫ساثٌ‪ٝ‬ی‌وّ ‌‬
‫یس‪ٛ‬اٖ‌اص‌ ‌‬
‫چٍ‪‌ ٔ‌ٝ٘ٛ‬‬
‫ید‪ٛ‬ؿب٘ذ‌و‪‌ٝ‬‬
‫یس‪ٛ‬ا٘ذ‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌سا‌ثذ‪ٛ‬ؿب٘ذ‌اػز‪(‌.‬صٔب٘ی‌و‪‌ٝ‬یه‌فشهی‪‌ٝ‬یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌سا‌ٔ ‌‬ ‫فوبی‌فشهی‪ٞ‌ٝ‬ب‌‪‌ٚ‌H‬وّ ‌‬
‫یسش‌وشدٖ‌آٖ‌دس‌ٔشاحّی‌و‪‌ ٕ٘‌ٝ‬‬
‫آٖسا‌ؿبُٔ‌ؿ‪ٛ‬د)‪‌.‬ثشای‌ث‪ٟ‬شش‌س‪ٚ‬ؿٗ‌ؿذٖ‌ایٗ‌ٌّٔت‌اٍِ‪ٛ‬سیشٓ‌‪(‌FIND-S‬خذ‪‌)2.3‌َٚ‬دس‌٘ظش‌ثٍیشیذ‪‌ .‬‬
‫‌‬

‫ثشای‌سل‪ٛ‬س‌ث‪ٟ‬شش‌فشم‌و‪ٙ‬یٓ‌و‪‌ٝ‬ث‪‌ٝ‬یبدٌیش‌ٔمبدیش‌خذ‪‌2.1‌َٚ‬داد‪‌ٜ‬ؿذ‪‌ٜ‬سب‌ٔف‪‌EnjoySport‌ْٟٛ‬سا‌یبد‌ثٍیرشد‪ٌ‌.‬ربْ‌ا‪‌َٚ‬اٍِر‪ٛ‬سیشٓ‌ٔمر‌ذاس‌د‪ٞ‬ری‌‬
‫ا‪ِٚ‬ی‌‪ٝ‬ی‌‪‌h‬ثب‌ ‌‬
‫خبفسشیٗ فشهی‪‌ٝ‬اػز‪‌ .‬‬

‫>‪h ← <0,0,0,0,0,0‬‬

‫یؿ‪ٛ‬د‌و‪‌ٝ‬فشهی‪‌ٝ‬ثریؾ‌اص‌حرذ‌‌خربف‌اػرز‪‌.‬‬
‫یس‪ٚ‬د‪‌،‬چ‪‌ٖٛ‬ایٗ‌داد‪ٔ‌ٜ‬مذاس‌ٔثجز‌ایٗ‌فشهی‪٘‌ٝ‬یؼز‌ٔؼّ‪‌ ٔ‌ْٛ‬‬
‫داد‪ٜ‬ی‌خذ‪‌ ٔ‌2.1‌َٚ‬‬
‫ثؼذ‌ث‪‌ٝ‬ػشاؽ‌ا‪ِٚ‬یٗ‌ ‌‬
‫یؿ‪٘ٛ‬ذ‪‌ .‬‬
‫یسشی‌خبیٍضیٗ‌ٔ ‌‬ ‫چ‪ٞ‌ٕٝ٘ٛ٘‌ٖٛ‬یچ‌یه‌اص‌ٔمبدیش‌"‪‌"0‬فشهی‪‌ٝ‬سا‌ساهی‌ٕ٘ ‌‬
‫یو‪ٙ‬ذ‌دغ‌ایٗ‌ٔمبدیش‌ثب‌ٔمبدیش‌وّ ‌‬

‫>‪h ← <Same,Warm,High,‌Normal, Warm,Sunny‬‬

‫‪1‬‬
‫‪‌partial order‬‬
‫‪2‬‬
‫‪‌total‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫أب‌ثب‌ایٗ‌حبَ‌ایٗ‌‪‌h‬ثیؾ‌اص‌حذ‌خبف‌اػز‌صیشا‌خض‌ث‪ٕٞ‌ٝ‬بٖ‌ٕ٘‪‌ٝ٘ٛ‬ا‪ٔ‌ٕٝ٘ٛ٘‌،َٚ‬ثجز‌دیٍشی‌٘ذاسد‪‌.‬صٔب٘ی‌و‪‌ٝ‬ث‪‌ٕٝ٘ٛ٘‌ٝ‬آٔ‪ٛ‬صؿری‌‌د‪ٔ‌ْٚ‬ر‌ ‌‬
‫یسػرذ‌‌‬
‫یسش‌و‪ٙ‬ذ‌‪ٚ‌ٚ‬یظٌی‌ػ‪‌ْٛ‬سا‌"?"‌لشاس‌د‪ٞ‬ذ‌(‪ٚ‬یظٌ ‌‬
‫یای‌ور‪‌ٝ‬دس‌ایرٗ‌‬ ‫یؿ‪ٛ‬د‌و‪‌h‌ٝ‬سا‌وّ ‌‬
‫(و‪‌ٝ‬دس‌ای‪ٙ‬دب‌یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌اػز)‪‌،‬د‪ٚ‬ثبس‪‌ٜ‬اٍِ‪ٛ‬سیشٓ‌ٔدج‪ٛ‬س‌ٔ ‌‬
‫ٕ٘‪‌ٝ٘ٛ‬د‪ٛ‬ؿب٘ذ‪٘‌ٜ‬ـذ‪‌ٜ‬ث‪ٛ‬د)‌دغ‪‌ :‬‬

‫>‪h ← <Same,Warm,High,?, Warm,Sunny‬‬

‫ثب‌سػیذٖ‌ث‪‌ٕٝ٘ٛ٘‌ٝ‬ػ‪(‌ْٛ‬و‪‌ٝ‬یه‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌اػز)‌٘یبص‌٘یؼز‌و‪‌ٝ‬سغییش‌خبكی‌ث‪‌h‌ٝ‬ثذ‪ٞ‬ذ‪‌.‬دس‌‪ٚ‬الرغ‌اٍِر‪ٛ‬سیشٓ‌‪ٞ‌FIND-S‬ریچ‌وربسی‌دس‌لجربَ‌‬
‫یآیذ‌س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬اآلٖ‌ایٗ‌ٕ٘‪‌ٝ٘ٛ‬اص‌‪‌h‬خر‪ٛ‬اة‌ٔ‪ٙ‬فری‌‬
‫یو‪ٙ‬ذ!‌ثب‌‪ٚ‬خ‪ٛ‬د‌ای‪ٙ‬ى‪‌ٝ‬ایٗ‌سفشبس‌اٍِ‪ٛ‬سیشٓ‌وٕی‌ػدیت‌ث‪٘‌ٝ‬ظش‌ٔ ‌‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌ٕ٘ ‌‬
‫یٌیشد‌(‪‌h‬ایٗ‌ٕ٘‪‌ٝ٘ٛ‬سا‌دسػز‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌وشد‪‌)ٜ‬دغ‌ث‪ٞ‌ٝ‬ش‌حبَ‌سغییشی‌الصْ‌٘یؼز‪‌.‬دس‌حبِز‌وّری‪‌،‬سرب‌صٔرب٘ی‌ور‪‌ٝ‬فرشم‌و‪ٙ‬ریٓ‌دس‌فوربی‌‬
‫ٔ‌‬
‫فشهی‪ٞ‌ٝ‬ب‌)‪‌،(H‬فشهی‪ ٝ‬ای‌‪ٚ‬خ‪ٛ‬د‌داسد‌و‪‌c‌ٝ‬سا‌ث‪ًٛ‌ٝ‬س‌وبُٔ‌س‪ٛ‬كی ‌ٔ ‌‬
‫یو‪ٙ‬ذ‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌آٔ‪ٛ‬صؿی‌دسػز‌‪ٞ‬ؼش‪ٙ‬ذ‌٘یبصی‌ث‪‌ٝ‬سغییرش‌دس‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌‌‬
‫ٔ‪ٙ‬فی‌٘یؼز‪‌.‬دِیُ‌ایٗ‌أش‌آٖ‌اػز‌و‪‌ٝ‬فشهی‌‪ٝ‬ی‌‪‌h‬خبف‌سشیٗ فشهی‌‪ٝ‬ی‌ٕٔىٗ‌دس‌‪‌H‬اػز‌و‪‌ٝ‬ثش‌اػبع‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔثجز‌ػبخش‪‌ٝ‬ؿذ‪‌ٚ‌،ٜ‬چر‪‌ٖٛ‬‬
‫یسش‌یب‌ٔؼب‪ٚ‬ی‌‪‌h‬اػز‪‌ٚ‌.‬چ‪ٞ‌c‌ٖٛ‬ریچ‌ٕ٘‪٘ٛ‬ر‪‌ٝ‬ی‌‬
‫یو‪ٙ‬یٓ‌و‪٘‌c‌ٝ‬یض‌دس‌‪ٚ‌H‬خ‪ٛ‬د‌داسد‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌ٔثجز‌سا‌٘یض‌دس‌ثش‌داسد‌دغ‌ٌٕٔئ‪ٙ‬بً‌‪‌c‬وّ ‌‬
‫فشم‌ٔ ‌‬
‫یؿ‪ٛ‬د‪٘‌h‌،‬یض‌ ‌‬
‫آٖسا‌ؿبُٔ‌٘خ‪ٛ‬ا‪ٞ‬ذ‌ؿذ‪‌.‬دغ‌‪ٞ‬یچ‌٘یبصی‌ث‪‌ٝ‬سغییش‌دس‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌٘ذاسیٓ‪‌ .‬‬ ‫یای‌سا‌ؿبُٔ‌ٕ٘ ‌‬
‫ٔ‪ٙ‬ف ‌‬

‫ثشای‌وبُٔ‌وشدٖ‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬چ‪ٟ‬بسٔیٗ‌داد‪‌ٜ‬سا‌٘یض‌ثشسػی‌ٔ ‌‬
‫یو‪ٙ‬یٓ‌‪‌ٚ‬داسیٓ‌و‪‌ :ٝ‬‬

‫}‪"‌, Warm,Sunny‬؟"‪",High,‬؟"‪"‌,‬؟"{ ← ‪h‬‬

‫یسشی‌ثشای‌خؼشد‪ٛ‬ی‌فوبی‌فشهی‪ٞ‌ٝ‬ب‌دس‌دیذا‌وشدٖ‌فشهی‪ٌّٔ‌ٝ‬ر‪ٛ‬ة‌اػرز‪‌.‬خؼرشد‪‌ٛ‬اص‌‬
‫اػشفبد‪ٜ‬ی‌اص‌‪ٚ‬یظٌی‌وّ ‌‬
‫‌‬ ‫اٍِ‪ٛ‬سیشٓ‌‪ ٕٝ٘ٛ٘‌FIND-S‬ای‌اص‌‬
‫یو‪ٙ‬ذ‪‌.‬ؿرىُ‌‪‌2.2‬ایرٗ‌خؼرشد‪‌ٛ‬سا‌دس‌دس‪‌ٖٚ‬‬
‫یسش‌ؿذٖ‌ادأ‪‌ٝ‬دیذا‌ٔ ‌‬
‫ش‪ٜ‬ی‌وّ ‌‬
‫یسش‌وشدٖ‌فشهی‪ٞ‌ٝ‬ب‌دس‌یه‌ص٘دی ‌‬
‫فشهی‪ ٝ‬ای‌خیّی‌خبف‌ؿش‪ٚ‬ع‌‪‌ٚ‬ثب‌وّ ‌‬
‫یؿ‪ٛ‬د‪‌.‬دغ‌دس‌‪ٞ‬ش‌‬
‫یسش‌ٔ ‌‬
‫ا٘ذاص‪ٜ‬ی‌الصْ‌ثشای‌د‪ٛ‬ؿؾ‌ٕ٘‪‌ٝ٘ٛ‬خذیذ‌فشهی‪‌ٝ‬وّ ‌‬
‫ید‪ٞ‬ذ‪‌.‬دس‌‪ٞ‬ش‌ٔشحّ‪‌ٝ‬فمي‌ث‪‌ ‌ٝ‬‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌٘ـبٖ‌ٔ ‌‬
‫فوبی‌فشهی‪ ٝ‬ای‌‪‌ٚ‬فوبی‌ ‌‬
‫ٔشحّ‪‌ٝ‬فشهی‌‪ٝ‬ی‌‪‌h‬خبف‌سشیٗ فشهی‌‪ٝ‬ی‌ػبخش‪‌ٝ‬ؿذ‪‌ٜ‬ثش‌س‪ٚ‬ی‌ٕ٘‪ٞ ٝ٘ٛ‬بی‌ٔثجز‌لجّی‌اػز‪‌S(‌.‬دس‌٘بْ‌‪٘‌FIND-S‬یض‌اص‌‪ٕٞ‬بٖ‌وّٕر‪‌ٝ‬ی‌‪‌specific‬‬
‫یسشی‌سا‌ث‪‌ٝ‬ػجىی‌ثشای‌ػربصٔبٖ‌د‪ٞ‬ری‌خؼرشد‪‌ٛ‬اػرشفبد‪‌ٜ‬‬
‫ٌشفش‪‌ٝ‬ؿذ‪‌.)ٜ‬سحمیمبر‌یبدٌیشی‌ٔف‪‌ْٟٛ‬دش‌اص‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌ٔـبث‪ٟ‬ی‌اػز‌و‪‌ٝ‬سشسیت‌وّ ‌‬
‫یو‪ٙ‬یٓ‪‌ .‬‬
‫شٓ‪ٞ‬ب‌سا‌دس‌ایٗ‌فلُ‌‪‌ٚ‬سؼذادی‌دیٍش‌سا‌دس‌فلُ‌‪‌11‬ثشسػی‌ٔ ‌‬
‫وشد‪ٜ‬ا٘ذ‪‌.‬سؼذادی‌اص‌ایٗ‌اٍِ‪ٛ‬سی ‌‬
‫‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌‬
‫ؿىُ‌‪‌2.2‬فشهی‌‪ٞٝ‬بیی‌و‪‌ٝ‬دس‌ًی‌ٔشاحُ‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ث‪‌ٝ‬دػز‌آٔذ‪.‬‬
‫یؿر‪ٛ‬د‌‌(اص‌ ‌سرب‌ )‪‌.‬دس‌ٕ٘ر‪ٛ‬داس‌‬ ‫یؿ‪ٛ‬د‌و‪‌ٝ‬خبف‌سشیٗ فشهی‪‌ٝ‬دس‌‪‌H‬اػز‌ػذغ‌دّ‪‌ٝ‬ث‪‌ٝ‬دّ‪‌ٝ‬سحز‌سبثیش‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌وّ ‌‬
‫یسش‌ٔ ‌‬ ‫‌خؼشد‪‌ٛ‬اص‌فشهی‌‪ٝ‬ی‌ ‌ؿش‪ٚ‬ع‌ٔ ‌‬
‫٘ج‪ٛ‬د‪ٜ‬ا٘ذ‌ثب‌دایش‪ٞ ٜ‬بی‌سر‪ٛ‬دش‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌و‪‌ٝ‬خض‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌آٔ‪ٛ‬صؿی‌ ‌‬‫ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌(ػٕز‌چخ)‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔثجز‌ثب‌ػالٔز‌"‪ٞ‌ٕٝ٘ٛ٘‌،"+‬بی‌ٔ‪ٙ‬فی‌ثب‌ػالٔز‌"‪‌ ‌ٚ‌"-‬‬
‫ؿذ‪ٜ‬ا٘ذ‪‌ .‬‬
‫٘ـبٖ‌داد‪‌ ‌ٜ‬‬
‫خبفسشیٗ‌فشهی‪‌ٝ‬سا‌ثرش‌اػربع‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ر‌بی‌‬‫یو‪ٙ‬ذ‌و‪‌ ‌ٝ‬‬ ‫‪ٚ‬یظٌی‌وّیذی‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ایٗ‌اػز‌و‪‌ٝ‬دس‌ٔیبٖ‌فوبی‌فشهی‌‪ٞٝ‬ب‌)‪‌(H‬سوٕیٗ‌ٔ ‌‬
‫ٔثجز‌اسائ‪‌ٝ‬د‪ٞ‬ذ‪‌.‬ثب‌فشم‌ای‪ٙ‬ى‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬ب‌دسػز‌ثبؿ‪ٙ‬ذ‌‪٘‌c‌ٚ‬یض‌دس‌‪ٛٔ‌H‬خ‪ٛ‬د‌ثبؿذ‪‌،‬خش‪ٚ‬خی‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ثشای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌ٔمذاس‌كرفش‌‬
‫یٔب٘‪ٙ‬ذ‪‌ :‬‬
‫ید‪ٞ‬ذ‪‌.‬ثب‌ایٗ‌‪ٚ‬خ‪ٛ‬د‌سؼذادی‌اص‌ػؤاالر‌ٔ‪ٛ‬خ‪ٛ‬د‌ثی‌خ‪ٛ‬اة‌ٔ ‌‬
‫ٔ‌‬

‫آیب‌یبدٌیش‌ث‪‌ٝ‬ػٕز‌ٔف‪ٞ‌ْٟٛ‬ذف‌‪ٍٕٞ‬شا‌ؿذ‪ٜ‬؟‌ثب‌‪ٚ‬خ‪ٛ‬د‌ای‪ٙ‬ى‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬فشهی‪ ٝ‬ای‌سا‌دیذا‌ٔ ‌‬
‫یو‪ٙ‬ذ‌و‪‌ٝ‬ثب‌سٕبْ‌ٕ٘‪‌ٝ٘ٛ‬‬ ‫‪‬‬
‫یو‪ٙ‬ذ‌و‪‌ٝ‬فشهی‪‌ٝ‬دیذا‌ؿذ‪‌ٜ‬یىشب‌ثبؿذ‌‪ٕٔ‌ٚ‬ىٗ‌اػز‌فشهی‪ٞ ٝ‬بی‌دیٍرشی‌‬
‫‪ٞ‬بی‌آٔ‪ٛ‬صؿی‌ٌٔبثمز‌داؿش‪‌ٝ‬ثبؿذ‪‌،‬أب‌سوٕیٗ‌ٕ٘ ‌‬
‫دس‌‪ٛٔ‌H‬خ‪ٛ‬د‌ثبؿ‪ٙ‬ذ‌و‪‌ٝ‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌ٌٔبثمز‌داؿش‪‌ٝ‬ثبؿ‪ٙ‬ذ‪‌.‬سشخیح‌ٔب‌ثش‌ایٗ‌اػرز‌ور‪‌ٝ‬اص‌اٍِر‪ٛ‬س‌ی ‌‬
‫شٓ‪ٞ‬رب‌یی‌اػرشفبد‪‌ٜ‬و‪ٙ‬ریٓ‌ور‪‌ٝ‬‬
‫ؿذ‪ٜ‬ا٘ذ‌‪‌ٚ‬اٌش‌٘‪ٔ‌،ٝ‬ـخق‌و‪ٙٙ‬ذ‌و‪ٔ‌ٝ‬یضاٖ‌ػذْ‌لٌؼیز‌چمذس‌‪‌ٚ‬چٍ‪‌ٝ٘ٛ‬اػز‪.‬‬
‫ٔـخق‌و‪ٙٙ‬ذ‌آیب‌ث‪‌ٝ‬فشهی‪ٔ‌ٝ‬ـخلی‌‪ٍٕٞ‬شا‌ ‌‬
‫چشا‌د٘جبَ‌خبف‌سشیٗ‌فشهی‪ٞ‌ٝ‬ؼشیٓ؟‌صٔب٘ی‌و‪‌ٝ‬ث‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪ٕ٘ٛ٘‌FIND-S‬ر‪ٞ‌ٝ‬رب‌یی‌داد‪ٔ‌ٜ‬ر‌ ‌‬
‫یؿر‪ٛ‬د‌‌خش‪ٚ‬خری‌خربف‌سرش‌یٗ‌‬ ‫‪‬‬
‫یٌرشد‌یٓ‌‪‌ٚ‬فمري‌د٘جربَ‌‬
‫یسشیٗ‌فشهری‪‌‌ٝ‬یرب‌چیرضی‌ثی‪ٙ‬ربثیٗ‌‌ٕ٘ر‌ ‌‬
‫فشهی‌‪ٝ‬ی‌ٕٔىٗ‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪ٔ‌.‬ؼّ‪٘‌ْٛ‬یؼز‌و‪‌ٝ‬چشا‌د٘جبَ‌وّ ‌‬
‫خبفسشیٗ فشهی‪ٞ‌ٝ‬ؼشیٓ‪.‬‬
‫‌‬
‫آیب‌‪ٕٞ‬یـ‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌یبدٌیشی‌ثذ‪‌ٖٚ‬خٌب‌‪ٞ‬ؼش‪ٙ‬ذ؟‌دس‌ثؼیبسی‌اص‌ٔؼبیُ‌یبدٌیشی‌ٔف‪‌ْٟٛ‬أىربٖ‌‪ٚ‬خر‪ٛ‬د‌خٌرب‌یرب‌٘ر‪ٛ‬یض‌‪‌1‬دس‌‬ ‫‪‬‬
‫یا٘ذاص٘ذ‪ٔ‌،‬خل‪ٛ‬كبً‌ای‪ٙ‬ى‪FIND-‌ٝ‬‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌و‪‌ٝ‬خٌب‌داس٘ذ‌وبٔالً‌‪‌FIND-S‬سا‌ث‪‌ٝ‬اؿشجب‪‌ ٔ‌ٜ‬‬
‫ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌یبدٌیشی‌‪ٚ‬خ‪ٛ‬د‌داسد‪‌ ‌.‬‬

‫‪1‬‬
‫‪‌noise‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ید‪ٞ‬یٓ‌اص‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌اػشفبد‪‌ٜ‬و‪ٙ‬یٓ‌ور‪‌ٝ‬خٌرب‌‬ ‫‪‌S‬دس‌لجبَ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌‪ٞ‬یچ‌ػىغ‌اِؼّٕی‌ا٘دبْ‌ٕ٘ ‌‬
‫ید‪ٞ‬ذ‪ٔ‌.‬ب‌سشخیح‌ٔ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌سا‌سـخیق‌ثذ‪ٙٞ‬ذ‌‪‌ٚ‬سشخیحبً‌ثش‪ٛ‬ا٘‪ٙ‬ذ‌خ‪ٛ‬د‌سا‌ثب‌ایٗ‌خٌب‪ٞ‬ب‌سٌجیك‌د‪ٙٞ‬ذ‪.‬‬
‫داؿشٗ‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌یىشب‌‬ ‫اٌش‌خبف‌سشیٗ فشهی‪‌ٝ‬یىشب‌٘ج‪ٛ‬د‌چ‪ٝ‬؟‌دس‌ٔثبَ‌‪ٕٞ‌EnjoySport‬یـ‪‌ ‌ٝ‬‬
‫خبفسشیٗ‌فشهی‌‪ٝ‬ی‌ػبخش‪‌ٝ‬ؿذ‪‌ٜ‬س‪ٚ‬ی‌ ‌‬ ‫‪‬‬
‫دسثبس‪ٜ‬ی‌آٖ‌‪ٞ‬ب‌ثحث‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد)‌ٕٔىٗ‌اػز‌خبف‌سشیٗ فشهری‪‌ٝ‬‬
‫ث‪ٛ‬د‪‌.‬ثب‌ایٗ‌حبَ‪‌،‬دس‌فوب ‪ٞ‬بی‌فشهی‪ ٝ‬ای‌دیٍش‌(و‪‌ٝ‬ثؼذاً‌ ‌‬
‫یىشب‌٘جبؿذ‪‌.‬دس‌چ‪ٙ‬یٗ‌ؿشایٌی‪‌،‬اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ثبیذ‌سلحیح‌ؿ‪ٛ‬د‌سب‌ثش‪ٛ‬ا٘ذ‌ٌضی‪ٞ ٝٙ‬بی‌دیٍش‌ٔ‪ٛ‬خ‪ٛ‬د‌دس‌وّ ‌‬
‫یسرش‌‌ػربصی‌‪‌ٚ‬‬
‫یؿ‪ٛ‬د‌اص‌ؿبخ‪ ٝ‬ای‌دیٍش‌اص‌س‪٘ٚ‬ذ‌وّی‌ػبصی‌‌ث‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌سػیذ‌ثشسػی‌و‪ٙ‬ذ‪‌.‬دس‌آی‪ٙ‬ذ‪‌،ٜ‬فوب ‪ٞ‬ربی‌‬
‫احشٕبَ‌ایٗ‌سا‌و‪‌ٝ‬آیب‌ٔ ‌‬
‫خبفسشیٗ فشهی‌‪ٝ‬ی‌ٔ‪ٛ‬خر‪ٛ‬د‌یىشرب‌٘یؼرز‪‌،‬ثرب‌ایرٗ‌حربَ‌ایرٗ‌٘ر‪ٛ‬ع‌‬
‫آٖ‪ٞ‬ب‌‪ٕٞ‬یـ‪‌ ‌ٝ‬‬
‫فشهی‪ ٝ‬ای‌سا‌ٔؼشفی‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‌و‪‌ٝ‬دس‌ ‌‬
‫یا٘ذ‌سب‌ػّٕی‪.‬‬
‫فوب ‪ٞ‬بی‌فشهی‪ ٝ‬ای‌ثیـشش‌سئ‪ٛ‬س ‌‬

‫‪ 1.4‬فضا ّای ٍیژُ ٍ الگَریتن ‪Candidate-Elimination‬‬

‫یدشداصیٓ‌و‪‌ٝ‬هرؼ ‌‪ٞ‬رب‌ی‌‪‌FIND-S‬سا‌‬
‫دس‌ایٗ‌ثخؾ‌ث‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌دیٍشی‌دس‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ث‪٘‌ٝ‬بْ‌اٍِ‪ٛ‬سیشٓ‌‪‌ ٔ‌Candidate-Elimination‬‬
‫٘ذاس٘ذ‪‌.‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬خش‪ٚ‬خی‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬فمي‌یىی‌اص‌فشهی‪ٞ ٝ‬بی‌داخُ‌‪‌H‬اػز‌و‪‌ٝ‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌ٌٔبثمرز‌داسد‪٘‌.‬ىشر‪‌ٝ‬ی‌وّیرذی‌‬
‫اٍِ‪ٛ‬سیشٓ‌‪ٕٞ‌ٓٞ‌Candidate-Elimination‬یٗ‌اػز‪‌.‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌س‪ٛ‬كیفی‌اص‌سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ٌٔبثك‌ثب‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬رب‌‌ٔ ‌ر ‌‬
‫ید‪ٞ‬رذ‌‪٘‌.‬ىشر‪‌ٝ‬ی‌‬
‫خبِت‌سش‌ایٗ‌اػز‌و‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثشای‌دیذا‌وشدٖ‌دػش‪‌ٝ‬فشهی‌‪ٝ‬ی‌ٌٔبثك‌ثب‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌سٕبٔی‌فشه ‌ری‌‪ٞٝ‬رب‌‌سا‌ثشسػری‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ؿبُٔ‌سٕبٔی‌فشهی‪ٞ‌ٝ‬بی‌ػبصٌبس‌ثرب‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬رب‌‌ا٘دربْ‌‬
‫‌‬ ‫یسشی‌‪‌ٚ‬ثب‌اػشفبد‪‌ٜ‬اص‌س‪ٛ‬كیفی‌ثشای‌‬
‫یو‪ٙ‬ذ‪‌.‬ایٗ‌وبس‌ثش‌اػبع‌‪ٕٞ‬بٖ‌سشسیت‌وّ ‌‬
‫ٕ٘ ‌‬
‫یٌشدد‪‌ .‬‬
‫ٔ‌‬

‫ساثٌ‪ٝ‬ی‌ثیٗ‌ًی ‌ػ‪ٙ‬دی‌خشٔری‌دس‌ؿریٕی‌(‌‪‌ٚ‌)Mitchell 1979‬دس‌‬

‫اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬دس‌ٌزؿش‪‌ٝ‬ثشای‌دیذا‌وشدٖ‌ ‌‬
‫یبدٌیشی‌ل‪ٛ‬ا٘یٗ‌خؼشد‪ٛ‬ی‌اوشـبفی‪‌(Mitchell 1983)‌1‬اػشفبد‪‌ٜ‬ؿذ‪‌ٜ‬اػز‪‌.‬أب‌ثب‌ایٗ‌حبَ‌دس‌وبسثشد ‪ٞ‬ربی‌‪ٚ‬الؼری‪‌‌،‬ثر‪‌ٝ‬دِیرُ‌ای‪ٙ‬ىر‪ٞ‌‌ٝ‬رش‌د‪‌ٚ‬‬
‫اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‌ٚ‌FIND-S‬دس‌ٔ‪ٛ‬اخ‪‌ٟٝ‬ثب‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بیی‌و‪‌ٝ‬خٌب‌‪ٛ٘‌ٚ‬یض‌داس٘ذ‌ػّٕىشد‌هؼیفی‌داس٘ذ‪‌،‬وبسثشد‌صیبدی‌٘ذاس٘ذ‪‌.‬‬
‫اص‌آٖ‌ٔ‪‌ٟٓ‬سش‪‌،‬ثشای‌‪ٞ‬ذف‌ٔب‌‪‌،‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬لبِجی‌ٔف‪ٟٔٛ‬ی‌سا‌ثشای‌ٔؼشفی‌ثؼیبسی‌اص‌ٌٔبِت‌دبیر ‌‪ ٝ‬ای‌دس‌یربدٌیشی‌‬
‫شٓ‪ٞ‬بیی‌و‪‌ٝ‬ثب‌داد‪ٞ ٜ‬بی‌٘ر‪ٛ‬یض‌داس‌‬
‫فلُ‪ٞ‬بی‌ثؼذی‌ث‪‌ٝ‬ایٗ‌اٍِ‪ٛ‬سی ‌‬
‫یو‪ٙ‬ذ‪‌.‬دس‌ادأ‪‌ٝ‬ث‪‌ٝ‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌‪‌ٚ‬ایٗ‌ٌٔبِت‌خ‪ٛ‬ا‪ٞ‬یٓ‌دشداخز‪‌.‬دس‌ ‌‬
‫ٔبؿیٗ‌ٔؼشفی‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌خ‪ٛ‬ا‪ٞ‬یٓ‌دشداخز‪‌ .‬‬
‫٘یض‌دسػز‌وبس‌ٔ ‌‬

‫‪ 2.5.2‬معزفی‬
‫یو‪ٙ‬رذ‌‪‌.‬ثرشای‌سؼشیر ‌دلیرك‌‬ ‫اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬سٕبٔی‌فشهی‪ٞ ٝ‬بی‌لبثُ‌س‪ٛ‬كی ‌و‪‌ٝ‬دس‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌كذق‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌سا‌دیذا‌ٔ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌سا‌ث‪‌ٝ‬دسػشی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‪‌ .‬‬
‫یو‪ٙ‬یٓ‪‌.‬ا‪‌،َٚ‬یه‌فشهی‪‌ٝ‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ػبصٌبس‌اػز‪‌،‬اٌش‌آٖ‌ ‌‬
‫اٍِ‪ٛ‬سیشٓ‪‌،‬ثب‌چ‪ٙ‬ذ‌سؼشی ‌ا‪ِٚ‬ی‪‌ٝ‬ؿش‪ٚ‬ع‌ٔ ‌‬

‫تعریف‪ :‬فشهی‌‪ٝ‬ی‌‪‌h‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌‪‌D‬ػبصٌبس‪‌2‬اػز‌اٌش‌‪‌ٚ‬فمي‌اٌش‌ثشای‌‪ٞ‬ش‌ص‪ٚ‬ج‌ٔشست‌>)‪‌<x,c(x‬دس‌‪‌D‬داؿش‪‌ٝ‬ثبؿیٓ‌)‪.h(x)=c(x‬‬

‫‌‬

‫‪1‬‬
‫‪‌heuristic search‬‬
‫‪2‬‬
‫‪‌consistent‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یو‪ٙ‬ذ‌اٌش‌‪‌h(x)=1‬دس‌حبِی‌و‪‌ٝ‬فشلی‌ٕ٘ ‌‬
‫یو‪ٙ‬ذ‌و‪‌ٝ‬‬ ‫س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌ساهی‌وشدٖ‌‪‌ٚ‬ػبصٌبسی‌یىی‌٘یؼش‪ٙ‬ذ‪‌.‬ثشای‌ٔثبَ‪‌x‌:‬فشهی‌‪ٝ‬ی‌‪‌h‬سا‌ساهی‌ٔ ‌‬
‫‪‌x‬یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌یب‌ٔ‪ٙ‬فی‌ثبؿذ‪‌.‬دس‌حبِی‌و‪‌x‌ٕٝ٘ٛ٘‌ٝ‬صٔب٘ی‌ثب‌‪‌h‬ػبصٌبس‌اػز‌و‪‌h(x)=c(x)‌ٝ‬ثبؿذ‪‌ .‬‬

‫اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬سٕبٔی‌دػش‪‌ٝ‬فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سا‌خش‪ٚ‬خی‌ٔ ‌‬
‫ید‪ٞ‬ذ‪‌.‬ایٗ‌دػش‪‌ٝ‬فشهی‌‪ٞٝ‬ب‌فوبی‌‬
‫یؿ‪ٛ‬د‪‌.‬فوبی‌‪ٚ‬یظ‪ٚ‌ٜ‬اثؼش‪‌ٝ‬ث‪‌ٝ‬فوبی‌فشهی‌‪ٞٝ‬ب‌)‪ٞ‌ٕٝ٘ٛ٘‌ٚ‌(H‬بی‌‬ ‫‪ٚ‬یظ‪٘‌1ٜ‬بٔیذ‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‌چ‪‌ٖٛ‬سٕبٔی‌٘ؼخ‪ٞ ٝ‬بی‌لبثُ‌لج‪ٔ‌َٛ‬ف‪ٞ‌ْٟٛ‬ذف‌سا‌ؿبُٔ‌ٔ ‌‬
‫آٔ‪ٛ‬صؿی‌)‪‌(D‬اػز‪‌ .‬‬

‫یؿر‪ٛ‬د‌‪‌،‬ثرب‌س‪ٛ‬خر‪‌ٝ‬ثر‪‌ٝ‬فوربی‌فشهر‌ی‌‪ٞٝ‬رب‌‌)‪ٕ٘ٛ٘‌ٚ‌(H‬ر‪ٞ‌ٝ‬ربی‌آٔ‪ٛ‬صؿری‌‌)‪ٔ‌،(D‬دٕ‪ٛ‬ػر‪‌ٝ‬ی‌‬
‫‌ٕ٘بیؾ‌داد‪‌ ٔ‌ٜ‬‬ ‫تعریف‪‌:‬فوبی‌‪ٚ‬یظ‪‌،‌ٜ‬و‪‌ٝ‬ثب‌‬
‫ٔثبَ‪ٞ‬بی‌‪‌D‬ػبصٌبس‌اػز‪.‬‬
‫فشهی‌‪ٞٝ‬بیی‌اص‌‪‌H‬اػز‌و‪‌ٝ‬ثب‌ ‌‬

‫‪ 2.5.2‬الگوریتم ‪List-Then-Eliminate‬‬
‫ػبد‪‌ٜ‬سشیٗ‌سا‪ٕٔ‌ٜ‬ىٗ‌ثشای‌ٔؼشفی‌فوبی‌‪ٚ‬یظ‪ٔ‌ٜ‬ؼشفی‌سه‌سه‌ػو‪ٞ ٛ‬بی‌آٖ‌اػز‪‌.‬ایٗ‌٘‪ٛ‬ع‌ٔؼشفری‌ثر‪‌ٝ‬یره‌اٍِر‪ٛ‬سیشٓ‌ثر‪٘‌ٝ‬ربْ‌‪List-Then-‬‬
‫‪‌ ٔ‌Eliminate‬‬
‫یا٘دبٔذ‌(خذ‪‌ .)2.4‌َٚ‬‬

‫یو‪ٙ‬ذ‌و‪‌ٝ‬سٕبٔی‌فشهی‪ٞ‌ٝ‬ب‌ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌‪ٞ‬ؼش‪ٙ‬ذ‪‌.‬یؼ‪ٙ‬ی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌ثرب‌‪ٔ‌H‬مرذاس‌د‪ٞ‬ری‌‬
‫اٍِ‪ٛ‬سیشٓ‌‪‌List-Then-Eliminate‬اثشذا‌فشم‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌.‬ثب‌ثشسػی‌ػبصٌبسی‌سره‌سره‌فشهر‌ی‌‪ٞٝ‬رب‌‌ثرب‌سره‌سره‌‬
‫ٔثبَ‪ٞ‬ب‌ػبصٌبسی‌٘ذاؿش‪‌ٝ‬ثبؿذ‌حزف‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌.‬ػذغ‌‪ٞ‬ش‌فشهی‪ ٝ‬ای‌سا‌و‪‌ٝ‬ثب‌ ‌‬
‫ا‪ِٚ‬ی‪‌ ٔ‌ٝ‬‬
‫یٔب٘ذ‌(و‪ٕٞ‌ٝ‬بٖ‌ٔف‪ٞ‌ْٟٛ‬ذف‌اػز)‪‌.‬اٌش‌سؼرذاد‌‬
‫یؿ‪٘ٛ‬ذ‌‪‌ٚ‬دس‌آخش‌فمي‌یه‌فشهی‪‌ٝ‬دس‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثبلی‌ٔ ‌‬
‫ٕ٘‪ٞ‌ٝ٘ٛ‬ب‪‌،‬فشهی‌‪ٞٝ‬ب‌اص‌فوبی‌‪ٚ‬یظ‪‌ٜ‬حزف‌ٔ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بػز‪‌ .‬‬
‫یٔب٘ذ‌‪‌ٚ‬آٖ‌‪‌ٓٞ‬دػش‪‌ٝ‬فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌ثب‌ ‌‬
‫داد‪ٜٞ‬ب‌وبفی‌٘جبؿذ‪‌،‬دس‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثیـشش‌اص‌یه‌ػو‪‌ٛ‬ثبلی‌ٔ ‌‬
‫‌‬

‫اك‪ٛ‬الً‪‌،‬فمي‌صٔب٘ی‌و‪ٔ‌H‌ٝ‬ش‪ٙ‬ب‪ٞ‬ی‪‌2‬اػز‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌اص‌اٍِ‪ٛ‬سیشٓ‌‪‌List-Then-Eliminate‬اػشفبد‪‌ٜ‬وشد‪‌.‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌ٔضی ‌‬
‫ز‪ٞ‬بی‌ثؼریبسی‌ؿربُٔ‌‌‬
‫صٔبٌٖیش‌اػز‌چ‪‌ٖٛ‬ثبیذ‌ػبصٌبسی‌سٕبٔی‌اػوربی‌‪‌H‬‬
‫سوٕیٗ‌ای‪ٙ‬ى‪‌ٝ‬و‪‌ٝ‬سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌سا‌دیذا‌و‪ٙ‬ذ‌داسد‌‪‌.‬أب‌دس‌ٔمبثُ‌ثؼیبس‌ ‌‬
‫داد‪ٜٞ‬ب‌ثشسػی‌وشد‌و‪‌ٝ‬خض‌دس‌فوب‪ٞ‬بی‌فشهی‪‌ٝ‬ای‌ثؼیبس‌ػبد‪‌ٜ‬ؿشًی‌غیش‌ػّٕی‌اػز‪‌ .‬‬
‫سا‌ثب‌سٕبٔی‌ ‌‬

‫‪ 2.5.3‬نمایش فشزده تزی اس فضاهای ویژه‬

‫اٍِ‪ٛ‬سیشٓ‌‪ٔ‌Candidate-Elimination‬ـبث‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪‌List-Then-Eliminate‬ػُٕ‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌.‬ثب‌ایٗ‌سفب‪ٚ‬ر‌و‪‌ٝ‬اص‌ٕ٘بیـی‌دیٍرش‌ثرشای‌‌‬
‫یؿ‪ٛ‬د‪‌.‬ایٗ‌اػوربی‌ٔرشصی‌فوربی‌‬
‫خبفسشیٗ‌فشهی‌‪ٞٝ‬بیؾ‌ٕ٘بیؾ‌داد‪‌ ٔ‌ٜ‬‬
‫یسشیٗ‌‪‌ ‌ٚ‬‬
‫یو‪ٙ‬ذ‪‌.‬دس‌ایٗ‌ٕ٘بیؾ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثب‌وّ ‌‬
‫فوبی‌‪ٚ‬یظ‪‌ٜ‬اػشفبد‪‌ ٔ‌ٜ‬‬
‫یسشی‌‪ٞ‬ؼش‪ٙ‬ذ‪‌ .‬‬
‫د‪ٙٞ‬ذ‪ٜ‬ی‌ٔىبٖ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬دس‌سشسیت‌وّ ‌‬
‫‪ٚ‬یظ‪٘‌،ٜ‬ـبٖ‌ ‌‬

‫اٍِ‪ٛ‬سیشٓ‌‪List-Then-Eliminate‬‬

‫‪ .1‬سٕبٔی‌فشهی‪ٞ‌ٝ‬بی‌‪VersionSpace ←‌H‬‬
‫‪ .2‬ثشای‌‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌>)‪<x,c(x‬‬

‫‪1‬‬
‫‪‌version space‬‬
‫‪2‬‬
‫‪‌finite‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٞ‬ش‌فشهی‪ ٝ‬ای‌دس‌‪ٔ‌VersionSpace‬ثُ‌‪‌h‬و‪‌h(x)≠c(x)‌ٝ‬سا‌اص‌‪‌VersionSpace‬حزف‌وٗ‬

‫‪ِ .3‬یؼز‌ثبلی‌ٔب٘ذ‪‌ٜ‬دس‌‪‌VersionSpace‬سا‌چبح‌وٗ ‌‬
‫خذ‪‌2.4‌َٚ‬اٍِ‪ٛ‬سیشٓ‌‪‌ List-Then-Eliminate‬‬

‫یسشیٗ فشهی‌‪ٞٝ‬ب‪.‬‬ ‫خبفسشیٗ‌‪‌ٚ‬وّ ‌‬

‫ؿىُ‌‪‌2.3‬یه‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثب‌ٔشص‪ٞ‬بی‌ ‌‬
‫آٖسا‌فمي‌ثب‌‪٘‌G‌ٚ‌S‬ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٜ‬دس‌ؿىُ‌ٕ٘بیؾ‌‬
‫یس‪ٛ‬اٖ‌ ‌‬
‫یٌیشد‌أب‌ث‪ًٛ‌ٝ‬س‌خیّی‌ػبد‪ ٜ‬سش‌ٔ ‌‬ ‫ظ‪ٜ‬ی‌ف‪ٛ‬ق‌‪ٞ‬ش‌چ‪ٟ‬بس‌فشهی‌‪ٝ‬ی‌٘ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٜ‬سا‌دس‌ثش‌ٔ ‌‬
‫فوبی‌‪ٚ‬ی ‌‬
‫خبفسش‌اػز)‪‌.‬ایٗ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثشای‌ٔف‪‌EnjoySport‌ْٟٛ‬‬‫ید‪ٞ‬ذ‌(دیىبٖ‌فّؾ‌‪ٞ‬ب‌ث‪‌ٝ‬ػٕز‌فشهی‪ٞ ٝ‬بی‌ ‌‬ ‫داد‪‌.‬فّؾ‌‪ٞ‬بی‌ؿىُ‌فشای‪ٙ‬ذ‌خبف‌سش‌ؿذٖ‌سا‌٘ـبٖ‌ٔ ‌‬
‫اػز‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌آٔ‪ٛ‬صؿی‌٘یض‌‪ٕٞ‬بٖ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذ‪‌ 2.1‌َٚ‬اػز‪‌ .‬‬
‫یس‪ٚ‬یٓ‌(خذ‪‌.)2.2‌َٚ‬اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ثشای‌ایٗ‌‬ ‫ٔؼئّ‪ٝ‬ی‌‪‌ ٔ‌EnjoySport‬‬ ‫ثشای‌سل‪ٛ‬س‌ث‪ٟ‬شش‌اص‌ایٗ‌ٕ٘بیؾ‌خذیذ‌فوب‪ٞ‬بی‌‪ٚ‬یظ‪‌ٜ‬د‪ٚ‬ثبس‪‌ٜ‬ث‪‌ٝ‬ػشاؽ‌ ‌‬
‫ٔؼئّ‪‌ٝ‬خش‪ٚ‬خی‌صیش‌سا‌داد‪‌ٜ‬اػز‪‌ :‬‬

‫>?‪h ; <Sunny,Warm,? ,Strong,?,‬‬

‫دس‌‪ٚ‬الغ‌ایٗ‌فشهی‪‌ٝ‬فمي‌یىی‌اص‌‪‌6‬فشهی‌‪ٝ‬ی‌ػبصٌبس‌ٔ‪ٛ‬خ‪ٛ‬د‌دس‌‪‌H‬اػز‪‌.‬سٕبٔی‌ایٗ‌‪‌6‬فشهی‪‌ٝ‬دس‌ؿرىُ‌‪٘‌2.3‬ـربٖ‌داد‪‌ٜ‬ؿرذ‪‌ٜ‬ا٘رذ‌‪ٔ‌.‬دٕ‪ٛ‬ػر‪‌ٝ‬ی‌‪‌6‬‬
‫فّؾ‪ٞ‬ب‌ث‪‌ٝ‬ػرٕز‌فشهری‪ٞ ‌ٝ‬ربی‌‬
‫ید‪ٞ‬ذ‌(دیىبٖ‌ ‌‬
‫خبفسش‌ؿذٖ‌سا‌٘ـبٖ‌ٔ ‌‬
‫فّؾ‪ٞ‬بی‌ؿىُ‌فشای‪ٙ‬ذ‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌فوبی‌‪ٚ‬یظ‪‌ٜ‬اػز‪‌ ‌.‬‬
‫فشهی‌‪ٝ‬ی‌ػبصٌبس‌ثب‌ایٗ‌ ‌‬
‫یسش‌(و‪‌ٝ‬دس‌ؿىُ‌ثب‌حشف‌‪ٔ‌G‬ـخق‌ؿرذ‪‌ٚ‌)ٜ‬‬
‫خبف‌سش‌اػز)‪‌.‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌ثب‌سـخیق‌ٔشص‪ٞ‬بی‌وّ ‌‬
‫یس‪ٛ‬اٖ‌سٕربٔی‌فشهری‪ٞ ‌ٝ‬ربی‌فوربی‌‬ ‫ٔشص ‪ٞ‬بی‌خبف‌سش‌(و‪‌ٝ‬دس‌ؿىُ‌ثب‌حشف‌‪ٔ‌S‬ـخق‌ؿذ‪ٔ‌)ٜ‬ـخق‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌.‬ثب‌داؿشٗ‌ایٗ‌د‪‌ٚ‬دػش‪‌ٝ‬فشهی‪‌ ٔ‌ٝ‬‬
‫یسشی‌ٔـخق‌وشد‪‌ .‬‬
‫‪ٚ‬یظ‪‌ٜ‬سا‌ثب‌سشسیت‌وّ ‌‬

‫خبفسش‌سا‌سؼشی ‌ورشد‪‌ٜ‬‬
‫یسش‌‪‌ ‌ٚ‬‬
‫یسشیٗ‌ػو‪ٞٛ‬بیؾ‌ٔـخق‌وشد‪‌.‬دس‌ادأ‪‌ٝ‬د‪ٔ‌ٚ‬شص‌وّ ‌‬
‫یس‪ٛ‬اٖ‌‪ٞ‬ش‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌ثب‌خبف‌سشیٗ‌‪‌ٚ‬وّ ‌‬
‫ثذی‪ٟ‬ی‌اػز‌و‪‌ ٔ‌ٝ‬‬
‫یس‪ٛ‬اٖ‌فمي‌ثب‌اػشفبد‪‌ٜ‬اص‌ایٗ‌د‪ٔ‌ٚ‬شص‌وُ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌ٔـخق‌وشد‪‌ .‬‬
‫یو‪ٙ‬یٓ‌و‪‌ ٔ‌ٝ‬‬
‫‪‌ٚ‬ثبثز‌ٔ ‌‬

‫یسشیٗ‌فشهی‌‪ٞٝ‬ب‌دس‌‪‌ٚ‌H‬ػبصٌبس‌ثب‌‪‌D‬اػز‪‌ ‌.‬‬
‫تعریف‪ٔ‌:‬شص‌وّی‌‪‌،G‬ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪‌ٝ‬فوبی‌فشهی‌‪ٞٝ‬ب‌)‪ٞ‌ٕٝ٘ٛ٘‌ٚ‌(H‬بی‌آٔ‪ٛ‬صؿی‌)‪ٔ‌(D‬دٕ‪ٛ‬ػ‪‌ٝ‬وّ ‌‬

‫[‬ ‫)‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خبفسشیٗ‌فشهی‌‪ٞٝ‬ب‌دس‌‪‌ٚ‌H‬ػبصٌبس‌ثب‌‪‌D‬اػز‪‌ .‬‬
‫تعریف‪ٔ‌:‬شص‌خبف‌‪‌،S‬ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪‌ٝ‬فوبی‌فشهی‌‪ٞٝ‬ب‌)‪ٞ‌ٕٝ٘ٛ٘‌ٚ‌(H‬بی‌آٔ‪ٛ‬صؿی‌)‪ٔ‌(D‬دٕ‪ٛ‬ػ‪‌ ‌ٝ‬‬

‫[‬ ‫)‬

‫یسر‪ٛ‬اٖ‌‌‬ ‫دػش‪ٝ‬ی‌‪‌Sٚ‌G‬خ‪ٛ‬ؽ‌سؼشی ‪‌1‬ثبؿ‪ٙ‬ذ‌(سٕشیٗ‌‪‌،)2.7‬فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌ث‪‌ٝ‬دسػشی‌‪‌ٚ‬وبٔالً‌ٔـخق‌ٔ ‌‬

‫یو‪ٙٙ‬ذ‪‌.‬ث‪‌ٝ‬ػجبسر‌دیٍش‪ٔ‌،‬ر‌ ‌‬ ‫سب‌صٔب٘ی‌و‪‌ٝ‬د‪‌ ‌ٚ‬‬
‫یسشی‌اػز‪‌.‬ایٗ‌اثجبر‌ث‪ًٛ‌ٝ‬س‌وبُٔ‌دس‌لوی‌‪ٝ‬ی‌‪‌2.1‬‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ثیٗ‌آٖ‌‪ٞ‬ب‌دس‌سشسیت‌وّ ‌‬
‫‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌‪‌ٚ‌S‌،G‬‬
‫‌‬ ‫٘ـبٖ‌داد‌و‪‌ٝ‬فوبی‌‪ٚ‬یظ‪‌ٜ‬اخشٕبع‌ػ‪‌ٝ‬‬
‫آٔذ‪‌ .ٜ‬‬

‫ٕ٘‪ٞٝ٘ٛ‬ب‪‌H‌،‬سٕبْ‌فشهی‪ٞ ٝ‬بی‌س‪ٚ‬ی‌‪‌c: X → {0,1}‌،X‬یه‌ٔف‪ٞ‌ْٟٛ‬ذف‌دِخ‪ٛ‬ا‪‌ٜ‬‬

‫قضیهی ‪ .1.1‬قضیهی نمایش فضای ویژه‪‌.‬اٌش‌‪‌X‬سٕبْ‌ ‌‬
‫س‪ٚ‬ی‌‪ٞ‌ٕٝ٘ٛ٘‌D‌،X‬بی‌آٔ‪ٛ‬صؿی‌ٔ‪ٛ‬خ‪ٛ‬د‌ثبؿذ‌}>)‪‌G‌ٚ‌S‌ٚ‌{<x,c(x‬خ‪ٛ‬ؽ‌سؼشی ‌ثبؿ‪ٙ‬ذ‌داسیٓ‪:‬‬

‫{‬ ‫|‬ ‫(‬ ‫})‬

‫‌اػرز‌‪‌ٚ‬‬ ‫اثبات‪‌.‬ثشای‌اثجبر‌ایٗ‌لوی‪‌ٝ‬وبفی‌اػز‌٘ـبٖ‌د‪ٞ‬یٓ‌و‪ٞ‌)1(‌ٝ‬ش‌‪‌h‬و‪‌ٝ‬دس‌لؼٕز‌ػٕز‌ساػز‌سؼب‪ٚ‬ی‌ثبال‌كذق‌ٔ ‌‬
‫یو‪ٙ‬ذ‌ػو‪‌ٛ‬‬
‫یو‪ٙ‬ذ‪‌.‬اثجبر‌لؼٕز‌(‪‌ :)1‬‬
‫‌دس‌ػٕز‌ساػز‌سؼب‪ٚ‬ی‌كذق‌ٔ ‌‬ ‫(‪ٞ‌ )2‬ش‌ػو‪‌ٛ‬‬

‫‪‌.‬اص‌س‪ٚ‬ی‌سؼشی ‌‪‌S‬داسیٓ‌ور‪‌s‌،ٝ‬س‪ٛ‬ػري‌‬ ‫‌فشم‌و‪ٙ‬یٓ‌‪‌g‬ػو‪ٛ‬ی‌اص‌‪‌s‌ٚ‌G‬ػو‪ٛ‬ی‌اص‌‪‌h‌ٚ‌S‬ػو‪ٛ‬ی‌اص‌‪‌H‬ثبؿذ‌ث‪‌ٝ‬ك‪ٛ‬سسی‌و‪‌ٝ‬‬

‫‌دغ‌‪٘‌h‬یض‌س‪ٛ‬ػي‌سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌‪‌D‬سا‌ساهی‌ٔ ‌‬
‫یؿ‪ٛ‬د‪‌ .‬‬ ‫سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌‪‌D‬سا‌ساهی‌ٔ ‌‬
‫یؿ‪ٛ‬د‌‪ً‌ٚ‬جك‌فشم‌‬

‫‌دغ‌‪٘‌h‬یض‌س‪ٛ‬ػي‌‪ٞ‬ریچ‌‬ ‫ث‪ًٛ‌ٝ‬س‌ٔـبث‪ً‌ٝ‬جك‌سؼشی ‌‪‌g‌،G‬س‪ٛ‬ػي‌‪ٞ‬یچ‌یه‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی ی‌‪‌D‬سا‌ساهی‌ٕ٘ ‌‬

‫یؿ‪ٛ‬د‌‪ً‌ٚ‬جك‌فشم‌‬
‫یه‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی ی‌‪‌D‬ساهی‌ٕ٘ ‌‬
‫یؿ‪ٛ‬د‪‌ .‬‬

‫‌اػز‪‌ .‬‬ ‫ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪‌ٝ‬د‪‌ٚ‬لؼٕز‌ثبال‌دغ‌‪‌h‬ثب‌‪‌D‬ػبصٌبس‌اػز‌دغ‌‪٘‌h‬یض‌ػو‪‌ٛ‬‬

‫‌‪ٚ‬خر‪ٛ‬د‌داسد‌ور‪‌ٝ‬دس‌‬ ‫اثجبر‌لؼٕز‌د‪‌ْٚ‬وٕی‌دیچیذ‪ ٜ‬سش‌اػز‪‌.‬ثبیذ‌اص‌ثش‪ٞ‬بٖ‌خّ ‌اػشفبد‪‌ٜ‬وشد‌‪‌ٚ‬فشم‌وشد‌و‪‌ٝ‬فشهری‪ ‌ٝ‬ای‌دس‌ٔثرُ‌‪‌h‬دس‌‬

‫یو‪ٙ‬ذ‌‪‌ٚ‬ث‪‌ٝ‬س‪ٙ‬بلن‌سػیذ‌(سٕشیٗ‌‪‌ .)2.6‬‬
‫لؼٕز‌ػٕز‌ساػز‌سؼب‪ٚ‬ی‌كذق‌ٕ٘ ‌‬

‫‪ 2.5.4‬الگوریتم یادگیزی ‪Candidate-Elimination‬‬

‫اٍِ‪ٛ‬سیشٓ‌یبدٌیشی‌‪‌Candidate-Elimination‬فوبی‌‪ٚ‬یظ‪ ٜ‬ای‌سا‌ٔحبػج‪‌ ٔ‌ٝ‬‬
‫یو‪ٙ‬ذ‌و‪‌ٝ‬ثب‌سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿری‌‌ٔ‪ٛ‬خر‪ٛ‬د‌ػربصٌبس‌ثبؿرذ‪‌.‬‬
‫یٌیشیٓ‪‌.‬دغ‌‪‌G‬سا‌وّ ‌‬
‫یسشیٗ‌فشهری‪‌‌ٝ‬دس‌٘ظرش‌‌‬ ‫ٔثُ‌اٍِ‪ٛ‬سیشٓ‌‪‌List-Then-Eliminate‬دس‌اثشذای‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌وُ‌‪‌H‬دس‌٘ظش‌ٔ ‌‬
‫یٌیشیٓ‪‌ :‬‬
‫ٔ‌‬

‫←‬

‫یٌیشیٓ‪‌ :‬‬ ‫دس‌ٔمبثُ‌٘یض‌‪‌S‬سا‌ ‌‬

‫خبفسشیٗ‌فشهی‪‌ٝ‬دس‌٘ظش‌ٔ ‌‬

‫←‬

‫‪1‬‬
‫‪‌Well-defined‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌خبف‌سش٘ذ‪‌.‬ػذغ‌سره‌سره‌‬ ‫یسش‌‪‌ٚ‬اص‌‬ ‫د‪ٔ‌ٚ‬شص‌سؼییٗ‌ؿذ‪‌ٜ‬سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌دس‌‪‌H‬سا‌دس‌ثش‌ٔ ‌‬

‫یٌیش٘ذ‪‌،‬چ‪‌ٖٛ‬سٕبٔی‌فشهی‪ٞ‌ٝ‬ب‌اص‌ ‌وّ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌سا‌اص‌فوبی‌‪ٚ‬یظ‪‌ٜ‬حزف‌و‪ٙٙ‬ذ‪‌.‬ثؼذ‌اص‌ثشسػی‌‬
‫یٌشد٘ذ‌سب‌فشهی‪ٞ ٝ‬بی‌٘بػبصٌبس‌ثب‌ ‌‬
‫خبفسش‌ٔ ‌‬ ‫یؿ‪٘ٛ‬ذ‌‪‌،G‌ٚ‌S‌ٚ‬وّ ‌‬
‫یسش‌‪‌ ‌ٚ‬‬ ‫ٕ٘‪ٞٝ٘ٛ‬ب‌ثشسػی‌ٔ ‌‬
‫‌‬

‫خالك‪ٝ‬ی‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌دس‌خذ‪‌2.5‌َٚ‬آٔذ‪‌ .ٜ‬‬
‫‌‬ ‫یؿ‪ٛ‬د‪‌.‬‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌فوبی‌‪ٚ‬یظ‪ٔ‌ٜ‬ـخق‌ٔ ‌‬
‫وُ‌ ‌‬

‫یسشیٗ‌فشهی‪‌ٝ‬دس‌‪‌H‬لشاس‌ثذ‪‌ ٜ‬‬
‫ٔمذاس‌ا‪ِٚ‬ی‌‪ٝ‬ی‌‪‌G‬سا‌وّ ‌‬

‫خبفسشیٗ‌فشهی‪‌ٝ‬دس‌‪‌H‬لشاس‌ثذ‪‌ ٜ‬‬
‫ٔمذاس‌ا‪ِٚ‬ی‌‪ٝ‬ی‌‪‌S‬سا‌ ‌‬

‫ثشای‌‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌‪ٔ‌d‬شاحُ‌صیش‌سا‌ا٘دبْ‌ثذ‪‌ ٜ‬‬

‫اٌش‌‪‌ٕٝ٘ٛ٘‌d‬ای‌ٔثجز‌ث‪ٛ‬د‬ ‫‪‬‬
‫‪ٞ o‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬دس‌‪‌G‬ثب‌‪ٌٔ‌d‬بثمز‌٘ذاؿز‌سا‌حزف‌وٗ‬
‫‪ o‬ثشای‌‪ٞ‬ش‌فشهی‌‪ٝ‬ی‌‪‌s‬دس‌‪‌S‬و‪‌ٝ‬ػبصٌبس‌ثب‌‪٘‌d‬یؼز‬
‫‪‌s‬سا‌اص‌‪‌S‬حزف‌وٗ‬ ‫‪‬‬
‫یو‪ٙٙ‬ذ‌ث‪‌S‌ٝ‬اهبف‪‌ٝ‬وٗ‬
‫خبفسشیٗ‌وّی‌ػبصی‌‪‌h‬اص‌‪‌s‬سا‌و‪‌ٝ‬دس‌ؿشى‌صیش‌كذق‌ٔ ‌‬
‫سٕبٔی‌ ‌‬ ‫‪‬‬
‫‪‌h‬دس‌آٖ‌ثب‌‪‌d‬ػبصٌبس‌اػز‌‪‌ٚ‬حذالُ‌یىی‌اص‌اػوبی‌‪‌G‬اص‌آٖ‌وّ ‌‬
‫یسش‌اػز‬ ‫‪‬‬
‫‪ٞ‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬اص‌فشهی‌‪ٝ‬ی‌دیٍشی‌دس‌‪‌S‬وّ ‌‬
‫یسش‌ث‪ٛ‬د‌اص‌آٖ‌حزف‌وٗ‬ ‫‪‬‬
‫اٌش‌‪‌ٕٝ٘ٛ٘‌d‬ای‌ٔ‪ٙ‬فی‌ث‪ٛ‬د‬ ‫‪‬‬
‫‪ٞ o‬ش‌ٔثبَ‌٘بػبصٌبس‌ثب‌‪‌d‬دس‌‪‌S‬سا‌حزف‌وٗ‬
‫‪ o‬ثشای‌‪ٞ‬ش‌فشهی‌‪ٝ‬ی‌‪‌g‬دس‌‪‌G‬و‪‌ٝ‬ثب‌‪‌d‬ػبصٌبس‌٘یؼز‬
‫‪‌g‬سا‌اص‌‪‌G‬حزف‌وٗ‬ ‫‪‬‬
‫یو‪ٙٙ‬ذ‌ث‪‌G‌ٝ‬اهبف‪‌ٝ‬وٗ‬
‫یسشیٗ‌خبف‌ػبصی‌‪‌h‬اص‌‪‌g‬سا‌و‪‌ٝ‬دس‌ؿشى‌صیش‌كذق‌ٔ ‌‬
‫سٕبٔی‌وّ ‌‬ ‫‪‬‬
‫‪‌h‬دس‌آٖ‌ثب‌‪‌d‬ػبصٌبس‌اػز‌‪‌ٚ‬حذالُ‌یىی‌اص‌اػوبی‌‪‌S‬اص‌آٖ‌ ‌‬
‫خبفسش‌اػز‬ ‫‪‬‬
‫‪ٞ‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬اص‌فشهی‌‪ٝ‬ی‌دیٍشی‌دس‌‪‌ ‌G‬‬
‫خبفسش‌ث‪ٛ‬د‌اص‌آٖ‌حزف‌وٗ ‌‬ ‫‪‬‬
‫خذ‪‌2.5‌َٚ‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثب‌اػشفبد‪‌ٜ‬اص‌فوبی‌‪ٚ‬یظ‪.ٜ‬‬
‫س‪ٚ‬ؽ‪ٞ‬بی‌ٔشفب‪ٚ‬سی‌س‪ٚ‬ی‌‪‌Gٚ‌S‬اثش‌ٔ ‌‬
‫یٌزاس٘ذ‌(ث‪ًٛ‌ٝ‬س‌لشی‪.)ٝٙ‬‬ ‫س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌ٔثجز‌‪ٙٔ‌ٚ‬فی‌ث‪‌ ‌ٝ‬‬
‫یسشیٗ‌‬
‫خبفسشیٗ‪‌،‬وّ ‌‬
‫یسشیٗ‌خبف‌ػبصی‪‌ ‌،‬‬
‫خبفسشیٗ‌وّی‌ػبصی‌‪‌،‬وّ ‌‬ ‫بر‪ٞ‬بیی‌اص‌خّٕ‪‌ٝ‬دیذا‌وشدٖ‌ ‌‬ ‫س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬دس‌ؿشح‌اٍِ‪ٛ‬سیشٓ‌اص‌ػّٕی ‌‬
‫یس‪ٛ‬اٖ‌ثرشای‌‪ٞ‬رش‌‬
‫اػشفبد‪‌ٜ‬ؿذ‪‌ٜ‬اػز‪‌.‬اًالػبر‌خضیی سش‌دس‌ٔ‪ٛ‬سد‌ایٗ‌ػّٕیبر‌ث‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬ب‌‪‌ٚ‬فشهی‪ٞ‌ٝ‬ب‌ثؼشٍی‌داسد‪‌.‬ثب‌ایٗ‌‪ٚ‬خ‪ٛ‬د‪‌،‬خ‪ٛ‬د‌اٍِ‪ٛ‬سیشٓ‌سا‌ٔ ‌‬
‫ٔؼئّ‪ٝ‬ی‌یبدٌیشی‌ٔف‪ٞ‌ٚ‌ْٟٛ‬ش‌فوبی‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬ایٗ‌ػّٕیبر‌‪ٞ‬ب‌سا‌ثـ‪ٛ‬د‌س‪ٚ‬یؾ‌سؼشی ‌وشد‪‌،‬ثر‪‌ٝ‬وربس‌ثرشد‪‌.‬دس‌ادأر‪‌ٝ‬د‪ٚ‬ثربس‪ٕٞ‌ٜ‬ربٖ‌ٔؼرئّ‪‌ٝ‬ی‌‬
‫‌‬
‫‪‌EnjoySport‬سا‌ایٗ‌ثبس‌اص‌دیذ‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌ثشسػی‌ٔ ‌‬
‫یو‪ٙ‬یٓ‪‌ .‬‬

‫‪ 2.5.5‬یک مثال شهودی‬

‫دس‌ؿىُ‌‪‌2.4‬حبكُ‌اخشا‌وشدٖ‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثشای‌د‪ٔ‌ٚ‬ثبَ‌ا‪‌َٚ‬خذ‪‌2.1‌َٚ‬آٔذ‪‌ٜ‬اػز‪ٕٞ‌.‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬دی ‌‬
‫ؾسرش‌‌٘یرض‌‬
‫خبفسشیٗ‌فشهی‌‪ٞٝ‬ب‌‪ٞ‬ؼش‪ٙ‬ذ‪‌ .‬‬
‫یسشیٗ‌‪‌ ‌ٚ‬‬
‫‌‪‌ ‌ٚ‬ث‪‌ٝ‬سشسیت‌وّ ‌‬ ‫اؿبس‪‌ٜ‬ؿذ‪‌،‬دس‌اثشذا‌فشهی‪ٞ ٝ‬بی‌ٔشصی‌اثشذایی‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یؿ‪ٛ‬د‌و‪‌S‌ٝ‬ثیؾ‌اص‌حذ‌خبف‌اػز‌(ٔثربَ‌سا‌‬ ‫یسػذ‌(یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز)‪‌،‬اٍِ‪ٛ‬سیشٓ‌‪‌S‬سا‌چه‌ٔ ‌‬
‫یو‪ٙ‬ذ‌‪ٔ‌ٚ‬ش‪ٛ‬خ‪‌ ٔ‌ٝ‬‬ ‫صٔب٘ی‌و‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌ث‪‌ٕٝ٘ٛ٘‌ٝ‬ا‪‌ ٔ‌َٚ‬‬
‫یؿ‪ٛ‬د‪‌.‬ایٗ‌سغییش‌ٔشص‌دس‌ؿىُ‌‪‌2.4‬ثب‌ ‌٘ـبٖ‌داد‪‌ٜ‬ؿذ‪‌.ٜ‬دس‌‬
‫ید‪ٞ‬ذ)‪‌.‬دغ‌ٔشص‌سب‌خبف‌سشیٗ‌فشهی‪ ٝ‬ای‌و‪‌ٕٝ٘ٛ٘‌ٝ‬سا‌د‪ٛ‬ؿؾ‌د‪ٞ‬ذ‌وّی‌ٔ ‌‬
‫د‪ٛ‬ؿؾ‌ٕ٘ ‌‬
‫ید‪ٞ‬ذ‪‌.‬دس‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌ثؼذی‌(ثبص‌‪‌ٓٞ‬یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز)‪‌،‬د‪ٚ‬ثبس‪‌S‌ٜ‬سغییرش‌‬
‫‌ٔثبَ‌سا‌د‪ٛ‬ؿؾ‌ٔ ‌‬ ‫ایٗ‌ٔشحّ‪ٞ‌ٝ‬یچ‌سغییشی‌دس‌‪‌G‬الصْ‌٘یؼز‪‌،‬چ‪‌ٖٛ‬‬
‫یو‪ٙ‬یر‌ذ‌ور‪‌ٝ‬سرأث‌یش‌ایرٗ‌‌د‪ٕ٘ٛ٘‌ٚ‬ر‪‌ٝ‬ی‌ٔثجرز‌دس‌اٍِر‪ٛ‬سیشٓ‌‬ ‫یؿ‪ٛ‬د‌دس‌حبِی‌و‪ٕٞ‌G‌ٝ‬چ‪ٙ‬بٖ‌ثذ‪‌ٖٚ‬سغییش‌ٔ ‌‬
‫یٔب٘رذ‌‪‌.‬س‪ٛ‬خر‪ٔ‌‌ٝ‬ر‌ ‌‬ ‫یو‪ٙ‬ذ‌‪‌ٚ‬ث‪‌ ‌ٝ‬سجذیُ‌ٔ ‌‬
‫ٔ‌‬
‫ٔشحّ‪ٝ‬ی‌ا‪‌َٚ‬دس‌اٍِ‪ٛ‬سیشٓ‌‌‪‌FIND-S‬اػز‪‌ .‬‬ ‫‪ٔ‌Candidate-Elimination‬ـبث‪‌ٝ‬سأثیش‌ ‌‬
‫آٖ‪ٞ‬ب‌دس‌د‪‌ ‌ٚ‬‬

‫‌‬
‫ؿىُ‌‪‌2.4‬ػّٕىشد‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬دس‌د‪ٌ‌ٚ‬بْ‌ا‪.َٚ‬‬
‫یسش‌ؿر‪ٛ‬د‌(دسػرز‌ٔثرُ‌‬ ‫خبفسشیٗ‌فشهی‌‪ٞٝ‬ب‌‪ٞ‬ؼش‪ٙ‬ذ‪‌.‬د‪‌ٕٝ٘ٛ٘‌ٚ‬ا‪‌S‌َٚ‬سا‌‪ٚ‬اداس‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬وّ ‌‬ ‫یسشیٗ‌‪‌ ‌ٚ‬‬ ‫دس‌اثشذا‌ ‌‪‌ ‌ٚ‬د‪ٔ‌ٚ‬مذاس‌ا‪ِٚ‬ی‌‪ٝ‬ی‌‪‌Sٚ‌G‬ث‪‌ٝ‬سشسیت‌وّ ‌‬
‫اٍِ‪ٛ‬سیشٓ‌‪‌.)FIND-S‬ایٗ‌د‪ٔ‌ٚ‬ثبَ‌سأثیشی‌ثش‌‪٘‌G‬ذاس٘ذ‪‌ .‬‬
‫ٔـخقسش‌و‪ٙ‬ذ‪‌.‬دس‌٘مٌر‪‌ٝ‬ی‌ٔمبثرُ‌‬
‫‌‬ ‫یسش‌ؿ‪ٛ‬د‌‪‌ٚ‬فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌‬ ‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬وّ ‌‬‫‪ٕٞ‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬دس‌ؿىُ‌٘یض‌ٔؼّ‪‌ْٛ‬اػز‌د‪‌ٕٝ٘ٛ٘‌ٚ‬ا‪ٔ‌َٚ‬شص‌‪‌S‬سا‌‪ٚ‬اداس‌ٔ ‌‬
‫ید‪ٞ‬رذ‌‌‬ ‫ٔثبَ‌‪ٞ‬بی‌ٔ‪ٙ‬فی‌‪‌G‬سا‌ٔدج‪ٛ‬س‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬سب‌خبی‌الصْ‌خبف‌ؿ‪ٛ‬د‪‌ٕٝ٘ٛ٘‌.‬آٔ‪ٛ‬صؿی‌ػ‪‌ْٛ‬سا‌دس‌٘ظش‌ثٍیشیذ‌(ؿىُ‌‪ٙٔ‌ٕٝ٘ٛ٘‌.)2.5‬فی‌٘ـبٖ‌ٔر‌ ‌‬
‫یؿ‪ٛ‬د‌و‪‌ٝ‬ایٗ‌ٔثبَ‌یه‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌اػز!‌دغ‌ثبیذ‌‪‌G‬سب‌خبیی‌ور‪‌ٝ‬ایرٗ‌‬
‫و‪‌G‌ٝ‬ثیؾ‌اص‌حذ‌وّی‌اػز‪‌.‬چ‪‌ٖٛ‬ثذ‪‌ٖٚ‬ایٗ‌خبف‌ػبصی‌دیؾ‌ثی‪ٙ‬ی‌ٔ ‌‬
‫ی‪ٞ‬بی‌ثؼیبسی‌‪ٚ‬خ‪ٛ‬د‌داسد‪‌ٕٝٞ‌.‬‬
‫یسشیٗ‌خبف‌ػبص ‌‬
‫ٕ٘‪‌ٝ٘ٛ‬سا‌دسػز‌سـخیق‌د‪ٞ‬ذ‌خبف‌سش‌ؿ‪ٛ‬د‪ٕٞ‌.‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬دس‌ؿىُ‌‪٘‌2.5‬یض‌٘ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٜ‬وّ ‌‬
‫‌خ‪ٛ‬ا‪ٙٞ‬ذ‌ث‪ٛ‬د‪‌ .‬‬ ‫ایٗ‌فشهی‌‪ٞٝ‬ب‌ػو‪ٔ‌ٛ‬شص‌خذیذ‌‬

‫‌اهبف‪‌ٝ‬ؿرذ‌؟‌ثرشای‌ٔثربَ‌ = ‪h‬‬ ‫یسشیٗ‌خبف‌ػبصی‌ثشای‌‪ٚ‌G‬خ‪ٛ‬د‌داؿز‌أب‌ثب‌ایٗ‌حبَ‌چشا‌فمي‌‪‌3‬فشهی‪‌ٝ‬ث‪‌‌ٝ‬‬

‫یدا٘یٓ‌‪‌6‬وّ ‌‬
‫چشا‌ثب‌ایٗ‌و‪‌ ٔ‌ٝ‬‬
‫یسشیٗ‌خبف‌ػبصی‌اػز‌اهبف‪٘‌ٝ‬ـرذ‪‌ٜ‬؟‌خر‪ٛ‬اة‌دس‌ایرٗ‌٘‪ٟ‬فشر‪‌ٝ‬‬ ‫>?‪‌<?,?,Normal,?,?,‬و‪ٙٔ‌ٕٝ٘ٛ٘‌ٝ‬فی‌سا‌ث‪‌ٝ‬دسػشی‌ٔ‪ٙ‬فی‌ٔ ‌‬
‫یدا٘ذ‌‪‌ٚ‬یه‌وّ ‌‬
‫یف‪ٕٟ‬ذ‌صیشا‌و‪‌S‌ٝ‬‬
‫ی‪ٞ‬ب‌ثب‌‪‌ ٔ‌S‬‬
‫یسشیٗ‌خبف‌ػبص ‌‬
‫ؼ‪ٝ‬ی‌وّ ‌‬
‫اػز‌و‪‌ٝ‬ایٗ‌فشهی‪‌ٝ‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔثجز‌لجّی‌ػبصٌبس‌٘یؼز‪‌.‬اٍِ‪ٛ‬سیشٓ‌ایٗ‌٘ىش‪‌ٝ‬سا‌ثب‌ٔمبی ‌‬
‫ی‪ٞ‬ب‌ثب‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌ٔثجرز‌‬
‫یسشیٗ‌خبف‌ػبص ‌‬
‫یس‪ٛ‬اٖ‌ثب‌آٖ‌ٔـخق‌وشد‌و‪‌ٝ‬آیب‌وّ ‌‬
‫خالك‪ ٝ‬ای‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔثجز‌لجّی‌سا‌دس‌خ‪ٛ‬د‌رخیش‪‌ٜ‬وشد‪‌ ٔ‌ٚ‌ٜ‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یای‌ػبصٌبس‌اػرز‪‌.‬دس‌٘مٌر‪‌ٝ‬ی‌ٔمبثرُ‌٘یرض‌‪‌G‬‬
‫یسش‌اص‌‪‌S‬ثبؿذ‪ً‌،‬جك‌سؼشی ‪‌،‬ثب‌‪ٞ‬ش‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌لجّ ‌‬
‫لجّی‌ػبصٌبس‌‪ٞ‬ؼش‪ٙ‬ذ‌یب‌٘‪ٞ‌.ٝ‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬وّ ‌‬
‫یو‪ٙ‬ذ‪ٞ‌ٚ‌.‬ش‌فشهی‪ ٝ‬ای‌و‪‌ٝ‬اص‌‪‌ ‌G‬‬
‫خبفسش‌ثبؿذ‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌لجّری‌ػربصٌبس‌٘یؼرز‪‌.‬چر‪ً‌ٖٛ‬جرك‌‬ ‫خالك‪ ٝ‬ای‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌سا‌رخیش‪‌ ٔ‌ٜ‬‬
‫سؼشی ‌چ‪ٙ‬یٗ‌فشهی‪ ٝ‬ای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌‪‌G‬سا‌ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌دس‌خ‪ٛ‬د‌داسد‪‌ .‬‬

‫‌‬
‫ؿىُ‌‪‌2.5‬ػّٕیبر‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬دس‌ٕ٘‪‌ٝ٘ٛ‬ػ‪.ْٛ‬‬
‫ی‪ٞ‬ب‌دس‌ ‌لشاس‌داد‪‌ٜ‬ؿذ‪‌ .ٜ‬‬
‫یسشیٗ‌خبف‌ػبص ‌‬
‫یؿ‪ٛ‬د‌و‪‌ ‌ٝ‬ث‪‌ ‌ٝ‬سغییش‌و‪ٙ‬ذ‪‌.‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬وّ ‌‬ ‫ٕ٘‪‌ٝ٘ٛ‬ػ‪‌ْٛ‬یه‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌اػز‌‪‌ٚ‬ثبػث‌ٔ ‌‬
‫یؿ‪ٛ‬د‌‪‌ٚ‬دس‌ًشف‌دیٍش‌٘یض‌یىری‌اص‌اػوربی‌‪‌G‬ثخربًش‌٘ذ‪ٛ‬ؿرب٘ذٖ‌ایرٗ‌ٕ٘‪٘ٛ‬ر‪‌‌ٝ‬خذیرذ‌حرزف‌‌‬ ‫دس‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌د‪ٙ‬دٓ‌(ؿىُ‌‪‌)2.6‬ثبص‌‪‌S‬وّ ‌‬
‫یسش‌ٔ ‌‬
‫یٌشدد‪‌.‬ایٗ‌حزف‌دس‌خي‌ا‪‌َٚ‬اٍِ‪ٛ‬سیشٓ‌خذ‪ٛ٘‌2.5‌َٚ‬ؿش‪‌ٝ‬ؿذ‪‌.ٜ‬ایٗ‌ػؤاَ‌ث‪‌ٝ‬خب‌اػز‌و‪‌ٝ‬چشا‌ثبیذ‌فشهی‪ٞ ٝ‬بی‌اهبفی‌حزف‌ؿ‪ٛ‬د‪‌.‬خ‪ٛ‬اة‌دس‌ایٗ‌‬
‫ٔ‌‬
‫یؿ‪ٛ‬د‌و‪‌ٝ‬فشهی‪‌ٝ‬ثب‌حذالُ‌یىی‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌لجّی‌‬
‫یسش‌وشدٖ‌٘یض‌ثبػث‌ٔ ‌‬
‫٘ىش‪‌ٝ‬اػز‌و‪‌ٝ‬خبف‌سش‌وشدٖ‌ثبػث‌د‪ٛ‬ؿؾ‌ٕ٘‪٘‌ٝ٘ٛ‬خ‪ٛ‬ا‪ٞ‬ذ‌ؿذ‪‌.‬وّ ‌‬
‫یسش‌حذالُ‌یىی‌اص‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی‌سا‌داساػز)‪‌.‬دغ‪٘‌،‬بچبس‌فشهی‌‪ٝ‬ی‌ٔزو‪ٛ‬س‌اص‌‪‌G‬حزف‌ٔ ‌‬
‫یؿ‪ٛ‬د‌‪‌ٚ‬ثرب‌‬ ‫٘ب ػبصٌبس‌ؿ‪ٛ‬د‌(ًجك‌سؼشی ‪ٞ‌:‬ش‌فشهی‪‌ٝ‬وّ ‌‬
‫یٌشدد‪‌ .‬‬
‫ایٗ‌حزف‌ؿذٖ‌ؿبخ‪ ٝ‬ای‌اص‌فوبی‌‪ٚ‬یظ‪‌ٜ‬وٓ‌ٔ ‌‬

‫‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿىُ‌‪‌2.6‬لذْ‌ػ‪‌ْٛ‬دس‌اٍِ‪ٛ‬سیشٓ‌‪.Candidate-Elimination‬‬
‫یسش‌اص‌ ‌٘یؼز‪‌ .‬‬
‫یؿ‪ٛ‬د‪‌،‬صیشا‌و‪‌ٝ‬وّ ‌‬
‫یو‪ٙ‬ذ‪ٕٞ‌ٚ‌.‬چ‪ٙ‬یٗ‌یىی‌اص‌اػوبی‌ ‌دس‌ایٗ‌فشای‪ٙ‬ذ‌حزف‌ٔ ‌‬
‫ٕ٘‪‌ٝ٘ٛ‬ػ‪ٔ‌ٕٝ٘ٛ٘(‌ْٛ‬ثجز)‌ٔشص‌ ‌سا‌ث‪‌ ‌ٝ‬سجذیُ‌ٔ ‌‬
‫یؿ‪ٛ‬د‪‌.‬وُ‌‬‫ثؼذ‌اص‌ا٘دبْ‌ٔشاحُ‌ثشای‌‪ٞ‬ش‌چ‪ٟ‬بس‌ٕ٘‪‌،ٝ٘ٛ‬د‪ٔ‌ٚ‬شص‌ ‌‪‌ ‌ٚ‬فوبی‌‪ٚ‬یظ‪ٔ‌ٚ‌ٜ‬شؼبلجبً‌سٕبٔی‌فشهی‪‌ٝ‬ػبصٌبس‌ثب‌آٖ‌‪ٞ‬ب‌چ‪ٟ‬بس‌ٕ٘‪‌ٝ٘ٛ‬سا‌ؿبُٔ‌ٔ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌‪ٚ‬اثؼش‪٘‌ٝ‬یؼز‌(صیشا‌و‪‌ٝ‬دس‌ا٘ش‪ٟ‬رب‌سٕربٔی‌فشهری‪ٞ ‌ٝ‬ربی‌‬
‫ظ‪ٜ‬ی‌دیذا‌ؿذ‪‌ٜ‬ث‪‌ٝ‬سشسیت‌ ‌‬
‫فوبی‌‪ٚ‬یظ‪‌ٜ‬دس‌ؿىُ‌‪٘‌2.7‬ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٜ‬اػز‪‌.‬فوبی‌‪ٚ‬ی ‌‬
‫ظ‪ٜ‬ی‌‬ ‫ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌سا‌دس‌ثش‌خ‪ٛ‬ا‪ٞ‬ذ‌ٌشفز)‪‌.‬ثب‌ثیـشش‌ؿذٖ‌سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌وٓ‌ورٓ‌د‪ٔ‌ٚ‬رشص‌‪‌G‌ٚ‌S‬ثر‪‌ٝ‬ػر‪ٛ‬ی‌یىرذیٍش‌‌ٔر‌ ‌‬
‫یس‪٘ٚ‬رذ‌‌‪‌ٚ‬فوربی‌‪ٚ‬یر‌ ‌‬
‫ید‪ٙٞ‬ذ‪‌ .‬‬
‫و‪ٛ‬چهسشی‌سا‌سـىیُ‌ٔ ‌‬
‫‌‬

‫‌‬
‫ظ‪ٜ‬ی‌ٔـخق‌ؿذ‪‌ٜ‬ثشای‌ٔف‪‌EnjoySport‌ْٟٛ‬ثشای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌داد‪‌ٜ‬ؿذ‪‌ .ٜ‬‬
‫ؿىُ‌‪‌2.7‬فوبی‌‪ٚ‬ی ‌‬

‫‪ً 1.5‬کاتی چٌذ در هَرد فضای ٍیژُ ٍ الگَریتن ‪Candidate-Elimination‬‬

‫‪ 2.6.2‬آیا الگوریتم ‪ Candidate-Elimination‬به سمت فزضیهی درست میرود؟‬

‫اٌش‌(‪‌)1‬خٌبیی‌دس‌فشهی‪ٞ‌ٝ‬ب‌٘جبؿذ‌‪‌)2(‌ٚ‬فشهی‪ ٝ‬ای‌و‪‌ٝ‬دسػز‌ٔف‪ٟ‬ر‪ٞ‌ْٛ‬رذف‌سا‌س‪ٛ‬كری ‌و‪ٙ‬رذ‌دس‌‪‌H‬ثبؿرذ‪‌،‬فوربی‌‪ٚ‬یر‌ ‌‬
‫ظ‪ٜ‬ی‌خش‪ٚ‬خری‌اٍِر‪ٛ‬سیشٓ‌‬
‫یسر‪ٛ‬اٖ‌‌ثؼرذ‌اص‌‪ٞ‬رش‌‬
‫یو‪ٙ‬ذ‪‌.‬دس‌‪ٚ‬الغ‪‌ ٔ‌،‬‬ ‫‪‌Candidate-Elimination‬ث‪‌ٝ‬ػٕز‌فشهی‪ ٝ‬ای‌ٔیُ‌ٔ ‌‬
‫یو‪ٙ‬ذ‌و‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌سا‌ث‪‌ٝ‬دسػشی‌س‪ٛ‬كی ‌ٔ ‌‬
‫ٔثبَ‌ثشسػی‌وشد‌و‪‌ٝ‬آیب‌سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌وبفی‌ث‪ٛ‬د‪(‌ٜ‬فوبی‌‪ٚ‬یظ‪‌ٜ‬ث‪‌ٝ‬فشهی‌‪ٝ‬ی‌خبكی‌ٔیُ‌وشد‪ٜ‬؟‌‪‌ٚ‬اث‪ٟ‬بٔبر‌سا‌دس‌ٔ‪ٛ‬سد‌ٔف‪ٟ‬ر‪ٞ‌ْٛ‬رذف‌اص‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌‪ٚ‬احذ‌‪‌ٚ‬یىی‌ثشػ‪ٙ‬ذ‌فشهی‪ٞ‌ٝ‬ذف‌ث‪ًٛ‌ٝ‬س‌وبُٔ‌یبد‌ٌشفش‪‌ٝ‬ؿذ‪‌ٜ‬اػز‪‌ .‬‬
‫‌‬ ‫ثیٗ‌ثشد‪ٜ‬؟)‪‌.‬صٔب٘ی‌و‪‌ٝ‬د‪ٔ‌ٚ‬شص‌‪‌G‌ٚ‌S‬ث‪‌ٝ‬یه‌‬

‫یافشذ؟‌ثشای‌ٔثبَ‌فشم‌و‪ٙ‬یٓ‌و‪‌ٕٝ٘ٛ٘‌ٝ‬د‪‌ْٚ‬دس‌‪‌EnjoySport‬ث‪‌ٝ‬خبی‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌ث‪‌ٝ‬‬
‫أب‌اٌش‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌خٌب‌داؿش‪‌ٝ‬ثبؿذ‌چ‪‌ٝ‬اسفبلی‌ٔ ‌‬
‫یوشد!‌صیشا‌و‪‌ٝ‬ث‪ٔ‌ٝ‬حن‌ٔ‪ٛ‬اخ‪ٟ‬ر‪‌ٝ‬‬
‫ػ‪ٛٙ‬اٖ‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌اسائ‪‌ٝ‬ؿذ‪‌ٜ‬ث‪ٛ‬د‪ٔ‌.‬شأػفب٘‪‌ٝ‬دس‌چ‪ٙ‬یٗ‌ٔثبَ‌‪ٞ‬بیی‌اٍِ‪ٛ‬سیشٓ‪ٔ‌،‬ف‪ٞ‌ْٟٛ‬ذف‌سا‌اص‌فوبی‌‪ٚ‬یظ‪‌ٜ‬حزف‌ٔ ‌‬
‫یؿذ‌و‪‌Gٚ‌S‌ٝ‬ث‪‌ٝ‬‬
‫یوشد!‌اِجش‪‌ٝ‬دس‌چ‪ٙ‬یٗ‌ؿشایٌی‌ثب‌دادٖ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌وبفی‌ٔؼّ‪‌ ٔ‌ْٛ‬‬
‫یؿذ‌سا‌حزف‌ٔ ‌‬
‫آٖسا‌ؿبُٔ‌ٔ ‌‬
‫ثب‌ٕ٘‪‌ٝ٘ٛ‬د‪‌ْٚ‬سٕبْ‌فشهی‌‪ٞٝ‬بیی‌و‪‌ ‌ٝ‬‬
‫یؿ‪ٛ‬د‪‌ٚ‌.‬ایٗ‌ث‪‌ٝ‬ایٗ‌ٔؼ‪ٙ‬بػز‌و‪ٞ‌ٝ‬یچ‌فشهی‪ ٝ‬ای‌دس‌‪ٚ‌H‬خ‪ٛ‬د‌٘ذاسد‌و‪‌ٝ‬ثب‌سٕبٔی‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌آٔ‪ٛ‬صؿری‌‌‬
‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬فوبی‌‪ٚ‬یظ‪‌ٜ‬س‪ٟ‬ی‌ٔ ‌‬
‫خبیی‌ٔیُ‌ٔ ‌‬
‫ٌٔبثمز‌داؿش‪‌ٝ‬ثبؿذ‪‌.‬یىی‌اص‌حبالر‌ٕٔىٗ‌ایٗ‌اػز‌و‪‌ٕٝ٘ٛ٘‌ٝ‬دسػز‌ثبؿ‪ٙ‬ذ‌أب‌ٔف‪ٞ‌ْٟٛ‬ذف‌دس‌‪ٚ‌H‬خ‪ٛ‬د‌٘ذاؿش‪‌ٝ‬ثبؿذ‌(ٔثالً‌ٔ‪ٛ‬الؼی‌و‪‌ٝ‬سبثغ‌‪ٞ‬ذف‌‬
‫یه‌سبثغ‌فلّی‌اػز‌‪ٔ‌ٚ‬ب‌‪‌H‬سا‌ث‪‌ٝ‬ك‪ٛ‬سر‌س‪ٛ‬اثغ‌ػٌفی‌دس‌٘ظش‌ٌشفش‪‌ٝ‬ایٓ)‪‌.‬چ‪ٙ‬یٗ‌احشٕبالسی‌سا‌ثؼذاً‌ٔفلالً‌ثشسػی‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‪‌.‬أب‌دس‌حبَ‌حبهر‌ش‌‬
‫ٔثبَ‪ٞ‬ب‌دسػش‪ٙ‬ذ‌‪ٔ‌ٚ‬ف‪ٞ‌ْٟٛ‬ذف‌٘یض‌دس‌‪ٚ‌H‬خ‪ٛ‬د‌داسد‪‌ .‬‬
‫ث‪ٙ‬ب‌ثش‌ایٗ‌فشم‌اػز‌و‪‌ٝ‬سٕبٔی‌ ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.5.1‬یادگیر چِ هثالّایی را بایذ در خَاست کٌذ؟‬

‫یؿ‪ٛ‬د‌‪‌ٚ‬یبدٌیش‌‪ٞ‬یچ‌حك‌ا٘شخبثی‌٘ذاسد‪‌.‬حبَ‌فشم‌و‪ٙ‬ریٓ‌ور‪‌ٝ‬یربدٌیش‌حرك‌ا٘شخربة‌‌‬
‫یوشدیٓ‌و‪ٔ‌ٝ‬ثبَ‌‪ٞ‬ب‌اص‌ٔؼّٓ‌ث‪‌ٝ‬یبدٌیش‌داد‪‌ ٔ‌ٜ‬‬
‫سب‌اآلٖ‌فشم‌ٔ ‌‬
‫ی‪ٞ‬ب‌دیذا‌و‪ٙ‬رذ‪‌.‬دس‌‬
‫ی‪ٞ‬بیی‌سا‌دس‌٘ظش‌ثٍیشد‌‪‌ٚ‬اص‌ًشیمی‌(آصٔبیؾ‪ً‌،‬جیؼز‌‪‌ٚ‬یب‌ٔؼّٓ)‌ٔمذاس‌سبثغ‌‪ٞ‬ذف‌سا‌ثشای‌آٖ‌‪ٚ‬یظٌ ‌‬
‫داؿش‪‌ٝ‬ثبؿذ‪‌.‬یؼ‪ٙ‬ی‌ثش‪ٛ‬ا٘ذ‌‪ٚ‬یظٌ ‌‬
‫یس‪ٛ‬ا٘ذ‌ث‪‌ٝ‬ا٘دبْ‌آصٔبیؾ‌ثذشداصد‌(ٔثالً‌ثشای‌ٔف‪"‌ْٟٛ‬اػرشحىبْ‌درُ‌"‌ٔر‌ ‌‬
‫یس‪ٛ‬ا٘رذ‌‌‬ ‫چ‪ٙ‬یٗ‌ؿشایٌی‌‪ٚ‬هغ‌یبدٌیش‌ثؼیبس‌ٔشفب‪ٚ‬ر‌سش‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‌‪‌ٚ‬یبدٌیش‌ٔ ‌‬
‫یس‪ٛ‬ا٘رذ‌‌اص‌‬
‫دُ‌‪ٞ‬بی‌ خذیذی‌ثب‌خ‪ٛ‬اف‌دِخ‪ٛ‬ا‪‌ٜ‬خ‪ٛ‬د‌ثؼبصد‌‪‌ٚ‬اص‌س‪ٚ‬ی‌ًجیؼز‌ثف‪ٕٟ‬ذ‌و‪‌ٝ‬دُ‌ٔؼشحىٓ‌‪ٞ‬ؼز‌یب‌٘‪ٝ‬؟)‌یب‌صٔب٘ی‌و‪ٔ‌ٝ‬ؼّٕی‌حبهش‌اػز‌ٔر‌ ‌‬
‫ی‪ٞ‬بیـبٖ‌سا‌یربدٌیش‌سؼیریٗ‌‬
‫ٔؼّٓ‌ػؤاَ‌و‪ٙ‬ذ‌(دّی‌ًشاحی‌و‪ٙ‬ذ‌‪‌ٚ‬اص‌ٔؼّٓ‌ػؤاَ‌و‪ٙ‬ذ‌و‪‌ٝ‬آیب‌دُ‌ٔؼشحىٓ‌اػز‌یب‌٘‪ٝ‬؟)‪‌.‬ث‪‌ٝ‬چ‪ٙ‬یٗ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بیی‌و‪ٚ‌ٝ‬یظٌ ‌‬
‫یو‪ٙ‬ذ‌آصٔبیؾ‪‌ ٔ‌1‬‬
‫یٌ‪ٛ‬ییٓ‪‌ .‬‬ ‫ٔ‌‬

‫ظ‪ٜ‬ی‌ثذػز‌آٔذ‪‌ٜ‬ثشای‌ٔثبَ‌‪‌EnjoySport‬سا‌دس‌٘ظش‌ثٍیشیذ‌(ؿىُ‌‪‌.)2.3‬حبَ‌فرشم‌و‪ٙ‬ریٓ‌ٔر‌ ‌‬
‫یسر‪ٛ‬ا٘‌یٓ‌آصٔربیؾ‌‌و‪ٙ‬ریٓ‪‌.‬چر‪‌ٝ‬‬ ‫د‪ٚ‬ثبس‪‌ٜ‬فوبی‌‪ٚ‬ی ‌‬
‫ؾ‪ٞ‬بیی‌سا‌أشحبٖ‌‬
‫یای‌ثبیذ‌آصٔبیؾ‌و‪ٙ‬یٓ؟‌‪ٚ‬اهح‌اػز‌و‪‌ٝ‬یبدٌیش‌ثبیذ‌آصٔبی ‌‬
‫یؿ‪ٛ‬د؟‌دس‌وُ‌ثب‌چ‪‌ٝ‬اػششاسظی‌وّ ‌‬
‫آصٔبیـی‪‌،‬آصٔبیؾ‌خ‪ٛ‬ثی‌ٔحؼ‪ٛ‬ة‌ٔ ‌‬
‫ؾ‪ٞ‬بیی‌‪ٞ‬ؼش‪ٙ‬ذ‌و‪‌ٝ‬دس‌ثؼوی‌فشهی‪ٞ ٝ‬بی‌دس‌فوبی‌‪ٚ‬یظ‪ٔ‌ٕٝ٘ٛ٘‌،ٜ‬ثجز‌‪‌ٚ‬دس‌‬
‫ؾ‪ٞ‬بیی‪‌،‬آصٔبی ‌‬
‫و‪ٙ‬ذ‌و‪‌ٝ‬سفب‪ٚ‬ر‌ثیٗ‌فشهی‌‪ٞٝ‬ب‌سا‌٘ـبٖ‌ثذ‪ٙٞ‬ذ‪‌.‬چ‪ٙ‬یٗ‌آصٔبی ‌‬
‫ثؼوی‌دیٍش‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌ثبؿ‪ٙ‬ذ‪‌‌.‬ثشای‌ٔثبَ‪‌ :‬‬

‫>‪<Sunny,Warm,Normal,Light,Warm,Same‬‬

‫یو‪ٙ‬ذ‪‌.‬حبَ‌اٌش‌ایٗ‌ٕ٘‪‌ٝ٘ٛ‬ثب‌ٔف‪ٞ‌ْٟٛ‬رذف‌ػربصٌبس‌ثر‪ٛ‬د‌‪‌S‬سا‌‬
‫یو‪ٙ‬یذ‌و‪‌ٝ‬ایٗ‌ٕ٘‪‌ٝ٘ٛ‬ػ‪‌ٝ‬فشهی‪‌ٝ‬اص‌‪‌6‬فشهی‌‪ٝ‬ی‌ٔ‪ٛ‬خ‪ٛ‬د‌(ؿىُ‌‪‌)2.3‬سا‌ساهی‌ٔ ‌‬
‫س‪ٛ‬خ‪‌ ٔ‌ٝ‬‬
‫یو‪ٙ‬یٓ‪‌.‬دس‌ٔمبثُ‌اٌش‌ایٗ‌ٔثبَ‌ثب‌ٔف‪ٞ‌ْٟٛ‬ذف‌٘بػبصٌبس‌ث‪ٛ‬د‌ٔشص‌‪‌G‬سا‌خبف‌سش‌ٔ ‌‬
‫یو‪ٙ‬یٓ‪‌.‬دس‌‪ٞ‬ش‌ك‪ٛ‬سر‌اًالػبر‌ٔفیذی‌دس‌ٔر‪ٛ‬سد‌ٔف‪ٟ‬ر‪‌ْٛ‬‬ ‫یسش‌ٔ ‌‬
‫وّ ‌‬
‫یؿ‪ٛ‬د‪‌ .‬‬
‫یآیذ‌‪‌ٚ‬سؼذاد‌اػوبی‌فوبی‌‪ٚ‬یظ‪٘‌ٜ‬یض‌٘ل ‌ٔ ‌‬
‫‪ٞ‬ذف‌ثذػز‌ٔ ‌‬

‫دس‌حبِز‌وّی‌آصٔبیؾ‌ث‪ٟ‬ی‪‌،ٝٙ‬آصٔبیـی‌اػز‌و‪‌ٝ‬ثب‌٘ل ‌اػوبی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ػبصٌبس‌‪‌ٚ‬ثب‌٘ل ‌دیٍش‌٘بػبصٌبس‌ثبؿذ‪‌.‬اٌش‌آصٔبیؾ‌‪ٞ‬ب‌چ‪ٙ‬یٗ‌ؿشایٌی‌‬

‫یؿ‪ٛ‬د‪‌.‬دسػز‌‬
‫‌آصٔبیؾ‌ٔف‪ٞ‌ْٟٛ‬ذف‌ٔؼّ‪‌ ٔ‌ْٛ‬‬ ‫یؿ‪ٛ‬د‌سب‌دس‌آخش‌دس‌‬
‫سا‌داؿش‪‌ٝ‬ثبؿ‪ٙ‬ذ‌دس‌‪ٞ‬ش‌آصٔبیؾ‌سؼذاد‌اػوبی‌فوبی‌‪ٚ‬یظ‪٘‌ٜ‬ل ‌ٔ ‌‬
‫ٔثُ‌ثبصی‌‪‌21‬ػؤاِی‪‌2‬و‪ٞ‌ٝ‬ش‌دفؼ‪‌ٝ‬یه‌دػش‪‌ٝ‬فشهی‪‌ٝ‬سد‌ٔ ‌‬
‫یؿ‪٘ٛ‬ذ‪‌.‬دس‌ثبصی‌‪‌21‬ػؤاِی‌٘یض‌ث‪ٟ‬ششیٗ‌اػششاسظی‌ثبصی‌دشػیذٖ‌ػؤاَ‌‪ٞ‬رب‌یی‌اػرز‌ور‪‌ٝ‬‬
‫یس‪ٛ‬اٖ‌آصٔبیؾ‌‪ٞ‬بیی‌سا‌ایدبد‌وشد‌و‪‌ٝ‬‬
‫دلیمبً‌٘ل ‌فشهی‪ٞ‌ٝ‬ب‌سا‌دس‌ثش‌ثٍیشد‌اػز‪‌.‬اص‌ًشفی‌دیٍش‪ٕٞ‌،‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬دس‌ؿىُ‌‪٘‌2.3‬یض‌٘ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ ٔ‌ٜ‬‬
‫ؾ‪ٞ‬رب‌‌ٔشؼبلجربً‌‌ثریؾ‌اص‌‬
‫دلیمبً‌ثب‌٘ل ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ػبصٌبس‌ثبؿذ‪‌.‬دس‌وُ‌ٕٔىرٗ‌اػرز‌ایرٗ‌وربس‌ٕٔىرٗ‌٘جبؿرذ‌‪‌،‬دس‌چ‪ٙ‬ریٗ‌ؿرشایٌی‌سؼرذاد‌آصٔرب‌ی ‌‬
‫‌خ‪ٛ‬ا‪ٞ‬ذ‌ؿذ‪‌ .‬‬

‫‪ 2.6.2‬چگونه میتوان اس فضای ویژه بزای تشخیص ساسگاری نمونهها با مفهوم هذف استفاده کزد؟‬
‫یس‪ٚ‬د‌و‪‌ٝ‬دریؾ‌‬
‫فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬فمي‌‪ٕٞ‬بٖ‌چ‪ٟ‬بس‌ٔثبَ‌دس‌اخشیبس‌یبدٌیش‌لشاس‌ٌشفش‪‌ٚ‌ٝ‬یبدٌیش‌‪ٞ‬یچ‌ٌ‪‌ٝ٘ٛ‬حك‌آصٔبیـی‌٘یض‌٘ذاسد‪‌،‬أب‌اص‌یبدٌیش‌ا٘شظبس‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌ٔـخق‌وشد‪‌.‬أرب‌‬
‫ظ‪ٜ‬ی‌ثذػز‌آٔذ‪ٛٙٞ‌ٜ‬ص‌ٔف‪ٞ‌ْٟٛ‬ذف‌سا‌دلیمبً‌ٕ٘ ‌‬
‫ثی‪ٙ‬ی‌و‪ٙ‬ذ‌وذاْ‌ٔثبَ‌‪ٞ‬ب‌ثب‌ٔف‪ٞ‌ْٟٛ‬ذف‌ػبصٌبس٘ذ‪‌.‬ثب‌‪ٚ‬خ‪ٛ‬د‌ای‪ٙ‬ى‪‌ٝ‬فوبی‌‪ٚ‬ی ‌‬
‫یو‪ٙ‬ذ‪‌.‬ثرشای‌ٔثربَ‌فرشم‌و‪ٙ‬یرذ‌ور‪‌ٝ‬ا‌ص‌‬
‫یس‪ٛ‬اٖ‌ثب‌اػشفبد‪‌ٜ‬اص‌آٖ‌لٌؼبً‌ٌفز‌و‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌ثؼوی‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌سا‌چٍ‪‌ٝ٘ٛ‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫ثب‌ایٗ‌‪ٚ‬خ‪ٛ‬د‌ٔ ‌‬
‫ٔثبَ‪ٞ‬بی‌خذ‪‌2.6‌َٚ‬سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‪‌ .‬‬
‫یؿ‪ٛ‬د‌سب‌ ‌‬
‫یبدٌیش‌خ‪ٛ‬اػش‪‌ ٔ‌ٝ‬‬

‫‪1‬‬
‫‪‌query‬‬
‫‪2‬‬
‫‪‌Twenty questions‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یو‪ٙٙ‬ذ‌‬ ‫یو‪ٙ‬یذ‌و‪‌ٝ‬ثب‌‪ٚ‬خ‪ٛ‬د‌ای‪ٙ‬ى‪‌A‌ٕٝ٘ٛ٘‌ٝ‬خض‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌آٔ‪ٛ‬صؿی‌٘ج‪ٛ‬د‪‌ٜ‬أب‌‪ٞ‬ش‌‪‌6‬فشهی‌‪ٝ‬ی‌ٔ‪ٛ‬خ‪ٛ‬د‌دس‌فوبی‌‪ٚ‬یظ‪‌ ‌ٜ‬‬

‫آٖسا‌ٔثجز‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬ ‫س‪ٛ‬خ‪‌ ٔ‌ٝ‬‬
‫یس‪ٛ‬ا٘ذ‌دیؾ‌ثی‪ٙ‬ی‌و‪ٙ‬ذ‌و‪‌ٝ‬ایرٗ‌ٕ٘‪٘ٛ‬ر‪‌‌ٝ‬‬
‫یو‪ٙٙ‬ذ‪‌،‬یبدٌیش‌ثب‌إًی‪ٙ‬بٖ‌ٔ ‌‬
‫(ؿىُ‌‪‌ٚ‌.)2.3‬چ‪‌ٖٛ‬سٕبٔی‌فشهی‪ٞ‌ٝ‬ب‌ث‪‌ٝ‬اسفبق‌ایٗ‌ٕ٘‪‌ٝ٘ٛ‬سا‌ٔثجز‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫ثشای‌ٔف‪ٞ‌ْٟٛ‬ذف‌ٔثجز‌اػز‌(چ‪ٔ‌ٖٛ‬ف‪ٞ‌ْٟٛ‬ذف‌یىی‌اص‌‪ٕٞ‬یٗ‌فشهی‪ٞ‌ٝ‬بػز)‪‌.‬دغ‌خذا‌اص‌ای‪ٙ‬ى‪‌ٝ‬وذاْ‌فشهی‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌اػز‪‌A‌ٕٝ٘ٛ٘‌،‬ثشای‌‬
‫آٖ‌ٔثجز‌اػز‪‌.‬س‪ٛ‬خ‪‌ٝ‬داسیذ‌و‪‌ٝ‬الصْ‌٘یؼز‌ثشای‌سـخیق‌ایٗ‌و‪‌A‌ٝ‬ثشای‌سٕبٔی‌فشهی‪ٞ‌ٝ‬ب‌ٔثجز‌اػز‌آٖ‌سا‌ثب‌سه‌سه‌فشهی‪ٞ‌ٝ‬ب‌سٌجیك‌د‪ٞ‬ریٓ‪‌‌.‬‬
‫فمي‌وبفی‌اػز‌و‪‌A‌ٕٝ٘ٛ٘‌ٝ‬دس‌سه‌سه‌اػوبی‌‪ٔ‌S‬ثجز‌ثبؿذ‌(چشا؟)‪‌.‬دِیُ‌ای‪ٙ‬دبػز‌و‪‌ ‌ٝ‬‬
‫‪ٕٝٞ‬ی‌اػوبی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬حذالُ‌اص‌یىی‌اص‌اػوربی‌‬
‫یسشی‌‪ٞ‬ش‌ٕ٘‪‌ٝ٘ٛ‬ای‌و‪‌ٝ‬اػوبی‌‪‌S‬سا‌ساهی‌و‪ٙ‬ذ‪‌،‬سٕبٔی‌فشهی‌‪ٞٝ‬ب‌سا‌ساهی‌خ‪ٛ‬ا‪ٞ‬ذ‌وشد‪‌ .‬‬ ‫‪‌S‬وّ ‌‬
‫یسش‌‪ٞ‬ؼش‪ٙ‬ذ‌‪ً‌ٚ‬جك‌سؼشی ‌وّ ‌‬

‫‪‌ EnjoySport‬‬ ‫‪Forecast‬‬ ‫‪‌ Water‬‬ ‫‪‌ Wind ‌ Humidity ‌ AirTemp‬‬ ‫‪‌ Sky‬‬ ‫ٕ٘‪‌ ٝ٘ٛ‬‬

‫?‌‬ ‫‪‌ Change‬‬ ‫‪‌ Cool‬‬ ‫‪‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪A‬‬

‫?‌‬ ‫‪‌ Same‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Light‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Cold‬‬ ‫‪‌ Rainy‬‬ ‫‪‌B‬‬

‫?‌‬ ‫‪‌ Same‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Lihgt‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪‌C‬‬

‫?‌‬ ‫‪‌ Same‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Cold‬‬ ‫‪‌ Sunny‬‬ ‫‪‌D‬‬

‫خذ‪ٞ‌ٕٝ٘ٛ٘‌2.6‌َٚ‬بی‌خذیذ ‌‬
‫یو‪ٙٙ‬رذ‌‪‌ٚ‌.‬‬
‫‪ٕٝٞ‬ی‌فشهی‪ٞ ٝ‬بی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬آٖ‌سا‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬رذی‌ٔر‌ ‌‬ ‫ث‪ًٛ‌ٝ‬س‌ٔـبث‪‌B‌ٕٝ٘ٛ٘‌ٝ‬یه‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫یؿ‪ٛ‬د‌صیشا‌و‪‌ ‌ٝ‬‬
‫د‪ٚ‬ثبس‪‌ٜ‬ث‪ًٛ‌ٝ‬س‌ٔـبث‪‌ٝ‬وبفی‌اػز‌فمي‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌اػوبی‌‪‌G‬ثبؿذ‌(چشا؟)‪‌ .‬‬

‫آٖسا‌ٕ٘‪٘ٛ‬ر‪ٙٔ‌ٝ‬فری‌‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌‬ ‫دس‌ٔ‪ٛ‬سد‌ٕ٘‪‌C‌ٝ٘ٛ‬لوی‪‌ٝ‬وبٔالً‌ٔشفب‪ٚ‬ر‌اػز‪٘‌.‬یٕی‌اص‌فشهی‪ٞ ٝ‬بی‌فوبی‌‪ٚ‬یظ‪‌ ‌ٜ‬‬

‫آٖسا‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجرز‌‌‪٘‌ٚ‬یٕری‌دیٍرش‌‌ ‌‬
‫یو‪ٙٙ‬ذ‪‌،‬دغ‌سب‌صٔب٘ی‌و‪‌ٝ‬یبدٌیش‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ثیـششی‌ٔ‪ٛ‬اخ‪٘‌ٝ‬ـذ‪‌ٜ‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌ایٗ‌ٔثبَ‌ٕٔىٗ‌٘یؼز‪‌.‬س‪ٛ‬خ‪‌ٝ‬داسیذ‌ور‪ٕ٘ٛ٘‌ٝ‬ر‪‌C‌‌ٝ‬یره‌‬
‫ٔ‌‬
‫ٕ٘‪‌ٝ٘ٛ‬خ‪ٛ‬ة‌ثشای‌آصٔبیؾ‌اػز‪‌.‬ایٗ‌اسفبق‌وبٔالً‌لبثُ‌دیؾ‌ثی‪ٙ‬ی‌ث‪ٛ‬د‌صیشا‌ٕ٘‪ٞ‌ٝ٘ٛ‬بیی‌و‪‌ٝ‬دػش‪‌ٝ‬ث‪ٙ‬ذیـبٖ‌غیشٕٔىٗ‌اػز‌حب‪ٚ‬ی‌اًالػبسی‌‪ٞ‬ؼرش‪ٙ‬ذ‌‬
‫یس‪ٛ‬ا٘یٓ‌دػش‪‌ٝ‬ث‪ٙ‬ذیـبٖ‌و‪ٙ‬یٓ)‪‌ .‬‬
‫و‪ٔ‌ٝ‬ب‌٘ذاسیٓ‌(‪‌ٚ‬ثشای‌‪ٕٞ‬یٗ‌ٕ٘ ‌‬

‫یؿ‪ٛ‬د‪‌.‬دس‌ایرٗ‌حبِرز‌ثرش‌خرالف‌ٔثربَ‌‪ٞ‬رب‌ی‌‪‌B‌ٚ‌A‬‬
‫ٕ٘‪‌D‌ٝ٘ٛ‬س‪ٛ‬ػي‌‪‌2‬فشهی‪ٔ‌ٕٝ٘ٛ٘‌ٝ‬ثجز‌‪‌ٚ‬س‪ٛ‬ػي‌‪‌4‬فشهی‌‪ٝ‬ی‌دیٍش‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌ثب‌إًی‪ٙ‬بٖ‌ٕ٘‪‌D‌ٝ٘ٛ‬سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌وشد‪‌.‬یه‌س‪ٚ‬ؽ‌دزیشفشٗ‌سای‌اوثشیز‌‪‌ٚ‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌‪‌D‬ث‪‌ٝ‬ػ‪ٙ‬ر‪ٛ‬اٖ‌ٕ٘‪٘ٛ‬ر‪ٙٔ‌ٝ‬فری‌‌ثرب‌دسكرذ‌إًی‪ٙ‬ربٖ‌‬
‫ٕ٘ ‌‬
‫(ٔیضاٖ‌سای‌اوثشیز‌ث‪‌ٝ‬سای‌وُ)‌اػز‪‌.‬اٌش‌‪ٕٞ‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬دس‌فلُ‌‪‌ٓٞ‌6‬ثحث‌ؿذ‪‌ٜ‬احشٕبَ‌دسػز‌ث‪ٛ‬دٖ‌‪ٞ‬ش‌فشهی‪‌ٝ‬سا‌ٔؼرب‪ٚ‬ی‌دس‌٘ظرش‌ثٍیرشیٓ‌‬
‫یای‌ث‪ٟ‬ششیٗ‌خش‪ٚ‬خی‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌.‬ثب‌ایٗ‌حبَ‌‪ٕٞ‬چ‪ٙ‬بٖ‌احشٕبَ‌ٔثجز‌ث‪ٛ‬دٖ‌ٕ٘‪ٚ‌ٝ٘ٛ‬خ‪ٛ‬د‌داسد‪‌ .‬‬
‫چ‪ٙ‬یٗ‌دػش‪‌ٝ‬ث‪ٙ‬ذ ‌‬

‫‪ 1.6‬بایاس استقرایی‬
‫‪ٕٞ‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬لجالً‌٘یض‌ثحث‌ؿذ‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬دس‌ك‪ٛ‬سر‌‪ٚ‬خ‪ٛ‬د‌سبثغ‌‪ٞ‬ذف‌دس‌‪‌ٚ‌H‬دسػز‌ث‪ٛ‬دٖ‌ٕ٘‪ٞ‌ٝ٘ٛ‬رب‌‌ثر‪‌ٝ‬سربثغ‌‬
‫یس‪ٛ‬اٖ‌ثب‌دس‌٘ظش‌ٌشفشٗ‌‪‌H‬ث‪‌ٝ‬ك‪ٛ‬سر‌سٕبٔی‌فشهی‪ٞ‌ٝ‬ب‌اص‌ایٗ‌ٔـىُ‌دش‪ٞ‬یض‌وشد؟‌سرأث‌یش‌‬
‫یو‪ٙ‬ذ‪‌.‬أب‌اٌش‌سبثغ‌‪ٞ‬ذف‌دس‌‪٘‌H‬ج‪ٛ‬د‌چ‪ٝ‬؟‌آیب‌ٔ ‌‬
‫‪ٞ‬ذف‌ٔیُ‌ٔ ‌‬
‫ا٘ذاص‪ٜ‬ی‌فوبی‌فشهی‌‪ٞٝ‬ب‌ثش‌سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬ربی‌‬
‫ا٘ذاص‪ٜ‬ی‌فوبی‌فشهی‪ٞ‌ٝ‬ب‌ثش‌س‪ٛ‬ا٘بیی‌اٍِ‪ٛ‬سیشٓ‌ثشای‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌چٍ‪‌ٝ٘ٛ‬اػز؟‌سأثیش‌ ‌‬
‫‌‬
‫آٔ‪ٛ‬صؿی‌الصْ‌چٍ‪‌ٝ٘ٛ‬اػز؟‌ایٗ‌ػؤاَ‌‪ٞ‬بی‌اػبػی ‌دس‌ٔ‪ٛ‬سد‌اػشمشا‌دس‌وُ‌ٌٔرشح‌‪ٞ‬ؼرش‪ٙ‬ذ‌‪‌.‬دس‌ای‪ٙ‬درب‌ایرٗ‌ػرؤاَ‌‪ٞ‬رب‌‌سا‌دس‌ٔرشٗ‌‪Candidate-‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؼشٓ‪ٞ‬بی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬لبثُ‌‬ ‫‪‌Elimination‬ثشسػی‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‪‌.‬أب‌ثب‌ایٗ‌حبَ‪‌ ٔ‌،‬‬

‫یثی‪ٙ‬یذ‌و‪٘‌ٝ‬شبیح‌ثذػز‌آٔذ‪‌ٜ‬اص‌ایٗ‌ثشسػی‌ثشای‌سٕبٔی‌ػی ‌‬
‫اخشاػز‪‌ .‬‬

‫‪ 2.7.2‬فضای فزضیه ای بایاس دار‬

‫ػبد‪ٜ‬سشیٗ‌سا‪‌ٜ‬ایٗ‌اػز‌و‪‌ٝ‬سٕبٔی‌فشهی‪ٞ ٝ‬بی‌‬
‫یخ‪ٛ‬ا‪ٞ‬یٓ‌فوبی‌فشهی‪ٞ‌ٝ‬ب‪ٔ‌،‬ف‪ٞ‌ْٟٛ‬ذف‌و‪٘‌ٝ‬ب ٔؼّ‪‌ْٛ‬اػز‌سا‌دس‌ثش‌ثٍیشد‪‌.‬ا‪ِٚ‬یٗ‌‪‌ ‌ٚ‬‬
‫فشم‌و‪ٙ‬یذ‌و‪‌ ٔ‌ٝ‬‬
‫ٕٔىٗ‌سا‌دس‌فوبی‌فشهی‪ ٝ‬ای‌لشاس‌د‪ٞ‬یٓ‪‌.‬د‪ٚ‬ثبس‪ٔ‌ٜ‬ثبَ‌‪‌EnjoySport‬سا‌دس‌٘ظش‌ثٍیشیذ‪ٔ‌.‬ب‌دس‌آ٘دب‌فوبی‌فشهی‪ ٝ‬ای‌سا‌سٕبْ‌فشهی‪ٞ ٝ‬بی‌ػٌفی‌‬
‫ػبد‪ٜ‬ی‌غیش‌ػٌفی”‪‌ “Sky=Sunny or Sky=Cloudy‬سا‌دس‌‬
‫ٕٔىٗ‌فشم‌وشدیٓ‪‌.‬ثخبًش‌ایٗ‌ٔحذ‪ٚ‬دیز‪‌،‬فوبی‌فشهی‪‌ٝ‬ای‌فشهی‌‪ٝ‬ی‌ثؼیبس‌ ‌‬
‫یٌیشد‪‌.‬دس‌‪ٚ‬الغ‌دس‌فوبی‌فشهی‪ ٝ‬ای‌فؼّی‌ثب‌دادٖ‌ػ‪‌ٕٝ٘ٛ٘‌ٝ‬صیش‌ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‪‌،‬خش‪ٚ‬خی‌اٍِ‪ٛ‬سیشٓ‌ثرشای‌فوربی‌‪ٚ‬یرظ‪‌ٜ‬س‪ٟ‬ری‌‬
‫ثش‌ٕ٘ ‌‬
‫یؿ‪ٛ‬د‪‌ .‬‬
‫ٔ‌‬

‫‪‌ EnjoySport ‌ Forecast‬‬ ‫‪‌ Water‬‬ ‫‪‌ Wind ‌ Humidity ‌ AirTemp‬‬ ‫‪‌ Sky‬‬ ‫ٔثبَ ‌‬

‫‪‌ Yes‬‬ ‫‪Change‬‬ ‫‪‌ Cool‬‬ ‫‪‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Sunny‬‬ ‫‪‌1‬‬

‫‪‌ Yes‬‬ ‫‪Change‬‬ ‫‪‌ Cool‬‬ ‫‪‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Cloudy‬‬ ‫‪‌2‬‬

‫‪‌ No‬‬ ‫‪‌ Change‬‬ ‫‪‌ Cool‬‬ ‫‪‌ Strong‬‬ ‫‪‌ Normal‬‬ ‫‪‌ Warm‬‬ ‫‪‌ Rainy‬‬ ‫‪‌3‬‬

‫ثشای‌ایٗ‌و‪‌ٝ‬ثبثز‌ؿ‪ٛ‬د‌و‪‌ٝ‬فشهی‪ ٝ‬ای‌دس‌‪ٚ‌H‬خ‪ٛ‬د‌٘ذاسد‌و‪‌ٝ‬ثب‌ػ‪‌ٕٝ٘ٛ٘‌ٝ‬ثبال‌ػبصٌبس‌ثبؿذ‪‌،‬ث‪‌ٝ‬ایٗ‌س‪ٛ‬خ‪‌ٝ‬و‪ٙ‬یذ‌و‪‌ ‌ٝ‬‬

‫خبفسشیٗ‌فشهی‪‌ٝ‬ػبصٌبس‌ثب‌د‪‌ٚ‌ٚ‬‬
‫فشهی‌‪ٝ‬ی‌ا‪‌َٚ‬ث‪‌ٝ‬ؿىُ‌صیش‌اػز‪‌ :‬‬

‫>‪<?,Warm,Normal,Strong,Cool,Change‬‬

‫ثب‌ایٗ‌و‪‌ٝ‬ایٗ‌فشهی‪‌ٝ‬خبف‌سشیٗ‌فشهی‪ٕٔ‌ٝ‬ىٗ‌دس‌‪‌،H‬أب‌ثب‌ایٗ‌حبَ‌ثیؾ‌اص‌حذ‌وّی‌اػز‌صیشا‌و‪‌ٕٝ٘ٛ٘‌ٝ‬ػ‪‌ْٛ‬سا‌ٔثجرز‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌ٔر‌ ‌‬
‫یو‪ٙ‬رذ‌‪‌.‬‬
‫ٔـىُ‌دس‌ایٗ‌خبػز‌و‪ٔ‌ٝ‬ب‌‪‌H‬سا‌ثب‌ثبیبع‪ٔ(‌1‬حذ‪ٚ‬د)‌وشد‪‌ٜ‬ایٓ‌‪‌ٚ‬فمي‌سشویت‌‪ٞ‬بی‌ػٌفی‌سا‌دس‌٘ظش‌ٌشفش‪‌ٝ‬ایٓ‪‌.‬ثشای‌حُ‌ایٗ‌ٔـىُ‌الصْ‌اػز‌و‪‌ٝ‬‬
‫ؿبُٔسشی‌اػشفبد‪‌ٜ‬و‪ٙ‬یٓ‪‌ .‬‬
‫اص‌فوبی‌فشهی‪ ٝ‬ای‌ ‌‬

‫‪ 2.7.2‬یادگیز بذون بایاس‬

‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌سٕبٔی‌فشهی‪ٞ ٝ‬بی‌لبثُ‌یبدٌیشی‌دس‌٘ظش‌ثٍیرشیٓ‪‌ٚ‌.‬‬
‫‌‬ ‫سا‪‌ٜ‬حُ‌ایٗ‌ٔـىُ‌و‪ٕٔ‌ٝ‬ىٗ‌اػز‌ٔف‪ٞ‌ْٟٛ‬ذف‌دس‌‪٘‌H‬جبؿذ‌ایٗ‌اػز‌و‪‌H‌ٝ‬سا‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌‪‌X‬اػز‪‌.‬دس‌وُ‪‌،‬ث‪ٔ‌ٝ‬دٕ‪ٛ‬ػ‪ ٝ‬ای‌و‪‌ٝ‬سٕبٔی‌ایرٗ‌صیرش‌ٔدٕ‪ٛ‬ػر‪ٞ‌ٝ‬ر‌ب‌سا‌دس‌ثرش‌‌ثٍیر‌شد‌‬
‫‌‬ ‫ایٗ‌ث‪ٔ‌ٝ‬ؼ‪ٙ‬بی‌دیذا‌وشدٖ‌سٕبْ‌صیش‌ٔدٕ‪ٛ‬ػ‪ٞ ٝ‬بی‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‪‌ ٔ‌X‌2‬‬
‫یٌ‪ٛ‬ییٓ‪‌ .‬‬ ‫‌‬

‫دس‌ٔثبَ‌‪‌EnjoySport‬سٕبٔی‌حبِز‌‪ٞ‬بی‌یه‌س‪ٚ‬ص‌و‪‌ٝ‬س‪ٛ‬ػي‌ؿؾ‌‪ٚ‬یظٌی‌آٖ‌ٔـخق‌ٔ ‌‬
‫یؿذ‌‪‌96‬حبِز‌اػز‪‌.‬چ‪ٙ‬ذ‌ٔف‪‌ْٟٛ‬س‪ٚ‬ی‌ایرٗ‌ٔدٕ‪ٛ‬ػر‪‌ٝ‬‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌‪‌X‬و‪‌|X|‌ٝ‬ػو‪‌ٛ‬‬
‫‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‌‪‌X‬چمذس‌اػز؟‌دس‌وُ‌سؼذاد‌صیش‌ٔدٕ‪ٛ‬ػ‪ٞ ٝ‬بی‌‬
‫‌‬ ‫یس‪ٛ‬اٖ‌سؼشی ‌وشد؟‌ث‪‌ٝ‬ػجبسر‌دیٍش‌سؼذاد‌اػوبی‌‬
‫ٔ‌‬

‫‪1‬‬
‫‪‌bias‬‬
‫‪2‬‬
‫‪‌Power set‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یس‪ٛ‬اٖ‌س‪ٚ‬ی‌‪‌X‬سؼشی ‌وشد‪‌.‬ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪‌ٝ‬آ٘چ‪‌ٝ‬دس‌لؼٕز‌‪‌2.3‬‬
‫‌ٔف‪‌ ٔ‌ْٟٛ‬‬ ‫‌ٔف‪‌ْٟٛ‬یب‌حذ‪ٚ‬د‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‌‪‌.)X‬‬
‫‌‬ ‫ا٘ذاص‪ٜ‬ی‌‬
‫‌اػز‌( ‌‬ ‫داسد‌‬
‫ٌفش‪‌ٝ‬ؿذ‌فوبی‌فشهی‪ ٝ‬ای‌ػٌفی‌فمي‌‪‌973‬ػو‪‌ٛ‬داسد‪‌،‬و‪ٚ‌ٝ‬الؼبً‌فوبی‌ثبیبع‌داسی‌ث‪ٛ‬د‪‌ !ٜ‬‬

‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌سر‪ٛ‬ا٘ی‌‪‌X‬‬
‫‌‬ ‫ثیبییذ‌د‪ٚ‬ثبس‪‌ٜ‬ػُٕ‌یبدٌیشی‌ٔف‪‌EnjoySport‌ْٟٛ‬سا‌ایٗ‌دفؼ‪‌ٝ‬ثب‌سؼشی ‌فوبی‌فشهی‪ ٝ‬ای‌ثذ‪‌ٖٚ‬ثبیبع‌’‪(‌H‬و‪ٕٞ‌H’‌ٝ‬بٖ‌‬
‫اػز)‌ا٘دبْ‌د‪ٞ‬یٓ‪‌.‬یه‌سا‪‌ٜ‬ثشای‌سؼشی ‌چ‪ٙ‬یٗ‌’‪ H‬ی‌اهبف‪‌ٝ‬وشدٖ‌٘مین‪‌،‬ػٌ ‌‪‌ٚ‬فلُ‌ث‪‌ٝ‬سؼذاد‌دِخ‪ٛ‬ا‪‌ٜ‬فشهی‌‪ٞٝ‬بیی‌و‪‌ٝ‬لجّی‌ث‪‌H‌ٝ‬اػز‪‌.‬ثرشای‌‬
‫ٔثبَ‌ٔف‪ٞ‌ْٟٛ‬ذف‌”‪‌“Sky=Sunny or Sky=Cloudy‬سا‌ٔ ‌‬
‫یس‪ٛ‬اٖ‌ث‪‌ٝ‬ك‪ٛ‬سر‌صیش‌٘ـبٖ‌داد‪‌ :‬‬

‫>?‪<Sunny,?,?,?,?,?,?>∨<Cloudy,?,?,?,?,?,‬‬

‫یس‪ٛ‬ا٘یٓ‌ثب‌إًی‪ٙ‬بٖ‌ث‪‌ٝ‬ػشاؽ‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثش‪ٚ‬یٓ‌‪ٌٕٔ‌ٚ‬ئٗ‌ثبؿریٓ‌ور‪‌ٝ‬فوربی‌‬
‫ثب‌اهبف‪‌ٝ‬وشدٖ‌چ‪ٙ‬یٗ‌فشهی‪ٞ‌ٝ‬بیی‪‌ ٔ‌،‬‬
‫یآ‪ٚ‬سد‪‌،‬ثرب‌ایرٗ‌فوربی‌‬
‫یٌیشد‪‌.‬ثب‌ایٗ‌‪ٚ‬خ‪ٛ‬د‌حُ‌وشدٖ‌ٔـىُ‌ثذیٗ‌ؿىُ‌خ‪ٛ‬د‌یه‌ٔـىُ‌دیٍرش‌ثر‪ٚ‌‌ٝ‬خر‪ٛ‬د‌‌ٔر‌ ‌‬
‫فشهی‪ٞ‌ٝ‬ب‌ٔف‪ٞ‌ْٟٛ‬ذف‌سا‌دس‌ثش‌ٔ ‌‬
‫یؿر‪ٛ‬د‌ !‌ثرشای‌ٔؼّر‪‌ْٛ‬ؿرذٖ‌دِیرُ‌ایرٗ‌ٔـرىُ‌فرشم‌و‪ٙ‬یرذ‌ور‪ٔ‌ٝ‬رب‌ػر‪ٕ٘ٛ٘‌ٝ‬ر‪ٔ‌ٝ‬ثجرز‌‌‬
‫فشهی‪ ٝ‬ای‌دیؾ‌ثی‪ٙ‬ی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌غیشٕٔىٗ‌ٔر‌ ‌‬
‫ید‪ٞ‬یٓ‪‌.‬ثؼذ‌اص‌ثشسػی‌‪ٞ‬ش‌د‪ٙ‬ح‌ٔثبَ‌ٔشص‌‪‌S‬فلُ‌ثیٗ‌ػ‪ٔ‌ٕٝ٘ٛ٘‌ٝ‬ثجز‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌ :‬‬
‫‌سا‌ث‪‌ٝ‬یبدٌیش‌ٔ ‌‬ ‫‌‪‌ٚ‬د‪ٙٔ‌ٕٝ٘ٛ٘‌ٚ‬فی‌‌‬

‫‌{‪S:‬‬ ‫∨‬ ‫∨‬ ‫}‬

‫صیشا‌و‪‌ٝ‬ایٗ‌خبف‌سشیٗ‌فشهی‌‪ٝ‬ی‌ٕٔىٗ‌ػبصٌبس‌ثب‌ػ‪ٔ‌ٝ‬ثبَ‌اػز‪‌.‬ث‪ًٛ‌ٝ‬س‌ٔـبث‪٘‌ٝ‬یض‌‪‌G‬ث‪‌ٝ‬ك‪ٛ‬سر‌صیش‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‌(وّ ‌‬
‫یسشیٗ‌فشهی‌‪ٝ‬ی‌ػربصٌبس‌ثرب‌‬
‫ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٙ‬فی) ‌‬

‫‌{‪G:‬‬ ‫∨‬ ‫}‬

‫ٔـىُ‌ای‪ٙ‬دبػز‌و‪‌ٝ‬ثب‌ایٗ‌فوبی‌فشهی‪ ٝ‬ای‌ؿبُٔ‪ٔ‌،‬شص‌‪ٕٛٞ‌S‬اس‪‌ٜ‬فلُ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔثجز‌‪ٔ‌ٚ‬شص‌‪ٕٞ‌G‬ر‪ٛ‬اس‪٘‌ٜ‬مرین‌فلرُ‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌ٔ‪ٙ‬فری‌‌‬
‫ٔثبَ‪ٞ‬بیی‌و‪‌ٝ‬س‪ٛ‬ػي‌‪‌G‌ٚ‌S‬حزف‌ٔ ‌‬
‫یؿ‪٘ٛ‬ذ‌خ‪ٛ‬د‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌خ‪ٛ‬ا‪ٙٞ‬ذ‌ث‪ٛ‬د‌‪‌ٚ‬ثشای‌ٔیُ‌وشدٖ‌ث‪‌ٝ‬یه‌فشهی‪‌ٝ‬ثبیذ‌س‪ٚ‬ی‌‬ ‫خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌.‬دغ‌س‪ٟٙ‬ب‌ ‌‬
‫سه‌سه‌اػوبی‌‪‌X‬آصٔبیؾ‌ا٘دبْ‌د‪ٞ‬یٓ‪‌ .‬‬

‫یس‪ٛ‬اٖ‌ثب‌اػشفبد‪‌ٜ‬اص‌آ٘چ‪‌ٝ‬دس‌لؼٕز‌‪ٌ‌2.6.3‬فش‪‌ٝ‬ؿذ‌ثب‌سای‌ٌیشی‌س‪ٚ‬ی‌وّی‌‪ٝ‬ی‌فشهی‪ٞ ٝ‬ربی‌فوربی‌‪ٚ‬یرظ‪‌ٜ‬‬
‫دس‌اثشذا‌ٕٔىٗ‌اػز‌ث‪٘‌ٝ‬ظش‌ثشػذ‌و‪‌ ٔ‌ٝ‬‬
‫ٔثبَ‪ٞ‬رب‌ی‌غیرش‌آٔ‪ٛ‬صؿری‌‌‬
‫حذالُ‌ث‪‌ٝ‬دسكذی‌لبثُ‌لج‪‌َٛ‬سػیذ‪‌،‬أب‌ٔشأػفب٘‪‌ٝ‬فمي‌ثشای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌٘شید‪‌ٝ‬لٌؼی‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‌‪‌ٚ‬ثشای‌سٕبٔی‌ ‌‬
‫یو‪ٙٙ‬ذ(چشا؟))‪‌.‬ثشای‌ٔؼّ‪‌ْٛ‬ؿرذٖ‌دِیرُ‌‬
‫ایٗ‌دسكذ‌‪‌51-51‬خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‌(٘یٕی‌اص‌فشهی‪ٞ‌ٝ‬ب‌ٕ٘‪‌ٝ٘ٛ‬سا‌ٔثجز‌‪٘‌ٚ‬یٕی‌دیٍش‌ٕ٘‪‌ٝ٘ٛ‬سا‌ٔ‪ٙ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‌‪‌X‬اػز‌‪٘‌x‌ٚ‬یض‌یه‌ٕ٘‪‌ٝ٘ٛ‬غیش‌آٔ‪ٛ‬صؿی‪‌،‬دس‌ٔمبثرُ‌‪ٞ‬رش‌فشهری‪ ‌ٝ‬ای‌دس‌‪‌H‬ور‪‌x‌ٝ‬سا‌‬
‫‌‬ ‫ایٗ‌أش‌س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬صٔب٘ی‌و‪‌H‌ٝ‬‬
‫ید‪ٛ‬ؿب٘ذ‌فشهی‪ ٝ‬ای‌دیٍش‌ٔثُ‌’‪‌h‬دس‌ٔدٕ‪ٛ‬ػ‪‌ٝ‬س‪ٛ‬ا٘ی‌‪ٚ‬خ‪ٛ‬د‌داسد‌و‪‌ٝ‬دس‌س‪ٚ‬ی‌سٕبٔی‌اػوبی‌‪ٔ‌X‬ـبث‪‌h‌ٝ‬اػز‌‪‌ٚ‬س‪ٟٙ‬ب‌‪‌x‬سا‌ٕ٘ ‌‬
‫ید‪ٛ‬ؿب٘ذ‪‌ٚ‌.‬اِجش‪‌ٝ‬اٌرش‌‬ ‫ٔ‌‬
‫‪‌h‬دس‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثبؿذ‌ٔؼّٕبً‌’‪٘‌h‬یض‌دس‌فوبی‌‪ٚ‬یظ‪‌ٜ‬خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌،‬صیشا‌و‪‌ٝ‬دس‌سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ٔـبث‪‌h‌ٝ‬سفشبس‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌ .‬‬

‫‪ 2.7.3‬بیهودگی یادگیزی بذون بایاس‬

‫یو‪ٙ‬رذ‌‌‬
‫ثحث‌ثبال‌یه‌خبكیز‌ث‪ٙ‬یبدی‌یبدٌیشی‌اػشمشایی‌سا‌ٔـخق‌وشد‪‌:‬یبدٌیشی‌و‪ٞ‌ٝ‬یچ‌دریؾ‌لورب‪ٚ‬سی‌دس‌ٔر‪ٛ‬سد‌ٔب‪ٞ‬یرز‌ٔف‪ٟ‬ر‪ٞ‌ْٛ‬رذف‌ٕ٘ر‌ ‌‬
‫یؿر‪ٛ‬د‌‌اٍِر‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬دس‌ٔثربَ‌‬
‫یس‪ٛ‬ا٘ذ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‪‌.‬دس‌‪ٚ‬الرغ‌س‪ٟٙ‬رب‌دِیّری‌ور‪‌ٝ‬ثبػرث‌ٔر‌ ‌‬
‫ٕ٘ ‌‬
‫‪‌EnjoySport‬ثش‪ٛ‬ا٘ذ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‌ایٗ‌ث‪ٛ‬د‌و‪‌ٝ‬دس‌سؼییٗ‌‪‌H‬ثبیبع‌ؿذ‪‌ٜ‬اػز‌‪‌ٚ‬فشم‌ؿذ‪‌ٜ‬سبثغ‌‪ٞ‬ذف‌ث‪‌ٝ‬كر‪ٛ‬سر‌ػٌر ‌‬
‫یس‪ٛ‬ا٘رذ‌‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌خذیرذ‌سا‌‬
‫ی‪ٞ‬بی‌ٔ‪ٛ‬خ‪ٛ‬د‌ثیبٖ‌ؿ‪ٛ‬د‪‌.‬دس‌‪ٚ‬الغ‌صٔب٘ی‌و‪‌ٝ‬ایٗ‌فشم‌دسػز‌اػز‌(‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬ب‌٘یض‌خٌب‌٘ذاس٘ذ)‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌ٔ ‌‬
‫‪ٚ‬یظٌ ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دسػز‌٘یض‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‪‌ٚ‌.‬صٔب٘ی‌و‪‌ٝ‬ایٗ‌فشم‌غّي‌ثبؿذ‪‌،‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬حذالُ‌ثشای‌سؼذادی‌اص‌اػوبی‌‪‌X‬دػش‪‌ٝ‬‬
‫ید‪ٞ‬ذ‪‌ .‬‬
‫ث‪ٙ‬ذی‌اؿشجب‪‌ٜ‬ا٘دبْ‌ٔ ‌‬

‫چ‪‌ٖٛ‬یبدٌیشی‌اػشمشایی‌٘یبص‌ث‪‌ٝ‬حذالُ‌٘‪ٛ‬ػی‌دیؾ‌فشم‪‌،‬ثبیبع‌دس‌اػشمشا‌(ثبیبع‌دس‌اػشمشا‌٘جبیذ‌ثب‌ثبیبع‌سخٕی‪ٙ‬ی‌و‪‌ٝ‬دس‌فلرُ‌‪‌5‬آٔرذ‪‌‌ٜ‬اؿرشجب‪‌ٜ‬‬
‫٘ىش‪ٝ‬ی‌ٔ‪‌ٟٓ‬ای‪ٙ‬دب‌ایٗ‌اػز‌و‪‌ٝ‬چٍ‪‌ٝ٘ٛ‬یبدٌیش‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿری‌‌سا‌‬
‫ٌشفش‪‌ٝ‬ؿ‪ٛ‬د)‌داسد‪‌،‬دػش‪‌ٝ‬ث‪ٙ‬ذی ی‌س‪ٚ‬ؽ‌‪ٞ‬بی‌ٔخشّ ‌ثبیبع‌ٔفیذ‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌ ‌.‬‬
‫ید‪ٞ‬ذ‪‌.‬اٌش‌فشم‌و‪ٙ‬ریٓ‌ور‪‌ٝ‬ثر‪‌ٝ‬اٍِر‪ٛ‬سیشٓ‌یربدٌیشی‌‪ٕ٘ٛ٘‌،L‬ر‪ٞ‌ٝ‬ربی‌آٔ‪ٛ‬صؿری‌‌دِخر‪ٛ‬ا‪‌ٜ‬‬
‫ثشای‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌دیٍش‌سؼٕیٓ‌ٔ ‌‬
‫‌ثشای‌یبدٌیشی‌ٔف‪‌ْٟٛ‬دِخ‪ٛ‬ا‪‌c‌ٜ‬داد‪‌ٜ‬ؿ‪ٛ‬د‌‪‌ٚ‬ثؼذ‌اص‌آٔ‪ٛ‬صؽ‌اص‌‪‌L‬خ‪ٛ‬اػرش‪ٔ‌ٝ‬ر‌ ‌‬
‫یؿر‪ٛ‬د‌‌سرب‌ٕ٘‪٘ٛ‬ر‪‌‌ٝ‬خذیرذ‌ ‌سا‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌و‪ٙ‬رذ‌‌‪‌ٚ‬‬
‫یس‪ٛ‬اٖ‌ایٗ‌اػش‪ٙ‬جبى‌‪‌L‬سا‌س‪ٛ‬ػي‌ػجبسر‌صیش‌س‪ٛ‬كی ‌و‪ٙ‬یٓ‪‌ :‬‬ ‫‌سـخیق‌اٍِ‪ٛ‬سیشٓ‌‪‌ ‌L‬‬
‫دسثبس‪ٜ‬ی‌ٕ٘‪‌ٝ٘ٛ‬خذیذ‌ثبؿذ‌(ٔثجز‌یب‌ٔ‪ٙ‬فی)‌ٔ ‌‬

‫‪‌y‬ثذیٗ‌ٔؼ‪ٙ‬بػز‌و‪‌z‌ٝ‬اص‌س‪ٚ‬ی‌‪‌y‬اػش‪ٙ‬جبى‪‌1‬ؿذ‪‌ٜ‬اػز‪‌.‬ثشای‌ٔثبَ‌اٌش‌‪ٕٞ‌L‬ربٖ‌اٍِر‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثبؿرذ‌‪‌ٚ‬‬ ‫ػجبسر‌‪z‬‬
‫‌٘یرررض‌‪ٕٞ‬ررربٖ‌ٕ٘‪٘ٛ‬ررر‪ٞ‌ٝ‬ررربی‌خرررذ‪‌2.1‌َٚ‬ثبؿرررذ‌‪٘‌ ‌ٚ‬یرررض‌‪ٕٞ‬ررربٖ‌ٕ٘‪٘ٛ‬ررر‪‌ٝ‬ا‪‌َٚ‬خرررذ‪‌2.6‌َٚ‬ثبؿرررذ‌درررغ‌خررر‪ٛ‬ا‪ٞ‬یٓ‌داؿرررز‌وررر‪‌ٝ‬‬
‫‪‌.‬‬ ‫)‪(EnjoySport=Yes‬‬

‫‌دسػز‌یب‌غّي‌اػز‪‌.‬ایٗ‌فمي‌اػش‪ٙ‬جبًی‌اػز‌ور‪‌L‌ٝ‬اص‌‬ ‫چ‪‌L‌ٖٛ‬یه‌اٍِ‪ٛ‬سیشٓ‌یبدٌیشی‌اػشمشایی‌اػز‪‌ ٕ٘‌،‬‬

‫یس‪ٛ‬اٖ‌ثبثز‌وشد‌و‪‌ٝ‬حىٓ‌‬
‫م‪ٞ‬رب‌ی‌دیٍرشی‌سا‌‬
‫یو‪ٙ‬ذ‪‌.‬ثب‌ایٗ‌حبَ‌ایٗ‌ػؤاَ‌خبِت‌اػز‌و‪‌ٝ‬ثذشػریٓ‌ور‪‌ٝ‬چر‪‌ٝ‬در‌یؾ‌فرش ‌‬
‫‌دس‌ٔ‪ٛ‬سد‌ٕ٘‪‌ٝ٘ٛ‬خذیذ‌ ‌ٔ ‌‬ ‫ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌‬
‫‪2‬‬
‫‌دسػز‌ثٕب٘ذ‪‌.‬ایٗ‌ٔدٕ‪ٛ‬ػ‪‌ٝ‬دیؾ‌فشم‌‪ٞ‬بی‌خذیذ‌سا‌ثبیبع‌اػشمشایی ی‌‪‌ ٔ‌ L‬‬
‫ی٘ربٔ‌یٓ‪‌.‬‬ ‫‌اهبف‪‌ٝ‬وشد‌سب‌‪ٕٞ‬چ‪ٙ‬بٖ‌‬ ‫یس‪ٛ‬اٖ‌ث‪‌ٝ‬‬
‫ٔ‌‬
‫فشم‪ٞ‬بی‌‪‌B‬سؼشی ‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‌و‪‌ٝ‬ثشای‌سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ ‌داؿش‪‌ٝ‬ثبؿیٓ‪‌ :‬‬ ‫كسش‌ثبیبع‌اػشمشایی‌‪‌L‬سا‌ث‪‌ٝ‬ك‪ٛ‬سر‌دػش‪‌ٝ‬دیؾ‌ ‌‬
‫ث‪ًٛ‌ٝ‬س‌دلی ‌‬

‫‪‌y‬ث‪‌ٝ‬ایٗ‌ٔؼ‪ٙ‬بػز‌و‪‌z‌ٝ‬لبثُ‌٘شید‪ٌ‌ٝ‬یشی‌اص‌‪‌y‬اػز‪ٔ(‌3‬ثالً‪‌z:‬اص‌‪‌y‬اثجبر‌ٔ ‌‬
‫یؿ‪ٛ‬د)‪‌.‬دغ‌ثبیبع‌اػشمشایی‌سا‌ث‪‌ٝ‬كر‪ٛ‬سر‌دػرش‪‌ٝ‬در‌یؾ‌‬ ‫ػجبسر‌‪z‬‬
‫فشم‪ٞ‬بی‌وبفی‌‪‌B‬سؼشی ‌ٔ ‌‬
‫یو‪ٙ‬یٓ‌سب‌ثش‪ٛ‬اٖ‌اػشمشا‌سا‌ثب‌اػش‪ٙ‬شبج‌(٘شید‪ٌ‌ٝ‬یشی)‌س‪ٛ‬خی‪‌ٝ‬وشد‪‌.‬ث‪ًٛ‌ٝ‬س‌خالك‪‌ ،ٝ‬‬ ‫‌‬

‫تعریف‪‌:‬فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌یبدٌیشی‌ٔف‪‌L‌ْٟٛ‬ثشای‌فوبی‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌‪‌X‬سؼشیر ‌ؿرذ‪‌ٜ‬اػرز‌‪٘‌c‌ٚ‬یرض‌یره‌ٔف‪ٟ‬ر‪‌ْٛ‬دِخر‪ٛ‬ا‪‌ٜ‬س‪ٚ‬ی‌‪‌ٚ‌X‬‬
‫‌ثبؿرذ‪‌.‬‬ ‫‌سـخیق‌اػشمشایی‌‪‌L‬اص‌ ‌ثش‌اػربع‌‬ ‫‌٘یض‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌دِخ‪ٛ‬ا‪ٞ‬ی‌اص‌‪‌c‬ثبؿ‪ٙ‬ذ‪‌.‬اٌش‌‬
‫‌داؿش‪‌ٝ‬ثبؿیٓ‪‌ :‬‬ ‫ثبیبع‌اػشمشایی‌‪ٞ‌L‬ش‌دػش‪‌ٝ‬فشهیبسی‌ٔثُ‌‪‌B‬اػز‌و‪‌ٝ‬ثشای‌‪ٞ‬ش‌ٔف‪ٞ‌ْٟٛ‬ذف‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‌c‬بی‌آٔ‪ٛ‬صؿی‌ٔشث‪‌ًٝٛ‬‬

‫‌‬ ‫)‪(2.1‬‬

‫‌سا‌دلیمر‌بً‌‬ ‫دغ‌ثب‌ایٗ‌سؼشی ‪‌،‬ثبیبع‌اػشمشایی‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬چیؼز؟‌ثشای‌خ‪ٛ‬اة‌ایٗ‌ػؤاَ‪‌،‬ثبیرذ‌ا‪‌َٚ‬‬

‫‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ا‪‌َٚ‬فوبی‌‪ٚ‬ی ‌‬
‫ظ‪ٜ‬ی‌ٔش‪ٙ‬بػرت‌ثرب‌‌‬ ‫ثشای‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌ٔـخق‌و‪ٙ‬یٓ‪‌:‬ثشای‌‪ٞ‬ش‌دػش‪‌ٕٝ٘ٛ٘‌ٝ‬آٔ‪ٛ‬صؿی‌‬
‫یو‪ٙ‬ذ‪‌.‬ثیبیذ‌فشم‌و‪ٙ‬یٓ‌و‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌فمري‌صٔرب٘ی‌ور‪‌ٝ‬ورُ‌‬
‫یو‪ٙ‬ذ‌‪‌ٚ‬ػذغ‌ ‌سا‌اص‌سای‌ٌیشی‌س‪ٚ‬ی‌آٖ‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫‌سا‌ٔحبػج‪‌ ٔ‌ٝ‬‬ ‫آٖ‌‬

‫‪1‬‬
‫‪‌infer‬‬
‫‪2‬‬
‫‪‌inductive bias‬‬
‫‪3‬‬
‫‪‌Follows deductively‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌ثشای‌اٍِ‪ٛ‬سیشٓ‌‪Candidate-‬‬ ‫فشهی‪ٞ ٝ‬بی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ث‪ًٛ‌ٝ‬س‌كذ‌دس‌كذی‌سای‌د‪ٙٞ‬ذ‌خش‪ٚ‬خی‌ثذ‪ٞ‬ذ‪‌.‬حبَ‌ثب‌ٔؼّ‪‌ْٛ‬ؿذٖ‌سؼشی ‌‬

‫‌ ‌اػز‪‌.‬ثرب‌داؿرشٗ‌ایرٗ‌در‌یؾ‌فرشم‌‌‪ٞ‬رش‌‬ ‫‪‌،Elimination‬ثبیبع‌اػشمشایی‌آٖ‌چیؼز؟‌خ‪ٛ‬اة‌‪ٚ‬اهح‌اػز‪ً‌،‬جك‌سؼشی ‌دیؾ‌فشم‌‬
‫اػش‪ٙ‬جبى‌اػشمشایی‌س‪ٛ‬ػي‌‪‌Candidate-Elimination‬دسػز‌خ‪ٛ‬ا‪ٞ‬ذ‌ث‪ٛ‬د‪‌ .‬‬

‫یؿ‪ٛ‬د‪‌،‬ث‪‌ٝ‬ثحرث‌‌‬
‫‌٘شید‪ٌ‌ٝ‬یشی ٔ ‌‬ ‫‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌‬ ‫‌‪ٔ‌ٚ‬ـخلبر‌ ‌‪‌ٚ‬ای‪ٙ‬ى‪‌ٝ‬‬ ‫ثشای‌س‪ٚ‬ؿٗ‌ؿذٖ‌دِیُ‌ای‪ٙ‬ى‪‌ٝ‬چشا‌اص‌‬
‫‌‪‌ٚ‬اص‌سؼشی ‌فوربی‌‬ ‫‌(صیشا‌و‪‌ٝ‬‬ ‫ید‪ٞ‬ذ‌و‪‌ٝ‬‬
‫‌٘شید‪‌ ٔ‌ٝ‬‬ ‫صیش‌س‪ٛ‬خ‪‌ٝ‬و‪ٙ‬یذ‪‌.‬ا‪‌َٚ‬ای‪ٙ‬ى‪‌،ٝ‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬دیؾ‌فشم‌‬
‫‌ثر‪‌ٝ‬ػ‪ٙ‬ر‪ٛ‬اٖ‌‬ ‫‌ٌٔبثمرز‌داسد‌‪‌ٚ‬سؼشیر ‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌ؿبُٔ‌سٕربْ‌اػوربی‌‪‌H‬ور‌‪‌ٝ‬ثرب‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌‌‬
‫‌‬ ‫‪ٚ‬یظ‪‌ٜ‬ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌‬
‫‌سای‌كذ‌دسكذی‌اػوبی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬‬ ‫ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿ ‌‬
‫یای‌و‪‌ٝ‬ثب‌‪‌c‬ػبصٌبس‌اػز)‪‌.‬د‪‌ْٚ‬ای‪ٙ‬ى‪‌،ٝ‬س‪ٛ‬خ‪‌ٝ‬داؿش‪‌ٝ‬ثبؿیذ‌و‪‌ٝ‬فشم‌وشدیٓ‌‬
‫‌٘یض‌‪ٕٞ‬ربٖ‌سـرخیق‌سا‌داؿرش‪ ‌ٝ‬ا٘رذ‌‌‪‌ٚ‬چر‪‌‌ٖٛ‬‬ ‫‌سا‌ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌خش‪ٚ‬خی‌ثذ‪ٞ‬ذ‪‌،‬حشٕب‌سٕبٔی‌فشهی‪ٞ ٝ‬بی‌‬ ‫اػز‪‌.‬ث‪ٙ‬ب‌ثشیٗ‪‌،‬اٌش‌‪‌،L‬‬
‫‪‌.‬ث‪ًٛ‌ٝ‬س‌خالكر‪‌ٝ‬اٍِر‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬سؼشیر ‌ؿرذ‪‌ٜ‬ثرب‌ثبیربع‌صیرش‌‬ ‫‪‌.‬ث‪ٙ‬بثشیٗ‌‬
‫ٌٔبثمز‌داسد‪‌ :‬‬

‫بایاس استقرایی الگوریتم ‪‌.Candidate-Elimination‬ثبیذ‌فوبی‌فشهی‌‪ٞٝ‬ب‌‪ٔ‌H‬ف‪ٞ‌ْٟٛ‬ذف‌‪‌c‬سا‌ؿبُٔ‌ؿ‪ٛ‬د‪‌ .‬‬

‫ید‪ٞ‬ذ‪‌.‬اٍِ‪ٛ‬سیشٓ‌اػشمشایی‌‪‌Candidate-Elimination‬دس‌ثبالی‌ؿىُ‌د‪ٚ‌ٚ‬س‪ٚ‬دی‌‬
‫خالك‪ٝ‬ی‌‪ٚ‬هغ‌سا‌ث‪‌ٝ‬ك‪ٛ‬سر‌ٕ٘‪ٛ‬داسی‌ٕ٘بیؾ‌ٔ ‌‬
‫‌‬ ‫ؿىُ‌‪‌2.8‬‬
‫و‪ٙٙ‬ذ‪ٜ‬ی‌لوی‪‌ٝ‬ثب‌‪ٕٞ‬بٖ‌د‪ٚ‌ٚ‬س‪ٚ‬دی‌‪‌ٚ‬یه‌فشم‌ػ‪ٔ"‌،ْٛ‬ف‪ٞ‌ْٟٛ‬رذف‌دس‌‪ٛٔ‌H‬خر‪ٛ‬د‌‬
‫داسد‪ٞ‌ٕٝ٘ٛ٘‌:‬بی‌آٔ‪ٛ‬صؿی‌‪‌ٕٝ٘ٛ٘‌ٚ‬خذیذ‪‌.‬دس‌دبییٗ‌ؿىُ‌ثبثز‌ ‌‬
‫اػز"‪٘‌،‬ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٜ‬اػز‪‌.‬ث‪ًٛ‌ٝ‬س‌وّی‪‌،‬ایٗ‌د‪‌ٚ‬ػیؼشٓ‌ثشای‌‪ٞ‬ش‌دػش‪‌ٕٝ٘ٛ٘‌ٝ‬آٔ‪ٛ‬صؿی‌‪ٞ‌ٚ‬ش‌ٕ٘‪‌ٝ٘ٛ‬خذیذ‌خش‪ٚ‬خی‌یىؼبٖ‌ٔ ‌‬
‫ید‪ٙٞ‬ذ‪‌.‬اِجش‪‌ٝ‬ثبیربع‌‬
‫و‪ٙٙ‬ذ‪ٜ‬ی‌لوی‪‌ٝ‬اػز‌ث‪ًٛ‌ٝ‬س‌ثبِم‪‌ٜٛ‬دس‌وذ‌اٍِ‪ٛ‬سیشٓ‌‪ٚ‌Candidate-Elimination‬خ‪ٛ‬د‌داسد‪‌.‬ث‪‌ٝ‬ػجربسسی‪‌،‬ایرٗ‌‬
‫اػشمشایی‌و‪ٚ‌ٝ‬س‪ٚ‬دی‌ػ‪‌ْٛ‬ثبثز‌ ‌‬
‫ید‪ٞ‬ذ‌و‪‌ٝ‬خش‪ٚ‬خی‌حشٕبً‌دسػز‌اػز‪‌ .‬‬
‫فمي‌دس‌ؿىُ‌٘ـبٖ‌داد‪‌ٜ‬ؿذ‪‌ٚ‌ٜ‬سأثیشی‌دیٍش‌٘ذاسد‪‌.‬اص‌ًشف‌دیٍش‌ایٗ‌‪ٚ‬س‪ٚ‬دی‌ث‪ٔ‌ٝ‬ب‌إًی‪ٙ‬بٖ‌ٔ ‌‬

‫‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؼشٓ‪ٞ‬بی اػشمشایی‌‪‌ٓٞ‬اسص‪.‬‬
‫ؼشٓ‪ٞ‬بی اػشمشایی‌ثب‌ػی ‌‬
‫ؿىُ‌‪ٔ‌2.8‬ذَ‌ػبصی‌ػی ‌‬
‫و‪ٙٙ‬ذ‪ٜ‬ی‌لوی‪ ٝ‬ای‌اػز‌‬‫سفشبس‌‪ٚ‬س‪ٚ‬دی‪-‬خش‪ٚ‬خی‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثب‌اػشفبد‪‌ٜ‬اص‌فوبی‌فشهی‪ ٝ‬ای ‪‌H‬دسػز‌ٔـبث‪‌ٝ‬سفشبس‌اػشمشایی‌ثبثز‌ ‌‬
‫یو‪ٙ‬ذ‪‌.‬اص‌ایٗ‌س‪‌ٚ‬دیؾ‌فشم‌اهبف‪‌ٝ‬ؿذ‪ٔ"‌،ٜ‬ف‪ٞ‌ْٟٛ‬ذف‌دس‌فوبی‌فشهی‪ ٝ‬ای‌‪ٚ‬خ‪ٛ‬د‌‬ ‫و‪‌ٝ‬اص‌دیؾ‌فشم‌"ٔف‪ٞ‌ْٟٛ‬ذف‌دس‌فوبی‌فشهی‪ ٝ‬ای‌‪ٚ‬خ‪ٛ‬د‌داسد"‌اػشفبد‪‌ ٔ‌ٜ‬‬
‫ییؿربٖ‌‌ثرب‌ٔرب‌ایرٗ‌اخربص‪‌ٜ‬سا‌‬
‫بع‪ٞ‬بی‌اػشمشا ‌‬
‫یؿ‪ٛ‬د‪‌.‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌ػیؼشٓ‌‪ٞ‬بی‌اػشمشایی‌ثب‌ثبی ‌‬ ‫داسد"‪‌،‬ثبیبع‌اػشمشایی‌‪٘‌Candidate-Elimination‬بٔیذ‪‌ ٔ‌ٜ‬‬
‫ؼشٓ‪ٞ‬بی‌اػشمشایی‌سا‌ثش‌اػربع‌٘حر‪‌ٜٛ‬ی‌اػرشمشا‌‬
‫یؿ‪ٛ‬د‌سب‌ثش‪ٛ‬ا٘یٓ‌ػی ‌‬ ‫ؼشٓ‪ٞ‬بی‌اػشمشایی‌٘ظیش‌ٔذ‌ػبصی‌و‪ٙ‬یٓ‪‌.‬ایٗ‌ٔذَ‌ػبصی‌ثبػث‌ٔ ‌‬‫ید‪ٞ‬ذ‌و‪‌ٝ‬آٖ‌‪ٞ‬ب‌سا‌ثب‌ػی ‌‬
‫ٔ‌‬
‫س‪ٚ‬ی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ٔمبیؼ‪‌ٝ‬و‪ٙ‬یٓ‪‌ .‬‬
‫٘ح‪ٜٛ‬ی‌سبٔیٓ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ثشای‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیرذ‌‪‌،‬‬ ‫یىی‌اص‌ٔضیز‌‪ٞ‬بی‌ٍ٘ب‪‌ٜ‬ثبیبع‌اػشمشایی‌ث‪‌ٝ‬ػیؼشٓ‌‪ٞ‬بی‌اػش‪ٙ‬جبى‌اػشمشایی‪‌،‬دیذا‌وشدٖ‌ ‌‬
‫یس‪ٛ‬ا٘یٓ‌لذسر‌یبدٌیش ‪ٞ‬بی‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬رب‌ی‌ٔخشّر ‌سا‌ٔمبیؼر‪‌ٝ‬و‪ٙ‬ریٓ‪‌.‬‬
‫ثذ‪‌ٖٚ‬ایٗ‌و‪‌ٝ‬ثب‌ٔشاحُ‌اٍِ‪ٛ‬سیشٕـبٖ‌دسٌیش‌ؿ‪ٛ‬یٓ‌اػز‪ٔ‌.‬ضیز‌د‪‌ْٚ‬ای‪ٙ‬ى‪‌ ٔ‌،ٝ‬‬
‫ؿذ‪ٜ‬ا٘ذ‪‌ :‬‬
‫یسشیٗ‌ثبیبع‌سشسیت‌ ‌‬
‫ثشای‌ٔثبَ‌ػ‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌صیش‌ث‪‌ٝ‬سشسیت‌هؼی ‌سشیٗ‌ث‪‌ٝ‬ل‪‌ ٛ‬‬

‫‪ٞ‌:Rote-Learner‌.1‬ش‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌سا‌دس‌حبفظ‪‌ٝ‬رخیش‪‌ٜ‬ػبصی‌ٔ ‌‬
‫یو‪ٙ‬ذ‪‌.‬ثشای‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌خذیرذ‌‪‌،‬فمري‌دس‌حبفظر‪‌ٝ‬خؼرشد‪‌ٛ‬‬
‫ید‪ٞ‬ذ! ‌‬
‫ید‪ٞ‬ذ‪‌،‬دس‌غیش‌ایٗ‌ك‪ٛ‬سر‌خش‪ٚ‬خی‌ٕ٘ ‌‬
‫یو‪ٙٙ‬ذ‪‌،‬اٌش‌ٔثبَ‌ٔیبٖ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ث‪ٛ‬د‌خ‪ٛ‬اة‌سا‌خش‪ٚ‬خی‌ٔ ‌‬
‫ٔ‌‬

‫‪‌.2‬اٍِ‪ٛ‬سیشٓ‌‪ٕٞ‌:Candidate-Elimination‬بٖ‌ً‪ٛ‬س‌و‪‌ٝ‬لجالً‌٘یض‌س‪ٛ‬هیح‌داد‪‌ٜ‬ؿذ‪‌،‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌خبف‌سشیٗ ‪‌ٚ‬وّ ‌‬
‫یسشیٗ‌فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌‬
‫یو‪ٙ‬ذ‪‌ .‬‬
‫یو‪ٙ‬ذ‌‪‌ٚ‬ثب‌اػشفبد‪‌ٜ‬اص‌فوبی‌‪ٚ‬یظ‪(‌ٜ‬سای‌كذ‌دسكذی)‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سا‌دیذا‌ٔ ‌‬

‫‪‌:FIND-S‌.3‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌خبف‌سشیٗ‌فشهی‌‪ٝ‬ی‌ٕٔىٗ‌ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سا‌دیذا‌وشد‪‌ٚ‌ٜ‬اص‌آٖ‌ثشای‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌خذیرذ‌‌‬
‫یو‪ٙ‬ذ‪‌ .‬‬
‫اػشفبد‪‌ ٔ‌ٜ‬‬

‫یو‪ٙ‬ذ‌‪ٞ‌ٚ‬یچ‌‬ ‫اٍِ‪ٛ‬سیشٓ‌‪ٞ‌Rote-Learner‬یچ‌ثبیبع‌اػشمشا ‌‬
‫ییای‌٘ذاسد‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌خذیذ‌سا‌فمي‌ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌آٔ‪ٛ‬صؿی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫یسشی‌داسد‪ٔ‌:‬ف‪ٞ‌ْٟٛ‬ذف‌دس‌ٔیبٖ‌اػوبی‌فوربی‌فشهر‌ی‪ٞ‌ٝ‬رب‌‌‪‌H‬‬
‫یو‪ٙ‬ذ‪‌Candidate-Elimination‌.‬ثبیبع‌اػشمشایی‌ل‪‌ ٛ‬‬
‫فشم‌اهبف‪ ٝ‬ای‌ٕ٘ ‌‬
‫یسشی‌٘ؼجز‌ثر‪‌Rote-learner‌ٝ‬داسد‌ٔثربَ‌‪ٞ‬رب‌یی‌سا‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌‬
‫ٔ‪ٛ‬خ‪ٛ‬د‌اػز‪‌.‬چ‪‌Candidate-Elimination‌ٖٛ‬ثبیبع‌اػشمشایی‌ل‪‌ ٛ‬‬
‫یو‪ٙ‬ذ‌و‪‌Rote-Learner‌ٝ‬اص‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌آٖ‌‪ٞ‬ب‌ػبخض‌اػز‪‌.‬اِجش‪‌ٝ‬س‪ٛ‬خ‪‌ٝ‬داسیذ‌و‪‌ٝ‬دسػشی‌ایٗ‌دػش‪‌ٝ‬ث‪ٙ‬ذ ‌‬
‫ی‪ٞ‬ب‌وبٔالً‌ث‪‌ٝ‬دسػشی‌ثبیبع‌اػرشمشایی‌‬ ‫ٔ‌‬
‫یو‪ٙ‬ذ‌و‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌یىری‌اص‌اػوربی‌فوربی‌‬ ‫‪ٚ‬اثؼش‪‌ٝ‬اػز‪‌.‬ثبیبع‌اػشمشایی‌‪‌FIND-S‬حشی‌اص‌ایٗ‌‪‌ٓٞ‬ل‪‌ ٛ‬‬
‫یسش‌اػز‪‌:‬ػال‪‌ٜٚ‬ثش‌ایٗ‌و‪‌ٝ‬فشم‌ٔ ‌‬
‫یو‪ٙ‬ذ‌و‪‌ٝ‬سٕبٔی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌ٕ٘‪ٙٔ‌ٝ٘ٛ‬فی‌‪ٞ‬ؼش‪ٙ‬ذ‌ٍٔش‌ای‪ٙ‬ى‪‌ٝ‬خالفؾ‌ثبثز‌ؿ‪ٛ‬د‌(ثب‌اًالػبر‌لجّی‌ثبثز‌ؿذ‪‌ٜ‬ثبؿذ‌ور‪‌ٝ‬‬
‫فشهی‪ٞ‌ٝ‬بػز‪‌،‬فشم‌ٔ ‌‬
‫ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌اػز)‪‌ ‌.‬‬

‫آٖسا‌٘یرض‌ثشسػری‌و‪ٙ‬ریٓ‪ٔ‌.‬شرذ‪ٞ‬ب‌یی‌ور‪‌ٝ‬ثبیربع‌اػرشمشایی‌‬
‫ثذ‌٘یؼز‌و‪‌ٝ‬دس‌ٔ‪ٛ‬اخ‪‌ٟٝ‬ثب‌دیٍش‌ٔشذ ‪ٞ‬بی‌اػش‪ٙ‬جبى‌اػشمشایی‌ثبیبع‌اػشمشایی‌‪‌ٚ‬لرذسر‌‌ ‌‬
‫یس‪ٛ‬ا٘‪ٙ‬رذ‌‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌و‪ٙٙ‬رذ‪‌.‬ثؼوری‌‬
‫یسشی‌داس٘ذ‌لذسر‌ثیـششی‌٘یض‌دس‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌داس٘ذ‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬بی‌خذیذ‌ثیـرششی‌سا‌ٔر‌ ‌‬
‫ل‪‌ ٛ‬‬
‫یٌزاس٘ذ‪ٔ‌،‬ثُ‌ایٗ‌ثبیبع‪"‌:‬فوربی‌‬
‫ثبیبع‌‪ٞ‬بی‌اػشمشایی‌دیؾ‌فشم‌‪ٞ‬بی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙٙ‬ذ‪ ٜ‬ای‌‪ٞ‬ؼش‪ٙ‬ذ‌و‪‌ٝ‬دػش‪ ٝ‬ای‌اص‌فشهی‪ٞ‌ٝ‬ب‌سا‌ث‪‌ٝ‬وّی‌و‪ٙ‬بس‌ٔ ‌‬
‫یٌزاس٘رذ‌‪ٔ‌،‬ثرُ‪"‌:‬فشهری‪ٞ ‌ٝ‬ربی‌‬ ‫فشهی‪ٞ‌ٝ‬ب‌‪‌H‬ثبیذ‌ؿبُٔ‌ٔف‪ٞ‌ْٟٛ‬ذف‌ثبؿذ"‪‌.‬ثؼوی‌دیٍش‌اص‌ثبی ‌‬
‫بع‪ٞ‬ب‌فمي‌سشسیجی‌ثشای‌ا‪ِٛٚ‬یز‌ثیٗ‌فشهی‌‪ٞٝ‬رب‌‌ٔر‌ ‌‬
‫بع‪ٞ‬بیی‌و‪‌ٝ‬روش‌ؿذ‪‌.‬دس‌فل‪‌َٛ‬‬
‫ؿذ‪ٜ‬ا٘ذ‪‌،‬ثبی ‌‬ ‫یسش‌اسخحیز‌داس٘ذ"‪‌.‬ثؼوی‌اص‌ثبی ‌‬
‫بع‪ٞ‬ب‌٘یض‌ث‪ًٛ‌ٝ‬س‌ثبِم‪‌ٜٛ‬دس‌یبدٌیش‌لشاس‌داد‪‌ ‌ٜ‬‬ ‫ثش‌فشهی‪ٞٝ‬بی‌وّ ‌‬
‫‌‬ ‫خبفسش‌‬
‫‌‬
‫یو‪ٙ‬ذ‪.‬‬
‫ؼشٓ‪ٞ‬بی‌دیٍشی‌سا‌ٔ‪ٛ‬سد‌ثحث‌لشاس‌خ‪ٛ‬ا‪ٞ‬یٓ‌داد‌و‪‌ٝ‬ث‪ٙ‬ب‌ث‪‌ٝ‬خ‪ٛ‬اػز‌یبدٌیش‌ثبیبع‌سغییش‌ٔ ‌‬
‫‪‌12‌ٚ‌11‬ػی ‌‬

‫‪ 1.7‬خالصِ ٍ هٌابع برای هطالعِی بیشتر‬

‫٘ىبر‌اكّی‌ایٗ‌فلُ‪‌ :‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یس‪ٛ‬اٖ‌ث‪ٔ‌ٝ‬ؼبیُ‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ث‪‌ٝ‬دیذ‌خؼشد‪ٛ‬ی‌دس‌ٔیبٖ‌سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ٕٔىٗ‌ٍ٘ب‪‌ٜ‬وشد‪.‬‬
‫ٔ‌‬ ‫‪‬‬
‫یس‪ٛ‬اٖ‌ثشای‌‪ٞ‬رش‌‬
‫یس‪ٛ‬ا٘ذ‌ث‪‌ٝ‬ایٗ‌خؼشد‪‌ٛ‬ػبصٔبٖ‌ثجخـذ‪‌،‬ایٗ‌ػبصٔب٘ذ‪ٞ‬ی‌دس‌خؼشد‪ٛ‬ی‌فوبی‌فشهی‌‪ٞٝ‬ب‌سا‌ٔ ‌‬
‫یسشی‌فشهی‪ٞ‌ٝ‬ب‌ٔ ‌‬
‫سشسیت‌وّ ‌‬ ‫‪‬‬
‫ٔؼئّ‪ٝ‬ی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ث‪‌ٝ‬وبس‌ثشد‪.‬‬
‫‌‬
‫ید‪ٞ‬رذ‌‪‌،‬‬
‫یسشی‪‌،‬سشسیت‌ٔ ‌‬ ‫اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ثب‌اػشفبد‪‌ٜ‬اص‌سشسیت‌وّ ‌‬
‫یسشی‪‌،‬یه‌خؼشد‪‌ٛ‬دس‌ٔیبٖ‌فشهی‪ٞ‌ٝ‬ب‌سا‌دس‌یه‌ؿبخ‪‌ٝ‬اص‌سشسیت‌وّ ‌‬ ‫‪‬‬
‫خبفسشیٗ‌فشهی‌‪ٝ‬ی‌ٌٔبثك‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌سا‌دیذا‌و‪ٙ‬ذ‪.‬‬
‫سب‌دس‌آخش‌ ‌‬
‫اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثب‌اػشفبد‪‌ٜ‬اص‌سشسیت‌وّ ‌‬
‫یسشی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌(سٕبٔی‌فشهی‪ٞ ٝ‬ربی‌ػربصٌبس‌ثرب‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌‬ ‫‪‬‬
‫یسشیٗ‌)‪‌(G‬فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌دیذا‌ٔ ‌‬
‫یو‪ٙ‬ذ‪.‬‬ ‫خبفسشیٗ‌)‪‌ٚ‌(S‬وّ ‌‬
‫ٔحبػج‪ٝ‬ی‌ ‌‬
‫‌‬ ‫آٔ‪ٛ‬صؿی)‌ثب‌اػشفبد‪‌ٜ‬اص‌‬
‫ید‪ٙٞ‬رذ‌‪‌.‬ایرٗ‌‬ ‫چ‪‌Gٚ‌S‌ٖٛ‬سٕبٔی‌فشهی‪ٞ ٝ‬بی‌ػبصٌبس‌ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬ب‌سا‌ٔحذ‪ٚ‬د‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‪‌،‬ث‪‌ٝ‬یبدٌیش‌اًالػبسی‌لٌؼی‌دس‌ٔ‪ٛ‬سد‌ٔف‪ٞ‌ْٟٛ‬ذف‌ٔ ‌‬ ‫‪‬‬
‫یس‪ٛ‬اٖ‌ثشسػی‌وشد‌و‪‌ٝ‬آیب‌فشهی‪ٞ ٝ‬بی‌ٕٔىرٗ‌‪ٍٕٞ‬رشا‌ؿرذ‪‌ٜ‬ا٘رذ‌‪‌،‬سرب‌ٔـرخق‌ؿر‪ٛ‬د‌ور‪‌‌ٝ‬آیرب‌‬
‫فوبی‌‪ٚ‬یظ‪‌ٜ‬د‪‌ٚ‬وبسثشد‌داسد‪‌:‬ا‪‌َٚ‬ای‪ٙ‬ى‪‌ ٔ‌ٝ‬‬
‫ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌وبفی‌ث‪ٛ‬د‪‌ٚ‌ٜ‬چ‪‌ٝ‬آصٔبیؾ‌‪ٞ‬بیی‌ثشای‌‪ٍٕٞ‬شا‌ػبصی‌فوبی‌‪ٚ‬یظ‪ٙٔ‌ٜ‬بػت‌اػز‪‌.‬د‪‌ْٚ‬ای‪ٙ‬ى‪‌ ٔ‌ٝ‬‬
‫یس‪ٛ‬اٖ‌ثرب‌اػرشفبد‪‌ٜ‬اص‌‌آٖ‌‬
‫ثشای‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌اػشفبد‪‌ٜ‬وشد‪.‬‬
‫ثب‌‪ٚ‬خ‪ٛ‬د‌ای‪ٙ‬ى‪‌ٝ‬فوبی‌‪ٚ‬یظ‪‌ٚ‌ٜ‬اٍِ‪ٛ‬سیشٓ‌‪ٔ‌Candidate-Elimination‬حیٌی‌ادساوی‌ثشای‌دسن‌یبدٌیشی‌ٔف‪‌ْٟٛ‬ایدبد‌ٔ ‌‬
‫یو‪ٙٙ‬ذ‪‌،‬د‪‌ٚ‬‬ ‫‪‬‬
‫ٔـىُ‌ػٕذ‪‌ٜ‬داس٘ذ‪‌:‬ا‪‌َٚ‬ای‪ٙ‬ى‪‌ٝ‬دس‌ٔمبثُ‌خٌب‌‪‌ٚ‬داد‪ٞ ٜ‬بی‌٘‪ٛ‬یض‌داس‌وبٔالً‌آػیت‌دزیش٘رذ‌‪‌ٚ‬د‪‌ْٚ‬ای‪ٙ‬ىر‪‌ٝ‬اٌرش‌ٔف‪ٟ‬ر‪ٞ‌ْٛ‬رذف‌دس‌‪٘‌H‬جبؿرذ‌‬
‫یدشداصیٓ‪.‬‬
‫یو‪ٙٙ‬ذ‌‪‌ٚ‬دس‌ٔمبثُ‌٘‪ٛ‬یض‌٘یض‌ٔمب‪ٙٔٚ‬ذ‌ٔ ‌‬
‫یسشی‌اػشفبد‪‌ ٔ‌ٜ‬‬
‫شٓ‪ٞ‬بیی‌و‪‌ٝ‬اص‌سشسیت‌وّ ‌‬
‫آٖسا‌دیذا‌و‪ٙٙ‬ذ‪‌.‬دس‌فلُ‌‪‌11‬ثب‌اٍِ‪ٛ‬سی ‌‬
‫یس‪ٛ‬ا٘‪ٙ‬ذ‌ ‌‬
‫ٕ٘ ‌‬
‫یس‪ٛ‬ا٘‪ٙ‬ذ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙٙ‬ذ‌و‪‌ٝ‬ثبیبػی‌داؿرش‪‌ٝ‬ثبؿر‪ٙ‬ذ‪‌.‬ثبیربع‌اػرشمشایی‌ثبػرث‌‬
‫اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بی‌اػشمشایی‌فمي‌صٔب٘ی‌ٔ ‌‬ ‫‪‬‬
‫یؿ‪ٛ‬د‌و‪‌ٝ‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬ب‌فشهی‪ ٝ‬ای‌سا‌اص‌فشهی‌‪ٝ‬ی‌دیٍش‌ٔمذْ‌سش‌ثذا٘‪ٙ‬ذ‌‪‌ٚ‬ثرب‌‌آٖ‌ٕ٘‪٘ٛ‬ر‪ٞ‌ٝ‬ربی‌خذیرذ‌‌سا‌دػرش‪‌ٝ‬ث‪ٙ‬رذی‌و‪ٙٙ‬رذ‪‌.‬ثبیربع‌‬
‫ٔ‌‬
‫اػشمشایی‌دس‌٘ظش‌ٌشفش‪‌ٝ‬ؿذ‪‌ٜ‬دس‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ایٗ‌اػز‌و‪‌ٝ‬فشم‌ؿذ‪ٔ‌ٜ‬ف‪ٞ‌ْٟٛ‬ذف‌دس‌فوبی‌فشهی‪ٞ‌ٝ‬ب‌‬
‫ید‪ٞ‬ذ‌ٔجش‪ٙ‬ی‌ثش‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌‪‌‌ٚ‬ایٗ‌ثبیبع‌اػشمشایی‌اػز‪.‬‬
‫اػش‪ٙ‬جبى‪ٞ‬بیی‌و‪‌ٝ‬ایٗ‌اٍِ‪ٛ‬سیشٓ‌ا٘دبْ‌ٔ ‌‬
‫‌‬ ‫(‪‌.‬‬ ‫ٔ‪ٛ‬خ‪ٛ‬د‌اػز‌)‬
‫‪ٕٝٞ‬ی‌فشهی‪ٞ ٝ‬ربی‌ٕٔىرٗ‌سا‌داؿرش‪‌ٝ‬ثبؿرذ‌(‌ٔدٕ‪ٛ‬ػر‪‌ٝ‬ی‌سر‪ٛ‬ا٘ی‌ٔثربَ‌‪ٞ‬رب‌)‌ثبیربع‌اػرشمشایی‌‪Candidate-‬‬
‫اٌش‌فوبی‌فشهی‪ٞ‌ٝ‬ب‌ ‌‬ ‫‪‬‬
‫یس‪ٚ‬د‪‌.‬یبدٌیش‌ثذ‪‌ٖٚ‬ثبیربع‌‬ ‫‪‌Elimination‬ثش‌ًشف‌ٔ ‌‬
‫یؿ‪ٛ‬د‪‌.‬أب‌ٔشأػفب٘‪ٞ‌ٝ‬شٌ‪‌ٝ٘ٛ‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌ثب‌ایٗ‌ػُٕ‌اص‌ثیٗ‌ٔ ‌‬
‫ٕ٘ی س‪ٛ‬ا٘ذ‌ثب‌اػشمشا‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌خذیذ‌سا‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌و‪ٙ‬ذ‪.‬‬
‫یسشی‌خیّی‌خذیذ‌٘یؼرز‪‌(Burner et al. 1957)‌.‬ا‪ِٚ‬ریٗ‌ٌٔبِؼربر‌سا‌دس‌ٔر‪ٛ‬سد‌یربدٌیشی‌ٔف‪ٟ‬ر‪‌ْٛ‬س‪ٚ‬ی‌‬
‫ذ‪ٜ‬ی‌یبدٌیشی‌ٔف‪‌ٚ‌ْٟٛ‬سشسیت‌وّ ‌‬
‫ای ‌‬
‫ا٘ؼبٖ‪ٞ‬ب‌ا٘دبْ‌داد‪‌(1963)‌(Hunt and Hovland 1963)‌،‬ا‪ِٚ‬یٗ‌ ‌‬
‫سالؽ‪ٞ‬ب‌سا‌ثشای‌اٍِ‪ٛ‬سیشٕیره‌ورشدٖ‌‌آٖ‌ا٘دربْ‌داد٘رذ‪‌‌.‬سرض‌دوشرشای‌‌‬ ‫‌‬
‫بر‪ٞ‬بی‌وّی‌ػبصی‌‪‌ٚ‬خضیی‌ػبصی‌سؼشی ‌ورشد‪‌(Plotkin)‌.‬‬
‫ٔؼش‪ٚ‬ف‌)‪‌(Wiston‬و‪‌ٝ‬یبدٌیشی‌ٔف‪‌ْٟٛ‬سا‌ث‪‌ٝ‬ك‪ٛ‬سر‌خؼشد‪ٛ‬یی‌ثب‌اػشفبد‪‌ٜ‬اص‌ػّٕی ‌‬
‫یسشی‌‪ٚ‬اثؼش‪‌ٝ‬ث‪‌ٝ‬خب٘ـی‪ٙ‬ی‌‪(‌1‌θ‬و‪‌ٝ‬دس‌فلُ‌‪ٌٔ‌11‬شح‌ؿذ‪‌)ٜ‬ثذػز‌آ‪ٚ‬سد‪(Simon and Lea ‌.‬‬ ‫)‪‌(1970,1971‬فشٔ‪ِٛ‬ی‌ا‪ِٚ‬ی‪‌ٝ‬اص‌ ‌‬
‫ساثٌ‪ٝ‬ی‌وّ ‌‬
‫)‪‌1973‬یرربدٌیشی‌ٔف‪ٟ‬رر‪‌ْٛ‬سا‌ثرر‪ٔ‌ٝ‬ؼ‪ٙ‬رربی‌خؼررشد‪‌ٛ‬دس‌فورربی‌فشهرری‪ ‌ٝ‬ای‌سا‌ٌٔررشح‌وشد٘ررذ‪‌.‬ثمی ر‌‪ٝ‬ی‌ػیؼررشٓ‌‪ٞ‬رربی‌یرربدٌیشی‌ٔف‪ ٟ‬ر‪‌ْٛ‬ا‪ِٚ‬یرر‪‌،ٝ‬‬
‫)‪ٞ‌(Hayes-Roth 1974)‌ٚ‌(Vere 1975)‌،(Buchanan 1974)‌،(Michalski 1973)‌،‌(Popplestone 1969‬ؼرش‪ٙ‬ذ‪‌.‬‬
‫سؼذاد‌صیبدی‌اص‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌و‪‌ٝ‬سب‌ث‪‌ٝ‬حبَ‌ثشای‌یبدٌیشی‌ٔف‪ً‌ْٟٛ‬شاحی‌ؿذ‪ٔ‌ٜ‬جش‪ٙ‬ی‌ثش‌ٕ٘بیؾ‌ٕ٘بدیٗ‪‌2‬ث‪ٛ‬د‪‌ٜ‬اػرز‪‌.‬دس‌فلرُ‌‪‌،11‬سؼرذاد‌ثؼریبس‌‬
‫یو‪ٙٙ‬ذ‪‌،‬اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌و‪٘‌ٝ‬ؼجز‌ث‪٘‌ٝ‬ر‪ٛ‬یض‌‪‌ٚ‬خٌرب‌‬
‫دیٍشی‌اص‌اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بی‌یبدٌیشی‌ٔف‪‌ْٟٛ‬اص‌خّٕ‪‌ٝ‬اٍِ‪ٛ‬سیشٓ‌‪ٞ‬بیی‌و‪‌ٝ‬اص‌ٔ‪ٌٙ‬ك‌ٔشسج‪‌ٝ‬ا‪‌َٚ‬اػشفبد‪‌ ٔ‌ٜ‬‬
‫یو‪ٙٙ‬ذ‌سا‌ثشسػی‌خ‪ٛ‬ا‪ٞ‬یٓ‌وشد‪‌ .‬‬
‫شٓ‪ٞ‬بیی‌و‪‌ٝ‬حشی‌اٌش‌ٔف‪ٞ‌ْٟٛ‬ذف‌دس‌ٔیبٖ‌فوبی‌فشهی‌‪ٞٝ‬ب‌٘جبؿذ‌ثبص‌‪‌ٓٞ‬دسػز‌وبس‌ٔ ‌‬
‫ٔمب‪ٞ‌ْٚ‬ؼش‪ٙ‬ذ‌‪‌ٚ‬اٍِ‪ٛ‬سی ‌‬

‫‪1‬‬
‫‪‌θ-sumsumption‬‬
‫‪2‬‬
‫‪‌symbolic representation‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فوب ‪ٞ‬بی‌‪ٚ‬یظ‪‌ٚ‌ٜ‬اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬س‪ٛ‬ػي‌ٔیـُ‌)‪ً‌(Mitchell 1977,1982‬شاحری‌‪ٔ‌ٚ‬ؼشفری‌ؿرذ‪‌.‬وربسثشد‌ایرٗ‌‬

‫اٍِ‪ٛ‬سیشٓ‌ثشای‌اػش‪ٙ‬جبى‌ل‪ٛ‬ا٘یٗ‌ًی ‌ثی‪ٙ‬ی‌خشٔی‌٘یض‌س‪ٛ‬ػي‌‪ٚ‬ی‌ا٘دبْ‌ؿذ‌)‪ٕٞ‌ٚ‌.(1979‬چ‪ٙ‬یٗ‌وبسثشد‌آٖ‌ثشای‌یبدٌیشی‌ل‪ٛ‬ا٘یٗ‌و‪ٙ‬ششَ‌خؼرشد‪‌ٛ‬‬
‫٘یض‌س‪ٛ‬ػي‌‪ٚ‬ی‌دس‌ػبَ‌‪‌1983‬ا٘دبْ‌ؿذ‪٘‌(1988)‌Haussler‌.‬ـبٖ‌داد‌و‪ٔ‌ٝ‬شص‌وّی‌ٔش‪ٙ‬بػت‌ثب‌سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ٔ ‌‬
‫یس‪ٛ‬ا٘ذ‪‌،‬حشی‌صٔب٘ی‌‬
‫ٕ٘‪ٞٝ٘ٛ‬بػز‪‌،‬ث‪‌ٝ‬ك‪ٛ‬سر‌ٕ٘بیی‌افضایؾ‌یبثرذ‌‪٘‌(Smith and Rosenbloom 1990)‌.‬ـربٖ‌‬
‫ی‪ٞ‬بی‌ ‌‬
‫و‪‌ٝ‬فوبی‌فشهی‪‌ٝ‬ای‌ؿبُٔ‌ػٌ ‌‪ٚ‬یظٌ ‌‬
‫یس‪ٛ‬ا٘ذ‌دس‌ثؼوی‌ٔ‪ٛ‬اسد‌دیچیذٌی‌سا‌ث‪ٟ‬ج‪ٛ‬د‌ثخـذ‌‪٘‌(Hirsh 1992)‌ٚ‬ـبٖ‌داد‌ور‪‌ٝ‬یربدٌیشی‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌‪‌ ٔ‌G‬‬
‫‌‬ ‫داد٘ذ‌و‪‌ٝ‬سغییش‌و‪ٛ‬چىی‌دس‌ٕ٘بیؾ‌‬
‫یس‪ٛ‬ا٘ذ‌دس‌ثؼوی‌ٔ‪ٛ‬اسد‌و‪ٔ‌G‌ٝ‬شست‪ٔ‌1‬ش‪ٙ‬بػت‌ثب‌چ‪ٙ‬ذ‌خّٕ‪‌ٝ‬ای‌اص‌سؼذاد‌ ‌‬
‫ٕ٘‪ٞٝ٘ٛ‬ب‌ثبؿرذ‪‌(Subramanian and Feigenbaum 1986)‌.‬‬ ‫ٔ‌‬
‫یس‪ٛ‬ا٘ذ‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌ٔ‪ٛ‬ثشی‌دس‌ثؼوی‌ٔ‪ٛ‬اسد‌ثب‌فبوش‪ٛ‬س‌ٌیشی‌اص‌فوبی‌‪ٚ‬یظ‪‌2ٜ‬ا٘دبْ‌د‪ٞ‬ذ‪‌.‬یىی‌اص‌ثضسي‌سرش‌یٗ‌ٔحرذ‪ٚ‬د‌یز‌‪ٞ‬رب‌ی‌ػّٕری‌‬
‫ٔشذی‌سا‌و‪‌ ٔ‌ٝ‬‬
‫اٍِ‪ٛ‬سیشٓ‌‪٘‌Candidate-Elimination‬یبص‌آٖ‌ث‪‌ٝ‬داد‪ٞ‌ٜ‬بی‌آٔ‪ٛ‬صؿی‌ثذ‪‌ٖٚ‬خٌبػز‪‌(Mitchell 1979)‌.‬سؼٕیٕی‌اص‌ایٗ‌اٍِ‪ٛ‬سیشٓ‌سا‌اسائر‪‌ٝ‬‬
‫یس‪ٛ‬ا٘ذ‌ثب‌خٌبی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔحذ‪ٚ‬د‌‪‌ٚ‬اص‌دیؾ‌سؼییٗ‌ؿذ‪‌ٜ‬وبس‌و‪ٙ‬ذ‌‪‌(Hirsh 1990,1994)‌ٚ‬سؼٕیٓ‌صیجبیی‌ثشای‌وربس‌‌ثرب‌خٌربی‌‬
‫یو‪ٙ‬ذ‌و‪‌ ٔ‌ٝ‬‬
‫ٔ‌‬
‫یو‪ٙ‬ذ‪‌‌(Hirsh 1990)‌.‬اٍِر‪ٛ‬سیشٓ‌ ‪Incremental‬‬
‫یو‪ٙٙ‬ذ‌سا‌اسائ‪‌ ٔ‌ٝ‬‬
‫ی‪ٞ‬بی‌حمیمی‌ٔمذاس‌و‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌آٔ‪ٛ‬صؿی‌سا‌س‪ٛ‬كی ‌ٔ ‌‬
‫ٔحذ‪ٚ‬د‌دس‌‪ٚ‬یظٌ ‌‬
‫‪‌Version Space Merging‬سا‌و‪‌ٝ‬سؼٕیٕی‌اص‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬اػز‌سا‌ثرشای‌حربالسی‌ور‪‌ٝ‬اًالػربر‌آٔ‪ٛ‬صؿری‌‌‬
‫حبالر‌ٔخشّفی‌اص‌لی‪ٛ‬د‌س‪ٛ‬ػي‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثیبٖ‌ؿذ‪ ‌ٜ‬اػز‌سا‌اسائ‪‌ٝ‬داد‪‌.‬اًالػبر‌‪ٞ‬ش‌یه‌اص‌لی‪ٛ‬د‌س‪ٛ‬ػي‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ای‌ثیبٖ‌ؿذ‪‌ٚ‌ٜ‬ػذغ‌لی‪ٛ‬د‌ثرب‌‬
‫ی٘بٔذ‌سا‌ثشای‌یبدٌیشی‌فلرُ‌‬
‫ظ‪ٜ‬ی‌فلّی‌ٔ ‌‬ ‫یؿ‪٘ٛ‬ذ‪‌(Sebag 1994, 1996)‌.‬س‪ٚ‬ؽ‌یبدٌیش ‌‬
‫یای‌سا‌و‪‌ٝ‬فوبی‌‪ٚ‬ی ‌‬ ‫سمؼیٓ‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سشویت‌ٔ ‌‬
‫ٕ٘‪ٝ٘ٛ‬ی‌آٔ‪ٛ‬صؿی‌یبد‌ٌشفش‪‌ٝ‬ؿذ‪ٞ‌ٕٝ٘ٛ٘‌ٚ‌ٜ‬بی‌خذیرذ‌ثرب‌‬
‫ظ‪ٜ‬ی‌ٔدضایی‌ثشای‌‪ٞ‬ش‌ ‌‬
‫یو‪ٙ‬ذ‪‌.‬دس‌ایٗ‌س‪ٚ‬ؽ‪‌،‬فوبی‌‪ٚ‬ی ‌‬
‫ٔفب‪ٞ‬یٓ‌اص‌داد‪ٞ‌ٜ‬بی‌خٌب‌داس‌اسائ‪‌ ٔ‌ٝ‬‬
‫یؿ‪٘ٛ‬ذ‪ٚ‌.‬ی‌سحمیمبر‌صیبدی‌سا‌دس‌صٔی‪ٞ‌ٝٙ‬بی‌ٔخشّ ‌ا٘دبْ‌داد‪‌ٚ‌ٜ‬ثشسشی‌٘شبیح‌اٍِ‪ٛ‬سیشٓ‌خ‪ٛ‬د‌سا‌‬
‫سای‌ٌیشی‌ٔیبٖ‌ایٗ‌فوب‪ٞ‬بی‌‪ٚ‬یظ‪‌ٜ‬دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫شٓ‪ٞ‬بی‌ٔـبث‪ٔ‌ٝ‬ب٘‪ٙ‬ذ‌دسخز‌سلٕیٓ‌‪٘‌k-nearest neighbor‌ٚ‬ـبٖ‌ٔ ‌‬
‫ید‪ٞ‬ذ‪‌ .‬‬ ‫٘ؼجز‌ث‪‌ٝ‬اٍِ‪ٛ‬سی ‌‬

‫تواریي‬
‫ا٘ذاص‪ٜ‬ی‌فوبی‌فشهی‪ٞ‌ٝ‬ب‌دس‌ٔثبَ‌‪‌973‌EnjoySport‬ؿذ‪‌.‬ثب‌اهبف‪‌ٝ‬وشدٖ‌‪ٚ‬یظٌی‌دیٍشی‌ٔثرُ‌‪‌WaterCurrent‬‬
‫‪‌2.1‬س‪ٛ‬هیح‌د‪ٞ‬یذ‌و‪‌ٝ‬چشا‌ ‌‬
‫و‪‌ٝ‬ػ‪‌ٝ‬حبِز‌‪‌Strong‌ٚ‌Moderate‌،Light‬سا‌داؿش‪‌ٝ‬ثبؿذ‪‌،‬سؼذاد‌ٔثبَ‌‪ٞ‬ب‌‪‌ٚ‬فشهی‪ٞ ٝ‬بی‌ٕٔىٗ‌چٍ‪‌ٝ٘ٛ‬سغییش‌ٔ ‌‬
‫یوشد؟‌دس‌حبِرز‌وّری‌اٌرش‌‬
‫‪ٚ‬یظٌی‌‪‌A‬سا‌و‪‌k‌ٝ‬حبِز‌داسد‌سا‌اهبف‪‌ٝ‬و‪ٙ‬یٓ‌سؼذاد‌ ‌‬
‫ٔثبَ‪ٞ‬ب‌‪‌ٚ‬فشهی‪ٞ ٝ‬بی‌ٕٔىٗ‌چٍ‪‌ٝ٘ٛ‬سغییش‌خ‪ٛ‬ا‪ٞ‬ذ‌وشد؟ ‌‬

‫‪ ‌2.2‬ثشای‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬د‪ٔ‌ٚ‬شص‌‪‌G‌ٚ‌S‬سا‌ثشای‌خذ‪‌2.1‌َٚ‬ثب‌سشسیت‌ػىغ‌حؼبة‌و‪ٙ‬یرذ‪‌.‬ثرب‌‪ٚ‬خر‪ٛ‬د‌ای‪ٙ‬ىر‪‌ٝ‬فوربی‌‬
‫یس‪ٛ‬ا٘یذ‌ثب‌ػ‪ٛ‬م‌وشدٖ‌سشسیت‌وبسی‌و‪ٙ‬یرذ‌‬ ‫ظ‪ٜ‬ی‌ثذػز‌آٔذ‪‌ٜ‬دس‌ا٘ش‪ٟ‬ب‌یىی‌اػز‌(چشا؟)‪‌،‬أب‌دس‌ٔشاحُ‌ٔیب٘ی‌‪ٔ‌G‌ٚ‌S‬شفب‪ٚ‬سی‌ثذػز‌ٔ ‌‬
‫یآیذ‪‌.‬آیب‌ٔ ‌‬ ‫‪ٚ‬ی ‌‬
‫و‪ٔ‌ٝ‬دٕ‪ٛ‬ع‌سؼذاد‌اػوبی‌‪‌G‌ٚ‌S‬دس‌سٕبْ‌ٔشاحُ‌وٕی‪‌ٝٙ‬ؿ‪ٛ‬د؟ ‌‬

‫ٔؼئّ‪ٝ‬ی‌‪‌EnjoySport‬سا‌ثب‌فوبی‌فشهی‪ ٝ‬ای‌لؼٕز‌‪‌2.2‬دس‌٘ظش‌ثٍیشیذ‪‌.‬حبَ‌اٌش‌فوبی‌فشهی‪ ٝ‬ای‌’‪‌H‬سا‌سٕربْ‌سشویر‌ ‌‬

‫ت‪ٞ‬رب‌ی‌د‪‌ٚ‬‬ ‫‪‌2.3‬د‪ٚ‬ثبس‪‌ ‌ٜ‬‬
‫سبیی‌فلّی‌‪‌H‬دس‌٘ظش‌ثٍیشیٓ‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬سا‌ثشای‌ایٗ‌فوبی‌فشهی‪ ٝ‬ای‌خذیذ‌‪ٞ‌ٕٝ٘ٛ٘‌ٚ‬ربی‌‌خرذ‪‌2.1‌َٚ‬ا٘دربْ‌‬
‫د‪ٞ‬یذ‪(.‬ػشی‌‪ٞ S‬ب‌‪ٞ G‌ٚ‬بی‌ٔشاحُ‌سا‌ثذػز‌آ‪ٚ‬سیذ)‪‌ .‬‬

‫یه‌ٕ٘‪‌ٝ٘ٛ‬ثؼیبس‌ػبد‪‌ٜ‬اص‌’‪‌ :H‬‬

‫‪1‬‬
‫‪‌sorted‬‬
‫‪2‬‬
‫‪‌Factoring version space‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫>‪<?,Cold,High,?,?,?>∨<Sunny,?,High,?,?,Same‬‬

‫كسش‌فشهی‌‪ٞٝ‬ب‌ث‪‌ٝ‬فشْ‌‪‌a ≤ x ≤ b‬‬ ‫‪‌2.4‬اٌش‌فوبی‌ٕ٘‪‌ٝ٘ٛ‬ای‌٘مبًی‌ثب‌‪‌y‌ٚ‌x‬كحیح‌ثبؿ‪ٙ‬ذ‌‪‌ٚ‬فوبی‌فشهی‌‪ٞٝ‬ب‌٘یض‌ٔؼشٌی ‌‬

‫ُ‪ٞ‬ب‌ثبؿ‪ٙ‬ذ‪‌.‬ث‪‌ٝ‬ػجبسر‌دلی ‌‬
‫‪ٞ‌c ≤ y ≤ d‌ٚ‬ؼش‪ٙ‬ذ‌و‪‌a,b,c,d‌ٝ‬دس‌آٖ‌اػذاد‌كحیح‪ٙ‬ذ‪‌ .‬‬

‫)‪‌(a‬فوبی‌‪ٚ‬یظ‪ ٜ‬ای‌و‪‌ٝ‬ثب‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌ؿىُ‌صیش‌ٌٔبثمز‌داسد‌سا‌دس‌٘ظش‌ثٍیشیذ‪ٔ‌.‬شص‌‪‌S‬دس‌ایٗ‌فوبی‌‪ٚ‬یرظ‪‌ٜ‬چیؼرز؟‌‌ ‌‬
‫آٖسا‌ث‪ٛٙ‬یؼریذ‌‪‌ٚ‬دس‌‬
‫ؿىُ‌٘یض‌ٔـخق‌و‪ٙ‬یذ‪‌ ‌.‬‬

‫‌‬

‫آٖسا‌ث‪ٛٙ‬یؼیذ‌‪‌ٚ‬دس‌ؿىُ‌٘یض‌ٔـخق‌و‪ٙ‬یذ‪‌ .‬‬ ‫)‪‌G‌(b‬سا‌ثشای‌فوبی‌‪ٚ‬ی ‌‬

‫ظ‪ٜ‬ی‌ٔشث‪‌ًٝٛ‬چیؼز؟‌ ‌‬

‫ا٘ذاص‪ٜ‬ی‌فوربی‌‬
‫یو‪ٙ‬ذ‌دیذا‌و‪ٙ‬یذ‪‌.‬یه‌آصٔبیؾ‌و‪‌ ‌ٝ‬‬ ‫)‪‌ (c‬فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬حبال‌یبدٌیش‌حك‌آصٔبیؾ‌داسد‪‌.‬آصٔبیـی‌سا‌و‪‌ ‌ٝ‬‬
‫ا٘ذاص‪ٜ‬ی‌فوبی‌‪ٚ‬یظ‪‌ٜ‬سا‌وٓ‌ٔ ‌‬
‫یو‪ٙ‬ذ‌٘یض‌دیذا‌و‪ٙ‬یذ‪‌ .‬‬
‫‪ٚ‬یظ‪‌ٜ‬سا‌وٓ‌ٕ٘ ‌‬

‫ٌشفش‪ٝ‬ایٓ‌ٔثُ‌‪‌2 ≤ y ≤ 9ٚ‌3 ≤ x ≤ 5‬وٕششیٗ‌سؼذاد‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿ ‌‬

‫یای‌و‪‌ٝ‬‬ ‫)‪‌(d‬حبَ‌فشم‌و‪ٙ‬یذ‌و‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌خبكی‌سا‌ثشای‌سؼّیٓ‌دس‌٘ظش‌ ‌‬
‫الصْ‌اػز‌ث‪‌ٝ‬یبدٌیش‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬ثذ‪ٞ‬یٓ‌سب‌ایٗ‌ٔف‪‌ْٟٛ‬سا‌یبد‌ثٍیشد‌چمذس‌اػز؟ ‌‬

‫یو‪ٙٙ‬رذ‌"‌دس‌٘ظرش‌ثٍیشیرذ‪‌.‬‬ ‫‪ٞ‌ٕٝ٘ٛ٘‌2.5‬بی‌آٔ‪ٛ‬صؿی‌ٔثجز‌‪ٙٔ‌ٚ‬فی‌صیش‌سا‌و‪‌ٝ‬ثشای‌آٔ‪ٛ‬صؽ‌ٔف‪‌ "‌ْٟٛ‬‬

‫خفز‪ٞ‬بیی‌و‪‌ٝ‬ثب‌‪‌ٓٞ‬دس‌یره‌خب٘ر‪‌ٝ‬ص٘رذٌی‌ٔر‌ ‌‬
‫ی‪ٞ‬ب‌ث‪‌ٝ‬سشسیت‌خ‪ٙ‬ؼیز‪‌،‬سً٘‌ٔ‪(‌ٛ‬ػیب‪‌،ٜ‬ل‪ ٜٟٛ‬ای‌‪‌ٚ‬ث‪ٛ‬س)‪‌،‬لذ‌(ثّ‪ٙ‬ذ‪ٔ‌،‬ش‪ٛ‬ػي‌‪‌ٚ‬و‪ٛ‬سب‪ّٔ‌ٚ‌)ٜ‬یز‌(أشیىبیی‪‌،‬فشا٘ؼر‪ٛ‬ی‪‌،‬إِرب٘ی‪‌،‬ایشِ‪ٙ‬رذی‪ٙٞ‌،‬رذی‪‌،‬‬
‫‪ٚ‬یظٌ ‌‬
‫طاد‪ٙ‬ی‪‌،‬دشسمبِی)‌‪ٞ‬ؼش‪ٙ‬ذ‪‌ .‬‬

‫‪ٔ<(‌+‬شد‪،‬ل‪‌ٜٟٛ‬ای‪،‬ثّ‪ٙ‬ذ‪،‬أشیىبیی>‪<،‬صٖ‪،‬ػیب‪،ٜ‬و‪ٛ‬سب‪،ٜ‬أشیىبیی>) ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٔ<(‌+‬شد‪،‬ل‪‌ٜٟٛ‬ای‪،‬و‪ٛ‬سب‪،ٜ‬فشا٘ؼ‪ٛ‬ی>‪<،‬صٖ‪،‬ػیب‪،ٜ‬و‪ٛ‬سب‪،ٜ‬أشیىبیی>) ‌‬

‫‪<(‌‌-‬صٖ‪،‬ل‪‌ٜٟٛ‬ای‪،‬ثّ‪ٙ‬ذ‪،‬إِب٘ی>‪<،‬صٖ‪،‬ػیب‪،ٜ‬و‪ٛ‬سب‪ٙٞ،ٜ‬ذی>) ‌‬

‫‪ٔ<(‌+‬شد‪،‬ل‪‌ٜٟٛ‬ای‪،‬ثّ‪ٙ‬ذ‪،‬ایشِ‪ٙ‬ذی>‪<،‬صٖ‪،‬ل‪‌ٜٟٛ‬ای‪،‬و‪ٛ‬سب‪،ٜ‬ایشِ‪ٙ‬ذی>) ‌‬

‫یس‪ٛ‬ا٘ذ‌؟‌یب‌‪‌1‬یب‌یه‌ٔمذاس‌ثبؿذ‌(‪ٕٞ‬یـ‪‌4‌ٝ‬‬
‫ی‪ٞ‬ب‌ٔ ‌‬
‫ٔثبَ‪ٞ‬ب‌ث‪‌ٝ‬ك‪ٛ‬سر‌صیش‌سؼشی ‌ؿذ‪‌ٜ‬و‪ٞ‌ٝ‬ش‌یه‌اص‌‪ٚ‬یظٌ ‌‬
‫فشم‌و‪ٙ‬یذ‌فوبی‌فشهی‪ ٝ‬ای‌ثش‌س‪ٚ‬ی‌ایٗ‌ ‌‬
‫‪ٚ‬یظٌی‌ٔؼّ‪‌ْٛ‬اػز)‪‌.‬ثشای‌ٔثبَ‪‌ :‬‬

‫(<ٔشد‪،‬؟‪،‬ثّ‪ٙ‬ذ‪،‬؟>‪<،‬صٖ‪،‬؟‪،‬؟‪،‬طاد‪ٙ‬ی>) ‌‬

‫یٌیشد‌و‪٘‌ٝ‬فش‌ا‪ٔ‌َٚ‬شدی‌لذ‌ثّ‪ٙ‬ذ‌(اص‌‪ٞ‬ش‌ّٔیشی‌ثب‌‪ٞ‬ش‌سً٘‌ٔ‪ٛ‬یی)‌اػز‌‪٘‌ٚ‬فش‌د‪‌ْٚ‬ص٘ی‌طاد‪ٙ‬ی‌(اص‌‪ٞ‬ش‌لذی‌‪‌ٚ‬‬
‫ص‪ٚ‬ج‪ٞ‬بیی‌سا‌دس‌ثش‌ٔ ‌‬
‫و‪‌ٝ‬ایٗ‌ٔثبَ‌سٕبٔی‌ ‌‬
‫یٌیشد ‌‬
‫‪ٞ‬ش‌سً٘‌ٔ‪ٛ‬یی)‌اػز‌سا‌دس‌ثش‌ٔ ‌‬

‫)‪‌(a‬فشای‪ٙ‬ذ‌اٍِ‪ٛ‬سیشٓ‌‪‌Candidate-Elimination‬سا‌ثشای‌ٔثبَ‌‪ٞ‬بی‌ف‪ٛ‬ق‌ًی‌و‪ٙ‬یذ‌‪ٔ‌ٚ‬شص ‪ٞ‬بی‌‪‌G‌ٚ‌S‬سا‌ثشای‌فوبی‌‪ٚ‬یظ‪‌ٜ‬ثؼذ‌اص‌‪ٞ‬رش‌ٔثربَ‌‬
‫ثیبثیذ‪.‬‬

‫)‪‌(b‬چ‪ٙ‬ذ‌سب‌اص‌فشهی‪ٞ ٝ‬بی‌فوبی‌فشهی‪ ٝ‬ای‌سؼشی ‌ؿذ‪‌ٜ‬ثب‌ٔثبَ‌صیش‌ػبصٌبس٘ذ؟‬

‫‪ٔ<(‌+‬شد‪،‬ػیب‪،ٜ‬و‪ٛ‬سب‪،ٜ‬دشسمبِی>‪<،‬صٖ‪،‬ث‪ٛ‬س‪،‬ثّ‪ٙ‬ذ‪ٙٞ،‬ذی>)‬

‫)‪‌(c‬فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬فمي‌ٕ٘‪ٔ‌ٝ٘ٛ‬ثجز‌لؼٕز‌‪‌b‬سا‌ث‪‌ٝ‬ػ‪ٛٙ‬اٖ‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌داسیٓ‌‪‌ٚ‬حبال‌ث‪‌ٝ‬یبدٌیش‌اخبص‪‌ٜ‬داد‪‌ ٔ‌ٜ‬‬
‫یؿ‪ٛ‬د‌ور‪‌ٝ‬آصٔربیؾ‌‌ا٘دربْ‌د‪ٞ‬رذ‪‌.‬‬
‫یای‌اص‌آصٔبیؾ‌‪ٞ‬ب‌سا‌سشسیت‌د‪ٞ‬یذ‌و‪‌ٝ‬دس‌‪ٞ‬ش‌ك‪ٛ‬سر‌ٔب‌سا‌ث‪‌ٝ‬فشهی‌‪ٝ‬ی‌دسػز‌ثشػب٘ذ‌(ثب‌فشم‌ای‪ٙ‬ى‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌دس‌فوبی‌فشهری‪ ‌ٝ‬ای‌‪ٚ‬خر‪ٛ‬د‌‬
‫ػش ‌‬
‫ؾ‪ٞ‬ب‌سا‌ا٘شخبة‌و‪ٙ‬یذ‪‌ًَٛ‌.‬ایٗ‌ػشی‌چ‪‌ٝ‬سثٌی‌ث‪‌ٝ‬فشهی‪‌ٝ‬خ‪ٛ‬اة‌لؼٕز‌‪‌b‬داسد؟‬
‫و‪ٛ‬سب‪ٜ‬سشیٗ ػشی‌آصٔبی ‌‬
‫داسد)‪‌ ‌.‬‬

‫یٌیر‌شد‪‌،‬اٌرش‌‪‌H‬سا‌‬
‫ٔثبَ‪ٞ‬ب‌سا‌دس‌ثرش‌ٕ٘ر‌ ‌‬ ‫)‪‌(d‬ثب‌س‪ٛ‬خ‪‌ٝ‬ث‪‌ٝ‬ایٗ‌و‪‌ٝ‬فوبی‌فشهی‪ٞ ٝ‬بی‌سؼشی ‌ؿذ‪‌ٜ‬سٕبٔی‌ ‌‬
‫ٔف‪ْٟٞٛ‬بی‌‪ٞ‬ذف‌لبثُ‌سؼشی ‌س‪ٚ‬ی‌فوبی‌ ‌‬
‫یوشدیٓ‌و‪‌ٝ‬سٕبٔی‌ٔفب‪ٞ‬یٓ‌‪ٞ‬ذف‌ٕٔىٗ‌سا‌دس‌ثش‌ثٍیشد‪‌،‬خ‪ٛ‬اة‌لؼٕز‌‪‌c‬چ‪‌ٝ‬سغییشی‌ٔ ‌‬
‫یوشد؟‬ ‫ً‪ٛ‬سی‌سؼشی ‌ٔ ‌‬

‫‪‌2.6‬اثجبر‌لوی‌‪ٝ‬ی‌‪(‌2.1‬اسای‪‌ٝ‬فوبی‌‪ٚ‬یظ‪‌)ٜ‬سا‌وبُٔ‌و‪ٙ‬یذ ‌‬

‫ٔؼئّ‪ٝ‬ی‌یبدٌیشی‌ٔف‪ٟٔٛ‬ی‌سا‌دس‌٘ظش‌ثٍیشیذ‌و‪‌ٝ‬دس‌آٖ‌‪ٞ‬ش‌ٔثبَ‌یه‌ػذد‌حمیمی‌اػز‌‪ٞ‌ٚ‬ش‌فشهی‪٘‌ٝ‬یض‌ثبص‪ ٜ‬ای‌س‪ٚ‬ی‌اػذاد‌حمیمی‌اػرز‪‌.‬ثر‪‌ٝ‬‬
‫‪‌ ‌2.7‬‬
‫یا٘ذ‪‌.‬ثرشای‌ٔثربَ‌‪‌4.5<x<6.1‬سٕربٔی‌‬
‫یؿ‪ٛ‬د‌و‪‌ٝ‬دس‌آٖ‌‪‌a,b‬اػذاد‌حمیم ‌‬
‫ً‪ٛ‬س‌دلیك‌سش‪‌،‬فوبی‌فشهی‪ٞ‌ٝ‬ب‌‪‌H‬ث‪‌ٝ‬ك‪ٛ‬سر‌‪‌a<x<b‬دس‌٘ظش‌ٌشفش‪‌ ٔ‌ٝ‬‬
‫یو‪ٙ‬ذ‪‌.‬غیش‌سػٕی‪‌،‬س‪ٛ‬هیح‌د‪ٞ‬یذ‌و‪‌ٝ‬چشا‌ثرشای‌سؼرذادی‌ٕ٘‪٘ٛ‬ر‪ٔ‌ٝ‬ثجرز‌‌‬
‫اػذاد‌ثیٗ‌‪‌6.1‌ٚ‌4.5‬سا‌ٔثجز‌‪‌ٚ‬ثمی‌‪ٝ‬ی‌اػذاد‌حمیمی‌سا‌ٔ‪ٙ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫خبفسشیٗ‌فشهی‪ٛٔ‌ٝ‬خ‪ٛ‬د‌٘یؼز‪‌.‬سغییشی‌سا‌دس‌فوبی‌فشهی‌‪ٞٝ‬ب‌دیـ‪ٟٙ‬بد‌و‪ٙ‬یذ‌و‪‌ٝ‬ایٗ‌چ‪ٙ‬یٗ‌فشهی‌‪ٞٝ‬بیی‌ٔ‪ٛ‬خ‪ٛ‬د‌ثبؿذ‪‌ .‬‬
‫‌‬

‫ٔثبَ‪ٞ‬ب)‌ٔؼشفی‌ؿذ‌‪ٌ‌ٚ‬فش‪‌ٝ‬ؿذ‌و‪‌ٝ‬ثب‌اػشفبد‪‌ٜ‬اص‌آٖ‌دلیمبً‌٘ل ‌فشهی‌‪ٞٝ‬ب‌ثب‌‪ٞ‬ش‌‬
‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‌ ‌‬
‫‌‬ ‫‪‌2.8‬دس‌ایٗ‌فلُ‌فوبی‌فشهی‪ ٝ‬ای‌ثذ‪‌ٖٚ‬ثبیبع‌(‬
‫ٔثبَ‪ٞ‬بی‌‪ٕ٘ٛ٘‌ٚ‌X‬ر‪‌ٝ‬‬
‫یو‪ٙٙ‬ذ‪‌.‬ایٗ‌ٌضاس‪‌ٜ‬سا‌اثجبر‌و‪ٙ‬یذ‪‌.‬ث‪‌ٝ‬ػجبسر‌دیٍش‌ثبثز‌و‪ٙ‬یذ‌ثشای‌‪ٞ‬ش‌فوبی‌ ‌‬
‫ٔثبَ‌سا‌ٔثجز‌‪٘‌ٚ‬لفی‌دیٍش‌ٔ‪ٙ‬فی‌دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔ ‌‬
‫‪‌x‌،‬سا‌ٔثجز‌‪٘‌ٚ‬یٕی‌دیٍش‌‪‌x‬سا‌ٔ‪ٙ‬فی‌‬ ‫ٔدٕ‪ٛ‬ػ‪ٝ‬ی‌س‪ٛ‬ا٘ی‌‪‌X‬ثبؿذ‌دلیمبً‌٘یٕی‌اص‌فشهی‪ٞ ٝ‬بی‌‬
‫‌‬ ‫‪ٞ‬بی‌آٔ‪ٛ‬صؿی‌‪ٞ‌ٚ‌D‬ش‌ٕ٘‪‌ٝ٘ٛ‬خذیذ‌‪‌،‌c‬اٌش‌‪‌H‬‬
‫دػش‪‌ٝ‬ث‪ٙ‬ذی‌ٔی و‪ٙٙ‬ذ‪‌ .‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌ثبؿذ‪‌.‬یه‌ٔثبَ‌ٕٔىٗ‌اػز‌ایٗ‌ثبؿذ‪‌ :‬‬ ‫‪ٔ‌2.9‬ؼئّ‪ ٝ‬ای‌اص‌یبدٌیشی‌ٔف‪‌ْٟٛ‬سا‌دس‌٘ظش‌ثٍیشیذ‌و‪ٞ‌ٝ‬ش‌ٔثبَ‌ػٌفی‌اص‌‪ٚ‌n‬یظٌی‌ٔ‪ٌٙ‬می‌‬

‫ی‪ٞ‬ب‌سؼشی ‌ؿ‪ٛ‬د‪ٔ‌.‬ثبَ‪‌ :‬‬

‫حبَ‌فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬فوبی‌فشهی‌‪ٞٝ‬ب‌ث‪‌ٝ‬ك‪ٛ‬سر‌فلّی‌اص‌‪ٚ‬یظٌ ‌‬

‫∨‬ ‫∨‬

‫اٍِ‪ٛ‬سیشٕی‌دیـ‪ٟٙ‬بد‌و‪ٙ‬یذ‌و‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬بی‌آٔ‪ٛ‬صؿی‌سا‌ثٍیشد‌‪‌ٚ‬اٌش‌فشهی‌‪ٝ‬ی‌ػبصٌبسی‌ثب‌آٖ‌‪ٞ‬ب‌‪ٚ‬خ‪ٛ‬د‌داؿز‌آٖ‌سا‌خش‪ٚ‬خی‌د‪ٞ‬ذ‪‌.‬اٍِ‪ٛ‬سیشٓ‌ثبیذ‌دس‌صٔبٖ‌‬
‫ٔش‪ٙ‬بػت‌ثب‌چ‪ٙ‬ذ‌خّٕ‪‌ٝ‬ای‌اص‌‪‌ٚ‌n‬سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌اخشا‌ؿ‪ٛ‬د‪‌ .‬‬

‫‪‌2.11‬ثش٘بٔ‪ ٝ‬ای‌ثشای‌اٍِ‪ٛ‬سیشٓ‌‪‌FIND-S‬ث‪ٛٙ‬یؼیذ‌‪‌ٚ‬آٖ‌سا‌سا‌ثشای‌ٔثبَ‌‪‌EnjoySport‬اخشا‌و‪ٙ‬یذ‌‪٘‌ٚ‬ـبٖ‌د‪ٞ‬یذ‌و‪ٔ‌ٝ‬شاحُ‌‪ٕٞ‬بٖ‌ٔشاحُ‌لؼٕز‌‬
‫‪‌2.4‬اػز‪‌.‬ثب‌ایٗ‌ثش٘بٔ‪‌ٝ‬سؼییٗ‌و‪ٙ‬یذ‌و‪‌ٝ‬چ‪ٙ‬ذ‌ٕ٘‪‌ٝ٘ٛ‬سلبدفی‌آٔ‪ٛ‬صؿی‌ثشای‌سؼییٗ‌دلیك‌ٔف‪ٞ‌ْٟٛ‬ذف‌الصْ‌اػز‪‌.‬ثش٘بٔ‪ ٝ‬ای‌ث‪ٛٙ‬یؼیذ‌و‪ٞ‌ٕٝ٘ٛ٘‌ٝ‬ربی‌‬
‫آٔ‪ٛ‬صؿی‌سلبدفی‌ٔش‪ٙ‬بػت‌ثب‌ٔف‪‌ْٟٛ‬صیش‌ایدبد‌و‪ٙ‬ذ‪‌ :‬‬

‫<‪،Warm،Sunny‬؟‪،‬؟‪،‬؟‪،‬؟> ‌‬

‫یس‪ٛ‬ا٘یذ‌حذع‌ثض٘یذ‌و‪‌ٝ‬ث‪ًٛ‌ٝ‬س‌ٔش‪ٛ‬ػي‌چ‪ٙ‬ذ‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿری‌‌‬
‫ثش٘بٔ‪ٝ‬ی‌ا‪‌َٚ‬ثذ‪ٞ‬یٓ‪‌،‬آیب‌ٔ ‌‬
‫ثش٘بٔ‪ٝ‬ی‌ایدبد‌ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی‌سا‌ث‪‌ ‌ٝ‬‬
‫فشم‌و‪ٙ‬یذ‌و‪‌ٝ‬خش‪ٚ‬خی‌ ‌‬
‫یو‪ٙ‬یذ‌ثب‌ػ‪ٛ‬م‌وشدٖ‌سؼذاد‌‬
‫آٖسا‌حؼبة‌و‪ٙ‬یذ‪‌.‬فىش‌ٔ ‌‬
‫الصْ‌اػز‌سب‌ثش٘بٔ‪‌ٝ‬ث‪ٔ‌ٝ‬ف‪ٞ‌ْٟٛ‬ذف‌دی‌ثجشد؟‌ایٗ‌وبس‌سا‌حذالُ‌‪‌21‬ثبس‌ا٘دبْ‌د‪ٞ‬یذ‌‪ٔ‌ٚ‬ش‪ٛ‬ػي‌ ‌‬
‫ی‪ٞ‬ب‌چ‪‌ٝ‬سأثیشی‌ثش‌ایٗ‌ٔمذاس‌(سؼذاد‌ٕ٘‪ٞ‌ٝ٘ٛ‬بی‌آٔ‪ٛ‬صؿی‌الصْ)‌داسد؟ ‌‬
‫یو‪ٙ‬ذ؟‌سؼذاد‌‪ٚ‬یظٌ ‌‬
‫؟ ‪ٞ‬بی‌ٔف‪ٞ‌ْٟٛ‬ذف‌ایٗ‌سؼذاد‌چٍ‪‌ٝ٘ٛ‬سغییش‌ٔ ‌‬

‫فرٌّگ لغات تخصصی فصل (فارسی بِ اًگلیسی)‬

‫‪‌ Consistent‬‬ ‫ػبصٌبس‌ ‌‬
‫‪‌ space version‬‬ ‫فوبی‌‪ٚ‬یظ‪‌ ‌ٜ‬‬
‫‪‌ Hypothesis‬‬ ‫فشهی‪‌ ٝ‬‬
‫‪‌ Specific‬‬ ‫خبف ‌‬
‫‪‌ General‬‬ ‫وّی ‌‬
‫‪‌ training example‬‬ ‫ٕ٘‪‌ٝ٘ٛ‬آٔ‪ٛ‬صؿی ‌‬
‫‪‌ minimal specialization‬‬ ‫ی‪ٞ‬ب‌ ‌‬
‫یسشیٗ‌خبف‌ػبص ‌‬ ‫وّ ‌‬
‫‪‌ maximal generalization‬‬ ‫ی‪ٞ‬ب‌ ‌‬
‫خبفسشیٗ‌وّی‌ػبص ‌‬
‫‌‬
‫‪‌ target concept‬‬ ‫ٔف‪ٞ‌ْٟٛ‬ذف‌ ‌‬
‫‪‌ Classify‬‬ ‫دػش‪‌ٝ‬ث‪ٙ‬ذی‌ ‌‬
‫‪‌ Bias‬‬ ‫ثبیبع‌ ‌‬
‫‪‌ Negation‬‬ ‫٘مین‌ ‌‬
‫‪‌ Expressive‬‬ ‫ؿبُٔ‌ ‌‬
‫‪‌ unobserved instance‬‬ ‫ٔثبَ‌غیش‌آٔ‪ٛ‬صؿی ‌‬
‫‪‌ inductive bias‬‬ ‫ثبیبع‌اػشمشایی‌ ‌‬
‫‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل سوم‪ :‬یادگیری درخت تصوین گیری‬

‫یبدگیشی دسخت‪ 1‬تػوین گیشی یٌی اص پشًبسثشدتشیي ٍ ًبساهذتشیي هتذ ّبی یبدگیشی استوشایی است‪ .‬ایي هتذ دس یبدگیشی تَاثغ گسستِ هوذاس ثب‬
‫دادُ ّبی خكب داس ثِ ًبس هیسٍد‪ .‬دس ایي كػل ثِ خبًَادُ ای اص الگَسیتنّابی یابدگیشی دسختایم ه ال الگاَسیتنّابی ‪ID3‬م ‪ٍ ASSISTANT‬‬
‫‪ C4.5‬هیپشداصین‪ .‬ایي هتذ ّبی یبدگیشی دسختی كؿبی كشؾیِ ای ًبهلی سا جستجَ هیًٌٌذ ٍ هطٌل هحذٍدیت كؿابی كشؾایِ ای سا ًذاسًاذ‪.‬‬
‫ثبیبسّبی استوشایی ایي الگَسیتنّب ایي است ًِ ّویطِ دسختّبی ًَچيتش سا ثش دسختّبی ثضسٍتش تشجیح هیدٌّذ (اغل تیؾ ‪.)Occam‬‬

‫‪ 31.‬هقذهه‬
‫یبدگیشی دسختی هتذی ثشای تخویي تَاثغ ّذف گسستِ هوذاس استم دس یبدگیشی دسختی تبثغ تخویي صدُ ضاذُ ثاب یاي دسخات تػاوین گیاشی‬
‫هطخع هیضَد‪ .‬دسختّبی ثذست آهذُ سا ًیض هیتَاى ثِ غَست دستِ ای اص دستَس ّبی ‪ً if-then‬یض ًوبیص داد تب ثشسسی آى ثاشای اًسابى‬
‫ساحتتش گشدد‪ .‬ایي هتذّب اص جولِ هتذاٍلتشیي هتذّب دس یبدگیشیّبی استوشایی ّستٌذ ٍ دس حاَصُی ٍسایؼی اص ًبسّابی یابدگیشیم اص یابدگیشی‬
‫تطخیع هَاسد پضضٌی گشكتِ تب تطخیع هیضاى سیسي ٍامم هَسد استلبدُ هشاس گشكتِاًذ‪.‬‬

‫‪ 313‬نوایش درخت تصوین گیری‬

‫دسخت تػوین گیشی ثب تشتیت ًشدى ًوًَِّب اص سیطِ ثِ سوت ثشٍّبی دسختم ‌‬
‫ًوًَِّب سا دستِ ثٌذی هیًٌذ‪ .‬دس ایي دسخت ّش گشُ ٍیژگیای‬
‫سا دس هَسد ًوًَِ ٍ ّش ضبخِ (ًِ اص آى گشُ خبسج هیضَد) هوبدیش هشثَقِ‌ی آى ٍیژگی سا هطخع هیًٌذ‪ .‬ثشای دستِ ثٌذی ّاش ًوًَاِ اثتاذا اص‬
‫سیطِ ضشٍع هیًٌینم ثِ ّش ٍیژگی ًِ ‌‬
‫هیسسین اص ضبخِ ای اص دسخت ًِ ٍیژگی ًوًَِ ثب آى هكبثن است پبییي هیسٍین‪ .‬ایي كشایٌاذ ثاشای صیاش‬
‫دسختّب ًیض اداهِ ‌‬
‫هییبثذ تب ثِ دستِ ثٌذی ًوًَِ ثشسین‪.‬‬ ‫‌‬

‫‪1‬‬
‫‪tree‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ضٌل ‪ 3.1‬یي ه بل اص دسخت تػوین گیشی سا ًطبى هیدّذ‪ .‬ایي دسخت تػوین گیشی ًطبى هیدّذ ًِ هوذاس ّاذف ‪ PlayTennis‬سا ًطابى‬
‫هیدّذ‪ .‬ثشای ه بلم ًوًَِی‬

‫>‪<Outlook=Sunny,Temperature=Hot,Humidity=High,Wind=Strong‬‬

‫‌‬
‫گَضِی پبییي دسخت هشاس هیگیشدم پس ثٌبثشایي ایي ًوًَِ هٌلی دستِ ثٌذی خَاّذ ضذ (دسخت پیص ثیٌی هیًٌذ ثشای ایي هوبدیش‬ ‫دس چپ‌تشیي‬
‫‪ PlayTennis‬هوذاس ‪ No‬سا داضتِ ثبضذ)‪ .‬دسخت ٍ ًوًَِّبی آهذُ دس جذٍل ‪ ًِ 2.3‬ثشای تَؾیح الگَسیتن یبدگیشی ‪ ID3‬هَسد اساتلبدُ هاشاس‬
‫گشكتِاًذ اص )‪ (Quinlar 1986‬گشكتِ ضذُ‌اًذ‪.‬‬
‫‌‬

‫ضٌل ‪ 3.1‬دسختی تػوین گیشی ثشای هلَْم ‪.PlayTennis‬‬

‫‌‬
‫ًوًَِّب ثب تشتیت ضذى ثیي ضبخِ ّبی دسخت دستِ ثٌذی هیضًَذ ٍ دس اًتْب هوذاس ثشٍ سا ثش هیگشداًٌذ (دس ایي ه ابل هوابدیش ‪ Yes‬یاب ‪ .)No‬ایاي دسخات‬
‫‌‬
‫ًوًَِی هزًَس سا ثشای هلَْم ‪ PlayTennis‬هٌلی دستِ ثٌذی خَاّذ ًشد‪.‬‬
‫دس ًل دسختّبی تػوین گیشی سٍاثف كػلیای اص ػكق ضشٍـ سا ثشای دستِ ثٌذی ًوًَِ‌ّب ثِ ًبس هیثشًذ‪ّ .‬اش هسایش اص سیطاِ‌ی دسخات ثاِ‬
‫سوت ثشٍّب ػكلی اص سٍاثف دس هَسد ٍیژگیّبست ٍ ًل دسخت ًیض كػلی اص ایي ػكقّبست‪ .‬ثشای ه بلم ضٌل ‪ 3.1‬هتٌابرش ثاب ساثكاِ‌ی صیاش‬
‫است‪:‬‬

‫)‪(Outlook = Sunny ⋀ Humidity = Normal‬‬

‫)‪∨ (Outlook = Overcast‬‬

‫)‪∨ (Outlook = Rain ⋀ Wind = Weak‬‬

‫‪ 313‬هسائل هناسب برای درخت تصوین گیری‬

‫ثب ٍجَد ایٌٌِ هتذ ّبی یبدگیشی دسختی صیبدی ثب ًیبص‌ّب ٍ هبثلیتّبی هتلبٍت اسائِ ضذُ استم اهب اؿلت یابدگیشی دسخات تػاوین گیاشی ثاشای‬
‫هسبئلی ثب ٍیژگیّبی صیش هٌبست است‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًوًَِّب ثب صٍج هشتت دستِ ٍیژگی‌ّب ٍ هوذاس تبثغ ّذف هطخع ضًَذ‪ً .‬وًَِ‌ّب دس ایي هسبئل ثب دستِ ای اص ٍیژگیّبی ثبثت (ها ا‬
‫‌‬ ‫‪‬‬
‫‪ ٍ )... ٍ Temperature‬هوبدیشضبى (ه ل ‪ )Hot‬هطخع ضًَذ‪ .‬ساحت‌تشیي ٍؾؼیت ثشای یبدگیشی دسخت تػوین گیاشی حابلتی‬
‫است ًِ ّش ٍیژگی تؼذاد ًوی اص هوبدیش سا ثتَاًذ ثگیشد (ه ا كوف ‪Hot‬م ‪ .)Cold ٍ Mild‬ثب ایي ٍجَدم ثب الحبهتی ثِ الگَسیتنّابی‬
‫‌‬
‫ٍیژگیّب سا اص گسستِ هوذاس ثِ حویوی هوذاس تـییش داد (ه ا ‪Temperature‬‬ ‫اغلیم ًِ دس ثخص ‪ 3.7.2‬ثحث خَاّذ ضذم هیتَاى‬
‫سا ثب دسجِ هطخع ًشد)‪.‬‬
‫تبثغ ّذف هوبدیشم خشٍجی گسستِ داضتِ ثبضذ‪ .‬دسخت تػوین گیشی ضٌل ‪ 3.1‬هوبدیش هٌكوی سا ثِ ّش یي اص ًوًَِ‌ّب ًسجت هیدّذ‪.‬‬ ‫‪‬‬
‫هتذ ّبی یبدگیشی دسختی ثب اكضایص تؼذاد هوبدیش تبثغ ّذف ثِ ساحتی ثِ الگَسیتنّابی یابدگیشی تَاثاغ گسساتِ هواذاس تؼواین پیاذا‬
‫هیًٌٌذ‪ .‬ثب تؼویوی هبثل تَجِ تش هیتَاى تَاثؼی ثب هوبدیش حویوی سا ثب ایي هتذ‌ّب یبد گشكتم ثب ایي ٍجَد استلبدُ اص یابدگیشی دسختای‬
‫دس یبدگیشی تَاثغ حویوی هتذاٍل ًیست‪.‬‬
‫صهبًی ًِ ّذف یبدگیشی تَؾیحبت كػلی است‪ّ .‬وبى قَس ًِ پیصتش ًیض گلتاِ ضاذم یابدگیشی دسختای راتابا سٍاثاف كػالی سا یابد‬ ‫‪‬‬
‫هیگیشد‪.‬‬
‫دادُ ّبی آهَصضی هیتَاًٌذ خكب داضتِ ثبضٌذ‪ .‬هتذ ّبی یبدگیشی دسختی هیتَاًٌذ خَد سا ثب خكبی هَجَد دس دادُ ّبی آهَصضی ٍكان‬ ‫‪‬‬
‫دٌّذم كشهی ًذاسد ًِ هوذاس تبثغ ّذف ًوًَِ ثَدُ یب یٌی اص ٍیژگی‌ّب اضتجبُ گضاسش ضذُ ثبضذ‪.‬‬
‫ًوًَِ ّبی آهَصضی هیتَاًٌذ ٍیژگیّبی هجَْل داضتِ ثبضٌذ‪ .‬یبدگیشی دسختی سا حتی صهبًی ًِ ًوًَِ ّبی آهَصضای ٍیژگایّابی‬ ‫‪‬‬
‫هجَْل داسًذ هیتَاى ثِ ًبس ثشد (ه ا اگش ٍیژگی ‪ Humidity‬ثشای ثؼؿی اص سٍص‌ّب هؼلَم ًجبضذ)‪ .‬ایي حبلت دس ثخص ‪ 3.7.4‬ثشسسی‬
‫خَاّذ ضذ‪.‬‬
‫‌‬
‫ٍیژگیّبیی كَهٌذم ثِ ّویي خبقش یبدگیشی دسخت تػوین گیشی ثسیبس پش ًبسثشد ضذُ اسات تاب جابیی ًاِ دس‬ ‫ثسیبسی اص هسبئل ًبسثشدی داسای‬
‫هسبیلی ًظیش تطخیع هَاسد پضضٌیم تطخیع دلیل خشاثی تجْیضات ٍ تطخیع سیسي ٍام ثش اسبس ػوت اكتبدگی هسف‌ّب ثِ ًبس هیسًٍذ‪ .‬ثِ‬
‫چٌیي هسبئلیم ًِ ّذف اص یبدگیشی دستِ ثٌذی ًوًَِ‌ّب دس یٌی اص دستِ ّبی هَجَد استم هسبئل دستِ ثٌذی‪ 1‬هیگَیٌذ‪.‬‬

‫دس اداهِ‌ی ایي كػل ثذیي تشتیت ثحث سا پی هیگیشین‪ :‬دس ثخص ‪ 3.4‬الگَسیتن اسبسی ‪ ID3‬سا دس یبدگیشی دسختی ٍ ًحَُ‌ی ًبس آى سا تَؾایح‬
‫خَاّین داد‪ .‬دس هسوت ‪ 3.5‬جستجَی ایي الگَسیتن دس كؿبی كشؾیِ ای سا ثشسسی ٍ آى سا ثب الگَسیتنّابی كػال ‪ 2‬هوبیساِ خاَاّین ًاشد‪ .‬دس‬
‫ثخص ‪ 3.6‬ثبیبسّبی استوشایی ایي الگَسیتن یبدگیشی دسختی سا ثشسسی خَاّین ًشد ٍ ثب ثبیبسی ًلیتش ثِ ًبم تیؾ ‪ 2 Occam‬آضٌب خَاّین ضذ‬
‫ًِ تشجیح دسختّبی ًَچيتش ٍ سبدُ تش سا دس هیبى كؿبی كشؾیِ ای تَجیِ هیًٌذ‪ .‬دس ثخص ‪‌ 3.7‬‬
‫پذیذُی ‪ overfit‬سا ثشسسی خَاّین ًشد ٍ‬
‫استشاتژیّبی ّشس‪ 3‬سا ثشای حل ایي هسئلِ ثیبى خَاّین ًشد‪ .‬دس ایي هسوت دس هَسد هجبحث پیطشكتِ تش دیگاشی ًیاض ه ال چگاًَگی تؼواین‬
‫یبدگیشی دسختی ثشای یبدگیشی تَاثغ حویوی هوذاسم یبدگیشی ثب ٍیژگیّبی هجَْل ٍ ٍیژگیّبی ؿیش ّن ّضیٌِ ًیض ثحث ضذُ است‪.‬‬

‫‪1‬‬
‫‪classification problems‬‬
‫‪2‬‬
‫‪Occam’s razor‬‬
‫‪3‬‬
‫‪post-pruning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 313‬الگوریتن اساسی یادگیری درختی‬

‫الگَسیتنّبیی ًِ ثشای یبدگیشی دسختی ایجبد ضذُ ًسخِ ّبی هختلق یي الگَسیتن اسبسی ّستٌذ ًِ اص جستجَیی حشیػابًِ‪ ٍ 1‬ثاب ثاِ‬
‫‌‬ ‫اً ش‬
‫پبییي‪ 2‬ثشای جستجَی كؿبی دسختّبی تػوین گیشی هوٌي اساتلبدُ ‌‬
‫هایًٌاذ‪ .‬ایاي سٍش الگاَسیتن ‪ً ID3‬ابم داسد )‪ٍ (Quinlan 1986‬‬
‫تٌبهل یبكتِ‌ی ایي الگَسیتن ًیض ‪ً C4.5‬بهیذُ ‌‬
‫هیضَد )‪ .(Quinlan 1993‬ایي دٍ الگَسیتن هَؾَع ثحث ایي ثخص ّساتٌذ‪ .‬دس ایاي ثخاص‬
‫الگَسیتن پبیِ ای یبدگیشی دسختی سا هؼشكی هیًٌینم ایي الگَسیتن توشیجبا ّوابى ‪ ID3‬اسات‪ .‬دس هساوت ‪ً 3.7‬یاض تؼاذادی اص تؼواینّابی ایاي‬
‫الگَسیتنم تؼوینّبی هشثَـ ثِ الگَسیتن ‪ ٍ C4.5‬چٌذ الگَسیتن دیگشم سا تَؾیح خَاّین داد‪.‬‬

‫الگَسیتن اسبسی هبم یب ّوبى ‪ID3‬م دسخت تػوین گیشی هتٌبست سا ثب جستجَیی ثب ثِ پبییي پیذا هیًٌذم ایي جستجَ ثب قشح ایي سااال آؿابص‬
‫‌‬
‫ًوًَاِّاب تَساف یاي‬ ‫سیطِی دسخت ثشسسی ضَد؟" ثشای جَاة دادى ثِ ایي ساالم توبهی ٍیژگی‌ّب دس توابهی‬
‫هیضَد "چِ ٍیژگیای ثبیذ دس ‌‬
‫ثشسسی آهبسی ثشسسی هیضَد تب هؼلَم گشدد تب ًذام ٍیژگی ثِ تٌْبیی تأثیش ثیطتشی ثش دستِ ثٌذی ًوًَِ‌ّب داسد‪ .‬سپس ثْتشیي ٍیژگای اًتخابة‬
‫هیضَد ٍ ثِ ػٌَاى گشُ سیطِ‌ی دسخت هشاس هیگیشد‪ .‬ثشای ّش هوذاس ایي ٍیژگی اًتخبثی دس سیطِ‌ی دسخت ًوًَِ ّبی آهَصضی تشتیت هیضًَذ ٍ‬
‫ثب تَجِ ثِ ایي گشُ هسئلِ ثِ هسئلِ ّبی ًَچيتش تجذیل هیضَد (ّش ًوًَِ‌ی آهَصضی اص قشف ضبخِ ای پبییي هیسٍد ًِ هواذاس آى ثاب هواذاس‬
‫ٍیژگی ًظیشش هكبثن ثبضذ)‪ .‬ایي كشایٌذ ثشای صیش ضبخِ‌ّب آًوذس اجشا هیضَد تب ثب خشُ ّش ًوًَِ دسست دستِ ثٌذی ضَدم دس ّش تٌاشاس ّویطاِ‬
‫ٍیژگی اًتخبثی ثشای گشُ ٍیژگیای است ًِ هْن‌تشیي اثش سا دس دستِ ثٌذی داسد‪ .‬آى قَس ًِ ضشح دادُ ضذم ثب یي كشایٌذ حشیػبًِ ثِ جستجَی‬
‫ثْتشیي دسخت هوٌي هیپشداصینم یؼٌی ایٌٌِ ّیچ ٍهت الگَسیتن ثِ اًتخبةّبیی ًِ هج ا ًشدُ ثبصًگشی ًویًٌاذ‪ .‬سابدُ ضاذُ‌ی ایاي الگاَسیتن‬
‫(ثشای یبدگیشی تَاثغ هٌكوی هوذاسم یب ّوبى یبدگیشی هلَْم) دس جذٍل ‪ 3.1‬آهذُ است‪.‬‬

‫)‪ID3 (Examples, Target_attribute, Attributes‬‬

‫‪ Examples‬هجوَػِی توبهی ًوًَِ ّبی آهَصضی است‪ٍ Target_attribute .‬یژگیای است ًِ هوبدیشش تَساف دسخات پایص ثیٌای‬
‫هیضَد‪ Attributes .‬لیستی اص دیگش ٍیژگیّبیی است ًِ هوٌي است تَسف دسخت ثشسسی ضَد‪ .‬ایي الگَسیتن دسخت تػوین گیشیای سا ًِ‬
‫ثِ دسستی ًوًَِ ّبی دادُ ضذُ سا دستِ ثٌذی هیًٌذ ثش هیگشداًذ‪.‬‬

‫گشُ ای ثشای سیطِی دسخت ایجبد ًي‬ ‫‪‬‬

‫‪3‬‬
‫اگش توبهی ًوًَِّبی ‪Examples‬م ًوًَِی ه جتٌذ سیطِ سا ثب ‪ +‬ػ هت گزاسی ًي ٍ دسخت سا خشٍجی ثذُ‪.‬‬ ‫‪‬‬
‫اگش توبهی ًوًَِّبی ‪Examples‬م ًوًَِی هٌلیاًذ سیطِ سا ثب ‪ -‬ػ هت گزاسی ًي ٍ دسخت سا خشٍجی ثذُ‪.‬‬ ‫‪‬‬
‫هتذاٍلتشیي دستِ ثٌذی ‌‬
‫ًوًَِّب ػ هت گزاسی ًي ٍ دسخت سا خشٍجی ثذُ‪.‬‬ ‫‌‬ ‫اگش هجوَػِی ‪ Attributes‬تْی استم سیطِ سا ثب‬
‫دس ؿیش ایي غَست ‪:‬‬ ‫‪‬‬
‫‪ A o‬سا ٍیژگیای هشاس ثذُ ًِ ‪ Examples‬سا ثْتش* دستِ ثٌذی هیًٌٌذ‪.‬‬
‫‪ٍ o‬یژگی هتٌبست ثب گشُ سیطِ سا ‪ A‬هشاس ثذُ‪.‬‬
‫‪ o‬ثشای ّش هوذاس اص ‪A‬م‬
‫‪ ‬یي ضبخِ‌ی جذیذ دس صیش سیطِ هتٌبست ثب هوذاس اؾبكِ ًي‪.‬‬

‫‪1‬‬
‫‪greedy‬‬
‫‪2‬‬
‫‪top-down‬‬
‫‪3‬‬
‫‪label‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫سا ثشای ٍیژگی ‪ A‬داسًذ‬ ‫سا صیش هجوَػِ ای اص ‪ Examples‬هشاس ثذُ ًِ هوذاس‬ ‫‪‬‬
‫تْی ثَدم‬ ‫اگش‬ ‫‪‬‬
‫هتاذاٍلتاشیي هواذاس ‪ Target_attribute‬دس‬‫‌‬ ‫دس صیش ضبخِ‌ی جذیذ گاشُ ثشگای اؾابكِ ًاي ٍ آى سا ثاب‬ ‫‪‬‬
‫‪ Examples‬ػ هت گزاسی ًي‪.‬‬
‫دس ؿیااااااش ایااااااي غااااااَستم دس صیااااااش ایااااااي ضاااااابخِ‌ی جذیااااااذ صیااااااش دسخاااااات‬ ‫‪‬‬
‫سا اؾبكِ ًي‪.‬‬ ‫} {‬
‫دسخت ایجبد ضذُ سا ثشگشداى‪.‬‬ ‫‪‬‬
‫*‪ :‬ثْتشیي ٍیژگیای است ًِ ثب تشیي هوذاس ثْشُ‌ی اق ػبت (ًِ دس ساثكِ‌ی ‪ 3.4‬آهذُ) سا داضتِ ثبضذ‪.‬‬
‫جذٍل ‪ 3.1‬خ غِ‌ی الگَسیتن ‪ ID3‬ثشای یبدگیشی تَاثغ هٌكوی هوذاس‪.‬‬
‫‪ ID3‬یي الگَسیتن حشیػبًِ است ًِ دسخت سا اص ثب ثِ پبییي سضذ هیدّذم دس ّش گشُ ٍیژگیای اًتخبة هیضَد ًِ ًوًَِ ّبی آهَصضی دس آى ًبحیِ سا ثْتش‬
‫دستِ ثٌذی ًٌذ‪ .‬ایي كشایٌذ آًوذس اداهِ پیذا هیًٌذ تب دسخت ثِ قَس ًبهل توبم ًوًَِ ّبی آهَصضی سا دسست دستِ ثٌذی ًوبیذم یب ایٌٌاِ توابهی ٍیژگای‌ّاب‬
‫استلبدُ ضًَذ‪.‬‬

‫‪ 1.4.3‬کذام ٍیژگی بیشتریي ًقش را در دستِ بٌذی دارد؟‬

‫‌‬
‫هْنتشیي اًتخبثی ًِ دس الگَسیتن ‪ ID3‬اًجبم هیگیشد اًتخبة ٍیژگیای ًِ دس ّش گشُ اص دسخت ثشسسی هیضَد است‪ .‬هب تشجیح هایدّاین ًاِ‬
‫ایي ٍیژگیم ٍیژگیای ثبضذ ًِ ثیطتشیي تأثیش سا دس دستِ ثٌذی ًوًَِ‌ّب داسد‪ .‬چِ هؼیبسی سا هیتَاى هؼیبس خَثی ثشای ثشتشی یي ٍیژگی داًست؟‬
‫دس ایٌجب خبغیتی آهبسی ثِ ًبم ثْشُ‌ی اق ػبت‪ 1‬سا تؼشیق هیًٌین ًِ هیضاى تأثیش یي ٍیژگی سا ثش دستِ ثٌذی ًوًَِ‌ّب ثش اسبس دساتِ ثٌاذی‬
‫تبثغ ّذكطبى اًذاصُ گیشی هیًٌذ‪ ID3 .‬اص ثْشُ‌ی اق ػبت ثشای اًتخبة ٍیژگی دس ّش هشحلِ اص سضذ دسخت استلبدُ ‌‬
‫هیًٌذ‪.‬‬

‫‪ 1.4.3.3‬آًترٍپی‪ ،‬هعیار یکذستی ًوًَِ‌ّا‬

‫ثشای تؼشیق دهین ثْشُ‌ی اق ػبت اص تؼشیق هؼیبس دیگشی ثِ ًبم آًتشٍپی‪2‬م ًِ دس تئَسی اق ػبت‪ً 3‬بسثشد ثسیبس داسدم ضشٍع هیًٌین‪ .‬ایي هؼیبس‬
‫یٌذستی‪ ٍ 4‬ػذم یٌذستی یي دستِ‌ی دلخَاُ اص ًوًَِ‌ّب سا هطخع هیًٌذ‪ .‬ثب داضتي دستِ‌ی ‪ S‬اص ًوًَِ‌ّابی ه جات ٍ هٌلای هلْاَم ّاذفم‬
‫آًتشٍپی ‌‬
‫دستِی ‪ S‬هتٌبست ثب ایي دستِ ثٌذی هٌكوی ثِ غَست صیش تؼشیق هیضَد‪:‬‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬

‫ًیض ًسجت تؼذاد ًوًَِ ّبی هٌلی ثِ تؼذاد ًل ًوًَِّبست‪ّ .‬ویطِ‬ ‫ًسجت تؼذاد ًوًَِ ّبی ه جت ثِ تؼذاد ًل ًوًَِّب ٍ‬ ‫دس ایي ساثكِ‬
‫دس هحبسجِی آًتشٍپی كشؼ هیًٌین ًِ ‪0log0‬م غلش است‪.‬‬

‫‌‬
‫هجوَػِی ‪ S‬ضبهل ‪ً 14‬وًَِ اص هلَْهی هٌكوی ثبضذم اص ایي ‪ً 14‬وًَِ ‪ً 9‬وًَِ ه جت ٍ ‪ً 5‬وًَِ هٌلی ّساتٌذ‬ ‫ثشای دسى ثْتشم كشؼ ًٌیذ ًِ‬
‫هیًَیسین ]‪ .)[9+,5-‬آًتشٍپی هشثَـ ثِ ایي هجوَػِ‌ی صیش خَاّذ ثَد‪:‬‬
‫(ثشای خ غِ سبصی ثِ قَس خ غِ ‌‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫[‬ ‫]‬ ‫(‬ ‫)‬

‫‪1‬‬
‫‪information gain‬‬
‫‪2‬‬
‫‪entropy‬‬
‫‪3‬‬
‫‪information theory‬‬
‫‪4‬‬
‫‪Homogeneity‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬

‫تَجِ داضتِ ثبضیذ ًِ صهبًی آًتشٍپی غلش است ًِ توبهی اػؿبی ‪ S‬اص یي ًَع دستِ ثٌذی ثبضٌذ‪ .‬ثشای ه بل اگش توبهی ًوًَِ‌ّاب ه جات ثبضاٌذ‬
‫غلش خَاّذ ثَد ٍ داسین ًِ‬ ‫پس‬
‫‪ّ .‬وچٌیي تَجِ داسیذ ًِ صهبًی آًتشٍپی ‪ 1‬است ًِ تؼذاد ًوًَِ ّبی ه جت ٍ هٌلی هسبٍی ثبضذ‪ّ .‬ویطِ هوذاس آًتشٍپای هواذاسی ثایي ‪1 ٍ 0‬‬
‫ًطبى هی دّذ‪.‬‬ ‫است‪ .‬ضٌل ‪ 3.2‬ضٌل تبثغ آًتشٍپی سا ثشای یي تبثغ هٌكوی هوذاس ثش حست‬

‫‪.‬‬ ‫ضٌل ‪ 3.2‬هیضاى آًتشٍپی ثشای دستِ ثٌذی هٌكویم ثشچست هوذاس ًسجی‬
‫یٌی اص تلسیش ّبی آًتشٍپی ًِ دس تئَسی اق ػبت هكشح هیضَد حذاهل تؼذاد ثیتّبی صم ثشای ًذ ًشدى یٌای اص اػؿابی دلخاَاُ ‪ S‬اسات‬
‫یي ثبضذم دسیبكت ًٌٌذُی اق ػبت هیداًذ ًِ ًوًَِی اًتخبثی حتوبا ه جات‬ ‫(ثشای ه بل یي ػؿَ تػبدكی ثب احتوبل یٌٌَاخت)‪ .‬ه ا اگش‬
‫‪ 0.5‬ثبضذم ثشای اسسبل ّش ًوًَِ دهیوابا ‪ 1‬ثیات صم‬ ‫خَاّذ ثَدم پس ًیبصی ثِ اسسبل دادُ ای ًیستم آًتشٍپی غلش است‪ .‬اص سَی دیگشم اگش‬
‫‪ 0.8‬ثبضذم هجوَػِ ای اص اػؿب سا هیتَاى ثب هتَسف ًوتش‬ ‫خَاّذ ثَد تب ثشای دسیبكت ًٌٌذُ هؼلَم گشدد ًِ ًوًَِ ه جت ثَدُ یب هٌلی‪ ٍ .‬اگش‬
‫اص ‪ 1‬ثیت ثشای ّش ػؿَ ًذ ًشدم دس ایي ًذم ثشای اػؿبی ه جت ًذ ًَتبُتش ٍ ثشای اػؿبی هٌلی ًذ ثلٌذ تشی هَسد استلبدُ هشاس هیگیشد‪.‬‬

‫تؼشیق ثب تؼشیق آًتشٍپی ثشای تَاثغ ّذف هٌكوی استم دس حبلت ًلیتش اگش ٍیژگی ّذف ثتَاًذ ‪ c‬هوذاس هتلبٍت داضتِ ثبضذم آًتشٍپی ‪ S‬ثاشای‬
‫ایي دستِ ثٌذی ‪ c‬حبلتی ثِ غَست صیش تؼشیق هیضَد‪:‬‬

‫∑‬ ‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًسجتی اص ‪ S‬است ًِ هوذاس ‪ i‬سا داسد‪ .‬تَجِ داسیذ ًِ پبیِی لگبسیتن ّوچٌبى ‪ 2‬ثبهی هیهبًذ صیاشا ًاِ آًتشٍپای هتَساف تؼاذاد‬ ‫دس ایي ساثكِ‬
‫ثیتّبی صم ثشای اسسبل اق ػبت سا حسبة هیًٌذ‪ّ .‬وچٌیي تَجِ داضتِ ثبضیذ ًِ اگش ٍیژگای ّاذف ‪ c‬حبلات هوٌاي داضاتِ ثبضاذم هواذاس‬
‫خَاّذ ثَد‪.‬‬ ‫آًتشٍپی حذاً ش‬

‫‪‌ 1.4.3.3‬‬
‫بْرُی اطالعات‪ ،‬هعیار کاّش اًتظاری آًترٍپی‬
‫ثب داضتي آًتشٍپی ثِ ػٌَاى هؼیبسی ثشای هیضاى یٌذستی هجوَػِ ای اص ًوًَِ ّبی آهَصضیم حبل هیتاَاًین هؼیابسی ثاشای تاأثیش گازاسی یاي‬
‫هیضَد‪ .‬ثْشُ‌ی اق ػبت هیضاى‬
‫ٍیژگی دس دستِ ثٌذی ًوًَِ ّبی آهَصضی اسائِ دّین‪ّ .‬وبى قَس ًِ گلتِ ضذ ایي هؼیبس ثْشُ‌ی اق ػبت ًبهیذُ ‌‬
‫ًبّص اًتظبسی آًتشٍپی اص دستِ ثٌذی ثش اسبس ٍیژگی خبظ است‪ .‬ثِ ػجبست دهینتاشم ثْاشُ‌ی اق ػابت ٍیژگای ‪ A‬ثاش سٍی هجوَػاِ‌ی ‪S‬م‬
‫‌‬
‫هجوَػِی ًوًَِ ّبی هَجَد ثِ ضٌل صیش تؼشیق هیًٌین‪:‬‬ ‫)‪ Gain(S,A‬سا ثش حست‬

‫| |‬
‫∑‬ ‫‌‌‌‌‌‌‌‌‌‌‬
‫| |‬

‫صیش تؼذاد ًوًَِّبیی اص ‪ّ S‬ساتٌذ ًاِ ثاشای ٍیژگای ‪A‬‬ ‫دس ایي ساثكِ هوذاس )‪ Values(A‬دستِ توبم هوبدیش هوٌي ثشای ٍیژگی ‪ A‬است ٍ‬
‫‪ .‬تَجِ داضتِ ثبضیذ ًِ جولِی اٍل دس ساثكِی ‪ 3.4‬كوف خَد آًتشٍپی هجوَػِی ‪ S‬است‬ ‫{‬ ‫|‬ ‫هوذاس ‪ v‬سا داسًذ }‬
‫ٍ جولِی دٍم هیبًگیي آًتشٍپی ثؼذ اص توسین ‪ S‬ثب ٍیژگی ‪ A‬است‪ .‬هیبًگیي یب اهیذ آًتشٍپیای ًِ دس ایي جولِ آهذُ است ّوبى هجوَع آًتشٍپای‬
‫|‬ ‫|‬
‫ؾشة ضذُ است‪ .‬پس ثٌبثشایي )‪ Gain(S,A‬اهیذ ًبّص آًتشٍپی ثب توسین ثٌذی ثاش اسابس‬ ‫| |‬
‫ّبست ًِ دس ًسجت ًوًَِّب‬ ‫ثشای توبهی‬
‫ٍیژگی ‪ A‬است‪ .‬ثِ ػجبست دیگشم )‪ Gain(S,A‬هیضاى اق ػبتی است ًِ دس هَسد هوذاس تبثغ ّذف ثب داضتي هوذاس ٍیژگی ‪ A‬ثذسات هایآٍسیان‪.‬‬
‫هوذاس )‪ Gain(S,A‬تؼذاد ثیتّبیی است ًِ دس ًذ ًشدى هوذاس تبثغ ّذف ثش سٍی اػؿبی دلخَاُ ‪ S‬ثب داضاتي هواذاس ٍیژگای ‪ A‬آىّاب غاشكِ‬
‫جَیی هیضَد‪.‬‬

‫‌‬
‫هجوَػِی ًوًَِ ّبی آهَصضی سٍصّب ثبضذ ًِ تَساف ٍیژگای ‪ Wind‬ثاب هوابدیش ‪ Weak ٍ Strong‬تَغایق‬ ‫ثشای ه بلم كشؼ ًٌیذ ًِ ‪S‬‬
‫هیضَد‪ّ .‬وبى قَس ًِ هج ا ّن داضتین ایي هجوَػِ‌ی ‪S‬م ‪ً 14‬وًَِ داسدم ]‪ .[9+,5-‬اص ایاي ‪ً 14‬وًَاِ ثاشای هواذاس ”‪6 “Wind = Weak‬‬
‫ًوًَِّب ثشای هوذاس ”‪ “Wind = Strong‬است‪ .‬ثْشُ‌ی اق ػبت ثب تَجِ ثِ ایي ‪ً 14‬وًَِ سا‬
‫ًوًَِی هٌلی داسین ٍ ثویِ‌ی ‌‬
‫ًوًَِی ه جت ٍ ‪‌ 2‬‬
‫‌‬
‫هیتَاى ثِ ضٌل صیش هحبسجِ ًشد‪:‬‬

‫‪Values (Wind) = Strong, Weak‬‬

‫]‪S = [9+, 5-‬‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫[‬ ‫]‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫[‬ ‫]‬

‫| |‬
‫∑‬
‫| |‬
‫{‬ ‫}‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫(‬ ‫)‬

‫( ‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫)‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬ ‫(‬ ‫)‬ ‫(‬ ‫)‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬

‫هیضَد‪ً .‬وًَِ‌ای اص استلبدُ اص‬

‫ثْشُی اق ػبت دهیوبا هؼیبسی است ًِ دس ‪ ID3‬ثشای اًتخبة ثْتشیي ٍیژگی دس ّش هشحلِ اص سضذ دسخت استلبدُ ‌‬
‫‌‬
‫ثْشُی اق ػبت ثشای تخویي هیضاى استجبـ ٍیژگی‌ّب ثب تبثغ ّذف دس ضٌل ‪ 3.3‬آهذُ است‪ .‬دس ایاي ضاٌل ثْاشُ‌ی اق ػابت ثاشای دٍ ٍیژگای‬
‫‌‬
‫هختلق ‪ Wind ٍ Humidity‬هحبسجِ ضذُ تب هؼلَم گشدد ًِ ًذام ٍیژگیم ٍیژگی ثْتشی ثشای دساتِ ثٌاذی ًوًَاِ‌ّابی آهَصضای آهاذُ دس‬
‫جذٍل ‪ 3.2‬است‪.‬‬

‫ثْشُی اق ػبتی ثیطتشی ثشای دستِ ثٌذی ًسجت ثِ ‪ Wind‬داسد‪.‬‬ ‫ضٌل ‪ٍ 3.3‬یژگی ‪‌ Humidity‬‬
‫اٍلیِی ًوًَِ ّبی آهَصضی اسات‪ .‬ثاب داضاتي هجوَػاِ‌ی ‌‬
‫اٍلیاِی ‪S‬م ]‪[9+,5-‬م ثاب اساتلبدُ اص ٍیژگای‬ ‫هجوَػِی ‌‬
‫‌‬ ‫دس ایي ضٌل ‪ً E‬وبد آًتشٍپی است ٍ ‪S‬‬
‫‪ Humidity‬دٍ صیش هجوَػِ‌ی ]‪( [3+,4-‬ثشای ‪( [6+,1-] ٍ )Humidity=High‬ثشای ‪ )Humidity=Normal‬ثذست هیآیذ‪ .‬ثْشُ‌ی اق ػبت ایي‬
‫توسین ثٌذی ‪ 0.151‬است ًِ اص هوذاس ًظیش دس توسین ثٌذی ثش اسبس )‪ (0.048‬ثبد ثیطتش است‪.‬‬

‫‪ 1.4.3‬یک هثال‬
‫ثشای تػَس ثْتش اص ػولٌشد ‪ID3‬م ًبس یبدگیشی ًِ تَسف ًوًَِ ّبی آهَصضی جذٍل ‪ 3.2‬ثیبى ضذُ است سا دس ًظش ثگیشیذ‪ .‬دس ایٌجب ٍیژگی ّذف‬
‫ٍیژگی ‪ PlayTennis‬استم ًِ هوبدیش ‪ No ٍ Yes‬داسد‪ .‬هشحلِ‌ی اٍل الگَسیتن سا دس ًظش ثگیشیاذم دس ایاي هشحلاِ ثاب تشیي هساوت دسخات‬
‫تطااٌیل ه ایضااَد‪ .‬چااِ ٍیژگ ایای ثبیااذ دس ایااي هسااوت ثشسساای ضااَد؟ ‪ ID3‬ثْااشُ‌ی اق ػاابت سا ثااشای تواابهی ٍیژگاای‌ّااب (‪Outlook‬م‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

‫ هحبساجِ‌ی‬.‫هیگضیٌاذ‬
‌ ‫هیًٌذم سپس ٍیژگی‌ای سا ًِ ثب تشیي ثْشُ‌ی اق ػبت سا داسد ثش‬
‌ ‫) تؼییي‬Wind ٍ Humidity ‫م‬Temperature
:‫ هوبدیش ثْشُ‌ی اق ػبت هحبسجِ ضذُ ثشای توبهی ٍیژگی‌ّب ثِ ضشح صیش است‬.‫ آهذُ است‬3.3 ‫صم ثشای دٍ هَسد اص ایي ٍیژگی‌ّب دس ضٌل‬

Gain(S, Sky) = 0.246

Gain(S, Humidity) = 0.151

Gain(S, Wind) = 0.048

Gain(S, AirTemp) = 0.029

‌ ‫ ّوبى هجوَػِ‌ی‬S ‫دس ایي سٍاثف‬

.‫ است‬3.2 ‫ًوًَِّبی جذٍل‬

PlayTennis Wind Humidity Temperature Outlook ‫سٍص‬

No Weak High Warm Sunny 1 ‫سٍص‬

No High High Warm Sunny 2 ‫سٍص‬

Yes Weak High Warm Overcast 3 ‫سٍص‬

Yes Weak High Mild Rain 4 ‫سٍص‬

Yes Weak Normal Cool Rain 5 ‫سٍص‬

No Strong Normal Cool Rain 6 ‫سٍص‬

Yes Strong Normal Cool Overcast 7 ‫سٍص‬

No Weak High Mild Sunny 8 ‫سٍص‬

Yes Weak Normal Cool Sunny 9 ‫سٍص‬

Yes Weak Normal Mild Rain 10 ‫سٍص‬

Yes Strong Normal Mild Sunny 11 ‫سٍص‬

Yes Strong High Mild Overcast 12 ‫سٍص‬

Yes Weak Normal Hot Overcast 13 ‫سٍص‬

No Strong High Mild Rain 14 ‫سٍص‬

‌ 3.2 ‫جذٍل‬
.PlayTennis ‫ًوًَِّبی آهَصضی ثشای هلَْم ّذف‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثٌب ثش ثْشُ ّبی اق ػبت هحبسجِ ضذُم ٍیژگی ‪ Outlook‬ثیطتشیي تأثیش سا ثاش ‪ PlayTennis‬ثاش سٍی ًوًَاِ‌ّابی آهَصضای داسد‪ .‬ثٌابثشایي‬
‫‪ Outlook‬ثْتشیي ٍیژگی ثشای ثشسسی دس گشُ سیطِ‌ی دسخت اساتم ٍ ضابخِ‌ّاب ًیاض هوابدیش هختلاق ایاي ٍیژگای (‪Sunny‬م ‪ٍ Cloudy‬‬
‫‪ )Rainy‬خَاٌّذ ثَد‪ .‬دسخت حبغل دس ضٌل ‪ 3.4‬ثِ ّوشاُ ًوًَِ‌ّبی هشثَـ ثِ ّش ضبخِ ًطبى دادُ ضذُ است‪ .‬تَجِ داسیاذ ًاِ ثاشای توابهی‬
‫‌‬
‫ًوًَِّبیی ًِ ‪ Outlook=Cloudy‬استم هوذاس ‪ً PlayTennis‬یض ثلِ است‪ .‬ثٌبثشایي ایي گشُ اص دسخت ثب ‪ PlayTennis=Yes‬ػ هات‬
‫گزاسی هیضَد‪ .‬دس هوبثلم ثشای دٍ ٍؾغ َّای ‪ Sunny ٍ Rainy‬آًتشٍپی غلش ًیست ٍ دسخت تػوین گیشی دس صیش ایي ضبخِ‌ّب سضذ ثیطتشی‬
‫خَاّذ ًشد‪.‬‬

‫كشایٌذ اًتخبة یي ٍیژگی جذیذ ٍ توسین ًوًَِ‌ّب دٍثبسُ ثشای گشُ ّبی ؿیش پبیبًی‪ 1‬اًجبم هیضَد ثب ایي تلبٍت ًِ دس ایي هشحلِ كوف ًوًَِ‌ّبیی‬
‫ًِ ثب گشُ تكبثن داسًذ هَسد استلبدُ هشاس هیگیشًذ ٍ ٍیژگی‌ّبیی ًِ هج ا استلبدُ ضذُ‌اًذ اص هجوَػِ‌ی هشثَقِ حزف هیگشدًذ تب ّش ٍیژگای دس‬
‫ّش هسیش اص سیطِ تب ثشٍ حذاً ش یي ثبس ربّش ضَد‪ .‬ایي كشایٌذ ثشای توبهی ثشٍّبی ثذست آهذُ اداهِ پیذا هیًٌذ تب یٌای اص دٍ ضاشـ سٍثاشٍ‬
‫ٍیژگیّب استلبدُ ضًَذم (‪ً )2‬وًَِ‌ّبی توبهی ثشٍّب اص هوذاس یٌسبًی اص تبثغ ّذف سا داضتِ ثبضٌذ (آًتشٍپایضابى غالش‬
‫‌‬ ‫دسست ضَد‪ّ )1( :‬وِ‌ی‬
‫هحبسجِی ‌‬
‫ثْشُی اق ػبت ثشای هشاحل ثؼذی سضذ دسخت سا ًطبى هیدّذ‪ .‬دسخت ًبهل ضذُ تَساف ‪ ID3‬ثاشای توابهی ‪14‬‬ ‫‌‬ ‫ضَد)‪ .‬ضٌل ‪3.4‬‬
‫‌‬
‫ًوًَِی جذٍل ‪ 3.2‬دس ضٌل ‪ 3.1‬آهذُ است‪.‬‬

‫‪1‬‬
‫‪nonterminal‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ضٌل ‪ 3.4‬دسخت ًیوِ ًبسُ ای ًِ ثؼذ اص یي هشحلِ اجشای ‪ ID3‬ثذست هیآیذ‪.‬‬

‫ًوًَِ ّبی آهَصضی ّش گشُ دستِ ثٌذی ٍ جذا ضذُ‌اًذ‪ .‬هوذاس ‪ Cloudy‬چَى تٌْب ًوًَِّبی ه جت داسد پس ثب ‪ Yes‬ػ هت گزاسی ضذُ است‪ .‬دٍ ثشٍ دیگش‬
‫ثب اًتخبة ٍیژگی‌ّبیی ًِ ثْشُ‌ی اق ػبت ثیطتش (ثشای ًوًَِ ّبی ّوبى ضبخِ) داسًذ ثبص ّن تَسؼِ خَاٌّذ یبكت‪.‬‬

‫‪ 313‬جستجو در فضای فرضیه‌ها در یادگیری درختی‬

‫‌‬
‫هتٌبساتتاشیي كشؾایِ ثاب‬ ‫هطبثِ دیگش هتذ ّبی یبدگیشی استوشاییم ‪ ID3‬سا ًیض هیتَاى جستجَیی دس هیبى كؿبیی اص كشؾیِ‌ّب ثشای پیذا ًشدى‬
‫‌‬
‫هجوَػِی توبهی دسختّبی تػوین گیشی اسات‪ID3 .‬‬ ‫ًوًَِ ّبی آهَصضی دس ًظش گشكت‪ .‬كؿبی كشؾیِ ای ًِ تَسف ‪ ID3‬جستجَ هیگشدد‬
‫جستجَی سبدُ ثِ پیچیذُ‪ hill-climbing ٍ 1‬سا دس ایي كؿبی كشؾیِ ای اًجبم هیدّذ‪ .‬اثتذای ایي جستجَ دسخت ثسیبس سبدُ‌ی تْی اساتم‬
‫سپس ثب اداهِ‌ی كشایٌذ ًنًن دسخت جضئیتش هیگشدد تب ثِ دسختی ثشسذ ًِ ثتَاًذ توبهی ًوًَِ ّبی آهَصضی سا دسست دستِ ثٌاذی ًٌاذ‪ .‬تابثغ‬
‫‌‬
‫ثْشُی اق ػبت ایي جستجَی ‪ hill-climbing‬سا ًٌتشل هیًٌذ‪ .‬ایي جستجَ دس ضٌل ‪ً 3.5‬طبى دادُ ضذُ است‪.‬‬

‫ثب ًگبُ ثِ جٌجِ‌ی جستجَیی ٍ ثب تَجِ ثِ كؿبی جستجَ ٍ استشاتژی جستجَی ‪ID3‬م تؼذادی اص هبثلیت‌ّب ٍ هحذٍدیت‌ّبی آى هطبّذُ ‌‬
‫هیضَد‪:‬‬

‫‪1‬‬
‫‪simple-to-complex‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫كؿبی كشؾیِ ای ‪ّ ًِ ID3‬وبى توبهی دسختّبی تػوین گیشی است توبهی تَاثغ گسستِ هوذاس هتٌبّی سا ثب تَجِ ثِ ٍیژگیّابی‬ ‫‪‬‬
‫هَجَد دس ثش هیگیشد‪ .‬صیشا ًِ ّش تبثغ هتٌبّی گسستِ هوذاس سا هیتَاى ثب دسخت تػوین گیشیای ًطبى دادم پس ‪ ID3‬هطاٌلی (ًاِ‬
‫هوٌي است تبثغ ّذف دس كؿبی كشؾیِ ای ًجبضذ) ًِ خیلی اص هتذ‌ّب (ه ل هتذ‌ّبیی ًِ كوف تشًیتّبی ػكلی سا دس ًظش هیگیشًاذ)‬
‫دس هَسد هحذٍدیت كؿبی كشؾیِ ای داسًذ سا ًذاسدم‪.‬‬

‫جستجَی ‪ ID3‬دس كؿبی كشؾیِای‪.‬‬ ‫‌‬ ‫ضٌل ‪3.5‬‬

‫‪ ID3‬جستجَیی سبدُ ثِ پیچیذُ سا دس هیبى توبهی دسختّبی تػوین گیشی هختلق اًجبم هیدّذ‪ .‬ایي جستجَ تَسف تبثغ ثْشُی اق ػبت ًٌتشل هیضَد‪.‬‬
‫‪ ID3 ‬تٌْب یي كشؾیِ سا دس جستجَ ثِ دًجبل كشؾیِی هكلَة دس كؿبی دسختّبی تػوین گیشی دًجبل هیًٌذ‪ .‬ایي ًَع جستجَ ثاب‬
‫الگَسیتن ‪ ًِ Candidate-Elimination‬توبهی كشؾیِ ّبی هوٌي سبصگبس ثب ًوًَِ ّبی آهَصضی سا پیذا هیًشد دس تؿبد است‪.‬‬
‫ثب هحذٍد ضذى ثِ یي كشؾیِی خبظم ‪ ID3‬هبثلیت هؼلَم ًشدى توبهی كشؾیِ ّبی هتٌبست ثاب ًوًَاِ ّابی آهَصضای سا اص دسات‬
‫هیدّذ‪ .‬ثشای ه بلم ‪ً ID3‬ویتَاًذ هطخع ًٌذ ًِ چٌذ دسخت تػوین گیشی ثب ًوًَِ ّبی آهَصضی هكبثوٌذم یب ایٌٌِ ًویتَاًذ ثیي‬
‫ایي چٌذیي دسخت تػوین گیشی هختلق دس صهبى ػذم ّوبٌّگی سای گیشی ًٌذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًسخِی اغلی ‪ّ ID3‬یچ ثبصًگشی‌ای‪ 1‬ثِ ػولیبتّبی هجلی دس جستجَیص ًویًٌذ‪ .‬صهبًی ًِ یي ٍیژگی سا ثشای هشحلِی خبظ دس‬ ‫‪‬‬
‫دسخت اًتخبة ًشد ّیچ گبُ ثشای تـییش آى ثِ ایي هشحلِ ثبص ًویگشدد‪ .‬ثٌبثشایي ایي احتوبل ٍجَد داسد ًِ ثِ سیسيّابی سٍشّابی‬
‫‪ hill climbing‬ثذٍى ثبصًگشی دچبس ضَین‪ :‬احتوبل داسد ًِ ثِ جبی یي هیٌیون هكلن ثِ یي هیٌیون هَؾؼی هیل ًٌین‪ .‬دس هاَسد‬
‫‪ID3‬م ایي هطٌل ثب اًتخبة دسختی ًِ ثِ غَست هَؾؼی ٍ دس هسیش هَسد ثشسسی ثْیٌِتشیي است ایجبد هیضَد‪ .‬ثب ایي ٍجاَدم ایاي‬
‫جَاة هَؾؼی ثْیٌِ ضبیذ ًسجت ثِ دسختّبیی ًِ دس دیگش ضبخِ ّبی دیگش جستجَ ٍجَد داسًذ غ حیت ًوتشی داضاتِ ثبضاذ‪ .‬دس‬
‫اداهِ ثِ تـییشی دس الگَسیتن اغلی خَاّین پشداخت ٍ ًَػی ثبصًگشی سا ثِ الگَسیتن اؾبكِ هیًٌذ‪ّ( .‬شس دسخت)‬
‫‪ ID3‬دس هشحلِی جستجَ اص توبهی ًوًَِ ّبی آهَصضی ثشای اًتخبة آهبسیاش دس چگًَگی تـییش دسخت كؼلی استلبدُ هیًٌاذ‪ .‬ایاي‬ ‫‪‬‬
‫ًبس ثب هتذ ّبی دیگش ًِ تيتاي ثاِ ساشاؽ ًوًَاِ ّابی آهَصضای هایسًٍاذ دس تؿابد اسات (الگاَسیتنّابیی چاَى ‪ Find-S‬یاب‬
‫‪ .)Candidate-Elimination‬یٌی اص هضایبی استلبدُ اص خَاظ آهبسی توابهی ًوًَاِ ّابی آهَصضای (خَاغای چاَى ثْاشُی‬
‫اق ػبت) ایي است ًِ جستجَ ًسجت ثِ خكبّب حسبسیت ًوتشی خَاّذ داضت‪ ID3 .‬ثاِ ساحتای هایتَاًاذ ثاب دادُ ّابی خكاب داس‬
‫آهَصضی ًیض ًبس ًٌذم كوف ًبكی است ًِ ضشـ خشٍج سا اص دستِ ثٌذی دسست توبهی ًوًَِ ّابی آهَصضای ثاِ دساتِ ثٌاذی دسسات‬
‫اً شیت ًوًَِ ّبی آهَصضی تـییش دّین‪.‬‬

‫‪ 313‬بایاس استقرایی در یادگیری درختی‬

‫خف هطی ًِ ‪ ID3‬ثشای تؼوین ثش سٍی دادُ ّبی آهَصضی استلبدُ هیًٌذ چیست؟ ثِ ػجبست دیگشم ثبیبس استوشایی ‪ ID3‬چیست؟ ثاب تَجاِ ثاِ‬
‫آًچِ ًِ دس كػل ‪ 2‬گلتِ ضذم ثبیبس استوشایی دستِ كشؼّبیی است ًِ ػ ٍُ ثش دادُ ّبی آهَصضی كشؼ هیضَد تب ثتَاى تؼوین دستِ ثٌاذی‬
‫اػوبلی یبدگیش سا تَجیِ ًشد‪.‬‬

‫ثب هؼلَم ثَدى هجوَػِی ًوًَِ ّبی آهَصضیم تؼذاد ثسیبس صیبدی دسخت تػوین گیشی سبصگبس ثب ایي ًوًَِّب سا هیتَاى هطخع ًشد‪ .‬تَغایق‬
‫ثبیبس استوشایی ‪ ID3‬جَاة ایي ساال است ًِ چشا ‪ ID3‬ثب ٍجَد دسختّبی سبصگبس ثسیبس ثب ًوًَِ ّبی آهَصضیم دسختی ثِ خػَظ سا اًتخبة‬
‫هیًٌذ؟ ایي دسخت چِ ٍیژگیّبیی داسد؟ الگَسیتن ‪ ID3‬اٍلیي دسخت هبثل هجَل سا ًِ دس جستجَی سبدُ ثِ پیچیذُ ٍ ‪ hill-climbing‬آى ثاب‬
‫آى هَاجِ هیضَد سا اص هیبى توبهی دسختّبی هوٌي ثش هیگضیٌذ‪ .‬استشاتژی جستجَی ‪ ID3‬سا هیتَاى ثِ غاَست سٍثاشٍ تَغایق ًاشد‪(a) :‬‬
‫دسختّبی ًَتبُتش ًسجت ثِ دسختّبی ثلٌذ تش اسجحیت داسًذم )‪ (b‬دسختی ثشگضیذُ هیضَد ًِ ثْشُی اق ػبتص دس ًضدیٌی سیطِ ثیطتش ثبضذ‪.‬‬
‫ثِ دلیل تأثیشات پیچیذُی اًتخبة ٍیژگیّب دس ‪ ID3‬هطخع ًشدى ثبیبس استوشایی ثِ قَس دهین ًوی دضَاس است‪ .‬ثب ایي ٍجَدم هیتاَاى ثاِ‬
‫غَست ًلی گلت ًِ ایي الگَسیتن دسختّبی ًَتبُ تش سا ثش دسختّبی ثلٌذ تش تشجیح هیدّذ‪.‬‬

‫بایاس استقرایی تخمینی ‪ :ID3‬دسختّبی ًَتبُ تش ًسجت ثِ دسختّبی ثلٌذ تش اسجحیت داسًذ‪.‬‬

‫دس ٍاهغم هیتَاى گلت ًِ الگَسیتوی هطبثِ ‪ٍ ID3‬جَد داسد ًِ دهیوبا ثبیبس استوشایی كَم سا داسد‪ .‬الگَسیتوی سا دس ًظش ثگیشیاذ ًاِ جساتجَی‬
‫هیبى كشؾیِّب سا ثب دسختی تْی آؿبص هیًٌذ ٍ ثب جستجَی ًن ػووی‪ً )BFS( 2‬نًن ثِ قشف دسختّبی پیچیذُ تش هیسٍد‪ .‬یؼٌی اثتاذا توابهی‬
‫دسختّبیی ًِ ػون یي داسًذ سا جستجَ هیًٌذ سپس ثِ سشاؽ ػون دٍ هایسٍد ٍ ‪ . ...‬ایاي الگاَسیتن دس هَاجْاِ ثاب دسختای ًاِ ثاب توابهی‬

‫‪1‬‬
‫‪backtrack‬‬
‫‪2‬‬
‫‪breath first search‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًوًَِ ّبی آهَصضی سبصگبس استم ًَچيتشیي دسخت هوٌي سا دس ػون كؼلی خشٍجی هیدّذ (ه ا دسختای ًاِ ًوتاشیي تؼاذاد گاشُ سا داضاتِ‬
‫ثبضذ)‪ .‬ایي الگَسیتن ثِ اختػبس ‪ BFS-ID3‬خَاًذُ هیضَد‪ًَ BFS-ID3 .‬تبُتشیي دسخت تػوین گیشیای سبصگبس ثب دادُ ّبی آهَصضای سا پیاذا‬
‫هیًٌذم یؼٌی دهیوبا ثبیبس استوشایی "دسختّبی ًَتبُ تش ًسجت ثِ دسختّبی ثلٌذ تش اسجحیت داسًذ" سا داساست‪ ID3 .‬سا هایتاَاى تخویٌای اص‬
‫‪ BFS-ID3‬داًستم ثب ایي تلبٍت ًِ جستجَ دس ‪ID3‬م جستجَیی حشیػبًِ ثشای یبكتي ًَتبُتشیي دسخت هوٌي است ٍ توبهی كؿبی كشؾیِّب‬
‫جستجَ ًویضَد‪.‬‬

‫چَى ‪ ID3‬اص ثْشُی اق ػبت ٍ استشاتژی ‪ hill-climbing‬استلبدُ هیًٌذ ثبیبس پیچیذُ تشی ًسجت ثاِ ‪ BFS-ID3‬داسد‪ .‬دس ًالم ّویطاِ‬
‫ًَتبُتشیي دسخت هوٌي پیذا ًویضَد ٍ الگَسیتن توبیل داسد ًِ دسختّبیی سا اًتخبة ًٌذ ًِ ثْشُی اق ػبتطبى دس ًضدیٌی سیطِ ثیطتش ثبضذ‪.‬‬

‫تخمینی مناسبتر از بایاس استقرایی ‪ :ID3‬دسختّبی ًَتبُتشی ًسجت ثِ دسختّبی ثلٌذ تش اسجحیت داسًذ‪ .‬دسختّبیی ًاِ ثْاشُی‬
‫اق ػبت ثیطتشی دس ًضدیٌی سیطِ داسًذ ًیض اسجحیت داسًذ‪.‬‬

‫‪ 1.6.3‬بایاسّای هحذٍد کٌٌذُ ٍ بایاسّای هطلَب‬

‫تلبٍتّبی جبلجی هیبى دٍ ًَع هختلق ثبیبس ًِ تَسف دٍ الگَسیتن ‪ Candidate-Elimination ٍ ID3‬ثِ ًبس ثشدُ هیضَد ٍجَد داسد‪ .‬ثِ‬
‫تلبٍتّبی ایي دٍ سٍش جستجَی كؿبی كشؾیِّب تَجِ ًٌیذ‪:‬‬

‫‪ ID3‬كؿبی كشؾیِ ای ًبهلی سا جستجَ هیًٌذ (كؿبیی ًِ توبهی تَاثغ گسستِ هوذاس هتٌبّی سا هیتَاًذ تَغایق ًٌاذ)‪ .‬اص قشكای‬ ‫‪‬‬
‫ایي جستجَ توبهی كؿبی كشؾیِ ای سا ضبهل ًویضَدم جستجَ اص كشؾیِ ّبی سبدُ تش ضشٍع ضذُ ٍ ثاِ هحاؽ سسایذى ثاِ ضاشـ‬
‫خشٍج پبیبى هییبثذ (ه ا صهبًی ًِ كشؾیِ ای توبهی ًوًَِ ّبی آهَصضی سا دسسات دساتِ ثٌاذی هایًٌاذ)‪ .‬ثبیابس اساتوشایی ایاي‬
‫الگَسیتن كوف ًبضی اص ًحَُی تشتیت جستجَی ایي كشؾیِّبست ٍ ثبیبس دیگشی ٍجَد ًذاسد‪.‬‬
‫الگَسیتن ‪ Candidate-Elimination‬كؿبی كشؾایِ ای ؿیاش ًابهلی سا جساتجَ هایًٌاذ (تٌْاب صیاش هجوَػاِ ای اص توابهی‬ ‫‪‬‬
‫هلَْمّبیی سا ًِ هیتَاى اص ًوًَِّب یبد گشكت)‪ .‬اهب ایي كؿبی كشؾیِ ای سا ًبهل جستجَ هایًٌاذ ٍ توابهی كشؾایِّابیی ًاِ ثاب‬
‫ًوًَِ ّبی آهَصضی سبصگبس ّستٌذ سا پیذا هیًٌذ‪ .‬ثبیبس استوشایی ایي الگَسیتن كوف ًبضی اص هیضاى ضوَل كؿبی كشؾیِ ای آى است‬
‫ٍ استشاتژی جستجَیص ّیچ ًوطی دس ثبیبس ًذاسد‪.‬‬
‫ثِ قَس خ غِم ثبیبس استوشایی ‪ ID3‬اص استشاتژی جستجَیص ًبضی هیضَد دس حبلی ًاِ ثبیابس اساتوشایی ‪Candidate-Elimination‬‬
‫ًبضی اص كؿبیی جستجَ آى است‪.‬‬

‫پسم ثبیبس استوشایی ‪ ID3‬یي تشجیح كشؾیِّب ثش دیگش كشؾیِّبستم ثذٍى ایٌٌِ كؿبی كشؾیِ ای ّیچ هحذٍدیتی ایجبد ًٌذ‪ .‬ایي ًَع ثبیبس‬
‫سا هؼوَ ا ثبیبس تشجیحی‪( 1‬یب ثبیبس جستجَیی‪ )2‬هیًبهٌذ‪ .‬دس هوبثلم ثبیبس ‪ً Candidate-Elimination‬به ا ثاِ كؿابی كشؾایِ ای دس‬
‫ًظش گشكتِ ضذُ ٍاثستِ است‪ .‬ایي ًَع ثبیبس سا ًیض ثبیبس هحذٍدیتی‪( 3‬یب ثبیبس صثبًی‪ )4‬هیًبهٌذ‪.‬‬

‫‪1‬‬
‫‪preference bias‬‬
‫‪2‬‬
‫‪search bias‬‬
‫‪3‬‬
‫‪restriction bias‬‬
‫‪4‬‬
‫‪language bias‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب داًستي ایٌٌِ ثبیبسّبی استوشایی ثشای تؼوین ًوًَِّب ّستٌذم (ثب تَجِ ثِ آًچِ ًِ دس كػل ‪ 2‬گلتِ ضذ)م ًاذام ًاَع اص ثبیابس پساٌذیذُ تاش‬
‫است؟ ثبیبس تشجیحی یب ثبیبس هحذٍدیتی؟‬

‫هؼوَ ام ثبیبسّبی تشجیحی ثِ ثبیبسّبی هحذٍدیتی تشجیح دادُ هیضًَذم صیشا ًِ ثِ یبدگیش اجبصُ هیدٌّذ تب دس كؿبی كشؾیِ ای ًابهلی ًاِ‬
‫هكوئٌبا تبثغ ّذف هجَْل سا دس ثش هیگیشد ًبس ًٌذ‪ .‬دس هوبثلم ثبیبسّبی هحذٍدیتی ًِ تَاثاغ هبثال یابدگیشی سا ثاِ دساتِی خبغای هحاذٍد‬
‫هیًٌٌذ اص اسجحیت ًوتشی ثشخَسداسًذم صیشا ًِ پیصكشؾی سا دس هَسد تبثغ ّذف هجَْل هیگزاسًذ‪.‬‬

‫ثب ٍجَد ایٌٌِ دٍ الگَسیتن ثحث ضذُ ‪ ID3‬ثبیبسای ًابه ا تشجیحای ٍ ‪ Candidate-Elimination‬ثبیبسای ًابه ا هحاذٍدیتی داسدم اهاب‬
‫الگَسیتنّبیی ٍجَد داسًذ ًِ ثبیبسطبى تشًیجی اص ایي ثبیبسّبست‪ .‬ثشای ه بلم ثشًبهِ ای ًِ دس كػل ‪ 1‬ثشای تخویي ػذدی دس یبدگیشی ثبصیّب‬
‫تَؾیح دادُ ضذ سا دس ًظش ثگیشیذ‪ .‬دس ایي ثشًبهِم تَاثغ تخویي یبد گشكتِ ضذُ تشًیتّبی خكی دستِ ای اص ٍیژگیّبی غلحِ ثَدًذم ٍ الگَسیتن‬
‫یبدگیشی پبساهتش ّبی ایي تشًیت خكی سا تؼییي هیًشد ثب سبصگبسی ثیطتشی ثب ًوًَِ ّبی آهَصضی داضتِ ثبضذ‪ .‬دس ایي ه بلم ایٌٌِ اص تَاثغ خكی‬
‫ثشای ًوبیص تبثغ تخویي استلبدُ ًٌین ًَػی ثبیبس هحذٍدیتی است (تَاثغ ؿیش خكی سا ًویتَاى ثب ایي ًوبیص ًطبى داد)‪ .‬اص قشف دیگشم ایٌٌِ‬
‫ثب سٍش خبغی (ه ل الگَسیتن ‪ )LMS‬پبساهتشّب سا تؼییي ًٌین ثبیبسی تشجیحی استم ثبیبسی ًِ ثبػث هیضاَد توابهی پابساهتش ّابی هوٌاي سا‬
‫ثشسسی ًٌٌین‪.‬‬

‫‪ 1.6.3‬چرا فرضیِ ّای کَتاُ تر ارجحیت دارًذ؟‬

‫آیب تشجیح ‪ ID3‬ثشای دسختّبی ًَتبُتش ثشای تؼوین ًوًَِ ّبی آهَصضی هلیذ است؟ كیلسَكبى سبلّاب دسثابسُی چٌایي سااالی ثحاث ًاشدُ ٍ‬
‫هیًٌٌذ‪ٍ .‬یلیبم اٍ اًٍبم )‪ (William of Occam‬یٌی اص اٍلیي اكشادی ثَد ًِ دسثبسُی ثحثّبیی سا هكشح ًشد (سابل ‪)1320‬م ثاِ ّوایي‬
‫دلیلم ایي ًَع ثبیبس سا ثبیبس تیؾ ‪ Occam‬هیًبهٌذ‪.‬‬

‫بایاس تیغ ‪ :Occam‬دس هیبى كشؾیِ ّبی سبصگبسم كشؾیِّبیی ًِ سبدُتشًذ اسجحیت داسًذ‪.‬‬

‫الجتِ ثب ًبمگزاسی یي ثبیبس ًویتَاى آىسا تَجیِ ًشد‪ .‬حبل چشا ثبیذ كشؾیِ ّبی سبدُ تش اسجح ثبضٌذ؟ تَجِ داسیذ ًِ داًطوٌذاى ثؼؿای هَاهاغ‬
‫چٌیي ثبیبسی سا هَسد استلبدُ هشاس هیدٌّذ‪ .‬ثشای ه بلم كیضیٌذاًبى ًظشیِ ّبی سبدُ تش دسثبسُی حشًت سیبسات سا تشجیح هیدٌّذ‪ .‬چشا؟ یٌای اص‬
‫استذ لّبی هوٌي ایي است ًِ تؼذاد كشؾیِ ّبی سبدُ تش ًسجت ثِ كشؾیِ ّبی پیچیذُ تش ثسیبس ًوتش استم پس ثاِ ًظاش هایسساذ احتوابل‬
‫ایٌٌِ كشؾیِ ای پیذا ضَد ًِ ثِ قَس اتلبهی ثب ًوًَِ ّبی آهَصضی سبصگبس ثبضذ ًن است‪ .‬دس هوبثلم تؼذاد ثسیبس صیبدی اص كشؾایِ ّابی پیچیاذُ‬
‫هَجَد است ًِ ثب ًوًَِ ّبی آهَصضی سبصگبسًذ اهب دس تؼوین ًوًَِ ّبی آهَصضی ػبجضًذ‪ .‬ثشای ه بلم كشؾیِ ّبی دسختّبی تػوین گیشی سا دس‬
‫ًظش ثگیشیذ‪ .‬تؼذاد دسختّبیی ًِ ‪ 500‬گشُ داسًذ ثسیبس ثیطتش اص دسختّبیی است ًِ ‪ 5‬گشُ داسًذ‪ .‬اگش ‪ً 20‬وًَِی آهَصضی داضتِ ثبضینم تؼاذاد‬
‫ثسیبس صیبدی اص دسختّبی ‪ 500‬گشُ ای ثب آىّب سبصگبسًذم دس حبلی ًِ جبی تؼجت ًذاسد ًاِ كواف یاي دسخات ‪ 5‬گاشُ ای هتٌبسات ثاب آى ‪20‬‬
‫ًوًَِی آهَصضی ثبضذ‪ .‬ثٌبثشایي احتوبل ایٌٌِ سبصگبسی دسختی ثب ‪ 5‬گشُ اتلبهی ثَدُ ثبضذ ثسیبس ًوتش اص احتوبل اتلبهی ثَدى سبصگبسی دسختای ثاب‬
‫‪ 500‬گشُ است‪.‬‬

‫ثب ثشسسیّبی ثیطتشم هؼلَم هیگشدد ًِ اضٌبل ًلیای دس استذ ل ثب ٍجَد داسد‪ .‬ثب ّویي استذ ل هیتَاى گلت ًِ ثبیذ دسختّابیی ًاِ ‪17‬‬
‫گشُ ثشٍ ٍ ‪ 11‬گشُ ؿیش ثشٍ داسًذ ًِ توبهی ٍیژگیّبی یبصدُگبًِی ًوًَِّب سا ثِ تشتیت ثشسسی هیًٌٌذ احتوبل اتلبهی ثاَدى ثسایبس ًوتاشی‬
‫داسًذم صیشا تؼذاد چٌیي دسختّبیی ثسیبس ًن است پس ضبًس اتلبهی ثَدى (ثٌب ثِ استذ ل ثب ) ثسیبس ًوتش خَاّذ ثَد‪ .‬ایي اضٌبل ایٌجبست ًاِ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫صیشهجوَػِ ّبی ًَچي ثسیبسی اص كؿبی كشؾیِّب ٍجَد داسد ًِ چٌیي تؼذاد ًوی سا داسًذ ٍ پیذا ًشدى ّوِی آىّب سبدُ ًیست‪ .‬پس چشا ثبیذ‬
‫ثبٍس داضتِ ثبضین صیشهجوَػِی دسختّبیی ًِ قَل ًَتبُتشی داسًذ ثبیذ ًسجت ثِ آى دیگش صیش هجوَػِ ّبی ًَچي ثشتشی داضتِ ثبضذ؟‬

‫اضٌبل دٍهی ًِ دسثبسُی ایي استذ ل ثشای تیؾ ‪ Occam1‬پیص هیآیذ ایي است ًِ اًذاصُی یي كشؾیِ ثب سٍش خبغی هطخع هیضَد ًِ‬
‫دس یبدگیش تؼجیِ ضذُ‪ .‬اگش دٍ یبدگیش ثب سٍشّبی هختلق اًذاصُ گیشی اًذاصُی كشؾیِ ثش سٍی یي هسئلِ ثِ ًبس گشكتِ ضًَذ دس آخش كشؾیِ ّابی‬
‫خشٍجی هتلبٍتی خَاٌّذ داضتم دس حبلی ًِ ّش دٍ ػولیبت خَد سا تَسف تیؾ ‪ Occam‬تَجیِ ضذُ هیداًٌذ‪ .‬ثشای ه بلم تبثؼی ًِ دس ضٌل ‪3.1‬‬
‫ًطبى دادُ ضذُ است سا هیتَاى ثب دسختی ثب یي گشُ ًیض ًطبى دادم دسختی ًِ یبدگیش ثشای دستِ ثٌذی ًوًَِّب اص ٍیژگی ‪ XYZ‬استلبدُ هیًٌاذم‬
‫ٍیژگی هٌكوی ‪ XYZ‬صهبًی دسست است ًِ ًوًَِم ًوًَِی ه جتی ثبضذ ٍ دس ؿیش ایي غَست ؿلت است‪ .‬ثٌابثشایي دٍ یابدگیش ًاِ ّاش دٍ اص تیاؾ‬
‫‪ Occam‬استلبدُ هیًٌٌذ اگش یٌی ٍیژگی ‪ ٍ XYZ‬دیگشی ٍیژگیّبی ‪Outlook‬م ‪Temperature‬م ‪ Wind ٍ Humidity‬سا اساتلبدُ‬
‫ًٌٌذ دسختّبی خشٍجی هتلبٍتی خَاٌّذ داضت‪.‬‬

‫ایي ثحث آخش ًطبى هیدّذ ًِ تیؾ ‪ Occam‬دس دٍ یبدگیش ًِ اص یي هجوَػِ ًوًَِ ّبی آهَصضی یٌسبى اساتلبدُ هایًٌٌاذ ٍ كواف ًوابیص‬
‫داخلی ًوًَِّبیطبى هتلبٍت است دٍ كشؾیِی ًبه ا هتلبٍت ثذّذ‪ .‬ثب داًستي ایي حویوت هوٌي است ثِ قَس ًلی تیؾ ‪ Occam‬سا سد ًٌین‪ .‬ثب‬
‫ایي ٍجَدم ساال ایٌٌِ ًذام ًوبیص دسًٍی هوٌي است ثب تٌبهل‪ 2‬یب اًتخبة قجیؼی‪ 3‬ایجابد ضاَد سا دس ًظاش ثگیشیاذ‪ .‬جوؼیتای اص یابدگیش ّابی‬
‫هػٌَػیای سا ًِ اص قشین كشایٌذ ّبی تٌبهلی صاد ٍ ٍلذم جْص ٍ اًتخبة ثِ ٍجَد آهذُاًذ سا دس ًظش ثگیشیذ‪ ٍ .‬ثیبییذ كشؼ ًٌین ًِ ایي كشایٌاذ‬
‫تٌبهلی هیتَاًذ سیستنّبی ادساًی ایي یبدگیشّب سا اص ًسلی ثِ ًسلی تـییش دّذم هطبثِ تـییش ٍیژگیّبی داخلیای ًِ ػَاهل جْبى اقشاف سا ثاب‬
‫آىّب دسى هیًٌٌذ‪ ٍ .‬ثشای ثحثم كشؼ ًٌین ًِ ایي ػَاهل یبدگیشی اص الگَسیتن یبدگیشی یٌسبًی (ه ا ‪ )ID3‬استلبدُ هیًٌٌذ ًِ ثاب تٌبهال‬
‫تـییش ًخَاّذ یبكت‪ .‬هٌكوی است ًِ كشؼ ًٌین دس قَل صهبىم تٌبهل ًوبیصّبی داخلی سا ایجبد ًٌذ ًِ هَكویت كاشد دس استجابـ ثاب هحایف سا‬
‫اكضایص دّذ‪ .‬كشؼ ًٌین ًِ هَكویت یي ػبهل ثِ ضذت ٍاثستِ ثِ هذست تؼویوص داسدم ثٌبثشایي هیتَاى اًتظبس داضت ًِ ًوبیصّبی داخلیای‬
‫ًِ خَة ثب الگَسیتن یبدگیشی ٍ ثبیبس استوشاییاش ًبس هیًٌٌذ ایجبد ضًَذ‪ .‬اگش گًَِّبیی اص یبدگیشّاب اص الگاَسیتن یابدگیشی اص ًاِ اص ثبیابس‬
‫استوشایی تیؾ ‪ Occam‬استلبدُ هیًٌٌذم ٍجَد داضتِ ثبضذم اًتظبس خَاّین داضت ًاِ تٌبهال ًوابیصّابی داخلایای سا ایجابد ًٌاذ ًاِ تیاؾ‬
‫‪ Occam‬ثشایطبى استشاتژی هَكوی است‪ًٌ .‬تِ اغلی ثحث دس ایٌجب ایي است ًِ تٌبهل ًوبیصّبی داخلیای سا ایجبد خَاّذ ًشد ًاِ ثبیابس‬
‫الگَسیتن یبدگیشی ًَػی خَد تَجیْی‪ 4‬داضتِ ثبضذم صیشا ًِ هیتَاًذ ثسیبس ساحتتش اص تـییش الگَسیتنم ًوبیص سا تـییش دّذ‪.‬‬

‫كؼ ا ثحث هشثَقِی تیؾ ‪ Occam‬سا سّب هیًٌین‪ .‬اهب دس كػل ‪6‬م دس هسوتی ًِ هبًَى ًوتشیي قَل تَؾیح سا ثشسسی خَاّین ًشدم ًسخِ ای‬
‫اص تیؾ ‪ Occam‬سا ًِ ثب چبسچَة ثیضی تَجیِ هیضَد سا ثشسسی خَاّین ًشد‪.‬‬

‫‪ 313‬هشکالت یادگیری درختی‬

‫هطٌ ت ًبسثشدی یبدگیشی دسختی ضبهلم هطخع ًشدى حذاً ش ػون دسختم چگًَگی ثشسسی ٍیژگیّابی پیَساتِم اًتخابة هؼیابس اًتخابة‬
‫ٍیژگیّبم یبدگیشی ثب دادُّبیی ثب ثؼؿی ٍیژگیّبی هجَْلم یبدگیشی ثب ٍیژگیّبی ؿیش ّن ّضیٌِ ٍ ثْیٌِ ًشدى هحبسجبت هیضاَد‪ .‬دس اداهاِ‬

‫‪1‬‬
‫‪Occam’s razor‬‬
‫‪2‬‬
‫‪evolution‬‬
‫‪3‬‬
‫‪Natural selection‬‬
‫‪4‬‬
‫‪self-fulfilling‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ّش یي اص ایي هَاسد سا ثشسسی خَاّین ًشد ٍ تـییشاتی ‪ ID3‬ثشای حل ایي هطٌ ت سا ًیض هؼشكی خَاّین ًشد‪ C4.5 .‬ثشای حل ثؼؿای اص ایاي‬
‫هطٌ ت اسائِ ضذُ است )‪.(Quinlar 1993‬‬

‫‪ 1.7.3‬حل هشکل ‪overfit‬‬

‫الگَسیتوی ًِ دس جذٍل ‪ 3.1‬آهذُ است دسخت سا آًوذس سضذ هیدّذ تب توبهی ًوًَِ ّبی آهَصضی سا دسست دستِ ثٌذی ًٌذ‪ .‬ثب ٍجَد ایٌٌاِ ایاي‬
‫استشاتژیم استشاتژی هؼوَلی است اهب ّویي استشاتژی هوٌي است هَاهؼی ًِ دادُّب خكب داسًذ یب تؼذادضبى ثِ اًذاصُی ًابكی ًیسات ًاِ تابثغ‬
‫ّذف سا ًبهل تؼشیق ًٌٌذ هطٌل سبص ثبضذ‪ .‬ثِ ّش حبل دس چٌیي هَاهؼیم ایي الگَسیتن دسختّبیی سا خشٍجی هیدّذ ًِ هطاٌل ‪ overfit‬دس‬
‫ًوًَِ ّبی آهَصضی داسًذ‪.‬‬

‫صهبًی هیگَیین ًِ یي كشؾیِ هطٌل ‪ overfit‬داسد ًِ كشؾیِ ای دیگش هَجَد ثبضذ ًِ ثش سٍی ًوًَِ ّبی آهَصضی سبصگبسی ًوتشی داضاتِ‬
‫ثبضذ اهب دس ًل سبصگبسی ثیطتشی ثب ًل ًوًَِّب (اػن اص آهَصضی ٍ ؿیش آهَصضی (جذیذ)) داضتِ ثبضذ‪.‬‬

‫هطاٌل ‪ overfit‬ثاش سٍی ًوًَاِ ّابی آهَصضای داسد ًاِ‬ ‫تعریف‪ :‬اگش كؿبی كشؾیِّب ‪ H‬ثبضذ صهبًی هیگَیین ًِ كشؾایِ ه ال‬
‫ٍجَد داضتِ ثبضذ ثِ غَستی ًِ خكبی ‪ h‬ثش سٍی ًوًَِ ّبی آهَصضی ًسجت ثِ ’‪ً h‬وتش ثبضذ اهب خكبی ’‪ h‬ثش سٍی‬ ‫كشؾیِ ای ه ل‬
‫ًل ًوًَِّب اص خكبی ‪ً h‬وتش ثبضذ‪.‬‬

‫ضٌل ‪ 3.6‬اثش پذیذُی ‪ overfit‬سا دس یي ًبسثشد ‪ Normal‬یبدگیشی دسختی ًطبى هیدّاذ‪ .‬دس ایاي ه ابلم الگاَسیتن ‪ ID3‬ثاشای تطاخیع‬
‫ثیوبساى دیبثتی ثِ ًبس سكتِ‪ .‬هحَس اكوی تؼذاد ًل گشُ ّبی دسخت تػوین گیشی سا دس قَل سضذ دسخت ًطابى هایدّاذ‪ .‬هحاَس ػواَدی دهات‬
‫تطخیعّبی دسخت سا ًطبى هیدّذ‪ .‬هٌحٌی تَپش هیضاى دهت دسخت سا دس ًوًَِ ّبی آهَصضی ٍ هٌحٌای خاف چایي هیاضاى دهات سا ثاش سٍی‬
‫دستِی دیگشی اص ًوًَِّب ًطبى هیدّذ (دستِ ای ثِ جض ًوًَِ ّبی آهَصضی)‪ّ .‬وبى قَس ًِ پیصثیٌی هیضذ دهت دسخت ثش سٍی ًوًَِ ّابی‬
‫آهَصضی ثب اكضایص اًذاصُی دسخت اكضایص هییبثذ‪ .‬ثب ایي ٍجَدم دهت دستِی دیگش ًبّص هییبثذ‪ّ .‬وبى قَس ًاِ دیاذُ هایضاَدم صهابًی ًاِ‬
‫اًذاصُی دسخت اص حذٍد ‪ 25‬هیگزسدم پیچیذگی ثیطتش دسخت ثبػث ًبّص دهات دس دساتِی دیگاش هایضاَد دس حابلی ًاِ دهات ّوچٌابى دس‬
‫ًوًَِ ّبی آهَصضی ثب هیسٍد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ضٌل ‪ overfit 3.6‬دس یبدگیشی دسختی‪.‬‬

‫ّویي قَس ًِ ‪ ID3‬گشُ ّبی ثیطتشی ثشای سضذ دسخت ثِ آى اؾبكِ هیًٌذم ثِ قَس هطبثِ دهت ثش سٍی ًوًَِ ّبی آهَصضی اكضایص پیذا هیًٌاذ‪ .‬ثاب ایاي‬
‫ٍجَدم صهبًی ًِ دهت ثش سٍی دستِ ای اص ًوًَِ ّبی ؿیش آهَصضی ثشسسی هیضَدم اثتذا اكضایص ٍ سپس ًبّص هطبّذُ هیضَد‪ .‬ثشًبهِ ٍ دادُ ّبی اساتلبدُ‬
‫ضذُ ثشای ایي آصهبیص دس ‪ http://www.cs.cmu.edu/~tom/mllbook.html‬هَجَد هیثبضذ‪.‬‬
‫چگًَِ هوٌي است دسخت ‪ً ًِ h‬سجت ’‪ h‬ػولٌشد ثْتشی ثش سٍی ًوًَِ ّبی آهَصضی داسدم دس ًل ًوًَِّب ػولٌشد ؾؼیقتاشی داضاتِ ثبضاذ؟‬
‫یٌی اص هَاسدی ًِ چٌیي هطٌلی ایجبد هیضَد هَاهؼی است ًِ ًوًَِ ّبی آهَصضی خكبی تػبدكی‪ 1‬یب ّوبى ًَیض داضتِ ثبضاٌذ‪ .‬ثاشای تػاَسم‬
‫ًوًَِی آهَصضی ه جت صیش سا دس ًظش ثگیشیذ ًِ اضتجبّبا ًوًَِی هٌلی دس ًظش گشكتِ ضذُ‪:‬‬

‫>‪<Outlook = Sunny, Temperature=Hot,Humidity=Normal,Wind=Strong,PlayTennis=No‬‬

‫ثب دادى دادُ ّبی آهَصضی ثذٍى خكب ثِ ‪ ID3‬دسخت ًطبى دادُ ضذُ دس ضٌل ‪ 3.1‬ثذست هیآیذ‪ .‬ثب ایي ٍجاَد اگاش ایاي ًوًَاِی اضاتجبُ سا ثاِ‬
‫ًوًَِ ّبی آهَصضی اؾبكِ ًٌینم ‪ ID3‬دسخت پیچیذُ تشی خشٍجی هیدّذ‪ .‬دس ًلم ًوًَِی جذیذ دس ثشٍ دٍم ضبخِی سوت چاپ ضاٌل ‪3.1‬‬
‫هشاس هیگیشدم ّوشاُ دٍ ًوًَِ ه جت هجلی سٍص ‪ ٍ 9‬سٍص ‪ .11‬حبل چَى ًِ ایي ًوًَِ هٌلی استم ‪ ID3‬دسخت سا دس صیاش ایاي ضابخِ ثیطاتش سضاذ‬
‫هیدّذ‪ .‬الجتِم تب صهبًی ًِ ًوًَِی اضتجبُ ایي گًَِ ثبضذ (كوف هوذاس تبثغ ّذف اضتجبُ تؼییي ضذُ ثبضذ)م ‪ٍ ID3‬یژگیای خَاّذ یبكات تاب ًوًَاِ‬
‫ؿلت سا اص ًوًَِی دسست جذا ًٌذ‪ً .‬تیجِ ایي خَاّذ ثَد ًِ ‪ ID3‬دسخت تػوین گیشی ‪ h‬ای سا خشٍجی هیدّذ ًِ پیچیذُ تش اص دسخت تػوین‬
‫گیشی دسست ’‪ h‬است (ضٌل ‪ .)3.1‬الجتِ ‪ h‬ثش سٍی ًوًَِ ّبی آهَصضی دهت صیبدی داسد دس حبلی ًِ ’‪ h‬سبدُ تش آى هیضاى دهت سا ًذاسد‪ .‬ثب ایي‬
‫ٍجَدم ثب داضتي گشُ ای ًِ جذیذاا اؾبكِ ضذُ ٍ هستویوبا تأثیش ًوًَِی خكب داس ثَدُم اًتظبس داسین ًِ ‪ h‬اص ’‪ h‬دهت ًلی ثْتشی داضتِ ثبضذ‪.‬‬

‫‪1‬‬
‫‪Random error‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ه بل ثب ًطبى داد ًِ چگًَِ دادُ ّبی خكب داس آهَصضی هیتَاًٌذ ثبػث ‪ overfit‬ضًَذ‪ .‬دس ٍاهغم ‪ overfit‬حتی صهبًی ًِ ًوًَِ ّبی آهَصضی‬
‫خكب ًذاسًذ ًیض هوٌي است اتلبم ثیلتذم هخػَغبا صهبًی ًِ تؼذاد ًوًَِّب ثب تؼذاد ثشٍّبی دسخت ثشاثش هیضَد‪ .‬دس چٌیي ضشایكیم دٍس اص اًتظبس‬
‫ًیست ًِ ًظنّبی اتلبهی دس دسخت پذیذاس ضًَذم دس ایي ًظنّب ثِ ًظش هیسسذ ًِ ٍیژگیّبی خبغی دس دستِ ثٌذی ًوًَِّب تأثیش ثسیبس صیبدی‬
‫داسًذ دس حبلی ًِ آى ٍیژگیّب ّیچ سثكی ثِ تبثغ ّذف ًذاسًذ‪ّ .‬ش گبُ چٌیي ًظنّبی اتلبهیای ایجبد هیضَدم احتوبل ‪ً overfit‬یض ثب هیسٍد‪.‬‬

‫هطٌل ‪ overfit‬هطٌل هبثل تَجْی دس یبدگیشی دسختی ٍ ثسیبسی اص هتذ ّبی یبدگیشی دیگش است ‪ .‬ثشای ه بلم دس یاي هكبلؼاِی آصهبیطای‬
‫‪ ًِ ID3‬ثش سٍی ‪ً 5‬بس یبدگیشی ٍ ثب دادُ ّبی خكب داس ٍ ؿیش هكؼی‪ 1‬اًجبم ضذ (‪)Mingers 1989b‬م دس اً ش هسبیل ‪ overfit‬دهت سا ثایي‬
‫‪ 10‬تب ‪ 25‬دسغذ ًبّص داد‪.‬‬

‫سٍشّبی ثسیبسی ثشای حل هسئلِی ‪ overfit‬دس یبدگیشی دسختی هَجَد است‪ .‬ایي سٍشّب ثِ دٍ دستِی ًلی توسین هیضًَذ‪:‬‬

‫سٍشّبیی ًِ جلَی سضذ دسخت سا هجل اص سسیذى ثِ ًوكِ ای ًِ توبهی ًوًَِّب سا دسست دستِ ثٌذی ًٌذ هیگیشًذم‬ ‫‪‬‬
‫سٍشّبیی ًِ اجبصُ هیدٌّذ تب دسخت ثِ اًذاصُی دلخَاُ سضذ ًٌذ سپس دسخت سا ّشس‪ 2‬هیًٌٌذ‪.‬‬ ‫‪‬‬
‫ثب ٍجَد ایٌٌِ ثِ ًظش هیسسذ سٍشّبی دستِی اٍل هستوینتشًذم اهب سٍشّبی دستِی دٍم دس ًبسثشد هَكویت ثیطتشی سا اص خَد ًطبى دادُاًاذ‪.‬‬
‫اص آًجب ًِ دس سٍش اٍل هؼلَم ًیست ًِ چِ صهبى ثبیذ جلَی سضذ دسخت گشكتِ ضَد‪.‬‬

‫جذا اص ایٌٌِ دسخت ثب ًذام سٍش دسخت ثِ اًذاصُی اغلی هیسسذم ساال ًلیذی ایي است ًِ هؼیابس دسسات اًاذاصُ ًْابیی ی دسخات چیسات؟‬
‫سٍشّبی صیش ثشای جَاة ثِ ایي ساال پیطٌْبد هیضًَذ‪:‬‬

‫استلبدُ اص دستِ ای اص ًوًَِ ّبی اؾبكی (ًِ ثب ًوًَِ ّبی آهَصضی تذاخل ًذاسًذ) ثشای تخویي ًبسایی گشُّب ٍ ّشس آىّب‪.‬‬ ‫‪‬‬
‫استلبدُ اص توبم ًوًَِ ّبی هَجَد ثشای آهَصشم استلبدُ اص آصهًَی آهبسی ثشای تخویي ایٌٌِ آیب سضذ (یب ّشس) یاي گاشُ اص دسخات‬ ‫‪‬‬
‫تؼویوی سا ایجبد هیًٌذ یب تٌْب ثبػث ‪ overfit‬هیضَد‪ .‬ثشای ه بلم )‪ (Quinlar 1986‬اص آصهَى ًابی اساٌَاس (ًای دٍ)‪ 3‬ثاشای‬
‫جَاة ساال "آیب سضذ یي گشُ ثِ ًبسایی ًلی دسخت ًوي هیًٌذ یب كوف ثبػث سبصگبسی ثب ًوًَِی آهَصضای هایضاَد؟" اساتلبدُ‬
‫هیًٌذ‪.‬‬
‫استلبدُ اص هؼیبسی ثشای اًذاصُ گیشی پیچیذگی‪ .‬دس ًظش گشكتي ًَػی ًذ سبصی ثشای دسخت ٍ هتَهق ًشدى سضذ دسخت صهبًی ًِ ایي‬ ‫‪‬‬
‫‪4‬‬
‫اًذاصُی ًذ ًویٌِ هیضَد‪ .‬ایي سٍش هجتٌی ثش تَجیِ است ًِ "ًوتشیي قَل تَؾیح" ًبهیذُ هیضَد ٍ هلػ ا دس كػل ‪ 6‬ثشسسای‬
‫ضذُ‪ .‬ثشای اق ػبت ثیطتش ثِ )‪ (Mehta 1995) ٍ (Quinlar and Rivest 1989‬هشاجؼِ ًٌیذ‪.‬‬
‫سٍش اٍل هتذاٍلتشیي سٍش است ٍ گبّی سٍش آهَصش ٍ هجوَػِی تبییذ‪ً 5‬یض ًبهیذُ هایضاَد‪ .‬دس ایٌجاب ثاِ دٍ ًساخِی اغالی ایاي سٍش‬
‫هیپشداصین‪ .‬دس ایي سٍشم دادُ ّبی هَجَد ثِ دٍ دستِ توسین هیضًَذ‪ :‬دستِی آهَصضیم ًِ اص آىّب ثشای آهَصش دسخات اساتلبدُ هایضاَدم ٍ‬
‫دستِی تبییذ‪6‬م ًِ اص آى ثشای اسصیبثی دهت كشؾیِّب استلبدُ هیضَدم دس ًلم ثشای اسصیبثی تأثیش ّشس اص ایي دادُّب استلبدُ هیضاَد‪ .‬اًگیاضُی‬

‫‪1‬‬
‫‪nondeterministic‬‬
‫‪2‬‬
‫‪post-prune‬‬
‫‪3‬‬
‫‪chi-square‬‬
‫‪4‬‬
‫‪Minimum Description Length principle‬‬
‫‪5‬‬
‫‪training and validation set‬‬
‫‪6‬‬
‫‪validation set‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اٍلیِی ایي سٍش ایي است ًِ اگش چِ هوٌي است یبدگیش ثب دادُ ّبی خكب داس گوشاُ ضَدم ٍ ثِ ًظنّبی تػبدكی دس هیبى ًوًَِ ّبی آهَصضای‬
‫هیل ًٌذم اهب احتوبل ایٌٌِ دستِی تبییذ ًیض ّوبى ًظنّبی اتلبهی ًِ ًوًَِ ّبی آهَصضی داسًذ سا داضتِ ثبضذ ثسیبس ًن است‪ .‬ثٌبثشایيم هیتَاى‬
‫اًتظبس داضت ًِ دستِی تبییذ هؼیبس خَة ٍ هكوئٌی دس هوبثل هؼیبس ؿلت دادُ ّبی آهَصضی ثِ هب ثذّذ‪ .‬الجتِم هْن اسات ًاِ اًاذاصُی دساتِی‬
‫تبییذ ثِ اًذاصُی ًبكی ثضسٍ ثبضذ تب ثتَاًذ ثِ تٌْبیی ًوًَِی ًبهلی اص ًوًَِّب سا داضتِ ثبضذ‪ .‬یٌی اص ایذُ ّبی هؼوَل ایي است ًِ یاي ساَم‬
‫ًل دادُّب سا ثشای دستِی تبییذ ًگِ هیداسًذ ٍ اص دٍ سَم دیگش ثشای آهَصش دسخت استلبدُ هیًٌٌذ‪.‬‬

‫‪ 1.7.3.3‬کاّش خطا با ّرس کردى‬

‫دهیوبا چگًَِ هیتَاى ثب استلبدُ اص یي دستِی تبییذ اص ‪ overfit‬جلَگیشی ًشد؟ یٌی اص سٍشّبی هوٌي ‪ً reduced-error pruning‬بم‬
‫داسد )‪(Quinlar 1987‬م ثش اسبس ایي سٍش توبهی گشُ ّبی دسخت هستؼذ ّشس ضذى ّستٌذ‪ .‬الجتِ ّشس ًشدى یاي گاشُ تػاوین ثبػاث‬
‫حزف ضذى صیش دسخت هتػل ثِ گشُ هزًَس ٍ تجذیل آى ثِ ثشٍ تجذیل خَاّذ ضذ ثب ػ هت هتذاٍلتاشیي دساتِ ثٌاذی اص دادُ ّابی آهَصضای‬
‫هیضَد‪ .‬گشُّبیی ّشس خَاٌّذ ضذ ًِ ّشس ضذًطبى ثبػث تأثیش هٌلی دس دستِ ثٌذی دستِی تبییذ ًطَد‪ .‬ایي ػول ثبػث حزف ثشٍّبیی ًِ‬
‫ثش اثش ًظنّبی تػبدكی دادُ ّبی آهَصضی ایجبد ضذُاًذ هیضًَذم صیشا ًِ احتوبل تٌشاس ّوبى ًظنّبی تػبدكی دس دستِی تبییذ ًبچیض است‪ .‬دس‬
‫چٌذیي هشحلِ گشُّب ّشس هیضًَذم دس ّش هشحلِ گشُ ای ًِ ّشسص ثبػث حذاً ش اكضایص دهت دسخت دس دستِ ثٌذی دستِی تبییذ هایضاَد‬
‫ّشس هیضَد‪ّ .‬شس ًشدى آًوذس اداهِ خَاّذ یبكت تب صهبًی ًِ ّشس ًشدى دسخت اثش هٌلی داضتِ ثبضذ (دهت دستِ ثٌذی دستِی تبییذ سا ًن‬
‫ًٌذ)‪.‬‬

‫اثش ‪ reduce-error pruning‬ثش سٍی دهت دسخت تػوین گیشی دس ضٌل ‪ً 3.7‬طبى دادُ ضذُ است‪ .‬هطبثِ ضٌل ‪ 3.6‬دهت دسخات ثاشای‬
‫ًوًَِ ّبی آهَصضی ٍ ؿیش آهَصضی دس ٌّگبم ّشس ًطبى دادُ ضذُ است‪ .‬هٌحٌی اؾبكِ ضذُ دهت سا ثش سٍی دستِی تست دس دسخت ّشس ضذُ‬
‫ًطبى هیدّذ‪ .‬صهبًی ًِ ّشس ًشدى آؿبص هیضَد دسخت دس حذاً ش اًذاصُی خَدش است‪ .‬ثب اداهِی ّشس ًشدى تؼذاد گشُ ّبی دسخت ًبّص‬
‫ٍ دهت ثش سٍی دستِی تست اكضایص هییبثذ‪ .‬دس ایٌجب دادُ ّبی هَجَد ثِ سِ دستِ توسین ضذُاًذ‪ً :‬وًَِ ّبی آهَصضایم ًوًَاِ ّابی دساتِی‬
‫تبییذم ٍ دستِی تست‪ .‬اص دستِی آخش ثشای ثشسسی دهت دسخت ثش سٍی ًوًَِ ّبی جذیذ (هذست تؼوین دسخت) استلبدُ هایضاَد‪ً .‬واَداس ًطابى‬
‫دادُ ضذُ دهت سا ثش سٍی ًوًَِ ّبی آهَصضی ٍ دستِی تست ًطبى هیدّذ‪ .‬دهت دستِی اسصیبثی ًِ ثشای ّشس ًشدى اص آى استلبدُ هایضاَد‬
‫دس ضٌل ًطبى دادُ ًطذُ است‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ضٌل ‪ 3.7‬اثش ‪ reduced-error pruning‬دس دسخت تػوین گیشی‪.‬‬

‫ضٌل ّوبى هٌحٌیّبی دهت ًوًَِ ّبی آهَصضی ٍ دستِی تست سا ًطبى هیدّذ (ضٌل ‪ .)3.6‬ػ ٍُ ثش ایيم اثش ‪ reduced-error pruning‬ثش دسخت‬
‫خشٍجی ‪ ID3‬دس ضٌل ًطبى دادُ ضذُ است‪ .‬تَجِ داضتِ ثبضیذ ًِ دهت دستِی تست ثب ّشس ضذى گشُّب اكضایص هییبثذ‪ .‬دس ایٌجبم دستِی تبییذ ًِ ثشای‬
‫ّشس استلبدُ ضذُ اص ّش دٍ دستِی آهَصضی ٍ تست هجضا ثَدُ است‪.‬‬
‫صهبًی ًِ تؼذاد صیبدی اص دادُّب دس دستشس استم استلبدُ اص دستِ ای اص آىّب ثشای ًٌتشل ّشس ساُ حل هَثشی است‪ .‬هبًغ اغلی ایي سٍش ایي‬
‫است هحذٍدیت تؼذاد دادُّبست‪ .‬گبّی اٍهبت ًن ًشدى هسوتی اص دادُّب ثشای استلبدُ دس دستِی تبییذ ثبػاث ًابكی ًجاَدى تؼاذاد دادُ ّابی‬
‫هَجَد ثشای آهَصش دسخت هیضَد‪ .‬دس هسوت ثؼذی سٍش دیگشی سا ثشای ّشس تَؾیح خَاّین داد ًِ دس ًبسثشد ّبی ػولی صهبًی ًاِ تؼاذاد‬
‫دادُّب ًن است هَكویت آهیض ثَدُ است‪ .‬تٌٌیيّبی دیگشی ًیض اص جولِ ثخص ثٌذی دادُّب دس دستِ ّبی هتؼاذد ثاب تشًیاتّابی هختلاق دس‬
‫دكؼبت هتؼذد ٍ هیبًگیي گیشی دس هیبى دسختّبم اسائِ ضذُ اسات‪ .‬ثشسسایّابی تجشثای دیگاش هتاذ ّابی ّاشس دس )‪ٍ (Migers 1989b‬‬
‫)‪ (Malerba 1995‬آهذُ است‪.‬‬

‫‪ 1.7.3.3‬قاًَى پس ّرس‬
‫دس ٍاهغم یٌی اص هتذ ّبی هَكن پیذا ًشدى كشؾیِ ای ثب دهت ثب م تٌٌیٌی ثِ ًبم پس ّشس‪ 1‬است‪ً .‬سخِ ای اص ایي هتذ ّشس ًشدى دس ‪C4.5‬‬
‫)‪ (Quinlar 1993‬استلبدُ ضذُ است‪ .‬هبًَى پس ّشس هشاحل صیش سا ضبهل هیضَد‪:‬‬

‫‪ .1‬دسخت هتٌبست ثب دادُ ّبی آهَصضی سا پیذا ًيم ثِ دسخت اجبصُ ثذُ تب اًذاصُی دلخَاُ سضذ ًٌذ ٍ ‪ overfit‬ایجبد ضَد‪.‬‬
‫‪ .2‬دسخت سا ثِ دستِ هَاًیي ّن اسص تجذیل ًي (ثشای ّش هسیش اص سیطِ ثِ ثشٍ یي هبًَى)‪.‬‬
‫‪ّ .3‬ش هبًَى سا ثب حزف ًشدى ضشٍقی ًِ ثبػث اكضایص دهت تخویٌیاش هیضَد ّشس ًي‪.‬‬
‫‪ .4‬هَاًیي ّشس ضذُ سا ثِ تشتیت دهتطبى هشتت ًيم ٍ دس دستِ ثٌذی ًوًَِ ّبی جذیذ ایي سشی سا دس ًظش ثگیش‪.‬‬

‫‪1‬‬
‫‪post pruning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای تػَسم دٍثبسُ دسخت تػوین گیشی ضٌل ‪ 3.1‬سا دس ًظش ثگیشیذ‪ .‬دس هبًَى پس ّشسم ثشای ّش ثشٍ دس دسخت یي هبًَى ایجابد هایضاَد‪.‬‬
‫توبهی گشُّبیی ًِ ثیي سیطِ ٍ ثشٍ هشاس داسًذ جضٍ ضشٍـ هبًَى هشاس هیگیشًذ ٍ دستِ ثٌذی ثشٍ ًیضم حٌن هبًَى خَاّذ ثَد‪ .‬ثشای ه بلم ثشای‬
‫چپتشیي هسیش دسخت ضٌل ‪ 3.1‬هبًَى صیش ثذست هیآیذ‪:‬‬

‫‪IF (Outlook = Sunny) ⋀ (Humidity;High) THEN PlayTennis=No‬‬

‫هشحلِی ثؼذی حزف ضشٍقی ًِ حزكطبى دهت تخویٌی سا ًنتش ًویًٌذ است‪ .‬ثشای ه بلم ثشای هبًَى ثب م هبًَى پاس ّاشس حازف ضاشٍـ‬
‫)‪ (Humidity=High) ٍ(Outlook=Sunny‬سا دس ًظش خَاّذ گشكتم ٍ ّش ًذام اص حزفّب ًِ پیطشكت ثْتشی دس دهت تخویٌای هابًَى‬
‫ایجبد ًٌذ سا اًجبم هیدّذ ٍ ّشس ضشـ ثؼذی سا ثِ هشحلِی ثؼذ هًََل خَاّذ ًشد‪ .‬ضشـ اغلی ّشس ًشدى ایي است ًِ ثؼذ اص ّشس دهات‬
‫تخویٌی ًبّص ًیبثذ‪.‬‬

‫ّوبى قَس ًِ دس ثب ًیض گلتِ ضذم یٌی اص ساُّبی اًذاصُ گیشی دهت هَاًیي استلبدُ اص دستِی تبییذ است‪ .‬هتذ دیگشی ًاِ دس ‪ً C4.5‬یاض آهاذُ‬
‫تخویي دهت هَاًیي ثش اسبس خَد دستِی آهَصضی استم ایي تخویي ثب دس ًظش گشكتي توبیل ًوًَِ ّبی آهَصضی ثِ ساوت هاَاًیي هَجاَد ثاب‬
‫ثذثیٌی ثِ ًوًَِ ّبی آهَصضی اًجبم هیضَد‪ .‬دهینتش ایٌٌِم ‪ C4.5‬تخویي ثذثیي خَد سا ثب هحبسجِی دهت هَاًیي ثش سٍی ًوًَِ ّبی آهَصضای‬
‫اًجبم هیدّذ سپس اًحشاف هؼیبس‪ 1‬ایي دهت تخویٌی سا ثب كشؼ تَصیغ دٍ جولِ ای هحبسجِ هیًٌذ‪ .‬ثشای اقویٌابىم حاذ پابییي تخوایي سا ثاِ‬
‫ػٌَاى دهت هبًَى دس ًظش هیگیشد (ثشای ه بل ثشای كبغلِی اقویٌبى ‪ 95%‬ی دهت هبًَى ثب ًگبُ ثذثیٌبًِ ّوابى دهات ثاش سٍی ًوًَاِ ّابی‬
‫آهَصضی هٌْبی ‪ 1.96‬ثشاثش اًحشاف اص هؼیبس خَاّذ ثَد)‪ .‬دس ًلم ثشای هجوَػِ ّبی ایي تخویي ثذثیٌبًِ ثسیبس ًضدیاي ثاِ دهات هطابّذُ ضاذُ‬
‫خَاّذ ثَد (یؼٌی هوذاس اًحشاف هؼیبس ثسیبس ًَچي است)م دس حبلی ًِ ثب ًبّص اًذاصُ دستِ دادُ ایي هوذاس اص دهت هطبّذُ ضذُ ًوتش هیگاشدد‪.‬‬
‫ثب ٍجَد ایٌٌِ ایي سٍش تَجیْی آهبسی ًذاسدم اهب دس ػول ًبسثشد خَد سا اثجبت ًشدُ است‪ .‬ثشای ثبصُ ّبی اقویٌبى ٍ تخویي هیبًگیي ثِ كػل ‪5‬‬
‫هشاجؼِ ًٌیذ‪.‬‬

‫چشا دسخت تػوین گیشی سا هجل اص ّشس ثِ هَاًیي تجذیل ًٌین؟ ایي ًبس سِ هضیت داسد‪:‬‬

‫تجذیل ثِ هَاًیي ثبػث هیضَد ًِ تأثیشات هختلق یي گشُ دس دسخت هطخع ٍ جذا گشددم صیشا ًِ ّش هسیش اص سیطِ تاب ثاشٍ یاي‬ ‫‪‬‬
‫هبًَى سا تطٌیل هیدّذ ٍ ّشس گشُ ّبی تػوین اثشات هختللی ثش هسیش ّبی هختلق هیگزاسد‪ .‬ثؼ ٍُم اگش خاَد دسخات سا ّاشس‬
‫ًٌین دٍ اًتخبة ثیطتش ًذاسینم یٌی ایٌٌِ گشُ سا حزف ًٌین ٍ دیگشی ایٌٌِ گشُ سا دست ًخَسدُ ثبهی ثگزاسین‪.‬‬
‫تجذیل ثِ هَاًیي توبیض ثیي ٍیژگیّبی ًِ دس ًضدیي سیطِ ثشسسی هیضًَذ ٍ ٍیژگیّبیی ًِ ًضدیي ثشٍّب ثشسسای هایضاًَذ سا اص‬ ‫‪‬‬
‫ثیي هیثشد‪ .‬ثٌبثشایي ثب ایي ًبس هطٌ ت سبختبسی هَاجِ ًخَاّین ضذم هطٌ تی ًظیش چگًَگی ثبصسبصی دٍثابسُ دسخات دس غاَست‬
‫ّشس ضذى سیطِ‪.‬‬
‫تجذیل ثِ هَاًیي دسخت سا ثشای خَاًذى ساحتتش هیًٌذ‪ .‬هَاًیي هؼوَ ا ساحتتش دسى هیضًَذ‪.‬‬ ‫‪‬‬

‫‪ 1.7.3‬کار با ٍیژگیّای پیَستِ‬

‫تؼشیق اٍلیِی هب اص ‪ ID3‬هٌحػش ثِ ٍیژگیّبی گسستِ هوذاس ثَد‪ّ .‬ن خَد ٍیژگی ّذف ٍ ّن ٍیژگیّبیی ًاِ دس گاشُّاب ثشسسای هایضاذًذ‬
‫گسستِ ثَدًذ‪ .‬ضشـ گسستِ ثَدى ٍیژگیّبیی گشُّب سا هیتَاى ثِ ساحتی ثب تـییشات ًَچٌی ثش قشف ًشد‪ٍ .‬یژگیّبی پیَساتِ سا هایتاَاى ثاب‬

‫‪1‬‬
‫‪Standard deviation‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تؼشیق پَیبی ّن اسص گسستِی هتـیش ّبی پیَستِ ثب ثبصُ ثٌذی ثِ گسستِ تجذیل ًشد‪ .‬دس ًلم ٍیژگی پیَستِی ‪ A‬سا هیتَاى ثب ٍیژگای هٌكوای‬
‫جبیگضیي ًشد‪ .‬ایي ٍیژگی صهبًی ًِ ‪ A<c‬م دسست ٍ دس ؿیش ایي غَست ؿلت است‪ .‬حبل ایي ساال پیص هیآیذ ًاِ ثْتاشیي سٍش تؼیایي‬
‫هوذاس آستبًِی ‪ c‬چیست؟‬

‫ثشای ه بلم كشؼ ًٌیذ ًِ هػذ داسین ٍیژگی پیَستِی ‪ Tempereture‬سا دس ًوًَِ ّبی آهَصضی ًبس ‪ PlayTennis‬دس جذٍل ‪ 3.2‬اؾابكِ‬
‫ًٌین‪ .‬كشؼ ًٌیذ ًِ ثشای گشُ خبغی اص دسخت ًوًَِّبیی ثب ‪ٍ ٍ Tempereture‬یژگی ّذف ‪ PlayTennis‬صیش سا داسین‪.‬‬

‫‪90‬‬ ‫‪80‬‬ ‫‪72‬‬ ‫‪60‬‬ ‫‪48‬‬ ‫‪40 Tempereture‬‬

‫‪No‬‬ ‫‪Yes‬‬ ‫‪Yes‬‬ ‫‪Yes‬‬ ‫‪No‬‬ ‫‪No‬‬ ‫‪PlayTennis‬‬

‫چِ هوذاس آستبًِ ای سا ثبیذ ثشای ‪ Tempereture‬دس ًظش گشكت؟ هسلوبا هب توبیل داسین هوذاس آستبًِ ای سا اًتخبة ًٌین ًِ ثیطتشیي ثْاشُی‬
‫اق ػبت سا داضتِ ثبضذ‪ .‬ثب تشتیت ًشدى ًوًَِّب ثش اسبس ٍیژگی پیَستِی ‪ ٍ A‬پیذا ًشدى هوبدیش ًضدیي ثاِ تـییاش دساتِ ثٌاذی تابثغ ّاذفم‬
‫هیتَاى هوذاس آستبًِ ّبی پیطٌْبدی ثذست آٍسد‪ .‬هیتَاى ًطبى داد ًِ هوذاس ‪ c‬دس ًوكِ ای است ًِ ثْشُی اق ػبت ایي هشص هبًضیون اسات‬
‫)‪ .(Fayyad 1991‬ثب ثشسسی ثْشُی اق ػبت ثشای ایي هوبدیش پیطٌْبدی هوذاس آستبًِم هیتَاى ثِ هوذاس ‪ c‬صم پی ثشد‪ .‬دس ه ابل حبؾاش دٍ‬
‫هوذاس پیطٌْبدی ثاشای هواذاس آساتبًِی ‪ٍ Temperature‬جاَد داسد (دس دٍ ًوكاِ ای ًاِ ٍیژگای ّاذف دس حاَالیضابى تـییاش هایًٌاذ)‪:‬‬
‫ٍ‬ ‫‪ .(80+90)/2 ٍ (48+60)/2‬ه ایتااَاى ثااشای ّااش ًااذام اص ٍیژگ ایّاابی ًظیااش ایااي هواابدیش پیطااٌْبدی (‬
‫)‪ .‬ایاي‬ ‫) ثْشُی اق ػبت سا هحبسجِ ًشد ٍ ٍیژگیای ًِ ثْشُی ثیطتش سا داسد ثاش گضیاذ (‬
‫ٍیژگی هٌكوی پَیبی‪ 1‬ایجبد ضذُ سا هیتَاى دس ًٌبس دیگش ٍیژگیّب دس یبدگیشی دسختی ثِ ًبس ثشد‪ (Fayyad and Irani 1993) .‬اؾبكبتی‬
‫ثِ ایي سٍش اؾبكِ ًشدًذم آىّب ثِ جابی هواذاس آساتبًِ اص ثابصُّابیی اساتلبدُ ًشدًاذ‪(Murthy ٍ (Ufgoff and Brodley 1991) .‬‬
‫)‪ً 1994‬یض دس هَسد سٍشّبی تؼشیق ٍیژگیّب ثب تشًیجبت خكی چٌذیي ٍیژگی پیَستِ ٍ آستبًِ ثٌذی آىّب ثحث ًشدُاًذ‪.‬‬

‫‪ 1.7.1‬هعیار ّای دیگر برای اًتخاب ٍیژگیّا‬

‫دس تبثغ ثْشُی اق ػبت ثبیبسی راتی ٍجَد داسد ًِ ٍیژگیّبیی ًِ تؼذاد ثیطتشی هوذاس هیپزیشًذ سا ثِ دیگش ٍیژگیّب تاشجیح هایدّاذ‪ .‬ثاشای‬
‫ه بلم ٍیژگی تبسیخ سا دس ًظش ثگیشیذ ًِ تؼذاد ثسیبس صیبدی هوذاس هیتَاًذ داضتِ ثبضذ (ه ا ‪ 4‬هبسس ‪ .)1979‬اگش ایي ٍیژگی سا ثاِ ٍیژگایّابی‬
‫جذٍل ‪ 3.2‬اؾبكِ ًٌین ثْشُی اق ػبت ایي ٍیژگی اص ّوِی ٍیژگیّب ثیطتش خَاّذ ثَدم صیشا ًِ تبسیخ ّش سٍص ثِ تٌْبیی هیتَاًذ ٍیژگی ّاذف‬
‫سا ثب استلبدُ اص ًوًَِ ّبی آهَصضی هطخع ًٌذ‪ .‬ثٌبثشایيم ٍیژگی تبسیخ ثِ ػٌَاى ٍیژگی سیطِ اًتخبة خَاّذ ضذ ٍ الگَسیتن ثِ دسختی ثب ػوان‬
‫یي خَاّذ سسیذ ًِ توبهی ًوًَِ ّبی آهَصضی سا دسست دستِ ثٌذی هیًٌذ‪ .‬الجتِ ایي دسخت تػوین گیشی ثش سٍی ًوًَاِ ّابی جذیاذ خیلای‬
‫ؾؼیق ػول خَاّذ ًشدم صیشا ًِ ثب ٍجَد ایٌٌِ توبهی ًوًَِ ّبی آهَصضی سا دسست دستِ ثٌذی هیًٌذ اهب هذست پیص ثیٌی ثسیبس ؾؼیلی داسد‪.‬‬

‫هطٌل ٍیژگی تبسیخ چیست؟ ثیبییذ سبدُ ًگبُ ًٌینم هوبدیش ایي ٍیژگی ثسیبس صیبد است ٍ توبهی ًوًَِّب سا ثِ دستِ ّبی ثسیبس ًاَچٌی توساین‬
‫هیًٌذ‪ .‬ثِ ّویي خبقشم ثْشُی اق ػبت ًسجی ثسیبس صیبدی ثش سٍی ًوًَِ ّبی آهَصضی خَاّذ داضت دس حبلی ًِ پیص ثیٌیّبی ثسیبس ؾؼیلی‬
‫داسد‪.‬‬

‫‪1‬‬
‫‪dynamic‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪1‬‬
‫یٌی اص سٍشّبی حل ایي هطٌلم اًتخبة ٍیژگیّب ثب هؼیبسی دیگش (ثِ ؿیش ثْشُی اق ػبت) است‪ .‬یٌی اص جبیگضیيّبی هَكن ًساجت ثْاشُ‬
‫است )‪ .(Quinlar 1986‬هؼیبس ًسجت ثْشُ ٍیژگیّبیی چَى تبسیخ سا ثب جولِ ای ثِ ًبم توسین اق ػبت‪ 2‬جشیوِ هیًٌذ‪ .‬ایي جولِ ثِ حجن ٍ‬
‫یٌٌَاختی پخص ًوًَِّب حسبس است‪:‬‬

‫| |‬ ‫| |‬
‫∑‬ ‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬
‫| |‬ ‫| |‬

‫م ‪ c‬صیش هجوَػِی ًوًَِّبیی ّستٌذ ًِ اص توسین ‪ S‬ثب استلبدُ اص ٍیژگی ‪ c‬هوذاسی ‪ A‬ایجبد هیضًَذ‪ .‬تَجِ داضتِ ثبضیذ‬ ‫تب‬ ‫دس ایي ساثكِ‬
‫ًِ ‪ SplitInformation‬دس حویوت ّوبى آًتشٍپی ‪ S‬ثب تَجِ ثِ هوبدیش ٍیژگی ‪ A‬است‪ .‬ایي تؼشیق ثب تؼشیق هجلی هب ًِ كوف اص آًتشٍپی ثشای‬
‫تؼییي ٍیژگیای ًِ ثشسسی هیضَد استلبدُ هیًشدین ًوی تلبٍت داسد‪.‬‬

‫‪ GainRatio‬یب ّوبى ًسجت ثْشُ ثش اسبس ثْشُی اق ػبت ٍ توسین اق ػبت ثِ ضٌل صیش تؼشیق هیضَد‪:‬‬

‫‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‬

‫تَجِ داضتِ ثبضیذ ًِ جولِی ‪ SplitInformation‬احتوبل اًتخبة ٍیژگیّبیی ًِ تؼذاد صیبدی هوذاس داسًذ سا ًبّص هیدّذ‪ .‬ثاشای ه ابلم‬
‫هجوَػِ ای اص ‪ً n‬وًَاِ ًاِ ًابه ا ثاب ٍیژگای ‪ A‬توساین هایضاًَذ سا دس ًظاش ثگیشیاذ (ه ال تابسیخ دس ه ابل هجلای)‪ .‬دس ایاي حبلات هواذاس‬
‫خَاّذ ثَد‪ .‬دس هوبثل ٍیژگی هٌكوی ‪ّ ًِ B‬وبى ‪ً n‬وًَِ سا ثِ دٍ دستِی هسبٍی توساین هایًٌاذ هواذاس‬ ‫‪SplitInformation‬م‬
‫‪ 1 SplitInformation‬خَاّذ داضت‪ .‬اگش دٍ ٍیژگی ‪ B ٍ A‬ثْشُی اق ػبت هسبٍی داضتِ ثبضٌذ هكوئٌبا ‪ً B‬سجت ثْشُی ثیطاتشی خَاّاذ‬
‫داضت‪.‬‬

‫| | هخاشج ثسایبس‬ ‫ی داضاتِ ثبضاین | |‬ ‫یٌی اص هطٌ ت استلبدُی ‪ GainRatio‬ثِ جبی ‪ Gain‬ایي است ًِ صهبًی ًاِ ثاشای‬
‫ًَچي یب حتی غلش خَاّذ ضذ‪ .‬دس ّش غَست ‪ GainRatio‬یب ثسیبس ثضسٍ هیضَد یب تؼشیق ًطذُ هیگشدد دس حبلی ًاِ ایاي ٍیژگای توشیجابا‬
‫ثشای ّوِی ًوًَِ ّبی ‪ S‬یٌی است‪ .‬ثشای پشّیض اص ایي هطٌل هیتَاى اثتذا هؼیبس ‪ Gain‬سا هحبسجِ ًشد ٍ سپس ثشای ٍیژگیّابیی ًاِ ایاي‬
‫هؼیبس اص هیبًگیي ثضسٍتش است ‪ GainRatio‬سا هحبسجِ ًشد )‪.(Quinlar 1986‬‬

‫هیتَاى ثشای حل هطٌل هزًَس ثِ جبی ‪ GainRatio‬اص هؼیبسی دیگشی ًِ ثش اسبس كبغلِ اسات ٍ تَساف ‪(Lopez de Mantaras‬‬
‫)‪ 1991‬اسائِ ضذُ استلبدُ ًشد‪ .‬ایي هؼیبس ثش اسبس تؼشیق كبغلِی هتشیي هسوتّبی دادُ ػول هیًٌذ‪ّ .‬ش ٍیژگی ثش اسابس هساوت ثٌاذی‬
‫دادّبیی ًِ اًجبم هیدّذ ٍ هسوت ثٌذی ثْیٌِ‪( 3‬هسوت ثٌذیای ًِ توبهی ًوًَِّب سا دسست دستِ ثٌذی هیًٌذ) سٌجیذُ هیضَد ٍ ٍیژگیای‬
‫ًِ تطبثِ ثسیبسی ثِ هسوت ثٌذی ثْیٌِ داسد اًتخبة خَاّذ ضذ‪ (Lopez de Mantaras 1991) .‬ایاي هؼیابس كبغالِ سا تؼشیاق ٍ اثجابت‬
‫هیًٌذ ًِ ایي هؼیبس ثِ سوت ٍیژگیّبیی ًِ هوبدیش ثسیبسی داسًذ ثبیبس ًذاسد‪ٍ .‬ی تحویوبتی سا ًِ ًطبى هیدّذ دسختّبی تَلیذی ثش اسبس‬

‫‪1‬‬
‫‪gain ratio‬‬
‫‪2‬‬
‫‪split information‬‬
‫‪3‬‬
‫‪perfect partition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ایي هؼیبس ثب دسختّبیی ًِ ثش اسبس ‪ GainRatio ٍ Gain‬سبختِ هیضًَذ تلبٍتی ًذاسًذ اسائِ هیًٌذ‪ .‬ثاب ایاي ٍجاَد ایاي هؼیابس هطاٌ ت‬
‫ًبسثشدی هؼیبس ‪ GainRatio‬سا ًذاسد ٍ دس تحویوبت ٍی ایي هؼیبس دسختّبی ثسیبس ًَچيتشی ثشای ٍیژگیّبیی ثب هوبدیش ثسیبس ایجبد هیًٌذ‪.‬‬

‫هؼیبس ّبی هتٌَع دیگشی ًیض ثشای ایي هسئلِ اسائِ ضذُاًذ (ثشای ه بلم ‪Breiman et al. 1984; Mingers 1989a; Kearns and‬‬
‫‪ Mingers (1989a) .)Mansour 1996; Dietterich 1996‬تحلیلی تحویوی اص تأثیش ًسجی چٌذیي هؼیبس هختلق ثاش سٍی هسابئل‬
‫هتٌَع اًجبم دادُّبست‪ٍ .‬ی اخت ف هبثل تَجْی سا دس اًذاصُی دسختّبی ّشس ًطذُ ًبضی اص هؼیبس ّبی هختلق سا گضاسش هایًٌاذ‪ .‬ثاب ایاي‬
‫ٍجَد دس صهیٌِ ّبی تحویوبت ٍی ثِ ًظش هیسسذ هؼیبس اًتخبة ٍیژگیّب تأثیش ًوتشی ثش دهت ًْبیی تؼوین ًسجت ثِ هتذ پس ّشس داسد‪.‬‬

‫‪ 1.7.4‬کار با ًوًَِ ّای آهَزشیای کِ ٍیژگیّای هجَْل دارًذ‬

‫دس ثؼؿی هَاسدم دس دادُ ّبی هَجَد توبهی ٍیژگیّب هؼلَم ًیست‪ .‬ثاشای ه ابلم دس تطاخیع ثیوابسیای ًاِ ثیوابسی ثاش اسابس دساتِ ای اص‬
‫آصهبیطبت آصهبیطگبّی تطخیع دادُ هیضَد هوٌي است "جَاة آصهبیص خَى" )‪ (blood-Test-Result‬ثشای دستِی هؼذٍدی اص ثیوبساى‬
‫دس دستشس ثبضذ‪ .‬دس چٌیي ضشایكیم هتذاٍل است ًِ ایي ٍیژگیّبی هجَْل ثب دیگش ٍیژگیّبی ًوًَِ ٍ ثش اسبس دیگش ًوًَِّاب تخوایي صدُ‬
‫هیضًَذ‪.‬‬

‫ٍؾؼیتی سا دس ًظش ثگیشیذ ًِ )‪ Gain(S,A‬ثشای یي گشُ ‪ n‬دس دسخت تػوین گیشی هحبسجِ هیضَد تب تخویي صدُ ضَد ًِ آیب ثشای ایي گشُ‬
‫‪ A‬ثْتشیي ٍیژگی است یب خیش‪ .‬كشؼ ًٌیذ ًِ >)‪ <x,c(x‬یٌی اص ًوًَِ ّبی آهَصضی هجوَػِی ‪ S‬ثبضذ ًِ دس آى ٍیژگی )‪ A(x‬هجَْل ثبضذ‪.‬‬

‫یٌی اص سٍشّبی ثشخَسد ثب ایي ٍیژگی هجَْل ایي است ًِ هتذاٍلتشیي هوذاس ٍیژگی ًوًَِّبیی ًِ ثِ گشُ ‪ n‬هایسساٌذ سا ثاِ آى اختػابظ‬
‫دّین‪ .‬یب هوٌي است هتذاٍلتشیي هوذاس ٍیژگی سا ثیي ًوًَِّبیی ًِ ثِ گشُ ‪ n‬هیسسٌذ ٍ هوذاس تبثغ ّذف )‪ c(x‬سا داسًذ ثِ آى اختػبظ دّین‪.‬‬
‫ثؼذ اص اختػبظ هوذاس ثِ ایي ٍیژگی هیتَاى اص ًوًَِّب ثشای دسخت تػوین گیشی هَجَد استلبدُ ًشد‪ .‬ایاي اساتشاتژی هلػا ا دس ‪(Migers‬‬
‫)‪ 1989a‬تَؾیح دادُ ضذُ است‪.‬‬

‫ساُ حل دٍهی ًیض ٍجَد داسدم هیتَاى اص كشایٌذ پیچیذُ تشی (ًسجت ثِ اختػبظ هتذاٍلتشیي هوذاس) ثشای اختػبظ احتوبل ثِ ّش ًذام اص هوبدیش‬
‫هوٌي استلبدُ ًشد‪ .‬ایي احتوبلّب سا هیتَاى ثش اسبس تؼذاد دكؼبت تٌشاس هوبدیش هختلق ‪ A‬دس هیبى ًوًَِ ّبی گشُ ‪ n‬هطخع ًشد‪ .‬ثشای ه بلم‬
‫اگش ٍیژگی ‪ٍ A‬یژگیای هٌكوی ثبضذ ٍ گشُ ‪ً n‬یض ‪ً 6‬وًَِ ثب هوذاس ‪ً 4 ٍ A=1‬وًَِ ثب هوذاس ‪ A=0‬داضتِ ثبضذم آًگبُ احتوبل ایٌٌِ ‪ A(x)=1‬سا‬
‫‪ ٍ 0.6‬احتوبل ایٌٌِ ‪ A(x)=0‬ثبضذ سا ‪ 0.4‬دس ًظش هیگیشین‪ .‬ثب ایي توسین ثٌذی ‪ً 0.6‬وًَِّبیی ًِ ّبی ٍیژگای هجْاَل سا داسًاذ اص ضابخِی‬
‫‪ 0.4 ٍ A=1‬آىّب اص ضبخِی ‪ A=0‬پبییي خَاٌّذ سكت‪ .‬ایي ًسجتّب ثشای هحبسجِی ثْشُی اق ػبت ثِ ًوًَاِّاب اختػابظ دادُ هایضاَد ٍ‬
‫هوٌي است ایي ًبس دس صیش دسختّبی ثؼذی ًیض (اگش ٍیژگیای هؼلَم ًجبضذ) دٍثبسُ اًجبم گشدد‪ّ .‬وچٌیي هیتَاى چٌیي ًساجتّابیی سا ثؼاذ اص‬
‫یبدگیشی ثشای دستِ ثٌذی ًوًَِ ّبی جذیذی ًِ ثؼؿی ٍیژگیّب سا ًذاسًاذ اػوابل ًاشد‪ .‬دس چٌایي حابلتی ایاي دساتِ ثٌاذی ًوًَاِی جذیاذ‬
‫هحتولتشیي دستِ ثٌذی خَاّذ ثَدم ایي هحتولتشیي‪ 1‬دستِ ثٌذی ثب جوغ ٍصى داس دستِ ثٌذیّبی هختلق ّش گشُ ثشٍ دسخات اًجابم خَاّاذ‬
‫گشكت‪ .‬اص ایي هتذ ثشای ًبس ثب ًوًَِ ّبی آهَصضیای ًِ ٍیژگیّبی هجَْل داسًاذ دس ‪ C4.5‬هاَسد اساتلبدُ هاشاس گشكتاِ اسات ‪(Quinlan‬‬
‫)‪.1993‬‬

‫‪1‬‬
‫‪Most probable‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.7.3‬کار با ٍیژگیّای غیر ّن ارزش‬

‫دس ثؼؿی اص ًبسّبی یبدگیشی هوٌي است ًوًَِّب ٍیژگیّبی ؿیش ّن ّضیٌِ ای داضتِ ثبضٌذ‪ .‬ثشای ه بلم دس ه بل تطخیع ثیوبسی هوٌي است‬
‫ثیوبساى سا ثب ٍیژگیّبی دسجِی حشاست ثذىم آصهبیص ثبكتم ًجؽم ًتیجِی آصهبیص خَىم ٍ ‪ ...‬تَغایق ًٌاین‪ .‬ایاي ٍیژگایّاب هسالوبا هیوات‬
‫یٌسبًی ًذاسًذم ّن اص ًظش ّضیٌِ پَلی آصهبیص ٍ ّن اص ًظش ّضیٌِ ساحتی ثیوبس‪ .‬دس چٌیي ًبسّبیی دسختّبیی سا تشجیح هیدّین ًِ تب جبیی ًِ‬
‫هوٌي ثبضذ آصهبیصّبی ًن ّضیٌِ تش سا اًجبم دّذ ٍ آصهبیصّبی پش ّضیٌِ سا ثِ تطخیعّبی آخش هًََل ًٌذ‪.‬‬

‫‪ ID3‬هیتَاًذ ثب اؾبكِ ًشدى جولِی ّضیٌِ ثِ هؼیبس اًتخبة ٍیژگیاش ایي ّضیٌِّب سا دس ًظش ثگیشد‪ .‬ثشای ه بلم هیتَاى ساثكِی ‪ Gain‬سا ثاش‬
‫ّضیٌِ توسین ًشد تب ٍیژگیّبیی ًِ ّضیٌِی ًوتش داسًذ اسجحیت ثیطتشی داضتِ ثبضٌذ‪ .‬ثب ٍجَد ایٌٌِ ایي سٍشّب تؿویي ًوایًٌٌاذ ًاِ سٍش‬
‫ثْیٌِ ای دس ّضیٌِ پیذا ًٌٌذ اهب ثبیبسی دس جستجَ ثِ سوت ٍیژگیّبی ًن ّضیٌِ تش ایجبد هیًٌٌذ‪.‬‬

‫)‪ (Tan 1993) ٍ (Tan and Schlimmer 1990‬سٍضی ثشای ایي ًبس اثذاع ًشدًذ ٍ دس ًبس ادساى یي سثبت ثِ ًبسثشدًذم دس ایاي ًابس‬
‫سثبت یبد هیگشكت ًِ چگًَِ اضیبء هختلق سا ثب حس ًشدى آىّب ثب ثبصٍّبیص دستِ ثٌذی ًٌذ‪ .‬دس ایاي ًابسم ٍیژگایّاب خشٍجایّابی حساگش‬
‫هتحشى سثبت ثَدًذ‪ّ .‬ضیٌِی ّش ٍیژگی ثب تؼذاد ثبًیِّبیی ًِ قَل هیًطیذ تب حسگش دس آى هَهؼیت هشاس گیشد ٍ خشٍجی ثذّاذ اًاذاصُ گیاشی‬
‫هیضذ‪ .‬آىّب ثبثت ًشدًذ ًِ ثب استلبدُ اص هؼیبس صیش هیتَاى ثذٍى ًبّص دهت دستِ ثٌذی هیتَاى هاثشتشیي اساتشاتژی تطاخیع اضایب سا یابد‬
‫گشكت‪:‬‬

‫)‪ (Nunez 1988‬ساُ حل هطبثْی سا اسائِ هیدّذ ٍ آى سا ثشای یبدگیشی تطخیعّبی پضضٌی ثِ ًابس هایثاشد‪ .‬دس ایاي ًابسثشد ٍیژگایّاب‬
‫ًطبًِ ّبی ثیوبسی ٍ آصهبیصّبی آصهبیطگبّی ثب ّضیٌِ ّبی هختلق ّستٌذ‪ .‬دس سیستوی ًِ ٍی اسائِ داد هؼیبس دیگشی ثشای اًتخبة ٍیژگیّاب‬
‫اسائِ ضذُ ثَد‪:‬‬

‫دس ایي ساثكِ ]‪ w [0,1‬ثبثتی است ًِ اّویت ًسجی ّضیٌِ دس هوبثل ثْشُی اق ػبت سا هؼلَم هیًٌذ‪ (Nunez 1991) .‬ثِ سٍش تجشثای‬
‫ایي دٍ سٍش سا دس هسبیل هختلق هوبیسِ ًشد‪.‬‬

‫‪ 313‬خالصه و هنابع برای هطالعهی بیشتر‬

‫ًٌبت اغلی ایي كػل‪:‬‬

‫یبدگیشی دسختی هتذی ًبسثشدی دس یبدگیشی هلْاَم ٍ تَاثاغ گسساتِ هواذاس اسات‪ .‬خابًَادُی الگاَسیتنّابی هطابثِ ‪ ID3‬ضابهل‬ ‫‪‬‬
‫الگَسیتنّبیی هیضَد ًِ دسخت سا اص سیطِ ثِ سوت پبییي حشیػبًِ سضذ هیدٌّذم دس ّش هشحلِ اص سضذ دسخت ثشای ّش ضبخِ تػوین‬
‫جذیذ ثْتشیي ٍیژگی اًتخبة هیضَد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ ID3‬كؿبی كشؾیِ ای ًبهلی (كؿبی كشؾیِ ای توبهی دسختّبی تػوین هوٌي ثشای تَاثغ گسستِ هوذاس) سا جستجَ هیًٌاذ‪ .‬ثاِ‬ ‫‪‬‬
‫ّویي دلیل ایي الگَسیتن هطٌل اسبسی ًِ ٌّگبم جستجَی دستِ كؿبی كشؾیِ ّبی هحذٍد ثِ ٍجَد هیآیذم ایي احتوبل ًِ هوٌي‬
‫است تبثغ ّذف دس كؿبی كشؾیِ ای هلشٍؼ ًجبضذم سا ًذاسد‪.‬‬
‫ثبیبس استوشایی ‪ ID3‬دسختّبی ًَچيتش سا اسجح هیداًذ؛ ثِ ایي هؼٌب ًِ دسخت سا كوف تب صهبًی ًِ ًوًَِ ّبی آهَصضای سا دساتِ‬ ‫‪‬‬
‫ثٌذی ًٌذ سضذ هیدّذ‪.‬‬
‫هسئلِی ‪ overfit‬ثش سٍی ًوًَِ ّبی آهَصضی هسئلِ ای هْن دس یبدگیشی دسختی است‪ .‬صیشا ًِ ًوًَِ ّبی آهَصضی كوف ًوًَاِ ای‬ ‫‪‬‬
‫اص توبهی ًوًَِ ّبی هوٌي ّستٌذم هوٌي است هب ثِ دسخت ضبخِّبیی سا ثیلضایین ًِ ًبسایی دسخت سا ثش سٍی ًوًَِ ّبی آهَصضای‬
‫اكضایص دادُ اهب ًبسایی ثشای ًوًَِ ّبی خبسج ایي هجوَػِ ًبّص یبثذ‪ .‬ثِ ّویي دلیل هتذ ّبی ّشس دسخت تػوین ثشای پشّیاض اص‬
‫‪ overfit‬دس یبدگیشی دسختی (ٍ دیگش الگَسیتنّبی یبدگیشیای ًِ اص ثبیبس تشجیحی استلبدُ هیًٌٌذ) اص اّویت خبغی ثشخَسداسًذ‪.‬‬
‫اًَاع ثسیبسی اص تـییشات ثشای ‪ ID3‬تَسف هحووبى ایجبد ضذُ است‪ .‬ایي تـییشات ضبهل هتذ ّابی پاس ّاشس دسخاتّابم ًابس ثاب‬ ‫‪‬‬
‫ٍیژگیّبی حویوی هوذاسم ًبس ثب ًوًَِ ّبی آهَصضیای ًِ ٍیژگیّبی هجَْل داسًذم ثبصًگشی دس دسخت ثب اكضایص تؼذاد ًوًَِ ّابی‬
‫آهَصضیم استلبدُ اص هؼیبس ّبی دیگشی ثِ جبی هؼیبس ‪ gain‬ثشای اًتخبة ٍیژگیّب ٍ دس ًظش گشكتي ّضیٌِ اًذاصُ گیاشی ٍیژگایّابی‬
‫ًوًَِّبست‪.‬‬
‫دس هیبى اٍلیي ًبسّبیی ًِ ثش سٍی دسخت تػوین اًجبم گشكتاِم )‪ (Hunt’s Concept Learning System‬یاب ‪(Hunt et al. CLS‬‬
‫)‪ً ٍ 1966‬ابس )‪ (Friedman and Breiman‬سٍی سیساتن ‪ (Friedman 1977; Breiman et al. 1984) CART‬جاضٍ‬
‫هْنتشیيّب ّستٌذ‪ .‬سیستن ‪ً (Quinlan 1979, 1983) ID3‬یض پبیِ ثحث ایي كػل سا تطٌیل هیدّذ‪ .‬دیگش ًبسّبی اٍلیِ سٍی یابدگیشی‬
‫دسختی ضبهل ‪ (Kononenko et al. 1984; Cestnik et al. 1987) ASSISTANT‬هیضَد‪ .‬پیبدُ سبصی الگَسیتنّابی اساتوشایی‬
‫دسختی ّن اًٌَى ثِ غَست تجبسی سٍی ثسیبسی اص سیستن ػبهلّب اسائِ هیضَد‪.‬‬

‫ثشای هكبلؼِی ثیطتش سٍی استوشای یبدگیشی دسختیم ًتبة )‪ (Quinlan 1993‬ثسیبسی اص هسبئل ػولی سا ثشسسای ًاشدُ ٍ ًاذ ّابی هبثال‬
‫اجشایی ثشای ‪ C4.5‬سا دس ثش داسد‪ (Buntine and Niblett 1992) ٍ (Mingers 1989a).‬دٍ ثشسسی ثش سٍی اخت ف ثیي سٍشّبی‬
‫هختلق اًتخبة ٍیژگی سا ثشسسی هیًٌٌذ‪ .‬ثشسسیّبیی ًِ یبدگیشی دسختی ٍ دیگش هتذّبی یبدگیشی سا هوبیسِ هیًٌٌذ سا هیتَاى دس ثسیبسی اص‬
‫هوب ت ضابهل ;‪(Dietterich et al. 1995; Fisher and McKusick 1989; Quinlan 1988a; Shavlik et al. 1991‬‬
‫)‪ Thrun et al. 1991; Weiss and Kapouleas 1989‬پیذا ًشد‪‌ .‬‬

‫تورینات‬
‫‪ 3.1‬دسختّبی تػویوی ًِ تَاثغ هٌكوی صیش سا ثیبى هیًٌذ ثیبثیذ‪:‬‬

‫)‪A⋁¬B (a‬‬

‫)‪A⋁[B⋀C] (b‬‬

‫)‪A XOR B (c‬‬

‫)‪[A⋀B]⋁[C⋀D] (d‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 3.2‬هجوَػِی ًوًَِ ّبی آهَصضی صیش سا دس ًظش ثگیشیذ‪:‬‬

‫دستِ ثٌذی‬ ‫ضوبسُی ًوًَِی آهَصضی‬

‫‪T‬‬ ‫‪T‬‬ ‫‪+‬‬ ‫‪1‬‬

‫‪T‬‬ ‫‪T‬‬ ‫‪+‬‬ ‫‪2‬‬

‫‪F‬‬ ‫‪T‬‬ ‫‪-‬‬ ‫‪3‬‬

‫‪F‬‬ ‫‪F‬‬ ‫‪+‬‬ ‫‪4‬‬

‫‪T‬‬ ‫‪F‬‬ ‫‪-‬‬ ‫‪5‬‬

‫‪T‬‬ ‫‪F‬‬ ‫‪-‬‬ ‫‪6‬‬

‫)‪ (a‬آًتشٍپی ایي هجوَػِ اص ًوًَِ ّبی آهَصضی ثب تَجِ ثِ دستِ ثٌذی تبثغ ّذف چوذس است؟‬

‫ثشای ایي ًوًَِ ّبی آهَصضی چوذس است؟‬ ‫)‪ (b‬ثْشُی اق ػبت ٍیژگی‬

‫‪ 3.3‬ػجبست صیش ؿلت یب دسست است؟‬

‫اگش دسخت تػوین ‪ D2‬یي خبظ سبصی اص ‪ D1‬ثبضذم آًگبُ ‪ً D1‬لیتش است اص ‪ .D2‬كشؼ ًٌیذ ًاِ ‪ D2 ٍ D1‬دسخاتّابی تػاوین هتـیاش‬
‫هٌكوی دلخَاّی ّستٌذ ٍ‪ D2‬یي خبظ سبصی اص ‪ D1‬است اگش ‪ ID3‬ثتَاًذ ‪ D1‬سا ثِ ‪ D2‬تبهین دّذ‪ .‬اگش جولِ ثب دسست است آى سا اثجبت‬
‫ًشدُ دس ؿیش ایي غَست ه بل ًوؽ ثیبٍسیذ‪( .‬هلَْم ًلیتش ثَدى دس كػل ‪ 2‬تؼشیق ضذُ است)‬

‫‪ ID3 3.4‬جستجَیی ثشای یبكتي تٌْب یي كشؾیِی سبصگبس اًجبم هیدّذ دس حبلی ًاِ ‪ Candidate-Elimination‬توابهی كشؾایِ ّابی‬
‫سبصگبس سا پیذا هیًٌذ‪ .‬ساثكِ ای ثیي ایي دٍ الگَسیتن یبدگیشی دس ًظش ثگیشیذ‪.‬‬

‫)‪ (a‬دسخت تػویوی ًِ ‪ ID3‬ثب ًوًَِّبی آهَصضی ‪ EnjoySport‬یبد هیگیشد سا پیذا ًٌیذ‪ .‬هلَْم ّذف دس جاذٍل ‪ 2.1‬كػال ‪ 2‬آٍسدُ ضاذُ‬
‫است‪.‬‬

‫)‪ (b‬ساثكِی ثیي دسخت تػوین یبدگیشی ضذُ ٍ كؿبی ٍیژُی ًطبى دادُ ضذُ دس ضٌل ‪ 2.3‬دس كػل ‪ ًِ 2‬اص ّویي ًوًَِّبی آهَصش ثذسات‬
‫آهذُ چیست؟‬

‫)‪ً (c‬وًَِی آهَصضی صیش سا ثِ ًوًَِّبی آهَصضی اؾبكِ ًشدُ ٍ دسخت تػوین جذیذی سا یبد ثگیشیذ‪ .‬ایي ثبس ثْشُی اق ػبت ثذست آهذُ ثشای‬
‫ّش ٍیژگی دس ّش هشحلِ اص سضذ دسخت سا تؼییي ًٌیذ‪.‬‬

‫‪EnjoySport‬‬ ‫‪Forecast‬‬ ‫‪Water‬‬ ‫‪Wind‬‬ ‫‪Humidity‬‬ ‫‪Air-Temp‬‬ ‫‪Sky‬‬

‫‪No‬‬ ‫‪Same‬‬ ‫‪Warm‬‬ ‫‪Weak‬‬ ‫‪Normal‬‬ ‫‪Warm‬‬ ‫‪Sunny‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪ (d‬كشؼ ًٌیذ ًِ هیخَاّین یبدگیشی هطبثِ ‪ ID3‬قشاحی ًٌین ًِ كؿبیی اص كشؾیِ ّبی دسخاتّابی تػاوین سا جساتجَ ًاشدُ ٍ هطابثِ‬
‫)‪ (Candidate-Elimination‬توبهی كشؾیِ ّبی سبصگبس ثب ایي دادُّب سا پیذا ًٌذ‪ .‬ثِ قَس خ غِ ایي ًاِم هایخاَاّین ‪Candidate-‬‬
‫‪ Elimination‬سا ثشای جستجَی كؿبی كشؾیِ ای دسختّبی تػوین ثٌبس ثشین‪ .‬هجوَػِ ّبی ‪ G ٍ S‬سا ًِ اص ًوًَِ ّبی آهَصضای جاذٍل‬
‫‪ 2.1‬ثذست هیآیٌذ سا تؼییي ًٌیذ‪ .‬تَجِ داضتِ ثبضیذ ًِ ‪ S‬ثبیذ خبظتشیي دسختّبی سبختِ ضاذُ ثاب اساتلبدُ اص دادُّاب ٍ ‪ G‬ثبیاذ ًلایتاشیي‬
‫دسختّبی سبختِ ضذُ سا دس ثش ثگیشد‪ً .‬طبى دّیذ ًِ ایي دٍ هجوَػاِ ثاب اػوابل ًوًَاِی آهَصضای دٍم چگًَاِ تـییاش هایًٌٌاذ (هایتَاًیاذ‬
‫دسختّبیی سا ًِ یي هلَْم سا اسائِ هیًٌٌذ ٍ كوف سبختبس ؿیش یٌسبى داسًذ حزف ًٌیذ)‪ .‬چِ هطٌ تی سا دس اػوبل الگاَسیتن ‪Candidate-‬‬
‫‪ Elimination‬ثِ كؿبی كشؾیِ ای دسختّبی تػوین هیثیٌیذ؟‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪Entropy‬‬ ‫آًتشٍپی‬
‫‪Bias‬‬ ‫ثبیبس‬
‫‪inductive bias‬‬ ‫ثبیبس استوشایی‬
‫‪information gain‬‬ ‫ثْشُی اق ػبت‬
‫‪split information‬‬ ‫توسین اق ػبت‬
‫‪information theory‬‬ ‫تئَسی اق ػبت‬
‫‪breath first search‬‬ ‫جستجَی ًن ػون‬
‫‪Greedy‬‬ ‫حشیػبًِ‬
‫‪Specific‬‬ ‫خبظ‬
‫‪maximal generalization‬‬ ‫خبظتشیي ًلی سبصیّب‬
‫‪decision tree‬‬ ‫دسخت تػوین گیشی‬
‫‪Classify‬‬ ‫دستِ ثٌذی‬
‫‪validation set‬‬ ‫دستِی تبییذ‬
‫‪Subtree‬‬ ‫صیش دسخت‬
‫‪Consistent‬‬ ‫سبصگبس‬
‫‪Expressive‬‬ ‫ضبهل‬
‫‪Label‬‬ ‫ػ هت گزاسی‬
‫‪Nondeterministic‬‬ ‫ؿیش هكؼی‬
‫‪Hypothesis‬‬ ‫كشؾیِ‬
‫‪space version‬‬ ‫كؿبی ٍیژُ‬
‫‪General‬‬ ‫ًلی‬
‫‪minimal specialization‬‬ ‫ًلیتشیي خبظ سبصیّب‬
‫‪training example‬‬ ‫ًوًَِ آهَصضی‬
‫‪unobserved instance‬‬ ‫ًوًَِ ؿیش آهَصضی‬
‫‪classification problems‬‬ ‫هسبئل دستِ ثٌذی‬
‫‪target concept‬‬ ‫هلَْم ّذف‬
‫‪gain ratio‬‬ ‫ًسجت ثْشُ‬
‫‪Negation‬‬ ‫ًویؽ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪post-prune‬‬ ‫ّشس‬
‫‪decision tree learning‬‬ ‫یبدگیشی دسختی‬
‫‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل چهارم‪ :‬شبکه های عصبی هصنوعی‬

‫شجى‪ٞ ٝ‬بی عظجی ٔظ‪ٛٙ‬عی‪ 1‬یب ‪ٕٞ‬بٖ ‪ٞ ANN‬ب ٔتذی وّی ‪ ٚ‬وبسثشدی ثشای یبدٌیشی ت‪ٛ‬اثع قمیمعی ٔمعذاسس ٌههعت‪ٔ ٝ‬معذاس ‪ ٚ‬ثعشداسی اص س‪ٚ‬ی‬
‫ٕ٘‪ٞٝ٘ٛ‬بست‪ .‬اٍِ‪ٛ‬سیتٓ‪ٞ‬بیی یبدٌیشی شجى‪ ٝ‬ای چ‪ Backpropagation ٖٛ‬اص س‪ٚ‬ش‪ٞ‬بیی چ‪ ٖٛ‬شیت ٘ض‪ 2َٚ‬استفبد‪ ٜ‬وشد‪ ٜ‬تب پبسأتش‪ٞ‬بی شجى‪ٝ‬‬
‫سا ؿ‪ٛ‬سی ت‪ٙ‬ظیٓ و‪ٙٙ‬ذ تب ثب دست‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی ٔـبثمت داشت‪ ٝ‬ثبش‪ٙ‬ذ‪ .‬یبدٌیشی شجى‪ٞ ٝ‬بی عظجی دس ٔمبثُ خـب‪ٞ‬عب دس داد‪ٞ ٜ‬عبی آٔ‪ٛ‬صشعی‬
‫ٔمب‪ 3ْٚ‬است ‪ ٚ‬دس تفهیش طح‪ٞ ٝٙ‬بی تظ‪ٛ‬یشیس تشخیض طحجت ‪ ٚ‬یبدٌیشی استشاتژی‪ٞ‬بی و‪ٙ‬تشَ سثبت ث‪ ٝ‬وبسثشد داسد‪.‬‬

‫‪ 1.4‬هعرفی‬
‫ٔتذ یبدٌیشی شجى‪ٞ ٝ‬بی عظجی س‪ٚ‬ش‪ٞ‬بیی ٔمب‪ ْٚ‬ث‪ٛ٘ ٝ‬یض ثشای تخٕیٗ ت‪ٛ‬اث ‪ٞ‬ذف قمیمی ٔمذاسس ٌههت‪ٔ ٝ‬مذاس ‪ ٚ‬ثشداسی اسائ‪ٔ ٝ‬یو‪ٙ‬عذ‪ .‬دس ا٘ع‪ٛ‬ا‬
‫خبطی اص ٔهبئُ ٔثُ یبدٌیشی تفهیش ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی پیچیذ‪ٜ‬ی قهٍش‪ٞ‬بس شجى‪ٞ ٝ‬بی عظجی ث‪ٟ‬تشیٗ س‪ٚ‬ش ش‪ٙ‬بخت‪ ٝ‬شذ‪ٞ ٜ‬هت‪ٙ‬ذ‪ .‬ثشای ٔثبَس اٍِ‪ٛ‬سیتٓ‬
‫‪Backpropagation‬س و‪ ٝ‬دس ایٗ فظُ وبٔالً آٖسا ت‪ٛ‬ػیح خ‪ٛ‬ا‪ٞ‬یٓ دادس ٔ‪ٛ‬فمیت‪ٞ‬بی چشٓ ٌیشی دس قُ ٔهبئُ وبسثشدیای ٘ظیش تشعخیض‬
‫وبساوتش ‪ٞ‬بی دست ٘‪ٛ‬یس )‪ (LeCun et al. 1989‬س تشخیض طحجت )‪ ٚ (Lang et al. 1990‬تشخیض چ‪ٟ‬عش‪(Cottrell 1990) ٜ‬‬
‫اص خ‪ٛ‬د ٘شبٖ داد‪ ٜ‬است‪ .‬ثشسسیای اص وبسثشد ‪ٞ‬بی ‪ٚ‬العی شجى‪ٞ ٝ‬بی عظجی ت‪ٛ‬سؾ )‪ٌ (Rumelhart et al. 1994‬شد آ‪ٚ‬سی شذ‪ ٜ‬است‪.‬‬

‫‪ 4.1.1‬انگیشهی سیستی‬
‫ٔـبِع‪ٝ‬ی شجى‪ٞ ٝ‬بی عظجی ٔظ‪ٛٙ‬عی اص سیهتٓ‪ٞ‬بی یبدٌیش صیهتی و‪ ٝ‬اص شجى‪ٞ ٝ‬بی خیّی پیچیذ‪ٜ‬ی اعظبة سبخت‪ ٝ‬شذ‪ٜ‬ا٘ذ اِ‪ٟ‬عبْ ٌشفتع‪ ٝ‬شعذ‪ٜ‬‬
‫است‪ .‬دس ٍ٘ب‪ ٜ‬سـحیس ایٗ سیهتٓ‪ٞ‬ب اص ا٘ج‪ٞٛ‬ی اص دست‪ٚ ٝ‬اقذ ‪ٞ‬بی ٔتظُ ث‪ ٓٞ ٝ‬سبد‪ ٜ‬سبخت‪ ٝ‬شذ‪ٜ‬ا٘ذ و‪ٞ ٝ‬ش ‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی‪ٞ‬عبی قمیمعی ٔمعذاسی‬

‫‪1‬‬
‫‪Artificial neural networks‬‬
‫‪2‬‬
‫‪Gradient decend‬‬
‫‪3‬‬
‫‪robust‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دسیبفت وشد‪$ ٜ‬ثیشتش ایٗ ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب خش‪ٚ‬خی‪ٞ‬بی ‪ٚ‬اقذ ‪ٞ‬بی دیٍش ‪ٞ‬هت‪ٙ‬ذ‪ٔ ٚ #‬مذاس قمیمیای سا ٔحبسج‪ٔ ٝ‬یو‪ٙ‬ذ ‪$‬و‪ٕٔ ٝ‬ىٗ است ‪ٚ‬س‪ٚ‬دی ‪ٚ‬اقذ ‪ٞ‬بی‬
‫دیٍشی ثبشذ‪.#‬‬

‫عظت داسد وع‪ٝ‬‬ ‫ثشای دسن ث‪ٟ‬تشس چ‪ٙ‬ذ قمیمت اص عظت ش‪ٙ‬بسی سا ثب ‪ٔ ٓٞ‬القظ‪ٔ ٝ‬یو‪ٙ‬یٓ‪ .‬ثشای ٔثبَس تخٕیٗ صد‪ٔ ٜ‬یش‪ٛ‬د و‪ٔ ٝ‬غض ا٘هبٖ‬
‫عظت دیٍش ٔتظّ‪ٙ‬ذ‪ .‬فعبِیت عظت ث‪ ٝ‬ؿ‪ٛ‬س عبدی دس یىی اص د‪ ٚ‬قبِعت ثشاٍ٘یختع‪ ٚ 1ٝ‬غیعش ثشاٍ٘یختع‪ ٝ‬اسعت‪.‬‬
‫‪2‬‬
‫‪ٞ‬ش وذاْ ث‪ ٝ‬ؿ‪ٛ‬س ٔت‪ٛ‬سؾ ث‪ٝ‬‬
‫ٔشتج‪ٝ‬ی و‪ٙ‬ذتش است‪ .#‬ثب‬ ‫ثب٘ی‪ ٝ‬ثیٗ ایٗ د‪ ٚ‬قبِت س‪ٛ‬ییچ ٔیو‪ٙٙ‬ذ ‪ $‬ایٗ ٔمذاس دس ٔمبثُ وبٔپی‪ٛ‬تش‪ٞ‬ب‬ ‫سشی تشیٗ اعظبة دس ٔشتج‪ٝ‬ی‬
‫ثب٘ی‪ ٝ‬تشعخیض‬ ‫ایٗ قبَ ا٘هبٖ ٔیت‪ٛ‬ا٘ذ ث‪ ٝ‬سشعت تظٕیٕبت ثهیبس پیچیذ‪ ٜ‬ای ثٍیشد‪ .‬ثشای ٔثبَس شٕب تظ‪ٛ‬یش ٔبدستبٖ سا دس ٔذت قذ‪ٚ‬داً‬
‫ثب٘ی‪ٝ‬س ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬سشعت عّٕىشد اعظبةس اعظبة قذاوثش چ‪ٙ‬ذ طذ ثبس ثشاٍ٘یخت‪ ٝ‬شذ‪ٜ‬ا٘ذ‪ٔ .‬شب‪ٞ‬ذات‬ ‫ٔید‪ٞ‬یذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬دس ٔذت ایٗ‬
‫٘شبٖ داد‪ ٜ‬و‪ ٝ‬لذست پشداصش اؿالعبت دس سیهتٓ‪ٞ‬بی عظجی صیهتی ٘بشی اص عّٕیبت‪ٞ‬بی ٔ‪ٛ‬اصی ثهعیبسی اسعت وع‪ ٝ‬ثعش س‪ٚ‬ی تععذاد صیعبدی اص‬
‫اعظبة اخشا ٔیش‪٘ٛ‬ذ‪ .‬یىی اص اٍ٘یض‪ٞ ٜ‬بی ث‪ ٝ‬وبس ٌیشی شجى‪ ٝ‬عظجی سسیذٖ ث‪ ٝ‬چ‪ٙ‬یٗ ٔحبسجبت ٔ‪ٛ‬اصیای و‪ ٝ‬ت‪ٛ‬سؾ تعذادی صیبدی ‪ٚ‬اقذ ا٘دعبْ‬
‫ٔیش‪ٛ‬د است‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬اٍِ‪ٛ‬سیتٓ‪ٞ‬بی سشی تشی ثش س‪ٚ‬ی ٔبشیٗ‪ٞ‬بی ٔحبسج‪ٝ‬ی ٔ‪ٛ‬اصی استفبد‪ ٜ‬شذ‪ٕٞ ٚ ٜ‬چ‪ٙ‬یٗ سعخت افعضاس ‪ٞ‬عبی خبطعی‬
‫ثشای ثش٘بٔ‪ٞ ٝ‬بی شجى‪ ٝ‬عظجی ؿشاقی شذ‪ٜ‬س أب اوثش ثش٘بٔ‪ٞ ٝ‬بی شجى‪ ٝ‬عظجی ثش س‪ٚ‬ی ٔبشیٗ‪ٞ‬بیی تشتیجی‪ 3‬اخشا ٔیش‪٘ٛ‬ذ وع‪ ٝ‬عٕعُ ٔحبسعج‪ٝ‬ی‬
‫غیش ٔتٕشوض سا شجی‪ ٝ‬سبصی ٔیو‪ٙٙ‬ذ‪.‬‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬شجى‪ٞ ٝ‬بی عظجی ثشداشتی اص شجى‪ٞ ٝ‬بی عظجی صیهتی استس أعب ثهعیبسی اص پیچیعذٌی‪ٞ‬عبی شعجى‪ٞ ٝ‬عبی عظعجی صیهعتی دس‬
‫شجى‪ٞ ٝ‬بی عظجی ٔذَ سبصی ٕ٘یش‪ٛ‬دس ‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬ثهیبسی اص خ‪ٛ‬اص شعجى‪ٞ ٝ‬عبی عظعجی ‪$‬وع‪ ٝ‬دسثعبس‪ٜ‬ی آٖ‪ٞ‬عب ثحع خع‪ٛ‬ا‪ٞ‬یٓ وعشد‪ #‬ثعب‬
‫سیهتٓ‪ٞ‬بی صیهتی ٔـبثمت ٘ذاسد‪ .‬ثشای ٔثبَس ٔب فشع ٔیو‪ٙ‬یٓ و‪ٚ ٝ‬اقذ ‪ٞ‬بی شجى‪ ٝ‬عظجی یه سیٍ‪ٙ‬بَ خش‪ٚ‬خی داس٘ذس دسقبِیوع‪ ٝ‬دس اعظعبة‬
‫صیهتی خش‪ٚ‬خی سشیای تشویجی اص ػشث‪ٞٝ‬ب دس ؿ‪ َٛ‬صٔبٖ است‪.‬‬

‫ثش اسبس تبسیخچ‪ٝ‬س د‪ ٚ‬دست‪ ٝ‬اص ٔحممبٖ ثش س‪ٚ‬ی شجى‪ٞ ٝ‬بی عظجی ٔظ‪ٛٙ‬عی وبس ٔیوشد٘ذ‪ٌ .‬ش‪ ٜٚ‬ا‪ َٚ‬و‪ ٝ‬سعی داشت‪ٙ‬ذ ثب تمّیذ شجى‪ٞ ٝ‬بی عظجی‬
‫فشای‪ٙ‬ذ ‪ٞ‬بی یبدٌیشی صیهتی سا ٔـبِع‪ٔ ٚ ٝ‬ذَ سبصی و‪ٙٙ‬ذ ‪ٌ ٚ‬ش‪ ٜٚ‬د‪ ْٚ‬وهب٘ی و‪ ٝ‬سعی داشت‪ٙ‬ذ ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ‪ٞ‬بی یعبدٌیشی ٔبشعیٗ ٔع‪ٛ‬ثشی دسعت‬
‫یبث‪ٙ‬ذس خذا اص ای‪ٙ‬ى‪ ٝ‬ایٗ اٍِ‪ٛ‬سیتٓ‪ٞ‬ب اص شجى‪ٞ ٝ‬بی عظجی ثذست آٔذ‪ ٜ‬است‪ .‬دس ؿ‪ َٛ‬ایٗ وتبةس ٔب ٘یض خض‪ٌ ٚ‬ش‪ ٜٚ‬د‪ٔ ْٚ‬حه‪ٛ‬ة ٔیش‪ٛ‬یٓ ‪ ٚ‬ث‪ٙ‬بثشایٗ‬
‫ثش ٔذَ سبصی صیهتی تبویذ ٕ٘یو‪ٙ‬یٓ‪ .‬ثشای اؿالعبت ثیشتش دس ٔ‪ٛ‬سد ٔذَ سبصی سیهتٓ‪ٞ‬بی صیهتی ت‪ٛ‬سؾ شجى‪ٞ ٝ‬بی عظجی ٔیت‪ٛ‬ا٘یذ ث‪ ٝ‬وتعت‬
‫صیش ٔشاخع‪ ٝ‬و‪ٙ‬یذ‪:‬‬

‫;)‪Churchland and Sejnowski (1992‬‬

‫;)‪Zornetzer et al. (1994‬‬

‫‪Gabriel and Moore (1990).‬‬

‫‪1‬‬
‫‪excited‬‬
‫‪2‬‬
‫‪inhibited‬‬
‫‪3‬‬
‫‪sequential‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.4‬هعرفی شبکه های عصبی‬

‫یه ٕ٘‪ٝ٘ٛ‬ی تٕبْ عیبس اص یبدٌیشی شجى‪ ٝ‬عظجی ت‪ٛ‬سؾ سیهتٓ ‪(1993) Pomerleau‬س ث‪٘ ٝ‬عبْ ‪ ALVINN‬شعجی‪ ٝ‬سعبصی شعذ‪ ٜ‬اسعت‪ .‬ایعٗ‬
‫سیهتٓ ثشای و‪ٙ‬تشَ فشٔبٖ ات‪ٔٛ‬جیُ ثب سشعت ٔت‪ٛ‬سؾ دس ثضسٌشا‪ٜٞ‬ب ؿشاقی شذ‪ ٜ‬است‪ٚ .‬س‪ٚ‬دی ایٗ شجى‪ٝ‬ی عظجی یه تظ‪ٛ‬یش ‪٘ 30x32‬مـ‪ ٝ‬ای‬
‫است و‪ ٝ‬اص د‪ٚ‬سثیٗ س‪ ٚ‬ث‪ ٝ‬خّ‪ٛ‬یی و‪ ٝ‬دس داخُ ات‪ٔٛ‬جیُ وبس ٌزاشت‪ ٝ‬شذ‪ٌ ٜ‬شفت‪ٔ ٝ‬یش‪ٛ‬د‪ .‬خش‪ٚ‬خی شجى‪ٝ‬ی عظجی خ‪ٟ‬تعی اسعت وع‪ ٝ‬فشٔعبٖ ثع‪ ٝ‬آٖ‬
‫سٕت ثبیذ ثچشخذ‪ .‬شجى‪ ٝ‬ثشای تمّیذ فشٔبٖ د‪ٞ‬ی ا٘هبٖ دس ؿ‪ َٛ‬قذ‪ٚ‬د ‪ 5‬دلیمبً آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪ٛ‬د‪ٛٔ ALVINN .‬فك شذ‪ ٜ‬تب ثب شجى‪ٝ‬ی آٔ‪ٛ‬صش‬
‫دیذ‪ٜ‬ی خ‪ٛ‬دس خ‪ٛ‬دس‪ ٚ‬سا تب سشعت ‪ٔ 70‬بیُ دس سبعت ‪ ٚ‬ثشای ٔهبفت ‪ٔ 90‬بیُ دس ثضسٌشا‪ ٜ‬و‪ٙ‬تشَ و‪ٙ‬ذ ‪$‬سا٘‪ٙ‬ذٌیای و‪ ٝ‬دس خؾ سشعت ثضسٌشا‪ ٜ‬ث‪ٛ‬د‪ٚ ٜ‬‬
‫ثضسٌشا‪٘ ٜ‬یض خؾ وشی شذ‪ ٜ‬ث‪ٛ‬د‪ ٚ ٜ‬دیٍش ‪ٚ‬سبیُ ٘مّی‪ ٓٞ ٝ‬دس ثضسٌشا‪ ٜ‬قؼ‪ٛ‬س داشت‪ٝ‬ا٘ذ‪.#‬‬

‫شىُ ‪ 4.1‬شجى‪ٝ‬ی عظجی استفبد‪ ٜ‬شذ‪ ٜ‬دس یىی اص ٘هخ‪ٞ ٝ‬بی ‪٘ ٚ ALVINN‬ح‪ٜٛ‬ی ٕ٘بیش ثهیبسی اص شجى‪ٞ ٝ‬بی عظعجی سا ٘شعبٖ ٔعید‪ٞ‬عذ‪.‬‬
‫شجى‪ ٝ‬ثب ٕ٘‪ ٝ٘ٛ‬ای اص تظ‪ٛ‬یش ‪ٞ‬بی د‪ٚ‬سثیٗ دس چپ تظ‪ٛ‬یش ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬است‪ٞ .‬ش ‪ٚ‬اقذ‪$ 1‬دس شىُ دایش‪ #ٜ‬دس شجى‪٘ ٝ‬شبٖ د‪ٙٞ‬ذ‪ٜ‬ی خش‪ٚ‬خعی یعه‬
‫‪ٚ‬اقذ است ‪ ٚ‬خـ‪ٛ‬ؽ ٔتظُ ث‪ ٝ‬صیش ‪ٞ‬ش ‪ٚ‬اقذ ٘یض ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی آٖ ‪ٞ‬هت‪ٙ‬ذ‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس شىُ ٘یض ٘شبٖ داد‪ ٜ‬شذ‪ٚ 4 ٜ‬اقعذ ٔهعتمیٕبً ثع‪ ٝ‬تٕعبٔی‬
‫٘مبؽ تظ‪ٛ‬یش ٔتظّ‪ٙ‬ذ‪ .‬ایٗ چ‪ٟ‬بس ‪ٚ‬اقذ پ‪ٟٙ‬بٖ‪٘ 2‬بٔیذ‪ٔ ٜ‬یش‪٘ٛ‬ذ صیشا و‪ ٝ‬ثش خش‪ٚ‬خی ث‪ ٝ‬ؿ‪ٛ‬س غیش ٔهتمیٓ اثش ٔیو‪ٙٙ‬ذ ‪ٞ ٚ‬یچ ٌعب‪ ٜ‬ثع‪ ٝ‬طع‪ٛ‬ست ٔهعتمیٓ‬
‫تأثیشی ٘ذاس٘ذ‪ٞ .‬ش یه اص ایٗ چ‪ٟ‬بس ‪ٚ‬اقذ خش‪ٚ‬خیای ثش اسبس ‪ٚ 960‬س‪ٚ‬دی ‪ٚ‬صٖ داس خ‪ٛ‬د ایدبد ٔیو‪ٙٙ‬ذ‪ .‬خش‪ٚ‬خی ایعٗ ‪ٚ 4‬اقعذ پ‪ٟٙ‬عبٖ ثع‪ ٝ‬ع‪ٙ‬ع‪ٛ‬اٖ‬
‫‪ٚ‬س‪ٚ‬دی ث‪ٚ 30 ٝ‬اقذ خش‪ٚ‬خی‪ 3‬داد‪ٔ ٜ‬یش‪ٛ‬د‪ٞ .‬ش ‪ٚ‬اقذ خش‪ٚ‬خی ٔت‪ٙ‬بست ثب یىی اص فشٔبٖ‪ٞ‬بی خ‪ٟ‬تی ات‪ٔٛ‬جیُ است ‪ٔ$‬ثُ وٕی ثع‪ ٝ‬ساسعتس وٕعی ثع‪ٝ‬‬
‫چپس وبٔالً ث‪ ٝ‬چپ س وبٔالً ث‪ ٝ‬ساست یب ٔهتمیٓ‪ ٚ #‬ایٗ خش‪ٚ‬خی‪ٞ‬ب ٘شبٖ ٔید‪ٞ‬ذ و‪ ٝ‬وذاْ خ‪ٟ‬ت ثشای فشٔبٖ اسخحیت داسد‪.‬‬

‫سٕت ساست شىُ ‪ٚ‬صٖ‪ٞ‬بی‪ 4‬یبد ٌشفت‪ ٝ‬شذ‪ٜ‬ی ٔت‪ٙ‬بست ثب یىی اص ایٗ چ‪ٟ‬بس ‪ٚ‬اقذ سا ٕ٘بیش ٔید‪ٞ‬ذ‪ٔ .‬بتشیىس سیب‪ ٚ ٜ‬سفیذی و‪ ٝ‬دس سٕت ساست‬
‫‪ ٚ‬پبییٗ شىُ ٘شبٖ داد‪ ٜ‬شذ‪ٚ ٜ‬صٖ‪ٞ‬بی ٔت‪ٙ‬بست ثب ٘مـ‪ٞٝ‬ب دس یىی اص ‪ٚ 4‬اقذ پ‪ٟٙ‬بٖ است‪ .‬دس ایٗ شىُ ٔشث ‪ٞ‬بی سیب‪٘ ٜ‬شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ‪ٚ‬صٖ ٔ‪ٙ‬فی‬
‫‪ٔ ٚ‬شث ‪ٞ‬بی سفیذ ٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ‪ٚ‬صٖ ٔثجت‪ٙ‬ذ ‪ ٚ‬ا٘ذاص‪ٜ‬ی ٔشث ٘یض ثضسٌی ‪ٚ‬صٖ سا ٘شبٖ ٔید‪ٞ‬ذ‪ٔ .‬هتـیُ ثعبیی ٔشثع ‪ٚ‬صٖ‪ٞ‬عبی ‪ٚ‬س‪ٚ‬دی اص ‪ٞ‬عش ‪4‬‬
‫‪ٚ‬اقذ پ‪ٟٙ‬بٖ ث‪ 30 ٝ‬خش‪ٚ‬خی سا ٘شبٖ ٔید‪ٞ‬ذ‪.‬‬

‫سبختبس شجى‪ٝ‬ی ‪ ALVINN‬دس ثهیبسی اص شجى‪ٞ ٝ‬بی عظجی ث‪ ٝ‬وبس ثشد‪ٔ ٜ‬یش‪ٛ‬د‪ .‬دس ایٗ چ‪ٙ‬یٗ شجى‪ٞٝ‬بیی فمؾ استجبؽ‪ٞ‬بی ثیٗ ییع‪ ٝ‬ای ‪ٚ‬خع‪ٛ‬د‬
‫داسد ‪ٌ ٚ‬شاف خ‪ٟ‬ت داس ٘ظیش د‪ٚ‬س ٘ذاسد‪ .5‬دس وُس سبختبس شجى‪ٞٝ‬ب ٕٔىٗ است ‪ٞ‬ش ٘‪ٌ ٛ‬شافی ثبش‪ٙ‬ذ ‪$‬اعٓ اص د‪ٚ‬س داس‪ ٚ 6‬ثذ‪ ٖٚ‬د‪ٚ‬س‪7‬س خ‪ٟ‬عت داس‪ ٚ 8‬یعب‬
‫ثععذ‪ ٖٚ‬خ‪ٟ‬ععت‪ . #9‬دس ایععٗ فظععُ ثعع‪ ٝ‬ثشسسععی پشوععبسثشدتشیٗ ‪ ٚ‬عٕعع‪ٔٛ‬یتععشیٗ ‪ٚ‬یژٌ عی‪ٞ‬ععبی شععجى‪ٞ ٝ‬ععبی عظععجی وعع‪ ٝ‬ثععش پبی ع‪ٝ‬ی اٍِعع‪ٛ‬سیتٓ‬
‫‪ Backpropagation‬است ٔیپشداصیٓ‪ .‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬فشع ٔیو‪ٙ‬ذ و‪ ٝ‬شجى‪ ٝ‬سبختبسی ثبثت ‪ٔ ٚ‬ت‪ٙ‬بست ثب یعه ٌعشاف‬

‫‪1‬‬
‫‪node‬‬
‫‪2‬‬
‫‪hidden‬‬
‫‪3‬‬
‫‪output‬‬
‫‪4‬‬
‫‪Weight value‬‬
‫‪5‬‬
‫‪Directed acyclic graph‬‬
‫‪6‬‬
‫‪cyclic‬‬
‫‪7‬‬
‫‪acyclic‬‬
‫‪8‬‬
‫‪directed‬‬
‫‪9‬‬
‫‪adirected‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خ‪ٟ‬ت داس داسد و‪ٕٔ ٝ‬ىٗ است د‪ٚ‬س ٘یض داشت‪ ٝ‬ثبشذ‪ ٚ .‬سعی ٔیو‪ٙ‬ذ تب ٔمبدیش ٔت‪ٙ‬بست ثب ‪ٞ‬ش یبَ‪ 1‬دس ایٗ ٌشاف سا یبد ثٍیشد‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬قّم‪ ٝ‬دس‬
‫شجى‪ٔ ٝ‬دبص است أب اوثش شجى‪ٞ ٝ‬بی وبسثشدی ثذ‪ ٖٚ‬قّم‪ ٚ ٝ‬ث‪ ٝ‬فشْ ته س‪ٛ‬ی‪ٞ 2ٝ‬هت‪ٙ‬ذس دسست ٔثُ سبختبس شجى‪ٝ‬ی ‪.ALVINN‬‬

‫شىُ ‪ 4.1‬شجى‪ٝ‬ی عظجیای و‪ ٝ‬ثشای و‪ٙ‬تشَ فشٔبٖ خ‪ٛ‬دس‪ ٚ‬ؿشاقی شذ‪.ٜ‬‬

‫‪1‬‬
‫‪edge‬‬
‫‪2‬‬
‫‪feed-forward‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫سیهتٓ ‪ ALVINN‬اص ‪ Backpropagation‬ثب ‪ٞ‬ذف یبدٌیشی و‪ٙ‬تشَ خ‪ٛ‬دس‪ ٚ‬استفبد‪ٔ ٜ‬یو‪ٙ‬ذ ‪$‬شىُ ثبییی‪ .#‬شىُ سٕت چپ ٘شبٖ ٔید‪ٞ‬ذ وع‪ ٝ‬چٍ‪٘ٛ‬ع‪ٝ‬‬
‫‪٘ 960‬مـ‪ٝ‬ی تظ‪ٛ‬یش د‪ٚ‬سثیٗ ث‪ٚ 4 ٝ‬اقذ پ‪ٟٙ‬بٖ ٔتظُ ث‪ٚ 30 ٝ‬اقذ خش‪ٚ‬خی ٔتظُ شذ‪ٜ‬ا٘ذ‪ .‬خش‪ٚ‬خی شجى‪ ٝ‬فشٔبٖ‪ٞ‬بی و‪ٙ‬تشَ فشٔعبٖ خ‪ٛ‬ا‪ٞ‬عذ ثع‪ٛ‬د‪ .‬شعىُ سعٕت‬
‫ساست ‪ٚ‬صٖ‪ٞ‬بی ٘ظیش یىی اص ‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ سا ٘شبٖ ٔید‪ٞ‬ذ‪ٚ .‬صٖ‪ٞ‬ب دس یه ٔبتشیس ‪٘ 30x32‬شبٖ داد‪ ٜ‬شذ‪ٜ‬ا٘ذ‪ .‬دس ایٗ ٔبتشیس ‪ٚ‬صٖ‪ٞ‬بی ٔثجت سعفیذ ‪ٚ‬‬
‫‪ٚ‬صٖ‪ٞ‬بی ٔ‪ٙ‬فی سیب‪ ٜ‬سٍ٘‪ٙ‬ذس ا٘ذاص‪ٜ‬ی ‪ٞ‬ش ‪ٚ‬صٖ ٔت‪ٙ‬بست ثب ا٘ذاص‪ٜ‬ی ‪ٞ‬ش ٔشث است‪ٔ .‬هتـیُ و‪ٛ‬چه ثبیی ایٗ ٔبتشیس ‪ٚ‬صٖ‪ٞ‬بی ‪ٚ 30‬اقذ خش‪ٚ‬خی ٔتظُ ث‪ ٝ‬ایٗ‬
‫‪ٚ‬اقذ سا ٔشخض ٔیو‪ٙ‬ذ‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس ٔهتـیُ ٘یض ٔعّ‪ ْٛ‬است ت‪ٟ‬ییح ایٗ ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ثبع ٌشدش ث‪ ٝ‬چپ ٔیٌشدد‪.‬‬

‫‪ 1.4‬هسائل هتناسب با یادگیری شبکه های عصبی‬

‫یبدٌیشی شجى‪ٞ ٝ‬بی عظجی ٔ‪ٙ‬بست ٔهبئّی ثب داد‪ٞ ٜ‬بی ‪ٚ‬س‪ٚ‬دی ٘‪ٛ‬یض داس یب تشویجی اص چ‪ٙ‬ذیٗ قهٍش‪ٔ 1‬ثُ د‪ٚ‬سثیٗ ‪ٔ ٚ‬یىش‪ٚ‬فٗ است‪ٕٞ .‬چ‪ٙ‬عیٗ دس‬
‫ٔهبئّی و‪ ٝ‬وبٔالً ث‪ ٝ‬ط‪ٛ‬ست ٕ٘بدی‪ 2‬ثیبٖ ٔیش‪ٛ‬دس ٔثُ ٔهبئّی و‪ ٝ‬دس فظُ ‪ 3‬ثشسسی شذس وبسثشد داس٘ذ‪ .‬دس چ‪ٙ‬یٗ ٔهبئّی شجى‪ٞ ٝ‬عبی عظعجی ‪ٚ‬‬
‫دسخت تظٕیٓ ٌیشی دلت لبثعُ ٔمبیهع‪ ٝ‬ای داس٘عذ‪ .‬دس )‪ٔ Weiss and Kapouleas (1989) ٚ Shvlik et al. (1991‬مبیهع‪ٞ ٝ‬عبی‬
‫تدشثی ایٗ د‪ ٚ‬سا‪ٞ‬جشد ثشای ٔهبئُ ٔختّف ثشسسی شذ‪ ٜ‬است‪ .‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬پشوبسثشدتشیٗ ٔتذ یبدٌیشی شجى‪ٞ ٝ‬بی عظعجی‬
‫ٔحه‪ٛ‬ة ٔیش‪ٛ‬د‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ ثشای ٔهبئّی ثب ‪ٚ‬یژٌی‪ٞ‬بی صیش ٔت‪ٙ‬بست است‪:‬‬

‫ٕ٘‪ٞٝ٘ٛ‬ب ث‪ ٝ‬ط‪ٛ‬ست ‪ n‬تبیی‪ٞ‬بی ٔشتج‪ٙ‬ذ‪ .‬تبث ‪ٞ‬ذف ثش س‪ٚ‬ی ٕ٘‪ٞٝ٘ٛ‬بیی تعشیف شذ‪ ٜ‬و‪ ٝ‬ت‪ٛ‬سؾ ثشداس‪ٞ‬بیی اص ‪ٚ‬یژٌی‪ٞ‬ب ثیبٖ ٔیش‪٘ٛ‬ذس ٔثُ‬ ‫‪‬‬
‫‪4‬‬ ‫‪3‬‬
‫ٔمذاس ٘مـ‪ٞ ٝ‬بی تظ‪ٛ‬یش دس ٔثبَ ‪ .ALVINN‬ایٗ ٔمبدیش ٕٔىٗ است وبٔالً ‪ٚ‬اثهت‪ ٚ ٝ‬یب وبٔالً ٔدضا ثبش‪ٙ‬ذ‪ٔ .‬مبدیش ‪ٚ‬س‪ٚ‬دی ٔیت‪ٛ‬ا٘‪ٙ‬عذ‬
‫‪ٞ‬ش ٔمذاس قمیمیای ثبش‪ٙ‬ذ‪.‬‬
‫تبث ‪ٞ‬ذف ٕٔىٗ است ٌههت‪ٔ ٝ‬مذاسس قمیمی ٔمذاسس یعب ثعشداسی تشویجعی اص قمیمعی ٔمعذاس ‪ٌ ٚ‬ههعت‪ٔ ٝ‬معذاس ثبشعذ‪ .‬ثعشای ٔثعبَ دس‬ ‫‪‬‬
‫‪ ALVINN‬خش‪ٚ‬خی ثشداسی اص ‪ٚ 30‬یژٌی است‪ .‬خش‪ٚ‬خی ‪ٞ‬ش یه اص ٔمبدیش قمیمی ثیٗ ‪ 0‬تب ‪ 1‬سا ٔیت‪ٛ‬ا٘ذ داشت‪ ٝ‬ثبشذس دس ایٗ ٔثبَ ایٗ‬
‫ٔمذاس اؿٕی‪ٙ‬بٖ شجى‪ ٝ‬ث‪ ٝ‬پیچیذٖ ث‪ ٝ‬آٖ خ‪ٟ‬ت سا ٔشخض ٔیو‪ٙ‬ذ‪ٕٞ .‬چ‪ٙ‬یٗ ٔیت‪ٛ‬اٖ شجى‪ ٝ‬ای آٔ‪ٛ‬صش داد و‪ ٝ‬عال‪ ٜٚ‬ثش و‪ٙ‬تشَ فشٔعبٖ‬
‫و‪ٙ‬تشَ سشعت ات‪ٔٛ‬جیُ سا ٘یض دس اختیبس داشت‪ ٝ‬ثبشذ‪ .‬وبفی است ٔمذاسی ثشای و‪ٙ‬تشَ شتبة ث‪ ٝ‬خش‪ٚ‬خی‪ٞ‬ب اػبف‪ ٝ‬و‪ٙ‬یٓ‪.‬‬
‫ٕ٘‪ٞٝ٘ٛ‬ب ٕٔىٗ است خـب داشت‪ ٝ‬ثبش‪ٙ‬ذ‪ٔ .‬تذ ‪ٞ‬بی یبدٌیشی شجى‪ ٝ‬عظجی دس ٔمبثُ داد‪ٞ ٜ‬بی آٔ‪ٛ‬صشی ٘‪ٛ‬یض داس ٔمب‪ ْٚ‬است‪.‬‬ ‫‪‬‬
‫صٔبٖ آٔ‪ٛ‬صش صیبد لبثُ لج‪ َٛ‬است‪ .‬اٍِ‪ٛ‬سیتٓ‪ٞ‬بی آٔ‪ٛ‬صش شجى‪ ٝ‬صٔب٘ی ثیشتش اص آٔ‪ٛ‬صش‪ٞ‬بی دیٍش اٍِ‪ٛ‬سیتٓ‪ٞ‬عب ‪ٔ$‬عثالً دسخعت تظعٕیٓ‬ ‫‪‬‬
‫ٌیشی‪ #‬یصْ داس٘ذ‪ .‬صٔبٖ آٔ‪ٛ‬صش‪ٞ‬ب ثهت‪ ٝ‬ث‪ ٝ‬تعذاد ‪ٚ‬صٖ‪ٞ‬بی دس شجى‪ ٝ‬س تعذاد ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشیس ‪ ٚ‬ت‪ٙ‬ظیٕعبت پعبسأتش ‪ٞ‬عبی اٍِع‪ٛ‬سیتٓ‬
‫یبدٌیشی ٕٔىٗ است اص چ‪ٙ‬ذ ثب٘ی‪ ٝ‬تب چ‪ٙ‬ذیٗ سبعت تغییش و‪ٙ‬ذ‪.‬‬
‫اسصیبثی سشی تبث ‪ٞ‬ذف یصْ ثبشذ‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬شجى‪ٞ ٝ‬بی عظجی ث‪٘ ٝ‬هجت و‪ٙ‬ذ آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪٘ٛ‬ذس أب اسصیبثی ٕ٘‪ٞ ٝ٘ٛ‬بی خذیذ‬ ‫‪‬‬
‫ت‪ٛ‬سؾ شجى‪ٝ‬ی آٔ‪ٛ‬صش دیذ‪ ٜ‬ثهیبس سشی ا٘دبْ ٔیٌشدد‪ .‬ثشای ٔثبَ دس ‪ٞ ALVINN‬ش ثب٘ی‪ ٝ‬چ‪ٙ‬ذیٗ ثبس شجى‪ٝ‬ی عظجی خ‪ٛ‬د سا اسصیبثی‬
‫ٔیو‪ٙ‬ذ ‪ ٚ‬دست‪ٛ‬سات فشٔبٖ د‪ٞ‬ی سا تغییش ٔید‪ٞ‬ذ‪.‬‬
‫لذست ا٘هبٖ ثشای دسن تبث ‪ٞ‬ذف یبد ٌشفت‪ ٝ‬شذ‪٘ ٟٓٔ ٜ‬یهت! ٌب‪ٞ‬ی تفهیش ٔمبدیش یبد ٌشفت‪ ٝ‬شذ‪ ٜ‬ثشای ‪ٚ‬صٖ‪ٞ‬ب ٕٔىٗ ٘یهت ‪ ٚ‬ل‪ٛ‬ا٘یٗ‬ ‫‪‬‬
‫شجى‪ٞ ٝ‬بی عظجی آٔ‪ٛ‬صش دیذ‪ ٜ‬ثشای ا٘هبٖ ث‪ ٝ‬سبدٌی لبثُ دسن ٘یهت‪ٙ‬ذ‪.‬‬

‫‪1‬‬
‫‪sensor‬‬
‫‪2‬‬
‫‪Symbolic representation‬‬
‫‪3‬‬
‫‪correlated‬‬
‫‪4‬‬
‫‪independent‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس ادأ‪ٝ‬ی ایٗ فظُ‪ :‬اثتذا ا٘‪ٛ‬ا ؿشاقی ‪ٚ‬اقذ سا دس شجى‪ٞ ٝ‬بی عظجی ثشسسی خ‪ٛ‬ا‪ٞ‬یٓ وشد ‪ٚ$‬اقذ ‪ٞ‬بی پشسپتش‪ 1ٖٚ‬س ‪ٚ‬اقذ ‪ٞ‬بی خـی ‪ٚ ٚ‬اقذ ‪ٞ‬بی‬
‫سیٍٕ‪ٛ‬یذ‪#2‬س سپس ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ‪ٞ‬بی آٔ‪ٛ‬صش ته ‪ٚ‬اقذ‪ٞ‬ب ٔیپشداصیٓ‪ .‬پس اص اٖس اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬سا ثشای آٔ‪ٛ‬صش شعجى‪ٞ ٝ‬عبی‬
‫چ‪ٙ‬ذ یی‪ ٝ‬سبخت‪ ٝ‬شذ‪ ٜ‬اص چ‪ٙ‬یٗ ‪ٚ‬اقذ‪ٞ‬بیی ثیبٖ خ‪ٛ‬ا‪ٞ‬یٓ وشد ‪ ٚ‬ث‪ٔ ٝ‬ـبِت وّیتشی ٘ظیش لبثّیت‪ٞ‬بی شجى‪ٞٝ‬بس ٔهئّ‪ٝ‬ی ‪ ٚ overfit‬خعبیٍضیٗ‪ٞ‬عبی‬
‫‪ٔ Backpropagation‬یپشداصیٓ‪ ٚ .‬دس آخش ٘یض یه ٔثبَ ت‪ٛ‬ػیحی اص استفبد‪ ٜ‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬ثشای آٔ‪ٛ‬صش شجى‪ ٝ‬ثب ‪ٞ‬ذف‬
‫تشخیض چ‪ٟ‬ش‪ ٜ‬آ‪ٚ‬سد‪ٜ‬ایٓ تب خ‪ٛ‬ا٘‪ٙ‬ذ‪ ٜ‬ثت‪ٛ‬ا٘ذ اص ایٗ اٍِ‪ٛ‬سیتٓ ثشای آٔ‪ٛ‬صش شجى‪ ٝ‬استفبد‪ٜ‬ی وبسثشدی و‪ٙ‬ذ‪.‬‬

‫‪ 1.1‬پرسپتروىها‬
‫٘‪ٛ‬عی اص سیهتٓ‪ٞ‬بی شجى‪ ٝ‬عظجی ثش پبی‪ٝ‬ی ٘‪ٛ‬عی ‪ٚ‬اقذ ث‪٘ ٝ‬بْ پشسپتش‪ ٖٚ‬سبخت‪ٔ ٝ‬یش‪ٛ‬د ‪$‬شىُ ‪ .#4.2‬پشسپتش‪ ٖٚ‬ثشداسی قمیمعی ٔمعذاس دسیبفعت‬
‫وشد‪ ٚ ٜ‬تشویجی خـی اص آٖسا ٔحبسج‪ٔ ٝ‬یو‪ٙ‬ذس اٌش ایٗ ٔمذاس اص ٔمذاس خبطی ‪ٔ$‬مذاس آستب٘‪ 3#ٝ‬ثیشتش ث‪ٛ‬د خش‪ٚ‬خی سا ‪ ٚ 1‬دس غیش ایٗ ط‪ٛ‬ست خش‪ٚ‬خی‬
‫خش‪ٚ‬خی ‪ٚ‬اقذ ثبشذ داسیٓ‪:‬‬ ‫‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ثبش‪ٙ‬ذ ‪ٚ‬‬ ‫سا ‪ٔ -1‬ید‪ٞ‬ذ‪ .‬ث‪ ٝ‬ط‪ٛ‬ست دلیكتشس اٌش‬

‫{‬
‫دس غیش ایٗ ط‪ٛ‬ست‬

‫سا دس خش‪ٚ‬خی پشسپتش‪ ٖٚ‬تعییٗ ٔیو‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٔ ٝ‬معذاس‬ ‫ٔمذاس قمیمی ثبثتی یب ‪ٕٞ‬بٖ ‪ٚ‬صٖ است و‪ٔ ٝ‬یضاٖ تأثیش‬ ‫دس ایٗ تبث ‪ٞ‬ش‬
‫سا داشت‪ ٝ‬ثبشذ تب خش‪ٚ‬خی ‪ 1‬ش‪ٛ‬د‪.‬‬ ‫ثبیذ قذالُ ٔمذاس‬ ‫٘یض یه ٔمذاس آستب٘‪ ٝ‬است ‪ ٚ‬تشویت‬

‫∑ ‪ ٚ‬یب ث‪ ٝ‬ط‪ٛ‬ست ثشداسی داسیعٓ‬ ‫س ‪ ٚ‬ث‪ ٝ‬خبی عجبست ششؽ ٔی٘‪ٛ‬یهیٓ‬ ‫ثشای سبد‪ ٜ‬تش شذٖ ٕ٘بیش فشع ٔیو‪ٙ‬یٓ و‪ٝ‬‬
‫⃗ ⃗⃗ ‪ ٚ .‬ثشای اختظبس ٔی ٘‪ٛ‬یهیٓ‬ ‫و‪ٝ‬‬

‫⃗‬ ‫⃗ ⃗⃗‬

‫دس ایٗ ٕ٘بیش تبث ‪ٕٞ sgn‬بٖ تبث عالٔت است‪:‬‬

‫{‬
‫دس غیش ایٗ ط‪ٛ‬ست‬

‫است‪ .‬پس فؼبی فشػی‪ ٝ‬ای ٔت‪ٙ‬بسعت ثعب ایعٗ یعبدٌیشی تٕعبْ‬ ‫یبدٌیشی ثشای پشسپتش‪ ٖٚ‬ث‪ٔ ٝ‬ع‪ٙ‬بی پیذا وشدٖ ٔمذاس ٔ‪ٙ‬بست ثشای‬
‫ثشداس ‪ٞ‬بی قمیمی ٔمذاس خ‪ٛ‬ا‪ٙٞ‬ذ ث‪ٛ‬د‪:‬‬

‫⃗⃗ | ⃗⃗ {‬ ‫}‬

‫‪1‬‬
‫‪perceptron‬‬
‫‪2‬‬
‫‪sigmoid‬‬
‫‪3‬‬
‫‪threshold‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 4.4.1‬لذرت پزسپتزونهب‬
‫ٔب ٔیت‪ٛ‬ا٘یٓ پشسپتش‪ ٖٚ‬سا اثش طفح‪ ٝ‬ای‪ 1‬سـح تظٕیٓ دس فؼبی ‪ n‬ثعذی ٕ٘‪ٞٝ٘ٛ‬ب ثذا٘یٓ‪ .‬پشسپتش‪ ٖٚ‬ثشای ٕ٘‪ٞٝ٘ٛ‬بیی و‪ ٝ‬دس یه ؿعشف ایعٗ اثعش‬
‫طفح‪ٞ ٝ‬هت‪ٙ‬ذ ‪ ٚ 1‬ثشای ٕ٘‪ٞٝ٘ٛ‬بیی و‪ ٝ‬دس ؿشف دیٍش ایٗ اثش طفح‪ٞ ٝ‬هت‪ٙ‬ذ ٔمذاس ‪ -1‬سا ثشٔی ٌشدا٘ذ ‪$‬شىُ ‪ٔ .#4.3‬عبدِ‪ٝ‬ی ایٗ اثعش طعفح‪ٝ‬ی‬
‫⃗ ⃗⃗ ٘‪ٛ‬شت‪ٔ ٝ‬یش‪ٛ‬د‪ .‬اِجت‪ ٝ‬تٕبٔی دست‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی سا ٕ٘عیتع‪ٛ‬اٖ ثعذیٗ شعىُ دسعت‪ ٝ‬ث‪ٙ‬عذی وعشد‪ .‬دسعت‪ٝ‬‬ ‫تظٕیٓ ٌیشی ث‪ ٝ‬فشْ‬
‫‪2‬‬
‫ٔثبَ‪ٞ‬بیی سا و‪ ٝ‬ایٗ ٌ‪ ٝ٘ٛ‬دست‪ ٝ‬ث‪ٙ‬ذی ٔیش‪٘ٛ‬ذ دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ٔی٘بٔ‪ٙ‬ذ‪.‬‬

‫شىُ ‪ 4.2‬یه پشسپتش‪.ٖٚ‬‬

‫پشسپتش‪ٖٞٚ‬ب ث‪ ٝ‬ت‪ٟٙ‬بیی ٔیت‪ٛ‬ا٘‪ٙ‬ذ ثهیبسی اص ت‪ٛ‬اث ٔ‪ٙ‬ـمی ٔمذاس سا یبد ثٍیش٘ذ‪ .‬ثشای ٔثبَ اٌعش ٔمعذاس ‪ 1‬سا دسسعت )‪ٔ ٚ (True‬معذاس ‪ -1‬سا غّعت‬
‫سا دس ٘ظعش ٌشفعت‪.‬‬ ‫‪ٚ‬‬ ‫)‪ (False‬دس ٘ظش ثٍیشیٓ ثشای شجی‪ ٝ‬سبصی تبث ‪ٔ AND‬یت‪ٛ‬اٖ ‪ٚ‬صٖ‪ٞ‬ب سا ث‪ ٝ‬طع‪ٛ‬ست‬
‫ث‪ -.3 ٝ‬ث‪ ٝ‬تبث ‪ OR‬تجذیُ وشد‪ .‬دس ‪ٚ‬ال ت‪ٛ‬اث ‪ OR ٚ AND‬سا ٔیت‪ٛ‬اٖ ث‪ ٝ‬طع‪ٛ‬ست ت‪ٛ‬اثع‬ ‫‪ٕٞ‬یٗ پشسپتش‪ ٖٚ‬سا ٔیت‪ٛ‬اٖ ثب ع‪ٛ‬ع وشدٖ ٔمذاس‬
‫خبص ‪ m‬اص ‪ n‬دا٘هت‪ :‬ت‪ٛ‬اثعی و‪ ٝ‬صٔب٘ی ٔمذاس دسست سا ثش ٔیٌشدا٘‪ٙ‬ذ و‪ ٝ‬قذالُ ‪ m‬تب اص ‪ٚ n‬س‪ٚ‬دیشبٖ دسست ثبشعذ‪ .‬دس تعبث ‪OR‬س ‪ ٚ m=1‬دس‬
‫ت‪ٛ‬سؾ پشسپتش‪ٖٞٚ‬ب تمّیذ وشد‪.‬‬ ‫تبث ‪AND‬س ‪ m=n‬است‪ .‬چ‪ٙ‬یٗ ت‪ٛ‬اثعی سا ث‪ ٝ‬سبدٌی ٔیت‪ٛ‬اٖ ثب یىی وشدٖ ‪ٚ‬صٖ‪ٞ‬ب ‪ ٚ‬تعییٗ ٔمذاس ٔت‪ٙ‬بست‬

‫پشسپتش‪ٖٞٚ‬ب تٕبٔی ت‪ٛ‬اث سبد‪ٜ‬ی ٔ‪ٙ‬ـمی اعٓ اص ‪AND‬س ‪OR‬س ‪ (¬OR) NOR ٚ (¬AND) NAND‬سا تمّیذ ٔیو‪ٙٙ‬ذ‪ .‬أب ٔتأسفب٘‪ ٝ‬پشسپتش‪ٖٞٚ‬ب‬
‫‪ .‬دس شىُ ‪ (b) 4.3‬تٕعبْ ٕ٘‪٘ٛ‬ع‪ٞ ٝ‬عبی آٔ‪ٛ‬صشعی‬ ‫ٕ٘یت‪ٛ‬ا٘‪ٙ‬ذ ت‪ٛ‬اثعی ‪ٕٞ‬چ‪ XOR ٖٛ‬سا تمّیذ و‪ٙٙ‬ذ‪ .‬تبث ‪ XOR‬صٔب٘ی دسست است و‪ٝ‬‬
‫ٔشث‪ٛ‬ؽ ث‪٘ XOR ٝ‬شبٖ داد‪ ٜ‬شذ‪ ٜ‬است‪.‬‬

‫‪1‬‬
‫‪hyperplane‬‬
‫‪2‬‬
‫‪linearly separable‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شىُ ‪ 4.3‬فؼبی ٔثبَ‪ٞ‬ب ثشای پشسپتش‪ٖٞٚ‬بیی و‪ ٝ‬د‪ٚ ٚ‬س‪ٚ‬دی داس٘ذ‪.‬‬

‫)‪ٕٞٝ٘ٛ٘ (a‬بیی آٔ‪ٛ‬صشی ‪ ٚ‬فؼبی آٖ‪ٞ‬ب و‪ ٝ‬پشسپتش‪ ٖٚ‬آٖ‪ٞ‬ب سا دسست دست‪ ٝ‬ث‪ٙ‬ذی ٔیو‪ٙ‬ذ‪ (b) .‬دست‪ٔ ٝ‬ثبَ‪ٞ‬بیی آٔ‪ٛ‬صشی و‪ ٝ‬دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ٘یهت‪ٙ‬ذ ‪$‬ثب‬
‫‪ٞ‬یچ خـی ٕ٘یت‪ٛ‬اٖ ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت سا اص ٕ٘‪ٞ ٝ٘ٛ‬بی ٔ‪ٙ‬فی خذا وشد‪ٞ ٕٝ٘ٛ٘ .#‬بی ٔثجت ثب "‪ٞ ٕٝ٘ٛ٘ ٚ "+‬بی ٔ‪ٙ‬فی ثب "‪ "-‬دس شىُ ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬است‪.‬‬
‫لذست پشسپتش‪ٖٞٚ‬ب ثشای یبدٌیشی ت‪ٛ‬اث ‪AND‬س ‪OR‬س ‪ NOR ٚ NAND‬اص ایٗ س‪ ٚ‬ا‪ٕٞ‬یت داسد و‪ ٝ‬تٕبٔی ت‪ٛ‬اث ٔ‪ٙ‬ـمی ت‪ٛ‬سؾ ایٗ تشویت ت‪ٛ‬اثع‬
‫شجی‪ ٝ‬سبصی ‪ٞ‬هت‪ٙ‬ذ‪ .‬دس ‪ٚ‬ال تٕبٔی ت‪ٛ‬اث ٔ‪ٙ‬ـمی ت‪ٛ‬سؾ د‪ ٚ‬سشی اص پشسپتش‪ٖٞٚ‬بی ٔتظُ ث‪$ ٓٞ ٝ‬خش‪ٚ‬خی سشی ا‪ َٚ‬ث‪ٚ ٝ‬س‪ٚ‬دی سشی د‪ٚ ْٚ‬طعُ‬
‫ثبشذ‪ #‬لبثُ شجی‪ ٝ‬سبصیا٘ذ ‪ .‬یه سا‪ٔ ٜ‬عٕ‪ َٛ‬ثیبٖ ت‪ٛ‬اث ث‪ ٝ‬ط‪ٛ‬ست فظّی اص ت‪ٛ‬اث پبی‪ ٝ‬است ‪$‬ثشای ٔثبَس فظّی )‪ (OR‬اص عـف‪ٞ‬بی )‪ (AND‬ثعیٗ‬
‫‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ‪٘ ٚ‬میؼشبٖ‪ .#‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ٔ ٝ‬یت‪ٛ‬اٖ ث‪ ٝ‬سبدٌی تٕبْ ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب سا ثب تغییش عالٔتشبٖ ‪ٚ‬ص٘شبٖ ٘میغ وشد‪.‬‬

‫چ‪ ٖٛ‬و‪ ٝ‬شجى‪ٝ‬ی ‪ٚ‬اقذ ‪ٞ‬بی آستب٘‪ ٝ‬ای ٔیت‪ٛ‬ا٘‪ٙ‬ذ دست‪ٝ‬ی ‪ٚ‬سیعی اص ت‪ٛ‬اث سا یبد ثٍیش٘ذ ‪$‬دس ٔمبثُ ته ‪ٚ‬اقذ ‪ٞ‬بی آستب٘‪ ٝ‬ای و‪ ٝ‬فمؾ تعذاد وٕی اص‬
‫ت‪ٛ‬اث سا یبد ٔیٌیش٘ذ‪#‬س عالل‪ٝ‬ی ٔب ثیشتش ث‪ ٝ‬شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ٝ‬ی ایٗ ٘‪ٚ ٛ‬اقذ‪ٞ‬بست‪.‬‬

‫‪ 4.4.4‬لبنون آموسش پزسپتزونهب‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬عالل‪ٝ‬ی ٔب ثیشتش ث‪ ٝ‬شجى‪ٞٝ‬بیی ثب تعذاد صیبد اص ‪ٚ‬اقذ‪ٞ‬بستس أب ثیبییذ اص ٘ح‪ٜٛ‬ی یبدٌیشی ‪ٚ‬صٖ‪ٞ‬بی یه ته پشسپتش‪ ٖٚ‬شش‪ ٚ‬و‪ٙ‬یٓ‪.‬‬
‫ای‪ٙ‬دب ٔهئّ‪ ٝ‬ایٗ است و‪ ٝ‬ثشداسی اص ‪ٚ‬صٖ‪ٞ‬ب سا ثیبثیٓ و‪ ٝ‬پشسپتش‪ ٖٚ‬ثب آٖ ثت‪ٛ‬ا٘ذ تٕبٔی ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی خش‪ٚ‬خی دسست سا تعییٗ و‪ٙ‬ذ‪.‬‬

‫ثشای قُ چ‪ٙ‬یٗ ٔهبئّی اٍِ‪ٛ‬سیتٓ‪ٞ‬بی ثهیبسی ‪ٚ‬خ‪ٛ‬د داسد‪ .‬دس ای‪ٙ‬دب ٔب ث‪ ٝ‬ثشسسی د‪ ٚ‬تب اص ایٗ اٍِ‪ٛ‬سیتٓ‪ٞ‬ب ٔیپشداصیٓ‪ :‬لعب٘‪ ٖٛ‬پشسعپتش‪ ٚ 1ٖٚ‬لعب٘‪ٖٛ‬‬
‫دِتب‪٘$ 2‬هخ‪ ٝ‬ای اص لب٘‪ LMS ٖٛ‬و‪ ٝ‬دس فظُ ‪ 1‬ثشای یبدٌیشی تبث اسصیبثی استفبد‪ ٜ‬شذ‪ .#‬ایٗ د‪ ٚ‬اٍِ‪ٛ‬سیتٓ تؼٕیٗ ٔیو‪ٙٙ‬ذ وع‪ ٝ‬دس شعشایؾ خعبص‬
‫ٔختّف ث‪ ٝ‬فشػی‪ٞ ٝ‬بی ٔختّف لبثُ لج‪ِٛ‬ی ٔیُ و‪ٙٙ‬ذ‪ .‬ا‪ٕٞ‬یت چ‪ٙ‬یٗ اٍِ‪ٛ‬سیتٓ‪ٞ‬بیی اص آٖ خ‪ٟ‬ت است و‪ ٝ‬پبی‪ٝ‬ی یبدٌیشی ثشای شعجى‪ٝ‬ی ثعب تععذاد‬
‫ثبیی ‪ٚ‬اقذ ‪ٞ‬هت‪ٙ‬ذ‪.‬‬

‫‪1‬‬
‫‪perceptron rule‬‬
‫‪2‬‬
‫‪delta rule‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یىی اص سا‪ٜٞ‬بی یبدٌیشی ثشداس ‪ٚ‬صٖ‪ٞ‬ب ایدبد ثشداسی تظبدفی ‪ ٚ‬أتحبٖ وشدٖ آٖ ثب تهته ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی اسعتس اٌعش ثعب خش‪ٚ‬خعی یىعی اص‬
‫ٕ٘‪ ٝ٘ٛ‬سبصٌبس ٘ج‪ٛ‬دس ‪ٚ‬صٖ‪ٞ‬ب سا ع‪ٛ‬ع ٔیو‪ٙ‬یٓس ایٗ فشای‪ٙ‬ذ آ٘مذس ادأ‪ٔ ٝ‬ییبثذ تب ثشداسی پیذا ش‪ٛ‬د و‪ ٝ‬ثب تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی سبصٌبس ثبشذ‪ .‬ثش‬
‫اسبس لب٘‪ ٖٛ‬آٔ‪ٛ‬صشی پشسپتش‪ ٖٚ‬دس ‪ٞ‬ش ٔشقّ‪ٚ ٝ‬صٖ‪ٞ‬ب ث‪ ٝ‬ط‪ٛ‬ست صیش تغییش ٔیو‪ٙٙ‬ذ‪:‬‬

‫و‪ ٝ‬دس آٖ‬

‫دس ایٗ ساثـ‪ t ٝ‬خش‪ٚ‬خی تبث ‪ٞ‬ذف ثشای ٕ٘‪ ٝ٘ٛ‬فعّیس ‪ o‬خش‪ٚ‬خی پشسپتش‪ η ٚ ٖٚ‬ثبثتی ث‪٘ ٝ‬بْ ػشیت یبدٌیشی‪ 1‬است‪٘ .‬مش ػشیت یبدٌیشی و‪ٙ‬تشَ‬
‫ٔیضاٖ تغییش ‪ٚ‬صٖ‪ٞ‬ب دس ‪ٞ‬ش ٔشقّ‪ ٝ‬است‪ .‬ػشیت یبدٌیشی ٔعٕ‪ٛ‬یً عذدی و‪ٛ‬چه ‪ٔ$‬ثالً ‪ #0.1‬است و‪ ٝ‬ثب صیبد شذٖ تعذاد تىشاس‪ٞ‬ب وعٓوعٓ وٕش٘عً‬
‫ٔیش‪ٛ‬د‪.‬‬

‫چشا ثبیذ چ‪ٙ‬یٗ فشای‪ٙ‬ذی ث‪ ٝ‬سٕت ٔمبدیش دسست ثشای ‪ٚ‬صٖ‪ٞ‬ب ٔیُ و‪ٙ‬ذ؟ ثشای دسن ث‪ٟ‬تعشس قعبِتی خعبص سا ثشسسعی ٔعیو‪ٙ‬عیٓ‪ .‬فعشع و‪ٙ‬یعذ وع‪ٝ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ‪ٍٕٞ‬ی ت‪ٛ‬سؾ پشسپتش‪ ٖٚ‬دسست دست‪ ٝ‬ث‪ٙ‬ذی ٔیش‪٘ٛ‬ذ دس چ‪ٙ‬یٗ ششایـی ‪ٕٞ‬یش‪ٔ ٝ‬مذاس عجعبست )‪ (t-o‬طعفش ‪ٔ ٚ‬تعبلجعبً‬
‫خ‪ٛ‬ا‪ٙٞ‬ذ ث‪ٛ‬د پس ‪ٚ‬صٖ‪ٞ‬ب تغییش ٘خ‪ٛ‬ا‪ٙٞ‬ذ وشد‪ .‬قبَ فشع و‪ٙ‬یذ و‪ ٝ‬پشسپتش‪ ٖٚ‬ثشای یه ٔثبَ و‪ ٝ‬خش‪ٚ‬خی ‪ +1‬است اشعتجب‪ٞ‬بً خش‪ٚ‬خعی ‪ٔ -1‬عید‪ٞ‬عذ‪.‬‬
‫ٔیت‪ٛ‬اٖ ٔمعذاس‬ ‫س ثب افضایش‬ ‫ثشای ای‪ٙ‬ى‪ ٝ‬ایٗ اشتجب‪ ٜ‬تظحیح ش‪ٛ‬د ‪ٚ‬صٖ‪ٞ‬ب ثبیذ ؿ‪ٛ‬سی تغییش و‪ٙٙ‬ذ و‪ٔ ٝ‬مذاس ⃗ ⃗⃗ ثیشتش ش‪ٛ‬د‪ٔ .‬ثالً اٌش‬
‫افضایش ٔییبثذ‪ .‬ثشای ٔثبَ اٌش‬ ‫دس ایٗ ٔثبَ ‪ٍٕٞ‬ی ٔثجت‪ٙ‬ذ‬ ‫پشسپتش‪ ٖٚ‬سا دسست وشد‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬چ‪(t-o) ٖٛ‬س ‪η‬س ‪ٚ‬‬

‫‪ٚ‬‬ ‫‪ٚ‬‬ ‫‪ٚ‬‬

‫خ‪ٛ‬ا‪ٞ‬یٓ داشت و‪ٝ‬‬

‫(‬ ‫)‬

‫وب‪ٞ‬ش ٔییبفت‪.‬‬ ‫اص ؿشف دیٍش اٌش ‪ٔ o=1 ٚ t=-1‬مذاس تغییش ‪ٚ‬صٖ ث‪ ٝ‬ط‪ٛ‬ست عىس دس ٔیآٔذ ‪ٚ‬‬

‫دس ‪ٚ‬ال س ثبثت ٔیش‪ٛ‬د و‪ ٝ‬فشای‪ٙ‬ذ ثبی ث‪ ٝ‬دس ؿی تعذاد ٔحذ‪ٚ‬دی تىشاس ث‪ ٝ‬ثشداسی اص ‪ٚ‬صٖ‪ٞ‬ب خ‪ٛ‬ا‪ٞ‬ذ سسیذ و‪ ٝ‬تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشعی سا دسسعت‬
‫دست‪ ٝ‬ث‪ٙ‬ذی ٔیو‪ٙ‬ذ ‪$‬ث‪ ٝ‬ششؽ آ٘ى‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ‪٘ η ٚ‬یض ث‪ ٝ‬ا٘ذاص‪ٜ‬ی وبفی و‪ٛ‬چه ثبشذ )‪ .#(Papert 1969‬اٌعش‬
‫داد‪ٜٞ‬ب دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ٘جبش‪ٙ‬ذ اؿٕی‪ٙ‬ب٘ی ٘یهت و‪ ٝ‬داد‪ٜٞ‬ب ث‪ٔ ٝ‬مذاس خبطی ٔیُ و‪ٙٙ‬ذ‪.‬‬

‫‪ 4.4.4‬ضیت نشول‪ 4‬و لبنون دلتب‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬لب٘‪ ٖٛ‬پشسپتش‪ ٖٚ‬صٔب٘ی و‪ ٝ‬داد‪ٜٞ‬ب دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ثبش‪ٙ‬ذ ث‪ ٝ‬دسستی ثشداسی ثشای ‪ٚ‬صٖ‪ٞ‬ب پیذا ٔیو‪ٙ‬ذس أب دس صٔب٘ی و‪ ٝ‬داد‪ٜٞ‬ب‬
‫دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ٘یهت‪ٙ‬ذ دس ایٗ وبس شىهت ٔیخ‪ٛ‬سد‪ .‬لب٘‪ ٖٛ‬آٔ‪ٛ‬صش د‪ٔٚ‬یس ث‪٘ ٝ‬بْ لب٘‪ ٖٛ‬دِتبس ؿشاقی شذ‪ ٜ‬و‪ ٝ‬قتی ثب ‪ٚ‬خ‪ٛ‬د چ‪ٙ‬یٗ ٔشعىّی‬

‫‪1‬‬
‫‪learning rate‬‬
‫‪2‬‬
‫‪Gradient Descent‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ث‪ٔ ٝ‬مذاس خبطی ٔیُ و‪ٙ‬ذ‪ .‬اٌش داد‪ٜٞ‬ب دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ٘جبش‪ٙ‬ذس لب٘‪ ٖٛ‬دِتب ث‪ ٝ‬سٕتی ٔیُ ٔیو‪ٙ‬ذ تب ث‪ٟ‬تشیٗ تمشیعت سا اص تعبث ‪ٞ‬عذف داشعت‪ٝ‬‬
‫ثبشذ‪.‬‬

‫٘ىت‪ٝ‬ی وّیذیای و‪ ٝ‬دس لب٘‪ ٖٛ‬دِتب ث‪ ٝ‬وبس سفت‪ ٝ‬ایٗ است و‪ ٝ‬ایٗ لب٘‪ ٖٛ‬اص شیت ٘ض‪ َٚ‬ثشای خهتد‪ٛ‬ی فؼبی فشػی‪ ٝ‬ای ثشداس ‪ٞ‬عبی ‪ٚ‬صٖ سا ثعشای‬
‫پیذا وشدٖ ٔت‪ٙ‬بستتشیٗ ثشداس استفبد‪ٔ ٜ‬یو‪ٙ‬ذ‪ .‬ا‪ٕٞ‬یت لب٘‪ ٖٛ‬دِتب اص ایٗ س‪ ٚ‬است وع‪ ٝ‬پبیع‪ ٝ‬ای ثعشای اٍِع‪ٛ‬سیتٓ ‪ Backpropagation‬اسعت‪.‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬ثشای آٔ‪ٛ‬صش شجى‪ٞٝ‬بیی ثب تعذاد صیبدی ‪ٚ‬اقذ ث‪ ٝ‬وعبس ٔعیس‪ٚ‬د‪ .‬اص سع‪ٛ‬ی دیٍعشس شعیت ٘عض‪ َٚ‬پبیع‪ ٝ‬ای ثعشای‬
‫اٍِ‪ٛ‬سیتٓ‪ٞ‬بیی و‪ ٝ‬خهتد‪ ٛ‬دس فؼبی پی‪ٛ‬ست‪ٝ‬ی فشػی‪ ٝ‬ای ا٘دبْ ٔید‪ٙٞ‬ذ است‪.‬‬

‫لب٘‪ ٖٛ‬دِتبس دس پشسپتش‪ٖٞٚ‬بی ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ ٝ‬لبثُ دسن تش است‪ .‬دس چ‪ٙ‬یٗ پشسپتش‪ٖٞٚ‬بیی داسیٓ ‪:‬‬

‫⃗‬ ‫⃗ ⃗⃗‬

‫ث‪ٙ‬بثشایٗس ‪ٚ‬اقذی خـی ‪$‬ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ٔ #ٝ‬ت‪ٙ‬بست ثب ‪ٞ‬ش پشسپتش‪ٔ ٖٚ‬شخض ٔیش‪ٛ‬د‪ .‬ثشای اشتمبق یه ‪ٚ‬صٖ ثشای ‪ٚ‬اقذ خـیس اص تعشیف ٔیعضاٖ‬
‫خـبی فشػی‪$ ٝ‬ثشداس ‪ٞ‬بی ‪ٚ‬صٖ‪ #‬شش‪ٔ ٚ‬یو‪ٙ‬یٓ‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬ت‪ٛ‬اث ثهیبسی ثشای ثذست آ‪ٚ‬سدٖ خـب ‪ٚ‬خ‪ٛ‬د داسد أب تعشیف ٔیو‪ٙ‬یٓ و‪:ٝ‬‬

‫⃗⃗‬ ‫∑‬

‫ٔمذاس خش‪ٚ‬خی پشسپتش‪ ٖٚ‬ثشای ٕ٘‪ٝ٘ٛ‬ی ‪ d‬اسعت‪ .‬ؿجعك ایعٗ تعشیعفس‬ ‫ٔمذاس تبث ‪ٞ‬ذف ثشای ٕ٘‪d ٝ٘ٛ‬س ‪ٚ‬‬ ‫دس ایٗ ساثـ‪ D ٝ‬دست‪ٕٞٝ٘ٛ٘ ٝ‬بس‬
‫دس تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی است‪ .‬دس ای‪ٙ‬دعب ٔعب‬ ‫‪ ٚ‬خش‪ٚ‬خی پشسپتش‪ ٖٚ‬خـی‬ ‫٘ظف ٔدٕ‪ٔ ٛ‬دز‪ٚ‬س اختالف‪ٞ‬بی ثیٗ تبث ‪ٞ‬ذف‬ ‫⃗⃗‬
‫‪ E‬سا ث‪ ٝ‬ع‪ٛٙ‬اٖ تبثعی اص ⃗⃗ تعشیف وشد‪ٜ‬ایٓ صیشا و‪ ٝ‬خش‪ٚ‬خی ‪ o‬ث‪ٚ ⃗⃗ ٝ‬اثهت‪ ٝ‬است‪ .‬اِجت‪ E ٝ‬عال‪ ٜٚ‬ثش ⃗⃗ ث‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی ٘یض ‪ٚ‬اثهت‪ ٝ‬است أب‬
‫ایٗ ٕ٘‪ ٝ٘ٛ‬ثبثت فشع شذ‪ٜ‬ا٘ذ‪ .‬دس فظُ ‪ 6‬ت‪ٛ‬خی‪ٟ‬ی ثیضی‪ 1‬ثشای ٘ح‪ٜٛ‬ی تعشیف ‪ٔ E‬یآ‪ٚ‬سیٓ‪ .‬دس وُس ٘شعبٖ خع‪ٛ‬ا‪ٞ‬یٓ داد وع‪ ٝ‬دس تحعت شعشایـی‬
‫فشػی‪ ٝ‬ای و‪ E ٝ‬سا ٔی‪ٙ‬یٕٓ و‪ٙ‬ذ ٔت‪ٙ‬بستتشیٗ فشػی‪ٝ‬ی دس‪ H ٖٚ‬ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صشی است‪.‬‬

‫‪ 4.4.4.1‬تصور فضبی فزضیههب‬

‫‪ٚ‬‬ ‫ثشای دسن اٍِ‪ٛ‬سیتٓ شیت ٘ض‪َٚ‬س ثذ ٘یهت فؼبی فشػی‪ ٝ‬ای ‪ ٚ‬ساثـ‪ٝ‬ی آٖ سا ثب ٔمبدیش ‪ E‬تظ‪ٛ‬س و‪ٙ‬یٓ ‪$‬شىُ ‪ .#4.4‬دس شىُ د‪ٔ ٚ‬حع‪ٛ‬س‬
‫د‪ٔ ٚ‬مذاس ٕٔىٗ ثشای ثشداس ‪ٚ‬صٖ ‪ٚ‬اقذ خـی ‪ٞ‬هت‪ٙ‬ذ‪ٔ .‬ح‪ٛ‬س س‪ٔ E ْٛ‬یضاٖ خـبی ٔشث‪ٛ‬ؽ ثع‪ ٝ‬دسعت‪ ٝ‬ای اص ٕ٘‪٘ٛ‬ع‪ٞ ٝ‬عبی آٔ‪ٛ‬صشعی خعبص سا ٘شعبٖ‬
‫ٔید‪ٞ‬ذ‪ .‬سـح خـبی ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬دس شىُ اسخحیت ‪ٞ‬ش ثشداس ‪ٚ‬صٖ سا دس فؼبی فشػی‪ٞٝ‬ب ٘شبٖ ٔید‪ٞ‬ذ ‪$‬ثشداس‪ٞ‬بیی اسخحیت داس٘ذ و‪ ٝ‬خـعبی‬
‫وٕتشی داشت‪ ٝ‬ثبش‪ٙ‬ذ‪ .#‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪٘ ٝ‬ح‪ٜٛ‬ی تعشیف ‪E‬س ثشای ‪ٚ‬اقذ‪ٞ‬بی خـیس سـح خـب ‪ٕٞ‬یش‪ ٝ‬س‪ٕٟ‬ی‪ٚ‬اس است ‪ ٚ‬یه ٘مـ‪ٝ‬ی ٔی‪ٙ‬یٕٓ ٔـّك خ‪ٛ‬ا‪ٞ‬ذ‬
‫داشت‪ .‬ایٗ ٘مـ‪ٝ‬ی ٔی‪ٙ‬یٕٓ ٔـّكس ‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ٚ ٝ‬اػح استس ث‪ ٝ‬دست‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی ‪ٚ‬اثهت‪ ٝ‬است‪.‬‬

‫‪1‬‬
‫‪Bayesian‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شىُ ‪ 4.4‬خـبی فشػی‪ٞ ٝ‬بی ٔختّف‪.‬‬

‫خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ٔ .‬ح‪ٛ‬س عٕ‪ٛ‬دی ٔیضاٖ خـبی فشػی‪ٞٝ‬ب سا ثشای دست‪ ٕٝ٘ٛ٘ ٝ‬ثعبثتی ٘شعبٖ‬ ‫‪ٚ‬‬ ‫ثشای ‪ٚ‬اقذی خـی ثب د‪ٚ ٚ‬صٖس فؼبی فشػی‪ ٝ‬ای ‪ H‬طفح‪ٝ‬ی‬
‫ٔید‪ٞ‬ذ‪ .‬فّش‪ٞ‬بی شىُ شیت ٔ‪ٙ‬فی سا دس ٘مـ‪ ٝ‬ای خبص ٘شبٖ ٔید‪ٙٞ‬ذس ایٗ فّش‪ٞ‬ب ث‪ ٝ‬سٕتی اشبس‪ٔ ٜ‬یو‪ٙٙ‬ذ و‪ٔ ٝ‬یضاٖ خـب دس آ٘دب ث‪ ٝ‬قذالُ ٔیسسذ‪.‬‬
‫خهتد‪ٛ‬ی شیت ٘ض‪ َٚ‬ثشداس ‪ٚ‬ص٘ی سا ٔشخض ٔیو‪ٙ‬ذ و‪ ٝ‬دس آٖ ‪ E‬وٕی‪ ٝٙ‬است‪ .‬دس ایٗ اٍِ‪ٛ‬سیتٓ اثتذا اص ثشداسی دِخ‪ٛ‬ا‪ ٜ‬شش‪ ٚ‬وعشد‪ٔ ٚ ٜ‬شقّع‪ ٝ‬ثع‪ٝ‬‬
‫ٔشقّ‪ ٝ‬آٖ ثب تغییش ‪ٞ‬بی و‪ٛ‬چه ث‪ ٝ‬ثشداس ‪ٚ‬صٖ ٔـّ‪ٛ‬ة ٔیُ ٔیو‪ٙ‬ذ‪ .‬دس ‪ٞ‬ش ٔشقّ‪ٝ‬س ثشداس ‪ٚ‬صٖ ث‪ ٝ‬ؿشف ثیشتشیٗ وب‪ٞ‬ش خـب قشوت داد‪ٔ ٜ‬عیشع‪ٛ‬د‪.‬‬
‫ایٗ فشای‪ٙ‬ذ آ٘مذس ادأ‪ ٝ‬پیذا خ‪ٛ‬ا‪ٞ‬ذ وشد تب ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ٔـّك تبث خـب ثشسیٓ‪.‬‬

‫‪ 4.4.4.4‬اضتمبق لبنون ضیت نشول‬

‫چٍ‪ٔ ٝ٘ٛ‬یت‪ٛ‬اٖ ثیشتشیٗ وب‪ٞ‬ش خـب سا پیذا وشد؟ ایٗ خ‪ٟ‬ت ثب ٔشتك ٌشفتٗ ػٕ‪ٙ‬ی اص ٔیضاٖ خـبی ‪ E‬ثش قهت تٕعبٔی ٔؤِفع‪ٞ ٝ‬عبی ثعشداس ⃗⃗‬
‫٘شبٖ داد‪ٔ ٜ‬یش‪ٛ‬د‪.‬‬ ‫ثذست ٔیآیذ‪ .‬ایٗ ثشداس ٌشادیبٖ‪٘ E 1‬بٔیذ‪ٔ ٜ‬یش‪ٛ‬د ‪ ٚ‬ث‪ ٝ‬ط‪ٛ‬ست ⃗⃗‬

‫⃗⃗‬ ‫[‬ ‫]‬

‫‪ٞ‬بست‪ .‬صٔب٘ی وع‪ ٝ‬ثع‪ٌ ٝ‬شادیعبٖ ثع‪ ٝ‬طع‪ٛ‬ست‬ ‫٘یض یه ثشداس است و‪ٔ ٝ‬ؤِف‪ٞٝ‬بیش ٔشتمبت ‪ E‬ثش قهت‬ ‫ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬خ‪ٛ‬د ⃗⃗‬
‫ثشداسی دس فؼبی ‪ٚ‬صٖ‪ٞ‬ب ٍ٘ب‪ ٜ‬و‪ٙ‬یٓس سٕت ثیشتشیٗ افضایش ‪ E‬سا ٔشخض خ‪ٛ‬ا‪ٞ‬ذ وشد‪ .‬دس ٘مـ‪ٝ‬ی ٔمبثُ خالف ایٗ سٕت ثیشتشیٗ وعب‪ٞ‬ش ‪ E‬سا‬

‫‪1‬‬
‫‪gradient‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫٘شبٖ داد‪ ٜ‬شذ‪ٜ‬‬ ‫‪ٚ‬‬ ‫ثشای ٘مـ‪ ٝ‬ای دِخ‪ٛ‬ا‪ ٜ‬دس طفح‪ٝ‬ی‬ ‫⃗⃗‬ ‫ث‪ ٝ‬د٘جبَ خ‪ٛ‬ا‪ٞ‬ذ داشت‪ .‬ثشای ٔثبَس دس شىُ ‪ 4.4‬عىس ٌشادیبٖ‬
‫است‪.‬‬

‫اص آ٘دبیی و‪ٌ ٝ‬شادیبٖ سٕت ثیشتشیٗ وب‪ٞ‬ش ‪ E‬سا ٔشخض ٔیو‪ٙ‬ذس لب٘‪ ٖٛ‬یبدٌیشی ثشای شیت ٘ض‪ َٚ‬ث‪ ٝ‬شىُ صیش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪:‬‬

‫⃗⃗‬ ‫⃗⃗‬ ‫⃗⃗‬

‫و‪ ٝ‬دس آٖ‬

‫⃗⃗‬ ‫⃗⃗‬ ‫)‪(4.4‬‬

‫دس ای‪ٙ‬دب ٘یض ‪ٔ η‬مذاسی ٔثجت است و‪ ٝ‬ػشیت یبدٌیشی ٘بٔیذ‪ٔ ٜ‬یش‪ٛ‬د‪ .‬ایٗ ٔمذاس ا٘ذاص‪ٜ‬ی لذْ‪ٞ‬بی سا دس اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ٔ َٚ‬شخض ٔعیو‪ٙ‬عذ‪.‬‬
‫عالٔت ٔ‪ٙ‬فی ث‪ ٝ‬خبؿش ایٗ است و‪ٔ ٝ‬یخ‪ٛ‬ا‪ٞ‬یٓ ثشداس ‪ٚ‬صٖ‪ٞ‬ب سا ث‪ ٝ‬سٕت وب‪ٞ‬ش ٔیضاٖ ‪ E‬قشوت د‪ٞ‬یٓ‪ٔ .‬یت‪ٛ‬اٖ ث‪ ٝ‬ط‪ٛ‬ست سبد‪ ٜ‬تش ایٗ لعب٘‪ ٖٛ‬سا‬
‫ثش س‪ٚ‬ی ٔؤِف‪ٞ ٝ‬بی ثشداس ‪ٚ‬صٖ‪ٞ‬ب ٘یض ٘‪ٛ‬شت‪:‬‬

‫و‪ ٝ‬دس آٖ‬

‫(‬ ‫)‬

‫تغییش داد‪.‬‬ ‫ایٗ ٘شبٖ ٔید‪ٞ‬ذ و‪ ٝ‬ثشای سسیذٖ ث‪ ٝ‬ثیشتشیٗ وب‪ٞ‬ش ثبیذ ‪ٞ‬ش ٔؤِف‪ ٝ‬سا ٔت‪ٙ‬بست ثب ٔمذاس‬

‫ثشای تجذیُ ایٗ فشای‪ٙ‬ذ ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ ٚ‬تىشاس ٔشاقُ ت‪ٛ‬سؾ ساثـ‪ٝ‬ی ‪ #4.5$‬یصْ است و‪ ٝ‬سا‪ٞ‬ی ٔ‪ٛ‬ثش ثشای ٔحبسج‪ٝ‬ی ٌشادیبٖ دس ‪ٞ‬ش ٔشقّع‪ ٝ‬داشعت‪ٝ‬‬
‫ثع‪ ٝ‬سعبدٌی ثعب اسعتفبد‪ ٜ‬اص ساثـع‪ٝ‬ی ‪ٔ #4.2$‬حبسعج‪ٝ‬‬ ‫ثبشیٓ‪ .‬خ‪ٛ‬شجختب٘‪ ٝ‬ایٗ وبس چ‪ٙ‬ذاٖ ‪ٔ ٓٞ‬شىُ ٘یهت‪ٔ .‬شتمبت سبص٘ذ‪ٜ‬ی ثشداس ٌشادیبٖ‬
‫ٔیش‪ٛ‬د‪:‬‬

‫∑‬

‫∑‬

‫∑‬

‫∑‬ ‫⃗ ⃗⃗⃗‬

‫∑‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٔ$‬معذاس تعبث‬ ‫‪ٚ‬‬ ‫س‬ ‫داسیٓ و‪ ٝ‬ث‪ٔ ٝ‬معبدیش‬ ‫٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ٔؤِف‪ٝ‬ی ‪ i‬اْ دس ٕ٘‪ٝ٘ٛ‬ی ‪ d‬است‪ .‬قبی ٔب ٔعبدِی ثشای‬ ‫دس ایٗ ساثـ‪ٝ‬‬
‫‪ٞ‬ذف ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی‪ٚ #‬اثهت‪ ٝ‬است‪ .‬ثب خبیٍضی‪ٙ‬ی ٔمبدیش ساثـ‪ٝ‬ی )‪ (4.6‬دس ساثـ‪ٝ‬ی )‪ (4.5‬ساثـ‪ٝ‬ی تغییش ٔمبدیش ‪ٚ‬صٖ‪ٞ‬ب ثشای شیت ٘ض‪ َٚ‬ثذسعت‬
‫ٔیآیذ‪:‬‬

‫∑‬

‫ث‪ ٝ‬ؿ‪ٛ‬س خالط‪ٝ‬س اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬ثشای آٔ‪ٛ‬صش ‪ٚ‬اقذ ‪ٞ‬بی خـی ث‪ ٝ‬ط‪ٛ‬ست صیش است‪ :‬اثتذا ثشداسی دِخ‪ٛ‬ا‪ ٜ‬ثشای ‪ٚ‬صٖ‪ٞ‬عب ا٘تخعبة وعٗ‪ .‬سعپس‬
‫‪ٞ‬ب سا ثشای ‪ٞ‬ش ‪ٚ‬صٖ قهبة وٗ ‪$‬ساثـع‪ٝ‬ی ‪ٞ .#4.7‬عش ‪ٚ‬صٖ سا ثعب اػعبف‪ ٝ‬وعشدٖ‬ ‫ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی ٔمذاس ‪ٚ‬اقذ خـی سا ٔحبسج‪ ٝ‬وٗس ‪ٚ‬‬
‫تغییش ثذ‪ ٚ ٜ‬ایٗ فشای‪ٙ‬ذ سا تب اتٕبْ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی تىشاس وٗ‪ .‬دس خذ‪ 4.1 َٚ‬ایٗ اٍِ‪ٛ‬سیتٓ آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪ .‬چ‪ ٖٛ‬سـح خـب فمعؾ یعه‬
‫ٔی‪ٙ‬یٕٓ ٔـّك داسدس ایٗ اٍِ‪ٛ‬سیتٓ ث‪ ٝ‬ثشداسی ثب وٕتشیٗ خـب ٔیُ ٔیو‪ٙ‬ذس ثذ‪ ٖٚ‬ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ای‪ٙ‬ى‪ ٝ‬داد‪ٜٞ‬ب دست‪ ٝ‬پزیش خـی ‪ٞ‬هت‪ٙ‬ذ یب ٘ع‪ .ٝ‬فمعؾ وعبفی‬
‫است و‪ η ٝ‬ث‪ ٝ‬ا٘ذاص‪ٜ‬ی وبفی و‪ٛ‬چه ثبشذ‪ .‬اٌش ‪ η‬خیّی ثضسي ثبشذس اقتٕبَ داسد اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬ث‪ ٝ‬وٕتشیٗ ٔمذاس خـب ٔیُ ٘ى‪ٙ‬عذ‪ .‬یىعی اص‬
‫س‪ٚ‬ش‪ٞ‬بی قُ ایٗ ٔشىُ وٓ وشدٖ تذسیدی ‪ η‬دس ؿ‪ٔ َٛ‬شاقُ اٍِ‪ٛ‬سیتٓ است‪.‬‬

‫‪ 4.4.4.4‬تمزیت اتفبلی ضیت نشول‬

‫شیت ٘ض‪ٕٝ٘ٛ٘ َٚ‬ی وّی ٔ‪ٕٟ‬ی اص یبدٌیشی است‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ استشاتژیای ثشای خهتد‪ٛ‬ی فؼب‪ٞ‬بی ثضسي ‪٘ ٚ‬بٔت‪ٙ‬ب‪ٞ‬ی فشػی‪ ٝ‬ای است‪ .‬اص ایٗ‬
‫اٍِ‪ٛ‬سیتٓ ث‪ ٝ‬ششؿی ٔیت‪ٛ‬اٖ استفبد‪ ٜ‬وشد و‪ (1) ٝ‬فؼبی فشػی‪ ٝ‬ای پی‪ٛ‬ست‪$ ٝ‬ثشای ٔثبَس فؼبی ‪ٚ‬صٖ‪ٞ‬ب دس ‪ٚ‬اقذ خـی‪#‬س ‪ (2) ٚ‬خـب‪ٞ‬عب ثعش قهعت‬
‫پبسأتش‪ٞ‬بی ایٗ فشػی‪ ٝ‬طشیح ثبشذ‪ٔ .‬شىالت استفبد‪ ٜ‬اص شیت ٘ض‪ َٚ‬ایٗ است و‪ٍٕٞ (1) ٝ‬شایی ث‪ ٝ‬یه ٔمعذاس ٔی‪ٙ‬عیٕٓ ٔ‪ٛ‬ػععی ثعؼعی ٔ‪ٛ‬الع‬
‫صیبدی ؿ‪ٔ َٛ‬یوشذ ‪ٔ$‬ثالًًّس طذ‪ٞ‬ب ٌبْ یصْ است تب ث‪ٔ ٝ‬مذاس خبطی ‪ٍٕٞ‬شا ش‪ٛ‬یٓ‪ (2) ٚ #‬اٌش چ‪ٙ‬ذ ٔی‪ٙ‬یٕٓ ٔ‪ٛ‬ػعی ‪ٚ‬خع‪ٛ‬د داشعت‪ ٝ‬ثبشعذ تؼعٕی‪ٙ‬ی‬
‫٘یهت و‪ ٝ‬اٍِ‪ٛ‬سیتٓ ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ٔـّك ٔیُ و‪ٙ‬ذ‪.‬‬

‫اٍِ‪ٛ‬سیتٓ )‪Gradient-Descent(training_examples,η‬‬

‫٘یض ٘شخ یبدٌیشی سا تعییٗ ٔیو‪ٙ‬ذ‪.‬‬ ‫ٔشخض ٔیش‪ٛ‬دس ⃗ ٕ٘‪ٔ t ٚ ٝ٘ٛ‬مذاس ٕ٘‪ ٝ٘ٛ‬است‪.‬‬ ‫⃗‬ ‫‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی ث‪ ٝ‬ط‪ٛ‬ست‬

‫‪ٞ‬ب سا ثب ٔمبدیش دِخ‪ٛ‬ا‪ ٜ‬و‪ٛ‬چىی ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬وٗ‪.‬‬ ‫‪‬‬

‫تب صٔب٘ی و‪ ٝ‬ث‪ ٝ‬ششؽ پبیب٘ی ٘شسیذ‪ ٜ‬ای قّم‪ٝ‬ی صیش سا اخشا وٗ‬ ‫‪‬‬
‫سا طفش ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬وٗ‪.‬‬ ‫‪ٞ o‬ش‬
‫قّم‪ٝ‬ی صیش سا اخشا وٗ‬ ‫⃗‬ ‫‪ o‬ثشای ‪ٞ‬ش ٔثبَ‬
‫⃗ سا ث‪ٚ ٝ‬اقذ خـی ثذ‪ ٚ ٜ‬خش‪ٚ‬خی ‪ o‬سا دسیبفت وٗ‬ ‫‪‬‬
‫دست‪ٛ‬س صیش سا ا٘دبْ ثذ‪ٜ‬‬ ‫ثشای ‪ٞ‬ش ‪ٚ‬صٖ‬ ‫‪‬‬

‫‪ o‬ثشای ‪ٞ‬ش ‪ٚ‬صٖ ‪ٚ‬اقذ خـی دست‪ٛ‬س صیش سا ا٘دبْ ثذ‪ٜ‬‬

‫خذ‪ 4.1 َٚ‬اٍِ‪ٛ‬سیتٓ ‪ Gradient-Descent‬ثشای آٔ‪ٛ‬صش یه ‪ٚ‬اقذ خـی‪.‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خبیٍضیٗ‬ ‫ثشای تجذیُ ث‪ ٝ‬تمشیت اتفبلی ثشای شیت ٘ض‪ َٚ‬ساثـ‪ٝ‬ی )‪ (T4.2‬قزف ٔیش‪ٛ‬د ‪ ٚ‬ساثـ‪ٝ‬ی )‪٘ (T4.1‬یض ثب ساثـ‪ٝ‬ی‬
‫ٔی ش‪ٛ‬د‪.‬‬
‫‪2‬‬ ‫‪1‬‬
‫یىی اص سا‪ٜٞ‬بی قُ ایٗ ٔشىالت س استفبد‪ ٜ‬اص ٔتذ شیت ٘ض‪ِٚ‬ی افضایشی یب ٔتذ شیت ٘ض‪ِٚ‬ی تظبدفی است‪ .‬لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬تغییعش ‪ٚ‬صٖ‪ٞ‬عب سا‬
‫ثعذ اص خٕ ثهتٗ ‪ٕٝٞ‬ی ٕ٘‪ٞٝ٘ٛ‬ب ا٘دبْ ٔید‪ٞ‬ذ ‪$‬ساثـ‪ٝ‬ی ‪ .#4.7‬أب ٔتذ شیت ٘ض‪ َٚ‬تظبدفی سعی ٔیو‪ٙ‬ذ تب ثب افعضایش رس‪ ٜ‬رس‪ٜ‬ی ‪ٚ‬صٖ‪ٞ‬عب س‪ٚ‬ش‬
‫خهتد‪ٛ‬ی شیت ٘ض‪ َٚ‬سا تخٕیٗ ثض٘ذ ‪ ٚ‬سپس خـب سا ثشای ‪ٞ‬ش ٕ٘‪ٔ ٝ٘ٛ‬حبسج‪ ٝ‬و‪ٙ‬ذ‪ .‬ایٗ لب٘‪ ٖٛ‬آٔ‪ٛ‬صش ٘ظیش لب٘‪ ٖٛ‬آٔ‪ٛ‬صش ثیبٖ شذ‪ ٜ‬دس ٔعبدِع‪ٝ‬ی‬
‫‪ 4.7‬است ثب ایٗ فشق و‪ ٝ‬ثعذ اص ‪ٞ‬ش تىشاس ؿجك ساثـ‪ٝ‬ی صیش ‪ٚ‬صٖ‪ٞ‬ب سا تغییش ٔید‪ٞ‬یٓ‬

‫ث‪ ٝ‬تشتیت ٔمذاس تبث ‪ٞ‬ذفس خش‪ٚ‬خی ‪ٚ‬اقذ ‪ i ٚ‬أیٗ ‪ٚ‬یژٌی ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی ٔ‪ٛ‬سد ثح ‪ٞ‬هت‪ٙ‬ذ‪ .‬ثشای تجذیُ اٍِ‪ٛ‬سیتٓ شیت‬ ‫دس ایٗ ساثـ‪t ٝ‬س ‪ٚ o‬‬
‫٘ض‪$ َٚ‬خذ‪ #4.1 َٚ‬ث‪ ٝ‬شیت ٘ض‪ َٚ‬تظبدفیس ساثـع‪ٝ‬ی )‪ (T4.2‬قعزف ‪ ٚ‬ثع‪ ٝ‬خعبی ساثـع‪ٝ‬ی )‪ (T4.1‬ساثـع‪ٝ‬ی‬
‫سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشعی ‪d‬‬ ‫خبیٍضیٗ ٔیش‪ٛ‬د ‪ .‬ثشای ثیبٖ اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬تظبدفی ث‪ ٝ‬ثیب٘ی دیٍش وبفی است تبث خـبیی ث‪٘ ٝ‬بْ ⃗⃗‬
‫ث‪ ٝ‬شىُ صیش تعشیف و‪ٙ‬یٓ‪:‬‬

‫⃗⃗‬

‫ث‪ ٝ‬تشتیت ٔمذاس تبث ‪ٞ‬ذف ‪ ٚ‬خش‪ٚ‬خی ‪ٚ‬اقذ ثشای ٕ٘‪ٞ d ٝ٘ٛ‬هت‪ٙ‬ذ‪ .‬اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬تظبدفی ثشای تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی ‪ d‬دس‬ ‫‪ٚ‬‬ ‫و‪ ٝ‬دس آٖ‬
‫تغییش ٔید‪ٞ‬ذ‪ .‬سشیای اص ایٗ تغییعش ‪ٚ‬صٖ‪ٞ‬عب ٔعیعبس خع‪ٛ‬ثی‬ ‫‪ D‬تىشاس خ‪ٛ‬ا‪ٞ‬ذ شذ ‪ ٚ‬دس ‪ٞ‬ش تىشاس ‪ٚ‬صٖ‪ٞ‬ب سا ثش اسبس ٌشادیبٖ ‪ ٚ‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪⃗⃗ ٝ‬‬
‫است‪ .‬ثب وٓ وشدٖ ٔمذاس ‪$ η‬ا٘ذاص‪ٜ‬ی لذْ‪ٞ‬ب دس شیت ٘ض‪ #َٚ‬ث‪ ٝ‬ا٘ذاص‪ٜ‬ی وبفیس‬ ‫ثشای تخٕیٗ وب‪ٞ‬ش ٌشادیبٖ ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬تبث خـبی اطّی ⃗⃗‬
‫شیت ٘ض‪ َٚ‬تظبدفی ٔیت‪ٛ‬ا٘ذ ث‪ ٝ‬ا٘ذاص‪ٜ‬ی دِخ‪ٛ‬ا‪ ٜ‬ث‪ ٝ‬خ‪ٛ‬د شیت ٘ض‪٘ َٚ‬ضدیه ش‪ٛ‬د‪ .‬فشق‪ٞ‬بی اسبسی ثیٗ شیت ٘ض‪ ٚ َٚ‬شیت ٘ض‪ َٚ‬تظعبدفی دس صیعش‬
‫آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪:‬‬

‫دس شیت ٘ض‪َٚ‬س خـب ثشای تٕبٔی ٕ٘‪ٞٝ٘ٛ‬ب لجُ اص تغییش دس ‪ٚ‬صٖ‪ٞ‬ب خٕ صد‪ٔ ٜ‬یشذ أب دس شیت ٘ض‪ َٚ‬تظبدفی ٔحبسج‪ٝ‬ی خـب‪ٞ‬ب ‪ ٚ‬تغییش‬ ‫‪‬‬
‫‪ٚ‬صٖ‪ٞ‬ب ‪ٕٞ‬ضٔبٖ ا٘دبْ ٔیش‪ٛ‬د‪.‬‬
‫خٕ خـب ثشای چ‪ٙ‬ذیٗ ٕ٘‪ ٝ٘ٛ‬دس شیت ٘ض‪٘ َٚ‬یبص ث‪ٔ ٝ‬حبسجبت ثیشتشی دس ‪ٞ‬ش تىشاس قّم‪ ٝ‬داسد‪ .‬دس ٔمبثُ چ‪ ٖٛ‬اص ٌشادیبٖ اطعّی ثعشای‬ ‫‪‬‬
‫تغییشات استفبد‪ٔ ٜ‬یش‪ٛ‬دس دس ‪ٞ‬ش لذْ ‪$‬ث‪٘ ٝ‬هجت شیت ٘ض‪ َٚ‬تظبدفی‪ #‬ثیشتش ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ‪٘ E‬ضدیه ٔیش‪ٛ‬د‪.‬‬
‫چ‪ٙ‬ذیٗ ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٔ‪ٛ‬ػعی داسد ٌب‪ٞ‬ی شیت ٘ض‪ َٚ‬تظبدفی ٔیت‪ٛ‬ا٘ذ اص افتبدٖ دس چ‪ٙ‬یٗ ٔی‪ٙ‬یٕٓ‪ٞ‬بیی پش‪ٞ‬یض و‪ٙ‬ذ‬ ‫دس ٔ‪ٛ‬العی و‪⃗⃗ ٝ‬‬ ‫‪‬‬
‫استفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪.‬‬ ‫اص ⃗⃗‬ ‫صیشا و‪ ٝ‬شیت ٘ض‪ َٚ‬تظبدفی ثشای و‪ٙ‬تشَ سٕت خهتد‪ ٛ‬ثدبی ⃗⃗‬
‫‪ٞ‬ش د‪ ٚ‬اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ ٚ َٚ‬شیت ٘ض‪ َٚ‬تظبدفی ث‪ ٝ‬یه ا٘ذاص‪ ٜ‬دس وبسثشد استفبد‪ٔ ٜ‬یش‪٘ٛ‬ذ‪.‬‬

‫ث‪ ٝ‬لب٘‪ ٖٛ‬آٔ‪ٛ‬صش ساثـ‪ٝ‬ی )‪ (4.10‬سا لب٘‪ ٖٛ‬دِتبس ‪LMS3‬س لب٘‪Adaline ٖٛ‬س یب لب٘‪ٕٙٞ$ Window-Hoff ٖٛ‬بْ اسائ‪ ٝ‬و‪ٙٙ‬ذ‪٘ #ٜ‬یض ٔعی٘بٔ‪ٙ‬عذ‪ .‬دس‬
‫فظُ ‪ 1‬اص ‪ LMS‬ثشای ت‪ٛ‬طیف وبسثشدش ثشای یبدٌیشی اسصیبثیای اص ثبصی استفبد‪ ٜ‬وشدیٓ‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬لب٘‪ ٖٛ‬دِتعب دس ساثـع‪ٝ‬ی ‪4.10‬‬
‫ٔشبث‪ ٝ‬لب٘‪ ٖٛ‬آٔ‪ٛ‬صش پشسپتش‪ٖٞٚ‬ب دس لهٕت ‪ 4.4.2‬است‪ .‬دس ‪ٚ‬ال اص ٘ظش ظب‪ٞ‬شی ایٗ د‪ ٚ‬ساثـ‪ ٝ‬ثب ‪ ٓٞ‬یىی ‪ٞ‬هت‪ٙ‬ذس ثعب ایعٗ ‪ٚ‬خع‪ٛ‬د لعب٘‪ ٖٛ‬دِتعب ‪o‬‬

‫‪1‬‬
‫‪incremental gradient descent‬‬
‫‪2‬‬
‫‪stochastic gradient descent‬‬
‫‪3‬‬
‫‪least-mean-square‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ ٚ‬لعب٘‪ ٖٛ‬پشسعپتش‪ٔ o ٖٚ‬شثع‪ٛ‬ؽ ثع‪ ٝ‬ساثـع‪ٝ‬ی خش‪ٚ‬خعی ‪ٚ‬اقعذ آسعتب٘‪ ٝ‬یع‪ٙ‬عی‬ ‫⃗‬ ‫ٔشث‪ٛ‬ؽ ث‪ ٝ‬ساثـع‪ٝ‬ی خش‪ٚ‬خعی ‪ٚ‬اقعذ خـعی یع‪ٙ‬عی ⃗ ⃗⃗‬
‫است‪.‬‬ ‫⃗‬ ‫⃗ ⃗⃗‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬لب٘‪ ٖٛ‬دِتب ثشای ‪ٚ‬اقذ ‪ٞ‬بی خـی ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ ٝ‬ثشسسی شذ أب ٔیت‪ٛ‬اٖ ایٗ لب٘‪ ٖٛ‬سا ثشای آٔ‪ٛ‬صش پشسپتش‪ٖٞٚ‬ب ٘یض استفبد‪ ٜ‬وشد‪.‬‬
‫خش‪ٚ‬خی ‪ٚ‬اقذ آستب٘‪ ٝ‬داس یب ‪ٕٞ‬بٖ پشسعپتش‪ٖٚ‬‬ ‫خش‪ٚ‬خی ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ٚ ٝ‬اقذ خـی ثبشذ ‪⃗⃗ ⃗ ٚ‬‬ ‫فشع و‪ٙ‬یذ و‪⃗⃗ ⃗ ٝ‬‬
‫‪ٞ‬هت‪ٙ‬ذ آٔ‪ٛ‬صش د‪ٞ‬یٓس ٔیت‪ٛ‬ا٘یٓ ‪ٕٞ‬عبٖ ٔمعبدیش سا ثعب اسعتفبد‪ ٜ‬اص‬ ‫ثبشذ‪ .‬قبَ اٌش ٔیخ‪ٛ‬ا‪ٞ‬یٓ و‪ ٝ‬پشسپتش‪ ٖٚ‬سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ٔ ٝ‬مبدیش تبث ‪ٞ‬ذف و‪ٝ‬‬
‫لب٘‪ ٖٛ‬ثشای آٔ‪ٛ‬صش ‪ o‬ث‪ ٝ‬وبس ثجشیٓ‪ٚ .‬اػح است و‪ ٝ‬اٌش ‪ٚ‬اقذ خـی ثت‪ٛ‬ا٘ذ تٕبٔی ٕ٘‪ٞٝ٘ٛ‬ب سا یبد ثٍیشد پشسپتش‪٘ ٖٚ‬یض ث‪ ٝ‬قبِت ٘ظیش ٔیت‪ٛ‬ا٘ذ تٕبٔی‬
‫ٕ٘‪ٞٝ٘ٛ‬ب سا یبد ثٍیشد ‪$‬صیشا و‪ .# sgn(-1)=-1 ٚ sgn(1)=1 ٝ‬قتی صٔب٘ی و‪ٕ٘ ٝ‬یت‪ٛ‬اٖ ثب استفبد‪ ٜ‬اص ‪ٚ‬اقذ خـی ‪ٕٝٞ‬ی ٕ٘‪ٞٝ٘ٛ‬ب سا ث‪ ٝ‬دلت یعبد‬
‫ٔیسسب٘ذ ‪$‬فمؾ وبفیهت ‪ٚ‬اقذ خـی عالٔت خش‪ٚ‬خی سا دسسعت‬ ‫ٌشفت ٔمذاس آستب٘‪ ٝ‬ایٗ وٕج‪ٛ‬د دلت سا خجشاٖ ٔیو‪ٙ‬ذ ‪ٔ ٚ‬مبدیش خش‪ٚ‬خی سا ث‪ٝ‬‬
‫تعییٗ وشد‪ ٜ‬ثبشذ‪ .#‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬تالش فشای‪ٙ‬ذ ثشای وٓ وشدٖ خـبی ‪ٚ‬اقعذ خـعی ‪ o‬اسعت ‪ٕٔ ٚ‬ىعٗ اسعت اِضأعبً دسعت‪ٚ ٝ‬صٖ‪ٞ‬عبیی سا‬
‫ٔشخض ٕ٘یو‪ٙ‬ذ و‪ ٝ‬وٕتشیٗ خـبی دست‪ ٝ‬ث‪ٙ‬ذی ’‪ o‬سا داشت‪ ٝ‬ثبشذ‪.‬‬

‫‪ 4.4.4‬مالحظبت‬
‫دس لهٕت لجّی د‪ ٚ‬اٍِ‪ٛ‬سیتٓ تىشاسی‪ 1‬ثشای پیذا وشدٖ ‪ٚ‬صٖ‪ٞ‬بی پشسپتش‪ ٖٚ‬اسائ‪ ٝ‬وشدیٓ‪ .‬تفب‪ٚ‬ت ایٗ د‪ ٚ‬اٍِ‪ٛ‬سیتٓ دس ای‪ٙ‬دب است و‪ ٝ‬لب٘‪ ٖٛ‬پشسپتش‪ٖٚ‬‬
‫‪ٚ‬صٖ‪ٞ‬ب سا ثشای پشسپتش‪ٖٞٚ‬بیی ثب ٔمذاس آستب٘‪ ٝ‬پیذا ٔیو‪ٙ‬ذ أب لب٘‪ ٖٛ‬دِتب ‪ٚ‬صٖ‪ٞ‬ب سا ثشای پشسپتش‪ٖٞٚ‬بیی ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ ٝ‬پیذا ٔیو‪ٙ‬ذ‪.‬‬

‫تفب‪ٚ‬ت ایٗ د‪ ٚ‬اٍِ‪ٛ‬سیتٓ ثش ‪ٚ‬یژٌی‪ٞ‬بی ‪ٍٕٞ‬شایی آٖ‪ٞ‬ب ٘یض تأثیش ٌزاشت‪ ٝ‬است‪ .‬لب٘‪ ٖٛ‬پشسپتش‪ٖٚ‬س ثب فشع ای‪ٙ‬ى‪ ٝ‬داد‪ٜٞ‬عب دسعت‪ ٝ‬ث‪ٙ‬عذی پعزیش خـعی‬
‫ثبش‪ٙ‬ذس پس اص تعذاد ٔحذ‪ٚ‬دی تىشاس ث‪ ٝ‬فشػی‪ٝ‬ی دسست ٔیسسذ‪ .‬دس قبِی و‪ ٝ‬لب٘‪ ٖٛ‬دِتب ث‪ ٝ‬ؿ‪ٛ‬س ٔدب٘جی ث‪ ٝ‬فشػی‪ٝ‬ی دسست ٔیُ ٔیو‪ٙ‬ذس ‪ٕٔ ٚ‬ىٗ‬
‫است ثشای ‪ٍٕٞ‬شایی تب ثی ٘‪ٟ‬بیت ؿ‪ َٛ‬ثىشذ‪ .‬دس ع‪ٛ‬ع لب٘‪ ٖٛ‬دِتب ثذ‪ ٖٚ‬ت‪ٛ‬خ‪٘ ٝ‬یبص ث‪ ٝ‬دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ث‪ٛ‬دٖ داد‪ٜٞ‬ب ‪ٍٕٞ‬شا ٔیش‪ٛ‬د‪ .‬ثعشای‬
‫اؿالعبت ثیشتش دس ٔ‪ٛ‬سد ‪ٍٕٞ‬شایی ایٗ د‪ ٚ‬س‪ٚ‬ش ث‪ٔ Hertz et al. (1991) ٝ‬شاخع‪ ٝ‬و‪ٙ‬یذ‪.‬‬

‫اٍِ‪ٛ‬سیتٓ س‪ ْٛ‬ثشای یبدٌیشی ثشداس ‪ٚ‬صٖ‪ٞ‬ب ثش٘بٔ‪ٛ٘ ٝ‬یهی خـی‪ 2‬است‪ .‬ثش٘بٔ‪ٛ٘ ٝ‬یهی خـی ٔتذی وبسأذ ‪ ٚ‬وّی ثشای قعُ ٘بٔهعب‪ٚ‬ی‪ٞ‬عبی خـعی‬
‫⃗ ⃗⃗ است ‪ ٚ‬خ‪ٛ‬اة ٘ب ٔعبدِع‪٘ ٝ‬یعض ‪ٕٞ‬عبٖ ثعشداس‬ ‫⃗ ⃗⃗ یب‬ ‫است‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٞ ٝ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی ٔت‪ٙ‬بست ثب یه ٘بٔهب‪ٚ‬ی ث‪ ٝ‬فشْ‬
‫‪ٚ‬صٖ‪ٞ‬بست‪ٔ .‬تأسفب٘‪ ٝ‬ایٗ س‪ٚ‬ش ٘یض فمؾ صٔب٘ی ث‪ ٝ‬خ‪ٛ‬اة ٔیسسذ و‪ ٝ‬داد‪ٜٞ‬ب دست‪ ٝ‬ث‪ٙ‬ذی پزیش خـی ثبش‪ٙ‬ذس ثب ایعٗ ‪ٚ‬خع‪ٛ‬د ‪(Duda and Hart‬‬
‫)‪ 1973, p. 168‬فشٔ‪ِٛ‬ی صیشوب٘‪ ٝ‬ثشای ٔ‪ٛ‬العی و‪ ٝ‬داد‪ٜٞ‬عب دسعت‪ ٝ‬ث‪ٙ‬عذی پعزیش خـعی ٘یعض ٘یهعت‪ٙ‬ذ پیشع‪ٟٙ‬بد داد‪ ٜ‬اسعت‪ .‬ثع‪ٞ ٝ‬عش قعبَ س‪ٚ‬ش‬
‫ثش٘بٔ‪ٛ٘ ٝ‬یهی خـی ثشای شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ ٝ‬تعٕیٓ ٘ذاسد‪ .‬دس ٔمبثُس س‪ٚ‬ش شیت ٘ض‪ َٚ‬و‪ ٝ‬لب٘‪ ٖٛ‬دِتب ٘یض ثب وٕه آٖ سعبخت‪ ٝ‬شعذ‪ٜ‬س ثع‪ ٝ‬ساقتعی‬
‫ثشای شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ ٝ‬تعٕیٓ ٔییبثذ‪ .‬دس لهٕت آی‪ٙ‬ذ‪ ٜ‬ایٗ تعٕیٓ سا ثشسسی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬

‫‪ 1.4‬شبکه های چنذ الیه و الگوریتن ‪Backpropagation‬‬

‫‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس لهٕت ‪٘ 4.4.1‬یض ٌفت‪ ٝ‬شذس ته پشسپتش‪ٖٞٚ‬ب فمؾ سـ‪ٛ‬ح خـی تظٕیٓ ٌیشی سا ٔیت‪ٛ‬ا٘‪ٙ‬ذ یبد ثٍیش٘ذ‪ .‬دس ٔمبثعُس شعجى‪ٞ ٝ‬عبی‬
‫چ‪ٙ‬ذ یی‪ ٝ‬و‪ ٝ‬ت‪ٛ‬سؾ اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪٘ٛ‬ذ ٔیت‪ٛ‬ا٘‪ٙ‬ذ ا٘‪ٛ‬ا ٔختّفی اص سـ‪ٛ‬ح تظٕیٓ ٌیشی غیش خـی سا ٘یض یبد‬

‫‪1‬‬
‫‪iterative‬‬
‫‪2‬‬
‫‪linear programming‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثٍیش٘ذ‪ .‬ثشای ٔثبَس یه شجى‪ٝ‬ی چ‪ٙ‬ذ یی‪ ٚ ٝ‬سـح تظٕیٓ ٌیشی آٖ دس شىُ ‪٘ 4.5‬شبٖ داد‪ ٜ‬شذ‪ ٜ‬است‪ .‬دس ایٗ ٔثبَ وبس تشخیض ٌفتعبس ثعشای‬
‫تشخیض قشف طذا داس ثیٗ د‪ ٚ‬قشف ثی طذای ‪$ d ٚ h‬دس د‪ ٜ‬قبِت ٔختّف‪ #‬آ‪ٚ‬سد‪ ٜ‬شذ‪ٚ .ٜ‬س‪ٚ‬دی سیٍ‪ٙ‬بَ طحجت ث‪ ٝ‬ط‪ٛ‬ست د‪ ٚ‬پعبسأتش ععذدی‬
‫و‪ ٝ‬اص آ٘بِیض طذا ثذست آٔذ‪ٔ ٜ‬یثبشذ‪ .‬ایٗ اعذاد سـح ‪ 2‬ثعذی تظٕیٓ ٌیشی سا تشىیُ ٔید‪ٙٞ‬ذ‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس شعىُ ٘یعض ٘شعبٖ داد‪ ٜ‬شعذ‪ٜ‬‬
‫شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ٔ ٝ‬یت‪ٛ‬ا٘‪ٙ‬ذ سـ‪ٛ‬ح تظٕیٓ ٌیشی خیّی پیچیذ‪ ٜ‬تشی سا ٘هجت ث‪ ٝ‬سـ‪ٛ‬ح خـعی ‪$‬شعىُ ‪ #4.3‬یعبد ثٍیش٘عذ‪ .‬دس ایعٗ ثخعش ثع‪ٝ‬‬
‫٘ح‪ٜٛ‬ی آٔ‪ٛ‬صش شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ ٝ‬ت‪ٛ‬سؾ اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ٔ َٚ‬یپشداصیٓ‪.‬‬

‫شىُ ‪ 4.5‬فؼبی تظٕیٓ ٌیشی یه شجى‪ٝ‬ی چ‪ٙ‬ذ یی‪ٝ‬ی ته س‪ٛ‬ی‪.ٝ‬‬

‫شجى‪ٝ‬ی ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬ثشای تشخیض یىی اص د‪ ٜ‬طذای ثیٗ قش‪ٚ‬ف ‪ d ٚ h‬آٔ‪ٛ‬صش داد‪ ٜ‬شذ‪ ٜ‬است‪ٚ .‬س‪ٚ‬دی شجى‪ ٝ‬د‪ ٚ‬پبسأتش ‪ٞ F2 ٚ F1‬هت‪ٙ‬ذ وع‪ ٝ‬اص آ٘عبِیض‬
‫طذا ثذست ٔیآی‪ٙ‬ذ‪ .‬د‪ ٜ‬خش‪ٚ‬خی شجى‪ٔ ٝ‬ت‪ٙ‬بست ثب د‪ ٜ‬طذای ٔختّف ‪ٞ‬هت‪ٙ‬ذ‪ .‬پیش ثی‪ٙ‬ی شجى‪ ٝ‬طذایی است و‪ ٝ‬ثیشتشیٗ ٔمذاس خش‪ٚ‬خی شعجى‪ ٝ‬سا داشعت‪ ٝ‬ثبشعذ‪.‬‬
‫سٕت ساست سـح تظٕیٓ ٌیشی غیش خـی ایٗ شجى‪ ٝ‬سا ٘شبٖ ٔید‪ٞ‬ذ‪٘ .‬مـ‪ٞ ٝ‬بی ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬دس شىُ ٕ٘‪٘ٛ‬ع‪ٞ ٝ‬عبی آٔ‪ٛ‬صشعی ‪ٞ‬هعت‪ٙ‬ذ‪ٌ$ .‬شفتع‪ ٝ‬شعذ‪ ٜ‬اص‬
‫)‪#.(Haung and Lippmann 1988‬‬

‫‪ 4.5.1‬واحذ آستبنه ای مطتك پذیز‬

‫چ‪ٚ ٛ٘ ٝ‬اقذ‪ٞ‬بیی ثشای تشىیُ پبی‪ٞ ٝ‬بی شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ ٝ‬ث‪ ٝ‬وبس ٔیس‪٘ٚ‬ذ؟ دس اثتذا ٕٔىٗ است فىش و‪ٙ‬یٓ و‪ٚ ٝ‬اقذ ‪ٞ‬بی خـیای و‪ ٝ‬پیشتش‬
‫لب٘‪ ٖٛ‬یبدٌیشیشبٖ سا پیذا وشدیٓ ٔ‪ٙ‬بسج‪ٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬دس دسقبِیو‪ ٝ‬شجى‪ٞٝ‬بیی و‪ ٝ‬تشویت ‪ٚ‬اقذ ‪ٞ‬بی خـیا٘ذ فمؾ ت‪ٛ‬اث خـی سا ایدبد ٔیو‪ٙٙ‬ذس دس‬
‫قبِی و‪ٞ ٝ‬ذف ٔب اص شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ ٝ‬پیذا وشدٖ شجى‪ٞٝ‬بیی است و‪ ٝ‬ت‪ٛ‬اث غیش خـی سا ثیبٖ و‪ٙٙ‬ذ‪ٌ .‬ضی‪ٝٙ‬ی دیٍش ‪ٚ‬اقذ پشسپتش‪ ٖٚ‬اسعتس أعب‬
‫٘بپی‪ٛ‬ستٍی ٔمذاس آستب٘‪ٝ‬ی ایٗ ‪ٚ‬اقذ آٖسا ٔشتك ٘بپزیش ٔیو‪ٙ‬ذ‪ٚ ٚ .‬اقذ‪ٞ‬بیی و‪ٔ ٝ‬شتك ٘بپزیش٘ذس ٌشادیبٖ ٘ذاس٘ذ ‪ٔ ٚ‬تعبلجبً ثشای شیت ٘ض‪ٙٔ َٚ‬بسعت‬
‫٘یهت‪ٙ‬ذ‪ .‬دس ای‪ٙ‬دب ث‪ٚ ٝ‬اقذی ثب خش‪ٚ‬خی ٔشتك پزیش ‪ ٚ‬غیش خـی ٘یبص داسیٓ‪ٚ .‬اقذ سیٍٕ‪ٛ‬یذ یىی اص سا‪ ٜ‬قُ‪ٞ‬بی ٕٔىعٗ اسعت‪ٚ .‬اقعذی وع‪ ٝ‬خیّعی‬
‫ٔشبث‪ ٝ‬پشسپتش‪ ٚ ٖٚ‬تبث ٔمذاس آستب٘‪ٝ‬اش پی‪ٛ‬ست‪ٔ ٚ ٝ‬شتك پزیش است‪.‬‬

‫تبث سیٍٕ‪ٛ‬یذ دس شىُ ‪٘ 4.6‬شبٖ داد‪ ٜ‬شذ‪ٔ .ٜ‬ثُ ‪ٚ‬اقذ پشسپتش‪ٖٚ‬س سیٍٕ‪ٛ‬یذ ٘یض اثتذا تشویجی خـی اص ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب سا ٔحبسج‪ ٝ‬وشد‪ ٚ ٜ‬سپس آٖسا ثعذ‬
‫اص تأثیش تبث آستب٘‪ٝ‬اش خش‪ٚ‬خی ٔید‪ٞ‬ذ‪ .‬دس ‪ٚ‬اقذ سیٍٕ‪ٛ‬یذ خش‪ٚ‬خی تبثعی پی‪ٛ‬ست‪ ٝ‬اص ‪ٚ‬س‪ٚ‬دی‪ٞ‬بست‪ .‬ث‪ ٝ‬عجبست دلیكتش خش‪ٚ‬خعی ‪ٚ‬اقعذ سعیٍٕ‪ٛ‬یذ اص‬
‫فشٔ‪ َٛ‬صیش ٔحبسج‪ٔ ٝ‬یش‪ٛ‬د‪:‬‬

‫⃗ ⃗⃗‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫و‪ ٝ‬دس آٖ‬

‫ث‪ ٝ‬تبث ‪ σ‬تبث سیٍٕ‪ٛ‬یذ‪ 1‬یب تبث ٔ‪ٙ‬ـك‪٘ 2‬یض ٔیٌ‪ٛ‬ی‪ٙ‬ذ ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ وع‪ ٝ‬خش‪ٚ‬خعی ایعٗ تعبث ععذدی ثعیٗ طعفش تعب یعه اسعتس وع‪ٔ ٝ‬ت‪ٙ‬بسعت ثعب‬
‫‪ٚ‬س‪ٚ‬دی‪ٞ‬بست‪$ .‬تبث سیٍٕ‪ٛ‬یذ دس شىُ ‪٘ 4.6‬شبٖ داد‪ ٜ‬شذ‪ .#ٜ‬چ‪ ٖٛ‬تبث سیٍٕ‪ٛ‬یذ پ‪ٟٙ‬بی ثضسٌی اص خش‪ٚ‬خی‪ٞ‬ب سا ث‪ ٝ‬پ‪ٟٙ‬بی و‪ٛ‬چىی ٔیثشد ٌب‪ٞ‬ی ث‪ٝ‬‬
‫آٖ تبث فششد‪ ٜ‬سبص‪٘ 3‬یض ٔیٌ‪ٛ‬ی‪ٙ‬ذ‪ .‬یىی دیٍش اص خ‪ٛ‬اص ثهیبس ٔفیذ تبث سیٍٕ‪ٛ‬یذ ثیبٖ ٔشتك آٖ ثعش قهعت خع‪ٛ‬دش اسعت‪= .‬ثع‪ ٝ‬عجعبست دیٍعشس‬
‫<‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬ثعذاً ٘یض خ‪ٛ‬ا‪ٞ‬یٓ دیذس دس استفبد‪ ٜ‬اص ٌشادیبٖ ایٗ ساثـ‪ٔ ٝ‬حبسجبت سا ثهیبس سبد‪ ٜ‬تش ٔی و‪ٙ‬عذ‪.‬‬
‫لشاس ٔی د‪ٙٞ‬ذ وع‪ٝ‬‬ ‫دس تبث سیٍٕ‪ٛ‬یذ‬ ‫ت‪ٛ‬اث ٔشتك پزیش دیٍش دس ثعؼی ٔ‪ٛ‬اسد ث‪ ٝ‬خبی ‪ σ‬ث‪ ٝ‬وبس ٔی س‪٘ٚ‬ذ‪ .‬ثشای ٔثبَ ٌب‪ٞ‬ی ث‪ ٝ‬خبی‬
‫دس آٖ ‪ k‬عذدی ثبثت ‪ٔ ٚ‬ثجت است و‪ ٝ‬ت‪ٙ‬ذی ٔمذاس آستب٘‪ ٝ‬سا ٔشخض ٔی و‪ٙ‬ذ‪ .‬دس ثعؼی ٔ‪ٛ‬اسد ٘یض اص تعبث ‪ tanh‬ثع‪ ٝ‬خعبی سعیٍٕ‪ٛ‬یذ اسعتفبد‪ٜ‬‬
‫ٔی ش‪ٛ‬د ‪$‬تٕشیٗ ‪.#4.8‬‬

‫شىُ ‪ٚ 4.6‬اقذ آستب٘‪ ٝ‬ای سیٍٕ‪ٛ‬یذ‪.‬‬

‫‪ 4.5.4‬الگوریتم ‪Backpropagation‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ٚ Backpropagation‬صٖ‪ٞ‬بی یصْ ثشای یه شجى‪ٝ‬ی چ‪ٙ‬ذ یی‪ ٝ‬ثب سبختبس شجى‪ٝ‬ی ثبثت سا پیذا ٔیو‪ٙ‬ذ‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ اص شیت ٘ض‪َٚ‬‬
‫ثشای ٔی‪ٙ‬یٕٓ وشدٖ ٔیضاٖ خـبس ٔشث اختالف ثیٗ خش‪ٚ‬خی شجى‪ ٚ ٝ‬تبث ‪ٞ‬ذفس استفبد‪ٔ ٜ‬یو‪ٙ‬ذ‪ .‬دس ایٗ ثخش اٍِع‪ٛ‬سیتٓ ‪Backpropagation‬‬
‫‪ ٚ‬دس ثخش ثعذی ٔشتمبت یصْ ثشای لب٘‪ ٖٛ‬شیت ٘ض‪ٚ َٚ‬صٖ‪ٞ‬ب دس ایٗ اٍِ‪ٛ‬سیتٓ سا اسائ‪ٔ ٝ‬یو‪ٙ‬یٓ‪.‬‬

‫چ‪ ٖٛ‬دس ایٗ شجى‪ٞٝ‬ب خش‪ٚ‬خی یه عذد ٘یهتس پس وبس سا ثب تعشیف د‪ٚ‬ثبس‪ٜ‬ی ‪ E‬آغبص ٔیو‪ٙ‬عیٓ ‪ E ٚ‬سا خٕع خـعبی تٕعبٔی خش‪ٚ‬خعی‪ٞ‬عب تعشیعف‬
‫ٔیو‪ٙ‬یٓ‪:‬‬

‫‪1‬‬
‫‪sigmoid‬‬
‫‪2‬‬
‫‪logistic function‬‬
‫‪3‬‬
‫‪squashing function‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫⃗⃗‬ ‫∑‬ ‫∑‬

‫خش‪ٚ‬خی شجى‪ ٝ‬ثشای ‪ k‬أیٗ خش‪ٚ‬خی ‪ d ٚ‬أیٗ ٕ٘‪ٝ٘ٛ‬‬ ‫ٔمذاس تبث ‪ٞ‬ذف ‪ٚ‬‬ ‫و‪ ٝ‬دس آٖ ‪ٔ outputs‬دٕ‪ٛ‬ع‪ٝ‬ی تٕبٔی خش‪ٚ‬خی‪ٞ‬بی شجى‪ٝ‬س‬
‫است‪.‬‬

‫ٔهئّ‪ ٝ‬فعّی پیذا وشدٖ ‪ٚ‬صٖ‪ٞ‬بی ٔت‪ٙ‬بست ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی دس ٔیبٖ فؼبی فشػی‪ ٝ‬ای تٕبٔی ‪ٚ‬صٖ‪ٞ‬بی ٕٔىعٗ اسعت‪ٔ .‬عیتع‪ٛ‬اٖ ‪ٚ‬ػععیت سا‬
‫د‪ٚ‬ثبس‪ٔ ٜ‬ثُ شىُ ‪ 4.4‬تظ‪ٛ‬س وشد‪ .‬دس ‪ٚ‬ػعیت ٔح‪ٛ‬س عٕ‪ٛ‬دی تعشیف خذیذ ‪E‬س ‪ ٚ‬ثمی‪ٝ‬ی ٔح‪ٛ‬س‪ٞ‬بس ‪ٚ‬صٖ‪ٞ‬بی تٕبٔی ‪ٚ‬اقذ ‪ٞ‬بی شجى‪ٞ ٝ‬هت‪ٙ‬ذ‪ .‬دسسعت‬
‫ٔشبث‪ ٝ‬صٔب٘ی و‪ ٝ‬ت‪ٟٙ‬ب یه ‪ٚ‬اقذ داشتیٓ دس ایٗ ‪ٚ‬ػعیت ٘یض ٔیت‪ٛ‬اٖ اص شیت ٘ض‪ َٚ‬ثشای یبفتٗ فشػی‪ ٝ‬ای ثب وٕتشیٗ ٔیضاٖ خـب وٕه ٌشفت‪.‬‬

‫ت‪ٟٙ‬ب فشق ایٗ است و‪ ٝ‬ثشعىس قبِت لجّی و‪ ٝ‬فمؾ یه ٔی‪ٙ‬یٕٓ داشت ‪$‬شىُ ‪ #4.4‬دس ایٗ قبِت ٕٔىٗ است چ‪ٙ‬ذیٗ ٔی‪ٛٔ ٕٓٙ‬ػعی ‪ٚ‬خ‪ٛ‬د داشت‪ٝ‬‬
‫ثبشذ‪ٔ .‬تأسفب٘‪ ٝ‬شیت ٘ض‪ َٚ‬ت‪ٟٙ‬ب تؼٕیٗ ٔیو‪ٙ‬ذ و‪ ٝ‬ث‪ ٝ‬س‪ٛ‬ی ٔی‪ٙ‬یٕٕی ٔ‪ٛ‬ػعی ٔیُ و‪ٙ‬ذس ‪ ٚ‬ایٗ ٔمذاس ‪ٕٞ‬یش‪ ٝ‬ثب ٔی‪ٙ‬یٕٓ ٔـّك یىی ٘یهت‪ .‬ثب ‪ٚ‬خ‪ٛ‬د‬
‫ایٗ ٔب٘ س دس عُٕ ‪ Backpropagation‬ثبثت وشد‪ ٜ‬و‪ٔ ٝ‬یت‪ٛ‬ا٘ذ خ‪ٛ‬اة‪ٞ‬بی ثهیبس خ‪ٛ‬ثی دس وبسثشد‪ٞ‬بی ‪ٚ‬العی پیذا و‪ٙ‬ذ‪.‬‬

‫اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬دس خذ‪ 4.2 َٚ‬آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ ثشای شجى‪ٞ ٝ‬عبی یعه سع‪ٛ‬ی‪ ٝ‬ای اسعت وع‪ ٝ‬اص د‪ ٚ‬ییع‪ٚ ٝ‬اقعذ‬
‫سیٍٕ‪ٛ‬یذ تشىیُ شذ‪ٜ‬ا٘ذ و‪ٞ ٝ‬ش ‪ٚ‬اقذ دس ‪ٞ‬ش یی‪ ٝ‬ث‪ ٝ‬تٕبٔی ‪ٚ‬اقذ‪ٞ‬بی یی‪ٝ‬ی لجّی ٔتظُ است‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ یىعی اص د‪٘ ٚ‬هعخ‪ٝ‬ی شعیت ٘عض‪َٚ‬‬
‫تظبدفی یب افضایشی اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬است‪ٕ٘ .‬بد ٌضاسی استفبد‪ ٜ‬شذ‪ ٜ‬خض دس ٔ‪ٛ‬اسد صیش ٔشبث‪ ٝ‬لهٕت‪ٞ‬بی لجّی است‪:‬‬

‫ث‪ٞ ٝ‬ش ٌش‪ 1ٜ‬یه ا٘ذیس‪٘ 2‬هجت داد‪ ٜ‬شذ‪ ٜ‬است و‪ ٝ‬دس آٖ ٌش‪ ٜ‬یه ‪ٚ‬س‪ٚ‬دی ث‪ ٝ‬شجى‪ ٝ‬یب خش‪ٚ‬خی ‪ٚ‬اقذی است‪.‬‬ ‫‪‬‬
‫‪ٚ‬صٖ ایٗ ٔت‪ٙ‬بظش است‪.‬‬ ‫ٕ٘بی‪ٙ‬ذ‪ٜ‬ی ‪ٚ‬س‪ٚ‬دی ٌش‪ٜ‬ی ‪ i‬ث‪ٚ ٝ‬اقذ ‪ j‬است ‪ٚ‬‬ ‫‪‬‬
‫𝛿 ٕ٘بد خـبی ٔشث‪ٛ‬ؽ ث‪ٚ ٝ‬اقذ ‪ n‬است‪٘ ٚ .‬مش ٔمذاس )‪ (t-o‬سا و‪ ٝ‬لجالً دس لب٘‪ ٖٛ‬دِتب دسثبس‪ٜ‬ی آٖ ثح وشدیٓ ایفب ٔعیو‪ٙ‬عذ‪ٕٞ .‬عبٖ‬ ‫‪‬‬
‫𝛿‪.‬‬ ‫ؿ‪ٛ‬س و‪ ٝ‬ثعذاً ٘یض خ‪ٛ‬ا‪ٞ‬یٓ دیذ‪:‬‬
‫‪Backpropagation‬‬

‫ثشداس ٔمذاس ‪ٞ‬بی ‪ٚ‬س‪ٚ‬دی شجى‪ٔ ٚ ٝ‬مبدیش تبث ‪ٞ‬ذف است‪.‬‬ ‫ٔشخض ٔیش‪ٛ‬د و‪ ٝ‬دس آٖ‬ ‫‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشی ث‪ ٝ‬ط‪ٛ‬ست ص‪ٚ‬ج ٔشتت‬

‫تعذاد ‪ٚ‬اقذ‪ٞ‬ب پ‪ٟٙ‬بٖ شجى‪ٞ ٝ‬هت‪ٙ‬ذ‪.‬‬ ‫تعذاد خش‪ٚ‬خی‪ٞ‬بی شجى‪ٚ ٝ‬‬ ‫تعذاد ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی شجى‪ٝ‬‬ ‫‪ η‬ػشیت یبدٌیشی استس‬

‫٘شبٖ داد‪ ٜ‬شذ‪.ٜ‬‬ ‫٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬است ‪ٚ ٚ‬صٖ ٔت‪ٙ‬بست ثب ایٗ استجبؽ ٘یض ثب ٕ٘بد‬ ‫استجبؽ ثیٗ ‪ٚ‬اقذ ‪ i‬اْ ‪ٚ ٚ‬اقذ ‪ j‬اْ ث‪ ٝ‬ط‪ٛ‬ست‬

‫ث‪ٞ ٝ‬ش ٌش‪ 3ٜ‬یه ا٘ذیس‪٘ 4‬هجت داد‪ ٜ‬شذ‪ ٜ‬است و‪ ٝ‬دس آٖ ٌش‪ ٜ‬یه ‪ٚ‬س‪ٚ‬دی ث‪ ٝ‬شجى‪ ٝ‬یب خش‪ٚ‬خی ‪ٚ‬اقذی است‪.‬‬

‫‪ٚ‬اقذ خش‪ٚ‬خی ثهبص‬ ‫‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٚ‬‬ ‫‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی‬ ‫شجى‪ ٝ‬ای یه ؿشف‪ ٝ‬ثب‬ ‫‪‬‬

‫‪1‬‬
‫‪node‬‬
‫‪2‬‬
‫‪index‬‬
‫‪3‬‬
‫‪node‬‬
‫‪4‬‬
‫‪index‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تٕبٔی ‪ٚ‬صٖ‪ٞ‬بی شجى‪ ٝ‬سا ثب اعذاد و‪ٛ‬چه تظبدفی ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬وٗ ‪ٔ$‬ثالً ثیٗ ‪#-0.5 ٚ 0.5‬‬ ‫‪‬‬
‫تب سسیذٖ ث‪ ٝ‬ششؽ پبیب٘ی قّم‪ٝ‬ی صیش سا اخشا وٗ‬ ‫‪‬‬
‫دس ‪ training_examples‬قّم‪ٝ‬ی صیش سا اخشا وٗ‬ ‫‪ o‬ثشای ‪ٞ‬ش ٔثبَ‬
‫‪ٚ‬س‪ٚ‬دی سا دس خ‪ٟ‬ت شجى‪ٔ ٝ‬یبٖ شجى‪ ٝ‬پخش وٗ‪:‬‬
‫سا ثشای ‪ٞ‬ش خش‪ٚ‬خی ‪ u‬دسیبفت وٗ‬ ‫سا ث‪ٚ ٝ‬س‪ٚ‬دی ثذ‪ ٚ ٜ‬خش‪ٚ‬خی‬ ‫‪.1‬‬
‫خـب‪ٞ‬ب سا خالف خ‪ٟ‬ت شجى‪ ٝ‬دس ٔیبٖ شجى‪ ٝ‬پخش وٗ‪:‬‬

‫‪ .2‬ثشای ‪ٞ‬ش خش‪ٚ‬خی ‪ٔ k‬مذاس 𝛿 سا اص ساثـ‪ٝ‬ی صیش ثذست آ‪ٚ‬س‬

‫𝛿‬

‫‪ .3‬ثشای ‪ٞ‬ش ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٔ h‬مذاس صیش سا قهبة وٗ‬

‫𝛿‬ ‫∑‬ ‫𝛿‬

‫سا اص ساثـ‪ٝ‬ی صیش تغییش ثذ‪ٜ‬‬ ‫‪ٞ .4‬ش ‪ٚ‬صٖ‬

‫و‪ ٝ‬دس آٖ‬

‫𝛿‬

‫خذ‪٘ 4.2 َٚ‬هخ‪ٝ‬ی شیت ٘ض‪ َٚ‬اتفبلی اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬ثشای شجى‪ٞ ٝ‬بی ته س‪ٛ‬ی‪ ٝ‬و‪ ٝ‬د‪ ٚ‬یی‪ٚ ٝ‬اقذ سیٍٕ‪ٛ‬یذ داس٘ذ‪.‬‬
‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬اٍِ‪ٛ‬سیتٓ خذ‪ 4.2 َٚ‬ثب سبخت یه شجى‪ٝ‬ی خذیذ ثب ‪ٕٞ‬بٖ تعذاد ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٕٞ ٚ‬بٖ تعذاد ‪ٚ‬اقذ خش‪ٚ‬خعی ‪ٔ ٚ‬معذاس د‪ٞ‬عی ا‪ِٚ‬یع‪ٝ‬ی‬
‫‪ٚ‬صٖ‪ٞ‬بی آٖ ثب اعذاد تظبدفی و‪ٛ‬چه آغبص ٔیٌشدد‪ .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ای‪ٙ‬ى‪ ٝ‬سبختبس شجى‪ ٝ‬ثبثت ‪ٔ ٚ‬عّع‪ ْٛ‬اسعتس قّمع‪ٝ‬ی اطعّی اٍِع‪ٛ‬سیتٓ فمعؾ ثعشای‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٔختّف تىشاس ٔیش‪ٛ‬د ‪ ٚ‬ثمی‪ٝ‬ی ٔ‪ٛ‬اسد تغییشی ٕ٘یو‪ٙٙ‬ذ‪ .‬ثشای ‪ٞ‬ش ٕ٘‪ٝ٘ٛ‬ی آٔ‪ٛ‬صشیس ٕ٘‪ ٝ٘ٛ‬ثع‪ ٝ‬شعجى‪ ٝ‬داد‪ ٜ‬شعذ‪ ٚ ٜ‬خش‪ٚ‬خعی سا‬
‫دسیبفت ٔیش‪ٛ‬دس سپس خـبی خش‪ٚ‬خی سا ثشای ٕ٘‪ٔ ٝ٘ٛ‬زو‪ٛ‬س ٔحبسج‪ٔ ٝ‬یو‪ٙ‬ذ‪ .‬دس ادأ‪ٝ‬س ٌشادیبٖ سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬خـبی ٔحبسج‪ ٝ‬شعذ‪ٔ ٜ‬حبسعج‪ ٚ ٝ‬دس‬
‫آخش ٘یض ٔمذاس ‪ٚ‬صٖ‪ٞ‬ب سا تغییش ٔید‪ٞ‬ذ‪ .‬ایٗ ٔشقّ‪ٝ‬ی شیت ٘ض‪ َٚ‬تب صٔب٘ی و‪ ٝ‬خـبی شجى‪ ٝ‬ث‪ ٝ‬قذ ٔـّ‪ٛ‬ة ثشسذ تىشاس ٔیش‪ٛ‬د ‪ٌ$‬ب‪ٞ‬ی ایٗ تىشاس‪ٞ‬عب‬
‫تب طذ‪ٞ‬ب ثبس ادأ‪ٔ ٝ‬ییبثذ ‪ٕٞ ٚ‬بٖ ٕ٘‪ٞٝ٘ٛ‬ب چ‪ٙ‬ذیٗ دفع‪ ٝ‬تىشاس ٔیش‪٘ٛ‬ذ‪.#‬‬

‫لب٘‪ ٖٛ‬تغییش ‪ٚ‬صٖ‪ٞ‬بی شیت ٘ض‪$ َٚ‬ساثـ‪ٝ‬ی ]‪ [T4.5‬دس خذ‪ٔ #4.2 َٚ‬شبث‪ ٝ‬ساثـ‪ٝ‬ی لب٘‪ ٖٛ‬دِتب ‪$‬ساثـ‪ٝ‬ی ]‪ #[4.10‬است‪ٔ .‬ثُ لب٘‪ ٖٛ‬دِتبس ایٗ ساثـ‪ٝ‬‬
‫و‪ٚ ٝ‬صٖ ث‪ ٝ‬آٖ اعٕبَ شذ‪ٔ ٚ ٜ‬مذاس خـبی خش‪ٚ‬خی تغییش ٔید‪ٞ‬ذ‪ .‬ت‪ٟٙ‬عب تفعب‪ٚ‬ت‬ ‫ٔمذاس ‪ٞ‬ش ‪ٚ‬صٖ سا ث‪٘ ٝ‬هجت ػشیت یبدٌیشی ‪ٔ ٚ η‬مذاس ‪ٚ‬س‪ٚ‬دی‬
‫ثیٗ ایٗ د‪ ٚ‬ساثـ‪ ٝ‬ایٗ است و‪ ٝ‬خـب دس لب٘‪ ٖٛ‬دِتب )‪ (t-o‬ث‪ٛ‬د‪ ٚ ٜ‬دس ساثـ‪ٝ‬ی خذیذ ثب ٔمذاسی پیچیذ‪ ٜ‬تش 𝛿 خبیٍضیٗ شذ‪ ٜ‬است‪ .‬ط‪ٛ‬ست دلیك 𝛿‬
‫اص اشتمبق ساثـ‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب دس لهٕت ‪٘ 4.5.3‬بشی شذ‪ ٜ‬است‪ .‬ثشای دسن ث‪ٟ‬تشس اثتذا ث‪ ٝ‬فشٔ‪ٔ َٛ‬حبسج‪ٝ‬ی 𝛿 ثشای خش‪ٚ‬خی ‪ k‬اْ شجى‪ ٝ‬دلت‬
‫سا ثشای خش‪ٚ‬خی‪ٞ‬بی شجى‪ ٝ‬داس٘ذس پس ٔمذاس تبث ‪ٞ‬ذف ثعشای‬ ‫و‪ٙ‬یذ ‪$‬ساثـ‪ٝ‬ی ]‪ .#[T4.4‬ثب ایٗ ‪ٚ‬خ‪ٛ‬دس اص آ٘دبیی و‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صشی ٔمذاس‬
‫‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ ٔعّ‪٘ ْٛ‬یهت ‪ٕ٘ ٚ‬یت‪ٛ‬اٖ خـب سا ث‪ ٝ‬ط‪ٛ‬ست ٔهتمیٓ ٔحبسج‪ ٝ‬وشد‪ .‬پس ث‪ ٝ‬خبی آٖ ثشای ٔحبسج‪ٝ‬ی خـبی ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪h‬س اص خٕ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خـب ‪ٞ‬بی 𝛿 ثشای ‪ٞ‬ش خش‪ٚ‬خی و‪ h ٝ‬ثش آٖ تأثیش داسد ٔیش‪ٛ‬د‪ .‬ثشای ٔحبسج‪ٝ‬ی دسستتش یصْ است و‪ٞ ٝ‬ش ٔیضاٖ خـب دس ٔیعضاٖ تعأثیش ‪ h‬ثعش ‪k‬‬
‫ػشة ش‪ٛ‬د‪ .‬ایٗ وبس ثبع ٔیش‪ٛ‬د و‪ٞ ٝ‬ش ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ث‪ ٝ‬ا٘ذاص‪ ٜ‬ای و‪ ٝ‬دس ‪ٞ‬ش خـب "ٔهئ‪ "1َٛ‬است دس خـب س‪ ٟٓ‬داشت‪ ٝ‬ثبشذ‪.‬‬

‫اٍِ‪ٛ‬سیتٓ خذ‪ٚ 4.2 َٚ‬صٖ‪ٞ‬ب سا ث‪ ٝ‬ط‪ٛ‬ست افضایشی ‪ ٚ‬ثب ثشخ‪ٛ‬سد ث‪ٞ ٕٝ٘ٛ٘ ٝ‬بی ٔختّف تغییش ٔید‪ٞ‬ذ‪ .‬ایٗ تمشیت تظبدفی اص شیت ٘ض‪ َٚ‬است‪ .‬ثعشای‬
‫𝛿 سا لجُ اص تغییش ‪ٚ‬صٖ‪ٞ‬ب ثشای تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی خٕ صد‪.‬‬ ‫سسیذٖ ث‪ ٝ‬خ‪ٛ‬د ٌشادیبٖ ‪ E‬ثبیذ ٔمبدیش‬

‫قّم‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب دس ‪ Backpropagation‬دس وبسثشد‪ٞ‬بی ‪ٚ‬العی ٕٔىٗ است طذ‪ٞ‬ب ثبس تىشاس ش‪ٛ‬د‪ .‬ثب داشتٗ ت‪ ٛٙ‬شش‪ٚ‬ؽ خش‪ٚ‬ج‪ٔ 2‬عیتع‪ٛ‬اٖ‬
‫تىشاس ایٗ فشای‪ٙ‬ذ سا ث‪ٔ ٝ‬ت‪ٛ‬لف و‪ٙ‬ذ‪ٔ .‬ثالً ٕٔىٗ است ٔیت‪ٛ‬اٖ تعییٗ وشد و‪ ٝ‬ششؽ پس اص تعذاد خبطی تىشاس ٔت‪ٛ‬لف ش‪ٛ‬دس یب صٔب٘ی و‪ٔ ٝ‬مذاس خـعب‬
‫ث‪ ٝ‬وٕتش اص ٔمذاس آستب٘‪ٝ‬ی خبطی سسیذس یب ٔیضاٖ خـب ثشای دست‪ٞ ٕٝ٘ٛ٘ ٝ‬بی خذاٌب٘‪ ٝ‬ث‪ ٝ‬وٕتش اص ٔمذاس خبطعی ثشسعذ‪ .‬ا٘تخعبة شعشؽ پبیعب٘ی اص‬
‫ا‪ٕٞ‬یت خبص ثشخ‪ٛ‬سداس است صیشا و‪ ٝ‬تعذاد وٓ تىشاس ٕٔىٗ است ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ٘شذٖ خـب ثی‪ٙ‬دبٔذ ‪ ٚ‬تىشاس صیبد ٘یض ثبع ٔیش‪ٛ‬د وع‪ ٝ‬شعجى‪ ٝ‬فمعؾ‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی سا تشخیض د‪ٞ‬ذ ‪ٔ$‬شىُ ‪ .#overfit‬دسثبس‪ٜ‬ی ایٗ ٔهئّ‪ ٝ‬ثعذاً دس لهٕت ‪ٔ 4.6.5‬فظالً ثح خ‪ٛ‬ا‪ٞ‬ذ شذ‪.‬‬

‫‪ 4.5.4.1‬اضبفه کزدن تکبنه‬

‫چ‪ Backpropagation ٖٛ‬اٍِ‪ٛ‬سیتٓ پشوبسثشدی استس ٘هخ‪ٞ ٝ‬بی ثهیبسی اص ایٗ اٍِ‪ٛ‬سیتٓ پذیذ آٔذ‪ ٜ‬است‪ .‬شبیذ ٔعش‪ٚ‬فتشیٗ ایٗ ٘هخ‪ٞٝ‬عبس‬
‫٘هخ‪ ٝ‬ای است و‪ ٝ‬ث‪ ٝ‬خبی ساثـ‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب ‪$‬ساثـ‪ٝ‬ی )‪ #(T4.5‬اص ساثـ‪ٝ‬ی ثبصٌشتی استفبد‪ٔ ٜ‬یو‪ٙ‬ذ‪:‬‬

‫𝛿‬

‫تغییش ‪ٚ‬ص٘ی است و‪ ٝ‬دس قّم‪ٝ‬ی ‪ n‬اْ قّم‪ٝ‬ی اطّی ا٘دبْ ٔیش‪ٛ‬د‪ ٚ .‬ث‪ α ٝ‬و‪ 0≤α<1 ٝ‬تىب٘‪ٔ 3ٝ‬یٌ‪ٛ‬ی‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیعذ وع‪ٝ‬‬ ‫دس ای‪ٙ‬دب‬
‫خّٕ‪ٝ‬ی ا‪ َٚ‬ایٗ ساثـ‪ٕٞ ٝ‬بٖ تغییش ‪ٚ‬صٖ دس ساثـ‪ٝ‬ی )‪ (T4.5‬است‪ .‬خّٕ‪ ٝ‬اػبفیس خّٕ‪ٝ‬ی د‪ْٚ‬س خّٕ‪ٝ‬ی تىب٘‪٘ ٝ‬بٔیذ‪ٔ ٜ‬یشع‪ٛ‬د‪ .‬ثعشای دسن ث‪ٟ‬تعشس‬
‫فشع و‪ٙ‬یذ و‪ ٝ‬دس اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ٔ َٚ‬هیش ؿی شذ‪ ٜ‬ت‪ٛ‬سؾ یه ٌ‪ٛ‬ی ؿی ٔیشذس دس آ٘دب ایٗ ٌ‪ٛ‬ی ‪ٞ‬یچ تىب٘‪ ٝ‬ای ٘ذاشت‪ .‬اثش ‪ α‬اػبف‪ ٝ‬وشدٖ‬
‫تىب٘‪ ٝ‬ث‪ٌٛ ٝ‬ی ٔ‪ٛ‬سد ثح استس ‪ ٚ‬ثبع ٔیش‪ٛ‬د دس ‪ٞ‬ش قّم‪ٔ ٝ‬ب تٕبیُ داشت‪ ٝ‬ثبشیٓ ث‪ ٝ‬سٕتی قشوت و‪ٙ‬عیٓ وع‪ ٝ‬دس قّمع‪ٝ‬ی لجّعی ثع‪ ٝ‬آٖ سعٕت‬
‫قشوت وشد‪ٜ‬ایٓ‪ .‬ایٗ اثش ثبع ث‪ ٝ‬داْ ٘یفتبدٖ دس ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٘هجیای و‪ ٝ‬خـب خیّی دس آٖ وٓ ٕ٘یش‪ٛ‬د ‪ ٚ‬قشوت ث‪ ٝ‬سٕت ٔی‪ٙ‬یٕٓ ٔـّك خ‪ٛ‬ا‪ٞ‬عذ‬
‫شذ‪ٕٞ .‬چ‪ٙ‬یٗ دس خبیی و‪ ٝ‬سـح افمی ٔیش‪ٛ‬د ٌ‪ٛ‬ی ثذ‪ ٖٚ‬تىب٘‪ ٝ‬اص قشوت ثبص ٔیایهتذ دس قبِی و‪ٌٛ ٝ‬یی و‪ ٝ‬تىب٘ع‪ ٝ‬داسد چ‪ٙ‬عیٗ ٔشعىّی ٘عذاسد‪.‬‬
‫‪ٕٞ‬چ‪ٙ‬یٗ دس خبیی و‪ ٝ‬شیت تغییش ٕ٘یو‪ٙ‬ذس ا٘ذاص‪ٜ‬ی لذْ‪ٞ‬ب سا ثیشتش ٔیو‪ٙ‬ذ تب دس قّم‪ٞ ٝ‬بی وٕتشی ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ثشسیٓ‪.‬‬

‫‪ 4.5.4.4‬یبدگیزی در ضجکه هبی ثذون دور ثب سبختبر دلخواه‬

‫تعشیفی و‪ ٝ‬دس خذ‪ 4.2 َٚ‬اص ‪ Backpropagation‬آ‪ٚ‬سد‪ ٜ‬شذ فمؾ ثشای شجى‪ٞ ٝ‬بی د‪ ٚ‬یی‪ ٝ‬ث‪ٛ‬دس ثب ایٗ ‪ٚ‬خ‪ٛ‬د ث‪ ٝ‬ساقتی ٔیت‪ٛ‬اٖ ایٗ تعشیعف سا‬
‫ثشای تٕبٔی شجى‪ٞ ٝ‬بی ته س‪ٛ‬ی‪ ٝ‬تعٕیٓ داد‪ .‬دس ایٗ تعٕیٓس تغییشی دس ساثـ‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب ‪$‬ساثـ‪ٝ‬ی )‪ #(T4.5‬ث‪ٚ ٝ‬خ‪ٛ‬د ٕ٘یآیذ ‪ ٚ‬فمؾ ساثـ‪ٝ‬ی‬
‫ٔحبسج‪ٝ‬ی ‪ δ‬ع‪ٛ‬ع ٔیش‪ٛ‬د‪ .‬دس وُ ثشای ٔحبسج‪ٝ‬ی 𝛿 ثشای ‪ٚ‬اقذ ‪ r‬اص یی‪ٝ‬ی ‪ m‬اص ٔمذاس 𝛿 ‪ٞ‬عبی ییع‪ٝ‬ی ثععذی اص فشٔع‪ َٛ‬صیعش ٔحبسعج‪ٝ‬‬
‫ٔیش‪ٛ‬د‪:‬‬

‫‪1‬‬
‫‪responsible‬‬
‫‪2‬‬
‫‪termination condition‬‬
‫‪3‬‬
‫‪momentum‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫𝛿‬ ‫∑‬ ‫𝛿‬

‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ ساثـ‪ٔ ٝ‬عبدَ پّ‪ٝ‬ی س‪ ْٛ‬دس اٍِ‪ٛ‬سیتٓ خذ‪ 4.2 َٚ‬استس ‪ ٚ‬ایٗ پّ‪ ٝ‬دس اٍِ‪ٛ‬سیتٓ ثبیذ ثشای ‪ٞ‬ش یی‪ٝ‬ی پ‪ٟٙ‬بٖ دس شجى‪ ٝ‬تىشاس ش‪ٛ‬د‪.‬‬

‫دس ‪ٚ‬ال چ‪ٙ‬یٗ استشاتژیای سا ٔیت‪ٛ‬اٖ ثشای تٕبْ شجى‪ٞٝ‬بیی و‪ ٝ‬سبختبسی ٔشبث‪ٌ ٝ‬شاف‪ٞ‬بی ثذ‪ ٖٚ‬د‪ٚ‬س داس٘ذ ث‪ ٝ‬وبس ٌشفتس ‪٘ ٚ‬یعبصی ثع‪ ٝ‬ییع‪ ٝ‬ای‬
‫ث‪ٛ‬دٖ سبختبس ٌشاف ٘یهت‪ .‬ثشای شجى‪ٞٝ‬بیی و‪ ٝ‬یی‪ ٝ‬ای ٘یهت‪ٙ‬ذ ساثـ‪ٝ‬ی ٔحبسج‪ٝ‬ی ‪ δ‬ثشای تٕبٔی ‪ٚ‬اقذ ‪ٞ‬بی ٔیب٘ی ث‪ ٝ‬فشْ صیش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪:‬‬

‫𝛿‬ ‫∑‬ ‫𝛿‬

‫دس ساثـ‪ٝ‬ی ف‪ٛ‬ق )‪ٔ Downstream(r‬دٕ‪ٛ‬ع‪ٝ‬ی تٕبٔی ‪ٚ‬اقذ‪ٞ‬بیی است و‪ ٝ‬ث‪ ٝ‬ؿ‪ٛ‬س ٔهتمیٓ اص ‪ٚ‬اقذ ‪ٚ r‬س‪ٚ‬دی دسیبفت ٔیو‪ٙٙ‬ذ یعب ثع‪ ٝ‬عجعبست‬
‫دیٍش تٕبٔی ‪ٚ‬اقذ‪ٞ‬بیی و‪ٔ ٝ‬هتمیٕبً پبییٗ ‪ٞ r‬هت‪ٙ‬ذ‪ .‬دس لهٕت ثعذی ثشای ٔحبسجبت اص ایٗ فشْ استفبد‪ٔ ٜ‬یو‪ٙ‬یٓ‪.‬‬

‫‪ 4.5.4‬اضتمبق لبنون ‪Backpropagation‬‬

‫دس ایٗ ثخش ث‪ٔ ٝ‬شتك ساثـ‪ٝ‬ی تغییش ‪ٚ‬صٖ دس لب٘‪ٔ Backpropagation ٖٛ‬یپشداصیٓ‪ٔ .‬یت‪ٛ‬ا٘یذ دس ا‪ِٚ‬یٗ خ‪ٛ‬ا٘ذٖ ایٗ وتعبة ایعٗ لهعٕت سا‬
‫٘خ‪ٛ‬ا٘یذ!‬

‫دس ای‪ٙ‬دب ٔب ث‪ ٝ‬اشتمبق ساثـ‪ٝ‬ی شیت ٘ض‪ َٚ‬تظبدفی استفبد‪ ٜ‬شذ‪ ٜ‬دس خذ‪ٔ 4.2 َٚ‬یپشداصیٓ‪ .‬ثب ت‪ٛ‬خع‪ ٝ‬ثع‪ ٝ‬ساثـع‪ٝ‬ی ‪ 4.11‬داسیعٓ وع‪ ٝ‬شعیت ٘عض‪َٚ‬‬
‫سا ث‪ ٝ‬ؿ‪ٛ‬س ٔدضا وٓ ٔیو‪ٙ‬ذ‪ .‬ث‪ ٝ‬عجبست دیٍشس ثعشای ‪ٞ‬عش ٕ٘‪٘ٛ‬ع‪ٝ‬‬ ‫تظبدفی ث‪ٞ ٝ‬ش ٕ٘‪ ٝ٘ٛ‬ث‪ ٝ‬ؿ‪ٛ‬س خذاٌب٘‪ٍ٘ ٝ‬ب‪ٔ ٜ‬یو‪ٙ‬ذ ‪ ٚ‬ثشای ‪ٞ‬ش ٕ٘‪ d ٝ٘ٛ‬خـبی‬
‫تغییش ٔی و‪ٙ‬ذ‪:‬‬ ‫ثب اػبف‪ ٝ‬وشدٖ‬ ‫آٔ‪ٛ‬صشی ‪ٞ d‬ش ‪ٚ‬صٖ‬

‫ؿجك تعشیف خـبی ٕ٘‪ d ٝ٘ٛ‬است و‪ ٝ‬ثشای تٕبْ خش‪ٚ‬خی‪ٞ‬بی شجى‪ٔ ٝ‬حبسج‪ ٚ ٝ‬خٕ صد‪ ٜ‬شذ‪ ٜ‬است‪:‬‬ ‫و‪ ٝ‬دس آٖ‬

‫⃗⃗‬ ‫∑‬

‫ٔمعذاس‬ ‫ٔمذاس تبث ‪ٞ‬ذف ثعشای خش‪ٚ‬خعی ‪ k‬اْ ‪ٕ٘ٛ٘ ٚ‬ع‪ ٝ‬آٔ‪ٛ‬صشعی ‪ٚ d‬‬ ‫دس ایٗ ساثـ‪ٔ outputs ٝ‬دٕ‪ٛ‬ع‪ٝ‬ی ‪ٚ‬اقذ ‪ٞ‬بی خش‪ٚ‬خی دس شجى‪ٝ‬س‬
‫خش‪ٚ‬خی ‪ٚ‬اقذ ‪ k‬اْ دس شجى‪ ٝ‬ثشای ٕ٘‪ d ٝ٘ٛ‬است‪.‬‬

‫اشتمبق لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬تظبدفی اص ٘ظش ٔف‪ٟٔٛ‬ی آسبٖ است أب ٘یبص ث‪ ٝ‬ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ا٘ذیس‪ٞ‬ب ‪ٔ ٚ‬تغیش‪ٞ‬ب داسد‪ .‬دس ای‪ٙ‬دب اص ‪ٕٞ‬عبٖ ٕ٘عبیش شعىُ ‪4.6‬‬
‫استفبد‪ٔ ٜ‬یو‪ٙ‬یٓ ثب ایٗ تفب‪ٚ‬ت و‪ ٝ‬ا٘ذیس ‪ j‬سا ثشای ٕ٘بیش ‪ j‬أیٗ ‪ٚ‬اقذ شجى‪ ٝ‬اػبف‪ٔ ٝ‬یو‪ٙ‬یٓ‪:‬‬

‫; ‪ i‬أیٗ ‪ٚ‬س‪ٚ‬دی ث‪ٚ ٝ‬اقذ ‪j‬‬ ‫‪‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫; ‪ٚ‬صٖ ٔشث‪ٛ‬ؿ‪ٝ‬ی ‪ i‬أیٗ ‪ٚ‬س‪ٚ‬دی ث‪ٚ ٝ‬اقذ ‪j‬‬ ‫‪‬‬

‫‪ٔ$‬دٕ‪ٚ ٛ‬صٖ داس ‪ٚ‬س‪ٚ‬دی ‪ٞ‬بی ‪ٚ‬اقذ ‪#j‬‬ ‫∑‬ ‫‪‬‬
‫; خش‪ٚ‬خی ٔحبسج‪ ٝ‬شذ‪ ٜ‬ثشای ‪ٚ‬اقذ ‪j‬‬ ‫‪‬‬
‫‪ ; σ‬تبث سیٍٕ‪ٛ‬یذ‬ ‫‪‬‬
‫‪ٔ ; outputs‬دٕ‪ٛ‬ع‪ٝ‬ی ‪ٚ‬اقذ ‪ٞ‬بی خش‪ٚ‬خی دس یی‪ٝ‬ی آخش شجى‪ٝ‬‬ ‫‪‬‬
‫)‪ٔ ; Downstream(j‬دٕ‪ٛ‬ع‪ٝ‬ی تٕبٔی ‪ٚ‬اقذ‪ٞ‬بیی و‪ ٝ‬اص خش‪ٚ‬خی ‪ٚ‬اقذ ‪$ j‬دس ‪ٚ‬س‪ٚ‬دی‪ #‬استفبد‪ٔ ٜ‬یو‪ٙٙ‬ذ‬ ‫‪‬‬
‫سا ثشای لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬تظبدفی و‪ ٝ‬دس ساثـ‪ٝ‬ی ‪ 4.21‬آٔذ‪ٔ ٜ‬حبسج‪ٔ ٝ‬یو‪ٙ‬یٓ‪ .‬ثشای شش‪ ٚ‬س ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ وع‪ٚ ٝ‬صٖ‬ ‫قبَ ٔمذاس عجبست‬
‫ثش شجى‪ ٝ‬اثش ثٍزاسد‪ .‬پس ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬لبعذ‪ٜ‬ی ص٘دیش‪ ٜ‬ای ٔشتك داسیٓ‪:‬‬ ‫فمؾ اص ؿشیك‬

‫سا ث‪ ٝ‬ؿشص لبثُ لج‪ِٛ‬ی ثیبٖ و‪ٙ‬یٓ‪ .‬د‪ ٚ‬قبِت سا دس ٘ظش ٔیٌیشیٓ‪ :‬قبِتی و‪ٚ ٝ‬اقعذ ‪ٚ j‬اقعذی‬ ‫ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ساثـ‪ٝ‬ی ‪4.22‬س فمؾ وبفی است و‪ٝ‬‬
‫خش‪ٚ‬خی است ‪ ٚ‬قبِتی و‪ٚ ٝ‬اقذ ‪ٚ j‬اقذی داخّی است‪.‬‬

‫ٔیت‪ٛ‬ا٘ذ ثش ثمی‪ٝ‬ی شعجى‪ ٝ‬تعأثیش‬ ‫فمؾ اص ؿشیك‬ ‫حالت اول‪ :‬قانون آموسش بزای واحد های خزوجی‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ٌ ٝ‬فت‪ ٝ‬شذ‬
‫ٔیت‪ٛ‬ا٘ذ ثش شجى‪ ٝ‬تأثیش ثٍزاسد‪ .‬ث‪ٙ‬بثشایٗ ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬لبعذ‪ٜ‬ی ص٘دیش‪ ٜ‬ای دس ٔشتك‪:‬‬ ‫٘یض فمؾ اص ؿشیك‬ ‫ثٍزاسد ‪ٚ‬‬

‫ثشای شش‪ ٚ‬س فمؾ خّٕ‪ٝ‬ی ا‪ َٚ‬ساثـ‪ٝ‬ی ‪ 4.23‬سا ٔحبسج‪ٔ ٝ‬یو‪ٙ‬یٓ‪:‬‬

‫∑‬

‫ثشای تٕبٔی خش‪ٚ‬خی‪ٞ‬بی ‪ k‬ث‪ ٝ‬خض ‪ j‬طفش است‪ .‬پس خ‪ٛ‬ا‪ٞ‬یٓ داشت‪:‬‬ ‫ٔمذاس ٔشتك‬

‫(‬ ‫)‬

‫(‬ ‫)‬

‫(‬ ‫)‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فمؾ ٔشتك تبث سیٍٕ‪ٛ‬یذ ث‪ ٝ‬اصای‬ ‫س ٔشتك‬ ‫قبی خّٕ‪ٝ‬ی د‪ ْٚ‬ساثـ‪ٝ‬ی ‪ 4.23‬سا ٔحبسج‪ٔ ٝ‬یو‪ٙ‬یٓ‪ .‬اص آ٘دبیی و‪ٝ‬‬

‫( (‪ .‬ث‪ٙ‬بثشایٗ‪:‬‬ ‫)‬ ‫(‬ ‫خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د ) )‬

‫(‬ ‫)‬

‫(‬ ‫)‬

‫ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬س‪ٚ‬اثؾ ‪ 4.24‬س ‪ 4.23 ٚ 4.25‬داسیٓ‪:‬‬

‫(‬ ‫( )‬ ‫)‬

‫ثب تشویت ایٗ ساثـ‪ ٝ‬ثب س‪ٚ‬اثؾ ‪ 4.22 ٚ 4.21‬لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬تظبدفی ثشای ‪ٚ‬اقذ ‪ٞ‬بی خش‪ٚ‬خی ثذست ٔیآیذ‪.‬‬

‫(‬ ‫( )‬ ‫)‬

‫ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬ایٗ لب٘‪ ٖٛ‬تغییش ‪ٚ‬صٖ‪ٞ‬ب ٔعبدَ ساثـ‪ٞ ٝ‬بی )‪ (T4.5) ٚ (T4.3‬دس خذ‪ 4.2 َٚ‬است‪ .‬عال‪ ٜٚ‬ثش ایٗ قبَ ٔعّ‪ ْٛ‬شذ و‪ٔ ٝ‬معذاس‬
‫استفبد‪ٔ ٜ‬ی و‪ٙ‬یٓ‪.‬‬ ‫است‪ .‬دس ادأ‪ٝ‬ی ایٗ لهٕت اص 𝛿 ث‪ ٝ‬خبی‬ ‫𝛿 دس ساثـ‪ٝ‬ی )‪ٔ (T4.3‬هب‪ٚ‬ی وٕیت‬

‫حالت دوم‪ :‬قانون آموسش بزای واحد های پنهان‪ .‬دس ایٗ قبِت ‪ٚ‬اقذ ‪ٚ j‬اقذی پ‪ٟٙ‬بٖ یب داخّی استس دس ٔشتك ٌیشی اص لب٘‪ ٖٛ‬آٔع‪ٛ‬صش‬
‫تبثیش خ‪ٛ‬ا‪ٞ‬ذ داشت‪ .‬ث‪ٕٞ ٝ‬یٗ دِیُس ثذ ٘یهت و‪ٝ‬‬ ‫ثش خش‪ٚ‬خی شجى‪ٔ ٚ ٝ‬تعبلجبً خـبی‬ ‫ثبیذ ت‪ٛ‬خ‪ ٝ‬داشت و‪ ٝ‬ث‪ ٝ‬ؿ‪ٛ‬س غیش ٔهتمیٓ‬ ‫ثشای‬
‫ث‪ ٝ‬تٕبٔی ‪ٚ‬اقذ‪ٞ‬بیی و‪ٔ ٝ‬هتمیٕبً اص ‪ٚ j‬س‪ٚ‬دی دسیبفت ٔیو‪ٙٙ‬ذ اسٕی اؿالق و‪ٙ‬یٓ‪ .‬ایٗ دست‪ ٝ‬اص ‪ٚ‬اقذ‪ٞ‬ب سا ثعب )‪ٕ٘ Downstream(j‬عبد ٌعزاسی‬
‫تبثیش ثٍزاسد‪ .‬ث‪ٙ‬بثشایٗ داسیٓ‪:‬‬ ‫فمؾ اص ؿشیك )‪ٔ Downstream(j‬یت‪ٛ‬ا٘ذ ثش س‪ٚ‬ی خش‪ٚ‬خی‪ٞ‬ب ‪ٔ ٚ‬تعبلجبً‬ ‫ٔیو‪ٙ‬یٓ‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ٝ‬‬

‫∑‬

‫∑‬ ‫𝛿‬

‫∑‬ ‫𝛿‬

‫∑‬ ‫𝛿‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫∑‬ ‫𝛿‬ ‫(‬ ‫)‬

‫داسیٓ‪:‬‬ ‫ثب ثبص٘‪ٛ‬یهیای ساثـ‪ ٚ ٝ‬استفبد‪ ٜ‬اص 𝛿 ث‪ ٝ‬خبی‬

‫𝛿‬ ‫(‬ ‫)‬ ‫∑‬ ‫𝛿‬

‫‪ٚ‬‬

‫𝛿‬

‫و‪ ٝ‬دلیمبً ‪ٕٞ‬بٖ لب٘‪ ٖٛ‬وّیای است و‪ ٝ‬دس ساثـ‪ٝ‬ی )‪ (4.20‬آٔذ‪ .ٜ‬اص ایٗ ساثـ‪ٔ ٝ‬یت‪ٛ‬اٖ ثشای آٔ‪ٛ‬صش تٕبٔی ‪ٚ‬اقذ‪ٞ‬بی پ‪ٟٙ‬بٖ دس شجى‪ٞ ٝ‬بی ثذ‪ٖٚ‬‬
‫د‪ٚ‬س دِخعع‪ٛ‬ا‪ ٜ‬اسععتفبد‪ ٜ‬وععشد‪ .‬ت‪ٛ‬خعع‪ ٝ‬داشععت‪ ٝ‬ثبشععیذ وعع‪ ٝ‬ساثـعع‪ٝ‬ی )‪ (T4.4‬دس خععذ‪ 4.2 َٚ‬قبِععت خبطععی اص ‪ٕٞ‬ععیٗ لععب٘‪ ٖٛ‬اسععت وعع‪ٝ‬‬
‫‪.Downsteam(j)=outputs‬‬

‫‪ 1.4‬نکاتی در هورد الگوریتن ‪Backpropagation‬‬

‫‪ 4.6.1‬همگزایی و مینمم نسجی‬

‫‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس ثبی ٘یض ٌفت‪ ٝ‬شذس اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬اص شیت ٘ض‪ َٚ‬ثشای خهتد‪ٛ‬ی فؼبی ‪ٚ‬صٖ‪ٞ‬بی ٕٔىٗ استفبد‪ٔ ٜ‬عیو‪ٙ‬عذ ‪ٚ‬‬
‫دس ‪ٞ‬ش ثبس اخشای قّم‪ٔ ٝ‬مذاس خـبی ‪$ E‬اختالف ثیٗ تبث ‪ٞ‬ذف ‪ ٚ‬خش‪ٚ‬خی‪ #‬سا وٕتش ٔیو‪ٙ‬ذ‪ .‬چ‪ ٖٛ‬سـح خـب ثشای شجى‪ٞ ٝ‬عبی چ‪ٙ‬عذ ییع‪ٕٔ ٝ‬ىعٗ‬
‫است چ‪ٙ‬ذیٗ ٔی‪ٙ‬یٕٓ ٘هجی داشت‪ ٝ‬ثبشذس ایٗ أىبٖ ‪ٚ‬خ‪ٛ‬د داسد و‪ ٝ‬شیت ٘ض‪ َٚ‬دس یىی اص ایٗ ٔی‪ٞ ٕٓٙ‬بی ٘هجی ث‪ ٝ‬داْ ثیفتذ ‪ٞ ٚ‬یچ تؼٕی‪ٙ‬ی ٘یهت‬
‫و‪ ٝ‬ایٗ ٔی‪ٙ‬یٕٓ ٘هجی ‪ٕٞ‬بٖ ٔی‪ٙ‬یٕٓ ٔـّك ثشای ‪ E‬ثبشذ‪.‬‬

‫ثش خالف ایٗ ػعف اٍِ‪ٛ‬سیتٓ ‪Backpropagation‬س ایٗ اٍِ‪ٛ‬سیتٓ دس عُٕ ٔتذ تمشیجی ثهیبس ٔفیذی اسعت‪ .‬دس ثهعیبس اص وبسثشد‪ٞ‬عبی ‪ٚ‬الععی‬
‫ٔشىُ ٔی‪ٞ ٕٓٙ‬بی ٘ظجی ث‪ ٝ‬ا٘ذاص‪ ٜ‬ای و‪ٌ ٝ‬فت‪ ٝ‬شذ شذیذ ٘یهت‪ .‬ثشای دسن ٔهتمیٓس شجى‪ٞٝ‬بیی ثب تعذاد صیبدی اص ‪ٚ‬صٖ‪ٞ‬ب دس فؼعبی خـعبیی ثعب‬
‫ثعذ صیبد سا دس ٘ظش ثٍیشیذ ‪$‬ث‪ ٝ‬اصای ‪ٞ‬ش ‪ٚ‬صٖ یه ثعذ اػبف‪ٔ ٝ‬یش‪ٛ‬د‪ .#‬صٔب٘ی و‪ ٝ‬شیت ٘ض‪ َٚ‬داخُ یىی اص ایٗ ٔی‪ٞ ٕٓٙ‬بی ٘هجی ٔیافتعذس ٔی‪ٙ‬عیٕٓ‬
‫یىی اص ‪ٚ‬صٖ‪ٞ‬بستس ثشای دیٍش ‪ٚ‬صٖ‪ٞ‬ب داخُ ٔی‪ٙ‬یٕٓ ٘هجی ٘خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس ‪ٚ‬ال س صٔب٘ی و‪ ٝ‬تعذاد ‪ٚ‬صٖ‪ٞ‬ب دس شجى‪ ٝ‬افضایش ٔییبثعذ ٔت‪ٙ‬بسعجبً تععذاد‬
‫‪ٚ‬صٖ‪ٞ‬ب ‪ ٚ‬ثعذ‪ٞ‬ب ٘یض افضایش یبفت‪ ٚ ٝ‬أىبٖ ‪ٚ‬خ‪ٛ‬د سا‪ ٜ‬فشاس اص ٔی‪ٙ‬یٕٓ ٘هجی ٘یض افضایش ٔییبثذ‪.‬‬

‫ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٘هجی خ‪ٙ‬ج‪ٝ‬ی دیٍشی ٘یض داس٘ذ ‪ ٚ‬ایٗ تأثیش ‪ٍٙٞ‬بٔی و‪ ٝ‬تعذاد تىشاس ‪ٞ‬بی قّم‪ٝ‬ی اٍِ‪ٛ‬سیتٓ افضایش ٔییبثذ ظب‪ٞ‬ش ٔیش‪ٛ‬د‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیعذ‬
‫و‪ ٝ‬اٌش ثشای ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٚ ٝ‬صٖ‪ٞ‬ب ٔمذاس طفش سا ا٘تخبة و‪ٙ‬یٓس شیت ٘ض‪ َٚ‬دس لذْ‪ٞ‬بی ا‪ َٚ‬اخشایش ث‪ ٝ‬تبثعی ثهیبس ‪ٕٛٞ‬اس ‪ٍٕٞ‬شا ٔیشع‪ٛ‬د وع‪ٝ‬‬
‫تمشیجبً خـی است‪ .‬دِیُ ایٗ أش ایٗ است و‪ ٝ‬تبث سیٍٕ‪ٛ‬یذ ٘یض دس صٔب٘ی و‪ٚ ٝ‬صٖ‪ٞ‬ب ٘ضدیه ث‪ ٝ‬طفش٘ذ تمشیجی خـی است ‪$‬شىُ تعبث سعیٍٕ‪ٛ‬یذ‬
‫دس شىُ ‪ 4.6‬آٔذ‪ ٜ‬است‪ .#‬فمؾ ‪ٍٙٞ‬بٔی و‪ٚ ٝ‬صٖ‪ٞ‬ب صٔبٖ وبفی ثشای ث‪ ٝ‬ا٘ذاص‪ ٜ‬ای وبفی ثضسي شذٖ سا داشت‪ ٝ‬ثبش‪ٙ‬ذ ٔیت‪ٛ‬ا٘‪ٙ‬ذ ث‪٘ ٝ‬مـ‪ ٝ‬ای ثشس‪ٙ‬ذ و‪ٝ‬‬
‫ت‪ٛ‬اث شجى‪ ٝ‬غیش خـی سا ٘یض تمّیذ و‪ٙٙ‬ذ‪ٔ .‬یت‪ٛ‬ا٘یٓ تظ‪ٛ‬س و‪ٙ‬یٓ و‪ ٝ‬صٔب٘ی و‪ ٝ‬تعذاد ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٘هجی صیبدی دس فؼبی ‪ٚ‬صٖ‪ٞ‬ب صیعبد اسعت شعجى‪ٝ‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ت‪ٛ‬اث پیچیذ‪ ٜ‬تشی سا ٔیت‪ٛ‬ا٘ذ تمّیذ و‪ٙ‬ذ‪ٔ ٚ .‬یت‪ٛ‬اٖ أیذ داشت و‪ ٝ‬صٔب٘ی و‪ٚ ٝ‬صٖ‪ٞ‬ب ث‪ ٝ‬چ‪ٙ‬یٗ ٘مبؿی ٔیسس‪ٙ‬ذس ث‪ ٝ‬ا٘ذاص‪ٜ‬ی وبفی ث‪ٔ ٝ‬ی‪ٙ‬عیٕٓ ٔـّعك‬
‫٘ضدیه شذ‪ٜ‬ایٓ‪.‬‬

‫ثش خالف آ٘چ‪ ٝ‬دس ثبی ٌفت‪ ٝ‬شذس شیت ٘ض‪ َٚ‬ثشای سـ‪ٛ‬ح خـبی پیچیذ‪ ٜ‬تش لبثُ دسن ٘یهت ‪ٞ ٚ‬یچ ٔتذی ‪ٚ‬خ‪ٛ‬د ٘ذاسد و‪ ٝ‬ثب اؿٕی‪ٙ‬بٖ ٔ‪ٛ‬اسدی و‪ٝ‬‬
‫ٔی‪ٙ‬یٕٓ ٔـّك ٔشىُ سبص ٔیش‪ٛ‬د سا ٔشخض و‪ٙ‬ذ‪ .‬ایذ‪ٜٞ‬بیی و‪ ٝ‬ثشای قُ ٔشىُ ٔی‪ٙ‬یٕٓ ٘هجی اسائ‪ ٝ‬شذ‪ ٜ‬ث‪ ٝ‬ششح صیش است‪:‬‬

‫اػبف‪ ٝ‬وشدٖ خّٕ‪ٝ‬ی تىب٘‪ ٝ‬ث‪ ٝ‬ساثـ‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب ‪$‬استفبد‪ ٜ‬اص ٔعبدِ‪ٝ‬ی ‪ .#4.18‬دس ثعؼی ٔ‪ٛ‬اسد استفبد‪ ٜ‬اص ایٗ س‪ٚ‬ش ٔیت‪ٛ‬ا٘عذ شعیت‬ ‫‪‬‬
‫٘ض‪ َٚ‬سا اص یه ٔی‪ٙ‬یٕٓ ٔ‪ٛ‬ػعی ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ٔـّك ثجشد ‪ ٚ$‬دس ثعؼی ٔ‪ٛ‬اسد ٘یض ثشعىس ٔیت‪ٛ‬ا٘ذ ٔب سا اص ٔی‪ٙ‬یٕٓ ٔـّك ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ ٔ‪ٛ‬ػعی‬
‫ثىشب٘ذ‪#‬‬
‫استفبد‪ ٜ‬اص شیت ٘ض‪ َٚ‬تظبدفی ث‪ ٝ‬خبی خ‪ٛ‬د شیت ٘ض‪ٕٞ .َٚ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬دس ثخش ‪٘ 4.4.3.3‬یض ٌفت‪ ٝ‬شذ‪ ٜ‬شیت ٘ض‪ َٚ‬تظبدفی تخٕی‪ٙ‬عی‬ ‫‪‬‬
‫ٔفیذ اص شیت ٘ض‪ َٚ‬داسد و‪ ٝ‬خـبی دیٍشی سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬وٓ ٔیو‪ٙ‬ذس ‪ ٚ‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ٔ ٝ‬یبٍ٘یٗ ایٗ خـب‪ٞ‬ب ‪ ٚ‬وُ ٕ٘‪ٞٝ٘ٛ‬عب ٌشادیعبٖ سا‬
‫تخٕیٗ ٔیص٘ذ‪ .‬ایٗ سـ‪ٛ‬ح ٔختّف خـب ٔعٕ‪ٛ‬یً ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٘هجی ٔختّفی داس٘ذ ‪ٔ ٚ‬عٕ‪ٛ‬یً اٍِ‪ٛ‬سیتٓ دس آٖ‪ٞ‬ب ث‪ ٝ‬داْ ٕ٘یافتذ‪.‬‬
‫آٔ‪ٛ‬صش چ‪ٙ‬ذیٗ شجى‪ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی یىهبٖس ٔمبدیش ٔختّف تظبدفی ‪ٚ‬صٖ‪ٞ‬ب دس اثتذای ‪ٞ‬عش آٔع‪ٛ‬صش‪ .‬اٌعش ایعٗ چ‪ٙ‬عذ آٔع‪ٛ‬صش‬ ‫‪‬‬
‫ٔختّف ث‪ ٝ‬چ‪ٙ‬ذ ٔی‪ٙ‬یٕٓ ٔ‪ٛ‬ػعی ٔختّف دس خـب‪ٞ‬ب ثشسذس آٍ٘ب‪ٔ ٜ‬یت‪ٛ‬اٖ شجى‪ ٝ‬ای سا ا٘تخعبة وعشد وع‪ٔ ٝ‬یع‪ٛٔ ٕٓٙ‬ػععی وٕتعشی داسد‪.‬‬
‫ٔت‪ٙ‬ب‪ٚ‬ثبًس ٔیت‪ٛ‬اٖ تٕبٔی شجى‪ٞٝ‬ب سا د‪ٚ‬ثبس‪ ٜ‬آٔ‪ٛ‬صش داد ‪ ٚ‬ث‪ ٝ‬ع‪ٛٙ‬اٖ "وٕیت‪ "1ٝ‬یب ٔدٕ‪ٛ‬ع‪ ٝ‬ای اص شجى‪ٞٝ‬عب وع‪ ٝ‬خش‪ٚ‬خعی آٖ‪ٞ‬عب ٔت‪ٛ‬سعؾ‬
‫خش‪ٚ‬خی شجى‪ٞ ٝ‬بی ٘ظیش است استفبد‪ ٜ‬وشد‪.‬‬

‫‪ 4.6.4‬معزفی لذرت ضجکه هبی تک سویه‬

‫چ‪ ٝ‬ت‪ٛ‬اثعی سا ٔیت‪ٛ‬اٖ ث‪ ٝ‬شجى‪ٞ ٝ‬بی ته س‪ٛ‬ی‪ ٝ‬آٔ‪ٛ‬صش داد؟ اِجت‪ ٝ‬خ‪ٛ‬اة ایٗ سؤاَ ث‪ ٝ‬عٕك‪ ٚ 2‬پ‪ٟٙ‬بی‪ 3‬شجى‪ٚ ٝ‬اثهت‪ ٝ‬است‪ .‬ثب ‪ٚ‬خع‪ٛ‬د ای‪ٙ‬ىع‪ٙٞ ٝ‬ع‪ٛ‬ص‬
‫‪ٞ‬یچ اؿالعبتی وبُٔ دس ٔ‪ٛ‬سد ای‪ٙ‬ى‪ ٝ‬چ‪ ٝ‬دست‪ ٝ‬ت‪ٛ‬اثعی سا ٔیت‪ٛ‬اٖ ث‪ ٝ‬چ‪ ٝ‬شجى‪ٞٝ‬بیی آٔ‪ٛ‬صش داد دس دستشس ٘یهتس أب س‪ ٝ‬دست‪ ٝ‬تبث ثخظع‪ٛ‬ص سا‬
‫ٔیت‪ٛ‬اٖ ث‪ ٝ‬ایٗ ٘‪ ٛ‬شجى‪ٞٝ‬ب آٔ‪ٛ‬صش داد‪:‬‬

‫ت‪ٛ‬اث ٔ‪ٙ‬ـمی‪ٞ .‬ش تبث ٔ‪ٙ‬ـمی سا ٔیت‪ٛ‬اٖ ثب شجى‪ٞ ٝ‬بی د‪ ٚ‬یی‪ ٝ‬یبد ٌشفتس أب ثب دس ثذتشیٗ قبِت‪ 4‬ایٗ ‪ٚ‬خ‪ٛ‬د تعذاد ٌش‪ٞ ٜ‬بی پ‪ٟٙ‬عبٖ ثعب‬ ‫‪‬‬
‫افضایش ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی ث‪ ٝ‬ط‪ٛ‬ست ٕ٘بیی ثبی ٔیس‪ٚ‬د‪ .‬ثشای ٔعّ‪ ْٛ‬شذٖ ایٗ ت‪ٛ‬ا٘بییس تبث ٔ‪ٙ‬ـمی دِخ‪ٛ‬ا‪ٞ‬ی سا دس ٘ظش ثٍیشیذس ثع‪ ٝ‬اصای ‪ٞ‬عش‬
‫ثشداس ثخظ‪ٛ‬ص اص ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ‪ٚ‬اقذ پ‪ٟٙ‬ب٘ی سا دس ٘ظش ثٍیشیذ و‪ٚ ٝ‬صٖ‪ٞ‬بیش ث‪ ٝ‬شىّی ‪ٞ‬هت‪ٙ‬ذ وع‪ ٝ‬ت‪ٟٙ‬عب ثعب آٖ ‪ٚ‬س‪ٚ‬دی ثخظع‪ٛ‬ص ت‪ٟ‬یعیح‬
‫ٔیش‪ٛ‬د‪ .‬ثب چ‪ٙ‬یٗ سبختبس ‪ ٚ‬آٔ‪ٛ‬صشیس شجى‪ ٝ‬ای ث‪ٚ ٝ‬خ‪ٛ‬د ٔیآیذ و‪ ٝ‬دس یی‪ٝ‬ی پ‪ٟٙ‬بٖ آٖ ‪ٕٞ‬یش‪ ٝ‬یه ‪ٚ‬اقذ فعبَ است‪ .‬قبَ ثب استفبد‪ ٜ‬اص‬
‫‪ٚ‬اقذ ‪ٞ‬بی ‪ OR‬ثشای خش‪ٚ‬خی شجى‪ ٝ‬ای ث‪ ٝ‬سبصیذ و‪ ٝ‬ث‪ ٝ‬اصای ٔمبدیش ٔختّف یی‪ٝ‬ی پ‪ٟٙ‬بٖ خش‪ٚ‬خی ٔت‪ٙ‬بست سا ثذ‪ٞ‬ذ‪.‬‬
‫ت‪ٛ‬اث پی‪ٛ‬ست‪ٞ .ٝ‬ش تبث وشاٖ داس پی‪ٛ‬ست‪ ٝ‬سا ٔیت‪ٛ‬اٖ ثب ٔمذاسی خـبی دِخ‪ٛ‬ا‪$ ٜ‬وٕتش اص قذ دِخ‪ٛ‬ا‪ ٜ‬خبطی‪ #‬ثب شجى‪ٝ‬ی د‪ ٚ‬یی‪ ٝ‬یبد ٌشفعت‬ ‫‪‬‬
‫)‪ .(Cybenko 1989;Hornic et al 1989‬چ‪ٙ‬یٗ شجى‪ٞٝ‬بیی دس یی‪ٝ‬ی پ‪ٟٙ‬بٖ ‪ٚ‬اقذ سیٍٕ‪ٛ‬یذ ‪ ٚ‬دس یی‪ٝ‬ی خش‪ٚ‬خی ‪ٚ‬اقذ خـی‬
‫‪$‬ثذ‪ٔ ٖٚ‬مذاس آستب٘‪ #ٝ‬داس٘ذ‪ .‬تعذاد ‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ یصْ ث‪ ٝ‬تبث ثهتٍی داسد‪.‬‬

‫‪1‬‬
‫‪comettee‬‬
‫‪2‬‬
‫‪depth‬‬
‫‪3‬‬
‫‪width‬‬
‫‪4‬‬
‫‪worse case‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ت‪ٛ‬اث دِخ‪ٛ‬ا‪ٞ .ٜ‬ش تبث دِخ‪ٛ‬ا‪ٞ‬ی سا ٔیت‪ٛ‬اٖ ثب دلت دِخ‪ٛ‬ا‪ ٜ‬ت‪ٛ‬سؾ شعجى‪ ٝ‬ای ثعب ‪ 3‬ییع‪ ٝ‬یعبد ٌشفعت )‪ .(Cybenko 1988‬ثعبص ‪ٞ‬عٓ‬ ‫‪‬‬
‫‪ٚ‬اقذ‪ٞ‬بی خش‪ٚ‬خی ‪ٚ‬اقذ خـی ‪ٚ ٚ‬اقذ ‪ٞ‬بی یی‪ٞ ٝ‬بی پ‪ٟٙ‬بٖ ‪ٚ‬اقذ سیٍٕ‪ٛ‬یذ ‪ٞ‬هت‪ٙ‬ذ‪ .‬ثبص ‪ ٓٞ‬دس قبِت وّی ٔعّ‪٘ ْٛ‬یهت و‪ٞ ٝ‬ش یی‪ ٝ‬چ‪ٙ‬ذ‬
‫‪ٚ‬اقذ ٘یبص داسد‪ .‬اثجبت ایٗ لؼی‪ ٝ‬ثب استفبد‪ ٜ‬اص ایٗ است و‪٘ ٝ‬شبٖ ٔید‪ٙٞ‬ذ ‪ٞ‬ش تبثعی سا ٔیت‪ٛ‬اٖ ثب تشویت ت‪ٛ‬اثع خـعیای وع‪ ٝ‬فمعؾ دس‬
‫ٔحذ‪ٚ‬د‪ ٜ‬ای غیش طفش٘ذ ٘شبٖ داد‪ .‬دس ادأ‪ٝ‬ی اثجبت ثبثت ٔیو‪ٙٙ‬ذ و‪ ٝ‬د‪ ٚ‬یی‪ٚ ٝ‬اقذ سیٍٕ‪ٛ‬یذ وبفی است تب تمشیت خـی سا ثعشای ‪ٞ‬عش‬
‫ٔحذ‪ٚ‬د‪ٜ‬ی و‪ٛ‬چىی ٘شبٖ د‪ٙٞ‬ذ‪.‬‬
‫ایععٗ ٘تععبیح ثعع‪ ٝ‬دسععت آٔععذ‪٘ ٜ‬شععبٖ ٔ عید‪ٞ‬ععذ وعع‪ ٝ‬شععجى‪ٞ ٝ‬ععبی تععه سعع‪ٛ‬ی‪ ٝ‬ثععب عٕععك ٔحععذ‪ٚ‬د فؼععبی فشػععی‪ ٝ‬ای شععبّٔی ثععشای اٍِعع‪ٛ‬سیتٓ‬
‫‪ Backpropagation‬ایدبد ٔیو‪ٙٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د ثذ ٘یهت ‪ٕٞ‬یش‪ ٝ‬دس ٘ظش داشت‪ ٝ‬ثبشیٓ و‪ ٝ‬ثشداس ‪ٚ‬صٖ‪ٞ‬بیی و‪ ٝ‬اص ؿشیك اٍِ‪ٛ‬سیتٓ شیت ٘ض‪َٚ‬‬
‫اص ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ثذست ٔیآی‪ٙ‬ذ ‪ٕٞ‬یش‪ ٝ‬تٕبٔی ثشداس ‪ٚ‬صٖ‪ٞ‬بی ٕٔىٗ سا دس ثش ٘ذاس٘ذ‪ .‬دس وتبة )‪ (Hertz et al. 1991‬دسثبس‪ٜ‬ی ٔع‪ٛ‬اسد ثعبی‬
‫ثیشتش ثح شذ‪ ٜ‬است‪.‬‬

‫‪ 4.6.4‬جستجو در فضبی فزضیههب و ثبیبس استمزایی‬

‫ثذ ٘یهت و‪ ٝ‬فؼبی فشػی‪ ٝ‬ای قبطُ اص خهتد‪ٛ‬ی اٍِع‪ٛ‬سیتٓ ‪ Backpropagation‬سا ثعب خهعتد‪ٛ‬ی دیٍعش اٍِع‪ٛ‬سیتٓ‪ٞ‬عب ٔمبیهع‪ ٝ‬و‪ٙ‬عیٓ‪ .‬دس‬
‫‪ٞ Backpropagation‬ش ثشداس ‪ٚ‬صٖ‪ٞ‬ب یه فشػی‪ ٝ‬سا تشىیُ ٔید‪ٞ‬ذ و‪ٕٔ ٝ‬ىٗ است ت‪ٛ‬سؾ یبدٌیش یبد ٌشفت‪ ٝ‬ش‪ٛ‬د‪ .‬ث‪ ٝ‬عجبست دیٍعشس فؼعبی‬
‫فشػی‪ ٝ‬ای فؼبیی ‪ n‬ثعذی الّیذسی است و‪ ٝ‬ثش پبی‪ٝ‬ی ‪ n‬ثشداس پبی‪ ٝ‬ایدبد ٔیش‪ٛ‬د‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ فؼعبی فشػعی‪ ٝ‬ای پی‪ٛ‬سعت‪ ٝ‬اسعت أعب دس‬
‫ٔمبثُ فؼبی فشػی‪ ٝ‬ای دسخت یبدٌیشی ‪ ٚ‬ثمی‪ٝ‬ی ٔتذ‪ٞ‬ب ٌههت‪ٞ ٝ‬هت‪ٙ‬ذ‪ .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬پی‪ٛ‬ستٍی فؼبی فشػی‪ ٝ‬ای ‪ ٚ‬ای‪ٙ‬ى‪ٔ E ٝ‬شتك پزیش است ‪$‬صیشا‬
‫و‪ٔ ٝ‬تغیش‪ٞ‬بیش پی‪ٛ‬ست‪ٝ‬ا٘ذ ‪#‬س پس خـبی تعشیف شذ‪ٌ ٜ‬شادیبٖ داسد و‪ٕٞ ٝ‬یٗ ٌشادیبٖ وٕه ثهیبس ثضسٌی دس سعبصٔب٘ذ‪ٞ‬ی خهعتد‪ٔ ٛ‬عیو‪ٙ‬عذ‪ .‬ایعٗ‬
‫سبختبس سبصٔب٘ذ‪ٞ‬ی ثب تشتیت وّیتشی ‪$‬و‪ ٝ‬دس یبدٌیشی ٔف‪ٕ٘ ْٟٛ‬بدیٗ ث‪ٛ‬د‪ ٚ #‬تشتیت سبد‪ ٜ‬ث‪ ٝ‬پیچیذ‪$ ٜ‬و‪ ٝ‬دس دسخت تظٕیٓ ٌیشی اٍِع‪ٛ‬سیتٓ‪ٞ‬عبی‬
‫‪ C4.5 ٚ ID3‬ث‪ٛ‬د‪ #‬ثهیبس ٔتفب‪ٚ‬ت است‪.‬‬

‫ثبیبس استمشاییای و‪ Backpropagation ٝ‬ثشای استمشا س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی فشع ٔیو‪ٙ‬عذ چیهعت؟ دلیمعبً ٔشعخض وعشدٖ ثبیعبس‬
‫استمشایی ‪ٔ Backpropagation‬شىُ است صیشا و‪ ٝ‬ث‪ ٝ‬اثش ٔتمبثُ ثیٗ خهتد‪ٛ‬ی شیت ٘ض‪٘ ٚ َٚ‬ح‪ ٜٛ‬ای و‪ ٝ‬فؼبی ‪ٚ‬صٖ‪ٞ‬ب فؼبی ت‪ٛ‬اث لبثُ‬
‫ٕ٘بیش سا پ‪ٛ‬شش ٔید‪ٞ‬ذ ثهتٍی داسد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د ٔیت‪ٛ‬اٖ ایٗ ثبیبس استمشایی سا دس‪ ٖٚ‬یبثی ثیٗ ٘مبؽ داد‪ٜٞ‬ب دا٘هت‪ٔ .‬ثالً ثب داشتٗ د‪ٕ٘ٛ٘ ٚ‬ع‪ٝ‬‬
‫ٔثجتی و‪ٞ ٝ‬یچ ٕ٘‪ٙٔ ٝ٘ٛ‬فیای ثیٗ آٖ‪ٞ‬ب ٘یهتس ‪ Backpropagation‬تٕبیُ داسد و‪٘ ٝ‬مبؽ ٔیب٘ی ایٗ د‪٘ ٚ‬مـ‪ ٝ‬سا ٘یض ٔثجت دست‪ ٝ‬ث‪ٙ‬عذی و‪ٙ‬عذ‪.‬‬
‫چ‪ٙ‬یٗ سفتبسی سا ٔیت‪ٛ‬اٖ دس سـح تظٕیٓ ٌیشیای و‪ ٝ‬دس شىُ ‪ 4.5‬آٔذ‪ ٜ‬دیذس دس ایٗ شىُ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٔ‪ٙ‬ـم‪ٞ ٝ‬عبی تظعٕیٓ ٌیعشی سا‬
‫ٔعّ‪ٔ ْٛ‬یو‪ٙٙ‬ذ‪.‬‬

‫‪ 4.6.4‬معزفی الیهی پنهبن‬

‫یىی اص ‪ٚ‬یژٌی‪ٞ‬بی خبص ‪ Backpropagation‬ایٗ است و‪ ٝ‬دس یی‪ٝ‬ی پ‪ٟٙ‬بٖ دس داخُ شجى‪ٔ ٝ‬مبدیش ٔفیذی سا ٕ٘عبیش ٔعید‪ٞ‬عذ‪ .‬صیعشا وع‪ٝ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی فمؾ ٔمبدیش ‪ٚ‬س‪ٚ‬دی ‪ ٚ‬خش‪ٚ‬خی سا دس خ‪ٛ‬د داس٘ذ ‪ ٚ‬فشای‪ٙ‬ذ تغییش ‪ٚ‬صٖ‪ٞ‬ب آصاد است و‪ٔ ٝ‬مبدیش یی‪ٝ‬ی پ‪ٟٙ‬بٖ سا ث‪ ٝ‬دِخ‪ٛ‬ا‪ ٜ‬تغییش د‪ٞ‬ذ‬
‫تب خـب سا ٔی‪ٙ‬یٕٓ و‪ٙ‬ذ‪ٕٞ .‬یٗ آصادی ثبع ٔیش‪ٛ‬د دس یی‪ٞ ٝ‬بی پ‪ٟٙ‬بٖ ٔمبدیشی سا پیذا و‪ٙ‬ذ و‪ ٝ‬طشیحبً دس ٕ٘‪ٞٝ٘ٛ‬ب ثیبٖ ٘شذ‪ ٜ‬أعب ‪ٚ‬یژٌعی‪ٞ‬عبیی سا‬
‫ثیبٖ ٔیو‪ٙٙ‬ذ و‪ ٝ‬ثیشتشیٗ تأثیش سا دس یبدٌیشی تبث ‪ٞ‬ذف داس٘ذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای ٔثبَ شجى‪ٝ‬ی شىُ ‪ 4.7‬سا دس ٘ظش ثٍیشیذس دس ایٗ شجى‪ٚ 8 ٝ‬س‪ٚ‬دی ث‪ٚ 3 ٝ‬اقذ یی‪ٝ‬ی پ‪ٟٙ‬بٖ ‪ٚ‬طُ شذ‪ٜ‬ا٘عذ ‪ ٚ‬ایعٗ ‪ٚ 3‬اقعذ ٘یعض ثع‪ٚ 8 ٝ‬اقعذ‬
‫خش‪ٚ‬خی ٔتظُ ‪ٞ‬هت‪ٙ‬ذ‪ .‬ثخبؿش ایٗ سبختبسس س‪ٚ ٝ‬اقذ یی‪ٝ‬ی پ‪ٟٙ‬بٖ یصْ است ث‪ ٝ‬ط‪ٛ‬ستی ٔمبدیش ‪ٚ 8‬س‪ٚ‬دی سا ثب ‪ٚ‬یژٌی‪ٞ‬بی ٔشتجـی ثیبٖ و‪ٙٙ‬عذ تعب‬
‫دس ا٘ت‪ٟ‬ب ثت‪ٛ‬ا٘‪ٙ‬ذ ‪ٕٞ‬بٖ ٔمبدیش سا ث‪ ٝ‬ع‪ٛٙ‬اٖ خش‪ٚ‬خی ثذ‪ٙٞ‬ذ‪.‬‬

‫شىُ ‪ٔ 4.7‬مبدیش یی‪ٝ‬ی پ‪ٟٙ‬بٖ ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی‪.‬‬

‫ایٗ شجى‪ٝ‬ی ‪ 8x3x8‬ثب ‪ ٕٝ٘ٛ٘ 8‬و‪ ٝ‬دس شىُ است ثشای یبدٌیشی تبث ‪ٕٞ‬ب٘ی آٔ‪ٛ‬صش داد‪ ٜ‬شذ‪ ٜ‬است‪ .‬ثعذ اص ‪ 5000‬ثبس اخشای قّمع‪ٔ ٝ‬معبدیش ‪ٚ 3‬اقعذ پ‪ٟٙ‬عبٖ‬
‫ٔمبدیش ‪ٚ‬س‪ٚ‬دی سا ث‪ ٝ‬دسستی وذ ٔیو‪ٙٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ٔ ٝ‬مبدیش وذ شذ‪ ٜ‬سا ث‪ ٝ‬طفش ‪ ٚ‬یه ٌشد و‪ٙ‬یٓ ٘تید‪ ٝ‬وذ ثبی‪ٙ‬شی ثشای ‪ٞ‬شت ‪ٚ‬س‪ٚ‬دی خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪.‬‬
‫و‪ ٝ‬دس آٖ ثشداسی ثب ‪ٞ‬شت طفش ‪ ٚ‬یه یه اسعت دس ٘ظعش ثٍیشیعذ‪.‬‬ ‫شجى‪ٝ‬ی شىُ ‪ 4.7‬ثشای یبدٌیشی تبث ‪ٞ‬ذف ثهیبس سبد‪ٜ‬ی‬
‫شجى‪ ٝ‬ثبیذ یبد ثٍیشد تب ‪ٚ 8‬س‪ٚ‬دی سا د‪ٚ‬ثبس‪ ٜ‬ایدبد و‪ٙ‬ذ‪ .‬ثب ای‪ٙ‬ى‪ ٝ‬ایٗ تبث ‪ٞ‬ذف ثهیبس سبد‪ ٜ‬است أب ‪ٚ 3‬اقذ پ‪ٟٙ‬بٖ ثشای یبدٌیشی ایٗ تبث ثهیبس وٓ‬
‫است‪ .‬دس ایٗ ٔثبَ شجى‪ٔ ٝ‬دج‪ٛ‬س است ٔ‪ٟٓ‬تشیٗ اؿالعبت یصْ سا اص ؿشیك ایٗ س‪ٚ ٝ‬اقذ ث‪ ٝ‬سٕت خش‪ٚ‬خی‪ٞ‬بی ا٘تمبَ د‪ٞ‬ذ‪.‬‬

‫ثب استفبد‪ ٜ‬اص اٍِ‪ٛ‬سیتٓ ‪ٞ ٕٝ٘ٛ٘ ٚ Backpropagation‬بی آٔ‪ٛ‬صشی ٔشخض شذ‪ ٜ‬دس شىُ ایٗ تبث ‪ٞ‬ذف ث‪ ٝ‬شجى‪ ٝ‬یبد داد‪ ٜ‬شعذ‪ ٜ‬اسعت‪ .‬چع‪ٝ‬‬
‫ٕ٘بیشی اص ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ت‪ٛ‬سؾ شیت ٘ض‪ َٚ‬دس یی‪ٝ‬ی پ‪ٟٙ‬بٖ ٕ٘بیش داد‪ٔ ٜ‬یش‪ٛ‬د؟ ثب ثشسسی ثیشتش ٔشخض ٔیش‪ٛ‬د و‪ ٝ‬ایعٗ ٔمعبدیش وع‪ ٝ‬دس ییع‪ٝ‬ی‬
‫پ‪ٟٙ‬بٖ ظب‪ٞ‬ش ٔیش‪ٛ‬د ‪ٕٞ‬بٖ وذ آش‪ٙ‬بی ثبی‪ٙ‬شی ثشای ‪ٞ‬شت عذد است و‪ ٝ‬ثب ‪ 3‬ثیت ٕ٘بیش داد‪ٔ ٜ‬یش‪ٛ‬د ‪000$‬س ‪001‬س ‪010‬س ‪...‬س ‪ٔ .#111‬معذاس دلیعك‬
‫ایٗ ٔمبدیش دس شىُ ‪ 4.7‬آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪.‬‬

‫ایٗ لبثّیت شجى‪ٞ ٝ‬بی عظجی دس پیذا وشدٖ ٕ٘بیش‪ٞ‬بی خبص دس یی‪ٞ ٝ‬بی پ‪ٟٙ‬بٖ ٔ‪ٙ‬حظش ث‪ ٝ‬فشد است‪ .‬ثش خالف دیٍش ٔتذ ‪ٞ‬بی یعبدٌیشی وع‪ٝ‬‬
‫فمؾ ٔ‪ٛ‬اسدی سا و‪ ٝ‬ؿشاح ا٘هب٘ی دس ٘ظش ٌشفت‪ ٝ‬سا دس ٘ظش ٔیٌیش٘ذس ایٗ خبطیت ث‪ ٝ‬شجى‪ٞ ٝ‬بی عظجی ایٗ لبثّیت سا ٔید‪ٞ‬ذ وبٔالً ا٘عـعبف پعزیش‬
‫ثبش‪ٙ‬ذ ‪ٚ ٚ‬یژٌی‪ٞ‬بیی سا استخشاج و‪ٙٙ‬ذ و‪ ٝ‬ؿشاح ا٘هب٘ی دس ٘ظش ٍ٘شفت‪ ٝ‬است‪ .‬اِجت‪ ٝ‬ثذی‪ٟ‬ی است و‪ ٝ‬تٕبٔی ایٗ ‪ٚ‬یژٌی‪ٞ‬بی اسعتخشاج شعذ‪ ٜ‬ثبیعذ اص‬
‫‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ت‪ٛ‬سؾ ‪ٚ‬اقذ ‪ٞ‬بی سیٍٕ‪ٛ‬یذ لبثُ استخشاج ثبش‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬صٔب٘ی و‪ ٝ‬یی‪ٞ ٝ‬بی ثیشتشی دس شجى‪ٚ ٝ‬خ‪ٛ‬د داس٘ذ خ‪ٛ‬اص پیچیذ‪ ٜ‬تعشی‬
‫لبثُ استخشاخ‪ٙ‬ذ‪ٔ .‬ثبَ دیٍشی اص خ‪ٛ‬اص یی‪ٝ‬ی پ‪ٟٙ‬بٖ دس لهٕت ‪4.7‬س وبسثشد دس تشخیض چ‪ٟ‬ش‪1ٜ‬س آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪.‬‬

‫‪1‬‬
‫‪face recognition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای دسن ث‪ٟ‬تش اص عّٕیبت ‪ Backpropagation‬ثیبییذ دس ایٗ ٔثبَ عّٕیبت فشای‪ٙ‬ذ شیت ٘ض‪ َٚ‬سا دلیكتش ثشسسی و‪ٙ‬یٓ ‪$‬وذ اسعتفبد‪ ٜ‬شعذ‪ ٜ‬دس‬
‫ایٗ ٔثبَ دس آدسس ‪ http://www.cs.cmu.edu/~tom/mlbook.html‬آٔذ‪ ٜ‬است‪ .#‬شجى‪ٝ‬ی شىُ ‪ 4.7‬ثعب اٍِع‪ٛ‬سیتٓ خعذ‪4.2 َٚ‬‬
‫آٔ‪ٛ‬صش داد‪ ٜ‬شذ‪ ٜ‬استس دس ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٝ‬ی ‪ٚ‬صٖ‪ٞ‬ب اص اعذاد ثبص‪ٜ‬ی )‪ (-0.1,0.1‬استفبد‪ ٜ‬شذ‪ ٜ‬اسعت ‪ ٚ‬ػعشیت آٔ‪ٛ‬صشعی ٘یعض ‪ η=0.3‬ثع‪ٛ‬د‪ٚ ٜ‬‬
‫تىب٘‪ ٓٞ ٝ‬استفبد‪٘ ٜ‬شذ‪ ٜ‬است )‪ .(α=0‬یبدٌیشی ثب استفبد‪ ٜ‬اص ػشایت آٔ‪ٛ‬صشی دیٍش ‪ ٚ‬تىب٘‪٘ ٝ‬یض ث‪ٕٞ ٝ‬یٗ ٘تبیح سسیذ‪ ٜ‬است‪ٔ .‬مبدیش یی‪ٝ‬ی پ‪ٟٙ‬عبٖ‬
‫‪$‬و‪ ٝ‬دس شىُ ‪ #4.7‬آٔذ‪ ٜ‬ثعذ اص ‪ 5000‬ثبس اخشای قّم‪ ٝ‬اطّی اٍِ‪ٛ‬سیتٓ ‪$‬یع‪ٙ‬ی ‪ 5000‬ثبس تىشاس ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صشعی‪ #‬ثذسعت آٔعذ‪ ٜ‬اسعت‪ .‬اِجتع‪ ٝ‬اوثعش‬
‫‪ٚ‬صٖ‪ٞ‬ب دس ‪ 2500‬اخشای ا‪ٔ َٚ‬شخض شذ‪ ٜ‬ث‪ٛ‬د٘ذ‪.‬‬

‫ثب وشیذٖ ٕ٘‪ٛ‬داس خـب ثش قهت تعذاد ٌبٔی و‪ ٝ‬شیت ٘ض‪ َٚ‬ثشداشت‪ٝ‬س ٔیت‪ٛ‬اٖ تالش شیت ٘ض‪ َٚ‬سا ثشای وب‪ٞ‬ش خـب دیذ‪ .‬ایٗ ٕ٘‪ٛ‬داس دس شىُ ‪4.8‬‬
‫وشیذ‪ ٜ‬شذ‪ ٜ‬است‪ٞ .‬ش خؾ دس ایٗ ٕ٘‪ٛ‬داس ٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ٔدٕ‪ ٛ‬خـب‪ٞ‬ب ثشای تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی دس یىی اص خش‪ٚ‬خی‪ٞ‬بست‪ٔ .‬حع‪ٛ‬س افمعی‬
‫تعذاد تىشاس ‪ٞ‬بی قّم‪ٝ‬ی اطّی اٍِ‪ٛ‬سیتٓ سا ٘شبٖ ٔید‪ٞ‬ذ‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ٕٛ٘ ٝ‬داس ٘یض ٌ‪ٛ‬یبی ٔـّت است ثب ادأ‪ٝ‬ی وبس شیت ٘ض‪ٔ َٚ‬دٕ‪ ٛ‬خـعبی‬
‫خش‪ٚ‬خی ثشای خش‪ٚ‬خی‪ٞ‬ب وب‪ٞ‬ش پیذا ٔیو‪ٙ‬ذس ٕٔىٗ است ایٗ وب‪ٞ‬ش دس ثعؼی خش‪ٚ‬خی‪ٞ‬ب شذیذ تش ‪ ٚ‬دس ثعؼی دیٍش ٔالیٓتش ثبشذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شىُ ‪ 4.8‬یبدٌیشی شجى‪ٝ‬ی ‪.8x3x8‬‬

‫ٕ٘‪ٛ‬داس ا‪ٔ َٚ‬دٕ‪ ٛ‬خـب‪ٞ‬ب سا ثشای ‪ٞ‬ش یه اص ‪ 8‬خش‪ٚ‬خی سا ثش قهت تعذاد تىشاس قّم‪ٝ‬ی اطّی اٍِ‪ٛ‬سیتٓ ٘شبٖ ٔید‪ٞ‬ذ‪ٕٛ٘ .‬داس د‪ٔ ْٚ‬مبدیش یی‪ٝ‬ی پ‪ٟٙ‬بٖ سا ثشای‬
‫‪ٚ‬س‪ٚ‬دی ی ”‪٘ “01000000‬شبٖ ٔید‪ٞ‬ذ‪ٕٛ٘ ٚ .‬داس آخش ‪ٚ‬صٖ‪ٞ‬ب سا ثشای یىی اص س‪ٚ ٝ‬اقذ پ‪ٟٙ‬بٖ ٘شبٖ ٔید‪ٞ‬ذ‪.‬‬
‫سیش تىبُٔ یی‪ٝ‬ی پ‪ٟٙ‬بٖ دس ٕ٘‪ٛ‬داس د‪ ْٚ‬شىُ ‪ 4.8‬دیذ‪ٔ ٜ‬یش‪ٛ‬د‪ .‬ایٗ ٕ٘‪ٛ‬داس ٔمذاس س‪ٚ ٝ‬اقذ یی‪ٝ‬ی پ‪ٟٙ‬بٖ سا و‪ ٝ‬دس ‪ٞ‬ش ٔشقّ‪ٔ ٝ‬حبسعج‪ٔ ٝ‬عیشع‪ٛ‬د‬
‫ثشای یىی اص ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ‪٘ #“01000000”$‬شبٖ ٔید‪ٞ‬ذ‪ٔ .‬ثُ ٕ٘‪ٛ‬داس ا‪ٔ َٚ‬ح‪ٛ‬س افمی تعذاد تىشاس ‪ٞ‬بی قّم‪ٝ‬ی اطّی اٍِ‪ٛ‬سیتٓ سا ٘شبٖ ٔید‪ٞ‬عذ‪.‬‬
‫‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬شىُ ٘یض ٌ‪ٛ‬یبست لجُ اص ای‪ٙ‬ى‪ ٝ‬شجى‪ ٝ‬ث‪٘ ٝ‬ح‪ٜٛ‬ی وذ سبصی آخشی ثشسذ تعذادی اص وذ سبصی‪ٞ‬بی ٕٔىٗ سا ثعشای ‪ٚ‬س‪ٚ‬دی أتحعبٖ‬
‫وشد‪ ٜ‬است‪.‬‬

‫‪ ٚ‬ثبیخش‪ٕٛ٘ ٜ‬داس آخش شىُ ‪ 4.8‬سیش تىبُٔ ‪ٚ‬صٖ‪ٞ‬بی شجى‪ ٝ‬سا ٘شبٖ ٔید‪ٞ‬ذ‪ .‬ایٗ ٕ٘‪ٛ‬داس تىبُٔ ‪ٚ‬صٖ‪ٞ‬بی استجبؽ د‪ٙٞ‬ذ‪ٜ‬ی ثیٗ ‪ٞ‬شت ‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی‬
‫‪ٔ ٚ$‬مذاس ثبثت ‪ 1‬ثشای ٔمذاس آستب٘‪ ٚ #ٝ‬یىی اص ‪ٚ‬اقذ ‪ٞ‬بی یی‪ٝ‬ی پ‪ٟٙ‬بٖ ٘شبٖ ٔید‪ٞ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬تغییشات لبثُ ت‪ٛ‬خ‪ ٝ‬دس ٔمعذاس ‪ٚ‬صٖ‪ٞ‬عب‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٕٞ‬ضٔبٖ ثب تغییشات لبثُ ت‪ٛ‬خ‪ ٝ‬دس ٔیضاٖ خـب ‪ٔ ٚ‬مذاس یی‪ٝ‬ی پ‪ٟٙ‬بٖ است‪ٚ .‬ص٘ی و‪ ٝ‬ث‪ٔ ٝ‬مذاسی ٘ضدیه طفش ٔیُ ٔیو‪ٙ‬ذ ‪ٕٞ‬عبٖ ‪ٚ‬ص٘عی اسعت وع‪ٝ‬‬
‫(‪.‬‬ ‫ثشای ٔمذاس آستب٘‪ ٝ‬دس ٘ظش ٌشفت‪ ٝ‬شذ‪) ٜ‬‬

‫‪ 4.6.5‬معیبرهبی تعمیم‪ overfit ،‬و تولف‬

‫دس خذ‪ 4.2 َٚ‬اص ششؽ پبیب٘ی‪ 1‬طحجت شذ أب ٔعّ‪٘ ْٛ‬شذ و‪ ٝ‬ایٗ ششؽ دلیمبً چیهت‪ .‬ششؽ ٔ‪ٙ‬بست ثشای پبیبٖ قّم‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب چیهت؟ یعه‬
‫ششؽ ثهیبس سبد‪ ٜ‬ادأ‪ ٝ‬دادٖ ٔشاقُ تب صٔب٘ی و‪ ٝ‬خـب )‪ (E‬ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی وٕتش اص ٔمذاس خبطی ثش‪ٛ‬د است‪ .‬دس ‪ٚ‬ال ایٗ استشاتژی ثشای‬
‫پبیبٖ ثهیبس ػعیف است صیشا و‪ٔ Backpropagation ٝ‬هتعذ است تب ثشای وٓ وشدٖ خـب لذست تعٕیٓ شجى‪ ٝ‬سا ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی خذیذ وعٓ‬
‫و‪ٙ‬ذ‪.‬‬

‫ثشای س‪ٚ‬شٗ شذٖ خـش وٓ وشدٖ افشاؿی خـب ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشیس ت‪ٛ‬خ‪ ٝ‬و‪ٙ‬یذ و‪ ٝ‬ثب افضایش تععذاد تىعشاس ‪ٞ‬عبی قّمع‪ٝ‬ی اطعّی اٍِع‪ٛ‬سیتٓ‬
‫خـبی ‪ E‬چٍ‪ ٝ٘ٛ‬وب‪ٞ‬ش ٔییبثذ‪ .‬شىُ ‪ 4.9‬ایٗ تفب‪ٚ‬ت سا ثشای استفبد‪ ٜ‬اص ‪ Backpropagation‬سا ثشای د‪ٔ ٚ‬ثبَ وعبسثشدی ٘شعبٖ ٔعید‪ٞ‬عذ‪.‬‬
‫ٕ٘‪ٛ‬داس ا‪ َٚ‬سا دس ٘ظش ثٍیشیذ‪ٙٔ .‬ح‪ٙ‬ی پبییٗتش دس ٕ٘‪ٛ‬داس خـبی ‪ E‬سا ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٘شبٖ ٔید‪ٞ‬ذ وع‪ ٝ‬ثعب افعضایش تععذاد تىعشاس ‪ٞ‬عبی‬
‫اٍِ‪ٛ‬سیتٓ وب‪ٞ‬ش ٔییبثذ‪ٙٔ .‬ح‪ٙ‬ی ثبییی خـبی ‪ E‬سا ثشای ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ ٘شبٖ ٔید‪ٞ‬ذ و‪ ٝ‬اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٔدضاست‪ .‬ایٗ ٔ‪ٙ‬ح‪ٙ‬ی لذست‬
‫تعٕیٓ شجى‪ 2ٝ‬سا ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی خذیذ ٘شبٖ ٔید‪ٞ‬ذ‪.‬‬

‫‪1‬‬
‫‪termination condition‬‬
‫‪2‬‬
‫‪generalization accuracy‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شىُ ‪ٕٛ٘ 4.9‬داس خـبی ‪ E‬ث‪ ٝ‬ع‪ٛٙ‬اٖ تبثعی اص تعذاد تىشاس تغییش ‪ٚ‬صٖ‪ٞ‬ب ثشای د‪ ٚ‬دسن ٔتفب‪ٚ‬ت یه سثبت‪.‬‬
‫دس ‪ٞ‬ش د‪ ٚ‬قبِت خـبی ‪ E‬دس ؿی تىشاس ‪ٞ‬بی ثیشتش وٕتش ٔیش‪ٛ‬د‪ .‬خـبی ٔشث‪ٛ‬ؽ ث‪ٔ ٝ‬دٕ‪ٛ‬ع‪ٝ‬ی تبییذ‪ٔ 1‬عٕ‪ٛ‬یً دس اثتذا وعب‪ٞ‬ش پیعذا ٔعیو‪ٙ‬عذ ‪ ٚ‬سعپس ثععذ اص‬
‫افضایش تعذاد ‪ٞ‬بی تىشاس ثش اثش ‪ overfit‬اقتٕبَ داسد افضایش یبثذ‪ .‬شجى‪ ٝ‬ای و‪ ٝ‬وٕتشیٗ خـب ثشای ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ سا داشت‪ ٝ‬ثبشذ ٔ‪ٙ‬بستتشیٗ شعجى‪ ٝ‬ثعشای‬
‫تعٕیٓ س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی خذیذ است‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬دس ٕ٘‪ٛ‬داس د‪ ْٚ‬ث‪ٔ ٝ‬حغ افضایش خضئی ٔمذاس خـبی ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ ٘جبیذ اخشای قّم‪ٔ ٝ‬ت‪ٛ‬لف ش‪ٛ‬د‪.‬‬
‫ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ ٝ‬لذست تعٕیٓ شجى‪ ٝ‬و‪ ٝ‬اص ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ ٔحبسج‪ٔ ٝ‬یش‪ٛ‬د اثتذا وب‪ٞ‬ش ٔییبثذ ‪ ٚ‬سپس افضایش ٔییبثذس قتی اٌعش خـعبی‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ‪ٕٞ‬چ‪ٙ‬بٖ وب‪ٞ‬ش ثیبثذ‪ .‬دِیُ ایٗ اتفبق چیهت؟ دِیُ ایٗ اتفبق ایٗ است و‪ٚ ٝ‬صٖ‪ٞ‬ب ثععذ اص آٖ ؿع‪ٛ‬سی تغییعش ٔعیو‪ٙٙ‬عذ وع‪ٝ‬‬
‫ٔ‪ٙ‬حظشاً ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٔـبثك ثبش‪ٙ‬ذ ‪ ٚ‬خبطیت تعٕیٕی خ‪ٛ‬د سا اص دست ٔید‪ٙٞ‬ذ‪ .‬تعذاد صیبد پبسأتش‪ٞ‬بی شجى‪ ٝ‬عظعجی دسخع‪ ٝ‬آصادی‪ٞ‬عبی‬
‫صیبدی ثشای اٍِ‪ٛ‬سیتٓ ثبلی ٔیٌزاسد تب ثت‪ٛ‬ا٘ذ شجى‪ ٝ‬سا ٔ‪ٙ‬حظشاً ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٔـبثمت د‪ٞ‬ذ )‪.(overfit‬‬

‫چشا ‪ٕٞ‬یش‪ overfit ٝ‬دس تىشاس ‪ٞ‬بی آخش اٍِ‪ٛ‬سیتٓ اتفبق ٔیافتذ ‪ ٚ‬دس تىشاس ‪ٞ‬بی اثتذایی ‪ٞ‬یچ اثشی اص ‪٘ overfit‬یهت؟ فشع و‪ٙ‬یذ و‪ٚ ٝ‬صٖ‪ٞ‬ب سا‬
‫ثب ٔمبدیش و‪ٛ‬چه تظبدفی ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬وشد‪ٜ‬ایٓ‪ .‬چ‪ٚ ٖٛ‬صٖ‪ٞ‬ب تمشیجبً یىی ‪ٞ‬هت‪ٙ‬ذس سـح تظٕیٓ ٌیشی ثهیبس ‪ٕٛٞ‬اس خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس ادأ‪ ٝ‬ثعشای‬
‫وٓ وشدٖ ٔیضاٖ خـبی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ثعؼی اص ‪ٚ‬صٖ‪ٞ‬ب افضایش ٔییبثذ ‪ ٚ‬پیچیذٌی ثیشتشی ث‪ ٝ‬سـح تظٕیٓ ٌیشی ٔید‪ٙٞ‬عذ‪ .‬دس ادأع‪ ٝ‬ثعب‬
‫افضایش تعذاد تىشاس‪ٞ‬ب ثش پیچیذٌی فشػی‪ٞٝ‬بیی و‪ ٝ‬ث‪ ٝ‬آٖ ٔیسسیٓ ثبی ٔیس‪ٚ‬دس ‪$‬پیچیذٌی دس ایٗ ٔشاقُ ٔفیذ است‪ .#‬ثب ادأ‪ٝ‬ی ایٗ تىشاس‪ٞ‬عب ثع‪ٝ‬‬
‫ا٘ذاص‪ٜ‬ی وبفی ٔیت‪ٛ‬اٖ ث‪ ٝ‬سـ‪ٛ‬ح تظٕیٓ ٌیشی پیچیذ‪ ٜ‬تشی سسیذ و‪ٛ٘ ٓٞ ٝ‬یض ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی سا ثش ؿشف ٔیو‪ٙ‬ذ ‪ٞ ٚ‬عٓ ‪ٚ‬یژٌعی‪ٞ‬عبی غیعش‬
‫ٔشث‪ٛ‬ؿ‪ ٝ‬ث‪ ٝ‬تبث ‪ٞ‬ذف ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی سا ثیبٖ ٔیو‪ٙ‬ذ‪ٔ .‬شىُ ‪ overfit‬دس شجى‪ٞ ٝ‬بی عظجی دسست ٔشبث‪ٕٞ ٝ‬یٗ ٔشىُ دس دسخت تظٕیٓ‬
‫ٌیشی است ‪$‬فظُ ‪.#3‬‬

‫تى‪ٙ‬یه‪ٞ‬بی ثهیبسی ثشای قُ ٔشىُ ‪ overfit‬دس ‪ٚ Backpropagation‬خ‪ٛ‬د داسد‪ .‬یىی اص ایٗ تى‪ٙ‬یه‪ٞ‬ب ‪٘ weight decay‬بْ داسد‪ .‬دس‬
‫ایٗ ٔتذ دس ‪ٞ‬ش قّم‪ٔ ٝ‬مذاسی اص ‪ٞ‬ش ‪ٚ‬صٖ وٓ ٔیش‪ٛ‬د‪ .‬ایٗ دسست ٔشبث‪ ٝ‬ایٗ است و‪ ٝ‬دس تعشیف ‪ E‬خّٕ‪ ٝ‬ای سا اػبف‪ ٝ‬و‪ٙ‬یٓ تعب ثعشخالف آٖ عٕعُ‬

‫‪1‬‬
‫‪validation set‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫و‪ٙ‬ذ ‪ٔ ٚ‬ب٘ ‪ overfit‬ش‪ٛ‬د‪ .‬ث‪ ٝ‬ایٗ خّٕ‪ٝ‬س خّٕ‪ٝ‬ی خشیٕ‪ٔ 1ٝ‬یٌ‪ٛ‬ی‪ٙ‬ذ‪ٞ .‬ذف اص ایٗ ٔتذ ایٗ است و‪ٔ ٝ‬مذاس ‪ٚ‬صٖ‪ٞ‬ب سا و‪ٛ‬چه ٍ٘‪ ٝ‬داسیٓ تعب ثبیبسعی‬
‫ایدبد وشد‪ ٜ‬ثبشیٓ تب سـح تظٕیٓ ٌیشی ثهیبس پیچیذ‪٘ ٜ‬ش‪ٛ‬د‪.‬‬

‫یىی اص ٔ‪ٛ‬فكتشیٗ ٔتذ‪ٞ‬ب ثشای قُ ٔشىُ ‪overfit‬س استفبد‪ ٜ‬اص دست‪ٝ‬ی تبییذ ث‪ٕٞ ٝ‬شا‪ٞ ٕٝ٘ٛ٘ ٜ‬بی آٔ‪ٛ‬صشی ثشای و‪ٙ‬تشَ خهتد‪ٛ‬ی شیت ٘عض‪َٚ‬‬
‫است‪ .‬اٍِ‪ٛ‬سیتٓ ٔیت‪ٛ‬اٖ اص خـبی ایٗ ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ ثشای و‪ٙ‬تشَ شیت ٘ض‪ َٚ‬استفبد‪ ٜ‬و‪ٙ‬ذ‪ .‬اص ایٗ ٘ظشس ایٗ س‪ٚ‬ش ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ اخبص‪ٔ ٜ‬ید‪ٞ‬ذ وع‪ٝ‬‬
‫د‪ٙٔ ٚ‬ح‪ٙ‬ی ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬دس شىُ ‪ 4.9‬سا دس دستشس داشت‪ ٝ‬ثبشذ‪ .‬أب قّم‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬بی اٍِ‪ٛ‬سیتٓ چ‪ٙ‬ذ ثبس ثبیذ اخشا ش‪ٛ‬د؟ ‪ٚ‬اػعح اسعت وع‪ٝ‬‬
‫قّم‪ ٝ‬ثبیذ ث‪ ٝ‬تعذادی اخشا ش‪ٛ‬د و‪ ٝ‬خـب س‪ٚ‬ی دست‪ٝ‬ی تبییذ ٔی‪ٙ‬یٕٓ ش‪ٛ‬د‪ .‬دس وبسثشد ‪ٞ‬بی ٔعٕ‪ َٛ‬ایعٗ س‪ٚ‬ش د‪٘ ٚ‬هعخ‪ ٝ‬اص ‪ٚ‬صٖ‪ٞ‬عبی شعجى‪ ٝ‬رخیعش‪ٜ‬‬
‫ٔیش‪ٛ‬د‪ :‬یه وپی ثشای آٔ‪ٛ‬صش ‪ ٚ‬وپیای اص ث‪ٟ‬تشیٗ ‪ٚ‬صٖ‪ٞ‬ب ثذست آٔذ‪ ٜ‬تب ایٗ ٔشقّ‪ ٝ‬ثش اسبس خـب ثش س‪ٚ‬ی ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ‪ .‬صٔب٘ی و‪ٚ ٝ‬صٖ‪ٞ‬بی‬
‫ث‪ ٝ‬دست آٔذ‪ ٜ‬ث‪ٔ ٝ‬مذاس خـبی لبثُ ت‪ٛ‬خ‪ٟ‬ی ثیشتش ثش س‪ٚ‬ی ٔدٕ‪ٛ‬ع‪ٝ‬ی تبییذ ٔیسسذس آٔ‪ٛ‬صش پبیبٖ ٔییبثعذ ‪ٚ ٚ‬صٖ‪ٞ‬عبی رخیعش‪ ٜ‬شعذ‪ ٜ‬ثع‪ ٝ‬ع‪ٙ‬ع‪ٛ‬اٖ‬
‫فشػی‪ٝ‬ی ٘‪ٟ‬بیی خش‪ٚ‬خی داد‪ٔ ٜ‬یش‪ٛ‬د‪ .‬صٔب٘ی و‪ ٝ‬اص ایٗ فشای‪ٙ‬ذ ثشای قبِت شىُ ‪ 4.9‬استفبد‪ ٜ‬شذ ثعذ اص ‪ 9400‬ثعبس تىعشاس اٍِع‪ٛ‬سیتٓ ثع‪ٚ ٝ‬صٖ‪ٞ‬عبی‬
‫خش‪ٚ‬خی سسیذ‪ .‬شىُ د‪ ْٚ‬دس شىُ ‪٘ 4.9‬شبٖ ٔید‪ٞ‬ذ و‪ٕٞ ٝ‬یش‪ ٝ‬سسیذٖ ث‪ ٝ‬وٕتشیٗ ٔمذاس خـبی دست‪ٝ‬ی تبییذ سا ٕ٘یت‪ٛ‬اٖ ث‪ ٝ‬ساقتی تعییٗ وشد‪.‬‬
‫دس ایٗ شىُ اثتذا خـب ثش س‪ٚ‬ی دست‪ٝ‬ی تبییذ وب‪ٞ‬شس سپس افضایش ‪ ٚ‬د‪ٚ‬ثبس‪ ٜ‬وب‪ٞ‬ش ٔییبثذ‪ .‬ثبیذ دلت وبفی سا دس ٘تید‪ٌ ٝ‬یعشی سسعیذٖ خـعبی‬
‫تبییذ ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ خ‪ٛ‬د ٔجز‪ َٚ‬داشتس ایٗ شجى‪ ٝ‬دس تىشاس ‪ 850‬ث‪ٔ ٝ‬ی‪ٙ‬یٕٓ خـبی تبییذ ٔیسسذ‪.‬‬

‫دس وُس ٔشىُ ‪ ٚ overfit‬چٍ‪ٍ٘ٛ‬ی قُ آٖ ٘یبص ث‪ ٝ‬دلت صیبدی داسد‪ .‬س‪ٚ‬ش ‪ cross-validation‬ثبی صٔب٘ی وبسایی داسد و‪ٔ ٝ‬مذاس صیبدی داد‪ٜ‬‬
‫دس دستشس ثبشذ تب ثت‪ٛ‬اٖ دست‪ٝ‬ی تبییذ تشىیُ داد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬دس ٔشىُ ‪ overfit‬دس ٔدٕ‪ٛ‬ع‪ٞ ٝ‬بی آٔ‪ٛ‬صشی و‪ٛ‬چهتش شذیذ تش است‪ .‬دس چ‪ٙ‬عیٗ‬
‫ششایـیس ٌب‪ٞ‬ی اص س‪ٚ‬ش ‪ k-fold cross-validation‬استفبد‪ٔ ٜ‬یش‪ٛ‬دس دس ایٗ س‪ٚ‬ش ‪cross-validation‬س ‪ k‬ثعبس ٔتفعب‪ٚ‬ت ‪ٞ ٚ‬عش ثعبس ثعب‬
‫لهٕت ٔتفب‪ٚ‬تی اص داد‪ٜٞ‬ب ث‪ ٝ‬ع‪ٛٙ‬اٖ ٔدٕ‪ٛ‬ع‪ٝ‬ی آٔ‪ٛ‬صشی ‪ ٚ‬دست‪ٝ‬ی تبییذ ا٘دبْ ٔیش‪ٛ‬د ‪٘ ٚ‬تید‪ٔ ٝ‬یبٍ٘یٗ ٘تبیح خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس یىی اص ٘هعخ‪ٞ ٝ‬عبی‬
‫ایٗ س‪ٚ‬شس ‪ٕٝ٘ٛ٘ m‬ی ٔ‪ٛ‬خ‪ٛ‬د ث‪ k ٝ‬صیش ٔدٕ‪ٛ‬ع‪ٝ‬ی ٔدضا ثب ا٘ذاص‪ٞ ٜ‬بی ‪ m/k‬تمهیٓ ٔیش‪٘ٛ‬ذ‪ .‬فشای‪ٙ‬ذ ‪cross-validation‬س ‪ k‬ثبس ‪ ٚ‬ثب استفبد‪ٜ‬‬
‫اص یىی اص ایٗ ‪ k‬صیشٔدٕ‪ٛ‬ع‪ ٝ‬ث‪ ٝ‬ع‪ٛٙ‬اٖ دست‪ٝ‬ی تبییذ ‪ ٚ‬ثمی‪ٝ‬ی ٕ٘‪ٞٝ٘ٛ‬ب ث‪ ٝ‬ع‪ٛٙ‬اٖ ٔدٕ‪ٛ‬ع‪ٝ‬ی آٔ‪ٛ‬صشی اخشا ٔیش‪ٛ‬د‪ .‬ث‪ٙ‬عبثشایٗس ‪ٞ‬عش ٕ٘‪٘ٛ‬ع‪ ٝ‬دس یعه‬
‫آصٔبیش دس دست‪ٝ‬ی تبییذ ‪ ٚ‬دس ‪ k-1‬آصٔبیش دس دست‪ٝ‬ی آٔ‪ٛ‬صشی خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس ‪ٞ‬ش یه اص آصٔبیش‪ٞ‬بی س‪ٚ‬ش ‪ cross-validation‬ثعبی ثعشای‬
‫تعییٗ تعذاد تىشاس‪ٞ‬بس ‪i‬س ٔ‪ٛ‬سد استفبد‪ ٜ‬لشاس ٔیٌیشدس ‪ i‬شٕبس‪ٜ‬ی تىشاسی است و‪ ٝ‬دس آٖ دست‪ٝ‬ی تبییذ ث‪ٟ‬تشیٗ خـب سا داشت‪ ٝ‬است‪ٔ .‬یبٍ٘یٗ ‪ i‬ثعشای‬
‫ایٗ ٔمبدیش ٔحبسج‪ٔ ٝ‬یش‪ٛ‬دس دس ا٘ت‪ٟ‬ب ٘یض اص ‪ backpropagation‬ثشای آٔ‪ٛ‬صش شجى‪ ٝ‬ثش س‪ٚ‬ی تٕبٔی ‪ ٕٝ٘ٛ٘ n‬ثذ‪ ٖٚ‬دسعت‪ٝ‬ی تبییعذ ثعب تععذاد‬
‫تىشاس ٔیبٍ٘یٗ ‪ٞ i‬ب استفبد‪ٔ ٜ‬یش‪ٛ‬د‪ .‬ایٗ فشای‪ٙ‬ذ ثهیبس ٔشبث‪ ٝ‬فشای‪ٙ‬ذ ٔمبیه‪ٝ‬ی د‪ٔ ٚ‬تذ یبدٌیشی ثب داد‪ٞ ٜ‬بی ٔحذ‪ٚ‬د دس فظُ ‪ 5‬است‪.‬‬

‫‪4‬‬
‫‪ 1.4‬یک هثال‪ :‬تشخیص چهره‬
‫ثشای دسن ا٘تخبة‪ٞ‬بی ؿشاقی دس ٘ظش ٌشفت‪ ٝ‬شذ‪ ٜ‬دس اعٕبَ اٍِ‪ٛ‬سیتٓ ‪Backpropagation‬س دس ایٗ ثخش استفبد‪ ٜ‬اص آٖ سا دس عُٕ یبدٌیشی‬
‫تشععععععخیض چ‪ٟ‬ععععععش‪ ٜ‬ثشسسععععععی ٔعععع عیو‪ٙ‬عععع عیٓ‪ .‬تٕععععععبٔی داد‪ٜٞ‬ععععععب ‪ ٚ‬اؿالعععععععبت ٔشث‪ٛ‬ؿعععععع‪ٝ‬ی ایععععععٗ لهععععععٕت دس‬
‫‪http://www.cs.cmu.edu/~tom/mlbook.html‬س ث‪ٕٞ ٝ‬شا‪٘ ٜ‬ىبت ٔشث‪ٛ‬ؿ‪ٝ‬ی استفبد‪ ٜ‬اص ایٗ وذ‪ٞ‬ب ٔ‪ٛ‬خ‪ٛ‬د ٔیثبشذ‪.‬‬

‫‪1‬‬
‫‪penalty term‬‬
‫‪2‬‬
‫‪face recognition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 4.7.1‬تعزیف مسئله‬
‫ٔهئّ‪ٝ‬ی یبدٌیشی دس ای‪ٙ‬دب شبُٔ دست‪ ٝ‬ث‪ٙ‬ذی تظب‪ٚ‬یش د‪ٚ‬سثیٗ اص چ‪ٟ‬ش‪ٜ‬ی افشاد ٔختّف دس صا‪ٚ‬ی‪ٞ ٝ‬بی ٔختّف است‪ .‬تظب‪ٚ‬یش ‪٘ 20‬فشس ث‪ ٝ‬ؿ‪ٛ‬س تمشیجی‬
‫‪ 32‬تظ‪ٛ‬یش اص ‪ٞ‬ش ٘فش ثب قبیت ٔختّف چ‪ٟ‬ش‪$ ٜ‬شبدس غٍٕیٗس خشٍٕیٗس ٔعٕ‪ِٛ‬ی‪ ٚ #‬ثب صا‪ٚ‬ی‪ٞ ٝ‬بی ٔختّف ‪$‬چپس ساستس تٕبْ سخس ثعبی‪#‬س خٕع آ‪ٚ‬سی‬
‫شذ‪ ٜ‬است‪ .‬دس شىُ ‪ ٕٝ٘ٛ٘ 4.10‬ای اص ایٗ تظب‪ٚ‬یش سا ٔیثی‪ٙ‬یذس ‪ٕٞ‬چ‪ٙ‬یٗ دس ایٗ تظب‪ٚ‬یش ٔىبٖ چ‪ٟ‬ش‪ٜ‬ی شخضس پعس صٔی‪ٙ‬ع‪ٝ‬س ِجعبس افعشاد ثبثعت‬
‫٘یهت‪ٙ‬ذ‪ .‬دس ٔدٕ‪ 624 ٛ‬تظ‪ٛ‬یش سیب‪ ٚ ٜ‬سفیذ ثب دلت ‪ 128×120‬ثب دلت سً٘ ‪$ 0‬سیب‪ #ٜ‬تب ‪$ 255‬سفیذ‪ #‬خٕ آ‪ٚ‬سی شذ‪.‬‬

‫ت‪ٛ‬اث ‪ٞ‬ذف ٔختّفی سا ٔیت‪ٛ‬اٖ اص ایٗ ٔدٕ‪ٛ‬ع‪ ٝ‬اص داد‪ٞ ٜ‬بی تظ‪ٛ‬یشی یبد ٌشفت‪ .‬ثشای ٔثبَس لشاس دادٖ ٔدٕ‪ٛ‬ع‪ ٝ‬تظب‪ٚ‬یش دس ‪ٚ‬س‪ٚ‬دی شجى‪ٔ ٝ‬یت‪ٛ‬اٖ‬
‫‪ٞ‬ذف سا تشخیض ‪ٛٞ‬یت شخضس خ‪ٟ‬ت ط‪ٛ‬ست ‪ٚ‬یس خ‪ٙ‬هیت شخضس عی‪ٙ‬ه د‪ٚ‬دی صدٖ ‪ٚ‬ی ‪ ... ٚ‬لشاس داد‪ .‬تٕبٔی ایٗ ت‪ٛ‬اث ‪ٞ‬ذف سا ٔیتع‪ٛ‬اٖ ثعب‬
‫دلت ثبی اص ایٗ ٔدٕ‪ٛ‬ع‪ ٝ‬داد‪ ٜ‬یبد ٌشفت ‪ ٚ‬شذیذاً ت‪ٛ‬طی‪ٔ ٝ‬یش‪ٛ‬د و‪ ٝ‬یبدٌیشی ایٗ ت‪ٛ‬اث ‪ٞ‬ذف سا خ‪ٛ‬د خ‪ٛ‬ا٘‪ٙ‬ذ‪ ٜ‬أتحبٖ و‪ٙ‬ذ‪ .‬دس ادأ‪ٝ‬ی ایٗ ثخعش‬
‫ٔب ث‪ ٝ‬یه ‪ٞ‬ذف یبدٌیشی ثخظ‪ٛ‬ص ٔیپشداصیٓ‪ :‬سٕت ط‪ٛ‬ست شخض ‪$‬شبُٔ چپس ساستس تٕبْ سخ ‪ ٚ‬ثبی‪.#‬‬

‫شىُ ‪ 4.10‬یبدٌیشی یه شجى‪ٝ‬ی عظجی ٔظ‪ٛٙ‬عی ثشای تشخیض سٕت ط‪ٛ‬ست‪.‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس ای‪ٙ‬دب شجى‪ ٝ‬ای ثب اثعبد ‪ 4×3×960‬ثش س‪ٚ‬ی یی‪ٝ‬ی خبوهتشی تظ‪ٛ‬یش چ‪ٟ‬ش‪ٜ‬ی افشاد آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪ٛ‬د تب سٕت چ‪ٟ‬ش‪ٜ‬ی شخض سا تشعخیض د‪ٞ‬عذ ‪$‬چعپس‬
‫ساستس تٕبْ سخس ثبی‪ .#‬ثعذ اص یبدٌیشی س‪ٚ‬ی ‪ 260‬تظ‪ٛ‬یش چ‪ٟ‬ش‪ٜ‬س شجى‪ ٝ‬ث‪ ٝ‬دلت ‪ "90‬ثش س‪ٚ‬ی دست‪ٝ‬ی تهت ٔدضایی سسیذ‪ٚ .‬صٖ‪ٞ‬بی شجى‪ ٝ‬ثعذ اص یه ‪ ٚ‬طذ ثعبس‬
‫تىشاس قّم‪ٝ‬ی یبدٌیشی دس ثبی ٘شبٖ داد‪ ٜ‬شذ‪ٜ‬ا٘ذ‪ٞ .‬ش ‪ٚ‬اقذ خش‪ٚ‬خی ‪$‬چپس ساستس تٕبْ سخس ثبی‪ #‬چ‪ٟ‬بس ‪ٚ‬صٖ داسد و‪ٚ ٝ‬صٖ‪ٞ‬بیشبٖ ثب ٔشثع ‪ٞ‬عبی تیعش‪ٙٔ$ ٜ‬فعی‪ٚ #‬‬
‫است و‪ٔ ٝ‬مذاس آستب٘‪ٝ‬ی ‪ٚ‬اقذ سا ٘شبٖ داد‪ ٚ ٜ‬س‪ٔ ٝ‬شث دیٍش ‪ٚ‬صٖ‪ٞ‬بی ‪ٚ‬س‪ٚ‬دی ‪ٚ‬اقذ سا‬ ‫س‪ٚ‬شٗ ‪ٔ$‬ثجت‪٘ #‬شبٖ داد‪ ٜ‬شذ‪ ٜ‬است‪ .‬چپتشیٗ ٔشث ٔشث‪ٛ‬ؽ ث‪ٚ ٝ‬صٖ‬
‫اص ‪ٚ‬اقذ‪ٞ‬بی پ‪ٟٙ‬بٖ ٘شبٖ ٔید‪ٞ‬ذ‪ٚ .‬صٖ‪ٞ‬بی ٔشث‪ٛ‬ؿ‪ٝ‬ی ‪ٚ‬س‪ٚ‬دی ‪ٞ‬ش یه اص س‪ٚ ٝ‬اقذ پ‪ٟٙ‬بٖ اص ٘مبؽ ٘یض ث‪ ٝ‬ؿ‪ٛ‬س ٘مـ‪ ٝ‬ای دس ٔىبٖ خ‪ٛ‬دشبٖ ٘شبٖ داد‪ ٜ‬شذ‪ٜ‬ا٘ذ‪.‬‬

‫‪ 4.7.4‬انتخبةهبی طزاحی‬
‫دس اعٕبَ اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬ث‪ٞ ٝ‬ش ٔهئّ‪ ٝ‬تعذادی ا٘تخبة ؿشاقی ا٘دبْ ٔیش‪ٛ‬د‪ .‬ایٗ ا٘تخعبة‪ٞ‬عبی ؿشاقعی سا ثعشای ٔهعئّ‪ٝ‬ی‬
‫ٔـشح یبدٌیشی سٕت چ‪ٟ‬ش‪ ٜ‬ث‪ ٝ‬ط‪ٛ‬ست صیش خالط‪ٔ ٝ‬یو‪ٙ‬یٓ‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬تالشی ثشای ؿشاقی ث‪ٟ‬ی‪ ٝٙ‬دس ایٗ ٔهعئّ‪ ٝ‬ا٘دعبْ ٕ٘عیشع‪ٛ‬دس ؿشاقعی‬
‫ٔـشح شذ‪ ٜ‬ثب دلت لبثُ ت‪ٛ‬خ‪ٟ‬ی تبث ‪ٞ‬ذف سا یبد ٔیٌیشد‪ .‬ثعذ اص یبدٌیشی ثش س‪ٚ‬ی دست‪ ٝ‬ای ‪ 260‬عؼ‪ٛ‬ی اص تظب‪ٚ‬یشس دلت دسعت‪ ٝ‬ث‪ٙ‬عذی ثعش س‪ٚ‬ی‬
‫دست‪ٝ‬ی تهت ٔدضا ‪ "90‬است‪ .‬دس قبِی و‪ٝ‬س ٔعٕ‪ٛ‬یً دلت ثذست آٔذ‪ ٜ‬دس قذس یىی اص ایٗ چ‪ٟ‬بس قبِت ‪ "25‬است‪.‬‬

‫کد گذاری ورودی‪ .‬ثب ٔعّ‪ ْٛ‬ث‪ٛ‬دٖ ای‪ٙ‬ى‪ٚ ٝ‬س‪ٚ‬دی شجى‪ ٝ‬ثبیذ ٕ٘بیشی اص تظ‪ٛ‬یش ثبشذ یىی اص ا٘تخبة‪ٞ‬بی وّیذی تظٕیٓ ٌیشی ٘‪ ٛ‬وعذ ٌعزاسی‬
‫‪ٚ‬س‪ٚ‬دی شجى‪ ٝ‬است‪ .‬ثشای ٔثبَ ٔیت‪ٛ‬ا٘هتیٓ تظ‪ٛ‬یش سا ثشای تشخیض ِج‪ٞ ٝ‬بی سً٘‪ٞ‬ب پیش پشداصش وشد‪ ٜ‬یب دیٍعش خع‪ٛ‬اص ٘بقیع‪ ٝ‬ای تظع‪ٛ‬یش سا‬
‫استخشاج وشد‪ ٚ ٜ‬سپس ث‪ ٝ‬ع‪ٛٙ‬اٖ ‪ٚ‬س‪ٚ‬دی ث‪ ٝ‬شجى‪ ٝ‬ثذ‪ٞ‬یٓ‪ .‬یىی اص ٔشىالت چ‪ٙ‬یٗ ‪ٚ‬س‪ٚ‬دی‪ٞ‬بیی ایدبد تعذاد ٔتغیشی اص ‪ٚ‬یژٌی‪ٞ‬ب ‪ِ$‬ج‪ٞٝ‬عب‪ #‬اسعت دس‬
‫قبِی و‪ ٝ‬شجى‪ ٝ‬عظجی تعذاد ٔعّ‪ٔٛ‬ی ‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی داسد‪ .‬ا٘تخبة ؿشاقی ایٗ لهٕت استفبد‪ ٜ‬اص ٔدٕ‪ٛ‬ع‪٘ ٝ‬مبؽ ثبثعت ‪ 32×30‬عىعس ‪ ٚ‬لعشاس دادٖ‬
‫یه ‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی ثشای ‪ٞ‬ش ٘مـ‪ ٝ‬است‪ .‬ثبص‪ٜ‬ی ‪ 0‬تب ‪ 255‬شذت سً٘ ٘یض ث‪ ٝ‬ؿ‪ٛ‬س خـی ث‪ ٝ‬ثبص‪ٜ‬ی ‪ 0‬تب ‪ٍ٘ 1‬بشت شذ تب ٔشبث‪ ٝ‬یی‪ٝ‬ی پ‪ٟٙ‬عبٖ ثعبص‪ٜ‬ی‬
‫خش‪ٚ‬خی ‪ٚ‬اقذ ثیٗ طفش تب یه ثبشذ‪ .‬تظ‪ٛ‬یش ‪٘ 32×30‬مـ‪ ٝ‬ایس دس قمیمتس یه خالط‪ ٝ‬ای اص تظ‪ٛ‬یش اطّی ‪٘ 128×120‬مـ‪ ٝ‬ای ٔ‪ٛ‬خ‪ٛ‬د اسعت وع‪ٝ‬‬
‫‪ٞ‬ش یه اص ٘مبؽ ثب ٔیبٍ٘یٗ ٌیشی چ‪ٟ‬بس ٘مـ‪ٝ‬ی ٔت‪ٙ‬بظش دس تظ‪ٛ‬یش ثب ویفیت ثبی تش است‪ .‬ثب استفبد‪ ٜ‬اص ایٗ وب‪ٞ‬ش ویفیت تعذاد ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی شعجى‪ٝ‬‬
‫ث‪ ٝ‬تعذاد لبثُ و‪ٙ‬تشَتشی تجذیُ ٔیش‪ٛ‬دس ‪ ٚ‬ث‪ٙ‬بثشایٗ پیچیذٌی ٔحبسجبتی ٘یض دس عیٗ قفظ دلت یصْ ثشای دست‪ ٝ‬ث‪ٙ‬عذی دسسعت تظعب‪ٚ‬یش وعب‪ٞ‬ش‬
‫ٔییبثذ‪ .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬شىُ ‪ 4.1‬سیهتٓ ‪٘ ALVINN‬یض اص وب‪ٞ‬ش دلت ٔشبث‪ٟ‬ی ثشای ‪ٚ‬س‪ٚ‬دی شجى‪ ٝ‬استفبد‪ٔ ٜ‬یو‪ٙ‬ذ‪ .‬یىی اص ٘ىبت خبِت ایٗ اسعت‬
‫و‪ ALVINN ٝ‬ثدبی استفبد‪ ٜ‬اص ٔیبٍ٘یٗ ٘مبؽ ٔحذ‪ٚ‬د‪ٜ‬ی ٔشث‪ٛ‬ؿ‪ ٝ‬دس تظ‪ٛ‬یش ثب ویفیت ثبی تش فمؾ ٘مـ‪ ٝ‬ای تظعبدفی سا دس آٖ ٔحعذ‪ٚ‬د‪ ٜ‬ا٘تخعبة‬
‫وشد‪ ٚ ٜ‬شذت سً٘ آٖسا ث‪ ٝ‬ع‪ٛٙ‬اٖ شذت سً٘ ٔشث‪ٛ‬ؿ‪ ٝ‬دس ٘ظش ٔیٌیشد‪ .‬اٍ٘یض‪ٜ‬ی ایٗ وبس دس ‪ ALVINN‬ایٗ است و‪ٔ ٝ‬حبسجبت یصْ ثشای ایدبد‬
‫تظب‪ٚ‬یش وٓ دلت تش ث‪ ٝ‬ؿ‪ٛ‬س لبثُ ت‪ٛ‬خ‪ٟ‬ی ثب ایٗ س‪ٚ‬ش وب‪ٞ‬ش ٔییبثذ‪ .‬ایٗ ‪ٚ‬یژٌی ‪ٍٙٞ‬بٔی و‪ ٝ‬شجى‪ ٝ‬یصْ است تعذاد صیبدی اص تظب‪ٚ‬یش سا دس ثب٘یع‪ٝ‬‬
‫پشداصش وشد‪ ٚ ٜ‬خ‪ٛ‬دس‪ ٚ‬سا و‪ٙ‬تشَ و‪ٙ‬ذ ثیشتش لبثُ ت‪ٛ‬خ‪ٔ ٝ‬یش‪ٛ‬د‪.‬‬

‫کد گذاری خزوجی‪ .‬شجى‪ٝ‬ی عظجی ٔیثبیهت یىی اص چ‪ٟ‬بس ‪ٚ‬یژٌی ٔشث‪ٛ‬ؿ‪ٝ‬ی خ‪ٟ‬ت ط‪ٛ‬ست شخض ‪$‬چپس ساستس تٕبْ سخس ثعبی‪ #‬سا خش‪ٚ‬خعی‬
‫د‪ٞ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داشت‪ ٝ‬ثبشیذ و‪ٔ ٝ‬ب ٔیت‪ٛ‬ا٘هتیٓ ایٗ چ‪ٟ‬بس خ‪ٟ‬ت سا ثب یه خش‪ٚ‬خی ‪٘ ٚ‬هجت دادٖ ‪0.2‬س ‪0.4‬س ‪0.6‬س ‪ 0.8‬ثشای چ‪ٟ‬عبس ٔمعذاس ٔشث‪ٛ‬ؿع‪ ٝ‬ایعٗ‬
‫ٔمبدیش خش‪ٚ‬خی سا وذ سبصی و‪ٙ‬یٓ‪ .‬دس ٔمبثُس ٔب چ‪ٟ‬بس ‪ٚ‬اقذ خش‪ٚ‬خی ٔدضا ثشای ٕ٘بیش ‪ٞ‬ش یه اص خ‪ٟ‬بت ط‪ٛ‬ست دس ٘ظش ٌشفت‪ٝ‬ایعٓ ‪ٚ ٚ‬اقعذی وع‪ٝ‬‬
‫ثیشتشیٗ ٔمذاس سا داشت‪ ٝ‬ثبشذ خش‪ٚ‬خی شجى‪ ٝ‬دس ٘ظش ٌشفت‪ ٝ‬خ‪ٛ‬ا‪ٞ‬ذ شذ‪ .‬ایٗ ٘‪ ٛ‬وذ ٌزاسی ٌب‪ٞ‬ی وذ ٌزاسی ‪ 1‬اص ‪٘ 1 n‬یض ٘بٔیذ‪ٔ ٜ‬یش‪ٛ‬د‪ .‬د‪ ٚ‬اٍ٘یض‪ٜ‬‬
‫ثشای ا٘تخبة وذ ٌزاسی ‪ 1‬اص ‪ n‬ثدبی دس ٘ظش ٌشفتٗ یه خش‪ٚ‬خی ‪ٚ‬خ‪ٛ‬د داسد‪ .‬اثتذا ای‪ٙ‬ىع‪ ٝ‬دسخع‪ٝ‬ی آصادی ثیشعتشی ثعشای شعجى‪ ٝ‬ثعشای ٕ٘عبیش‬
‫شجى‪ٝ‬ی ‪ٞ‬ذف ثبلی خ‪ٛ‬ا‪ٞ‬ذ ٌزاشت ‪$‬دس یی‪ٝ‬ی خش‪ٚ‬خی ‪ n‬ثشاثش ‪ٚ‬صٖ ٔ‪ٛ‬خ‪ٛ‬د است‪ .#‬د‪ ْٚ‬ای‪ٙ‬ى‪ ٝ‬دس وعذ ٌعزاسی ‪ 1‬اص ‪ n‬تفعب‪ٚ‬ت ثعضسيتعشیٗ ٔمعذاس‬
‫خش‪ٚ‬خی ‪ ٚ‬د‪ٔٚ‬یٗ ‪$‬ثضسيتشیٗ‪ٔ #‬مذاس خش‪ٚ‬خی سا ٔیت‪ٛ‬اٖ ث‪ ٝ‬ع‪ٛٙ‬اٖ دسخ‪ٝ‬ی اؿٕی‪ٙ‬بٖ پیش ثی‪ٙ‬ی شجى‪ ٝ‬دا٘هت ‪$‬دست‪ ٝ‬ث‪ٙ‬ذی‪ٞ‬بی ٔج‪ٕٔ ٟٓ‬ىٗ اسعت‬

‫‪1‬‬
‫‪1-of-n output encoding‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ث‪ ٝ‬خش‪ٚ‬خی‪ٞ‬بی ٘ضدیه ‪ ٚ‬قتی ٔهب‪ٚ‬ی ثیب٘دبٔذ‪ .#‬یىی دیٍش اص ا٘تخبة‪ٞ‬بی ؿشاقی ایٗ است و‪ٔ ٝ‬مذاس خش‪ٚ‬خی ایٗ چ‪ٟ‬بس ‪ٚ‬اقذ چع‪ ٝ‬ثبیعذ ثبشع‪ٙ‬ذ؟‬
‫یىی اص ا٘تخبة‪ٞ‬بی ‪ٚ‬اػح استفبد‪ ٜ‬اص چ‪ٟ‬بس ٔمذاس >‪ <1,0,0,0‬ثشای وذ سبصی خ‪ٟ‬ت چپس >‪ <0,1,0,0‬ثشای خ‪ٟ‬ت ساست ‪ ... ٚ‬است‪ .‬دس ٔمبثُ‬
‫ٔیت‪ٛ‬اٖ ثدبی ٔمبدیش ‪ 1 ٚ 0‬اص ٔمبدیش ‪ 0.9 ٚ 0.1‬استفبد‪ ٜ‬وشدس >‪ <0.9,0.1,0.1,0.1‬ثشداس ٔشث‪ٛ‬ؿ‪ٝ‬ی خ‪ٟ‬ت چپ خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬یىعی اص دییعُ‬
‫پش‪ٞ‬یض اص ‪ 1 ٚ 0‬ایٗ است و‪ٚ ٝ‬اقذ ‪ٞ‬بی سیٍٕ‪ٛ‬یذ ٕ٘یت‪ٛ‬ا٘‪ٙ‬ذ ایٗ خش‪ٚ‬خی‪ٞ‬ب سا ثب ٔمبدیش ٔحذ‪ٚ‬د ‪ٚ‬صٖ‪ٞ‬ب ایدبد و‪ٙٙ‬ذ‪ .‬اٌش سعی و‪ٙ‬یٓ شعجى‪ ٝ‬سا ثعشای‬
‫ٔمبدیش ‪ 1 ٚ 0‬آٔ‪ٛ‬صش د‪ٞ‬یٓ شیت ٘ض‪ٔ َٚ‬دج‪ٛ‬س ث‪ ٝ‬سشذ ثذ‪ٔ ٖٚ‬شص ‪ٚ‬صٖ‪ٞ‬ب خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬دس دس ٔمبثُ ٔیت‪ٛ‬اٖ ثب ‪ٚ‬صٖ‪ٞ‬بی ٔحعذ‪ٚ‬د ثع‪ٔ ٝ‬معبدیش ‪0.1 ٚ 0.9‬‬
‫سسیذ‪.‬‬

‫ساختار گزاف شبکه‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬لجالً ‪ ٓٞ‬ت‪ٛ‬طیف شذس ‪ Backpropagation‬سا ٔیت‪ٛ‬اٖ ث‪ٞ ٝ‬ش ٌشاف ثذ‪ ٖٚ‬د‪ٚ‬س ‪ٚ‬اقذ ‪ٞ‬بی سعیٍٕ‪ٛ‬یذ‬
‫اعٕبَ وشد‪ .‬ث‪ٙ‬بثشایٗس ٌضی‪ٝٙ‬ی ؿشاقی دیٍشی ٘یض و‪ ٝ‬ثب آٖ ٔ‪ٛ‬اخ‪ٟ‬یٓ ا٘تخبة تعذاد ‪ٚ‬اقذ ‪ٞ‬بی شجى‪ ٚ ٝ‬چٍ‪ٍ٘ٛ‬ی استجبؽ ثیٗ آٖ‪ٞ‬بست‪ٔ .‬تذا‪َٚ‬تشیٗ‬
‫سبختبس شجى‪ ٝ‬سبختبس یی‪ ٝ‬ای است و‪ ٝ‬تٕبٔی ‪ٚ‬اقذ‪ٞ‬بی یه یی‪ ٝ‬ث‪ ٝ‬تٕبٔی ‪ٚ‬اقذ‪ٞ‬بی یی‪ٝ‬ی ثعذ ٔتظّ‪ٙ‬ذ‪ .‬دس ؿشاقی فعّی اص ایٗ سبختبس ٔتعذا‪َٚ‬‬
‫ثب د‪ ٚ‬یی‪ٚ ٝ‬اقذ سیٍٕ‪ٛ‬یذ ‪$‬یه یی‪ٝ‬ی پ‪ٟٙ‬بٖ ‪ ٚ‬یه یی‪ٝ‬ی خش‪ٚ‬خی‪ #‬استفبد‪ ٜ‬وشد‪ٜ‬ایٓ‪ .‬استفبد‪ ٜ‬اص یه یعب د‪ ٚ‬ییع‪ ٝ‬سعیٍٕ‪ٛ‬یذ ٔتعذا‪ َٚ‬اسعت ‪ ٚ‬دس‬
‫ٔ‪ٛ‬ال خبص اص س‪ ٝ‬یی‪٘ ٝ‬یض استفبد‪ٔ ٜ‬یو‪ٙٙ‬ذ‪ .‬استفبد‪ ٜ‬اص تعذاد یی‪ٝ‬ی ثیشتش ٔتذا‪٘ َٚ‬یهت صیشا و‪ ٝ‬آٔ‪ٛ‬صش شجى‪ ٝ‬سا ثهیبس و‪ٙ‬ذ ٔیو‪ٙ‬عذس ‪ٕٞ‬چ‪ٙ‬عیٗ‬
‫شجى‪ ٝ‬ای ثب س‪ ٝ‬یی‪ ٝ‬سیٍٕ‪ٛ‬یذ ٔیت‪ٛ‬ا٘ذ ا٘‪ٛ‬ا ثهیبس صیبدی اص ت‪ٛ‬اث سا ٕ٘بیش د‪ٞ‬ذ ‪$‬ث‪ ٝ‬لهٕت ‪ٔ 4.6.2‬شاخع‪ ٝ‬و‪ٙ‬یذ‪ .#‬اٌش ثخ‪ٛ‬ا‪ٞ‬یٓ اص ثیٗ شجى‪ٞ ٝ‬بی‬
‫ته س‪ٛ‬ی‪ ٝ‬ثب یه یی‪ٝ‬ی پ‪ٟٙ‬بٖ استفبد‪ ٜ‬و‪ٙ‬یٓس ٔهئّ‪ ٝ‬اطّی تعیٗ تعذاد ‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ شجى‪ ٝ‬خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس ٔثبَ آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬دس شىُ ‪ 4.10‬ت‪ٟٙ‬ب‬
‫اص س‪ٚ ٝ‬اقذ پ‪ٟٙ‬بٖ استفبد‪ ٜ‬شذ‪ ٜ‬استس ‪ٔ ٚ‬دٕ‪ٛ‬ع‪ ٝ‬خش‪ٚ‬خی دلت ‪ "90‬داسد‪ .‬دس آصٔبیش‪ٞ‬بی دیٍشس و‪ ٝ‬اص ‪ٚ 30‬اقذ پ‪ٟٙ‬بٖ استفبد‪ ٜ‬شذ دلت یه تعب‬
‫د‪ ٚ‬دسطذ ثبیتش سفت‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬دلت وّی سبصی ثشای ایٗ د‪ ٚ‬آصٔبیش ت‪ٟٙ‬ب ٔیضاٖ وٕی اختالف داسدس أب آصٔبیش د‪ ْٚ‬ث‪ٔ ٝ‬مذاس صٔبٖ آٔع‪ٛ‬صش‬
‫لبثُ ت‪ٛ‬خ‪ ٝ‬ثیشتشی ٘یبص داشت‪ .‬ثب ٔدٕ‪ٛ‬ع‪ 260 ٝ‬عىس آٔ‪ٛ‬صشیس ثش س‪ٚ‬ی یه سیهتٓ خبص ‪ #sun sparc5$‬شجى‪ٝ‬ی ‪ٚ 30‬اقذ‪ ٜ‬صٔعبٖ تمشیجعی‬
‫یه سبعت سا ثشای آٔ‪ٛ‬صش ٘یبص داشت دس قبِی و‪ ٝ‬شجى‪ٚ 3 ٝ‬اقذ‪ ٜ‬ت‪ٟٙ‬ب دس قذ‪ٚ‬د پ‪ٙ‬ح دلیم‪ ٝ‬آٔ‪ٛ‬صش یبفت‪ .‬دس ثهیبسی اص وبسثشد‪ٞ‬بس تعذاد ‪ٚ‬اقذ ‪ٞ‬بی‬
‫پ‪ٟٙ‬بٖ یصْ ثشای یبدٌیشی تبث ‪ٞ‬ذف ثب دلت خبص ثبثت است ‪ٚ ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ ثیشتش ثش س‪ٚ‬ی دلت وّی سبصی تعأثیشی ٘ذاس٘عذس اص س‪ٚ‬ش‪ٞ‬عبی‬
‫)‪ (cross-validation‬ثشای تعییٗ تعذاد تىشاس یصْ ثشای اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬استفبد‪ٔ ٜ‬یش‪ٛ‬د‪ .‬اٌش اص چ‪ٙ‬عیٗ س‪ٚ‬ش‪ٞ‬عبی اسعتفبد‪ٍ٘ ٜ‬عشددس دس‬
‫ثعؼی ٔ‪ٛ‬اسد استفبد‪ ٜ‬اص تعذاد ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ثیشتش تٕبیُ شجى‪ ٝ‬ث‪ (overfit) ٝ‬سا افضایش داد‪ ٚ ٜ‬دلت وّی سبصی سا وٓ ٔیو‪ٙ‬ذ‪.‬‬

‫دیگز پارامتز های الگوریتم یادگیزی‪ .‬دس ایٗ آصٔبیش‪ٞ‬بی یبدٌیشی ػشیت یبدٌیشی ‪ٔ η‬مذاس ‪ ٚ 0.3‬تىب٘ع‪ٔ ٝ‬معذاس ‪ 0.3‬سا داشعت‪ ٝ‬اسعت‪.‬‬
‫ٔمبدیش ا‪ِٚ‬ی‪ٝ‬ی وٓ ثشای ‪ٞ‬ش د‪ ٚ‬پبسأتش دلت تعٕیٓ ٘هجتبً ٔهب‪ٚ‬یای سا ٘تید‪ ٝ‬خ‪ٛ‬ا‪ٙٞ‬ذ داد أب صٔبٖ آٔ‪ٛ‬صش سا افضایش خ‪ٛ‬ا‪ٙٞ‬ذ داد‪ .‬دس ٔمبثُ اٌش ایٗ‬
‫پبسأتش‪ٞ‬ب سا ثضسي دس ٘ظش ثٍیشیٓس شجى‪ ٝ‬ث‪ ٝ‬شجى‪ ٝ‬ای ثب ٔمذاس خـبی لبثُ لج‪ َٛ‬س‪ٚ‬ی دست‪ٝ‬ی آٔ‪ٛ‬صشی ٔیُ ٘خ‪ٛ‬ا‪ٞ‬ذ وشد‪ .‬دس تٕبٔی ایٗ آصٔبیشبت‬
‫اص شیت ٘ض‪ َٚ‬ت‪ٟٙ‬ب‪ 1‬استفبد‪ ٜ‬شذ‪ ٜ‬است ‪$‬دس ٔمبثُ تخٕیٗ اقتٕبِی شیت ٘ض‪ِٚ‬ی و‪ ٝ‬دس خذ‪ٔ 4.2 َٚ‬عشفی شذ‪ٔ .#‬مبدیش ‪ٚ‬صٖ‪ٞ‬بی خش‪ٚ‬خی ثع‪ٔ ٝ‬معبدیش‬
‫و‪ٛ‬چه ٘ضدیه ث‪ ٝ‬طفش ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬شذ‪ٜ‬ا٘ذس أب ٔمبدیش ‪ٚ‬صٖ‪ٞ‬بی ‪ٚ‬س‪ٚ‬دی ث‪ ٝ‬طفش ٔمذاس د‪ٞ‬ی ا‪ِٚ‬یع‪ ٝ‬شعذ‪ٜ‬ا٘عذ صیعشا وع‪ ٝ‬ثعب ایعٗ س‪ٚ‬ش تظع‪ٛ‬س‬
‫‪ٛٞ‬شٕ‪ٙ‬ذا٘‪ ٝ‬تشی اص ‪ٚ‬صٖ‪ٞ‬بی آٔ‪ٛ‬صشی ٔیت‪ٛ‬اٖ داشت ‪$‬ث‪ ٝ‬شىُ ‪ 4.10‬سخ‪ ٛ‬و‪ٙ‬یذ‪#‬س ایٗ ا٘تخبة دس تعٕیٓ تأثیش ٘خ‪ٛ‬ا‪ٞ‬ذ ٌزاشت‪ .‬تعذاد تىشاس آٔ‪ٛ‬صش‬
‫ثب تمهیٓ داد‪ٞ ٜ‬بی ٔ‪ٛ‬خ‪ٛ‬د ث‪ ٝ‬دست‪ٝ‬ی آٔ‪ٛ‬صشی ‪ ٚ‬دست‪ٝ‬ی تبییذ ٔدضا تعییٗ شذ‪ ٜ‬است‪ .‬اص شیت ٘عض‪ َٚ‬ثعشای ٔی‪ٙ‬عیٕٓ وعشدٖ خـعبی ٔدٕ‪ٛ‬عع‪ٝ‬ی‬
‫آٔ‪ٛ‬صشی استفبد‪ ٜ‬شذ‪ ٚ ٜ‬ثعذ اص ‪ٞ‬ش ‪ 50‬تىشاس یه ثبس وبسایی شجى‪ ٝ‬ثش س‪ٚ‬ی دست‪ٝ‬ی تبییذ ثشسسی شذ‪ ٜ‬است‪ .‬شجى‪ٝ‬ی ا٘تخبة شذ‪ٜ‬ی ٘‪ٟ‬بیی یىی اص‬
‫شجى‪ٞٝ‬بیی است و‪ ٝ‬ثیشتشیٗ دلت سا س‪ٚ‬ی دست‪ٝ‬ی تبییذ داشت‪ ٝ‬است‪ .‬ثشای ت‪ٛ‬خی‪ ٚ ٝ‬ت‪ٛ‬ػیح ایٗ س‪ٚ‬ش ث‪ ٝ‬لهٕت ‪ 4.6.5‬سخ‪ ٛ‬و‪ٙ‬یذ‪ .‬دلعت ٘‪ٟ‬عبیی‬
‫ٌضاسش شذ‪ "90$ ٜ‬ثشای شجى‪ٝ‬ی شىُ ‪ #4.10‬ثش س‪ٚ‬ی دست‪ٝ‬ی س‪ٔٛ‬ی اص ٕ٘‪ٞ ٝ٘ٛ‬بی تهت ا٘دبْ شذ‪ ٜ‬است و‪ٞ ٝ‬یچ دخبِتی دس آٔ‪ٛ‬صش ٘ذاشت‪ٝ‬ا٘ذ‪.‬‬

‫‪1‬‬
‫‪full gradient decend‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 4.7.4‬نمبیص پنهبن یبد گزفته ضذه‬

‫ثشسسی ٔمبدیش ‪ٚ‬صٖ‪ٞ‬بی ‪ 2899‬استجبؽ شجى‪ ٝ‬اص ٘ظش تحّیّی خبِت است‪ .‬شىُ ‪ٔ 4.10‬مبدیش ‪ٚ‬صٖ‪ٞ‬بی ٘ظیش ایٗ استجبؽ‪ٞ‬ب سا ثعذ اص یعه ‪ ٚ‬طعذ ثعبس‬
‫تىشاس قّم‪ٝ‬ی آٔ‪ٛ‬صش ثشای وُ تظب‪ٚ‬یش آٔ‪ٛ‬صشی سا ٘شبٖ ٔید‪ٞ‬ذ‪.‬‬

‫ثشای دسن ایٗ ٕ٘‪ٛ‬داس‪ٞ‬بس اثتذا ث‪ٔ ٝ‬هتـیُ ا‪ َٚ‬صیش تظ‪ٛ‬یش ت‪ٛ‬خ‪ ٝ‬و‪ٙ‬یذ‪ٞ .‬ش یه اص ٔهتـیُ‪ٞ‬ب ‪ٚ‬صٖ‪ٞ‬بی یىی اص چ‪ٟ‬بس ‪ٚ‬اقذ خش‪ٚ‬خی شجى‪ ٝ‬سا ٘شعبٖ‬
‫وع‪ٔ ٝ‬معذاس‬ ‫ٔید‪ٞ‬ذ ‪$‬چپس ساستس تٕبْ سخس ثبی‪ .#‬چ‪ٟ‬بس ٔشث ‪ٞ‬ش یه اص ایٗ ٔهتـیُ‪ٞ‬ب چ‪ٟ‬بس ‪ٚ‬صٖ ‪ٞ‬ش ‪ٚ‬اقذ خش‪ٚ‬خی سا ٘شعبٖ ٔعید‪ٞ‬عذس ‪ٚ‬صٖ‬
‫آستب٘‪ٝ‬ی ‪ٚ‬اقذ سا ٔشخض ٔیو‪ٙ‬ذ دس سٕت چپ لشاس داسد ‪ ٚ‬س‪ٚ ٝ‬صٖ دیٍش ث‪ ٝ‬تشتیت ‪ٚ‬صٖ‪ٞ‬بی ٔشث‪ٛ‬ؿ‪ٝ‬ی ‪ٚ‬اقذ ‪ٞ‬عبی پ‪ٟٙ‬عبٖ سا ٘شعبٖ ٔعید‪ٙٞ‬عذ‪.‬‬
‫شذت سً٘ ٔشث ‪ٞ‬ب ٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ٔمذاس ‪ٚ‬صٖ ٘ظیش استس سفیذ س‪ٚ‬شٗ ‪ٚ‬صٖ ٔثجت ثضسي ‪ ٚ‬سیب‪ ٜ‬تیش‪٘ ٜ‬شعبٖ د‪ٙٞ‬عذ‪ٜ‬ی ‪ٚ‬صٖ ٔ‪ٙ‬فعی ثعضسي اسعتس‬
‫٘ضدیه ث‪ ٝ‬طفشس ‪ٚ‬صٖ ٔثجتی ثشای ‪ٚ‬اقعذ‬ ‫خبوهتشی ٘یض ٔمبدیش ٔیب٘ی ‪ٚ‬صٖ سا ٘شبٖ ٔید‪ٞ‬ذ‪ .‬ثشای ٔثبَس خش‪ٚ‬خی ‪ٚ‬اقذ ثبی ٔمذاس ‪ٚ‬صٖ آستب٘‪ٝ‬ی‬
‫پ‪ٟٙ‬بٖ ا‪ٚ ٚ َٚ‬صٖ ثضسي ٔ‪ٙ‬فیای ثشای ‪ٚ‬اقذ پ‪ٟٙ‬بٖ د‪ ْٚ‬داسد‪.‬‬

‫ٔمبدیش ‪ٚ‬صٖ‪ٞ‬بی شجى‪ ٝ‬ثعذ اص ‪ 100‬ثبس تىشاس شیت ٘ض‪ َٚ‬ثشای تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی دس ثبیی شىُ ٕ٘بیش داد‪ ٜ‬شذ‪ٜ‬ا٘عذ‪ .‬ت‪ٛ‬خع‪ ٝ‬داسیعذ وع‪ٝ‬‬
‫چپتشیٗ ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٚ‬صٖ‪ٞ‬بی ثهیبس ٔتفب‪ٚ‬تی ٘هجت ث‪ٚ ٝ‬صٖ‪ٞ‬بی پس اص یه تىشاس داسدس اِجت‪ ٝ‬د‪ٚ ٚ‬اقذ دیٍش ٘یض تغییش ‪ٚ‬صٖ داشت‪ٝ‬ا٘ذ‪ .‬دسن ٘هعجی‬
‫ایٗ وذ ٌزاسی دس ایٗ ٔدٕ‪ٛ‬ع‪ٝ‬ی ٔحذ‪ٚ‬د اص ‪ٚ‬صٖ‪ٞ‬ب خیّی ‪ ٓٞ‬سخت ٘یهت‪ .‬ثشای ٔثبَس فشع و‪ٙ‬یذ ‪ٚ‬اقذ خش‪ٚ‬خیای و‪ ٝ‬خ‪ٟ‬ت طع‪ٛ‬ست ساسعت سا‬
‫ٔشخض ٔیو‪ٙ‬ذ سا دس ٘ظش ثٍیشیذ‪ .‬ایٗ ‪ٚ‬اقذ ‪ٚ‬صٖ ٔثجت ثضسٌی اص ‪ٚ‬اقذ پ‪ٟ ٙ‬بٖ د‪ٚ ٚ ْٚ‬صٖ ٔ‪ٙ‬فعی ثضسٌعی اص ‪ٚ‬اقعذ پ‪ٟٙ‬عبٖ سع‪ ْٛ‬داسد‪ .‬ثعب ثشسسعی‬
‫‪ٚ‬صٖ‪ٞ‬بی ایٗ د‪ٚ ٚ‬اقذس ٔیت‪ٛ‬اٖ ث‪ ٝ‬آسب٘ی ف‪ٕٟ‬یذ و‪ ٝ‬ثب چشخش ط‪ٛ‬ست فشد ث‪ ٝ‬سٕت ساست ‪$‬چپ ٔعب‪#‬س طع‪ٛ‬ست س‪ٚ‬شعٗ فعشد ثع‪ ٝ‬ؿع‪ٛ‬س تمشیجعی ثعب‬
‫‪ٚ‬صٖ‪ٞ‬بی ٔثجت ل‪ٛ‬ی ایٗ ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٔ ٓٞ‬ىبٖ خ‪ٛ‬ا‪ٞ‬ذ شذ ‪ٛٔ ٚ‬ی تیش‪ٜ‬ی فشد ث‪ ٝ‬ؿ‪ٛ‬س تمشیجی ثب ‪ٚ‬صٖ‪ٞ‬بی ٔ‪ٙ‬فی ‪ٔ ٓٞ‬ىبٖ خ‪ٛ‬ا‪ٞ‬ذ شعذ وع‪ ٝ‬ثبعع‬
‫ثضسي ث‪ٛ‬دٖ خش‪ٚ‬خی ایٗ ‪ٚ‬اقذ خ‪ٛ‬ا‪ٞ‬ذ شذ‪ .‬تظ‪ٛ‬یش ٔشبث‪ٟ‬ی ٔیت‪ٛ‬ا٘ذ ثبع خش‪ٚ‬خی دادٖ ‪ٚ‬اقذ پ‪ٟٙ‬بٖ س‪٘ ْٛ‬ضدیه ث‪ ٝ‬طفش ش‪ٛ‬دس صیعشا وع‪ ٝ‬طع‪ٛ‬ست‬
‫س‪ٚ‬شٗ شخض ثب ‪ٚ‬صٖ‪ٞ‬بی ٔ‪ٙ‬فی ثضسي ‪ٔ ٓٞ‬ىبٖ خ‪ٛ‬ا‪ٞ‬ذ شذ‪.‬‬

‫‪ 1.4‬هباحث پیشرفتهی شبکه های عصبی هصنوعی‬

‫‪ 4.8.1‬گشینه هبی مختلف ثزای تبثع خطب‬

‫‪ٕٞ‬بٖ ؿ‪ٛ‬س و‪ ٝ‬لجالً ٘یض ٌفتع‪ ٝ‬شعذس شعیت ٘عض‪ َٚ‬سا ٔعیتع‪ٛ‬اٖ ثعشای ٔی‪ٙ‬عیٕٓ وعشدٖ ‪ٞ‬عش تعبث ٔشعتك پعزیش ‪ E‬ثع‪ ٝ‬وعبس ثعشد‪ .‬اٍِع‪ٛ‬سیتٓ اطعّی‬
‫‪ Backpropagation‬خـب سا ث‪ ٝ‬فشْ ٔدٕ‪ٔ ٛ‬شثعبت اختالفبت ثب تبث ‪ٞ‬ذف تعشیف ٔیو‪ٙ‬ذس ثب ایٗ ‪ٚ‬خ‪ٛ‬د تعشیف‪ٞ‬عبی دیٍعشی ثعشای اعٕعبَ‬
‫شش‪ٚ‬ؽ دیٍش ثشای ایٗ خـب پیش‪ٟٙ‬بد ٔیش‪ٛ‬د‪ .‬ثشای ‪ٞ‬ش تعشیف ‪ E‬و‪ ٝ‬ث‪ ٝ‬وبس ٔیثشیٓ ثشای ثذسعت آ‪ٚ‬سدٖ ٌشادیعبٖ ٔشعتك ثٍیعشیٓ‪ .‬دس صیعش ت‪ٛ‬اثع‬
‫خـبی ٔشس‪ ْٛ‬آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬است‪:‬‬

‫اػبف‪ ٝ‬وشدٖ خّٕ‪ٝ‬ی خـب ثشای ا٘ذاص‪ٜ‬ی ‪ٚ‬صٖ‪ٞ‬ب‪ٕٞ .‬بٖ ؿ‪ٛ‬س و‪ ٝ‬لجالً ٘یض ت‪ٛ‬ػیح داد‪ ٜ‬شذ ٔیت‪ٛ‬اٖ ثب اػبف‪ ٝ‬وشدٖ خّٕ‪ٝ‬ی خذیذی ث‪E ٝ‬‬ ‫‪‬‬
‫اػبف‪ ٝ‬وشد و‪ ٝ‬ثب افضایش ثشداس ‪ٚ‬صٖ‪ٞ‬ب افضایش یبثذ ‪ .‬ایٗ عُٕ ثبع ٔیش‪ٛ‬د تب خهتد‪ٛ‬ی شیت ٘ض‪ َٚ‬دس ثیٗ ثشداس‪ٞ‬عبس ثشداس‪ٞ‬عبیی وع‪ٝ‬‬
‫ا٘ذاص‪ٜ‬ی و‪ٛ‬چهتشی داس٘ذ سا اسخح ثذا٘ذ ‪ٔ ٚ‬ت‪ٙ‬بسجبً ‪$‬ثب دس ٘بقی‪ٝ‬ی خـی ثع‪ٛ‬دٖ ‪ٚ‬اقعذ ‪ٞ‬عبی سعیٍٕ‪ٛ‬یذ ‪ ٚ‬وعٓ ثع‪ٛ‬دٖ پیچیعذٌی‪ #‬خـعش‬
‫‪ overfit‬وٓ خ‪ٛ‬ا‪ٞ‬ذ شذ‪ .‬پس یىی اص س‪ٚ‬ش‪ٞ‬بی تعشیف ‪ E‬ث‪ ٝ‬ط‪ٛ‬ست صیش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫⃗⃗‬ ‫∑‬ ‫∑‬ ‫∑‬

‫پس دس ساثـ‪ ٝ‬تغییش ‪ٚ‬صٖ‪ٞ‬ب دس ‪٘ Backpropagation‬یض ثبیذ ‪ٕٞ‬یٗ تغییش سا اػبف‪ ٝ‬وشدس تٕبٔی ساثـ‪ ٝ‬دست ٘خع‪ٛ‬سد‪ ٜ‬ثعبلی خ‪ٛ‬ا‪ٞ‬عذ‬
‫ٔب٘ذ ‪ ٚ‬فمؾ دس ‪ٞ‬ش تىشاس دس عذد ثبثت )‪ (1-2γη‬ػشة ٔیش‪ٛ‬د‪ .‬پس استفبد‪ ٜ‬اص ایٗ تعشیف ‪ٔ E‬عبدَ استفبد‪ ٜ‬اص استشاتژی ‪weight‬‬
‫‪ decay‬است ‪$‬تٕشیٗ ‪.#4.10‬‬
‫اػبف‪ ٝ‬وشدٖ خّٕ‪ ٝ‬ای ثشای خـب‪ٞ‬ب دس شیت یب ٔشتك تبث ‪ٞ‬ذف‪ٌ .‬ب‪ٞ‬ی عال‪ ٜٚ‬ثش ٔمبدیش تبث ‪ٞ‬ذفس ٔمبدیش ٔشتك تعبث ‪ٞ‬عذف ٘یعض دس‬ ‫‪‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ‪ٚ‬خ‪ٛ‬د داسد‪ .‬ثشای ٔثبَس )‪ (simard et al. 1992‬وبسثشدی سا ثشای تشخیض وبساوتش ٔعشفی ٔیو‪ٙ‬ذ و‪ ٝ‬دس آٖ‬
‫اص ٔشتمبت ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ٘یض استفبد‪ ٜ‬شذ‪ ٜ‬استس دس ایٗ وبسثشد شجى‪ ٝ‬سا ٔدج‪ٛ‬س ٔیو‪ٙ‬ذ و‪٘ ٝ‬هجت ث‪ ٝ‬خبثدبیی قش‪ٚ‬ف دس طعفح‪ٝ‬‬
‫ثی تفب‪ٚ‬ت ثبشذ‪٘ (Mitchell and Thrun 1993) .‬یض ٔتذ‪ٞ‬بیی سا ثشای ٔحبسج‪ٝ‬ی ٔشتمبت آٔ‪ٛ‬صشی ثش اسبس دا٘ش لجّی اسائع‪ٝ‬‬
‫ٔیو‪ٙٙ‬ذ‪ .‬دس ‪ٞ‬ش د‪ٚ‬ی ایٗ سیهتٓ‪ٞ‬ب ‪$‬و‪ ٝ‬دس فظُ ‪ 12‬آٔذ‪ٜ‬ا٘ذ‪#‬س تبث خـب ثب اػبف‪ ٝ‬شعذٖ خّٕع‪ ٝ‬ای وع‪ ٝ‬اخعتالف ٔشعتمبت آٔ‪ٛ‬صشعی ‪ٚ‬‬
‫ٔشتمبت ‪ٚ‬العی شجى‪ ٝ‬است تغییش ٔییبثذ‪ٔ .‬ثبِی اص چ‪ٙ‬یٗ تبث خـبیی دس صیش آٔذ‪ٜ‬س‬

‫⃗⃗‬ ‫∑‬ ‫∑‬ ‫[‬ ‫∑‬ ‫(‬ ‫] )‬

‫ٔشعتك آٔ‪ٛ‬صشعی وع‪ ٝ‬چٍع‪ٍ٘ٛ‬ی تغییعش‬ ‫٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ‪ٚ‬اقذ ‪ٚ‬س‪ٚ‬دی ‪ j‬اْ ثشای ٕ٘‪ٝ٘ٛ‬ی آٔ‪ٛ‬صشی ‪ d‬است‪ .‬ث‪ٙ‬بثشایٗس‬ ‫دس ای‪ٙ‬دب‬

‫٘یض ٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ٔشتك ‪ٚ‬العی شجى‪ ٝ‬یبد ٌشفت‪ ٝ‬شذ‪ ٜ‬است‪.‬‬ ‫٘شبٖ ٔید‪ٞ‬ذ‪ .‬ث‪ ٝ‬ط‪ٛ‬ست ٔشبث‪ٝ‬‬ ‫سا ثب تغییش‬ ‫خش‪ٚ‬خی ‪ٞ‬ذف‬

‫ثبثت ‪٘ μ‬یض ‪ٚ‬صٖ ٘هجی ٔمبدیش ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی ‪ٔ ٚ‬شتمبت آٔ‪ٛ‬صشی سا ٔشخض ٔیو‪ٙ‬ذ‪.‬‬

‫ٔی‪ٙ‬یٕٓ وشدٖ ‪ cross entropy‬شجى‪ ٝ‬ثشای ٔمبدیش تبث ‪ٞ‬ذف‪ .‬یبدٌیشی یه تبث اقتٕبِیس ٔثُ پیش ثی‪ٙ‬ی ای‪ٙ‬ى‪ ٝ‬دسخ‪ٛ‬است و‪ٙٙ‬عذ‪ٜ‬‬ ‫‪‬‬
‫‪ٚ‬أیس ‪ٚ‬اْ سا وبُٔ ثشٌشدا٘ذ سا ثش اسبس ‪ٚ‬یژٌی‪ٞ‬بیی چ‪ ٖٛ‬سٗ دسخ‪ٛ‬است و‪ٙٙ‬ذ‪ٛٔ ٚ ٜ‬خ‪ٛ‬دی قهبثش سا دس ٘ظش ثٍیشیذ‪ .‬ثب ‪ٚ‬خع‪ٛ‬د ای‪ٙ‬ىع‪ٝ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی فمؾ ٔمبدیش ٔ‪ٙ‬ـمی تبث ‪ٞ‬ذف سا دس ثش داسد‪ 1$ .‬یب طفشس ثهت‪ ٝ‬ث‪ ٝ‬ای‪ٙ‬ى‪ ٝ‬دسخ‪ٛ‬است و‪ٙٙ‬ذ‪ٚ ٜ‬اْ سا ثشٌشدا٘ذ‪ ٜ‬یعب خیعش‪.#‬‬
‫ث‪ٟ‬تشیٗ ٕ٘بیش تبث ‪ٞ‬ذفس ٔذَ وشدٖ خش‪ٚ‬خی ثشای اقتٕبَ ثبصٌشدا٘ذٖ ‪ٚ‬اْ استس ث‪ ٝ‬خبی ای‪ٙ‬ى‪ ٝ‬یبد ثٍیشیٓ و‪ ٝ‬خ‪ٛ‬د ٔمبدیش ‪ 0‬یعب ‪ 1‬سا‬
‫ثشای ‪ٞ‬ش ٕ٘‪ٚ ٝ٘ٛ‬العی یبد ثٍیشیٓ‪ .‬دس چ‪ٙ‬یٗ ششایـی و‪ ٝ‬دس آٖ ‪ٞ‬ذف یبدٌیشی تخٕیٗ اقتٕبیت استس ٔیت‪ٛ‬اٖ ٘شبٖ داد وع‪ ٝ‬ث‪ٟ‬تعشیٗ‬
‫تخٕیٗ ص٘‪ٙ‬ذ‪ٜ‬ی اقتٕبَ شجى‪ٞٝ‬بیی ‪ٞ‬هت‪ٙ‬ذ و‪ٔ ٝ‬مذاس‪ cross entropy‬سا ثب تعشیف صیش ٔی‪ٙ‬یٕٓ و‪ٙٙ‬ذس‬

‫∑‬

‫٘یض ٔمذاس ‪ٞ‬ذف ثعشای ٕ٘‪٘ٛ‬ع‪ٝ‬ی آٔ‪ٛ‬صشعی ‪ d‬اسعت‪.‬‬ ‫تخٕیٗ اقتٕبَ خش‪ٚ‬خی شجى‪ ٝ‬ثشای ٕ٘‪ٝ٘ٛ‬ی آٔ‪ٛ‬صشی ‪ d‬است ‪ٚ‬‬ ‫دس ای‪ٙ‬دب‬
‫فظُ ‪ 6‬ششایؾ ‪ ٚ‬دِیُ ای‪ٙ‬ى‪ٔ ٝ‬حتُٕتشیٗ فشػی‪ٝ‬ی شجى‪ ٝ‬فشػی‪ ٝ‬ای است و‪ cross entropy ٝ‬سا ٔی‪ٙ‬یٕٓ ٔیو‪ٙ‬ذ سا ثشسسی وشد‪ٜ‬‬
‫‪ ٚ‬لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬سا ثشای ایٗ ٔعیبس ‪ٚ ٚ‬اقذ ‪ٞ‬بی سیٍٕ‪ٛ‬یذ پیذا خ‪ٛ‬ا‪ٞ‬ذ وشد‪ٕٞ .‬چ‪ٙ‬یٗ دس آ٘دب شعشایؾ ای‪ٙ‬ىع‪ٔ ٝ‬حتٕعُتعشیٗ فشػعی‪ٝ‬‬
‫‪ٕٞ‬بٖ فشػی‪ٝ‬ی است و‪ٔ ٝ‬دٕ‪ ٛ‬خـب‪ٞ‬بی ٔشثعی سا ٔی‪ٙ‬یٕٓ ٔیو‪ٙ‬ذ سا ثشسسی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب تغییش ٔ‪ٛ‬ثش تبث خـب ٔیت‪ٛ‬اٖ ٔیت‪ٛ‬اٖ اشتشان ‪ٚ‬صٖ‪ٞ‬ب‪ 1‬یب ثهتٗ ث‪ 2ٓٞ ٝ‬سا ثشای ‪ٚ‬اقذ‪ٞ‬بی ٔختّعف ‪ٚ‬س‪ٚ‬دی یعب خش‪ٚ‬خعی ایدعبد وعشد‪.‬‬ ‫‪‬‬
‫ایذ‪ٜ‬ی اطّی اخجبس ‪ٚ‬صٖ‪ٞ‬بی ٔختّف شجى‪ ٝ‬ث‪ ٝ‬داشتٗ ٔمبدیش یىی استس ٔعٕ‪ٛ‬یً ایٗ وبس ت‪ٛ‬سؾ وعبسثشد ثخعبؿش دا٘عش لجّعی دس ٔع‪ٛ‬سد‬
‫ٔهئّ‪ ٝ‬ط‪ٛ‬ست ٔیٌیشد‪ .‬ثشای ٔثبَ )‪ (Lang et al. 1990) ٚ (Waibel et al. 1989‬وبسثشدی اص شجى‪ٞ ٝ‬عبی عظعجی ثعشای‬
‫تشخیض طحجت سا ٔـشح ٔیو‪ٙٙ‬ذ و‪ ٝ‬دس آٖ ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی شجى‪ ٝ‬ع‪ٙ‬بطش فشوب٘هی طحجت دس صٔبٖ‪ٞ‬عبی ٔختّعف دس پ‪ٙ‬دعش‪ٜ‬ی صٔعب٘ی‬
‫‪ٔ 144‬یّی ثب٘ی‪ ٝ‬است‪ .‬یىی اص فشع‪ٞ‬بیی و‪ٔ ٝ‬یت‪ٛ‬اٖ ا٘دبْ داد ایٗ است و‪ ٝ‬ع‪ٙ‬بطش فشوب٘هی و‪ ٝ‬طذای ٔشخظی ‪ٞ‬هت‪ٙ‬ذ ‪$‬ثشای ٔثبَ‬
‫طذای "‪ #"eee‬سا ثبیذ ٔهتمُ اص صٔبٖ دلیك آٖ دس ؿ‪ٔ 144 َٛ‬یّی ثب٘ی‪ ٝ‬تشخیض داد‪ .‬ثشای اعٕبَ ایٗ لیذس ‪ٚ‬اقذ‪ٞ‬بی ٔختّفی وع‪ٝ‬‬
‫‪ٚ‬س‪ٚ‬دی اص لهٕت‪ٞ‬بی ٔختّف پ‪ٙ‬دش‪ٜ‬ی صٔب٘ی دسیبفت ٔیو‪ٙٙ‬ذ ثبیذ ‪ٚ‬صٖ‪ٞ‬بی ٔشعتشوی داشعت‪ ٝ‬ثبشع‪ٙ‬ذ‪ .‬اثعش وّعی ایعٗ لیعذ دس فؼعبی‬
‫فشػی‪ٞ ٝ‬بی ٕٔىٗس وٓ وشدٖ سیهه ‪ ٚ overfit‬ث‪ٟ‬ج‪ٛ‬د اقتٕبَ تعٕیٓ ث‪ٚ ٝ‬ػعیت‪ٞ‬بی ٔشب‪ٞ‬ذ‪٘ ٜ‬شذ‪ ٜ‬است‪ .‬چ‪ٙ‬یٗ اشتشان ‪ٚ‬صٖ‪ٞ‬عبیی‬
‫ٔعٕ‪ٛ‬یً ثب آٔ‪ٛ‬صش خذاٌب٘‪ٝ‬ی ‪ٚ‬صٖ‪ٞ‬بی ٔشتشن ‪ ٚ‬خبیٍضی‪ٙ‬ی ٔیبٍ٘ی‪ٙ‬شبٖ ث‪ ٝ‬خبی آٖ‪ٞ‬ب ط‪ٛ‬ست ٔیٌیشد‪ .‬قبطُ فشای‪ٙ‬عذ ایعٗ اسعت وع‪ٝ‬‬
‫اشتشان ‪ٚ‬صٖ‪ٞ‬ب ث‪ ٝ‬سٕت ٔی‪ٙ‬یٕٓ وشدٖ تبث خـبی دیٍشی ٔیُ ٔیو‪ٙٙ‬ذ و‪ ٝ‬ثب تبث خـبی اطّی یىهبٖ ٘یهت‪.‬‬

‫‪ 4.8.4‬دیگز متذ هبی مینیمم کزدن خطب‬

‫شیت ٘ض‪ َٚ‬یىی اص اطّیتشیٗ ٔتذ ‪ٞ‬بی پیذا وشدٖ فشػی‪ ٝ‬ای ثب ٔی‪ٙ‬یٕٓ وشدٖ تبث خـبستس أب ایٗ ٔتذ ‪ٕٞ‬یش‪ٔ ٝ‬عؤثشتشیٗ ٔتعذ ٘یهعت‪ .‬ثعؼعی‬
‫ٔ‪ٛ‬ال دس آٔ‪ٛ‬صش شجى‪ٞ ٝ‬بی پیچیذ‪ٜ‬س ‪ backpropagation‬ثشای ‪ٍٕٞ‬شا شذٖ ث‪ ٝ‬د‪ٜٞ‬ب ‪ٞ‬ضاس تىشاس قّم‪ٝ‬ی تغییش ‪ٚ‬صٖ‪ٞ‬ب داسد‪ .‬ث‪ٕٞ ٝ‬یٗ دِیعُس‬
‫تعذادی اٍِ‪ٛ‬سیتٓ ث‪ٟ‬ی‪ ٝٙ‬سبصی ‪ٚ‬صٖ‪ٞ‬ب اسائ‪ ٝ‬شذ‪ٛٔ ٚ ٜ‬سد ٔـبِع‪ ٝ‬لشاس ٌشفت‪ ٝ‬است‪ .‬ثشای ٔشب‪ٞ‬ذ‪ٜ‬ی دیٍش س‪ٚ‬ش‪ٞ‬بس ث‪ٟ‬تش است ٔتذ تغییش ‪ٚ‬ص٘ی سا ثب د‪ٚ‬‬
‫ا٘تخبة دس ٘ظش ثٍیشیٓ‪ :‬ا٘تخبة یه خ‪ٟ‬ت ثشای تغییش ثشداس ‪ٚ‬صٖ‪ٞ‬ب ‪ ٚ‬ا٘تخبة ؿ‪ِٛ‬ی ثشای قشوت ث‪ ٝ‬آٖ سعٕت‪ .‬دس ‪ backpropagation‬ایعٗ‬
‫خ‪ٟ‬ت ثب عىس ٌشادیبٖ ا٘تخبة ٔیش‪ٛ‬د ‪ ٚ‬ؿ‪ِٛ‬ی و‪ ٝ‬قشوت ٔیو‪ٙ‬یٓ ثب ثبثت ػشیت یبدٌیشی ‪ٔ η‬عّ‪ٔ ْٛ‬یٌشدد‪.‬‬

‫یىی اص ٔتذ ‪ٞ‬بی ث‪ٟ‬ی‪ ٝٙ‬سبصیس و‪ ٝ‬خهتد‪ٛ‬ی خـی‪٘ 3‬بٔیذ‪ٔ ٜ‬یش‪ٛ‬د س‪ٚ‬شی ٔتفب‪ٚ‬ت ثشای ا٘تخبة ؿ‪ َٛ‬تغییش ‪ٚ‬صٖ اسائ‪ٔ ٝ‬یو‪ٙ‬ذ‪ .‬دس وُس صٔعب٘ی وع‪ٝ‬‬
‫خـی ثشای خ‪ٟ‬ت تغییش ‪ٚ‬صٖ‪ٞ‬ب ا٘تخبة ٔیش‪ٛ‬دس ؿ‪ َٛ‬تغییش ثب پیذا وشدٖ ٔی‪ٙ‬یٕٓ تبث خـب ثش س‪ٚ‬ی ایٗ خؾ ا٘تخبة ٔیش‪ٛ‬د‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ وع‪ ٝ‬ایعٗ‬
‫وبس ٕٔىٗ است ثبع تغییش ثهیبس ثضسي یب ثهیبس و‪ٛ‬چىیس ٔت‪ٙ‬بست ثب فبطّ‪ٝ‬ی ٔی‪ٙ‬یٕٓ تبث خـب ثش س‪ٚ‬ی ایٗ خؾس دس ‪ٚ‬صٖ‪ٞ‬ب شع‪ٛ‬د‪ .‬س‪ٚ‬ش دیٍعشی‬
‫و‪ ٝ‬ثب ایذ‪ٜ‬ی خهتد‪ٛ‬ی خـی ایدبد شذ‪ٜ‬س س‪ٚ‬ش ٔىُٕ ٌشادیبٖ‪٘ 4‬بْ داسد‪ .‬دس ایٗ خبس سشیای اص خهتد‪ٞ ٛ‬بی خـی ثشای خهتد‪ٛ‬ی ٔی‪ٙ‬یٕٕی دس‬
‫سـح خـب ا٘دبْ ٔیش‪ٛ‬د‪ .‬دس ٔشقّ‪ٝ‬ی ا‪ َٚ‬ایٗ سشی خهتد‪ ٛ‬خ‪ٟ‬ت عىس ٌشادیبٖ ا٘تخبة ٔیش‪ٛ‬د‪ .‬دس ‪ٞ‬ش ٔشقّ‪ ٝ‬خ‪ٟ‬تی خذیذ ا٘تخبة شعذ‪ ٜ‬وع‪ٝ‬‬
‫تغییش دس آٖ خ‪ٟ‬ت ثبع تغییش دس خ‪ٟ‬ت‪ٞ‬بی لجّی ٍ٘شدد ‪ ٚ‬ع‪ٙ‬ظش خـبی ٌشادیبٖ و‪ ٝ‬طفش شذ‪ ٜ‬طفش ثبلی خ‪ٛ‬ا‪ٞ‬ذ ٔب٘ذ‪.‬‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬استفبد‪ ٜ‬اص ٔتذ ‪ٞ‬بی دیٍش ٌب‪ٞ‬ی دس سشعت آٔ‪ٛ‬صش شجى‪ ٝ‬تأثیش داس٘ذس أب ٔتذ‪ٞ‬بیی چ‪ٔ ٖٛ‬ىُٕ ٌشادیبٖ تأثیش خبطی ثش س‪ٚ‬ی خـبی‬
‫تعٕیٓ شجى‪ٝ‬ی خش‪ٚ‬خی ٘ذاس٘ذ‪ .‬ت‪ٟٙ‬ب تأثیش ثش س‪ٚ‬ی خـبی ٘‪ٟ‬بیی تفب‪ٚ‬ت ثیٗ فشای‪ٙ‬ذ ‪ٞ‬بی ٔی‪ٙ‬یٕٓ سبصی دس افتعبدٖ دس ٔی‪ٙ‬عیٕٓ‪ٞ‬عبی ٘هعجی ٔتفعب‪ٚ‬ت‬
‫است‪ (Bishop 1996) .‬ثح وبّٔی دسثبس‪ٜ‬ی ٔتذ‪ٞ‬بی ث‪ٟ‬ی‪ ٝٙ‬سبصی ثشای آٔ‪ٛ‬صش شجى‪ٞ ٝ‬بی عظجی ا٘دبْ ٔید‪ٞ‬ذ‪.‬‬

‫‪1‬‬
‫‪weight sharing‬‬
‫‪2‬‬
‫‪tying together‬‬
‫‪3‬‬
‫‪line search‬‬
‫‪4‬‬
‫‪conjugate gradient‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 4.8.4‬ضجکه هبی دور دار‬

‫تب ث‪ ٝ‬اآلٖ فمؾ ث‪ ٝ‬شجى‪ٞٝ‬بیی پشداختیٓ و‪ٔ ٝ‬ت‪ٙ‬بست ثب ٌشاف‪ٞ‬بی ثذ‪ ٖٚ‬د‪ٚ‬س ث‪ٛ‬د٘ذ‪ .‬شجى‪ٞ ٝ‬بی د‪ٚ‬س داس‪ 1‬شجى‪ٞ ٝ‬بی عظعجیای ‪ٞ‬هعت‪ٙ‬ذ وع‪ ٝ‬ثعشای‬
‫داد‪ٞ ٜ‬بی سشی‪ٞ‬بی صٔب٘ی استفبد‪ٔ ٜ‬یش‪٘ٛ‬ذ ‪ ٚ‬خش‪ٚ‬خی شجى‪ ٝ‬دس صٔبٖ ‪ٚ t‬س‪ٚ‬دی صٔبٖ ‪ t+1‬خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس چ‪ٙ‬عیٗ شعشایـیس قّمع‪ ٝ‬ای دس شعجى‪ٝ‬‬
‫ٔ‪ٛ‬خ‪ٛ‬د است‪ .‬ثشای دسن ث‪ٟ‬تشس فشع و‪ٙ‬یذ و‪ٔ ٝ‬یخ‪ٛ‬ا‪ٞ‬یٓ ثب استفبد‪ ٜ‬اص شبخض‪ٞ‬بی س‪ٟ‬بْ دس ‪ٞ‬ش س‪ٚ‬ص )‪ٔ x(t‬ت‪ٛ‬سؾ لیٕت س‪ٟ‬بْ سا ثشای س‪ٚ‬ص ثعذی‬
‫)‪ y(t+1‬پیش ثی‪ٙ‬ی و‪ٙ‬یٓ‪ .‬ثب داشتٗ سشیای اص ایٗ اؿالعبتس یىی اص سا‪ ٜ‬قُ‪ٞ‬بی ثهعیبس سعبد‪ ٜ‬اسعتفبد‪ ٜ‬اص شعجى‪ٝ‬ی تعه سع‪ٛ‬ی‪ ٚ ٝ‬اسعتفبد‪ ٜ‬اص‬
‫)‪ٞ x(t‬ب ثشای پیش ثی‪ٙ‬ی )‪ٞ y(t+1‬بست‪ .‬شجى‪ ٝ‬ای ٔثُ آ٘چ‪ ٝ‬دس شىُ ‪ 4.11‬لهٕت ‪ a‬آٔذ‪ ٜ‬است‪.‬‬

‫یىی اص ٔشىالت ایٗ سا‪ ٜ‬ایٗ است و‪ٔ ٝ‬مذاس )‪ y(t+1‬فمؾ ثب ت‪ٛ‬خ‪ ٝ‬ث‪ x(t) ٝ‬پیش ثی‪ٙ‬ی ٔیش‪ٛ‬د ‪ٞ ٚ‬یچ تأثیشی اص ٔمبدیش لجّی ‪٘ x‬خ‪ٛ‬ا‪ٞ‬ذ پزیشفت‪.‬‬
‫دس قبِی و‪ ٝ‬ایٗ تأثیش ثهیبس قیبتی استس ثشای ٔثبَس فشع و‪ٙ‬یذ و‪ٔ ٝ‬ت‪ٛ‬سؾ لیٕت س‪ٟ‬بْ س‪ٚ‬ص ثعذ ث‪ٔ ٝ‬یضاٖ تغییعش شبخظعی ثعیٗ أعش‪ٚ‬ص ‪ ٚ‬دیعش‪ٚ‬ص‬
‫‪ٚ‬اثهت‪ ٝ‬است‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬ایٗ ٔشىُ ثب اػبف‪ ٝ‬وشدٖ ٔمبدیش )‪ x(t-1‬قُ ٔیش‪ٛ‬د أب ٕ٘یت‪ٛ‬اٖ اص ایٗ سا‪ ٜ‬قُ ثشای اػبف‪ ٝ‬وشدٖ تٕبٔی ٔمعبدیش‬
‫ٌزشت‪ٝ‬ی ‪ x‬ث‪ ٝ‬سیهتٓ استفبد‪ ٜ‬وشد‪ .‬شجى‪ٝ‬ی د‪ٚ‬س داسی و‪ ٝ‬دس شىُ )‪٘ 4.11 (b‬شبٖ داد‪ ٜ‬شذ‪ ٜ‬سا‪ ٜ‬قّی ثشای اسبسی ایٗ ٔشىُ است‪ .‬دس ایعٗ‬
‫شجى‪ٔ ٝ‬ب ‪ٚ‬اقذ پ‪ٟٙ‬بٖ اػبفی ‪ٚ ٚ b‬اقذ ‪ٚ‬س‪ٚ‬دی خذیذ )‪ c(t‬سا ث‪ ٝ‬شجى‪ ٝ‬اػبف‪ ٝ‬وشد‪ٜ‬ایٓ‪ٔ .‬مذاس )‪ c(t‬تعشیف شذ‪ ٜ‬تب ‪ٕٞ‬یش‪ٔ ٝ‬مذاس ‪ٚ‬اقذ ‪ b‬سا دس صٔبٖ‬
‫‪ t-1‬داشت‪ ٝ‬ثبشذ‪ .‬پس ٔمذاس ‪ٚ‬س‪ٚ‬دی )‪ c(t‬دس ‪ٞ‬ش پّ‪ٝ‬ی صٔبٖ دلیمبً ‪ٕٞ‬بٖ ٔمذاس ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ b‬دس پّ‪ٝ‬ی لجّی صٔبٖ است‪ .‬چ‪ٙ‬عیٗ سعبختبسی ثبعع‬
‫ٔیش‪ٛ‬د تب شجى‪ ٝ‬سفتبسی ثب ت‪ٛ‬خ‪ ٝ‬ث‪ٌ ٝ‬زشت‪ ٝ‬ا٘دبْ د‪ٞ‬ذس ‪ٚ‬اقذ ‪ b‬اؿالعبت یصْ سا ثشای آی‪ٙ‬ذ‪ ٜ‬رخیش‪ٔ ٜ‬یو‪ٙ‬ذ ‪ٚ ٚ‬اقذ ‪٘ c‬یض اص ٌزشت‪ ٝ‬خجش ٔعید‪ٞ‬عذ‪.‬‬
‫چ‪ٞ ٖٛ‬ش ثبس و‪ٔ b ٝ‬حبسج‪ٔ ٝ‬یش‪ٛ‬د ث‪ ٝ‬ع‪ٛٙ‬اٖ تشویجی اص )‪ٔ c ٚ x(t‬حبسج‪ٔ ٝ‬یش‪ٛ‬د پس اؿالعبت ٔشث‪ٛ‬ؽ ث‪ ٝ‬داد‪ٞ ٜ‬بی لعذیٕیتعش سا ٘یعض دس خع‪ٛ‬د‬
‫رخیش‪ ٜ‬وشد‪ ٜ‬است‪ .‬اص سبختبس شجى‪ٞ ٝ‬بی د‪ٚ‬س داس دیٍشی ٘یض ٔیشذ ثشای ایٗ ٔثبَ استفبد‪ ٜ‬وشد‪ .‬ثشای ٔثبَس ٔیت‪ٛ‬اٖ چ‪ٙ‬عذیٗ ییع‪ ٝ‬ثعیٗ ‪ٚ‬س‪ٚ‬دی ‪ٚ‬‬
‫‪ٚ‬اقذ ‪ b‬لشاس داد ‪ ٚ‬یب ای‪ٙ‬ى‪ٔ ٝ‬یت‪ٛ‬اٖ اص چ‪ٙ‬ذیٗ قّم‪ ٝ‬ث‪ ٝ‬خبی یه قّم‪ ٝ‬استفبد‪ ٜ‬وشد‪.‬‬

‫چٍ‪ٔ ٝ٘ٛ‬یت‪ٛ‬اٖ شجى‪ٞ ٝ‬بی د‪ٚ‬س داس سا آٔ‪ٛ‬صش داد؟ ا٘‪ٛ‬ا ٔختّفی اص شجى‪ٞ ٝ‬بی د‪ٚ‬س داس ‪ٚ‬خ‪ٛ‬د داسد ‪ٔ ٚ‬تذ ‪ٞ‬بی ثهیبسی ثشای آٔ‪ٛ‬صش آٖ‪ٞ‬ب پیش‪ٟٙ‬بد‬
‫شذ‪ ٜ‬است‪$ .‬ثشای اؿالعبت ثیشعتش ثع‪ Jordan 1986; Elman 1990; Mozer 1995; Williams and Zipser 1995 ٝ‬سخع‪ٛ‬‬
‫و‪ٙ‬یذ‪ .#‬ثهیبس خبِت است و‪ ٝ‬ثذا٘یٓ ٔیت‪ٛ‬اٖ ثب یه تغییش و‪ٛ‬چه دس ‪ Backpropagation‬شجى‪ٞٝ‬بیی ٘ظیش شىُ )‪ 4.11 (b‬سا آٔع‪ٛ‬صش داد‪.‬‬
‫ثشای دسن ایٗ تغییشس شىُ )‪ 4.11 (c‬سا دس ٘ظش ثٍیشیذ و‪ ٝ‬سبختبس تب ٘شذ‪ ٜ‬ی‪ 2‬شجى‪ ٝ‬سا ٘شبٖ ٔید‪ٞ‬ذ‪ .‬دس ای‪ٙ‬دب ث‪ ٝ‬خعبی قّمع‪ٞٝ‬عبیی دس ؿع‪َٛ‬‬
‫صٔبٖ اص وپی‪ٞ‬بی ثهیبسی اص ‪ٕٞ‬بٖ شجى‪ ٝ‬استفبد‪ ٜ‬وشد‪ٜ‬ایٓ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ سبختبس شجى‪ٝ‬ی خذیذ ‪ٞ‬یچ د‪ٚ‬سی ٘ذاسد‪ .‬ث‪ٙ‬بثشایٗ ٔیت‪ٛ‬اٖ شعجى‪ٝ‬ی‬
‫تب ٘شذ‪ ٜ‬سا ثب استفبد‪ ٜ‬اص ‪ Backpropagation‬آٔ‪ٛ‬صش داد‪ .‬دس ‪ٚ‬ال دس عُٕ فمؾ یه وپی اص شجى‪ ٝ‬آٔ‪ٛ‬صش داد‪ٔ ٜ‬یشع‪ٛ‬د ‪ ٚ‬یعه دسعت‪ٚ ٝ‬صٖ‬
‫خ‪ٛ‬ا‪ٞ‬یٓ داشت‪ .‬ث‪ٙ‬بثشایٗ ثعذ اص آٔ‪ٛ‬صش شجى‪ٝ‬ی تب ٘شذ‪ٔ ٜ‬یت‪ٛ‬اٖ ٔمذاس ‪ٞ‬ش ‪ٚ‬صٖ سا ٔیبٍ٘یٗ ‪ٚ‬صٖ‪ٞ‬بی ٘ظیش دس تٕبٔی وپی‪ٞ‬عب دا٘هعت‪(Mozer .‬‬
‫)‪ 1995‬ایٗ فشای‪ٙ‬ذ سا ثب خضئیبت ت‪ٛ‬ػیح داد‪ ٜ‬است‪ .‬دس وُس شجى‪ٞ ٝ‬بی د‪ٚ‬س داس سختتش اص شجى‪ٞ ٝ‬بی سبد‪ ٜ‬آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪٘ٛ‬ذ ‪ ٚ‬تعٕعیٓ‪ٞ‬عبی‬
‫لبثُ اؿٕی‪ٙ‬ب٘ی ٘یض ٕ٘ید‪ٙٞ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د چ‪ ٖٛ‬لبثّیت تعٕیٓ سا افضایش ٔید‪ٙٞ‬ذ ‪ٕٞ‬چ‪ٙ‬بٖ خض‪ ٚ‬شجى‪ٞ ٝ‬بی ٔ‪ٔ ٟٓ‬حه‪ٛ‬ة ٔیش‪٘ٛ‬ذ‪.‬‬

‫‪1‬‬
‫‪recurrent networks‬‬
‫‪2‬‬
‫‪unfolded‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شىُ ‪ 4.11‬شجى‪ٞ ٝ‬بی د‪ٚ‬س داس‪.‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 4.8.4‬سبختبر ضجکهی پویب‬

‫تب ایٗ ِحظ‪ ٝ‬ث‪ ٝ‬آٔ‪ٛ‬صش شجى‪ٞ ٝ‬بی عظجی ث‪ ٝ‬ع‪ٛٙ‬اٖ پیذا وشدٖ ‪ٚ‬صٖ‪ٞ‬ب ثشای شجى‪ ٝ‬ای ثب سبختبس ٌشافی ثبثعت پشداختع‪ٝ‬ایعٓ‪ٔ .‬تعذ ‪ٞ‬عبی ثهعیبسی‬
‫دسثبس‪ٜ‬ی پ‪ٛ‬یب‪ 1‬ث‪ٛ‬دٖ سبختبس شجى‪ ٝ‬اسائ‪ ٝ‬شذ‪ ٜ‬و‪ ٝ‬دس ط‪ٛ‬ست ٘یبصس شجى‪ٞٝ‬ب ٔیت‪ٛ‬ا٘‪ٙ‬ذ افضایش یب وب‪ٞ‬ش ‪ٚ‬اقذ ‪ ٚ‬یب استجبؽ ‪ٌ$‬ش‪ #ٜ‬داشت‪ ٝ‬ثبشذ تعب لعذست‬
‫تعٕیٓ ‪ٛٔ ٚ‬ثش ث‪ٛ‬دٖ آٔ‪ٛ‬صش سا افضایش د‪ٞ‬ذ‪.‬‬

‫یىی اص ایٗ ایذ‪ٜٞ‬ب شش‪ ٚ‬اص شجى‪ ٝ‬ثذ‪ٞ ٖٚ‬یچ ‪ٚ‬اقذ پ‪ٟٙ‬بٖس ‪ ٚ‬افضایش ‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ ٔـبثك ثب ٘یبصس تب ٔیضاٖ خـب سا تب قذ لبثعُ لجع‪ِٛ‬ی وعب‪ٞ‬ش‬
‫د‪ٞ‬ذ‪ .‬اٍِ‪ٛ‬سیتٓ ‪ (Fahlman, Lebiere 1990) Cascade-Correlation‬چ‪ٙ‬یٗ اٍِع‪ٛ‬سیتٕی اسعت‪ .‬ایعٗ اٍِع‪ٛ‬سیتٓ دس اثتعذا شعجى‪ ٝ‬ای‬
‫ٔیسبصد و‪ٞ ٝ‬یچ ‪ٚ‬اقذ پ‪ٟٙ‬ب٘ی ٘ذاسد‪ .‬ثشای ٔثبَس دس ٔثبَ تشخیض چ‪ٟ‬ش‪ ٜ‬فمؾ ‪ٚ 4‬اقذ خش‪ٚ‬خی و‪ٞ ٝ‬ش وذاْ ٔهتمیٕبً ثب تٕعبٔی ٌعش‪ٞ ٜ‬عبی ‪ٚ‬س‪ٚ‬دی‬
‫طفح‪ٝ‬ی ‪ 30x32‬دس استجبؿ‪ٙ‬ذ ایدبد ٔیو‪ٙ‬ذ‪ .‬ثعذ اص آٔ‪ٛ‬صش ایٗ شجى‪ٝ‬س ٔعّ‪ٔ ْٛ‬یش‪ٛ‬د و‪ٔ ٝ‬مذاس خـبی لبثُ ت‪ٛ‬خ‪ٟ‬ی اص ثبلی ٔیٔب٘ذس صیشا و‪ ٝ‬تبث‬
‫‪ٞ‬ذف سا ٕ٘یت‪ٛ‬اٖ ثب شجى‪ ٝ‬ای ته یی‪ ٝ‬یبد ٌشفت‪ .‬پس ث‪ٙ‬بثشایٗ اٍِ‪ٛ‬سیتٓ یه ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ث‪ ٝ‬شجى‪ ٝ‬اػبف‪ٔ ٝ‬یو‪ٙ‬ذ ‪ٚ ٚ‬صٖ‪ٞ‬عبی ٔشث‪ٛ‬ؿع‪ ٝ‬سا چ‪ٙ‬عبٖ‬
‫تعییٗ ٔیو‪ٙ‬ذ و‪ ٝ‬ساثـ‪ٝ‬ی ثیٗ ٔمذاس ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ ٚ‬خـبی ثبلیٔب٘ذ‪ٜ‬ی شجى‪ ٝ‬قذاوثش شع‪٘ٛ‬ذ‪ .‬سعپس ایعٗ ‪ٚ‬اقعذ خذیعذ ٘ظعت ٔعیشع‪ٛ‬دس تٕعبٔی‬
‫‪ٚ‬صٖ‪ٞ‬بیش ثبثت ٍ٘‪ ٝ‬داشت‪ٔ ٝ‬یش‪ٛ‬د ‪ ٚ‬استجبؿی ثیٗ آٖ ‪ ٚ‬تٕبٔی خش‪ٚ‬خی‪ٞ‬ب ایدبد ٔیٌشدد‪ .‬د‪ٚ‬ثبس‪ ٜ‬فشای‪ٙ‬ذ ث‪ ٝ‬قشوت ٔیافتذس ‪ٚ‬صٖ‪ٞ‬بی لذیٕی د‪ٚ‬ثبس‪ٜ‬‬
‫آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪٘ٛ‬ذ ‪ٚ$‬صٖ‪ٞ‬بی ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ٕٞ‬چ‪ٙ‬بٖ ثبثت ٔیٔب٘ذ‪ٔ .#‬مذاس خـبی ثبلیٕب٘ذ‪ ٜ‬د‪ٚ‬ثبس‪ ٜ‬چه ٔیش‪ٛ‬د ‪ ٚ‬اٌش ث‪ ٝ‬ا٘عذاص‪ٜ‬ی لبثعُ تع‪ٛ‬خ‪ٟ‬ی‬
‫ثضسي ث‪ٛ‬د ‪ٚ‬اقذی دیٍش ث‪ ٝ‬یی‪ٝ‬ی پ‪ٟٙ‬بٖ اػبف‪ ٝ‬خ‪ٛ‬ا‪ٞ‬ذ شذ‪ٞ .‬ش ٌب‪ ٜ‬و‪ٚ ٝ‬اقذی خذیذ ث‪ ٝ‬یی‪ٝ‬ی پ‪ٟٙ‬بٖ اػبف‪ٔ ٝ‬یش‪ٛ‬دس اص تٕبٔی ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی اطعّی‬
‫‪ ٚ‬تٕبٔی ‪ٚ‬اقذ ‪ٞ‬بی پ‪ٟٙ‬بٖ لجّی ‪ٚ‬س‪ٚ‬دی دسیبفت ٔیو‪ٙ‬ذ‪ .‬ث‪ٕٞ ٝ‬یٗ ٔ‪ٛٙ‬اَ شجى‪ٌ ٝ‬هتشش پیذا خ‪ٛ‬ا‪ٞ‬ذ وشد تب خـب اص قذ آستب٘‪ ٝ‬ای وٕتش شع‪ٛ‬د ‪ ٚ‬ثع‪ٝ‬‬
‫ٔمذاس لبثُ لج‪ِٛ‬ی ثشسذ‪ (Fahlman and Lebiere 1990) .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ای‪ٙ‬ى‪ٕٞ ٝ‬یش‪ ٝ‬فمؾ ‪ٚ‬اقذ خذیذ آٔ‪ٛ‬صش داد‪ٔ ٜ‬یش‪ٛ‬د ٘شبٖ داد٘ذ و‪ٝ‬‬
‫دس ‪ٔ Cascade-Correlation‬یت‪ٛ‬اٖ ث‪ ٝ‬ؿ‪ٛ‬س لبثُ ت‪ٛ‬خ‪ٟ‬ی تعذاد آٔ‪ٛ‬صش‪ٞ‬ب سا وٓ وشد‪ .‬یىی اص ٔشىالت وبسثشدیای و‪ٍٙٞ ٝ‬بْ ث‪ ٝ‬وبس ثشدٖ‬
‫ایٗ اٍِ‪ٛ‬سیتٓ پیش ٔیآیذ ایٗ است و‪ ٝ‬چ‪ ٖٛ‬تعذاد ‪ٚ‬اقذ ‪ٞ‬بی اػبف‪ ٝ‬شذ‪٘ ٜ‬بٔحذ‪ٚ‬د است پس خیّی سعبد‪ٔ ٜ‬شعىُ ‪ overfit‬سخ ٔعید‪ٞ‬عذس پعس‬
‫‪ٕٞ‬یش‪ ٝ‬ثبیذ الذأبت یصْ سا ثشای خّ‪ٌٛ‬یشی اص ‪ overfit‬دس استفبد‪ ٜ‬اص ایٗ اٍِ‪ٛ‬سیتٓ ا٘دبْ داد‪.‬‬

‫سا‪ ٜ‬دیٍش ثشای استفبد‪ ٜ‬اص سبختبس شجى‪ٝ‬ی پ‪ٛ‬یبس دلیمبً عىس ایٗ ‪ Cascade-Correlation‬اسعت‪ .‬ثدعبی شعش‪ ٚ‬اص سعبد‪ٜ‬تعشیٗ شعجى‪ٞٝ‬عب ‪ٚ‬‬
‫پیچیذ‪ ٜ‬تش وشدٖ آٖ ؿی ٔشاقُس ثب شجى‪ ٝ‬ای پیچیذ‪ ٜ‬شش‪ٔ ٚ‬یو‪ٙ‬یٓ ‪ ٚ‬ثب ٔعّ‪ ْٛ‬شذٖ ای‪ٙ‬ى‪ ٝ‬ثعؼی استجبؽ‪ٞ‬ب ٔ‪٘ ٟٓ‬یهت‪ٙ‬ذ آٖ‪ٞ‬ب سا ‪ٞ‬شس ٔیو‪ٙ‬عیٓ‪.‬‬
‫یىی اص سا‪ٜٞ‬بی تشخیض ای‪ٙ‬ى‪ ٝ‬یه استجبؽ ٔ‪٘ ٟٓ‬یهت ایٗ است و‪ٚ ٝ‬صٖ استجبؽ‪ٞ‬بی غیش ٔ‪ٔ ٟٓ‬عٕ‪ٛ‬یً ٘ضدیه ث‪ ٝ‬طفش٘ذ‪ .‬سا‪ ٜ‬د‪ْٚ‬س وع‪ ٝ‬دس وعبسثشد‬
‫( سا ٔعیتع‪ٛ‬اٖ‬ ‫ٔ‪ٛ‬فكتش ث‪٘ ٝ‬ظش ٔیسسذس ایٗ است و‪ ٝ‬ثجی‪ٙ‬یٓ تغییش و‪ٛ‬چىی دس ٔمذاس ‪ٚ‬صٖ چ‪ ٝ‬تأثیشی ثش خـبی ‪ٔ E‬یٌزاسد‪ .‬اثش تغییش ‪ w‬ثش ‪) E‬‬
‫ٔعیبسی ثشای ا‪ٕٞ‬یت استجبؽ ٘ظیش دا٘هت‪ (LeCun et al. 1990) .‬فشای‪ٙ‬ذی سا ٔعشفی ٔیو‪ٙ‬ذ و‪ ٝ‬ؿی آٖ شجى‪ ٝ‬آٔ‪ٛ‬صش داد‪ٔ ٜ‬عیشع‪ٛ‬د ‪ ٚ‬وعٓ‬
‫ا‪ٕٞ‬یتتشیٗ استجبؽ‪ٞ‬ب ٘یض قزف ٔیش‪٘ٛ‬ذس ایٗ فشای‪ٙ‬ذ آ٘مذس تىشاس ٔیش‪ٛ‬د و‪ ٝ‬ث‪ ٝ‬ششؽ پبیب٘ی خبطی ثشسیٓ‪ .‬ث‪ ٝ‬ایٗ فشای‪ٙ‬عذس س‪ٚ‬ش ث‪ٟ‬ی‪ٙ‬ع‪ ٝ‬سعبصی ی‬
‫طذٔبت ٔغض‪٘ 2‬یض ٔیٌ‪ٛ‬ی‪ٙ‬ذس صیشا و‪ ٝ‬دس ‪ٞ‬ش ٔشقّ‪ٝ‬س اٍِ‪ٛ‬سیتٓ سعی ٔیو‪ٙ‬ذ تب وٓ ا‪ٕٞ‬یتتشیٗ استجبؽ‪ٞ‬ب سا قزف و‪ٙ‬ذ‪ٌ .‬فت‪ٔ ٝ‬یشع‪ٛ‬د دس شعجى‪ٞ ٝ‬عبی‬
‫ثهیبس ثضسي ثشای تشخیض وبساوتش چ‪ٙ‬یٗ س‪ٚ‬شی ٔیت‪ٛ‬ا٘ذ تعذاد استجبؽ‪ٞ‬ب سا تب ‪ 1/4‬وب‪ٞ‬ش د‪ٞ‬ذس ‪ ٚ‬لذست تعٕیٓ شجى‪ ٝ‬سا وٕی ث‪ٟ‬ج‪ٛ‬د ٔعیثخشعذ ‪ٚ‬‬
‫ثبصد‪ ٜ‬آٔ‪ٛ‬صش سا ث‪ ٝ‬ؿ‪ٛ‬س لبثُ ت‪ٛ‬خ‪ٟ‬ی ثبی ٔیثشد‪.‬‬

‫‪1‬‬
‫‪dynamic‬‬
‫‪2‬‬
‫‪optimal brain damage‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس وُس تى‪ٙ‬یه‪ٞ‬بی سبختبس شجى‪ٞ ٝ‬بی پ‪ٛ‬یب ٔ‪ٛ‬فك آٔیض ث‪ٛ‬د‪ ٜ‬است‪ .‬فمؾ ثبیذ دیذ تب آٖ‪ٞ‬ب ث‪ ٝ‬ا٘ذاص‪ٜ‬ی ‪ Backpropagation‬دس افضایش لعذست‬
‫تعٕیٓ ل‪ٛ‬ی ‪ٞ‬هت‪ٙ‬ذ یب ٘‪ .ٝ‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د دس ٔ‪ٛ‬اسدی ٘شبٖ داد‪ ٜ‬شذ‪ ٜ‬و‪ ٝ‬ث‪ٔ ٝ‬یضاٖ لبثُ ت‪ٛ‬خ‪ٟ‬ی دس صٔبٖ آٔ‪ٛ‬صش تأثیش ٔیٌزاس٘ذ‪.‬‬

‫‪ 1.4‬خالصه و هنابع برای هطالعهی بیشتر‬

‫٘ىبت اطّی ایٗ فظُ شبُٔ ٔ‪ٛ‬اسد صیش ٔیش‪ٛ‬د‪:‬‬

‫شجى‪ٞ ٝ‬بی عظجی ٔظ‪ٛٙ‬عی ٔتذی وبسثشدی ثشای یبدٌیشی ت‪ٛ‬اث قمیمی ٔمذاس ‪ ٚ‬ثشداسی سا ثش س‪ٚ‬ی ‪ٚ‬یژٌی‪ٞ‬بی ٌههت‪ ٚ ٝ‬پی‪ٛ‬ست‪ ٝ‬اسائ‪ٝ‬‬ ‫‪‬‬
‫ٔیو‪ٙٙ‬ذس ایٗ ٔتذ دس ٔمبثُ خـبی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صشی ٔمب‪ ْٚ‬است‪ .‬اٍِ‪ٛ‬سیتٓ ‪ٔ Backpropagation‬تذا‪َٚ‬تشیٗ ٔتذ یبدٌیشی شجى‪ٝ‬‬
‫است ‪ ٚ‬دس ثهیبسی اص وبس‪ٞ‬بی یبدٌیشی ٘ظیش تشخیض دستخؾ ‪ ٚ‬و‪ٙ‬تشَ سثبت ثب ٔ‪ٛ‬فمیت ث‪ ٝ‬وبس سفت‪ ٝ‬است‪.‬‬
‫فؼبی فشػی‪ ٝ‬ای دس ٘ظش ٌشفت‪ ٝ‬شذ‪ ٜ‬ثشای اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬فؼبی تٕبٔی ت‪ٛ‬اث ٕٔى‪ٙ‬ی و‪ ٝ‬ثب تغییش ‪ٚ‬صٖ‪ٞ‬بی شجى‪ٝ‬‬ ‫‪‬‬
‫ثبثتی اص ‪ٚ‬اقذ‪ٞ‬ب ‪ ٚ‬استجبؽ‪ٞ‬ب ثیبٖ ٔیش‪٘ٛ‬ذ است‪ .‬شجى‪ٞ ٝ‬بی ته س‪ٛ‬ی‪ ٝ‬ثب تعذاد وبفی ‪ٚ‬اقذ دس ‪ٞ‬ش یی‪ ٝ‬و‪ ٝ‬شبُٔ س‪ ٝ‬یی‪ٚ ٝ‬اقذ ٔیش‪٘ٛ‬ذ‬
‫لبثّیت تخٕیٗ ‪ٞ‬ش تبثعی سا ثب دلت دِخ‪ٛ‬ا‪ ٜ‬سا داس٘ذ‪ .‬قتی شجى‪ٞٝ‬بیی ثب ا٘ذاص‪ٜ‬ی ‪ٚ‬العی ٔیت‪ٛ‬ا٘‪ٙ‬ذ فؼبی غ‪ٙ‬یای اص ت‪ٛ‬اثع غیعش خـعی سا‬
‫ٕ٘بیش د‪ٙٞ‬ذس ث‪ٕٞ ٝ‬یٗ دِیُ شجى‪ٞ ٝ‬بی ته س‪ٛ‬ی‪ٌ ٝ‬ضی‪ٝٙ‬ی خ‪ٛ‬ثی ثشای یبدٌیشی ت‪ٛ‬اث ٌههت‪ ٚ ٝ‬پی‪ٛ‬ست‪ ٝ‬و‪ ٝ‬دس قبِت وّی فعشْ وّعی‬
‫ٔد‪ِٟٛ‬ی داس٘ذ است‪.‬‬
‫‪ Backpropagation‬فؼبی تٕبٔی فشػی‪ٞ ٝ‬بی ٕٔىٗ سا ثب اسعتفبد‪ ٜ‬اص شعیت ٘عض‪ ٚ َٚ‬وعب‪ٞ‬ش ٔت‪ٙ‬عب‪ٚ‬ة خـعبی ثعیٗ شعجى‪ٚ ٝ‬‬ ‫‪‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشی خهتد‪ٔ ٛ‬یو‪ٙ‬ذ ‪ .‬شیت ٘ض‪ َٚ‬ث‪ ٝ‬سٕت ٔی‪ٙ‬یٕٓ ٘هجی خـبی ثیٗ شجى‪ٞ ٕٝ٘ٛ٘ ٚ ٝ‬بی آٔ‪ٛ‬صشی ثشای ‪ٚ‬صٖ‪ٞ‬بی شجى‪ٝ‬‬
‫ٔیُ خ‪ٛ‬ا‪ٞ‬ذ وشد‪ .‬دس قبِت وّیتشس شیت ٘ض‪ٔ َٚ‬تذی ثبِم‪ٔ ٜٛ‬فیذ ثشای خهتد‪ٛ‬ی فؼب‪ٞ‬بی فشػی‪ ٝ‬ای پی‪ٛ‬ست‪ٝ‬ی چ‪ٙ‬ذ ٔتغیعش‪ ٜ‬وع‪ ٝ‬دس آٖ‬
‫خـبی آٔ‪ٛ‬صشی تبثعی ٔشتك پزیش اص پبسأتش ‪ٞ‬بی فشػی‪ ٝ‬است‪.‬‬
‫یىی اص فشیج‪ٙ‬ذ‪ٜ‬تشیٗ ‪ٚ‬یژٌی‪ٞ‬بی ‪ Backpropagation‬لبثّیت آٖ دس ایدبد ‪ٚ‬یژٌی‪ٞ‬بی خذیذی است و‪ ٝ‬ث‪ ٝ‬ؿ‪ٛ‬س طشیح دس ‪ٚ‬س‪ٚ‬دی‬ ‫‪‬‬
‫شجى‪ ٝ‬دس ٘ظش ٌشفت‪٘ ٝ‬شذ‪ ٜ‬است‪ .‬دس وُس یی‪ٞ ٝ‬بی داخّی ‪$‬پ‪ٟٙ‬بٖ‪ #‬دس یه شجى‪ٝ‬ی چ‪ٙ‬ذ یی‪ ٝ‬یبد ٔیٌیش٘ذ تب ‪ٚ‬یژٌعی‪ٞ‬عبی ٔیعب٘یای سا‬
‫ٕ٘بیش د‪ٙٞ‬ذ و‪ ٝ‬ثشای یبدٌیشی تبث ‪ٞ‬ذف ٔفیذ ث‪ٛ‬د‪ ٚ ٜ‬ث‪ ٝ‬ؿ‪ٛ‬س ػٕ‪ٙ‬ی دس ‪ٚ‬س‪ٚ‬دی‪ٞ‬بی شجى‪ ٝ‬ثیبٖ شذ‪ٜ‬ا٘ذ‪ .‬ایٗ لبثّیتس ثعشای ٔثعبَس دس‬
‫شجى‪ ٝ‬ای ‪ 8×3×8‬دس لهٕت ‪ 4.6.4‬دس وذ ٌزاسی ٔ‪ٙ‬ـمی ا٘دبْ شذ‪ ٜ‬ثشای اعذاد ‪ 1‬تب ‪ ٚ 8‬دس ٔثبَ تشخیض چ‪ٟ‬عش‪ ٜ‬دس لهعٕت ‪ 4.7‬ثعب‬
‫‪ٚ‬یژٌی‪ٞ‬بی عىس دس یی‪ٝ‬ی پ‪ٟٙ‬بٖ ثیبٖ شذ‪ٜ‬ا٘ذ‪.‬‬
‫‪ overfit‬ثش س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صشی ٔشىّی ٔ‪ ٟٓ‬دس یبدٌیشی شجى‪ٞ ٝ‬بی عظجی است‪ overfit .‬ث‪ ٝ‬شجى‪ ٝ‬ای ختٓ ٔعیشع‪ٛ‬د وع‪ٝ‬‬ ‫‪‬‬
‫تعٕیٓ ػعیفی س‪ٚ‬ی داد‪ٞ ٜ‬بی خذیعذ داسد أعب وعبسایی ععبِیای س‪ٚ‬ی داد‪ٞ ٜ‬عبی آٔ‪ٛ‬صشعی داسد‪ٔ .‬تعذ‪ٞ‬بی ‪ Cross-Validation‬سا‬
‫ٔیت‪ٛ‬اٖ ثشای تخٕیٗ ٘مـ‪ٝ‬ی ایهت ٔ‪ٙ‬بست ثشای خهتد‪ٔ ٚ ٛ‬ی‪ٙ‬یٕٓ وشدٖ سیهه ‪ overfit‬ث‪ ٝ‬وبسثشد‪.‬‬
‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٔ Backpropagation ٝ‬تذا‪َٚ‬تشیٗ اٍِ‪ٛ‬سیتٓ ثشای یبدٌیشی شجى‪ٞ ٝ‬بی عظجی استس أب اٍِ‪ٛ‬سیتٓ‪ٞ‬بی ثهیبس دیٍشی‬ ‫‪‬‬
‫اسائ‪ ٝ‬شذ‪ٜ‬ا٘ذس ایٗ اٍِ‪ٛ‬سیتٓ‪ٞ‬ب شبُٔ اٍِ‪ٛ‬سیتٓ‪ٞ‬بیی ثشای ا‪ٞ‬ذاف خبص ٔیش‪٘ٛ‬ذ‪ .‬ثشای ٔثبَس ٔتعذ‪ٞ‬بی شعجى‪ٞ ٝ‬عبی عظعجی قّمع‪ ٝ‬داسس‬
‫شجى‪ٞٝ‬بیی سا آٔ‪ٛ‬صش ٔید‪ٙٞ‬ذ و‪ ٝ‬قّم‪ٞ ٝ‬بی ٔهتمیٓ داس٘ذ ‪ ٚ‬اٍِع‪ٛ‬سیتٓ‪ٞ‬عبیی چع‪ Cascade Correlation ٖٛ‬سعبختبس شعجى‪ ٝ‬سا‬
‫عال‪ ٜٚ‬ثش ‪ٚ‬صٖ‪ٞ‬بی شجى‪ ٝ‬تغییش ٔید‪ٙٞ‬ذ‪.‬‬
‫اؿالعبت ثیشتش دس ٔ‪ٛ‬سد شجى‪ٞ ٝ‬بی عظجی سا ٔیت‪ٛ‬ا٘یذ دس فظ‪ َٛ‬دیٍش ایٗ وتبة ثیبثیذ‪ .‬ت‪ٛ‬خی‪ٟ‬ی ثیضی ثعشای ا٘تخعبة ٔعیعبس خـعبی ٔشثععی دس‬
‫فظُ ‪ 6‬اسائ‪ٔ ٝ‬یش‪ٛ‬دس دس ایٗ فظُ ‪ٕٞ‬چ‪ٙ‬یٗ ت‪ٛ‬خی‪ٟ‬ی ثشای ٔی‪ٙ‬یٕٓ وشدٖ ‪ cross-entropy‬ث‪ ٝ‬خبی خـعبی ٔشثععی دس شعشایؾ خعبص آ‪ٚ‬سد‪ٜ‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫شذ‪ ٜ‬است‪٘ .‬تبیح تئ‪ٛ‬سی تعذاد ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صشعی یصْ ثعشای سسعیذٖ ثع‪ ٝ‬شعجى‪ ٝ‬ای لبثعُ اؿٕی‪ٙ‬عبٖ ثعشای ت‪ٛ‬اثع قمیمعی ‪ ٚ‬ثععذ ‪Vapnik-‬‬
‫‪ Chervonenkis‬ثشای شجى‪ٞ ٝ‬بی خبص دس فظُ ‪ 7‬ثح شذ‪ٜ‬ا٘ذ‪ .‬دس فظُ ‪٘ 5‬یض ثحثی دس ٔع‪ٛ‬سد ‪ ٚ overfit‬چٍع‪ٍ٘ٛ‬ی د‪ٚ‬سی اص آٖ آ‪ٚ‬سد‪ٜ‬‬
‫شذ‪ٕٞ .ٜ‬چ‪ٙ‬یٗ دس فظُ ‪ٔ 12‬تذ‪ٞ‬بیی ثشای استفبد‪ ٜ‬اص دا٘ش لجّی ثشای ث‪ٟ‬ج‪ٛ‬د تعٕیٓ دلت شجى‪ٞ ٝ‬بی عظجی ٔ‪ٛ‬سد ثح لشاس ٌشفت‪ ٝ‬است‪.‬‬

‫وبس ثش س‪ٚ‬ی شجى‪ٞ ٝ‬بی عظجی ث‪ ٝ‬صٔبٖ‪ٞ‬بی ا‪ِٚ‬ی‪ٝ‬ی عّ‪ ْٛ‬وبٔپی‪ٛ‬تش ثش ٔیٌشدد‪ٔ (McCulloch and Pitts 1943) .‬ذِی ثشای یه ٘ع‪ٛ‬س‪ٖٚ‬‬
‫ٔشبث‪ ٝ‬پشسپتش‪ ٖٚ‬اسائ‪ ٝ‬وشد٘ذس دس ؿی د‪ٝٞ‬ی ‪ 1960‬وبس‪ٞ‬بی ثهیبسی ثش س‪ٚ‬ی لبثُ لجع‪ َٛ‬ثع‪ٛ‬دٖ ایعٗ ٔعذَ ا٘دعبْ ٌشفعت‪ .‬دس ا‪ٚ‬ایعُ د‪ٞ‬ع‪ٝ‬ی ‪60‬‬
‫)‪ (Windrow and Hoff 1960‬شجى‪ٞ ٝ‬بی پشسعپتش‪$ ٖٚ‬وع‪ ٝ‬آٖسا ‪ٔ adeline‬عی٘بٔیذ٘عذ‪ ٚ #‬لعب٘‪ ٖٛ‬دِتعب سا ٔع‪ٛ‬سد ثشسسعی لعشاس داد٘عذس‬
‫)‪ٍٕٞ (Rosenblatt 1962‬شایی لب٘‪ ٖٛ‬آٔ‪ٛ‬صش پشسپتش‪ ٖٚ‬سا ثبثت وشد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬دس دس ا‪ٚ‬اخش د‪ٝٞ‬ی ‪ٔ 60‬شخض شذ وع‪ ٝ‬پشسعپتش‪ ٖٚ‬تعه‬
‫یی‪ٔ ٝ‬حذ‪ٚ‬دیت ٕ٘بیش داسد ‪ ٚ‬اٍِ‪ٛ‬سیتٓ ٔ‪ٛ‬ثشی ٘یض ثشای آٔ‪ٛ‬صش شجى‪ٞ ٝ‬بی چ‪ٙ‬ذ یی‪ٔ ٝ‬عشفی ٘شعذ‪ ٜ‬ثع‪ٛ‬د‪(Minsky and Papert 1969) .‬‬
‫٘شبٖ داد٘ذ و‪ ٝ‬قتی تبث سبد‪ ٜ‬ای چ‪ XOR ٖٛ‬سا ٕ٘یت‪ٛ‬اٖ ثب شجى‪ٞ ٝ‬بی پشسپتش‪ ٖٚ‬ته یی‪ٕ٘ ٝ‬بیش داد ‪ ٚ‬وبس ثش س‪ٚ‬ی شعجى‪ٞ ٝ‬عبی عظعجی دس‬
‫د‪ٝٞ‬ی ‪ٔ 70‬ت‪ٛ‬لف شذ‪.‬‬

‫دس ا‪ٚ‬اسؾ د‪ٝٞ‬ی ‪ 80‬ثب اختشا ‪ ٚ Backpropagation‬اٍِ‪ٛ‬سیتٓ‪ٞ‬عبی ٔشث‪ٛ‬ؿع‪ٝ‬ی آٔع‪ٛ‬صش شعجى‪ٞ ٝ‬عبی چ‪ٙ‬عذ ییع‪(Rumelhart and ٝ‬‬
‫)‪McClelland 1986; Parker 1985‬س وبس ثش س‪ٚ‬ی شجى‪ٞ ٝ‬بی عظجی د‪ٚ‬ثبس‪ ٜ‬اص سش ٌشفت‪ ٝ‬شذ‪ .‬اسبس ایٗ ایذ‪ٜٞ‬ب سا ٔیت‪ٛ‬اٖ دس وبس‪ٞ‬عبی‬
‫لجّی خهت )‪ .(Werbos 1975‬اص د‪ٝٞ‬ی ‪ Backpropagation 80‬ث‪ ٝ‬یىی اص ٔتذا‪َٚ‬تشیٗ ٔتذ‪ٞ‬بی یعبدٌیشی تجعذیُ شعذ ‪ ٚ‬ثهعیبسی اص‬
‫س‪ٚ‬ش‪ٞ‬بی دیٍش ٔشث‪ٛ‬ؿ‪ٝ‬ی شجى‪ٞ ٝ‬بی عظجی ٔ‪ٛ‬سد ٔـبِع‪ ٝ‬لشاس ٌشفعت‪ .‬ثعب ظ‪ٟ‬ع‪ٛ‬س سایب٘ع‪ٞ ٝ‬عبی وعٓ لیٕعت دس ‪ٕٞ‬عبٖ د‪ٚ‬س‪ ٜ‬تحمیمعبت ثعش س‪ٚ‬ی‬
‫اٍِ‪ٛ‬سیتٓ‪ٞ‬بی ٔحبسجبتیتش و‪ ٝ‬دس د‪ٝٞ‬ی ‪ٕٔ 60‬ىٗ ٘ج‪ٛ‬د شش‪ ٚ‬شذ‪.‬‬

‫وتبة‪ٞ‬بی صیبدی ث‪ٔ ٝ‬جح شجى‪ٞ ٝ‬بی عظجی اختظبص یبفت‪ ٝ‬است‪ .‬یىی اص وتبة‪ٞ‬بی لذیٕی أب ٔفیذ دسثبس‪ٜ‬ی ٔتذ‪ٞ‬بی یبدٌیشی پبسأتشی ثشای‬
‫تشخیض اٍِ‪ ٛ‬ت‪ٛ‬سؾ )‪ٛ٘ (Duda and Hart 1973‬شت‪ ٝ‬شذ‪ ٜ‬است‪ .‬وتبة )‪ (Widrow and Stearns 1985‬ث‪ ٝ‬پشسپتش‪ٖٞٚ‬ب ‪ ٚ‬شجى‪ٝ‬‬
‫‪ٞ‬بی ته یی‪ٝ‬ی ٔشث‪ٛ‬ؿ‪ ٚ ٝ‬وبسثشدشبٖ ٔیپشداصد‪ٔ (Rumelhart and McClelland 1986) .‬دٕ‪ٛ‬ع‪ٝ‬ی ٔ‪ٙ‬تخجی اص ٔمبیت و‪ ٝ‬عالل‪ٝ‬ی‬
‫وبس ثش س‪ٚ‬ی ایٗ ٔتذ‪ٞ‬ب سا افضایش داد سا اص ا‪ٚ‬اسؾ د‪ٝٞ‬ی ‪ 80‬ث‪ ٝ‬ثعذ خٕ آ‪ٚ‬سی وشد‪ٜ‬ا٘ذ‪ .‬وتبة‪ٞ‬بی اخیعش دس ٔجحع شعجى‪ٞ ٝ‬عبی عظعجی شعبُٔ‬
‫)‪(Bishop 1996‬س )‪(Chauvin and Rumelhart 1995‬س )‪(Freeman and Skapina 1991‬س )‪(Fu 1994‬س ‪(Hecht-‬‬
‫)‪ٔ (Hertz et al. 1991) ٚ Nielsen 1990‬یش‪ٛ‬د‪.‬‬

‫تورینات‬
‫سا ثشای پشسپتش‪٘ٚ‬ی و‪ ٝ‬سـح تظٕیٕش دس شىُ ‪ 4.3‬آ‪ٚ‬سد‪ ٜ‬شذ‪ ٜ‬تعییٗ و‪ٙ‬یذ‪ .‬فشع و‪ٙ‬یذ و‪ ٝ‬ایعٗ سعـح‬ ‫‪ٚ‬‬ ‫س‬ ‫‪ٔ 4.1‬مبدیش ‪ٚ‬صٖ‪ٞ‬بی‬
‫سا دس ‪ 2‬لـ ٔیو‪ٙ‬ذ‪.‬‬ ‫سا دس ‪ٔ ٚ 1-‬ح‪ٛ‬س‬ ‫ٔح‪ٛ‬س‬

‫‪ 4.2‬پشسپتش‪٘ٚ‬ی ثب د‪ٚ ٚ‬س‪ٚ‬دی ؿشاقی و‪ٙ‬یذ و‪ ٝ‬تبث ٔ‪ٙ‬ـمی ‪ A⋀¬B‬سا ٘شبٖ د‪ٞ‬ذ‪ .‬اص شجى‪ ٝ‬ای د‪ ٚ‬یی‪ ٝ‬اص پشسپتش‪ٖٞٚ‬ب ثشای ٘شبٖ دادٖ ‪A XOR‬‬
‫‪ B‬استفبد‪ ٜ‬و‪ٙ‬یذ‪.‬‬

‫سا دس ٘ظش ثٍیشیذ‪ .‬پشسپتش‪ٚ A ٖٚ‬صٖ‪ٞ‬بی صیش سا داسد‬ ‫‪ 4.3‬د‪ ٚ‬پشسپتش‪ ٖٚ‬ثب ساثـ‪ٝ‬ی ٔمذاس قذی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ ٚ‬پشسپتش‪ٚ B ٖٚ‬صٖ‪ٞ‬بی صیش سا داساست‬

‫تعییٗ و‪ٙ‬یذ و‪ ٝ‬آیب پشسپتش‪ A ٖٚ‬اص پشسپتش‪ B ٖٚ‬وّیتش است؟ ‪$‬تعشیف وّیتش ث‪ٛ‬دٖ دس فظُ ‪ 2‬آٔذ‪ ٜ‬است‪.#‬‬

‫‪ 4.4‬اص لب٘‪ ٖٛ‬آٔ‪ٛ‬صش دِتب ثشای یه ‪ٚ‬اقذ خـی ثب د‪ٚ ٚ‬س‪ٚ‬دی استفبد‪ ٜ‬و‪ٙ‬یذ ‪ ٚ‬آٖسا ثعشای ت‪ٙ‬بسعت ثعب ٔف‪ٟ‬ع‪ٞ ْٛ‬عذف‬
‫آٔ‪ٛ‬صش د‪ٞ‬یذ‪ .‬خـبی ‪ E‬سا ثش قهت تعذاد تىشاس ‪ٞ‬بی آٔ‪ٛ‬صش سسٓ و‪ٙ‬یذ‪ .‬سـح تظٕیٓ سا ثعذ اص ‪5‬س ‪10‬س ‪50‬س ‪100‬س ‪ ...‬ثبس اخشا سسٓ و‪ٙ‬یذ‪.‬‬

‫ثشای آٔ‪ٛ‬صش استفبد‪ ٜ‬و‪ٙ‬یذ‪ .‬عّٕىشد وذاْ قبِت ث‪ٟ‬تش است؟‬ ‫)‪ (a‬اص ٔمبدیش ٔختّف ثبثت ثشای ‪ η‬استفبد‪ ٜ‬وشد‪ٕٞ ٚ ٜ‬چ‪ٙ‬یٗ اص ٔمذاس ٔتغیش‬

‫)‪ (b‬اص افضایش ‪ ٚ‬آٔ‪ٛ‬صش دست‪ ٝ‬ای‪ 1‬استفبد‪ ٜ‬و‪ٙ‬یذ‪ .‬وذاْ یه ص‪ٚ‬دتش ‪ٍٕٞ‬شا ٔیش‪ٛ‬د؟ ‪ٞ‬ش د‪ٔ ٚ‬عیبس تعذاد تغییش ‪ٚ‬صٖ‪ٞ‬ب ‪ ٚ‬وعُ صٔعبٖ اخعشا سا دس ٘ظعش‬
‫ثٍیشیذ‪.‬‬

‫‪ 4.5‬لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬سا ثشای ته خش‪ٚ‬خیای ث‪ ٝ‬فشْ ‪ o‬ث‪ ٝ‬شىُ صیش استخشاج و‪ٙ‬یذ‬

‫‪ 4.6‬ث‪ ٝ‬ؿ‪ٛ‬س غیش سسٕی ت‪ٛ‬ػیح د‪ٞ‬یذ و‪ ٝ‬چشا لب٘‪ ٖٛ‬آٔ‪ٛ‬صش دِتب دس ساثـ‪ٝ‬ی ‪ 4.10‬فمؾ تخٕی‪ٙ‬ی اص لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬ساثـ‪ٝ‬ی ‪ 4.7‬است‪.‬‬

‫‪ 4.7‬شجى‪ٝ‬ی عظجی ته س‪ٛ‬ی‪ ٝ‬ای سا دس ٘ظش ثٍیشیذ و‪ ٝ‬د‪ٚ ٚ‬س‪ٚ‬دی ‪ ٚ b ٚ a‬یه ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ‪ ٚ c‬یه ‪ٚ‬اقذ خش‪ٚ‬خی ‪ d‬داسد‪ .‬ایٗ شجى‪ ٝ‬پع‪ٙ‬ح ‪ٚ‬صٖ‬
‫٘شبٖ د‪ٙٞ‬ذ‪ٜ‬ی ٔمذاس آستب٘‪ٝ‬ی ثشای ‪ٚ‬اقذ ‪ x‬اسعت‪ .‬ایعٗ ‪ٚ‬صٖ‪ٞ‬عب سا ثعب ٔمعبدیش‬ ‫داسدس دس ایٗ ٕ٘بیش‬
‫ا‪ِٚ‬ی‪ٝ‬ی )‪ٔ (.1,.1,.1,.1,.1‬مذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬و‪ٙ‬یذ سپس اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬سا ث‪ ٝ‬آٖ‪ٞ‬ب اعٕبَ و‪ٙ‬یعذ‪ .‬فعشع و‪ٙ‬یعذ وع‪ ٝ‬ػعشیت‬
‫یبدٌیشی ‪η=.3‬س تىب٘‪α=.9 ٝ‬س ‪ٚ‬صٖ‪ٞ‬ب سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬خذاٌب٘‪ ٝ‬تغییش د‪ٞ‬یذس ‪ٞ ٕٝ٘ٛ٘ ٚ‬بی آٔ‪ٛ‬صشی ث‪ ٝ‬ط‪ٛ‬ست صیش٘ذ‪:‬‬

‫‪a‬‬ ‫‪B‬‬ ‫‪D‬‬

‫‪1‬‬ ‫‪0‬‬ ‫‪1‬‬
‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬
‫‪ 4.8‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬دس خذ‪ 4.2 َٚ‬سا ؿ‪ٛ‬سی تغییش د‪ٞ‬یذ و‪ ٝ‬ثش س‪ٚ‬ی ‪ٚ‬اقذ‪ٞ‬بیی وع‪ ٝ‬اص تعبث ‪ tanh‬ثع‪ ٝ‬خعبی تعبث سعیٍٕ‪ٛ‬یذ‬
‫لب٘‪ ٖٛ‬تغییش ‪ٚ‬صٖ سا ثشای یی‪ ٝ‬خش‪ٚ‬خی ‪ ٚ‬یی‪ ٝ‬پ‪ٟٙ‬بٖ اسائ‪ ٝ‬و‪ٙ‬یذ‪.‬‬ ‫⃗⃗‬ ‫استفبد‪ٔ ٜ‬یو‪ٙٙ‬ذ عُٕ و‪ٙ‬ذ‪ .‬ثذیٗ ٔع‪ٙ‬ب و‪ٝ‬‬

‫‪.#‬‬ ‫‪$‬سا‪ٕٙٞ‬بیی‬

‫‪ 4.9‬شجى‪ٝ‬ی ‪٘ 8×3×8‬شبٖ داد‪ ٜ‬شذ‪ ٜ‬دس شىُ ‪ 4.7‬سا دس ٘ظش ثٍیشیذ‪ .‬فشع و‪ٙ‬یذ و‪ ٝ‬ثشای چ‪ٙ‬یٗ وبس ٔشعبث‪ٟ‬ی ٔعیخع‪ٛ‬ا‪ٞ‬یٓ اص شعجى‪ ٝ‬ای ‪8×1×8‬‬
‫وٕه ثٍیشیٓ؛ شجى‪ ٝ‬ای و‪ ٝ‬فمؾ یه ‪ٚ‬اقذ پ‪ٟٙ‬بٖ داسد‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٞ ٝ‬شت ٕ٘‪ٝ٘ٛ‬ی آٔ‪ٛ‬صشی شىُ ‪ 4.7‬سا ٔیت‪ٛ‬اٖ ثب ‪ٞ‬شت ٔمعذاس ثعشای ٌعش‪ٜ‬‬
‫پ‪ٟٙ‬بٖ ٘ظیش وشد ‪$‬ثشای ٔثبَ ‪0.1‬س ‪0.2‬س ‪ .#0.8 ...‬آیب ث‪ٙ‬بثشایٗ شجى‪ ٝ‬ای ثب فمؾ یه ‪ٚ‬اقذ پ‪ٟٙ‬بٖ ٔیت‪ٛ‬ا٘ذ تبث ‪ٕٞ‬عب٘ی سا ثعش س‪ٚ‬ی ایعٗ ٕ٘‪٘ٛ‬ع‪ٞ ٝ‬عبی‬
‫آٔ‪ٛ‬صشی یبد ثٍیشد‪ .‬سا‪ٕٙٞ‬بیی‪ :‬ایٗ سؤاَ سا دس ٘ظش ثٍیشیذ و‪" ٝ‬آیب ٔمبدیشی ثشای ‪ٚ‬صٖ‪ٞ‬بی یی‪ٝ‬ی پ‪ٟٙ‬بٖ ‪ٚ‬خ‪ٛ‬د داسد و‪ ٝ‬ثت‪ٛ‬ا٘ذ وذ ٌزاسی ثبی سا دس‬

‫‪1‬‬
‫‪batch learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یی‪ٝ‬ی پ‪ٟٙ‬بٖ ایدبد و‪ٙ‬ذ؟" "آیب ٔمبدیشی ثشای ‪ٚ‬صٖ‪ٞ‬بی خش‪ٚ‬خی ‪ٚ‬خ‪ٛ‬د داسد و‪ ٝ‬ثت‪ٛ‬اٖ ‪ٚ‬س‪ٚ‬دی سا اص ایٗ وذ ٌزاسی ث‪ ٝ‬سعبدٌی اسعتخشاج وعشد؟" ‪ٚ‬‬
‫"آیب شیت ٘ض‪ٔ َٚ‬یت‪ٛ‬ا٘ذ چ‪ٙ‬یٗ ‪ٚ‬صٖ‪ٞ‬بیی سا پیذا و‪ٙ‬ذ؟"‬

‫‪ 4.10‬تبث خـبی خبیٍضیٗ صیش سا ث‪ ٝ‬خبی ساثـ‪ٝ‬ی لهٕت ‪ 4.8.1‬دس ٘ظش ثٍیشیذ‪.‬‬

‫⃗⃗‬ ‫∑‬ ‫∑‬ ‫∑‬

‫لب٘‪ ٖٛ‬تغییش شیت ٘ض‪ َٚ‬سا ثشای ایٗ تعشیف ‪ٔ E‬حبسج‪ ٝ‬و‪ٙ‬یذ‪٘ .‬شبٖ د‪ٞ‬یذ و‪ ٝ‬ایٗ ؿشح سا ٔیت‪ٛ‬اٖ ثب ػشة ‪ٞ‬ش ‪ٚ‬صٖ دس یعه ثبثعت لجعُ اص اعٕعبَ‬
‫لب٘‪ ٖٛ‬شیت ٘ض‪ َٚ‬خذ‪ 4.2 َٚ‬پیبد‪ ٜ‬سبصی وشد‪.‬‬

‫‪ 4.11‬اص ‪ Backpropagation‬ثشای وبس تشعخیض چ‪ٟ‬عش‪ ٜ‬اسعتفبد‪ ٜ‬و‪ٙ‬یعذ‪ .‬ثعشای خضئیعبت وعبس اص خّٕع‪ ٝ‬داد‪ٞ ٜ‬عبی تظع‪ٛ‬یشی طع‪ٛ‬ستس وعذ‬
‫‪ ٚ Backpropagation‬وبس‪ٞ‬بی خبص ث‪ٔ http://www.cs.cmu.edu/~tom/book.html ٝ‬شاخع‪ ٝ‬و‪ٙ‬یذ‪.‬‬

‫‪ 4.12‬اٍِ‪ٛ‬سیتٓ شیت ٘ض‪ َٚ‬سا دس ٘ظش ثٍیشیذ و‪ ٝ‬ثشای یبدٌیشی ٔفب‪ٞ‬یٓ ‪ٞ‬ذف ٔت‪ٙ‬بست ثب ٔهتـیُ‪ٞ‬بی ٔ‪ٛ‬خ‪ٛ‬د دس طفح‪ٝ‬ی ‪ x,y‬ث‪ ٝ‬وبس ٔیس‪ٚ‬د‪ٞ .‬ش‬
‫فشػی‪ ٝ‬سا ثب ٌ‪ٛ‬ش‪ ٝ‬سٕت چپ پبییٗ ‪ ٚ‬ساست ثبی ٔت‪ٙ‬بست ثب ‪ llx,lly,urx,ury‬ت‪ٛ‬طیف ٔیش‪ٛ‬د‪٘ .‬مـ‪ٝ‬ی >‪ <x,y‬ت‪ٟٙ‬ب صٔعب٘ی ت‪ٛ‬سعؾ فشػعی‪ٝ‬ی‬
‫>‪ٔ <llx,lly,urx,ury‬ثجت دست‪ ٝ‬ث‪ٙ‬ذی ٔیش‪ٛ‬د و‪٘ ٝ‬مـ‪ٝ‬ی >‪ <x,y‬دس‪ٔ ٖٚ‬هتـیُ لشاس داشت‪ ٝ‬ثبشذ‪ .‬اص تعشیف خـبی ‪ E‬آٔذ‪ ٜ‬دس فظُ استفبد‪ٜ‬‬
‫و‪ٙ‬یذ‪ .‬آیب ٔیت‪ٛ‬ا٘یذ ٘هخ‪ ٝ‬ای ثبصثی‪ٙ‬ی شذ‪ ٜ‬اص شیت ٘ض‪ َٚ‬سا اسائ‪ ٝ‬د‪ٞ‬یذ و‪ ٝ‬چ‪ٙ‬یٗ فشػی‪ٞ ٝ‬بی ٔهتـیّیای سا یبد ثٍیشد‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ E ٝ‬ثش قهت‬
‫‪ llx,lly,urx,ury‬پی‪ٛ‬ست‪٘ ٝ‬یهتس ٔثُ قبِت پشسپتش‪$ .ٖٚ‬سا‪ٕٙٞ‬بیی‪ :‬د‪ ٚ‬سا‪ ٜ‬استفبد‪ ٜ‬شذ‪ ٜ‬ثشای پشسپتش‪ ٖٚ‬سا دس ٘ظش ثٍیشیذ‪ #1$ :‬تغییش لب٘‪ ٖٛ‬دست‪ٝ‬‬
‫ث‪ٙ‬ذی ث‪ ٝ‬ط‪ٛ‬ستی و‪ ٝ‬تبث پیش ثی‪ٙ‬ی تبثعی پی‪ٛ‬ست‪ ٝ‬ثش قهت ‪ٚ‬س‪ٚ‬دی‪ٞ‬ب ثبشذ ‪ #2$ ٚ‬تعشیف تبث خـبی دیٍشیس ٔثُ فبطّ‪ ٝ‬تب ٔشوض ٔهتـیُس ثعشای‬
‫استفبد‪ ٜ‬دس لب٘‪ ٖٛ‬دِتب ثشای آٔ‪ٛ‬صش پشسپتش‪ .#ٖٚ‬آیب اٍِ‪ٛ‬سیتٕتبٖ ث‪ ٝ‬فشػی‪ ٝ‬ای ثب خـبی ٔی‪ٙ‬یٕٓ و‪ ٝ‬دس آٖ ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت ‪ٙٔ ٚ‬فعی ثعب ٔهعتـیّی‬
‫لبثُ تمهیٓ ثبش‪ٙ‬ذ ٔیُ ٔیو‪ٙ‬ذ؟ چ‪ ٝ‬صٔب٘ی ٕ٘یت‪ٛ‬اٖ ثب ٔهتـیُ چ‪ٙ‬یٗ وبسی وشد؟ آیب ٔشىالت ٔی‪ٙ‬یٕٓ‪ٞ‬بی ٘هجی سخ ٔید‪ٙٞ‬ذ؟ اٍِ‪ٛ‬سیتٓ شٕب چ‪ٝ‬‬
‫ساثـ‪ ٝ‬ای ثب ٔتذ ‪ٞ‬بی ٕ٘بدیٗ ای و‪ ٝ‬ثشای عـف ‪ٚ‬یژٌی‪ٞ‬ب استفبد‪ٔ ٜ‬یش‪٘ٛ‬ذ داسد؟‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪Hyperplane‬‬ ‫اثش طفح‪ ٝ‬ای‬
‫‪Index‬‬ ‫ا٘ذیس‬
‫‪worse case‬‬ ‫ثذتشیٗ قبِت‬
‫‪Excited‬‬ ‫ثشاٍ٘یخت‪ٝ‬‬
‫‪linear programming‬‬ ‫ثش٘بٔ‪ٛ٘ ٝ‬یهی خـی‬
‫‪Bayesian‬‬ ‫ثیضی‬
‫‪Network width‬‬ ‫پ‪ٟٙ‬بی شجى‪ٝ‬‬
‫‪squashing function‬‬ ‫تبث فششد‪ ٜ‬سبص‬
‫‪logistic function‬‬ ‫تبث ٔ‪ٙ‬ـك‬
‫‪Unfolded‬‬ ‫تب ٘شذ‪ ٜ‬ی‬
‫‪simple-to-complex‬‬ ‫تشتیت سبد‪ ٜ‬ث‪ ٝ‬پیچیذ‪ٜ‬‬
‫‪feed-forward‬‬ ‫ته س‪ٛ‬ی‪ٝ‬‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

penalty term ‫ی خـب‬ّٕٝ‫خ‬

Interpolation ‫ٖ یبثی‬ٚ‫دس‬
True ‫دسست‬
linearly separable ‫ذی پزیش خـی‬ٙ‫ ث‬ٝ‫دست‬
Artificial neural networks ‫عی‬ٛٙ‫بی عظجی ٔظ‬ٞ ٝ‫شجى‬
termination condition ‫ششؽ پبیب٘ی‬
Gradient Descent َٚ‫شیت ٘ض‬
Incremental gradient descend ‫َ افضایشی‬ٚ‫شیت ٘ض‬
learning rate ‫ػشیت یبدٌیشی‬
False ‫غّت‬
Inhibited ٝ‫غیش ثشاٍ٘یخت‬
perceptron rule ٖٚ‫ٖ پشسپتش‬ٛ٘‫لب‬
delta rule ‫ٖ دِتب‬ٛ٘‫لب‬
generalization accuracy ٝ‫لذست تعٕیٓ شجى‬
Gradient ٖ‫ٌشادیب‬
Node ٜ‫ٌش‬
Sequential ‫بی تشتیجی‬ٞٗ‫ٔبشی‬
validation set ‫ی تبییذ‬ٝ‫ع‬ٕٛ‫ٔد‬
Threshold ٝ٘‫ٔمذاس آستب‬
linear unit ‫اقذ خـی‬ٚ
Edge َ‫یب‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل پىجم‪ :‬ارزیببی فرضیٍَب‬

‫اسصیبثی تدشثی دلت فشضیِّب اػبع یبدگیشی هبؿیي اػت‪ .‬ایي فلل هؼشفیای ثش هتذ ّبی تخویي دلت فشضیِّب ثب تبویذ ثش ػِ ػؤال صیش اسائِ‬
‫هیوٌذ‪ .‬اٍل ایٌىِ ثب دس دػت داؿتي دلت فشضیِ ثش سٍی هدوَػِی هحذٍدی اص دادُّب‪ ،‬ایي تمشیت چمذس ثِ دلت ثرش سٍی ًوًَرِّربی خذیرذ‬
‫ًضدیه اػت؟ دٍم ایٌىِ ثب داًؼتي ایٌىِ یه فشضیِ اص فشضیِ ّبی دیگش دلت ثیـتشی ثش سٍی تؼذادی ًوًَِ داسد‪ ،‬چمذس احتوبل داسد ورِ ایري‬
‫فشضیِ دس ول اص فشضیِ ّبی دیگش دلت ثیـتشی داؿتِ ثبؿذ؟ ػَم ایٌىِ صهبًی وِ دادُّب هحذٍد اػت ثْتشیي سٍؽ ثشای اػتفبدُی ایي دادُّب‬
‫ّن ثشای آهَصؽ ٍ ّن ثشای اسصیبثی چیؼت؟ صیشا وِ تؼذاد هحذٍد ًوًَِّب هوىي اػت هؼشف تَصیغ ولی ًوًَِّب ًجبؿذ ٍ دس ثذػت آٍسدى دلت‬
‫فشضیِ ثش سٍی توبهی ًوًَِّب گوشاُ وٌٌذُ ثبؿٌذ‪ .‬هتذ ّبی آهبسی‪ ،‬ثب فشمّبیی وِ دسثبسُی تَصیغ دادُّب اًدبم هیدٌّرذ‪ ،‬اخربصُ هریدٌّرذ ترب‬
‫حذاوثش اختالف ثیي دلت هـبّذُ ؿذُ ثش سٍی دادُ ّبی هَخَد ٍ دلت ٍالؼی سٍی ول تَصیغ دادُّب سا هحبػجِ وٌین‪.‬‬

‫‪ 1.5‬اوگیسٌ‬
‫دس ثؼیبسی اص هَاسد اسصیبثی فشضیِی یبد گشفتِ ؿذُ ثب حذاوثش دلت هوىي ثؼیبس هْن اػت‪ .‬یىی اص دالیل ایي اّویت‪ ،‬تـخیق لبثرل اػرتفبدُ‬
‫ثَدى فشضیِ اػت ‪$‬هـخق ؿذى ایي اػت وِ آیب ایي فشضیِ سا ثِ وبس ثجشین یب خیش‪ .#‬ثشای هثبل‪ ،‬صهبًی وِ اص یه پبیگبُ دادُی هحرذٍد ثرشای‬
‫ثشسػی تأثیش داسٍّب اػتفبدُ هیوٌین‪ ،‬داًؼتي دلت فشضیِی یبد گشفتِ ؿذُ ثؼیبس هْن اػت‪ .‬دلیل دٍم اّویت اسصیبثی فشضیِّرب ایري اػرت ورِ‬
‫اسصیبثی فشضیِّب ػٌلش داخلی ثؼیبسی اص الگَسیتنّبی یبدگیشی اػت‪ .‬ثشای هثبل‪ ،‬دس ّشع وشدى دسختّبی تلوین ثشای حرل ورشدى هـرىل‬
‫‪ overfit‬ثبیذ تأثیش ّشع ثش دلت دسخت حبكل سا دس ّش هشحلِ ثذاًین‪ .‬ثٌبثشایي دسن ٍخَد خغبی راتی دس تخویي دلت دسختّب لجل اص ّشع‬
‫ثؼذ اص ّشع اّویت ثؼیبس داسد‪.‬‬

‫تخویي دلت یه فشضیِ ٌّگبهی وِ تؼذاد دادُّب صیبد اػت ثؼیبس ػبدُ خَاّذ ثَد‪ .‬ثب ایي حبل‪ ،‬صهبًی ورِ الصم اػرت ثرب تؼرذاد هحرذٍدی دادُ‬
‫فشضیِ ای سا یبد ثگیشین ٍ اسصیبثی وٌین دٍ هـىل اػبػی پیؾ هیآیذ‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثبیبع دس تخویي‪ .‬اٍل ایٌىِ دلت فشضیِ ثش سٍی ًوًَِ ّبی آهَصؿی اغلت هؼیبس ضؼیفی ثشای دلت فشضیِ ثش دادُ ّبی خذیذ اػرت‪.‬‬ ‫‪‬‬
‫صیشا وِ فشضیِ اص ّویي دادُّب ثِ ٍخَد آهذُ اػت‪ ،‬پغ ایي ًوًَِ ّبی تخویٌی ثبیبع داس ٍ خَؽثیٌبًِ اص دلت فشضیِ ثش دادُ ّبی‬
‫خذیذ هیصًٌذ‪ .‬ایي هـىل ثیـتش هَالؼی پیؾ هیآیذ وِ فضبی فشضیِ ای‪ ،‬فضبیی وبهل اػت ٍ ثِ فشضیِ اخربصُ هریدّرذ ثرش سٍی‬
‫ًوًَِ ّبی آهَصؿی ‪ overfit‬ؿَد‪ .‬ثشای ثذػت آٍسدى تخویٌی ثذٍى ثبیبع اص دلت فشضیِ ثش سٍی دادُ ّبی خذیذ‪ ،‬هؼوَالً فشضریِ‬
‫سا ثش سٍی دػتِ ًوًَِ ّبی هدضایی اص ًوًَِ ّبی آهَصؿی ‪$‬دػتِی تؼت‪ #‬هیػٌدین‪.‬‬
‫اختالف دس تخویي‪ .‬دٍم ایٌىِ اگش دلت فشضیِ سا ثش سٍی دػتِی تؼت وِ ثبیبع ًذاسًذ ثؼٌدین‪ ،‬ثب ایي حربل اهىربى داسد ورِ ایري‬ ‫‪‬‬
‫دلت ثذػت آهذُ ثب دلت ٍالؼی اختالف داؿتِ ثبؿذ‪ ،‬ایي اختالف ثِ چگًَگی اًتخبة دػتِی تؼت ٍاثؼتِ اػت‪ .‬ثب وربّؾ اًرذاصُی‬
‫دػتِی تؼت ایي هیضاى خغبی احتوبلی ًیض افضایؾ هییبثذ‪.‬‬
‫دس ایي فلل ثِ هتذ ّبی اسصیبثی فشضیِ ّبی یبد گشفتِ ؿذُ‪ ،‬هتذّبی همبیؼِی دلرت دٍ فشضریِ‪ ٍ ،‬هترذ ّربی همبیؼرِی دلرت دٍ الگرَسیتن‬
‫یبدگیشی هختلف ٌّگبهی ثب دادُّب هحذٍدًذ هیپشداصین‪ .‬اوثش ایي هجبحث ثش پبیِی لَاًیي پبیِ ای آهبسی ٍ تئَسی ًوًَِ ثشداسی‪ّ 1‬ؼتٌذ‪ ،‬الجتِ دس‬
‫عَل ایي فلل فشم ؿذُ وِ خَاًٌذُ ّیچ اعالػبت لجلیای دس هَسد هجبحث پیچیذُی آهبسی ًذاسد‪ .‬تحمیك ثش سٍی تؼتّربی آهربسی ثشسػری‬
‫فشضیِّب خیلی ٍػیغ اػت‪ .‬ایي فلل خالكِ ای همذهِ ای اص ایي تحمیمبت آهبسی ثب تبویذ ثش لؼوتّبیی وِ ثیـتشیي ساثغرِ سا ثرب یربدگیشی ٍ‬
‫تخویي ٍ همبیؼِی دلت فشضیِّب داسد سا ًیض اسائِ هیوٌذ‪.‬‬

‫‪ 1.5‬تخمیه دقت فرضیٍَب‬

‫صهبًی وِ دلت یه فشضیِ سا تخویي هیصًین ّذف دلت فشضیِ ثشای دػتِ ثٌذی ًوًَِ ّبی خذیذ اػت‪ ،‬ػالٍُ ثش ایي ػاللِ داسین وِ احتوبل‬
‫خغب دس تخویي ایي دلت سا ًیض ثؼٌدین ‪$‬چِ هیضاى خغبیی سا ثبیذ دس ایي تخویي دس ًظش گشفت‪.#‬‬

‫دس توبم عَل ایي فلل اص ًوبد گزاسی ریل ثشای هؼبیل یبدگیشی اػتفبدُ خَاّین وشد‪ .‬فضبی ًوًَِ ّبی ‪$ X‬ثشای هثبل هدوَػرِی ورل افرشاد‬
‫خبهؼِ‪ٍ #‬خَد داسد وِ تبثغ ّذفّبی هتفبٍتی ‪$‬هثل افشادی وِ هیخَاٌّذ اهؼبل تختِ اػىی خذیذ ثخشًذ‪ #‬سٍی آىّب تؼشیف هیؿًَذ‪ .‬هب فرشم‬
‫هیوٌین وِ تؼذاد تىشاس اػضبی هختلف ‪ X‬هؼبٍی ًیؼت‪ .‬ساُ حل ػبدُ ثشای دس ًظش گشفتي ایي فشم ایي اػت وِ تَصیغ احتوبل هدَْل 𝒟 سا‬
‫وِ ثش سٍی ‪ X‬تؼشیف ؿذُ ثشای تؼذاد تىشاس ًوًَِّب دس ًظش ثگیشین ‪$‬ایي تبثغ تَصیغ هوىي اػت ثشای افشاد ‪ 99‬ػبلِ خیلی ثیـتش اص افرشاد ‪909‬‬
‫ػبلِ ثبؿذ‪ .#‬تَخِ داؿتِ ثبؿیذ وِ 𝒟 ّیچ اعالػبتی دس هَسد هثجت یب هٌفی ثَدى ًوًَِ ‪ x‬ثِ هب ًویدّذ؛ ایي تَصیغ فمظ احتوبل ثشخَسد ثب ًوًَِ‬
‫‪ x‬سا ثِ هب هیدّذ‪ .‬وبس یبدگیشی‪ ،‬یبدگیشی تبثغ ّذف ‪ f‬ثب اػتفبدُ اص فضبی فشضیِ ّبی هوىي ‪ H‬اػت‪ً .‬وًَِ ّبی آهَصؿی تبثغ ّذف ‪ f‬تَػرظ‬
‫یه هؼلن ثِ یبدگیش دادُ هیؿَد‪ .‬هؼلن خذاگبًِ ثش اػبع تَصیغ 𝒟 ًوًَِّب سا اًتخبة هیوٌذ ػپغ ًوًَِی ‪ x‬سا ثب همرذاس تربثغ ّرذف )‪ f(x‬ثرِ‬
‫یبدگیش هیدّذ‪.‬‬

‫ثشای تلَس‪ ،‬تبثغ ّذف "افشادی وِ هیخَاٌّذ اهؼبل تختِ اػىی خذیذ ثخشًذ" سا ثب ًوًَِ ّبی آهَصؿیای وِ اص تحمیمی وِ اص افشادی ورِ ثرِ‬
‫پیؼت اػىی ٍاسد هیؿًَذ ثذػت آهذُ دس ًظش ثگیشیذ‪ .‬دس ایي هثبل‪ ،‬فضبی ًوًَِ ّبی ‪ X‬ول افشاد خبهؼِ اػت‪ ،‬ایي ًوًَِّب ثب ٍیظگیّبیی ًظیش‬
‫ػي‪ ،‬ؿغل‪ ،‬تؼذاد دفؼبت اػىی دس ػبل ٍ غیشُ تَكیف هیؿًَذ‪ .‬تَصیغ 𝒟 ثشای ّش فشد ‪ x‬احتوبل ایٌىرِ فرشد ثؼرذیای ثبؿرذ ورِ ٍاسد پیؼرت‬
‫هیؿَد سا هیدّذ‪ .‬تبثغ ّذف }‪ f:X→{0,1‬افشاد سا ثش اػبع ایٌىِ للذ خشیذ تختِ اػىی خذیذ داسًذ دػتِ ثٌذی هیوٌذ‪.‬‬

‫‪1‬‬
‫‪sampling theory‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب ایي ًوبد گزاسی ولی هب ثِ دًجبل خَاة دٍ ػؤال صیش ّؼتین‪:‬‬

‫‪ .9‬ثشای فشضیِی ‪ ٍ h‬یه هدوَػِ ًوًَِ ‪ n‬ػضَی وِ اػضبیؾ ثب تَصیغ احتوبل 𝒟 اًتخبة ؿذُاًذ‪ ،‬ثْتشیي تخویي دلت ‪ h‬ثرش سٍی‬
‫ًوًَِ ّبی خذیذی وِ ثب ّوبى تَصیغ اًتخبة هیؿًَذ چمذس اػت؟‬
‫‪ .2‬خغبی احتوبلی ایي تمشیت دلت چمذس اػت؟‬

‫‪ 5.2.5‬خطای ومًوٍ ای ي خطای ياقعی‬

‫ثشای خَاة ثِ ػؤالّبی هغشح ؿذُ‪ ،‬الصم اػت وِ اثتذا تفبٍت ثیي دٍ دلت یب خغب سا ثیبى وٌین‪ .‬یىی ًؼجت خغبی فشضیِ ثش سٍی ًوًَِ ّبی‬
‫هَخَد اػت‪ .‬دیگشی ًؼجت خغبی فشضیِ ثش سٍی ول تَصیغ ًبهؼلَم 𝒟 اص ًوًَِّبػت‪ .‬ایي دٍ خغب سا ثِ تشتیرت خغربی ًوًَرِ ای‪ ٍ 1‬خغربی‬
‫ٍالؼی‪ 2‬هیًبهین‪.‬‬

‫خغبی ًوًَِ ای یه فشضیِ ثش اػبع هدوَػِ ًوًَِ ّبی ‪ S‬اص ‪ً X‬ؼجتی اص ‪ S‬اػت وِ فشضیِ اؿتجبُ دػتِ ثٌذی هیوٌذ‪:‬‬

‫‪ #‬ثشای فشضیِی ‪ h‬ثش اػبع تبثغ ّذف ‪ ٍ f‬هدوَػِ ًوًَِ ّبی ‪ S‬ثِ ؿىل صیش تؼشیف هیؿَد‪:‬‬ ‫تعریف‪ :‬خطای نمونه ای ‪$‬‬

‫∑‬

‫یه اػت ٍ دس غیش ایي كَست كفش هی ثبؿذ‪.‬‬ ‫دس ایي ساثغِ ‪ n‬تؼذاد ًوًَِ ّبی ‪ δ(f(x),h(x)) ٍ S‬اگش‬

‫خغبی ٍالؼی یه فشضیِ احتوبل ایي اػت وِ فشضیِ ًوًَِ ای وِ ثب تَصیغ 𝒟 اًتخبة ؿذُ سا اؿتجبُ دػتِ ثٌذی هیوٌذ‪.‬‬

‫‪ #‬ثشای فشضیِی ‪ ٍ h‬ثش اػبع تبثغ ّذف ‪ ٍ f‬تَصیغ 𝒟 احتوبل ایي اػت وِ ‪ً h‬وًَِی اًتخربثی ثرب‬ ‫𝒟‬ ‫تعریف‪ :‬خطای واقعی ‪$‬‬
‫تَصیغ 𝒟 سا اؿتجبُ دػتِ ثٌذی وٌذ‪.‬‬

‫𝒟‬
‫𝒟‬

‫احتوبل سا ثشای ‪ x‬ی وِ ثب تَصیغ 𝒟 اًتخبة ؿذُ ثبؿذ ًـبى هی دّذ‪.‬‬ ‫دس ایي ساثغِ‬
‫𝒟‬

‫سا ثشای فشضیِ پیذا وٌین‪ ،‬صیشا وِ ایي هیضاى خغبیی وِ دس دػتِ ثٌذی ًوًَِ ّبی خذیذ ٍخرَد داسد سا‬ ‫𝒟‬ ‫ّویـِ هب للذ داسین وِ‬
‫سا ثب داؿتي هدوَػِی ‪ S‬اًذاصُ گیرشی وٌرین‪ .‬ػرؤال اكرلی ایري اػرت ورِ‬ ‫ثیبى هیوٌذ‪ .‬ثب ایي ٍخَد‪ ،‬هب فمظ هیتَاًین همذاس‬
‫هٌبػت اػت؟"‬ ‫چمذس ثشای تخویي‬ ‫"‬

‫‪1‬‬
‫‪sample error‬‬
‫‪2‬‬
‫‪true error‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 5.2.2‬بازٌ َای اطمیىان برای فرضیٍ َای گسستٍ مقذار‬

‫سا تخویي هیصًذ؟" دس صهربًی ورِ ‪ h‬تربثؼی گؼؼرتِ همرذاس اػرت پبػر‬ ‫𝒟‬ ‫ثب چِ هیضاى دلت‬ ‫چگًَِ ثِ ػؤال "‬
‫هیدّین؟ ثِ ػجبست دلیكتش‪ ،‬فشم وٌیذ وِ هیخَاّین خغبی ٍالؼی سا ثشای فشضیِی گؼؼتِ همذاس ‪ h‬سا ثب اػتفبدُ اص هدوَػِ ًوًَرِ ّربی ‪S‬‬
‫دس ؿشایظ صیش تؼییي وٌین‪:‬‬

‫هدوَػِی ‪ S‬ؿبهل ‪ً n‬وًَِ ای اػت وِ هؼتمل اص یىذیگش ٍ هؼتمل اص ‪ّ h‬ؼتٌذ وِ ثب تَخِ ثِ 𝒟 اًتخبة ؿذُاًذ‪.‬‬ ‫‪‬‬
‫‪N≥ 30‬‬ ‫‪‬‬
‫‪#‬‬ ‫فشضیِی ‪ r ،h‬تؼذاد ًوًَِ سا اؿتجبُ دػتِ ثٌذی هیوٌذ ‪=r/n $‬‬ ‫‪‬‬
‫دس چٌیي ؿشایغی‪ ،‬تئَسی آهبس ثِ هب اخبصُ هیدّذ تب ًتبیح صیش سا ثگیشین‪:‬‬

‫اػت‪.‬‬ ‫‪،‬‬ ‫𝒟‬ ‫‪ .9‬ثذٍى داؿتي اعالػبت ثیـتش‪ ،‬هحتولتشیي همذاس‬

‫دس ثبصُی صیش اػت‪:‬‬ ‫𝒟‬ ‫‪ .2‬ثب احتوبل تمشیجبً ‪ "95‬خغبی ٍالؼی‬

‫(‬ ‫)‬
‫√‬

‫ثشای تلَس‪ ،‬هدوَػِی دادُ ّبی ‪ S‬سا ثب ‪ً n = 40‬وًَِ ٍ فشضیِی ‪ h‬سا ثب ‪ r =12‬خغب ثش سٍی ایي ًوًَِّب دس ًظرش ثگیشیرذ‪ .‬دس ایري هثربل‪،‬‬
‫ّوبى همرذاس ‪0.3‬‬ ‫𝒟‬ ‫اػت‪ .‬ثذٍى داؿتي اعالػبت ثیـتش‪ ،‬ثْتشیي تخویي ثشای‬ ‫خغبی ًوًَِ ای ‪=12/40=0.3‬‬
‫اػت‪ .‬ثب ایي ٍخَد‪ ،‬اًتظبس ًویسٍد وِ ایي تخویي‪ ،‬تخویي وبهلی اص خغبی ٍالؼی ثبؿذ‪ .‬اگش دػتِی دیگشی اص ًوًَِّب هثرل ’‪ S‬ورِ ‪ً 40‬وًَرِ‬
‫هؼبٍی ثبؿذ‪ .‬اختالف احتوبلی ایي دٍ همرذاس ثرِ چیرٌؾ دٍ‬ ‫تمشیجبً ثب‬ ‫داسد داؿتِ ثبؿین‪ ،‬لبػذتبً اًتظبس داسین وِ‬
‫اػتفبدُ وٌین‪ ،‬ثِ‬ ‫هدوَػِی ‪ٍ S’ ٍ S‬اثؼتِ اػت‪ .‬دس ٍالغ اگش ایي آصهبیؾ سا ثبسّب تىشاس وٌین ٍ دس ّش ثبس تىشاس اص هدوَػِی ‪ً 40‬وًَِ ای‬
‫ایي ًتیدِ خَاّین سػیذ وِ تمشیجبً دس ‪ "95‬ایي آصهبیـبت ثبصُی هحبػجِ ؿذُ خغبی ٍالؼی سا ؿبهل هیؿَد‪ .‬ثِ ّویي دلیل ثِ ایي ثبصُ‪ ،‬ثربصُی‬
‫هیگَیٌذ‪ .‬دس هثبل فؼلری ورِ دس آى ‪ n = 40 ٍ r = 12‬اػرت‪ ،‬ثربصُی ‪ "95‬ثرش‬ ‫𝒟‬ ‫اعویٌبى ‪ 95‬دسكذی تخویي خغبی ٍالؼی‬
‫اػبع دادُ ّبی ثبال ‪ 0.30±(1.96∙.07)=0.30±.14‬خَاّذ ثَد‪.‬‬

‫ساثغِ ای وِ دس ثبال ثشای ثبصُی اعویٌبى ‪ 95‬دسكذی ثیبى ؿذ سا هیتَاى ثشای اعویٌبى ‪ N‬دسكذی تؼوین داد‪ .‬همذاس ثبثت ‪ 1.96‬وِ دس تؼشیف‬
‫‪ ،‬هیتَاى ثبصُی اعویٌبى ‪ N%‬سا هحبػجِ وشد‪ .‬ساثغِی ولی هحبػجِی‬ ‫ساثغِ آهذُ ثشای اعویٌبى ‪ 95‬دسكذی اػت‪ ،‬ثب تغییش دادى ایي ثبثت‪،‬‬
‫دس صیش آهذُ اػت‪:‬‬ ‫𝒟‬ ‫ثبصُی اعویٌبى ‪ N%‬ثشای خغبی‬

‫(‬ ‫)‬
‫√‬

‫ثش حؼت دسكذ اعویٌبى تغییش هیوٌذ‪ .‬همبدیش ًظیش ثؼضی دسكذّب دس خذٍل ‪ 5.9‬آهذُ اػت‪.‬‬ ‫دس ایي ساثغِ ثبثت‬

‫‪"99‬‬ ‫‪"98‬‬ ‫‪"95‬‬ ‫‪"90‬‬ ‫‪"80‬‬ ‫‪"68‬‬ ‫خغرررررربی ‪"50 N‬‬

‫دسكذی‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪2.58‬‬ ‫‪2.33‬‬ ‫‪9.96‬‬ ‫‪9.64‬‬ ‫‪9.28‬‬ ‫‪9.00‬‬ ‫‪0.67‬‬ ‫‪:‬‬ ‫ثبثت‬

‫خذٍل ‪ 1.5‬همبدیش ثشای ثبصُی دٍعشفِی اعویٌبى ‪.N%‬‬

‫‪$‬ثشای ‪ (9.96∙0.07)±0.30 #n = 40 ٍ r = 12‬اػت‪ ،‬ثرِ‬ ‫𝒟‬ ‫ثٌبثشایي ّوبى عَس وِ ثِ ساحتی هحبػجِ ؿذ‪ ،‬ثبصُی اعویٌبى‬
‫ساحتی هیتَاى ثبصُی اعویٌبى ‪ 68%‬سا ًیض هحبػجِ وشد‪ ،‬ایي ثبصُ ‪ (9.0∙0.07)±0.30‬اػت‪ .‬تَخِ داسیذ وِ هٌغمی اػت وِ ثربصُی ‪68%‬‬
‫ثب وبّؾ عَل ثبصُ وبّؾ هی یبثذ‪.‬‬ ‫𝒟‬ ‫اص ثبصُی ‪ 95%‬وَچهتش ثبؿذ صیشا وِ احتوبل ٍخَد‬

‫ًـربى‬ ‫ثش اػربع همرذاس‬ ‫𝒟‬ ‫ساثغِی ‪ً 5.9‬حَُی هحبػجِی ثبصُ ّبی اعویٌبى یب ػتَىّبی خغب‪ 1‬سا ثشای تخویي‬
‫هیدّذ‪ .‬دس اػتفبدُ اص ایي ساثغِ ّویـِ ثبیذ دس ًظش داؿت وِ ایي همبدیش فمظ ثشای فشضیِ ّبی گؼؼتِ همرذاس هغرشح هریؿرَد ٍ هدوَػرِی‬
‫ًوًَِی ‪ S‬ثِ كَست تلبدفی ثب ّوبى تَصیغ احتوبلی وِ ًوًَِ ّبی خذیذ ثب آى اًتخبة هیؿًَذ اًتخبة ؿذُ ٍ ّوچٌیي فرشم هریؿرَد ورِ‬
‫دادُّب اص فشضیِ ای وِ ثب آى تؼت هیؿًَذ هؼتملٌذ‪ّ .‬وچٌیي ثبیذ دس ًظش داؿت وِ ایي ساثغِ فمظ تخویي ثبصُی اعویٌبى اػت‪ ،‬ثب ایي ٍخرَد‬
‫خیلی ًضدیه ‪ 0‬یب ‪ً 9‬یؼت دلت خَثی داسد‪ .‬ثِ ػجبست دلیركترش‬ ‫ایي تخویي صهبًی وِ تؼذاد ًوًَِ ّبی ‪ S‬ثیؾ اص ‪ 30‬اػت ٍ‬
‫ایي ساثغِ صهبًی وِ ًبهؼبٍی صیش كبدق اػت دلت خَثی داسد‪:‬‬

‫دس ثبال خالكِی فشایٌذ هحبػجِی ثبصُ ّبی اعویٌبى ثشای فشضیِ ّبی گؼؼتِ همذاس آٍسدُ ؿذُ اػت‪ .‬لؼوت ثؼذی تَخیِ آهبسی ایي فشایٌرذ سا‬
‫ثیبى هیوٌذ‪.‬‬

‫‪ 1.5‬اسبس تئًری ومًوٍ برداری‬

‫دس ایي لؼوت ایذُ ّبی اكلی آهبسی ٍ تئَسی ًوًَِ ثشداسی سا هؼشفی خَاّین وشد‪ ،‬ایي ایذُّب ؿبهل تَصیغّبی احتوبل‪ ،‬اهیذ سیبضی‪ٍ ،‬اسیربًغ‪،‬‬
‫تَصیغّبی دٍ خولِ ای ٍ ًشهبل ٍ ثبصُ ّبی یه عشفِ ٍ دٍ عشفِ هیؿَد‪ .‬آؿرٌبیی اثترذایی ثرب ایري هفربّین ثرشای دسن اسصیربثی فشضریِّرب ٍ‬
‫الگَسیتنّبی یبدگیشی اػبػی اػت‪ .‬اص آى هْنتش ایٌىِ ایي هفبّین هحیغی ثشای دسن هـىالت یبدگیشی هبؿیي هثل ‪ ٍ overfit‬ساثغِی ثیي‬
‫تؼوین هَفك ٍ تؼذاد ًوًَِّب آهَصؿی فشاّن هیوٌٌذ‪ .‬خَاًٌذگبًی وِ اص لجل ثب ایي هفبّین آؿٌبیی داسًرذ هریتَاًرذ ثرذٍى لغورِ ٍاسد ؿرذى ثرِ‬
‫ّوجؼتگی وتبة ثذٍى خَاًذى ایي لؼوت سد ؿًَذ‪ .‬هفبّین ولیذیای وِ دس ایي ثخؾ هؼشفی هیؿًَذ خالكٍِاس دس خذٍل ‪ 5.2‬آهذُاًذ‪.‬‬

‫هتغیش تلبدفی سا هیتَاى ًبم یه آصهبیؾ ثب خشٍخی تلبدفی دس ًظش گشفت‪ .‬همذاس ایي هتغیش خشٍخی آصهبیؾ اػت‪.‬‬ ‫‪‬‬
‫سا داؿرتِ ثبؿرذ ثرشای‬ ‫سا وِ احتوبل ایٌىِ هتغیش تلبدفی ‪ Y‬همرذاس‬ ‫تَصیغ احتوبل ثشای هتغیش تلبدفی ‪ Y‬احتوبل‬ ‫‪‬‬
‫ّب هـخق هی وٌذ‪.‬‬ ‫توبهی‬
‫∑=]‪ E[Y‬تؼشیف هیؿَد‪ .‬هؼورَالً اص ًوربد 𝜇 ثرشای ًوربیؾ‬ ‫همذاس اهیذ‪ ،‬یب هیبًگیي‪ ،‬هتغیش تلبدفی ‪ Y‬ثِ كَست‬ ‫‪‬‬
‫]‪ E[Y‬اػتفبدُ هیؿَد‪.‬‬
‫=)‪ Var(Y‬تؼشیف هیؿَد‪ٍ .‬اسیبًغ پٌْبی تَصیرغ سا حرَل هیربًگیي ثیربى‬ ‫𝜇‬ ‫ٍاسیبًغ هتغیش تلبدفی ‪ Y‬ثِ كَست‬ ‫‪‬‬

‫‪1‬‬
‫‪error bars‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫هیوٌذ‪.‬‬
‫ًیض ثشای ًوبیؾ اًحشاف هؼیبس هتغیش تلربدفی‬ ‫√ تؼشیف هیؿَد‪ .‬اص ًوبد‬ ‫اًحشاف اص هؼیبس هتغیش تلبدفی ‪ Y‬ثِ كَست‬ ‫‪‬‬
‫‪ Y‬اػتفبدُ هیوٌٌذ‪.‬‬
‫تَصیغ دٍ خولِ ای احتوبل هـبّذُی ‪ r‬ثبس هـبّذُی ؿیش دس پشتبة ‪ n‬ػىِی هؼتمل سا ثِ ؿشط ایٌىِ دس ّرش پشتربة احتوربل ؿریش‬ ‫‪‬‬
‫آهذى ‪ p‬ثبؿذ سا هؼلَم هیوٌذ‪.‬‬
‫تَصیغ ًشهبل‪ ،‬تَصیغ احتوبلی صًگی ؿىل اػت وِ تَصیغ احتوبل ثؼیبسی اص پذیذُ ّبی عجیؼی اػت‪.‬‬ ‫‪‬‬
‫لضیِ حذ هشوضی لضیِ ای اػت وِ هیگَیذ هدوَع تؼذاد صیبدی تَصیغ یىؼبى اص یه هتغیش تلربدفی تمشیجربً تَصیرغ ًشهربل خَاّرذ‬ ‫‪‬‬
‫داؿت‪.‬‬
‫اص تخویي صًٌذُ هتغیش تلبدفی ‪ Y‬ثشای تخویي پبساهتش ‪ p‬اص هدوَػِ ای اص ًوًَِّب اػتفبدُ هیؿَد‪.‬‬ ‫‪‬‬
‫ثبیبع تخویٌی هتغیش تلبدفی ‪ Y‬ثشای تخویي صًٌذُی پبساهتش ‪ p‬ثب وویت )‪ (E[Y]-p‬ػٌدیذُ هیؿَد‪ .‬تخویي صًٌذُ ای ثذٍى ثبیبع‬ ‫‪‬‬
‫اػت وِ ایي وویت ثشایؾ كفش ثبؿذ‪.‬‬
‫ثبصُی اعویٌبى ‪ N%‬ثشای تخویي پبساهتش ‪ p‬ثبصُ ایي اػت وِ ثب احتوبل ‪ p ،N%‬سا دس ثش خَاّذ گشفت‪.‬‬ ‫‪‬‬
‫خذٍل ‪ 1.5‬تؼبسیف ٍ حمبیك پبیِ ای آهبس‬

‫‪ 5.3.5‬تخمیه خطا ي تخمیه يیژگیَای تًزیع دي جملٍ ای‬

‫اختالف ثیي خغبی ٍالؼی ٍ خغبی ًوًَِ ای دلیمبً چِ ساثغِ ای ثب اًذاصُی هدوَػِی ًوًَِّب داسد؟ ایي ػؤال ًوًَِ ای اص یه هـرىل آهربسی‬
‫اػت‪ :‬هـىل ولی خغب دس تخویي ٍیظگیّبی ولی خبهؼِ ثب داؿتي هدوَػِ ای تلبدفی اص اػضبی خبهؼِ‪ .‬دس هؼئلِی هرب ایري ٍیظگری اؿرتجبُ‬
‫دػتِ ثٌذی ؿذى تَػظ فشضیِی ‪ h‬اػت‪.‬‬

‫خَاة ایي ػؤال دس تَخِ ثِ ایي حمیمت اػت وِ اًذاصُ گیشی خغبی ًوًَِ ای اص ایي عشیك‪ ،‬آصهبیـی ثب خشٍخی تلبدفی اػت‪ .‬صیرشا ورِ اثترذا‬
‫سا اص سٍی ایي هدوَػِ هحبػرجِ‬ ‫هدوَػِی ‪ S‬سا ثب ‪ً n‬وًَِی هؼتمل ثب تَصیغ 𝒟 تلبدفی اًتخبة هیوٌین ٍ خغبی ًوًَِ ای‬
‫وِ ‪ً n‬وًَرِ داسد تىرشاس وٌرین‪،‬‬ ‫هیوٌین‪ّ .‬وبى عَس وِ دس لؼوت لجلی ّن گفتِ ؿذ‪ ،‬اگش آصهبیؾ سا ثِ دفؼبت صیبد ٍ ّش دفؼِ ثب هدوَػِی‬
‫‪$‬خشٍخری ‪i‬‬ ‫هؼبٍی ًجبؿٌذ‪ .‬دس چٌیي ؿشایغی‪ ،‬هیترَاًین ثگرَیین ورِ‬ ‫اًتظبس خَاّین داؿت وِ همبدیش هختلف‬
‫اهیي آصهبیؾ‪ #‬یه هتغیش تلبدفی اػت‪ .‬دس ول‪ ،‬هیتَاى ثِ هتغیش تلبدفی ثِ چـن آصهبیـی ثب خشٍخی تلبدفی ًگبُ وشد‪ .‬همذاس هتغیرش تلربدفی‬
‫ًتیدِی هـبّذُ ؿذُی آصهبیؾ تلبدفی اػت‪.‬‬

‫‪،... ،‬‬ ‫‪،‬‬ ‫فشم وٌیذ وِ هیخَاّین ‪ k‬آصهبیؾ تلبدفی ثشای اًذاصُ گیشی هتغیرش ّربی تلربدفی‬
‫اًدبم دّین‪ ٍ .‬فشم وٌیذ خشٍخی ایي آصهبیؾّب سا دس ًوَداسی هؼتغیلی ٍ ثش اػبع تؼذاد تىشاس هیضاى خغب سػن هیوٌین‪ .‬ثب افضایؾ همرذاس ‪،k‬‬
‫ًوَداس هزوَس ثِ ًوَداس تَصیغ خذٍل ‪ً 5.3‬ضدیه خَاّذ ؿذ‪ .‬ایي ًوَداس تَصیغ احتوبل خبكی ثِ ًبم تَصیغ دٍ خولِ ای سا ًـبى هیدّذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تَصیغ احتوبل دٍ خولِ ای ثشای ‪ r‬ثبس ؿیش آهذى دس آصهبیـی وِ ‪ n‬ػىِی هدضا پشتبة هیؿًَذ‪ ،‬احتوبل ؿیش آهرذى دس ّرش ورذام اص‬
‫ػىِّب ‪ p‬اػت‪ .‬تبثغ تَصیغ ثِ ؿىل صیش تؼشیف هیؿَد‪:‬‬

‫اگش هتغیش تلبدفی ‪ X‬اص تَصیغ دٍ خولِ ای پیشٍی وٌذ‪:‬‬

‫احتوبل ایٌىِ )‪ X$ Pr(X=r‬همذاس ‪ r‬سا ثگیشد‪ #‬ثب )‪ P(r‬هـخق هیؿَد‪.‬‬ ‫‪‬‬

‫اهیذ ‪ ، X‬یب ّوبى هیبًگیي ‪ E[X] ،X‬اص ساثغِی صیش ثذػت خَاّذ آهذ‪:‬‬ ‫‪‬‬
‫‪E[X]=np‬‬

‫ٍاسیبًغ ‪ Var(X) ،X‬اص ساثغِی صیش ثذػت خَاّذ آهذ‪:‬‬ ‫‪‬‬

‫)‪Var(X)=np(1-p‬‬

‫اص ساثغِی صیش ثذػت خَاّذ آهذ‪:‬‬ ‫اًحشاف هؼیبس ‪،X‬‬ ‫‪‬‬
‫√‬

‫ثشای ‪ّ n‬بی ثِ اًذاصُی وبفی ثضسي تَصیغ دٍ خولِ ای تمشیجبً ًضدیه ثِ تَصیغ ًشهبل ثب ّوبى ٍاسیبًغ ٍ هیبًگیي خَاّذ ثَد ‪$‬خرذٍل‬
‫ثبؿذ اص ایي تمشیت اػتفبدُ وشد‪.‬‬ ‫‪ .#5.4‬تَكیِ هیؿَد وِ فمظ صهبًی وِ‬

‫خذٍل ‪ 1.5‬تَصیغ دٍ خولِ ای‬

‫‪ 5.3.2‬تًزیع دي جملٍ ای‬

‫یىی اص سٍؽّبی خَة دسن یبدگیشی تَصیغ دٍ خولِ ای ثشسػی هؼئلِی ریل اػت‪ .‬ػىِ ای هؼیَة ‪$‬ورح‪ #‬ثرِ ؿروب دادُ هریؿرَد ٍ اص ؿروب‬
‫خَاػتِ هیؿَد تب احتوبل ایٌىِ ػىِ پغ اص پشتبة ؿیش ثیبیذ سا حؼبة وٌیذ‪ .‬ثیبییذ احتوبل ؿیش آهذى ػىِی هؼیَة سا ثب ‪ً p‬ـبى دّرین‪ .‬ؿروب‬
‫ػىِ سا ‪ n‬ثبس پشتبة هیوٌیذ‪ ،‬اص ایي ‪ n‬ثبس ‪ r‬ثبس ؿیش هیآیذ‪ .‬یه تخویي هٌغمی اص ‪ p‬همذاس ‪ r/n‬اػت‪ .‬تَخِ داسیذ وِ اگش ایي آصهبیؾ سا تىرشاس‬
‫وٌین ٍ ‪ n‬ثبس ػىِ سا پشتبة وٌین‪ ،‬اًتظبس ًویسٍد وِ تؼذاد ؿیش ّبی آهذُ دلیمبً ‪ r‬لجلی ثبؿذ‪ ،‬پغ ثٌبثشایي همذاس ‪ p‬ثذػت آهذُ ًیرض ثرب همرذاس ‪p‬‬
‫لجلی یىی ًخَاّذ ثَد‪ .‬تَصیغ دٍ خولِ ای احتوبل ٍلَع همذاس ‪$ r‬ثیي ‪ 0‬تب ‪ #n‬سا دس ‪ n‬پشتبة هـخق هیوٌذ‪ ،‬ایي احتوبل ثب فشم ایٌىِ توبهی‬
‫پشتبةّب هؼتمل ٍ احتوبل ؿیش آهذى دلیمبً ‪ p‬اػت هحبػجِ هیؿَد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثش اػبع یه دػتِ ًوًَِ اػرت‪ .‬ؿریش ثرَدى یره پشتربة‬ ‫𝒟‬ ‫خبلت اػت وِ ثذاًین‪ ،‬تخویي ‪ p‬اص یه دػتِ پشتبة هـبثِ تخویي‬
‫هـبثِ اؿتجبُ دػتِ ثٌذی ؿذى یه ًوًَِی تلبدفی ‪$‬ثب تَصیغ 𝒟‪ #‬اػت‪ .‬احتوبل ‪ p‬یب ّوبى احتوبل ؿیش آهذى یه پشتبة هـبثِ احتوبل اؿرتجبُ‬
‫‪ #‬اػت‪ .‬تؼذاد ‪ r‬یب ّوبى تؼذاد ؿیشّب دس ‪ n‬پشتبة ًیض هـبثِ تؼذاد دػتِ ثٌذیّبی‬ ‫𝒟‬ ‫دػتِ ثٌذی ؿذى یه ًوًَِ تلبدفی ‪$‬یب ّوبى‬
‫اػت ٍ هؼئلِی تخویي ‪ p‬دس ػىِ ًیض هـبثِ هؼئلِی تخوریي‬ ‫اؿتجبُ ًوًَِّب اص ‪ً n‬وًَِی تلبدفی اػت‪ .‬ثٌبثشایي ‪ r/n‬هـبثِ‬
‫دس فشضیِّب اػت‪ .‬تَصیغ دٍ خولِ ای فشم ولی تَصیغ احتوبل سا ثشای هتغیش تلبدفی ‪ r‬هـخق هیوٌذ حبل فشلی ًویوٌذ ورِ‬ ‫𝒟‬

‫‪ٍ #‬اثؼرتِ‬ ‫𝒟‬ ‫ایي ‪ r‬تؼذاد ؿیشّب ثبؿذ یب تؼذاد دػتِ ثٌذیّبی اؿتجبُ‪ .‬فشم دلیكتش تَصیغ دٍ خولِ ای ثِ تؼذاد ًوًَِّب ٍ ‪$ p‬یب ّوبى‬
‫اػت‪.‬‬

‫ؿشایغی وِ تَصیغ دٍ خولِ ای دس آى كبدق اػت‪:‬‬

‫‪ .9‬هجٌبی وبس یه آصهبیؾ ‪$‬هثل پشتبة ػىِ‪ #‬اػت وِ خشٍخیاؽ ثِ ػٌَاى هتغیش تلبدفی ‪$‬هثل ‪ #Y‬اػت‪ .‬همرذاس تلربدفی ‪ Y‬هریتَاًرذ‬
‫فمظ دٍ همذاس داؿتِ ثبؿذ ‪$‬ثشای هثبل ‪ Y=1‬ثشای ؿیش ٍ ‪ Y=0‬ثشای خظ‪#‬‬
‫‪ .2‬احتوبل ایٌىِ ‪ Y=1‬ؿَد دس ّش آصهبیؾ هجٌب ثِ عَس هؼتمل همذاس ثبثت ‪ p‬اػرت‪ .‬پرغ ثٌربثشایي احتوربل ‪ (1-p) Y=0‬خَاّرذ ثرَد‪.‬‬
‫هؼوَالً ‪ p‬هدَْل اػت ٍ ّذف یبفتي تخویٌی اص ‪ p‬اػت‪.‬‬
‫‪،‬‬ ‫‪ .3‬ػشیای اص آصهبیؾّبی هجٌب پـت ػش ّن اًدبم هیؿَد ‪$‬هثل پشتبةّبی ػىِ‪ ٍ #‬ػشیای اص هتغیش ّبی تلبدفی ّن اسصؽ هثل‬
‫اػت دس ًظش ثگیشین خَاّین داؿت‪:‬‬ ‫سا ایدبد هیوٌذ‪ .‬اگش ‪ R‬تؼذاد آصهبیؾّب وِ دس آىّب ‪=1‬‬ ‫‪،... ،‬‬

‫∑‬

‫‪ .4‬احتوبل ایٌىِ هتغیش تلبدفی ‪ R‬همذاس ‪ r‬ثبؿذ ‪$‬احتوبل ایٌىِ دلیمب ‪ r‬ثبس ؿیش ثیبیذ‪ #‬ثش اػبع تَصیغ دٍ خولِ ای ثِ كَست صیش اػت‪:‬‬

‫ًوَداسی اص ایي ساثغِ دس خذٍل ‪ 5.3‬آهذُ ثَد‪.‬‬

‫تَصیغ دٍ خولِ ای احتوبل تؼذاد خغبی ‪ r‬دس هیبى ‪ً n‬وًَِ سا هـبثِ احتوبل ‪ r‬ثبس ؿیش آهذى دس هیبى ‪ n‬آصهبیؾ پشتبة ػىِ تَكیف هیوٌذ‪.‬‬

‫‪ 5.3.3‬میاوگیه ي ياریاوس‬
‫دٍ خبكیتی وِ هؼوَالً دس هَسد هتغیش ّبی تلبدفی هغشح هیؿَد اهیذ ‪$‬همذاس اًتظبسی یب هیبًگیي‪ٍ ٍ #‬اسیبًغ اػت‪ .‬همذاس اهیذ‪ ،‬هیبًگیي همربدیش‬
‫تلبدفی ثذػت آهذُ ثؼذ اص آصهبیؾّبی ثؼیبس اػت‪ .‬ثِ ػجبست دلیكتش‪:‬‬

‫سا ثپزیشد اهیذ ‪ E[Y] ،Y‬ثِ كَست صیش تؼشیف هی ؿَد‪:‬‬ ‫‪،... ،‬‬ ‫تعریف‪ :‬اگش ‪ Y‬یه هتغیش تلبدفی ثبؿذ وِ همبدیش‬

‫∑‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای هثبل اگش هتغیش تلبدفی ‪ Y‬همذاس ‪ 9‬سا ثب احتوبل ‪ ٍ 0.7‬همذاس ‪ 2‬سا ثب احتوبل ‪ 0.3‬ثپزیشد همذاس اهیذ )‪ (9∙0.7+2∙0.3=9.3‬خَاّذ ثرَد‪.‬‬
‫دس تَصیغ دٍ خولِ ای ایي تؼشیف ثِ ؿىل صیش تغییش ؿىل پیذا هیوٌذ‪:‬‬

‫دس ایي ساثغِ ‪ p ٍ n‬پبساهتش ّبی تَصیغ دٍ خولِ ای دس ساثغِی ‪ّ 5.2‬ؼتٌذ‪.‬‬

‫وویت دٍم هغشح "پٌْب‪ "1‬یب "هیضاى پخـی‪ "2‬تَصیغ احتوبل اػت ٍ هیضاى دٍس ثَدى احتوبلی هتغیش تلبدفی اص هیبًگیي سا ًـبى هیدّذ‪.‬‬

‫تعریف‪ٍ :‬اسیبًغ یه هتغیش تلبدفی ‪ Var[Y] ،Y‬ثِ فشم صیش تؼشیف هیؿَد‪:‬‬

‫ًـربى‬ ‫ٍاسیبًغ هدوَع هشثؼبت خغبی اًتظبسی سا ثب اػتفبدُ اص اهیذ ‪ ،E[Y] ،Y‬پیذا هیوٌذ‪ .‬خضس ٍاسیبًغ سا اًحشاف هؼیبس ‪ Y‬هریًبهٌرذ ٍ ثرب‬
‫هیدٌّذ‪.‬‬

‫‪ ،‬ثِ كَست صیش تؼشیف هیؿَد‪:‬‬ ‫تعریف‪ :‬اًحشاف هؼیبس هتغیش تلبدفی ‪،Y‬‬

‫√‬

‫دس ؿشایغی وِ هتغیش تلبدفی ‪ Y‬تَصیغ دٍ خولِ ای داؿتِ ثبؿذ‪ٍ ،‬اسیبًغ ٍ اًحشاف اص هؼیبس ثِ فشم صیش خَاٌّذ ثَد‪:‬‬

‫√‬

‫‪ 5.3.4‬تخمیه زوىذٌَا‪ ،‬بایاس ي ياریاوس‬

‫اص تَصیغ دٍ خولِ ای پیشٍی هیوٌذ‪ ،‬ثِ ػؤال اكلی ثش هیگشدین‪ :‬فشق خغبی ًوًَِ ای‬ ‫حبل وِ ًـبى دادُاین وِ هتغیش تلبدفی‬
‫ٍ خغبی ٍالؼی چیؼت؟‬

‫سا ثب اػتفبدُ اص ساثغِی ‪ 5.2‬وِ تَصیغ دٍ خولِ ای سا ثیبى هیوٌذ تَكیف وٌین‪ .‬داسین وِ‬ ‫ٍ‬ ‫ثیبییذ‬

‫𝒟‬

‫‪1‬‬
‫‪width‬‬
‫‪2‬‬
‫‪spread‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس ایي ساثغِ ‪ n‬تؼذاد ًوًَِ ّبی هدوَػِی ‪ r ٍ S‬تؼذاد دػتِ ثٌذیّبی اؿتجبُ ‪ h‬اص هدوَػِی ‪ S‬اػت ٍ ‪ً p‬یض احتوبل دػتِ ثٌذی اؿرتجبُ ‪h‬‬
‫اص ًوًَِ ای اًتخبة ؿذُ ثب تَصیغ 𝒟 اػت‪.‬‬

‫هیًبهٌذ‪ .‬دس ول‪ ،‬تخویي صًٌذُی یره همرذاس تلربدفی ثرشای‬ ‫سا تخویي صًٌذُ ای‪ 1‬اص خغبی ٍالؼی‬ ‫هتخللبى‬
‫تخویي ٍیظگیّبی خوؼیت آى هتغیش تلبدفی ثِ وبس هیسٍد‪ .‬اٍلیي ػؤالی وِ دسثبسُی ّش تخویي صًٌذُ هغشح هیؿَد ایي اػت وِ آیرب تخوریي‬
‫صًٌذُ دس هیبًگیي تخویي دسػتی ثِ هب هیدّذ؟ ثبیبع تخویي سا ثِ ػٌَاى اختالف ثیي همذاس اهیذ تخویي صًٌذُ ٍ همذاس ٍالؼری هتغیرش تلربدفی‬
‫تؼشیف هیوٌین‪.‬‬

‫تعریف‪ :‬ثبیبع تخویي‪ 2‬ثشای تخویي صًٌذُی ‪ Y‬اص پبساهتش ‪ p‬ثِ كَست‬

‫تؼشیف هیؿَد‪.‬‬

‫اگش همذاس ثبیبع تخویي صًٌذُ كفش ثبؿذ هیگَیین وِ ‪ Y‬یه تخویي صًٌذُی ثذٍى ثبیبع اص ‪ p‬اػت‪ .‬تَخِ داؿتِ ایي حبلتی اػرت ورِ پرغ اص‬
‫تؼذاد صیبدی آصهبیؾ تلبدفی هیبًگیي همذاس تلبدفی ثِ اهیذ تخویي صًٌذُ هیل وٌذ‪.‬‬

‫اػت؟ ثلِ‪ ،‬صیشا وِ همذاس اهیذ ‪ r‬دس تَصیغ دٍ خولرِ ای ‪ np‬اػرت ‪$‬ساثغرِی‬ ‫𝒟‬ ‫تخویي صًٌذُی ثذٍى ثبیبػی اص‬ ‫آیب‬
‫‪ .#5.4‬حبل چَى وِ ‪ n‬ثبثت اػت‪ ،‬پغ همذاس اهیذ ‪ّ r/n‬وبى ‪ p‬اػت‪.‬‬

‫دٍ ًىتِی لبثل تَخِ دس ثبیبع تخویٌی ٍخَد داسد‪ .‬اٍل‪ّ ،‬وبى عَس وِ دس اثتذای ایي فلل ًیض گفتِ ؿذ‪ ،‬ثشسػی فشضیِّب ثش سٍی ًوًَرِ ّربی‬
‫آهَصؿی‪ ،‬تخویٌی ثبیبع داس اص خغبی فشضیِ ثِ هب هیدّذ‪ ،‬ایي دلیمب ّوبى ًىتِ ای اػت وِ ثبیبع تخویي ثِ آى اؿبسُ هیوٌرذ‪ .‬ثرشای ایٌىرِ‬
‫ثِ هب ثذّذ‪ ،‬ثبیذ فشضیِی ‪ً ٍ h‬وًَِ ّبی ‪ S‬ثبیذ هؼتمل ثبؿٌذ‪ .‬دٍم ایٌىِ ایي هفْرَم‬ ‫تخویٌی ثذٍى ثبیبع اص‬
‫ًجبیذ ثب ثبیبع اػتمشایی وِ دس فلل ‪ 2‬ثیبى ؿذ اؿتجبُ گشفتِ ؿَد‪ .‬ثبیبع تخویٌی یه همذاس ػذدی اػت دس حبلی وِ ثبیبع اػتمشایی دػتِ ای‬
‫اص پیؾ فشمّب‪ 3‬اػت‪.‬‬

‫ٍیظگی هْن دیگش ّش تخویي صًٌذُ همذاس ٍاسیبًغ آى اػت‪ .‬ثب داؿتي اًتخبة ثیي تخویي صًٌذُ ّبی ثذٍى ثبیبع هختلف‪ ،‬لبثل دسن اػرت ورِ‬
‫تخویي صًٌذُ ای سا اًتخبة وٌین وِ ووتشیي همذاس ٍاسیبًغ سا داؿتِ ثبؿذ‪ .‬ثب تؼشیفی وِ اص ٍاسیبًغ اسائِ ؿذ‪ ،‬ایي اًتخربة ثبػرث هریؿرَد ورِ‬
‫خغبی اًتظبسی ثیي تخویي ٍ همذاس ٍالؼی ثِ ووتشیي همذاس ثشػذ‪.‬‬

‫ثشای تلَس ایي هفبّین‪ ،‬فشم وٌیذ وِ هیخَاّین فشضیِ ای سا ثشسػی وٌین وِ ‪ r=12‬خغب ثش سٍی ًوًَرِّربیی ثرب تؼرذاد ‪ n=40‬داسد‪ .‬اگرش‬
‫‪ٍ .‬اسیبًغ ایي تخویي‬ ‫ثبؿذ‪ ٍ ،‬داؿتِ ثبؿین‬ ‫𝒟‬ ‫یه تخویي صًٌذُی ثذٍى ثبیبع اص‬
‫هؼتمیوبً ثِ ٍاسیبًغ همذاس ‪ٍ r‬اثؼتِ اػت‪ ،‬صیشا وِ ‪ n‬ػذدی ثبثت اػت‪ .‬حبل چَى ‪ r‬ثب تَصیغ دٍ خولِ ای اًتخربة هریؿرَد ثرشای ٍاسیربًغ اص‬
‫ساثغِی ‪ 5.7‬داسین‪ .np(1-p) :‬هتأػفبًِ ٌَّص همذاس ‪ p‬هدَْل اػت‪ ،‬اهب هیتَاى ثدربی آى اص تخوریي ‪ r/n‬هربى اص ‪ p‬اػرتفبدُ وٌرین‪ .‬پرغ‬

‫‪1‬‬
‫‪estimator‬‬
‫‪2‬‬
‫‪estimation bias‬‬
‫‪3‬‬
‫‪assertion‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫√‪ .‬پغ اًحشاف هؼیبس ‪ 2.9/40=.07 ،r/n‬خَاّذ ثَد‪.‬‬ ‫ٍاسیبًغ ‪ r‬خَاّذ ثَد ‪ 40∙0.3(1-0.3)=8.4‬پغ همذاس اًحشاف هؼیبس‬
‫دس ایي هثبل همذاس اهیذ ‪ 0.30‬ثب اًحشاف هؼیبس تمشیجب ‪ 0.07‬اػت ‪$‬توشیي ‪.#5.9‬‬ ‫ثِ عَس خالكِ‪،‬‬

‫دس ول‪ ،‬ثب داؿتي خغبی ‪ r‬دس ‪ً n‬وًَِی هَخَد هؼتمل‪ ،‬اص ساثغِی صیش ثذػت هیآیذ‪:‬‬

‫√‬

‫=‪ r/n‬ثشای ‪ p‬ثِ ساثغِی صیش تجذیل هیؿَد‪:‬‬ ‫وِ ثب تخویي‬

‫(‬ ‫)‬
‫√‬

‫‪ 5.3..‬بازٌی اطمیىان‬
‫یىی اص ساُّبی هؼوَل تَكیف ػذم لغؼیت یه تخویي تَخِ ثِ ثبصُ ٍ احتوبلی اػت وِ اًتظبس هیسٍد وِ همذاس ٍالؼی دس ایي ثبصُ ثبؿرذ اػرت‪.‬‬
‫چٌیي تخویٌی‪ ،‬تخویي ثبصُی اعویٌبى ًبهیذُ هیؿَد‪.‬‬

‫تعریف‪ :‬ثبصُی اعویٌبى ‪ N%‬ثشای پبساهتش ‪ p‬ثبصُ ای اػت وِ ‪ N%‬احتوبل هیسٍد وِ ؿبهل ‪ p‬ثبؿذ‪.‬‬

‫ثشای هثبل‪ ،‬اگش هثل هثبل ثبال ‪ n=40 ٍ r=12‬ثبؿذ ٍ ًوًَِّرب ًیرض اص فشضریِ هؼرتمل ثبؿرٌذ‪ ،‬هریترَاى گفرت ورِ ثرب احتوربل ‪ "95‬همرذاس‬
‫دس ثبصُی ‪ 0.30±0.14‬اػت‪.‬‬

‫چگًَِ ثذػت هیآیٌذ؟ خَاة دس ایي حمیمت ًْفتِ اػت وِ تَصیغ احتوربل دٍ خولرِ ای ثرش‬ ‫𝒟‬ ‫ثبصُ ّبی اعویٌبى‬
‫اػت ٍ اًحشاف هؼیبس ًیض اص ساثغِی ‪ 5.9‬ثذػت هریآیرذ‪ .‬ثٌربثشایي‪ ،‬ثرشای ثذػرت آٍسدى‬ ‫𝒟‬ ‫حبون اػت‪ .‬هیبًگیي ایي تَصیغ همذاس‬
‫ثگیشین تب ‪ "95‬اص ول احتوبل سا دس ثش ثگیشد‪ .‬ایي ثبصُ‪ ،‬ثبصُ ای حرَل‬ ‫𝒟‬ ‫ثبصُی ‪ "95‬فمظ ًیبص اػت وِ ثبصُ سا حَل همذاس هیبًگیي‬
‫دسٍى آى لشاس هی گیشد‪.‬‬ ‫وِ دس ‪ 95%‬هَاسد‬

‫ثشای ػذد هؼلَم ‪ N‬چگًَِ هیتَاى اًذاصُی ثبصُی ‪ N%‬احتوبل سا ثذػت آٍسد؟ هتأػفبًِ‪ ،‬ایي هحبػجِ ثشای تَصیغ احتوبل دٍ خولِ ای صهبى ثرش‬
‫اػت‪ .‬خَؿجختبًِ‪ ،‬ثب ٍخَد صهبى ثشی‪ ،‬دس اوثش هَاسد تمشیت خَثی ثشای ثبصُ ثذػت هیآیذ‪ ،‬صیشا وِ ثب تؼذاد ًؼجتبً صیبد ًوًَِ تَصیغ ثِ تَصیغ ًشهبل‬
‫هیل هیوٌذ‪ .‬تَصیغ ًشهبل ‪$‬وِ دس خذٍل ‪ً 5.4‬یض آهذُ‪ #‬ؿبیذ خَؽ تؼشیفتشیي تَصیغ احتوبل ثبؿذ‪ّ .‬وبى عَس وِ دس خذٍل ‪ً 5.4‬یض ًـربى دادُ‬
‫ؿذُ‪ ،‬تَصیغ ًشهبل‪ ،‬تَصیؼی صًگی ؿىل حَل هیبًگیي ‪ ٍ μ‬ثب اًحشاف هؼیبس ‪ σ‬اػت‪ .‬صهبًی وِ تؼذاد ‪ً n‬ؼجتبً صیبد ثبؿرذ‪ ،‬تَصیرغ دٍ خولرِ ای ثرِ‬
‫تَصیغ ًشهبلی ثب ّوبى هیبًگیي ٍ اًحشاف هؼیبس هیل هیوٌذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تَصیغ ًشهبل ‪$‬یب تَصیغ گَع‪ ،#‬تَصیؼی صًگی ؿىل اػت وِ تَػظ ساثغِی صیش تؼشیف هیؿَد‪:‬‬

‫(‬ ‫)‬
‫√‬

‫اگش هتغیش تلبدفی ‪ X‬اص تَصیغ ًشهبل پیشٍی وٌذ‪:‬‬

‫احتوبل ایٌىِ ‪ X‬دس ثبصُی )‪ (a,b‬ثبؿذ اص ساثغِی صیش ثذػت خَاّذ آهذ‪:‬‬ ‫‪‬‬

‫∫‬

‫اهیذ یب هیبًگیي ‪:E[X] ،X‬‬ ‫‪‬‬

‫𝜇‬

‫ٍاسیبًغ ‪:Var(X) ،X‬‬ ‫‪‬‬

‫اًحشاف هؼیبس ‪،X‬‬ ‫‪‬‬

‫لضیِی حذ هشوضی‪$ 1‬دس ثخؾ ‪ً (5.4.9‬ـبى هیدّذ وِ هدوَع هتغیش ّبی تلبدفی سا ثب تَصیغ دلخَاُ هیتَاى ثب تَصیغ ًشهبل ثشسػی وشد‪.‬‬

‫خذٍل ‪ 1.5‬تَصیغ ًشهبل یب تَصیغ گَع‪.‬‬

‫یىی اص دالیلی تشخیح تَصیغ ًشهبل ایي اػت وِ هیتَاى ثِ ساحتی ثبصُ ای وِ ‪ N%‬احتوبل سا دس ثش هیگیشد پیذا وشد‪ .‬ایي ثبصُ دلیمب ّوبى ثبصُی‬
‫وِ دس خذٍل ‪ 5.9‬آهذُ ثَد‪ً ،‬لف پٌْبی ثربصُی اعویٌربى‬ ‫‪ N%‬احتوبل هبػت ٍ دس ػول خذٍل ‪ً 5.9‬یض اص ایي حمیمت ثذػت آهذُ‪ .‬ثبثت‬
‫ًـربى‬ ‫اػت ‪$‬فبكلِی ثیي هیبًگیي ٍ یىی اص عشفیي ثبصُ‪ #‬وِ ثش همذاس اًحشاف هؼیبس تمؼین هیؿرَد‪ .‬ؿرىل )‪ 5.1 (a‬ایري ثربصُ سا ثرشای‬
‫هیدّذ‪.‬‬

‫‪1‬‬
‫‪central limit‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿىل ‪ 1.5‬تَصیغ ًشهبل ثب هیبًگیي ‪ ٍ 0‬اًحشاف هؼیبس ‪.5‬‬

‫‪ .‬پرغ ثرب احتوربل‬ ‫)‪ (a‬ثب احتوبل ‪ "00‬هتغیش تلبدفی دس ثبصُی اص دٍ عشف هحذٍد ]‪ [-1.28,1.28‬لشاس هیگیشد‪ .‬تَخِ داؿتِ ثبؿیذ وِ‬
‫‪ "50‬هتغیش تلبدفی دس ػوت ساػت ٍ ثب احتوبل ‪ "50‬هتغیش تلبدفی دس ػوت چپ ایي ثبصُ لشاس هیگیشد‪ (b) .‬ثب احتوبل ‪ "00‬هتغیش تلربدفی دس ثربصُی اص‬
‫یه عشف هحذٍد ]‪ (-∞,1.28‬لشاس هیگیشد‪.‬‬
‫ثِ عَس خالكِ‪ ،‬اگش هتغیش تلبدفی ‪ Y‬اص تَصیغ ًشهبل ثب هیبًگیي ‪ ٍ μ‬اًحشاف هؼیبس ‪ σ‬پیشٍی وٌذ‪ ،‬همذاس تلبدفی ‪ y‬ثشای ‪ Y‬ثرِ احتوربل ‪ N%‬دس‬
‫ثبصُی صیش لشاس هیگیشد‪:‬‬

‫𝜇‬

‫ثِ عَس هـبثِ‪ ،‬همذاس هیبًگیي ‪ μ‬ثب احتوبل ‪ N%‬دس ثبصُی صیش لشاس هیگیشد‪:‬‬

‫ایي ٍالؼیت سا هیتَاى ثِ ػبدگی ثب ٍالؼیتّبی ولی لجلی روش ؿذُ دس هَسد ثبصُی ‪ N%‬دس تَاثغ گؼؼتِ همذاس تشویت وشد ‪$‬ساثغِی ‪ .#5.9‬اثتذا‬
‫اػت ٍ اًحشاف هؼیبسؽ ًیض اص ساثغِی ‪5.9‬‬ ‫𝒟‬ ‫اص تَصیغ دٍ خولِ ای پیشٍی هیوٌذ وِ هیبًگیي آى‬ ‫ایٌىِ هیداًین‬
‫ثذػت هیآیذ‪ .‬دٍم ایٌىِ هیداًین وِ ثشای صهبًی وِ تؼذاد ‪ n‬ثِ اًذاصُی وبفی ثضسي ثبؿذ تَصیغ دٍ خولِ ای سا هیتَاى ثب تمشیت خَثی ثب تَصیغ‬
‫ًشهبل تمشیت صد‪ .‬ػَم ایٌىِ ساثغِی ‪ 5.99‬سٍؽ پیذا وشدى ثبصُی اعویٌبى ‪ N%‬سا ثب تَخِ ثِ تَصیغ ًشهربل هـرخق هریوٌرذ‪ .‬ثٌربثشایي‪ ،‬ثرب‬
‫دس ساثغِی ‪ 5.99‬ثشای تَاثغ گؼؼتِ همذاس ثِ ساثغِی ‪ 5.9‬هیسػین‪.‬‬ ‫خبیگضیٌی هیبًگیي ٍ اًحشاف هؼیبس‬

‫(‬ ‫)‬
‫√‬

‫دٍ ًىتِی هْن دس تخویي ایي ساثغِ ثِ ؿشح صیشًذ‪:‬‬

‫اػرتفبدُ ورشدین ‪$‬دس ًتیدرِ گیرشی‬ ‫ثِ خبی‬ ‫‪ ،‬هب اص‬ ‫‪ .9‬دس تخویي اًحشاف هؼیبس ‪ σ‬ثشای‬
‫ساثغِی ‪ 5.9‬اص ساثغِی ‪#5.8‬‬
‫‪ .2‬تَصیغ دٍ خولِ ای سا ثب تَصیغ ًشهبل تخویي صدُاین‪.‬‬
‫ایي دٍ تمشیت تب صهبًی وِ ‪ np(1-p) 5 ٍ n 30‬تمشیتّبی خَثی ّؼتٌذ‪ .‬ثشای همبدیش ووتش ‪ n‬ثْتش اػت اص خذٍلی ثرب همربدیش تَصیرغ دٍ‬
‫خولِ ای ثِ خبی تَصیغ ًشهبل اػتفبدُ وٌین‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 5.3.6‬بازٌ َای یک طرفٍ ي دي طرفٍ‬

‫تَخِ داسیذ وِ ثبصُی اعویٌبى روش ؿذُ هشص دٍعشفِ‪ 1‬داسد؛ صیشا وِ وویت تخویي صدُ ؿذُ سا ّن اص ثبال ٍ ّن اص پبییي هحرذٍد ورشدُ اػرت‪ .‬دس‬
‫ثؼضی هَاسد‪ ،‬ػاللِی هب فمظ ثِ یىی اص ایي دٍ هشص اػت ‪$‬هشص یه عشفِ‪ .#2‬ثشای هثبل هوىي اػت خَاة ػؤال "احتوبل ایٌىِ‬
‫حذالل اص ‪ U‬ثیـتش ثبؿذ؟" ثشایوبى هْن ثبؿذ‪ .‬چٌیي ػؤالّبیی وِ هشص یه عشفِ داسًذ عجیؼتبً صهبًی ایدبد هیؿًَذ ورِ هرب ثرِ هحرذٍد ورشدى‬
‫حذاوثش خغبی ‪ h‬ػاللِ داسین ٍ ایٌىِ خغب اص آى همذاس ثؼیبس وَچهتش ثبؿذ ثشایوبى هْن ًیؼت‪.‬‬

‫تغییش وَچىی دس فشایٌذ ثبال آىسا ثِ سٍؽ پیذا وشدى هشص یه عشفِ تجذیل هیوٌذ‪ً .‬ىتِی اػبػی ایي تغییش ایي اػرت ورِ تَصیرغ ًشهربل حرَل‬
‫هیبًگیٌؾ هتمبسى پخؾ ؿذُ اػت‪ .‬ثِ ّویي خبعش هیتَاى ّش ثبصُی اعویٌبى ثب هشص دٍعشفِ سا ثِ ثبصُ ای ثب هشص یه عشفِ تجذیل ورشد ‪$‬هثرل‬
‫ؿىل )‪ .#5.1 (b‬اگش ثبصُی اٍلیِ اعویٌبى ‪ 100(1-α)%‬داؿتِ ثبؿذ‪ ،‬ثبصُ ّبی یه عشفِی فمظ هحذٍد اص ثربال اعویٌربى ‪100(1-α/2)%‬‬
‫خَاٌّذ داؿت‪ .‬ثبصُی یه عشفِی فمظ هحذٍد اص پبییي ًیض ّویي اعویٌبى سا خَاّذ داؿت‪ .‬دس ایٌدب ‪ α‬احتوبل ایي اػت وِ هتغیش تلبدفی خبسج‬
‫ثبصُی هضثَس ثبؿذ‪ .‬ثِ ػجبست دیگش‪ α ،‬احتوبل ایي اػت وِ هتغیش تلبدفی دس لؼوتّبیی اص ؿىل )‪ 5.1 (a‬لشاس ثگیشد وِ ّبؿرَس ًخرَسدُاًرذ‪.‬‬
‫‪ً α‬یض احتوبل ایي اػت وِ هتغیش تلبدفی دس لؼوت ّبؿَس ًخَسدُی ؿىل )‪ 5.1 (b‬لشاس ثگیشد‪.‬‬ ‫هتٌبػجبً همذاس‬

‫ثشای تلَس‪ ،‬دٍثبسُ فشم وٌیذ وِ فشضیِ ای ثب ‪ r=12‬خغب ثش سٍی هدوَػِ ای ثب ‪ً n=40‬وًَِ داسین وِ ًوًَِّب اص فشضریِ هؼرتملٌذ‪ّ .‬وربى‬
‫عَس وِ ثبالتش ًیض گفتِ ؿذ‪ ،‬ایي اعالػبت ثبصُی ‪$ 95%‬دٍعشفِ‪ #‬ی ‪ 0.30±0.14‬سا هـخق هیوٌذ‪ .‬دس ایٌدرب‪ 100(1-α)=95% ،‬پرغ‬
‫‪ .α=0.05‬ثٌرربثشایي ثررذٍى اضرربفِ وررشدى ّرریچ پ ریؾ فررشم اضرربفِ ای‪ ،‬ه ریتررَاًین ثگررَیین وررِ ثررب اعویٌرربى ‪،100(1-α/2)=97.5%‬‬
‫ثب اعویٌبى دٍ ثشاثش ًؼجت ثِ هشص دٍعشفرِ‬ ‫𝒟‬ ‫حذاوثش ‪ 0.30+0.14=.44‬اػت‪ .‬ثٌبثشایي‪ ،‬هشصی یه عشفِ ثشای‬ ‫𝒟‬

‫خَاّین داؿت ‪$‬توشیي ‪.#5.3‬‬

‫‪ 1.5‬ريش کلی برای استخراج ببزٌ َبی اطمیىبن‬

‫ثرشای تَاثرغ گؼؼرتِ همرذاس ‪ h‬ثرش پبیرِی‬ ‫𝒟‬ ‫دس لؼوت لجل چگًَگی ثذػت آٍسدى ثبصُ ّبی تخویي ثشای حبلت خبف‪ :‬تخویي‬
‫هدوَػِ ای ثب ‪ً n‬وًَِ تَضیح دادُ ؿذ‪ .‬سٍؿی وِ آًدب اسائِ ؿذ سٍؿی ولیتش ثشای اػتفبدُ دس تؼذاد وثیشی اص هـىالت تخویي ؿشح هیدّرذ‪.‬‬
‫دس ول‪ ،‬هیتَاى هؼئلِی فَق سا تخویي هیبًگیي ‪$‬همذاس اهیذ‪ #‬یه هدوَػِ ثش اػبع صیش هدوَػِ ای ثب ‪ n‬ػضَ داًؼت‪ .‬فشایٌذ ولی هشاحل صیش‬
‫سا دس ثش ه ‌‬
‫یگیشد‪:‬‬

‫‪.‬‬ ‫𝒟‬ ‫‪ .9‬هؼلَم وشدى پبساهتش ‪ p‬ای وِ اص هدوَػِ هیخَاّین تخویي ثضًین‪ ،‬ثشای هثبل‬
‫‪ .‬ثْتش اػت ایي تخویي صًٌذُ ٍاسیبًغ ون داؿتِ ٍ ثذٍى ثبیبع ثبؿذ‪.‬‬ ‫‪ .2‬تؼشیف تخویي صًٌذُی ‪ ،Y‬هثل ‪ ،‬هثل‬
‫‪ .3‬هـخق وشدى تَصیغ احتوبل 𝒟 وِ وبس تخویي صًٌذُی ‪ Y‬سا وٌتشل هیوٌذ‪ .‬هـخق وشدى ایي تَصیرغ ؿربهل هـرخق ورشدى‬
‫ٍاسیبًغ ٍ هیبًگیي ًیض هیؿَد‪.‬‬

‫‪1‬‬
‫‪two sided bound‬‬
‫‪2‬‬
‫‪one side bound‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ .4‬هـخق وشدى ثبصُی ‪ N%‬ثب پیذا وشدى همبدیش آػتبًِی ‪ U ٍ L‬وِ ‪ N%‬اص خشم احتوربل تَصیرغ 𝒟 ثریي دٍ همرذاس ‪ U ٍ L‬لرشاس‬
‫ثگیشد‪.‬‬
‫دس ثخؾّبی ثؼذی ایي فلل‪ ،‬اص ایي سٍؽ ولی ثشای هؼبئل تخویي هختلفی وِ دس یبدگیشی هبؿیي هغشح اػت اػتفبدُ هیوٌین‪ .‬ثب ایي ٍخَد‪،‬‬
‫اثتذا ثیبییذ ًتیدِی اػبػی لضیِی حذ هشوضی سا ثشسػی وٌین‪.‬‬

‫‪ 5.4.5‬قضیٍی حذ مرکسی‬
‫یىی اص حمیمتّبیی وِ ثشای پیذا وشدى ثبصُ ّبی اعویٌبى هَسد اػتفبدُ لشاس هیگیشد لضیِی حذ هشوضی اػت‪ .‬دٍثربسُ ؿرشایظ ولری‪ n ،‬هتغیرش‬
‫وِ اص تَصیغ احتوبل هدَْل خبكی پیشٍی هیوٌٌذ ‪$‬هثل ‪ n‬ثبس پشتبة یه ػىِ‪ #‬سا دس ًظش ثگیشیذ‪ .‬فشم وٌیرذ ‪μ‬‬ ‫تلبدفی هؼتمل‬
‫‪1‬‬
‫هؼتمل ٍ ثِ عَس یىؼبى تَصیغ ؿذُاًذ صیشا وِ ّش ورذام اص‬ ‫هیبًگیي ایي تَصیغ هدَْل ثبؿذ ٍ ‪ً σ‬یض اًحشاف هؼیبس آى ثبؿذ‪ .‬ایي هتغیش ّبی‬
‫ّرب اص‬ ‫آىّب آصهبیؾ هدضایی سا تَكیف هیوٌذ‪ّ ٍ ،‬ش وذام اص ّوبى تَصیغ احتوبل پیشٍی هیوٌٌذ‪ .‬دس تخویي هیبًگیي ‪ μ‬تبثغ تَصیغ حبون ثش‬
‫̅ ‪$ .‬هثل ًؼجت ؿیشّب ثِ ول پشتبةّب‪ .#‬لضیِی حذ هشوضی هیگَیذ وِ تَصیغ احتوبل‬ ‫∑‬ ‫ّوبى تؼشیف هیبًگیي اػتفبدُ هیوٌین‬
‫ّب چِ ثبؿذ ثب ∞→‪ n‬ثِ تَصیغ ًشهبل هیل هیوٌذ‪ .‬ػرالٍُ ثرش ایري ترَصیؼی ورِ ̅ سا وٌترشل‬ ‫حبون ثش ̅ هؼتمل اص ایٌىِ تَصیغ احتوبل‬

‫خَاّذ داؿت‪ .‬ثِ ػجبست دیگش‪،‬‬ ‫هیوٌذ هیبًگیي ‪ ٍ μ‬اًحشاف هؼیبس‬

‫√‬

‫سا داسین وِ‬ ‫قضیهی ‪ 1.5‬قضیهی حد مرکزی‪ .‬فشم وٌیذ وِ دػتِ ای هتغیش تلبدفی هؼتمل ٍ ثِ عَس یىؼبى تَصیغ ؿذُی‬

‫̅ تؼشیف وٌین‪،‬‬ ‫∑‬ ‫داسد وٌتشل هیؿًَذ‪ .‬اگش‬ ‫ّش وذام اص ایي هتغیش ّبی تلبدفی ثب تَصیغ احتوبلی وِ هیبًگیي ‪ٍ ٍ μ‬اسیبًغ‬
‫ٍ ∞→‪ n‬تَصیغ احتوبل حبون ثش‬

‫̅‬ ‫𝜇‬

‫√‬

‫ثِ تَصیغ ًشهبل ثب هیبًگیي كفش ٍ اًحشاف هؼیبس ‪ 9‬هیل خَاّذ وشد‪.‬‬

‫ایي حمیمت ثؼیبس خبلجی اػت‪ ،‬تَصیغ احتوبل حبون ثش ̅ ثذٍى داًؼتي تَصیغ احتوبل حبون ثش ّب هؼلَم هیگشدد! ػالٍُ ثش آى‪ ،‬لضیِی حرذ‬
‫هشوضی سٍؿی ثشای پیذا وشدى ٍاسیبًغ ٍ هیبًگیي تبثغ تَصیغ ّب اص ٍاسیبًغ ٍ هیبًگیي تبثغ تَصیغ ̅ اسائِ هی وٌذ‪.‬‬

‫لضیِی حذ هشوضی‪ ،‬حمیمتی پش وبسثشد اػت ‪ ،‬صیشا وِ ثِ ّرش كرَست ورِ یره تخوریي صًٌرذُ ثرشای تخوریي هیربًگیي چیرضی تؼشیرف وٌرین‬
‫تخویي صًٌذُی هیبًگیي خغبػت‪ ،#‬ثشای ‪ّ n‬بی ثِ اًذاصُی وبفی ثضسي آىسا هیتَاى ثب تَصیرغ ًشهربل تخوریي صد‪ .‬حربل اگرش‬ ‫‪$‬‬
‫ٍاسیبًغ ایي تَصیغ ًشهبل ‪$‬تخویٌی‪ #‬سا ثذاًین هیتَاًین ثب اػتفبدُ اص ساثغِی ‪ 5.99‬ثشای هحبػجِی ثبصُ ّبی اعویٌبى اػتفبدُ وٌین‪ .‬یه تمشیت‬
‫‪ .‬تَخِ داسیذ وِ دس لؼوت لجلی اص چٌریي تَصیرغ‬ ‫هتذاٍل ایي اػت وِ صهبًی هیتَاًین اص تمشیت ًشهبل اػتفبدُ وٌین وِ داؿت ثبؿین‬
‫سا تَكیف هیوشد اػتفبدُ وشدین‪.‬‬ ‫ًشهبلی ثشای تخویي تَصیغ دٍخولِ ای وِ‬

‫‪1‬‬
‫‪identically distributed‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.1‬تفبيت خطب َبی دي فرضیٍ‬

‫ورِ ؿربهل‬ ‫ثش سٍی هدوَػِی‬ ‫سا ثشای تبثغ ّذف گؼؼتِ همذاسی داسین‪ .‬فشضیِی‬ ‫ٍ‬ ‫حبلتی سا تلَس وٌیذ وِ دٍ فشضیِی‬
‫ًوًَِ اػت ثشسػی ؿذُ اػت‪ .‬فشم وٌیذ وِ هیخَاّین تفبٍت ثیي خغربی‬ ‫وِ ؿبهل‬ ‫ثش سٍی هدوَػِی‬ ‫ًوًَِ اػت‪ ٍ ،‬فشضیِی‬
‫ٍالؼی ایي دٍ فشضیِ سا تخویي ثضًین‪.‬‬

‫𝒟‬ ‫𝒟‬

‫دس ایٌدب هب اص فشایٌذ چْبس هشحلِ ای اسائِ ؿذُ دس اثتذای ثخؾ ‪ 5.4‬ثشای ثذػت آٍسدى ثبصُی اعویٌبى ثشای ‪ d‬اػتفبدُ هیوٌین‪ .‬ثب هؼلَم وشدى‬
‫‪ d‬ثِ ػٌَاى پبساهتشی وِ هیخَاّین تخویي ثضًین‪ ،‬ثبیذ یه تخویي صًٌذُ هؼشفی وٌین‪ .‬تٌْب اًتخبة هوىي ٍ ٍاضرح ثرشای تخوریي صًٌرذُی ‪d‬‬
‫اختالف ثیي خغب ّبی ًوًَِ ای اػت وِ ثب ̂ ًـبى هیدّین‪:‬‬

‫̂‬ ‫𝒟‬ ‫𝒟‬

‫]̂ [ ‪.‬‬ ‫ثب ٍخَد ایٌىِ ایٌدب اثجبت ًویوٌین اهب هیتَاى ًـبى داد وِ ̂ تخویٌی ثذٍى ثبیبع اص ‪ d‬اسائِ هیوٌذ؛‬

‫ثِ اًذاصُی وبفی ثضسي ثبؿٌذ ‪ّ$‬رش دٍ‬ ‫ٍ‬ ‫اهب ̂ اص چِ تَصیغ احتوبلی پیشٍی هیوٌذ؟ ثب اػتفبدُ اص آًچِ دس لؼوتّبی لجلی گفتِ ؿذ‪ ،‬اگش‬
‫اص تَصیغ ًشهبل پیشٍی خَاٌّذ ورشد‪ .‬چرَى تفربٍت دٍ تَصیرغ‬ ‫ٍ‬ ‫ثضسيتش اص ‪ 30‬ثبؿٌذ‪ّ #‬ش دٍ هتغیش تلبدفی‬
‫ًشهبل ًیض تَصیؼی ًشهبل اػت‪ً ̂ ،‬یض تَصیؼی ًشهبل ثب هیبًگیي ‪ d‬خَاّذ داؿت‪ّ .‬وچٌیي هیتَاى ًـربى داد ورِ ٍاسیربًغ ایري تَصیرغ هدورَع‬
‫اػت‪ .‬ثب اػتفبدُ اص ساثغِی ‪ 5.9‬ثشای تخویي ٍاسیبًغ ّش یه اص ایي دٍ تَصیغ داسین‬ ‫ٍ‬ ‫ٍاسیبًغ تَصیغّبی‬
‫وِ‪:‬‬

‫(‬ ‫)‬ ‫(‬ ‫)‬

‫̂‬

‫حبل وِ تَصیغ احتوبلی وِ ̂ سا وٌتشل هیوٌذ سا هـخق وشدُاین‪ ،‬ثِ ساحتی هیتَاى ثبصُ ّبی اعویٌبى سا ورِ اص ̂ ثرشای ‪ d‬ثذػرت هریآیرذ‬

‫̂ سا خرَاّین‬ ‫پیشٍی هیوٌذ ثربصُی اعویٌربى‬ ‫هـخق وشد‪ .‬ثشای هتغیش تلبدفی ̂ وِ اص تَصیغ ًشهبلی ثب هیبًگیي ‪ٍ ٍ d‬اسیبًغ‬

‫وِ دس ثبال هحبػجِ ؿذ ایي ثبصُی اعویٌبى تخویٌی ثشای ‪ d‬ثِ كَست صیش خَاّذ ثَد‪:‬‬ ‫̂‬ ‫داؿت‪ .‬ثب اػتفبدُ اص ٍاسیبًغ تخویٌی‬

‫(‬ ‫)‬ ‫(‬ ‫)‬

‫̂‬ ‫√‬

‫همبدیشی اػت وِ اص خذٍل ‪ 5.1‬اػتخشاج هیؿَد‪ .‬ساثغِی ثبال ثبصُی اعویٌبى دٍعشفِ ای ثشای تخویي اختالف ثیي خغبّبی‬ ‫دس ایي ساثغِ‬
‫دٍ فشضیِ ثِ هب هیدّذ‪ .‬ثؼضی هَالغ هوىي اػت ػاللِی هب ثِ ثبصُی یه عشفِ ثبؿذ‪ ،‬هحرذٍد ورشدى ثرضسيترشیي اخرتالف خغبّرب دس یره‬
‫هحذٍدُی خبف‪ .‬ایي ثبصُی اعویٌبى دٍعشفِ سا هیتَاى ثب ّوبى فشایٌذ لؼوت ‪ 5.3.6‬ثِ ثبصُ ّبی یه عشفِ تجذیل وشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫سٍی هدوَػِ دادُ ّبی هؼتمل تؼت ؿذُاًذ‪ ،‬اهب گبّی اػتفبدُ اص‬ ‫ٍ‬ ‫ثب ایي ٍخَد وِ ثشسػی ثبال دس حبلتی اًدبم گشفتِ وِ دٍ فشضیِی‬
‫هؼتمل اػرت‪#‬‬ ‫ٍ‬ ‫ّش دٍ ثش سٍی هدوَػِی ‪$ S‬وِ ٌَّص اص ّش دٍ فشضیِی‬ ‫ٍ‬ ‫ایي ثبصُی اعویٌبى ‪$‬ساثغِی ‪ #5.93‬دس خبیی وِ‬
‫لبثل لجَل اػت‪ .‬دس ایي حبلت هیتَاى ̂ سا ثِ فشم صیش تؼشیف وشد‪:‬‬

‫̂‬

‫ّش دٍ ‪ S‬دس ًظش گشفتِ ؿرذُاًرذ‪ .‬دلیرل‬ ‫ٍ‬ ‫ایي اختالف دس ̂ خذیذ هؼوَالً ووتش اص اختالف ساثغِی ‪ 5.92‬اػت‪ ،‬صیشا وِ دٍ هدوَػِی‬
‫سا حزف خَاّذ وشد‪ .‬دس ایي‬ ‫ٍ‬ ‫ایي وبّؾ اػتفبدُ اص یه هدوَػِی ًوًَِ ای ‪ S‬ثشای اسصیبثی اختالف اثش اختالفبت تلبدفی ثیي تشویت‬
‫حبلت‪ ،‬ثبصُی اعویٌبى ساثغِی ‪ 5.93‬دس ول ثبصُ ای هحبفظِ وبساًِ‪ ،‬اهب ٌَّص دسػت‪ ،‬خَاّذ ثَد‪.‬‬

‫‪1‬‬
‫‪ 5.5.5‬تست فرضیٍ‬
‫ثؼضی هَالغ‪ ،‬ػاللِی هب ثیـتش ثِ احتوبل دسػتی یه حذع اػت تب ایٌىِ ثبصُ ّبی اعویٌبى سا ثشای پبساهتش ّبی حذع داؿرتِ ثبؿرین‪ .‬ثرشای‬
‫؟" اػرت‪ .‬ثرب تَخرِ ثرِ آًچرِ دس‬ ‫𝒟‬ ‫𝒟‬ ‫هثبل‪ ،‬فشم وٌیذ‪ ،‬ػاللِی هب ثِ ایي ػؤال وِ "ثب چِ احتوبلی داسین‬
‫سا ثش سٍی دٍ هدوَػِی هؼتمل ٍ ثب اًرذاصُی هؼربٍی ‪ 900‬تؼرت‬ ‫ٍ‬ ‫لؼوتّبی گزؿتِ گفتین‪ ،‬فشم وٌیذ وِ دٍ فشضیِی‬
‫̂ خَاّرذ ثرَد‪ .‬الجترِ ثرب‬ ‫‪ ،‬ثٌبثشایي اختالف هـبّذُ ؿرذُ‬ ‫ٍ‬ ‫هیوٌین ٍ داسین‪،‬‬
‫اػرت ًیرض‬ ‫𝒟‬ ‫𝒟‬ ‫تَخِ ثِ اختالفبت تلبدفی دس دادُ ّبی ًوًَِ ای هوىي اػت چٌیي ًتبیدی حتی صهبًی وِ‬
‫̂ سا داسیرن چمرذس‬ ‫ثب داؿتي ایٌىِ اختالف ًوًَِ ای‬ ‫𝒟‬ ‫𝒟‬ ‫هـبّذُ ؿَد‪ .‬احتوبل ایٌىِ داؿتِ ثبؿین‬
‫̂ چمذس اػت؟‬ ‫ثبؿذ ثِ ؿشط ایٌىِ‬ ‫اػت؟ یب ثِ عَس هؼبدل احتوبل ایٌىِ‬

‫ثیـتش تخویي صدُ ثبؿذ‪ .‬ثرِ ػجربست دیگرش‪،‬‬ ‫هـبثِ احتوبل ایي اػت وِ ̂ ‪ ،‬سا ثِ اًذاصُی‬ ‫تَخِ داسیذ وِ احتوبل ایٌىِ‬
‫̂ لشاس ثگیشد اػت‪ .‬دس ایي ساثغِ هیبًگیي تَصیغ احتوبل حبون ثش ̂ ‪،‬‬ ‫احتوبل ایي اػت وِ ̂ دس ثبصُی اعویٌبى یه عشفِی‬
‫̂ ثبصًَیؼی وشد‪.‬‬ ‫̂𝜇‬ ‫اػت پغ هیتَاى ساثغِ سا ثِ كَست‬

‫̂ لرشاس داؿرتِ ثبؿرذ‬ ‫̂𝜇‬ ‫هؼبٍی ایي احتوبل اػت وِ ̂ دس ثبصُی اعویٌبى یه عشفِی‬ ‫ثِ عَس خالكِ احتوبل‬
‫اػت‪ .‬اص آًدبیی وِ دس لؼوت لجلی تَصیغ احتوبل حبون ثش ̂ سا هحبػجِ وشدُاین‪ ،‬هیتَاى احتوبل ایٌىِ ̂ دس ثبصُی اعویٌبى یه عشفِی لرشاس‬
‫گیشد ثب خشم احتوبل تَصیغ ̂ دس ایي ثبصُ اًذاصُ گیشی خَاّذ ؿذ‪.‬‬

‫̂ ثب اًحشاف اص هؼیبس ؿشٍع وٌین‪ .‬ثب اػتفبدُ اص ساثغِی ‪ 5.92‬هیتَاى ثذػرت آٍسد‬ ‫̂𝜇‬ ‫ثیبییذ ایي هحبػجِ سا ثب ثبصًَیؼی دٍثبسُی‬
‫‪ ،‬پغ هیتَاى ثبصُی اعویٌبى سا ثِ فشم صیش ًَؿت‪،‬‬ ‫̂‬ ‫وِ‬

‫̂‬ ‫̂𝜇‬ ‫̂‬

‫هیضاى احتوبل هتٌبػت ثب ایي ثبصُی یه عشفِ دس تَصیغ ًشهبل چٌذ اػت؟ ثب تَخِ ثِ خذٍل ‪ ،5.9‬هیتَاى ثذػت آٍسد وِ ثبصُ ای تب ‪ 9.64‬ثشاثش‬
‫اًحشاف حَل هیبًگیي ثشای ثبصُی دٍعشفِ احتوبل ‪ "90‬داسد‪ .‬ثٌبثشایي‪ ،‬ثبصُی اعویٌبى دٍ عشفِ احتوبل ‪ "95‬سا خَاّذ داؿت‪.‬‬

‫‪1‬‬
‫‪Hypothesis testing‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اػت‪ .‬دس ٍاطگربى ادثیربت آهربسی‪،‬‬ ‫تمشیجبً‬ ‫𝒟‬ ‫𝒟‬ ‫̂ ‪ ،‬احتوبل ایٌىِ‬ ‫ثٌبثشایي‪ ،‬ثب داؿتي هـبّذُی‬
‫هیپزیشین‪ .‬یب ثِ عَس هـبثِ هوىي اػت ثگَیین وِ‬ ‫" سا ثب اعویٌبى‬ ‫𝒟‬ ‫𝒟‬ ‫هیگَیین وِ ایي فشضیِ وِ "‬
‫فشضیِ هتضبد‪$ 1‬یب فشضیِی تْی‪ #2‬سا ثب احتوبل ‪ (1-.95)=.05‬سد هیوٌین‪.‬‬

‫‪ 1.5‬مقبیسٍی الگًریتمَبی یبدگیری‬

‫ثشای هب اص همبیؼرِی دٍ فشضریِ اّویرت ثیـرتشی داسد‪ .‬آصهرَى هٌبػرت ثرشای‬ ‫ٍ‬ ‫ثؼضی هَالغ همبیؼِی ػولىشد دٍ الگَسیتن یبدگیشی‬
‫همبیؼِی الگَسیتنّبی یبدگیشی چیؼت ٍ چگًَِ هیتَاى هؼلَم وشد وِ تفبٍتّبی ثذػت آهذُ اص ًظش آهبسی لبثرل تَخٌْرذ؟ ثرب ٍخرَد ایٌىرِ‬
‫ثحثّب ٌَّص دس ایي هجحث اص یبدگیشی هبؿیي داؽ اػت اهب هب دس ایٌدب سٍؿی خبف سا هؼشفی خرَاّین ورشد‪ .‬ثحرث دس هرَسد دیگرش هترذ ّربی‬
‫خبیگضیي سا هیتَاًیذ دس )‪ (Ditterich 1996‬پیذا وٌیذ‪.‬‬

‫هثل لجل‪ ،‬وبس سا ثب تؼییي پبساهتشی وِ هیخَاّین تخویي ثضًین آغبص هیوٌین‪ .‬فشم وٌیذ للذ داسین هـخق وٌین وِ وذام یه اص دٍ الگرَسیتن‬
‫ثِ عَس هتَػظ ثشای یبدگیشی تبثغ ّذف ‪ f‬هؼلَم هتٌبػتتشًذ‪ .‬یىی اص ساُّبی تؼشیف "ثِ عَس هتَػرظ" ثشسػری وربسایی ًؼرجی دٍ‬ ‫یب‬
‫الگَسیتن ثش سٍی توبهی هدوَػِ ًوًَِ ّبی ‪ n‬ػضَی هوىي وِ ثب اػتفبدُ اص تَصیغ احتوبل ًوًَِ ای 𝒟 اػت‪ .‬ثِ ػجبست دیگش‪ ،‬للذ داسین ورِ‬
‫همذاس اهیذ خغبی ثیي دٍ فشضیِ سا تخویي ثضًین‬

‫[‬ ‫(𝒟‬ ‫)‬ ‫(𝒟‬ ‫])‬

‫𝒟‬

‫دس ایي ساثغِ )‪ L(S‬فشضیِ ای اػت وِ ثب اػتفبدُ اص هتذ ‪ L‬اص ًوًَِ ّبی ‪ S‬ثذػت هیآیذ‪ً S 𝒟 ،‬یض ثِ ایي هؼٌبػت ورِ همرذاس اهیرذ ثرش سٍی‬
‫سا ًـبى‬ ‫ٍ‬ ‫ًوًَِ ّبی ‪ S‬وِ ثب تَصیغ 𝒟 اًتخبة هیؿًَذ هحبػجِ هیؿَد‪ .‬ػجبست ثبال همذاس اهیذ اختالف ثیي خغب ّبی یبدگیشی دٍ هتذ‬
‫هی دّذ‪.‬‬

‫دس دػتشع اػت ٍ ثشسػی ثیي دٍ هتذ سا ثش سٍی ایي هدوَػِی هحذٍد اًدربم هریدّرین‪ .‬دس‬ ‫الجتِ دس ػول هدوَػِ ای هحذٍد اص ًوًَِّب‬
‫اػت‪ .‬دادُ ّبی آهَصؿی سا‬ ‫ٍ دػتِی تؼت‬ ‫ثِ دػتِی آهَصؿی‬ ‫چٌیي ؿشایغی‪ ،‬یىی اص سٍؽّبی ػبدُی تخویي وویت ثبال تمؼین‬
‫ثِ وبس ثشد ٍ اص دػتِی تؼت هیتَاى ثشای همبیؼِی دلت ّش وذام اص فشضیِ ّبی یربد گشفترِ‬ ‫ٍ‬ ‫هیتَاى ثشای آهَصؽ دس ّش دٍ سٍؽ‬
‫ؿذُ اػتفبدُ وشد‪ .‬ثِ ػجبست دیگش‪ ،‬هب وویت صیش سا هحبػجِ هیوٌین‪:‬‬

‫(‬ ‫)‬ ‫(‬ ‫)‬

‫ثرشای‬ ‫تَخِ داؿتِ ثبؿیذ وِ ایي تخویي صًٌذُ ٍ وویت ساثغِی ‪ 5.94‬دٍ تفبٍت ولیذی داسًرذ‪ .‬اثترذا ایٌىرِ دس ایري ساثغرِ اص‬
‫ثِ خبی ول‬ ‫اػتفبدُ ؿذُ اػت‪ .‬دٍم ایٌىِ دس ایي ساثغِ فمظ تفبٍت ثیي خغبّب ثشای یه هدوَػِی آهَصؿی‬ ‫𝒟‬ ‫تخویي همذاس‬
‫هدوَػِ ّبی آهَصؿی هوىي تَصیغ 𝒟 اػتفبدُ ؿذُ اػت‪.‬‬

‫‪1‬‬
‫‪opposite hyposesis‬‬
‫‪2‬‬
‫‪null hyposesis‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثرِ هدوَػرِ ّربی وَچرهترش ٍ اػرتفبدُ اص‬ ‫یىی اص ساُ ّبی ثْجَد ایي تخویي صًٌذُی ساثغِی ‪ 5.95‬تمؼین دادُ ّبی دس چٌذیي هشحلِ‬
‫هیبًگیي خغبی ثذػت آهذُ اص دػتِی تؼت دس آصهبیؾّبی هختلف اػت‪ .‬ایي وبس ثِ فشایٌذ ًـربى دادُ ؿرذُ دس خرذٍل ‪ 5.5‬ثرشای همبیؼرِی‬
‫هیاًدبهذ‪ .‬ایي فشایٌذ تمؼین اثتذا دادُّب سا ثِ ‪ k‬صیش هدوَػِی ّن اًذاصُ وِ ّرش ورذام‬ ‫خغبّبی دٍ هتذ یبدگیشی ثش اػبع دادُ ّبی ثبثت‬
‫حذالل ‪ً 30‬وًَِ داسًذ تمؼین هیوٌذ‪ .‬ػپغ الگَسیتن یبدگیشی سا ‪ k‬ثبس آهَصؽ هیدّذ ٍ آصهبیؾ هیوٌذ‪ ،‬دس ّش یه اص ایي ‪ k‬ثبس یىی اص ‪ k‬صیش‬
‫هدوَػِ ثِ ػٌَاى هدوَػِی تؼت هَسد اػتفبدُ لشاس هیگیشد ٍ ثمیِ دادُّب ًیض هدوَػِی آهَصؿی خَاٌّذ ثَد‪ .‬ثِ ایي تشتیرت‪ ،‬الگرَسیتنّربی‬
‫یبدگیشی ثش سٍی ‪ k‬هدوَػِی هدضای تؼت ثشسػی هیؿًَذ ٍ هیبًگیي اختالف دس خغب ّبی ̅ ثِ ػٌَاى یه تخویي صًٌذُ ثشای اختالف ثریي‬
‫دٍ الگَسیتن یبدگیشی اًتخبة هیؿَد‪.‬‬

‫وویت ̅ وِ اص فشایٌذ خذٍل ‪ 5.5‬ثذػت هیآیذ سا هیتَاى ثِ ػٌَاى تخویٌی اص وویت هغلَة ساثغِی ‪ 5.94‬ثِ حؼبة آٍسد‪ .‬حتی هیتَاى ثِ‬
‫̅ ثِ دیذ تخویٌی اص وویت صیش ًگبُ وشد‪:‬‬

‫(𝒟‬ ‫)‬ ‫𝒟‬

‫اًتخبة ؿذُاًذ‪ .‬تٌْب تفبٍت ثیي ایي وویت ٍ وویت‬ ‫ًوًَِ اػت وِ ثب تَصیغ یىٌَاخت اص‬ ‫دس ایي ساثغِ ‪ S‬هدوَػِ ای دلخَاُ اص‬
‫پیذا هیوٌذ ثِ خربی ایٌىرِ اص‬ ‫اكلی هب دس ساثغِی ‪ 5.94‬ایي اػت وِ ایي وویت همذاس اهیذ سا ثش سٍی صیشهدوَػِ ای اص دادُ ّبی هَخَد‬
‫توبهی ًوًَِّب ثب تَصیغ 𝒟 اػتفبدُ وٌذ‪.‬‬

‫ثب اًذاصُ ّبی هؼبٍی تمؼین وي‪ ،‬اًذاصُی ّش هدوَػِ ثبیرذ حرذالل‬ ‫سا ثِ ‪ k‬دػتِی هدضای‬ ‫‪ .9‬دادُ ّبی هَخَد‬
‫‪ 30‬ثبؿذ‪.‬‬
‫‪ .2‬ثشای توبهی همبدیش ‪ i‬ثب ؿشٍع اص ‪ ٍ 9‬ووتش هؼبٍی اص ‪:k‬‬
‫اػتفبدُ وي‪.‬‬ ‫ثشای دػتِی تؼت ٍ اص ثمیِی دادُّب ثشای دػتِی آهَصؿی‬ ‫اص‬

‫‪ .3‬همذاس ̅ سا اص تؼشیف صیش خشٍخی ثذُ‪:‬‬

‫̅‬ ‫∑‬

‫‪ .‬ثبصُ ّبی اعویٌبى ایي تخویي دس هتي آٍسدُ ؿذُ اًذ‪.‬‬ ‫خذٍل ‪ 1.1‬فشایٌذ تخویي تفبٍت ثیي خغبّبی ثیي دٍ هتذ یبدگیشی ٍ‬
‫ثبصُی اعویٌبى ‪ N%‬ثشای تخویي وویت ساثغِی ‪ 5.96‬ثب ̅ ثِ فشم صیش اػت‪:‬‬

‫̅‬ ‫̅‬

‫ًیض تخویي اًحشاف هؼیبس تَصیغ حبون ثرش ̅‬ ‫̅‬ ‫سا دس تؼشیف لجلی ثبصُی اعویٌبى ثبصی هیوٌذ‪،‬‬ ‫ثبثتی اػت وِ ًمؾ‬ ‫دس ایي ساثغِ‬
‫ثِ كَست صیش تؼشیف هیؿَد‪:‬‬ ‫̅‬ ‫اػت‪ .‬دس ول‪،‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫̅‬ ‫√‬ ‫(∑‬ ‫)̅‬

‫دٍ اًذیغ داسد‪ .‬اًذیغ اٍل دسكذ اعویٌبى ثبصُ سا هـخق هیوٌذ‪ ،‬هـبثِ ‪ .‬پبساهتش دٍم وِ دسخِی آصادی‪ً 1‬یض‬ ‫تَخِ داسیذ وِ ثبثت‬
‫ًوبیؾ دادُ هیؿَد‪ ،‬ایي پبساهتش تؼذاد فشایٌذ ّبی تلبدفی هؼتمل وِ ثشای تَلیذ همذاس تلبدفی ̅ اًدبم هیؿَد سا‬ ‫ًبهیذُ هیؿَد ٍ هؼوَالً ثب‬
‫ًـبى هیدّذ‪ .‬دس ؿشایظ حبضش‪ ،‬دسخِی آصادی ّوبى ‪ k-1‬اػت‪ .‬همبدیش ثبثت ‪ t‬دس خذٍل ‪ 5.6‬آٍسدُ ؿذُ‪ ،‬تَخرِ داسیرذ ورِ ثرب ∞→‪ k‬همرذاس‬
‫هیل هی وٌذ‪.‬‬ ‫ثِ ثبثت‬

‫تَخِ داسیذ وِ فشایٌذی وِ ثشای همبیؼِی دٍ هتذ یبدگیشی دس ایٌدب آٍسدُ ؿذ دلت ّش دٍ فشضیِی یبد گشفتِ ؿذُ سا ثرش اػربع یره دػرتِی‬
‫تؼت هـتشن ثشسػی هیوٌذ‪ .‬ایي ثب چیضی وِ دس لؼوت ‪ 5.5‬دس هَسد همبیؼِی فشضیِّب ثب دػتِ تؼتّبی هؼتمل گفتِ ؿذ دس تضربد اػرت‪.‬‬
‫ثِ تؼتّبیی وِ فشضیِّب ثش سٍی هدوَػِ ّبی هـبثْی تؼت هیؿًَذ تؼتّبی خفت‪ 2‬هیگَیٌذ‪ .‬تؼتّبی خفت هؼوَالً ثبصُ ّبی اعویٌربى‬
‫وَچهتشی ایدبد هیوٌٌذ صیشا وِ دس خغبّبی هـبّذُ ؿذُ دس تؼتّبی خفت فمظ ثخبعش اخرتالف دس فشضریِّبػرت‪ .‬دس همبثرل‪ ،‬صهربًی ورِ‬
‫فشضیِّب ثش سٍی دادُ ّبی هدضایی تؼت هیؿًَذ‪ ،‬تفبٍت ًبؿی اص تشویت دٍ هدوَػِی ًوًَِ هوىي اػت ثش سٍی تؼت تأثیش ثگزاسد‪.‬‬

‫دسخِی اعویٌبى ‪N‬‬

‫‪99%‬‬ ‫‪98%‬‬ ‫‪95%‬‬ ‫‪90%‬‬

‫‪9.92‬‬ ‫‪6.96‬‬ ‫‪4.30‬‬ ‫‪2.92‬‬ ‫‪=2‬‬

‫‪4.03‬‬ ‫‪3.36‬‬ ‫‪2.57‬‬ ‫‪2.02‬‬ ‫‪=5‬‬

‫‪3.17‬‬ ‫‪2.76‬‬ ‫‪2.23‬‬ ‫‪1.81‬‬ ‫‪=10‬‬

‫‪2.84‬‬ ‫‪2.53‬‬ ‫‪2.09‬‬ ‫‪1.72‬‬ ‫‪=20‬‬

‫‪2.75‬‬ ‫‪2.46‬‬ ‫‪2.04‬‬ ‫‪1.70‬‬ ‫‪=30‬‬

‫‪2.62‬‬ ‫‪2.36‬‬ ‫‪1.98‬‬ ‫‪1.66‬‬ ‫‪=120‬‬

‫‪2.58‬‬ ‫‪2.33‬‬ ‫‪1.96‬‬ ‫‪1.64‬‬ ‫∞=‬

‫هیل هی وٌذ‪.‬‬ ‫ثِ‬ ‫ثشای ثبصُ ّبی اعویٌبى دٍ عشفِ‪ .‬ثب ∞→‪،v‬‬ ‫خذٍل ‪ 1.5‬همبدیش‬

‫‪1‬‬
‫‪number of degrees of freedom‬‬
‫‪2‬‬
‫‪paired tests‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 5.6.5‬تستَای جفتی ‪t1‬‬

‫دس ثبال‪ ،‬فشایٌذی ثشای همبیؼِی دٍ هتذ یبدگیشی ثب هدوَػِی ثبثتی اص دادُّب اسائِ ؿذ‪ .‬دس ایي ثخؾ تَخیِ آهبسی ثشای ایي فشایٌذ ٍ ثبصُ ّربی‬
‫اعویٌبى سٍاثظ ‪ 5.98 ٍ 5.97‬سا هَسد ثحث لشاس هیدّین‪ .‬دس اٍلیي ثبس خَاًذى ایي وتبة هیتَاًیذ ثذٍى اص دػت دادى پیَػتگی هغبلرت ایري‬
‫لؼوت سا ًخَاًیذ‪.‬‬

‫ثْتشیي ساُ ثشای دسن تَخیِ ثبصُ ّبی تخویٌی اعویٌبى وِ دس ساثغِی ‪ 5.97‬آٍسدُ ؿذُ دس ًظش گشفتي هؼئلِی تخویٌی صیش اػت‪:‬‬

‫دػتِ ای اص همبدیش تلبدفی هـبّذُ ؿذُی هؼتمل ٍ ثِ عَس یىؼبى تَصیغ ؿذُ داسین‪.‬‬ ‫‪‬‬
‫ّب سا پیذا وٌین‪.‬‬ ‫ػؼی داسین وِ هیبًگیي ‪ μ‬سا ثشای تَصیغ حبون ثش‬ ‫‪‬‬
‫تخویي صًٌذُی هَسد اػتفبدُ دس ایي هؼئلِ همذاس ̅ اػت‪:‬‬ ‫‪‬‬

‫̅‬ ‫∑‬

‫ایي هؼئلِی تخویي هیبًگیي ‪ μ‬وِ ثش اػبع همذاس ̅ كَست هیگیشد ‪ ،‬ثؼریبس ولری اػرت‪ .‬ثرشای هثربل‪ ،‬ایري حبلرت ولری هؼرئلِی تخوریي‬
‫ّب ‪ 9‬یب ‪ 0‬ثَدًذ ‪$‬ثٌب ثِ ایٌىِ ًوًَِ دسػرت دػرتِ ثٌرذی‬ ‫سا ًیض ؿبهل هیؿَد‪$ .‬دس ایي هؼئلِ‪،‬‬ ‫ثب اػتفبدُ اص‬ ‫𝒟‬

‫ّوبى هیبًگیي ثَد وِ هیخَاػتین تخویي ثضًین‪ .#‬تؼت ‪ ،t‬ورِ دس ساثغرِی ‪ً 5.98 ٍ 5.97‬یرض آٍسدُ ؿرذُ‬ ‫𝒟‬ ‫هیؿَد یب خیش‪ٍ #‬‬
‫ّب اص تَصیغ ًشهبل پیشٍی هیوٌٌذ‪.‬‬ ‫اػت‪ ،‬حبلت خبكی اص ایي هؼئلِ اػت‪ ،‬حبلتی وِ‬

‫حبل فشم ایذُ آل صیش سا ثشای هتذ خذٍل ‪ 5.5‬سا ثشای همبیؼِی وبسایی دٍ الگَسیتن یبدگیشی دس ًظش ثگیشیذ‪ .‬فشم وٌیرذ ورِ ثرِ خربی داؿرتي‬
‫دس‬ ‫‪ ،‬هیتَاًین ًوًَِ ّبی آهَصؿی خذیذ سا ثش اػبع تَصیغ احتوبل 𝒟 دسیبفت وٌین‪ .‬دس ول‪ ،‬هتذ ایذُ آل فشایٌذ خذٍل‬ ‫هدوَػِی ثبثت‬
‫‪ #‬ایدبد ؿذُ اػتفبدُ هریوٌرذ‪.‬‬ ‫سا وِ ثب تَصیغ 𝒟 ‪ّ$‬وبى تَصیغ‬ ‫ٍ دػتِی تؼت خذیذ‬ ‫ّش ثبس تىشاس حلمِ اص یه دػتِی آهَصؿی خذیذ‬
‫دس ایي فشایٌذ هتٌبػت ثب هتغیشّبی تلربدفی ثرِ عرَس یىؼربى‬ ‫ایي هتذ ایذُ آل وبهالً ثب فشم هؼئلِی تخویٌی ثبال تغجیك داسد‪ .‬دس ول‪ ،‬هؼیبس‬
‫تَصیغ ؿذُ ّب ّؼتٌذ‪ .‬هیبًگیي ‪ μ‬ایي تَصیغّب همذاس اهیذ اختالف ثیي خغبّب ثیي دٍ هتذ یبدگیشی سا ًـبى هیدّذ ‪$‬ساثغِی ‪ .#5.94‬هیبًگیي‬
‫ًوًَِ ای ̅ وویتی اػت ̅ وِ تَػظ حبلت ایذُ آل ایي هتذ اًذاصُ گیشی هیؿَد‪ .‬ػاللِی هب ثِ خَاة ایي ػؤال اػت وِ "هیبًگیي ̅ ترب چرِ‬
‫هیضاى تخویي خَثی اص ‪ μ‬ثِ هب هیدّذ؟"‬

‫عَسی اًتخبة هیؿَد وِ ّش یه اص هدوَػِّب حذالل ‪ً 30‬وًَِ داؿتِ ثبؿرذ‪ .‬ثرِ‬ ‫اثتذا تَخِ داؿتِ ثبؿیذ وِ اًذاصُی هدوَػِ ّبی تؼت‬
‫ّب ‪$‬عجك لضیِی حذ هشوضی‪ #‬تَصیؼی تمشیجبً ًشهبل خَاٌّذ داؿت‪ .‬ثٌبثشایي‪ ،‬ثب حبلت خبكی سٍثشٍ ّؼرتین ورِ دس آى‬ ‫ّویي دلیل‪ّ ،‬ش وذام اص‬
‫تَصیؼی ًشهبل اػت‪ ،‬تَصیرغ‬ ‫تَصیغ حبون ثش ّب ّوگی تمشیجبً ًشهبل ّؼتٌذ‪ .‬هیتَاى ًـبى داد وِ دس ول‪ ،‬صهبًی وِ تَصیغ حبون ثش ّش یه‬
‫حبون ثش هیبًگیي ًوًَِ ای ̅ تَصیؼی ًشهبل خَاّذ ثَد‪ .‬ثب ایي داًؾ وِ ̅ تَصیؼی ًشهبل داسد‪ ،‬هیتَاى اص آًچرِ پریؾترش دس هرَسد ثربصُ ّربی‬
‫اعویٌبى گفتِ ؿذ ثشای ایي هتغیش تلبدفی اػتفبدُ وشد ‪$‬ساثغِی ‪ 5.99‬وِ ثشای تَصیغ احتوبلّبی ثب تَصیغ ًشهبل كبدق ثرَد‪ .#‬هتأػرفبًِ‪ ،‬ایري‬
‫ساثغِ ًیبص ثِ اًحشاف هؼیبس داسد‪ ،‬وِ دس حبل حبضش ثشای هب هتغیشی هدَْل اػت‪.‬‬

‫‪1‬‬
‫‪Paired t tests‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تؼت ‪ t‬دلیمب ثشای چٌیي ؿشایغی ثِ ٍخَد آهذُ اػت‪ ،‬ؿشایغی وِ دس آى ّذف تخویي هیبًگیي ًوًَِ ای هدوَػِ ای اص هتغیش ّبی تلبدفی ثرب‬
‫تَصیغّبی ًشهبل ثِ عَس یىؼبى تَصیغ ؿذُ اػت‪ .‬دس چٌیي ؿشایغی‪ ،‬هیتَاى اص ثبصُ ّبی اعویٌبى ساثغِی ‪ 5.98 ٍ 5.97‬وِ ثرب ًوربد گرزاسی‬
‫خذیذ ثِ ؿىل صیش ًوبیؾ دادُ هیؿًَذ اػتفبدُ وشد‪:‬‬

‫𝜇‬ ‫̅‬ ‫̅‬

‫اًحشاف هؼیبس هیبًگیي ًوًَِ اػت‪:‬‬ ‫̅‬ ‫وِ دس ایي ساثغِ‬

‫̅‬ ‫√‬ ‫∑‬ ‫̅‬

‫ثبثتی اػت وِ ٍیظگیّبی ًبحیِ ای اص تَصیغ احتوبل هَػَم ثِ تَصیرغ ‪ t‬سا‬ ‫اػت‪ .‬دس ٍالغ ثبثت‬ ‫ثبثتی هـبثِ ثبثت لجلی‬ ‫ٍ‬
‫وِ ًبحیِ ای اص تَصیغ احتوبل ًشهبل سا هـخق هیوشد هـخق هیوٌذ‪ .‬تَصیغ ‪ t‬هـبثِ تَصیغ ًشهبل تَصیؼی صًگی ؿىل اػرت‬ ‫هـبثِ ثبثت‬
‫سا تخویي ثضًذ‪ .‬تَصیغ ‪ t‬ثب هیل وشدى هتغیش‬ ‫̅‬ ‫سا داؿتِ ثبؿذ تب ثتَاًذ اًحشاف هؼیبس ٍالؼی‬ ‫̅‬ ‫ثب ایي تفبٍت وِ پٌْبی ثیـتشی داسد تب ٍاسیبًغ‬
‫‪ ،‬ثب افرضایؾ‬ ‫̅‬ ‫‪ #‬هیل خَاّذ وشد‪ .‬ایي هٌغمی اػت صیشا وِ اًتظبس داسین وِ‬ ‫ًیض ثِ‬ ‫‪ k‬ثِ ػوت ثیٌْبیت ثِ تَصیغ ًشهبل ‪ ٍ $‬هتٌبػجبً‬
‫اػتفبدُ وٌین‪.‬‬ ‫هیل وٌذ ٍ ّوچٌیي صیشا وِ صهبًی وِ اًحشاف هؼیبس سا دلیمب داسین هیتَاًین اص‬ ‫̅‬ ‫‪ k‬ثِ ػوت همذاس ٍالؼی اًحشاف هؼیبس‬

‫‪ 5.6.2‬وکات کاربردی‬
‫تَخِ داسیذ وِ ثحث ثبال اػتفبدُ اص تخویي ثبصُی اعویٌبى ساثغِی ‪ 5.97‬سا دس حبلتی وِ ػاللِ هرب ثرِ هیربًگیي ًوًَرِ ای ̅ ثرشای تخوریي‬
‫هیبًگیي هدوَػِی ‪ k‬ػضَی هتغیشّبیی هؼتمل ثب تَصیغ ًشهبل سا تَخیِ هیوٌذ‪ .‬ایي ساثغِ ثشای هتذ ایذُ آل هغشح ؿرذُ دس ثربال ایدربد ؿرذُ‬
‫اػت‪ ،‬دس ایي ایذُ آل دػتشػی ثیٌْبیت ثِ ًوًَِ ّبی آهَصؿی تبثغ ّذف ثِ فشمّبی لجلی اضبفِ ؿذُ‪ .‬دس ػول‪ ،‬ثب داؿتي هدوَػِی هحرذٍد‬
‫ّبی خذیذ ثبص‬ ‫اص ًوًَِ ّبی آهَصؿی ٍ هتذ ػولی خذٍل ‪ ،5.5‬ایي تَخیِ وبهالً ثشلشاس ًیؼت‪ .‬دس ول‪ ،‬هؼئلِ ایٌدبػت وِ تٌْب ساُ ایدبد‬
‫ّب ًیض اص یىذیگش هؼتمل ًخَاٌّذ ثَد‪ ،‬صیرشا‬ ‫ثب تمؼین اى ثِ هدوَػِ ّبی آهَصؿی ٍ تؼت ثب تشویتّبی هختلف اػت‪ .‬ثٌبثشایي‪،‬‬ ‫تشویت‬
‫اًتخبة ؿذُاًذ ‪$‬ثِ خبی ایٌىِ ثب تَصیغ احتوبل وبهرل‬ ‫وِ آىّب اص هدوَػِ ًوًَِ ّبی آهَصؿیای وِ اؿتشان داسًذ ٍ اص هدوَػِی هحذٍد‬
‫𝒟 اًتخبة ؿًَذ‪.#‬‬

‫ثرِ وربسثشد‪ .‬خرذٍل ‪5.5‬‬ ‫اص ًوًَِ ّبی دس دػتشع اػت‪ ،‬چٌذیي هتذ سا هیتَاى ثشای ثبص تشویرت‬ ‫ٌّگبهی وِ تٌْب هدوَػِی هحذٍد‬
‫دلیمب دس یه‬ ‫سا ثِ ‪ k‬صیش هدوَػِی ّن اًذاصُ تمؼین هیوٌذ‪ .‬دس ایي سٍؽ‪ّ ،‬ش ًوًَِی‬ ‫هتذی ثِ ًبم ‪ k-fold‬سا وِ دس آى هدوَػِی‬
‫هدوَػِی تؼت اػتفبدُ ٍ ‪ k-1‬ثبس ثِ ػٌَاى ًوًَِی آهَصؿی هَسد اػتفبدُ لشاس هیگیشد‪ .‬ساُ حل دیگش هترذاٍل اًتخربة تلربدفی حرذالل ‪30‬‬
‫ثِ ػٌَاى هدوَػِی تؼت ٍ اػتفبدُ اص ثمیِی ًوًَِّب ثشای آهَصؽ اػت‪ ،‬ایي هتذ سا هیتَاى ثِ تؼذاد دلخَاُ تىشاس وشد‪ .‬ایي هترذ‬ ‫ًوًَِ اص‬
‫تلبدفی ایي هضیت سا داسد وِ هیتَاى ثشای وَچه وشدى ثبصُ ّبی اعویٌبى ثِ اًذاصُی دلخَاُ‪ ،‬آىسا ثیٌْبیت ثبس تىشاس وشد‪ .‬دس همبثرل‪ ،‬هترذ ‪k-‬‬
‫‪ fold‬ثب تؼذاد دادُ ّبی هَخَد ثب دٍ ؿشط ایٌىِ ّش ًوًَِ تٌْب یه ثبس ثشای تؼت ثِ وبس ثشدُ هیؿَد ٍ تؼذاد دادُ ّبی دػتِی تؼت حتوبً ثبیذ‬
‫ثیـتش ‪ 30‬ثبؿٌذ هحذٍد هیؿَد‪ .‬ثب ایي ٍخَد دس هتذ تلبدفی دیگش دػتِ ّبی تؼت هؼتمل اص ّوذیگش ٍ ثش اػبع تَصیغ احتوربل 𝒟 ًخَاٌّرذ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثَد‪ .‬دس همبثل‪ ،‬دػتِ ّبی تؼت ایدبد ؿذُ دس سٍؽ ‪ k-fold‬اص یىذیگش هؼتمل خَاٌّذ ثَد صیشا وِ ّش ًوًَِ تٌْب دس یه دػتِی تؼت حضرَس‬
‫داسد‪.‬‬

‫ثِ عَس خالكِ‪ّ ،‬یچ فشایٌذی دس همبیؼِی هتذ ّبی یبدگیشی ثش اػبع دادُ ّبی هحذٍد توبهی ٍیظگیّبیی وِ هب هیخَاّین سا ًذاسد‪ .‬پغ ثبیذ‬
‫دس ًظش داؿت وِ هذلّبی آهبسی دس تؼت الگَسیتنّبی یبدگیشی صهبًی وِ تؼذاد دادُ ّبی هَخَد هحذٍد اػت ثِ ًرذست توربهی ٍیظگریّربی‬
‫هَسد ًظش سا خَاٌّذ داؿت‪ .‬ثب ایي ٍخَد‪ ،‬ایي هذلّب ثبصُ ّبی اعویٌبى سا وِ هیتَاًٌذ ووه ثضسگی دس تفؼیش آصهبیؾّبی همبیؼِی هترذ ّربی‬
‫یبدگیشی اػت سا اسائِ هیوٌٌذ‪.‬‬

‫‪ 1.5‬خالصٍ ي مىببع برای مطبلعٍی بیشتر‬

‫ًىبت اكلی ایي فلل ؿبهل هَاسد صیش هیؿَد‪:‬‬

‫( فشضریِی ‪ h‬ثٌرب ثرش هـربّذاتؾ اص خغربی هـربّذُ ؿرذُ‬ ‫ًظشیِی آهبس هجٌبیی ثشای تخوریي اص خغربی ٍالؼری )‬ ‫‪‬‬
‫( ثش سٍی ًوًَِی ‪ S‬اسائِ هیوٌذ‪ .‬ثشای هثبل‪ ،‬اگش ‪ h‬یه فشضیِی گؼؼتِ همذاس ثبؿذ ٍ تؼذاد دادُ ّبی ًوًَرِی ‪S‬‬ ‫)‬
‫تمشیجبً ثبصُی‬ ‫ثیؾ اص ‪ 30‬ثبؿذ وِ ثِ عَس هؼتمل اص یىذیگش اًتخبة ؿذُاًذ‪ ،‬آًگبُ ثبصُی اعویٌبى ‪ N%‬ثشای خغبی‬
‫صیش خَاّذ ثَد‪:‬‬

‫(‬ ‫)‬
‫√‬

‫اص خذٍل ‪ 5.9‬تؼییي هیؿَد‪.‬‬ ‫دس ایي ساثغِ همذاس‬

‫( ٍ یره تخوریي صًٌرذُ‬ ‫𝒟‬ ‫دس ول‪ ،‬هـىل تخویي ثبصُی اعویٌربى ثرب تؼیریي پربساهتشی ورِ ثبیرذ تخوریي صدُ ؿرَد )‬ ‫‪‬‬
‫ٍاثؼتِ ثرِ هدوَػرِ‬ ‫( ثشای ایي وویت اًدبم هیگیشد‪ .‬چَى تخویي صًٌذُ یه هتغیش تلبدفی اػت ‪$‬‬ ‫)‬
‫ًوًَِی تلبدفی ‪ S‬اػت‪ ،#‬آىسا هیتَاى ثب تبثغ تَصیغ احتوبل حبون ًـبى داد‪ .‬ثبصُ ّبی اعویٌبى سا هیتَاى ثب پیرذا ورشدى ثربصُ ای اص‬
‫ایي تبثغ تَصیغ وِ ‪ N%‬حدن احتوبل سا دس ثش ثگیشد پیذا وشد‪.‬‬
‫یىی اص دالیل خغب دس دلت فشضیِ تخویي صًٌذُ ثبیبع تخویي اػت‪ .‬اگش ‪ Y‬یه تخویي صًٌذُی پبساهتش ‪ p‬ثبؿرذ‪ ،‬ثبیربع تخوریي ‪Y‬‬ ‫‪‬‬
‫خغبی ثیي ‪ ٍ p‬همذاس اهیذ ‪ Y‬خَاّذ ثَد‪ .‬ثشای هثبل اگش ‪ S‬دادُ ّبی آهَصؿی ثشای ػبخت فشضیِی ‪ h‬ثبؿرذ‪ ،‬آًگربُ‬
‫خَاّذ ثَد‪.‬‬ ‫𝒟‬ ‫ًیض تخویي ثبیبع داسی اص خغبی ٍالؼی‬
‫دلیل دٍم خغب ٍاسیبًغ تخویي اػت‪ .‬حتی ثب تخویي صًٌذُی ثذٍى ثبیبع ًیض همذاس هـربّذُ ؿرذُ تخوریي صًٌرذُ دس آصهربیؾّربی‬ ‫‪‬‬
‫ی تَصیغ حبون ثش خَاف تخویي صًٌذُ تؼییي هیوٌذ وِ ایي همذاس اص همرذاس ٍالؼری چمرذس‬ ‫هتفبٍت ثب ّن هتفبٍت اػت‪ٍ .‬اسیبًغ‬
‫هیتَاًذ هتفبٍت ثبؿذ‪ .‬ایي ٍاسیبًغ ثب افضایؾ تؼذاد ًوًَِ ّبی دادُ وبّؾ هییبثذ‪.‬‬
‫همبیؼِی وبسایی دٍ الگَسیتن یبدگیشی ًیض یه هؼئلِی تخویي اػت‪ ،‬وِ آى صهبًی وِ صهبى ٍ دادُ ّبی آهَصؿی ًبهحذٍدًذ‪ ،‬ثؼریبس‬ ‫‪‬‬
‫ػبدُ اػت اهب ٌّگبهی وِ هٌبثغ هحذٍد هیؿًَذ ایي هؼئلِ ووی ػختتش هیگشدد‪ .‬یىی اص ساُّبی حل ایي هؼئلِ وِ دس ایي فلرل‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تَضیح دادُ ؿذُ اػوبل ایي دٍ الگَسیتن ثِ دٍ هدوَػِی هختلف اص دادُّب ٍ همبیؼِی فشضیِ ّبی یربد گشفترِ ؿرذُ ثرب اػرتفبدُ اص‬
‫ثمیِی دادُّبػت‪ ،‬دس اًتْب ًیض هیتَاى اص هیبًگیي ًتبیح ثِ ػٌَاى اختالف دٍ الگَسیتن یبد وشد‪.‬‬
‫دس ثؼیبسی هَاسد دس ًظش گشفتِ ؿذُ دس ایٌدب‪ ،‬اؿتمبق ثبصُی اعویٌبى ثب فشمّب ٍ تخویيّبیی اًدبم گشفتِ اػت‪ .‬ثشای هثبل‪ ،‬ثربصُی‬ ‫‪‬‬
‫ؿبهل تخویي تَصیغ دٍخولِ ای ثب تَصیغ ًشهبل‪ ،‬تخویي ٍاسیربًغ ایري تَصیرغ ٍ فرشم‬ ‫𝒟‬ ‫اعویٌبى هزوَس دس ثبال ثشای‬
‫ایٌىِ تَصیغ احتوبل حبون ثش ًوًَِّب ثبثت اػت اًدبم هیگیشد‪ .‬ثب چٌیي ؿشایغی ثبصُ ّبی اعویٌبى فمظ تخویٌی اص ثربصُی اعویٌربى‬
‫خَاٌّذ ثَد اهب ثب ایي حبل آىّب اعالػبت هفیذی ثشای عشاحی ٍ ثشسػی ًتبیح یبدگیشی هبؿیي ثِ هب هیدٌّذ‪.‬‬
‫تؼبسیف ولیذی آهبسی ایي فلل دس خذٍل ‪ 5.2‬ثِ عَس خالكِ آٍسدُ ؿذُ اػت‪.‬‬

‫دس ثحث یبفتي آهبسی هیبًگیي ٍ ثشسػی دسػتی فشضیِّب دسیبیی اص اكغالحبت ٍخَد داسد‪ .‬دس حبلی وِ ایي فلل فمظ ثِ هفبّین اٍلیِی آهربسی‬
‫هیپشداصد‪ ،‬هیتَاًیذ ًىبت ثیـتش آهبسی سا دس ثؼیبسی اص همبالت ٍ وتت دیگش پیذا وٌیذ‪ (Billingsley et al. 1986) .‬هؼشفی ثش هجبحث آهربس‬
‫هشثَعِ اسائِ هیوٌذ‪ .‬دیگش هتَى آهربسی ؿربهل )‪ (Casella and Berger 1990) ٍ (DeGroot 1986‬هریؿرًَذ‪(Duda and .‬‬
‫)‪ً Hart 1973‬یض ثشسػیای اص ایي هجبحث دس لبلت پیذا وشدى ػذدی الگَّب اسائِ هیوٌٌذ‪.‬‬

‫)‪ (Gordon and Segre 1996) ،(Etzioni and Etzioni 1994) ،(Segre et al. 1991 1996‬ثشسػیّبی هْن آهبسی ثشای‬
‫اسصیبثی الگَسیتنّبی یبدگیشیای وِ وبساییؿبى ثب وبّؾ هیضاى هحبػجبت ػٌدیذُ هیؿًَذ اسائِ هیوٌٌذ‪.‬‬

‫)‪ (German et al. 1992‬هؼیبس هیٌیون وشدى ثبیبع ٍ ٍاسیبًغ سا ثِ عَس ّوضهبى ثشسػری هریوٌرذ‪ .‬تحمیرك ثرش سٍی ثْترشیي ساُ ثرشای‬
‫یبدگیشی ٍ همبیؼِی فشضیبت ثش سٍی تؼذاد هحذٍد دادُ ّوچٌبى اداهِ داسد‪ .‬ثشای هثبل )‪ (Dietterich 1996‬هـىالت اػرتفبدُ اص چٌرذیي‬
‫تؼت ‪ t‬خفت ثب اػتفبدُ اص لؼوتّبی هختلف دادُ ّبی هَخَد ثِ ػٌَاى دػتِ ّبی آهَصؿی ٍ تؼت سا ثشسػی هیوٌذ‪.‬‬

‫تمریىبت‬
‫‪ 5.9‬فشم وٌیذ وِ فشضیِ ای سا ثشسػی هیوٌیذ وِ ‪ r = 300‬خغب ثش سٍی یه ًوًَِی ‪ S‬ثب تؼذاد ‪ً n=1000‬وًَِی تلبدفی داسد‪ .‬اًحشاف‬
‫چمذس اػت؟ چگًَِ هیتَاى ایي اًحشاف هؼیبس سا ثب اًحشاف هؼیبس اًتْبی ثخؾ ‪ 5.3.4‬همبیؼِ وشد؟‬ ‫هؼیبس‬

‫‪ 5.2‬فشضیِی یبد گشفتِ ؿذُی ‪ h‬ثشای هفَْهی هٌغمی سا دس ًظش ثگیشیذ‪ٌّ .‬گبهی وِ ‪ h‬ثش سٍی هدوَػِ ای اص ‪ً 900‬وًَِ ثشسػی هریؿرَد‬
‫ثیبثیذ‪.‬‬ ‫‪ 83‬تبی آىّب سا دسػت دػتِ ثٌذی هیوٌذ‪ .‬اًحشاف هؼیبس ٍ ثبصُی ‪ "95‬اعویٌبى سا ثشای خغبی‬

‫‪ 5.3‬فشم وٌیذ وِ فشضیِی ‪ h‬ثش سٍی ًوًَِ ای هؼتمل ثب ‪ n=65‬داسای خغبی ‪ r=10‬اػت‪ .‬ثبصُی دٍعشفِی ‪ "90‬اعویٌبى ثشای خغربی‬
‫‪#‬؟ ثربصُی اعویٌربى ‪"90‬‬ ‫ٍالؼی چمذس اػت؟ ثبصُی ‪ "95‬اعویٌبى یه عشفِ چمذس اػت ‪$‬یؼٌی ثرب احتوربل ‪ "95‬داسیرن‬
‫دسكذ یه عشفِ چمذس اػت؟‬

‫‪ 5.4‬ساثغِ ای ولی ثشای حذ ثبال ٍ حذ پبییي ثبصُی اعویٌبى یه عشفِی ‪ N‬دسكذ ثشای خغبّبی هختلف ثیي دٍ فشضیِ ثب دادُ ّربی هختلرف‬
‫اسائِ دّیذ‪$ .‬ساٌّوبیی‪ :‬ساثغِی ثخؾ ‪ 5.5‬سا تغییش دّیذ‪#‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 5.5‬تَضیح دّیذ وِ چشا تخویي ثبصُی اعویٌبى ساثغِی ‪ 5.97‬ثِ تخویي وویت ساثغِی ‪ 5.96‬اػوبل هریؿرَد ٍ چرشا ًوریترَاى آىسا ثرِ‬
‫‪ 5.94‬اػوبل وشد؟‬

‫فرَىگ لغبت تخصصی فصل (فبرسی بٍ اوگلیسی)‬

‫‪paired tests‬‬ ‫تؼتّبی خفت‬
‫‪evaluating hypotheses‬‬ ‫اسصیبثی فشضیِّب‬
‫‪confidence interval‬‬ ‫ثبصُی اعویٌبى‬
‫‪estimator bias‬‬ ‫ثبیبع تخویي صًٌذُ‬
‫‪identically distributed‬‬ ‫ثِ عَس یىؼبى تَصیغ ؿذُاًذ‬
‫‪unbiased estimator‬‬ ‫تخویي صًٌذُی ثذٍى ثبیبع‬
‫‪sampling theory‬‬ ‫تئَسی ًوًَِ ثشداسی‬
‫‪sample error‬‬ ‫خغبی ًوًَِ ای‬
‫‪true error‬‬ ‫خغبی ٍالؼی‬
‫‪well suited‬‬ ‫خَؽ تؼشیف‬
‫‪number of degrees of freedom‬‬ ‫دسخِی آصادی‬
‫‪central limit‬‬ ‫لضیِی حذ هشوضی‬
‫‪two sided bound‬‬ ‫هشص دٍ عشفِ‬
‫‪one side bound‬‬ ‫هشص یه عشفِ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل ششن‪ :‬یادگیری بیزی‬

‫اػتذالل ثیض سٍؿی احتوبلی ثشای اػتٌتبج اسائِ هیًٌذ‪ .‬ایي سٍؽ ثش اػبع ایي كشم اػت ًِ ًویتّبی هَسد ًظش اص تَصیغّبی احتوبل پیشٍی‬
‫هیًٌٌذ ٍ تلوین گیشی ثْیٌِ سا هیتَاى ثب اػتذالل ثش ایي تَصیغّبی احتوبل ٍ دادُ ّبی هـبّذُ ؿذُ اًدبم داد‪ .‬اّویت ایي سٍؽ دس یبدگیشی‬
‫هبؿیي ایي اػت ًِ سٍؿی ًوّی ثشای اسصیبثی هذاسى كشهیِّب اسائِ هیًٌذ‪ .‬اػتذالل ثیضی اػبع الگَسیتنّبی ی بدگیشیای ً ِ ث ب اػ تلبدُ اص‬
‫احتوبالت ًبس هیًٌٌذ اػت‪ّ .‬وچٌیي اػتذالل ثیض چبسچَثی‪ 1‬ثشای ثشسػی ػولیبت دیگش الگَسیتنّبیی ًِ اص احتوبالت اػتلبدُ ًویًٌٌ ذ اید بد‬
‫هیًٌذ‪.‬‬

‫‪ 1.6‬هعرفی‬
‫هتذ ّبی یبدگیشی ثیضی ثِ دٍ دلیل ثِ هٌبلؼِی هب دس هَسد یبدگیشی هبؿیي هشثَى هیؿَد‪ .‬اٍل ایٌٌِ الگ َسیتنّ بی ی بدگیشی ثی ضی احتو بل‬
‫كشیح ّش كشهیِ‪ ،‬هثل دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض‪ ،2‬سا هحبػجِ هیًٌٌذ‪ ،‬ایي ًَع سٍؽّب اص پش ًبسثشدتشیي سٍؽّب دس حل ثؼوی اص هؼ بئل‬
‫یبدگیشی ّؼتٌذ‪ .‬ثشای هثبل‪ (Michie 1994) ،‬تحویوی دس هَسد تلبٍتّبی دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ٍ دیگش الگَسیتنّبی یبدگیشی‪ ،‬اص‬
‫خولِ یبدگیشی دسختی ٍ ؿجٌِ ّبی ػلجی‪ ،‬اسائِ هیًٌذ‪ .‬ایي تحویوبت ًـبى هیدّذ ًِ ًبسایی دػ تِ ثٌ ذی ًٌٌ ذُی ػ بدُی ثی ض دس ثؼو ی‬
‫ٍیظگیّب هؼیقتش اص دیگش الگَسیتنّب ٍ دس ثؼوی ٍیظگیّب ثْتش اػت‪ .‬دس ایي كلل دػتِ ثٌذی ًٌٌذُی ػ بدُی ثی ض سا ث ِ ّو شاُ چٌ ذ هث بل‬
‫ثشسػی هیًٌین‪ .‬دس ًل‪ً ،‬بسثشد ایي الگَسیتن سا سٍی هؼئلِی دػتِ ثٌذی هتًَی هثل هوبالت خجشی الٌتشًٍیي ثشسػی ه یًٌ ین‪ .‬ث شای چٌ یي‬
‫ًبسّبی یبدگیشیای دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض یٌی اص ثْتشیي الگَسیتن ؿٌبختِ ؿذُ اػت‪.‬‬

‫دلیل دٍم اّویت هتذ ّبی ثیض دس هٌبلؼِی هب دس یبدگیشی هبؿیي صهیٌِی هؼبػذی اػت ًِ ایي هتذّب ثشای دسى الگَسیتنّبی یبدگیشیای ًِ‬
‫هؼتویوبً ثب احتوبالت ًبس ًویًٌٌذ ایدبد هیًٌذ‪ .‬ثشای هثبل‪ ،‬دس ایي كلل‪ ،‬هب الگَسیتنّبیی چَى ‪،Candidate-Elimination ٍ Find-S‬‬

‫‪1‬‬
‫‪framework‬‬
‫‪2‬‬
‫‪naive Bayes classifier‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫سا ًِ دس كلل ‪ 2‬آهذُ ثَد‪ ،‬ثشای هـخق ًشدى ؿشًٍی ًِ خشٍخی‪ ،‬هحتولتشیي كشهیِی ػبصگبس ث ب ًوًَ ِ ّ بی آهَصؿ ی ثبؿ ذ سا ثشسػ ی‬
‫خَاّین ًشد‪ّ .‬وچٌیي ثب ثشسػیای ثیضی تَخیْی ثشای یٌی اص اًتخبةّبی ًلیذی الگَسیتنّبی ی بدگیشی ؿ جٌِ ّ بی ػل جی ااًتخ بة ت بثغ‬
‫خٌبی هدوَع هشثؼبت خٌب ثشای خؼتدَی كوبی ؿجٌِ ّبی ػلجی هوٌي) اسائِ خَاّین ًشد‪ّ .‬وچٌیي دس ای ي ثخ ؾ اؿ توبم ت بثغ خٌ بی‬
‫خبیگضیٌی سا هحبػجِ هیًٌین‪ ،cross-entropy ،‬ایي هؼیبس صهبًی ًِ تبثغ ّذف احتوبالت سا پیؾ ثیٌی هیًٌ ذ اص هؼی بس هدو َع خٌبّ بی‬
‫هشثؼی ًبساهذ تش اػت‪ .‬اص ًظشی ثیضی ثبیبع اػتوشایی الگَسیتنّبی دسختی ًِ ثِ دسختّبی ًَچيتش ػالهِ داسًذ ٍ هبًَى ًَت بُت شیي ً َل‬
‫تَهیح سا ثشسػی خَاّین ًشد‪ .‬آؿٌبیی پبیِ ای ثب سٍؽّبی ثیضی ثشای دسى ثؼیبسی اص الگَسیتنّ بی ی بدگیشی هبؿ یي اّوی ت ثؼ ضایی داسد‪.‬‬
‫ٍیظگیّبی هتذ ّبی یبدگیشی ثیضی ؿبهل هَاسد صیش اػت‪:‬‬

‫ّش ًوًَِی آهَصؿی هیتَاًذ احتوبل تخویٌی ایٌٌِ كشهیِ دسػت اػت سا ًن یب صیبد ًٌذ‪ .‬ایي حویوت ثبػث هیؿَد ً ِ سٍؽّ بی‬ ‫‪‬‬
‫ثیضی ًؼجت ثِ الگَسیتنّبیی ًِ ًبهالً كشهیِ سا ثب ًوًَِ ّبی ؿیش ػبصگبس سد هیًٌٌذ اًؼٌبفتش پزیش تش ثبؿٌذ‪.‬‬
‫هیتَاى اص داًؾ هجلی ثِ ّوشاُ دادُ ّبی هـبّذُ ؿذُ ثشای تؼییي احتوبل ًْبیی دسػتی كشهیِّب اػتلبدُ ًشد‪ .‬دس ی بدگیشی ثی ضی‪،‬‬ ‫‪‬‬
‫داًؾ هجلی ثب ا‪ )1‬احتوبل اٍلیِی ّش كشهیِ ٍ ا‪ )2‬تَصیغ احتوبل سٍی دادُ ّبی تؼییي ؿذُ ثشای ّش كشهیِی هوٌي تؼییي هیؿَد‪.‬‬
‫هتذ ّبی ثیضی هیتَاًٌذ ثشای كشهیِّب احتوبالتی سا پیؾ ثیٌی ًٌٌذ اثشای هثبل‪ ،‬كشهیِی "ایي ثیوبس راتالشیِ ثب احتوبل ‪ً %93‬بهالً‬ ‫‪‬‬
‫ثْجَد خَاّذ یبكت)‪.‬‬
‫ًوًَِ ّبی خذیذ سا هیتَاى ثب تشًیت پیؾ ثیٌیّبی چٌذیي كشهیِ‪ ،‬اّش ًذام ثب ٍصى احتوبلـبى) دػتِ ثٌذی ًشد‪.‬‬ ‫‪‬‬
‫حتی ٌّگبهی ًِ اثجبت هیؿَد ًِ هتذ ّبی ثیضی هحبػجبتی ؿیش هبثل پیؾ ثیٌی اًدبم هیدٌّذ‪ ،‬ثب ایي حبل هؼیبس اػتبًذاسدی ث شای‬ ‫‪‬‬
‫دیگش هتذ ّبی ػولی یبدگیشی هٌشح هیًٌٌذ‪.‬‬
‫یٌی اص هـٌالت ػولی ًبسثشد هتذ ّبی ثیضی ًیبص آىّب ثِ داؿتي داًؾ اٍلیِ اص ثؼیبسی اص احتوبالت اػت‪ٌّ .‬گبهی ًِ ایي اًالػ بت ث ِ ً َس‬
‫دهین دس دػتشع ًیؼت‪ ،‬گبّی آىّب سا ثب اػتلبدُ اص داًؾ هجلی‪ ،‬دادُ ّبی هَخَد هجلی‪ ٍ ،‬كشمّبیی دسث بسُی ك شم تَصی غ تخو یي ه یصً ین‪.‬‬
‫دٍهیي هـٌل ػولی ًبسثشد ایي هتذّب ّضیٌِی هحبػجبتی هبثل تَخِ آىّب ثشای تؼییي كشهیِی ثْیٌِی ثیض دس حبلت ًلی اػت اًِ ساثٌِ خٌی‬
‫ثب تؼذاد كشهیِ ّبی هوٌي داسد)‪ .‬دس حبلتّبی خبف خبكی ایي ّضیٌِی هحبػجبتی ثِ ًَس هبثل تَخْی ًبّؾ هییبثذ‪.‬‬

‫اداهِی ایي كلل ثِ ؿٌل صیش ػبختبس ثٌذی ؿذُ اػت‪ .‬ثخؾ ‪ 6.2‬هویِی ثیض سا هؼشكی ًشدُ ٍ هحتولتشیي‪ ٍ 1‬كشهیِ ای ث ب ح ذاًثش احتو بل‬
‫ثبًَیِ‪ 2‬سا تؼشیق خَاّذ ًشد‪ .‬چْبس صیش ثخؾ ایي ثخؾ ایي چبسچَة‪ 3‬سا ثشای ثشسػی چٌذیي هـٌل ٍ الگ َسیتن ی بدگیشی ً ِ دس كل لّ بی‬
‫گزؿتِ هٌشح ؿذ ثِ ًبس هیثشًذ‪ .‬ثشای هثبل‪ً ،‬ـبى هیدّین ًِ چٌذیي الگَسیتن هٌشح ؿذُ ثب چِ كشمّبیی هحتولت شیي كشه یِ سا خشٍخ ی‬
‫هیدٌّذ‪ .‬ثخؾّبی ثؼذی تؼذادی اص الگَسیتنّبی یبدگیشی ًِ هٌحلش ثب احتوبالت ًبس هیًٌٌذ سا هؼشكی خَاٌّذ ًشد‪ .‬ایي الگ َسیتنّ ب ؿ بهل‬
‫دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض‪ ،‬الگَسیتن گیجض ٍ دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض هیؿَد‪ .‬ثبالخشُ دسثبسُی ؿجٌِی ثبٍس ثیض‪ 4‬ثحث خَاّین ً شد‬
‫ٍ سٍؿی خذیذ ثشای یبدگیشی ثش اػبع اػتذالل احتوبلی ٍ الگَسیتن ‪ ًِ EM‬الگَسیتوی پشًبسثشد دس یبدگیشی دس حوَس هتـی ش ّ بی ؿی ش هبث ل‬
‫هـبّذُ اػت سا ثشسػی خَاّین ًشد‪.‬‬

‫‪1‬‬
‫‪maximum likelihood‬‬
‫‪2‬‬
‫‪maximum a posteriori probability hypotheses‬‬
‫‪3‬‬
‫‪framework‬‬
‫‪4‬‬
‫‪Bayesian belief network‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.6‬قضیِی بیز‬
‫دس یبدگیشی هبؿیي‪ ،‬گبّی ػؼی داسین ًِ اص هیبى كوبی كشهیِ ّبی ‪ H‬ثْتشیي كشهیِی ػبصگبس ثب ًوًَِ ّبی آهَصؿی ‪ D‬سا پیذا ًٌین‪ .‬چٌ ذیي‬
‫ساُ ثشای تؼشیق "ثْتشیي" دس ایي خولِ ٍخَد داسد‪ ،‬یٌی اص ایي تؼبسیق "هحتولتشیي" اػت‪ ،‬ثب دس دػت داؿتي دادُ ّبی ‪ D‬ثذٍى ًیبص ثِ ّ ی‬
‫اًالػبت اٍلیِی دیگش ًویتَاى هحتولتشیي كشهیِ سا اًتخبة ًشد‪ .‬هویِی ثیض هتذی هؼتوین ثشای هحبػجِی احتوبالت كشهیِ ّبی هَخَد دس‬
‫‪ H‬اسائِ هیًٌذ‪ .‬ثِ ػجبست دیگش‪ ،‬هویِی ثیض سٍؿی ثشای هحبػجِی احتوبل یي كشهیِ ثش اػبع احتوبل هجلیاؽ‪ ،‬احتوبل هـبّذُی دادُ ّ بی‬
‫ػبصگبس ثب كشم دسػتی ایي كشهیِ ٍ احتوبل خَد دادُ ّبی هـبّذُ ؿذُ اسائِ هیًٌذ‪.‬‬

‫ثشای تؼشیق دهین هویِی ثیض‪ ،‬اثتذا ثیبییذ ًـبًِ گزاسیّب سا هؼشك ی ًٌ ین‪ .‬ث شای ًـ بى دادى احتو بل اٍلی ِی كشه یِی ‪ ،h‬احتو بل هج ل اص‬
‫هـبّذُی دادُ ّبی آهَصؿی‪ ،‬اص )‪ P(h‬اػتلبدُ هیًٌین‪ .‬ثِ )‪ P(h‬احتوبل اٍلیِی‪ً h 1‬یض هیگَیٌذ‪ ،‬ایي احتوبل اص اًالػبت هجلیای ًِ دس هَسد‬
‫احتوبل دسػتی كشهیِی ‪ h‬داسین تأثیش هیپزیشد‪ .‬ثِ ًَس هـبثِ اص )‪ P(D‬ثشای ًوبیؾ احتوبل اٍلیِی هـبّذُی ًوًَِ ّبی آهَصؿی ‪ D‬اػتلبدُ‬
‫هیًٌین اهثالً احتوبل هـبّذُی ‪ D‬ثذٍى داؿتي ّی اًالػبت هجلی دس هَسد ایٌٌِ ثب چِ كشهیِّبیی ػبصگبس اػت)‪ .‬ثشای ًـ بى دادى احتو بل‬
‫هـبّذُی ‪ D‬دس خبیی ًِ كشهیِی ‪ h‬دسػت اػت اص )‪ P(D|h‬اػتلبدُ هیًٌین‪ .‬دس حبلت ًل ی‪ ،‬اص )‪ p(x|y‬ث شای ًـ بى دادى احتو بل ‪ x‬ث ب‬
‫كشم ٍهَع ‪ y‬اػتلبدُ هیًٌین‪ .‬دس هؼبئل یبدگیشی هبؿیي‪ ،‬ػالهِی هب ثِ احتوبل )‪ P(h|D‬اػت ًِ دس آى ‪ h‬ی ي كشه یِ ٍ ‪ً D‬وًَ ِ ّ بی‬
‫آهَصؿی هـبّذُ ؿذُ ّؼتٌذ‪ .‬ثِ )‪ P(h|D‬احتوبل ثبًَیِی‪ً h 2‬یض هیگَیٌذ‪ ،‬صیشا ًِ اًویٌبى هب ثِ كشهیِی ‪ h‬ثؼذ اص هـ بّذُی ًوًَ ِ ّ بی‬
‫آهَصؿی ‪ D‬سا ًـبى هیدّذ‪ .‬تَخِ داؿتِ ثبؿیذ ًِ احتوبل ثبًَیِ )‪ P(h|D‬ثش خالف احتوبل اٍلیِ )‪ ًِ P(h‬اص ًوًَ ِ ّ بی آهَصؿ ی هؼ تول‬
‫اػت‪ ،‬اص ًوًَِ ّبی آهَصؿی ‪ D‬تأثیش هیپزیشد‪.‬‬

‫هویِ ثیض‪ ،‬اػبع هتذ ّبی یبدگیشی ثیض اػت صیشا ًِ ساّی ثشای هحبػجِی احتوبل ثبًَیِ )‪ P(h|D‬اص )‪.P(D|h) ٍ P(D) ،P(h‬‬

‫قضی‌ٍی‌بیز‪‌ :‬‬

‫) ( ) | (‬
‫) | (‬ ‫(‬ ‫)‬
‫) (‬

‫ّوبى ًَس ًِ اًتظبس هیسٍد‪ ،‬ثش اػبع هویِی ثیض )‪ P(h|D‬ث ب اك ضایؾ )‪ P(D|h) ٍ P(h‬اك ضایؾ ه ییبث ذ‪ّ .‬وچٌ یي هٌٌو ی اػ ت ً ِ‬
‫)‪ ،P(h|D‬ثب اكضایؾ )‪ً P(D‬بّؾ ثیبثذ‪ ،‬صیشا ًِ ّش چِ ًِ احتوبل هـبّذُی ‪ D‬ثِ ًَس هؼتول اص ‪ h‬ثبال تش سٍد دیگش ‪ D‬هذسًی ثشای دسػتی‬
‫‪ً h‬خَاّذ ثَد‪.‬‬

‫دس ثؼیبسی اص هؼبئل یبدگیشی‪ ،‬یبدگیش هدوَػِی كشهیِّبیی هثل ‪ H‬سا دس ًظش هیگی شد ٍ دس ث یي آىّ ب ث ِ دًج بل هحتو لت شیي كشه یِی‬
‫ثب تَخِ ثِ ًوًَِ ّبی آهَصؿی ‪ D‬هیگشدد ایب حذاهل یٌی اص هحتولتشیي كشهیِّب)‪ّ .‬ش ًذام اص ایي هحتولتشیي‪ ،‬كشهیِ ثب ح ذاًثش‬

‫‪1‬‬
‫‪prior probability‬‬
‫‪2‬‬
‫‪posterior probability‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫احتوبل ثبًَیِ‪ 1‬یب )‪ً (MAP‬بهیذُ هیؿَد‪ .‬كشهیِ ّبی ‪ MAP‬سا هیتَاى ثب اػتلبدُ اص هویِی ثیض ثشای هحبػجِی احتوبل ثبًَیِی ّش كشه یِ‬
‫یي كشهیِی ‪ MAP‬اػت ًِ‬ ‫هـخق ًشد‪ .‬ثِ كَست دهینتش‪ ،‬صهبًی هیگَیین ًِ كشهیِی‬

‫) | (‬

‫) ( ) | (‬
‫) (‬

‫) ( ) | (‬ ‫(‬ ‫)‬

‫تَخِ داؿتِ ثبؿیذ ًِ هشحلِ آخش ػجبسات ثبال )‪ P(D‬چَى ثبثتی اػت ٍ ‪ h‬ثش آى تأثیشی ًذاسد حزف هیؿَد‪.‬‬

‫) ( ‪.‬‬ ‫دس ‪ H‬داسی ن ً ِ ) (‬ ‫ٍ‬ ‫دس ثؼوی هَاسد‪ ،‬كشم هیًٌین ًِ ّش كشهیِ دس ‪ H‬احتوبل اٍلیِی هؼبٍیای داسد اثشای ّش‬
‫دس ایي ؿشایي هیتَاى ساثٌِی ‪ 6.2‬سا ثیـتش ػبدُ ًشد ٍ ًبكی اػت ًِ كوي ػجبست )‪ P(D|h‬سا ثشای پیذا ًشدى هحتولتشیي كشه یِ دس ًظ ش‬
‫ثگیشین‪ P(D|h) .‬گبّی هحتول ثَدى دادُ ّبی ‪ D‬ثشای ‪ً h‬یض ًبهیذُ هیؿَد ٍ ّش كشهیِ ای ًِ )‪ P(D|h‬سا هبًضیون ًٌذ )‪، 2 (ML‬‬
‫ًبهیذُ هیؿَد‪.‬‬

‫) | (‬ ‫(‬ ‫)‬

‫ثشای هـخق ؿذى ساثٌِ ثب هؼبئل یبدگیشی هبؿیي‪ ،‬اثتذا هویِی ثیض سا ثب تَخِ ثِ ًوًَِ ّبی ‪ ٍ D‬كوبی كشهیِ ای ‪ H‬هؼشكی ًشدین‪ .‬دس ٍاهغ‬
‫هویِی ثیض ًلیتش اص آًچِ دس ثبال گلتِ ؿذ اػت‪ .‬اص هویِی ثیض هیتَاى ثشای ّش صیش هدوَػِی ‪ً ًِ H‬بػبصگبسًذ ااؿتشاى ًذاسًذ) اػتلبدُ ًشد‬
‫اهثل "آػوبى آثی اػت" ٍ "آػوبى آثی ًیؼت")‪ .‬دس ایي كلل‪ ،‬دس اًثش هَاسد كشم خَاّین ًشد ًِ ‪ H‬كو بی كشه یِ ای ً ِ ت بثغ ّ ذف سا‬
‫ؿبهل هیؿَد اػت ٍ ‪ً D‬وًَِ ّبی آهَصؿی ّؼ تٌذ‪ .‬دس هَاه غ دیگ ش ك شم ه یًٌ ین ً ِ ‪ H‬هدوَػ ِی دیگ ش ًبػ بصگبسی ث ب یٌ ذیگش اص‬
‫كشهیِّبػت ٍ ‪ً D‬یض هدوَػِی دیگشی اص دادُّبػت‪.‬‬

‫‪ 6.2.6‬یک هثال‬
‫ثشای تلَس هبًَى ثیض‪ ،‬كشم ًٌیذ ًِ هؼئلِ ای ثشای تـخیق ثیوبسی داسین‪ ،‬دٍ كشهیِی هوٌي ثشای ثیوبسی ٍخَد داسد‪ :‬ا‪ )1‬ثیوبس ًَع خبك ی‬
‫اهثجت) ٍ‬ ‫اص ػشًبى داسد ٍ ا‪ )2‬ثیوبس آى ًَع ػشًبى سا ًذاسد‪ .‬دادُ ّبی هَخَد یي تؼت آصهبیـگبّی اػت ًِ دٍ خشٍخی هوٌي داسد‪:‬‬
‫اهٌلی)‪ .‬داًؾ هجلی داسین دس ًل خوؼیت حبهش دس آصهبیؾ كوي ‪ .008‬ایي ثیوبسی سا داسًذ‪ .‬ػالٍُ ثش آى ًتیدِی آصهبیؾ ّویـِ هٌؼی ًیؼت‬
‫ٍ احتوبل خٌب ٍخَد داسد‪ .‬تؼت آصهبیـگبّی دس ‪ %98‬هَاسدی ًِ ثیوبس ثیوبسی سا داسد ًتیدِی هثجت دسػت هیدّذ ٍ دس ‪ %97‬هَاسدی ًِ ثیو بس‬
‫ثیوبسی سا ًذاسد ًتیدِی هٌلی دسػت هیدّذ‪ .‬دس ثویِی هَاسد آصهبیؾ ًتیدِی اؿتجبُ هیدّذ‪ .‬آًچِ دس ثبال گلتِ ؿذ سا خالكٍِاس هیت َاى ث ِ‬
‫كَست صیش ًـبى داد‪:‬‬

‫(‬ ‫)‬ ‫(‬ ‫)‬

‫‪1‬‬
‫‪Maximum A Posteriori‬‬
‫‪2‬‬
‫‪maximum likelihood‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫(‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫كشم ًٌیذ ًِ ثیوبس خذیذی پزیشؽ هیؿَد ٍ ًتیدِی آصهبیـؾ هثجت اػت‪ .‬حبل ثب چِ احتوبلی هیتَاى گلت ًِ ثیوبس ػشًبى داسد؟ كشه یِ‬
‫ثب حذاًثش احتوبل سا هیتَاى اص ساثٌِی ‪ 6.2‬پیذا ًشد‪:‬‬

‫(‬ ‫|‬ ‫( )‬ ‫)‬ ‫(‬ ‫)‬

‫(‬ ‫|‬ ‫( )‬ ‫)‬ ‫(‬ ‫)‬

‫‪ .‬احتو بل ثبًَی ِی كشه یِّ ب سا ه یت َاى ث ب سػ بًذى هدو َع دٍ احتو بل ث ِ ‪ 1‬پی ذا ً شد‬ ‫پ غ‪ ،‬داسی ن‬
‫( )‪ .‬ایي هشحلِ ثشای ایي دسػت اػت ًِ هویِی ثی ض احتو بلّ بی ثبًَی ِ‬ ‫|‬ ‫( )‬ ‫)‬ ‫ا‬
‫( هؼتویوبً تَػي هؼئلِ دادُ ًـذُ اػ ت‪،‬‬ ‫هدوَػِی توبهی دادُ سا ثذٍى اؿتشاى هیپَؿبًٌذ ااكشاص ‌‬
‫هیًٌٌذ) ثیبى هیًٌذ‪ .‬ثب ٍخَد ایٌٌِ )‬
‫( ی ي اػ ت اّ ش ثیو بس ی ب‬ ‫|‬ ‫( ٍ)‬ ‫|‬ ‫اهب هیتَاى آىسا هحبػجِ ًشد صیشا ًِ هیداًین هدوَع دٍ احتوبل )‬
‫ػشًبى داسد یب ػشًبى ًذاسد)‪ .‬تَخِ داؿتِ ثبؿیذ ًِ احتوبل ثبًَیِی ػشًبى ًؼجت ثِ احتوبل اٍلیِی آى ثِ ًَس هبثل تَخْی صیبدتش اػت‪ ،‬اهب ثب‬
‫ایي حبل هحتولتشیي كشهیِ ایي اػت ًِ ثیوبس ػشًبى ًذاسد‪.‬‬

‫ّوبى ًَس ًِ دس هثبل ثبال ًـبى دادُ ؿذ‪ً ،‬تیدِی تأثیش ثیض ثِ ؿذت ثِ احتوبل اٍلیِ ٍاثؼتِ اػت‪ ،‬ثشای ایٌٌِ ثتَاى هویِ سا ثِ ًَس هؼتوین ثِ‬
‫ًبس ثشد ثبیذ احتوبالت اٍلیِ هؼلَم ثبؿٌذ‪ .‬تَخِ داؿتِ ثبؿیذ ًِ دس ایي هثبل كشهیِّب ًبهالً پزیشكتِ ؿذُ یب سد ؿ ذُ ًیؼ تٌذ ثلٌ ِ ّ ش ً ذام ث ب‬
‫اكضایؾ دادُ ّبی هـبّذُ ؿذُ احتوبلی پیذا هیًٌٌذ‪ .‬كشهَل اكلی هحبػجِی احتوبالت دس خذٍل ‪ 6.1‬خالكِ ؿذُ اػت‪.‬‬

‫‪ 1.6‬قضیِی بیز ٍ یادگیری هفَْم‬

‫استجبى ثیي هویِی ثیض ٍ هؼبئل یبدگیشی هلَْم چیؼت؟ اص آًدبیی ًِ هویِی ثیض ساّی اكَلی ثشای هحبػجِی احتوبالت ثبًَیِی ّ ش ی ي اص‬
‫كشهیِّب ثؼذ اص هـبّذُی دادُ ّبی آهَصؿی اسائِ هیًٌذ‪ ،‬هیتَاًین اص آى ثشای پبیِی یي الگَسیتن یبدگیشی ػبدُ اػتلبدُ ًٌین‪ ،‬الگَسیتوی ًِ‬
‫احتوبل ّش یي اص كشهیِّب سا هحبػجِ ًشدُ ٍ هحتولتشیي كشهیِّب سا خشٍخی هیدّذ‪ .‬دس ایي ثخؾ چٌیي الگَسیتنّبی ثذٍى ؿؼَس‪ 1‬یبدگیشی‬
‫هلَْم ثیض سا ثشسػی ٍ ثب الگَسیتنّبی یبدگیشی هلَْم هوبیؼِ هیًٌین‪ّ .‬وبى ًَس ًِ ثؼذاً ًیض خَاّین دیذ‪ ،‬یٌی اص ًتبیح خبلت ایي هوبیؼِ ای ي‬
‫اػت ًِ تحت ؿشایي خبكی چٌذیي الگَسیتوی ًِ دس كللّبی گزؿتِ ثشسػی ؿذًذ ّوبى كشهیِ ای ًِ یبدگیشی ث ذٍى ؿ ؼَس ثی ض خشٍخ ی‬
‫هیدّذ سا خشٍخی هیدٌّذ‪ ،‬ثب ایي تلبٍت ًِ آىّب احتوبالت كشهیِّب سا هـخق ًویًٌٌذ ٍ كوي هحتولتشیي سا هـخق هیًٌٌذ‪.‬‬

‫هبًَى هشة‪ :2‬احتوبل )‪ ًِ P(A⋀B‬احتوبل ػٌق دٍ اتلبم ‪ B ٍ A‬اػت سا هحبػجِ ًي‬ ‫‪‬‬
‫)‪P(A⋀B)=P(A|B)P(B)=P(B|A)P(A‬‬

‫هبًَى خوغ‪ :1‬احتوبل كلل دٍ اتلبم ‪ B ٍ A‬سا هحبػجِ ًي‬ ‫‪‬‬

‫‪1‬‬
‫‪brute-force‬‬
‫‪2‬‬
‫‪Product rule‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪P(A⋁B)=P(A)+P(B)-P(A⋀B‬‬

‫هویِ ثیض‪ :2‬احتوبل ثبًَیِی )‪ P(h|D‬سا هحبػجِ ًي‬ ‫‪‬‬

‫) ( ) | (‬
‫) | (‬
‫) (‬

‫∑ خ َاّین‬ ‫) (‬ ‫دٍ ث ِ دٍ ًبػ بصگبس ثبؿ ٌذ ٍ‬ ‫هویِی هدوَع احتوبالت‪ :3‬اگش اتلبمّ بی‬ ‫‪‬‬
‫داؿت‬

‫) (‬ ‫) ( ) | ( ∑‬

‫خذٍل ‪ 6.1‬خالكِی كشهَلّبی پبیِ ای احتوبل‪.‬‬

‫‪ 6.3.6‬یادگیری هفهَم بذٍى شعَر بیس‬

‫هؼئلِی یبدگیشی هلَْهی سا ًِ دس اثتذای كلل ‪ 2‬هؼشكی ؿذ سا دس ًظش ثگیشیذ‪ .‬دس ًل‪ ،‬كشم ًٌیذ ًِ یبدگیش كوبی كشه یِ ای هح ذٍد ‪ H‬سا‬
‫ًِ ؿبهل كشهیِّبیی ًِ ثش كوبی ًوًَِ ای ‪ X‬تؼشیق ؿذُاًذ اػت دس ًظش هیگیشد ٍ تبثغ ّذف ًیض هلَْهی ثِ كشم }‪ c:X→{0,1‬اػت‪ .‬هث ل‬
‫* دادُ ه یؿ َد‪ ،‬دس ای ي‬ ‫هؼوَل‪ ،‬كشم هیًٌین ًِ ثِ یبدگیش دػتِ ای اص ًوًَِ ّ بی آهَصؿ ی هث ل ‪+‬‬
‫(‪ .‬ثشای ػبدُ ػبصی ثحث دس ایي ثخ ؾ‪ ،‬ك شم‬ ‫اػت )) (‬ ‫ًیض هوذاس ّذف ثشای آى‬ ‫ػوَی اص ‪ٍ X‬‬ ‫ًوًَِ ّبی آهَصؿی‬
‫ثبثت اػت پ غ ه یت َاى ًوًَ ِ ّ بی آهَصؿ ی ‪ D‬سا ث ِ ك شم ػ بدُ ث ِ ك َست‬ ‫هیًٌین ًِ تشتیت ًوًَِ ّبی ًوًَِّب‬
‫ًَؿت‪ .‬هیتَاى ًـبى داد ًِ ایي ػبدُ ًَیؼی تأثیشی ثش ًتبیح ثذػت آهذُ اص ایي هؼوت ًذاسد اتوشیي ‪.)6.4‬‬

‫هیتَاى ثب اػتلبدُ اص هویِی ثیض الگَسیتن یبدگیشی هلَْم هؼتویوی ًشاحی ًشد ًِ كشهیِ ثب حذاًثش احتوبل ثبًَیِ سا خشٍخی دّذ‪:‬‬

‫الگًریتم‌یادگیری‌بدين‌شعًر‌‪‌ 4‌MAP‬‬

‫‪ .1‬ثشای ّش كشهیِ ‪ h‬دس ‪ H‬احتوبل ثبًَیِ سا هحبػجِ ًي‪،‬‬

‫) ( ) | (‬
‫) | (‬
‫) (‬

‫سا ًِ ثیـتشیي احتوبل ثبًَیِ سا داسد خشٍخی ثذُ‬ ‫‪ .2‬كشهیِ‬

‫) | (‬

‫‪1‬‬
‫‪Sum rule‬‬
‫‪2‬‬
‫‪Bayes theorem‬‬
‫‪3‬‬
‫‪Theorem of total probabily‬‬
‫‪4‬‬
‫‪‌Brute-Force MAP Learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ایي الگَسیتن هوٌي اػت هحبػجبت هبثل تَخْی ًیبص داؿتِ ثبؿذ‪ ،‬صیشا ًِ هبًَى ثیض سا ثشای توبهی كشهیِ ّبی ‪ H‬ثشای هحبػجِی )‪ P(h|D‬ثِ‬
‫ًبس هیثشد‪ .‬چٌیي حدن هحبػجبتیای ثشای كوبی كشهیِّبیی ثب اًذاصُی ثبال ؿیش ػولی اػت‪ ،‬ثب ایي ٍخَد الگَسیتن ٌَّص هَسد تَخِ اػ ت صی شا‬
‫ًِ هؼیبسی اسائِ هیًٌذ دس حبلی ًِ دیگش الگَسیتنّبی یبدگیشی هلَْم ّی هؼیبسی اسائِ ًویًٌٌذ‪.‬‬

‫ثشای آهبدُ ػبصی یي هؼئلِ ثشای حل ثب الگَسیتن یبدگیشی ثذٍى ؿ ؼَس ‪ MAP‬الصم اػ ت ً ِ هو بدیش )‪ P(D|h) ٍ P(h‬سا هـ خق ًٌ ین‬
‫اّوبى ًَس ًِ ثؼذاً ّن خَاّین دیذ ثب هـخق ًشدى هوبدیش رًش ؿذُ هوذاس )‪ً P(D‬یض هـخق هیؿَد)‪ .‬اًالػبت اٍلیِی هب دس هَسد هؼئلِ ثب‬
‫تؼییي دٍ تَصیغ )‪ P(D|h) ٍ P(h‬ثِ ًَس دلخَاُ هـخق هیؿَد‪ .‬ثیبییذ اثتذا ثب كشمّبی صیش ؿشٍع ًٌین ‪:‬‬

‫(‬ ‫‪ً .1‬وًَِ ّبی آهَصؿی ‪ D‬خٌب ًذاسًذ )) (‬

‫‪ .2‬هلَْم ّذف ‪ c‬دس كوبی كشهیِ ای ‪ H‬هَخَد اػت‪.‬‬
‫‪ّ .3‬ی هذسًی ثش ثشتشی یي كشهیِ ثش كشهیِی دیگش ٍخَد ًذاسد‪.‬‬
‫ثب كشمّبی ثبال‪ ،‬چِ هوذاسی ثبیذ ثشای )‪ P(h‬تؼییي ؿَد؟ ثذٍى ّی اًالػبت هجلی‪ ،‬ثشتشی كشهیِّب ثش یٌذیگش ثی دلیل خَاّذ ثَد‪ ،‬هیتَاًین‬
‫احتوبل توبهی آىّب سا هؼبٍی هشاس دّین‪ .‬ػالٍُ ثش اى‪ ،‬چَى كشم ًشدُاین تبثغ ّذف ‪ c‬دس ‪ H‬هَخَد اػت ثبیذ ًَسی احتوبل سا پخ ؾ ًٌ ین‬
‫ًِ هدوَع احتوبل ًل ‪ H‬یي ثبؿذ‪ .‬پغ خَاّین داؿت‪:‬‬

‫) (‬
‫| |‬

‫اػت ًِ ث شای دػ تِی ثبث ت‬ ‫اهب )‪ P(D|h‬چِ احتوبلی ثبیذ داؿتِ ثبؿذ؟ )‪ P(D|h‬احتوبل هـبّذُی هوبدیش ّذف‬
‫ًوًَِّب صهبًی ًِ ‪ h‬دسػت اػت هیثبؿذ‪.‬اهثالً صهبًی ًِ ‪ّ h‬وبى هلَْم ّذف ‪ c‬اػت)‪ .‬اص آًدبیی ًِ كشم ًشدین دادُ ّ بی آهَصؿ ی خٌ ب‬
‫ثبؿذ‪ 0‬اػت‪ .‬ثٌبثشایي‪،‬‬ ‫ثبؿذ ‪ ٍ 1‬اگش ) (‬ ‫اگش ) (‬ ‫ًذاسًذ‪ ،‬احتوبل دیذى‬

‫) (‬
‫) | (‬ ‫{‬ ‫(‬ ‫)‬

‫ثِ ػجبست دیگش احتوبل هـبّذُی ‪ D‬ثب داؿتي ‪ 1 ،h‬اػت اگش ‪ D‬ثب ‪ h‬ػبصگبس ثبؿذ ٍ دس ؿیش ایي كَست ‪ 0‬اػت‪.‬‬

‫ثب ایي ًَع اًتخبة )‪ P(D|h) ٍ P(h‬حبل هؼئلِ سا ًبهالً ثشای الگَسیتن یبدگیشی ثذٍى ؿؼَس ‪ MAP‬آهبدُ ًشدُاین‪ .‬هشحلِی اٍل ایي الگَسیتن‬
‫ًِ دس آى ثب اػتلبدُ اص هویِی ثیض احتوبل ثبًَیِی )‪ P(h|D‬ثشای توبهی ‪ّ h‬ب ثب تَخِ ثِ ًوًَِ ّبی آهَصؿی ‪ D‬هحبػجِ ه یؿ َد سا دس ًظ ش‬
‫ثگیشیذ‪ .‬ثب تَخِ ثِ هویِی ثیض داسین‪،‬‬

‫) ( ) | (‬
‫) | (‬
‫) (‬

‫اثتذا كشم ًٌیذ ًِ ‪ h‬ثب ًوًَِ ّبی آهَصؿی ًبػبصگبس اػت‪ .‬اص ساثٌِی ‪ 6.4‬داسین ًِ )‪ P(D|h‬كلش اػت صیشا ًِ ‪ h‬ثب ‪ً D‬بػبصگبس اػ ت پ غ‬
‫داسین ًِ‪:‬‬

‫) (‬
‫) | (‬
‫) (‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫پغ احتوبل ثبًَیِی كشهیِی ًبػبصگبس ثب ‪ D‬كلش خَاّذ ثَد‪.‬‬

‫حبل كشم ًٌیذ ًِ كشهیِی ‪ h‬ثب ‪ D‬ػبصگبس اػت‪ .‬اص ساثٌِی ‪ 6.4‬داسین ًِ )‪ P(D|h‬یي كشم ؿذُ اػت صی شا ً ِ ‪ h‬ث ب ‪ D‬ػ بصگبس اػ ت‪.‬‬
‫داسین‪،‬‬

‫| |‬
‫) | (‬
‫) (‬

‫| |‬
‫|‬ ‫|‬
‫| |‬

‫|‬ ‫|‬

‫هیتَاًذ ّوبى كوبی ٍیظُ ای كلل ‪ 2‬ثبؿذ ًِ ثب تَخِ‬ ‫صیش هدوَػِ ای اص ‪ H‬اػت ًِ ثب ‪ D‬ػبصگبس اػت اهثالً‬ ‫دس ایي ساثٌِ‬
‫) ( ًبس ػبدُ ای اػت صیشا ًِ هدوَع )‪ P(h|D‬ثشای توبهی كشهیِّ ب ثبی ذ ‪ 1‬ثبؿ ذ ٍ اص‬ ‫| |‬
‫ثِ ‪ D‬ثذػت آهذُ)‪ .‬تـخیق ایٌٌِ‬
‫| اػت‪ .‬هیتَاى هوذاس )‪ P(D‬سا اص هویِی هدو َع احتو بل ادس خ ذٍل‬ ‫ًشكی تؼذاد ًل كشهیِ ّبی ػبصگبس ثب ‪ D‬دس ‪ً H‬جن تؼشیق |‬
‫(( ثذػت آٍسد‪.‬‬ ‫) ⋀ ( ()‬ ‫‪ ٍ )6.1‬ایي حویوت ًِ كشهیِّب دٍ ثِ دٍ ًبػبصگبسًذ ))‬

‫) (‬ ‫∑‬ ‫) ( ) | (‬

‫∑‬ ‫∑‬
‫| |‬ ‫| |‬

‫∑‬
‫| |‬

‫|‬ ‫|‬
‫| |‬

‫ثِ ًَس خالكِ ایٌٌِ ثب كشمّبیی ًِ دس هَسد )‪ً P(D|h) ٍ P(h‬شدین هویِی ثیض ایدبة هیًٌذ ًِ )‪ P(h|D‬ثِ كَست صیش ثبؿذ‪:‬‬

‫) | (‬ ‫|‪,‬‬ ‫|‬ ‫(‬ ‫)‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫| تؼذاد كشهیِ ّبی ‪ ًِ H‬ثب ‪ D‬ػبصگبسًذ اػت‪ .‬ؿٌل ‪ 6.1‬ػیش تٌبهل احتوبالت سا ثب ًوَداس ًـبى هیدّذ‪ .‬اثت ذا اؿ ٌل‬ ‫دس ایي ساثٌِ |‬
‫)‪ )6.1 (a‬توبهی كشهیِّب احتوبل یٌؼبًی داسًذ‪ .‬ثب اكضایؾ دادُ ّبی آهَصؿی اؿٌلّبی )‪ )6.1 (c) ٍ 6.1 (b‬احتوبل ثبًَیِی كشهیِ ّ بی‬
‫ًبػبصگبس كلش هیؿَد اهب هدوَع ًل احتوبالت ‪ 1‬ثبهی هیهبًذ‪ ،‬یؼٌی احتوبل كشهیِّبیی ًِ كلش هیؿَد ثِ ًَس هؼبٍی دس ثیي كشه یِ ّ بی‬
‫دیگش توؼین هیؿَد‪.‬‬

‫( خَاٌّ ذ داؿ ت ٍ‬ ‫|‬ ‫ثشسػی ثبال ًـبى داد ثب اًتخبة )‪ P(D|h) ٍ P(h‬توبهی كشهیِ ّبی ػ بصگبس احتو بل ثبًَی ِی هؼ بٍی )|‬
‫احتوبل كشهیِ ّبی ًبػبصگبس كلش خَاّذ ؿذ‪ .‬پغ ثب تَخِ ثِ ایي ثشسػی ّش كشهیِی ػبصگبس یي ‪ MAP‬اكشهیِ ثب حذاًثش احتوبل) اػت‪.‬‬

‫ؿٌل ‪ 6.1‬تٌبهل احتوبل ثبًَیِی )‪ P(h|D‬ثب اكضایؾ دادُ ّبی آهَصؿی‪.‬‬

‫)‪ (a‬اٍلَیت یٌؼبى ثِ توبهی كشهیِّب دادُ هیؿَد‪ .‬ثب اكضایؾ دادُّب ثِ ‪ ٍ (b) D1‬ػپغ ثِ ‪ ،(c) D1⋀D2‬احتوبل ثبًَیِی كشهیِ ّبی ًبػبصگبس ثِ كلش‬
‫هیسػذ دس حبلی ًِ احتوبل ثبًَیِ ثشای كشهیِ ّبی كوبی ٍیظُ اكضایؾ هییبثذ‪.‬‬

‫‪ 6.3.2‬فرضیه های ‪ ٍ MAP‬یادگیرهای سازگار‬

‫ثشسػیّبی ثبال ًـبى هیدّذ ًِ ثب هلشٍهبت هزًَس توبهی كشهیِ ّبی ػبصگبس ثب ‪ D‬كشهیِ ای ‪ّ MAP‬ؼتٌذ‪ .‬ایي ػجبست سا هیتَاى هؼتویوبً‬
‫ثِ ػجبستی خبلت دس هَسد دػتِ ای اص یبدگیشّب ًِ یبدگیش ّبی ػبصگبس‪ 1‬هیًبهین تلؼیش ًشد‪ .‬صهبًی هیگَیین ًِ یي الگ َسیتن ی بدگیشی ی بدگیش‬
‫ػبصگبس اػت ًِ كشهیِی خشٍخی ّی خٌبیی ثش سٍی دادُ ّبی آهَصؿی ًذاؿتِ ثبؿذ‪ .‬ثش اػبع ثشسػی ثبال‪ ،‬هیتَاى گلت توبهی یبدگیش ّ بی‬
‫ػبصگبس كشهیِی خشٍخیـبى یي كشه یِی ‪ MAP‬اػ ت‪ ،‬ث ِ ؿ شًی ً ِ ك شم ًٌ ین ً ِ تَصی غ اٍلی ِ احتو بل سٍی ‪ H‬یٌٌَاخ ت ثبؿ ذ‬
‫() ٍ ّوچٌیي كشم ًٌین ًِ دادُ ّبی آهَصؿی هٌؼی ٍ ثذٍى خٌب ّؼتٌذ ا‪ P(D|H)=1‬اگش ‪ D‬ث ب ‪ h‬ػ بصگبس‬ ‫) ( )‬ ‫ا) (‬
‫ثبؿذ ٍ دس ؿیش ایي كَست كلش اػت)‪.‬‬

‫ثشای هثبل‪ ،‬الگَسیتن یبدگیشی هلَْم ‪ Find-S‬سا ًِ دس كلل ‪ 2‬ثشسػی ؿذ سا دس ًظش ثگیشیذ‪ Find-S .‬كوبی كشهیِ ای ‪ H‬سا اص كشهیِ ّ بی‬
‫خضئیتش ثِ ًلیتش خؼتدَ هیًٌذ تب خضئیتشیي كشهیِی ػبصگبس سا پیذا ًٌذ اخضئیتشیي ػوَ كوبی ٍیظُ)‪ .‬چَى ‪ Find-S‬كشهیِ ای ػبصگبس سا‬
‫خشٍخی هیدّذ پغ ًجن احتوبالت هلشٍم ث بال ث شای )‪ P(D|h) ٍ P(h‬كشه یِ ای ‪ MAP‬سا خشٍخ ی خَاّ ذ داد‪ .‬الجت ِ ‪ ّ Find-S‬ی‬

‫‪1‬‬
‫‪consistent learner‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫احتوبلی سا هحبػجِ ٍ اسائِ ًویًٌذ ٍ كوي خبفتشیي كشهیِی كوبی ٍیظُ سا پیذا هیًٌذ‪ .‬ثب ایي ٍخَد‪ ،‬ثب هـخق ً شدى تَصی غّ بی )‪ٍ P(h‬‬
‫)‪ P(D|h‬ثِ كَستی ًِ كشهیِی خشٍخی ‪ MAP‬ثبؿذ‪ ،‬سٍؿی هلیذ ثشای هـخق ًشدى سكتبس ‪ Find-S‬داسین‪.‬‬

‫آیب تَصیغ احتوبلّبی دیگشی ثشای )‪ٍ P(D|h) ٍ P(h‬خَد داسد ًِ خشٍخی ‪ FIND-S‬كشهیِی ‪ MAP‬ثبؿذ؟ ثلِ‪ ،‬چَى ‪ FIND-S‬خبفتشیي‬
‫كشهیِی كوبی ٍیظُ سا پیذا هیًٌذ كشهیِی خشٍخیاؽ ثب اختلبف تَصیغ احتوبلّبیی ًِ ثِ ػوت كشهیِ ّبی خبفتش توبیل داسً ذ ‪MAP‬‬
‫) ( اگ ش‬ ‫(‬ ‫خَاّذ ثَد‪ .‬ثِ ػجبست دهینتش‪ ،‬كشم ًٌیذ ًِ ‪ ℋ‬توبهی تَصیغ احتوبل )‪ P(h‬سٍی ‪ H‬اػت ًِ دس آىّب داسی ن )‬
‫ثبؿذ‪ .‬هیتَاى ًـبى داد ثب چٌیي تَصیغ احتوبلّبیی ٍ تَصیغ احتوبل هزًَس ث شای )‪ P(D|h‬كشه یِی خشٍخ ی ‪ FINS-S‬ی ي‬ ‫خبفتش اص‬
‫كشهیِی ‪ MAP‬خَاّذ ثَد‪.‬‬

‫خالكِ ثحث ثبال ثذیي ؿٌل اػت‪ ،‬چبسچَة ثیضی ثِ هب اخبصُ هیدّذ تب ٍیظگیّبی سكتبسی الگَسیتنّبی یبدگیشی احت ی الگ َسیتنّ بیی ً ِ‬
‫هوذاس احتوبل كشهیِ سا هـخق ًویًٌٌذ‪ ،‬هثل ‪ )FIND-S‬سا هـخق ًٌین‪ .‬ثب هـخق ًشدى تَصیغ احتوبلّبی )‪ P(D|h) ٍ P(h‬ثِ كَستی‬
‫ًِ كشهیِی خشٍخی الگَسیتن ثْیٌِ‪ ،MAP ،‬ؿَد‪ ،‬پیؾ كشمّبیی ًِ الگَسیتن ثشای ًتیدِ گیشی اًدبم هیدّذ سا هیتَاى پیذا ًشد‪.‬‬

‫اػتلبدُ اص دیذگبُ ثیضی ثشای ثشسػی ٍیظگیّبی الگَسیتنّبی یبدگیشی ثذیي كَست ػوالً هـبثِ ثشسػی ثبیبع اػتوشایی یبدگیشّبػت‪ .‬دس كلل‬
‫‪ 2‬هب ثبیبع اػتوشایی یي الگَسیتن سا دػتِ پیؾ كشمّبیی هثل ‪ B‬تؼشیق ًشدین ًِ ًحَُی اػتوشای یبدگیش سا تَخیِ هیًٌذ‪ .‬ثشای هثبل‪ ،‬گلتِ‬
‫ؿذ ًِ ثبیبع اػتوشایی الگَسیتن ‪ٍ Candidate-Elimination‬خَد هلَْم ّذف ‪ c‬دس هدوَػِی كشهیِ ای ‪ H‬اػت‪ .‬ػالٍُ ثش آى ًـ بى‬
‫دادین ًِ خشٍخی ایي الگَسیتن یبدگیشی سا هیتَاى اص ٍسٍدیّبیؾ ٍ ایي پیؾ كشم اػتوشایی هوٌی ًتیدِ گشكت‪ .‬تلؼیشی ثیضی ثبال هیتَاًذ‬
‫خبیگضیٌی ثشای ثشسػی ٍیظگیّبی ایي پیؾ كشمّبی الگَسیتنّبی یبدگیشی ثبؿذ‪ .‬ثب ایي تلبٍت ًِ دس ایٌدب ثِ خبی هذل ًشدى الگ َسیتن ث ب‬
‫یي ػیؼتن هؼبدل اػتوشایی‪ ،‬الگَسیتن سا ثب ػیؼتن هؼبدل اػتذالل احتوبلی‪ ًِ 1‬ثش اػبع هویِی ثیض ًبس هیًٌذ‪ ،‬ه ذل ػ بصی ه یًٌ ین‪ ٍ .‬دس‬
‫ایٌدب پیؾ كشمّبیی ًِ یبدگیش كشم هیًٌذ ثِ كشم "احتوبل اٍلیِ ّبی كشهیِّب )‪ ٍ P(h‬هذست دادُّب دس هجَل یب سد كشه یِّ ب )‪"P(D|h‬‬
‫اػت‪ .‬تؼشیق )‪ ًِ P(D|h) ٍ P(h‬دس ایي هؼوت هؼشكی ؿذ هشثَى ثِ دٍ الگَسیتن ‪ FIND-S ٍ Candidate-Elimination‬ثَد‪ .‬ػیؼتن‬
‫اػتذالل احتوبلیای ًِ ثش اػبع هویِی ثیض ًبس هیًٌذ‪ ،‬ثب ایي تَصیغّب دس ٍسٍدی ٍ خشٍخی سكتبسی هـبثِ ایي الگَسیتنّب اص خَد ًـبى خَاّذ‬
‫داد‪.‬‬

‫ثحثی ًِ دس ایي ثخؾ اًدبم ؿذ حبلت خبكی اص اػتذالل ثیضی ثَد صیشا ًِ كشم ًشدین دادُ ّبی آهَصؿ ی ث ذٍى خٌبیٌ ذ ٍ كشه یِّ ب ًی ض‬
‫هٌؼیاًذ‪ ،‬یؼٌی )‪ P(D|h‬حتوبً یٌی اص دٍ هوذاس ‪ 1‬یب ‪ 0‬سا داسد‪ّ .‬وبى ًَس ًِ دس هؼوت ثؼذی ًیض خَاّین دیذ‪ ،‬هیتَاى یبدگیشی اص ًوًَِ ّ بی‬
‫آهَصؿی خٌب داس سا ؿجیِ ػبصی ًشد‪ ،‬كوي ًبكی اػت ًِ هوذاس )‪ P(D|h‬هوبدیشی ؿیش ‪ 1 ٍ 0‬سا ًیض داؿتِ ثبؿذ‪ ،‬ث ب ای ي تـیی ش تَصی غ احتو بل‬
‫)‪ P(D|h‬خٌب سا ًٌتشل خَاّذ ًشد‪.‬‬

‫‪1‬‬
‫‪probabilistic reasoning system‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.6‬هحتولتریي‌فرضیِّا‪ ٍ 6‬فرضیِّایی کِ کوتریي خطای هربعی‪ 6‬را دارًذ‬

‫ّوبى ًَس ًِ دس ثبال ًیض ًـبى دادُ ؿذ تحت ؿشایٌی یي الگَسیتن یبدگیشی كشهیِ ّبی ‪ MAP‬سا خشٍخی هیدّذ حتی اگش ایي الگ َسیتن اص‬
‫سٍؽ ثیض یب حتی اص هحبػجِی احتوبلّب اػتلبدُ ًٌٌذ‪.‬‬

‫دس ایي ثخؾ‪ ،‬ثِ هؼئلِ ای یبدگیشی تَاثغ ّذف پیَػتِ هوذاس هیپشداصین‪ ،‬هؼئلِ ای ًِ ساُّبی صیبدی ثشای آى هثل ؿجٌِ ّبی ػلجی‪ ،‬توشیت‬
‫خٌی‪ ٍ ،‬توشیت چٌذ خولِ ای اسائِ ؿذُ اػت‪ .‬یي ثشسػی هؼتوین ثیضی ًـبى هیدّذ ًِ دس ؿشایي خبكی ّش الگَسیتن ی بدگیشی ً ِ خٌ بی‬
‫هشثؼی ثیي تخویي ٍ خشٍخی دادُ ّبی آهَصؿی سا هیٌیون ًٌذ یي هحتولتشیي كشهیِ‪ 3‬سا خشٍخی هیدّذ‪ .‬اّویت ایي ًتیدِ دس اػتلبدُ اص ایي‬
‫اػتذالل ثیضی اتحت ؿشایي خبف) ثشای تَخیِ ثؼیبسی اص ؿجٌِ ّبی ػلجی ٍ دیگش هتذّبیی ًِ هدوَع خٌبی هشثؼ ی سا هیٌ یون ه یًٌٌ ذ‬
‫اػت‪.‬‬

‫ؿشایي هؼئلِی یبدگیشی تبثغ ّذف پیَػتِ سا دس ًظش ثگیشیذ‪ ،‬یبدگیش ‪ ًِ L‬اص كوبی ًوًَِ ای ‪ ٍ X‬كوبی كشهیِ ای ‪ ًِ H‬هدوَػِ ای اص تَاثغ‬
‫حویوی هوذاس سٍی ًوًَِ ّبی ‪ X‬اػتلبدُ هیًٌذ اّش ‪ h‬دس ‪ H‬تبثؼی اػت ثِ كشم 𝔎 → ‪ ًِ ،h: X‬دس آى 𝔎 هدوَػِی اػ ذاد حویو ی اػ ت)‪.‬‬
‫هؼئلِ ای ًِ یبدگیش ‪ L‬ثب آى هَاخِ اػت یبدگیشی تبثغ ّذف هدْ َل 𝔎 → ‪ f: X‬اص هدوَػ ِی كشه یِ ّ بی ‪ H‬اػ ت‪ .‬هدوَػ ِ ای اص ‪m‬‬
‫ًوًَِی آهَصؿی دس دػتشع اػت‪ ،‬دس ایي هدوَػِ هوذاس تبثغ ّذف ّش یي اص ًوًَِّب ثب یي هوذاس تلبدكی خٌب ًِ تَصی غ ًشه بل داسد هؼل َم‬
‫‪ .‬دس ایٌدب ) ( خَد‬ ‫) (‬ ‫اػت ًِ دس آى‬ ‫اػت‪ .‬ثِ ػجبست دهینتش‪ّ ،‬ش ًوًَِی آهَصؿی صٍج هشتجی ثِ كشم‬
‫هؼتول ٍ داسای تَصیغ ًشهبل ثب هیبًگیي كلش اػت‪ّ .‬ذف ی بدگیش ًی ض‬ ‫هتـیش تلبدكی خٌبػت‪ .‬كشم هیؿَد ًِ هوذاس‬ ‫تبثغ ّذف ٍ هوذاس‬
‫پیذا ًشدى هحتولتشیي كشهیِ‪ ،‬یب ثِ كَست هؼبدل‪ ،‬یي كشهیِی ‪ MAP‬اػت ثب ایي كشم ًِ توبهی كشهیِّب احتوبل اٍلیِی یٌؼبًی داسًذ‪.‬‬

‫ثب ٍخَد ایٌٌِ ثشسػیّبیوبى سا ثشای یبدگیشی تَاثغ دلخَاُ حویوی هوذاس اًدبم هیدّین‪ ،‬هؼئلِی یبدگیشی تبثغ خٌی ًوًَِ ای اص چٌیي هؼ بئلی‬
‫اػ ت ً ِ ًوت شیي‬ ‫اػت‪ .‬ؿٌل ‪ 6.2‬ؿٌل تبثغ ّذف خٌی ‪ f‬سا ثِ ّوشاُ چٌذیي ًوًَِی آهَصؿی ًـبى دادُ اػت‪ .‬خي چیي كشه یِی‬
‫خٌبی هشثؼی سا داسد‪ ،‬پغ هحتولتشیي كشهیِ اػت‪ .‬تَخِ داؿتِ ثبؿیذ ً ِ هحتو لت شیي كشه یِ حتو بً كشه یِی دسػ ت ًیؼ ت‪ ،‬صی شا ً ِ‬
‫هدوَػِ ّبی آهَصؿی هحذٍد ٍ خٌب داس ّؼتٌذ‪.‬‬

‫‪1‬‬
‫‪maximum likelihood‬‬
‫‪2‬‬
‫‪least squared error‬‬
‫‪3‬‬
‫‪maximum likelihood‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿٌل ‪ 6.2‬یبدگیشی تبثغ حویوی هوذاس‪.‬‬

‫ثب كشم ایٌٌِ خٌبیی ثب تَصیغ ًشهبل ثب هی بًگیي ك لش داسً ذ دس ًظ ش گشكت ِ‬ ‫تبثغ ّذف ‪ f‬ثب خي ًـبى دادُ ؿذُ اػت‪ً .‬وًَِ ّبی آهَصؿی‬
‫‪ ،‬ث ش اػ بع ‪5‬‬ ‫ؿذُاًذ‪ .‬خي چیي تبثؼی خٌی سا ًـبى هیدّذ ًِ هیضاى خٌبی هشثؼی سا هیٌیون هیًٌذ‪ .‬ثٌبثشایي ایي كشه یِ هحتو لت شیي كشه یِ‪،‬‬
‫ًوًَِی آهَصؿی هَخَد اػت‪.‬‬
‫هجل اص ایٌٌِ ثِ اثجبت هحتولتشیي ثَدى كشهیِّبیی ًِ خٌبی هشثؼی سا هیٌیون هیًٌٌذ دس ؿشایي هزًَس ثپشداصین؛ اثتذا ثیبیی ذ دٍ هلْ َم سا اص‬
‫تئَسی احتوبل هشٍس ًٌین‪ :‬چگبلی احتوبل ٍ تَصیغ ًشهبل‪ .‬اثتذا ثشای ثحث سٍی هتـیش ّبی تلبدكی پیَػتِ هثل ‪ ،e‬اثتذا ثبی ذ چگ بلی احتو بل سا‬
‫هؼشكی ًٌین‪ .‬دلیل اٍلیِ ایي پیؾ صهیٌِّب ایي اػت ًِ هیخَاّین هدوَع احتوبالت سٍی توبهی هوبدیش هوٌي هتـیش تل بدكی ی ي ثبؿ ذ‪ .‬دس‬
‫ایي حبلت ًِ هتـیش ّبی تلبدكی پیَػتِ ّؼتٌذ‪ ،‬تؼییي احتوبل سا ًویتَاى ثب ًؼجت دادى یي احتوبل ثِ ّش یي اص هوبدیش هوٌي هتـیش تلبدكی‬
‫اًدبم داد‪ .‬ثِ خبی اى‪ ،‬اص چگبلی احتوبل‪ 1‬ثشای هوبدیش تلبدكی حویوی هثل ‪ e‬اػتلبدُ هیًٌین ٍ اًتگشال سٍی ًل چگبلی احتوبل سا هؼبٍی یي‬
‫هشاس هیدّین‪ .‬دس ًل اص حشف ًَچي ‪ p‬ثشای ًـبى دادى تبثغ چگبلی احتوبل اػتلبدُ هیًٌین ٍ احتوبل سا ثب ح شف ث ضسٍ ‪ً P‬ـ بى ه یدّ ین‬
‫اگبّی اٍهبت ایي هوذاس خشم احتوبل‪ً 2‬یض ًبهیذُ هیؿَد)‪ .‬چگبلی احتوبل ) ( ‪ ،‬ثشاث ش هو ذاس احتو بل ایٌٌ ِ هتـی ش تل بدكی دس ث بصُ ای‬
‫→ هشاس ثگیشد اػت‪.‬‬ ‫‪ ,‬صهبًی ًِ‬ ‫)‬

‫چگالی‌احتمال‪‌ :‬‬

‫) (‬ ‫(‬ ‫)‬
‫→‬

‫‪1‬‬
‫‪probability density‬‬
‫‪2‬‬
‫‪probability mass‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دٍم ایٌٌِ ‪ e‬سا دس هؼئلِ ًَسی تؼشیق ًشدین ًِ اص تَصیغ احتوبل ًشهبل پیشٍی هیًٌذ‪ .‬تَصیغ احتوبل ًشه بل‪ ،‬تَصی غ احتو بلی ّو َاس ٍ صًگ ی‬
‫ؿٌل اػت ًِ هیتَاى آىسا ثب هیبًگیي ‪ ٍ μ‬اًحشاف هؼیبس ‪ً σ‬بهالً هـخق ًشد‪ .‬ثشای تؼشیق دهینتش ثِ خذٍل ‪ 5.4‬هشاخؼِ ًٌیذ‪.‬‬

‫حبل ثب داؿتي ایي پیؾ صهیٌِّب هیتَاًین ثِ هَهَع اكلی ثش گشدین‪ :‬دس ؿشایي هزًَس‪ً ،‬ـبى هیدّین ًِ كشه یِّ بیی ً ِ خٌ بی هشثؼ ی سا‬
‫هیٌیون هیًٌٌذ دس ٍاهغ ّوبى هحتولتشیي كشهیِّب ّؼتٌذ‪ .‬اثتذا هحتولتشیي تبثغ سا ثب اػتلبدُ اص ساثٌِی ‪ 6.3‬هـخق هیًٌین‪ ،‬ثب ایي تلبٍت‬
‫ًِ تَصیغ احتوبل دس ایي ساثٌِ سا ثب ‪ً p‬ـبى هیدّین‪.‬‬

‫) | (‬

‫ثب هوذاس ت بثغ ّذكـ بى ‪،D‬‬ ‫هثل هجل‪ ،‬كشم هیًٌین ًِ هدوَػِ ای اص ًوًَِ ّبی آهَصؿی هثل‬
‫‪ .‬ثب كشم ایٌٌِ ًوًَِ ّبی آهَصؿی ًبهالً هؼتول اص كشهیِی ‪ّ h‬ؼتٌذ )‪ P(D|h‬سا هیتَاى ثش حؼت‬ ‫) (‬ ‫داسین‪ .‬دس ایٌدب‬
‫) | ( ّب ًَؿت‬

‫) | ( ∏‬

‫ًیض ثبیذ اص تَصیغ ًشهبلی ثب ٍاسیبًغ 𝜎 ٍ‬ ‫ّب اص تَصیغ ًشهبل ثب هیبًگیي كلش ٍ ٍاسیبًغ هدَْل 𝜎 پیشٍی هیًٌٌذ‪ّ ،‬ش‬ ‫ثب داًؼتي ایٌٌِ‬
‫𝜇‬ ‫هیبًگیي ) ( ‪ ،‬ثِ خبی كلش‪ ،‬پیشٍی ًٌذ‪ .‬ثٌبثشایي ) | ( سا هیتَاى ثِ كَست تَصیغ ًشهبلی ثب ٍاسیبًغ 𝜎 ٍ هی بًگیي ) (‬
‫ًَؿت‪ .‬ثیبییذ كشهَل ایي تَصیغ ًشهبل سا ًِ ) | ( سا تَكیق هیًٌذ ثٌَیؼین‪ ،‬اثتذا كشهَلی ًِ دس خذٍل ‪ 5.4‬آهذُ سا هیًَیؼ ین ٍ هو بدیش‬

‫ثب كشم ایٌٌِ كشهیِی ‪ h‬تَكیق دسػت اص تبثغ ّ ذف ‪ f‬اػ ت ه یًَیؼ ین‪ ،‬خ َاّین‬ ‫‪ 𝜎 ٍ μ‬سا خبیگضیي هیًٌین‪ .‬چَى ساثٌِ ای ثشای‬
‫𝜇‬ ‫) (‬ ‫داؿت ًِ ) (‬

‫(‬ ‫)‬
‫∏‬ ‫𝜎‬

‫√‬ ‫𝜎‬

‫(‬ ‫)) (‬
‫∏‬ ‫𝜎‬

‫√‬ ‫𝜎‬

‫حبل اص تجذیلی اػتلبدُ هیًٌین ًِ دس اًثش هحبػجبت هحتولتشیيّب هتذاٍل اػت‪ :‬ثِ خبی هبًضیون ًشدى هوذاس ًل ػج بست‪ ،‬لگ بسیتن آىسا ً ِ‬
‫ثؼیبس ػبدُ تش اػت هبًضیون هیًٌین‪ .‬صیشا ًِ تبثغ ‪ ln p‬تبثؼی یٌٌَاخت ٍ كؼَدی اص ‪ p‬اػت‪ .‬ثٌبثشایي هبًضیون ً شدى ‪ ln p‬ثبػ ث ه بًضیون‬
‫ؿذى خَد ‪ p‬هیؿَد‪.‬‬

‫∑‬ ‫(‬ ‫)) (‬

‫√‬ ‫𝜎‬
‫𝜎‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خولِی اٍل هؼتول اص ‪ h‬اػت ٍ ثٌبثشایي هیتَاى آىسا حزف ًشد‪،‬‬

‫∑‬ ‫(‬ ‫)) (‬

‫𝜎‬

‫هبًضیون ًشدى ایي ًویت هٌلی هـبثِ هیٌیون ًشدى هوذاس هثجت آى اػت‪،‬‬

‫∑‬ ‫(‬ ‫)) (‬

‫𝜎‬

‫ٍ دٍثبسُ هیتَاى ثبثتی ًِ هؼتول اص ‪ h‬اػت سا حزف ًشد ٍ داسین‪:‬‬

‫(∑‬ ‫)) (‬ ‫(‬ ‫)‬

‫كشهیِ ای اػت ًِ هدوَع خٌب ّبی هشثؼی ثیي هوبدیش ّذف ًوًَِ ّبی آهَصؿی‬ ‫ساثٌِی ‪ً 6.6‬ـبى هیدّذ ًِ هحتولتشیي كشهیِ‬
‫ّب‪ ،‬هوبدیش تبثغ ّذف ث ِ اه بكِی‬ ‫ٍ پیؾ ثیٌی كشهیِ ) ( سا هیٌیون ًٌذ‪ .‬ایي ًتیدِ گیشیّب ثب ایي كشم ثَد ًِ ًوًَِ ّبی آهَصؿی‪،‬‬
‫هوذاس خٌبی تلبدكی ثب تَصیغ ًشهبل ٍ هیبًگیي كلش ّؼتٌذ‪ّ .‬وبى ًَس ًِ اػتخشاج ػجبست ثبال ًیض ًـبى هیدّذ‪ ،‬هوذاس خولِی هشثؼی خٌ بی‬
‫( هؼتویوبً اص تَصیغ ًشهبل ًبؿی ؿذُ اػت‪ .‬ثب اػتلبدُ اص دیگش تَصیغّبی خٌب هیتَاى تؼشیقّبی دیگشی ثشای خٌ ب ثذػ ت‬ ‫)) (‬
‫آٍسد‪.‬‬

‫تَخِ داؿتِ ثبؿیذ ًِ ػبختبس اؿتوبم ثبال ؿبهل اًتخبة كشهیِ ای ًِ لگبسیتن هحتو ل ث َدى ))‪ (ln p(D|h‬سا ح ذاًثش ه یًٌ ذ ث ِ ػٌ َاى‬
‫هحتولتشیي كشهیِ ًیض هیؿَد‪ّ .‬وبى ًَس ًِ پیؾتش ًیض گلتِ ؿذ‪ ،‬ایي هـبثِ ایي اػت ًِ هحتول ثَدى ))‪ (ln p(D|h‬سا حذاًثش ًٌین‪ .‬ایي‬
‫سٍؽ ًبس ثب لگبسیتن هحتول ثَدى‪ 1‬دس ثؼیبس اص ثشسػیّبی ثیضی هَسد اػتلبدُ هشاس هیگیشد‪ ،‬صیشا ًِ ًبس ثب لگبسیتن هحتول ثَدى ثؼیبس ػبدُ تش اص‬
‫ًبس ثب خَد هحتول ثَدى اػت‪ .‬الجتِ‪ّ ،‬وبى ًَس ًِ هجالً ّن گلتِ ؿذ‪ ،‬هحتولتشیي كشهیِ ّویـِ كشهیِی ‪ً MAP‬یؼت هگش ایٌٌ ِ احتو بل‬
‫اٍلیِی توبهی كشهیِّب هؼبٍی كشم ؿَد‪.‬‬

‫چشا اػتلبدُ اص تَصیغ ًشهبل ثشای هذل ػبصی ًَیض یب ّوبى خٌبی ًوًَِّب اػتلبدُ هیًٌین؟ یٌی اص دالیلی ًِ الصم اػت حتوبً رً ش ؿ َد‪ ،‬ای ي‬
‫اػت ًِ ثشسػی سا اص ًظش سیبهی ثؼیبس ػبدُ تش هیًٌذ‪ .‬دلیل دٍم ایي اػت ًِ ایي تَصیغ تَصیؼی ّوَاس اػت ٍ تَصیغّبی صًگی ؿٌل تخو یي‬
‫خَثی ثشای ثؼیبسی اص اًَاع خٌبّب دس ػیؼتنّبی كیضیٌی ّؼتٌذ‪ .‬دس ٍاهغ‪ً ،‬جن هویِی حذ هشًضی ًِ دس كلل ‪ 5‬تَه یح دادُ ؿ ذ‪ ،‬هدو َع‬
‫تؼذاد صیبدی اص هتـیش ّبی هؼتول ٍ ّن تَصیغ ثذٍى تَخِ ثِ ًَع تَصیغ اص تَصیغ ًشهبل پیشٍی هیًٌذ‪ .‬ایي ثبثت ه یًٌ ذ ً ِ خٌ ب ً ِ خ َد اص‬
‫هدوَع تؼذاد صیبدی هتـیش هؼتول ٍ ثب هشیت تَصیغ یٌؼبى تَلیذ هیؿَد اص تَصیغ ًشهبل پیشٍی خَاّذ هیًٌ ذ‪ .‬الجت ِ دس ٍاهؼی ت‪ ،‬هؤلل ِ ّ بی‬
‫هختللی ًِ دس ًَیض تأثیش گزاسًذ ّوگی اص یي تَصیغ پیشٍی ًویًٌٌذ‪ ًِ ،‬دس ایي ؿشایي ایي هویِ تَخیْی ثشای اػتلبدُ اص ایي تَصیغ ًیؼت‪.‬‬

‫‪1‬‬
‫‪likelihood‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫هیٌیون ًشدى هدوَع خٌبی هشثؼی سٍؿی هتذاٍل دس ثؼیبسی اص ؿجٌِ ّبی ػلجی‪ ،‬هٌحٌیّبی تخو یي ٍ ‪ ...‬دس تخو یي تَاث غ حویو ی هو ذاس‬
‫اػت‪ .‬كلل ‪ 4‬سٍؽ ؿیت ًضٍل سا ًِ هیٌیون ًشدى خٌبی هشثؼی دس ؿجٌِ ّبی ػلجی سا ثب آى اًدبم هیدّین هللالً تَهیح دادُ اػت‪.‬‬

‫ثذ ًیؼت ًِ هجل اص اتوبم ثحث ساثٌِی ثیي هحتولتشیي كشهیِ ٍ كشهیِ ای ًِ خٌبی هشثؼی سا هیٌیون ه یًٌ ذ‪ ،‬ثؼو ی هح ذٍدیتّ ب ای ي‬
‫ؿشایي هؼئلِ سا رًش ًٌین‪ .‬ثشسػی ثبال كوي خٌب دس تبثغ ّذف ًوًَِ ّبی آهَصؿی دس ًظش گشكتِ ؿذُ اػت ٍ اص خٌبی خ َد ٍیظگ یّ بیی ً ِ‬
‫ًوًَِ سا تَكیق هیًٌٌذ كشف ًظش ؿذُ ثَد‪ .‬ثشای هثبل‪ ،‬اگش هؼئلِ یبدگیشی پیؾ ثیٌی ٍصى اكشاد ثش اػبع ػي ٍ هذؿبى ثبؿذ‪ ،‬دس ؿشایي رً ش‬
‫ؿذُ كوي هیتَاى خٌب سا ثشای ٍصى دس ًظش گشكت ٍ هوبدیش ػي ٍ هذ دهین كشم هیؿًَذ‪ .‬ثشسػی صهبًی پیچیذُ تش هیؿَد ًِ كشمّبی ػبدُ‬
‫ًٌٌذُ حزف ؿًَذ‪.‬‬

‫‪ 1.6‬هحتولتریي‌فرضیِ برای هسائل پیش بیٌی‬

‫دس تؼشیق هؼئلِی هؼوت هجلی هحتولتشیي كشهیِ سا كشهیِ ای هـخق ًشدین ًِ هدوَع خٌبی هشثؼ ی سا ث ش سٍی ًوًَ ِ ّ بی آهَصؿ ی‬
‫هیٌیون هیًٌذ‪ .‬دس ایي ثخؾ هؼیبسی هـبثِ ثشای تؼشیق هؼئلِی دیگشی ًِ دس ؿجٌِ ّبی ػلجی هتذاٍل اػت ثیبى هیًٌین‪ :‬ی بدگیشی پ یؾ‬
‫ثیٌی احتوبالت‪.‬‬

‫حبلتی سا دس ًظش ثگیشیذ ًِ دس آى هیخَاّین تبثؼی ؿیش هٌؼی ااحتوبلی) }‪ f: X → {0,1‬سا یبد ثگیشین ًِ دٍ خشٍخی گؼؼتِ داسد‪ .‬ثشای هثبل‪،‬‬
‫كوبی ًوًَِ ای ‪ X‬هوٌي اػت تَكیق ثیوبساى ثب ػالئن ثیوبسیـبى ثبؿذ‪ ٍ ،‬تبثغ ّذف )‪ f(x‬صهبًی ًِ ثیوبس صًذُ ثوبًذ ‪ ٍ 1‬دس ؿیش ایي كَست ‪0‬‬
‫ثبؿذ‪ .‬یب ثِ ًَس هـبثِ ‪ X‬هیتَاًذ تَكیق هشاخؼیي دسیبكت ٍام ثب ٍهؼیت حؼبثـبى دس گزؿتِ ثبؿذ ٍ )‪ f(x‬صهبًی ًِ ٍام ثؼذی ًبه ل پشداخ ت‬
‫هیؿَد ‪ ٍ 1‬دس ؿیش ایي كَست ‪ 0‬ثبؿذ‪ .‬ثشای هثبل‪ ،‬دس هدوَػِ ای اص ثیوبساى ًِ ػالئن هـتشًی داسًذ ‪ %92‬دسكذ صً ذُ ه یهبًٌ ذ ٍ ‪ %8‬خ بى‬
‫ػبلن ثِ دس ًویثشًذ‪ .‬ایي ػذم هٌؼیت هوٌي اػت ًبؿی اص ًبتَاًی هب سا دس هـبّذُی توبهی ػالئن هْن ثیوبس ثبؿذ یب هوٌي اػت ًبؿی اص ی ي‬
‫كشایٌذ تلبدكی دس پیـشكت ثیوبسی ثبؿذ‪ .‬خذا اص ایٌٌِ هٌـأ هـٌل چیؼت‪ ،‬هب تبثغ ّذف )‪ f(x‬سا داسین ًِ ثِ كَست احتو بلی سٍی ای ي ٍسٍدی‬
‫ػول هیًٌذ‪.‬‬

‫ثب ایي تؼشیق هؼئلِ هوٌي اػت اص یي ؿجٌِی ػلجی ایب تخویي صًٌذُی تَاثغ حویوی هوذاس دیگ ش) ً ِ خشٍخ یاؽ احتو بل ‪ f(x)=1‬ثبؿ ذ‬
‫اػتلبدُ ًٌین‪ .‬ثِ ػجبست دیگش‪ ،‬هب دًجبل یبدگیشی تبثغ ّذف ]‪ّ f’: X → [0,1‬ؼتین ًِ دس آى )‪ .f’(x)=P(f(x)=1‬دس هثبل ثبال‪ ،‬اگش آى ػالئن‬
‫ؿیش هبثل تویض سا داؿتِ ثبؿین ثِ احتوبل ‪ %92‬ثیوبس صًذُ هیهبًذ‪ ،‬پغ ‪ ًِ f’(x)=0.92‬یؼٌی احتوبل ایٌٌِ )‪ f(x‬ثشاثش ثب ‪ 1‬ثبؿذ ‪ %92‬اػ ت‪ٍ ،‬‬
‫احتوبل ایٌٌِ )‪ f(x‬ثشاثش ثب ‪ 0‬ثبؿذ‪ %8 ،‬اػت‪.‬‬

‫چگًَِ هیتَاى ’‪ f‬سا ثب سٍؿی هثل ؿجٌِ ّبی ػلجی یبد گشكت؟ یٌی اص ساُّبی ؿیش َّؿوٌذاًِ خوغ ًشدى تؼذاد تٌ شاس ‪ ّ 1‬ب ٍ ‪ ّ 0‬بی ت بثغ‬
‫ثشای ّش ًوًَِی هوٌي ‪ ٍ x‬آهَصؽ ؿجٌِی ػلجی ثب ًؼجت ایي تؼذاد تٌشاسّبػت‪ّ .‬وبى ًَس ًِ دس اداهِ ًیض خَاّین دیذ‪ ،‬ثِ خ بی ای ي ً بس‬
‫هیتَاى اص خَد ًوًَِ ّبی آهَصؿی ‪ f‬ثشای آهَصؽ ؿجٌِی ػلجی اػتلبدُ ًشد ٍ هحتولتشیي كشهیِ ثشای ’‪ f‬سا ثذػت آٍسد‪.‬‬

‫چِ هؼیبسی سا ثْیٌِ هیًٌین تب هحتولتشیي كشهیِ دس ایي تؼشیق هؼئلِ سا ثیبثین؟ ثشای خَاة ایي ػؤال اثتذا ثبیذ ساثٌِ ای ثشای )‪ P(D|h‬پیذا‬
‫ّ ب هو ذاس‬ ‫ّؼ تٌذ ً ِ دس آى‬ ‫*‬ ‫ًٌین‪ .‬ثیبییذ كشم ًٌین ًِ ًوًَِ ّبی آهَصؽ ‪ D‬ثِ ك شم ‪+‬‬
‫هـبّذُ ؿذُ ی ) ( اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب تَخِ ثِ آًچِ دسثبسُی هحتولتشیي كشهیِ گلتِ ؿذ‪ ،‬هیٌیون خٌبی هشثؼی هؼوت هجل‪ ،‬كشم ً شدین ً ِ ًوًَ ِ ّ بی‬
‫ثشسػی ًشد‪ .‬ثب ٍخَد ایٌٌِ هیتَاًؼتین كشم دیگشی دس ایي تؼشیق هؼ ئلِی خذی ذ داؿ تِ‬ ‫ثبثتٌذ‪ .‬تب ثتَاى دادُّب سا كوي ثب هوذاس ّذكـبى‪،‬‬
‫ثبؿین‪ ،‬ثیبییذ ثب ّویي كشم هجلی اداهِ دّین تب ًـبى دّین ایي چٌیي كشمّبیی دس ًتیدِی حبكل اثشی ًذاسًذ‪ .‬ثٌبثشایي كشم هیًٌین ًِ‬
‫هتـیش ّبی تلبدكی ّؼتٌذ ٍ ّش ًوًَِی آهَصؿی هؼتول ایدبد ؿذُ اػت پغ هیتَاًین )‪ P(D|h‬سا ثِ كَست صیش ثٌَیؼین‪:‬‬ ‫ٍ‬

‫) | (‬ ‫( ∏‬ ‫) |‬ ‫(‬ ‫)‬

‫سا‬ ‫هؼتول اص ‪ h‬اػت‪ .‬ثشای هثبل‪ ،‬احتوبل ایٌٌِ دس هدوَػِی آهَصؿ ی ثیو بس‬ ‫ثبص ّن كشم هیًٌین ًِ احتوبل هَاخِْ ثب ّش ًوًَِ هثل‬
‫خیلی ثِ ‪ h‬هشثَى ًیؼت‪ ،‬استجبى‬ ‫داؿتِ ثبؿین هؼتول اص كشهیِی هب دسثبسُی احتوبل صًذُ هبًذى اػت اثب ایي ٍخَد الجتِ احتوبل صًذُ هبًذى‬
‫ثیي هدوَػِی آهَصؿی ٍ كشهیِ اًٌبس ًبؿذًی اػت)‪ .‬صهبًی ًِ ‪ x‬اص ‪ h‬هؼتول ثبؿذ هیتَاًین ساثٌِی ثبال ث ِ ساثٌ ِی صی ش ػ بدُ ًٌ ین‪ ،‬اث ب‬
‫اػتلبدُ اص هبًَى خذٍل ‪،)6.1‬‬

‫) | (‬ ‫( ∏‬ ‫) |‬ ‫| ( ∏‬ ‫) ( )‬ ‫(‬ ‫)‬

‫ثب كشم ایٌٌِ كشهیِی ‪ h‬دسػت اػت چیؼت؟ ثب تَخِ ثِ‬ ‫ثشای تي ًوًَِی‬ ‫| ( یب احتوبل هـبّذُی‬ ‫حبل احتوبل )‬
‫( ٍ دس ًل‪،‬‬ ‫|‬ ‫)‬ ‫ایٌٌِ ‪ h‬كشهیِی هب اص تبثغ ّذكی اػت ًِ احتوبالت سا هحبػجِ هیًٌذ‪( ) ،‬‬

‫) (‬
‫| (‬ ‫)‬ ‫{‬ ‫(‬ ‫)‬
‫(‬ ‫)) (‬

‫ثشای خبیگضیٌی ایي ساثٌِ دس ساثٌِی ‪ 6.8‬ثشای )‪ P(D|h‬ثیبییذ اثتذا ایي ساثٌِ سا ثِ كشم سیبهیٍاس تشی ثٌَیؼین‪،‬‬

‫| (‬ ‫)‬ ‫( ) (‬ ‫)) (‬ ‫(‬ ‫)‬

‫ػج بست دٍم ساثٌ ِی ‪،6.10‬‬ ‫ثِ ػبدگی هیتَاى ًـبى داد ًِ دٍ ساثٌِی ‪ّ 6.10 ٍ 6.9‬ن اسصًذ‪ .‬تَخِ داؿ تِ ثبؿ یذ ً ِ صه بًی ً ِ‬
‫( ًِ ّن اسص حبل ت اٍل ساثٌ ِی‬ ‫|‬ ‫)‬ ‫( هؼبٍی یي هیؿَد ثٌبثشایي خَاّین داؿت ًِ ) (‬ ‫)) (‬
‫ًیض دٍ ساثٌِ ثب ّن‪ّ ،‬ن اسصًذ‪.‬‬ ‫‪ 6.9‬اػت‪ ،‬ثِ ًَس هـبثِ هیتَاى ًـبى داد ًِ ثشای‬

‫| ( دس ساثٌِی ‪ 6.8‬اػتلبدُ ًشد‪،‬‬ ‫هیتَاى اص ساثٌِی ‪ 6.10‬ثشای خبیگضیٌی )‬

‫) | (‬ ‫( ) ( ∏‬ ‫)) (‬ ‫) (‬ ‫(‬ ‫)‬

‫حبل هیتَاًین ساثٌِی هحتولتشیي كشهیِ سا ثٌَیؼین‪،‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫( ) ( ∏‬ ‫)) (‬ ‫) (‬

‫خولِی آخشی هؼتول اص ‪ h‬اػت ٍ هیتَاى آىسا حزف ًشد‪،‬‬

‫( ) ( ∏‬ ‫)) (‬ ‫(‬ ‫)‬

‫ػجبست ػوت ساػت ساثٌِی ‪ 6.12‬سا هیتَاى دس تؼوین تَصیغ دٍ خول ِ ای دس خ ذٍل ‪ 5.3‬دی ذ‪ .‬ػج بست ساثٌ ِی ‪ 6.12‬احتو بل هْ َس ثشآه ذ‬
‫احتوبل ؿیش آهذى ) ( سا داؿتِ ثبؿذ سا ًـبى هیدّذ‪ .‬تَخِ داؿتِ ثبؿیذ ًِ تَصیغ دٍ‬ ‫سا ثب كشم ایٌٌِ ّش ػٌِی‬
‫خولِ ای ًِ دس خذٍل ‪ 5.3‬آهذ هـبثِ ایي ساثٌِ اػت‪ ،‬اهب كشم دیگشی ًیض داسد‪ ،‬احتوبل ؿیش آهذى ثشای توبهی ػٌِّب سا هؼبٍی كشم هیًٌذ‬
‫) ( (‪ .‬اهب دس ّش دٍ حبلت كشم هیًٌین ًِ ثشآهذ پشتبة ػٌِّب ًبػبصگبسًذ‪ ،‬كشهی ًِ دس تؼشیق هؼئلِ كؼلی هب ًیض‬ ‫) (‬ ‫)‬
‫كذم هیًٌذ‪.‬‬

‫هـبثِ گزؿتِ‪ً ،‬بس ثب لگبسیتن هحتول ثَدى ساحتتش اص خَد هحتول ثَدى اػت پغ داسین‪:‬‬

‫∑‬ ‫) (‬ ‫(‬ ‫( )‬ ‫)) (‬ ‫(‬ ‫)‬

‫ساثٌِی ‪ً 6.13‬ویتی سا ًـبى هیدّذ ًِ ثشای پیذا ًشدى هحتولتشیي كشهیِ دس تؼشیق هؼئلِی كؼلی هبًضیون هیًٌ ین‪ .‬ای ي ًتید ِ هـ بثِ‬
‫ًتیدِی هجلی هب دس هیٌیون ًشدى هدوَع خٌبی هشثؼی هحتولتشیي كشهیِ دس تؼشیق هؼئلِی هجلی اػت‪ .‬ثِ ؿ جبّت ث یي ساثٌ ِی ‪ٍ 6.13‬‬
‫ًِ دس كلل ‪ 3‬آهذ تَخِ ًٌیذ‪ .‬ثخبًش ایي ؿجبّت‪ ،‬هشیٌِی ػجبست ثبال گبّی آًتشٍپی دٍسگ ِ‪ً 1‬بهی ذُ‬ ‫∑‬ ‫كشم ًلی تبثغ آًتشٍپی‬
‫هیؿَد‪.‬‬

‫‪ 6.5.6‬شیب ًسٍل برای پیذا کردى هحتولتریي فرضیه در یک شبکهی عصبی‬

‫دس ثبال ًـبى دادین ًِ ثب هبًضیون ًشدى ًویت ساثٌِی ‪ 6.13‬هحتولتشیي كشهیِ ثذػت خَاّذ آهذ‪ .‬ثیبییذ ایي ًوی ت سا ث ب اختل بس )‪G(h,D‬‬
‫ًـبى دّین‪ .‬دس ایي ثخؾ هبًًَی ثشای آهَصؽ ٍصىّب‪ 2‬ثشای ؿجٌِ ّبی ػلجی ثذػت خَاّین آٍسد ًِ )‪ G(h,D‬سا تَػ ي سٍؽ ؿ یت ً ضٍل‬
‫هبًضیون هیًٌذ‪.‬‬

‫ّوبى ًَس ًِ دس كلل ‪ً 4‬یض ثحث ؿذ‪ ،‬گشادیبى )‪ G(h,D‬تَػي ثشداس هـتنّبی خضئ ی )‪ً G(h,D‬ؼ جت ث ِ ٍصىّ بی هختل ق ؿ جٌِ ً ِ‬
‫كشهیِی ‪ h‬سا هـخق هیًٌذ ایدبد هیؿَد اثشای تَهیح ًبهل دسثبسُی خضئیبت خؼتدَی ؿیت ًضٍل ٍ ٍاطگبى ثٌبس سكتِ ثِ كلل ‪ 4‬هشاخؼِ‬
‫ًِ اص ٍاحذ ‪ k‬ام ثِ ٍاحذ ‪ j‬ام اػت ثِ كشم صیش اػت‪:‬‬ ‫ًٌیذ)‪ .‬دس ایي هؼوت‪ ،‬هـتن خضئی )‪ً G(h,D‬ؼجت ثِ ٍصى‬

‫‪1‬‬
‫‪cross entropy‬‬
‫‪2‬‬
‫‪weight training‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫)‬ ‫(‬ ‫)‬ ‫) (‬

‫∑‬
‫) (‬

‫(‬ ‫) (‬ ‫(‬ ‫( )‬ ‫))) (‬ ‫) (‬

‫∑‬
‫) (‬

‫) (‬ ‫) (‬
‫∑‬ ‫(‬ ‫)‬
‫() (‬ ‫)) (‬

‫ثشای ػبدُ ًگِ داؿتي هحبػجبت‪ ،‬كشم ًٌیذ ًِ ؿجٌِی ػلجی هب اص یي الیِ ٍاحذ ػیگوَیذ تـٌیل ؿذُ ٍ دس ایي حبلت داسین ًِ‬

‫) (‬
‫) (𝜎‬ ‫() (‬ ‫)) (‬

‫‪ k ،‬اهیي ٍسٍدی ثِ ٍاحذ ‪ j‬ثشای ‪ i‬اهیي ًوًَِی آهَصؿی اػت‪ σ’(x) ٍ ،‬هـتن تبثغ ػیگوَیذ اػت اثِ كلل ‪ 4‬سخَع ًٌیذ)‪.‬‬ ‫دس ایي ساثٌِ‬
‫ثبالخشُ‪ ،‬ایي ساثٌِ سا دس ساثٌِی ‪ 6.14‬خبیگزاسی هیًٌین ٍ ساثٌِ ای ثشای هؤللِ ّبی گشادیبى ثذػت ‌‬
‫هیآٍسین‪،‬‬

‫(‬ ‫)‬
‫(∑‬ ‫)) (‬

‫چَى ثیـتش ثِ دًجبل هبًضیون )‪ّ P(D|h‬ؼتین تب هیٌیون ثِ خبی ؿیت ًضٍل اص خؼتدَی ؿیت كؼَد‪ 1‬اػتلبدُ هیًٌین‪ .‬دس ّش حلو ِ خؼ تدَ‬
‫ثشداس تَػي هبًَى صیش ثِ ػوت گشادیبى تلحیح هیؿَد‪.‬‬

‫ًِ داسین‪،‬‬

‫(∑‬ ‫)) (‬ ‫(‬ ‫)‬

‫ٍ دس ایي ساثٌِ ًیض ‪ η‬هوذاس ًَچي ٍ هثجت اػت ًِ اًذاصُی هذمّب دس خؼتدَی ؿیت كؼَد سا هـخق هیًٌذ‪.‬‬

‫خبلت اػت ًِ ایي هبًَى تـییش ٍصىّب سا ثب هبًَى تـییش ٍصى الگَسیتن ‪ ًِ Backpropagation‬هدوَع خٌبی هشثؼی ثیي پیؾ ثیٌی ٍ هوذاس‬
‫اكلی سا هیٌیون هیًشد هوبیؼِ ًٌین‪ .‬هبًَى تـییش ٍصى ثشای ٍاحذ ّبی خشٍخی دس ‪ Backpropagation‬ثب ًـبًِ گزاسی ایي كلل ثِ ؿٌل‬
‫صیش اػت‪،‬‬

‫‪1‬‬
‫‪gradient ascent‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًِ دس آى‬

‫() ( ∑‬ ‫()) (‬ ‫)) (‬

‫() ( ًِ اص تبثغ ػیگوَیذ ًبؿی ؿذُ ًبهالً ؿجیِ ساثٌِی ‪ 6.15‬اػت‪.‬‬ ‫تَخِ داسیذ ًِ ایي ساثٌِ خض دس خولِی )) (‬

‫خالكِ ایٌٌِ‪ ،‬ایي دٍ هبًَى تـییش ٍصى ّش دٍ دس تؼشیق هؼئلِی خَدؿبى ثِ ػوت هحتولتشیي كشهیِ ّوگشا هیؿ ًَذ‪ .‬ه بًًَی ً ِ هدو َع‬
‫خٌب ّبی هشثؼی سا هیٌیون هیًٌذ ثب كشم ایٌٌِ خٌب ّبی دادُ ّبی آهَصؿی سا هیتَاى ثب تَصیغ ًشهبل هذل ػبصی ًشد ثِ دًجبل هحتو لت شیي‬
‫كشهیِ هیگشدد‪ .‬هبًًَی ًِ آًتشٍپی دٍسگِ سا هیٌیون هیًٌذ ثب كشم ایٌٌِ هوبدیش هٌٌوی هـبّذُ ؿذُ احتوبلی اٍ ًِ هٌؼی) ّؼ تٌذ ث ِ دًج بل‬
‫هحتولتشیي كشهیِ ثشای تبثغ پیؾ ثیٌی احتوبل ثش حؼت ًوًَِّب هیگشدد‪.‬‬

‫‪6‬‬
‫‪ 1.1‬قاًَى کوتریي طَل تَضیح‬
‫ثب تَخِ ثِ آًچِ دس كلل ‪ 3‬دسثبسُی تیؾ ‪ Ocam‬گلتِ ؿذ‪ ،‬یي ثبیبع اػتوشایی هتذاٍل‪ ،‬ثِ ك شم "تَه یحی ً ِ ًَت بُ ت ش اػ ت سا دس ه َسد‬
‫دادُ ّبی هـبّذُ ؿذُ هجَل ًي" اػت‪ .‬دس آى كلل دسثبسُی هشس ّبی تَهیحبت ثلٌذ ثب تَخِ ثِ تیؾ ‪ Ocam‬اػ تذالل ً شدین‪ .‬دس ایٌد ب ث ب‬
‫دیذی ثیضی ثِ ایي هَهَع هیپشداصین ٍ هبًًَی هـبثِ ثِ ًبم هبًَى ًوتشیي ًَل تَهیح )‪ (MDL‬سا ثشسػی خَاّین ًشد‪.‬‬

‫ثب هلبّین اٍلیِی تئَسی اًالػبت اػت‪ .‬دٍث بسُ تؼشی ق ً ِ چٌ ذاى ًبآؿ ٌبی‬ ‫اًگیضُی ایدبد هبًَى ًوتشیي ًَل تَهیح تلؼیش تؼشیق‬
‫سا ثِ خبًش ثیبٍسیذ‪.‬‬

‫) ( ) | (‬

‫آى ًیض ًـبى داد‪،‬‬ ‫ایي ساثٌِ سا هیتَاى ثِ كَست هؼبدل ثب‬

‫) | (‬ ‫) (‬ ‫(‬ ‫)‬

‫خبلت اػت ًِ ساثٌِی ‪ 6.16‬سا هیتَاى ًَسی تلؼیش ًشد ًِ كشهیِ ّبی ًَتبُتش اسخحتشًذ‪ ،‬ثب كشم ایٌٌِ یي ًشح ًوبیؾ خبف ث شای ً ذ‬
‫ًشدى كشهیِّب ٍ دادُّب اػتلبدُ ًٌین‪ .‬ثشای تَهیح ایي‪ ،‬ثیبییذ اثتذا یي ًتیدِی اػبػی تئَسی اًالػبت سا هؼشكی ًٌین‪ :‬هؼئلِی ًشاحی ًذی‬
‫اػت سا دس ًظش ثگیشیذ‪ .‬دس ایٌدب ػالهِی هب ثِ كـشدُتشیي ًذ هوٌ ي‬ ‫ثشای اسػبل پیبمّبی تلبدكی‪ ،‬سا ًِ دس آى احتوبل اسػبل پیبم ‪ i‬هوذاس‬
‫اػت؛ ثِ ػجبست دیگش ػالهِی هب ثِ ًذی اػت ًِ اهیذ تؼذاد ثیتّبیی ًِ ثبیذ اسػبل ؿًَذ تب یي پیبم تل بدكی كشػ تبدُ ؿ َد هیٌ یون ًٌ ذ‪.‬‬
‫ٍاهح اػت ًِ ثشای هیٌیون ًشدى اهیذ ًَل ًذ اسػبلی ثبیذ ًذ ّبی ًَتبُ تش سا ثِ پی بمّ بیی اختل بف دّ ین ً ِ احتو بل ثیـ تشی داسً ذ‪.‬‬
‫)‪ً (Shannon and Weaver 1949‬ـبى دادًذ ًِ ًذ ثْیٌِ اًذی ًِ اهیذ تؼ ذاد ثی تّ بی اسػ بلی سا هیٌ یون ه یًٌ ذ) ث ِ پی بم ‪،i‬‬
‫ثیت ثشای ًذ ًشدى اختلبف هیدّذ‪ .‬ثِ ایي تؼذاد ثیت ًِ ثشای ًذ ًشدى پیبم ‪ i‬تَػي ًذ ‪ C‬الصم اػت ً َل تَه یح پی بم ‪ i‬ث ش‬
‫آىسا ًـبى هیدٌّذ‪.‬‬ ‫اػبع ‪ً C‬یض هیگَیٌذ ٍ ثب ) (‬

‫‪1‬‬
‫‪Minimum description length‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثیبییذ حبال ساثٌِی ‪ 6.16‬سا ثب تَخِ ثِ ًتیدِی ثبال اص تئَسی ًذ ػبصی ثشسػی ًٌین‪.‬‬

‫اًذاصُی تَهیح ‪ h‬ثش اػبع ًذ ثْیٌِی توبهی كوبی كشهیِ ای ‪ H‬اػت‪ .‬ثِ ػجبست دیگ ش‪ ،‬ای ي هو ذاس اً ذاصُی‬ ‫) (‬ ‫‪‬‬
‫ًذ‬ ‫‪ ِ ً ،‬دس آى‬ ‫) (‬ ‫تَهیحبت كشهیِی ‪ h‬ثب اػتلبدُ اص ًوبیؾ ثْیٌِ اػت‪ .‬دس ًوبد گزاسی كؼل ی ) (‬
‫ثْیٌِ ثشای ًذ ًشدى كوبی كشهیِ ای ‪ H‬اػت‪.‬‬
‫اًذاصُی تَهیح دادُ ّبی آهَصؿ ی ‪ D‬ث ب هؼل َم ث َدى ‪ h‬تَػ ي ً ذ ثْیٌ ِ اػ ت‪ .‬دس ًو بد گ زاسی كؼل ی‬ ‫) | (‬ ‫‪‬‬
‫ًذ ثْیٌِ ثشای تَهیح دادُ ّبی ‪ D‬ثب كشم ایٌٌِ كشػ تٌذُ ٍ گیشً ذُ‬ ‫|‬ ‫‪ ًِ ،‬دس آى‬ ‫|‬
‫) | (‬ ‫) | (‬
‫ّش دٍ هٌلغ اص ‪ّ h‬ؼتٌذ اػت‪.‬‬
‫كشهیِ ای هثل ‪ h‬اػت ًِ هدوَع ً َل‬ ‫ثبصًَیؼی ًٌین ٍ ثگَیین‬ ‫ثٌبثشایي هیتَاًین ساثٌِی ‪ 6.16‬سا ثشای تؼشیق‬ ‫‪‬‬
‫تَهیحبت كشهیِّب ثِ ػالٍُی ًَل تَهیحبت دادُّب ثب هؼلَم ثَدى كشهیِ سا هیٌیون هیًٌذ‪.‬‬
‫) (‬ ‫|‬
‫) | (‬

‫ثِ تشتیت ًذ ّبی ثْیٌِ ثشای ‪ D ٍ H‬ثب هؼلَم ثَدى ‪ّ h‬ؼتٌذ‪.‬‬ ‫|‬ ‫ٍ‬ ‫دس ایي ساثٌِ‬

‫هبًَى ًوتشیي ًَل تَهیح )‪ (MDL‬تَكیِ هیًٌذ ًِ كشهیِّبیی سا اًتخبة ًٌین ًِ هدوَع ایي دٍ ًَل تَهیح سا حذاهل ًٌٌذ‪ .‬الجتِ ث شای‬
‫ثٌبس ثشدى ایي هبًَى دس ػول ثبیذ ًذ ػبصی یب ًوبیؾ خبكی سا ًِ ثب ػول یبدگیشی هتٌبػت اػت اًتخبة ًٌین‪ .‬ثب كشم ایٌٌِ هب اص ً ذ ّ بی‬
‫ثشای ًوبیؾ كشهیِّب ٍ دادُّب ثب هؼلَم ثَدى كشهیِ اػتلبدُ هیًٌین‪ ،‬هیتَاى ‪ MDL‬سا ثِ كَست صیش ثیبى ًشد‪،‬‬ ‫ٍ‬

‫سا اًتخبة ًي‪،‬‬ ‫قاوًن‌کمتریه‌طًل‌تًضیح‪ :‬كشهیِی‬

‫) (‬ ‫) | (‬ ‫(‬ ‫)‬

‫‪ ،‬اًتخبة ًٌین‬ ‫|‬ ‫سا ثشای ًذ ػبصی ثْیٌِی دادّب‪،‬‬ ‫‪ٍ،‬‬ ‫سا ثشای ًذ ػبصی ثْیٌِی كشهیِّب‪،‬‬ ‫ثشسػی ثبال ًـبى هیدّذ ًِ اگش هب‬
‫‪.‬‬ ‫داسین‬

‫ثِ كَست هلَْهی‪ ،‬هیتَاى ثِ هبًَى ‪ MDL‬ثِ كشم تشخیح هتذ ّبی ًَتبُتش ثشای ًذ ػبصی دٍثبسُی دادُ ّبی آهَصؿی ًگبُ ًشد ًِ دس آى ّش‬
‫دٍ هؼیبس اًذاصُی كشهیِ ٍ ّضیٌِی اهبكی ًذ ػبصی دادُّب ثِ ؿشى هؼلَم ثَدى كشهیِ دس ًظش گشكتِ هیؿَد‪.‬‬

‫ثیبییذ هثبلی سا دس ًظش ثگیشین‪ .‬كشم ًٌیذ هلذ داسین اص هبًَى ‪ MDL‬ثشای هؼئلِی ی بدگیشی دسخ تّ بی تل وین اص دادُ ّ بی آهَصؿ یای‬
‫ه یت َاى ث ِ ً َس ًجیؼ ی یٌ ی اص ً ذ‬ ‫چِ ًوبیـی سا ثبیذ دس ًظش ثگیشین؟ ث شای‬ ‫ٍ دادُ ّبی‬ ‫اػتلبدُ ًٌین‪ .‬ثشای ًوبیؾ كشهیِ‬
‫ػبصیّبی ٍاهح دسخت تلوین‪ ًِ ،‬دس آى ًَل تَهیح ثب اكضایؾ تؼذاد گشُ ّبی دسخت ٍ تؼذاد یبلّب اك ضایؾ ه ییبث ذ سا اًتخ بة ً شد‪ .‬اه ب‬
‫سا ًذ ًشد‪ .‬ثشای ػبدُ ًگِ داؿتي هَهَع‪ ،‬كشم ًٌیذ ًِ ػشی‬ ‫چگًَِ ثبیذ ثب هؼلَم ثَدى یي دسخت كشهیِی خبف هدوَػِی دادُ ّبی‬
‫ث شای كشػ تٌذُ ٍ گیشً ذُ هؼل َم ثبؿ ذ‪ ،‬پ غ تٌْ ب چی ض ثبهیوبً ذُ ث شای اسػ بل دػ تِ ثٌ ذیّ بی‬ ‫ًوًَ ِ ّ بی‬
‫اػت‪ .‬اتَخِ داسیذ ًِ ّضیٌِی اسػبل خَد ًوًَِّب اص دسػتی كشهیِ هؼتول اػت‪ ،‬پغ ث ِ ّ ش ح بل ت أثیشی ث ش‬ ‫) (‬ ‫(‬ ‫)‬
‫ّوبى پیؾ ثیٌ یّ بی كشه یِ ثبؿ ذ‪ ،‬دیگ ش ًی بصی ث ِ اسػ بل‬ ‫) (‬ ‫(‬ ‫)‬ ‫ًذاسد)‪ .‬حبل اگش دػتِ ثٌذیّبی‬ ‫اًتخبة‬
‫اًالػبت دس هَسد ًوًَِّب ًیؼت اگیشًذُ هیتَاًذ ایي هوبدیش سا ثب كشهیِ ای ًِ دسیبكت ًشدُ هحبػجِ ًٌذ)‪ .‬پغ ثٌبثشایي ًَل تَه یحبت الصم‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب داؿتي كشهیِ دس ایي حبلت كلش اػت‪ .‬دس چٌیي ؿشایٌی اگش ًوًَِّبیی تَػي ‪ h‬اؿتجبُ دػتِ ثٌذی ؿذُ ثبؿٌذ‪ ،‬الصم اػت پیـ بهی هجٌ ی ث ش‬
‫ثیت خَاّذ ثَد) سا ثِ ّوشاُ دػتِ ثٌذی دسػت آىّب اسػبل ًٌین اای ي ً بس سا‬ ‫دػتِ ثٌذی اؿتجبُ ایي ًوًَِّب اًَل ایي پیـبم حذاًثش‬
‫اًدبم داد ًِ دس آى ‪ k‬تؼذاد دػتِ ثٌذیّبی هوٌي ّش ًوًَِ اػ ت)‪ .‬دس چٌ یي ؿ شایٌی كشه یِی‬ ‫هیتَاى ثب پیـبهی ثب حذاًثش ًَل‬
‫كشهیِ ای اػت ًِ ًوتشیي هدوَع ًَل تَهیح سا الصم داؿتِ ثبؿذ‪.‬‬ ‫ٍ‬ ‫تحت ًذ ػبصی‬

‫ثٌبثشایي هبًَى ‪ MDL‬ساّی ثشای اسصیبثی پیچیذگی كشهیِّب ثب تؼذاد اؿتجبُ ّبی كشهیِ اسائِ هیًٌذ‪ .‬هوٌي اػت ایي هؼیبس كشهیِ ای ًَتبُت ش‬
‫سا ًِ اؿتجبّبت ًوی داسد سا ًؼجت ثِ یي كشهیِ ثلٌذ تش ًِ اؿتجبّی ًذاسد تشخیح دّذ‪ MDL .‬اص ایي ًظ ش‪ ،‬هت ذی هٌبػ ت ث شای ثشخ َسد ث ب‬
‫هؼئلِی ‪ overfit‬اػت‪.‬‬

‫)‪ (Quinlar and Rivest 1989‬آصهبیـبتی سا ثب اػتلبدُ اص هبًَى ‪ MDL‬ثشای تـخیق ثْتشیي اًذاصُی دسخت تلوین اًدبم دادُاًذ‪ .‬آىّب‬
‫گضاسؽ دادُاًذ ًِ هتذ هجتٌی ثش ‪ MDL‬دسختّبیی سا ایدبد هیًٌذ ًِ دهتی هبثل هوبیؼِ ثب دسختّبی خشٍخی الگَسیتنّ بی كل ل ‪ 3‬داسً ذ‪.‬‬
‫)‪ً (Mehta et al. 1995‬یض سٍؽ دیگشی هجتٌی ثش ‪ MDL‬ثشای ّشع دسخت تلوین اسائِ هیًٌذ ٍ آصهبیؾّبیی سا تـشیح ً شدُ ً ِ دس‬
‫آى سٍؽ هجتٌی ثش ‪ً MDL‬تبیح هبثل هوبیؼِ ای ثب سٍؽّبی هؼوَل سا هیدّذ‪.‬‬

‫چِ ًتیدِ گیشیای سا ثبیذ اص ثشسػی هبًَى ًوتشیي ًَل تَهیح ثگیشین؟ آیب ایي اثجبتی ثش ایي ًِ توبهی كشهیِ ّبی ًَتبُتش اسخحٌذ اػت؟ خیش‪.‬‬
‫ثبؿذ ٍ اگش ً ذ ػ بصی اػ تثٌب ث ِ‬ ‫ثلٌِ هب اثجبت ًشدین ًِ اگش ًوبیؾ كشهیِ ًَسی اًتخبة ؿَد ًِ ًذ ػبصی كشهیِی ‪( ) ،h‬‬
‫‪ ،‬آًگبُ هبًَى ‪ MDL‬كشهیِ ای ‪ MAP‬خشٍخ ی خَاّ ذ داد‪ .‬ث ب ای ي‬ ‫گًَِ ای ثبؿذ ًِ ًَل ًذ ‪ D‬ثب ؿشى هؼلَم ثَد ‪( | ) ،h‬‬
‫ٍخَد‪ ،‬ثشای ًـبى دادى ثشهشاسی چٌیي ؿشًی ثبیذ توبهی احتوبالت اٍلیِی )‪ P(D|h) ٍ P(h‬سا داؿتِ ثبؿین‪ّ .‬ی دلیلی ثشای ایي ٍخَد ً ذاسد‬
‫ثش هشاس اػت‪ .‬هوٌي گبّی ثشای ًشاح اًؼ بًی هـ خق ً شدى ًوبیـ ی‬ ‫ٍ‬ ‫ًِ ثبٍس داؿتِ ثبؿین ًِ ‪ MDL‬ثشای ّش ًذ ػبصی دلخَاُ‬
‫خبف ثشای داًؾ دس هَسد احتوبالت ًؼجی كشهیِّب ساحتتش اص ًوبیؾ ًبهل احتوبل دهین ّش یي اص كشهیِّب ثبؿذ‪ .‬تَكیلبت ثِ ً بس سكت ِ دس‬
‫سا تَخیِ هیًٌذ‪.‬‬ ‫ٍ‬ ‫ادثیبت ًبسثشد ‪ MDL‬دس هؼبئل یبدگیشی ًبسثشدی گبّی ؿبهل هؼیبسّبیی هیؿَد ًِ كشم خبكی اص ًذ ػبصی‬

‫‪6‬‬
‫‪ 1.6‬دستِ بٌذی کٌٌذُی بْیٌِی بیز‬
‫تب ایٌدب ثِ ػؤال "هحتولتشیي كشهیِ ثب داؿتي دادُ ّبی آهَصؿی ًذام اػت؟" پشداختین‪ ،‬دس ٍاهغ‪ ،‬ایي ػؤال ثیـتش ؿجیِ ایي ػ ؤال اػ ت ً ِ‬
‫"هحتولتشیي دػتِ ثٌذی ًٌٌذُ ًوًَِ ّبی خذیذ ثب داؿتي دادُ ّبی آهَصؿی ًذام اػت؟"‪ .‬ثب ٍخَد ایٌٌِ هوٌي اػت ثِ ًظ ش ثشػ ذ ً ِ ای ي‬
‫ػؤال دٍم سا هیتَاى ثب اػوبل كشهیِی ‪ MAP‬ثِ ًوًَِ ّبی خذیذ خَاة داد‪ً ،‬بسی ثْتش هوٌي اػت‪.‬‬

‫سا ؿبهل هیؿَد‪ .‬كشم ًٌیذ ً ِ احتو بل ثبًَی ِی ای ي‬ ‫ٍ‬ ‫‪،‬‬ ‫ثشای ایدبد ؿَْد كوبی كشهیِ ای سا دس ًظش ثگیشیذ ًِ ػِ كشهیِی‬
‫كشهیِی ‪ MAP‬اػت‪ .‬حبل كشم ًٌیذ ًِ ًوًَِی خذیذ ‪ x‬ثِ هب دادُ‬ ‫كشهیِ ثب دادُ ّبی آهَصؿی ثِ تشتیت ‪ .3 ٍ .3 ٍ .4‬اػت‪ .‬ثٌبثشایي‪،‬‬
‫هٌلی دػتِ ثٌذی هیؿَد‪ .‬ثب دس ًظش گشكتي توبهی كشهیِّب ًوًَِی ‪ x‬ثِ احتو بل‬ ‫ٍ‬ ‫هثجت ٍ تَػي دٍ كشهیِی‬ ‫هیؿَد ًِ تَػي‬
‫)‪ ٍ ،‬ثِ احتوبل ‪ .6‬هٌلی اػت‪ .‬هحتولتشیي دػتِ ثٌذی اهٌل ی) دس ای ي هث بل ث ب دػ تِ ثٌ ذی‬ ‫‪ .4‬هثجت اػت ااحتوبل هشثَى ثِ كشهیِی‬
‫‪ MAP‬هتلبٍت اػت‪.‬‬

‫‪1‬‬
‫‪bayes optimal classifier‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس ًل هحتولتشیي دػتِ ثٌذی ًوًَِی خذیذ اص تشًیت پیؾ ثیٌیّبی ّوِی كشهیِّب ثذػت هیآیذ‪ ،‬كوي ّ ش كشه یِ ث ِ اً ذاصُی احتو بل‬
‫ػوَ هدوَػِی ‪ V‬ثبؿ ذ‪ ، ( | ) ،‬احتو بل ایٌٌ ِ‬ ‫ثبًَیِاؽ دس ایي دػتِ ثٌذی تأثیش گزاس اػت‪ .‬اگش دػتِ ثٌذی هوٌي ًوًَِی خذیذ‬
‫ثشای ًوًَِی خذیذ دسػت ثبؿذ ثِ كَست صیش اػت‪،‬‬ ‫دػتِ ثٌذی‬

‫) | (‬ ‫∑‬ ‫) | ( ) | (‬

‫اػت ًِ ثب آى ) | ( هبًضیون هی ؿَد‪،‬‬ ‫دػتِ ثٌذی ی ثْیٌِی ًوًَِی خذیذ هوذاس‬

‫ىٍی‌بیز‪‌ :‬‬
‫دستٍ‌بىدی ی‌بهی ‌‬

‫) | ( ) | ( ∑‬ ‫(‬ ‫)‬

‫اػت ٍ‬ ‫*‬ ‫ثشای ؿَْد دس هثبل ثبال‪ ،‬هدوَػِی دػتِ ثٌذیّبی ًوًَِی خذیذ ‪+‬‬

‫) | (‬ ‫(‬ ‫) |‬ ‫(‬ ‫) |‬

‫(‬ ‫) |‬ ‫(‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫(‬ ‫) |‬ ‫(‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫ثٌبثشایي‪،‬‬

‫( ∑‬ ‫) | ( ) |‬

‫( ∑‬ ‫) | ( ) |‬

‫ٍ‬

‫) | ( ) | ( ∑‬
‫*‬ ‫‪+‬‬

‫ّش ػیؼتوی ًِ ًوًَِ ّبی خذیذ سا ثب ساثٌِی ‪ 6.18‬دػتِ ثٌذی ًٌذ دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض‪ 1‬یب یبدگیش ثْیٌِی ثیض‪ً 2‬بهی ذُ ه یؿ َد‪.‬‬
‫ّی هتذ دػتِ ثٌذی دیگشی ثب ّوبى كوبی كشهیِ ای ٍ ّوبى داًؾ اٍلیِ ًویتَاًذ ثِ ًَس هتَػي ثبصدُ ثْتشی داؿتِ ثبؿذ‪ .‬ایي هت ذ احتو بل‬
‫ایٌٌِ ًوًَِی خذیذ دسػت دػتِ ثٌذی ؿَد سا ثب هؼلَم ثَدى دادُ ّبی هَخَد ٍ كوبی كشهیِ ای احتوبالت اٍلیِی كشهیِّب حذاًثش هیًٌذ‪.‬‬

‫‪1‬‬
‫‪Bayes optimal classifier‬‬
‫‪2‬‬
‫‪Bayes optimal learner‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای هثبل دس یبدگیشی هلبّین حویوی هوذاس ثب اػتلبدُ اص كوبی ٍیظُ‪ّ ،‬وبى ًَس ًِ دس هؼوت هجلی ّن گلتِ ؿ ذ‪ ،‬دػ تِ ثٌ ذی ثْیٌ ِی ثی ض‬
‫ًوًَِ ّبی خذیذ ثب دادى ٍصى ااحتوبل ثبًَیِی كشهیِ) ٍ سای گیشی ثیي اػوبی كوبی ٍیظُ اًدبم هیگشكت‪.‬‬

‫یٌی اص ٍیظگیّبی ػدیت دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض ایي اػت ًِ پیؾ ثیٌیّبیی ًِ اًدبم هیدّذ هوٌي اػ ت كشه یِ ای سا تـ ٌیل‬
‫دّذ ًِ حتی دس ‪ H‬هَخَد ًیؼت‪ .‬تلَس ًٌیذ ًِ اص ساثٌِی ‪ 6.18‬ثشای دػتِ ثٌذی توبهی ًوًَِ ّبی ‪ X‬اػ تلبدُ ً شدُای ن‪ .‬ای ي دػ تِ ثٌ ذی‬
‫ًوًَِّب ًِ ثذیي كَست تؼشیق هیؿَد الضاهبً ثب كشهیِ ای هثل ‪ h‬دس ‪ H‬ػبصگبس ًیؼت‪ .‬یٌی اص سٍؽّبی ًگبُ ثِ ایي ٍهؼیت تلَس دػتِ ثٌذی‬
‫ًٌٌذُ ثْیٌِی ثیض ثِ ػٌَاى ػبهلی اػت ًِ كوبی كشهیِ ای ’‪ H‬سا ثِ ًشص هَثشی‪ ًِ ،‬ثب كوبی كشهیِ ای ‪ H‬اًِ هو یِ ثی ض سٍی آى اػو بل‬
‫ؿذُ) كشم داسد‪ ،‬دس ًظش هیگیشد‪ .‬دس ًل‪ H’ ،‬ثِ كَست هَثش كشهیِّبیی ًِ هوبیؼِ ای خٌی ثیي تشًیجبت پیؾ ثیٌیّبی كشهیِ ّبی هختل ق‬
‫‪ H‬هیًٌٌذ سا ؿبهل هیؿَد‪.‬‬

‫‪ 1.6‬الگَریتن گیبس‬
‫ثب ٍخَد ایٌٌِ دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض ثْتشیي ػولٌشد هوٌي سا ثب داؿتي دادُ ّبی آهَصؿی داسد‪ ،‬اهب اػو بل آى ّضیٌ ِ ث ش اػ ت‪ .‬ای ي‬
‫ّضیٌِ دس هحبػجِی احتوبل ثبًَیِی توبهی كشهیِ ّبی ‪ ٍ H‬تشًیت پیؾ ثیٌیّبیـبى ثشای ّش ًوًَِی خذیذ اػت‪.‬‬

‫یي سٍؽ خبیگضیي‪ٍ ،‬لی ًوتش ثْیٌِ الگَسیتن گیجغ اسخَع ًٌیذ ثِ ‪ )Opper and Haussler 1991‬اػت‪ ًِ ،‬ث ِ ك َست صی ش تؼشی ق‬
‫هیؿَد‪:‬‬

‫‪ .1‬كشهیِ ای هثل ‪ h‬اص ‪ H‬ثِ ًَس تلبدكی ٍ ثب تَصیغ احتوبالت ثبًَیِ اًتخبة ًي‪.‬‬
‫‪ .2‬اص ‪ h‬ثشای دػتِ ثٌذی ًوًَِی خذیذ ثؼذی اػتلبدُ ًي‪.‬‬
‫صهبًی ًِ ًوًَِی خذیذی ثشای دػتِ ثٌذی اسائِ هیؿَد‪ ،‬الگَسیتن گیجغ ثِ ػبدگی كشهیِ ای ثِ ًَس تل بدكی ٍ ث ب تَصی غ احتو بالت ثبًَی ِ‬
‫اًتخبة هیًٌذ ٍ دػتِ ثٌذی آىسا ثِ ػٌَاى خشٍخی هیدّذ‪ .‬خبلتتش ایٌٌِ‪ ،‬هیتَاى ًـبى داد ًِ دس ؿشایٌی اهیذ تؼذاد دػتِ ثٌذیّ بی ؿل ي‬
‫ایي الگَسیتن حذاًثش دٍ ثشاثش اهیذ خٌبی دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض اػت )‪ .(Haussler 1994‬ثِ ػجبست دهی نت ش‪ ،‬هو ذاس اهی ذ ث شای‬
‫توبهی هلبّین ّذف تلبدكی ٍ تَصیغ احتوبل اٍلیِی یبدگیش هحبػجِ ؿذُ‪ .‬دس چٌیي ؿشایٌی‪ ،‬هوذاس اهیذ خٌبی الگَسیتن گیجغ دٍ ثشاثش ثذ ت ش اص‬
‫هوذاس اهیذ خٌبی دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض اػت‪.‬‬

‫ایي ًتیدِ هؼٌبی خبلجی دس هؼبئل یبدگیشی هلَْم ًِ هجالً دس هَسدؿبى ثحث ًشدین داسد‪ .‬دس ًل‪ ،‬ایي ًتید ِ ًـ بى ه یدّ ذ ً ِ اگ ش ی بدگیش‬
‫احتوبالت اٍلیِ ‪ H‬سا یٌؼبى كشم ًٌذ‪ ٍ ،‬هلبّین ّذف ًیض دس ٍاهغ ثب چٌیي احتوبلی اًتخبة ؿًَذ‪ ،‬آًگبُ دػتِ ثٌذی ًوًَِی ثؼذی ثب كشهیِ ای‬
‫ًِ ثِ ًَس تلبدكی اص كوبی ٍیظُ اًتخبة هیؿَد اثب تَصیؼی یٌٌَاخت)‪ ،‬حذاًثش دٍ ثشاثش اهیذ خٌبی دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض‪ ،‬اهیذ خٌ ب‬
‫خَاّذ داؿت‪ .‬دٍثبسُ‪ ،‬ثب ًوًَِ ای اص ثشسػی ثیضی یي الگَسیتن ؿیش ثیضی ًشف ّؼتین ًِ ایي ثشسػی هیضاى ً بسایی آى الگ َسیتن سا هـ خق‬
‫هیًٌذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.6‬دستِ بٌذی کٌٌذُی سادُی بیز‬

‫یٌی اص هتذ ّبی پش ًبسثشد یبدگیشی ثیضی‪ ،‬یبدگیش ػبدُی ثیض‪ 1‬اػت ًِ هؼوَالً دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض‪ً 2‬یض ًبهیذُ ه یؿ َد‪ .‬دس ثؼو ی‬
‫ًبسثشدّب ًبسایی ایي هتذ هبثل هوبیؼِ ثب ؿجٌِ ّبی ػلجی ٍ یبدگیشی دسختی اػت‪ .‬دس ایي ثخؾ دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض سا هَسد ثح ث‬
‫ٍ ثشسػی هشاس هیدّین ٍ دس ثخؾ ثؼذی آىسا دس هؼئلِ یبدگیشیای ٍاهؼی دػتِ ثٌذی هتَى صثبىّبی ًجیؼی ثِ ًبس هیثشین‪.‬‬

‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض دس ًبس ّبی یبدگیشیای ثِ ًبس هیسٍد ًِ دس آى ‪ x‬ثب ػٌلی اص هوبدیش ٍیظگیّب هـخق هیؿ َد ٍ ت بثغ ّ ذف‬
‫)‪ f(x‬هیتَاًذ ّش هوذاس اص هدوَػِی ‪ V‬ثبؿذ‪ .‬هدوَػِ ای اص ًوًَِ ّبی آهَصؿی تبثغ ّذف ٍ ًوًَِ ای خذیذ ًِ ثب ٍیظگیّبیؾ تَكیق ؿ ذُ‬
‫ٍ اص آى خَاػتِ هیؿَد ًِ هوذاس تبثغ ّذف یب دػتِ ثٌذی تبثغ ّذف سا ثشای ایي ًوًَِی خذیذ‬ ‫ثِ یبدگیش دادُ هیؿَد‪،‬‬
‫پیؾ ثیٌی ًٌذ‪.‬‬

‫اػ ت ث ب داؿ تي ًوًَ ِ‌ّ بی‬ ‫سٍؽ ثیضی ثشای دػتِ ثٌذی ًوًَِی خذیذ‪ ،‬دػتِ ثٌذی آى ثش اػبع هحتولتشیي هو ذاس ت بثغ ّ ذف‪،‬‬
‫اػت‪.‬‬

‫| (‬ ‫)‬

‫ثب اػتلبدُ اص هویِی ثیض ایي ساثٌِ سا ثبصًَیؼی هیًٌین‪،‬‬

‫(‬ ‫) ( ) |‬
‫(‬ ‫)‬

‫(‬ ‫) ( ) |‬ ‫(‬ ‫)‬

‫حبل هیتَاًین دٍ ػجبست ساثٌِی ‪ 6.19‬سا ثش اػبع دادُ ّبی آهَصؿی تخویي ثضًین‪ .‬تخویي هوبدیش ) ( ثب ؿوبسؽ تؼذاد تٌشاس هوذاس ّ بی‬
‫( ث ذیي ك َست هوٌ ي‬ ‫ٍیظگی ّذف دس ثیي دادُ ّبی آهَصؿی ثؼیبس ػبدُ اػت‪ .‬ثب ایي ٍخَد‪ ،‬تخویي ػجبستی ثب ك شم ) |‬
‫ًیؼت‪ ،‬هگش ایٌٌِ هدوَػِی دادُ ّبی آهَصؿی هبى ثؼیبس ثضسٍ ثبؿذ‪ .‬هـٌل ایٌدبػ ت ً ِ تؼ ذاد ای ي چٌ یي ػج بستّ بیی هؼ بٍی تؼ ذاد‬
‫ًوًَِ ّبی هوٌي هشثذس تؼذاد هوبدیش هوٌي تبثغ ّذف اػت‪ .‬ثٌبثشایي الصم اػت ًِ ّش ًوًَِ هوٌي دس كوبی ًوًَِ ای چٌ ذیي ث بس هـ بّذُ‬
‫ؿَد تب تخویي احتوبل هبثل اًویٌبى ثبؿذ‪.‬‬

‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ثش اػبع یي كشم ػبدُ ػبصی اػت‪ ،‬هوذاس ٍیظگیّب ثب هؼلَم ثَدى هوذاس ّ ذف هؼ تولٌذ‪ .‬ث ِ ػج بست دیگ ش‪،‬‬
‫كو ي ٍاثؼ تِ ث ِ احتو بل ت ي ت ي ای ي‬ ‫كشمّبیی ًِ ثب داؿتي هوذاس ّذف ًوًَِ هیتَاى صد‪ ،‬احتو بل هـ بّذُی ػٌ ق‬
‫( ‪ .‬ثب خبیگزاسی ایي ساثٌِ دس ساثٌِی ‪ 6.19‬ثِ دػ تِ ثٌ ذی ًٌٌ ذُی ػ بدُی ثی ض‬ ‫) |‬ ‫∏‬ ‫ًوًَِّبػت‪( | ) :‬‬
‫هیسػین‪.‬‬

‫کىىدٌی‌سادٌ‌بیز‪‌ :‬‬
‫‌‬ ‫دستٍ‌بىدی‌‬

‫‪1‬‬
‫‪Naïve bayes learner‬‬
‫‪2‬‬
‫‪Naïve bayes classifier‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫) | ( ∏) (‬ ‫(‬ ‫)‬

‫ًوبد هوذاس ّذكی خشٍخی دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض اػت‪ .‬تَخِ داسیذ ًِ دس یي دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض تؼذاد‬ ‫دس ایي ساثٌِ‬
‫خوالت هتوبیض ) | ( هَخَد‪ ًِ ،‬ثبیذ ثش اػبع دادُ ّبی آهَصؿی تخویي صدُ ؿَد‪ ،‬هشة تؼذاد هوبدیش ٍیظگیّ ب ٍ تؼ ذاد هو بدیش ّ ذف‬
‫( ثؼیبس ًَچٌتش اػت‪.‬‬ ‫اػت‪ ،‬ایي ػذد دس ًگبُ اٍل‪ً ،‬ؼجت ثِ تؼذاد خوالت هوٌي ) |‬

‫ثِ ًَس خالكِ‪ ،‬هتذ یبدگیشی ػبدُی ثیض هشحلِ ای داسد ًِ دس آى خوالت هختلق ) | ( ٍ ) ( ثش اػبع تؼذاد تٌشاسؿ بى دس هی بى‬
‫ًوًَِ ّبی آهَصؿی تخویي صدُ هیؿًَذ‪ .‬هدوَػِی ایي تخویيّب تؼییي ًٌٌذُی كشهیِی تخویٌی خَاّذ ثَد‪ .‬ایي كشهیِ‪ ،‬ثشای دػ تِ ثٌ ذی‬
‫ّوبى دػتِ‬ ‫ًوًَِ ّبی خذیذ ساثٌِی ‪ 6.20‬سا ثٌبس خَاّذ ثؼت‪ّ .‬شگبُ ًِ كشم اػتوالل ؿشًی اسهب هیؿَد‪ ٍ ،‬دػتِ ثٌذی ػبدُی ثیض‬
‫ثٌذی ‪ MAP‬خَاّذ ثَد‪.‬‬

‫یٌی اص تلبٍتّبی خبلت دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ٍ دیگش هتذ ّبی یبدگیشی ثحث ؿذُ‪ ،‬ایي اػت ً ِ ای ي سٍؽ خؼ تدَیی ك شیح دس‬
‫هیبى كشهیِ ّبی هوٌي اًدبم ًویدّذ ادس چٌیي ؿشایٌی‪ ،‬كوبی كشهیِّب ّو بى كو بی هو بدیش هوٌ ي هبث ل ًؼ جت ث ِ هتـی ش ) ( ٍ‬
‫) | ( اػت)‪ .‬دس هوبثل‪ ،‬كشهیِّب ثذٍى خؼتدَ ٍ كوي ثب ؿوبسؽ تؼذاد تٌشاس تشًیتّبی هختلق دادُ دس هیبى ًوًَِ ّبی آهَصؿی ایدبد‬
‫هیؿًَذ‪.‬‬

‫‪ 6.9.6‬هثالی تَضیحی‬
‫ثیبییذ دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض سا ثِ هؼئلِ یبدگیشی هلَْهی ًِ دس كلل یبدگیشی دسختی هٌشح ؿذ ثٌبس ثشین‪ :‬دػ تِ ثٌ ذی سٍصّ ب ث ش‬
‫اػبع ایٌٌِ ًؼی تٌیغ ثبصی خَاّذ ًشد یب خیش‪ .‬خذٍل ‪ 3.2‬هدوَػِ ای اص ‪ً 14‬وًَِی آهَصؿی سا ثشای هلَْم ‪ً PlayTennis‬ـبى هیدّذ‪،‬‬
‫دس ایٌدب سٍصّب ثب ٍیظگیّبی ‪ Wind ٍ ،Humidity ،Tempereture ،Outlook‬تَكیق هیؿًَذ‪ .‬دس ایٌد ب اص دػ تِ ثٌ ذی ًٌٌ ذُی‬
‫ػبدُی ثیض ٍ دادُ ّبی آهَصؿی ایي خذٍل ثشای دػتِ ثٌذی ًوًَِی خذیذ صیش اػتلبدُ هیًٌین‪:‬‬

‫>‪<Outlook=sunny,Temperature=cool,Humidity=high,Wind=strong‬‬

‫ّذف دس ایٌدب پیؾ ثیٌی هوذاس ّذف ا‪ Yes‬یب ‪ )No‬هلَْم ّذف ‪ PlayTennis‬ثشای ًوًَِی خذیذ اػت‪ .‬ثب هوذاس گزاسی ساثٌِی ‪ 6.20‬ثشای‬
‫ثِ كَست صیش هحبػجِ هی ؿَد‪.‬‬ ‫ایي ًبس هوذاس‬

‫∏) (‬ ‫) | (‬
‫*‬ ‫‪+‬‬

‫( ) (‬ ‫( ) |‬ ‫) |‬
‫(‬ ‫)‬
‫*‬ ‫‪+‬‬ ‫(‬ ‫( ) |‬ ‫) |‬

‫ث ِ ‪ 10‬احتو بل ًی بص‬ ‫ثب اػتلبدُ اص هوبدیش ٍیظگیّبی ًوًَِی خذیذ ًَؿتِ ؿذُ اػت‪ .‬ثشای هحبػجِی‬ ‫تَخِ داسیذ ًِ دس ػجبست آخشی‬
‫داسین ًِ اص سٍی دادُ ّبی آهَصؿی تخویي صدُ هیؿًَذ‪ .‬اثتذا‪ ،‬احتوبل هوبدیش هختلق ّذف‪ ًِ ،‬هیتَاى آىسا ثِ ػبدگی ثب ؿوبسؽ تٌشاس هوبدیش‬
‫اص ًوًَِ ّبی آهَصؿی اػتخشاج ًشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫)‬

‫(‬ ‫)‬

‫ثِ ًَس هـبثِ هیتَاى احتوبالت ؿشًی سا تخویي صد‪ .‬ثشای هثبل‪ ،‬ثشای ‪ Wind = strong‬داسین‪،‬‬

‫(‬ ‫|‬ ‫)‬

‫(‬ ‫|‬ ‫)‬

‫سا ثش اػبع ساثٌِی ‪ 6.21‬ثِ كَست صیش هحبػجِ هیًٌین‪،‬‬ ‫ثب اػتلبدُ اص تخویيّبی احتوبالت هزًَس ٍ تخویي هـبثِ دیگش ٍیظگیّب‪،‬‬

‫(‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫)‬

‫(‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫( )‬ ‫|‬ ‫)‬

‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض احتوبالت تخویٌی ثش اػبع دادُ ّبی آهَصؿی هَخَد هوذاس ‪ PlayTennis = no‬سا ثِ ای ي ًوًَ ِی خذی ذ‬
‫اختلبف هیدّذ‪ .‬ػالٍُ ثش ایي‪ ،‬ثب ًشهبلیضُ ًشدى ًویتّبی ثبال اًَسی ًِ خوؼـبى یي ؿَد) هیتَاى احتوبل ؿشًی ایٌٌِ هوذاس تبثغ ّ ذف‬
‫اػت‪.‬‬ ‫‪ no‬ثبؿذ سا حؼبة ًشد‪ .‬ثشای هثبل كؼلی‪ ،‬ایي احتوبل هوذاس‬

‫‪ 6.9.6.6‬تخویي احتواالت‬
‫ت ب ث ِ ح بل‪ ،‬احتو بالت سا ث ب ًؼ جت تؼ ذاد هـ بّذُی اتل بم ث ِ ً ل ح بالت سا تخو یي صدی ن‪ .‬ث شای هث بل‪ ،‬دس هث بل ث بال هو ذاس‬
‫تخو یي صدی ن‪ ،‬دس ای ي ًؼ جت ‪ n=5‬تؼ ذاد ًوًَ ِ ّ بی آهَصؿ ی‬ ‫)‪ P(Wind=strong|PlayTennis=no‬سا ث ب ًؼ جت‬
‫تؼذاد ًوًَِّبیی ثَد ًِ دس آى ‪ Wind=strong‬ثَد‪.‬‬ ‫‪ٍ PlayTennis=no‬‬

‫ثؼیبس ًَچي اػت تخویي هؼیق خَاّ ذ‬ ‫ثب ٍخَد ایٌٌِ دس ثؼیبسی اص هَاسد ایي ًؼجت تخویي خَثی اص احتوبل ثِ هب هیدّذ‪ ،‬اهب صهبًی ًِ‬
‫ثَد‪ .‬ثشای دسى ایي هـٌل‪ ،‬كشم ًٌیذ ًِ دس حویوت هوذاس احتو بل )‪ P(Wind=strong|PlayTennis=no‬ثشاث ش ث ب ‪ .08‬ثبؿ ذ ٍ دس‬
‫ثِ احتوبل صیبدی كلش خَاّذ ث َد‪ .‬ای ي‬ ‫هدوَػِی ًوًَِ ّبی هب كوي ‪ً 5‬وًَِ هوذاس ‪ PlayTennis=no‬سا داؿتِ ثبؿٌذ‪ .‬ثب ایي كشمّب‪،‬‬
‫تخویٌی ثبیبع داس ٍ دػت ًن گیشًذُ اص هوذاس احتوبل خَاّذ ثَد‪ .‬دٍم ایٌٌِ صهبًی ً ِ تخو یي‬ ‫حویوت دٍ هـٌل ایدبد هیًٌذ‪ .‬اثتذا ایٌٌِ‬
‫ایي احتوبل كلش اػت ثبػث هیؿَد ًِ توبهی ًوًَِّبیی ًِ دس آىّب ‪ Wind=strong‬اػت خضٍ دػتِی دیگش اًالم ؿًَذ‪.‬‬

‫ثشای پشّیض اص ایي هـٌل هیتَاى اص سٍؽ ثیضی ثشای تخویي احتوبالت اػتلبدُ ًشد‪ ،‬ثشای ایي ًبس تخویي ‪ 1 m‬سا ثِ كشم صیش تؼشیق هیًٌین‪.‬‬

‫تخویي ‪ m‬احتوبالت‪:‬‬

‫‪1‬‬
‫‪m-estimate‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫)‬

‫ٍ ‪ّ n‬وبى هوبدیش ساثٌِی هجلیاًذ ٍ ‪ p‬احتوبل اٍلیِی هوذاس تخویٌی اػت‪ m .‬ث بثتی ً ِ اً ذاصُی ًوًَ ِی هؼ بدل‪ً 1‬بهی ذُ‬ ‫دس ایي ساثٌِ‬
‫هیؿَد‪ .‬ایي ثبثت هـخق هیًٌذ ًِ هوذاس احتوبل ثِ چِ هیضاى ثِ ًوًَِ ّبی آهَصؿی ٍاثؼتِ ثبؿذ‪ .‬یٌ ی اص سٍؽّ بی هت ذاٍل اًتخ بة ‪،p‬‬
‫ثذٍى داؿتي ّی اًالػبت هجلیای‪ ،‬یٌٌَاخت گشكتي توبهی احتوبالت اٍلیِ اػت؛ ثذیي هؼٌب ًِ اگش ٍیظگ یای ‪ k‬هو ذاس هوٌ ي داسد خ َاّین‬
‫‪ .‬ثشای هثبل‪ ،‬دس تخویي )‪ P(Wind=strong|PlayTennis=no‬هیداًین ًِ ٍیظگ ی ‪ Wind‬دٍ هو ذاس هوٌ ي داسد‪،‬‬ ‫داؿت ًِ‬
‫پغ ثب احتوبل اٍلیِی یٌٌَاخت خَاّین داؿت ًِ ‪ .p=.5‬تَخِ داسیذ ًِ اگش ‪ m‬سا كلش اًتخبة ًٌین‪ ،‬تخویي ‪ m‬هؼبدل ّوبى ًؼش ػبدُی‬
‫هیؿَد‪ .‬اگش هوبدیش ‪ّ n ٍ m‬ش دٍ ؿیش كلش ثبؿٌذ‪ ،‬حبكل تخویي ‪ m‬هیبًگیي دٍ هوذاس ثب ٍصى ‪ m‬خَاّذ ثَد‪ m .‬ثبثت اًذاصُی ًوًَِی هؼ بدل‬
‫ًبهیذُ هیؿَد اص ایي سٍ ًِ ساثٌِی ‪ 6.22‬سا هیتَاى ثِ كَست تشًیت ‪ n‬هـبّذُی ٍاهؼ ی ٍ ‪ m‬هـ بّذُی هد بصی اث ب احتو بل ‪ )p‬دس ًظ ش‬
‫گشكت‪.‬‬

‫‪ 1.66‬یک هثال‪ :‬یادگیری دستِ بٌذی هتَى‬

‫ثشای تلَس اّویت ًبسثشدی هتذ ّبی یبدگیشی ثیض‪ ،‬هؼئلِی یبدگیشیای سا دس ًظش ثگیشیذ ًِ دس آى ًوًَِّب هتٌٌذ‪ .‬ثشای هث بل‪ ،‬ؿ بیذ ثخ َاّین‬
‫هلَْم ّذف "هوبالت خجشی الٌتشًٍیٌی خبلت ثشای هي" یب "كلحبتی اص ‪ ًِ Web‬یبدگیشی هبؿیي دس آىّب ثحث ؿذُ" سا یبد ثگیشین‪ .‬دس ّش‬
‫دٍ حبلت‪ ،‬اگش یي ًبهپیَتش ثتَاًذ چٌیي ًبسی سا اًدبم دّذ هیتَاًذ ثِ خبی تؼذاد ثؼیبسی صیبدی اص هتَى ٍة كوي هشثَىتشیي ًتید ِ خؼ تدَ‬
‫سٍی ٍة سا ثِ ًبسثش اسائِ ًٌذ‪.‬‬

‫دس ایٌدب الگَسیتوی ًلی ثش اػبع دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ثشای یبدگیشی دػتِ ثٌذی هتَى اسائِ هیًٌ ین‪ .‬خبل ت اػ ت ً ِ سٍؽّ بی‬
‫احتوبلی هثل آًچِ پیؾتش تَهیح دادین یٌی اص هؤثشتشیي الگَسیتنّبی ؿٌبختِ ؿ ذُ ث شای دػ تِ ثٌ ذی هت َى ّؼ تٌذ‪ .‬هث بلّ بیی اص چٌ یي‬
‫ػیؼتنّبیی دس )‪ (Joachims 1996) ٍ (Lang 1995) ،(Lewis 1991‬تَكیق ؿذُاًذ‪.‬‬

‫الگَسیتن دػتِ ثٌذی ًٌٌذُی ػبدُ ثیض ًِ تَهیح خَاّین داد ثب تؼشیق هؼئلِ ای ًلی تٌ بثن داسد‪ .‬كو بی ًوًَ ِ ای ‪ X‬سا ً ِ ؿ بهل تو بهی‬
‫هؼتٌذات هتٌی اتوبهی سؿتِ ًلوبت ٍ ػالهبت ثب ًَل دلخَاُ) اػت دس ًظش ثگیشیذ‪ .‬ثِ هب ًوًَِ ّبی آهَصؿی تبثغ ّذف هدَْل )‪ f(x‬دادُ ؿذُ‬
‫اػت‪ ،‬ایي تبثغ هدَْل هوٌي اػت ّش یي اص اػوبی ‪ V‬ثبؿذ‪ّ .‬ذف هب یبدگیشی اص ایي ًوًَِ ّبی آهَصؿی ثشای پیؾ ثیٌی هوذاس ّذف هتٌ ی‬
‫خذیذ اػت‪ .‬ثشای تلَس‪ ،‬تبثغ ّذف دػتِ ثٌذی هتَى ثِ دٍ دػتِی خزاة ٍ ؿیش خزاة ثشای كشد ثخلَف اػت‪ ،‬ثشای ایي ت بثغ ّ ذف هو بدیش‬
‫‪ like‬اخزاة) ٍ ‪ dislike‬اؿیش خزاة) ثشای دػتِ ثٌذی ایي دٍ هدوَػِ تؼشیق هیؿَد‪.‬‬

‫دٍ هـٌل اكلی ثشای ًبسثشد دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض دس هؼبئل دػتِ ثٌذی هتي ٍخَد داسد‪ .‬اٍل ایٌٌِ ثب چِ سٍؿی یي هتي دلخَاُ سا ثب‬
‫هوذاس ٍیظگیّبیی ًوبیؾ داد ٍ دٍم ایٌٌِ احتوبالت الصم ثشای دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض سا ثب چِ سٍؿی تخویي صد‪.‬‬

‫سٍؽ هب دس ًوبیؾ هتي دلخَاُ ثِ ًشص هـٌل ػبصی ػبدُ اػت‪ :‬ثب داؿتي یي هتي‪ ،‬هثل ّویي پبساگشاف‪ ،‬ثبیذ یي ٍیظگی ثشای ّش هٌبى ًلوِ‬
‫دس هتي تؼشیق ًٌین ٍ هوذاس ٍیظگیّب سا ّن ًلوبت آى هٌبىّب دس ًظش ثگیشین‪ .‬ثٌبثشایي ایي پبساگشاف ‪ 97‬هوذاس ٍیظگی خَاّذ داؿت ًِ هتٌبػت‬

‫‪1‬‬
‫‪equivalent sample size‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب ‪ً 97‬لوِی ایي پبساگشاف اػت‪ .‬هوذاس ٍیظگی اٍل ًلوِی "سٍؽ" ٍ هوذاس ٍیظگی دٍم ًلوِی "هب" خَاّذ ثَد ٍ ‪ ...‬تَخِ داسی ذ ً ِ ث ب ای ي‬
‫سٍؽ هتَى ثلٌذ تؼذاد ثیـتشی ٍیظگی خَاٌّذ داؿت‪ّ .‬وبى ًَس ًِ ثؼذاً ًیض خَاّین دیذ‪ ،‬ایي تلبٍت ّی هـٌلی ایدبد ًویًٌذ‪.‬‬

‫ثب ایي ًوبیؾ ثشای هتَى‪ ،‬حبل هیتَاًین دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض سا ثِ هؼئلِ اػوبل ًٌین‪ .‬ثیبییذ ثِ خبًش حلظ ػبدگی‪ ،‬كشم ًٌین ً ِ‬
‫‪ 700‬هتي آهَصؿی ًِ كشدی ‪ dislike‬دػتِ ثٌذی ًشدُ ثِ ّوشاُ ‪ 300‬هتي دیگش ًِ ‪ like‬دػتِ ثٌذی ؿذُ دس اختیبس اػت‪ .‬حبل ه تي خذی ذی‬
‫دس اختیبس یبدگیش هشاس گشكتِ ٍ اص ٍی دػتِ ثٌذی ایي هتي ػؤال هیؿَد‪ .‬دٍثبسُ ثِ خبًش ػبدگی‪ ،‬ثیبییذ كشم ًٌین ًِ هتي خذیذ پبساگشاف هجل ی‬
‫ثبؿذ‪ .‬دس چٌیي ؿشایٌی‪ ،‬اگش ساثٌِی ‪ 6.20‬سا ثشای دػتِ ثٌذی هوذاس دّی ًٌین خَاّین داؿت ًِ‪،‬‬

‫) | ( ∏) (‬
‫*‬ ‫‪+‬‬

‫‪( ) .‬‬ ‫‪ | / .‬سٍؽ‬ ‫‪ | /‬هب‬

‫*‬ ‫‪+‬‬

‫‪.‬‬ ‫‪ً | /‬ویٌٌذ‬

‫دػتِ ثٌذیای اػت ًِ احتوبل هـبّذُی ًلوبتی سا ًِ ٍاهؼبً دس هتي ثَدُاًذ سا ثب تَخِ ثِ ك شم‬ ‫ثِ ًَس خالكِ‪ ،‬دػتِ ثٌذی ػبدُی ثیض‬
‫دس ای ي تؼشی ق هؼ ئلِ ك شم‬ ‫(‬ ‫) |‬ ‫∏‬ ‫هؼتول ثَدى ػبدُی ثیض هبًضیون هیًٌذ‪ .‬كشم هؼتول ثَدى ) | (‬
‫‪ ،‬ثشای ّش هٌبى دس هتي هؼتول اص دیگش ًلوبت دیگش هٌبىّبػت‪ .‬تَخِ هیًٌی ذ ً ِ‬ ‫هیًٌذ ًِ احتوبل ّش ًلوِ ثب داؿتي دػتِ ثٌذی هتي‬
‫ایي كشم ثِ ٍهَح ؿلت اػت‪ .‬ثشای هثبل‪ ،‬دس هتَى هوٌي اػت احتوبل آهذى ًلوِی "هبؿیي" ثؼذ اص ًلوِی "یبدگیشی" ثؼیبس ثیـتش اص دیگش‬
‫ًلوبت ثبؿذ‪ .‬ثب ٍخَد ایي ًوق هـَْد كشم هؼتول ثَدى‪ ،‬اًتخبة دیگشی خض ایي ًذاسین‪ ،‬صیشا ًِ ثذٍى ایي ؿشى تؼذاد خوالت احتوبلیای ًِ‬
‫ثبیذ هحبػجِ ؿًَذ ثِ ؿذت صیبد هیؿًَذ‪ .‬خَؿجختبًِ دس یبدگیش ػبدُی ثیض دس ثؼیبسی اص هَاسد دس هؼبئل دػتِ ثٌذی هتَى ثش خالف ؿلت ثَدى‬
‫كشم اػتوالل ًتبیح خَثی ثذػت هیآیذ‪ (Domingos and Pazzani 1996) .‬ثشسػی خبلجی اص ایي پذیذُی تلبدكی اسائِ هیًٌذ‪.‬‬

‫( سا هحبػجِ ًٌ ین ادس ای ي‬ ‫ثب اػتلبدُ اص ساثٌِی ثبال‪ً ،‬یبص داسین ًِ احتوبل خولِ ّبی ) ( ٍ ) |‬ ‫ثشای هحبػجِی‬
‫‪k ،‬اهیي ٍاطُی ٍاطگبى صثبى كبسػی اػت)‪ .‬احتوبالت خولِی اٍل سا هیتَاى ثِ ػبدگی ٍ ثب یي ًؼجت ػبدُ اص ًوًَِ ّ بی آهَصؿ ی‬ ‫هؼئلِ‬
‫هحبػ جِ ً شد‪ ،‬ادس هث بل كؼل ی ‪ .)P(dislike)=.7 ٍ P(like)=.3‬هث ل ّویـ ِ تخو یي دػ تِ ثٌ ذی احتو بالت ؿ شًی اهث ل‬
‫( ) هـٌل ػبص تش خَاّذ ثَد صیشا ًِ ثبیذ چٌیي خولِی احتوبلی سا ثشای ّش تشًیت اص هتي هوٌي ًلوبت كبسػی‬ ‫| سٍؽ‬ ‫)‬
‫ٍ تبثغ ّذف هحبػجِ ًٌین‪ .‬هتأػلبًِ ثب ‪ً 50,000‬لوِ دس ٍاطگبى صثبى ٍ ‪ 2‬حبلت هوبدیش ّذف ٍ ‪ً 97‬لوِی ًوًَِی كؼلی ثِ توشیجبً هحبػ جِی‬
‫حبلت ًیبص خَاّین داؿت‪.‬‬ ‫‪50,000≈10,000,000‬‬

‫خَؿجختبًِ‪ ،‬هیتَاًین كشم اػتذاللی دیگشی ًیض ًِ تؼذاد احتوبالت سا ًن ثٌٌذ ثِ كشمّب پیـیي اهبكِ ًٌین‪ .‬دس ًل‪ ،‬هیت َاًین احتو بل ث ش‬
‫) دس ًظش ثگیشین‪ .‬ثِ ػجبست سػویتش‪ٍ ،‬یظگیّ ب اص‬ ‫یب‬ ‫اهثل "ؿٌالت") سا هؼتول اص هٌبى حوَسؽ اهثل‬ ‫خَسد ثب ًلوِی خبف‬
‫(‬ ‫) |‬ ‫(‬ ‫ّن هؼتولٌذ ٍ تَصیغ یٌؼبى ًیض داسًذ‪ ،‬ثب هؼلَم ثَدى دػتِ ثٌذی ّ ذف؛ ث شای تو بهی ‪ m،k،j،i‬داسی ن‬
‫( ‪ ...‬ثشاثش ثب ی ي هو ذاس هؼ تول‬ ‫( ‪| )،‬‬ ‫‪ .‬ثٌبثشایي تخویي هیصًین ًِ ًل هدوَػِ احتوبالت ) |‬ ‫) |‬
‫( ثبؿذ‪ ،‬یؼٌی ایي هوذاس احتوبل ثِ هٌبى ًلوِ ثؼتگی ًذاسد‪ .‬تأثیش ایي كشم ایي اػ ت ً ِ ح بل كو ي ًی بص ث ِ هحبػ جِی‬ ‫هثجت ) |‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫( داسین‪ .‬ایي هوذاس ٌَّص صیبد اػت اهب دیگش دس حذ ًٌتشل اػت‪ .‬تَخِ داسیذ ًِ دس ؿشایٌی ًِ‬ ‫‪ 2 50,000‬خولِی هؼتول ثِ كشم ) |‬
‫دادُ ّبی آهَصؿی هحذٍد ثبؿٌذ‪ ،‬هضیت اٍلیِی ایي كشم اكضایؾ تؼذاد ًوًَِ ّبی هَخَد ثشای تخویي ّش یي اص احتوبالت ٍ هتؼبهجبً دهت دػتِ‬
‫ثٌذی اػت‪.‬‬

‫ثشای ًبهل ًشدى ًشاحی الگَسیتن یبدگیشیوبى‪ٌَّ ،‬ص ثبیذ هتذی ثشای تخویي خوالت احتوبالت پیذا ًٌین‪ .‬اص تخویي ‪ ِ ً ،m‬دس ساثٌ ِی ‪6.22‬‬
‫( داسین‪،‬‬ ‫آهذ‪ ٍ ،‬احتوبالت اٍلیِی یٌٌَاخت ٍ اًذاصُی ٍاطگبى هَخَد ثشای )‬

‫|‬ ‫|‬

‫دس هی بى ‪n‬‬ ‫تؼ ذاد تٌ شاس ًلو ِی‬ ‫اػت‪،‬‬ ‫دس ایي ساثٌِ ‪ً n‬ل تؼذاد ًلوبت هوٌي دس ًوًَِ ّبی آهَصؿی اػت ثب هوذاس تبثغ ّذف‬
‫| ًیض تؼذاد خبلق ًل ًلوبت اٍ دیگش ًـبًِّبی) هَخَد دس ًوًَِ ّبی آهَصؿی اػت‪.‬‬ ‫ًلوِی هوٌي اػت ٍ |‬

‫ثِ ًَس خالكِ ایٌٌِ الگَسیتن ًْبیی اص دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ثِ ّوشاُ كشم اػتوالل ًلوبت اص هٌبًـبى اػتلبدُ ه یًٌ ذ‪ .‬الگ َسیتن‬
‫ًْبیی دس خذٍل ‪ 6.2‬آٍسدُ ؿذُ اػت‪ .‬تَخِ هیًٌیذ ًِ ایي الگَسیتن ثِ ًؼ جت ػ بدُ اػ ت‪ .‬دس ً َل ی بدگیشی‪ ،‬صی ش سٍال ‪Learn-Naive-‬‬
‫‪ bayes-text‬توبهی هتَى آهَصؿی سا ثشای اػتخشاج توبم ًلوبت ٍ ًـبًِ ّبی هَخَد دس هتَى ثشسػی هیًٌذ ٍ تؼذاد تٌشاسؿبى سا دس دػ تِ‬
‫ثٌذیّبی هختلق تبثغ هیؿوشد تب تخویيّبی الصم سا ثذػت آٍسد‪ .‬ػپغ ‪ ،‬ثشای یي ه تي خذی ذ اً ِ الصم اػ ت دػ تِ ثٌ ذی ؿ َد) كشآیٌ ذ‬
‫اػتلبدُ هیًٌذ‪ .‬تَخِ داسی ذ ً ِ‬ ‫‪ Classify-naive-bayes-text‬ثب تَخِ ثِ ساثٌِی ‪ 6.20‬اص ایي تخویي احتوبالت ثشای هحبػجِی‬
‫ًلوِ ًِ دس هتي خذیذ هبّش ؿذُ ًِ دس هتَى هجلی ًجَدُاًذ تَػي ‪ً Classify-naive-bayes-text‬بدیذُ گشكتِ هیؿَد‪ً .‬ذ ٍ هدوَػِی‬
‫دادُ ّبی آهَصؿی دس آدسع ‪ http://www.cs.cmu.edu/~tom/book.html‬هَخَد اػت‪.‬‬

‫‪ً 6.61.6‬تیجه های تجربی‬

‫الگَسیتن خذٍل ‪ 6.2‬ثِ چِ هیضاى ًبسایی داسد؟ دس یي آصهبیؾ ا‪ ،)Joachims 1996‬الگَسیتن ثؼیبس هـبثْی ثشای دػتِ ثٌذی هوبالت خجشی‬
‫یَصًت‪ 1‬ثٌبس سكت‪ .‬دػتِ ثٌذی هوبلِ دس ایي هثبل اػن گشٍُ خجشی هوبلِ دس یَصًت ثَد‪ .‬الگَسیتوی ًِ ّش هوبلِ سا پ غ اص دػ تِ ثٌ ذی دس خ بی‬
‫اكلی خَد هشاس هیدّذ‪ .‬دس ایي آصهبیؾ ‪ 20‬گشٍُ خجشی الٌتشًٍیٌی دس ًظش گشكتِ ؿذ اًِ دس خذٍل ‪ً 6.3‬یض آهذُاًذ)‪ ،‬ػپغ ‪ 1,000‬هوبلِ اص ّش‬
‫گشٍُ خجشی خوغ ؿذ تب تؼذاد ًوًَِّب ثِ ‪ 20,000‬ثشػذ‪ .‬الگَسیتن ػبدُی ثیض دٍ ػَم اص ایي ‪ 20,000‬هتي ثِ ػٌ َاى ًوًَ ِ ّ بی آهَصؿ ی‬
‫آهَصؽ دادُ ؿذ ٍ ػپغ ًبسایی الگَسیتن ثشای یي ػَم ثبهیوبًذُ اسصیبثی ؿذ‪ .‬اص ‪ 20‬گشٍُ خجشی هوٌي‪ ،‬حذاًثش هوذاس دػتِ ثٌذی دسػت اتلبهی‬
‫‪ %5‬خَاّذ ثَد‪ ،‬اهب دهت دػتِ ثٌذی الگَسیتن ‪ %89‬اًذاصُ گیشی ؿذ‪ .‬الگَسیتن ثِ ًبس سكتِ دس ایي آصهبیؾ كوي یي تلبٍت ًَچ ي ث ب الگ َسیتن‬
‫خذٍل ‪ 6.2‬داؿت‪ ،‬یي صیش هدوَػِ اص ًلوبت هتَى ثِ ػٌَاى ٍاطگبى‪ 2‬دس ًظش گشكتِ ؿذُ ثَد‪ .‬ثِ ػج بست دهی نت ش‪ً 100 ،‬لو ِی پشً بسثشد ت ش‬
‫ٍاطگبى دس آى دس ًظش گشكتِ ًـذُ ثَد اًلوبتی هثل "ایي")‪ّ ٍ ،‬وچٌیي توبهی ًلوبتی ًِ ًوتش اص ‪ 3‬ثبس هبّش ؿذُ ثَدً ذ ًبدی ذُ گشكت ِ ؿ ذًذ‪.‬‬
‫ٍاطگبى ثذػت آهذُ ثذیي تشتیت توشیجبً ‪ً 38,500‬لوِ داؿت‪.‬‬

‫‪1‬‬
‫‪use net‬‬
‫‪2‬‬
‫‪Vocabulary‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًتبیح چـن گیش دیگشی ًیض تَػي دیگش سٍؽّبی یبدگیشی آهبسی هتَى ثذػت آهذُ اػ ت‪ .‬ث شای هث بل‪ً (Lang 1995) ،‬ؼ خِ ای دیگ ش اص‬
‫الگَسیتن ػبدُی ثیض سا تَكیق ًشدُ ٍ آىسا دس یبدگیشی هلَْم ّذف "هوبالت یَصًتی ًِ هي ثِ آىّب ػالهِ داسم" ثِ ًبس هیث شد‪ٍ .‬ی ػیؼ تن‬
‫‪ NewsWeeder‬سا هؼشكی هیًٌذ‪ ،‬ثشًبهِ ای ًِ ثِ ًبسثشاى اخبصُ هیدّذ تب هتَى سا ثؼذ اص خَاًذ اسصیبثی‪ًٌٌ 1‬ذ‪ .‬ػیؼتن ‪NewsWeeder‬‬
‫اص ایي اسصیبثیّب ثِ ػٌَاى ًوًَِ ّبی آهَصؿی ثشای پیؾ ثیٌی ایٌٌِ هوبلِ ای ثشای ًبسثش خبلت اػت یب خیش اػتلبدُ هیًٌذ‪ ،‬پغ ثشًبهِ هیتَاًذ‬
‫هوبالتی ًِ پیؾ ثیٌی هیًٌذ ًبسثش ثِ خَاًذى آىّب ػالهِ داسد سا ثِ ٍی پیـٌْبد ًٌذ‪ (Lang 1995) .‬آصهبیـی سا گضاسؽ هیًٌذ ً ِ دس آى‬
‫‪ NewsWeeder‬اص اًالػبت یبد گشكتِ خَد ثش اػبع ػالهِی ًبسثش‪ ،‬هوبلِ ای ًِ ثبالتشیي هوذاس پیؾ ثیٌی اسصی بثی سا داسد ث ِ ً بسثش اسائ ِ‬
‫هیدّذ‪ .‬ثب رخیشُی ‪ %10‬اٍل ایي هوبالت اتَهبتیي اسصیبثی ؿذُ‪ ،‬ثشًبهِ هدوَػِ ای اص هوبالت خَاّذ داؿ ت ً ِ ًؼ جت ث ِ هدوَػ ِی ً ل‬
‫هوبالت ػِ تب چْبس ثشاثش ثشای ًبسثش خبلتتشًذ‪ .‬ثشای هثبل‪ ،‬ثشای یي ًبسثش ًؼجت هوبالتی ًِ "خبلت‪ "2‬دػتِ ثٌذی هیًٌذ دس ًل ‪ %16‬اػت اهب‬
‫دس هیبى ایي هوبالت ‪ %59‬تَكیِی ‪ NewsWeeder‬ثَدُ‪.‬‬

‫تؼذاد صیبد سٍؽّبی ؿیش ثیضی آهبسی ثشای یبدگیشی هتَى هتذاٍلٌذ‪ ،‬ثؼیبسی اص ایي سٍؽّب ثش اػبع هؼیبسّبی هـبثِ اػتخشاج اًالػبت ّؼتٌذ‪.‬‬
‫)‪ .(Rocchio 1971; Salton‬الگَسیتنّبی یبدگیشی هتَى دیگش دس )‪ (Hearst and Hirsh 1996‬آٍسدُ ؿذُ اػت‪.‬‬

‫‪ 1.66‬شبکِ ّای باٍر بیزی‬

‫ثب داؿتي هوذاس تبثغ‬ ‫ّوبى ًَس ًِ دس دٍ هؼوت هجلی ًیض گلتِ ؿذ‪ ،‬دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض اص كشم ایٌٌِ احتوبالت ؿشًی‬
‫ّذف ‪ v‬هؼتولٌذ اػتلبدُی ؿذیذی هیًٌذ‪ .‬ایي كشم ثِ ًَس هبثل تَخْی هیضاى پیچیذگی یبدگیشی تبثغ ّذف سا ًبّؾ هیدّذ‪ .‬ثب ایي كشم‪،‬‬
‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض دػتِ ثٌذی ثْیٌِی ثیض سا خشٍخی هیدّذ‪ .‬ثب ایي ٍخَد‪ ،‬دس ثؼیبسی اص هَاسد ایي ؿشى هؼتول ث َدى ث ِ ؿ ذت‬
‫هحذٍد ًٌٌذُ اػت‪.‬‬

‫ؿجٌِ ّبی ثبٍس ثیضی‪ 3‬تَصیغ احتوبالت حبًن ثش هدوَػِی هتـیشّبیی ًِ ثب دػتِ ای اص كشم اػتوالل احتوبالت ؿشًی هـخق ه یؿ ًَذ سا‬
‫تَكیق هیًٌٌذ‪ .‬ثش خالف دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ًِ كشم هیًشد توبهی هتـیشّبی ث ِ ً َس ؿ شًی ث ب هؼل َم ث َدى كشه یِی ‪h‬‬
‫هؼتولٌذ‪ ،‬ؿجٌِ ّبی ثبٍس ثیضی كشمّبی اػتوالل احتوبالت سا دس صیش هدوَػِ ّبی هتـیشّب دسػت هیداًٌذ‪ .‬ثٌبثشایي‪ ،‬ؿجٌِ ّبی ث بٍس ثی ضی‪،‬‬
‫سٍؿی هیبًی ًِ ؿشًی آصادتش اص كشم هؼتول ثَدى توبهی هتـیش ّبی دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض ٍ هحذٍد ًٌٌذُ تش اص پشّیض اص ّ ش گًَ ِ‬
‫ؿشى اػتوالل اػت‪ ،‬اسائِ هیًٌٌذ‪ .‬ؿجٌِ ّبی ثبٍس ثیض یٌی اص هَهَػبت هَسد تَخِ تحویوبت كؼلی ّؼتٌذ‪ ٍ ،‬داهٌِی ٍػیؼی اص الگَسیتنّب ثشای‬
‫یبدگیشی ٍ اػتٌتبج اص آىّب اسائِ ؿذُ اػت‪ .‬دس ایي ثخؾ هلبّین ًلیذی ٍ ًحَُی ًوبیؾ ؿجٌِ ّبی ثبٍس ثیضی سا هؼشكی خَاّین ًشد‪ .‬اًالػبت‬
‫دهینتش دس ایي صهیٌِ )‪ (Jensen 1996) ٍ (Heckerman 1995) ٍ (Russell and Norving 1995) ٍ (Pearl 1988‬آه ذُ‬
‫اػت‪.‬‬

‫سا‬ ‫دس ًل‪ ،‬یي ؿجٌِی ثبٍس ثیض تَصیغّبی احتوبل دػتِ ای اص هتـیشّب سا تَكیق هیًٌذ‪ .‬هدوَػِی دلخَاّی اص هتـیش ّبی تلبدكی‬
‫هیتَاًذ ّش یي اص هوبدیش هدوَػِی ) ( سا داؿتِ ثبؿذ‪ .‬كوبی تَأم‪ 4‬سا هدوَػِی هتـیش ّ بی ‪ ِ ً Y‬اص ه شة‬ ‫دس ًظش ثگیشیذ ًِ ّش‬

‫‪1‬‬
‫‪rate‬‬
‫‪2‬‬
‫‪interesting‬‬
‫‪3‬‬
‫‪bayesian belief networks‬‬
‫‪4‬‬
‫‪joint space‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫) ( ثذػت هیآیذ تؼشیق هیًٌین‪ .‬ثِ ػجبست دیگش‪ّ ،‬ش ػوَ كوبی تَأم هتٌبػت ثب یٌی اص هوبدیش هوٌي‬ ‫) (‬ ‫خبسخی ) (‬
‫اػت‪ .‬تَصیغ احتوبل ایي كوبی تَأم‪ ،‬تَصیغ احتوبل تَأم‪ً 1‬بهیذُ هیؿَد‪ .‬تَصیغ احتوبل تَأم‪ ،‬احتو بل هـ بّذُی‬ ‫هتـیش ّبی‬
‫سا هـخق هیًٌذ‪ .‬یي ؿجٌِی ثبٍس ثیض تَصیغ احتوبل تَأم یي هدوَػِ اص هتـیشّب سا تَكیق هیًٌذ‪.‬‬ ‫ّش یي اص ًوًَِ ّبی‬

‫‪ 6.66.6‬شرط استقالل‬
‫ثیبییذ ثحثوبى دسثبسُی ؿجٌِ ّبی ثبٍس ثیضی سا ثب تؼشیق دهین هلَْم اػتوالل آؿبص ًٌین‪ .‬كشم ًٌی ذ ‪ Z ٍ Y ،X‬ػ ِ هتـی ش تل بدكی گؼؼ تِ‬
‫هوذاس ثبؿٌذ‪ ،‬صهبًی هیگَیین ًِ ‪ X‬اص ‪ Y‬ثِ ؿشى ‪ Z‬هؼتول اػت ًِ تَصیغ احتوبل حبًن ثش ‪ X‬ثب كشم داؿتي هوذاس ‪ Z‬هؼتول اص هوذاس ‪ Y‬ثبؿ ذ؛‬
‫ثِ ػجبست دیگش‪،‬‬

‫(‬ ‫( )‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫اػت‪ .‬هؼوَالً ػجبست ثبال سا ث ِ ً َس خالك ِ ث ِ ك شم )‪P(X|Y,Z)=P(X|Z‬‬ ‫ٍ) (‬ ‫‪( )،‬‬ ‫دس ایي ساثٌِ ) (‬
‫هؼ تول اص‬ ‫هیًَیؼین‪ .‬تؼشیق اػتوالل ؿشًی سا هیتَاى ثشای هدوَػِ ای اص هتـیشّب تؼوین داد‪ .‬هیگَیین ًِ هدوَػِ هتـیش ّ بی‬
‫ّؼتٌذ اگش‬ ‫ثِ ؿشى هتـیشّبی‬ ‫هدوَػِ هتـیش ّبی‬

‫(‬ ‫|‬ ‫)‬ ‫(‬ ‫|‬ ‫)‬

‫ثِ ساثٌِی ایي تؼشیق ٍ تؼشیلوبى اص اػتوالل ؿشًی دس دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض تَخِ ًٌیذ‪ .‬دػتِ ثٌ ذی ًٌٌ ذُی ػ بدُ ثی ض ث ِ ً َس‬
‫سا تؼشیق هیًٌذ‪ .‬ایي تؼشیق ثِ دػتِ ثٌذی ًٌٌ ذُی ػ بدُی ثی ض اخ بصُ ه یدّ ذ ً ِ هو ذاس‬ ‫اص ٍیظگی‬ ‫ؿشًی هؼتول ثَدى ٍیظگی‬
‫( سا ًِ دس ساثٌِی ‪ 6.20‬آهذُ ثب اػتلبدُ اص ساثٌِی صیش هحبػجِ ًٌذ‪،‬‬ ‫) |‬

‫(‬ ‫) |‬ ‫(‬ ‫|‬ ‫( )‬ ‫) |‬ ‫(‬ ‫)‬

‫(‬ ‫( ) |‬ ‫) |‬ ‫(‬ ‫)‬

‫ثب هؼلَم ث َدى‬ ‫ساثٌِی ‪ 6.23‬كوي كشم ًلی حبكل اص هبًَى احتوبل خذٍل ‪ 6.1‬اػت‪ .‬ساثٌِی ‪ً 2.24‬یض اص آى ًتیدِ ؿذُ اػت‪ ،‬صیشا ًِ اگش‬
‫( ‪.‬‬ ‫|‬ ‫)‬ ‫(‬ ‫هؼتول ثبؿذ‪ ،‬پغ ًجن تؼشیق هؼتول ؿشًی خَاّین داؿت ًِ‪| ) ،‬‬ ‫‪ V‬اص‬

‫‪ً 6.66.2‬وایش‬
‫یي ؿجٌِی ثبٍس ثیضی اًِ هؼوَالً ثِ اختلبس ؿجٌِ ثیضی ًبهیذُ هیؿَد) ثب تَصیغ احتوبالت تَأم هدوَػِ ای اص هتـیشّب ًوبیؾ دادُ ه یؿ َد‪.‬‬
‫ثشای هثبل‪ ،‬ؿجٌِ ثیضی ؿٌل ‪ 6.3‬تَصیغ احتوبل تَأم هتـیش ّبی هٌٌوی ‪Campfire ،ForestFire ،Thunder ،Lightning ،Storm‬‬
‫ٍ ‪ BusTourGroup‬سا ًـبى هیدّذ‪ .‬دس ًل‪ ،‬یي ؿجٌِی ثی ضی تَصی غ احتو بل ت َأم سا ث ب اػ تلبدُ اص هـ خق ً شدى هدوَػ ِ ای اص‬
‫كشمّبی اػتوالل ؿشًی اًِ ثب یي گشاف ثذٍى دٍس ًوبیؾ دادُ هیؿَد) ٍ هدوَػِ ّبی اص احتوبالت ؿشًی ّش ًذام هـخق هیًٌذ‪ ّ .‬ش‬
‫هتـیش كوبی تَأم ثب یي گشُ دس ؿجٌِ ثیضی ًـبى دادُ هیؿَد‪ .‬ثشای ّش هتـیش دٍ ًَع اًالػبت رًش هیؿَد‪ ،‬اٍل ایٌٌِ ثب كشم داؿتي ٍال ذیي‬

‫‪1‬‬
‫‪Joint probability distribution‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ادس گشاف) هتـیش اص هتـیش ّبی ؿیش صیشیٌؾ هؼتول ؿشًی اػت‪ .‬صهبًی هیگَیین ًِ ‪ X‬صیشیٌی‪ 1‬ثشای ‪ Y‬اػت ًِ هؼ یشی هؼ توین اص ‪ Y‬ث ِ ‪X‬‬
‫ثبؿذ‪ .‬دٍم ایٌٌِ خذٍلی اص احتوبالت ؿشًی ثشای ّش هتـیش دادُ هیؿَد ًِ تَصیغ احتوبل سا ثشای هوذاس هتـیش ّبی ث بالیی‪ 2‬هـ خق ه یًٌ ذ‪.‬‬
‫اػت سا هیتَاى ثب اػتلبدُ اص ساثٌِی صیش هحبػجِ ًشد‪،‬‬ ‫ًِ هوذاسی اص‬ ‫احتوبل تَأم ّش یي اص هوبدیش‬

‫(‬ ‫)‬ ‫| ( ∏‬ ‫)) (‬

‫| (‬ ‫دس ؿجٌِ اػت‪ .‬تَخِ داؿتِ ثبؿیذ ًِ )) (‬ ‫ًوبد هدوَػِ ای اص ثبالییّبی هؼتوین‬ ‫دس ایي ساثٌِ ) (‬
‫اػت‪.‬‬ ‫دهیوبً هوذاس ّبی رخیشُ ؿذُ دس خذٍل احتوبالت ؿشًی هشثَى ثِ گشُ‬

‫ؿٌل ‪ 6.3‬یي ؿجٌِی ثبٍس ثیضی‪.‬‬

‫‪3‬‬
‫ؿجٌِی ػوت چپ هدوَػِ ای اص كشمّبی اػتوالل ؿشٍى سا ًـبى هیدّذ‪ .‬دس ًل‪ّ ،‬ش گشُ هؼتول ؿشًی اػت اص ؿشٍى ؿیش صیشیٌؾ ث ب هؼل َم ث َدى‬
‫ؿشٍى ٍالذؽ هؼتول اػت‪ .‬ثشای ّش گشُ خذٍل هوبدیش ؿشًیای ٍخَد داسد ًِ تَصیغ احتوبل ؿشًی هتـیشّب سا ثب هؼلَم ث َدى ؿ شٍى ٍال ذیٌؾ دس گ شاف‬
‫هـخق هیًٌذ‪ .‬خذٍل احتوبل ؿشًی هشثَى ثِ گشُ ‪ ًِ Campfire‬ثِ ًَس خالكِ ثب ‪ً C‬و بیؾ دادُ ؿ ذُ دس ػ وت ساػ ت ؿ ٌل آٍسدُ ؿ ذُ اػ ت‪،‬‬
‫گشُ ّبی ‪ً BusTourGroup ٍ Storm‬یض ثِ تشتیت ثِ ًَس خالكِ ثب ‪ً B ٍ S‬وبیؾ دادُ ؿذُاًذ‪.‬‬
‫ثشای تلَس‪ ،‬ؿجٌِی ثیضی ؿٌل ‪ 6.3‬تَصیغ احتوبل تَأم سا ثشای هتـی ش ّ بی هٌٌو ی ‪،ForestFire ،Thunder ،Lightning ،Storm‬‬
‫‪ً BusTourGroup ٍ Campfire‬ـبى هیدّذ‪ .‬گشُّب ٍ یبلّبی‪ 4‬ؿجٌِ ًـ بى ه یدّ ذ ً ِ ‪ Campfire‬ث ب هؼل َم ث َدى ٍال ذیٌؾ‪،‬‬
‫‪ ،BusTourGroup ٍ Storm‬اص ‪ Thunder ٍ Lightning‬هؼتول ؿشًی اػت‪ .‬ایي ثذیي هؼٌبػت ً ِ صه بًی ً ِ هو ذاس ‪ٍ Storm‬‬
‫‪ BusTourGroup‬هـخق اػت هتـیش ّبی ‪ّ Thunder ٍ Lightning‬ی اًالػبت اه بكِ ای دس ه َسد هتـی ش ‪ Campfire‬ث ِ ه ب‬
‫ًخَاٌّذ داد‪ .‬ثشای هثبل‪ ،‬ػِ دادُی اٍل ػوت چپ خذٍل ًـبى هیدٌّذ ًِ‪،‬‬

‫(‬ ‫|‬ ‫)‬

‫‪1‬‬
‫‪descendant‬‬
‫‪2‬‬
‫‪predecessors‬‬
‫‪3‬‬
‫‪nondescendants‬‬
‫‪4‬‬
‫‪arc‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تَخِ داسیذ ًِ ایي خذٍل كوي هوبدیش احتوبل ؿشًی ‪ Campfire‬سا ث ب هؼل َم ث َدى هو بدیش هتـی ش ّ بی ‪BusTourGroup ٍ Storm‬‬
‫هیدّذ‪ .‬هدوَػِی هَهؼی خذٍل احتوبالت ؿشًی ثشای توبهی هتـیشّب ٍ هدوَػِ ای اص كشمّبی اػتوالل ؿشًی ًِ ؿجٌِ ه یگ زاسد‪ ،‬ث ب‬
‫ّن تَصیغ احتوبل ؿجٌِ سٍی ًل كوبی تَأم سا هـخق هیًٌٌذ‪.‬‬

‫یٌی اص ٍیظگیّبی خزاة ؿجٌِ ّبی ثبٍس ثیضی ایي اػت ًِ اخبصُی ًو بیؾ ػ بدُی اًالػ بت ػل ی‪ ،1‬هث ل ای ي حویو ت ً ِ سػ ذ ٍ ث شم‬
‫)‪ (lightning‬ثبػث ًَكبى )‪ (Thunder‬هیؿَد‪ ،‬سا ثِ هب هیدّذ‪ .‬دس ٍاطگبى اػتوالل ؿشًی‪ ،‬ایي حویوت سا دس ؿ جٌِ ث ب ایٌٌ ِ احتو بل‬
‫‪ Thunder‬ثب هؼلَم ثَدى هوذاس ‪ Lightning‬اص ثویِی هتـیشّب هؼتول اػت ًـبى هیدّین‪ .‬تَخِ داؿتِ ثبؿیذ ًِ ایي كشم اػتوالل ؿشًی‬
‫ثب یبلّبی ؿجٌِی ثیضی ؿٌل ‪ً 6.3‬ـبى دادُ ؿذُ اػت‪.‬‬

‫‪2‬‬
‫‪ 6.66.3‬استٌتاج‬
‫هوٌي اػت ثخَاّین اص ؿجٌِ ّبی ثیضی ثشای اػتٌتبج هوذاس چٌذ هتـیش اهثل ‪ )ForestFire‬ثب داؿتي چٌذ هتـیش دیگش اػتلبدُ ًٌین‪ .‬الجت ِ‪ ،‬ث ب‬
‫داًؼتي ایٌٌِ ًبس هب ثب هتـیش ّبی تلبدكی اػت‪ ،‬دس ًل ًیض ًؼجت دادى یي هوذاس ثِ هتـیش ّذف كحیح ًخَاّذ ث َد‪ .‬دس ایٌد ب ه ب ثیـ تش ث ِ‬
‫اػتٌتبج تَصیغ احتوبل هتـیش ّذف ػالهِ داسین‪ ،‬تَصیغ احتوبلی ًِ هـخق هیًٌذ هوذاس ّذف ثب هؼلَم ثَدى هوبدیش هل شٍم ث ب چ ِ احتو بلی‬
‫ًذام هوذاسؽ سا هیتَاًذ داؿتِ ثبؿذ‪ .‬اگش هوبدیش توبهی هتـیش ّبی دیگش ؿجٌِ هؼلَم ثبؿٌذ هشحلِی اػتٌتبج خیلی ػبدُ خَاّ ذ ؿ ذ‪ .‬دس حبل ت‬
‫ًلیتش هوٌي اػت ثخَاّین تَصیغ احتوبل یي هتـیش سا ثب داؿتي كوي صیش هدوَػِ ای اص توبهی هتـیشّب اهث ل ‪ )ForestFire‬اػ تٌتبج ًٌ ین‬
‫اهوٌي اػت دٍ هوذاس ‪ BusTourGroup ٍ Thunder‬تٌْب هوبدیش هـبّذُ ؿذُی هب ثبؿٌذ)‪ .‬دس ًل‪ ،‬یي ؿجٌِی ثیضی سا هیت َاى ث شای‬
‫هحبػجِی تَصیغ احتوبل ّش صیشهدوَػِ ای اص هتـیش ّبی ؿجٌِ ثب اػتلبدُ اص هؼلَم ثَدى هوبدیش ّش صیش هدوَػِی دیگشی اص هتـیش ّبی ؿ جٌِ‬
‫اػتلبدُ ًشد‪.‬‬

‫اػتٌتبج دهین احتوبالت دس حبلت ًلی ثشای ّش ؿجٌِی ثیض دلخَاُ ‪ NP-hard‬اػ ت )‪ .(Cooper 1990‬هت ذ ّ بی ػ ذدیای ًی ض ث شای‬
‫اػتٌتبج احتوبالت دس ؿجٌِ ّبی ثیضی‪ ،‬ؿبهل هتذّبی اػتٌتبج دهین‪ ٍ 3‬هتذ ّبی تخویي اػتٌتبج ًِ دهت سا كذای ثبصدُ هیًٌٌذ اسائ ِ ؿ ذُاً ذ‪.‬‬
‫ثشای هثبل‪ ،‬هتذ ّبی ‪ Monte Carlo‬ساُ حلّبی تخویٌی سا ثب اػتلبدُ اص ًوًَِ ثشداسی تلبدكی اص تَصیغ احتوبل هتـی ش ّ بی ه َسد ًظ ش سا‬
‫پیـٌْبد هیًٌٌذ )‪ .(Pradham and Dagum 1996‬دس تئَسی‪ ،‬حتی تخویي اػتٌتبخی احتوبالت ؿجٌِی ثیضی سا هیت َاى ‪NP-hard‬‬
‫داًؼت )‪ .(Dagum and Luby 1993‬خَؿجختبًِ دس ػول‪ ،‬هتذ ّبی تخویٌی دس ثؼیبسی اص هَاسد هلیذ اص آة دس آهذُاًذ‪ .‬ثحث هت ذ ّ بی‬
‫اػتٌتبج ؿجٌِ ّبی ثیضی دس )‪ (Jensen 1996) ٍ (Russell and Norvig 1995‬آهذُ اػت‪.‬‬

‫‪ 6.66.4‬یادگیری شبکه های باٍر بیسی‬

‫آیب هیتَاًین الگَسیتوی هَثش ثشای یبدگیشی ؿجٌِ ّبی ثبٍس ثیضی اص دادُ ّبی آهَصؿی پیذا ًٌین؟ ایي ػؤال‪ ،‬صهیٌِی هَسد تَخِ اًثش تحویو بت‬
‫كؼلی اػت‪ .‬تؼشیق هؼئلِ ّبی هختللی سا هیتَاى ثشای ایي ػؤال دس ًظش گشكت‪ .‬اثتذا ایٌٌِ ػبختبس ؿجٌِ هوٌي اػت دهین هـخق ثبؿ ذ‪ ،‬ی ب‬
‫هوٌي اػت ػبختبس ؿجٌِ ثب تَخِ ثِ دادُ ّبی آهَصؿی اًتخبة ؿَد‪ .‬دٍم ایٌٌِ توبهی هتـیش ّبی ؿجٌِ هوٌي اػت دس ّ ش ًوًَ ِی آهَصؿ ی‬
‫هـَْد ٍ هؼلَم ثبؿذ یب ثلؼٌغ ثؼوی هوٌي اػت ثؼوی هتـیشّب ؿیش هبثل هـبّذُ ثبؿٌذ‪.‬‬

‫‪1‬‬
‫‪causal knowledge‬‬
‫‪2‬‬
‫‪inference‬‬
‫‪3‬‬
‫‪exact inference‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس حبلتی ًِ ػبختبس ؿجٌِ دهین هـخق اػت‪ ٍ ،‬كوي ثؼوی اص هوبدیش هتـیش ّبی آى هبثل هـبّذُاًذ‪ ،‬هؼئلِی یبدگیشی ثؼیبس ػختتش خَاّ ذ‬
‫ثَد‪ .‬ایي هؼئلِ ثِ ًحَی هـبثِ یبدگیشی ٍصىّبی ٍاحذ ّبی پٌْبى ؿجٌِ ّبی ػلجی اػت‪ ،‬خبیی ًِ ٍسٍدی ٍ خشٍخی ؿجٌِ هـ خق اػ ت‬
‫اهب اًالػبتی دس هَسد الیِی پٌْبى ؿجٌِ دس ًوًَِ ّبی آهَصؿی ًیؼت‪ .‬دس ٍاهغ‪ (Russell 1995) ،‬كشایٌذی هـبثِ ثب ؿیت كؼَد اسائ ِ دادُ‬
‫اػت ًِ احتوبالت ؿشًی خذٍل سا یبد هیگیشد‪ .‬ایي كشایٌذ ؿیت كؼَد دس كوبیی اص كشهیِّب ًِ هتٌبػت ثب هدوَػِ ای اص توبهی حبل تّ بی‬
‫هوٌي احتوبالت ؿشًی اػت ثشای یبكتي هوبدیش خذٍل احتوبالت ؿشًی خؼتدَ هیًٌذ‪ .‬تبثغ ای ًِ دس ًَل ؿیت ك ؼَد ه بًضیون ه یؿ َد‬
‫احتوبل )‪ P(D|h‬دادُ ّبی آهَصؿی ‪ D‬اػت ثب هؼلَم ثَدى كشهیِی ‪ h‬اػت‪ً .‬جن تؼشیق‪ ،‬ایي خؼتدَ هؼ بدل خؼ تدَ ث شای هحتو لت شیي‬
‫كشهیِ ثشای هوبدیش خذٍل اػت‪.‬‬

‫‪ 6.66.5‬آهَزش شیب صعَد برای شبکه های بیسی‬

‫هبًَى ؿیت كؼَدی ًِ )‪ (Russell 1995‬هؼشكی ًشد‪ ،‬ثب حشًت ثِ ػوت اكضایؾ )‪ ln P(D|h‬هوذاس )‪ P(D|h‬سا ثب تَخِ ثِ هوبدیش خذٍل‬
‫ًوبد تي دادُی ای اص خذٍلّبی احتوبالت ؿشًی ؿجٌِ ثبؿذ‪ .‬دس ًل كشم‬ ‫احتوبالت ؿشًی ؿجٌِی ثیض هبًضیون هیًٌذ‪ .‬كشم ًٌیذ‬
‫سا داؿتِ ثبؿ ذ‪.‬‬ ‫هوذاس‬ ‫سا داؿتِ ثبؿذ ثب هؼلَم ثَدى ایٌٌِ هتـیش‬ ‫هوذاس‬ ‫ًوبد احتوبل ؿشًی ایٌٌِ هتـیش ؿجٌِی‬ ‫ًٌیذ ًِ‬
‫ًیض ٍالذیي‬ ‫ًیض هتـیش ‪ Campfire‬ثبؿذ ٍ‬ ‫دادُی گَؿِی ثبال ٍ ػوت ساػت خذٍل احتوبالت ؿشًی ‪ 6.3‬ثبؿذ ٍ‬ ‫ثشای هثبل‪ ،‬اگش‬
‫اػ ت‪ .‬گشادی بى )‪ ِ ً ln P(D|h‬ث ب‬ ‫ٍ‬ ‫آى یؼٌ ی >‪ٍ <Storm,BusTourGroup‬‬
‫) | (‬
‫ًـبى دادُ هیؿَد سا ّوبى ًَس ًِ ثؼذاً ًیض ًـبى خَاّین داد هیتَاى ثِ كَست صیش هحبػجِ ًشد‪،‬‬ ‫ثشای ّش‬

‫) | (‬ ‫(‬ ‫) |‬
‫∑‬ ‫(‬ ‫)‬

‫ث شای هث بل‪ ،‬ث شای هحبػ جِی ّ ش ی ي اص هو بدیش هـ تن )‪ً ln P(D|h‬ؼ جت ث ِ دادُی گَؿ ِی ث بال ٍ ساػ ت خ ذٍل ‪ 6.3‬ثبی ذ هو ذاس‬
‫)‪ P(Campfire=True,Storm=False,BusTourGroup=False|d‬سا ثشای ّش ی ي اص ًوًَ ِ ّ بی آهَصؿ ی ‪ d‬دس ‪ D‬هحبػ جِ‬
‫ًٌین‪ .‬صهبًی ًِ ایي هتـیش ّبی ثشای ًوًَِ ای هثل ‪ d‬هدَْل اػت‪ ،‬الصم اػت ًِ ایي احتوبل سا ثب اػتٌتبج اص هتـیشّبی دیگش آهَصؿ ی هَخ َد‬
‫‪ d‬هحبػجِ ًٌین‪ .‬دس ٍاهغ‪ ،‬ایي ًویتّب ثِ ساحتی اص هحبػجبت اػتٌتبخی اًدبم ؿذُ دس اًثش ؿ جٌِ ّ بی ثی ضی اػ تخشاخی ه یؿ َد‪ ،‬ثٌ بثشایي‬
‫یبدگیشی سا هیتَاى ثب ّضیٌِ ای ًوی ثیـتش‪ ًِ ،‬اص ؿجٌِی ثیضی ثشای اػتٌتبج ٍ هذاسى خذیذ هتؼبهجبً ثذػت هیآیذ‪.‬‬

‫دس صیش اص ساثٌِی ‪ (Russell 1995) ًِ 6.25‬هؼشكی ًشدُ ثذػت هیآٍسین‪ .‬اداهِی ایي هؼوت سا هیتَاًیذ ث ذٍى اص دػ ت دادى پیَػ تگی‬
‫ث شای ًو بیؾ )‪ P(D|h‬اػ تلبدُ خ َاّین‬ ‫هؼوتّب دس اٍلیي خَاًذ ًتبة ًخَاًیذ‪ .‬ثشای ػبدُ ػبصی ًوبد‪ ،‬دس ایي هـتن گیشی اص ًوبد ) (‬
‫) (‬
‫سا ثِ اصای تو بهی هو بدیش ‪ k ٍ j ٍ i‬هحبػ جِ ًٌ ین‪ .‬ث ب ك شم ایٌٌ ِ‬ ‫ًشد‪ .‬هیخَاّین گشادیبى ایي تبثغ سا ثیبثین پغ ثبیذ ساثٌِی‬
‫ًوًَِ ّبی آهَصؿی ‪ d‬دس هدوَػِی دادُ ّبی ‪ D‬هؼتول ثبؿٌذ‪ ،‬هیتَاى ًَؿت‪،‬‬

‫) | (‬
‫∏‬ ‫) (‬

‫) (‬
‫∑‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫) (‬
‫∑‬
‫) (‬

‫) (‬ ‫) (‬
‫ٍ) (‬ ‫ًتیدِ گیشی ؿذُ اػت‪ .‬حبل هیتَاى هوبدیش هتـیش ّ بی‬ ‫) (‬
‫هشحلِی آخش اص ساثٌِی‬
‫هؼشكی ًشد‪.‬‬ ‫ٍ‬ ‫سا ثب اػتلبدُ اص خوغ سٍی هوبدیش‬

‫) | (‬
‫∑‬ ‫∑‬ ‫| (‬ ‫( )‬ ‫)‬
‫) (‬

‫∑‬ ‫∑‬ ‫| (‬ ‫( )‬ ‫|‬ ‫( )‬ ‫)‬

‫) (‬

‫هشحلِی آخش اص هبًَى احتوبل خذٍل ‪ً 6.1‬تیدِ گیشی ؿذُ اػت‪ .‬حبل خوغ ػوت ساػتی ساثٌِی ثبال سا دس ًظ ش ثگیشی ذ‪ ،‬ث ب تَخ ِ ث ِ تؼشی ق‬
‫خَاّین داؿت ًِ توبهی خوالت خض خولِی ‪ i'=i ٍ j’=j‬كلش خَاٌّذ ثَد پغ داسین‪،‬‬ ‫(‬ ‫|‬ ‫)‬

‫) | (‬
‫∑‬ ‫∑‬ ‫| (‬ ‫| ( )‬ ‫( )‬ ‫)‬
‫) (‬

‫∑‬ ‫∑‬ ‫| (‬ ‫)‬ ‫(‬ ‫)‬

‫) (‬

‫∑‬ ‫| (‬ ‫( )‬ ‫)‬
‫) (‬

‫داسین‪،‬‬ ‫| (‬ ‫ثب اػتلبدُ اص هویِی ثیض ثشای هوذاس )‬

‫) | (‬ ‫(‬ ‫( ) ( ) |‬ ‫)‬
‫∑‬
‫) (‬ ‫(‬ ‫)‬

‫(‬ ‫( ) |‬ ‫)‬
‫∑‬
‫(‬ ‫)‬

‫(‬ ‫) |‬
‫∑‬
‫| (‬ ‫)‬

‫(‬ ‫) |‬
‫∑‬ ‫(‬ ‫)‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثذیي كَست هـتن ساثٌِی ‪ 6.25‬هحبػجِ هیؿَد‪ .‬هجل اص سكتي ثِ ػشاؽ هبًَى كشایٌذ ؿیت كؼَد ثبیذ دس ًظ ش گشك ت ً ِ ثبی ذ پ غ اص تـیی ش‬
‫∑ ثشای توبهی هوبدیش ‪i‬‬ ‫آىّب ّوچٌبى دس ثبصُی ]‪ [0,1‬ثبهی ثوبًٌذ تب احتوبالت هؼتجشی ثبؿٌذ‪ .‬اص ًشف دیگش ثبیذ هوذاس‬ ‫هوبدیش‬
‫سا ثب تَخِ ثِ ؿیت كؼَد تـییش هی دّین‪،‬‬ ‫ٍ ‪ 1 ،k‬ثبهی ثوبًذ‪ .‬ایي ؿشٍى سا هیتَاى ثب تـییش دٍ هشحلِ ای ٍصىّب اػوبل ًشد‪ ،‬اثتذا ّش‬

‫(‬ ‫) |‬
‫∑‬

‫دس ایي ساثٌِ ‪ η‬ثبثت ًَچٌی ثِ ًبم هشیت یبدگیشی اػت‪ .‬دس هشحلِی دٍم ٍصىّب سا ًشهبلیضُ هیًٌین تب دس ؿشٍى ثبال كذم ًٌٌذ‪ّ .‬وبى ً َس‬
‫ًِ ‪ً Russell‬یض تَهیح دادُ اػت ایي كشایٌذ ثِ هحتولتشیي كشهیِی ًؼجی ثشای احتوبالت ؿشًی دس ؿجٌِ ثیض هیل خَاّذ ًشد‪.‬‬

‫هثل دیگش سٍؽّبی ثش پبیِی ؿیت كؼَد‪ ،‬ایي الگَسیتن ًیض كوي توویي هیًٌذ ًِ ساُ حل ثْیٌِی هَهؼی پیذا ًٌذ‪ .‬خ بیگضیي دیگ ش هَخ َد‬
‫ثشای ؿیت كؼَد الگَسیتن ‪ EM‬اػت ًِ دس هؼوت ‪ 6.12‬تَهیح دادُ هیؿَد‪ ،‬ایي الگَسیتن ًیض ساُ حلی ثْیٌِ هَهؼی پیذا خَاّذ ًشد‪.‬‬

‫‪ 6.66.6‬یادگیری ساختار شبکهی بیسی‬

‫یبدگیشی ؿجٌِ ّبی ثیضی ٌّگبهی ًِ ػبختبس ؿجٌِ ثِ دهت هؼلَم ًیؼت ًیض پیچیذُ اػت‪ (Cooper and Herskovits 1992) .‬سٍؿی‬
‫‪ Bayesian scoring metric‬ثشای اًتخبة هیبى ؿجٌِ ّبی هختلق اسائِ هیًٌٌذ‪ .‬آىّب ّوچٌیي خؼتدَیی اثتٌبسی ثِ ًبم الگَسیتن ‪K2‬‬
‫ثشای یبدگیشی ػبختبس ؿجٌِ دس ؿشایٌی ًِ دادُّب ثِ ًَس ًبهل هبثل هـبّذُاًذ اسائِ هیًٌٌ ذ‪ .‬هـ بثِ اًث ش الگ َسیتنّ بی ی بدگیشی ػ بختبس‬
‫ؿجٌِی ثیض‪ً K2 ،‬یض اص خؼتدَیی حشیلبًِ ًِ پیچیذگی كشهیِ سا كذای دهت سٍی دادُ ّبی آهَصؿی هیًٌذ اػتلبدُ هیًٌذ‪ .‬دس آصهبیـ ی ث ِ‬
‫‪ K2‬هدوَػِ ای اص ‪ً 3,000‬وًَِی آهَصؿی تلبدكی اص ؿجٌِ ثیضیای هؼلَهی ثب ‪ 37‬گشُ ٍ ‪ 46‬یبل دادُ ؿذ‪ .‬ای ي ؿ جٌِی خ بف هـ ٌالت‬
‫ثیَْؿی سا دس یي اتبم خشاحی ثیوبسػتبى تَكیق هیًشد‪ .‬ػالٍُ ثش ایي دادُّب‪ ،‬ثِ ثشًبهِ تشتیجی اٍلیِ ای اص ‪ 37‬هتـیشی ًِ ػبصگبس ثب هؼوتی اص‬
‫تشتیت ٍاثؼتگی هتـیشّب دس ؿجٌِی ٍاهؼی ثَد ًیض دادُ ؿذ‪ .‬ایي ثشًبهِ دس تـخیق ؿجٌِی ثیضی دسػت توشیجبً هَكن ؿذ‪ ،‬ایي ؿجٌِ یبلی اهبكِ‬
‫ٍ یبلی دیگش ًوتش اص ؿجٌِی اكلی داؿت‪.‬‬

‫سٍؽّبی هجتٌی ثش هیَد‪ً 1‬یض دس یبدگیشی ػبختبس ؿجٌِ ّبی ثیضی ًیض پیـٌْبد ؿ ذُ اػ ت )‪ .(Sprites et al. 1993‬ای ي سٍؽّ ب سٍاث ي‬
‫اػتوالل ٍ ٍاثؼتگی سا اص دادُّب اػتٌتبج ًشدُ ٍ اص آىّب ثشای ػبخت ؿجٌِ ّبی ثیضی اػتلبدُ ه یًٌٌ ذ‪ .‬ثشسػ ی هشثًَ ِی سٍؽّ بی كؼل ی‬
‫یبدگیشی ػبختبس ؿجٌِ ّبی ثیضی دس )‪ (Buntine 1994) ٍ (Heckerman 1995‬آٍسدُ ؿذُ اػت‪.‬‬

‫‪ 1.66‬الگَریتن ‪EM‬‬
‫دس ثؼیبسی اص تؼشیق هؼئلِ ّبی ًبسثشدی‪ ،‬كوي یي صیش هدوَػِ اص ٍیظگیّبی ًوًَ ِّ ب هبث ل هـ بّذُ اػ ت‪ .‬ث شای هث بل‪ ،‬دس ی بدگیشی ی ب‬
‫اػتلبدُی ؿجٌِی ثبٍس ثیضیای ًِ دس خذٍل ‪ 6.3‬آٍسدُ ؿذ‪ ،‬هوٌي اػت كوي دادُ ّبی ًظیش یي صیش هدوَػِ اص هتـیش ّ بی ؿ جٌِ هث ل صی ش‬
‫هدوَػِی ‪ Storm, Lightning, Thunder, ForestFire, Campfire, BusTourGroup‬سا داؿتِ ثبؿین‪ .‬سٍؽّبی ثؼ یبسی‬
‫ثشای ًٌتشل ایي هـٌل پیـٌْبد ؿذُ اػت‪ّ ،‬وبى ًَس ًِ دس كلل ‪ً 3‬یض دیذیذ‪ ،‬اگش ثؼوی هتـیشّب دس ثؼو ی ه َاسد ؿی ش هبث ل هـ بّذُ ٍ دس‬

‫‪1‬‬
‫‪constraint-based‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثؼوی هَاسد هبثل هـبّذُ ثبؿٌذ‪ ،‬هیتَاى اص ًوًَِ ّبی آهَصؿیای ًِ ایي هوذاس سا داسًذ ثشای پیؾ ثیٌی ایي ٍیظگی دس دیگش ًوًَِّ ب اػ تلبدُ‬
‫ًشد‪ .‬دس ایي ثخؾ ثِ الگَسیتن ‪ ًِ EM‬دس یبدگیشی ثب ٍخَد ٍیظگیّبی هدَْل ًبسثشد صیبد داسد هیپشداصین‪ .‬اص الگ َسیتن ‪ EM‬ه یت َاى حت ی‬
‫ثشای هتـیشّبیی ًِ ّی ٍهت ثِ ًَس هؼتوین هبثل هـبّذُ ًیؼتٌذ ًیض اػتلبدُ ًشد‪ ،‬اهب الصم اػت ًِ كشم ًل ی تَصی غ احتو بل ح بًن ث ش ای ي‬
‫هتـیشّب هؼلَم ثبؿذ‪ .‬الگَسیتن ‪ EM‬ثشای آهَصؽ ؿجٌِ ّبی ثبٍس ثی ضی اث شای اًالػ بت ثیـ تش ث ِ ‪ Heckerman 1995‬سخ َع ًٌی ذ) ٍ‬
‫‪2‬‬
‫ؿجٌِ ّبی تَاثغ ؿؼبػی‪ ًِ 1‬دس هؼوت ‪ 8.4‬تَهیح دادُ ؿذ ثِ ًبس هیسًٍ ذ‪ .‬الگ َسیتن ‪ EM‬پبی ِی ثؼ یبسی اص الگ َسیتنّ بی خَؿ ِ ی بثی‬
‫)‪ّ ٍ (Cheeseman 1988‬وچٌیي پبیِی الگَسیتنّبی پشًبسثشد ‪ Baum-Welch forward-backward‬ثشای یبدگیشی هذلّ بی‬
‫ًیوِ هـَْد هبسًٍَ‪ 3‬اػت )‪.(Rabiner 1989‬‬

‫‪ 6.62.6‬تخویي هیاًگیي ‪ k‬تَزیع ًرهال‬

‫ساحتتشیي ساُ هؼشكی الگَسیتن ‪ EM‬اص ًشین یي هثبل اػت‪ .‬هؼئلِ ای سا دس ًظ ش ثگیشی ذ ً ِ دس آى دادُ ّ بی آهَصؿ ی ‪ D‬هدوَػ ِ ای اص‬
‫ًوًَِّبیی اػت ًِ اص ًشین تَصیؼی ًِ تشًیت ‪ k‬تَصیغ ًشهبل‪ 4‬اػت ثذػت آهذُاًذ‪ .‬ایي تؼشیق هؼئلِ ثشای ‪ k=2‬دس ؿٌل ‪ 6.4‬آهذُ اػ ت‪ ،‬دس‬
‫ایي ؿٌل ًوًَِّب ًوبى سٍی هحَس ‪ّ x‬ؼتٌذ‪ّ .‬ش ًوًَِ اص كشایٌذی دٍ هشحلِ ای ثذػت هیآیذ‪ .‬اثتذا ثِ تلبدف یٌی اص ‪ k‬تَصیغ ًشه بل اًتخ بة‬
‫ایدبد هیگشدد‪ .‬ایي كشایٌذ ثشای ایدبد هدوَػِ ای اص ًوًَِ ّبی آهَصؿی ّوبى ًَس ًِ دس‬ ‫هیؿَد‪ .‬ػپغ ثش اػبع آى تَصیغ ًشهبل ًوًَِی‬
‫ؿٌل ًـبى دادُ ؿذُ اػت تٌشاس خَاّذ ؿذ‪ .‬ثشای ػبدُ ػبصی ثحث‪ ،‬حبلتی سا ثشسػی هیًٌین ًِ احتوبل توبهی تَصیغّبی ًشه بل دس هشحل ِی‬

‫اٍل یٌؼبى اػت ٍ تو بهی تَصی غّ بی ًشه بل ٍاسی بًغ هـ تشى 𝜎 داسً ذ‪ ّ .‬ذف ی بدگیشی پی ذا ً شدى كشه یِ ای ث ِ ؿ ٌل‬
‫𝜇 اػت ًِ هیبًگیيّبی ‪ k‬تَهیح احتوبل سا تَكیق ًٌذ‪ .‬دس ًبس یبدگیشی ػؼی هیًٌین تب هحتولتشیي كشه یِ سا پی ذا ًٌ ین؛‬ ‫𝜇‬
‫كشهیِ ای ًِ )‪ p(D|h‬سا هبًضیون ًٌذ‪.‬‬

‫‪1‬‬
‫‪Radial basis function network‬‬
‫‪2‬‬
‫‪clustering‬‬
‫‪3‬‬
‫‪Partially Observable Markov Models‬‬
‫‪4‬‬
‫‪Mixed Gaussian distribution‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿٌل ‪ً 6.4‬وًَِ ّبی حبكل اص تشًیت دٍ تَصیغ ًشهبل ثب ٍاسیبًغ ‪ σ‬یٌؼبى‪.‬‬

‫ًوًَِّب ثب ًوبًی سٍی هحَس ‪ً x‬ـبى دادُ ؿذُاًذ‪ .‬اگش هیبًگیي تَصیغّبی ًشهبل ًبهؼلَم ثبؿذ‪ ،‬الگَسیتن ‪ EM‬سا هیتَاى ثشای خؼتدَی هحتولت شیي هو ذاس‬
‫تخویي آىّب ثِ ًبسثشد‪.‬‬
‫كو ي حبل ت خبك ی اص‬ ‫تَخِ داسیذ ًِ هحبػجِی هحتولتشیي كشهیِ ثشای هیبًگیي یي تَصیغ ًشهبل ثب داؿتي ًوًَِ ّ بی‬
‫هؼئلِ ای اػت ًِ دس هؼوت ‪ 6.4‬ثحث ؿذ‪ ،‬دس ساثٌِی ‪ً 6.6‬ـبى دادین ًِ هحتولتشیي كشهیِ‪ ،‬كشهیِ ای اػت ًِ هدوَع خٌبّبی هشثؼی سا‬
‫ثشای توبهی ‪ً m‬وًَِ هیٌیون هیًٌذ‪ .‬اگش ساثٌِی ‪ 6.6‬سا ثب تَخِ ثِ ًوبد گزاسی خذیذ ثبصًَیؼی ًٌین‪ ،‬خَاّین داؿت‪،‬‬

‫𝜇‬ ‫(∑‬ ‫)𝜇‬ ‫(‬ ‫)‬

‫دس چٌیي ؿشایٌی هدوَع خٌب ّبی هشثؼی ثب تؼبٍی صیش هیٌیون خَاّذ ؿذ‪،‬‬

‫𝜇‬ ‫∑‬ ‫(‬ ‫)‬

‫ثب ٍخَد ایي ٍخَد هؼئلِی هب دسثبسُی تشًیجی اص تَاثغ ًشهبل اػت ٍ تـخیق ایٌٌِ ًوًَِّب اص ًذام تَصیغ ثذػت آهذُاً ذ ًی ض هوٌ ي ًیؼ ت‪.‬‬
‫ثٌبثشایي‪ ،‬ثب كَست هثبلی ًلی اص هؼئلِّبیی ًِ هتـیش ّبی پٌْبى داسًذ هَاخْین‪ .‬دس هثبل ؿٌل ‪ ،6.4‬هیتَاى تَهیح ًبهل هشثًَِی ّش ًوًَ ِ‬
‫هوذاس هـبّذُ ؿذُی ‪i‬اهیي ًوًَِ اػت ٍ دٍ هو ذاس‬ ‫دس ًظش گشكت‪ ،‬دس ایي ػِ تبیی هشتت‬ ‫سا ثِ ؿٌل ػِ تبیی هشتت‬
‫صهبًی یي اػت ًِ ًوًَِ اص تَصیغ‬ ‫هـخق هیًٌذ ًِ ًذام یي اص دٍ تَصیغ ًشهبل ثشای تَلیذ ایي ًوًَِ ثِ ًبس سكتِاًذ‪ .‬دس ًل‪،‬‬
‫هتـی ش ّ بی پٌْ بى‬ ‫هبثل هـبّذُ ٍ هتـیش ّبی‬ ‫ًشهبل ‪ j‬ام ثذػت آهذُ اػت ٍ دس ؿیش ایي كَست كلش خَاّذ ثَد‪ .‬دس ایٌدب هتـیش‬
‫هبثل هـبّذُ ثَدًذ هیؿذ اص ساثٌِی ‪ 6.27‬ثشای پیذا ًشد 𝜇 ٍ 𝜇 اػتلبدُ ًشد‪ ،‬حبل چَى ایي هتـیشّب‬ ‫ّؼتٌذ‪ .‬اگش هوبدیش هتـیش ّبی‬
‫هبثل هـبّذُ ًیؼتٌذ اص الگَسیتن ‪ EM‬اػتلبدُ خَاّین ًشد‪.‬‬

‫هیپ شداصد ٍ ػ پغ‬ ‫ثب هؼلَم ثَدى كشهیِی كؼلی‬ ‫دس ایي هثبل‪ ،‬پیذا ًشدى ‪ k‬هیبًگیي‪ ،‬الگَسیتن ‪ EM‬ثِ تخویي هوبدیش‬
‫هوبدیش هحتولتشیي كشهیِّب سا ثب تَخِ ثِ ایي هوبدیش تلبدكی ثشای هتـیش ّبی پٌْبى دٍثبسُ هحبػجِ هیًٌذ‪ .‬اثتذا ایي هثبل سا دس الگَسیتن ‪EM‬‬
‫تَكیق حل هیًٌین‪ ،‬الگَسیتن ‪ EM‬سا دس حبلت ًلی ثیبى خَاّین ًشد‪.‬‬

‫دٍ هوذاس دلخَاُ ّؼتٌذ هو ذاس دّ ی‬ ‫ٍ‬ ‫ًِ دس آى‬ ‫ثشای ؿٌل ‪ ،6.4‬الگَسیتن ‪ EM‬اثتذا هوذاس اٍلیِی كشهیِ سا ثِ‬
‫اٍلیِ هیًٌذ‪ .‬ػپغ كشهیِی ‪ h‬سا ثب تٌشاس حلوِی دٍ هشحلِ ای صیش اسصیبثی هیًٌذ‪ ،‬ایي حلوِ تب صهبًی ًِ كشایٌذ ث ِ هو ذاس ث بثتی اص ‪ّ h‬وگ شا‬
‫ؿَد حلوِ تٌشاس خَاّذ ؿذ‪.‬‬

‫هحبػجِ ًي‪.‬‬ ‫ثب كشم دسػتی كشهیِی‬ ‫[ سا ثشای ّش هتـیش پٌْبى‬ ‫مرحلٍی‌‪ :1‬هوذاس اهیذ ]‬
‫‌‬

‫[ ًِ دس هشحل ِی ‪1‬‬ ‫هوذاس اهیذ ]‬ ‫سا ثب كشم ایٌٌِ توبهی هوبدیش‬ ‫مرحلٍی‌‪ :2‬هحتولتشیي كشهیِی خذیذ‬
‫‌‬
‫خبیگضیي ًي‪.‬‬ ‫سا ثب كشهیِی‬ ‫هحبػجِ ؿذ اػت سا هحبػجِ ًي‪ .‬ػپغ كشهیِی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫سا هحبػ جِ ًٌ ذ‪ .‬ای ي هو ذاس‬ ‫ثیبییذ ًحَُی پیبدُ ػبصی ّش یي اص هشاحل سا دس ػول ثشسػی ًٌین‪ .‬هشحلِی اٍل ثبیذ هوذاس اهیذ ّش ی ي اص‬
‫اػت ًِ اص ًشین ‪ j‬اهیي تَصیغ ًشهبل ایدبد ؿذُ اػت‪.‬‬ ‫[ كوي احتوبل ًوًَِی‬ ‫]‬

‫(‬ ‫𝜇|‬ ‫) 𝜇‬
‫[‬ ‫]‬
‫∑‬ ‫(‬ ‫) 𝜇 𝜇|‬

‫(‬ ‫)‬
‫𝜎‬

‫(‬ ‫)‬
‫∑‬ ‫𝜎‬

‫ًتیدِ گیشی ؿذُ اػت‪.‬‬ ‫ٍ هوذاس كؼلی‬ ‫هشحلِی اٍل ثب ثٌبس گیشی هوبدیش كؼلی‬

‫[ دس هشحلِی اٍل هحبػجِ ؿذ اػتلبدُ ه یؿ َد ت ب هحتو لت شیي كشه یِ‬ ‫دس هشحلِی دٍم هوذاسی ًِ ثشای ]‬
‫هحبػجِ ؿَد‪ّ .‬وبى ًَس ًِ ثؼذاً ًیض ثحث خَاّین ًشد‪ ،‬هحتولتشیي كشهیِ دس ایي حبلت ثب ساثٌِی صیش هحبػجِ هیؿَد‪،‬‬

‫∑‬ ‫[‬ ‫]‬

‫𝜇‬
‫∑‬ ‫[‬ ‫]‬

‫تَخِ داسیذ ًِ ایي ساثٌِ تـبثِ ثؼیبسی ثِ ساثٌِی ‪ 6.28‬ثشای تخویي هوذاس ‪ µ‬ثشای یي تَصیغ ًشهبل داسد‪ .‬دس ساثٌِی خذیذ كوي هیبًگیي ٍصى‬
‫[ ًِ اص ‪ j‬اهیي تَصیغ ًشهبل ثذػت آهذُ اػت‪.‬‬ ‫داس 𝜇 ّبػت‪ٍ ،‬صى ّش 𝜇 هوذاس ]‬

‫الگَسیتن ثبال ثشای تخویي هیبًگیيّبی تشًیت ‪ k‬تَصیغ ًشهبل ثب سٍؽ الگَسیتن ‪ EM‬اػت‪ :‬كشهیِی كؼلی ثشای تخویي هتـیش ّبی ً ب هـ َْد‬
‫اػتلبدُ هیؿَد‪ ،‬ػپغ هوذاس اهیذ ایي هتـیشّب ثشای هحبػجِی كشهیِی ثْتشی ثِ ًبس هیسٍد‪ .‬هیتَاى اثجبت ًشد ًِ ث ب ّ ش دٍس اخ شای حلو ِ‬
‫الگَسیتن ‪ EM‬هیضاى هحتول ثَدى )‪ P(D|h‬سا ثیـتش هیًٌذ‪ ،‬هگش ایٌٌِ آى یي هبًضیون ًؼجی ثبؿذ‪ .‬پ غ الگ َسیتن ‪ EM‬دس اًتْ ب ث ِ ی ي‬
‫هیل خَاّذ ًشد‪.‬‬ ‫هبًضیون هَهؼی ثشای هحتول ثَدى‬

‫‪ 6.62.2‬حالت کلی الگَریتن ‪EM‬‬

‫دس ثبال الگَسیتن ‪ EM‬سا ثشای هؼئلِی تخویي هیبًگیيّبی تشًیت تَصیغ احتوبلّبی ًشهبل ثیبى ًشدین‪ .‬دس حبل ت ًل یت ش‪ ،‬الگ َسیتن ‪ EM‬سا‬
‫هیتَاى دس ثؼیبسی اص تؼشیق هؼئلِّب ًِ دس آىّب ثحث اص تخویي هدوَػِ ای اص پبساهتش ّبی ‪ ًِ θ‬تَهیح احتوبل حبًن سا تَكیق هیًٌٌذ ثب‬
‫𝜃 اػ ت‪ ،‬دادُ‬ ‫𝜇 𝜇‬ ‫اػتلبدُ اص هؼوتی اص دادُّب ًِ هبثل ؿَْد اػت ثِ ًبسثشد‪ .‬دس هثبل دٍ هیبًگیي ثبال پبساهتش ّبی هَسد ػاله ِ‬
‫دادُ ّ بی‬ ‫*‬ ‫هبثل هـبّذُ اػ ت‪ .‬دس ً ل اگ ش ‪+‬‬ ‫ّؼتٌذ ًِ كوي‬ ‫ّبی ًبهل ػِ تبیی هشتتّبی‬
‫ًیض دادُ ّبی ؿیش هبثل هـبّذُ ثبؿذ دس ایي ًوًَِ ّبی آهَصؿ ی‬ ‫*‬ ‫هـبّذُ ؿذُ دس هدوَػِ ای اص ‪ً m‬وًَِی هؼتول ٍ ‪+‬‬
‫‪ً Y=X∪Z‬ل دادُّب خَاّذ ثَد‪ .‬تَخِ داسیذ ًِ ثب ‪ Z‬هیتَاى ثِ دیذ هتـیش تلبدكیای ًِ تَصیغ احتوبلؾ ثِ پبساهتشّبی ً بهؼلَم ‪ ٍ θ‬دادُ ّ بی‬
‫هـبّذُ ؿذُی ‪ٍ X‬اثؼتِ اػت ًگبُ ًشد‪ .‬ثِ ًَس هـبثِ‪ً Y ،‬یض هتـیشی تلبدكی اػت‪ ،‬صیشا ًِ تَػي هتـیش تلبدكی ‪ Z‬تؼشیق هیؿَد‪ .‬دس اداهِی‬
‫ایي ثخؾ كشم ًلی الگَسیتن ‪ EM‬سا تَهیح خَاّین داد‪ .‬اص ‪ h‬ثشای ًوبیؾ هوبدیش هلشٍم كؼل ی اص پ بساهتش ّ بی ‪ ٍ θ‬اص '‪ h‬ث شای كشه یِی‬
‫ثبصثیٌی ؿذُی ّش حلوِ الگَسیتن ‪ EM‬اػتلبدُ خَاّین ًشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ ,‬سا هبًضیون ًٌ ذ خؼ تدَ‬ ‫الگَسیتن ‪ EM‬كوبی كشهیِی هحتولتشیي كشهیِّب '‪ h‬سا ثشای پیذا ًشدى '‪ h‬ی ًِ هوذاس ‪( | )| -‬‬
‫هیًٌذ‪ .‬ایي هوذاس اهیذ ثشای توبهی تَصیغ احتوبالت ‪ ًِ Y‬تَػي پبساهتش ّبی ًبهؼلَم هـخق هیگشدد هحبػجِ هیؿَد‪ .‬ثیبییذ هلَْم دهین ایي‬
‫هوذاس اهیذ سا ثب ّن ثشسػی ًٌین‪ .‬اثتذا ایٌٌِ ) | ( هحتول ثَدى دادُ ّبی ًبهل ‪ Y‬سا ثب ؿشى هؼلَم ثَدى '‪ً h‬ـبى ه یدّ ذ‪ .‬پ غ پی ذا‬
‫ًشدى كشهیِی '‪ h‬ثِ هؼوی ًِ تبثؼی اص ایي هؼیبس سا هبًضیون ًٌ ذ هٌٌو ی خَاّ ذ ث َد‪ .‬دٍم ایٌٌ ِ‪ ،‬ه بًضیون ً شدى لگ بسیتن ای ي ًوی ت‪،‬‬
‫‪ ,‬سا‬ ‫ًیض ) | ( سا هبًضیون هیًٌذ اّوبى ًَس ًِ پیؾتش ًیض گلتِ ثَدین)‪ .‬ػَم ایٌٌِ هب هو ذاس اهی ذ ‪( | )-‬‬ ‫) | (‬
‫ثشای ایٌٌِ دادُ ّبی ًبهل ‪ Y‬خَد هتـیشی تلبدكی اػت هؼشكی هیًٌین‪ .‬ثب داًؼتي ایٌٌ ِ دادُ ّ بی ًبه ل ‪ Y‬تشًیج ی اص دادُ ّ بی هـ بّذُ‬
‫ؿذُی ‪ ٍ X‬دادُ ّبی هـبّذُ ًـذُ ی ‪ Z‬اػت‪ ،‬ثبیذ هیبًگیي سا ثشای هوبدیش هوٌي ‪ّ Z‬بی هـبّذُ ًـذُ ثب ٍصى هتٌبػت ثب احتوبلـبى هحبػ جِ‬
‫‪ ,‬ثش سٍی تَصیغ احتوبالت تلبدكی ‪ Y‬هحبػجِ هیؿَد‪ .‬تَصیغ ‪ Y‬تَػي هوبدیش ًبهالً هؼلَم‬ ‫ًٌین‪ .‬ثِ ػجبست دیگش‪ ،‬هوذاس اهیذ ‪( | )-‬‬
‫‪ ٍ X‬تَصیغ احتوبل حبًن ثش ‪ Z‬تؼییي هیؿَد‪.‬‬

‫تَصیغ احتوبل حبًن ثش ‪ Y‬چیؼت؟ دس ًل ایي تَصیغ سا ًویداًین‪ ،‬صیشا ًِ ایي تَصیغ ثب پبساهتش ّبی ‪ ًِ θ‬هیخَاّین تخویي ثضًین تؼییي هیؿَد‪.‬‬
‫ثٌبثشایي‪ ،‬الگَسیتن ‪ EM‬اص كشهیِی كؼلی ‪ h‬ثِ خبی پبساهتش ّبی ٍاهؼی ‪ θ‬ثشای تخویي تَصیغ احتوبل حبًن ثش ‪ Y‬اػتلبدُ هیًٌذ‪ .‬ثیبییذ تبثؼی ثِ‬
‫ثب كشم ‪ ٍ θ=h‬داؿتي هؼوت هبثل هـ بّذُی ‪ X‬اص‬ ‫سا ثِ ػٌَاى تبثؼی اص‬ ‫‪,‬‬ ‫كشم ) | ( تؼشیق ًٌین ًِ هوذاس ‪( | )| -‬‬
‫ًل دادُ ّبی ‪ Y‬ثیبى ًٌذ‪.‬‬

‫) | (‬ ‫‪,‬‬ ‫|) | (‬ ‫‪-‬‬

‫ایي تبثغ ‪ Q‬سا ثِ كشم ) | ( ‌می ًَیؼین تب ًـبى دّذ ًِ ایي تبثغ ثب ایي كشم تؼشیق ؿذُ ًِ كشهیِی كؼلی ‪ h‬ثب ‪ θ‬هؼ بٍی اػ ت‪ .‬دس‬
‫كشم ًلی‪ ،‬الگَسیتن ‪ EM‬تب سػیذى ثِ ّوگشایی دٍ هشحلِی صیش سا تٌشاس هیًٌذ‪‌ :‬‬

‫مرحلٍی‌‪ :1‬هشحلِی تخویي )‪ :(E‬هوذاس )‪ Q(h’|h‬سا ثب اػتلبدُ اص كشهیِی كؼلی ‪ ٍ h‬دادُ ّ بی هـ بّذُ ؿ ذُی ‪ X‬ث شای تخو یي تَصی غ‬
‫‌‬
‫احتوبل سٍی ‪ Y‬هحبػجِ ًي‪.‬‬

‫) | (‬ ‫‪,‬‬ ‫|) | (‬ ‫‪-‬‬

‫مرحلٍی‌‪ :2‬هشحلِی هبًضیون ػبصی )‪ :(M‬كشهیِی ‪ h‬سا ثب كشهیِی ’‪ ًِ h‬هوذاس ‪ Q‬سا هبًضیون هیًٌذ خبیگضیي ًي‪.‬‬
‫‌‬

‫) | (‬

‫اگش تبثغ ‪ Q‬پیَػتِ ثبؿذ‪ ،‬الگَسیتن ‪ EM‬ثِ ًوٌِ تؼبدل هحتولتشیي كشهیِی )’‪ P(Y|h‬هیل خَاّذ ًشد‪ .‬اگش ایي تبثغ هحتول ثَدى كوي ی ي‬
‫هبًضیون داؿتِ ثبؿذ‪ً EM ،‬یض ثِ ّوبى تخویي ّوبى هبًضیون هٌلن ثشای ’‪ h‬هیل خَاّذ ًشد‪ .‬دس ؿی ش ای ي ك َست‪ ،‬ای ي الگ َسیتن تو ویي‬
‫هیًٌذ تب ثِ هبًضیووی هَهؼی هیل ًٌذ‪ .‬دس چٌیي ؿشایٌی‪ EM ،‬هحذٍدیتّبی الگَسیتنّبی دیگشی ًِ اص خؼ تدَی ؿ یت ً ضٍل اػ تلبدُ‬
‫هیًٌٌذ سا خَاّذ داؿت‪ ،‬دس كلل ‪ 4‬تَهیح ًبهلی دس هَسد ایي هـٌالت ٍ ساُ حلّبی آىّب آٍسدُ ؿذُ اػت‪.‬‬

‫‪ 6.62.3‬اشتقاق الگَریتن ‪ k‬هیاًگیي‬

‫ثشای تلَس ثْتش ًلی الگَسیتن ‪ ،EM‬ثیبییذ هـتن الگَسیتن آٍسدُ ؿذُ دس هؼوت ‪ 6.12.1‬ثشای تخویي هیبًگیيّبی ‪ k‬تَصی غ ًشه بل سا ثشسػ ی‬
‫‪ θ‬اػ ت ً ِ‬ ‫ًٌین‪ّ .‬وبى ًَس ًِ دس ثبال ًیض تَهیح دادُ ؿذ‪ ،‬هؼئلِی تخویي ‪ k‬هیبًگیي‪ ،‬هؼئلِی تخویي پبساهتش ّ بی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثِ هب دادُ ؿذُاًذ‪ .‬دس ای ي هؼ ئلِ هتـی ش ّ بی پٌْ بى‬ ‫*‬ ‫هیبًگیي ‪ k‬تَصیغ ًشهبل تؼشیق هیؿًَذ‪ .‬دادُ ّبی هـبّذُ ؿذُی ‪+‬‬
‫ّؼتٌذ ًِ هـخق هیًٌٌذ ًِ ًوًَِ ثب اػتلبدُ اص ًذام تَصیغ ایدبد ؿذُ اػت‪.‬‬ ‫*‬ ‫‪+‬‬

‫ثشای ثِ ًبس ثشدى ‪ EM‬اثتذا ثبیذ هـتن )’‪ Q(h|h‬سا ثشای ایي تخویي ‪ k‬هیبًگیي پیذا ًشد‪ .‬ثیبییذ اثتذا هـتن ساثٌ ِی )’‪ p(Y|h‬سا هحبػ جِ‬
‫اص دادُ ّبی ًبهل سا هیتَاى ثِ كَست صیش‬ ‫ًٌین‪ .‬تَخِ داسیذ ًِ احتوبل ) | ( ثشای یي تي ًوًَِی‬
‫دهین هحبػجِ ًشد‪.‬‬

‫∑‬ ‫‪.‬‬ ‫‪/‬‬

‫) | (‬ ‫(‬ ‫) |‬ ‫𝜎‬
‫√‬ ‫𝜎‬

‫سا ثش اػبع تَصیغ ًشهبل اًتخبثی‬ ‫ّب كوي یٌی ‪ 1‬اػت ٍ ثویِ ‪ّ 0‬ؼتٌذ‪ .‬ثٌبثشایي ایي ساثٌِ تَصیغ احتوبل‬ ‫تَخِ داؿتِ ثبؿیذ ًِ اص توبهی‬
‫ًـبى هیدّذ‪ .‬ثب داؿتي احتوبل تي ًوًَِ‪ ، ( | ) ،‬لگبسیتن احتوبل )’‪ P(Y|h‬ثشای توبهی ‪ً m‬وًَِ دس دادُّب ثِ كَست صیش خَاّذ ثَد‪،‬‬

‫) | (‬ ‫) | ( ∏‬

‫∑‬ ‫) | (‬

‫(∑‬ ‫∑‬ ‫(‬ ‫) ) 𝜇‬

‫√‬ ‫𝜎‬ ‫𝜎‬

‫حبل هیتَاى ثبالخشُ هوذاس اهیذ )’‪ ln P(Y|h‬سا ثش اػبع تَصیغ احتوبل حبًن ثش ‪ Y‬یب ثِ ًَس هـبثِ تَصیغ احتوبل حبًن ثش هتـیش ّبی ؿیش هبثل‬
‫ّبػت‪ .‬دس ًل ثشای ّ ش ت بثغ )‪ِ ً f(z‬‬ ‫ّب) هحبػجِ ًشد‪ .‬تَخِ داسیذ ًِ ػجبست ثبال ثشای )’‪ ln P(Y|h‬تبثؼی خٌی اص‬ ‫هـبّذُی ‪ Y‬ا‬
‫تبثؼی خٌی اص ‪ z‬اػت ساثٌِی صیش دسػت اػت‪،‬‬

‫‪, ( )-‬‬ ‫)‪( , -‬‬

‫ثب اػتلبدُ اص حویوت ثبال دسثبسُی تَاثغ خٌی هیتَاى ًَؿت‪،‬‬

‫‪,‬‬ ‫‪( | )-‬‬ ‫( ∑*‬ ‫∑‬ ‫(‬ ‫‪𝜇 ) )+‬‬

‫√‬ ‫𝜎‬ ‫𝜎‬

‫(∑‬ ‫‪∑ ,‬‬ ‫(‪-‬‬ ‫) ) 𝜇‬

‫√‬ ‫𝜎‬ ‫𝜎‬

‫ثشای خالكِ ػبصی تبثغ )‪ Q(h’|h‬دس هؼئلِی ‪ k‬هیبًگیي ثِ كَست صیش اػت‪،‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫) | (‬ ‫(∑‬ ‫‪∑ ,‬‬ ‫(‪-‬‬ ‫) )𝜇‬

‫√‬ ‫𝜎‬ ‫𝜎‬

‫‪ً ,‬یض ثش اػبع كشهیِی كؼلی ‪ ٍ h‬دادُ ّبی هـبّذُ ؿذُی ‪ X‬هحبػجِ هیؿَد‪ّ .‬وبى ًَس‬ ‫ٍ‪-‬‬ ‫دس ایي ساثٌِ‬
‫ًِ هجالً ًیض ًـبى دادین‪،‬‬

‫(‬ ‫)‬
‫𝜎‬
‫[‬ ‫]‬ ‫(‬ ‫)‬
‫(‬ ‫)‬
‫∑‬ ‫𝜎‬

‫‪ ,‬تؼشیق هیًٌذ‪ .‬هشحل ِی دٍم اه بًضیون ػ بصی) ًی ض هو بدیش‬ ‫ثٌبثشایي هشحلِ اٍل اتخویي) الگَسیتن ‪ EM‬تبثغ ‪ Q‬سا ثش اػبع تخویي ‪-‬‬
‫سا پیذا خَاّذ ًشد ًِ ایي تبثغ ‪ Q‬سا هبًضیون ًٌذ‪ .‬دس هثبل كؼلی داسین ًِ‪،‬‬

‫) | (‬ ‫(∑‬ ‫‪∑ ,‬‬ ‫(‪-‬‬ ‫) ) 𝜇‬

‫√‬ ‫𝜎‬ ‫𝜎‬

‫‪∑∑ ,‬‬ ‫(‪-‬‬ ‫) 𝜇‬ ‫(‬ ‫)‬

‫‪,‬‬ ‫ّ ب ث ب 𝜇 ث ب ٍصى ‪-‬‬ ‫هحتولتشیي كشهیِ ایٌدب هدوَػی ٍصى داس اص خٌب ّبی هشثؼی سا هیٌیون هیًٌذ‪ ،‬دس ایي خٌب هشث غ اخ تالف‬
‫هیٌیون هیؿَد‪ً .‬ویت ساثٌِی ‪ 6.30‬ثب هشاس دادى هوبدیش 𝜇 ثِ كَست صیش هیٌیون هیؿَد‪،‬‬

‫∑‬ ‫[‬ ‫]‬

‫𝜇‬ ‫(‬ ‫)‬
‫∑‬ ‫[‬ ‫]‬

‫تَخِ داسیذ ًِ سٍاثي ‪ 6.31 ٍ 6.29‬دٍ هشحلِی الگَسیتن ‪ k‬هیبًگیي هؼوت ‪ 6.12.1‬سا تَكیق هیًٌٌذ‪.‬‬

‫‪ 1.66‬خالصِ ٍ هٌابع برای هطالعِی بیشتر‬

‫ایي كلل ؿبهل هَاسد صیش هیؿَد‪:‬‬

‫هتذّبی ثیضی پبیِ ای ثشای هتذّبی یبدگیشی احتوبلیای ثب داًؾ هجلی یب كشم آى دسثبسُی احتوبالت ثبًَی ِ كشه یِّ ب ٍ احتو بل‬ ‫‪‬‬
‫هـبّذُی ًوًَِّب اػت‪ .‬هتذ ّبی ثیضی ًؼجت دادى احتوبل ثبًَیِ ثِ ّش كشهیِی هوٌي سا ثش اػبع احتوبالت اٍلی ِی هل شٍم سا‬
‫هوٌي هیػبصًذ‪.‬‬
‫اص هتذ ّبی ثیضی هیتَاى ثشای تؼییي هحتولتشیي كشهیِ ثب كشم داؿتي دادُّب اػتلبدُ ًشد‪ ،‬كشهیِی ‪ .MAP‬ایي كشهیِی اص ایي‬ ‫‪‬‬
‫خْت ثْیٌِ اػت ًِ اص توبهی كشهیِ ّبی دیگش هحتولتش اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض پیؾ ثیٌی توبهی كشهیِ ّبی هوٌي سا ثب احتوبالت ثبًَیِؿبى تشًیت ًشدُ هحتولتشیي دػتِ ثٌذی‬ ‫‪‬‬
‫ّش ًوًَِ سا ثِ هب هیدّذ‪.‬‬
‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض هتذ یبدگیشی ثیضی اػت ًِ دس ثؼیبسی اص هَاسد ًبسثشدی هلیذ ؿٌبختِ ؿذُ اػت‪ .‬ثِ ایي الگَسیتن ثِ‬ ‫‪‬‬
‫ایي دلیل "ػبدُ" هیگَیٌذ ًِ ؿبهل ایي كشم ػبدُ ًٌٌذُ هیثبؿذ ًِ ٍیظگیّبی ًوًَِّب ث ب ك شم داؿ تي دػ تِ ثٌ ذی ًوًَ ِ‬
‫هؼتولٌذ‪ .‬ثب ایي كشم‪ ،‬دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض یي كشهیِ ‪ MAP‬سا خشٍخی خَاّذ داد‪ .‬حت ی صه بًی ً ِ ای ي ك شم ّ ن‬
‫دسػت ًیؼت ّن‪ ،‬هثل حبلتی ًِ اص ایي دػتِ ثٌذی ًٌٌذُ ثشای دػتِ ثٌذی هتَى اػتلبدُ ًشدین‪ ،‬گبّی دػتِ ثٌ ذی ًٌٌ ذُی ػ بدُ‬
‫ثیضی هَثش اػت‪ .‬ؿجٌِ ّبی ثیضی ًوبیؾ ثْتشی ًؼجت ثِ هدوَػِ كشمّب اػتوالل دس ثیي صیش هدوَػِ ای اص ٍیظگیّب داسًذ‪.‬‬
‫چْبس چَة اػتذالل ثیضی هیتَاًذ پبیِ هٌبػجی ثشای ثشسػی هتذّبی یبدگیشی ثخلَف ًِ هؼتویوبً اص هویِی ثیض اػتلبدُ ًویًٌٌذ‬ ‫‪‬‬
‫ثبؿذ‪ .‬ثشای هثبل دس ؿشایي خبف هیتَاى ًـبى داد ًِ صهبًی ًِ تبثغ ّذف حویوی هوذاسی سا ث ب هیٌ یون ً شدى هدو َع خٌبّ بی‬
‫هشثؼی یبد هیگیشین‪ ،‬هحتولتشیي كشهیِ سا یبد هیگیشین‪.‬‬
‫هبًَى حذاهل ًَل تَهیح تَكیِ هیًٌذ ًِ كشهیِّبیی سا اًتخبة ًٌین ًِ ًوتشیي ًَل تَهیح ثشای كشه یِ ث ِ اه بكِی ً َل‬ ‫‪‬‬
‫تَهیحبت ّوشاُ كشهیِ سا داؿتِ ثبؿذ‪ .‬هویِی ثیض ٍ ًتبیح پبیِ ای تئَسی اًالػبت سا هیتَاى ثشای ایدبد دلیلی ثشای ایي هبًَى ث ِ‬
‫ًبس ثشد‪.‬‬
‫دس ثؼیبسی اص ًبسّبی یبدگیشی ػولی‪ ،‬ثؼوی اص ٍیظگیّبی ًوًَِ ّبی هوٌي اػت هبثل هـبّذُ ًجبؿذ‪ .‬الگَسیتن ‪ EM‬سٍؽ ًلیای‬ ‫‪‬‬
‫ثشای یبدگیشی دس حوَس هتـیش ّبی ؿیش هـَْد اسائِ هیًٌذ‪ .‬ایي الگَسیتن ًبس خَد سا ثب هدوَػ ِ ای اص كشه یِ ّ بی دلخ َاُ آؿ بص‬
‫هیًٌذ‪ .‬ػپغ هوذاس اهیذ هتـیش ًبهـَْد سا هحبػجِ ًشدُ اثب ایي كشم ًِ كشهیِ كؼلی دسػت اػت)‪ ٍ .‬ػ پغ هو ذاس هحتو لت شیي‬
‫كشهیِ سا هحبػجِ هیًٌذ اثب كشم ایٌٌِ هتـیش ّبی پٌْبى ّوبى هوبدیش اهیذ هحبػجِ ؿذُی ایي هشحلِ ّؼتٌذ)‪ .‬تٌشاس ایي كشایٌذ ثِ‬
‫یي هبًضیون ًؼجی دس احتوبل دسػتی كشهیِ هیل هیًٌذ ٍ هوبدیش هتـیش ّبی پٌْبى سا ًیض توشیت هیصًذ‪.‬‬
‫ًتت آهَصؿی ػبدُی ثؼیبسی دسثبسُی احتوبالت ٍ آهبس هثل )‪ًَ Casella and Berger (1990‬ؿتِ ؿذُ اػت‪ً .‬تت هشخغ ػشیغ ثؼیبسی‬
‫ًیض هثل )‪ًَ Speigel (1991) ٍ Maisel (1971‬ؿتِ ؿذُ‪ ،‬ایي ًتت ًوبد گزاسی آهبس ٍ احتوبل هتٌبػت ثب یبدگیشی هبؿ یي سا ًی ض اسائ ِ‬
‫هیًٌٌذ‪.‬‬

‫ثؼیبسی اص ًوبدگزاسیّبی اثتذایی دػتِ ثٌذی ًٌٌذُ ّبی ثیضی ٍ دػ تِ ثٌ ذی ًٌٌ ذُ ّ بی هیٌ ین خٌ بی هشثؼ ی دس ‪Duda and Hart‬‬
‫)‪ (1973‬ثشسػی ؿذُ اػت‪ Domingos and Pazzani (1996) .‬ؿشایي ایٌٌِ دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض‪ ،‬دػتِ ثٌ ذی ثْیٌ ِ سا‬
‫خشٍخی هیدّذ تحلیل هیًٌذ‪ ،‬ایي ثشسػی دس حبلتی اًدبم ؿذُ ًِ ؿشى اػتوالل دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض هوٌي اػ ت دسػ ت ًجبؿ ذ‬
‫اًٌتِ دس ایي اػت ًِ ؿشًٍی ٍخَد داسد ًِ دػتِ ثٌذی دسػت ثبؿذ اهب احتوبالت ثبًَیِ دسػت ًجبؿٌذ‪).‬‬

‫)‪ Cestnik (1990‬ثحث دسثبسُی اػتلبدُ اص تخویي ‪ m‬ثشای دػتِ ثٌذی احتوبالت سا هٌشح هیًٌذ‪.‬‬

‫ًتبیح تدشثی ًِ اص هوبیؼِی سٍؽّبی هختلق ثیضی ٍ دسخ ت تل وین ٍ دیگ ش الگ َسیتنّ بی ی بدگیشی اًد بم ؿ ذُ دس ‪Michie et al.‬‬
‫)‪ (1994‬آٍسدُ ؿ ذُ اػ ت‪ Chauvin and Rumelhart (1995) .‬ثشسػ ی ثی ضی ؿ جٌِ ّ بی ػل جی سا ً ِ ث ش اػ بع الگ َسیتن‬
‫‪ backpropagation‬اػت سا هٌشح هیًٌٌذ‪.‬‬

‫ثحث ثش سٍی هبًَى ًوتشیي ًَل تَهیح سا ه یتَاًی ذ دس )‪ Rissanen (1983,1989‬ثیبثی ذ‪ً Quinlan and Rivest (1989) .‬ی ض‬
‫اػتلبدُ اص ایي هبًَى سا دس اختٌبة اص ‪ overfit‬دس دسختّبی تلوین سا ثشسػی هیًٌٌذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫توریٌات‬
‫‪ 6.1‬دٍثبسُ هثبل ػولی هبًَى ثیض دس هؼوت ‪ 6.2.1‬سا دس ًظش ثگیشیذ‪ .‬كشم ًٌیذ ًِ دًتش تلوین هیگیشد ًِ دػتَس دّذ ًِ آصهبیؾ دٍهی اًدبم‬
‫ؿَد‪ ٍ ،‬كشم ًٌیذ ًِ ًتیدِی آصهبیؾ دٍم ًیض هثجت اػت‪ .‬احتوبل ثبًَیِی ‪ cancer ٍ ¬cancer‬سا هحبػجِ ًٌیذ‪ .‬كشم ًٌیذ ًِ دٍ تؼت‬
‫هؼتولٌذ‪.‬‬

‫شدى )‪ٍ P(+|cancer).P(cancer‬‬ ‫بلیضُ ً‬ ‫ب ًشه‬ ‫ِی ‪ cancer‬سا ث‬ ‫بل ثبًَی‬ ‫وت ‪ 6.2.1‬احتو‬ ‫بل هؼ‬ ‫‪ 6.2‬دس هث‬
‫)‪ P(+|¬cancer).P(¬cancer‬ثِ كَستی ًِ هدوَػـبى یي ؿَد هحبػجِ ًشدین‪ .‬اص هویِی ثیض هویِ هدوَع احتوبالت اث ب تَخ ِ ث ِ‬
‫خذٍل ‪ )6.1‬ثشای اثجبت ایي هتذ اػتلبدُ ًٌیذ‪ .‬اثبثت ًٌیذ ًِ ًشهبلیضُ ًشدُ ثِ ایي كَست هوذاس دسػتی ثشای )‪ P(cancer|+‬اسائِ هیًٌذ)‪.‬‬

‫‪ 6.3‬الگَسیتن یبدگیشی هلَْم ‪ FindG‬سا دس ًظش ثگیشیذ‪ً ًِ ،‬لیتشیي كشهیِی هوٌي ػبختِ ؿذُ اص كشه یِّ ب سا اسائ ِ ه یًٌ ذ اًل یت شیي‬
‫اػوبی كوبی كشهیِ ای هتٌبػت ثب ًوًَِ ّبی آهَصؿی)‪.‬‬

‫)‪ (a‬تَصیؼی ثشای )‪ P(D|h) ٍ P(h‬اسائِ ًٌیذ اكشم ًٌیذ ‪ FindG‬توویي هیًٌذ ًِ ّویـِ كشهیِ ای ‪ MAP‬خشٍخی دّذ)‬

‫)‪ (b‬تَصیؼی ثشای )‪ P(D|h) ٍ P(h‬اسائِ ًٌیذ اكشم ًٌیذ ‪ FindG‬توویي ًویًٌذ ًِ ّویـِ كشهیِ ای ‪ MAP‬خشٍخی دّذ)‬

‫)‪ (c‬تَصیؼی ثشای )‪ P(D|h) ٍ P(h‬اسائِ ًٌیذ اكشم ًٌیذ ‪ FindG‬توویي ًویًٌذ ًِ ّویـِ كشهیِ ای ‪ ML‬خشٍخی دّذ)‬

‫ّویـ ِ ثبث ت اػ ت‪ .‬ثٌ بثشایي ث شای‬ ‫‪ 6.4‬دس ثشسػی یبدگیشی هلَْم دس ثخؾ ‪ 6.3‬كشم ًشدین ًِ تشتیت ًوًَ ِ ّ بی‬
‫سا ث شای ای ي ػ شی ثبث ت‬ ‫اػتخشاج ػجبستی )‪ P(D|h‬كوي ًبكی اػت ًِ احتوبل هـبّذُی ػشیای اص هو بدیش ّ ذف‬
‫ًوًَِّب ثشسػی ًٌین‪ .‬حبلت ًلیتشی سا ًِ دس اى ًوًَِّب ثبثت ًیؼتٌذ سا دس ًظش ثگیشیذ‪ ،‬اهب كشم ًٌیذ ًِ توبهی ًوًَِّب ث ب تَصی غ هـخل ی‬
‫* ًـبى دادُ ٍ دس )‪ P(D|h‬ثبیذ احتوبل حوَس‬ ‫سٍی ‪ X‬اًتخبة هیؿًَذ‪ .‬دادُ ّبی ‪ D‬سا ثبیذ اًٌَى ثِ كشم صٍجّبی هشتت ‪+‬‬
‫دخیل ًشد‪ً .‬ـبى دّیذ ًِ ساثٌِی ‪ 6.5‬دس ایي حبلت ًلیتش ًیض دسػت اػت‪ .‬اساٌّوبیی‪ :‬ثشسػی ساثٌ ِی ‪ 6.5‬سا ًی ض دس ًظ ش‬ ‫ّب سا ػالٍُ ثش‬
‫ثگیشیذ)‬

‫‪ 6.5‬هبًَى ًوتشیي ًَل تَهیح سا دس ًظش ثگیشیذ ًِ ثِ كوبی كشهیِ ای ‪ H‬ی ًِ ؿبهل ػٌق ‪ n‬هتـیش هٌٌوی اػت اػوبل ه یؿ َد‪ٍ .‬اه ح‬
‫اػت‪.‬‬ ‫اػت ًِ ّش كشهیِ ثِ ػبدگی ثب ٍیظگیّبی هَخَد دس كشهیِ تَكیق هیؿَد‪ ،‬اگش تؼذاد ثیتّبی الصم ثشای ّش یي اص هتـیشّب‬
‫ثی ت داسد اگ ش‬ ‫كشم ًٌیذ ًِ ًذ ػبصی ّش ًوًَِ ثب داؿتي كشهیِ ًیبص ثِ كلش ثیت داسد اگش ًوًَِ ػبصگبس ثب كشهیِ ثبؿذ ٍ ًی بص ث ِ‬
‫ًوًَِ ثب كشهیِ ػبصگبس ًجبؿذ‪ m ،‬تؼذاد ًوًَِّبیی اػت ًِ اؿتجبُ دػتِ ثٌذی هیؿًَذ‪ .‬اثشای تؼییي ایٌٌِ ًذام یي اص ‪ً m‬وًَِی اؿتجبُ دػتِ‬
‫ثٌذی ؿذُ‪ ،‬دػتِ ثٌذی دسػت سا هیتَاى ثِ ًوین آًچِ كشهیِ دػتِ ثٌذی هیًٌذ داًؼت)‬

‫)‪ (a‬ساثٌِی الصم ثشای ًویتی ًِ ثبیذ ثٌب ثش هبًَى ًوتشیي ًَل هیٌیون ؿَد سا ثیبثیذ‪.‬‬

‫)‪ (b‬آیب هوٌي اػت ًِ دػتِ ای اص دادُ ّبی آهَصؿی هَخَد ثبؿذ ًِ كشهیِ ای ػبصگبس ثب آىّب ٍخَد داؿتِ ثبؿ ذ اه ب ‪ MDL‬كشه یِ ای ث ب‬
‫ػبصگبسی ًوتش سا ثش گضیٌذ؟ اگش چٌیي اػت اى هدوَػِ سا ثیبثیذ‪ .‬اگش خیش‪ ،‬تَهیح دّیذ چشا‪.‬‬

‫)‪ (c‬تَصیغ احتوبل )‪ P(D|h) ٍ P(h‬سا ثشای ایٌٌِ الگَسیتن ‪ MDL‬كَم كشهیِ ای ‪ MAP‬سا خشٍخی دّذ ثیبثیذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 6.6‬ؿجٌِی ثبٍس ثیضیای سا ًِ كشم اػتوالل دػتِ ثٌذی ًٌٌذُی ػ بدُی ثی ض سا ث شای هلْ َم ‪ PlayTennis‬دس هؼ ئلِی هؼ وت ‪6.9.1‬‬
‫ثٌـیذ‪ .‬خذٍل احتوبل ؿشًی هشثًَِی گشُ ثبد سا ًیض سػن ًٌیذ‪.‬‬

‫فرٌّگ لغات تخصصی فصل (فارسی بِ اًگلیسی)‬

‫‪prior probability‬‬ ‫احتوبل اٍلیِ‬
‫‪posterior probability‬‬ ‫احتوبل ثبًَیِ‬
‫‪cross entropy‬‬ ‫آًتشٍپی دٍسگِ‬
‫‪equivalent sample size‬‬ ‫اًذاصُی ًوًَِی هؼبدل‬
‫‪brute-force‬‬ ‫ثذٍى ؿؼَس‬
‫‪Outcome‬‬ ‫ثشآهذ‬
‫‪m estimate‬‬ ‫تخویي ‪m‬‬
‫‪problem setting‬‬ ‫تؼشیق هؼئلِ‬
‫‪probability mass‬‬ ‫خشم احتوبل‬
‫‪probability density‬‬ ‫چگبلی احتوبل‬
‫‪bayes optimal classifier‬‬ ‫دػتِ ثٌذی ًٌٌذُی ثْیٌِی ثیض‬
‫‪naive Bayes classifier‬‬ ‫دػتِ ثٌذی ًٌٌذُی ػبدُی ثیض‬
‫‪Descendant‬‬ ‫صیشیي‬
‫‪bayesian belief networks‬‬ ‫ؿجٌِ ّبی ثبٍس ثیضی‬
‫‪Maximum A Posteriori‬‬ ‫كشهیِ ثب حذاًثش احتوبل‬
‫‪joint space‬‬ ‫كوبی تَأم‬
‫‪Minimum description length‬‬ ‫هبًَى ًوتشیي ًَل تَهیح‬
‫‪Gibbs algorithm‬‬ ‫الگَسیتن گیجغ‬
‫‪maximum likelihood‬‬ ‫هحتولتشیي‬
‫‪Criterion‬‬ ‫هؼیبس‬
‫‪consistent learner‬‬ ‫یبدگیش ػبصگبس‬
‫‪Arc‬‬ ‫یبل‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل هفتن ‪ :‬یادگیری هحاسباتی‬

‫ایي فػل ثِ غَضت تئَضی ٍیژگی ّبی چٌسیي ًَع هسئلِ ی یبزگیطی هبضیي ٍ لبثلیت ّبی چٌسیي ًَع اظ الگوَضیمن ّوبی یوبزگیطی هبضویي ضا‬
‫ثیبى هی وٌس‪ .‬ایي تئَضی ثِ زًجبل خَاة سَاالتی چَى "تحت چِ ضطایكی یبزگیطی هَفك هوىي یب غیطهوىي است؟" ٍ "تحوت چوِ ضوطایكی‬
‫یه الگَضیمن یبزگیطی ذبظ هَفمیت یبزگیطی ضا تظویي هی وٌس؟" است‪ .‬زٍ چْبضچَة‪ 1‬ثطای ثطضسی یبزگیطی الگَضتین ّبی یبزگیطی زض ًظوط‬
‫گطفمِ هی ضَز‪ .‬چبضچَة اٍل چْبضچَة تمطیجب زضست‪ 2‬یب )‪ (PAC‬است‪ ،‬وِ زض آى چبضچَة والس فطؾیِ ّبیی ضا وِ هی تَاى یب ًوی توَاى ثوب‬
‫تؼساز چٌس خولِ ای ای اظ ًوًَِ ّبی آهَظضی یبزگطفت ضا ثطضسی ٍ هؼیبضی قجیؼی ثطای پیچیوسگی فؿوبی فطؾویِ ای ووِ تؼوساز ًوًَوِ ّوبی‬
‫آهَظضی ثطای یبزگیطی اسممطایی ضا هحسٍز هی وٌس تؼطیف ذَاّین وطز‪ .‬زض چبضچَة وطاى ذكب‪ 3‬تؼساز ذكبّبی آهَظضی ای ضا وِ یبزگیط لجول اظ‬
‫تؼییي فطؾیِ ی زضست اًدبم هی زّس ضا ثطضسی ذَاّین وطز‪.‬‬

‫‪ 1.7‬هقذهه‬
‫زض هكبلؼِ ی یبزگیطی هبضیي ایي سَال قجیؼی است وِ ثپطسین چِ لَاًیي ولی ای ثط یبزگیط ّبی هبضویي ‪$‬یوب غیوط هبضویي‪ #‬اوبون اسوت‪ .‬آیوب‬
‫هی تَاى والس ّبی هسبئل یبزگیطی ضا وِ شاتب سرت یب آسبًٌس ضا هسممل اظ الگَضیمن یبزگیطی تؼییي وطز؟ آیب هی تَاى تؼساز ًوًَوِ ّوبی الظم‬
‫ثطای ایٌىِ یبزگیطی اموب هَفك ثبضس ضا تؼییي وطز؟ اگط یبزگیط ثمَاًس ثدبی آهَظش ثب زسمِ ی هؼیٌی اظ ًوًَِ ّب آظهبیص اًدبم زّس ‪$‬زض همبثول‬
‫ایٌىِ ًوًَِ ّب ثِ غَضت تػبزفی ثِ یبزگیط زازُ ضًَس‪ #‬ایي تؼساز چگًَِ تغییط ذَاّس وطز؟ یب آیب هی توَاى تؼوساز ذكوبی ّوبی یوبزگیط لجول اظ‬
‫یبزگیطی تبثغ ّسف ضا هطرع وطز؟ آیب هی تَاى پیچیسگی هحبسجبتی شاتی والسْبی هسبئل هرملف ضا هطرع وطز؟‬

‫‪1‬‬
‫‪framework‬‬
‫‪2‬‬
‫‪probably approximately correct‬‬
‫‪3‬‬
‫‪mistake bound framework‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪2‬‬

‫اگط چِ خَاة خبهغ ّوِ ی ایي سَاالت ٌَّظ هؼلَم ًیست‪ ،‬اهب لسوت اظ تئَضی َّش هحبسجبتی ثطای پبسد ثِ ایي سَاالت ثِ ٍخَز آهسُ است‪.‬‬
‫ایي فػل ًمبیح ولیسی ایي تئَضی ٍ خَاة ثِ ایي سَاالت زض ثؼؿی هسبئل ذبظ ضا زض ثط هی گیطز‪ .‬زض ایٌدب ثحو ضا ثوِ هسوئلِ ی یوبزگیطی‬
‫اسممطایی تبثغ ّسفی ًبهؼلَم اظ ًوًَِ ّبی آهَظضی ایي تبثغ ّسف ٍ فؿبی فطؾیِ ای هؼلَم هحسٍز هی وٌین‪ .‬ثب ایي تؼطیوف هسوئلِ‪ ،‬پبسود ثوِ‬
‫سَاالتی هثل تؼساز ًوًَِ ّبی الظم ثطای یبزگیطی هَفك ٍ تؼساز اضمجبّبت لجل اظ یبزگیطی وبهل هكطح هی ضَز‪ّ .‬وبًكَض وِ ثؼسا ًیوع ذوَاّین‬
‫زیس تؼییي هطظ ّبی ایي وویت ّب ثِ ٍیژگی ّبی هسئلِ ی یبزگیطی اظ خولِ هَاضز ظیط ٍاثسمِ است‪:‬‬

‫اًساظُ یب پیچیسگی فؿبی فطؾیِ ای زض ًظط گطفمِ ضسُ‬ ‫‪‬‬

‫زلت الظم ثطای یبزگیطی‬ ‫‪‬‬
‫ااموبل ایٌىِ یبزگیط فطؾیِ ای هَفك ضا ذطٍخی زّس‬ ‫‪‬‬
‫ضًٍس اضائِ ی ًوًَِ ّب‬ ‫‪‬‬
‫زض اوثط هَاضز‪ ،‬هب ثط ضٍی الگَضیمن یبزگیطی ذبغی توطوع ًوی وٌین ٍ تطخیح زازُ هی ضَز ثیطمط ثط ضٍی والسْبی الگَضیمن ّوبی یوبزگیطی ثوب‬
‫ذَاظ یىسبى ‪$‬فؿبی فطؾیِ ای هطبثِ‪ً ،‬حَُ ی ًوبیص ًوًَِ ّبی آهَظضی هطبثِ ٍ ‪ #...‬ثح ضَز‪ّ .‬سف اظ ایي فػل پبسد ثِ سَاالتی ًظیط‬
‫سَاالت ظیط است‪:‬‬

‫پیچیسگی ًوًَِ ای‪ .1‬تؼساز ًوًَِ ّبی آهَظضی الظم ثطای ایٌىِ یبزگیط ‪$‬ثب ااموبل ثبالیی‪ #‬ثِ فطؾیِ ای هَفك هیل وٌس؟‬ ‫‪‬‬
‫پیچیسگی هحبسجبتی‪ .2‬چِ هیعاى هحبسجِ اًدبم هی ضَز تب یبزگیط ثب ااموبل ذَثی ثِ فطؾیِ ای هَفك هیل وٌس؟‬ ‫‪‬‬
‫هطظ ذكب‪ .3‬تؼساز ًوًَِ ّب آهَظضی ای وِ یبزگیط لجل اظ ّوگطا ضسى ثِ فطؾیِ هَفك غلت زسمِ ثٌسی هی وٌس؟‬ ‫‪‬‬
‫تَخِ زاضمِ ثبضیس وِ زض ثسیبضی اظ ابالت چٌیي سَاالتی هكطح اًس‪ .‬ثطای هثبل‪ ،‬ضٍش ّبی گًَبگًَی ثطای تؼطیف "هَفك" ٍخوَز زاضز‪ .‬هوىوي‬
‫است یبزگیطی فطؾیِ ای ضا هَفك تؼطیف وٌین وِ فطؾیِ ی ذطٍخیص زلیمب هطبثِ هفَْم ّسف ثبضس‪ .‬یوب زض همبثول هوىوي اسوت یوبزگیطی ضا‬
‫هَفك ثساًین وِ فطؾیِ اش زض اوثط هَالغ هطبثِ هفَْم ّسف ثبضس‪ ،‬یب ثِ قَض هؼوَل چٌیي فطؾیِ ای ضا ذطٍخی هی زّس‪ .‬یوب ثوِ قوَض هطوبثِ‪،‬‬
‫ضًٍس اضائِ ی ًوًَِ ّب هوىي است همفبٍت ثبضس‪ ،‬هوىي است ایي ًوًَِ ّب تَسف یه هؼلن ثِ یبزگیط زازُ ضَز یب یبزگیط اخبظُ ی اًدبم آظهوبیص‬
‫زاضمِ ثبضس یب ایٌىِ ًوًَِ ّب تَسف یه فطایٌس تػبزفی ذبضج اظ وٌمطل یبزگیط اًمربة ضًَس‪ّ .‬وبًكَض وِ اًمظبض هی ضٍز‪ ،‬خَاة ایي سوَاالت ثوِ‬
‫تؼطیف هسئلِ ٍ هسل یبزگیطی ٍاثسمِ است‪.‬‬

‫ازاهِ ی ایي فػل ثِ غَضت ظیط سبذمبض ثٌسی ضسُ است‪ .‬لسوت ‪ 7.2‬ابلت یبزگیطی ااموبلی تمطیجب زضست )‪ (PAC‬ضا هؼطفی هی وٌس‪ .‬زض ازاهِ‪،‬‬
‫لسوت ‪ 7.3‬پیچیسگی ًوًَِ ای ٍ پیچیسگی هحبسجبتی چٌسیي هسئلِ ی یبزگیطی ضا زض ایي ابلت ثطضسی هی وٌوس‪ .‬لسووت ‪ 7.4‬هؼیوبض هْووی اظ‬
‫پیچیسگی فؿب‪ 4‬ثِ ًبم ثؼس ‪ ٍ VC‬تبثیط آى زض ثطضسی ‪PAC‬هبى زض هسبئلی وِ فؿبی فطؾیِ هحسٍز است ضا ثطضسوی ذوَاّین ووطز‪ .‬لسووت ‪7.5‬‬
‫هسل هطظ ذكب ضا هؼطفی وطزُ ٍ هطظی ثطای تؼساز ذكبّبی الگَضیموْبی هرملف یبزگیطی فػَل لجلوی پیوسا هوی وٌوس‪ .‬زض اًمْوب ًیوع‪ ،‬الگوَضیمن‬
‫‪ Weighted-Majority‬ضا هؼطفی هی وٌین‪ ،‬ایي الگَضیمن ضٍضی ثطای تلفیك پیطجیٌی ّبی الگَضیموْبی هرملف ضلیت اسوت‪ ،‬هوطظ ذكوبی‬
‫تئَضی ایي الگَضیمن ضا ًیع ثطضسی ذَاّین وطز‪.‬‬

‫‪1‬‬
‫‪Sample complexity‬‬
‫‪2‬‬
‫‪Computational complexity‬‬
‫‪3‬‬
‫‪Mistake bound‬‬
‫‪4‬‬
‫‪space complexity‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪3‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪ 1.7‬احتوال یادگیری یک فرضیه ی تقریبا درست‬

‫زض ایي ثرص ابلت ذبغی ضا ثطای هسبئل یبزگیطی زض ًظط هی گیطین‪ ،‬ایي ابلت هسل یبزگیطی تمطیجب زضست )‪ً (PAC‬بهیسُ هی ضَز‪ .‬ثیبییس وبض‬
‫ضا ثب ایي سَال وِ چِ تؼساز ًوًَِ ی آهَظضی ٍ چِ هیعاى هحبسجِ الظم است تب والس ّبی هرملف یبزگیطی ضا ثب ایي هسل یبز ثگیوطین ضوطٍع‬
‫وٌین‪ .‬ثطای سبزگی وبض‪ ،‬ثح ضا ثِ یبزگیطی هفبّین هٌكمی اظ زازُ ّبی آهَظضی ثسٍى ذكب هحسٍز هی وٌین‪ .‬ثوب ایوي ٍخوَز ثسویبضی اظ ًموبیح‬
‫ابغل ضا هی تَاى ثِ ابلت ولی یبزگیطی تَاثغ امیمی همبزیط تبثغ ّسف تؼوین زاز ‪$‬ثطای هثوبل ثوِ )‪ (Natarajan 1991‬هطاخؼوِ وٌیوس‪ٍ #‬‬
‫ثسیبضی زیگط اظ ًمبیح ضا هی تَاى ثِ یبزگیطی اظ اًَاع ذبغی اظ زازُ ّبی ذكب زاض تؼووین زاز ‪$‬ثوطای هثوبل ثوِ )‪(Kearns ٍ (Laird 1988‬‬
‫)‪ and Vazirani 1994‬هطاخؼِ وٌیس‪.#‬‬

‫‪ 1.2.7‬تعریف مسئله‬
‫هطبثِ فػَل گصضمِ‪ X ،‬هدوَػِ ی توبهی ًوًَِ ّبی هوىي ثط ضٍی تبثغ ّسف هفطٍؼ است‪ .‬ثطای هثبل‪ X ،‬هوىي است هدوَػِ ی تووبهی‬
‫افطاز ثبضس وِ ثب ٍیژگی ّبی )‪ height (short or tall) ٍ age (young or old‬ثبضس‪ C .‬هدوَػِ ی هفبّین ّسفی است ووِ هوىوي‬
‫است یبزگیط ثطای یبزگیطی آًْب ثِ وبض ثطزُ ضَز‪ّ .‬ط هفَْم ّسف ‪ c‬زض ‪ C‬همٌبست ثب ظیط هدوَػِ ای اظ ‪ X‬است یب ثِ قَض هطبثِ همٌبست ثب تبثغ‬
‫}‪ c: X → {0,1‬است‪ .‬ثطای هثبل‪ ،‬یه تبثغ ّسف ‪ c‬زض ‪ C‬هوىي است هفَْم "افطاز اسىی ثبظ" ثبضس‪ .‬اگط ‪ً x‬وًَِ ی هثجمی اظ ‪ c‬ثبضوس‪ ،‬زاضیون‬
‫وِ ‪c(x)=1‬؛ ٍ اگط ‪ً x‬وًَِ ی هٌفی ای ثبضس زاضین ‪.c(x)=0‬‬

‫زض ایي ابلت فطؼ هی وٌین وِ ًوًَِ ّب ثِ غَضت تػبزفی ٍ ثب تَظیغ ااموبل 𝒟 اًمربة هی ضًَس‪ .‬ثطای هثبل‪ 𝒟 ،‬هوىي است تَظیغ اامووبل‬
‫ًوًَِ ّب افطازی ثبضس وِ اظ یه ثبضگبُ ٍضظضی زض سَئس ثیطٍى هی آیٌس ‪$‬تَظیغ ااموبلی ثط ضٍی توبهی افطاز‪ .#‬زض ول 𝒟 هوىي است ّوط تَظیوغ‬
‫ااموبلی ثبضس ٍ زض ابلت ولی ایي تَظیغ ااموبل ثطای یبزگیط ًبضٌبذمِ است‪ .‬توبهی اقالػبت هَخَز زض هَضز 𝒟 ایي اسوت ووِ تَظیوغ اامووبلی‬
‫ثبثت است؛ ثسیي هؼٌب وِ ایي تَظیغ ااموبل ثب ظهبى تغییط ًوی وٌس‪ً .‬وًَِ ّبی آهَظضی ثب ایي تَظیغ ااموبل اًمربة ضسُ ٍ ثِ ّوطاُ هموساض توبثغ‬
‫ّسف ضبى )‪ c(x‬ثِ یبزگیط زازُ هی ضًَس‪.‬‬

‫یبزگیط ‪ L‬هدوَػِ ای اظ فطؾیِ ّبی هوىي هثل ‪ H‬ضا زض یبزگیطی هفَْم ّسف زض ًظط هی گیطز‪ .‬ثطای هثبل‪ H ،‬هوىي است هدوَػِ ی توبهی‬
‫فطؾیِ ّبی لبثل ثیبى ثِ غَضت ػكف ٍیژگی ّبی ‪ height ٍ age‬ثبضس‪ .‬ثؼس اظ هطبّسُ ی سطی ای اظ ًوًَِ ّبی آهَظضی ثطای تبثغ ّوسف‬
‫‪ L ،c‬ثبیس فطؾیِ ای هثل ‪ h‬اظ ‪ H‬وِ ترویي آى اظ ‪ c‬است ثِ ػٌَاى فطؾیِ ی ترویٌی ذطٍخی زّس‪ .‬هَفمیت ‪ L‬ضا ووبضایی ایوي فطؾویِ ‪ h‬ثوط‬
‫ضٍی ًوًَِ ّبی خسیسی وِ ثِ غَضت تػبزفی اظ ‪ ٍ X‬ثب تَظیغ 𝒟 اًمربة هی ضًَس هوی سوٌدین‪ .‬تَظیوغ اامووبل 𝒟 همان توزیعااتتمامان ت‬
‫تستتکهتنمزنه هنیتآمزیش تبنتتناخنبتشدهتتند‪ .‬ت‬

‫زض چٌیي ابلمی‪ ،‬ػاللِ ی هب ثِ ثطضسی وبضایی یبزگیط ّبی هرملف ‪ L‬ثب فؿبی فطؾیِ ّبی هرملف ‪ H‬زض یبزگیطی هدوَػِ تَاثغ ّسف هرملوف‬
‫زضٍى ‪ C‬است‪ .‬ظیطا وِ هی ذَاّین یبزگیط ‪ L‬ثِ اًساظُ ی ولی خبهغ ثبضس تب ثمَاًس ّط تبثغ ّسف زضٍى ‪ C‬ضا هسممل اظ ایٌىِ تَظیغ 𝒟 چیست یوبز‬
‫ثگیطز‪ .‬زض ثؼؿی هَالغ ًیع ػاللِ زاضین وِ زض ثستطیي ابلت تَاثغ ّسف زضٍى ‪ C‬ضا ثطای توبهی تَظیغ ّبی 𝒟 ضا ثطضسی وٌین‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪4‬‬

‫‪ 1.2.2‬خطبی یک فرضیه‬
‫چَى ػاللِ ی هب ثِ ًعزیىی فطؾیِ ذطٍخی یبزگیط ‪ h‬ثِ تبثغ ّسف امیمی ‪ c‬است‪ ،‬ثیبییس وبض ضا ثب تؼطیف ذكبی ٍالؼی‪ 1‬یه فطؾویِ ی ‪ h‬ثوط‬
‫ضٍی ‪ ٍ c‬تَظیغ ااموبل 𝒟 ضطٍع وٌین‪ .‬ثِ غَضت غیط ضسوی ذكبی ٍالؼی ‪ ،h‬ذكبی ‪ h‬زض زسمِ ثٌسی ًوًَِ ّبی خسیس ثب تَظیغ 𝒟 اسوت‪ .‬زض‬
‫ٍالغ ایي تؼطیف ذكب ّوبى تؼطیف ذكب ی فػل ‪ 5‬است‪ .‬ثطای ضاامی تؼطیف ضا ثطای ‪ c‬وِ هفَْهی هٌكمی است ثبظًَیسی هی وٌین‪.‬‬

‫( ی فطؾیِ ی ‪ h‬ثطای تبثغ ّسف ‪ ٍ c‬تَظیغ اامووبل ًوًَوِ ای 𝒟 اامووبل ایوي اسوت ووِ ًوًَوِ ی‬ ‫تعریف‪ :‬ذكبی ٍالؼی )‬
‫اًمربثی ثط اسبس تَظیغ 𝒟 اضمجبُ زسمِ ثٌسی ضَز‪.‬‬

‫[‬ ‫]‬
‫𝒟‬

‫ًطبى زٌّسُ ی ااموبل ػجبضت ثب فطؼ ایٌىِ ‪ x‬اظ تَظیغ 𝒟 پیطٍی هی وٌس است‪.‬‬ ‫زض ایٌدب ًوبز‬

‫ضىل ‪ 7.1‬ایي تؼطیف ضا ثِ فطم گطافیىی ًطبى هی زّس‪ .‬هفبّین ‪ h ٍ c‬ثب هدوَػِ ی ًوًَِ ّبی ‪ً X‬وبیص زازُ ضسُ اًس‪ً ،‬وًَِ ّبی آهَظضی زض‬
‫ایي هثبل ثب ػالهت ّبی ‪ً – ٍ +‬طبى زازُ ضسُ اًس‪ .‬ذكبی ‪ h‬ثطای ‪ c‬ااموبل زسمِ ثٌسی غلت ًوًَِ تػبزفی زض ایي غفحِ یب لطاض گوطفمي زض‬
‫اذمالف ایي زٍ هدوَػِ ‪$‬لطاض گطفمي زض ًبایِ ّاللی‪ #‬است‪ .‬تَخِ زاضیس وِ ذكب ضا قَضی تؼطیف وطزُ این وِ ذكبی توبهی ًوًَِ ّبی هوىوي‬
‫ضا اًساظُ ثگیطز ٍ فمف هحسٍز ثِ ًوًَِ ّبی آهَظضی ًجبضس ثٌبثطایي اًمظبض زاضین وِ ظهبًی وِ اظ فطؾیِ ثسست آهسُ ثط ضٍی ًوًَِ ّبی تػوبزفی‬
‫خسیس اسمفبزُ هی وٌین چٌیي ذكبیی زاضمِ ثبضٌس‪.‬‬

‫تَخِ زاضیس وِ ایي ذكب ثِ ضست ثِ تَظیغ ااموبل ًب هؼلَم 𝒟 ٍاثسمِ است‪ .‬ثطای هثبل اگط 𝒟 تَظیؼی یىٌَاذت ثبضس وِ ثِ توبهی ًوًَِ ّبی ‪X‬‬
‫ااموبلی یىسبى ًسجت هی زّس ذكبی فطؾیِ ی آهسُ زض ضىل ‪ً 7.1‬سجت ًوًَِ ّبی زضٍى ًبایِ ّاللی ثِ توبهی ًوًَِ ّب ذَاّس ثَز‪ .‬ثوب ایوي‬
‫ٍخَز اگط 𝒟 ااموبل ثیطمطی ثِ ًوًَِ ّبی ًبایِ ّاللی ًسجت زّس ایي ذكب ثیطومط ذَاّوس ضوس‪ ٍ .‬زض ثوس توطیي ابلوت 𝒟 اامووبل غوفط ثوِ‬
‫ًوًَِ ّبی ذبضج ًبایِ ّاللی ًسجت هی زّس ٍ ذكب ‪ 1‬ذَاّس ثَز ثب ٍخَز ایٌىِ ‪ٍ c ٍ h‬الؼب اضمطان زاضًس‪.‬‬

‫‪1‬‬
‫‪True Error‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪5‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫ضىل ‪ 7.1‬ذكبی فطؾیِ ‪ h‬ثطای هفَْم ّسف ‪.c‬‬

‫ذكبی ‪ h‬ثطای هفَْم ّسف ‪ c‬ااموبل ایي است وِ ًوًَِ ای تػبزفی زض زضٍى ًبایِ ای لطاض ثگیطز وِ ‪ c ٍ h‬زض آى ًبایِ زسمِ ثٌسی ّبی هطبثْی ًساضًوس‪.‬‬
‫ًمبـ ‪ً – ٍ +‬طبى زٌّسُ ی ًوًَِ ّبی آهَظضی هثجت ٍ هٌفی اًس‪ .‬تَخِ زاضمِ ثبضیس وِ ثب ٍخَز ایٌىِ زض توبهی ‪ً 5‬وًَِ ی هطبّسُ ضسُ زسمِ ثٌوسی ‪c ٍ h‬‬
‫یىی است‪ h ،‬ذكبی غیط غفطی ثطای هفَْم ّسف ‪ c‬زاضز‪.‬‬
‫ثالذطُ‪ ،‬تَخِ زاضمِ ثبضیس وِ ایي ذكبی ‪ h‬ثطای ‪ c‬ثِ قَض هسممین ثطای یبزگیط غیط لبثل هطبّسُ است‪ L .‬فمف وبضایی ‪ h‬ثط ضٍی ًوًَوِ ّوبی‬
‫آهَظضی ضا زض زسمطس زاضز ٍ ثبیس اًمربة ذَز زض هَضز فطؾیِ ضا ثط اسبس ّویي هؼیبض اًدبم زّوس‪ .‬هوب اظ ػجوبضت ذكوبی آهَظضوی‪$ 1‬زض همبثول‬
‫ذكبی ٍالؼی‪ #‬ثطای ًوبیص ًسجت ًوًَِ ّبی آهَظضی ثب زسمِ ثٌسی اضمجبُ تَسف ‪ h‬ثِ ول ًوًَِ ّبی آهَظضی اسمفبزُ هی وٌین‪ .‬لسوت ثعضگی‬
‫اظ ثطضسی هب اظ پیچیسگی یبزگیطی ثط هحَض ایي سَال هموطوع هی ضَز وِ "چگًَِ ااموبل زاضز وِ ذكبی آهَظضی هطبّسُ ضوسُ هؼیوبضی غلوت‬
‫ثبضس؟" است‪.‬‬ ‫𝒟‬ ‫اًساظ اظ‬

‫ثِ ضاثكِ ی ثیي ایي سَال ٍ سَال هكطح ضسُ زض فػل ‪ 5‬زلت وٌیس‪ .‬ثب تَخوِ ثوِ آًچوِ زض فػول ‪ 5‬گفموِ ضوس‪ ،‬ذكوبی ًوًَوِ ای ‪ h‬ضا ثوطای‬
‫هدوَػِ ی ‪ S‬اظ ًوًَِ ّب ًسجت زسمِ ثٌسی اضمجبُ اػؿبی ‪ S‬تَسف ‪ h‬تؼطیف ضس‪ .‬ذكبی آهَظضی تؼطیف ضسُ زض ثبال ذكبی ًوًَِ ای ‪ S‬است‬
‫ثب ایي فطؼ وِ ‪ S‬هدوَػِ ی ًوًَِ ّبی آهَظضی ثبضس‪ .‬زض فػل ‪ 5‬ااموبل ایٌىِ ذكبی ًوًَِ ای ترویٌی غلت اًساظ اظ ذكبی ٍالؼوی ثبضوس ضا‬
‫ثب ایي فطؼ وِ زازُ ّبی ًوًَِ ی ‪ S‬هسممل اظ ‪ h‬ثبضٌس ثطضسی وطزین‪ .‬اهب ایٌدب امی ایي فطؼ ّن زضست ًیست ٍ فطؾیِ ی ‪ h‬وبهال ٍاثسمِ‬
‫ثِ هدوَػِ ‪ S‬است! ثٌبثطایي‪ ،‬زض ایي فػل هب ایي ابلت ذبظ هْن ضا ثطضسی ذَاّین وطز‪.‬‬

‫‪ 1.2.7‬قببلیت یبدگیری ‪PAC‬‬

‫ّسف هب تؼییي ٍیژگی ّبی تَاثغ ّسفی است وِ هی تَاى آًْب ضا اظ تؼساز هؼموَلی ًوًَوِ آهَظضوی تػوبزفی ثوب پیچیوسگی هحبسوجبتی هؼموَلی‬
‫یبزگطفت‪.‬‬

‫چِ ػجبضت ّبیی ضا هی تَاى زضثبضُ ی لبثلیت یبزگیطی یه تبثغ ثیبى وطز زضست فطؼ وطز؟ هوىي است سؼی وٌین تؼساز ًوًَِ ّوبی آهَظضوی‬
‫ضا تؼییي وٌین‪ .‬همبسفبًِ زض ایي تؼطیف هسئلِ ثِ زٍ زلیل ایي وبضی ثیَْزُ اسوت‪ .‬اثموسا‬ ‫𝒟‬ ‫الظم ثطای یبزگیطی فطؾیِ ای ثب‬
‫ایٌىِ ثطای ایٌىِ ثِ چٌیي ذكبیی ثطسین ثبیس توبهی ًوًَِ ّبی ‪ X‬ضا ثِ ػٌَاى ًوًَِ ی آهَظش ثِ یبزگیط اضائِ وٌین ‪$‬وِ ایي فطؾی غیط ٍالؼوی‬
‫است‪ ٍ ،#‬هوىي است چٌسیي فطؾیِ ثب هدوَػِ ًوًَِ ّبی آهَظضی سبظگبض ثبضٌس ٍ یبزگیط زض اًمربة فطؾیِ ی ترویٌی ثطای هفَْم ّسف سوط‬
‫زض گن ذَاّس هبًس‪ .‬زٍم ایٌىِ ثب هؼلَم ثَزى ًوًَِ ّبی آهَظضی تػبزفی‪ّ ،‬ویطِ ااموبلی غیط غفط ٍخَز زاضز وِ ًوًَِ ّبی آهَظضوی هؼیوبضی‬
‫غلت اًساظ ثبضس‪$ .‬ثطای هثبل‪ ،‬ثب ٍخَز ایٌىِ اغلت لس افطاز ذبضج ضسُ اظ یه هدوَػِ ی ٍضظضی زض سَئس همفبٍت است اهب اامووبل غیوط غوفطی‬
‫ٍخَز زاضز وِ زض یه ضٍظ توبهی ًوًَِ ّبی هطبّسُ ضسُ لس ‪ 2‬همط زاضمِ ثبضٌس‪.#‬‬

‫ثطای غلجِ ثط ایي زٍ هطىل‪ ،‬ضطایف ذَاسمبضی هسئلِ ضا اظ زٍ ًظط وبّص هی زّین‪ .‬اثمسا ثدبی ایٌىِ ضطـ وٌین ذكبی فطؾیِ غفط ضَز ضطـ‬
‫هی وٌین وِ ذكب اظ همساض زلرَاُ وَچه وَچىمط ثبضس‪ .‬زٍم ایٌىِ ثدبی ایٌىِ ضطـ وٌین یبزگیط ضٍی ّط ًوًَوِ ی آهَظضوی هوىوي هَفوك‬
‫ثبضس ضطـ هی وٌین وِ ااموبل ػسم هَفمیت وومط اظ اس زلرَاُ وَچه ذبغی‪ ،δ ،‬وومط ثبضس‪ .‬ثِ قَض ذالغِ ضطـ هی وٌوین ووِ یوبزگیط ثوِ‬
‫غَضت ااموبلی فطؾیِ ای تمطیجب زضست‪ 2‬ضا یبز ثگیطز‪ ،‬ثٌبثطایي ثِ ایي فطؾیِ‪ ،‬فطؾیِ ی ااموبلی تمطیجب زضست یب ‪ PAC‬هی گَیٌس‪.‬‬

‫‪1‬‬
‫‪training error‬‬
‫‪2‬‬
‫‪approximately correct‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪6‬‬

‫هدوَػِ ی ‪ C‬ضا ثِ ػٌَاى هدوَػِ ی هفبّین ّسف هوىي ٍ یبزگیط ‪ L‬ثب فؿبی فطؾیِ ای ‪ H‬ضا زض ًظط ثگیطیس‪ .‬ثوِ قوَض غیوط ضسووی‪ ،‬ظهوبًی‬
‫ثوب‬ ‫هی گَیین وِ هدوَػِ ی ‪ C‬تَسف ‪ L‬ثب اسمفبزُ اظ ‪ H‬لبثل یبزگیطی ‪ 1 PAC‬است وِ‪ ،‬ثطای ّط تبثغ ّسف ‪ c‬زض ‪ L ،C‬ثب ااموبل‬
‫زاضمي تؼوساز لبثول لجوَلی ًوًَوِ ی آهَظضوی ٍ اًدوبم هموساض لبثول لجوَلی هحبسوجِ فطؾویِ ای هثول ‪ h‬ذطٍخوی زّوس ووِ زاضومِ ثبضوین‪،‬‬
‫‪ .‬ثِ ػجبضت زلیممط‪،‬‬ ‫𝒟‬

‫تعریف‪ :‬هدوَػِ ی هفبّین ّسف ‪ C‬ضا وِ ثط ضٍی ًوًَِ ّبی ‪ X‬ثب اًساظُ ی ‪ n‬تؼطیف ضوسُ ٍ یوبزگیط ‪ L‬ثوب فؿوبی فطؾویِ ای ‪ H‬ضا زض ًظوط‬
‫ٍ‬ ‫‪ ٍ c‬تَظیؼْبی 𝒟 ثط ضٍی ‪ٍ X‬‬ ‫ثگیطیس‪ C .‬تَسف ‪ L‬ثب اسمفبزُ اظ ‪ H‬ظهبًی لبثل یبزگیطی ‪ PAC‬است وِ ثطای توبهی ‪C‬‬
‫𝒟‬ ‫‪ h‬ذطٍخی زّس وِ زاضمِ ثبضوین ووِ‬ ‫فطؾیِ ‪H‬‬ ‫‪ ،‬یبزگیط ‪ L‬ثب ااموبل اسالل‬ ‫‪ّ δ‬بیی وِ‬
‫‪ size(c) ٍ n ،‬ذطٍخی ثبیس هحبسجِ ضَز‪.‬‬ ‫‪،‬‬ ‫‪ ،‬زض ظهبى اساوثط چٌس خولِ ای اظ‬

‫فطؾیِ ای ثب همساض ذكوبی ثوِ اًوساظُ ی زلروَاُ‬ ‫تؼطیف هب زٍ ضطـ ثط ضٍی ‪ L‬هی گصاضز‪ .‬اثمسا ایٌىِ ‪ L‬ثبیس ثب ااموبل زلرَاُ ثبالیی‬
‫‪ size(c) ٍ n ،‬فطؾویِ ی‬ ‫‪،‬‬ ‫وَچىی ذطٍخی زّس‪ .‬زٍم ایٌىِ ثبیس وبضایی ذَثی زاضمِ ثبضس‪ ،‬زض ظهوبًی اوساوثط چٌسخولوِ ای اظ‬
‫ذطٍخی ضا هطرع وٌس‪ .‬زض ایٌدب‪ n ،‬تؼساز ًوًَِ ّبی ‪ X‬است‪ .‬ثطای هثبل‪ ،‬اگط ًوًَِ ّبی ‪ ،X‬ػكف ‪ٍ k‬یژگی هٌكمی ثبضٌس‪ ،‬ذَاّین زاضت ووِ‬
‫‪ .n=k‬پبضاهمط زٍم فؿب‪ size(c) ،‬است وِ اًساظُ ی وسّبی ‪ّ c‬بی زضٍى ‪ C‬ضا ًطبى هی زّس ثب فطؼ ایٌىِ ثطای ‪ً C‬ووبیص ذبغوی ضا تؼیویي‬
‫وطزُ ثبضین‪ .‬ثطای هثبل اگط هفبّین ‪ C‬ثب ػكف اساوثط ‪ٍ k‬یژگی هٌكمی ثبضٌس‪ ،‬وِ ّط وسام ثب لیسمی اظ ٍیژگی ّب هطرع ضَز‪ size(c) ،‬تؼساز‬
‫ٍیژگی ّبی ٍالؼی ثِ وبض ضفمِ زض تَؾیح ‪ c‬ذَاّس ثَز‪.‬‬

‫هوىي است اثمسا ثِ ًظط ثطسس وِ تؼطیف هب اظ یبزگیطی ‪ PAC‬فمف اّویت هٌبثغ هحبسجبتی الظم ثطای یبزگیطی زض ًظوط گطفموِ ضوسُ اسوت زض‬
‫ابلی وِ زض ػول تؼساز ًوًَِ ّبی الظم ثطای یبزگیطی ثیطمط ثطای هب اّویت زاضز‪ .‬ثب ایي ٍخَز‪ ،‬ایي زٍ ثسیبض ثِ یىسیگط ًعزیىٌس‪ :‬اگط ‪ً L‬یوبظ ثوِ‬
‫پطزاظش اساللی ثطای ّط ًوًَِ ی آهَظضی زاضمِ ثبضس‪ ،‬ثطای ایٌىِ ‪ C‬ضا لبثل یبزگیطی ‪ PAC‬تَسف ‪ L‬ثساًین‪ L ،‬اموب ثِ تؼساز چٌس خولِ ای ای‬
‫ًوًَِ ی آهَظضی ًیبظ ذَاّس زاضت‪ .‬زض اغل ضٍضی همساٍل ثطای ًطبى زازى ایٌىِ ‪ C‬ای ذبظ لبثل یبزگیطی ‪ PAC‬است ایي اسوت ووِ اثموسا‬
‫ًطبى زّین ّط هفَْم ّسف اظ تؼساز چٌس خولِ ای ای اظ ًوًَِ ّبی آهَظضی لبثل یبزگیطی است ٍ سپس ًطبى زّین ظهبى هحبسجبت ًیع اظ چٌس‬
‫خولِ ای وومط است‪.‬‬

‫لجل اظ ضفمي ثِ لسوت ثؼس‪ ،‬ثبیس ثِ فطؼ هحسٍز وٌٌسُ ای زض تؼطیفوبى اظ لبثل یبزگیطی ‪ PAC‬اضبضُ وٌین‪ .‬ایي تؼطیف هكلمب فطؼ هی وٌس وِ‬
‫فؿبی فطؾیِ ای یبزگیط ‪ H‬ضبهل فطؾیِ ّبیی است وِ ذكبی ثِ اًساظُ ی زلرَاُ وَچه ثطای توبهی هفبّین زضٍى ‪ C‬زاضًس‪ .‬ایي فطؼ اظ ایي‬
‫امیمت ًبضی هی ضَز وِ زض تؼطیف ثبال یبزگیط ظهبًی هَفك است وِ ثمَاى ‪ ε‬ضا ثِ اًساظُ ی زلرَاُ ثِ غفط ًعزیه وطز‪ .‬الجمِ زض اوبلمی ووِ ‪C‬‬
‫زلیك هؼلَم ًیست ‪$‬ثطای هثبل‪ C ،‬زض ثطًبهِ ای وِ ثبیس تػبٍیط چْطُ ضا تطریع زّس چیست؟‪ #‬تظویي ایي ضطـ سرت ذَاّس ثَز‪ ،‬هگط ایٌىوِ‬
‫‪ H‬هدوَػِ ی تَاًی ‪ X‬زض ًظط گطفمِ ضَز‪ّ .‬وبًكَض وِ زض فػل ‪ً 2‬یع گفمِ ضس‪ ،‬چٌیي ‪ H‬ثسٍى ثبیبسی زلت وبفی تؼویوی ثب تؼساز لبثل لجَلی‬
‫اظ ًوًَِ ّبی آهَظضی پیسا ًوی وٌس‪ .‬ثب ایي ٍخَز‪ً ،‬مبیح ابغل اظ هسل یبزگیطی ‪ PAC‬زیس هفیسی زضثبضُ ی پیچیسگی ًسوجی هسوبئل یوبزگیطی‬
‫هرملف ٍ ؾطیت ثْجَز تؼوین ثب افعایص ًوًَِ ّبی آهَظضی ثِ هب هی زّس‪ .‬ػالٍُ ثط ایي‪ ،‬زض ثرص ‪ 7.3.1‬ایي فطؼ هحسٍز وٌٌوسُ ضا ثوطای زض‬
‫ًظط گطفمي یبزگیط ثسٍى پیطفطؼ اصف هی وٌین‪.‬‬

‫‪1‬‬
‫‪PAC learnable‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪7‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪ 1.7‬پیچیذگی ًوًَه ای برای فضای فرضیه ای هحذٍد‬

‫ّوبًكَض وِ زض ثبال ًطبى زازین‪ ،‬لبثلیت یبزگیطی ‪ 1 PAC‬ثِ ضست ثِ تؼساز ًوًَِ ّبی آهَظضی الظم ثطای یبزگیط ٍاثسمِ اسوت‪ .‬افوعایص تؼوساز‬
‫ًوًَِ ّبی آهَظضی الظم ثطای یبزگیطی همٌبست ثب اًساظُ ی هسئلِ‪ ،‬وِ پیچیسگی ًوًَِ ای هسوئلِ ی یوبزگیطی ًبهیوسُ هوی ضوَز‪ ،‬اظ هْوموطیي‬
‫هؼیبضتّبی هسبئل یبزگیطی است‪ .‬ػلت ایي اّویت اظ ایي ضٍ است وِ زض هسبئل ػولی هحسٍزیت هَفمیت زض یبزگیطی ثیطمط ثِ ذبقط هحسٍزیت‬
‫یبزگیط زض تؼساز ًوًَِ ّبی آهَظضی است‪.‬‬

‫زض ایٌدب هب هطظی ولی ثطای پیچیسگی ًوًَِ ای ثطای والس ثعضگی اظ یبزگیط ّب‪ ،‬یبزگیط ّبی سبظگبض‪ 2‬اضائِ هی وٌوین‪ .‬یوبزگیط سوبظگبض یوبزگیطی‬
‫است وِ ظهبًی وِ هوىي ثبضس فطؾیِ ای ضا وِ ثب ًوًَِ ّبی آهَظضی سبظگبض ثبضس ذطٍخی هی زّس‪ .‬اًمظبض سبظگبض ثَزى یبزگیط ّب اًمظوبضی زٍض‬
‫اظ شّي ًیست‪ ،‬ظیطا وِ هؼوَال هب فطؾیِ ای ضا وِ ثب ًوًَِ ّبی آهَظضی سبظگبض است ضا ثِ فطؾیِ ّبی زیگط تطخیح هی زّین‪ .‬تَخِ زاضیوس ووِ‬
‫اوثط الگَضیمن ّبی هكطح ضسُ زض فػَل لجلی اظ خولِ توبهی الگَضیمن ّبی فػل ‪ 2‬سبظگبض ّسمٌس‪.‬‬

‫آیب هی تَاًین هطظی ثطای تؼساز ًوًَِ ّبی آهَظضی الظم ثطای ّط یبزگیط سبظگبض وِ هسممل اظ الگَضیمن است پیسا وٌین؟ خَاة ایوي سوَال ثلوی‬
‫ضا‬ ‫است‪ .‬ثطای ایدبز چٌیي هطظی ثس ًیست وِ ثؼؿی تؼبضیف فػل ‪ 2‬ضا زضثبضُ ی فؿبی ٍیوژُ ثوبظگَ وٌوین‪ .‬زض آًدوب فؿوبی ٍیوژُ ی‬
‫‪ h‬ضا وِ ًوًَِ ّبی آهَظضی ‪ D‬ضا زضست زسمِ ثٌسی هی وٌٌس تؼطیف وطزین‪.‬‬ ‫هدوَػِ ی توبهی فطؾیِ ّبی ‪H‬‬

‫اّویت فؿبی ٍیژُ زض ایٌدب ایي است وِ ّط یبزگیط سبظگبض هسممل اظ ایٌىِ ‪ X‬یوب ‪ H‬یوب ‪ D‬چوِ ثبضوٌس فطؾویِ ای اظ فؿوبی ٍیوژُ ضا ذطٍخوی‬
‫هی زّس‪ .‬زلیل ایي ًمیدِ زض تؼطیف فؿبی ٍیژُ هطَْز است‪ ،‬ظیطا وِ فؿبی ٍیژُ توبهی فطؾیِ ّبی سبظگبض زض ‪ H‬ثب ًوًَِ ّبی آهَظضوی ضا زض‬
‫ثط هی گیطز‪ .‬ثٌبثطایي ثطای هحسٍز وطزى تؼساز ًوًَِ ّبی آهَظش الظم ثطای ّط یبزگیط سبظگبض وبفی است تؼساز ًوًَِ ّبی آهَظضی الظم ضا ثطای‬
‫تظویي ایٌىِ فؿبی ٍیژُ فطؾیِ ای غیط لبثل لجَل ضا زض ثط ًگیطز هؼلَم وٌین‪ .‬تؼطیف ظیط‪ ،‬وِ ثِ ًبم )‪ً Haussler (1988‬بم گصاضی ضوسُ‪،‬‬
‫ایي ضطـ ضا ثِ غَضت زلیك هطرع هی وٌس‪.‬‬

‫تعریف‪ :‬فؿبی فطؾیِ ای ‪ ،H‬هفَْم ّسف ‪ ،c‬تَظیغ ًوًَِ ای 𝒟 ٍ هدوَػِ ی ًوًَِ ّبی آهَظضی ‪ D‬وِ ثطای آهَظضوی ‪ c‬اسوت ضا زض ًظوط‬
‫ذكبیی وومط اظ ‪ ε‬ثطای ‪ٍ c‬‬ ‫ظهبًی ‪ ε-exhausted‬ثطای ‪ D ٍ c‬است وِ ثطای ّط فطؾیِ ی ‪ h‬زض‬ ‫ثگیطیس‪ .‬فؿبی ٍیژُ ی‬
‫‪ D‬زاضمِ ثبضین‪.‬‬

‫(‬ ‫)‬ ‫𝒟‬

‫تؼطیف ثبال زض ضىل ‪ً 7.2‬وبیص زازُ ضسُ است‪ .‬فؿبی ٍیژُ ظهبًی ‪ ε-exhausted‬است وِ توبهی فطؾیِ ّبی سبظگبض ثب ًوًَِ ّبی آهَظضی‬
‫هطبّسُ ضسُ ‪$‬ثطای هثبل‪ ،‬آًْبیی وِ ذكبی ًوًَِ ای غفط زاضًس‪ #‬ذكبیی وومط اظ ‪ ε‬زاضمِ ثبضٌس‪ .‬الجمِ اظ زیس یبزگیط فمف فطؾیِ ّبیی وِ ثِ قَض‬
‫وبهل ثب ًوًَِ ّبی آهَظضی سبظگبض اًس لبثل تطریع است‪ّ ،‬وگی آًْب ذكبی آهَظضی غفط ذَاٌّس زاضت‪ .‬فمف ضبّسی وِ اظ هبّیوت هفْوَم‬
‫ّسف اگبُ است هی تَاًس ثب لكؼیت فؿبی ٍیژُ ی ‪ ε-exhausted‬ضا هطرع وٌس‪ .‬خبلت است وِ ثطضسی ای ااموبلی ثِ هب اخبظُ هوی زّوس‬

‫‪1‬‬
‫‪PAC-learnability‬‬
‫‪2‬‬
‫‪consistent learners‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪8‬‬

‫وِ ااموبل ایٌىِ فؿبی ٍیژُ ثؼس اظ تؼسازی ًوًَِ ی آهَظضی ‪ ε-exhausted‬ثبضس ضا ثسٍى ایٌىِ اقالػبتی زض هَضز هبّیت هفَْم ّوسف یوب‬
‫تَظیغ ًوًَِ ّبی آهَظضی زاضمِ ثبضین هحسٍز وٌین‪ Haussler (1988) .‬چٌیي هطظی ضا ثب لؿیِ ی ظیط ایدبز هی وٌس‪.‬‬

‫ضىل ‪ exausted 7.2‬وطزى فؿبی ٍیژُ‪.‬‬

‫ظیط هدوَػِ ای اظ فطؾیِ ّبی ‪ h H‬است وِ ذكبی آهَظضی غفط زاضًس ‪$‬زض ضىل ثب ‪ً r=0‬طبى زازُ ضسُ اسوت‪ .#‬الجموِ ذكوبی‬ ‫فؿبی ٍیژُ ی‬
‫است ‪$‬وِ زض ضىل ثب ‪ً error‬وبیص زازُ ضسُ‪ #‬وِ امی هوىي است ثطای فطؾیِ ّبی فؿبی ٍیژُ غیط غفط ثبضوس‪ .‬فؿوبی ٍیوژُ‬ ‫ٍالؼی‬
‫‪.‬‬ ‫زاضمِ ثبضین‬ ‫ظهبًی ‪ ε-exausted‬است وِ توبهی فطؾیِ ّبی ثبلیوبًسُ ی زضٍى‬
‫لؿیِ ی ‪ 7.1‬فؿبی ٍیژُ ی ‪ .ε-exhausted‬اگط فؿبی فطؾیِ ای ‪ H‬هحسٍز ثبضس ٍ ‪ً D‬یع سطای ای اظ ‪ً m≥1‬وًَِ ی تػبزفی هسممل اظ‬
‫ثطای ‪ً ε-exhausted c‬جبضس وومط یب هسوبٍی هموساض ظیوط‬ ‫‪ 0 ε‬ااموبل ایٌىِ فؿبی ٍیژُ ی‬ ‫هفَْم ّسف ‪ c‬ثبضس‪ ،‬ثطای ّط‬
‫است‪:‬‬

‫توبهی فطؾیِ ّبی زضٍى ‪ H‬ثبضٌس وِ ذكبی ٍالؼی ثیطمط اظ ‪ ε‬ثطای ‪ c‬زاضًس‪ .‬اگط ٍ فمف اگط اسالل یىوی‬ ‫اثبات‪ .‬فطؼ وٌیس‬
‫اظ ایي ‪ k‬فطؾیِ ثب توبهی ًوًَِ ّبی آهَظضی سبظگبض ثبضس فؿبی ٍیژُ ‪ً ε-exhausted‬رَاّس ثَز‪ .‬ااموبل ایٌىِ فطؾیِ ای وِ ذكبی ٍالؼی‬
‫ثیطمط اظ ‪ ε‬دارد با نمونه ای که به صورت اتفاقی انتخاب می شود سازگار باشدد ددداک ر )‪ (1-ε‬اسدت بندابرا ا ادتمدای ا ن ده‬
‫ذَاّس ثَز‪ .‬ابل اگوط ‪ k‬فطؾویِ ذكوبیی ثیطومط اظ ‪ ε‬داشدته باشدند‪ ،‬ادتمدای‬ ‫ا ا فرض ه بدا ‪ً m‬وًَِ ی هسممل سبظگبض ثبضس‬
‫ی از ا ا فرض ه ها با تمامی ‪ m‬نمونه ی آموزشی سازگار باشد دداک ر‬ ‫ا ن ه دداقی‬

‫زاضیون ووِ‬ ‫ذَاّس ثَز‪ .‬ثالذوطُ‪ ،‬اظ ضاثكوِ ی ولوی‬ ‫‪ ،‬پس ایي همساض اساوثط‬ ‫است ٍ اظ آًدبیی وِ‬
‫‪ .‬ثٌبثطایي‪،‬‬

‫وِ لؿیِ ثِ اثجبت هی ضسس‪.‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪9‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫ایي لؿیِ وطاى ثبالیی ثط است تؼساز ًوًَِ ّبی آهَظضی ‪ ٍ m‬اساوثط ذكوبی هدوبظ ‪ٍ ε‬اًوساظُ ی ‪ H‬ثوطای اامووبل ایٌىوِ فؿوبی ٍیوژُ ‪ε-‬‬
‫‪ً exhausted‬جبضس اضائِ هی وٌس‪ .‬اهب اظ ًظط زیگوط‪ ،‬ایوي هوطظ اامووبل ایٌىوِ ‪ً m‬وًَوِ ی آهَظضوی زض اوصف تووبهی فطؾویِ ّوبی "ثوس"‬
‫‪$‬فطؾیِ ّبیی وِ ذكبی ٍالؼی ثیطمط اظ ‪ ε‬دارند‪ #‬زض یبزگیط سبظگبض ثب فؿبی فطؾیِ ای ‪ H‬هَفك ًطًَس ضا ًطبى هی زّس‪.‬‬

‫ثیبییس اظ ایي ًمیدِ ثطای تؼییي تؼساز ًوًَِ ّبی آهَظضی الظم ثطای وبّص ااموبل ضىست ثِ ظیط اس زلرَاُ ‪ δ‬اسمفبزُ وٌین‪.‬‬

‫ثب ثبظًَیسی ضاثكِ ثطای ‪ m‬زاضین وِ‬

‫( ≥‬ ‫)) (‬

‫ثِ قَض ذالغِ ًبهسبٍی ضاثكِ ی ‪ 7.2‬هطظی ولی ثطای تؼساز ًوًَِ ّبی آهَظضی الظم ثطای ایٌىِ توبهی یبزگیط ّوبی سوبظگبض ثوب هَفمیوت ّوط‬
‫هفَْم ّسف زضٍى ‪ H‬ضا ثطای همبزیط زلرَاُ ‪ ε ٍ δ‬یبزثگیطًس ضا هطرع هی وٌس‪ .‬ایي تؼساز ًوًَِ ی آهَظضی ثطای تظویي ایٌىِ ّط فطؾویِ ی‬
‫‪ (1-‬زضست‪ #‬زضست ‪$‬اساوثط ثب ذكبی ‪ #ε‬ثبضس ضا تؼییي هی وٌس‪ .‬تَخِ زاضیوس ووِ ‪ m‬ثوِ غوَضت ذكوی ثوب ‪ٍ 1/ε‬‬ ‫سبظگبض تمطیجب ‪$‬ثب ااموبل‬
‫لگبضیموی ‪ 1/‬همٌبست است‪ّ .‬وچٌیي ثب ًسجت لگبضیموی ثب اًساظُ ی فؿبی فطؾیِ ای ‪ً H‬یع همٌبست است‪.‬‬

‫تَخِ زاضیس وِ هطظ ثبال هی تَاًس شاتب اغطاق آهیع ثبضس‪ .‬ثطای هثبل‪ ،‬ثب ٍخَز ایٌىِ ااموبل ایٌىِ فؿبی ٍیژُ ثبیس زض ثبظُ ی ]‪ [0,1‬لطاض ثگیطز‪ ،‬اهب‬
‫ایي هطظ ثب افعایص |‪ |H‬ثِ غَضت ذكی افعایص پیسا هی وٌس‪ .‬ثطای فؿبی ّبی فطؾیِ ای ثِ اًساظُ ی وبفی ثعضي‪ ،‬ایي هطظ هی تَاًس ثِ ضاامی‬
‫ثعضگمط اظ یه ضَز‪ً .‬میدِ ایٌىِ هطظ ًبهسبٍی ‪ 7.2‬هی تَاًس شاتب ثطای تؼساز ًوًَِ ّبی آهَظضی اغطاق آهیوع ثبضوس‪ .‬ؾوؼف ایوي هوطظ هؼووَال زض‬
‫خولِ ی |‪ |H‬است وِ اظ اثجبت ٌّگبم خوغ ااموبالت یه فطؾیِ ی غیط لبثل لجَل زض هیبى توبهی فطؾیِ ّوب ایدوبز هوی ضوَز‪ .‬زض ٍالوغ‪ ،‬زض‬
‫ثسیبضی هَالغ هطظی وَچىمط فؿبّبی فطؾیِ ای ثیٌْبیت ثعضي ضا هحسٍز هی وٌس‪ .‬ایي هطظ هَؾَع لسوت ‪ 7.4‬ذَاّس ثَز‪.‬‬

‫‪ 1.7.7‬یبدگیری ‪ agnostic‬ي فرضیه هبی غیر سبزگبر‬

‫ضاثكِ ی ‪ 7.2‬اظ ایي خْت اّویت زاضز وِ تؼساز ًوًَِ ّبی آهَظضی الظم ثطای تظویي ایٌىِ ‪$‬ثب ااموبل )‪ّ #(1-δ‬وط فطؾویِ ی ‪ H‬ووِ ذكوبی‬
‫آهَظضی غفط زاضز ذكبی ٍالؼی اساوثط ‪ ε‬زاضمِ ثبضس ضا تؼییي هی وٌس‪ .‬همبسفبًِ اگط ‪ H‬ضبهل تبثغ ّسف ‪ً c‬جبضس‪ّ ،‬ویطِ ًوی تَاى فطؾویِ ای‬
‫پیسا وطز وِ ذكبی آهَظضی غفط زاضمِ ثبضس‪ .‬زض چٌیي ابلمی‪ ،‬اظ یبزگیط هی ذَاّین وِ فطؾیِ ای ضا ذطٍخی زّس وِ وومطیي ذكوبی هوىوي ضا‬
‫ثط ضٍی ًوًَِ ّبی آهَظضی زاضمِ ثبضس‪ .‬یبزگیطی وِ ّیچ پیطفطؾی زض هَضز تبثغ ّسف ًوی وٌس ٍ فمف فطؾیِ ای اظ ‪ H‬ضا وِ وومطیي ذكوبی‬
‫آهَظضی زاضز ضا ذطٍخی هی زّس‪ ،‬یبزگیطی ‪ً agnostic‬بهیسُ هی ضَز‪ ،‬ظیطا وِ ّیچ فطؼ لجلی ای ثطای ایٌىِ آیب ‪ C⊆H‬زضست است یب ذیوط‬
‫ًوی وٌس‪.‬‬

‫ثب ٍخَز ایٌىِ ضاثكِ ی ‪ 7.2‬ثط ایي فطؼ وِ یبزگیط فطؾیِ ای ثب ذكبی غفط ضا ذطٍخی هی زّس پبیِ گصاضی ضوسُ اسوت‪ ،‬اهوب هوطظی هطوبثِ ضا‬
‫هی تَاى ثطای ابلت ولی تطی وِ یبزگیط فطؾیِ ای ثب ذكبی آهَظضی غیط غفط ضا ذطٍخی هی زّس هی تَاى ثسست اٍضز‪ .‬ثِ ػجبضت زلیممط فطؼ‬
‫ذكوبی‬ ‫وٌیس وِ ‪ D‬هدوَػِ ی ذبغی اظ ًوًَِ ای آهَظضی هَخَز است ‪$‬الجمِ ثب 𝒟 وِ تَظیغ ًوًَِ ای است همفبٍت اسوت‪ٍ #‬‬
‫ًسجت اضمجبُ ّبی ‪ h‬ثط ضٍی ًوًَِ ّبی آهَظضی ‪ D‬تؼطیف ضسُ اسوت‪ .‬تَخوِ‬ ‫ًوًَِ ای فطؾیِ ی ‪ h‬ثط ضٍی ‪ D‬است‪ .‬زض ول‪،‬‬
‫وِ ذكبی ٍالؼی ثط ضٍی تَظیغ ًوًَِ ای اسوت همفوبٍت اسوت‪ .‬اوبل فوطؼ وٌیوس‬ ‫𝒟‬ ‫ثب‬ ‫زاضیس وِ زض ابلت ولی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪11‬‬

‫ًوبز فطؾیِ ای اظ ‪ H‬ثبضس وِ وومطیي ذكبی ًوًَِ ای ضا ثط ضٍی ًوًَِ ّبی آهَظضی زاضز‪ .‬چِ تؼساز ًوًَوِ ی آهوَظش الظم اسوت توب‬
‫ثبضس؟ تَخِ زاضیس وِ ضاثكِ ی ایوي‬ ‫وومط یب هسبٍی‬ ‫𝒟‬ ‫تظویي ضَز وِ ‪$‬ثب ااموبل لَی‪ #‬ذكبی ٍالؼی‬
‫سَال ثب سَال هكطح ضسُ زض لسوت لجلی ایي است وِ سَال لسوت لجلی ابلت ذبغی اظ ایي سَال ثَز ‪$‬اوبلمی ووِ‬
‫‪.#‬‬

‫ایي سَال ضا هی تَاى ثب اسمفبزُ اظ تطبثِ ثب اثجبت لؿیِ ی ‪ 7.1‬خَاة زاز ‪$‬ثِ ضاثكِ ی ‪ 7.3‬هطاخؼِ وٌیس‪ .#‬یبزآٍضی هطظ ّبی ‪$ 1 Hoeffding‬وِ‬
‫گبّی هطظ ّبی اؾبفی ‪ً 2 Hoeffding‬بهیسُ هی ضَز‪ #.‬زض ایٌدب هفیس است‪ .‬هطظ ّبی ‪ Hoeffding‬هطمك ثیي ااموبل ٍالؼوی یوه اتفوبق ٍ‬
‫هیعاى هطبّسُ ی آى اتفبق زض ‪ m‬آظهبیص هسممل ضا ثطضسی هی وٌس‪ .‬ثِ ػجبضت زلیممط‪ ،‬ایي هوطظ ّوب ثوِ ‪ m‬آظهوبیص هسوممل ثطًوَلی‪ 3‬اػووبل‬
‫هی ضًَس ‪$‬ثطای هثبل زض ‪ m‬پطتبة سىِ ای ثب ااموبل ضیط آهسًی ذبظ‪ .#‬ایي وبهال هطبثِ تؼطیف هسئلِ ی هوب زض تروویي ذكوبی فطؾویِ زض‬
‫فػل ‪ 5‬است‪ :‬ااموبل ایٌىِ ضیط ثیبیس هطبثِ ااموبل ایي است وِ فطؾیِ یه ًوًَِ ی تػبزفی ضا اضمجبُ زسمِ ثٌوسی وٌوس‪ m .‬پطتوبة هسوممل‬
‫سىِ هطبثِ اًمربة ‪ً m‬وًَِ ی هسممل اظ تَظیغ ًوًَِ ای است‪ً .‬سجت تؼساز ضیط ّب ثِ ول ‪ m‬پطتبة هطبثِ ًسجت زسمِ ثٌسی ّبی اضمجبُ ثوِ‬
‫ول ‪ً m‬وًَِ ی تػبزفی است‪.‬‬

‫ثط ضٍی هدوَػِ ی ‪ D‬ضبهل ‪ً m‬وًَِ ی تػبزفی ثبضوس‪ ،‬ذوَاّین‬ ‫هطظ ّبی ‪ Hoeffding‬هی گَیس وِ اگط ذكبی ًوًَِ ای‬
‫زاضت وِ‪:‬‬

‫[‬ ‫𝒟‬ ‫]‬

‫ایي ضاثكِ هطظی ثطای ااموبل ایٌىِ یه فطؾیِ ی زلرَاُ ذكبی ًوًَِ ای ثسیبض گوطاُ وٌٌسُ زاضمِ ثبضس ضا ثِ هب هی زّس‪ .‬ثطای ایٌىِ هكووئي‬
‫ثبضین وِ ثْمطیي فطؾیِ پیسا ضسُ تَسف ‪ L‬اساوثط ذكبیی ثب ایي هطظ زاضز‪ ،‬ثبیس ااموبل ایٌىِ ّط فطؾیِ اظ |‪ |H‬فطؾویِ ّوبی هَخوَز ذكوبی‬
‫ثعضگی زاضمِ ثبضٌس ضا زض ًظط گطفت‪.‬‬

‫[‬ ‫𝒟‬ ‫]‬

‫اگط ایي ااموبل ضا ‪ δ‬ثٌبهین ٍ ثِ زًجبل تؼساز ًوًَِ ّبی الظم ثطای وومط ثَزى ‪ δ‬اظ همساض ذبغی ثگطزین ثِ ایي ضاثكِ هی ضسین وِ‪:‬‬

‫≥‬ ‫(‬ ‫)) (‬

‫ایي ضاثكِ تؼوین ضاثكِ ی ‪ 7.2‬ثطای ابلمی است وِ یبزگیط ٌَّظ ثْمطیي فطؾیِ ‪ h H‬ضا اًمربة هی وٌس ٍ ذكبی ًوًَِ ای ثْمطیي فطؾیِ ًیوع‬
‫هی تَاًس غیط غفط ثبضس‪ .‬تَخِ زاضیس وِ ‪ m‬ثب ‪ 1/δ ٍ H‬ضاثكِ ای لگبضیموی زاضز ٍ ّوبًكَض وِ زض هطبّسُ هی ضَز وِ ثِ ابلت ذبظ توط ‪7.2‬‬
‫هی ضسین‪ .‬ثب ایي ٍخَز زض ایي ابلت ولی تط ‪ m‬ثِ خبی ضاثكِ ی ذكی همٌبست ثب هدصٍض ‪ 1/ε‬است‪.‬‬

‫‪1‬‬
‫‪Hoeffding bounds‬‬
‫‪2‬‬
‫‪Hoeffding additive bounds‬‬
‫‪3‬‬
‫‪Bernoulli trial‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪11‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪ 1.7.2‬عطف عببرات مىطقی ‪ PAC-Learnable‬است‬

‫ابل وِ هطظی ثطای تؼییي تؼساز ًوًَِ ّبی آهَظضی وبفی ثطای ایٌىِ ثمَاى ثب ااموبل ذَثی تبثغ ّسف ضا یبزگطفت ثسست آٍضزُ این‪ ،‬اظ ایي هوطظ‬
‫هی تَاًین ثطای تؼییي پیچیسگی ًوًَِ ای ٍ ‪ Pac-learnable‬ثَزى زسمِ ی ذبغی اظ هفبّین ّسف اسمفبزُ وطز‪.‬‬

‫هدوَػِ ی هفبّین ّسف ‪ C‬ضا وِ ثب ػكف ػجبضات هٌكمی ثیبى هی ضَز ضا زض ًظط ثگیطیس‪ .‬یه ػجبضت هٌكمی هی تَاًس ّط همغیط هٌكمی ‪$‬هثول‬
‫‪ #Old‬یب ًمیؿص ‪$‬هثل ‪ #¬Old‬ثبضس‪ .‬ثٌبثطایي ػكف ػجبضات هٌكمی هثل تَاثغ ّسفی چَى ”‪ “Old ⋀ ¬Tall‬ضا ًیع ضبهل هی ضَز‪ .‬آیب ‪ C‬لبثل‬
‫یبزگیطی ‪ PAC‬است؟ هی تَاى ًطبى زاز وِ پبسد چٌیي سَالی آضی است‪ .‬وبفی است اثمسا ًطبى زّوین ّوط یوبزگیط سوبظگبض فموف تؼوساز چٌوس‬
‫خولِ ای ای ًوًَِ ی آهَظضی ثطای یبزگیطی ّط ‪ c‬زض ‪ C‬الظم زاضز ٍ الگَضیموی اضائِ وٌین وِ ظهبًی چٌس خولِ ای ثطای ّط ًوًَوِ الظم زاضومِ‬
‫ثبضس تب هفَْم ّسف ضا یبز ثگیطز‪.‬‬

‫یبزگیط ‪ L‬ضا یه یبزگیط سبظگبضی است زض ًظط ثگیطیس وِ اظ فؿبی فطؾیِ ای ‪ H‬وِ هطبثِ ‪ C‬است اسمفبزُ هی وٌس‪ .‬اظ ضاثكوِ ی ‪ 7.2‬هوی توَاى‬
‫ثطای هحبسجِ ی تؼساز ‪ً m‬وًَِ ی آهَظضی تػبزفی وبفی تب یبزگیط ‪ L‬ثب ااموبل )‪ (1-δ‬فطؾیِ ای ذطٍخی ثب هبوعیون ذكبی ‪ ε‬ثسّوس اسومفبز‬
‫وطز‪ .‬ثطای ایي وبض‪ ،‬الظم است وِ |‪ |H‬ضا وِ اًساظُ ی فؿبی فطؾیِ ای هطثَقِ است ضا تؼییي وطز‪.‬‬

‫ابل فؿبی فطؾیِ ای ‪ H‬ضا وِ ثط ضٍی ػكف ‪ n‬ػجبضات هٌكمی تؼطیف هی ضَز ضا زض ًظط ثگیطیس‪ .‬اًساظُ ی |‪ |H‬زض ایي فؿبی فطؾیِ ای‬
‫است‪ .‬تَخِ زاضمِ ثبضیس وِ ّط ػجبضت هوىي است زض فطؾیِ سِ ابالت زاضمِ ثبضس‪ :‬فطؾیِ آًطا ضبهل هوی ضوَز‪ ،‬فطؾویِ ًمویؽ آًوطا ضوبهل‬
‫فطؾیِ ضٍی آًْب تؼطیف وٌین‪.‬‬ ‫هی ضَز‪ ،‬فطؾیِ زض هَضز آى ًظطی ًسازُ است‪ .‬پس اگط ‪ n‬همغیط زاضمِ ثبضین هی تَاًین‬

‫زض ضاثكِ ی ‪ 7.2‬هطظ پیچیسگی ًوًَِ ای یبزگیطی ػكف ‪ n‬ػجبضت هٌكمی ثِ غَضت ظیط ثسست هی آیس‪.‬‬ ‫ثب اؾبفِ وطزى‬

‫( ≥‬ ‫)) (‬

‫ثطای هثبل اگط یه یبزگیط سبظگبض‪ ،‬یبزگیطی ثرَاّس تبثغ ّسفی تَغیفی ثب ‪ 11‬ػجبضت ٍ ثب ااموبل زضسمی ثیص اظ ‪ 95‬زضغس فطؾیِ ای ثب ذكوبی‬
‫وومط اظ ‪ .1‬ضا یبز ثگیطز‪ ،‬ثطای ‪ m‬وِ تؼساز ًوًَِ ّبی آهَظضی تػبزفی الظم ثطای ایي وبض ذَاّس ثَز ذَاّین زاضت وِ‪،‬‬

‫‪.‬‬ ‫(‬ ‫)) (‬

‫تَخِ زاضیس وِ ‪ m‬ضاثكِ ی ذكی ٍ هسممین ثب ‪$ n‬تؼساز ػجبضات فؿبی فطؾیِ ای‪ ٍ 1/ε ،#‬ضاثكِ ای لگبضیومی ثب ‪ 1/δ‬زاضز‪ .‬اهب ضاثكِ ی ‪ m‬ثوب‬
‫هیعاى هحبسجبت ولی چمسض است؟ الجمِ هحبسجبت ثِ ًَع الگَضیمن یبزگیطی ٍاثسمِ است‪ .‬ثب ایي ٍخَز‪ ،‬تب ظهبًی وِ الگَضیمن هب هحبسجبتی وومط اظ‬
‫چٌس خولِ ای ثطای ّط ًوًَِ زاضمِ ثبضس ٍ ول هحبسجبت ًیع وومط اظ چٌس خولِ ای ول ًوًَِ ّبی آهَظضی ثبضس‪ ،‬هسلوب هحبسجبت ول ًیع وومط‬
‫اظ چٌس خولِ ای تؼساز ًوًَِ ّب ذَاّس ثَز‪.‬‬

‫زض یبزگیطی ػكف ػجبضات هٌكمی‪ ،‬یىی اظ الگَضیمن ّبیی وِ ضطایف الظم ضا زاضز زض فػل ‪ 2‬هَضز ثحو لوطاض گطفوت‪ .‬ایوي الگوَضتین ‪Find-S‬‬
‫است‪ ،‬وِ ذبظ تطیي فطؾیِ ی سبظگبض ثب ًوًَِ ّبی آهَظضی ضا هحبسجِ هی وٌس‪ .‬ثطای ّط ًوًَِ ی هثجت آهَظضی خسیس‪ ،‬الگَضیمن اضمطان ثیي‬
‫ػجبضاتی فطؾیِ ی فؼلی ٍ ًوًَِ ی آهَظضی خسیس ضا زض ظهبًی ثب ضاثكِ ی ذكی ثب ‪ n‬هحبسوجِ هوی وٌوس‪ .‬ثٌوبثطایي‪ ،‬الگوَضیمن ‪ Find-S‬ووالس‬
‫هفبّین ػكفی ‪ n‬ػجبضت هٌكمی ٍ ًمیؿطبى ضا ثِ فطم ‪ PAC‬یبز هی گیطز‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪12‬‬

‫قضیه ی ‪ 2.7‬قابلیت یادگیری ‪ PAC‬عطف عبارات مىطقی‪ .‬والس ‪ C‬وِ هدوَػِ ی ػكف ػجبضات هٌكموی اسوت تَسوف الگوَضیمن‬
‫‪ Find-S‬ثب اسمفبزُ اظ ‪ H=CFind-S‬لبثل یبزگیطی ‪ PAC‬است‪.‬‬

‫اثبات‪ .‬ضاثكِ ی ‪ً 7.4‬طبى هی زّس پیچیسگی ًوًَِ ای ایي والس هفبّین ًسجت ثِ ‪ 1/ε ٍ 1/‬چٌسخولوِ ای ٍ اظ )‪ size(c‬هسوممل اسوت‪.‬‬
‫ثطای پطزاظش هطالِ ثِ هطالِ ی ّط ًوًَِ ی آهَظضی‪ ،‬الگَضیمن ‪ً Find-S‬یبظ ثِ تالضوی همٌبسوت ذكوی ثوب ‪ ٍ n‬هسوممل اظ ‪ 1/ε ٍ 1/‬و‬
‫)‪ size(c‬ذَاّس زاضت‪ .‬ثٌبثطایي ایي والس هفبّین تَسف الگَضیمن ‪ ،Find-S‬لبثل یبزگیطی ‪ PAC‬است‪.‬‬

‫‪ 1.7.7‬قابلیت یادگیری ‪ PAC‬دیگر کالسهای هفهَم‬

‫ّوبًكَض وِ زض ثبال زیسین‪ ،‬ضاثكِ ی ‪ 7.2‬پبیِ ای ولی ثطای هحسٍز وطزى پیچیسگی یبزگیطی تَاثغ هفَْم والس هؼلَم ‪ C‬اضائِ هی وٌس‪ .‬زض ثوبال‬
‫ایي ضاثكِ ضا ثطای والس ػكف ػجبضات هٌكمی ثِ وبض ثطزین‪ .‬ثِ قَض هطبثِ هی توَاى ًطوبى زاز ووِ ثسویبضی اظ والسوْبی هفْوَم پیچیوسگی‬
‫ًوًَِ ای چٌس خولِ ای زاضًس‪$ .‬توطیي ‪#7.2‬‬

‫‪ 1.7.7.7‬یبدگیر هبی بدين ببیبس‬

‫ّوِ ی والسْبی هفَْم هطظ پیچیسگی ًوًَِ ای ثب ضاثكِ ی ‪ 7.2‬هحسٍزی ًساضًس‪ .‬ثطای هثبل والس هفبّین ثبیوبس ًطوسُ ی ‪ C‬ضا ووِ تووبهی‬
‫هفبّین لبثل تؼلین ثط ضٍی ‪ X‬ضا زض ثط هی گیطز ضا زض ًظط ثگیطیس‪ .‬هدوَػِ ی ‪ C‬توبهی هفبّین ّسف لبثل تؼطیف ّوبى هدوَػوِ ی توَاًی ‪،X‬‬
‫‪ .‬فطؼ وٌیس وِ ًوًَِ ّبی زضٍى ‪ X‬ثب ‪ n‬همغیوط هٌكموی تؼطیوف ضوًَس‪،‬‬ ‫هدوَػِ ی توبهی ظیطهدوَػِ ّبی ‪ ،X‬ذَاّس ثَز وِ‬
‫‪ .‬الجمِ ثطای یبزگیطی چٌیي والس ثبیبس ًطسُ ی یوبزگیطی‪،‬‬ ‫ثٌبثطای ذَاّین زاضت وِ‬ ‫ثٌبثطایي ذَاّین زاضت وِ‪،‬‬
‫زض ضاثكِ ی ‪ 7.2‬پیچیسگی ًوًَِ ای ثوطای‬ ‫ذَز یبزگیط ًیع ثبیس اظ فؿبی فطؾیِ ای ثسٍى ثبیبس اسمفبزُ وٌس ‪ .H=C‬ثب خبیگعاضی‬
‫یبزگیط هفبّین ثسٍى ثبیبس ضٍی ‪ X‬هطرع هی ضَز‪.‬‬

‫≥‬ ‫(‬ ‫)) (‬

‫ثٌبثطایي‪ ،‬ایي والس ثسٍى ثبیبس اظ هفبّین ّسف ثٌبثط ضاثكِ ی ‪ 7.2‬پیچیسگی ًوًَِ ای ًوبیی )‪ (exponential‬زض هسل ‪ PAC‬زاضز‪ .‬ثب ٍخَز‬
‫ایٌىِ ضاثكِ ی ‪ 7.2‬پیچیسگی ًوًَِ ای ثب اغطاق ثطای والس هفبّین ثسٍى ثبیبس ضا تَاًی اظ ‪ n‬هی زاًس اهب زض امیمت اثجبت هی ضَز وِ ایي هطظ‬
‫اغطاق آهیع ًیست‪.‬‬

‫‪ 1.7.7.2‬مفبهیم ‪ k-term DNF‬ي ‪k-CNF‬‬

‫ّوچٌیي هی تَاى والس ّبی هفبّیوی ضا پیسا وطز وِ پیچیسگی ًوًَِ ای چٌس خولِ ای زاضًس اهب ثب ایي ٍخَز ًوی تَاى آًْب ضا زض ظهوبًی چٌوس‬
‫خولِ ای یبزگطفت‪ .‬یىی اظ هثبلْبی خبلت چٌیي والسْبیی‪ ،‬والس هفبّین فطم ًطهبل فػلی ‪ k‬خولِ ای )‪ 1 (k-term DNF‬است‪ .‬ػجبضات ‪k-‬‬
‫ػكفی اظ ‪ٍ n‬یژگی هٌكمی ٍ ًمیؽ ّبیطبى است‪ .‬ثب ایوي فوطؼ ووِ ‪H=C‬‬ ‫ّسمٌس وِ زض آى‬ ‫‪ term DNF‬ثِ فطم‬
‫ابلوت زاضًوس‪ .#‬تَخوِ زاضیوس ووِ‬ ‫ذَاّس ثَز ‪$‬ظیطا وِ ‪ k‬خولِ زاضین وِ ّطووسام‬ ‫هی تَى ثِ ضاامی ًطبى زاز وِ |‪ |H‬اساوثط‬

‫‪1‬‬
‫‪k-term disjunctive normal form‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪13‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫است ضا زٍثبض هوی ضووبضین‪ .‬ثوب ایوي ٍخوَز هوی توَاى اظ هوطظ‬ ‫ولی تط اظ‬ ‫ٍ‬ ‫ترویي ثبالیی اظ ‪ H‬است ظیطا وِ زض ضطایكی وِ‬
‫اساوثطی |‪ |H‬ثطای پیسا وطزى هطظ اساوثطی پیچیسگی ًوًَِ ای اسمفبزُ وطز‪ ،‬ثب خبیگصاضی زض ضاثكِ ی ‪ 7.2‬ذَاّین زاضت‪،‬‬

‫≥‬ ‫(‬ ‫)) (‬

‫ایي ضاثكِ ًطبى هی زّس وِ پیچیسگی ًوًَِ ای ‪ k-term DNF‬چٌس خولِ ای ای اظ ‪ k ٍ n ،1/ ،1/ε‬است‪ .‬ثب ایوي ٍخوَز ووِ پیچیوسگی‬
‫ًوًَِ ای اظ زضخِ چٌس خولِ ای است‪ ،‬پیچیسگی هحبسجبتی اظ زضخِ چٌس خولِ ای ًیست‪ ،‬ظیطا هی تَاى ًطبى زاز وِ ایي هسئلِ یبزگیطی هؼوبزل‬
‫زیگط هسبئل یبزگیطی است وِ زض ظهبى چٌس خولِ ای لبثل ال ًیسومٌس ‪$‬هگوط ایٌىوِ ‪ .#RP=NP‬ثٌوبثطایي‪ ،‬ثوب ٍخوَز ایٌىوِ ‪k-term DNF‬‬
‫پیچیسگی چٌس خولِ ای زاضز‪ ،‬اهب پیچیسگی هحبسجبتی آى ثطای یبزگیطی وِ زض آى ‪ H=C‬اظ زضخِ ی چٌس خولِ ای ًرَاّس ثَز‪.‬‬

‫امیمت خبلت زض هَضز ‪ k-term DNF‬ایي است وِ ثب ٍخَز ایٌىِ ایي والس لبثل یبزگیطی ‪ً PAC‬یست‪ ،‬اهوب ثوب ایوي اوبل ووالس هفوبّین‬
‫ثعضگمطی ٍخَز زاضز وِ لبثل یبزگیطی ‪ PAC‬است! ایي اظ ایي خْت هوىي است وِ والسْبی هفبّین ثعضگمط پیچیسگی هحبسجبتی چٌس خولِ ای‬
‫اظ ًوًَِ ّب زاضًس ٍ پیچیسگی ًوًَِ ای چٌس خولِ ای زاضز‪ .‬ایي والس ثعضگمط والس ًوبیص ّبی ‪ k-CNF‬است‪ :‬ػكف ػجبضات ثب تؼوساز زلروَاُ‬
‫فػلی اظ اساوثط ‪ٍ k‬یژگی هٌكمی است‪ً .‬طبى زازى ایي اىن ووِ ‪ k-DNF‬ظیوط هدوَػوِ ی ‪k-‬‬ ‫وِ زض آى‬ ‫⋀‬ ‫⋀‬ ‫⋀‬ ‫ثِ فطم‬
‫‪ CNF‬است ثسیبض سبزُ است ظیطا وِ هی تَاى ّط ػجبضت ‪ k-DNF‬ضا ثِ سبزگی ثب یه ػجبضت ‪ k-CNF‬ثبظًَیسی وطز ‪$‬ثطػىس ایي لؿویِ ثوط‬
‫‪ً k-CNF‬سجت ثِ ‪ k-DNF‬ضبهل تط است‪ّ ،‬ن پیچیسگی ًوًَِ ای چٌس خولِ ای ٍ ّن پیچیوسگی هحبسوجبتی‬ ‫لطاض ًیست‪ .#‬ثب ایي ٍخَز وِ‬
‫چٌس خولِ ای زاضز‪ .‬ثٌبثطایي‪ ،‬والس هفبّین ‪ k-DNF‬ثب الگَضیمن یبزگیطی ای وِ اظ ‪ H=k-CNF‬اسمفبزُ هی وٌس لبثول یوبزگیطی ‪ PAC‬اسوت‪.‬‬
‫ثطای ثح زلیممط ثِ )‪ (Kearns and Vazirani 1994‬هطاخؼِ وٌیس‪.‬‬

‫‪ 1.7‬پیچیذگی ًوًَه ای برای فضاهای فرضیه ای بیکراى‬

‫زض ثرص ثبال ًطبى زازین وِ پیچیسگی ًوًَِ ای ثطای یبزگیطی ‪ PAC‬همٌبست ثب لگبضیمن اًوساظُ ی فؿوبی فطؾویِ ای اسوت‪ .‬ثوب ٍخوَز ایٌىوِ‬
‫ضاثكِ ی ‪ 7.2‬ضاثكِ ی ثسیبض هفیسی است اهب زٍ اضىبل زض ثیبى پیچیسگی ًوًَِ ای ثط اسوبس |‪ٍ |H‬خوَز زاضز‪ .‬اثموسا ایٌىوِ هوىوي اسوت ثوِ‬
‫هی تَاًس ثطای همبزیط ثعضي |‪ |H‬ثِ ضىل لبثول توَخْی ثعضگموط اظ یوه ثبضوس‪ .#‬زٍم ایٌىوِ زض فؿوبی‬ ‫هطظ ّبی ؾؼیفی ذمن گطزز ‪$‬همساض‬
‫فطؾیِ ای ثیىطاى ثِ قَض ولی ًوی تَاى اظ ضاثكِ ی ‪ 7.2‬اسمفبزُ وطز‪.‬‬

‫زض ایٌدب هؼیبض زیگطی اظ پیچیسگی ‪ H‬ثِ ًبم ثؼس ‪$ H Vapnik-Chervonenkis‬ثِ اذمػبض ثؼس ‪ H VC‬یب )‪ #VC(H‬ضا هؼطفی ذَاّین ووطز‪.‬‬
‫ّوبًكَض وِ زض ازاهِ ًیع ذَاّین زیس‪ ،‬هی تَاى هطظ پیچیسگی ضا ثب هؼیبض )‪ VC(H‬ثِ خبی |‪ |H‬ثیبى وطز‪ .‬زض ثسیبضی اظ هَاضز‪ ،‬هطظ پیچیسگی ثوط‬
‫پبیِ ی )‪ VC(H‬لَی تط اظ هطظ ضاثكِ ی ‪ 7.2‬ذَاّس ثَز‪ .‬ثِ ػالٍُ ایي هطظ اهىبى ثطضسی پیچیسگی ًوًَوِ ای ثسویبضی اظ فؿوبّبی فطؾویِ ای‬
‫ثیىطاى ضا ًیع فطاّن هی وٌس‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪14‬‬

‫‪ 1.7.7‬خرد کردى هجوَعه ای از ًوًَه ها‬

‫ثؼس ‪ VC‬پیچیسگی فؿبی فطؾیِ ای ‪ H‬ضا ًِ ثط اسبس |‪ ٍ |H‬ثلىِ ثط اسبس تؼساز ًوًَِ ّبی هموبیع ‪ X‬وِ هی تَاًٌس ثِ ولوی ثوب ‪ H‬هطورع‬
‫ضًَس ثیبى هی وٌس‪.‬‬

‫ثطای زلیممط وطزى ایي ًوبزگصاضی‪ ،‬ثیبییس اثمسا ًوبزگصاضی ذطز وطزى هدوَػِ ای اظ ًوًَِ ّب‪ 1‬ضا هطرع وٌین‪ .‬ظیوط هدوَػوِ ای اظ ًوًَوِ ّوب‬
‫ضا زض ًظط ثگیطیس‪ .‬ثطای هثبل‪ ،‬ضىل ‪ 7.3‬ظیط هدوَػِ ای اظ ‪ X‬ضبهل سِ ًوًَِ ضا ًطبى هی زّس‪ّ .‬ط فطؾیِ ی ‪ h‬زض ‪ S H‬ضا ثوِ‬ ‫⊆‬ ‫هبًٌس‬
‫ّسومٌس‪ .‬ثوب هؼلوَم ثوَزى‬ ‫ٍ‬ ‫زٍ هدوَػِ تمسین هی وٌس؛ ایي زٍ هدوَػِ‪ ،‬هدوَػِ ّبی‬
‫تمسین زٍتبیی هرملفی وِ اػؿبی ‪ H‬هوىي ثؼؿی اظ آًْب ضا ًمَاًٌس ایدبز وٌٌس ًَضت‪ .‬ظهبًی هی گوَیین ‪ S ،H‬ضا‬ ‫هدوَػِ ی ‪ S‬هی تَاى‬
‫ذطز هی وٌس وِ ثطای ّط یه اظ تمسین ّبی زٍتبیی ‪ S‬ضا ثمَاى ثب فطؾیِ ای اظ ‪ً H‬وبیص زاز‪.‬‬

‫تعریف‪ .‬هدوَػِ ی ًوًَِ ّبی ‪ S‬ثب فؿبی فطؾیِ ای ‪ H‬ذطز هی ضَز اگط ٍ فمف اگط ثطای ّط تمسین زٍتبیی ‪ S‬فطؾیِ ای سبظگبض ٍخَز زاضمِ‬
‫ثبضس‪.‬‬

‫تمسوین‬ ‫ضىل ‪ 7.3‬هدوَػِ ای اظ سِ ًوًَِ ضا ًطبى هی زّس وِ تَسف فؿبی فطؾیِ ای ذطز هی ضَز‪ .‬تَخِ زاضیس ووِ ثوطای ّوط یوه اظ‬
‫زٍتبیی ایي سِ ًوًَِ فطؾیِ ای ٍخَز زاضز‪.‬‬

‫تَخِ زاضیس وِ اگط هدوَػِ ای اظ ًوًَِ ّب تَسف یه فؿبی فطؾیِ ای ذطز ًطَز‪ ،‬ثسیي هؼٌبست وِ فطؾیِ ای ‪$‬تمسوین زٍتوبیی ای‪ #‬ثوط ضٍی‬
‫ًوًَِ ّب ٍخَز زاضز وِ ًوی تَاى آًطا ثب فؿبی فطؾیِ ای ًطبى زاز‪ .‬لسضت ذطز وطزى یه فؿبی فطؾویِ ای ثوطای هدوَػوِ ای اظ ًوًَوِ ّوب‬
‫هؼیبضی اظ لسضت ًوبیص ایي فؿبی فطؾیِ ای ثطای ًوبیص هفبّین تؼطیف ضسُ ثط ضٍی ایي هدوَػِ اظ ًوًَِ ّبست‪.‬‬

‫‪ 1.4.2‬بعد ‪Vapnik-Chervonenkis‬‬
‫لسضت ذطز وطزى هدوَػِ ای اظ ًوًَِ ّب ضاثكِ ی ًعزیىی ثب ثبیبس اسممطایی یه فؿبی فطؾیِ ای زاضز‪ .‬ثب تَخِ ثِ آًچِ زض فػل ‪ 2‬گفمِ ضس‪،‬‬
‫فؿبی فطؾیِ ای ثسٍى ثبیبس فؿبی فطؾیِ ای است وِ هی تَاًس توبهی هفبّین ‪$‬تمسین ّبی زٍتبیی‪ #‬لبثول تؼطیوف ضٍی فؿوبی ًوًَوِ ی ضا‬
‫ًوبیص ثسّس‪ .‬اهب اگط ‪ً H‬مَاًس ‪ X‬ضا ذطز وٌس‪ ،‬اهب زض همبثل ثمَاًس ظیط هدوَػِ ی ثعضگی اظ ‪ X‬ضا ذطز وٌس چِ؟ ثِ ًظط هوی ضسوس ایٌىوِ ّوط لوسض‬
‫ظیطهدوَػِ ی ذطزضسُ ی ‪ X‬ثعضگمط ثبضس‪ً H ،‬یع ضبهل تط ذَاّس ثَز‪ .‬ثؼس ‪ VC‬ی ‪ H‬ثِ قَض زلیممط هؼیبض ظیط است‪.‬‬

‫تعریف‪ .‬ثؼس ‪ ،VC(H) ،Vapnik-Chervonenkis‬ثطای فؿبی فطؾیِ ای ‪ H‬ووِ ثوط ضٍی فؿوبی ًوًَوِ ای ‪ X‬تؼطیوف ضوسُ اًوساظُ ی‬
‫ثعضگمطیي ظیطهدوَػِ ی وطاًساض ‪ X‬است وِ ثب ‪ H‬ذطز هی ضوَز‪ .‬اگوط ‪ H‬ثمَاًوس ّوط ظیطهدوَػوِ ی زلروَاُ ‪ X‬ضا ذوطز وٌوس ذوَاّین زاضوت‪،‬‬
‫∞ )‪.VC(H‬‬

‫‪ .‬پوس‬ ‫‪ .‬ثطای زضن ایي ضاثكِ فطؼ وٌیس زاضیون‬ ‫تَخِ زاضیس وِ ثطای توبهی ‪ّ H‬بی وطاًساض زاضین‬
‫‪.‬‬ ‫ٍ‬ ‫فطؾیِ ی هحؽ ثطای ذطز وطزى ‪ً d‬وًَِ اامیبج ذَاّس زاضت‪ ،‬پس‬ ‫‪ H‬ثِ‬

‫‪1‬‬
‫‪shattering a set of instances‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪15‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪ 1.4.2.7‬چىدیه مثبل‬
‫ثطای پیسا وطزى زضوی اظ )‪ ،VC(H‬چٌس ًوًَِ فؿبی فطؾیِ ای ضا زض ًظط ثگیطیس‪ .‬ثطای ضطٍع‪ ،‬فطؼ وٌیوس ووِ ‪ X‬هدوَػوِ ی اػوساز امیموی‬
‫𝔎=‪X‬است ‪$‬وِ لس افطاز ضا تَغیف هی وٌس‪ H ٍ #‬هدوَػِ ی ثبظُ ّبی اػساز امیمی است‪ .‬ثِ ػجبضت زیگط ‪ H‬هدوَػِ ی فطؾیِ ّوبیی اسوت‬
‫وِ ثِ فطم ‪ a<x<b‬ثیبى هی ضًَس ٍ ‪ً b ٍ a‬یع اػساز ثبثت امیمی اًس‪ VC(H) .‬زض ایٌدب چیست؟ ثطای خوَاة ثوِ ایوي سوَال‪ ،‬ثبیوس ثعضگموطیي‬
‫ظیطهدوَػِ ی ‪ X‬ضا پیسا وٌین وِ ثب ‪ H‬ذطز ضَز‪ .‬ظیط هدوَػِ ی زٍ ػؿَی ذبغی اظ اػساز امیمی هثل }‪ S={3.1,5.7‬ضا زض ًظط ثگیطیس‪ .‬آیوب‬
‫هی تَاى ‪ S‬ضا ثب ‪ H‬ذطز وطز؟ ثلِ‪ ،‬ثطای هثبل چْبض فطؾیِ ی )‪ (1<x<7) ٍ (4<x<7) ،(1<x<4) ،(1<x<2‬ایي وبض ضا اًدبم هی زٌّس‪ .‬ایي‬
‫چْبض هدوَػِ ثب ّن ّط یه اظ تمسیوْبی زٍ ػؿَی ‪ S‬ضا‪ ،‬هثل زضثط زاضمي ّیچىسام‪ ،‬یىی ٍ ّط زٍ ًوًَِ‪ ،‬ضا ًوبیص هی زٌّس‪ .‬اظ آًدوبیی ووِ‬
‫هدوَػِ ای زٍ ػؿَی پیسا وطزین وِ ثب ‪ H‬ذطز ضَز پس )‪ VC(H‬اسالل زٍ ذَاّس ثَز‪ .‬اهب آیب هدوَػِ ای ثب اًساظُ ی سِ ٍخوَز زاضز ووِ ‪H‬‬
‫ثب سِ ًوًَوِ ی زلروَاُ ضا زض ًظوط ثگیطیوس‪ .‬ثوسٍى اظ زسوت زازى ولیوت فوطؼ وٌوین ووِ‬ ‫آًطا ذطز وٌس؟ هدوَػِ ی‬
‫ضا‬ ‫ضا زض ثطگطفموِ ٍ‬ ‫ٍ‬ ‫‪ٍ .‬اؾح است وِ ایي ظیطهدوَػِ ضا ًوی تَاى ذطز وطز‪ ،‬ظیطا وِ تمسین زٍ ػؿَی ای وِ‬
‫زض ثط ًگیطز ضا ًوی تَاى ثب یه فطؾیِ ًطبى زاز‪ .‬ثٌبثطایي‪ّ ،‬یچ ظیطهدوَػِ ی سِ ػؿَی ضا ًوی تَاى ذطز وطز ٍ ‪ .VC(H)=2‬تَخِ زاضیس وِ‬
‫زض ایٌدب ‪ H‬ثیىطاى ٍ )‪ VC(H‬وطاًساض است‪.‬‬

‫فطؼ وٌیس وِ ‪ X‬هدوَػِ ًمبـ ضٍی غفحِ ی ‪ x-y‬ثبضس ‪$‬ضىل ‪ .#7.4‬فطؼ وٌین ‪ H‬توبم سكَح تػوین گیطی ذكوی ثوط ضٍی ایوي غوفحِ‬
‫است‪ .‬ثِ ػجبضت زیگط‪ H ،‬فؿبی فطؾیِ ای همٌبست ثب یه ٍااس پطسپمطٍى ثب زٍ ٍضٍزی است ‪$‬ثطای ثح ولی تط ثِ فػل ‪ 4‬هطاخؼِ وٌیس‪ .#‬ثؼوس‬
‫‪ VC‬ی ‪ H‬چیست؟ زضن ایٌىِ ّط زٍ ًمكِ زض فؿب ضا هی تَاى ثب فؿبی فطؾیِ ای ‪ H‬ذطز وطز ثسیبض آسوبى اسوت‪ ،‬ظیوطا ووِ چْوبض ذوف پیوسا‬
‫هی ضَز وِ ّیچىسام‪ ،‬یىی ٍ یب ّطزٍ ًوًَِ ضا زض ثط ثگیطًس؟ اهب زض هَضز هدوَػِ ّبی سِ ًمكِ ای چِ؟ تب ظهبًی وِ ًمبـ ثوط ضٍی یوه ذوف‬
‫ذف پیسا ذَاّین وطز وِ هدوَػِ ضا ذطز وٌس‪ .‬الجمِ هدوَػِ ی سِ ًمكِ ی ضٍی یه ذف ضا ًوی تَاى ذطز وطز ‪$‬ثِ ّوبى زلیل وِ‬ ‫ًیسمٌس‪،‬‬
‫ًوی تَاًسمین زض هثبل لجل هدوَػِ ی سِ ًمكِ ای اظ ضٍی ذف امیمی ضا ذطز وٌین‪ .#‬زض چٌیي ضطایكی )‪ VC(H‬چٌس است‪ ،‬زٍ یب سِ؟ اوسالل‬
‫‪.‬‬ ‫≥‬ ‫سِ است‪ .‬تؼطیف ثؼس ‪ VC‬هی گَیس وِ اگط ثمَاًین هدوَػِ ای ‪ d‬ػؿَی ضا پیسا وٌین وِ ثمَاى آًطا ثب ‪ H‬ذطز وطز زاضین ووِ‬
‫ثبیس ًطبى زّین وِ هدوَػِ ی ‪ d‬ػؿَی ضا ًوی تَاى ثب ‪ H‬ذطز وطز‪ .‬زض ایي هثبل‪ّ ،‬یچ هدوَػوِ ی‬ ‫ثطای ًطبى زازى ایٌىِ‬
‫چْبض ػؿَی ضا ًوی تَاى ذطز وطز پس ‪ .VC(H)=3‬ثِ قَض ولی هی تَاى ًطبى زاز وِ ثؼس ‪ VC‬ی سكَح تػوین ذكوی زض فؿوبی ‪ r‬ثؼوسی‬
‫‪$‬ثؼس ‪ VC‬پطسپمطًٍی ثب ‪ٍ r‬ضٍزی‪ r+1 #‬است‪.‬‬

‫ضىل ‪ 7.4‬ثؼس ‪ VC‬ی سكَح تػوین ذكی زض غفحِ ی ‪ 3 ،x-y‬است‪.‬‬

‫)‪ (a‬هدوَػِ ای اظ سِ ًمكِ وِ ثب سكَح تػوین ذكی ذطز هی ضَز‪ (b) .‬هدوَػِ ای اظ سِ ًمكِ وِ ًوی تَاى آًطا ثب سكَح تػوین ذكی ذطز وطز‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪16‬‬

‫ثِ ػٌَاى هثبل آذط‪ ،‬فطؼ وٌیس وِ ّط ًوًَِ اظ ‪ X‬ثب ػكفی اظ سِ ػجبضت هٌكمی‪ّ ٍ ،‬ط فطؾیِ ی ‪ H‬ػكف اساوثط سِ ػجبضت هٌكمی ًوًَِ ّوب‬
‫ٍ‬ ‫ثبضس‪ VC(H) .‬چیست؟ هی تَاى ًطبى زاز وِ ایي همساض اسالل ‪ 3‬است‪ّ .‬ط یه اظ ًوًَِ ّب ضا ثب ضضمِ ای سِ ثیمی همٌبست ثب ػجبضات ‪،‬‬
‫ًطبى هی زّین‪ .‬هدوَػِ ی سِ ًوًَِ ای ظیط ضا زض ًظط ثگیطیس‪:‬‬

‫ایي هدوَػِ ی سِ ػؿَی اظ ًوًَِ ّب ضا هی تَاى ثب ‪ H‬ذطز وطز‪ ،‬ظیطا وِ ثطای ّط تمسین زٍتبیی هی تَاى ثِ فطم ظیط فطؾیِ ای سوبذت‪ :‬اگوط‬
‫ضا ثِ فطؾیِ اؾبفِ وي‪ .‬ثطای هثبل فطؾیِ ای ضا زض ًظط ثگیطیس وِ‬ ‫ضا زض ثط ًوی گیطز‬ ‫فطؾیِ ای ًوًَِ ی‬
‫ثطای ایي ابلت اسمفبزُ ذَاّین وطز‪ .‬ایي ثح‬ ‫⋀‬ ‫ضا زضثط ًوی گیطز‪ .‬اظ فطؾیِ ی‬ ‫ٍ‬ ‫ضا زضثطگطفمِ اهب‬
‫ضا هی تَاى ثِ سبزگی اظ ‪ٍ 3‬یژگی ثِ ‪ٍ n‬یژگی تؼوین زاز‪ .‬زض ٍالغ‪ VC(H) ،‬زض ایي ابلت زلیمب ‪ n‬است‪ ،‬اهب ًطبى زازى ایي وبض ووی سرت توط‬
‫است ظیطا ثبیس ًطبى زّین وِ هدوَػِ ی ‪ n+1‬ػؿَی ای ٍخَز ًساضز وِ ثب ‪ H‬ذطز ضَز‪.‬‬

‫‪ 1.4.7‬پیچیدگی ومًوه ای ي بعد ‪VC‬‬

‫زض لسومْبی لجلی سَال "چِ تؼساز ًوًَِ ی تػبزفی ثطای ترویي یىی اظ فطؾیِ ّبی ‪ C‬وبفی است؟" ‪$‬چِ تؼساز ًوًَِ ی آهَظضی ثطای ایٌىِ‬
‫‪ (1-‬فؿبی ٍیژُ ‪ ε-exhaust‬ثبضس؟‪ #‬ضا ثطضسی وطزین‪ .‬ثب اسومفبزُ اظ )‪ VC(H‬ثوِ ػٌوَاى هؼیوبضی ثوطای پیچیوسگی ‪ H‬چگًَوِ‬ ‫ثب ااموبل‬
‫هی تَاى خَاثی زیگط ثطای ایي سَال پیسا وطز‪ ،‬هطبثِ آًچِ پیطمط ثب هطظ ضاثكِ ی ‪ 7.2‬ثیوبى ووطزین‪ .‬ایوي هوطظ خسیوس ثوِ فوطم ظیوط اسوت ‪$‬ثوِ‬
‫)‪ (Blumer et al. 1989‬هطاخؼِ وٌیس‪#‬‬

‫≥‬ ‫) (‬

‫تَخِ زاضیس وِ هطبثِ ضاثكِ ی ‪ 7.2‬تؼساز ًوًَِ ّبی الظم ‪ m‬ثب لگبضیمن ‪ 1/‬همٌبست است‪ .‬اهب ثِ خبی ضاثكِ ی ذكی ثب لگوبضیمن ثطاثوط ضاثكوِ‬
‫ذكی ثب ‪ 1/ε‬متناسب است قابی توجه است که‪ ،‬جمله ی |‪ ln|H‬که در مدرز قبلدی بدود بدا مع دار جدا یز ا چ د ددگی فضدای‬
‫)‬ ‫فرض ه ای‪ ،VC(H) ،‬خبیگعیي ضسُ است‪$ .‬تَخِ زاضیس وِ‬

‫ضاثكِ ی ‪ 7.7‬وطاى ثبالیی ثطای تؼساز ًوًَِ ّبی آهَظضی الظم ثطای ایٌىِ ّط فطؾیِ ی ‪ C‬ضا ثِ قوَض ‪ PAC‬ثوب ‪ ٍ ε‬زلروَاُ یوبز ثگیوطین ضا‬
‫هؼلَم هی وٌس‪ .‬پیسا وطزى وطاى پبییي ثطای ایي تؼساز ثب اسمفبزُ اظ لؿیِ ی ظیوط اهىوبى پوصیط اسوت ‪$‬ثوِ )‪(Ehrenfeucht et al. 1989‬‬
‫هطاخؼِ وٌیس‪.#‬‬

‫‪ ،‬یوبزگیط زلروَاُ ‪ٍ L‬‬ ‫≥‬ ‫قضیه ی ‪ 2.7‬کران پاییه پیچیدگی ومووه ای‪ .‬ووالس هفوبّین زلروَاُ ‪ C‬ووِ ثوطای آى زاضیون‬
‫ضا زض ًظط ثگیطیس‪ .‬تَظیؼی هثل 𝒟 ٍ هفَْم ّسفی هثل ‪ c‬زض ‪ٍ C‬خَز زاضز وِ اگط ‪ L‬وومط اظ‬ ‫ٍ‬

‫[‬ ‫) (‬ ‫]‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪17‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪.‬‬ ‫𝒟‬ ‫تؼساز ًوًَِ ضا هطبّسُ وطزُ ثبضس‪ ،‬ثب ااموبل اسالل ‪ L ،‬فطؾیِ ای ضا ذطٍخی هی زّس وِ‬

‫ایي لؿیِ ًطبى هی زّس وِ اگط تؼساز ًوًَِ ّبی آهَظضی ثسیبض ون ثبضس‪ّ ،‬یچ یبزگیطی ًوی تَاًس توبهی هفبّین ّسف ‪ C‬غیطثسیْی ضا ثِ قوَض‬
‫‪ PAC‬یبز ثگیطز‪ .‬ثٌبثطایي‪ ،‬ایي لؿیِ وطاى پبییٌی ثط ضٍی تؼساز ًوًَِ ّبی آهَظضی ثطای یبگیطی هَفك ضا اضائِ هی وٌس‪ ،‬ایي هطظ وبهل وٌٌسُ ی‬
‫وطاى ثبالی شوط ضسُ ثطای تؼساز وبفی ًوًَِ ّبی آهَظضی است‪ .‬تَخِ زاضیس وِ ایي وطاى پبییي ثب پیچیسگی والس هفبّین ‪ C‬ثیبى هی ضَز‪ ،‬زض‬
‫ابلی وِ وطاى ثبال ثب ‪ H‬تؼییي هی ضس‪$ .‬چطا؟‪#‬‬

‫ضاثكوِ ی لگوبضیموی ٍ ثوب‬ ‫ایي وطاى پبییي ًطبى هی زّس وِ وطاى ثبالی ًبهسبٍی ‪ 7.7‬ثِ اًساظُ ی وبفی هحىن اسوت‪ّ .‬وط زٍ ووطاى ثوب‬
‫)‪ VC(H‬ضاثكِ ی ذكی زاضًس‪ .‬تٌْب تفبٍت ّبی ثبلی هبًسُ زض ایي زٍ وطاى ٍاثسمگی وطاى ثبال ثِ )‪ log(1/ε‬است‪.‬‬

‫‪ 1.4.4‬بعد ‪ VC‬برای شبکه هبی عصبی‬

‫ثب زضًظط زاضمي ثح ضجىِ ّبی ػػجی هػٌَػی اظ فػل ‪ ،4‬تؼییي ثؼس ‪ VC‬ضجىِ ای اظ ٍااسّبی هطتجف‪ ،‬هثل ضجىِ ّبی ػػجی توه سوَیِ‬
‫وِ تَسف فطایٌس ‪ backpropagation‬آهَظش زازُ هی ضًَس‪ ،‬خبلت ذَاّس ثَز‪ .‬ایوي ثروص ًمیدوِ ی ولوی ای اظ هحبسوجِ ی ثؼوس ‪VC‬‬
‫ضجىِ ّبی ثسٍى زٍض ضا ثطا اسبس سبذمبض ضجىِ ٍ ثؼس ‪ VC‬خدود واددد هدا را اراهده مدی کندد ا دا بعدد ‪ VC‬را می تدواا بدرای مدددود‬
‫ثووِ وووبضثطز‪.‬‬ ‫سددو ه بددرای م دداد ر د خددوا ‪ ε‬و‬ ‫کددردا نموندده های آموزشددی از بددرای ددادگ ری ت ر بددا درسددت شددب ه ی تد‬
‫هی تَاًیس زض اٍلیي هكبلؼِ ی ومبة ایي ثرص ضا ثسٍى اظ زست زازى پیَسمگی هكلت ًرَاًیس‪.‬‬

‫ضجىِ ی ‪ G‬همطىل اظ ٍااسّب ثب گطاف ثسٍى زٍض ضا زض ًظط ثگیطیس‪ .‬یه گطاف خْت زاض‪ 1‬ثسٍى زٍض‪ 2‬گطافوی اسوت ووِ یبلْوبیص خْوت زاضًوس‬
‫‪ٍ$‬ااس ّب ٍضٍزی ٍ ذطٍخی ّسمٌس‪ ٍ #‬زٍض ًساضز‪ .‬گطاف الیِ ای‪ 3‬گطافی است وِ گطُ ّبیص ضا ثمَاى ثِ غَضتی تمسوین ثٌوسی ووطز ووِ تووبهی‬
‫یبلْبی خْت زاض ذطٍخی اظ گطُ ّبی الیِ ‪ l‬ثِ گطُ ّبی الیِ ی ‪ l+1‬ثطًٍس‪ .‬گطاف ضجىِ ی ػػوجی توه سوَیِ زض فػول ‪ ،4‬هثوبلی اظ چٌویي‬
‫گطافْبی خْت زاض الیِ ای ثسٍى زٍض است‪.‬‬

‫ثبثت هی ضَز وِ هی تَاى ثؼس ‪ VC‬چٌیي ضجىِ ّبیی ضا ثط اسبس سبذمبضضبى ٍ ثؼس ‪ٍ VC‬ااس ّوبی اٍلیوِ ی سبظًسیطوبى هحوسٍز ووطز‪ .‬ثوطای‬
‫فطهَلِ وطزى ایي امیمت‪ ،‬ثبیس اثمسا چٌسیي ػجبضت زیگط ضا تؼطیف وٌین‪ .‬ثیبییس فطؼ وٌین وِ ‪ n‬تؼوساز ٍضٍزی ّوبی ضوجىِ ی ‪ G‬اسوت ٍ ایوي‬
‫‪ّ$‬ط ٍااسی وِ ٍضٍزی ًجبضس‪ #‬اساوثط ‪ٍ r‬ضٍزی زاضمِ ٍ اظ تبثؼی هٌكموی‬ ‫ضجىِ تٌْب یه ذطٍخی زاضز‪ .‬فطؼ وٌین وِ ٍااس ّبی زاذلی ‪،G‬‬
‫اظ والس تَاثغ ‪ C‬اسمفبزُ وٌس‪ .‬ثطای هثبل اگط ٍااس ّبی زاذلوی پطسوپمطٍى ثبضوٌس ‪ C‬ووالس تَاثوغ ذكوی هموساض‬ ‫𝔎‬ ‫همساض‬
‫آسمبًِ ای تؼطیف ضسُ ثط ضٍی 𝔎 ذَاّس ثَز‪.‬‬

‫ابل هی تَاًین تطویت ‪ 4G‬ی ‪ C‬ضا ثِ ػٌَاى والس توبم تَاثؼی وِ ضجىِ ‪ G‬هی تَاًس ثِ وبض ثجطز ثب ایي فطؼ وِ ّط ٍااس ضجىِ ی ‪ G‬یىی اظ‬
‫تَاثغ والس ‪ C‬ضا هَضز اسمفبزُ لطاض زّس تؼطیف وطز‪ .‬ثِ قَض ذالغِ‪ ،‬تطویت ‪ G‬ی ‪ C‬فؿبی فطؾویِ ای اسوت ووِ تَسوف ضوجىِ ی ‪ G‬لبثول‬
‫ًوبیص است‪.‬‬

‫‪1‬‬
‫‪directed‬‬
‫‪2‬‬
‫‪acyclic‬‬
‫‪3‬‬
‫‪layered graph‬‬
‫‪4‬‬
‫‪G-composition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪18‬‬

‫لؿیِ ی ظیط ثؼس ‪ VC‬تطویت ‪ G‬ی ‪ C‬ضا ثط اسبس ثؼس ‪ VC‬ی ‪ ٍ C‬سبذمبض ‪ G‬هحسٍز هی وٌس‪.‬‬

‫لؿیِ ی ‪ .7.4‬ثؼس ‪ VC‬ضجىِ ّبی خْت زاض الیِ ای ثسٍى زٍض‪$ .‬ثطای اقالػبت ثیطمط ثِ )‪ (Kearns and Vazirani 1994‬هطاخؼِ وٌیس‪.#‬‬
‫گطُ زاذلی ثب اساوثط ‪ٍ r‬ضٍزی است ٍ ‪ً C‬یوع ووالس هفوبّین‬ ‫≥‬ ‫فطؼ وٌیس ‪ G‬گطاف خْت زاض الیِ ای ثسٍى زٍضی ثب ‪ n‬گطُ ٍضٍزی ٍ‬
‫تطویت ‪ G‬ی ‪ C‬همٌبست ثوب‬ ‫ضٍی 𝔎 ثب ثؼس ‪ d ،VC‬است وِ همٌبست ثب زسمِ تَاثغ لبثل تَغیف تَسف ّط یه اظ ‪ s‬گطُ زاذلی است‪ .‬اگط‬
‫وِ زض ایي ضاثكِ ‪ e‬پبیِ ی لگبضیمن قجیؼی ‪$‬ػسز ًپط‪ #‬است‪.‬‬ ‫زسمِ تَاثغ لبثل تَغیف ثب ‪ G‬ثبضس‪ ،‬زاضین وِ‬

‫تَخِ زاضیس وِ ایي هطظ ثؼس ‪ VC‬ضجىِ ی ‪ G‬ضاثكِ ی ذكی ثب ثؼس ‪ VC‬ی ‪ d‬ته ٍااوس ّوبیص ٍ ضاثكوِ ی لگوبضیموی ثوب ‪ ،s‬تؼوساز ٍااوسّبی‬
‫آسمبًِ ی ضجىِ زاضز‪.‬‬

‫ضجىِ ّبی الیِ ای ثسٍى زٍضی ضا زض ًظط ثگیطیس وِ اظ گطُ ّبی پطسپمطٍى تطىیل یبفمِ اًس‪ .‬ثب تَخِ ثِ آًچِ زض فػل ‪ 4‬گفمِ ضس‪ ،‬پطسپمطٍى ‪r‬‬
‫ٍضٍزی اظ سكَح تػوین ذكی ثطای ًوبیص تَاثغ هٌكمی ثط ضٍی 𝔎 اسمفبزُ هی وٌس‪ّ .‬وبًكَض وِ زض ثرص ‪ً 7.4.2.1‬یع گفمِ ضس‪ ،‬ثؼس ‪ VC‬ی‬
‫سكَح تػوین ذكی ی 𝔎‪ r+1 ،‬است‪ .‬ثٌبثطایي‪ ،‬یه ته پطسپمطٍى ثب ‪ٍ r‬ضٍزی ثؼس ‪ VC‬ی ‪ r+1‬ذَاّس زاضت‪ .‬اظ ایي امیمت هی توَاى ثوِ‬
‫ّوطاُ لؿیِ ی ثبال ثطای هحسٍز وطزى ثؼس ‪ VC‬ضجىِ ای الیِ ای ضبهل ‪ s‬پطسپمطٍى ّط وسام ثب ‪ٍ r‬ضٍزی اسمفبزُ وطز‪،‬‬

‫(‬ ‫)‬

‫ضا ثوب ذكوبی ‪ε‬‬ ‫ابل هی تَاى تؼساز ‪ً m‬وًَِ ی آهَظضی وبفی ثطای یبزگیطی ‪$‬ثب ااموبل اسالل ) ‪ّ #(1-‬وط هفْوَم ّوسف‬
‫هطرع وطز‪ .‬ثب خبیگعاضی ضاثكِ ی ثبال ثطای ‪ VC‬ضجىِ زض ضاثكِ ی ‪ 7.7‬ذَاّین زاضت‪،‬‬

‫≥‬ ‫(‬ ‫) (‬ ‫(‬ ‫))‬

‫( ≥‬ ‫) (‬ ‫(‬ ‫))‬

‫ّوبًكَض وِ ثب ایي هثبل ضجىِ ی پطسپمطى ًطبًس زازُ ضس‪ ،‬لؿیِ ی ثبال اظ ایي ًظط خبلت است وِ همسی ولی ثطای هحسٍز ووطزى ثؼوس ‪ VC‬ی‬
‫ضجىِ ای ثسٍى زٍض ٍ الیِ ای اظ ٍااس ّب ضا ثط اسبس سبذمبض ضجىِ ٍ ثؼس ‪ VC‬ته ٍااس سبظًسُ هحسٍز هی وٌین‪ .‬همبسفبًِ ًمبیح ثبال هسممیوب زض‬
‫هَضز ضجىِ ّبیی وِ ثب ‪ Backpropagation‬آهَظش زازُ هی ضًَس غبزق ًیست‪ ،‬ثوِ زٍ زلیول‪ .‬اٍل ایٌىوِ ایوي ًموبیح ثوطای ضوجىِ ّوبی‬
‫پطسپمطٍى‪ٍ ًِ ٍ ،‬ااسّبی سیگوَیس وِ زض ‪ backpropagation‬هَضز اسمفبزُ است‪ً ،‬میدِ گیطی ضسُ است‪ .‬ثب ایي ٍخَز‪ ،‬تَخِ زاضیس وِ ثؼس‬
‫‪ VC‬ی ٍااسّبی سیگوَیس اسالل ثِ اًساظُ ی ثؼس ‪ VC‬ی ٍااسّبی پطسپمطٍى است‪ ،‬ظیطا وِ ٍااس سیگوَیس هی تَاًس پطسپمطٍى ضا تب اس زلرَاُ‬
‫ثب افعایص ٍظًْب ترویي ثعًس‪ .‬ثٌبثطایي‪ ،‬هطظ ثبال ثطای ‪ m‬اسالل هطظ هوىي ثطای ضجىِ ّبی ثسٍى زٍض ٍااوسّبی سویگوَیس اسوت‪ .‬هطوىل زٍم‬
‫تؼوین ًمیدِ ی ثبال ایي است وِ ‪ Backpropagation‬اظ ضجىِ ای ثب ٍظًْبی غیط غفط وبض ذَز ضا ضطٍع وطزُ ٍ ثب تغییط ٍظًْب ثِ فطؾیِ ی‬
‫لبثل لجَل هی ضسس‪ .‬ثٌبثطایي‪ Backpropagation ،‬ثب هؼیبض تَلف ‪ cross-validation‬ثبیبسی اسممطایی ثب تطخیح ضجىِ ّبیی ثب ٍظًْوبی‬
‫وَچىمط زاضز‪ .‬ایي ثبیبس اسممطایی وِ ثِ قَض هَثطی ‪ VC‬ضا وبّص هی زّس زض ثطضسی ثبال زض ًظط گطفمِ ًطسُ است‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪19‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫‪ 1.7‬هذل یادگیری هرز خطا‬

‫ثب ٍخَز ایٌىِ هب ثیطمط ثط ضٍی هسل یبزگیطی ‪ PAC‬توطوع وطزین‪ ،‬تئَضی یبزگیطی هحبسجبتی تؼطیف هسئلِ ّبی زیگوط ٍ زیگوط سوَاالت ضا زض‬
‫ًظط زضثط هی گیطز‪ .‬تؼطیف هسئلِ ّبی یبزگیطی هرملفی وِ هَضز هكبلؼِ لطاض گطفمِ است زض ًحَُ ی ایدبز ًوًَوِ ّوبی یوبزگیطی ‪$‬هطوبّسُ ی‬
‫سَم ضرع‪ً 1‬وًَِ ّبی تػبزفی‪ ،‬اًمربة آظهبیص تَسف یبزگیط‪ًَ ،#‬یع زازُ ّب ‪$‬ثب ذكب یب ثسٍى ذكب‪ ،#‬تؼطیف هَفوك ‪$‬هفْوَم ّوسف ثبیوس زلیموب‬
‫⊆ ‪ ٍ #‬هؼیبضی ووِ ثوب آى‬ ‫یبزگطفمِ ضَز یب ایٌىِ تمطیجب یب ثب ااموبل ذبغی یبزگطفمِ ضَز‪ ،#‬فطؾْبی یبزگیط ‪$‬ضبهل تَظیغ ًوًَِ ای ٍ ایٌىِ‬
‫یبزگیط اضظیبثی هی ضَز ‪$‬تؼساز ًوًَِ ّبی آهَظضی‪ ،‬تؼساز اضمجبُ ّب‪ ،‬ظهبى ول یبزگیطی‪ #‬همفبٍت اًس‪.‬‬

‫زض ایي ثرص ثِ هسل یبزگیطی هطظ ذكب‪ ،‬وِ زض آى یبزگیط ثب تؼساز اضمجبُ ّبیص لجل اظ ّوگطایی ثِ فطؾیِ ی زضست اضظیبثی هی ضوَز ذوَاّین‬
‫پطزاذت‪ .‬هطبثِ تؼطیف هسئلِ ی ‪ ،PAC‬فطؼ هی وٌین یبزگیط سطی ای اظ ًوًَِ ّبی آهَظضی ضا زضیبفوت هوی وٌوس‪ .‬ثوب ایوي ٍخوَز‪ ،‬زض ایٌدوب‬
‫هی ذَاّین یبزگیط لجل اظ زضیبفت ّط ًوًَِ ی ‪ x‬همساض تبثغ ّسف )‪ c(x‬ضا ‪$‬لجل اظ هؼلَم ضوسى هموساض زضسوت ّوسف تَسوف آهوَظش زٌّوسُ‪#‬‬
‫پیطجیٌی وٌس‪ .‬سَال هكطح ایي است وِ "یبزگیط لجل اظ یبزگیطی هفَْم ّسف چِ تؼساز پیطجیٌی اضومجبُ ذَاّوس ووطز؟" اّویوت ایوي سوَال زض‬
‫وبضثطز ػولی است‪ ،‬ظیطا وِ یبزگیطی ثبیس ظهبًی وِ سیسمن زضابل اسمفبزُ ٍالؼی است اًدبم ضَز‪ ًِ ،‬زض هطالِ ی آهَظضی هدعا‪ .‬ثطای هثبل‪ ،‬اگط‬
‫سیسمن ثطای یبزگیطی پیطجیٌی ایٌىِ چِ پطزاذت ّبی ‪ credit cart‬ی ثبیس ثجت ضَز ٍ چِ پطزاذت ّبیی تملجی ّسمٌس ثط اسوبس اقالػوبتی‬
‫وِ ایي اسمفبزُ اظ سیسمن خوغ آٍضی هی وٌس قطاای هی ضَز ‪ ،‬ثٌبثطایي ػاللِ ذَاّین زاضمِ وِ تؼساز اضمجبّبت لجل اظ ّوگطایی ثِ تبثغ ّسف‬
‫هیٌیون ضَز‪ .‬زض ایٌدب تؼساز ول اضمجبّبت هی تَاًس اّویت ثیطمطی ًسجت ثِ تؼساز ول ًوًَِ ّبی آهَظضی زاضمِ ثبضس‪.‬‬

‫ایي هسئلِ ی یبزگیطی هطظ ذكب ضا هی تَاى زض ضطایف ذبظ هرملفی هَضز هكبلؼِ لطاض زاز‪ .‬ثطای هثوبل هوىوي اسوت تؼوساز اضومجبّبت لجول اظ‬
‫یبزگیطی ‪ PAC‬تبثغ ّسف ضا ثطوبضین‪ .‬اهب زض هثبلْبی ظیط هب تؼساز اضمجبّْب لجل اظ ایٌىِ یوبزگیط هفْوَم ّوسف ضا زلیوك یوبز ثگیطیوس ضا زض ًظوط‬
‫‪.‬‬ ‫هی گیطین‪ .‬یبزگیطی هفَْم ّسف ثِ قَض زلیك ثسیي هؼٌبست وِ ثِ فطؾیِ ای هیل وٌین وِ‬

‫‪ 1.5.7‬مرز خطب ی الگًریتم ‪Find-S‬‬

‫ٍ ًمبیؿطووبى ضا زض ًظووط ثگیطیووس ‪$‬ثووطای هثووبل‬ ‫ثووطای تػووَض‪ ،‬زٍثووبضُ فؿووبی فطؾوویِ ای ‪ H‬ػكووف ‪ n‬ػجووبضت هٌكمووی‬
‫‪ .#Rich⋀¬Handsome‬الگَضتین ‪ Find-S‬وِ ذبغمطیي فطؾیِ سبظگبض ثب ًوًَِ ّبی آهَظضی ضا هحبسوجِ هوی ووطز ضا اظ فػول ‪ 2‬ثوِ یوبز‬
‫ثیبٍضیس‪ .‬یىی اظ سطضاست تطیي پیبزُ سبظی الگَضیمن ‪ Find-S‬ثطای فؿبی فطؾیِ ای ‪ H‬زض ظیط آهسُ‪:‬‬

‫‪:Find-S‬‬

‫⋀ همساض زّی اٍلیِ وي‪.‬‬ ‫⋀ ⋀‬ ‫⋀‬ ‫فطؾیِ ی ‪ h‬ضا ثب ذبظ تطیي فطؾیِ‬
‫ثطای ّط ًوًَِ ی هثجت ‪x‬‬
‫ّط ػجبضت ‪ h‬ضا وِ تَسف ‪ x‬ضاؾی ًوی ضس ضا اصف وي‪.‬‬
‫فطؾیِ ی ‪ h‬ضا ذطٍخی ثسُ‪.‬‬

‫‪1‬‬
‫‪passive‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪21‬‬

‫‪ Find-S‬ثِ قَض اسی ثِ فطؾیِ ای هیل هی وٌس وِ ذكبیی ًرَاّس زاضت‪ ،‬ثِ ضطقی وِ ‪ C⊆H‬ثبضس ٍ زازُ ّبی آهَظضوی ًیوع ثوسٍى ذكوب‬
‫ثبضٌس‪ Find-S .‬ثب ذبغمطیي فطؾیِ ‪$‬فطؾیِ ای وِ توبهی ًوًَِ ّب ضا هٌفی زسمِ ثٌسی هی وٌس‪ #‬ضطٍع هی وٌس‪ ،‬سپس ثِ غَضت پلىوبًی ایوي‬
‫فطؾیِ ضا زض هَالغ الظم ثطای پَضبًسى ًوًَِ ّبی آهَظضی هثجت ولی تط هی وٌس‪ .‬ثطای ًوبیص فطؾیِ ای اسمفبزُ ضسُ زض ایٌدب‪ ،‬ایي ولی سبظی‬
‫ثب اصف ػجبضات ضاؾی ًطسُ ذَاّس ثَز‪.‬‬

‫آیب هی تَاى اثجبت وطز وِ تؼساز اضمجبّبت ‪ Find-S‬لجل اظ یبزگیطی زلیك هفَْم ّسف ‪ c‬وومط اظ تؼساز ذبغی است؟ خوَاة ثلوی اسوت‪ .‬ثوطای‬
‫زضن ایي‪ ،‬تَخِ وٌیس وِ اگط زاضمِ ثبضین ‪ ،c H‬آًگبُ ّیچگبُ ‪ً Find-S‬وًَِ ی هٌفی ای ضا هثجت زسمِ ثٌسی ًرَاّس وطز‪ .‬زلیل ایوي اسوت‬
‫وِ فطؾیِ ی فؼلی ‪ّ h‬ویطِ اسالل ثِ اًساظُ ی هفَْم ّسف ‪ c‬ذبظ است‪ .‬ثٌبثطایي‪ ،‬ثطای هحبسجِ ی تؼساز اضمجبّبت‪ ،‬فمف ثبیس اضومجبّبتی ضا‬
‫وِ ًوًَِ ی هثجت‪ ،‬هٌفی زسمِ ثٌسی هی ضَز ضا ثطوبضین‪ .‬ایي گًَِ اضمجبّبت لجل اظ یبزگیطی وبهول ‪ c‬چٌوس ثوبض اتفوبق ذَاٌّوس افموبز؟ اٍلویي‬
‫ًوًَِ ی هثجت اضائِ ضسُ ثِ ‪ Find-S‬ضا زض ًظط ثگیطیس‪ .‬یبزگیط زض زسمِ ثٌسی ایي ًوًَِ زلیمب یه اضمجبُ اًدبم ذَاّس زاز‪ ،‬ظیوطا ووِ فطؾویِ ی‬
‫اٍلیِ ی یبزگیط توبهی ًوًَِ ّب ضا هٌفی زسمِ ثٌسی هی وٌس‪ .‬ثب ایي ٍخَز‪ً ،‬میدِ ایي ذَاّس ثَز وِ ًػوف ‪ 2n‬ػجوبضت فطؾویِ ی اٍلیوِ اوصف‬
‫ذَاّس ضس ٍ ‪ n‬ػجبضت ثبلی ذَاّس هبًس‪ .‬ثطای ّط ًوًَِ ی هثجت ثؼسی وِ ثِ اضمجبُ هٌفی زسمِ ثٌسی هی ضَز اسالل یىی اظ ایي ‪ n‬ػجوبضت اظ‬
‫فطؾیِ ی ‪ h‬اصف ذَاّس ضس‪ .‬ثٌبثطایي‪ ،‬تؼساز ول اضمجبّبت اساوثط ‪ n+1‬ذَاّس ثَز‪ .‬ایي تؼساز اضمجبُ زض ثستطیي ابلت ضخ ذَاّوس زاز‪ ،‬یؼٌوی اظ‬
‫ضا یبز ثگیطز ثستطیي سطی ًوًَِ ّب‪ ،‬یؼٌی ًوًَِ ّبیی وِ زض ّوط ثوبض اضومجبُ فموف یوه‬ ‫یبزگیط ثرَاّین ولی تطیي هفَْم ّسف ‪x)c(x)=1‬‬
‫ػجبضت ضا اصف هی وٌٌس ثِ یبزگیط زازُ ضَز‪.‬‬

‫‪ 1.7.7‬هرز خطا ی الگَریتن ‪Halving‬‬

‫ثِ ػٌَاى هثبل زٍم‪ ،‬الگَضیموی ضا زض ًظط ثگیطیس وِ ثب ًگِ زاضمي تَغیفی اظ فؿبی ٍیژُ یبز هی گیطز‪ ٍ ،‬پلىبًی زض ایي فؿبی ٍیژُ ثب ثطذَضز ثب‬
‫ًوًَِ ّبی خسیس تدسیوس ًظوط هوی وٌوس‪ .‬الگوَضیمن ّوبی ‪ List-Then-Eliminate ٍ Candidate-Elimination‬زض فػول ‪ 2‬چٌویي‬
‫الگَضیمن ّبیی ّسمٌس‪ .‬زض ایي ثرص هوطظ ثوستطیي ابلوت هوىوي‪ 1‬ضا ضٍی تؼوساز اضومجبّْبیی ووِ چٌویي یوبزگیطی اًدوبم هوی زّوس ضا ثوطای‬
‫فؿبی فطؾیِ ای هحسٍز ‪ ،H‬زٍثبضُ ثب فطؼ ایٌىِ تبثغ ّسف ضا ثبیس زلیمب یبزثگیطین‪ ،‬هحبسجِ هی وٌین‪.‬‬

‫ثطای ثطضسی تؼساز اضمجبّبت ایي یبزگیطی‪ ،‬اثمسا ثبزیس تؼییي وٌین وِ یبزگیط زلیمب چگًَِ زسمِ ثٌسی ًوًَِ ی خسیس ضا پیطجیٌی هی وٌس‪ .‬ثیبییوس‬
‫فطؼ وٌین وِ ایي پیطجیٌی ثب ضای گیطی زض ثیي فطؾیِ ّبی فؿبی ٍیژُ فؼلی اًدبم هی گیطز‪ .‬اگط اوثط فطؾیِ ّوبی فؿوبی ٍیوژُ ًوًَوِ ی‬
‫خسیس ضا هثجت زسمِ ثٌسی وٌٌس‪ ،‬ثٌبثطایي ایي پیطجیٌی‪ ،‬پیطجیٌی یبزگیط ًیع ذَاّس ثَز‪ .‬زض غیط ایي غَضت پیطجیٌی یبزگیط هٌفی ذَاّس ثَز‪.‬‬

‫ایي تطویت یبزگیطی فؿبی ٍیژُ‪ ،‬ثِ ّوطاُ ضای اوثطیت ثطای پیطجیٌی ّبی ثؼسی‪ ،‬گبّی الگَضیمن ‪ً Halving‬بهیسُ هی ضوَز‪ .‬هوبوعیون تؼوساز‬
‫اضمجبّبت الگَضیمن ‪ Halving‬ثطای ‪ H‬هحسٍز زلرَاُ لجل اظ یبزگیطی هفَْم ّسف چیست؟ تَخِ زاضیس وِ یبزگیطی "زلیوك"‪ 2‬هفْوَم ّوسف‪،‬‬
‫همٌبست ثب ضسیسى ثِ ابلمی است وِ فؿبی ٍیژُ فمف ضبهل یه فطؾیِ ضَز‪$ .‬هطبثِ هؼوَل‪ ،‬فطؼ هی وٌین وِ هفَْم ّوسف ‪ c‬زض ‪ٍ H‬خوَز‬
‫زاضز‪.#‬‬

‫‪1‬‬
‫‪wose-case bound‬‬
‫‪2‬‬
‫‪exact‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪21‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫ثطای ثسست آٍضزى هطظ ذكب‪ ،‬تَخِ زاضمِ ثبضیس وِ الگَضیمن ‪ Halving‬فمف ظهبًی اضمجبُ هی وٌس وِ اوثطیت فؿبی ٍیژُ اش ًوًَِ ی خسیس ضا‬
‫اضمجبُ زسمِ ثٌسی وٌٌس‪ .‬زض چٌیي ضطایكی‪ٌّ ،‬گبهی وِ زسمِ ثٌسی خسیس ثطای یبزگیط آضىبض هی ضَز‪ ،‬اًساظُ ی فؿبی ٍیوژُ اوسالل ثوِ ًػوف‬
‫اًساظُ ی فؼلی اش وبّص هی یبثس ‪$‬فمف فطؾیِ ّبیی وِ اللیت ثَزًس ثبلی هی هبًٌس‪ .#‬ثب هؼلَم ثَزى ایٌىِ ثب ّط اضومجبُ اًوساظُ ی فؿوبی ٍیوژُ‬
‫اسالل ثِ ًػف وبّص هی یبثس ٍ ثب زاًسمي ایٌىِ فؿبی ٍیژُ ی اٍلیِ فمف |‪ |H‬ػؿَ زاضمِ‪ ،‬اساوثط اضمجبّبت هوىوي لجول اظ ایٌىوِ فؿوبی‬
‫⌊ است‪ .‬ثطای هثبل‪ ،‬فوطؼ وٌیوس‬ ‫است‪ .‬زض ٍالغ هی تَاى ًطبى زاز وِ همساض ایي هطظ ⌋‬ ‫ٍیژُ فمف یه ػؿَ زاضمِ ثبضس‬
‫وِ ‪ |H|=7‬است‪ .‬اٍلیي اضمجبُ اًساظُ ی |‪ |H‬ضا ثِ ‪ ٍ 3‬زٍهیي اضمجبُ اًساظُ ی آًطا ثِ ‪ 1‬وبّص ذَاّس زاز‪.‬‬

‫⌊ هطظ ثستطیي ابلت است‪ ٍ ،‬هوىي است الگَضیمن ‪ Halving‬ثسٍى ّیچ اضومجبّی هفْوَم ّوسف ضا یوبزثگیطز‪.‬‬ ‫تَخِ زاضیس وِ هطظ ⌋‬
‫زلیل ایي امیمت ایي است وِ امی ظهبًی وِ ضای اوثطیت زضست است‪ ،‬الگَضیمن فطؾیِ ّبی اضمجبُ‪ ،‬اللیت‪ ،‬ضا اوصف ذَاّوس ووطز‪ .‬اگوط چٌویي‬
‫اتفبلی پیبپی زض قَل سطی آهَظش ضخ ثسّس‪ ،‬ثٌبثطایي هوىي است ثسٍى ّیچ اضمجبّی فؿبی ٍیژُ ثِ یه ػؿَ وبّص زازُ ضَز‪.‬‬

‫یىی اظ تغییطات خبلت الگَضیمن ‪ Halving‬لبئل ضسى ٍظى ثطای ضای فطؾیِ ّبست‪ .‬فػل ‪ 6‬زسمِ ثٌوسی وٌٌوسُ ی ثْیٌوِ ی ثیوع‪ ،‬ووِ اظ ضای‬
‫گیطی ٍظى زاض هیبى فطؾیِ ّب اسمفبزُ هی وٌس ضا هؼطفی هی وٌس‪ .‬زض زسمِ ثٌسی وٌٌسُ ی ثْیٌِ ی ثیع‪ٍ ،‬ظى ًسوجت زازُ ضوسُ ثوِ ّوط فطؾویِ‬
‫ااموبل ثبًَیِ ی ترویٌی تَغیف هفَْم ّسف ثِ ضطـ هطبّسُ ی زازُ ّبی آهَظضی است‪ .‬زض ازاهوِ ی ایوي ثروص الگوَضیموی همفوبٍت ثوط‬
‫پبیِ ی ضای گیطی ٍظى زاض زیگطی ضا ثِ ًبم ‪ Weighted-Majority‬هؼطفی ذَاّین وطز‪.‬‬

‫‪ 1.5.7‬مرز هبی خطبی بهیىه‬

‫ثطضسی ثبال هطظ ثستطیي ابلت اضمجبُ ضا ثطای زٍ الگَضیمن ذبظ‪ ،Candidate-Elimination ٍ Find-S ،‬تؼیویي ووطز‪ .‬تؼیویي ایٌىوِ هوطظ‬
‫ثْیٌِ ی ذكب ثطای والس هفبّین زلرَاُ ‪ C‬ثب فطؼ ایٌىِ ‪ H=C‬خبلت ذَاّس ثَز‪ .‬هٌظَض اظ هطظ ذكبی ثْیٌوِ‪ ،‬ووموطیي هوطظ ذكوبی ثوستطیي‬
‫ضا هوبوعیون‬ ‫ابلت ثطای توبهی الگَضیمن ّبی یبزگیطی هوىي است‪ .‬ثِ ػجبضت زلیممط‪ ،‬ثطای یبزگیطی الگوَضیمن ‪ ٍ A‬هفْوَم ّوسف ‪c‬‬
‫ذكبی ‪ A‬زض توبهی سطی ّبی هوىي ًوًَِ ّبی آهَظضی ثطای یبزگیطی زلیك ‪ c‬تؼطیف هی وٌین‪ .‬ابل ثطای ّط والس فطؾویِ ای غیوط تْوی‬
‫ثوب ایوي فوطؼ‬ ‫‪ .‬تَخِ زاضیس وِ زضثبال ًطبى زازین وِ‬ ‫تؼطیف هی وٌین وِ‬
‫ثوطای تووبهی‬ ‫وِ ‪ C‬والس هفبّین ػكف اساوثط ‪ٍ n‬یژگی هٌكموی ثبضوس‪ّ .‬وچٌویي ًطوبى زازیون ووِ‬
‫والسْبی هفَْم ‪ C‬است‪.‬‬

‫هعض ذكبی ثْیٌِ ضا ثطای والس هفبّین ‪ C‬ثِ فطم ظیط تؼطیف هی وٌین‪.‬‬

‫تؼطیف‪ .‬اگط ‪ C‬والس غیطتْی زلرَاّی ثبضس‪ ،‬هطظ ثْیٌِ ی ذكبی ‪ ،C‬وِ ثب )‪ً Opt(C‬وبیص زازُ هی ضَز‪ ،‬هیٌیون ضٍی تووبم الگوَضیمن ّوبی‬
‫است‪.‬‬ ‫هوىي ‪A‬‬

‫ثِ قَض غیط ضسوی‪ ،‬ایي تؼطیف )‪ Opt(C‬ضا تؼساز اضمجبّبت سرت تطیي ‪ C‬ثب اسمفبُ اظ سرت تطیي سطی ًوًَوِ ّوبی آهَظضوی ثوطای ثْموطیي‬
‫الگَضیمن یبزگیطی تؼطیف هی وٌس‪ً (Littlestone 1987) .‬طبى هی زّس وِ ثطای ّط والس هفَْم ‪ ،C‬ضاثكِ ای خبلوت هیوبى هوطظ ذكوبی‬
‫ثْیٌِ ی ‪ ٍ C‬هطظ ذكبی الگَضیمن ‪ ٍ Halving‬ثؼس ‪ VC‬ی ‪ٍ C‬خَز زاضز‪،‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪22‬‬

‫ػالٍُ ثطایي والسْبی هفبّیوی ٍخَز زاضز وِ ایي چْبض وویت ثطای آًْب زلیموب هسوبٍی اسوت‪ .‬یىوی اظ چٌویي ووالس ّوبی هفوبّین ووالس‬
‫‪ ،‬ثٌوبثطایي تووبهی چْوبض‬ ‫(‬ ‫)‬ ‫|‬ ‫ثطای هدوَػِ ی هحسٍز ‪ X‬است‪ .‬زض چٌیي ضوطایكی |‬ ‫هدوَػِ ی تَاًی‬
‫وویت ثبال ثطاثطًس‪ً (Littlestone 1987) .‬وًَِ ّبیی اظ زیگط والسْبی هفبّیوی وِ )‪ VC(C‬هكلمب وومط اظ )‪ Opt(C) ٍ Opt(C‬هكلموب‬
‫وومط است اضائِ هی وٌس‪.‬‬ ‫اظ‬

‫‪ 1.5.4‬الگًریتم ‪Weighted-Majority‬‬
‫زض ایي لسوت تؼویوی اظ الگَضیمن ‪ Halving‬ضا ثِ ًوبم الگوَضیمن ‪ Weighted-Majority‬ثطضسوی هوی وٌوین‪ .‬الگوَضیمن ‪Weighted-‬‬
‫‪ Majority‬پیطجیٌی ّب ضا ثط اسبس ضای گیطی ٍظى زاضی اظ اسمرطی اظ الگَضیمن ّبی پیطجیٌی‪ 1‬اًدبم هی زّس ٍ ثوب تغییوط ایوي ٍظى ّوب یوبز‬
‫هی گیطز‪ .‬ایي الگَضیمن ّبی پیطجیٌی ضا هی تَاى فطؾیِ ّبی همفبٍت ‪ H‬زض ًظط گطفت یب زض همبثل هی تَاًس اظ الگَضیمن ّبی یبزگیطی هرملفوی‬
‫اسمفبزُ وطز‪ .‬زض ول‪ ،‬تٌْب چیعی وِ الظم زاضین الگَضیموی پیطجیٌی است‪ ،‬وِ همساض تبثغ ّسف ضا ثطای ًوًَِ پیطجیٌی وٌس‪ .‬یىی اظ ذَاظ خبلوت‬
‫الگَضیمن ‪ Weighted-Majority‬لبثلیت سبظگبضی آى ثب زازُ ّبی آهَظضی غیط سبظگبض است‪ .‬ظیطا وِ ایي الگَضیمن فطؾیِ ّبی ًبسبظگبض ثوب‬
‫تؼسازی ًوًَِ ضا اصف ًوی وٌس ٍ فمف ٍظى هطثَقِ ضا وبّص هی زّس‪ .‬ذبغیت زٍم خبلت ایي الگَضیمن است وِ هطظ تؼساز ذكبی ایي الگوَضیمن‬
‫ٍاثسمِ ثِ هطظ تؼساز ذكبی ثْمطیي الگَضیمن اسمرط الگَضیمن ّبی پیطجیٌی اش است‪.‬‬

‫الگَضتین ‪ Weighted-Majority‬ثب همساض زّی اٍلیِ ی ‪ 1‬ثِ توبهی الگَضیمن ّبی پیطوجیٌی ضوطٍع هوی ضوَز ضوطٍع هوی ضوَز ٍ سوپس‬
‫ًوًَِ ّبی آهَظضی ضا زضیبفت هی وٌس‪ّ .‬ط ثبض وِ الگَضیمن پیطجیٌی ای ًوًَِ ی آهَظضی ای ضا اضمجبُ زسمِ ثٌسی هی وٌس ٍظى هطثَقوِ اش ثوب‬
‫وبّص هی یبثس‪ .‬تؼطیف زلیك الگَضیمن ‪ Weighted-Majority‬زض خسٍل ‪ 7.1‬آهسُ است‪.‬‬ ‫‪β‬‬ ‫ؾطیت‬

‫است‪.‬‬ ‫ٍظى هطثَقِ ثِ‬ ‫پیطجیٌی ‪i‬اهیي الگَضتین اسمرط الگَضیمن ّبی ‪ A‬است‪.‬‬

‫ثطای توبهی ‪ّ i‬ب‬

‫ثطای ّط ًوًَِ ی آهَظضی‬
‫ضا ‪ 1‬همساض زّی اٍلیِ وي‬ ‫ٍ‬
‫ثطای ّط الگَضیمن پیطجیٌی‬
‫آًگبُ‬ ‫اگط‬
‫آًگبُ‬ ‫اگط‬
‫آًگبُ پیطجیٌی وي ‪c(x)=1‬‬ ‫اگط‬
‫آًگبُ پیطجیٌی وي ‪c(x)=0‬‬ ‫اگط‬
‫آًگبُ یىی اظ زٍ همساض ‪ 1‬یب ‪ 1‬ضا ثِ تػبزف ثطای )‪ c(x‬پیطجیٌی وي‬ ‫اگط‬
‫زض ‪A‬‬ ‫ثطای ّط الگَضیمن پیطجیٌی‬
‫اًگبُ‬ ‫اگط‬

‫‪1‬‬
‫‪pool of prediction algorithms‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪23‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫خسٍل ‪ 7.1‬الگَضتین ‪Weighted-Majority‬‬

‫تَخِ زاضیس وِ اگط ‪ β=0‬ثبضس‪ ،‬الگَضیمن ‪ّ Weighted-Majority‬وبى الگَضیمن ‪ Halving‬ذَاّس ثَز‪ .‬اظ قطف زیگط اگط همبزیط زیگط ‪ β‬ضا‬
‫اًمربة وٌین‪ ،‬زیگط ّیچ الگَضتین یبزگیطی ای ثِ قَض وبهل اصف ًرَاّس ضس‪ .‬اگط الگَضیموی ًوًَِ ی آهَظضی ای ضا اضمجبُ زسمِ ثٌوسی وٌوس‪،‬‬
‫ذیلی سبزُ‪ ،‬زض ضای ثب تبثیطگصاضی وومط ذَاّس زاضت‪.‬‬

‫ابل ًطبى ذَاّین زاز وِ هطظ تؼساز ذكبی الگَضیمن ‪ Weighted-Majority‬ضا هی تَاى ثب تؼساز ذكبّبی ثْمطیي الگَضیمن پیطجیٌی اسمرط‬
‫پیطجیٌی اش هحسٍز وطز‪.‬‬

‫لؿیِ ی ‪ .7.5‬هطظ ذكبی ًسجی ‪ .Weighted-Majority‬اگط ‪ D‬سطی ای اظ ًوًَِ ّبی آهَظضی ثبضوس ٍ ‪ً A‬یوع هدوَػوِ ی ‪ n‬الگوَضیمن‬
‫پیطجیٌی ثبضس ٍ ‪ k‬وومطیي تؼساز ذكبی توبهی الگَضیمن ّوبی ‪ A‬ثوطای سوطی آهَظضوی ‪ D‬ثبضوس‪ ،‬تؼوساز اضومجبّبت الگوَضیمن ‪Weighted-‬‬
‫‪ β‬اساوثط‬ ‫‪ Majority‬ثب‬

‫ذَاّس ثَز‪.‬‬

‫الگَضیموی اظ ‪ A‬ثبضس‬ ‫اثبات‪ .‬ایي لؿیِ ضا ثب همبیسِ ی ٍظى ًْبیی ثْمطیي الگَضیمن ٍ هدوَع ٍظًْبی زیگط الگَضیمن ّب اثجبت هی وٌین‪ .‬اگط‬

‫ٍظى هطثَقِ ایي الگَضیمن ) ( ذَاّس ثَز‪ ،‬ظیطا وِ ٍظى اٍلیِ ی ثطای ّط ثبض اضومجبّس ؾوطثسض‬ ‫وِ هطظذكبی ثْیٌِ ی ‪ k‬ضا زاضمِ ثبضس‪،‬‬
‫ضا وِ هدوَع ٍظًْبی همٌبست ‪ n‬الگوَضیمن ‪ A‬اسوت ضا زض ًظوط ثگیطیوس‪ .‬زض اثموسا ‪ W‬هموساض ‪ n‬ضا‬ ‫∑‬ ‫ضسُ است‪ .‬ابل هدوَع‬
‫وبّص هی یبثس‪ .‬ایي ثسیي زلیل است وِ اوثطیت ضای‬ ‫زاضاست‪ .‬ثطای ّط اضمجبُ الگَضیمن ‪ Weighted-Majority‬ایي همساض اسالل ثِ‬
‫گیطی ٍظى زاض الگَضیمن ّب اضمجبُ وطزُ اًس ٍ ؾطیت ایي اوثطیت ثب ؾوطیت ووبّص ذَاّوس یبفوت‪ .‬اگوط ‪ M‬وول تؼوساز اضومجبّبت الگوَضیمن‬

‫‪ Weighted-Majority‬ثطای سطی آهَظضی ‪ D‬ثبضس‪ ،‬ثٌبثطایي‪ ،‬هدوَع ول ٍظى ‪ W‬اساوثط ) ( ذَاّس ثوَز‪ .‬چوَى ٍظى ًْوبیی‬
‫ًوی تَاًس ثیطمط اظ ٍظى ول ثبضس زاضین‪،‬‬

‫) (‬ ‫) (‬

‫ثب ثبظًَیسی ػجبضات زاضین وِ‪،‬‬

‫) (‬

‫ٍ لؿیِ اثجبت هی ضَز‪.‬‬

‫ثِ قَض ذالغِ‪ ،‬لؿیِ ی ثبال ًطبى هی زّس وِ تؼساز اضمجبّبت الگَضیمن ‪ّ Weighted-Majority‬یچگبُ ثیطمط اظ ؾطیت ًسجمی اظ تؼوساز‬
‫اضمجبّبت ثْمطیي ػؿَ اسمرط ثِ ػالٍُ ی خولِ ای وِ ضاثكِ ی لگبضیموی ثب اًساظُ ی اسمرط زاضز ًرَاّس ثَز‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪24‬‬

‫ایي لؿیِ زض ابلت ولی تَسف )‪ (Littlestone and Warmuth 1991‬اثجبت ضسُ ٍ ًطبى زازُ ضسُ وِ هطظ ثوبال ثوطای هموساض زلروَاُ‬
‫هطظ ظیط ذَاّس ثَز‪،‬‬ ‫‪β‬‬

‫) (‬

‫‪ 1.7‬خالصه ٍ هٌابع برای هطالعه ی بیشتر‬

‫ًىبت اغلی ایي فػل ضبهل هَاضز ظیط هی ثبضس‪:‬‬

‫هسل تمطیجب زضست یب ‪ ،PAC‬ثِ الگَضیمن ّبیی هی پطزاظز وِ هفبّین ّسف ضا اظ والس هفبّین ّسف ‪ ،C‬ثوب اسومفبزُ اظ ًوًَوِ ّوبی‬
‫آهَظضی تػبزفی اًمربثی ثب یه تَظیغ ااموبل ثبثت اهب ًبهؼلَم یبز هی گیطز‪ .‬ایي هسل یبزگیط ضا هلعم هی وٌس وِ ثوِ اامووبل اوسالل‬
‫] ‪ [1-‬فطؾیِ ای ضا ثیبهَظز وِ تمطیجب ‪$‬ثب ذكبی ‪ #ϵ‬زضست ثبضس‪ ،‬ثب ایي ضطـ وِ پیچیسگی هحبسجبتی ٍ ًوًَِ ای اساوثط ثِ غوَضت‬
‫چٌس خولِ ای ای اظ ‪ ،1/ ،1/ϵ‬اًساظُ ی هدوَػِ ی ًوًَِ ای ٍ اًساظُ ی هفَْم ّسف ثبضس‪.‬‬
‫ثب ایي تؼطیف اظ هسل یبزگیطی ‪ّ ،PAC‬ط یبزگیط ثب فؿبی فطؾیِ ای همٌبّی ‪ H‬وِ ‪ C⊆H‬ثب ااموبل ) ‪ (1-‬فطؾویِ ای ضا ذطٍخوی‬
‫ذَاّس زاز وِ ذكبی ‪ ϵ‬ثط ضٍی هفَْم ّسف ثؼس اظ ‪ً m‬وًَِ ی آهَظضی تػبزفی ذَاّس زاضت‪ ،‬ثِ ضطـ آًىِ‬

‫≥‬ ‫) (‬

‫ایي ضطـ هطظی ثطای تؼساز ًوًَِ ّبی وبفی ثطای یبزگیط هَفك ثب هؼیبض ‪ PAC‬ثِ هب ذَاّس زاز‪.‬‬

‫یىی اظ فطؾْبی هحسٍز وٌٌسُ ی هسل ‪ PAC‬ایي است وِ یبزگیط هی زاًس وِ والس هفبّین ‪ C‬ضبهل هفَْهی وِ ثبیوس یوبز گطفموِ‬
‫ضَز هی ثبضس‪ .‬زض همبثل هسل یبزگیطی ‪ 1 agnostic‬تؼطیف ولی تطی هی وٌس وِ یبزگیط فطؾوی زض هوَضز ووالس اًمروبة هفْوَم‬
‫ّسف ًساضز‪ .‬زض همبثل‪ ،‬یبزگیط فطؾیِ ای ضا اظ ‪ H‬ذطٍخی ذَاّس زاز وِ وومطیي ذكب ثط ضٍی ًوًَِ ّبی آهَظضی ضا زاضومِ ثبضوس ‪$‬زض‬
‫غَضت اهىبى غفط‪ .#‬تحت ایي ضطایف آظازاًِ تط یبزگیطی ‪ ،agnostic‬یبزگیط ظهبًی اقویٌبى زاضز وِ ثب ااموبل ) ‪ (1-‬فطؾیِ ای ثب‬
‫ذكبی ‪ ϵ‬زض هیبى فطؾیِ ّبی ‪ H‬ضا ذطٍخی هی زّس وِ ثؼس اظ ‪ً m‬وًَِ ی تػبزفی ضطـ ظیط زضست ثبضس‪:‬‬

‫≥‬ ‫) (‬

‫تؼساز ًوًَِ ّبی آهَظضی الظم ثطای یبزگیطی هَفك ثِ ضست تحت تبثیط پیچیسگی فؿبی فطؾیِ ای یبزگیط است‪ .‬یىی اظ هؼیبض ّوبی‬
‫هفیس پیچیسگی یه فؿبی فطؾیِ ای ‪ H‬ثؼس ‪ Vapnik-Chervonenkis‬آى‪ VC(H) ،‬است‪ VC(H) .‬اًوساظُ ی ثعضگموطیي ظیوط‬
‫هدوَػِ ی ًوًَِ ّبست وِ هی تَاى اًطا ثب ‪ H‬ذطز ‪$‬ثِ توبم ضٍش ّبی هوىي تمسین‪ #‬وطز‪.‬‬
‫یه هطظ خبیگعیي تؼساز ًوًَِ ّبی آهَظضی وبفی ثطای یبزگیطی هَفك ثب هسل ‪ PAC‬ثب )‪ VC(H‬ثیبى هی ضَز‪:‬‬

‫‪1‬‬
‫‪agnostic learning model‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪25‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫≥‬
‫ٍ یه هطظ پبییي تط ًیع‪:‬‬

‫≥‬ ‫[‬ ‫]‬

‫هسل خبیگعیي زیگطی ثِ ًبم هسل هطظ ذكب ثطای ثطضسی تؼساز ًوًَِ ّبی آهَظضی ای وِ یبزگیط لجل اظ یبزگیطی وبهل هفَْم ّوسف‬

‫ذكب لجل اظ یبزگیطی وبهل ّط هفَْم‬ ‫اضمجبُ زسمِ ثٌسی هی وٌس هی پطزاظز‪ .‬ثطای هثبل الگَضیمن ‪ Halving‬اساوثط‬
‫ّسف اظ ‪ H‬اضمجبُ ذَاّس وطز‪ .‬ثطای هفَْم ّسف اظ والس ‪ّ C‬ط الگَضیمن زض ثس تطیي ابلت )‪ Opt(C‬اضمجبُ ذَاّس زاضت وِ‪:‬‬

‫الگَضیمن ‪ Weighted-majority‬اظ ضای ٍظًساض چٌسیي الگَضیمن پیطجیٌی ثطای زسمِ ثٌسی ًوًَِ ّبی خسیس اسمفبزُ هی وٌس‪ .‬ایي‬
‫الگَضیمن ٍظًْبی الگَضیمن ّب ضا ثط اسبس تؼساز اضمجبُ زض سطی ای اظ ًوًَِ ّب یبز هی گیطز‪ .‬خبلت است وِ ثساًیس ووِ اوساوثط تؼوساز‬
‫اضمجبُ ایي الگَضیمن ثب ثْمطیي الگَضیمن اسمرط ضاثكِ زاضز‪.‬‬
‫اوثط وبضّبی اٍلیِ تئَضی یبزگیطی هحبسجبتی ثب سَال ایٌىِ آیب یبزگیط هی تَاًس هفَْم ّسف ضا ثب زاضومي سوطی ای غیوط ثیطوبهبض اظ زازُ ّوبی‬
‫آهَظضی یبز ثگیطز سط ٍ وبض زاضًس‪ .‬زسمِ ثٌسی ثب ایي هحسٍزیت اٍلیي ثبض تَسف )‪ Gold (1967‬هؼطفی ضس‪ .‬تحمیمبت وبهلی زض ایي ؾویٌِ زض‬
‫)‪ Angluin (1992‬اٍضزُ ضسُ است‪ Vapnik (1982) .‬هفػال هسئلِ ی ّوگطایی یىٌَاذت ثح وطزُ ٍ هسل ًعزیه ثِ هسل یوبزگیطی‬
‫‪ PAC‬ضا زض )‪ Vapnik (1984‬هؼطفی هی وٌس‪ .‬ثح ‪ ε-exhausting‬فؿبی ٍیژُ ثط اسبس ضطح )‪ Haussler (1988‬پبیِ گصاضی ضسُ‬
‫است‪ .‬هدوَػوِ ی هفیوسی اظ ًموبیح تحوت هوسل ‪ PAC‬ضا هوی توَاى زض )‪ Blumer et al. (1989‬یبفوت‪Kearns and Vazirani .‬‬
‫)‪ (1994‬ضطح وبهلی اظ تؼسازی ظیبزی اظ ًمبیح تئَضی یبزگیطی هحبسجبتی ضا اضائِ هی وٌس‪ .‬همَى لجلی زض ایي ؾویٌِ ضبهل ‪Anthony and‬‬
‫)‪ Natarjan (1991) ٍ Biggs (1992‬هی ضَز‪.‬‬

‫تحمیمبت فؼلی ثط ضٍی تئَضی یبزگیطی هحبسجبتی ثِ سوت قیف ٍسیؼی اظ هسلْبی یبزگیطی ٍ الگَضیمن ّبی یبزگیطی هیل هی وٌس‪ .‬ثیطمط ایوي‬
‫تحمیمبت ضا هی تَاى زض وٌفطاًس ّبی سبالًِ تئَضی یبزگیطی هحبسجبتی )‪ (COLT‬پیسا وطز‪ .‬تؼسازی اظ هدالت یبزگیطی هبضویي ‪(journal‬‬
‫)‪ً machine learning‬یع ثِ ایي هجح اذمػبظ یبفمِ است‪.‬‬

‫تواریي‬
‫‪ 7.1‬پطسپمطًٍی ضا ثب زٍ ٍضٍزی زض ًظط ثگیطیس‪ .‬هطظی ثطای تؼساز ًوًَِ ّبی الظم ثطای ایٌىِ اقویٌبى زاضمِ ثبضین وِ ثوب اامووبل ‪ "91‬اوساوثط‬
‫ذكبی ٍالؼی ‪ "5‬ضا ذَاّس زاضت ضا ثیبثیس؟ آیب ایي هطظ ٍالؼی ثِ ًظط هی ضسس؟‬

‫ضا وِ زض آى ‪ a,b,c,d‬اػساز غحیح زضٍى ثبظُ ی ‪ّ #1،99$‬سمٌس ضا زض‬ ‫⋀‬ ‫‪ 7.2‬والس هفبّین ‪ C‬ضا ثِ فطم‬
‫ًظط ثگیطیس‪ .‬تَخِ زاضیس وِ ایي والس همٌبست ثب هسمكیل ّبی امیمی همساض زض غفحِ ی ‪ xy‬است‪ .‬ضاٌّوبیی‪ :‬هطثغ هحػَض زض ثویي )‪ٍ (0,0‬‬

‫( است‪.‬‬ ‫)‪ .(n-1,n-1‬تؼساز هسمكیل ّبیی ثب ضئَس اػساز غحیح زض ایي ثبظُ )‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪26‬‬

‫)‪ (a‬اس ثبالی تؼساز ًوًَِ ّبی تػبزفی وبفی ثطای ایٌىِ اقویٌبى زاضمِ ثبضین وِ ثطای توبهی هفبّین ّسف ‪ c‬اظ ‪ّ ،C‬ط یبزگیط سبظگبض ثب = ‪H‬‬
‫‪ C‬ثب ااموبل ‪ "95‬فطؾیِ ای ضا ذطٍخی زّس وِ اساوثط ‪ 1.15‬ذكب زاضمِ ثبضس‪.‬‬

‫)‪ (b‬ابل هسمكیلی ثب هطظّبی ‪ a, b, c, d‬ضا وِ ضئَسص زض ًمبـ امیمی همساض است ‪$‬ثدبی ًمبـ غحیح‪ #‬ضا زض ًظط ثگیطیس‪ .‬خَاة ذوَز ضا ثوِ‬
‫لسوت اٍل ثب ایي ضطایف خسیس ثسّیس‪.‬‬

‫‪ 7.3‬زض ایي فػل هب ػجبضتی ثطای تؼساز ًوًَِ ی آهَظضی وبفی ثطای اقویٌبى اظ ایٌىِ ّط فطؾیِ ذكبی امیمی ‪ ϵ‬ثِ اؾبفِ ی ذكوبی هطوبّسُ‬
‫ًساضمِ ثبضس پیسا وطزین‪ .‬زض ول‪ ،‬اظ هطظّبی ّبپفیلس ثطای پیسا وطزى چٌیي هطظی اسومفبزُ ضوس ‪$‬ضاثكْوی ی ‪ .#7.3‬ضاثكوِ ی‬ ‫ی‬
‫زیگطی ثوطای تؼوساز ًوًَوِ ّوبی آهَظضوی ووبفی ثوطای ایٌىوِ اقویٌوبى زاضومِ ثبضوین ووِ ّوطف فطؾویِ ذكوبی امیموی ووموط اظ‬
‫ضا زاضمِ ثبضس پیسا وٌیس‪ .‬هی تَاًیس اظ هطظ چطًَف ٍ تؼوین آى ثطای اسمرطاج چٌیي ًمیدِ ای اسمفبزُ وٌیس‪.‬‬

‫‪ m ،‬ابغل هسممل پطتبة سىِ ‪$‬آظهبیص ثطًَلی‪ #‬ثبضٌس‪ ،‬ثب ایي فوطؼ‬ ‫هطظ چطًَف )‪ :(chernoff bounds‬فطؼ وٌیس وِ‬
‫ثبضوس‪ .‬اگوط‬ ‫[‬ ‫]‬ ‫ثبضوس ٍ اامووبل ذوف آهوسى‬ ‫[‬ ‫]‬ ‫وِ ااموبل ضیط آهسى زض ّوط آظهوبیص هسوممل‬
‫ذَاّس ثَز‪ .‬هطظ چطًَف ثط اامووبل ایٌىوِ‬ ‫‪* +‬‬ ‫هدوَع ابغل ایي پطتبثْب ثبضس‪ ،‬همساض اهیس ‪ S/m‬هسبٍی‬
‫اذمالف زاضمِ ثبضس ثِ غَضت ظیط است‪:‬‬ ‫ایي هطظ ثب ؾطیت‬

‫[‬ ‫] ‪γ‬‬

‫[‬ ‫] ‪γ‬‬

‫هدوَػِ ی اػساز امیمی ٍ ‪ C=H‬هدوَػِ ی ثبظُ ّبی ضٍی اػساز امیمی ثوِ فوطم‬ ‫‪ 7.4‬هسئلِ ی یبزگیطی ای ضا زض ًظط ثگیطیس وِ‬
‫ثبضس‪ .‬ااموبل ایٌىِ فطؾیِ ای سبظگبض ثب ‪ً m‬وًَِ اظ ایي هفَْم ّسف اسالل ذكبی ‪ ϵ‬زاضمِ ثبضس‬
‫چمسض است؟ ایي سَال ضا ثب اسمفبزُ اظ ثؼس ‪ VC‬خَاة زّیس‪ .‬آیب ضاُ ال زیگطی ثط اسبس لَاًیي اٍلیِ ٍ غطف ًظط وطزى اظ ثؼس ‪ VC‬ثطای خَاة‬
‫ثِ ایي سَال ٍخَز زاضز؟‬

‫‪ 7.5‬فؿبی ًوًَِ ای ‪ X‬ضا همٌبست ثب غفحِ ی ‪ x,y‬زض ًظط ثگیطیس‪ .‬ثؼس ‪ VC‬فؿبّبی فطؾیِ ای ظیط ضا هطرع وٌیس‪:‬‬

‫‪.‬‬ ‫⋀‬ ‫)‪ (a‬هدوَػِ ی توبهی هسمكیل ّبی غفحِ ی ‪.x,y‬‬

‫)‪ (b‬توبهی زایطُ ّبی غفحِ ی ‪ .x,y‬توبهی ًمبـ زاذل زایطُ هثجت زسمِ ثٌسی ذَاٌّس ضس‪.‬‬

‫)‪ (c‬هثلثْبی غفحِ ی ‪ً .x,y‬مبـ زاذل هثل هثجت زسمِ ثٌسی ذَاٌّس ضس‪.‬‬

‫زض هسئلِ ی ‪ 7.5‬قطاای وٌیس‪ .‬هدوَػوِ ای اظ هفوبّین ّوسف هسومكیلی تػوبزفی همٌبسوت ثوب‬ ‫‪ 7.6‬یبزگیط سبظگبضی ثب فؿبی فطؾیِ ای‬
‫هسمكیلْبی غفحِ ایدبز وٌیس‪ً .‬وًَِ ّبی تػبزفی هطثَقِ ی ّط یه اظ ایي هفبّین ضا ثب تَظیغ یىٌَاذت ًوًَِ ّب زض هسومكیل ثویي )‪ٍ (0,0‬‬
‫)‪ (100,100‬ایدبز وٌیس‪ .‬ذكبی تؼوین ضا ثِ ػٌَاى تبثؼی اظ تؼساز ًوًَِ ّبی تػبزفی ‪ m‬ضسن وٌیس‪ .‬زض ّوبى ضىل ضاثكوِ ی ثویي ‪ m ٍ ϵ‬ضا‬
‫ثطای ‪ً δ=.95‬یع ضسن وٌیس‪ .‬آیب ًمبیح ثب تئَضی ّورَاًی زاضز؟‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪27‬‬ ‫فػل ّفمن ‪ :‬یبزگیطی هحبسجبتی‬

‫ضا وِ "زضذمْبی تػوین همَسف ثب ػوك ‪ "2‬است ضا ثط ضٍی ‪ n‬همغیط هٌكمی زض ًظط ثگیطیوس‪ .‬زضذمْوبی تػووین‬ ‫‪ 7.7‬فؿبی فطؾیِ ای‬
‫همَسف ثب ػوك ‪ 2‬زضذمْبی تػویوی ّسمٌس وِ ‪$‬ثب چْبض ثطي وِ توبهی اظ ضیطِ فبغلِ ی ‪ 2‬زاضًس‪ #‬وِ زض آًْب ثطضسی ضوسُ زض سووت ضاسوت ٍ‬
‫است‪.‬‬ ‫چپ ضیطِ یىی ّسمٌس‪ .‬ثطای هثبل ضىل ظیط ًوًَِ ای اظ‬

‫‪x3‬‬

‫‪/‬‬ ‫\‬

‫‪x1‬‬ ‫‪x1‬‬

‫‪/‬‬ ‫\‬ ‫‪/‬‬ ‫\‬

‫‪+‬‬ ‫‪-‬‬ ‫‪-‬‬ ‫‪+‬‬

‫چمسض است؟‬ ‫)‪ (a‬ثطاست ‪ n‬هطرع وٌیس وِ اًساظُ ی ایي هدوَػِ ی‬

‫ثب ذكبی ‪ ٍ ϵ‬اقویٌبى چمسض است‪.‬‬ ‫)‪ (b‬هطظ ثبالیی ثطای تؼساز ًوًَِ ّبی الظم ثطای یبزگیطی ثب هسل ‪ PAC‬ثطای یبزگیطی زض‬

‫ثب ٍظى اٍلیِ‬ ‫زض ًظط ثگیطیس‪ .‬اثمسا الگَضیمن ضا ثب توبهی زضذمْب ی زضٍى‬ ‫)‪ (c‬الگَضیمن ‪ Weighted-Majority‬ضا ثطای والس‬
‫زسومِ‬ ‫ی یىسبى ‪ 1‬ضطٍع هی وٌین‪ّ .‬ط ثبض وِ یه ًوًَِ ی خسیس هطبّسُ هی وٌین‪ ،‬آًطا ثب اسمفبزُ اظ ضای ٍظى زاض توبهی فطؾیِ ّوبی‬
‫ثٌسی هی وٌین‪ .‬سپس ثدبی اصف زضذمْبی فطؾیِ ای وِ اضمجبُ وبض هی وٌٌس فمف ٍظى تبثیط آى زضذت ّوب ًػوف هوی ضوَز‪ .‬اوساوثط تؼوساز‬
‫ثیبى وٌیس‪.‬‬ ‫ذكبّبی ضا ثط است ‪ ٍ n‬تؼساز ذكبی ثْمطیي فطؾیِ ی زضٍى‬

‫‪ 7.8‬ایي سَال ثِ اضتجبـ ثیي تحلیل ‪ PAC‬زض ایي فػل ٍ ثطضسی فطؾیِ زض فػل ‪ 5‬هی پطزاظز‪ .‬وبض یبزگیطی ای ضا زض ًظط ثگیطیس وِ ًوًَِ ّب ثب‬
‫⋀ ̅ ⋀ ‪ #‬تَغیف هی ضًَس ٍ تَسف تَظیغ ااموبل ثبثت ٍ هؼلَم 𝒟 اًمروبة هوی ضوًَس‪ .‬هوی زاًوین ووِ‬ ‫‪ n‬همغیط تػبزفی ‪$‬هثال ̅‬
‫هفَْم ّسف ػكفی اظ همغیط ّبی تػبزفی ٍ ػىسطبى است ‪$‬هثال ̅ ⋀ ‪ ٍ #‬الگَضیمن یبزگیطی اظ ایي والس هفَْم ثِ ػٌَاى فؿبی فطؾویِ‬
‫ای ‪ H‬اسمفبزُ هی وٌس‪ .‬ثِ یه یبزگیط سبظگبض هدوَػِ ای اظ ‪ً 111‬وًَِ اًمربثی ثب 𝒟 زازُ هی ضَز‪ .‬ایوي یوبزگیط فطؾویِ ی ‪ h‬ضا اظ ‪ H‬ووِ ثوب‬
‫توبهی ‪ً 111‬وًَِ سبظگبض است ذطٍخی هی زّس‪$ .‬ثسیي هؼٌب وِ ذكبی ‪ h‬ثط ضٍی ایي ‪ً 111‬وًَِ غفط است‪#‬‬

‫)‪ (a‬ػاللِ زاضین وِ ذكبی ٍالؼی ‪ h‬ضا وِ ااموبل زسمِ ثٌسی اضمجبُ ًوًَِ ّبی اًمربثی ثب 𝒟 است ضا ثیبثین‪ .‬ثط اسبس اقالػبت ثوبال آیوب هوی‬
‫تَاًیس ثبظُ ای ضا هطرع وٌیس وِ ذكبی ٍالؼی اسالل ثب ااموبل ‪ "95‬زض آى لطاض گیطز؟ اگط چٌیي است‪ ،‬ثبظُ ضا ثیبى وطزُ ٍ ثِ ٍؾَح آًطا تَخیِ‬
‫وٌیس‪ .‬اگط اهىبى پصیط ًیست هطىل ضا تَؾیح زّیس‪.‬‬

‫)‪ (b‬ابل هدوَػِ ًوًَِ ی خسیس ‪ 111‬تبیی زیگطی ثِ قَض هسممل ثب ّوبى تَظیغ 𝒟 اًمربة هی وٌیس ٍ هؼلَم هی ضَز وِ ‪ً 31 h‬وًَِ اظ ایي‬
‫‪ً 111‬وًَِ ضا اضمجبُ زسمِ ثٌسی هی وٌس‪ .‬آیب هی تَاًیس ثبظُ ای اضائِ وٌیس وِ ایي ذكبی ٍالؼی ثب ااموبل ‪ "95‬زض آى لطاض زاضمِ ثبضس؟ ‪$‬ثطای ایي‬
‫لسوت اظ وبضایی فطؾیِ ضٍی ًوًَِ ّبی آهَظش اش غطف ًظط وٌیس‪ #.‬اگط چٌیي است‪ ،‬ثبظُ ضا ثیبى وطزُ ٍ ثِ ٍؾَح آًطا تَخیِ وٌیس‪ .‬اگط اهىبى‬
‫پصیط ًیست هطىل ضا تَؾیح زّیس‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشیه‬ ‫‪28‬‬

‫)‪ (c‬هوىي است ووی ػدیت ثِ ًظط ثطسس وِ ثب ایي وِ فطؾیِ ًوًَِ ّبی آهَظضی ضا زضست زسمِ ثٌسی وطزُ اهب زض زسمِ ثٌسی ًوًَِ ّوبی‬
‫خسیس ذكبی ‪ "31‬زاضمِ است‪ .‬ااموبل چٌیي اتفبلی زض ‪ّ n‬بی ثعضي ثیطمط است یب زض ‪ّ n‬بی وَچىمط‪ .‬ثطای خَاة ذَز تَخیِ ثیبٍضیس‪.‬‬

‫فرهٌگ لغات تخصصی فصل (فارسی به اًگلیسی)‬

‫‪ε-exhausted‬‬
‫‪Bernoulli trial‬‬ ‫آظهبیص ثطًَلی‬
‫‪pool of prediction algorithms‬‬ ‫اسمرطی اظ الگَضیمن ّبی پیطجیٌی‬
‫‪Computational complexity‬‬ ‫پیچیسگی هحبسجبتی‬
‫‪Sample complexity‬‬ ‫پیچیسگی ًوًَِ ای‬
‫‪G-composition‬‬ ‫تطویت ‪G‬‬
‫‪exponential‬‬ ‫تَاًی‬
‫‪mistake bound framework‬‬ ‫چبضچَة وطاى ذكب‬
‫‪framework‬‬ ‫چْبضچَة‬
‫)‪probably approximately correct (PAC‬‬ ‫چْبضچَة تمطیجب زضست‬
‫‪shattering a set of instances‬‬ ‫ذطز وطزى هدوَػِ ای اظ ًوًَِ ّب‬
‫‪training error‬‬ ‫ذكبی آهَظضی‬
‫‪True Error‬‬ ‫ذكبی ٍالؼی‬
‫‪Exact‬‬ ‫زلیك‬
‫)‪k-term disjunctive normal form (k-term DNF‬‬ ‫فطم ًطهبل فػلی ‪ k‬خولِ ای‬
‫‪PAC-learnability‬‬ ‫لبثلیت یبزگیطی ‪PAC‬‬
‫‪directed acyclic‬‬ ‫گطاف خْت زاض ثسٍى زٍض‬
‫‪layered graph‬‬ ‫گطاف الیِ ای‬
‫)‪probably approximately correct (PAC‬‬ ‫هسل یبزگیطی تمطیجب زضست‬
‫‪wose-case bound‬‬ ‫هطظ ثستطیي ابلت هوىي‬
‫‪Mistake bound‬‬ ‫هطظ ذكب‬
‫‪Hoeffding bounds‬‬ ‫هطظ ّبی ‪Hoeffding‬‬
‫‪Hoeffding additive bounds‬‬ ‫هطظ ّبی اؾبفی ‪Hoeffding‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل هشتم‪ :‬یادگیری مبتنی بر نمونهها‬

‫ثشخالف متذ َبی یبدگیشیای وٍ تًغیفی غشیح اص تبثغ َذف ثب استفبدٌ اص ومًوٍ َبی آمًصضی مًخوًد ایدوبد مویوىىوذ‪ ،‬یوبدگیشی مجتىوی ثوش‬
‫ومًوٍَب‪ 1‬فمظ ومًوٍَب سا رخیشٌ میوىذ ي تؼمیم سيی ومًوٍَب سا ثٍ صمبن دستٍ ثىذی ومًوٍی خذیذ مًوًل میوىذ‪َ .‬ش گبٌ ومًوٍی خذیذی اسائٍ‬
‫ضذ‪ ،‬ساثغٍی آن ثب ومًوٍَبیی وٍ لجالً رخیشٌ ضذٌاوذ ثشسسی ضذٌ تب ممذاس تبثغ َذف سا ثشای ایه ومًوٍی خذیذ تطخیع دَیم‪ .‬یبدگیشی مجتىوی‬
‫ثش ومًوٍَب‪ ،‬ضبمل متذ َبی وضدیهتشیه َمسبیٍ‪ 2‬ي ثشاصش يصن داس محلی‪ 3‬وٍ ومًوٍَب سا ثٍ ػىًان ومبعی دس فضبی اللیذسی دس وظش مویگیشووذ‬
‫میضًد‪ .‬ایه مجحث َمچىیه ضبمل متذ َبی استذالل مجتىی ثش ضشایظ‪ 4‬وٍ اص ومبیص پیچیذٌی ومبدیه ثشای ومبیص فشضیٍَب استفبدٌ میوىىوذ‬
‫میضًد‪ .‬گبَی ثٍ متذ َبی مجتىی ثش ومًوٍَب متذ َبی یبدگیشی تىجل‪ 5‬ویض میگًیىذ صیشا وٍ محبسجبت سا تب دستٍ ثىوذی ومًووٍ َوبی خذیوذ ثوٍ‬
‫تؼًیك میاوذاصوذ‪ .‬مضیت ولیذی ایه وًع تأخیش یب تىجلی ایه متذَب دستٍ ثىذی محلی ي ثٍ عًس خذاگبوٍ ثشای َش یه اص ومًوٍ َبی خذیوذ ثدوبی‬
‫تخمیه تبثغ َذف ثشای ول فضبی ومًوٍ ای است‪.‬‬

‫‪ 1.8‬معرفی‬
‫متذ َبی یبدگیشی مجتىی ثش ومًوٍَب مثل وضدیهتشیه َمسبیٍ ي ثشاصش يصن داس محلی‪ ،‬سيشَبی سبدٌ ای ثشای تخمویه تًاثوغ َوذف قمیموی‬
‫ممذاس ي گسستٍ ممذاسوذ‪ .‬یبدگیشی دس ایه الگًسیتمَب ثٍ رخیشٌی ومًوٍ َبی آمًصضی دس دستشس محذيد میضًد‪ .‬صموبوی ووٍ الگوًسیتم ثوب یوه‬
‫ومًوٍی خذیذ ثشخًسد میوىذ‪ ،‬مدمًػٍ ای اص ومًوٍ َبی مطبثٍ اص قبفظٍ ثبصخًاوی ضذٌ ي ثشای دستٍ ثىذی ومًوٍی خذیوذ موًسد اسوتفبدٌ لوشاس‬
‫میگیشوذ‪ .‬یىی اص اختالفَبی ولیذی ثیه ایه سيشَب ي متذَبیی وٍ دس دیگش فػلَبی ایه وتبة مًسد ثحث لشاس گشفت امىبن ایدبد تخمویه‬
‫مىحػش ثٍ فشد َش ومًوٍی خذیذ است‪ .‬دس يالغ ثسیبسی اص تىىیهَب فمظ یه تخمیه محلی اص تبثغ َذف وٍ دس َمسبیگی ومًوٍی خذیذ اسوت‬

‫‪1‬‬
‫‪Instance based learning‬‬
‫‪2‬‬
‫‪Nearest neighbor‬‬
‫‪3‬‬
‫‪Locally weighted regression‬‬
‫‪4‬‬
‫‪Case based reasoning‬‬
‫‪5‬‬
‫‪lazy‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪2‬‬

‫خشيخی میدَىذ ي َیچ گبٌ تخمیه خذیذی وٍ ثشای وبس ثش سيی ول فضبی ومًوٍ ای وبس وىذ ایدبد ومیوىىذ‪ .‬ایه خبغیت ثوشای تًاثوغ َوذفی‬
‫وٍ پیچیذٌ امب ثٍ غًست محلی سبدٌاوذ مضیت داسد‪.‬‬

‫متذ َبی مجتىی ثش ومًوٍَب سا ویض میتًان ثشای ومبیصَبی پیچیذٌ تش ومبدیه ومًوٍَب ثٍ وبس ثشد‪ .‬دس یبدگیشی مجتىی ثش ضشایظ‪ ،‬ومًوٍَب ثوٍ فوش‬
‫ومبدیه ومبیص دادٌ ي فشایىذ تؼییه ومًوٍ َبی "َمسبیٍ" ویض ثش اسبس َمیه ومبیص ثیبن میضًد‪ .‬اص استذالل مجتىی ثش ضشایظ دس وبسَبیی وظیش‬
‫رخیشٌ ي استفبدٌی ديثبسٌی تحمیك دس یه میض ومه‪ ،‬استذالل دسثبسٌی ضشایظ مدبص ثش اسبس ضشایظ لجلی‪ ،‬ي قل مسبئل صمبنثىذی پیچیذٌ ثوب‬
‫استفبدٌی اص لسمتَبی مشتجظ مسبئلی قل ضذٌی لجلی ثٍ وبس ثشدٌ ضذٌ است‪.‬‬

‫یىی اص اضىبلَبی سيشَبی مجتىی ثش ومًوٍَب َضیىٍی ثبالی دستٍ ثىذی ومًوٍ َبی خذیذ است‪ .‬ایه اضىبل وبضی اص ایوه قمیموت اسوت ووٍ‬
‫تمشیجبً تمبمی محبسجبت دس صمبن دستٍ ثىذی ومًوٍ َبی خذیذ (ثٍ خبی صمبن مًاخٍُ ثب ومًوٍ َبی یبدگیشی) اودب میضًد‪ .‬ثىبثشایه‪ ،‬تىىیهَبیی‬
‫وٍ ثشای فُشست‪ 1‬وشدن ثُیىٍی ومًوٍَب تأثیش لبثل تًخُی دس وم وشدن محبسجبت الص دس صمبن دستٍ ثىذی ومًوٍ َوبی خذیوذ داسد‪ .‬اضوىبل‬
‫دي ثسیبسی اص سيشَبی مجتىی ثش ومًوٍَب‪ ،‬مخػًغبً سيشَبی وضدیهتشیه َمسبیٍ‪ ،‬ایه است وٍ تمبمی يیژگیَبی ومًووٍ دس صموبن ثبصیوبثی‬
‫ومًوٍ َبی آمًصضی مطبثٍ دس وظش گشفتٍ میضًد‪ .‬اگش تبثغ َذف فمظ ثٍ تؼذادی اص يیژگیَبی ثسیبس ومًوٍَب ياثستٍ ثبضذ‪ ،‬ومًوٍَبیی ووٍ يالؼوبً‬
‫مطبثٍ ومًوٍی خذیذ َستىذ ثب ایه ومًوٍ فبغلٍ ثسیبس صیبد داضتٍ ثبضىذ‪.‬‬

‫دس لسمت ثؼذ الگًسیتم ‪ k-Nearest Neighbor‬سا ثٍ َمشاٌ چىذیه وسخٍی مختلف ایه الگًسیتم پشوبسثشد مؼشفوی خوًاَیم ووشد‪ .‬دس صیوش‬
‫لسمت ثؼذ اص آن ثشاصش يصن داس محلی سا مًسد ثحث ي ثشسسی خًاَذ داد ي متذ یبدگیشیای سا وٍ تخمیهَبی مًضؼیای دس موًسد توبثغ َوذف‬
‫میصوذ اسائٍ میوىذ‪ ،‬ایه متذ سا میتًان تؼمیم الگًسیتمَبی ‪ k-Nearest Neighbor‬داوست‪ .‬سپس ضجىٍی ‪ radial basis‬سا ووٍ پلوی‬
‫خبلت ثیه یبدگیشی ثش پبیٍی ومًوٍَب ي الگًسیتمَبی ضجىٍ َبی ػػجی سا ثشسسی خًاَیم وشد‪ .‬دس لسمت ثؼذی ثٍ استذالل مجتىی ثوش ضوشایظ‪،‬‬
‫سيضی مجتىی ثش ومًوٍَب وٍ اص ومبیص ومبدیه ي استىتبج مجتىی ثش داوص لجلی ومه میگیشد‪ ،‬ثحث خًاَذ ضذ‪ .‬ایه ثخص ضبمل مثبلی اص ووبسثشد‬
‫استذالل مجتىی ثش ضشایظ دس یه مسئلٍی عشاقی مُىذسی سا ویض دس ثش میگیشد‪ .‬ثبالخشٌ‪ ،‬تفبيتَبی پبیٍ ای ثیه ظشفیتَبیی متذَبی یبدگیشی‬
‫تىجل وٍ دس ایه فػل مغشح میضًوذ ي متذ َبی وًضب وٍ دس دیگش فػلَبی ایه وتبة مغشح میضًوذ سا ثشسسی خًاَیم وشد‪.‬‬

‫‪ 1.8‬یادگیری ‪k-Nearest Neighbor‬‬

‫سبدٌتشیه متذ یبدگیشی مجتىی ثش ومًوٍَب‪ ،‬الگًسیتم ‪ k-Nearest Neighbor‬است‪ .‬ایه الگًسیتم فشؼ میوىذ وٍ تمبمی ومًوٍَب ومبعی دس‬
‫فضبی ‪ n‬ثؼذی 𝔎 َستىذ‪ .‬وضدیهتشیه َمسبیٍَب یه ومًوٍ ثب استفبدٌ اص تؼشیف استبوذاسد فبغلٍ اللیذسی تؼشیف میضًوذ‪ .‬ثٍ ػجبست دلیكتوش‬
‫ایىىٍ َش ومًوٍی دلخًاٌ ‪ x‬ثب ثشداس صیش ومبیص دادٌ ضًد‪،‬‬

‫) (‬ ‫) (‬ ‫) (‬

‫( وطبن دادٌ میضًد‬ ‫وٍ ثب )‬ ‫ي‬ ‫وطبن دَىذ ی ‪ r‬امیه يیژگی ومًوٍی ‪ x‬است‪ .‬پس فبغلٍی ثیه دي ومًوٍی‬ ‫وٍ دس آن ) (‬
‫ثٍ غًست صیش تؼشیف میضًد‪:‬‬

‫‪1‬‬
‫‪indexing‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪3‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫(‬ ‫)‬ ‫( ∑√‬ ‫) (‬ ‫)) (‬

‫دس یبدگیشی وضدیهتشیه َمسبیٍ‪ ، 1‬تبثغ َذف ممىه است گسستٍ ممذاس یب قمیمی ممذاس ثبضذ‪ .‬ثیبییذ فشؼ وىیم وٍ تبثغ َوذف گسسوتٍ مموذاس‬
‫* است‪ .‬الگًسیتم ‪ k-Nearest Neighber‬ثشای تخمیه تبثغ گسستٍ‬ ‫‪ ،‬وٍ دس آن ‪ V‬مدمًػٍی محذيد ‪+‬‬ ‫𝔎‬ ‫است‪،‬‬
‫(̂ تخمیىوی اص‬ ‫ممذاس دس خذيل ‪ 8.1‬آيسدٌ ضذٌ است‪َ .‬مبن عًس وٍ دس خذيل ویض وطوبن دادٌ ضوذٌ اسوت‪ ،‬مموذاس خشيخوی ایوه الگوًسیتم )‬
‫است‪ .‬اگش ممذاس ‪ k‬سا ‪ 1‬ثگیوشیم الگوًسیتم ‪1-nearest‬‬ ‫( است وٍ متذايلتشیه ممذاس تبثغ َذف دس ثیه وضدیهتشیه َمسبیٍ َبی‬ ‫)‬
‫است‪ ).‬ثشای ممبدیش ثضسيتش ‪ k‬الگًسیتم متذايلتشیه‬ ‫وضدیهتشیه َمسبیٍی‬ ‫(̂ وسجت میدَذ (‬ ‫‪ neighbor‬ممذاس ) ( سا ثٍ )‬
‫ممذاس تبثغ َذف سا میبن ‪ k‬وضدیهتشیه َمسبیٍ سا ثٍ ومًوٍ وسجت میدَذ‪.‬‬

‫الگًسیتم یبدگیشی‪:‬‬

‫ثشای َش ومًوٍی >)‪ ،<x,f(x‬ومًوٍ سا ثٍ مدمًػٍی ‪ training_examples‬اضبفٍ وه‪.‬‬ ‫‪‬‬

‫الگًسیتم دستٍ ثىذی‪:‬‬

‫سا ثشای دستٍ ثىذی ثگیش‬ ‫ومًوٍی‬ ‫‪‬‬

‫سا اص ‪ training_examples‬پیذا وه‪.‬‬ ‫‪ k ،‬ومًوٍی وضدیهتش ثٍ‬ ‫‪‬‬
‫ممذاس صیش سا خشيخی ثذٌ‬

‫) (̂‬ ‫( ∑‬ ‫)) (‬

‫( ‪.‬‬ ‫)‬ ‫( اگش ‪ a=b‬ثبضذ‪ ،‬ي دس غیش ایه غًست‬ ‫)‬ ‫دس ایه ساثغٍ‬

‫‪.‬‬ ‫خذيل ‪ 8.1‬الگًسیتم ‪ k-Nearest Neighbor‬ثشای تخمیه تبثغ گسستٍ ممذاس‬

‫ضىل ‪ 8.1‬ػملیبت الگًسیتم ‪ k-Nearest Neighbor‬سا دس قبلتی وٍ ومبط دس فضبی دي ثؼذیاووذ ي توبثغ َوذف ویوض مىغموی اسوت وطوبن‬
‫ویض دس ضىل وطوبن دادٌ ضوذٌ اسوت‪ .‬تًخوٍ‬ ‫میدَذ‪ .‬ومًوٍ َبی مثجت ي مىفی ثٍ تشتیت ثب "‪ "+‬ي "‪ "-‬دس ضىل وطبن دادٌ ضذٌاوذ‪ .‬ومغٍی‬
‫سا مثجوت دسوتٍ ثىوذی خًاَوذ ووشد دس قوبلی ووٍ ‪5-Nearest‬‬ ‫داسیذ وٍ دس ایه ضىل الگًسیتم ‪ 1-Nearest Neighbor‬ومًوٍی‬
‫‪ Neighbor‬آنسا مىفی دستٍ ثىذی خًاَذ وشد‪.‬‬

‫‪1‬‬
‫‪Nearest Neighber‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪4‬‬

‫ضىل ‪.k-Nearest Neighbor 8.1‬‬

‫دستٍ ای اص ومًوٍ َبی مثجت ي مىفی ثٍ َمشاٌ یه ومًوٍی خذیذ دس سمت چپ وطبن دادٌ ضذٌ است‪ .‬الگوًسیتم ‪ 1-Nearest Neighbor‬ومًووٍی‬
‫خذیذ سا مثجت دستٍ ثىذی میوىذ دس قبلی وٍ الگًسیتم ‪َ 5-Nearest Neighbor‬مبن ومًوٍ سا مىفی دستٍ ثىذی میوىذ‪ .‬دس سمت ساست ضىل سوغح‬
‫تػمیم الگًسیتم ‪ 1-Nearest Neighbor‬ثشای یه مدمًػٍی متًسظ اص ومًوٍ َبی آمًصضی وطبن دادٌ ضذٌ است‪ .‬چىذ ضلؼیَبی وطبن دادٌ ضوذٌی‬
‫ديس َش ومًوٍ‪ ،‬محذيدٌ ومبعی سا وٍ ومًوٍ ثٍ آنَب اص ومًوٍ َبی دیگش وضدیهتش است سا وطبن میدَذ (دس ‪ 1-Nearest Neighbor‬ومًوٍ َبی داخل َش‬
‫محذيدٌ ثش اسبس ومًوٍی آن محذيدٌ دستٍ ثىذی خًاَىذ ضذ)‪.‬‬
‫عجیؼت فضبی فشضیٍ ای ‪ H‬وٍ تًسظ الگًسیتم ‪ k-Nearest Neighbor‬خستدً میضًد چیست؟ تًخٍ داسیذ وٍ الگًسیتم ‪k-Nearest‬‬
‫‪َ Neighbor‬یچ گبٌ غشیح فشضیٍی ̂ سا وٍ تخمیىی اص ‪ f‬است مؼشفی ومیوىذ‪ .‬ایه الگًسیتم فمظ ومًوٍ َبی خذیذ سا ثب تًخٍ ثٍ ومًوٍ َبی‬
‫مًخًد دستٍ ثىذی میوىذ‪ .‬ثب ایه يخًد‪َ ،‬ىًص میتًان ثشسسی وشد وٍ تبثغ ضمىی تخمیه صدٌ ضذٌ چیست یب چٍ دستٍ ثىذی ثب ثبثت وگٍ داضته‬
‫ومًوٍ َبی آمًصضی ي اوتخبة ومًوٍ َبی مختلف ‪ X‬ثٍ الگًسیتم ثذست میآیذ‪ .‬ضىل ‪ 8.1‬دستٍ ثىذی الگًسیتم ‪ 1-Nearest Neighbor‬سا‬
‫ثشای سيی ول فضبی ومًوٍ ای وطبن میدَذ‪ .‬فضبی تػمیم ویض چىذ يخُیَبیی َستىذ وٍ َش وذا یه ومًوٍی آمًصضی سا دس ثش مویگیشووذ‪.‬‬
‫ثشای َش ومًوٍی آمًصضی‪ ،‬چىذ يخُی محذيدٌ ای سا وٍ ومًوٍَبیص فمظ تحوت توأثیش یوه ومًووٍی آمًصضوی خبغوىذ سا مطوخع مویوىوذ‪.‬‬
‫ومًوٍ َبی خبسج َش چىذ يخُی ثٍ ومًوٍی دیگشی وضدیهتشوذ‪ .‬ثٍ ایه وًع ومًداس گبَی ايلبت ومًداس يسيوًی‪ 1‬مدمًػٍی ومًوٍ َبی آمًصضوی‬
‫ویض میگًیىذ‪.‬‬

‫الگًسیتم ‪ k-Nearest Neighbor‬ثٍ سبدگی ثٍ تًاثغ َذف پیًستٍ ممذاس تؼمویم موییبثوذ ‪ .‬ثوشای ایوه تؼمویم ووبفی اسوت ووٍ ثوٍ خوبی‬
‫متذايلتشیه ممذاس تبثغ َذف اص میبوگیه ‪ k‬ومًوٍی َمسوبیٍ اسوتفبدٌ وىویم‪ .‬ثوٍ ػجوبست دلیوكتوش‪ ،‬ثوشای تخمویه توبثغ َوذف قمیموی مموذاس‬
‫وبفی است وٍ خظ آخش الگًسیتم ثبال سا ثب ػجبست صیش خبیگضیه وىیم‪.‬‬ ‫𝔎‬ ‫𝔎‬

‫∑‬ ‫) (‬
‫(̂‬ ‫)‬ ‫(‬ ‫)‬

‫‪1‬‬
‫‪Voronoi diagram‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪5‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫‪ 1.2.8‬الگوریتم ‪Distance-Weighted Nearest Neighbor‬‬

‫ثُجوًد‬ ‫الگًسیتم ‪ k-Nearest Neighbor‬سا میتًان ثب اضبفٍ وشدن يصن ثٍ ‪ k‬ومًوٍی َمسبیٍ ثش اسوبس فبغولٍی آنَوب اص ومًووٍی‬
‫ثخطیذ‪ .‬ثشای مثبل‪ ،‬دس الگًسیتم خذيل ‪ 8.1‬وٍ تًاثغ گسستٍ ممذاس سا تخمیه میصوذ‪ ،‬میتًاویم میضان تأثیش سای َش یه اص َمسبیٍَب سا متىبسوت‬
‫تبثیش دَیم‪ .‬ایه تغییش سا میتًان ثب تجذیل خظ آخش الگًسیتم ثٍ ػجبست صیش اػمبل وشد‪،‬‬ ‫ثب ػىس فبغلٍضبن اص‬

‫(̂‬ ‫)‬ ‫∑‬ ‫(‬ ‫)) (‬ ‫(‬ ‫)‬

‫دس ایه ساثغٍ داسیم‪،‬‬

‫(‬ ‫)‬
‫(‬ ‫)‬

‫( غفش خًاَذ ضذ‪ ،‬دس چىیه ضشایغی ممذاس ) ( سا ثوٍ‬ ‫مسبيی است‪ ،‬ممذاس )‬ ‫ثب ومًوٍی آمًصضی‬ ‫دس مًالؼی وٍ ومًوٍی‬
‫(̂ وسجت میدَیم‪ ،‬اگش چىذیه ومًوٍی آمًصضی چىیه ضشایغی سا داضتىذ متذايلتشیه ممذاس َذف آنَب سا اوتخبة میوىیم‪.‬‬ ‫)‬

‫ثشای تًاثغ قمیمی ممذاس ویض میتًان ثٍ َمیه تشتیت ثب ػًؼ وشدن سغش آخش الگًسیتم ثٍ ساثغٍی صیش ثُجًد روش ضذٌ سا اػمبل وشد‪،‬‬

‫∑‬ ‫) (‬
‫(̂‬ ‫)‬ ‫(‬ ‫)‬
‫∑‬

‫َمبن ومیت تؼشیف ضذٌ دس ساثغٍی ‪ 8.3‬است‪ .‬تًخٍ داضتٍ ثبضیذ وٍ ممذاس مخشج ساثغٍی ‪ 8.4‬ممذاس وسش سا وشمبل میوىذ‬ ‫دس ایه ساثغٍ ویض‬
‫(̂ )‪.‬‬ ‫)‬ ‫) ( ‪ ،‬ایه مخشج ثٍ مب اعمیىبن میدَذ وٍ‬ ‫َب داضتٍ ثبضیم‬ ‫(ثشای مثبل اگش ثشای تمبمی‬

‫تًخٍ داسیذ وٍ تمبمی وسخٍ َبی الگًسیتم ‪ k-Nearest Neighbor‬وٍ دس ثبال روش ضذ فمظ ‪ k‬ومغٍی وضدیهتش ثٍ ومًوٍی خذیذ سا دس وظش‬
‫ضشسی وخًاَذ داضت‪ ،‬صیشا وٍ ومًوٍ َوبی ثسویبس‬ ‫میگیشوذ‪ .‬ثب اضبفٍ وشدن ػبمل يصن‪ ،‬يالؼبً دس وظش گشفته تأثیش ول ومًوٍ َبی آمًصضی ثش‬
‫ديس تأثیش ثسیبس ومی ثش ) (̂ خًاَىذ داضت‪ .‬تىُب اثش مىفی ایه تغییش ایه است وٍ دستٍ ثىذی وىىذٌی مب وىذ تش خًاَوذ ضوذ‪ .‬متوذی ووٍ اص‬
‫تمبمی ومًوٍَب ثشای دستٍ ثىذی ومًوٍ َبی خذیذ استفبدٌ میوىذ سا متذ خُبوی‪ 1‬میوبمىذ ي متذَبیی وٍ فمظ وضدیهتشیه َمسبیٍَوب سا دس وظوش‬
‫میگیشوذ متذ َبی محلی‪ 2‬میوبمىذ‪ .‬ثب تغییش لبوًن ‪ 8.4‬ثٍ یه متذ خُبوی الگًسیتم یبدگیشی ثٍ متذ )‪ (Shepard 1968‬تجذیل میضًد‪.‬‬

‫‪ 1.2.2‬نکاتی در مورد الگوریتم ‪k-Nearest Neighbor‬‬

‫الگًسیتم ‪ Distance-weighted k-Nearest Neighbor‬متذ استمشایی ثسیبس مًثشی است وٍ دس ثسیبسی اص مسوبئل ووبسثشدی موًسد‬
‫استفبدٌ لشاس میگیشد‪ .‬ایه الگًسیتم وسجت ثٍ دادٌ َبی آمًصضی خغب داس قسبس ویست ي صمبوی وٍ مدمًػٍی دادٌ َوبی آمًصضوی ثوٍ اووذاصٌی‬

‫‪1‬‬
‫‪global method‬‬
‫‪2‬‬
‫‪local method‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪6‬‬

‫‪ ،‬الگوًسیتم مویتًاووذ اثوش‬ ‫وبفی ثضسي ثبضذ ثسیبس مًثش است‪ .‬تًخٍ داضتٍ ثبضیذ وٍ ثب گشفته میبوگیه يصن داس ‪ k‬ومًوٍی َمسبیٍی وضدیه‬
‫دادٌ َبی خغب داس آمًصضی سا ثشعشف وىذ‪.‬‬

‫ثبیبس استمشایی ‪ k-Nearest Neighbor‬چیست؟ ثبیبس دستٍ ثىذی ومًوٍ َبی خذیذ ثب تًخٍ ثٍ ضىل ‪ 8.1‬ثٍ ساقتی مطوخع مویضوًد‪.‬‬
‫ثسیبس ضجیٍ دستٍ ثىذی ومًوٍ َبی دیگوش وضدیوه ثوٍ آن‬ ‫ثبیبس استمشایی ایه الگًسیتم ایه است وٍ فشؼ میوىذ وٍ دستٍ ثىذی ومًوٍی‬
‫است‪.‬‬

‫یه اص مطىالت وبسثشدی استفبدٌی الگًسیتم ‪ k-Nearest Neighbor‬ایه است وٍ فبغلٍی ثیه ومًوٍَب ثب تًخٍ ثٍ تموبمی يیژگویَوبی‬
‫ومًوٍَب محبسجٍ میضًد (دس ایه مثبل‪ ،‬تمبمی محًس َبی فضبی اللیذسی)‪ .‬ایه سفتبس الگًسیتم ثب متذ َوبی دیگوش چوًن سیسوتمَوبی یوبدگیشی‬
‫لًاویه ي یبدگیشی دسختی وٍ فمظ تؼذادی اص يیژگیَب سا دس سبخت فشضیٍ ثٍ وبس میثشوذ متفبيت است‪ .‬ثشای دسن تأثیش ایه مًضًع‪ ،‬وبسثشد ‪k-‬‬
‫‪ Nearest Neighbor‬سا دس مسئلٍ ای وٍ اص ‪ 22‬يیژگی ومًوٍَب فمظ ‪ 2‬يیژگی ثش دستٍ ثىذی تبثغ َذف تأثیش داسووذ سا دس وظوش ثگیشیوذ‪ .‬دس‬
‫چىیه ضشایغی‪ ،‬ومًوٍَبیی وٍ ایه دي يیژگیضبن وضدیه ثٍ َم است ممىه است دس فضبی ‪ 22‬ثؼذی ثسیبس ديس اص َم ثبضىذ‪ .‬قبغل ایىىٍ متوذ‬
‫سبدٌی ثٍ وبس گشفتٍ ضذٌ دس ‪ ،k-Nearest Neighbor‬وٍ ول ‪ 22‬يیژگی سا دس وظش مویگیوشد‪ ،‬موب سا گموشاٌ خًاَوذ ووشد‪ .‬فبغولٍی ثویه‬
‫َمسبیٍَب اص تؼذاد صیبدی اص يیژگیَبی وبمشثًط محبسجٍ میضًد‪ .‬ایه مطىل‪ ،‬صمبوی وٍ تؼذاد يیژگیَبی ووبمشثًط قبضوش صیبدووذ س مویدَوذ‬
‫ثؼضی ايلبت علسم ثؼذ‪ 1‬وبمیذٌ میضًد‪ Nearest-neighbor .‬وسجت ثٍ ایه مطىل ثٍ ضذت قسبس است‪.‬‬

‫یىی اص سيشَبی خبلت ممبثلٍ ثب ایه مطىل اػمبل يصن دس محبسجٍی فبغلٍی ثیه ومًووٍَبسوت‪ .‬ایوه تغییوش مثول وطویذن ي فطوشدٌ ووشدن‬
‫محًس َبی فضبی اللیذسی است‪ ،‬محًس َبی يیژگیَبی وبمشثًط فطشدٌ ي محًس َبی يیژگیَبی مشثًط وطیذٌ میضوًوذ‪ .‬میوضان وطوص َوش‬
‫محًس اص عشیك یه سيش اسصیبثی‪ 2‬مطخع میضًد‪ .‬ثشای مطخع ضذن سيش وبس‪ ،‬فشؼ وىیذ وٍ میخًاَیم ‪j‬امیه محوًس سا ثوٍ اووذاصٌی‬
‫عًسی اوتخبة میضًوذ تب خغبی يالؼی دستٍ ثىذی الگًسیتم یبدگیشی میىیمم ضًد‪ .‬دي ‪ ،‬تًخٍ‬ ‫ثىطیم (ضشة وىیم)‪ ،‬دس ایه سيش‬
‫داضتٍ ثبضیذ وٍ ایه خغبی يالؼی سا میتًان ثب استفبدٌ اص اسصیبثی ثذست آيسد‪ .‬ثىبثشایه‪ ،‬یىی اص الگًسیتمَبی ممىه اوتخبة یوه صیشمدمًػوٍی‬
‫ثٍ غًستی است وٍ خغب سا ثشای ثمیٍی ومًوٍَوب میىویمم‬ ‫تػبدفی اص دادٌ َبی مًخًد ثشای ومًوٍ َبی آمًصضی ي مطخع وشدن‬
‫وىذ‪ .‬ثب چىذیه ثبس تىشاس ایه فشایىذ تخمیه ایه يصنَب دلیكتش میضًوذ‪ .‬ایه فشایىذ وطیذن محًسَب ثشای ثُیىوٍ ووشدن ووبسایی ‪k-Nearest‬‬
‫‪ Neighbor‬مىبویسمی ثشای وم وشدن تأثیش يیژگیَبی وبمشثًط ایدبد میوىذ‪.‬‬

‫دس متوذ لجلوی اسوت‪.‬‬ ‫سيش خبیگضیه مًثش تش دیگش قزف يیژگیَبی وبمشثًط اص فضبی ومًوٍ ای است‪ .‬ایه وبس مطوبثٍ غوفش ووشدن مموذاس‬
‫)‪ (Moore and Lee 1994‬دسثبسٌی وبسایی متذ َبی ‪ cross-validation‬دس اوتخبة يیژگیَبی مشثوًط اص مدمًػوٍی يیژگویَوبی‬
‫مًخًد ثشای الگًسیتم ‪ k-Nearest Neighbor‬سا ثشسسی وشدٌاوذ‪ .‬دس ول‪ ،‬آنَب متذَبی ‪ cross-validation‬ي ‪ leave-one-out‬سا‬
‫وٍ دس آن مدمًػٍی ‪ m‬تبیی اص ومًوٍ َبی آمًصضی متىبيثبً ثٍ مدمًػٍ َبی ‪ m-1‬تبیی اص ومًوٍ َبی آمًصضی ي مدمًػٍی تست یه ػضًی‬
‫دس تمب قبالت ممىه ثشسسی میضًد‪ .‬ایه سيش ‪ leave-one-out‬ثٍ ساقتی دس ‪ k-Nearest Neighbor‬ثٍ وبس ثشدٌ میضًد‪ ،‬صیشا وٍ‬
‫َش ثبس فمظ مدمًػٍی تست ثبص تؼشیف میضًد َیچ تالش آمًصضی ی اضبفیای الص ویست‪ .‬تًخٍ داضتٍ ثبضیذ وٍ سيشَبی ثبال سا مویتوًان‬
‫ثب دیذ تغییش عًل محًسَب ثب ضشیت ثشسسی وشد‪ .‬ثٍ عًس مطبثٍ میتًان اص ضشایجی ثشای تغییش عًل محًسَب استفبدٌ وشد وٍ دس فضبی ومًووٍ ای‬

‫‪1‬‬
‫‪curse of dimensionality‬‬
‫‪2‬‬
‫‪cross-validation‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪7‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫ثبثت ویست‪ .‬ثب ایه يخًد‪ ،‬صمبوی وٍ ثب ایه دیذ دسخٍی آصادی الگًسیتم سا ثشای ثبص تؼشیف مؼیبس فبغلٍ صیبد میوىویم اقتموبل پذیوذٌی ‪overfit‬‬
‫ویض صیبد میضًد‪ .‬ثىبثشایه‪ ،‬سيش تغییش وبقیٍ ای محًسَب خیلی متذايل ویست‪.‬‬

‫یىی اص مطىالت وبسثشدی ‪ k-Nearest Neighbor‬فُشست ثىذی‪ 1‬ثُیىٍی قبفظٍ است‪ .‬اص آودبیی وٍ ایه الگًسیتم تمبمی محبسجبت سا ثٍ‬
‫صمبن دسیبفت ومًوٍی خذیذ مًوًل میوىذ‪ ،‬ي ممىه است محبسجبت لبثل تًخُی ثشای َش ومًوٍی خذیذ الص ثبضذ‪ ،‬متوذ َوبی ثسویبسی ثوشای‬
‫فُشست ثىذی ومًوٍ َبی آمًصضی ایدبد ضذٌ است تب ثب َضیىٍ وشدن ممذاسی قبفظٍ پیذا وشدن وضدیهتشیه َمسبیٍَب ساقتتوش گوشدد‪ .‬یىوی اص‬
‫ایه متذ َبی فُشست ثىذی‪ ،‬متذ ‪ (Bentley 1975; Friedman 1977) kd-tree‬است وٍ دس آن ومًوٍَب دس ثشيَبی دسختی رخیشٌ‬
‫سا ثوب ثشسسوی‬ ‫میضًوذ ي ومًوٍ َبی مطبثٍ ویض دس َمبن گشٌ یب گشٌ َبی وضدیه رخیشٌ ضذٌاوذ‪ .‬گشٌ َوبی داخلوی دسخوت‪ ،‬ومًووٍی خذیوذ‬
‫يیژگیَبیص ثٍ سمت ثشي مشثًعٍ میفشستىذ‪.‬‬

‫‪ 1.2.2‬نکته ای در نماد گذاری‬

‫اوثش ادثیبت ثٍ وبس سفتٍ دس تًضیح متذ َبی ‪ nearest-neighbor‬ي ‪ weighted local regression‬ػجبسات تخػػوی اسوت ووٍ اص‬
‫مجحث تطخیع الگً آمبسی‪ 2‬ثش گشفتٍ ضذٌ است‪ .‬دس خًاوذن چىیه ادثیبتی ثذ ویست وٍ ثب ػجبسات صیش آضىب ثبضیذ‪:‬‬

‫ثشاصش‪ 3‬یؼىی تخمیه یه تبثغ َذف قمیمی ممذاس‪.‬‬ ‫‪‬‬

‫) (̂ دس تخمیه تبثغ َذف است‪.‬‬ ‫ثبلیمبوذٌ‪ 4‬خغبی ) (‬ ‫‪‬‬
‫تبثغ َستٍ‪ 5‬تبثؼی اص فبغلٍ است وٍ ثشای مطخع وشدن يصن َش یه اص ومًوٍ َبی آمًصضی ثٍ وبس میسيد‪ .‬ثوٍ ػجوبست دیگوش‪ ،‬توبثغ‬ ‫‪‬‬
‫‪.‬‬ ‫( (‬ ‫))‬ ‫َستٍ تبثؼی مثل ‪ K‬است وٍ‬

‫‪ 1.8‬برازش وزن دار محلی‬

‫داوست‪.‬‬ ‫سيش ‪ nearest-neighbor‬وٍ دس لسمت لجل تًضیح دادٌ ضذ سا میتًان تخمیىی اص تبثغ َذف )‪ f(x‬ثشای یه ومًوٍی‬
‫میسبصد‪ .‬ثوشاصش يصن‬ ‫الگًسیتم ثشاصش يصن داس محلی تؼمیمی اص ایه الگًسیتم است‪ .‬ایه الگًسیتم تخمیىی غشیح اص ‪ f‬دس محذيدٌی اعشاف‬
‫داس محلی اص ومًوٍ َبی آمًصضی وضدیه یب ول ومًوٍَب ثٍ غًست يصن داس متىبست ثب فبغلٍ‪ 6‬ثشای ایدبد ایه تخمیه محلی ‪ f‬اسوتفبدٌ مویوىوذ‪.‬‬
‫ثب استفبدٌ اص یه تبثغ خغی‪ ،‬یب یه تبثغ دسخٍ دي‪ ،‬یب یه ضوجىٍی ػػوجی چىوذ‬ ‫ثشای مثبل‪ ،‬ممىه است تبثغ َذف سا دس َمسبیگی اعشاف‬
‫الیٍ‪ ،‬یب َش تبثغ دیگشی تخمیه ثضویم‪ .‬ػجبست "ثشاصش يصن داس محلی" محلی است صیشا وٍ دستٍ ثىذی فمظ ثب تًخوٍ ثوٍ ومًووٍ َوبی وضدیوه‬
‫ومًوٍی خذیذ اودب میضًد‪ ،‬يصن داس است صیشا وٍ فبغلٍی َش ومًوٍی آمًصضی ثش تأثیش آن ثش دستٍ ثىذی ومًوٍی خذیذ اثش داسد‪ ،‬ثشاصش اسوت‬
‫صیشا وٍ ایه سيش دس یبدگیشی تخمیه تًاثغ قمیمی ممذاس ثٍ وبس میسيد‪.‬‬

‫‪1‬‬
‫‪indexing‬‬
‫‪2‬‬
‫‪statistical pattern recognition‬‬
‫‪3‬‬
‫‪Regression‬‬
‫‪4‬‬
‫‪Residual‬‬
‫‪5‬‬
‫‪Kernel function‬‬
‫‪6‬‬
‫‪distance-weighted‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪8‬‬

‫ومًووٍ َوبی آمًصضوی سا‬ ‫ثب داضته ومًوٍی خذیذ ‪ ،‬سيش ولی دس ثشاصش يصن داس محلی سبخته تخمیىی مثول ̂ اسوت ووٍ دس اعوشاف‬
‫ثپًضبوذ‪ .‬سپس ایه تخمیه ثشای محبسجٍی ) (̂ ثٍ وبس میسيد‪ .‬مطخػبت ̂ اص قبفظٍی الگًسیتم پوبن خًاَوذ ضوذ صیوشا ووٍ ثوشای َوش‬
‫ومًوٍی خذیذ ثبیذ تخمیه محلی خذیذی سبختٍ ضًد‪.‬‬

‫‪ 1.2.8‬بزاسش وسن دار خطی محلی‬

‫اص تبثؼی خغی ثٍ فش ولی صیش استفبدٌ میوىذ‪،‬‬ ‫قبلتی سا فشؼ وىیذ وٍ ثشاصش يصن داس محلیای ثشای تخمیه ‪ f‬دس اعشاف‬

‫) (̂‬ ‫) (‬ ‫) (‬

‫وطبن دَىذٌی ‪i‬امیه يیژگی ومًوٍی ‪ x‬است‪.‬‬ ‫مثل لجل‪ ،‬دس ایه ساثغٍ ویض ) (‬

‫ثشای میىویمم ووشدن خغوب ثوش سيی‬ ‫ثب تًخٍ ثٍ آوچٍ وٍ دس فػل ‪ 4‬دس مًسد متذَبیی مثل ضیت وضيل گفتٍ ضذ‪ ،‬ضشایت مىبست‬
‫ومًوٍ َبی آمًصضی استفبدٌ میضًد‪ .‬دس فػل ‪ 4‬ػاللٍی مب ثٍ تخمیه خُبوی تبثغ َذف ثوًد‪ ،‬ثىوبثشایه‪ ،‬خغوبی تؼشیوف ضوذٌ سا ثوشای تموبمی‬
‫ومًوٍ َبی ‪ D‬تؼشیف وشدیم‪،‬‬

‫) ( (∑‬ ‫)) (̂‬ ‫(‬ ‫)‬

‫وٍ ثب آن ثٍ لبوًن ضیت وضيل صیش سسیذیم‪،‬‬

‫𝛥‬ ‫) ( (∑‬ ‫)) (̂‬ ‫) (‬ ‫(‬ ‫)‬

‫دس ایه ساثغٍ ‪ η‬ثبثت یبدگیشی است‪ .‬دس ایىدب لبوًن ديثبسٌ اسائٍ ضذٌ تب ثب ومبد گوزاسی ایوه فػول سوبصگبسی داضوتٍ ثبضوذ (ثوشای مثوبل‪،‬‬
‫) ( )‪.‬‬ ‫) (̂‬ ‫) (‬

‫قبل چگًوٍ میتًان ایه لبوًن سا عًسی تغییش داد تب ثٍ خبی تخمیىی خُبوی‪ ،‬تخمیىی محلی داضتٍ ثبضذ؟ ساٌ قل سبدٌ ایه است وٍ خغبی ‪ E‬سا‬
‫عًسی تؼشیف وىیم تب تبویذ ثیطتشی ثش ومًوٍ َبی محلی داضتٍ ثبضذ‪ .‬سٍ سيش مختلف اػمبل ایه تغییش دس صیش آيسدٌ ضذٌ‪ .‬تًخوٍ داضوتٍ ثبضویذ‬
‫( ‪.‬‬ ‫است میوًیسیم )‬ ‫ثشای تبویذ ثش ایىىٍ ایه خغب تبثؼی اص ومًوٍی خذیذ‬

‫میىیمم وشدن مشثغ خغبی ثیه ‪ k‬ومًوٍی وضدیهتش‬ ‫‪‬‬

‫(‬ ‫)‬ ‫∑‬ ‫) ( (‬ ‫)) (̂‬

‫میىیمم وشدن مشثغ خغب ثشای ول ومًوٍَب‪ ،‬ثب ایه تفبيت وٍ ثب افضایص فبغلٍ ثش اسبس توبثؼی وضيلوی مثول ‪ K‬توأثیش ومًووٍَوب ومتوش‬ ‫‪‬‬
‫میضًد‪،‬‬

‫(‬ ‫)‬ ‫) ( (∑‬ ‫)) (̂‬ ‫( (‬ ‫))‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪9‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫تشویجی اص دي سيش ايل‬ ‫‪‬‬

‫∑‬ ‫) ( (‬ ‫)) (̂‬ ‫( (‬ ‫))‬

‫خًاَىوذ داضوت‪ .‬ثوب ایوه يخوًد‪ ،‬ایوه سيش‬ ‫ضبیذ سيش دي صیجبتشیه تؼشیف خغب ثبضذ‪ ،‬صیشا وٍ دس آن تمبمی ومًوٍَب اثشی ثش دستٍ ثىوذی‬
‫محبسجبتی الص داسد وٍ ثب افضایص تؼذاد ومًوٍ َبی آمًصضی ثٍ عًس خغی افضایص مییبثىذ‪ .‬سيش سً ووٍ ثویه دي سيش ايل اسوت‪َ ،‬ضیىوٍی‬
‫محبسجبتی مستمل اص تؼذاد ول ومًوٍ َبی آمًصضی داسد؛ ایه سيش فمظ ‪َ k‬مسبیٍی وضدیهتش سا دس وظش میگیشد‪.‬‬

‫اگش سيش سً سا اوتخبة وىیم لبوًن ضیت وضيل ثٍ غًست صیش ثذست میآیذ (تمشیه ‪:)8.1‬‬

‫𝛥‬ ‫∑‬ ‫( (‬ ‫) ( ( ))‬ ‫)) (̂‬ ‫) (‬ ‫(‬ ‫)‬

‫تًخٍ داضتٍ ثبضیذ وٍ تىُب تفبيت ثویه ایوه لوبوًن خذیوذ ي لوبوًن لجول دس ساثغوٍی ‪ 8.6‬ایوه اسوت ووٍ يصن َوش ومًووٍ آمًصضوی دس مموذاس‬
‫ضشة ضذٌ است ي خغب ویض فمظ سيی ‪ k‬ومًوٍی وضدیهتش محبسجٍ میضًد‪ .‬دس يالغ اگش میخوًاَیم اص تًاثوغ خغوی ثوشای‬ ‫( (‬ ‫))‬
‫تخمیه تبثغ َذف ثش سيی دستٍی ثبثتی اص ومًوٍ َبی آمًصضی استفبدٌ وىیم‪ ،‬متذ َبی مًثش تشی ویض يخًد داسد تب مسئلٍ سا اص ساٌ مستمیم ثوشای‬
‫قل وىیم‪ (Atkeson 1997a) .‬ي )‪ (Bishop 1995‬ثشسسیای سيی اوًاع ایه وًع متذَب اودب دادٌاوذ‪.‬‬ ‫ثذست آيسدن ضشایت‬

‫‪ 1.2.2‬نکاتی در مورد بزاسش وسن دار محلی‬

‫ثشسسی وشدیم‪ .‬ادثیبت ثوشاصش يصن داس محلوی‪ ،‬ضوبمل عیوف‬ ‫دس ثبال تخمیه تبثغ ‪ f‬سا ثب استفبدٌ اص تبثؼی خغی دس َمسبیگی ومًوٍی خذیذ‬
‫يسیؼی اص متذ َبی خبیگضیه ثشای يصن دَی ثش اسبس فبغلٍی ومًوٍ َبی آمًصضی است‪ ،‬ي َمچىیه عیف يسیؼی اص متذ َوبی تمشیوت محلوی‬
‫ثشای تبثغ َذف مًخًد است‪ .‬دس اوثش مًاسد‪ ،‬تبثغ َذف ثب یه تبثغ ثبثت‪ ،‬خغی ي یب دسخٍ دي تخمیه صدٌ میضًد‪ .‬ثٍ دي دلیل اص تًاثغ پیچیوذٌ توش‬
‫استفبدٌ ومیضًد‪َ )1( :‬ضیىٍی سبصگبس وشدن تًاثغ پیچیذٌ تش ثشای ومًوٍ َبی خذیذ ثٍ ضذت صیبد است ي (‪ )2‬ایه تخمیهَبی سبدٌ تبثغ َوذف سا‬
‫دس یه محذيدٌ وًچه اص فضبی ومًوٍ ای خیلی خًة مذل سبصی میوىىذ‪.‬‬

‫‪ 1.8‬توابع پایه ای شعاعی‬

‫یىی اص سيشَبی تخمیه تًاثغ وٍ ثسیبس مطبثٍ ثشاصش يصن داس محلی ي ضجىٍ َبی ػػجی اسوت یوبدگیشی ثوب تًاثوغ پبیوٍ ای ضوؼبػی‪ 1‬اسوت‬
‫)‪ .(Powell 1987; Broomhead and Lowe 1988; Moody and Darken 1989‬دس ایه سيش تبثغ یبد گشفتٍ ضذٌ توبثؼی‬
‫ثٍ فش صیش است‪.‬‬

‫) (̂‬ ‫∑‬ ‫( (‬ ‫))‬ ‫(‬ ‫)‬

‫‪1‬‬
‫‪Radial basis functions‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪12‬‬

‫( وبَص مییبثوذ‪ .‬دس ایىدوب ‪ k‬ثوبثتی اسوت ووٍ‬ ‫( ( ثب افضایص )‬ ‫ومًوٍ ای اص ‪ X‬است وٍ دس آن ))‬ ‫دس ایه ساثغٍ َش‬
‫تًسظ وبسثش تؼییه میضًد ي تؼذاد تًاثغ َستٍی مطمًل سا مطخع میوىذ‪ .‬قتی اگش ) (̂ تخمیىی خُبویای اص ‪ f‬ثبضذ‪ ،‬تأثیش َش یه اص ایه‬
‫سا تبثغ گًسی (خذيل ‪ )5.4‬ثب میوبوگیه‬ ‫( (‬ ‫محذيد میضًد‪ .‬مؼمًالً تبثغ ))‬ ‫ثٍ مىغمٍی وضدیه ثٍ ومغٍی‬ ‫( (‬ ‫))‬

‫ي ياسیبوس 𝜎 دس وظش می گیشوذ‪.‬‬

‫(‬ ‫)‬
‫𝜎‬
‫( (‬ ‫))‬

‫دس ایىدب ثحث مبن سا محذيد ثٍ چىیه تًاثغ َستٍی گًسی میوىیم‪َ .‬مبن عًس وٍ دس )‪ (Harman 1990‬ویض آمذٌ است فش تبثؼی ساثغوٍی‬

‫‪ 8.8‬میتًاوذ ثب افضایص ‪ k‬ثٍ میضان الص ي تغییش 𝜎 دس َش یه اص ایه تًاثغ ثٍ عًس دلخًاٌ‪َ ،‬ش تبثؼی سا تخمیه ثضوذ‪.‬‬

‫سا‬ ‫( (‬ ‫تبثؼی وٍ دس ساثغٍی ‪ 8.8‬آمذٌ است سا میتًان مطبثٍ یه ضجىٍی دي الیٍ داوست وٍ دس آن الیٍی ايل ممبدیش مختلوف ))‬
‫محبسجٍ میوىذ ي الیٍی دي تشویجی خغی اص ایه ممبدیش خشيخی سا ایدبد میوىذ‪ .‬مثبلی اص تبثغ پبیٍ ای ضؼبع )‪ (RBF‬دس ضىل ‪ 8.2‬وطوبن دادٌ‬
‫ضذٌ است‪.‬‬

‫ضىل ‪ 8.2‬تبثغ ضجىٍی پبیٍ ای ضؼبػی‪.‬‬

‫َش ياقذ پىُبن یه تبثغ فؼبلیت‪ 1‬سا وٍ گًسی ثب میبوگیه است محبسجٍ میوىذ‪ .‬ثىبثشایه‪ ،‬اگش ممذاس ‪ x‬ثٍ وضدیه وجبضذ ممذاس تبثغ فؼبلیت تمشیجبً غفش‬
‫خًاَذ ثًد‪َ .‬ش ياقذ خشيخی تشویجی خغی اص تًاثغ فؼبلیت الیٍی پىُبن است‪ .‬ثب يخًد ایىىٍ ضىل وطبن دادٌ ضذٌ فمظ یه خشيخی داسد‪ ،‬امب ضوجىٍَوبیی سا‬
‫میتًان سبخت وٍ چىذیه خشيخی داضتٍ ثبضىذ‪.‬‬

‫‪1‬‬
‫‪Activation function‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪11‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫ثب مؼلً ثًدن مدمًػٍی ومًوٍ َبی آمًصضی‪ ،‬ضجىٍی ‪ RBF‬دس فشایىذی ‪ 2‬مشقلٍ ای آمًصش دادٌ میضًد‪ .‬اثتذا تؼذاد ياقذ َبی پىُبن ‪ k‬مؼلً‬

‫ثب استفبدٌ اص ساثغٍی خغوبی خُوبوی ‪ 8.5‬ثوشای موبوضیمم‬ ‫ي 𝜎 تؼشیف میگشدد‪ .‬سپس‪ ،‬يصنَبی‬ ‫ي َش ياقذ پىُبن ‪ u‬ثب تؼییه ممذاس‬
‫وشدن تىبست‪ 1‬ضجىٍ ثش سيی دادٌ َبی آمًصضی آمًصش دادٌ میضًوذ‪ ،‬چًن تًاثغ َستٍ ثبثت وگٍ داضتٍ ضذٌاوذ‪ ،‬دس ایوه مشقلوٍ تؼیویه ووشدن‬
‫میتًاوذ ثسیبس مًثش ثبضذ‪.‬‬ ‫يصنَبی خغی‬

‫سيشَبی خبیگضیه ثسیبسی ثشای تؼییه تؼذاد ياقذ َبی الیٍی پىُبن یب َمبن تؼذاد تًاثغ َستٍ اسائٍ ضذٌ است‪ .‬یىی اص ایوه سيشَوب دس وظوش‬
‫است‪ .‬میتًان ثشای َموٍی ایوه تًاثوغ َسوتٍ میوضان‬ ‫) (‬ ‫ثشای َش ومًوٍی‬ ‫گشفته یه تبثغ َستٍی گًسیای ثب میبوگیه‬
‫پُىبی یىسبوی سا دس وظش گشفت (ياسیبوسَب سا مسبيی گشفت)‪ .‬یىی اص مضیتَبی ایه سيش تىبست وبمل ضجىٍی ‪ RBF‬ثوب دادٌ َوبی آمًصضوی‬
‫تًاثغ گًسی سا عًسی تشویت وشد‬ ‫است‪ .‬ثٍ ػجبست دیگش‪ ،‬میتًان ثشای َش دستٍی دلخًاٌ آمًصضی ‪ m‬ومًوٍ ای ثب تؼییه مىبست‬
‫) (̂ ‪.‬‬ ‫داضتٍ ثبضیم‪( ) ،‬‬ ‫) (‬ ‫وٍ ثشای تمبمی ومًوٍ َبی‬

‫سيش دي ‪ ،‬اوتخبة مدمًػٍ ای اص تًاثغ َستٍ ای است وٍ تؼذادضبن اص تؼذاد ومًوٍ َبی آمًصضی ومتش است‪ .‬ایه سيش مخػًغوبً صموبوی ووٍ‬
‫تؼذاد ومًوٍ َبی آمًصضی صیبد است ثسیبس مًثش تش اص سيش ايل است‪ .‬مشاوض تًاثغ َستٍ میتًاوىذ تًصیغ یىىًاختی ثوش سيی فضوبی ومًووٍ ای ‪X‬‬
‫داضتٍ ثبضذ‪ .‬یب دس ممبثل‪ ،‬ممىه است ثخًاَیم مشاوض تًاثغ َستٍ سا ثٍ عًس غیش یىىًاخت دس فضبی ومًوٍ ای پخص وىیم‪ ،‬مؼمًالً صمبوی وٍ خًد‬
‫ومًوٍ َبی آمًصضی تًصیغ غیش یىىًاخت دس فضبی ومًوٍ ای داسوذ چىیه سيش مًسد استفبدٌ لشاس میگیشد‪ .‬دس چىیه ضشایغی میتًان مشاوض تًاثغ‬
‫َستٍ سا صیش مدمًػٍ ای تػبدفی اص ومًوٍ َبی آمًصضی لشاس داد‪ ،‬ثب ایه وبس اص تًصیغ اقتمبل قبوم ثش تًصیغ ومًوٍَب ومًوٍ ثشداسی میوىویم‪ .‬یوب‬
‫ممىه است خًضٍ َبی ومًوٍَب‪ 2‬سا تطخیع دادٌ ي تبثغ َستٍ ای ثب مشوض َش وذا سا دس وظش ثگیشیم‪ .‬تؼییه مىبن تًاثغ َستٍ ثٍ ایه غًست سا‬
‫میتًان ثب استفبدٌ اص الگًسیتمَبی خًضٍ یبثی‪ 3‬وٍ ثب ومًوٍ َبی آمًصضی (ي وٍ ممبدیش َذفطبن) سا ثب تشویجی اص تًاثغ گًسوی تخمویه مویصوىوذ‬
‫اودب داد‪ .‬الگًسیتم ‪ ،EM‬وٍ دس ثخص ‪ 6.12.1‬ثشسسی ضذ‪ ،‬الگًسیتمی ثشای پیذا وشدن تشویجی اص ‪ k‬تبثغ گًسی ثشای تىبست ثُیىٍ ثب ومًوٍ َبی‬
‫ثوٍ ضوشط داضوته‬ ‫مطبَذٌ ضذٌ سا اسائٍ میوىذ‪ .‬دس الگًسیتم ‪ ،EM‬میبوگیهَب عًسی اوتخبة میضًوذ ووٍ اقتموبل مطوبَذٌی ومًووٍ َوبی‬
‫میبوگیهَبی تخمیىی قذاوثش ضًد‪ .‬تًخٍ داسیذ وٍ ممبدیش تبثغ َذف ) ( دس محبسجبت مشاوض تًاثغ َستٍ دس متوذ َوبی خًضوٍ یوبثی دسگیوش‬
‫ومیضًد ي تىُب تأثیش ممبدیش تبثغ َذف ) ( دس ایه قبلت مطخع وشدن يصنَبی الیٍی خشيخی است‪.‬‬

‫ثٍ عًس خالغٍ‪ ،‬ضجىٍ َبی تًاثغ پبیٍ ای ضؼبػی‪ ،‬تخمیىی خُبوی ثب تشویت خغی تًاثغ َستٍی محلی ثشای تبثغ َذف ایدوبد مویوىىوذ‪ .‬مموذاس‬
‫تًاثغ َستٍ فمظ صمبوی وبچیض ویست وٍ ومًوٍی ‪ x‬دس وبقیٍ تؼشیف ضذٌ ثب مشوض ي ػشؼ ثبضذ‪ .‬ثىبثشایه ثٍ ضوجىٍ َوبی تًاثوغ پبیوٍ ای ضوؼبػی‬
‫میتًان ثٍ دیذ تشویت خغی َمًاس تؼذاد صیبدی تخمیه محلی اص تبثغ َذف وگبٌ وشد‪ .‬یىی اص مضیتَبی ولیذی ضجىٍ َبی ‪ RBF‬ایه است وٍ‬
‫ایه ضجىٍَب سا میتًان ساقتتش اص ضجىٍ َبی ‪ feedforward‬ثب الگًسیتم ‪ Backpropagation‬آمًصش داد‪ .‬ایه قمیمت اص ایه سي اسوت‬
‫وٍ الیٍی ايل ي الیٍ دي ضجىٍ َبی ‪ RBF‬ثٍ عًس خذاگبوٍ آمًصش دادٌ میضًوذ‪.‬‬

‫‪1‬‬
‫‪fitness‬‬
‫‪2‬‬
‫‪prototypical clusters of instances‬‬
‫‪3‬‬
‫‪clustering algorithms‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪12‬‬

‫‪ 1.8‬استذالل مبتنی بر شرایط‬

‫سيشَبی مجتىی ثش ضشایظ‪ 1‬مثل ‪ k-Nearest Neighbor‬ي ثشاصش يصن داس محلی دس سٍ يیژگی ولیذی مطتشوىذ‪ .‬اثتذا ایىىوٍ ایوه متوذَب‬
‫تىجلىذ‪ ،2‬ثذیه مؼىب وٍ تؼمیم ثش سيی ومًوٍ َبی آمًصضی سا ثٍ صمبوی وٍ یه ومًوٍی خذیذ اسائٍ میضًد مًوًل مویوىىوذ‪ .‬دي ایىىوٍ ومًووٍی‬
‫خذیذ سا ثش اسبس ومًوٍ َبی مطبثٍ دستٍ ثىذی میوىىذ ي ثب ومًوٍ َبی متفبيت ثب ومًوٍی خذیذ وبسی وذاسوذ‪ .‬سً ایىىٍ ثٍ ومًوٍَب ثوٍ ضوىل‬
‫ومبعی دس فضبی ‪ n‬ثؼذی اللیذسی وگبٌ میوىىذ‪ .‬استذالل مجتىی ثش ضشایظ )‪ 3 (CBR‬دي يیژگی ايل سا داسد‪ ،‬امب دس يیژگی سوً مطوبثٍ دي متوذ‬
‫لجلی ویست‪ .‬دس ‪ ،CBR‬مؼمًالً ومًوٍَب ثب تًضیحبتی غىیتش ومبیص دادٌ میضًوذ ي متذ َبی استخشاج ومًوٍ َبی مطبثٍ ویض استبداوٍ تش َسوتىذ‪.‬‬
‫‪ CBR‬دس مسبئلی چًن عشاقی مفًُمی لغؼبت مىبویىی ثش اسبس پبیگبٌ دادٌ ای اص عشاقیَبی لجلوی )‪ ، (Sycara et al. 1992‬اسوتذالل‬
‫دسثبسٌی پشيوذٌ َبی لبوًوی ثش اسبس قىمَبی لجلی )‪ ، (Ashley 1990‬ي قل مسبئل ثشوبمٍ سیضی ثش اسبس استفبدٌی ديثبسٌ ي ثوبص تشویوت‬
‫قلَبی لجلی مسبئل مطبثٍ )‪ (Veloso 1992‬ثٍ وبس گشفتٍ ضذٌ است‪.‬‬

‫ثیبییذ ثحث سا ثب مغشح وشدن یه فش ولی اص مسبئل مجتىی ثش ضشایظ ضشيع وىیم‪ .‬سیسوتم ‪ (Sycara et al. 1992) CADET‬اص اسوتذالل‬
‫مجتىی ثش ضشایظ ثشای َمىبسی دس عشاقی مفًُمی لغؼبت مىبویىی سبدٌ چًن ضیش آة استفبدٌ میوىذ‪ .‬ایه سیستم اص پبیگبٌ دادٌ ای ثوب قوذيد‬
‫‪ 75‬عشاقی لغؼٍ عشاقی لجلی ثشای پیطىُبد دادن عشاقی مفًُمی متىبست ثب خبغیتَبی مسئلٍی عشاقی خذیذ استفبدٌ میوىذ‪َ .‬وش ومًووٍی‬
‫رخیشٌ ضذٌ دس قبفظٍ (ثشای مثبل‪ ،‬یه لًلٍی آة) ثب دي يیژگی سبختبس ي لبثلیتَب تًغیف ضذٌ است‪ .‬مسبئل عشاقی خذیذ مؼلً وشدن سوبختبس‬
‫ثب داوسته لبثلیتَبی الص خًاَذ ثًد‪ .‬ایه تؼشیف مسئلٍ دس ضىل ‪ 8.3‬وطبن دادٌ ضذٌ است‪ .‬ویمٍی ثبالیی ضىل تًغیف یوه ومًووٍی رخیوشٌ‬
‫ضذٌ دس قبفظٍ ثٍ وب لًلٍی اتػبل ‪ T‬ضىل‪ 4‬سا وطبن میدَذ‪ .‬لبثلیتَبی ایه لغؼٍ ثب سياثظ ثویه خشیوبنَوبی آة ي دموبی يسيدی ي خشيخوی‬
‫ومبیص دادٌ ضذٌ است‪ .‬دس ومبیص لبثلیتَب دس سمت ساست ػالمت ‪ +‬ثٍ ایه مؼىبست وٍ متغیش دس سمت اوتُبی پیىبن ثب افضایص متغیوش سومت‬
‫افضایص مییبثذ‪ .‬ثٍ عًس مطبثٍ‪ ،‬ػالمت‬ ‫ثب افضایص خشیبن آة يسيدی‬ ‫اثتذای پیىبن افضایص خًاَذ یبفت‪ .‬ثشای مثبل‪ ،‬خشیبن آة خشيخی‬
‫– ثٍ ایه مؼىبست وٍ متغیش اوتُبی پیىبن ثب افضایص متغیش اثتذای پیىبن وبَص مییبثذ‪ .‬ایه وًع لبثلیتَوب سفتوبس الص ثوشای ووًػی ضویش آة سا‬
‫خشیوبن تشویجوی خشيخوی ضویش سا وطوبن‬ ‫خشیبن آة گش ثوٍ ضویش ي‬ ‫وطبن دَىذٌی خشیبن آة سشد ي‬ ‫مطخع میوىذ‪ .‬دس ایىدب‬
‫سیگىبل وىتشل دمبی آة خشيخی ضویش ي‬ ‫دمبی آة سشد‪ ،‬گش ي تشویجی سا وطبن میدَىذ‪ .‬متغیش‬ ‫ي‬ ‫ي‬ ‫میدَذ‪ .‬ثٍ عًس مطبثٍ‬
‫تأثیش میگزاسوذ‪ ،‬ي ثٍ عًس غیش مسوتمیم‬ ‫ي‬ ‫ثش خشیبنَبی‬ ‫ي‬ ‫سیگىبل وىتشل خشیبن خشيخی ضیش است‪ .‬تًخٍ داسیذ وٍ وىتشلَبی‬
‫تأثیش داسوذ‪.‬‬ ‫ي دمبی خشيخی آة ضیش‬ ‫ثش خشیبن‬

‫ثب مؼلً ثًدن لبثلیت اوتظبسی عشاقی خذیذ‪ CADET ،‬دس پبیگبٌ دادٌی خًد ثٍ دوجبل ومًوٍَبیی ثب لبثلیتَبی مطبثٍ میگوشدد‪ .‬اگوش ومًووٍ ای‬
‫دلیمبً ثب لبثلیت اوتظبسی َمبَىگی داضت‪ ،‬پس میتًان اص َمبن عشاقی ثشای قل مسئلٍ استفبدٌ وشد‪ ،‬پوس عشاقوی ومًووٍ ثوٍ ػىوًان ساٌ قول‬
‫پیطىُبدی سیستم اسائٍ میضًد‪ .‬اگش َیچ ومًوٍ ای لبثلیت دلیمبً ثب لبثلیوتَوبی اوتظوبسی يخوًد وذاضوت ‪ CADET‬قبلوتَوبیی سا ووٍ گوشاف‬
‫لبثلیتَبیطبن ثب لسمتی اص گشاف لبثلیت اوتظبسی تغبثك داضتٍ ثبضذ پیذا خًاَذ وشد‪ .‬ثشای مثبل دس ضىل ‪ 8.3‬لبثلیتَبی اتػبل ‪ T‬ضىل ثب یىی‬
‫اص صیش گشافَبی لبثلیتَبی ضیش مًسد وظش تغبثك داسد‪ .‬دس قبلت ولیتش‪ CADET ،‬ثٍ دوجبل صیش گشافَوبیی َمطوىل‪ 5‬ثویه دس گوشاف لبثلیوت‬

‫‪1‬‬
‫‪Cased-Based‬‬
‫‪2‬‬
‫‪lasy‬‬
‫‪3‬‬
‫‪Cased-Based reasoning‬‬
‫‪4‬‬
‫‪T-junction pipe‬‬
‫‪5‬‬
‫‪isomorphism‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪13‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫میگشدد‪ ،‬ثىبثشایه ممىه است لسمتَبیی اص یه لبثلیت اوتظبسی ممىه است ثب لسمتَبی اص یه عشاقی خبظ تغبثك داضتٍ ثبضذ‪ .‬ػاليٌ ثوش‬
‫ایه‪ ،‬سیستم میتًاوذ ثٍ عشص استبداوٍ ای لبثلیتَبی اغلی سا ثشای پیذا وشدن گشافَبیی ثب لبثلیتَبی مؼبدل تغییش دَذ تب ثتًاووذ عشاقویَوبی‬
‫ثیطتشی سا وٍ ثب گشاف مؼبدل تغبثك داسوذ پیذا وىذ‪ .‬ایه سیستم اص داوص ولی تأثیشات فیضیىی ثوشای ایدوبد چىویه گوشافَوبی لبثلیوت مؼوبدلی‬
‫استفبدٌ میوىذ‪ .‬ثشای مثبل‪ ،‬ایه سیستم اص لبوًن ثبصوًیسیای استفبدٌ میوىذ وٍ ػجبست‬

‫سا ثٍ ػجبست‬

‫تجذیل میوىذ‪ .‬ایه لبوًن ثبصوًیسی سا میتًان ثٍ فش ایىىٍ "اگش ‪ A‬ثبیذ ثب افضایص ‪ B‬افضایص ثیبثذ‪ ،‬وبفی است وٍ ومیتی مثل ‪ x‬سا پیذا وىیم وٍ‬
‫‪ B‬ثب افضایص ‪ x‬افضایص ثیبثذ ي ‪ x‬ویض ثب افضایص ‪ A‬افضایص ثیبثذ‪ .‬دس ایىدب ‪ x‬ومیتی خُبوی است وٍ ممذاسش دس تغبثك گشاف لبثلیتَبی اوتظبسی‬
‫ثب ومًوٍ َبی پبیگبٌ دادٌ محذيد است‪ .‬دس قمیمت گشاف لبثلیتَبی اوتظبسی ضیش دس ضىل ‪َ 8.3‬مبن لبثلیتَبی اغلی است وٍ ثب ایوه لوبوًن‬
‫ثبصوًیسی ضذٌ است‪.‬‬

‫ثب ثبصیبثی ومًوٍَبیی وٍ ثب صیش گشافَبیی اص لبثلیتَبی اوتظبسی تغبثك داسوذ‪ ،‬عشاقی ولی سا میتًان وىبس َم لشاس داد‪ .‬دس ول‪ ،‬فشایىذ ایدوبد ساٌ‬
‫قل وُبیی اص چىذیه ومًوٍی ثبصیبثی ضذٌ میتًاوذ ثسیبس پیچیذٌ ثبضذ‪ .‬ایه فشایىذ ممىه است ػاليٌ ثش تشویت ومًوٍ َبی ثبصیبثی ضوذٌ ویوبص ثوٍ‬
‫عشاقی لسمتَبیی اص سیستم اص لًاویه ايلیٍ ویبص داضتٍ ثبضذ‪َ .‬مچىیه ممىه است ویبص ثٍ ثبصگطت ثٍ اوتخبةَبی لجلی عشاقی صیش َذفَب‪ ،‬ي‬
‫متؼبلجبً سد وشدن ومًوٍ ثبصیبثی ضذٌ داضتٍ ثبضذ‪ CADET .‬لبثلیتَبی ثسیبس محذيدی دس تشویت ي تدضیوٍی ومًووٍ َوبی ثبصیوبثی ضوذٌ داسد ي‬
‫ثىبثشایه دس ایه مشقلٍ اص فشایىذ ثٍ ضذت ثٍ وبسثش ياثستٍ است‪َ .‬مبن عًس وٍ دس )‪ (Sycara et al. 1992‬ویض تًغیف ضذٌ‪ CADET ،‬یوه‬
‫سیستم ولی تحمیمبتی ثشای وبيش ومص ثبلمًٌی استذالل مجتىی ثش ضشایظ دس عشاقی مفًُمی است‪ .‬ایه سیستم الگًسیتمَبی الص ثشای تغییوش‬
‫عشاقیَبی ايلیٍ ي سسیذن ثٍ عشاقی وُبیی سا ضبمل ومیضًد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪14‬‬

‫ضىل ‪ 8.3‬یه ومًوٍی رخیشٌ ضذٌ ي یه مسئلٍی خذیذ‪.‬‬

‫ویمٍی ثبالی یه عشاقی خضئی سا دس پبیگبٌ دادٌی ‪ CADET‬وطبن میدَذ‪ .‬وبساییَب ثب ومًداس ياثستگی ومیتَب دس میبن متغیش َبی اتػبل ‪ T‬ضىل (وٍ دس‬
‫مته تًضیح دادٌ ضذٌ) ومبیص دادٌ ضذٌ است‪ .‬ویمٍی پبییه ضىل ومًوٍ ای اص مسئلٍی مؼمًل عشاقی سا وطبن میدَذ‪.‬‬
‫ثشسسی تىبظش ثیه تؼشیف مسئلٍ َبی ‪ CADET‬ي تؼشیف مسئلٍی ولی متذ َبی چًن ‪ k-Nearest Neighbor‬میتًاوذ ثسیبس مفیوذ ثبضوذ‪.‬‬
‫دس ‪َ CADET‬ش ومًوٍی آمًصضی رخیشٌ ضذٌ گشاف لبثلیت ي سبختبسی وٍ ایه لبثلیت سا ػملی مویوىوذ دس ثشموی گیوشد ي ومًووٍ َوبی خذیوذ‬
‫گشافَبی لبثلیت خذیذ َستىذ‪ .‬ثىبثشایه‪ ،‬میتًان تؼشیف مسئلٍی ‪ CADET‬سا ثب تؼشیف ‪ X‬ثٍ ػىًان فضبی تمبمی گشافَبی لبثلیت ثوٍ ضوىل‬
‫ومبدگزاسی استبوذاسدمبن ثیبن وشد‪ .‬تبثغ َذف ‪ f‬ایه گشافَبی لبثلیت سا ثٍ سبختبسَبی ػملی آنَب تجذیل میوىذ‪ .‬پس َش ومًوٍی رخیوشٌ ضوذٌ‬
‫سا میتًان ثب گشاف لبثلیت ‪ x‬ي سبختبس )‪ f(x‬وٍ سبختبس ػملی ‪ x‬اسوت وموبیص داد‪ .‬ایوه سیسوتم ثبیوذ ثوب اسوتفبدٌ اص‬ ‫) (‬ ‫ثٍ فش‬
‫پیذا وىذ‪.‬‬ ‫( سا ثشای لبثلیت اوتظبسی‬ ‫ومًوٍ َبی آمًصضی یبد ثگیشد تب سبختبس خشيخی )‬

‫ایه عشح سیستم ‪ CADET‬تؼذاد صیبدی اص خًاظ ػمًمی سیستمَبی استذالل مجتىی ثوش ضوشایظ سا ووٍ آنَوب سا اص الگوًسیتمَوبی چوًن ‪k-‬‬
‫‪ Nearest Neighbor‬تمییض میدَىذ وطبن میدَذ‪.‬‬

‫ومًوٍَب یب قبالت‪ 1‬سا ممىه است ثب تًضیحبت ومبدیه غىی‪ ،‬مثل گشافَبی لبثلیت دس ‪ CADET‬ومبیص دَیم‪ .‬ایه سیسوتم ویوض ثوٍ‬ ‫‪‬‬
‫مؼیبسی استبوذاسد مطبثٍ فبغلٍی اللیذسی‪ ،‬مثل اوذاصٌی ثضسيتشیه صیش گشاف مطتشن ثیه دي گشاف لبثلیت‪ ،‬ثشای تؼییه تطوبثٍ ثویه‬
‫ومًوٍَب ویبص داسد‪.‬‬
‫ممىه است ثشای ایدبد ساٌ قل خذیذ اص تشویت ومًوٍ َبی ثبصیبثی ضذٌ اسوتفبدٌ وىویم‪ .‬ایوه خبغویت مطوبثٍ سيش ‪k-Nearest‬‬ ‫‪‬‬
‫‪ Neighbor‬است‪ ،‬دس ‪ k-Nearest Neighbor‬ویض اص ومًوٍ َبی مطبثٍ ثشای سبختٍ دستٍ ثىذی ومًوٍی خذیذ استفبدٌ میضًد‪.‬‬
‫ثب ایه يخًد‪ ،‬ایه فشایىذ دس استذالل مجتىی ثش ضشایظ ممىه است ثسیبس پیچیذٌ ثبضذ ي ویبص ثٍ اسوتذالل مجتىوی ثوش داووص ثوٍ خوبی‬
‫متذ َبی آمبسی خًاَذ داضت‪.‬‬
‫ممىه است ساثغٍی وضدیىی ثیه ثبصیبثی ومًوٍَب‪ ،‬استذالل مجتىی ثش داوص ي قل مسئلٍ يخًد داضتٍ ثبضذ‪ .‬یىی اص مثبلَبی سبدٌی‬ ‫‪‬‬
‫چىیه استجبط وضدیىی دس ‪ CADET‬دیذٌ میضًد‪ ،‬ایه سیستم اص داوص ولی دسثبسٌی تأثیشات ثشای ثبصوًیسوی گوشافَوبی لبثلیوت دس‬
‫تالضص ثشای پیذا وشدن ومًوٍ َبی مطبثٍ استفبدٌ میوىذ‪ .‬سیستمَبی دیگشی ویض عشاقی ضذٌاووذ ووٍ ووبمالً اسوتذالل مجتىوی ثوش‬

‫‪1‬‬
‫‪cases‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪15‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫ضشایظ سا ثٍ سیستمَبی قل مسئلٍی مجتىی ثوش خسوتدً‪ 1‬تجوذیل مویوىىوذ‪(Golding and Rosenbloom Anapron.‬‬
‫)‪ 1991‬ي ‪ (Veloso 1992) Prodigy/Analogy‬چىیه سیستمَبیی َستىذ‪.‬‬
‫ثٍ عًس خالغٍ استذالل مجتىی ثش ضشایظ متذ یبدگیشی مجتىی ثش ومًوٍَبست وٍ ومًوٍَب دس ان ثب تًضیحبت غىی وسجی ثیوبن ضوذٌ ي ثبصیوبثی ي‬
‫تشویت ومًوٍَب ثشای قل ومًوٍی خذیذ ياثستٍ ثٍ داوص لجلی ي متذَبی لًی خستدًیی قل مسئلٍ ثبضذ‪ .‬مطىالت فؼلی اسوتذالل مجتىوی ثوش‬
‫ضشایظ ایدبد متذ َبی ثُیىٍی فُشست ثىذی ومًوٍَبست‪ .‬مطىل اغلی مؼیوبس تطوخیع تطوبثُبت (ثوشای مثوبل‪ ،‬صیوش گوشافَوبی مطوبثٍ دس‬
‫گشافَبی لبثلیت) وٍ تخمیىی اص ساثغٍی ومًوٍ خضئی ثب مسئلٍی خضئی است میثبضذ‪ .‬صمبوی وٍ سیسوتم ‪ CBR‬ثوشای اسوتفبدٌ اص ومًووٍ َوبی‬
‫ثبصیبثی ضذٌ تالش میوىذ ممىه است مطىالت وبضی اص ایه مؼیبس تطبثٍ سا وپًضبوذ‪ .‬ثشای مثبل دس ‪ CADET‬تىٍ عشاقویَوبی ثبصیوبثی ضوذٌ‬
‫ممىه است ثب یىذیگش دس تضبد ثبضذ‪ ،‬ي دس وتیدٍ دیگش تشویت ي سبخت عشاقی سبصگبس غیشممىه خًاَذ ثًد‪ .‬دس وول صموبوی ووٍ چىویه اتفوبلی‬
‫میافتذ‪ ،‬سیستم ‪ CBR‬میتًاوذ ثبصگطتٍ ي ثٍ دوجبل ومًوٍ َبی دیگشی دس میبن ومًوٍ َبی مًخًد ثگشدد‪ ،‬یب مسئلٍ سا ثٍ متذ قل مسئلٍ ای دیگش‬
‫ياگزاس وىذ‪ .‬صمبوی وٍ چىیه مطىالتی تطخیع دادٌ میضًوذ‪ ،‬ومًوٍ َبی آمًصضی ثشای ثُجًد مؼیبس تطبثٍ‪ ،‬یب ثوٍ عوًس مؼوبدل‪ ،‬فُشسوت ثىوذی‬
‫سبختبس دس پبیگبٌ دادٌ فشاَم میضًد‪ .‬دس ول صمبوی وٍ ومًوٍ ای ثش اسبس مؼیبسی ثبصیبثی میضًد‪ ،‬امب ثوش اسوبس ثشسسویَوبی ثؼوذی ووبمشثًط‬
‫تطخیع دادٌ میضًد‪ ،‬ثبیذ مؼیبس عًسی ثبصثیىی ضًد وٍ ایه ومًوٍ سا دس خستدً َبی آیىذٌ سد وىذ‪.‬‬

‫‪8‬‬
‫‪ 1.8‬نکاتی در مورد یادگیریهای تنبل و کوشا‬
‫دس ایه فػل سٍ متذ تىجل سا ثشسسی وشدیم‪ ،k-nearest neighbors :‬ثشاصش يصن داس محلی ي استذالل مجتىی ثش ضشایظ‪ .‬ایه متذَب ثوشای‬
‫ایىىٍ چگًوگی تؼمیم سيی ومًوٍ َبی آمًصضی سا ثٍ صمبوی وٍ ومًوٍی خذیذ اسائٍ میضًد ياگزاس میوىىوذ‪ ،‬تىجول خًاووذٌ مویضوًوذ‪َ .‬مچىویه‬
‫متذ َبی وًضبیی سا ویض ثشسسی وشدیم‪ :‬متذَبیی وٍ ثشای یبدگیشی ضجىٍ َبی تًاثغ پبیٍ ای ضؼبػی استفبدٌ میضًد‪ .‬ایه متذَب سا چًن تؼمیم سا‬
‫لجل اص مًاخٍُ ثب ومًوٍی خذیذ اودب میدَىذ وًضب میوبمیم‪ ،‬ایه تؼمیم ثب سبختبس ضجىٍ ي يصنَبی تؼشیف ضذٌ ثشای تخمیه تبثغ َذف اودوب‬
‫میضًد‪ .‬ثٍ ایه تشتیت تمبمی الگًسیتمَبی مؼشفی ضذٌ دس ایه وتبة (مثل‪ Backpropagation ،‬ي ‪ )C4.5‬الگًسیتمَوبی یوبدگیشی وًضوب‬
‫َستىذ‪.‬‬

‫آیب آوچٍ الگًسیتمَبی تىجل میتًاوىذ یبد ثگیشوذ ثب آوچٍ الگًسیتمَبی وًضب میتًاوىذ یبد ثگیشوذ تفبيت چطوم گیوشی داسد؟ ثیبییوذ اثتوذا دي ووًع‬
‫تفبيت سا مطخع وىیم‪ :‬تفبيت دس صمبن محبسجبت ي تفبيت دس دستٍ ثىذیَبی تًلیذ ضذٌ ثشای ومًوٍ َبی خذیذ‪ .‬تفبيتَبی ياضوحی دس صموبن‬
‫محبسجٍی الگًسیتمَبی یبدگیشی تىجل ي وًضب يخًد داسد‪ .‬ثشای مثبل‪ ،‬متذ َبی تىجل دس عًل آمًصش محبسجبت ومتشی الص داسوذ‪ ،‬امب دس َىگب‬
‫پیص ثیىی يیژگی َذف ثشای ومًوٍی خذیذ محبسجبت صیبدی اودب میدَىذ‪.‬‬

‫سؤال اسبسیتش ایه است وٍ آیب تفبيتَبی اسبسیای دس ثبیبسَبی استمشایی الگًسیتمَبی تىجل ي الگًسیتمَبی وًضب يخوًد داسد‪ .‬اص ایوه وظوش‬
‫تفبيتَبی صیش ثیه متذ َبی تىجل ي وًضب يخًد داسد‪.‬‬

‫دس متذ َبی تىجل گبَی تػمیم گیشی ثشای چگًوگی تؼمیم ثش سيی دادٌ َبی آمًصضی ‪ D‬ثٍ ومًوٍی آمًصضی اسائٍ ضذٌ ویوض ياثسوتٍ‬ ‫‪‬‬
‫میضًد‪.‬‬

‫‪1‬‬
‫‪search-based‬‬
‫‪2‬‬
‫‪eager‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪16‬‬

‫متذ َبی وًضب ایه ياثستگی سا ومیتًاوىذ داضتٍ ثبضىذ‪ ،‬صمبوی وٍ یه متذ وًضب ثب یه ومًوٍی خذیذ مًاخٍ میضًد‪ ،‬تخمیه خُوبوی‬ ‫‪‬‬
‫سا اودب دادٌ است‪.‬‬
‫آیب ایه تمبیض دلت تؼمیم یبدگیش سا تحت تأثیش لشاس میدَذ؟ اگش دي یبدگیش وًضب ي تىجل اص فضبی فشضیٍ ای یىسبوی مثل ‪ H‬استفبدٌ وىىوذٌ ایوه‬
‫تمبیض تأثیش گزاس میضًد‪ .‬ثشای تػًس‪ ،‬فشؼ وىیذ فضبی فشضیٍ ای تمب تًاثغ خغی است‪ .‬اگش اص متذ ثشاصش يصن داس محلی وٍ لجالً مغوشح ضوذ‬
‫ثشای تؼمیم سي ومًوٍ َبی آمًصضی ایه متذ فشضیٍ ای سا اوتخبة میوىذ ووٍ‬ ‫ثشای ایه فضبی فشضیٍ استفبدٌ وىیم‪ ،‬ثشای َش ومًوٍی خذیذ‬
‫ثبضذ‪ .‬دس ومغٍی ممبثل‪ ،‬یه یبدگیش وًضب وٍ اص َمبن فضبی فشضیٍ ای تًاثغ خغی استفبدٌ میوىذ‪ ،‬تخمیه خًد سا اص تبثغ َذف لجل‬ ‫وضدیه‬
‫اص مًاخٍُ ثب ومًوٍ َبی خذیذ مطخع میوىذ‪ .‬ثىبثشایه یبدگیش وًضب فمظ ثش اسبس یه تبثغ خغی ومًوٍ َبی خذیذ ي وول فضوبی ومًووٍ ای سا‬
‫دستٍ ثىذی میوىذ‪ .‬پس متذ َبی تىجل وٍ اص فضبی فشضیٍ ای ضبملی استفبدٌ میوىىذ صیشا وٍ ثب استفبدٌ اص میىیممَوبی مًضوؼی تًاثوغ خغوی‬
‫ثشای تطىیل تخمیىطبن اص تبثغ َذف استفبدٌ میوىىذ‪ .‬تًخٍ داضتٍ ثبضیذ وٍ ایه ضشایظ ثشای یبدگیش َبی دیگش ي فضبی فشضیٍ َبی دیگوش ویوض‬
‫غبدق است‪ .‬ثشای مثبل وسخٍی تىجل ‪ Backpropagation‬میتًاوذ ثشای َش ومًوٍی خذیذ یه ضجىٍی ػػجی یبد ثگیوشد‪ ،‬اموب وسوخٍی‬
‫وًضب (فػل ‪ )4‬فمظ یه ضجىٍی ػػجی ثشای ول ومًوٍَب یبد خًاَذ گشفت‪.‬‬

‫وىتٍی ولیذی دس پبساگشاف ثبال ایه است وٍ یبدگیش تىجل میتًاوذ ثب تشویت تخمیهَبی مًضؼی تبثغ َذف سا یبد گیشد‪ ،‬دس قبلی وٍ یبدگیش وًضب‬
‫فمظ یه تخمیه خُبوی سا ثب تًخٍ ثٍ ومًوٍ َبی آمًصضی یبد میگیشد‪ .‬ایه تفبيت ثیه یبدگیشی وًضب ي تىجل ثٍ تفبيت ثویه تخمویه مًضوؼی ي‬
‫خُبوی تبثغ َذف ثش میگشدد‪.‬‬

‫آیب میتًان متذ َبی وًضبیی سبخت وٍ اص تخمیهَبی مًضؼی استفبدٌ وىذ؟ ضجىٍ َبی ‪ RBF‬تالضی ثشای دست یبثی ثٍ چىیه متذَبیی است‪.‬‬
‫متذ َبی یبدگیشی ‪ RBF‬وٍ مب ثشسسی وشدیم تخمیه خُبوی اص تبثغ َذف سا دس صمبن یبدگیشی ایدبد میوىىذ‪ ،‬ثب ایه يخًد‪ ،‬یوه ضوجىٍی ‪RBF‬‬
‫ایه تبثغ خُبوی سا ثٍ غًست تشویت خغی چىذیه تبثغ َستٍی مًضؼی ثیبن میوىذ‪ .‬امب چًن یبدگیشی ‪ RBF‬ثبیذ لجول اص مًاخُوٍ ثوب ومًووٍی‬
‫خذیذ ایه فشضیٍ سا مطخع وىذ‪ ،‬ایه تخمیهَبی مًضؼی مطبثٍ تًاثغ مًضؼی یبدگیش تىجل وٍ مخػًغبً ثشای ومًوٍی خذیذ سوبختٍ ضوذٌاووذ‪،‬‬
‫مىحػشاً ثشای ومًوٍی خذیذ سبختٍ وطذٌاوذ‪ .‬دس ػًؼ‪ ،‬ضجىٍ َبی ‪ RBF‬ثٍ غًست وًضب اص تًاثغ مًضؼی وٍ دس قًالی ومًوٍ َبی آمًصضوی یوب‬
‫دستٍ ومًوٍ َبی آمًصضی ایدبد میضًد‪ ،‬تطىیل ضذٌاوذ‪ ،‬امب ایه تخمیه مًضؼیای قًالی ومًوٍی مدًُل خذیذ سبختٍ ومیضًد (ثذیه مفُوً‬
‫وٍ َش تخمیه مىحػش ثٍ ومًوٍی خذیذ ویست ي ثشای تمبمی ومًوٍ َبی خذیذ اسائٍ میگشدد)‪.‬‬

‫ثٍ عًس خالغٍ‪ ،‬متذ َبی تىجل قك اوتخبة ثیه فشضیٍَب یب تخمیهَبی مًضؼی تبثغ َذف ثشای َش ومًوٍی خذیذ داسوذ‪ .‬دس قبلی وٍ متذ َوبی‬
‫وًضب محذيدتشوذ ي ثبیذ ثب استفبدٌ اص یه فشضیٍ ثبیذ ول فضبی ومًوٍ ای سا پًضص دَىذ‪ .‬الجتٍ متوذ َوبی وًضوب ویوض مویتًاوىوذ اص تشویجوی اص‬
‫تخمیهَبی مًضؼی استفبدٌ وىىذ (مثل ضجىٍ َبی ‪ .)RBF‬ثب ایه يخًد‪ ،‬قتی ایه تشویت تخمیهَبی مًضؼی لبثلیت وبمل متوذ َوبی تىجول دس‬
‫تغییش ثش اسبس ومًوٍی آمًصضی مدًُل سا ثٍ یبدگیش وًضب ومیدَذ‪.‬‬

‫‪ 1.8‬خالصه و منابع برای مطالعهی بیشتر‬

‫وىبت اغلی ایه فػل ضبمل مًاسد صیش میضًد‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪17‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫متذَبی یبدگیشی مجتىی ثش ومًوٍَب ثب دیگش سيشَبی تخمیه تًاثغ اص ایه خُت متفبيتىذ وٍ پشداصش مشثًعٍ ثٍ ومًوٍ َبی آمًصضوی‬ ‫‪‬‬
‫سا ثٍ صمبوی وٍ الص است ومًوٍی خذیذی دستٍ ثىذی ضًد ثٍ تؼًیك میاوذاصوذ‪ .‬دس وتیدٍ‪ ،‬ویبصی وذاسوذ وٍ فشضیٍ سا ثٍ عوًس غوشیح‬
‫دس تمبمی فضبی ومًوٍ ای مستمل اص ومًوٍی خذیذ ثیبن وىىذ‪ .‬دس ممبثل ثشاصش محلی اص تبثغ َذف ثشای َش ومًوٍ ثٍ مب میدَىذ‪.‬‬
‫مضیت متذَبی مجتىی ثش ومًوٍ ضبمل لذست مذل سبصی تًاثغ َذف پیچیذٌ ثب استفبدٌ اص تمشیتَبیی ثب پیچیوذگی ومتوش ي ایىىوٍ دادٌ‬ ‫‪‬‬
‫َبی ومًوٍ َبی آمًصضی َیچ گبٌ اص دست وخًاَىذ سفت (ومًوٍَب ثٍ عًس غشیح رخیشٌ خًاَىذ ضذ) اسوت‪ .‬مطوىل ػملیوبتی اغولی‬
‫پشَضیىٍ ثًدن دستٍ ثىذی ومًوٍ َبی خذیذ (مخػًغبً صمبوی وٍ ومًوٍَب ثب خًاظ سمجًلیه پیچیذٌ تًغیف میضًوذ) ي تأثیش مىفوی‬
‫يیژگیَبی وبمشثًط است‪.‬‬
‫الگًسیتم ‪ k-nearest meighbor‬الگًسیتمی مجتىی ثش ومًوٍَب ثشای تمشیت تًاثغ َذف قمیمی ممذاس گسستٍ یب پیًستٍ است ثب‬ ‫‪‬‬
‫ایه فشؼ وٍ ومًوٍَب متىبست ثب فضبی اللیذسی ‪ n‬ثؼذیاوذ‪ .‬ممذاس َذف یه ومًووٍی خذیوذ ثوب مموبدیش ‪ k‬وضدیوهتوشیه ومًووٍی‬
‫آمًصضی تمشیت صدٌ میضًد‪.‬‬
‫متذَبی ثشاصش يصن داس محلی یه تؼمیم اص الگًسیتم ‪ k-nearest meighbor‬اوذ ثب ایه فشؼ ووٍ ثوشای َوش ومًووٍی خذیوذ‬ ‫‪‬‬
‫تمشیجی خغی ایدبد میگشدد‪ .‬ثشاصش محلی تبثغ َذف ممىه است ثش پبیٍی فش َبی مختلفی اص تًاثغ مثل ثبثت‪ ،‬خغی‪ ،‬دسخٍ دي ي یب‬
‫تًاثغ َستٍی محذيد دس فضب ثبضذ‪.‬‬
‫ضجىٍ َبی ‪ RBF‬وًػی اص ضجىٍ َبی ػػجی َستىذ وٍ اص تًاثغ َستٍی محذيد دس فضب سبختٍ میضًوذ‪ .‬ایه ضجىٍَوب سا مویتوًان‬ ‫‪‬‬
‫مخلًعی اص سيشَبی مجتىی ثش ومًوٍَب (تأثیش محذيد دس فضبی َش تبثغ َستٍ) ي سيش ضجىٍ َبی ػػجی (تمشیت ولی تبثغ َذف ثش‬
‫اسبس ومًوٍ َبی آمًصضی ي دس صمبن آمًصش ي وٍ دس َىگب دستٍ ثىذی ومًوٍ َبی خذیذ) داوست‪ .‬اسوتفبدٌ اص ضوجىٍ َوبی ػػوجی‬
‫‪ RBF‬ثٍ عًس مًفك دس وبسثشدَبی اص خملٍ تطخیع تػًیش وٍ دس آن ثشسسی محلیای وبمالً تًخیٍ ضذٌ است ثٍ وبس سفتٍ است‪.‬‬
‫ا ستذالل مجتىی ثش قبلت ویض وًػی سيش مجتىی ثش ومًوٍ است وٍ دس آن ومًوٍَب تًسظ تًضیحبت پیچیذٌی مىغموی ثوٍ خوبی وموبط‬ ‫‪‬‬
‫فضبی اللیذسی ومبیص دادٌ میضًوذ‪ .‬ثب ایه تًغیفبت ومبدیه پیچیذٌی ومًوٍَب‪ ،‬متذَبی ثسیبس ي غىیای ثشای وگبضت ومًووٍ َوبی‬
‫آمًصضی ثٍ ممبدیش تًاثغ َذف پیطىُبد ضذٌ است‪ .‬متذَبی استذالل مجتىی ثش قبلت دس ثسیبسی اص وبسثشدَب مثل مذل سبصی اسوتذالل‬
‫لبوًوی ي ثشای ساَىمبیی خستدً دس تًلیذَبی پیچیذٌ ي مسبئل قمل ومل ثٍ وبس سفتٍ است‪.‬‬
‫الگًسیتم ‪ k-nearest neighbor‬اص خملٍ الگًسیتمَبی یبدگیشی مبضیىی است وٍ وبمالً موًسد تحلیول ي ثشسسوی لوشاس گشفتوٍ‪ ،‬دلیول ایوه‬
‫ثشسسیَب سبدگی ي لذمت ایه الگًسیتم است‪ Cover and Hart (1967) .‬وتبیح تئًسی ايلیوٍ سا مغوشح مویوىىوذ‪Duda and Hart ،‬‬
‫)‪ (1973‬دیذ ولی خًثی اص ایه الگًسیتم اسائٍ میوىذ‪ Bishop (1995) .‬ثحثی دس مًسد الگًسیتم ‪ k-nearest neighbor‬مغشح وشدٌ ي‬
‫ساثغٍی آن سا ثب تخمیه چگبلی تًصیغ اقتمبل سا ثشسسی میوىذ‪ .‬تحمیك خذیذ خًثی وٍ دس ثبسٌ ی متذَبی ثشاصش خغی محلی دس ‪Atkeson‬‬
‫)‪ et al. (1997‬اودب ضذٌ است‪ .‬وبسثشد ایه متذَب دس وىتشل سثبت ویض تًسظ )‪ Atkeson et al. (1997b‬اودب ضذٌ است‪.‬‬

‫ثحث خبمؼی اص تًاثغ پبیٍ ای ضؼبػی دس )‪ Bishop (1995‬اودب گشفتٍ ضذٌ است‪ .‬دیگش وبسثشدَوب ویوض دس )‪ Powell (1987‬ي ‪Poggio‬‬
‫)‪ and Girosi (1990‬ثشسسی ضذٌاوذ‪ .‬ثشای الگًسیتم ‪ EM‬ثحث ضذٌ دس ایه وتبة ثٍ لسمت ‪ 6.12‬وٍ دس آن تخمویه میوبوگیه تشویجوی اص‬
‫چىذیه تبثغ گًسی آمذٌ سخًع وىیذ‪.‬‬

‫)‪ Kolodner (1993‬ویض مؼشفیای ثش استذالل مجتىی ثش قبلت اودب میدَذ‪ .‬دیگوش تحمیموبت ولوی ي مدمًػوٍ َوبی تحمیموبت خذیوذ دس‬
‫‪Aamodt et al. (1994), Aha et al. (1991), Haton et al. (1995), Riesbeck and Schank (1989), Schank‬‬
‫)‪ et al. (1994), Veloso and Aamodt (1995), Watson (1995), Wess et al. (1994‬آمذٌ است‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪18‬‬

‫تمرینات‬
‫‪ 8.1‬لبوًن ضیت وضيل سا ثشای یه ثشاصش يصن داس محلی وٍ دس ساثغٍی ‪ 8.1‬آمذٌ استخشاج وىیذ‪.‬‬

‫‪ 8.2‬متذ خبیگضیه صیش سا ثشای فبغلٍ دس ثشاصش يصن داس محلی دس وظش ثگیشیذ‪ .‬مدمًػٍ ای مدبصی اص ومًوٍ َبی آمًصضی ثٍ وب '‪ D‬ایدبد وىیوذ‬
‫وپی دس '‪ D‬لشاس دَیذ‪ .‬قبل تمشیجی خغوی ثوشای‬ ‫( (‬ ‫وٍ‪ :‬ثشای َش ومًوٍی آمًصضی >)‪ <x,f(x‬دس مدمًػٍی يالؼی ‪ D‬تؼذاد ))‬
‫میىیمم وشدن مؼیبس خغبی صیش اودب دَیذ‪:‬‬

‫) ( (∑‬ ‫)) (̂‬

‫ایذٌی اغلی وپی وشدن ومًوٍ َبی آمًصضی وٍ ثیطتش وضدیه ومًوٍ َستىذ ي ومتش آنَبیی وٍ ديستش َستىذ‪ .‬ضویت ووضيل سا ثوشای ایوه مؼیوبس‬
‫استخشاج وىیذ‪ .‬ایه لبوًن سا ثش قست مدمًع سيی اػضبی ‪ D‬ثیبن وىیذ وٍ اػضبی '‪ D‬ي لبوًن سا ثب لًاویه سياثظ ‪ 8.6‬ي ‪ 8.7‬ممبیسٍ وىیذ‪.‬‬

‫‪ 8.3‬ومًوٍی تىجلی اص الگًسیتم وًضبی ‪ ID3‬پیطىُبد وىیذ (فػل ‪ .)3‬مضیتَب ي مضشتَبی الگًسیتم پیطىُبدی ضمب وسجت ثٍ الگًسیتم وًضبی‬
‫اغلی چیست؟‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪cross-validation‬‬ ‫اسصیبثی‬
‫‪distance-weighted‬‬ ‫يصن داس متىبست ثب فبغلٍ‬
‫‪Residual‬‬ ‫ثبلیمبوذٌ‬
‫‪Regression‬‬ ‫ثشاصش‬
‫‪locally weighted regression‬‬ ‫ثشاصش يصن داس محلی‬
‫‪radial basis function‬‬ ‫تبثغ پبیٍ ای ضؼبػی‬
‫‪Kernel function‬‬ ‫تبثغ َستٍ‬
‫‪statistical pattern recognition‬‬ ‫تطخیع الگً آمبسی‬
‫‪Lasy‬‬ ‫تىجل‬
‫‪Cases‬‬ ‫قبالت‬
‫‪curse of dimensionality‬‬ ‫علسم ثؼذ‬
‫‪Eager‬‬ ‫وًضب‬
‫‪Nearest neighbor algorithm‬‬ ‫الگًسیتم وضدیهتشیه َمسبیٍ‬
‫‪clustering algorithms‬‬ ‫الگًسیتمَبی خًضٍ یبثی‬
‫‪Cased-Based‬‬ ‫مجتىی ثش ضشایظ‬
‫‪global method‬‬ ‫متذ خُبوی‬
‫‪local method‬‬ ‫متذ محلی‬
‫‪Nearest Neighber‬‬ ‫وضدیهتشیه َمسبیٍ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪19‬‬ ‫فػل َطتم‪ :‬یبدگیشی مجتىی ثش ومًوٍَب‬

‫‪Voronoi diagram‬‬ ‫ومًداس يسيوًی مدمًػٍی ومًوٍ َبی آمًصضی‬

‫‪Isomorphism‬‬ ‫َمطىل‬
‫‪instance based learning‬‬ ‫یبدگیشی مجتىی ثش ومًوٍَب‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل نهم‪ :‬الگوریتمهای شنتیک‬

‫تّبیی‌ًوبیؾ‌‬
‫یدّذ‌وِ‌اص‌تىبهل‌الْبم‌گشفتِ‌ؿذُ‌اػت‪‌.‬ثقضی‌هَالـ‌فشضی‌ِّب‌ثب‌سؿتِ‌ثی ‌‬
‫یّبیی‌اسائِ‌ه ‌‬
‫تنّبی‌طًتیه‌سٍؿی‌ثشای‌یبدگیش ‌‬
‫الگَسی ‌‬
‫یؿًَذ‌وِ‌تفؼیش‌ایي‌سؿتِ‌ثیت‌ّب‌ثِ‌هؼئلِ‌ٍاثؼتِ‌اػت‪‌،‬ثب‌ایي‌ٍرَد‌فشضی‌ِّب‌هوىي‌اػت‌حتیی‌ثیِ‌كیَسش‌ًـیبًِ‌ ّیبی‌ًویبدیي‌‪‌1‬ییب‌‬
‫دادُ‌ه ‌‬
‫یؿَد‪‌.‬افضبی‌روقیت‌فقلیی‌‬
‫ثشًبهِ ّبی‌وبهپیَتشی‌ثیبى‌ؿًَذ‪‌.‬رؼتزَ‌دس‌هیبى‌فشضی‌ِّب‌ثب‌یه‌روقیت‪‌،‬هزوَفِ‌ٍ‌یب‌فشضیِ ّبی‌اٍلیِ‌آغبص‌ه ‌‬
‫یؿًَذ‌تغییش‌هی‌یبثٌذ‪‌.‬ایي‌افوبل‌اص‌افوبل‌هـبثْی‌دس‌تىبهل‌صیؼتی‌الگَ‌ثشداسی‌ؿذُ‌اًیذ‌‪‌.‬‬
‫تَػظ‌افوبل‌تَلیذ‌هخل‌ٍ‌رْـی‌وِ‌تلبدفی‌اًزبم‌ه ‌‬
‫یؿًَذ‪‌.‬تَاثقی‌وِ‌تٌبػت‌ثیـتشی‌داؿتِ‌ثبؿٌذ‌هتٌبػجبً‌احتوبل‌ثیـتشی‌‬
‫دس‌ّش‌هشحلِ‌فشضیِ ّبی‌روقیت‌فقلی‌ثب‌هقیبسی‌ثِ‌ًبم‌تٌبػت‌اسصیبثی‌ه ‌‬
‫تنّیب‌ی‌طًتییه‌دس‌هؼیبئل‌ییبدگیشی‌ٍ‌غییش‌‬
‫ثشای‌اًتخبة‌ثشای‌تَلیذ‌هخل‪‌،‬رْؾ‌ٍ‌یب‌حضَس‌هؼتمین‌دس‌روقیت‌ًؼل‌ثقذ‌خَاٌّذ‌داؿت‪‌.‬الگَسی ‌‬
‫یبدگیشی‌صیبدی‌ثِ‌وبس‌سفتِ‌اًذ‪‌.‬ثشای‌هخبل‪‌،‬اص‌آى‌ّب‌ ثیشای‌ییبدگیشی‌دػیتِ‌لیَاًیي‌ثیشای‌وٌتیشل‌سثیبش‌ٍ‌ثْیٌیِ‌ػیبصی‌تَیَلیَطی‌ٍ‌ییبدگ‌یشی‌‬
‫یوٌٌیذ‌‪ّ‌ٍ‌،‬ین‌‬
‫تنّبی‌طًتیه‪‌،‬وِ‌اص‌فشضیِ ّبی‌سؿتِ‌ثیتی‌اػتفبدُ‌ه ‌‬
‫یؿَد‪‌.‬دس‌ایي‌فلل‌ّن‌ثِ‌الگَسی ‌‬
‫یبساهتش ّبی‌ؿجىِ ّبی‌فلجی‌اػتفبدُ‌ه ‌‬
‫ییشداصین‪‌ .‬‬
‫یاًذ‪‌،‬ه ‌‬
‫ثِ‌ثشًبهِ ًَیؼی‌طًتیه‪‌،‬وِ‌فشضی‌ِّبیؾ‌ثشًبهِ ّبی‌وبهپیَتش ‌‬

‫‪ 1.9‬انگیسه‬
‫ضُی‌الگَسیتن‌ّبی‌طًتیه‪‌2‬یب‌‪ّ GA‬ب‌تىبهل‌صیؼتی‌اػت‪‌.‬ثِ‌ربی‌اػتفبدُ‌اص‌تشتیت‌ول ‌‬
‫یتشی‌یب‌تشتیت‌ػبدُ‌ثِ‌ییچیذُ‪‌،‬الگَسیتن‌ّبی‌‬ ‫اػبع‌اًگی ‌‬
‫یسػیٌذ‌‪‌.‬دس‌ّیش‌هشحلیِ‌هزوَفیِ‌ ای‌اص‌‬
‫طًتیه ثب‌تَػقِ‌دادى‌ٍ‌تشویت‌فشضیِ ّبی‌دسػت‌تش‌‌ؿٌبختِ‌ؿذُ‌ثِ‌فشضیِ ّبی‌دسػت‌رذیذ‌تشی‌ه ‌‬
‫یؿَد‪‌.‬دس‌ّش‌هشحلِ‌وؼشی‌اص‌روقیت‌ثب‌فشصًذاًی‌وِ‌اص‌ثْتشیي‌فشضی‌ِّب‌تَػظ‌فویل‌‌تَلییذ‌هخیل‌‪‌4‬ایزیبد‌‬
‫فشضیِ‌ّب‌‪‌،‬روقیت‪‌،3‬دس‌ًؾش‌گشفتِ‌ه ‌‬
‫یوٌذ‪‌،‬دس‌ّش‌هشحلِ‌لذسش‌فشضی‌ِی‌ایزبد‌ؿذُ‌هیَسد‌‌آصهیَى‌لیشاس‌‬
‫یؿًَذ‪‌.‬چٌیي‌فشایٌذی‌یه‌ػشی‌آصهَى‌ٍ‌خغب‌سا‌ایزبد‌ه ‌‬
‫یؿَد‌ربیگضیي‌ه ‌‬
‫ه‌‬

‫‪1‬‬
‫‪‌symbolic expressions‬‬
‫‪2‬‬
‫‪‌Genetic algorithms‬‬
‫‪3‬‬
‫‪‌population‬‬
‫‪4‬‬
‫‪‌offspring‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تنّیب‌ی‌طًتییه‌اص‌چٌیذیي‌‬
‫یؿَد‪‌.‬ایي‌ًَؿ‌ثشسػی‌دس‌الگَسی ‌‬
‫یگیشد‪‌.‬دس‌تَلیذ‌فشضیِ ّبی‌رذیذ‌هقوَالً‌اص‌خَاكی‌اص‌فشضیِ ّبی‌ثْتش‌اػتفبدُ‌ه ‌‬
‫ه‌‬
‫فبهل‌اًگیضُ‌گشفتِ‌اػت‪‌ :‬‬

‫تىبهل‌دس‌عجیقت‌ثِ‌فٌَاى‌یىی‌اص‌هتذّبی‌هَفك‌تغجیك‌یزیشی‌یزیشفتِ‌ؿذُ‌اػت‪.‬‬ ‫‪‬‬
‫یّبی‌هتمبثل‌ییچیذُ ای‌داسًذ‌رؼتزَ‌وٌذ‪‌.‬دس‌چٌیي‌فشضیِ‌ّبیی‌تغییش‌ّیش‌‬
‫یتَاًٌذ‌فضبّبی‌فشضیِ ای‌سا‌وِ‌ٍیظگ ‌‬
‫الگَسیتن‌طًتیه‌ه ‌‬ ‫‪‬‬
‫یه‌اص‌خَاف‌فشضیِ‌تأحیش‌ثؼضایی‌دس‌ول‌ػبصگبسی‌فشضیِ‌داسد‪.‬‬
‫یتَاى‌ثِ‌ػبدگی‌ثِ‌چٌذیي‌لؼیوت‌تمؼیین‌ٍ‌ثیب‌‬
‫تنّبی‌طًتیه‌سا‌ه ‌‬
‫ٌِی‌اػتفبدُ‌اص‌اثش‌وبهپیَتشّب‌سا‌ًذاسًذ‪‌،‬الگَسی ‌‬
‫ایي‌الگَسیتن‌ّب‌ّضی ‌‬ ‫‪‬‬
‫وبهپیَتشّبی‌هزضایی‌ثشسػی‌وشد‪.‬‬
‫یوٌی‌ین‪ّ‌.‬وچٌییي‌ثیِ‌‬
‫دس‌ایي‌ثخؾ‌الگَسیتن‌ّبی‌طًتیه‌سا‌تَضیح‌دادُ‪‌،‬وبسثشدّبیـبى‌ٍ‌عجیقت‌رؼتزَی‌فضبی‌فشضیِ اییـبى‌سا‌ثشسػیی‌هی‌ ‌‬
‫یوٌٌیذ‌‪‌.‬‬
‫ییشداصین‪‌،‬همَلِ ای‌وِ‌دس‌آى‌توبهی‌ثشًبهی‌ِ ّیبی‌ویبهپیَتش‌ی‌تیب‌اًیذاصُ‌ی‌خبكیی‌تىبهیل‌یییذا‌هی‌ ‌‬
‫همَلِی‌ثشًبهِ ًَیؼی‌طًتیه‌ًیض‌ه ‌‬
‫‌‬
‫هزوَفِی‌هحبػجبش‌تىبهلی‪ّ‌1‬ؼتٌذ‪‌.‬دس‌لؼوت‌آخش‌ًیض‌ػش‌تیتشّب‌دس‌هغبلقیِ‌ی‌تىبهیل‌‬
‫‌‬ ‫الگَسیتن‌ّبی‌طًتیه‌ٍ‌ثشًبهِ ًَیؼی‌طًتیه‌ّش‌دٍ‌صیش‌‬
‫ساثغِی‌ثیي‌تىبهل‌افشاد‌ٍ‌تىبهل‌ول‌روقیت‌سا‌ًیض‌ثشسػی‌خَاّین‌وشد‪‌ .‬‬
‫یوٌین‌ٍ‌ ‌‬
‫صیؼتی‪‌،‬اص‌رولِ‌احش‌ثبلذٍیي‌سا‌ثشسػی‌ه ‌‬

‫‪ 1.9‬الگوریتمهای شنتیک‬
‫آىّیب‌‌‬
‫هشحلِی‌اٍل‌ییذا‌وشدى‌فضیبیی‌اص‌فشضییِ‌ ّیبی‌وبًذییذ‌اػیت‌تیب‌دس‌ثییي‌‌ ‌‬
‫یؿَد‪‌ ‌،‬‬
‫دس‌ایي‌هؼئلِ‌وِ‌تَػظ‌الگَسیتن‌ّبی‌طًتیه‌هغشح‌ه ‌‬
‫تنّبی‌طًتیه‌تقشیف‌"ثْتشیي‌فشضیِ"‌اص‌ایي‌لشاس‌اػت‪‌:‬فشضیِ ای‌وِ‌هقییبس‌ ّیبی‌یییؾ‌‬
‫فشضیِ‌ّبیی‌ثب‌ثْتشیي‌فولىشد‌سا‌ییذا‌وٌین‪‌.‬دس‌الگَسی ‌‬
‫هؼئلِی‌هَرَد‌ثْیٌِ‌وٌذ‌(حذاوخش‌یب‌حذالل)‪‌.‬ثیشای‌هخیبل‪‌،‬اگیش‌ویبس‌ییبدگیشی‌‬ ‫یای‌سا‌وِ‌تبثـ‌تٌبػت‪ً‌2‬بهیذُ‌ه ‌‬
‫یؿَد‌سا‌ثشای‌ ‌‬ ‫تقشیف‌ؿذُ‌فذد ‌‬
‫یتَاًذ‌ثِ‌كَسش‌دلیت‌فشضییِ‌ثیش‌سٍی‌ًوًَیِ‌ ّیبی‌‬
‫تخویي‌یه‌تبثـ‌هزَْل‌ثب‌ًوًَِ ّبی‌آهَصؿی‌ٍسٍدی‌ٍ‌خشٍری‌آى‌اػت‪‌،‬تبثـ‌تٌبػت‌ه ‌‬
‫یتَاى‌تقذاد‌ثشد‌ّش‌فشد‌دس‌همبثل‌افیشاد‌دیگیش‌دس‌‬
‫آهَصؿی‌ تقشیف‌ؿَد‪‌.‬یب‌اگش‌ّذف‌یبدگیشی‌سٍؿی‌ثشای‌ؿغشًذ‌ثبصی‌وشدى‌اػت‌تبثـ‌تٌبػت‌ه ‌‬
‫ّوبى‌روقیت‌ثبؿذ‪‌ .‬‬

‫یسًٍذ‌ٍ‌دس‌رضئیبش‌ثب‌ّن‌هتفبٍتٌذ‌اهب‌هقوَالً‌دس‌ػبختبس ّبی‌ریل‌هـبثٌْذ‪‌:‬دس‌ّیش‌‬
‫ثب‌ایٌىِ‌الگَسیتن‌ّبی‌طًتیه‌دس‌وبسثشد ّبی‌هتفبٍتی‌ثِ‌وبس‌ه ‌‬
‫یوٌذ‪‌،‬دس‌ّش‌هشحلِ‌توبهی‌فشضیِ ّبی‌روقیت‌ثب‌تبثـ‌تٌبػت‌هَسد‌ثشسػی‌لشاس‌‬
‫هشحلِ‌الگَسیتن‌هزوَفِ ای‌اص‌فشضیِ‌ّب‌سا‌ثِ‌ًبم‌روقیت‌تغییش‌ه ‌‬
‫یؿَد‪‌،‬تقذادی‌اص‌ایي‌فشضی‌ِّب‌هؼتمیوبً‌ثِ‌ًؼل‌ثقیذ‌‬
‫یگیشًذ‪‌،‬روقیت‌رذیذ‌ثب‌اًتخبة‌تلبدفی‌چٌذ‌فشضیِ‌اص‌فشضیِ ّبی‌ثْتش‌روقیت‌ایزبد‌ه ‌‬
‫ه‌‬
‫یای‌چَى‌تَلیذ‌هخل‪‌ٍ‌3‬رْؾ‪‌4‬هَسد‌اػتفبدُ‌لشاس‌ه ‌‬
‫یگیشًذ‪.‬‬ ‫یؿًَذ‌ٍ‌ثمیِ‌دس‌تَلیذ‌هخل‌فشضیِ ّبی‌رذیذ‌اص‌عشیك‌افوبل‌طًتیى ‌‬
‫هٌتمل‌ه ‌‬

‫حبلت‌ولی‌الگَسیتن‌ّبی‌طًتیه‌دس‌رذٍل‌‪‌9.9‬آٍسدُ‌ؿذُ‌اػت‪ٍ‌.‬سٍد ‌‬
‫یّبی‌ایي‌الگَسیتن‌ؿبهل‌تبثـ‌تٌبػت‪‌،‬ثشای‌سدُ‌ثٌذی‌فشضی‌ی‌ِّیب‌‪‌،‬همیذاس‌‬
‫آػتبًِ ‪‌،‬ثشای‌تـخیق‌هیضاى‌تٌبػت‌ٍ‌یبیبى‌دادى‌ثِ‌الگَسیتن‪‌،‬تقذاد‌روقیتی‌وِ‌ثبیذ‌ثبلی‌ثوبًٌذ‌ٍ‌یبساهتشّبیی‌هشثَط‌ثِ‌تـىیل‌روقیی‌ت‌ّیب‌ی‌‬
‫یؿًَذ‌ٍ‌ػشفت‌رْؾ‪.‬‬
‫هَفك‌اػت‪‌:‬دسكذی‌اص‌روقیت‌وِ‌ربیگضیي‌ه ‌‬

‫‪1‬‬
‫‪‌evolutionary computation‬‬
‫‪2‬‬
‫‪‌fitness function‬‬
‫‪3‬‬
‫‪‌crossover‬‬
‫‪4‬‬
‫‪‌mutation‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪GA(Fitness,Fitness_treshold,p,r,m‬‬

‫‪‌:Fitness‬تبثقی‌وِ‌ثِ‌فشضی‌ِّب‌همذاسی‌ثشای‌اسصیبثی‌ًؼجت‌ه ‌‬
‫یدّذ‪‌ .‬‬

‫‪‌:Fitness_treshold‬همذاس‌آػتبًِ ای‌وِ‌ؿشط‌یبیبًی‌سا‌هـخق‌ه ‌‬
‫یوٌذ ‌‬

‫‪‌:p‬تقذاد‌فشضیِ ای‌وِ‌ثبیذ‌دس‌ّش‌روقیت‌ثبؿذ ‌‬

‫‪ً‌:r‬ؼجتی‌اص‌روقیت‌وِ‌دس‌ّش‌هشحلِ‌ثب‌اػتفبدُ‌اص‌تَلیذ‌هخل‌ربیگضیي‌ه ‌‬
‫یؿًَذ ‌‬

‫‪‌:m‬ضشیت‌رْؾ‬

‫همذاس‌دّی‌اٍلیِ‪‌:‬روقیت‌‪‌P‬سا‌ثب‌فشضیِ ّبی‌اتفبل ‌‬
‫یای‌ایزبد‌وي‪.‬‬ ‫‪‬‬
‫اسصیبثی‪‌:‬ثشای‌ّش‌فشضی‌ِی‌‪‌h‬دس‌‪‌P‬همذاس‌)‪‌Fitness(h‬سا‌هحبػجِ‌وي‪.‬‬ ‫‪‬‬
‫‌حلمِ ی‌صیش‌سا‌ارشا‌وي‪.‬‬ ‫) (‬ ‫تب‌صهبًی‌وِ‌‬ ‫‪‬‬
‫ًؼل‌رذیذ‌ ‌سا‌ایزبد‌وي‪‌ :‬‬
‫‪ .9‬اًتخبة‪‌:‬ثب‌تَصیـ‌احتوبل‌صیش‌‪‌(1-r)p‬فضَ‌اص‌‪‌P‬سا‌ثِ‌ ‌اضبفِ‌وي‪.‬‬
‫) (‬
‫) (‬
‫∑‬ ‫) (‬

‫‌ثب‌اػتفبدُ‌اص‌فول‌تَلیذ‌هخل‌‬ ‫‌رفت‌فشضیِ‌اًتخبة‌وي‪‌.‬ثشای‌ّش‌رفت‌‬ ‫‪ .2‬تَلیذ‌هخل‪‌:‬ثب‌تَصیـ‌احتوبل‌ثبال‌سا‌ثِ‌‬

‫هزوَفِی‌ ‌لشاس‌ثذُ‪.‬‬
‫‌‬ ‫دٍ‌فشصًذ‌ایزبد‌وي‌ٍ‌دس‌‬
‫‪ .3‬رْؾ‪‌m‌:‬فضَ‌اص‌ ‌سا‌ثب‌تَصیـ‌احتوبل‌یىٌَاخت‌اًتخبة‌وي‌ٍ‌یىی‌اص‌ثی ‌‬
‫تّبی‌ًوبیـؾ‌سا‌ثِ‌دلخَاُ‌فَم‌وي‪.‬‬
‫‪ .4‬تغییش‪‌:‬‬
‫‪ .5‬اسصیبثی‪‌:‬ثشای‌ّش‌فشضی‌ِی‌‪‌h‬دس‌‪‌P‬همذاس‌)‪‌Fitness(h‬سا‌هحبػجِ‌وي‪.‬‬
‫فشضیِ ای‌دس‌‪‌P‬وِ‌ثبالتشیي‌تٌبػت‌سا‌داسد‌سا‌خشٍری‌ثذُ‪‌ .‬‬ ‫‪‬‬
‫رذٍل‌‪‌1.9‬حبلت‌ولی‌الگَسی ‌‬
‫تنّبی‌طًتیه‪‌ .‬‬
‫یهبًذ‪‌.‬دس‌ّش‌ثبس‌تىشاس‌حلمِ‌روقیت‌هَفك‌تش‌ ‌ثب‌اًتخبة‌احتوبلی‌فشضیِ‌ّب‌ٍ‌اضبفِ‌وشدى‌فشضیِ ّیبی‌رذییذ‌ؿیىل‌‬ ‫دس‌اًتْب‌روقیتی‌ثب‌‪‌p‬فشضیِ‌ثبلی‌ه ‌‬
‫یافتذ‪‌.‬ایي‌فشایٌذ‌تب‌‬
‫یؿًَذ‌ٍ‌ثش‌سٍی‌ثقضی‌اص‌فشضی‌ِّب‌ًیض‌فول‌رْؾ‌اتفبق‌ه ‌‬
‫یگیشد‪‌.‬فشضیِ ّبی‌رذیذ‌اص‌فول‌تَلیذ‌هخل‌ثش‌سٍی‌رفت‌فشضی‌ِّب‌ایزبد‌ه ‌‬ ‫ه‌‬
‫ؿذُاًذ‪‌ .‬‬
‫اداهِی‌ثحج‌آٍسدُ‌ ‌‬
‫صهبًی‌وِ‌فشضیِ‌ثب‌هتٌبػت‌هَسد‌ًؾش‌ایزبد‌ؿَد‌اداهِ‌داسد‪‌.‬افوبل‌تَلیذ‌هخل‌ٍ‌رْؾ‌هقوَل‌دس‌رذٍلی‌دس‌ ‌‬
‫یوٌیذ‌‪‌.‬دس‌گیبم‌اٍل‪‌،‬‬ ‫حلمِی‌اكلی‌ًؼلی‌رذیذ‌اص‌فشضیِ‌ّب‌سا‌اص‌سٍی‌روقیت‌فقلی‌ایزبد‌هی‌ ‌‬‫تَرِ‌داؿتِ‌ثبؿیذ‌وِ‌دس‌ایي‌الگَسیتن‌ّش‌ثبس‌ارشای‌ ‌‬
‫یؿًَذ‪‌ :‬‬
‫یؿًَذ‌تب‌ًؼل‌ثقذی‌سا‌تـىیل‌دٌّذ‪‌.‬چٌیي‌فشضی‌ِّبیی‌ثب‌تَصیـ‌احتوبل‌صیش‌اًتخبة‌ه ‌‬
‫تقذاد‌خبكی‌اص‌فشضی‌ِّب‌اص‌روقیت‌فقلی‌اًتخبة‌ه ‌‬

‫) (‬
‫) (‬ ‫(‬ ‫)‬
‫∑‬ ‫) (‬

‫ساثغِی‌فىغ‌داسد‪‌ .‬‬
‫ساثغِی‌هؼتمین‌ٍ‌ثب‌هزوَؿ‌تٌبػت‌فشضیِ ّبی‌سلیت‌ ‌‬
‫یغ‌احتوبل‌اًتخبة‌ّش‌فشضیِ‌ثب‌تٌبػجؾ‌ ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یؿًَذ‪‌،‬اص‌عشیك‌فول‌‌تَلییذ‌هخیل‌‌فشضییِ‌ ّیبی‌رذییذی‌ًییض‌ػیبختِ‌ٍ‌اضیبفِ‌‌‬
‫صهبًی‌وِ‌افضبی‌ًؼل‌فقلی‌ثشای‌تـىیل‌ًؼل‌ثقذ‌اًتخبة‌ه ‌‬
‫لؼوتّبی‌آیٌذُ‌فویل‌تَلییذ‌هخیل‌‌سا‌‬
‫‌‬ ‫آىّبػت‪‌،‬دس‌‬
‫لؼوتّبی‌هختلف‌ ‌‬
‫‌‬ ‫یؿًَذ‪‌.‬فول‌تَلیذ‌هخل‪‌،‬اًتخبة‌دٍ‌فشضیِ‌ثِ‌فٌَاى‌ٍالذیي‌ٍ‌تشویت‌‬
‫ه‌‬
‫ساثغِی‌‪‌9.9‬اًتخبة‌ه ‌‬
‫یؿًَذ‪‌.‬ثقذ‌اص‌تَلیذ‌هخل‌‬ ‫هفلالً‌تَضیح‌خَاّین‌داد‪‌.‬فشضیِ ّبی‌ٍالذ‌ثِ‌كَسش‌تلبدفی‌اص‌روقیت‌فقلی‌ثب‌تَصیـ‌احتوبل‌ ‌‬
‫یؿًَذ‌ٍ‌‬
‫ٍ‌ایزبد‌افضبی‌رذیذ ‪ً‌،‬ؼل‌رذیذ‌روقیت‌تقذاد‌وبفی‌افضب‌سا‌خَاّذ‌داؿت‪‌.‬ػپغ‌وؼش‌خبكی‌اص‌ایي‌افضب‌ثِ‌كَسش‌اتفبلی‌اًتخبة‌ه ‌‬
‫یگیشد‪‌ .‬‬
‫آىّب‌اًزبم‌ه ‌‬
‫فول‌رْؾ‌ثش‌سٍی‌ ‌‬

‫لؼوتّبی‌ثقذی‪‌،‬فشضی‌ی‌ِّیب‌‌ٍ‌‬
‫‌‬ ‫ایي‌الگَسیتن‌طًتیه‌رؼتزَیی‌هَاصی‌ٍ‌ػتًَی‪‌1‬دس‌هیبى‌فشضی‌ِّبیی‌وِ‌تٌبػت‌ثْتشی‌داسًذ‌اًزبم‌ه ‌‬
‫یدّذ‪‌.‬دس‌‬
‫كتش‌ثشسػی‌خَاّین‌وشد‪‌ .‬‬
‫افوبل‌طًتیه‌سا‌دلی ‌‬

‫‪ 1.2.9‬معرفی فرضیههب‬
‫یؿًَذ‌تب‌ثتیَاى‌افویبل‌تَلییذ‌هخیل‌‌ٍ‌‬
‫یؿًَذ‌هقوَالً‌ثِ‌كَسش‌سؿتِ ّبی‌ثیت‌ًوبیؾ‌دادُ‌ه ‌‬
‫فشضیِ‌ّبیی‌وِ‌دس‌الگَسیتن‌ّبی‌طًتیه‌اػتفبدُ‌ه ‌‬
‫یتَاًذ‌ثؼیبس‌ییچییذُ‌ثبؿیذ‪‌.‬ثیشای‌هخیبل‪‌،‬هزوَفیِ‌ی‌دػیتَسّبی‌‪‌if-then‬سا‌‬
‫آىّب‌اًزبم‌داد‪‌.‬ایي‌ًوبیؾ‌فشضی‌ِّب‌ه ‌‬
‫رْؾ‌سا‌ثِ‌ساحتی‌سٍی‌ ‌‬
‫هخبلّبی‌اًَاؿ‌ًویبیؾ‌اییي‌ًیَؿ‌دػیتَسّب‌‌دس‌ ‪(Holland‬‬
‫یتَاى‌ثب‌دس‌ًؾش‌گشفتي‌وذی‌ثشای‌ّش‌دػتَس‌ثِ‌ساحتی‌دس‌ایي‌ًوبیؾ‌ًـبى‌داد‪‌ ‌.‬‬
‫ه‌‬
‫)‪‌ٍ (DeJong 1993)‌ٍ‌(Grefenstette 1988)‌،1986‬دیگش‌همبالش‌آٍسدُ‌ؿذُ‌اػت‪‌ .‬‬

‫یتَاى‌دػتَس ّبی‌‪‌if-then‬سا‌ثب‌سؿتِ‌ثیت‌ّب‌ًوبیؾ‌داد‪‌،‬اثتذا‌عشص‌ًوبیؾ‌یه‌ؿشط‪‌2‬سا‌ثش‌سٍی‌همذاس‌یه‌ٍیظگیی‌‬
‫ثشای‌تلَس‌ایٌىِ‌چگًَِ‌ه ‌‬
‫دس‌ًؾش‌ثگیشیذ‪‌.‬ثشای‌هخبل‪ٍ‌،‬یظگی‌‪‌outlook‬سا‌وِ‌ػِ‌همیذاس‌‪‌Cloudy‌ٍ‌Rainy‌،Sunny‬سا‌هی‌ ‌‬
‫یتَاًیذ‌‌ثپیزیشد‌دس‌ًؾیش‌ثگیشییذ‌‪‌.‬یىیی‌اص‌‬
‫سؿتِی‌‪ً‌090‬ـیبى‌هی‌ ‌‬
‫یدّیذ‌‌ویِ‌‬ ‫هشثَعِی‌ّش‌یه‌اص‌ایي‌همبدیش‌اػت‪‌.‬هخالً‌ ‌‬
‫‌‬ ‫یای‌لشاس‌دادى‌‪‌9‬دس‌هىبى‌‬
‫ػبدُ‌تشیي‌ساُ‌ّبی‌ًوبیؾ‌چٌیي‌ٍیظگ ‌‬
‫دٌّذُی‌ایي‌اػیت‌ویِ‌‪‌outlook‬یىیی‌اص‌دٍ‌همیذاس‌هوىیي‌سا‌داسد‌‬
‫‪‌outlook=Cloudy‬اػت‪‌.‬ثِ‌عَس‌هـبثِ‌اگش‌سؿتِ‌‪‌099‬ثبؿذ‌ًـبى‌ ‌‬
‫یتشیي‌فشضیِ‌دس‌چٌیي‌ًوبیـی‌‪‌111‬اػت‌وِ‌ًـیبى‌دٌّیذُ‌ی‌اییي‌اػیت‌ویِ‌‬
‫(‪‌.)outlook=Rainy ν Cloudy‬تَرِ‌داؿتِ‌ثبؿیذ‌وِ‌ول ‌‬
‫یوٌذ‪‌ .‬‬
‫همذاس‌ٍیظگی‌ثشای‌فشضیِ‌تفبٍتی‌ًو ‌‬

‫یتَاى‌‌سٍاثظ‌فللی‌سا‌ثب‌ثْن‌ییَػتي‌سؿتِ‌ّب‌ًـبى‌داد‪‌.‬ثشای‌هخیبل‌ٍیظگیی‌دٍم‌‪‌Wind‬سا‌ثیب‌دٍ‌‬
‫یّب‪‌،‬ه ‌‬
‫ثب‌تَرِ‌ثِ‌ایي‌هتذ‌ثشای‌ًوبیؾ‌ٍیظگ ‌‬
‫همذاس‌‪‌Weak‌ٍ‌Strong‬دس‌ًؾش‌ثگیشیذ‪‌.‬فشضیِ ای‌هخل‌فشضی‌ِی ‌‬

‫)‪‌ (outlook = Cloudy ∨ Rainy) ∧ (Wind = Strong‬‬

‫یتَاى‌ثِ‌ساحتی‌ثِ‌ؿىل‌یٌذ‌ثیت‌صیش‌ًـبى‌داد‪:‬‬
‫‌سا‌ه ‌‬

‫‪Outlook‬‬ ‫‪Wind‬‬
‫‪011‬‬ ‫‪10‬‬
‫تّبی‌ؿشط‌ٍ‌حىن‌ًـبى‌‬
‫یتَاى‌ثب‌ػشّن‌وشدى‌ثی ‌‬ ‫حىوی‌)‪‌(PlayTennis = yes‬سا‌ه ‌‬
‫یتَاى‌ثِ‌ّویي‌كَسش‌ًـبى‌داد‪‌.‬یغ‌ول‌ساثغِ‌سا‌ه ‌‬
‫ساثغِی‬
‫داد‪‌.‬هخالً‌ ‌‬

‫‪1‬‬
‫‪‌beam search‬‬
‫‪2‬‬
‫‪‌constraint‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪IF Wind = Strong THEN PlayTennis = yes‬‬

‫ثِ‌كَسش‌صیش‌ًوبیؾ‌دادُ‌خَاّذ‌ؿذ‪:‬‬

‫‪Outlook‬‬ ‫‪Wind‬‬ ‫‪PlayTennis‬‬

‫‪011‬‬ ‫‪10‬‬ ‫‪10‬‬
‫دٌّذُی‌فذم‌اّویت‌‪‌ٍ‌Outlook‬دٍ‌ثیت‌ثقذی‌ٍضقیت‌‪‌ٍ‌Wind‬دٍ‌ثیت‌آخش‌حىن‌سا‌ًـبى‌ه ‌‬
‫یدّذ‌(دس‌ایٌزیب‌‬ ‫وِ‌دس‌آى‌ػِ‌ثیت‌اٍل‌ًـبى‌ ‌‬
‫فشم‌وشدُ‌این‌وِ‌‪‌PlayTennis‬دٍ‌همذاس‌‪‌no‌ٍ‌yes‬سا‌ه ‌‬
‫یتَاًذ‌داؿتِ‌ثبؿذ)‪‌.‬تَرِ‌داؿتِ‌ثبؿیذ‌وِ‌ًوبیؾ‌ثیتی‌لَاًیي‌ثشای‌ّش‌ٍیظگیی‌دس‌‬
‫یؿیَد‌‌ویِ‌ّویـیِ‌فشضی‌ی‌ِّیب‌‪‌،‬‬
‫یّبی‌ؿشط‌ًجبؿذ‪ّ‌.‬وییي‌اهیش‌ثبفیج‌هی‌ ‌‬ ‫فشضیِ‌یه‌صیش‌سؿتِ‪‌1‬دس‌ًؾش‌ه ‌‬
‫یگیشد‌حتی‌اگش‌آى‌ٍیظگی‌رضٍ‌ٍیظگ ‌‬
‫یتیَاى‌‌دػیتِ‌‬
‫یّبیی‌ثب‌عَل‌حبثت‌ثبؿٌذ‌وِ‌ربی‌ّش‌یه‌اص‌صیش‌سؿتِ‌ّب‌ًیض‌دس‌آى‌حبثت‌اػت‪‌.‬ثب‌چٌیي‌ًوبیـی‌ثیشای‌لیَاًیي‪‌،‬هی‌ ‌‬
‫سؿتِ ّبی‌ثیت ‌‬
‫لَاًیي‪‌2‬سا‌ثب‌یـت‌ػش‌ّن‌آٍسدى‌چٌیي‌ًوبیـی‌اص‌لَاًیي‌ػبخت‪‌ .‬‬

‫ثذ‌ًیؼت‌وِ‌دس‌عشاحی‌سؿتِ‌ثیت‌ّب‌ثشای‌وذ‌ػبصی‌فضبی‌فشضیِ ای‌ثشای‌ّش‌همذاس‌هزبص‌ّش‌ٍیظگی‌یه‌ثیت‌دس‌ًؾیش‌ثگییشین‌تیب‌فشضی‌ی‌ِّیب‌‌‬
‫لبثلیت‌استزبؿ‌داؿتِ‌ثبؿٌذ‪‌.‬ثشای‌دسن‌ثْتش‪‌،‬تَرِ‌داسیذ‌وِ‌دس‌ثبال‌دس‌یىی‌اص‌لیَاًیي‌رویش‌ؿیذُ‌)‪ّ‌(111 10 11‬یی ‌اعالفیبتی‌دس‌ثیبسُ‌ ی‌‬
‫یتَاًین‌ًوبیؾ‌دیگشی‌سا‌اًتخبة‌وٌین‌(هیخالً‌‌فمیظ‌ییه‌‬ ‫ٍیظگی‌‪‌PlayTennis‬ثِ‌هب‌ًو ‌‬
‫یدّذ‪‌.‬اگش‌ثخَاّین‌اص‌چٌیي‌ًوًَِ‌ّبیی‌دٍسی‌وٌین‌ه ‌‬
‫ثیت‌سا‌ثِ‌ثبصی‌تٌیغ‌اختلبف‌دادُ‌ٍ‌ثشای‌همذاس‌ثلِ‌‪‌ٍ‌9‬ثشای‌همذاس‌خیش‌‪‌0‬سا‌دس‌ًؾش‌ثگیشین)‪‌،‬اهب‌ثْتش‌اػت‌افویبل‌طًتیىیی‌سا‌عیَسی‌تغیییش‌‬
‫دّین‌وِ‌چٌیي‌فشضی‌ِّبیی‌ایزبد‌ًـًَذ‌یب‌ثِ‌سٍؽ‌دیگش‌تٌبػت‌یبییٌی‌سا‌ثِ‌چٌیي‌فشضی‌ِّبیی‌ًؼجت‌دّین‪‌ .‬‬

‫یؿًَذ‪‌.‬ثشای‌هخبل‪‌،‬دس‌لؼوت‌‪‌9.5‬الگَسیتن‌‬
‫دس‌ثقضی‌الگَسیتن‌ّبی‌طًتیه‪‌،‬فشضیِ‌ّب‌ثب‌ًـبًِ ّبی‌ًوبدیي‌(ثِ‌ربی‌سؿتِ‌ثیت‌ّب)‌ًوبیؾ‌دادُ‌ه ‌‬
‫طًتیىی‌سا‌ثشسػی‌خَاّین‌وشد‌وِ‌فشضی‌ِّبیؾ‌ثشًبهِ ّبی‌وبهپیَتشی‌ّؼتٌذ‪‌ .‬‬

‫‪ 1.2.2‬اعمبل ژنتیکی‬
‫یؿَد‪‌.‬افویبل‌هتیذاٍل‌‌دس‌الگیَس‌یتن‌ّیب‌ی‌‬
‫ایزبد‌روقیت‌ّبی‌رذیذ‌دس‌الگَسیتن‌ّبی‌طًتیه‌ثب‌اػتفبدُ‌اص‌افوبلی‌چَى‌تَلیذ‌هخل‌ٍ‌رْؾ‌اًزبم‌ه ‌‬
‫طًتیه‌ثشای‌ایزبد‌سؿتِ‌ثیت‌ّبی‌رذیذ‌دس‌رذٍل‌‪‌9.9‬آٍسدُ‌ؿذُ‌اػت‪‌.‬ایي‌فولگشّب‌هتٌبػت‌ثب‌افوبل‌طًتیىیی‌اییذُ‌آل‌ػیؼیتن‌ّیب‌ی‌تىبهیل‌‬
‫هقوَلتشیي ایي‌افوبل‌تَلیذ‌هخل‌ٍ‌رْؾ‌اػت‪‌ .‬‬
‫‌‬ ‫ؿذُاًذ‪‌.‬‬
‫صیؼتی‌عشاحی‌ ‌‬

‫یوٌذ‪ّ‌.‬ش‌ثیت‌دس‌هَلقیت‌‪‌i‬ام‌فشصًذاى‌وپیی‌ثیتیی‌دس‌ّویبى‌هَلقییت‌‬
‫تّبیـبى‌ایزبد‌ه ‌‬
‫فول‌تَلیذ‌هخل‌دٍ‌فشصًذ‌سا‌اص‌دٍ‌ٍالذ‌ثب‌تشویت‌وپی‌ثی ‌‬
‫یوٌین‌تَػظ‌سؿتِ ای‌دیگش‌ثِ‌ًبم‌ًمبة‌تَلیذ‌هخیل‌‪‌3‬اًزیبم‌هی‌ ‌‬
‫یؿیَد‌‌‬ ‫یىی‌اص‌ٍالذیٌـبى‌اػت‪‌.‬اًتخبة‌ایٌىِ‌وذام‌ثیت‌سا‌اص‌وذام‌ٍالذ‌اًتخبة‌ه ‌‬
‫یؿَد‪‌.‬ثشای‌تلَس‪‌،‬تَلیذ‌هخل‌ته‌ًمغِ ای‪‌4‬وِ‌دس‌ثبالی‌رذٍل‌‪‌9.2‬آهذُ‌اػت‌سا‌دس‌ًؾش‌ثگیشیذ‪‌.‬ثِ‌فشصًذ‌ثیبالی‌ی‌تَریِ‌وٌییذ‪‌،‬اییي‌فشصًیذ‌‬
‫ه‌‬
‫توبهی‌یٌذ‌ثیت‌اٍل‌سا‌اص‌ٍالذ‌اٍل‌ٍ‌ؿؾ‌ثیت‌ثبلی‌هبًذُ‌سا‌اص‌ٍالذ‌دٍم‌ثِ‌اسث‌ثشدُ‌اػت‪‌،‬صیشا‌وِ‌ًمبة‌تَلیذ‌هخلؾ‌‪‌99999000000‬ثیَدُ‌‬
‫اػت‪‌.‬فشصًذ‌دٍم‌ًیض‌اص‌فىغ‌ّوبى‌ًمبة‌اػتفبدُ‌وشدُ‌اػت‪‌،‬ثِ‌ّویي‌دلیل‌فشصًذ‌دٍم‌ثیت‌ّبیی‌سا‌وپی‌وشدُ‌وِ‌فشصًذ‌اٍل‌اص‌آى‌ّب‌اػتفبدُ ای‌‬
‫ًىشدُ‌ثَد‪ّ‌.‬ویـِ‌دس‌تَلیذ‌هخبل‌ته‌ًمغِ ای‌اثتذای‌ًمبة‌‪‌n‬ثیت‌‪‌ٍ‌1‬ثمیِ‌‪ّ‌0‬ؼتٌذ‪‌.‬ثِ‌ّویي‌دلیل‌فشصًذاى‌‪‌n‬ثیت‌اٍل‌اص‌یىیی‌اص‌ٍالیذیي‌ٍ‌‬

‫‪1‬‬
‫‪‌substring‬‬
‫‪2‬‬
‫‪‌sets of rules‬‬
‫‪3‬‬
‫‪‌crossover mask‬‬
‫‪4‬‬
‫‪‌single-point crossover‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًمغِی‌تَلیذ‌هخل‌‪‌n‬ثِ‌عَس‌تلبدفی‌اًتخبة‌ه ‌‬
‫یؿَد‌‬ ‫یؿَد‪‌،‬اثتذا‌ ‌‬
‫ثمیِ‌اص‌ٍالذ‌دیگش‌ثِ‌اسث‌ثجشًذ‪ّ‌.‬ش‌ثبس‌وِ‌تَلیذ‌هخل‌ته‌ًمغِ ای‌ثِ‌وبس‌ثشدُ‌ه ‌‬
‫یؿَد‪‌ .‬‬
‫ػپغ‌ًمبة‌ػبختِ‌ؿذُ‌ٍ‌دس‌تَلیذ‌هخل‌ثِ‌وبس‌ثشدُ‌ه ‌‬

‫‌‬
‫تنّبی‌طًتیه‪‌ .‬‬‫رذٍل‌‪‌1.9‬افوبل‌هقوَل‌دس‌الگَسی ‌‬
‫یوٌذ‌وِ‌ّش‌فشصًذ‌‬
‫یوٌذ‪ً‌،‬مبة‌هقلَم‌ه ‌‬
‫یوٌٌذ‪‌.‬فول‌تَلیذ‌هخل‌دٍ‌فشصًذ‌سا‌اص‌دٍ‌ٍالذ‌تَلیذ‌ه ‌‬‫ایي‌افوبل‌فشصًذاًی‌سا‌ثب‌اػتفبدُ‌اص‌ًوبیؾ‌ثیتی‌فشضی‌ِّب‌ایزبد‌ه ‌‬
‫یوٌذ‪‌ .‬‬
‫تّب‌اص‌یه‌ٍالذ‌یه‌فشصًذ‌ایزبد‌ه ‌‬‫تّب‌سا‌ثِ‌اسث‌ثجشد‪‌.‬رْؾ‌ثب‌تغییش‌یىی‌اص‌ثی ‌‬
‫وذام‌ثی ‌‬
‫‪1‬‬
‫یوٌٌذ‪‌.‬ثِ‌فجیبسش‌دیگیش‌ًمیبة‌‬ ‫دس‌تَلیذ‌هخل‌دٍ‌ًمغِ ای ‌فشصًذاى‌لؼوتی‌اص‌ٍػظ‌ثیت‌ّب‌سا‌اص‌یىی‌اص‌ٍالذیي‌ٍ‌ثمیِ‌سا‌اص‌ٍالذی‌دیگش‌دسیبفت‌ه ‌‬
‫تّب‌ًیض‌‪‌0‬خَاّذ‌ثَد‪ّ‌.‬ش‌ثبس‌وِ‌‬ ‫‌ثیت‌‪‌9‬اداهِ‌ییذا‌ه ‌‬
‫یوٌذ‌ٍ‌ثمیِ‌ثی ‌‬ ‫‌ثیت‌‪‌0‬ؿشٍؿ‌ؿذُ‌ٍ‌ثب‌‬ ‫تَلیذ‌هخل‌دٍ‌ًمغِ ای‌سؿتِ‌ثیتی‌اػت‌وِ‌ثب‌‬
‫یؿَد‪‌.‬‬
‫‌ثِ‌كَسش‌تلبدفی‌اًتخبة‌ؿذُ‌ػپغ‌ًمبة‌الصم‌ایزبد‌ٍ‌تَلیذ‌هخل‌اًزبم‌ه ‌‬ ‫‌ٍ‌‬ ‫یسٍد‌اثتذا‌دٍ‌فذد‌‬
‫تَلیذ‌هخل‌دٍ‌ًمغِ ای‌ثِ‌وبس‌ه ‌‬
‫‌اػت‪‌.‬هـبثِ‌دیگش‌تَلیذ‌هخل‌ّب‪‌،‬فشصًذ‌دٍم‌ثب‌ربثزب‌ویشدى‌ًمیؾ‌دٍ‌ٍالیذ‌ایزیبد‌‌‬ ‫‌ٍ‌‬ ‫هخالً‌دس‌هخبلی‌وِ‌دس‌رذٍل‌‪‌9.2‬آهذُ‌‬
‫یؿَد‪‌ .‬‬
‫ه‌‬

‫‪1‬‬
‫‪‌two-point crossover‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تَلیذ‌هخل‌یىٌَاخت‪‌1‬ثِ‌عَس‌یىٌَاخت‌ثیت‌ّبی‌ٍالذیي‌سا‌ثب‌ّن‌تشویت‌ٍ‌فشصًذاى‌سا‌ایزبد‌ه ‌‬
‫یوٌذ‌(ّوبى‌عَس‌وِ‌دس‌رذٍل‌‪ً‌9.2‬یض‌ًـیبى‌دادُ‌‬
‫یؿَد‌(ّش‌ثیت‌ًمبة‌ثِ‌عَس‌تلبدفی‌ٍ‌هؼتمل‌اص‌ثمیِ‌ثیی‌ت‌ّیب‌‌اًتخیبة‌‬
‫ؿذُ‌اػت)‪‌.‬دس‌چٌیي‌تَلیذ‌هخلی‌ًمبة‌ثِ‌كَسش‌وبهالً‌تلبدفی‌ایزبد‌ه ‌‬
‫یؿَد)‪‌ .‬‬
‫ه‌‬

‫یوٌیذ‌‌ًییض‌ٍریَد‌داسد‌‪‌.‬دس‌‬
‫یوٌٌذ‪‌،‬فول‌دیگشی‌وِ‌اص‌یه‌ٍالذ‌فشصًذ‌ایزبد‌ه ‌‬
‫فالٍُ‌ثش‌افوبل‌تَلیذ‌هخل‌وِ‌اص‌دٍ‌ٍالذ‌ثشای‌ایزبد‌فشصًذ‌اػتفبدُ‌ه ‌‬
‫ؼتنّب‌ثزبی‌الگَسیتن‌رذٍل‌‪‌9.9‬اص‌الگَسی ‌‬
‫تنّبیی‌‬ ‫یآیذ‪‌.‬دس‌ثقضی‌ػی ‌‬
‫ول‪‌،‬رْؾ‌تغییش‌وَچىی‌دس‌فشضیِ‌ّبػت‌وِ‌ثب‌تغییش‌یه‌ثیت‌ثِ‌ٍرَد‌ه ‌‬
‫یوٌٌذ‪‌ .‬‬
‫یؿَد‌وِ‌ثقذ‌اص‌تَلیذ‌هخل‌رْؾ‌سا‌افوبل‌ه ‌‬
‫اػتفبدُ‌ه ‌‬

‫یگیشًیذ‌‌ویِ‌هٌحلیش‌ثیِ‌عیشص‌ًویبیؾ‌فشضی‌ی‌ِّبیـیبى‌‌اػیت‪‌.‬ثیشای‌هخیبل‪‌،‬‬
‫ثقضی‌اص‌ػیؼتن‌ّبی‌طًتیىی‌افویبل‌دیگیشی‌سا‌ًییض‌ثیِ‌ویبس‌‌هی‌ ‌‬
‫یگیشد‪‌،‬ایي‌ػیؼتن‌فالٍُ‌ثش‌افویبل‌تَلییذ‌‬ ‫)‪‌(Grefenstette 1991‬ػیؼتوی‌سا‌هقشفی‌ه ‌‬
‫یوٌذ‌وِ‌دػتِ‌لَاًیٌی‌سا‌ثشای‌وٌتشل‌سثبش‌یبد‌ه ‌‬
‫یگیشد‪ً‌(Janikow 1993)‌.‬یض‌ػیؼتوی‌سا‌هقشفی‌ه ‌‬
‫یوٌذ‌وِ‌دػتِ‌لیَاًیٌی‌‬ ‫هخل‌ٍ‌رْؾ‪‌،‬اص‌فولی‌اضبفی‌ثشای‌خبف‌وشدى‌لَاًیي‌ووه‌ه ‌‬
‫یگیشد‪(‌.‬ثشای‌هخبل‌ثیب‌تغیییش‌یىیی‌اص‌ؿیشٍط‌ساثغیِ‌ی‌‪if-‬‬
‫لحبػّبی‌هختلف‌ثِ‌وبس‌ه ‌‬
‫سا‌ثب‌اػتفبدُ‌اص‌افوبل‌ولی‌ػبصی‌ٍ‌خبف‌ػبصی‌لَاًیي‌اص‌ ‌‬
‫یوٌذ")‪‌ .‬‬
‫‪‌then‬ثب‌فبهل‌"فشلی‌ًو ‌‬

‫‪ 1.2.9‬تبثع تنبست و انتخبة‬

‫آىّب‌ثشای‌حضَس‌دس‌ًؼل‌ثقذی‌روقیت‌اػیت‌‪‌.‬اگیش‌ّیذف‌ییبدگیشی‌دػیتِ‌‬
‫تبثـ‌تٌبػت‌هقیبسی‌ثشای‌تشتیت‌وشدى‌فشضی‌ِّب‌ٍ‌اًتخبة‌تلبدفی‌ ‌‬
‫لَاًیي‌ثبؿذ‪‌،‬تبثـ‌تٌبػت‌لؼوتی‌خَاّذ‌داؿت‌تب‌دلت‌لبًَى‌سا‌ثش‌سٍی‌ًوًَِ ّبی‌آهَصؿی‌هَرَد‌اًذاصُ‌گیشی‌وٌذ‪‌.‬ثقضیی‌هیَاسد‌هقییبس‌ ّیبی‌‬
‫یای‌وِ‌فشایٌذ‌ییچییذُ‌ ای‌‬
‫دیگشی‌ًیض‌دس‌تبثـ‌تٌبػت‌تأحیش‌گزاسًذ‌(هخالً‌ییچیذگی‌لبًَى‌یب‌ولی‌ثَدى‌لبًَى)‪‌.‬دس‌ول‌ثشای‌فشضیِ ّبی‌سؿتِ‌ثیت ‌‬
‫داسًذ‌(هخالً‌سؿتِ‌ثیتی‌وِ‌اص‌تقذاد‌صیبدی‌لبًَى‌صًزیشٍاس‌‪‌if-then‬تـىیل‌یبفتِ‌تب‌یه‌دػتگبُ‌سثبتیه‌سا‌وٌتشل‌وٌذ)‪‌،‬تبثـ‌تٌبػت‌وبسایی‌ولیی‌‬
‫یگیشد‪‌ .‬‬
‫فشضیِ‌سا‌دس‌ًؾش‌ه ‌‬

‫دس‌حبلت‌ولی‌دس‌الگَسیتن‌طًتیىی‌وِ‌دس‌رذٍل‌‪‌9.9‬آٍسدُ‌ؿذُ‪‌،‬احتوبل‌اًتخبة‌یه‌فشضیِ‌ثب‌تٌبػت‌خَدؽ‌ًؼجت‌هؼتمین‌ٍ‌ثب‌تٌبػیت‌دیگیش‌‬
‫ساثغِی‌‪‌.)9.9‬ایي‌هتذ‌سا‌گبّی‌اًتخبة‌ًؼجی‌تٌبػجی‪‌ٍ‌2‬یب‌سٍلت‪‌3‬ه ‌‬
‫یًبهٌذ‪‌.‬هتذ ّبی‌دیگشی‌ًییض‌‬ ‫فشضیِ ّبی‌روقیت‌فقلی‌ًؼجت‌فىغ‌داسد‌( ‌‬
‫ثشای‌اًتخبة‌فشضیِ‌ّب‌ثش‌حؼت‌تٌبػجـبى‌اسائِ‌ؿذُ‌اػت‪‌.‬ثشای‌هخبل‪‌،‬دس‌اًتخبة‌هؼبثمِ ای‪‌4‬اثتذا‌دٍ‌فشضیِ‌ثِ‌كَسش‌اتفبلی‌اص‌روقیت‌فقلیی‌‬
‫یؿًَذ‪‌.‬ػپغ‌ثب‌احتوبلی‌اص‌ییؾ‌تقشیف‌ؿذُ‌هخل‌‪‌p‬فشضی‌ِی‌هتٌبػت‌تش‌ٍ‌ثیب‌احتویبل‌)‪‌(1-p‬فشضییِ‌ ای‌ویِ‌تٌبػیت‌ووتیشی‌داسد‌‬
‫اًتخبة‌ه ‌‬
‫یؿیًَذ‌‌‬
‫یؿَد‪‌.‬ثب‌چٌیي‌اًتخبثی‌هقوَالً‌ثِ‌ربی‌ایٌىِ‌فشضییِ‌ ّیبی‌هتٌبػیت‌تیش‌‌اًتخیبة‌‌ؿیًَذ‌‌فشضییِ‌ ّیبی‌گًَیبگًَی‌اًتخیبة‌‌هی‌ ‌‬
‫اًتخبة‌ه ‌‬
‫)‪‌.(Goldberg and Deb 1991‬دس‌هتذ‌دیگشی‌وِ‌اًتخبة‌ستجِ ای‪ً‌5‬بهیذُ‌ه ‌‬
‫یؿَد‪‌،‬دس‌اثتذا‌توبهی‌فشضیِ ّبی‌روقیت‌فقلی‌هتٌبػت‌ثیب‌‬
‫یگیشًذ‌(ٍ‌ًِ‌هتٌبػت‌ثب‌تٌبػجـبى)‪‌ .‬‬
‫ستجِّبیـبى‌احتوبلی‌ثشای‌اًتخبة‌ؿذى‌ه ‌‬
‫تٌبػجـبى‌تشتیت‌ؿذُ‌ٍ‌ػپغ‌هتٌبػت‌ثب‌ ‌‬

‫‪1‬‬
‫‪‌uniform crossover‬‬
‫‪2‬‬
‫‪‌fitness proportionate selection‬‬
‫‪3‬‬
‫‪‌roulette wheel selection‬‬
‫‪4‬‬
‫‪‌tournament selection‬‬
‫‪5‬‬
‫‪‌rank selection‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.9‬یک مثال‬
‫یتَاى‌ ثِ‌الگَسیتن‌طًتیه‌ثِ‌دیذ‌یه‌هتذ‌ثْیٌِ‌ثشای‌رؼتزَی‌فضبی‌ثضسگی‌اص‌اؿیبء‌ثب‌ّذف‌ییذا‌وشدى‌‌هتٌبػت‌تشیي‌فشضیِ‌ّب‌(ثیش‌اػیبع‌‬
‫ه‌‬
‫یتیَاى‌‌گفیت‌ویِ‌‬
‫تبثـ‌تٌبػت)‌ًگبُ‌وشد‪‌.‬ثب‌ایي‌ٍرَد‌ّی ‌تضویٌی‌ًیؼت‌وِ‌خشٍری‌ایي‌الگَسیتن‌ّب‌ّویـِ‌هتٌبػت‌تشیي‌فشضیِ‌ثبؿذ‪‌،‬فمظ‌ه ‌‬
‫تنّبی‌طًتیه‌دس‌هؼیئلِ‌ّیب‌یی‌دس‌خیبسد‌للویشٍی‌ییبدگیشی‌هبؿییي‌هخیل‌‬
‫هقوَالً‌خشٍری‌ایي‌الگَسیتن‌ّب‌فشضیِ‌ّبیی‌ثب‌تٌبػت‌ثبالػت‪‌.‬الگَسی ‌‬
‫عشاحی‌هذاس‪‌ٍ‌1‬ثشًبهِ‌سیضی‌هغبصُ‌داسی‪ً‌2‬یض‌ثِ‌وبس‌گشفتِ‌ ‌‬
‫ؿذُاًذ‪‌.‬دس‌داخل‌للوشٍ‌یبدگیشی‌هبؿیي‌ًیض‌ّین‌دس‌تخوییي‌تَاثیـ‌ٍ‌ّین‌دس‌هؼیبئلی‌‬
‫سفتِاًذ‪‌ .‬‬
‫ّوچَى‌اًتخبة‌ًَؿ‌ؿجىِ ّبی‌فلجی‌ثِ‌وبس‌ ‌‬

‫تنّبی‌طًتیه‌دس‌یبدگیشی‌هفَْم‪‌،‬دس‌ایٌزب‌ثِ‌عَس‌خالكِ‌ثِ‌ػیؼتن‌‪‌GABIL‬وِ‌تَػظ‌)‪‌(DeJong 1993‬‬
‫ثشای‌تلَس‌ثْتش‌اص‌وبسثشد‌الگَسی ‌‬
‫ییشداصین‪‌.‬دس‌‪‌GABIL‬اص‌الگَسیتن‌طًتیه‌ثشای‌یبدگیشی‌یه‌هفَْم‌هٌغمی‌ثب‌لبًَى‌ّبیی‌وِ‌لبًَى‌ّبی‌فللی‌گضاسُ ای‪‌،3‬اػتفبدُ‌‬
‫هقشفی‌ؿذُ‌ه ‌‬
‫ؿذُ‌اػت‪‌.‬دس‌آصهبیـبش‌اًزبم‌ؿذُ‌ثش‌سٍی‌هؼبئل‌هختلف‌یبدگیشی‌هفَْم‪‌GABIL‌،‬لذسش‌تبهین‌لبثل‌تَرْی‌داؿتِ‌اػت‪‌.‬ایي‌لذسش‌تیبهین‌سا‌‬
‫ثقذاً‌ثب‌لذسش‌تبهین‌الگَسیتن‌ّبی‌‪‌AQ14‌ٍ‌C4.5‬همبیؼِ‌ه ‌‬
‫یوٌین‪‌.‬دس‌ایي‌تحمیك‌ّین‌اص‌‌هؼیبئل‌هلیٌَفی‌‌ٍ‌ّین‌اص‌ًوًَیِ‌ ّیبی‌ٍالقیی‌دس‌‬
‫هـبّذُی‌لذسش‌تبهین‌اػتفبدُ‌ؿذُ‌اػت‪‌ .‬‬
‫‌‬ ‫تـخیق‌ػشعبى‌ػیٌِ‌ثشای‌‬

‫الگَسیتن‌ثِ‌وبس‌سفتِ‌دس‌‪ّ‌GABIL‬وبى‌الگَسیتن‌رذٍل‌‪‌9.9‬اػت‪‌.‬دس‌تحمیمبش‌)‪‌،(DeJong 1993‬یبساهتش‌‪‌،r‬وؼیشی‌اص‌روقییت‌سا‌ویِ‌ثیِ‌‬
‫یؿًَذ‌‪‌ٍ‌0.6‬یبساهتش‌‪‌‌،m‬ضشیت‌رْؾ‌‪‌0.001‬ثَدُ‌اػت‪(‌.‬چٌیي‌ؿشایغی‪‌،‬ؿشایغی‌هتذاٍل‌هحؼَة‌ه ‌‬
‫یؿًَذ)‪‌ٍ‌.‬تقیذاد‌‬ ‫ًؼل‌ثقذی‌هٌتمل‌ه ‌‬
‫افضبی‌روقیت‌ًیض‌ثؼتِ‌ثِ‌هؼئلِ‌ثیي‌‪‌900‬تب‌‪‌9000‬ثَدُ‌اػت‪‌ .‬‬

‫اعالفبش‌خبف‌الگَسیتن‌طًتیه‌ثىبس‌سفتِ‌دس‌‪‌GABIL‬هختلشاً‌ثِ‌ؿشح‌صیش‌اػت‪‌ :‬‬

‫نمایش‪ّ‌.‬ش‌فشضیِ‌دس‌‪‌GABIL‬هزوَفِ ای‌اص‌گضاسُ ّبی‌فللی‌وِ‌دس‌لؼوت‌‪‌9.2.9‬هفلالً‌ثِ‌آى‌ّب‌ییشداختین‌‌اػیت‌‪‌.‬دس‌ویل‪‌،‬‬ ‫‪‬‬

‫یّب‌تـىیل‌ؿذُ‌اػت‪‌.‬ثشای‌ًوبیؾ‌یه‌‬
‫لبًَىّبی‌گضاسُ ای ای‌وِ‌اص‌سٍاثظ‌فللی‌ثش‌سٍی‌تقذاد‌خبكی‌اص‌ٍیظگ ‌‬
‫فضبی‌فشضیِ ای‌اص‌ ‌‬
‫یآیٌذ‪‌.‬ثشای‌تلَس‪‌،‬فشم‌وٌیذ‌وِ‌فضبی‌فشضیِ ای‌داسین‌وِ‌دٍ‌ٍیظگی‌‬
‫دػتِ‌لبًَى‌سؿتِ‌ثیت‌ّبی‌لبًَى‌ّبی‌هختلف‌ثِ‌یـت‌ّن‌ه ‌‬
‫‌داسًذ‌ٍ‌تبثـ‌ّذف‌ًیض‌یه‌تبثـ‌هٌغمی‌ثِ‌ًبم‌‪‌c‬اػت‌یغ‌دٍ‌لبًَى‌صیش‌‬ ‫ٍ‬ ‫ًبمّبی‌‬
‫هٌغمی‌ثِ‌ ‌‬

‫یؿًَذ‪‌ :‬‬
‫ثِ‌فشم‌ًـبى‌دادُ‌ؿذُ‌ًـبى‌دادُ‌ه ‌‬

‫‪90‬‬ ‫‪09‬‬ ‫‪9‬‬ ‫‪99‬‬ ‫‪90‬‬ ‫‪0‬‬

‫یؿیَد‌‌ویِ‌‬
‫سؿتِی‌ثیت‌الصم‌هی‌ ‌‬
‫یوٌذ‪‌.‬ثب‌هتغیش‌ثَدى‌عَل‌ًوبیؾ‌ ‌‬
‫تَرِ‌داسیذ‌وِ‌عَل‌سؿتِ‌هتٌبػت‌ثب‌تقذاد‌لَاًیي‌ثىبس‌سفتِ‌دس‌فشضیِ‌تغییش‌ه ‌‬
‫فول‌تَلیذ‌هخل‌هتٌبػت‌ثب‌آى‌تغییش‌وٌذ‪‌ :‬‬

‫‪1‬‬
‫‪‌circuit layout‬‬
‫‪2‬‬
‫‪‌job-shop scheduling‬‬
‫‪3‬‬
‫‪‌disjunctive set of propositional rules‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اعمال ژنتیکی‪‌GABLIL‌.‬اص‌ّوبى‌تقشیف‌رْؾ‌وِ‌دس‌رذٍل‌‪‌9.2‬آهذُ‌ثَد‌اػتفبدُ‌ه ‌‬
‫یوٌذ‪‌،‬فول‌تَلیذ‌هخل‌ًیض‌یه‌تَلییذ‌هخیل‌‬ ‫‪‬‬
‫دٍ‌ًمغِ ای‌ػبدُ‌اػت‌وِ‌دس‌رذٍل‌‪ً‌9.2‬یض‌تَضیح‌دادُ‌ؿذُ‌ثَد‪‌.‬دس‌ول‌ثشای‌تغجیك‌ثب‌ایي‌حمیمت‌وِ‌عَل‌ ‌‬
‫سؿتِّب‌هتغیش‌اػت‌ٍ‌‬
‫یؿَد‪‌:‬ثشای‌اًزبم‌چٌیي‌تَلیذ‌هخلی‌اص‌دٍ‌ٍالیذ‌‬
‫ّوچٌیي‌ثشای‌ایٌىِ‌ثیت‌ّب‌دس‌فشصًذاى‌ًیض‌دس‌ربی‌خَد‌ثبؿٌذ‪‌،‬اص‌سٍؽ‌ریل‌اػتفبدُ‌ه ‌‬
‫تّیب‌‌(ّیش‌ییه‌اص‌‬
‫فبكلِی‌ًمبط‌اص‌چپ‌ٍ‌ساػت‌سؿتِ‌ثی ‌‬
‫‌دٍ‌ ‌‬ ‫‌ٍ‌‬ ‫یؿًَذ‪‌.‬اگش‌‬
‫اثتذا‌ًمبط‌تَلیذ‌هخل‌ثِ‌كَسش‌تلبدفی‌اًتخبة‌ه ‌‬
‫‌هـبثْی‌داؿتِ‌ثبؿیٌذ‪‌،‬هیخالً‌‌اگیش‌دٍ‌‬ ‫‌ٍ‌‬ ‫هؼئلِی‌هْن‌ایي‌اػت‌وِ‌ایي‌ًمبط‌ثشای‌ٍالذ‌دٍم‌ثبیذ‌‬
‫لَاًیي‌ًِ‌ول‌فشضیِ)‌ثبؿذ‪‌ ‌،‬‬
‫ٍالذ‌ثِ‌ؿىل‬

‫‪:‬‬ ‫‪90‬‬ ‫‪09‬‬ ‫‪9‬‬ ‫‪99‬‬ ‫‪90‬‬ ‫‪0‬‬

‫ٍ‌‬

‫‪:‬‬ ‫‪09‬‬ ‫‪99‬‬ ‫‪0‬‬ ‫‪90‬‬ ‫‪09‬‬ ‫‪0‬‬

‫ثبؿٌذ‌ٍ‌اگش‌ًمبط‌تَلیذ‌هخل‌ثشای‌ٍالذ‌اٍل‌‪‌8‌ٍ‌9‬ثبؿذ‪‌ :‬‬

‫‪:‬‬ ‫‪9[0‬‬ ‫‪09‬‬ ‫‪9‬‬ ‫‪99‬‬ ‫‪9]0‬‬ ‫‪0‬‬

‫ًمغِی‌تَلیذ‌هخل‌ٍالیذ‌دٍم‌ثیب‌تَریِ‌ثیِ‌‬
‫‌ّؼتٌذ‪‌.‬ثٌبثشایي‌احتوبل‌ّبی‌هَرَد‌ثشای‌اًتخبة‌دٍ‌ ‌‬ ‫‌ٍ‌‬ ‫ثشای‌ایي‌ًمبط‌دٍ‌همذاس‌‬
‫یؿَد‪‌.‬حبل‌اگش‌ثشای‌ٍالذ‌دٍم‌ًیض‌>‪‌<1,3‬اًتخبة‌ؿَد‌داسین‌وِ‪:‬‬
‫همبدیش‌هحذٍد‌ثِ‌>‪‌<6,8>‌ٍ‌<1,8>‌،<1,3‬ه ‌‬

‫‪0[9‬‬ ‫‪9]9‬‬ ‫‪0‬‬ ‫‪90‬‬ ‫‪09‬‬ ‫‪0‬‬

‫ؿىلّبی‬
‫یغ‌دٍ‌فشصًذ‌ثِ‌ ‌‬

‫‪:‬‬ ‫‪99‬‬ ‫‪90‬‬ ‫‪0‬‬

‫ٍ‌‬

‫‪:‬‬ ‫‪00‬‬ ‫‪09‬‬ ‫‪9‬‬ ‫‪99‬‬ ‫‪99‬‬ ‫‪0‬‬ ‫‪90‬‬ ‫‪09‬‬ ‫‪0‬‬
‫خَاٌّذ‌ثَد‪‌ .‬‬

‫یؿَد‌تب‌فشصًذاى‌ثتَاًٌذ‌تقذاد‌هتغیشی‌(ًِ‌الضاهبً‌هؼیبٍی‌‌ٍالذیٌـیبى‌)‌لیبًَى‌داؿیتِ‌‬
‫ّوبى‌عَس‌وِ‌دس‌هخبل‌ًیض‌ًـبى‌دادُ‌ؿذ‪‌،‬ایي‌سٍؽ‌ثبفج‌ه ‌‬
‫یوٌذ‌وِ‌توبهی‌فشضیِ ّبی‌تَلیذ‌ؿذُ‌هقٌی‌داس‌ّؼتٌذ‪‌ .‬‬
‫ثبؿٌذ‪‌.‬ایي‌سٍؽ‌ّوچٌیي‌تضویي‌ه ‌‬

‫تابع تناسب‪‌.‬تٌبػت‌ّش‌فشضیِ‌سا‌ثش‌اػبع‌دلت‌دػتِ‌ثٌذی‌ًوًَِ ّبی‌آهَصؿی‌ه ‌‬

‫یػٌزٌذ‪‌.‬دس‌ایٌزب‌تبثـ‌اػتفبدُ‌ؿذُ‌ثشای‌یییذا‌‬ ‫‪‬‬
‫وشدى‌تٌبػت‌ّش‌فشضیِ‌ثِ‌ؿىل‌صیش‌اػت‪:‬‬
‫) (‬ ‫(‬ ‫)) (‬

‫یای‌اػت‌وِ‌‪‌h‬دسػت‌دػتِ‌ثٌذی‌ه ‌‬
‫یوٌذ‪‌ .‬‬ ‫دس‌ایي‌ساثغِ‌)‪‌correct(h‬تقذاد‌ًوًَِ ّبی‌آهَصؿ ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یای‌هخیل‌‪‌ٍ‌ID5R‌ٍ‌C4.5‬لیبًَى‌‌آهیَصؽ‌‪‌AQ14‬ویِ‌ ‪(DeJong‬‬ ‫ؼِی‌سفتبس‌‪‌ٍ‌GABIL‬الگَسی ‌‬

‫تنّیب‌ی‌ییبدگیشی‌دسختی‌ ‌‬ ‫دس‌آصهبیؾ‌همبی ‌‬
‫یؿَد‪‌.‬ثشای‌هخبل‪‌،‬ثشای‌‪‌ ‌92‬‬
‫هؼئلِی‌‬ ‫)‪‌1993‬هغشح‌وشدُ‌تفبٍش‌ّبی‌لبثل‌همبیؼِ ای‌دس‌فولىشد‌ایي‌ػیؼتن‌ّب‌ثش‌سٍی‌هؼبئل‌هختلف‌دیذُ‌ه ‌‬
‫ؼتنّب‌فولىشدی‌ثیي‌‪‌%99.2‬تب‌‪‌%96.6‬داؿتٌذ‪‌ .‬‬
‫تشویجی‪‌،‬فولىشد‌الگَسیتن‌‪‌%92.9‌GABILL‬ثَد‌دس‌حبلی‌وِ‌دیگش‌ػی ‌‬

‫‪ 1.9‬جستجوی فضای فرضیه ای‬

‫ّوبى‌عَس‌وِ‌دس‌ثبال‌ًیض‌ًـبى‌دادُ‌ؿذ‪‌،‬الگَسیتن‌ّبی‌طًتیه‌ثب‌اػتفبدُ‌اص‌یه‌هتذ‌رؼتزَی‌ػتًَی‌ثِ‌دًجبل‌فشضیِ ای‌وِ‌تٌبػیت‌حیذاوخش‌سا‌‬
‫یگشدًذ‪‌.‬ایي‌رؼتزَ‌ثب‌دیگش‌هتذ ّبی‌ییبدگیشی‌ویِ‌دس‌اییي‌وتیبة‌‌آهیذُ‌‌هتفیبٍش‌اػیت‪‌.‬هیخالً‌‌دس‌‪‌Backpropagation‬دس‌‬
‫داؿتِ‌ثبؿٌذ‌ه ‌‬
‫یؿذ‪‌،‬دس‌حبلی‌وِ‌دس‌الگَسیتن‌طًتیه‌ایي‌تغیییشاش‌ثیِ‌ؿیذش‌ٍ‌ًبگْیبًی‌‬
‫ؿجىِ ّبی‌فلجی‌ایي‌رؼتزَ‌ثب‌تغییش‌اًذن‌اًذن‌دس‌فشضیِ‌اًزبم‌ه ‌‬
‫تنّیب‌ی‌طًتییه‌‌‬
‫اػت‪ّ‌،‬وبى‌عَس‌ وِ‌ٍاضح‌اػت‌فشصًذاى‌هوىي‌اػت‌تفبٍش‌ثؼیبسی‌ثب‌ٍالذیي‌داؿتِ‌ثبؿٌذ‪‌.‬تَرِ‌داؿیتِ‌ثبؿییذ‌ویِ‌دس‌الگیَس‌ی ‌‬
‫احتوبل‌ایٌىِ‌دس‌هیٌیون‌ًؼجی‌ثِ‌دام‌ثیفتین‌ثؼیبس‌ون‌اػت‌(هـىل‌اكلی‌‪‌ .)Backpropagation‬‬

‫یىی‌دیگش‌اص‌تفبٍش‌ّبی‌وبسثشدی‌الگَسیتن‌طًتیه‌هـىل‌تشاون‪‌1‬اػت‪‌.‬تشاون‌یذیذُ ای‌اػت‌وِ‌دس‌آى‌افشادی‌وِ‌تٌبػت‌ثبالتشی‌داسًیذ‌ػیش‌یقبً‌‬
‫یوٌٌذ‪‌.‬هـىل‌دس‌ایٌزبػت‌وِ‌ثب‌ون‌ؿذى‌تٌَؿ‌ػشفت‌تىبهیل‌ًییض‌ویبّؾ‌‌‬
‫یّبی‌هـبثِ‌خَد‌یش‌ه ‌‬
‫یوٌٌذ‌ٍ‌توبهی‌روقیت‌سا‌ثب‌وپ ‌‬
‫تَلیذ‌هخل‌ه ‌‬
‫یتیَاى‌‌اص‌اًتخیبة‌‬
‫هی‌یبثذ‪‌.‬ساُ‌ّبی‌ ثؼیبسی‌ثشای‌همبثلِ‌ثب‌هـىل‌تشاون‌اسائِ‌ؿذُ‌اػت‪‌.‬یىی‌اص‌ایي‌ساُ‌ّیب‌‌تغیییش‌تیبثـ‌اًتخیبة‌اػیت‪‌،‬هیخالً‌‌هی‌ ‌‬
‫هؼبثمِ ای‌یب‌اًتخبة‌ستجِ ای‌ثِ‌ربی‌سٍلت‌اػتفبدُ‌وشد‪‌.‬اػتشاتظی‌هـبثْی‌ًیض‌ثِ‌ًبم‌اؿتشان‌تٌبػت‪ٍ‌2‬ریَد‌داسد‌ویِ‌تٌبػیت‌ییه‌فیشد‌سا‌ثیب‌‬
‫یتیَاً‌ین‌دس‌ثییي‌ًوًَیِ‌ ّیبی‌‬
‫اربصُی‌افشاد‌ثشای‌رفت‌گیشی‌ٍ‌تَلیذ‌هخل‌اػت‪‌،‬حتی‌هی‌ ‌‬
‫یوٌذ‪‌.‬ساُ‌ػَم‌هحذٍد‌وشدى‌ ‌‬
‫افضایؾ‌افشاد‌هـبثِ‌ون‌ه ‌‬
‫اربصُی‌رفت‌گیشی‌‬ ‫هـبثِ‌تقذادی‌سا‌حزف‌وٌین‌یب‌صیش‌گًَِ ّبی‪‌3‬هـبثِ‌ٍ‌هتقذد‌سا‌حزف‌وٌین‪‌.‬ساُ‌حل‌هـبثِ‌هقلَم‌وشدى‌ ‌‬
‫فبكلِی‌فشضی‌ِّب‌ٍ‌ ‌‬
‫یگیشًذ‪‌ .‬‬
‫هّب‌اص‌تىبهل‌صیؼتی‌ًـأش‌ه ‌‬
‫ثِ‌افشاد‌ًضدیه‌ثِ‌ّن‌اػت‪‌.‬ثؼیبسی‌اص‌ایي‌تىٌی ‌‬

‫‪4‬‬
‫‪ 1.4.9‬تکبمل جمعیت و تئوری الگو‬
‫یٍاس‌ػیش‌تىبهل‌روقیت‌دس‌الگَسیتن‌طًتیه‌دس‌عیَل‌صهیبى‌سا‌هـیخق‌ویشد‪‌.‬تئیَسی‌الگیَ‌ی‌‬
‫یتَاى‌سیبض ‌‬
‫حبل‌ایي‌ػؤال‌هغشح‌اػت‌وِ‌آیب‌ه ‌‬
‫یوٌذ‪‌.‬ایي‌تَكیف‌هجتٌی‌ثش‌هفَْم‌الگَ‪‌5‬اػت‌وِ‌دػتِ‌سؿیتِ‌ثیی‌ ‌‬
‫تّیب‌‌سا‌تَكییف‌‬ ‫)‪‌(Holland 1975‬یه‌تَكیف‌اص‌تىبهل‌روقیت‌اسائِ‌ه ‌‬
‫یوٌذ‌وِ‌ّوبى‌‪ّ 9‌ٍ‌0‬ب‌سا‌داسًیذ‌ٍ‌‬
‫یوٌذ‪‌.‬دلیك‌تش‌ایٌىِ‌یه‌الگَ‌سؿتِ ای‌اص‌‪‌*‌ٍ‌9‌ٍ‌0‬اػت‪ّ‌.‬ش‌الگَ‌دػتِ ای‌اص‌سؿتِ‌وذّب‌سا‌هـخق‌ه ‌‬
‫ه‌‬
‫سؿتِی‌ؿبهل‌دٍ‌سؿتِ‌ثیت‌‪‌0110‌ٍ‌0010‬سا‌ًـبى‌ه ‌‬
‫یدّذ‪‌ .‬‬ ‫همذاس‌*‌ًیض‌ثشایـبى‌هْن‌ًیؼت‪‌.‬ثشای‌هخبل‌الگَی‌‪‌0*10‬دػتِ‌ ‌‬

‫‌الگیَ‌هخیل‌‬ ‫یوٌذ‌داًؼت‪‌.‬ثشای‌هخیبل‪‌0010‌،‬سا‌هی‌ ‌‬
‫یتیَاى‌‌ًوبیـیگش‌‬ ‫آىسا‌تَكیف‌ه ‌‬
‫یتَاى‌ًوبیـگش‌توبهی‌الگَّبیی‌وِ‌ ‌‬
‫ّش‌سؿتِ‌ثیت‌سا‌ه ‌‬
‫**‪‌ٍ‌****‌ٍ‌0*10‌،00‬غیشُ‌داًؼت‪‌.‬ثِ‌عَس‌هـبثِ‌روقیتی‌اص‌سؿتِ‌وذّب‌سا‌ه ‌‬
‫یتَاى‌ثب‌تقذادی‌الگَ‌ٍ‌تقذاد‌افضبی‌هتٌبػیت‌ثیب‌‌آى‌الگیَ‌‬
‫هـخق‌وشد‪‌ .‬‬

‫‪1‬‬
‫‪‌Crowding‬‬
‫‪2‬‬
‫‪‌fitness sharing‬‬
‫‪3‬‬
‫‪‌subspecies‬‬
‫‪4‬‬
‫‪‌Scheme Theorem‬‬
‫‪5‬‬
‫‪‌Schema/pattern‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یتَاًذ هـخلِ یذیذُ تىبهل‌روقیت دس الگَسیتن‌طًتیه سا‌ثش‌اػبع‌تقذاد‌ًوًَِ ّبی‌ّش‌الگیَ‌ ثییبى‌ ًوبییذ‌‪‌.‬اگیش‌)‪‌m(s,t‬تقیذاد‌‬

‫تئَسی‌الگَ‌ه ‌‬
‫ًوًَِ ّبی‌الگَی‌‪‌s‬دس‌روقیت‌دس‌صهبى‌‪‌t‬ثبؿذ‌(تىشاس‌‪‌t‬ام‌الگَسیتن)‪‌،‬تئَسی‌الگَ‌ثب‌تَرِ‌ثِ‌)‪‌ٍ‌m(s,t‬دیگیش‌ٍیظگی‌ ‌‬
‫یّیب‌ی‌الگیَ‌ٍ‌روقییت‌ٍ‌‬
‫یبساهتش ّبی‌الگَسیتن‌طًتیه‪‌m(s,t+1)‌،‬سا‌تَكیف‌ه ‌‬
‫یوٌذ‪‌ .‬‬

‫هشحلِی‌اًتخیبة‌سا‌دس‌ًؾیش‌‌‬
‫تىبهل‌روقیت‌دس‌الگَسیتن‌طًتیه‌ٍاثؼتِ‌ثِ‌هشحلِ ّبی‌اًتخبة‪‌،‬رفت‌گیشی‌ٍ‌رْؾ‌اػت‪‌.‬ثیبییذ‌فقالً‌فمظ‌تأحیش‌ ‌‬
‫ثگیشین‪‌.‬فشم‌وٌیذ‌وِ‌)‪‌f(h‬هیضاى‌تٌبػت‌سؿتِ‌ثیت‌‪‌ (̅ )‌،h‬هتَػظ‌تٌبػت‌توبهی‌سؿیتِ‌ثیی‌ ‌‬
‫تّیب‌ی‌روقییت‌دس‌صهیبى‌‪‌n‌،‌t‬تقیذاد‌افیشاد‌‬
‫(̂ ‌هتَػظ‌تٌبػت‌توبهی‌افضبی‌الگَی‌‪‌s‬ثبؿذ‪‌ٍ‌،‬ه ‌‬
‫یداًین‌وِ‌‪ّ‌‌h‬ن‌فضَ‌الگَی‌‪‌s‬اػت‌ٍ‌ّن‌دس‌صهبى‌‪‌t‬دس‌روقیت‌حضیَس‌‬ ‫روقیت‪)‌،‬‬
‫‪‌.‬‬ ‫∩‬ ‫داسد‌‬

‫یدّی‌ین‪‌. E[m(s,t+1)]‌:‬ثیب‌اػیتفبدُ‌اص‌‬
‫یخَاّین‌همذاس‌)‪‌m(s,t+1‬سا‌ییؾ‌ثیٌی‌وٌین‪‌،‬ایي‌ییؾ‌ثیٌی‌سا‌ثب‌اهیذ‌همذاس‌هزوَس‌ًـبى‌هی‌ ‌‬
‫حبل‌ه ‌‬
‫ساثغِی‌‪‌9.9‬سا‌ه ‌‬
‫یتَاى‌ثب‌فشضیبتی‌وِ‌‬ ‫یتَاًین‌همذاس‌])‪‌E[m(s,t+1‬سا‌هحبػجِ‌وٌین‪‌ ‌.‬‬
‫ساثغِی‌تبثـ‌تَصیـ‌احتوبل‌هغشح‌ؿذُ‌دس‌رذٍل‌‪‌9.9‬ه ‌‬
‫‌‬
‫وشدین‌ثِ‌ؿىل‌صیش‌ثبصًَیؼی‌وشد‪‌ :‬‬

‫) (‬
‫) (‬
‫∑‬ ‫) (‬

‫) (‬
‫) ̅(‬

‫حبل‌اگش‌‪ ‌h‬سا‌یىی‌اص‌افضبی‌روقیت‌رذیذ‌دس‌ًؾش‌ثگیشین‌عجك‌تبثـ‌تَصیـ‌احتوبل‪‌،‬احتوبل‌ایٌىِ‌فضَی‌اص‌‪‌s‬سا‌اًتخبة‌وٌین‌سا‌خَاّین‌داؿت‪‌ :‬‬

‫) (‬
‫(‬ ‫)‬ ‫∑‬
‫) ̅(‬
‫∩‬

‫(̂‬ ‫)‬
‫(‬ ‫)‬ ‫(‬ ‫)‬
‫) ̅(‬

‫دس‌ًتیزِ‌گیشی‌دٍم‌اص‌ایي‌حمیمت‌اػتفبدُ‌وشدین‌وِ‪‌ :‬‬

‫∑‬ ‫∩‬ ‫) (‬
‫(̂‬ ‫)‬
‫(‬ ‫)‬

‫یدّذ‌وِ‌فشضی‌ِی‌اًتخبة‌ؿذُ‌تَػظ‌الگَسیتن‌طًتیه‌ًوًَِ ای‌اص‌‪‌s‬ثبؿذ‪‌.‬چَى‌‪‌n‬اًتخبة‌هؼتمل‌اص‌ّین‌‬
‫ساثغِی‌‪‌9.2‬احتوبل‌ایي‌سا‌ًـبى‌ه ‌‬
‫‌‬
‫یگیشد‌اهیذ‌تقذاد‌افضبی‌اًتخبة‌ؿذُ‌‪‌n‬ثشاثش‌احتوبل‌اًتخبة‌ّش‌یه‌اص‌افضب‌خَاّذ‌ثَد‌ٍ‌خَاّین‌داؿت‪‌ ‌:‬‬
‫كَسش‌ه ‌‬

‫) (̂‬
‫(‬ ‫)‬ ‫(‬ ‫)‬ ‫(‬ ‫)‬
‫) ̅(‬

‫(̂ ‌ ‌‬
‫ساثغِی‌هؼتمین‌‬ ‫یدّذ‌وِ‌اهیذ‌تقذاد‌ًوًَِ ّبی‌الگَی‌‪‌s‬دس‌ًؼل‌‪‌t+1‬ثب‌هتَػظ‌تٌبػت‌ًوًَِ ّبی‌الگَی‌‪)‌،s‬‬
‫ساثغِی‌‪ً‌9.3‬ـبى‌ه ‌‬
‫‌‬
‫ٍ‌ثب‌هتَػظ‌تٌبػت‌توبهی‌فشضی‌ِّب‌دس‌صهبى‌‪ً‌t‬ؼجت‌فىغ‌داسد‪‌.‬یغ‌ه ‌‬
‫یتَاًین‌اًتؾبس‌داؿتِ‌ثبؿین‌وِ‌الگَّبیی‌وِ‌هتَػیظ‌تٌبػجـیبى‌ثیبالی‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫هتَػظ‌تٌبػت‌ول‌اػت‌دس‌ًؼل‌ّبی‌ثقذی‌ًوًَِ ّبی‌ثیـتشی‌سا‌ثِ‌خَد‌اختلبف‌خَاٌّذ‌داد‪‌.‬اگش‌ثِ‌الگَسیتن‌طًتیه‌ثِ‌ًگیبُ‌رؼیتزَیی‌دس‌‬
‫ساثغِی‌‪ً‌9.3‬ـبى‌ه ‌‬
‫یدّذ‌وِ‌دس‌عی‌صهبى‌الگَّبیی‌‬ ‫هیبى‌الگَّب‪ّ‌،‬وضهبى‌ثب‌رؼتزَ‌دس‌هیبى‌افشاد‌ثشای‌ییذا‌وشدى‌هتٌبػت‌تشیي‌ّب‌ًگبُ‌وٌین‪‌ ‌،‬‬
‫وِ‌تٌبػت‌ثیـتشی‌داسًذ‌سؿذ‌ثیـتشی‌خَاٌّذ‌داؿت‪‌ .‬‬

‫هشحلِی‌تَلیذ‌هخل‌ٍ‌رْؾ‌ًیض‌ثبیذ‌دس‌ًؾش‌گشفتِ‌ؿًَذ‪‌.‬تئَسی‌الگَ‌فمظ‌احش‌‬
‫شحلِی‌اًتخبة‌سا‌دس‌ًؾش‌گشفتین‪‌،‬دس‌حبلی‌دٍ‌ ‌‬
‫دس‌فجبسش‌ثبال‌فمظ‌ه ‌‬
‫یگیشد‌(ثشای‌هخبل‌رْؾ‌هوىي‌اػت‌تقذاد‌ًوًَِ ّبی‌هَرَد‌اص‌الگیَی‌‪‌s‬سا‌ویبّؾ‌دّیذ)‪‌ٍ‌،‬دس‌‬
‫هٌفی‌احتوبلی‌ایي‌افوبل‌طًتیىی‌سا‌دس‌ًؾش‌ه ‌‬
‫یگیشد‪‌.‬فشم‌وبهل‌ًؾشی‌ِی‌الگَ‌وشاى‌یبییٌی‌ثشای‌اهیذ‌تقذاد‌ًوًَِ ّیبی‌الگیَی‌‪‌s‬ثییبى‌‬
‫تَلیذ‌هخل‌ًیض‌فمظ‌تَلیذ‌هخل‌ته‌ًمغِ ای‌سا‌دس‌ًؾش‌ه ‌‬
‫یوٌذ‪‌ :‬‬
‫ه‌‬

‫) (̂‬ ‫) (‬ ‫) (‬
‫(‬ ‫)‬ ‫(‬ ‫()‬ ‫()‬ ‫)‬ ‫(‬ ‫)‬
‫) ̅(‬

‫‌ًیض‌احتویبل‌اییي‌اػیت‌ویِ‌ثیتیی‌اص‌‬ ‫دس‌ایي‌ساثغِ‌ ‌احتوبل‌ایي‌اػت‌وِ‌فول‌تَلیذ‌هخل‌ته‌ًمغِ ای‌ثِ‌ّش‌فشد‌دلخَاّی‌افوبل‌ؿَد‌‬

‫تّبی‌‪‌9‌ٍ‌0‬ؿیوشدُ‌‌هی‌ ‌‬
‫یؿیًَذ‌‌ٍ‌‬ ‫تّبی‌هقلَم‪‌1‬الگَی‌‪‌s‬اػت‪‌،‬دس‌ؿوبسؽ‌ایي‌ثی ‌‬
‫تّب‌فمظ‌ثی ‌‬ ‫فشدی‌دلخَاُ‌رْؾ‌وٌذ‪‌o(s)‌.‬دس‌ایي‌ساثغِ‌ثی ‌‬
‫فبكلِی‌ثیت‌چپ‌تشیي‌ٍ‌ساػت‌تشیي‌ثیت‌هقلَم‌‪‌s‬اػت‪ً‌L‌.‬ییض‌عیَل‌ّیش‌سؿیتِ‌ثییت‌دس‌‬
‫یؿًَذ‪ً‌d(s)‌.‬یض‌دس‌ایي‌ساثغِ‌ ‌‬
‫ثیت‌ّبی‌*‌ؿوشدُ‌ًو ‌‬
‫ساثغِی‌‪‌9.3‬اػت‌وِ‌تأحیش‌ ‌‬
‫هشحلِی‌اًتخبة‌ثش‌تئَسی‌الگَ‌اػت‪‌.‬لؼوت‌ثقذی‌‬ ‫ساثغِی‌‪ّ‌9.4‬وبى‌ ‌‬
‫یوٌیذ‌وِ‌لؼوت‌اٍل‌ ‌‬
‫روقیت‌اػت‪‌.‬تَرِ‌ه ‌‬
‫ًوًَِی‌‌ثقذ‌اص‌تَلیذ‌هخل‌دس‌‪‌s‬ثبؿٌذ‌سا‌هـخق‌ه ‌‬
‫یوٌذ‪‌ٍ‌.‬‬ ‫ساثغِ‌احش‌تَلیذ‌هخل‌ته‌ًمغِ ای‌اػت‪‌،‬دس‌ول‌ایي‌لؼوت‌احتوبل‌ایٌىِ‌فشصًذاى‌ّش‌ ‌‬
‫هشحلِی‌رْؾ‌اػت‪‌،‬ایي‌لؼوت‌ًیض‌احتوبل‌ایٌىِ‌ثقذ‌اص‌رْؾ‌ٌَّص‌ًوًَِ‌فضَ‌‪‌s‬ثبؿذ‌سا‌هـخق‌هی‌ ‌‬
‫یوٌیذ‌‪‌.‬تَریِ‌‬ ‫لؼوت‌آخش‌ساثغِ‌ًیض‌احش‌ ‌‬
‫فبكلِی‌ثیي‌ثیت‌ّبی‌هقلَم‌)‪‌d(s‬سا‌افضایؾ‌هی‌ ‌‬
‫یدٌّیذ‌‪‌.‬‬ ‫داسیذ‌وِ‌دٍ‌فول‌تَلیذ‌هخل‌ته‌ًمغِ ای‌ٍ‌رْؾ‌تقذاد‌ثیت‌ّبی‌هقلَم‌الگَ‌)‪‌ ‌ٍ‌o(s‬‬
‫هتٌبػتتش‌ثیـتش‌سؿذ‌خَاٌّذ‌وشد‪‌،‬هخلَكیبً‌‌الگَّیبیی‌ویِ‌تقیذاد‌ثییت‌‬
‫‌‬ ‫یسػذ‌وِ‌دس‌ول‪‌،‬الگَ ّبی‌‬
‫ثٌبثشایي‌تئَسی‌الگَ‌ثِ‌ایي‌ًتیزِ‌گیشی‌ه ‌‬
‫هتشًذ‪‌ .‬‬ ‫هقلَم‌ووی‌داسًذ‌(تقذاد‌*‌ّبیـبى‌ثبالػت)‪‌ٍ‌،‬الگَّبیی‌وِ‌ایي‌ثی ‌‬
‫تّبی‌هقلَم‌ثِ‌ّن‌ًضدی ‌‬

‫یتشیي‌تَكیف‌اص‌تىبهل‌دس‌الگَسیتن‌طًتیه‌ّب‌ثبؿذ‪‌.‬تٌْب‌ضقف‌ایي‌تئَسی‌ایي‌اػت‌وِ‌دس‌آى‌احش‌هخجت‌احتوبلی‌تَلیذ‌هخیل‌‬
‫تئَسی‌الگَ‌ؿبیذ‌ول ‌‬
‫آىّب‌ثیش‌یبیی‌‌ِی‌هیذل‌ّیب‌ی‌صًزییشٍاس‌‬
‫ٍ‌رْؾ‌یه‌چیض‌ًبدیذُ‌گشفتِ‌ؿذُ‌اػت‪‌.‬اخیشاً‌ًؾشیِ ّبی‌صیبدی‌دس‌هَسد‌تىبهل‌اسائِ‌ؿذُ‌وِ‌ثقضی‌اص‌ ‌‬
‫هبسوٍَ‪‌ٍ‌2‬ثقضی‌دیگش‌ثش‌یبی‌ِی‌هیذل‌ّیب‌ی‌هىیبً‌ی ‌‬
‫ضمّیب‌ی‌آهیبسی‌‌ّؼیتٌذ‪‌.‬ثیشای‌اعالفیبش‌ثیـیتش‌ثیِ‌)‪‌ٍ‌(Whitley and Vose 1995‬‬
‫)‪‌(Mitchell 1996‬هشارقِ‌وٌیذ‪‌ .‬‬

‫‪ 1.9‬برنامه نویسی شنتیک‬

‫تّب‌ثشًبهِ ّبی‌وبهپیَتشی‌ّؼتٌذ‪(Koza ‌.‬‬ ‫ثشًبهِ ًَیؼی‌طًتیه‪ًَ‌3‬فی‌اص‌هحبػجبش‌تىبهلی‌اػت‌وِ‌دس‌آى‌افضبی‌روقی ‌‬
‫تّب‌ثِ‌ربی‌سؿتِ‌ثی ‌‬
‫یوٌذ‪.‬‬ ‫دػتِی‌ثضسگی‌اص‌ثشًبهِ ّبی‌ػبدُ‌سا‌وِ‌تَػظ‌‪‌GP‬ه ‌‬
‫یتَاى‌یبد‌گشفت‌سا‌هقشفی‌ه ‌‬ ‫)‪‌1992‬سٍؽ‌ثشًبهِ ًَیؼی‌طًتیه‌سا‌تَكیف‌وشدُ‌ٍ‌ ‌‬

‫‪1‬‬
‫‪‌defined bits‬‬
‫‪2‬‬
‫‪‌Markov chain models‬‬
‫‪3‬‬
‫‪‌genetic programming‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.5.9‬نمبیش ثرنبمههب‬
‫یؿًَذ‪ّ‌.‬ش‌تبثـ‌تَػظ‌ییه‌گیشُ‌دس‌دسخیت‌ٍ‌ّیش‌‬
‫دسختّبیی‌ًوبیؾ‌دادُ‌ه ‌‬ ‫ثشًبهِ‌ّبیی‌وِ‌دس‌‪‌GP‬هَسد‌ثحج‌لشاس‌ه ‌‬
‫یگیشًذ‌هقوَالً‌ثِ‌كَسش‌ ‌‬
‫یدّذ‪‌.‬ثشای‌اػتفبدُ‌اص‌ثشًبهِ ًَیؼیی‌‌‬
‫‌سا‌ًـبى‌ه ‌‬ ‫) (‬ ‫√‬ ‫یؿَد‪‌.‬ثشای‌هخبل‪‌،‬ؿىل‌‪‌9.9‬تبثـ‌‬
‫همذاس‌تَػظ‌یه‌یبل‌هـخق‌ه ‌‬
‫‪1‬‬
‫طًتیه‌ثبیذ‌اثتذا‌تَاثـ‌یبیِ ای‌(هخل‌‪‌ٍ‌)...‌ٍ‌exp‌،-‌،+‌،√‌،cos‌،sin‬تشهیٌبل‌ّب ‌(هخل‌‪‌،y‌،x‬افذاد‌حبثت‪‌)...ٍ‌،‬سا‌هـخق‌وشد‪‌.‬ثشًبهِ ًَیؼیی‌‌‬
‫طًتیه‌ثب‌اػتفبدُ‌اص‌هحبػجبش‌تىبهلی‌رؼتزَیی‌دس‌فضبی‌ثضسي‌فشضیِ ّبی‌وِ‌ثشًبهِ ّبی‌ػبختِ‌ؿیذُ‌تَػیظ‌تَاثیـ‌یبییِ‌اػیت‌سا‌فیشاّن‌‬
‫یوٌذ‪‌ .‬‬
‫ه‌‬

‫‌‬
‫ؿىل‌‪‌1.9‬دسخت‌ًوبیؾ‌ ‌‬
‫ثشًبهِّب‌دس‌ثشًبهِ ًَیؼی‌طًتیه‪‌ .‬‬
‫یؿًَذ‪‌ .‬‬
‫دسختّبی‌هتٌبػجـبى‌ًـبى‌دادُ‌ه ‌‬
‫دس‌ثشًبهِ ًَیؼی‌طًتیه‌ثشًبهِ ّبی‌دلخَاُ‌ثب‌ ‌‬
‫دسػت‌هـبثِ‌الگَسیتن‌ّبی‌طًتیه‌دس‌لبلت‌ولی‌ثشًبهِ ًَیؼی‌طًتیه‌ًیض‌روقیت‌ّب‌(ایي‌ثبس‌ثِ‌ؿىل‌ثشًبهِ ّبی‌دسختی)‌حضیَس‌داسًیذ‪‌.‬دس‌ّیش‌‬
‫ثشًبهِی‌روقیت‌ًیض‌ثب‌ارشای‌آى‌‬
‫یؿًَذ‪‌.‬تٌبػت‌ّش‌ ‌‬
‫هشحلِی‌اًتخبة‪‌،‬تَلیذ‌هخل‌ٍ‌رْؾ‌ایزبد‌ه ‌‬
‫حلمِی‌اكلی‪ً‌،‬ؼلی‌رذیذ‌اص‌افشاد‌دس‌ػِ‌ ‌‬
‫تىشاس‌ ‌‬
‫ؿبخِی‌دسخیت‌‌ثشًبهیِ‌ ّیبی‌ٍالیذ‌اًزیبم‌‬
‫ًوًَِی‌آهَصؿی‌ثذػت‌هی‌آیذ‪‌.‬افوبل‌تَلیذ‌هخل‌ًیض‌ثب‌اًتخبة‌ٍ‌فَم‌وشدى‌ربی‌دٍ‌صیش‌ ‌‬
‫ثشای‌چٌذ‌ ‌‬
‫یگیشد‪‌.‬ؿىل‌‪‌9.2‬یه‌تَلیذ‌هخل‌سا‌ًـبى‌ه ‌‬
‫یدّذ‪‌ .‬‬ ‫ه‌‬

‫‪1‬‬
‫‪‌terminal‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‌‬
‫ؿىل‌‪‌1.9‬فول‌تَلیذ‌هخل‌ثشای‌دٍ‌دسخت‌ٍالذ‌(ثبالی‌ؿىل)‪‌ .‬‬
‫یوٌٌذ‌تیب‌فشصًیذاى‌(ییبییي‌ؿیىل)‌ؿیىل‌‬
‫یؿًَذ‪‌ٍ‌.‬ػپغ‌صیش‌ؿبخِ‌ّب‌ربی‌خَد‌سا‌فَم‌ه ‌‬‫ًمبط‌تَلیذ‌هخل‌(گشُ ّبی‌ًـبى‌دادُ‌ؿذُ)‌ثِ‌تلبدف‌اًتخبة‌ه ‌‬
‫ثگیشًذ‪‌ .‬‬
‫ؾّبی‌ٍی‌‪‌10%‬اص‌روقیت‌فقلی‌ثب‌تَریِ‌ثیِ‌تٌبػجـیبى‌ثیِ‌‬ ‫)‪‌‌(Koza 1992‬هزوَفِ ای‌‪‌GP‬سا‌دس‌تقذادی‌اص‌هؼبئل‌ثِ‌وبس‌ثشد‪‌.‬دس‌آصهبی ‌‬
‫یؿذًذ‪‌.‬ثمی‌ِی‌روقیت‌ًؼل‌ثقذ‌اص‌عشیك‌فول‌تَلیذ‌هخل‌رفیت‌ثشًبهیِ‌ ّیبی‌ًؼیل‌‬
‫كَسش‌احتوبلی‌هؼتمیوبً‌ثِ‌روقیت‌ًؼل‌ثقذ‌اًتمبل‌دادُ‌ه ‌‬
‫ؾّب‌اص‌فول‌رْؾ‌اػتفبدُ‌ًـذُ‌اػت‪‌ .‬‬
‫یؿذ‪‌.‬دس‌ایي‌آصهبی ‌‬
‫فقلی‪‌،‬وِ‌دٍثبسُ‌ثِ‌كَسش‌احتوبلی‌ٍ‌ثب‌تَرِ‌ثِ‌تٌبػجـبى‌اًتخبة‌ؿذُ‌ثَدًذ‪‌،‬ایزبد‌ه ‌‬

‫‪ 1.5.2‬یک مثبل‬
‫هىقتّبی‌ؿىل‌‪‌9.3‬ثَد‪ّ‌.‬یذف‌یییذا‌‬ ‫هخبلّبی‌اسائِ‌ؿذُ‌تَػظ‌)‪‌ ‌(Koza 1992‬‬
‫دسثبسُی‌یبدگیشی‌الگَسیتوی‌ثشای‌سٍی‌ّن‌چیذى‌ ‌‬ ‫یىی‌اص‌ ‌‬
‫آىّیب‌‌سا‌عیَسی‌سٍی‌ّین‌ثچیٌیذ‌ویِ‌دس‌‌آخیش‌دس‌ییه‌ػیتَى‌ولویِ‌ی‌‬
‫وشدى‌الگَسیتوی‌ولی‌اػت‌وِ‌ثذٍى‌تأحیش‌چیٌؾ‌اٍلیی‌‌ِی‌هىقیت‌ّیب‌‪‌ ‌،‬‬
‫”‪‌“universal‬سا‌ًوبیؾ‌دٌّذ‪‌.‬دس‌ّش‌حشوت‌تٌْب‌ه ‌‬
‫یتَاى‌یه‌هىقت‌سا‌ربثزب‌وشد‪‌.‬دس‌ول‌دٍ‌حشوت‌هزبص‌ٍرَد‌داسد‪‌،‬یىی‌ایٌىِ‌یه‌هىقت‌‬
‫سا‌اص‌ػغح‌صهیي‌ثِ‌ثبالی‌ػتًَی‌ثجشین‌ٍ‌دیگشی‌ایٌىِ‌هىقت‌ثبالیی‌ػتَى‌سا‌ثِ‌صهیي‌هٌتمل‌وٌین‪‌ .‬‬

‫ًحَُی‌ًوبیؾ‌هؼئلِ‌ًمؾ‌ثؼیبس‌هْوی‌دس‌آػبى‌ؿذى‌حل‌آى‌داسد‪‌.‬دس‌ًوبیـی‌وِ‌‪‌Koza‬‬
‫هخل‌اوخش‌هؼئلِ ّبی‌ثشًبهِ‌ًَیؼی‌طًتیه‪‌،‬اًتخبة‌ ‌‬
‫ثشای‌هؼئلِ‌اًتخبة‌وشد‪‌،‬ػِ‌تشهیٌبل‌صیش‌سا‌اًتخبة‌وشد‪‌ :‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دٌّذُی‌حشف‌هىقت‌ثبالی‌ػتَى‌اػت‪‌،‬دس‌كَسش‌فذم‌ٍرَد‌ػتَى‌فقلی‌‪‌F‬خَاّذ‌ثَد‪.‬‬
‫‪(‌CS‬ػتَى‌فقلی)‪‌،‬وِ‌ًـبى‌ ‌‬ ‫‪‬‬
‫‪(‌TB‬ثبالتشیي‌هىقت‌دسػت)‪‌،‬وِ‌ًـبى‌ ‌‬
‫دٌّذُی‌حشف‌هىقت‌ثبالی‌ػتَى‌دسػت‌اػت‪‌،‬دس‌چٌیي‌ػیتًَی‌تویبهی‌حیشٍف‌دس‌تشتییت‌‬ ‫‪‬‬
‫دسػت‌لشاس‌داسًذ‪.‬‬
‫ولوِی‌”‪‌“universal‬سا‌تـىیل‌دّذ‪‌،‬اگیش‌‬
‫‪ً(‌NN‬یبص‌ثقذی)‪‌،‬حشفی‌اػت‌وِ‌دس‌تشتیت‌دسػت‌ثبالی‌ػتَى‌‪‌TB‬ثبیذ‌لشاس‌ثگیشد‌تب‌ ‌‬ ‫‪‬‬
‫هىقتّب‌وبفی‌ًجَد‌همذاس‌آى‌‪‌F‬خَاّذ‌ثَد‪.‬‬
‫تقذاد‌ ‌‬

‫آىّب‌سا‌ثِ‌فشهی‌ثچیٌذ‌وِ‌‬ ‫ؿىل‌‪ ‌1.9‬هؼئلِ‌چیٌؾ‌هىقت‪ّ‌.‬ذف‌اص‌ثشًبهِ‌ًَیؼی‌طًتیه‌ییذا‌وشدى‌ثشًبهِ‌ای‌اػت‌وِ‌ثذٍى‌تَرِ‌ثِ‌تشتیت‌اٍلیِ‌ ‌‬

‫هىقتّب‌ ‌‬
‫یسٍد‪‌ .(Koza 1992)‌،‬‬ ‫ولوِ‌”‪‌“universal‬سا‌ایزبد‌وٌٌذ‪‌.‬هزوَفِ‌ای‌اص‌‪‌911‬حبلت‌اٍلیِ‌ثشای‌تـخیق‌تٌبػت‌ثشًبهِ‌ثِ‌وبس‌ه ‌‬
‫یوٌیذ‌‪‌.‬فیشم‌وٌییذ‪‌،‬دس‌‬ ‫یؿَد‪‌،‬ایي‌اًتخبة‌تشهیٌبل‌ّبی‌ٍسٍدی‌یه‌ًوبیؾ‌عجیقی‌ثشای‌تَكیف‌ایي‌هؼیئلِ‌سا‌ایزیبد‌هی‌ ‌‬ ‫ّوبى‌عَس‌وِ‌دیذُ‌ه ‌‬
‫همبثل‪‌،‬ثِ‌ربی‌ایي‌ٍسٍدی‪ٍ‌،‬سٍدی‌‪‌y‌ٍ‌x‬توبهی‌ ‌‬
‫هىقتّبی‌هَرَد‌اػت‪‌ .‬‬

‫یسًٍذ‪‌ :‬‬
‫ٌبلّب‌دس‌ثشًبهِ ّبی‌اػتفبدُ‌ؿذُ‌ایي‌تَاثـ‌یبیِ ای‌ثِ‌وبس‌ه ‌‬
‫فالٍُ‌ثش‌ایي‌تشهی ‌‬

‫یثشد‌ٍ‌همذاس‌‪‌T‬سا‌ثش‌ه ‌‬
‫یگشداًیذ‌‪‌.‬دس‌‬ ‫)‪(‌(MS x‬حشوت‌ثِ‌سٍی‌ػتَى)‌اگش‌هىقت‌‪‌x‬سٍی‌صهیي‌ثبؿذ‌ایي‌فول‌ ‌‬
‫آىسا‌ثِ‌ثبالی‌ػتَى‌ه ‌‬ ‫‪‬‬
‫یگیشد‌ٍ‌همذاس‌‪‌F‬ثش‌گشداًذُ‌ه ‌‬
‫یؿَد‪.‬‬ ‫غیش‌ایي‌كَسش‌فولی‌كَسش‌ًو ‌‬
‫یؿَد‪‌،‬دس‌غیش‌ایي‌كَسش‌‪‌F‬ثشگشداًذُ‌ه ‌‬
‫یؿَد‪.‬‬ ‫)‪(‌(EQ x y‬تؼبٍی)‌اگش‌‪‌y‌ٍ‌x‬هؼبٍی‌ثبؿٌذ‌همذاس‌‪‌T‬ثشگشداًذُ‌ه ‌‬ ‫‪‬‬
‫)‪‌(NOT x‬اگش‌‪‌،x=F‬همذاس‌‪‌T‬سا‌ثشهی‌گشداًذ‌ٍ‌اگش‌‪‌x=T‬همذاس‌‪‌F‬سا‌ثش‌ه ‌‬
‫یگشداًذ‪.‬‬ ‫‪‬‬
‫)‪‌)“Do Until”(‌(DU x y‬دػتَس‌‪‌x‬سا‌تب‌‪‌T‬ؿذى‌‪‌y‬تىشاس‌خَاّذ‌وشد‪.‬‬ ‫‪‬‬
‫ثشای‌ایٌىِ‌ػیؼتن‌ثتَاًذ‌تٌبػت‌ثشًبهِ ّبی‌تَلیذی‌سا‌اسصیبثی‌وٌذ‪‌ ‌966‌،Koza‌،‬‬
‫ًوًَِی‌آهَصؿیی‌‌اص‌چییٌؾ‌اٍلیی‌‌ِی‌هختلیف‌هىقیت‌ّیب‌‌ثیب‌‬
‫یؿذ‪‌.‬دس‌اثتذا‌روقیتی‌ثب‌‪‌300‬‬
‫ثشًبهِّب‌تقذاد‌ًوًَِ ّبی‌آهَصؿی‌حل‌ؿذُ‌تَػظ‌ثشًبهِ‌تلمی‌ه ‌‬
‫یّبی‌هتفبٍش‌ایزبد‌وشد‪‌.‬تٌبػت‌ّش‌یه‌اص‌ ‌‬
‫ػخت ‌‬
‫یوشد‪‌ :‬‬
‫ثشًبهِی‌صیش‌سػیذ‌وِ‌توبهی‌ًوًَِ ّبی‌آهَصؿی‌سا‌حل‌ه ‌‬
‫یؿَد‪‌.‬ثقذ‌اص‌دُ‌ًؼل‌ػیؼتن‌ثِ‌ ‌‬
‫ثشًبهِی‌ثِ‌تلبدف‌ایزبد‌ه ‌‬
‫‌‬

‫) ))‪(EQ (DU (MT CS)(NOT CS)) (DU (MS NN)(NOT NN‬‬

‫تَرِ‌داسیذ‌وِ‌ایي‌ثشًبهِ‌اص‌دٍ‌دػتَس‌‪‌DU‬یب‌ّوبى‌”‪‌“Do Until‬اػتفبدُ‌وشدُ‌اػت‪‌.‬دس‌دػتِ‌حشوت‌اٍل‌توبهی‌هىقیت‌ّیب‌‌ثیِ‌سٍی‌صهییي‌‬
‫یگیی‌شد‪ً‌.‬میؾ‌‬
‫هزوَفِی‌ػتَى‌ّب‌خبلی‌ؿَد‪‌.‬دس‌دػتِ‌حشوت‌دٍم‌یـت‌ػش‌ّن‌ًیبص‌ثقذی‌ثش‌سٍی‌ػتَى‌دسػت‌لشاس‌هی‌ ‌‬
‫‌‬ ‫یؿًَذ‌تب‌‬
‫اًتمبل‌دادُ‌ه ‌‬
‫حلمِی‌”‪‌“Do Until‬اػت‪‌ .‬‬
‫دػتَس‌‪‌EQ‬اٍل‌دس‌ایٌزب‌ایزبد‌لبفذُ ای‌دػتَسی‌ثشای‌تشویت‌دٍ‌ ‌‬

‫یسػذ‌وِ‌توبهی‌‪ً‌966‬وًَ‌ِی‌آهَصؿی‌سا‌حل‌هی‌ ‌‬
‫یوٌیذ‌‪‌.‬الجتیِ‌‬ ‫ربی‌تقزت‌اػت‌وِ‌ایي‌ثشًبهِ‌ًَیؼی‌طًتیه‌ثقذ‌تٌْب‌چٌذ‌ًؼل‌ثِ‌ثشًبهِ ای‌ه ‌‬
‫ٌبلّب‌ٍ‌تَاثـ‌یبیِ ای‌ٍ‌ًوًَِ ّبی‌آهَصؿی‌داسد‪‌ .‬‬
‫ساثغِی‌ثؼیبس‌ًضدیىی‌ثب‌تشهی ‌‬
‫لذسش‌ػیؼتن‌ثشای‌حل‌هؼئلِ‌ ‌‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.5.9‬نکبتی درثبرهی ثرنبمه نویسی ژنتیک‬

‫ّوبى‌عَس‌وِ‌دس‌هخبل‌ثبال‌آٍسدُ‌ؿذ‪‌،‬ثشًبهِ ًَیؼی‌طًتیه‌اص‌الگَسیتن‌ّبی‌طًتیه‌ثِ‌تىبهل‌ثشای‌ثشًبهِ ّبی‌وبهل‌وبهپیَتشی‌سػیذ‪‌.‬ثیشخالف‌‬
‫یتَاًذ‌ًتبیذ‌خیشُ‌وٌٌیذُ‌ ای‌‬
‫یوٌذ‪‌،‬ثشًبهِ ًَیؼی‌طًتیه‌احجبش‌وشدُ‌اػت‌وِ‌ه ‌‬
‫اًذاصُی‌ثضسي‌فضبی‌فشضیِ ای‌هَرَد‌وِ‌رؼتزَ‌سا‌ػخت‌تش‌ه ‌‬
‫‌‬
‫دس‌ثقضی‌وبسثشدّب‌ثذّذ‪‌.‬همبیؼِ ای‌ثیي‌ثشًبهِ‌ًَیؼی‌طًتیه‌ٍ‌دیگش‌هتذ ّبی‌رؼتزَی‌فضبی‌ثشًبهِ ّبی‌وبهپیَتشی‪‌،‬هخل‌‪‌hillclimbing‬‬
‫ٍ‌‪‌simulated annealing‬دس‌وتبة‌)‪‌(O’Reilly and Oppacher 9994‬اًزبم‌ؿذُ‌اػت‪‌ .‬‬

‫ثب‌ایي‌ٍرَد‌وِ‌هخبلی‌وِ‌دس‌ثبال‌آهذُ‌ووی‌ػبدُ‌ثَد‪‌ٍ‌(Koza 1996)‌،‬دیگش‌هحممبى‌وبسثشد‌ثشًبهِ‌ًَیؼی‌طًتیه‌سا‌دس‌وبسثشدّبی‌ییچیذُ تش‌‬

‫هؼئلِی‌عشاحی‌فیلتش‌هذاس‌ًوًَِ ای‌اص‌هؼئلِ ّبی‌ًؼیجتبً‌‌‬
‫هخل‌عشاحی‌هذاسّبی‌فیلتش‌الىتشیىی‌ٍ‌دػتِ‌ثٌذی‌هَلىَل‌ّبی‌یشٍتئیي‌ّب‌ًـبى‌داد‪‌ ‌.‬‬
‫ییچیذُ‌اػت‪‌.‬دس‌ایي‌هؼئلِ‪‌،‬ثشًبهِ‌ّب‌تىبهل‌هی‌یبثٌذ‌تب‌ثتَاًٌذ‌اص‌هذاساش‌یبیِ ای‪‌1‬هذاسی‌ییـشفتِ‌(هخل‌فیلتش)‌عشاحی‌وٌٌذ‪‌.‬دس‌ایي‌هؼئلِ‌تَاثیـ‌‬
‫یدٌّذ‪‌.‬تٌبػت‌ّش‌ثشًبهِ‌تَػظ‌ثشًبهیِ‌ ّیبی‌‬
‫یبیِ ای‌تَاثقی‌ّؼتٌذ‌وِ‌هذاساش‌یبیِ ای‌سا‌ثب‌اضبفِ‌یب‌ون‌وشدى‌فٌبكش‌هذاسی‌ٍ‌اتلبالش‌تغییش‌ه ‌‬
‫یؿَد‪‌.‬ثِ‌فجبسش‌دیگش‌اهتیبص‌تٌبػت‌هزوَؿ‌اًذاصُ ّبی‌‬ ‫ؿجیِ‌ػبص‌(هخل‌‪‌ٍ‌)SPICE‬اص‌عشیك‌همبی ‌‬
‫ؼِی‌خشٍری‌ٍ‌خشٍری‌هغلَة‌فیلتش‌هحبػجِ‌ه ‌‬
‫توبم‌خغبّبی‌ثیي‌هغلَة‌ٍ‌خشٍری‌هذاس‌دس‌‪‌909‬فشوبًغ‌هتفبٍش‌اػت‪‌.‬دس‌ایي‌هؼئلِ‌دس‌ّش‌ًؼل‌روقیتی‌ثب‌‪‌640000‬فضَ‌ایزبد‌ه ‌‬
‫یؿیذ‌‌‬
‫وِ‌‪‌%90‬اص‌روقیت‌لجلی‪‌%89‌،‬حبكل‌تَلیذ‌هخل‌ٍ‌‪ً‌%9‬یض‌حبكل‌رْؾ‌ثَدًذ‪‌.‬ػیؼتن‌ثیش‌سٍی‌ییه‌یشداصًیذُ‌ی‌‪‌64‬یبییِ‌ ای‌هیَاصی‌اریشا‌‬
‫یتَاًؼت‌‪‌%98‬ؿبى‌سا‌ؿجیِ‌ػبصی‌وٌذ‪‌.‬دس‌ًؼل‌ثقذی‌یب‌ّوبى‌ًؼل‌اٍل‌‬
‫یؿذ‪‌.‬دس‌ًؼل‌تلبدفی‌هذاساش‌آًمذس‌ثی‌هحتَا‌ثَدًذ‌وِ‌‪ً‌SPICE‬و ‌‬
‫ه‌‬
‫ایي‌هیضاى‌ثِ‌‪‌ٍ‌%84.9‬دس‌ًؼل‌دٍم‌ثِ‌‪‌%75‬وبّؾ‌یبفت‪‌.‬دس‌ًؼل‌ّبی‌هَفك‌ایي‌همذاس‌حتی‌تب‌‪ً‌%9.6‬یض‌وبّؾ‌یبفت‪‌.‬اهتیبص‌تٌبػت‌ثْتشیي‌‬
‫هذاس‌دس‌ًؼل‌اٍلیِ‌‪‌959‬ثَد‪‌،‬ثقذ‌اص‌‪ً‌20‬ؼل‌ایي‌هیضاى‌ثِ‌‪‌ٍ‌39‬ثقذ‌اص‌‪ً‌937‬ؼل‌ثِ‌‪‌0.8‬وبّؾ‌یبفت‪‌.‬ثْتشیي‌هذاس‌ثقذ‌اص‌‪ً‌937‬ؼل‌ایزبد‌‬
‫ؿذ‌وِ‌سفتبسی‌ثؼیبس‌ؿجیِ‌ثِ‌سفتبس‌هغلَة‌داؿت‪‌ .‬‬

‫دس‌اوخش‌هَاسد‪‌،‬وبسایی‌ثشًبهِ ًَیؼی‌طًتیه‌هؼتمیوبً‌ ثِ‌عشص‌ًوبیؾ‌ٍ‌اًتخبة‌تبثـ‌تٌبػت‌ٍاثؼتِ‌اػیت‪‌.‬ثیِ‌ّوییي‌دلییل‪‌،‬لؼیوت‌فویذُ‌ ای‌اص‌‬

‫یدٌّذ‌وِ‌ثِ‌‬
‫ییشداصد‪‌،‬ایي‌وبس‌ثِ‌ػیؼتن‌اربصُ‌ه ‌‬
‫تحمیمبش‌ثِ‌چگًَگی‌اًتخبة‌خَدوبس‌تَاثـ‌یبیِ‌ٍ‌الحبق‌آى‌ّب‌ثشای‌ثْجَد‌تَاثـ‌یبیِ ای‌اكلی‌ه ‌‬
‫ثشًبهِّب‌سا‌تغییش‌دّذ‪‌.‬ثشای‌اعالفبش‌ثیـتش‌ثِ‌)‪‌(Koza 1994‬هشارقِ‌وٌیذ‪‌ .‬‬
‫كَسش‌یَیب‌تَاثـ‌یبی‌ِی‌ ‌‬

‫‪ 1.9‬مذلهای تکاملی و یادگیری‬

‫یگیشًذ‪‌.‬دس‌ّویي‌صهبى‪‌،‬فشایٌذ ّیبی‌صیؼیتی‌ٍ‌‬
‫یؿبى‌تغبثك‌ّبی‌هْوی‌سا‌یبد‌ه ‌‬
‫دس‌ثؼیبسی‌اص‌ػیؼتن‌ّبی‌عجیقی‪‌،‬ثؼیبسی‌اص‌افشاد‌دس‌عَل‌صًذگ ‌‬
‫ؼتنّبی‌تىیبهلی‌اییي‌‬
‫ػؤالّبی‌ثؼیبس‌ربلت‌دس‌هَسد‌ػی ‌‬
‫ًؼلّب‌تغبثك‌ییذا‌وٌٌذ‪‌.‬یىی‌اص‌ ‌‬
‫یدّذ‌تب‌دس‌عَل‌ ‌‬
‫ارتوبفی‌ثِ‌گًَِ‌ؿبى‌ایي‌اهىبى‌سا‌ه ‌‬
‫ساثغِی‌ثیي‌یبدگیشی‌دس‌عَل‌فوش‌یه‌فشد‌ثب‌یبدگیشی‌دس‌عَل‌چٌذیي‌ًؼل‌تَػظ‌تىبهل‌چیؼت؟" ‌‬
‫اػت‌وِ‌" ‌‬

‫‪ 1.6.9‬تکبمل المبرکی‬
‫لّیب‌‌هؼیتم‌یوبً‌ثیِ‌‬ ‫الهبسن‌)‪‌(Lamarck‬هحممی‌ثَد‌وِ‌دس‌ػبل‌ّبی‌آخش‌لشى‌ًَصدّن‌ه ‌‬
‫یصیؼت‪ٍ‌.‬ی‌افتمبد‌داؿت‌ویِ‌تىبهیل‌دس‌عیَل‌ًؼی ‌‬
‫یگزاسد‪‌:‬‬
‫تزشثِ ّبی‌فشدی‌دس‌عَل‌فوش‌ٍاثؼتِ‌اػت‪‌.‬دس‌ول‪ٍ‌،‬ی‌افتمبد‌داؿت‌وِ‌تزبسة‌یه‌فشد‌هؼتمیوبً‌ثش‌چیٌؾ‌طًتیىی‌فشصًذاًؾ‌تأحیش‌ه ‌‬
‫یتَاًذ‌ایي‌آهَصؽ‌سا‌اص‌عشیك‌طًتیىؾ‌ثیِ‌فشصًیذاًؾ‌هٌتمیل‌وٌیذ‪‌،‬ییغ‌‬
‫یاؽ‌ثیبهَصد‌وِ‌اص‌غزایی‌ػوی‌یشّیض‌وٌذ‌ه ‌‬
‫اگش‌فشدی‌دس‌عَل‌صًذگ ‌‬

‫‪1‬‬
‫‪‌simple fixed seed circuit‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فشصًذاًؾ‌دیگش‌ًیبصی‌ثِ‌یبد‌گشفتي‌چٌیي‌چیضی‌ًذاسًذ‪‌.‬ایي‌حذع‌ثؼیبس‌رزاة‌اػت‪‌،‬صیشا‌وِ‌فشایٌذ‌تىبهل‌هَحش تش‌خَاّذ‌ؿذ‌ثیِ‌ریبی‌ایٌىیِ‌‬
‫تنّبی‌طًتیه‌ٍ‌ثشًبهِ‌ًَیؼیی‌طًتییه‌‌‬
‫فمظ‌یه‌آصهَى‌ٍ‌خغب‌ثبؿذ‌وِ‌تزبسة‌فشدی‌دس‌عَل‌فوش‌سا‌فشاهَؽ‌وٌذ‌(هخل‌ًوًَِ ای‌وِ‌دس‌الگَسی ‌‬
‫یای‌ثشای‌سد‌وشدى‌هذل‌الهبسن‌داسًذ‪ً‌.‬ؾشیی‌‌ِی‌یزیشفتیِ‌‬
‫ثَد)‪‌.‬ثب‌ٍرَد‌توبهی‌رزاثیت‌ّبی‌ایي‌ًؾشیِ‪‌،‬هحممیي‌فلش‌حبضش‌هذاسن‌اًىبس‌ًبؿذً ‌‬
‫ییزیشد‪‌.‬ثشخالف‌ایي‌حمیمت‌صیؼتی‪‌،‬‬
‫ًمـِی‌طًتیىی‌ّش‌فشد‪‌،‬دس‌ٍالـ‪ّ‌،‬ی ‌تأحیشی‌اص‌تزبسة‌عَل‌صًذگی‌ٍالذیٌؾ‌ًو ‌‬
‫ؿذُی‌فقلی‌ایي‌اػت‌وِ‌ ‌‬
‫‌‬
‫یتَاًذ‌وبسایی‌الگَسیتن‌ّبی‌طًتیىی‌وبهپیَتشی‌سا‌ثْجَد‌ثجخـذ‌(ثشای‌اعالفبش‌‬
‫تحمیمبش‌رذیذ‌وبهپیَتشی‌ًـبى‌دادُ‌وِ‌فشایٌذ‌الهبسوی‌گبّی‌ه ‌‬
‫ثیـتش‌ثِ‌‪‌Hart and Belew 1995‌ٍ‌Ackley and Littman 1994‌ٍ‌Grefenstette 1991‬هشارقِ‌وٌیذ)‪‌ .‬‬

‫‪ 1.6.2‬اثر ثبلذوین‬
‫یّبی‌فشدی‌هؼیش‌تىبهل‌‬
‫ثب‌ٍرَد‌ایٌىِ‌هذل‌تىبهلی‌الهبسوی‌ثشای‌تىبهل‌صیؼتی‌سد‌ؿذ‪‌،‬هىبًیضم‌ّبی‌دیگشی‌ییـٌْبد‌ؿذُ‌وِ‌دس‌آى‌ّب‌یبدگیش ‌‬
‫ضمّب‌احش‌ثبلذٍیي‪‌1‬اػت‌وِ‌ًبهؾ‌ًیض‌اص‌ثبلذٍیي‌)‪‌،(J. M. Baldwin 1896‬اٍلیي‌وؼی‌وِ‌ایي‌ًؾش‌‬
‫یتَاًذ‌فَم‌وٌذ‪‌.‬یىی‌اص‌ایي‌هىبًی ‌‬
‫سا‌ه ‌‬
‫سا‌اسائِ‌داد‪‌،‬گشفتِ‌ؿذُ‌اػت‪‌.‬احش‌ثبلذٍیي‌ثش‌یبی‌ِی‌هـبّذاش‌صیش‌ًتیزِ‌گیشی‌ؿذُ‪‌ :‬‬

‫اگش‌گًَِ ای‌ دس‌حبل‌تىبهل‌دس‌یه‌هحیظ‌دس‌حبل‌تغییش‌ثبؿذ‪‌،‬توبیل‌تىبهل‌ثِ‌ػوتی‌خَاّذ‌ثَد‌تب‌افشاد‌دس‌عَل‌فویش‌خیَد‌لبثلییت‌‬ ‫‪‬‬

‫یبدگیشی‌ثیـتشی‌داؿتِ‌ثبؿٌذ‪‌.‬ثشای‌هخبل‪‌،‬ثب‌ؽبّش‌ؿذى‌ؿىبسچی‌رذیذ‪‌،‬افشادی‌وِ‌لبثلیت‌یبدگیشی‌یشّیض‌اص‌ایي‌ؿىبسچی‌سا‌داسًذ‌اص‌‬
‫یدّذ‌تب‌رؼتزَیی‌هٌغمِ ای‌اًزبم‌دّیذ‌تیب‌‬
‫هَفكتش‌خَاٌّذ‌ثَد‪‌.‬یغ‌لبثلیت‌یبدگیشی‌ثِ‌فشد‌اربصُ‌ه ‌‬
‫افشادی‌وِ‌ایي‌لبثلیت‌سا‌ًذاسًذ‌ ‌‬
‫تٌبػجؾ‌سا‌ثِ‌حذاوخش‌ثشػبًذ‪‌.‬دس‌همبثل‪‌،‬افشادی‌وِ‌ایي‌لبثلیت‌فشدی‌سا‌ًذاسًذ‌ٍ‌تٌبػجـیبى‌ًییض‌تَػیظ‌طًتیىـیبى‌هحیذٍد‌ؿیذُ‌دس‌‬
‫یگیشًذ‪.‬‬
‫يتشی‌ًؼجت‌ثِ‌گشٍُ‌اٍل‌لشاس‌ه ‌‬
‫ًمغِی‌یبیی ‌‬
‫‌‬
‫یتَاًٌذ‌ثؼیبسی‌اص‌آهَصؽ‌ّبی‌الصم‌سا‌یبد‌ثگیشًذ‌ثشای‌یبدگیشی‌ووتش‌ثِ‌وذ‌طًتیىیـبى‌هتىی‌خَاٌّذ‌ثَد‪ً‌.‬تیزِ‌ایٌىیِ‌‬
‫افشادی‌وِ‌ه ‌‬ ‫‪‬‬
‫یدٌّذ‌ٍ‌اص‌لبثلیت‌ّبی‌فشدیـبى‌ثیشای‌غلجیِ‌ثیش‌ووجیَد‌ ّیبی‌‬
‫ایي‌افشاد‌تقذاد‌روقیت‌ّبیی‌ثب‌گًَبگًَی‌طًتیىی‌ثیـتشی‌سا‌تـىیل‌ه ‌‬
‫یتَاًذ‌ثبفج‌تىبهل‌ثیـتش‌طًتیىی‌ؿًَذ‪‌.‬یغ‪‌،‬لبثلیت‌افشاد‌ثشای‌ییبدگیشی‌‬
‫یوٌٌذ‪‌.‬چٌیي‌روقیت‌طًتیىی‌گًَبگًَی‌ه ‌‬
‫طًتیىی‌اػتفبدُ‌ه ‌‬
‫یتَاًذ‌احشی‌غیش‌هؼتمین‌ثش‌افضایؾ‌ػشفت‌تىبهل‌ول‌روقیت‌داؿتِ‌ثبؿذ‪.‬‬
‫ه‌‬
‫یؿَد‌‬
‫یؿَد‪‌.‬چٌیي‌تغییشی‌ثبفج‌ه ‌‬
‫یؿَد‪‌،‬هخالً‌یه‌ؿىبسچی‌اضبفِ‌ه ‌‬
‫گًَِی‌خبكی‌تغییشاتی‌رذیذ‌ایزبد‌ه ‌‬
‫ثشای‌تلَس‌فشم‌وٌیذ‌وِ‌دس‌هحیظ‌ ‌‬
‫وِ‌فمظ‌گًَِ‌ّبیی‌وِ‌لبثلیت‌فشدی‌یشّیض‌اص‌ؿىبسچی‌سا‌داسًذ‌صًذُ‌ثوبًٌذ‪‌.‬ثِ‌تٌبػت‌هیضاى‌تغجیك‌یزیشی‌فشدی‌ّیش‌فیشد‌دس‌افیضایؾ‌روقییت‪‌،‬‬
‫یتَاًذ‌اًَاؿ‌گًَبگَى‌تشی‌اص‌ًوًَِ ّبی‌طًتیىی‌سا‌دس‌خَد‌داؿتِ‌ثبؿذ‌ٍ‌ػشفت‌فشایٌذ ّبی‌تىبهیل‌سا‌تؼیشیـ‌ثجخـیذ‌‪‌.‬اییي‌افیضایؾ‌‬
‫روقیت‌ه ‌‬
‫گًَِّبیی‌ثِ‌ٍرَد‌ثیبیٌذ‌وِ‌ثِ‌عَس‌طًتیىی‌اص‌ؿىبسچی‌یشّیض‌وٌٌذ‌(هخالً‌حؼی‌غشیضی‌ثشای‌یشّیض‌اص‌‬
‫ػشفت‌تغجیك‌هوىي‌اػت‌ثبفج‌ؿَد‌وِ‌ ‌‬
‫یّبی‌فشدی‌ًیض‌ثیش‌ػییش‌تىبهیل‌‌تیأح‌یش‌داؿیتِ‌ثبؿیٌذ‪‌.‬ثیب‌‬
‫یوٌذ‌تب‌یبدگیش ‌‬
‫ضمّبی‌غیش‌هؼتمیوی‌سا‌ایزبد‌ه ‌‬
‫ثقضی‌هٌبعك)‪‌.‬یغ‪‌،‬احش‌ثبلذٍیي‌هىبًی ‌‬
‫گًَِّبیی‌وِ‌ثِ‌‬ ‫افضایؾ‌همبٍهت‪‌ٍ‌2‬گًَبگًَی‌طًتیىی‌دس‌هیبى‌گًَِ‌ّب‪‌،‬یبدگیش ‌‬
‫یّبی‌فشدی‌ػشفت‌تىبهل‌سا‌ػشیـ‌تش‌خَاٌّذ‌وشد‌ٍ‌ؿبًغ‌ایزبد‌ ‌‬
‫ییبثذ‪‌ .‬‬
‫عَس‌طًتیىی‌دس‌هحیظ‌رذیذ‌ثشتش‌اص‌گًَِ ّبی‌لجلی‌ّؼتٌذ‌افضایؾ‌ه ‌‬

‫ؾّیب‌ی‌ ‪(Hinton and Nowlan‬‬

‫هذلّبی‌هحبػجبتی‌ؿیذُ‌اػیت‪‌.‬ثیشای‌هخیبل‪‌،‬آصهیب‌ی ‌‬
‫هغبلقِی‌احش‌ثبلذٍیي‌دس‌ ‌‬
‫‌‬ ‫تالؽّبی‌ثؼیبسی‌ثشای‌‬
‫‌‬
‫یاؽ‌حبثت‌ثَد‌دس‌‬
‫ؿجىِّب‌دس‌توبم‌عَل‌صًذگ ‌‬
‫ٍصىّبی‌ثقضی‌ ‌‬ ‫)‪‌1987‬ثش‌سٍی‌ ‌‬
‫ًوًَِّب‌ػبدُ ای‌اص‌ؿجىِ ّبی‌فلجی‌اًزبم‌ؿذ‪‌،‬دس‌ایي‌آصهبیؾ‌ ‌‬
‫یوشد‌وِ‌ؿجىِ‌آهَصؽ‌یزیش‌ثبؿذ‌یب‌ًِ‪‌.‬دس‌ایي‌آصهبیؾ‪‌،‬دس‌افیشادی‌‬
‫ًمـِی‌طًتیىی‌ّش‌فشد‌هـخق‌ه ‌‬
‫حبلی‌وِ‌ثقضی‌دیگش‌لبثل‌آهَصؽ‌ثَدًذ‪‌ ‌.‬‬

‫‪1‬‬
‫‪‌Baldwin effect‬‬
‫‪2‬‬
‫‪‌survivability‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یتَاًؼتٌذ‌یبد‌ثگیشًذ‌تٌبػیت‌روقییت‌ثیِ‌‬
‫یتَاًؼتٌذ‌یبد‌ثگیشًذ‪‌،‬ثقذ‌اص‌ًؼل‌ّب‌ّی ‌تىبهلی‌دس‌تٌبػت‌افشاد‌ایزبد‌ًـذ‪‌،‬اهب‌دس‌افشادی‌وِ‌ه ‌‬
‫وِ‌ًو ‌‬
‫یتَاًؼتٌذ‌یبد‌ثگیشًذ‌ثؼیبس‌صیبد‌ثَد‪‌.‬ثب‌ایي‌ٍرَد‌ثب‌اداهِ‌یبفتي‌‬
‫ؿذش‌افضایؾ‌یبفت‪‌.‬دس‌ًؼل‌ّبی‌اثتذایی‌تىبهل‌روقیت‌تقذاد‌ًؼجی‌افشادی‌وِ‌ه ‌‬
‫یوشدًذ‌توبیل‌ثِ‌افضایؾ‌یبفت‌ٍ‌روقیت‌ثِ‌ػوت‌لبثلیت‌طًتیىی‌هیل‌وشد‌تیب‌‬
‫تىبهل‌تقذاد‌ؿجىِ‌ّبیی‌وِ‌ٍصى‌ّبی‌حبثت‌داؿتٌذ‌ٍ‌دسػت‌وبس‌ه ‌‬
‫هّیب‌‌تَػیظ‌افیشادی‌هخیل‌)‪‌،(Belew 1990‬‬
‫ییّبی‌فشدی‌اتىب‌ثضًذ‪‌.‬تحمیمبش‌دیگشی‌ًیض‌دس‌هَسد‌احش‌ثبلذٍیي‌دس‌الگَسیتن‌طًتی ‌‬
‫ایٌىِ‌ثش‌تَاًب ‌‬
‫)‪‌(French and Messinger 1994)‌ٍ‌،(Harvey 1993‬اًزبم‌ؿذُ‌اػت‪‌.‬ثشسػی‌وبهلی‌ًیض‌دس‌)‪‌(Mitchell 1996‬اًزیبم‌ؿیذُ‌‬
‫هزلِی‌)‪ً‌(journal Evolutionary Computation‬یض‌دس‌ایي‌ثبسُ‌هغبلت‌هفیذی‌داسد‌)‪‌ .(Turney 1997‬‬
‫اػت‪‌.‬لؼوت‌خبكی‌اص‌ ‌‬

‫‪ 1.9‬موازی سازی الگوریتمهای شنتیک‬

‫سٍؽّیب‌ی‌ ‪coarse‬‬
‫آىّیب‌‌یییذا‌ؿیذُ‌اػیت‪‌ ‌.‬‬
‫سٍؽّبی‌هتقذدی‌ثشای‌هَاصی‌ػبصی‌ ‌‬
‫یاًذ‪‌ ‌ٍ‌،‬‬
‫تنّبی‌طًتیه‌راتبً‌هٌبػت‌ییبدُ‌ػبصی‌هَاص ‌‬
‫الگَسی ‌‬
‫‪‌grain‬ثشای‌هَاصی‌ػبصی‌ٍ‌تمؼین‌روقیت‌ثِ‌گشٍُ ّبی‌هزضا‌افشاد‌ثِ‌ًبم‌ثخؾ‪‌1‬ثِ‌وبس‌ه ‌‬
‫یسًٍذ‪ّ‌.‬ش‌ثخؾ‌ثِ‌گشُ ّبی‌هحبػجِ‌گیش‌هختلیف‌‬
‫یؿَد‌تب‌رؼتزَیی‌اػتبًذاسد‌ثش‌اػبع‌الگَسیتن‌طًتیه‌دس‌آًزب‌اًزبم‌ثپزیشد‪‌.‬استجبعبش‌ٍ‌رفت‌گیشی‌هـتشن‌ثیي‌ثخیؾ‌ّیب‌‌ًییض‌اتفیبق‌‌‬
‫اسربؿ‌ه ‌‬
‫یافتٌذ‌اهب‌احتوبل‌آى‌اص‌رفت‌گیشی‌دسٍى‌ثخؾ‌خیلی‌ووتش‌اػت‪‌.‬اًتمبل‌ثیي‌ثخؾ‌ّب‌ًیض‌تَػظ‌فشایٌذ‌هْبرشش‪‌2‬اتفیبق‌‌هی‌ ‌‬
‫یافتیذ‌‪‌،‬ویِ‌دس‌‌آى‌‬ ‫ه‌‬
‫یؿًَذ‪‌.‬ایي‌فشایٌذّب‌اص‌رفت‌گیشی‌ٍ‌هْبرشش‌ثیي‌صیی‌ش‌روقیی‌ت‌ّیب‌ی‌‬
‫افشادی‌اص‌یه‌ثخؾ‌ثِ‌ثخؾ‌یب‌ثخؾ‌ّبی‌دیگشی‌وپی‌یب‌اًتمبل‌دادُ‌ه ‌‬
‫آىّبػیت‌‪‌،‬دس‌‬
‫ؼتنّبی‌غیش‌هَاصی‌وبّؾ‌تیشاون‌ ‌‬
‫هَرَد‌دس‌گًَِ ّبی‌صیؼتی‌الْبم‌گشفتِ‌ؿذُ‌اػت‪‌.‬یىی‌اص‌فَایذ‌ایي‌گًَِ‌تمؼین‌ًؼجت‌ثِ‌ػی ‌‬
‫یؿیَد‌‪‌.‬‬
‫یؿًَذ‌ٍ‌ربهقِ‌تَػظ‌ایي‌گًَِ‌یش‌هی‌ ‌‬
‫هـىل‌تشاون‌ثخبعش‌ؽَْس‌صٍدٌّگبم‌یىی‌اص‌گًَِ ّبی‌ثشتش‌توبهی‌ًوًَِ‌ّب‌ثِ‌ػوت‌آى‌هتوبیل‌ه ‌‬
‫یثشًیذ‌‌دس‌)‪‌...ٍ‌(Cohoon 1987)‌ٍ‌(Tanese 1989‬آهیذُ‌‌‬
‫هّبیی‌وِ‌اص‌هَاصی‌ػبصی‌‪‌coarse-grain‬ثْشُ‌ه ‌‬
‫ًوًَِی‌الگَسیتن‌طًتی ‌‬
‫‌‬
‫اػت‪‌ .‬‬

‫ًمغِی‌همبثل‌هَاصی‌ػبصی‌‪coarse-grain‬؛‌هَاصی‌ػبصی‌‪‌fine-grain‬اػت‌وِ‌هقوَالً‌یه‌یشداصًذُ‌ثشای‌ّش‌فشد‌دس‌روقییت‌دس‌ًؾیش‌‬
‫دس‌ ‌‬
‫فّیب‌‌‬
‫یدّذ‪‌.‬چٌذیي‌ًَؿ‌دیگشی‌اص‌تقشیف‌ّوؼبیگی‌ًیض‌اسائِ‌ؿذُ‌اػت‪‌.‬دس‌ثقضی‌تقشیی‌ ‌‬
‫یگیشد‪‌ٍ‌.‬فول‌رفت‌گیشی‌فمظ‌دس‌افشاد‌ّوؼبیِ‌سخ‌ه ‌‬
‫ه‌‬
‫هحذٍدُی‌دایشُ ای‌خبف‌اعشاف‌خَد‌ّوؼبیِ‌اػت‪ً‌.‬وًَِ ّبی‌چٌیي‌ػیؼتن‌ّبیی‌‬
‫‌‬ ‫ّش‌فشد‌فمظ‌دٍ‌ّوؼبیِ‌داسد‌ٍ‌دس‌ثقضی‌دیگش‌ًیض‌ّش‌فشد‌ثب‌‬
‫دس‌)‪‌(Spiessens and Manderick 1991‬آٍسدُ‌ؿذُ‪‌.‬هٌتخجی‌اص‌تحمیمبش‌الگَسیتن‌طًتیه‌ًیض‌دس‌)‪‌(Stender 1993‬آهذُ‌اػت‪‌ .‬‬

‫‪ 1.9‬خالصه و منابع برای مطالعهی بیشتر‬

‫ًىبش‌اكلی‌ایي‌فلل‌ؿبهل‌هَاسد‌صیش‌اػت‪‌ :‬‬

‫الگَسیتن‌ّبی‌طًتیه‌)‪‌(GA‬رؼتزَیی‌تلبدفی‪‌،‬هَاصی‌ٍ‌‪‌hill-climbing‬ثشای‌ییذا‌وشدى‌فشضیِ‌ّبیی‌وِ‌تیبثـ‌اص‌یییؾ‌تقشییف‌‬ ‫‪‬‬
‫یدٌّذ‪.‬‬
‫یوٌٌذ‌اًزبم‌ه ‌‬
‫ؿذُی‌تٌبػت‌سا‌ثْیٌِ‌ه ‌‬
‫‌‬

‫‪1‬‬
‫‪‌deme‬‬
‫‪2‬‬
‫‪‌migration process‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تّبی‌گًَبگَى‌فشضیِ‌ّبی‌سلیت‌ایزبد‌‬
‫یؿَد‪‌.‬روقی ‌‬
‫ایي‌رؼتزَی‌الگَسیتن‌ّبی‌طًتیه‌ثش‌اػبع‌تـبثِ‌ثب‌تىبهل‌ثیَلَطیىی‌اًزبم‌ه ‌‬ ‫‪‬‬
‫یؿًَذ‪‌،‬ایي‌فشصًذاى‌ربیگضیي‌افضبی‌ون‌‬
‫یؿًَذ‪‌.‬دس‌ّش‌حلمِ‪‌،‬هتٌبػت‌تشیي‌افضبی‌روقیت‌اًتخبة‌ؿذُ‌ٍ‌فشصًذاى‌اص‌آى‌ّب‌تَلیذ‌ه ‌‬
‫ه‌‬
‫یؿًَذ‌ٍ‌تَػظ‌افوبل‌تَلیذ‌هخل‌تشویت‌ؿذُ‌ٍ‌یب‌تَػظ‌رْؾ‌‬
‫تٌبػت تش‌روقیت‌خَاٌّذ‌ؿذ‪‌.‬فشضیِ‌ّب‌ثِ‌كَسش‌سؿتِ‌ثیت‌ّب‌وذ‌ه ‌‬
‫ییبثٌذ‪.‬‬
‫تغییش‌ه ‌‬
‫یوٌٌذ‪‌.‬دس‌ول‪‌،‬فول‌یبدگیشی‌دس‌اییي‌دییذگبُ‌یییذا‌ویشدى‌‬
‫الگَسیتن‌ّبی‌طًتیه‌وبس‌یبدگیشی‌سا‌ثِ‌فٌَاى‌ًَفی‌ثْیٌِ‌ػبصی‌هغشح‌ه ‌‬ ‫‪‬‬
‫یؿَد‌وِ‌ثتَاى‌دیگش‌سٍؽ‌ّی‌بی‌ثْیٌیِ‌ػیبصی‌‬
‫ؿذُی‌تٌبػت‪‌،‬اػت‪‌.‬ایي‌دیذگبُ‌ثبفج‌ه ‌‬
‫فشضیِ‌ّبی‌ثْیٌِ‪‌،‬ثشای‌تبثـ‌اص‌ییؾ‌تقییي‌ ‌‬
‫هخل‌‪‌simulated annealing‬سا‌ًیض‌دس‌یبدگیشی‌هبؿیي‌ثِ‌وبس‌ثشد‪.‬‬
‫سفتِاًذ‪‌.‬‬
‫هحذٍدُی‌یبدگیشی‌هبؿیي‪‌،‬هخل‌هؼبئل‌ثْیٌِ‌ػبصی‌عشاحی‌ثِ‌وبس‌ ‌‬
‫‌‬ ‫الگَسیتن‌ّبی‌طًتیه‌هقوَالً‌دس‌هؼبئل‌ثْیٌِ‌ػبصی‌خبسد‌‬ ‫‪‬‬
‫دس‌یبدگیشی‌هبؿیي‪‌،‬الگَسیتن‌ّبی‌طًتیه‌هقوَالً‌ثشای‌وبسّبی‌یبدگیشی ییچیذُ‌(یبدگیشی‌دػتِ‌لَاًیي‌وٌتشل‌سثبش‌ٍ‌یبدگیشی‌ثشًبهِ‌‬
‫یسًٍذ‪‌،‬دس‌ایي‌هؼبئل‌ّذف‌ثْیٌِ‌ػبصی‌تبثـ‌غیش‌كشیحی‌اص‌فشضی‌ِّبػت‌(هزوَفِ‌لَاًیي‌سثبش‌سا‌ثِ‌عَس‌‬
‫ّبی‌وبهپیَتشی)‌ثِ‌وبس‌ه ‌‬
‫كحیح‌وٌتشل‌وٌذ)‪‌.‬‬
‫یؿًَذ‪‌،‬ثشًبهیِ‌‬
‫دػتوبسی‌ه ‌‬
‫تنّبی‌طًتیه‌اػت‌وِ‌دس‌آى‌فشضی‌ِّبیی‌وِ‌تَػظ‌وبهپیَتشّب‌ ‌‬
‫ثشًبهِ‌ًَیؼی‌طًتیه‌ًؼخِ‌ای‌اص‌الگَسی ‌‬ ‫‪‬‬
‫یؿیَد‌‪‌.‬‬
‫تّیب‌‌تقویین‌دادُ‌هی‌ ‌‬
‫ثشًبهِّب‌ثزبی‌سؿتِ‌ثیی‌ ‌‬
‫تّب‪‌.‬افوبلی‌چَى‌تَلیذ‌هخل‌ٍ‌رْؾ‌ثِ‌ ‌‬
‫ّبی‌وبهپیَتشی‌ّؼتٌذ‪‌،‬ثزبی‌سؿتِ‌ثی ‌‬
‫ثشًبهِّبیی‌ثشای‌وبسّبیی‌ًؾییش‌وٌتیشل‌سثیبش‌)‪‌ٍ‌Koza (1992‬تـیخیق‌اؿییب‌دس‌‬
‫یتَاًذ‌ ‌‬
‫ثشًبهِ‌ًَیؼی‌طًتیه‌احجبش‌وشدُ‌وِ‌ه ‌‬
‫تلبٍیش‌سا‌اًزبم‌دّذ‌)‪‌ .Teller and Veloso (1994‬‬
‫سٍؽّبی‌هحبػجبتی‌هجتٌی‌ثش‌تىبهل‌اص‌سٍصّبی‌اٍلی‌ِی‌فلن‌وبهپیَتش‌هیَسد‌ثشسػیی‌لیشاس‌گشفتٌیذ‌)‪‌.(Box 1957 and Bledsoe 1961‬‬
‫‌‬
‫دِّی‌‪‌9960‬هقشفی‌ؿذ‌ٍ‌دس‌آى‌صهبى‌هَسد‌تحمیك‌ثیـتش‌لشاس‌گشفت‪‌.‬اػیتشاتظ‌ ‌‬
‫یّیب‌ی‌تىیبهلی‪‌،‬تَػیظ‌‬ ‫سٍؽ‌ّبی‌تىبهلی‌هختلف‌ثؼیبسی‌دس‌ ‌‬
‫)‪‌(Rechengerg 1965,1973‬ثشای‌ثْیٌِ‌وشدى‌یبساه تش‌ّبی‌فیذدی‌دس‌عشاحیی‌هٌْذػیی‌عشاحیی‌ؿیذُ‌ٍ‌ثیب‌وبسّیبی‌ ‪Schwefel‬‬
‫)‪‌ٍ‌(1975, 1977, 1995‬دیگشاى‌اداهِ‌یبفت‪‌.‬ثشًبهِ‌ًَیؼی‌تىیبهلی‌تَػیظ‌)‪‌Folgel, Owens, and Walsh (1966‬ثیِ‌‌فٌیَاى‌‌‬
‫يّیب‌ی‌‪‌finite-state‬عشاحیی‌ؿیذ‌‌ٍ‌تَػیظ‌هحممیبى‌)‪‌(Fogel and Atmar 1993‬فیذدی‌اداهیِ‌یبفیت‌‪‌.‬‬
‫هتذی‌ثشای‌ػیبخت‌هبؿی‌ی ‌‬
‫تنّبی‌طًتیه‪‌،‬هقشفی‌ؿذُ‌تَػظ‌)‪‌Holland (1962, 1975‬ؿبهل‌هفَْم‌حفؼ‌روقیتی‌ثضسي‌اص‌افشاد‌ٍ‌تبوییذ‌ثیش‌تَلییذ‌هخیل‌ثیِ‌‬
‫الگَسی ‌‬
‫تنّبی‌طًتیه‪‌،‬هقشفی‌ؿذُ‌تَػظ‌)‪‌Koza (1992‬اػتشاتظی‌رؼتزَی‌الگَسی ‌‬
‫تنّبی‌‬ ‫یؿذ‪‌.‬الگَسی ‌‬
‫ؼتنّبیی‌ه ‌‬
‫فٌَاى‌فولگش‌ولیذی‌دس‌چٌیي‌ػی ‌‬
‫سٍؽّبی‌تىبهلی‌ثیـیتش‌‬
‫یوٌذ‪‌.‬ثب‌وبّؾ‌لیوت‌وبهپیَتشّب‌ٍ‌افضایؾ‌ػشفتـبى‪‌،‬فاللِ‌ثِ‌ ‌‬
‫طًتیه‌سا‌ثِ‌فشضی‌ِّب‌ثشًبهِ‌ّبی‌وبهپیَتشی‌افوبل‌ه ‌‬
‫یؿَد‪‌ .‬‬
‫ه‌‬

‫تنّبی‌طًتیه‌یبدگیش‌دػتِ‌لَاًیي‌اػت‌وِ‌تَػظ‌‪‌ٍ‌K. DeJong‬داًـیزَیبًؾ‌دس‌داًـیگبُ‌‪‌Pittsburg‬‬
‫سٍؽّبی‌اػتفبدُ‌اص‌الگَسی ‌‬
‫یىی‌اص‌ ‌‬
‫اػت )‪‌.(Smith 1980‬دس‌ایي‌سٍؽ‪ّ‌،‬ش‌هزوَفِ‌لَاًیي‌یىی‌اص‌افضبی‌روقیت‌سلبثتی‌فشضی‌ِّبػت‪ّ‌،‬وبى‌عَس‌وِ‌دس‌ػیؼتن‌‪‌GABIL‬دس‌‬
‫ایي‌فلل‌ًیض‌تَضیح‌دادُ‌ؿذ‪‌.‬سٍؽ‌دیگشی‌وِ‌دس‌داًـگبُ‌‪‌Michigan‬تَػظ‌‪‌ٍ‌Holland‬داًـزَیبًؾ‌)‪‌(Holland 1986‬ایزبد‌ؿذُ‪‌،‬‬
‫سٍؿی‌اػت‌وِ‌دس‌آى‌ّش‌لبًَى‌فضَی‌اص‌روقیت‌اػت‌ٍ‌روقیت‌خَد‌یه‌دػتِ‌لبًَى‌اػت‪‌.‬تلَس‌صیؼتی‌اص‌ًمؾ‌رْؾ‪‌،‬رفت‌گیشی‪‌،‬رفیت‌‬
‫گیشی‌ثیي‌ًظادی‪‌ٍ‌1‬اًتخبة‌دس‌تىبهل‌دس‌)‪‌Wright (1977‬آٍسدُ‌ؿذُ‌اػت‪‌ .‬‬

‫‪1‬‬
‫‪‌cross-breeding‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تنّبی‌طًتیه‌ّؼتٌذ‪ً‌Forrest (1993)‌.‬یض‌وتیبثی‌اػیت‌‌ویِ‌‬
‫هشثَعِی‌الگَسی ‌‬
‫‌‬ ‫)‪‌Goldberg (1989)‌ٍ‌Mitchell (1996‬دٍ‌وتبة‌‬
‫تنّیب‌ی‌‬ ‫یوٌذ‪ً‌Goldberg (1994)‌،‬یض‌ًگبُ‌ول ‌‬
‫یای‌اص‌چٌذیي‌ویبسثشد‌رذییذ‌الگیَس‌ی ‌‬ ‫تنّبی‌طًتیه‌سا‌ثشسػی‌ه ‌‬
‫یای‌اص‌هؼبئل‌الگَسی ‌‬
‫ًگبُ‌ول ‌‬
‫تنّبی‌طًتیه‌ثشای‌تغییش‌ثشًبهِ‌ّبی‌‬ ‫طًتیه‌سا‌دس‌ثش‌داسد‪‌.‬وتبة‌)‪ً‌Koza (1992‬یض‌ ‌‬
‫دسثبسُی‌ثشًبهِ‌ًَیؼی‌طًتیه‌هٌجـ‌اػتبًذاسد‌تقوین‌الگَسی ‌‬
‫یؿیَد‌‌وٌفیشاًغ‌ ‪International Conference on Genetic‬‬
‫وٌفشاًغّبی‌اٍلیِ‌وِ‌دس‌آى‌ًتبیذ‌اٍلییِ‌اًتـیبس‌هی‌ ‌‬
‫‌‬ ‫وبهپیَتشی‌اػت‪‌.‬‬
‫‪‌Algorithms‬اػت‪‌.‬دیگیش‌وٌفیشاًغ‌ّیب‌ی‌هشثَعیِ‌ؿیبهل‌‪the ٍ‌Conference on Simulation of Adaptive Behavior‬‬
‫‪IEEE ‌ٍ‌International Conference on Artificial Neural Networks and Genetic Algorithms‬‬
‫‪ّ‌International Conference on Evolutionary Computation‬ؼتٌذ‪‌.‬وٌفشاًغ‌ػیبالًِ‌ای‌ًییض‌دسثیبسُ‌ی‌ثشًبهیِ‌ًَیؼیی‌‬
‫یؿیَد‌‌)‪ً‌The Evolutionary Computation Journal‌.(Koza et al. 1996b‬ییض‌یىیی‌‌اص‌هٌیبثـ‌اخییش‌ًتیبیذ‌‬
‫طًتیه‌ثشگضاس‌ه ‌‬
‫لؼوتّبی‌‪ً‌the journal Machine Learning‬یض‌ثِ‌الگَسی ‌‬
‫تنّیب‌ی‌طًتییه‌اختلیبف‌یبفتیِ‌‬ ‫‌‬ ‫تحمیمبش‌دس‌ایي‌صهیٌِ‌اػت‪‌.‬ثؼیبسی‌اص‌‬
‫اػت‪‌ .‬‬

‫تمرینات‬
‫‪‌9.9‬الگَسیتن‌طًتیىی‌عشاحی‌وٌیذ‌وِ‌لَاًیي‌دػتِ‌ثٌذی‌فغفی‌سا‌ثشای‌هفَْم‌‪‌PlayTennis‬هغشح‌ؿذُ‌دس‌فلل‌‪‌3‬سا‌یبد‌ثگیشد‪‌.‬سؿتِ‌ّبی‌‬
‫وذ‌ثشای‌فشضی‌ِّب‌ٍ‌فولگشّبی‌طًتیه‌سا‌دلیمب‌هـخق‌وٌیذ‪‌ .‬‬

‫ًوًَِی‌ػبدُ‌ای‌اص‌الگَسیتن‌طًتیه‌توشیي‌‪‌9.9‬سا‌ییبدُ‌ػبصی‌وٌیذ‪‌.‬الگَسیتن‌سا‌ثب‌اًذاصُ‌روقیت‌ّبی‌هختلف‌‪ً‌،p‬ؼیجت‌ریب‌یگضیٌ ‌‬
‫یّیب‌ی‌‬ ‫‪‌ ‌9.2‬‬
‫رْؾّبی‌هختلف‌‪‌m‬اهتحبى‌وٌیذ‪‌ .‬‬
‫هختلف‌‪‌ٍ‌r‬ضشیت‌ ‌‬

‫ثشًبهِی‌ایزبد‌ؿذُ‌تَػظ‌ثشًبهِ‌ًَیؼی‌طًتیه‌دس‌ثخؾ‌‪‌9.5.2‬سا‌ثِ‌كَسش‌دسخت‌ییذا‌وٌیذ‪‌.‬فولگش‌تَلیذ‌هخل‌ثشًبهِ‌ًَیؼی‌طًتییه‌سا‌‬
‫‪‌ ‌9.3‬‬
‫یتَاى‌ثب‌اػتفبدُ‌اص‌یه‌دسخت‌ثِ‌فٌَاى‌ّش‌دٍ‌ٍالذ‌دس‌ًؾش‌گشفت‪‌ .‬‬
‫ه‌‬

‫‪‌9.4‬اػتفبدُ‌اص‌ثشًبهِ‌ًَیؼی‌طًتیه‌سا‌دس‌ییذا‌وشدى‌ثشداس‌ٍصى‌هتٌبػت‌ثب‌یه‌ ‌‬
‫ؿجىِی‌فلجی‌هلٌَفی‌سا‌دس‌ًؾش‌ثگیشییذ‌(دس‌ویل‌ؿیجىِ‌ای‌‬
‫ته‌ػَیِ‌هـبثِ‌هَاسدی‌وِ‌دس‌فلل‌‪‌4‬ثب‌‪‌backpropagation‬آهَصؽ‌دادین)‪‌.‬ؿجىِ‌ای‌‪‌3×2×9‬الیِ‌ای‌ٍ‌ته‌ػَیِ‌سا‌دس‌ًؾش‌ثگیشییذ‪‌.‬‬
‫یای‌ثشای‌ٍصى‌ّبی‌ ؿجىِ‌اسائِ‌دّیذ‌ٍ‌هزوَفِ‌ای‌اص‌افوبل‌طًتیه‌هٌبػت‌سٍی‌ایي‌وذّب‌سا‌تَكیف‌وٌیذ‪‌.‬یه‌هضیت‌ٍ‌ییه‌هـیىل‌‌‬
‫وذ‌ػبص ‌‬
‫اػتفبدُ‌اص‌طًتیه‌ثزبی‌‪‌backpropagation‬سا‌ثشای‌آهَصؽ‌ؿجىِ‌ّبی‌فلجی‌ثیبى‌وٌیذ‪‌ .‬‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪‌ Baldwin effect‬‬ ‫احش‌ثبلذٍیي‌ ‌‬
‫‪fitness sharing‬‬ ‫اؿتشان‌تٌبػت‌ ‌‬
‫‪rank selection‬‬ ‫اًتخبة‌ستجِ ای‌ ‌‬
‫‪tournament selection‬‬ ‫اًتخبة‌هؼبثمِ ای‌ ‌‬
‫‪fitness proportionate selection‬‬ ‫اًتخبة‌ًؼجی‌تٌبػجی‌ ‌‬
‫‪job-shop scheduling‬‬ ‫ثشًبهِ‌سیضی‌هغبصُ‌داسی‌ ‌‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

genetic programming ‌ ‌‫ثشًبهِ ًَیؼی‌طًتیه‬

defined bits ‌ ‌‫تّبی‌هقلَم‬
‌ ‫ثی‬
fitness function ‌ ‌‫تبثـ‌تٌبػت‬
Crowding ‌ ‌‫تشاون‬
Terminal ‌ ‫تشهیٌبل‬
Fitness ‌ ‌‫تٌبػت‬
Survivability ‌ ‌‫همبٍهت‬
crossover, offspring ‌ ‌‫تَلیذ‌هخل‬
single-point crossover ‌ ‌‫تَلیذ‌هخل‌ته‌ًمغِ ای‬
uniform crossover ‌ ‌‫تَلیذ‌هخل‌یىٌَاخت‬
Schema Theorem ‌ ‌َ‫تئَسی‌الگ‬
beam search ‌ ‌‫رؼتزَیی‌ػتًَی‬
Population ‌ ‌‫روقیت‬
Mutation ‌ ‌‫رْؾ‬
sets of rules, classification rules ‌ ‌‫دػتِ‌لَاًیي‬
Substring ‌ ‌ِ‫صیش‌سؿت‬
Subspecies ‌ ‌‫گًَِّب‬
‌ ‌‫صیش‬
circuit layout ‌ ‌‫عشاحی‌هذاس‬
disjunctive set of propositional rules ‌ ‌‫لبًَىّبی‌فللی‌گضاسُ ای‬
‌
Constraint ‌ ‫ؿشط‬
Schema, pattern ‌ ‌َ‫الگ‬
Genetic algorithms ‌ ‌‫تنّبی‌طًتیه‬ ‌ ‫الگَسی‬
evolutionary computation ‌ ‌‫هحبػجبش‌تىبهلی‬
simple fixed seed circuit ‌ ‌‫هذاساش‌یبیِ ای‬
Markov chain models ‌ ‌ٍَ‫هذلّبی‌صًزیشٍاس‌هبسو‬
‌
crowding problem ‌ ‌‫هـىل‌تشاون‬
symbolic expressions ‌ ‌‫ًـبًِ ّبی‌ًوبدیي‬
crossover mask ‌ ‌‫ًمبة‌تَلیذ‌هخل‬
Genetic makeup ‌ ‌‫ًمـِی‌طًتیىی‬
‌
symbolic expressions ‌ ‌‫ًوبیؾ‌ًوبدیي‬
machine learning ‌ ‌‫یبدگیشی‌هبؿیي‬
‌
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل دهم‪ :‬یادگیری دسته قًاویه‬

‫یکی اص ساحتش تشیي ٍ قبثل دسک تشیي فشم ثیبى فشهیِ ّب دػتِ قَاًیي ‪ if-then‬اػت‪ .‬ایي فلل چٌذیي الگوَسیتن ثوشای یوبدییشی ایوي دػوتِ‬
‫قَاًیي سا ثیبى ٍ ثشسػی هی کٌذ‪ .‬یکی اص هْن تشیي حبالت هؼئلِ دس یبدییشی دػتِ قوَاًیي ثوب هتریوش ّوب ‪ horn clause‬دسخوِ اٍ ‪ً 1‬بهیوذُ‬
‫هی ؿَد‪ ،‬صیشا کِ دػتِ قَاًیي ‪ horn clase‬دسخِ اٍ سا هی تَاى ثِ ػٌَاى ثشًبهِ ثِ صثبى ثشًبهِ ًَیؼی هٌٌقی ‪ Prolog‬داد‪ ،‬یبدییشی ایوي‬
‫دػتِ قَاًیي یبّی ثشًبهِ ًَیؼی اػتقشایی هٌٌقی‪ً (ILG) 2‬یض ًبهیذُ هی ؿَد‪ .‬ایي فلل چٌذیي سٍؽ هختلف ثوشای یوبدییشی دػوتِ قوَاًیي‪،‬‬
‫ؿبهل سٍؽ هجتٌی ثش ٍاسٍى کشدى ػولگش ّبی ًتیدِ ییشی‪ 3‬ثبثت کٌٌذُ ی تئَسی‪ 4‬سا ثشسػی هی کٌذ‪.‬‬

‫‪ 1.01‬معرفی‬
‫دس ثؼیبسی اص ؿشایي یبدییشی تبثغ ّذف اػتفبدُ اص دػتِ قَاًیي ‪ if-then‬کِ ثب ّن تبثغ یبدیشفتِ ؿذُ سا ًـبى هوی دٌّوذ ثؼویبس هفیوذ اػوت‪.‬‬
‫ّوبًٌَس کِ دس فلل ‪ً 3‬یض ًـبى دادُ ؿذ‪ ،‬یکی اص ساّْبی یبدییشی قَاًیي ػبخت دسخت تلوین ٍ تجذیل آى ثِ دػتِ قَاًیي ّن اسص اػوت‪ ،‬ثوِ‬
‫اصای ّش ثشگ دسخت یک قبًَى ػبختِ خَاّذ ؿذ‪ .‬سٍؽ دٍم کِ دس فلل ‪ً 9‬ـبى دادُ ؿذ‪ ،‬اػتفبدُ اص الگَسیتن طًتیک اػت‪ ،‬دس ایي سٍؽ سؿتِ‬
‫ثیتْبیی هتٌبػت ثب دػتِ قَاًیي ایدبد ؿذُ ٍ اص الگَسیتن ّبی طًتیک ثشای خؼتدَ ی فوبی فشهیِ ای تؼشیفی اػتفبدُ هی ؿَد‪ .‬دس ایي فلول‬
‫هب الگَسیتن ّبی هختلفی کِ هؼتقیوب دػتِ قَاًیي سا یبد هی ییشًذ ٍ ثب الگَسیتن ّبی ثبال دس دٍ ًکتِ کلیذی هتفبٍت اًوذ سا ثشسػوی هوی کٌوین‪.‬‬
‫اثتذا ایٌکِ ایي الگَسیتن ّب ثشای یبدییشی دػتِ قَاًیي دسخِ اٍلی کِ هتریش داسًذ ًشاحی ؿذُ اًذ‪ ،‬اّویت ایي ًکتِ دس قذست ثیبى ایوي قوَاًیي‬

‫‪1‬‬
‫‪first-order horn clase‬‬
‫‪2‬‬
‫‪inductive logic programming‬‬
‫‪3‬‬
‫‪deductive operators‬‬
‫‪4‬‬
‫‪mechanical theorem provers‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًؼجت ثِ دػتِ قَاًیي یضاسُ ای اػت‪ .‬دٍم ایٌکِ الگَسیتن ّبی هٌشح ؿذُ الگَسیتن ّبی تشتیجی‪ّ 1‬ؼتٌذ کِ قَاًیي سا ثِ تشتیوت ٍ ثوشای کبهول‬
‫کشدى دػتِ قَاًیي هَخَد یبد هی ییشًذ‪.‬‬

‫ثشای هثب ‪ ،‬دػتِ قَاًیي دسخِ اٍ صیش سا کِ ثبّن هفَْم ّذف ‪( Ancestor‬خَذ) سا ًـبى هی دٌّذ دس ًظش ثگیشیذ‪.‬‬

‫)‪IF Parent(x,y‬‬ ‫‪THEN‬‬ ‫)‪Ancestor(x,y‬‬

‫)‪IF Parent(x,z)⋀Ancestor(z,y‬‬ ‫‪THEN‬‬ ‫)‪Ancestor(x,y‬‬

‫تَخِ داؿتِ ثبؿیذ کِ قَاًیي ثبال تبثؼی ثبصیـتی سا کِ ثِ ػختی هی تَاى ثب دسخت تلوین ییشی یب ًوبیؾ ّبی یضاسُ ای‪ً 2‬ـبى داد سا ًووبیؾ‬
‫هی دّذ ‪ .‬یکی اص ساّْبی پی ثشدى ثِ قذست ًوبیـی قَاًیي دسخِ اٍ تَخِ ثِ ّذف کلی صثوبى ثشًبهوِ ًَیؼوی ‪ Prolog‬اػوت‪ .‬دس ‪Prolog‬‬
‫ثشًبهِ ّب دػتِ قَاًیي دسخِ اٍ ‪ ،‬هـبثِ دٍ قبًًَی کِ دس ثبال رکش ؿذ‪ّ ،‬ؼتٌذ (ایي ًَع قَاًیي یبّی ‪ً Horn clause‬بهیوذُ هوی ؿوًَذ)‪ .‬دس‬
‫ٍاقغ‪ ،‬قَاًیي ثبال ثشًبهِ ای دس صثبى ‪ Prolog‬اػت کِ ساثٌِ ی ‪ Ancestor‬سا تـخیق هی دّذ‪ .‬دس ایي ػجک‪ ،‬الگوَسیتن کلوی ی یوبدییشی‬
‫ایٌگًَِ دػتِ قَاًیي سا هی تَاى ثشًبهِ ًَیؼی خَدکبس ‪ Prolog‬اص ًوًَِ ّبی آهَصؿی داًؼت‪ .‬دس ایي فلل چٌیي الگوَسیتن ّوبیی کوِ دػوتِ‬
‫قَاًیي سا اص ًوًَِ ّبی آهَصؿی یبد هی ییشًذ ثشسػی خَاّین کشد‪.‬‬

‫دس ػول‪ ،‬ػیؼتن ّبی یبدییشی کِ اص دػتِ قَاًیي دسخِ اٍ اػتفبدُ هی کٌٌذ دس هؼبئلی چَى یبدییشی قوَاًیي ؿویوی دس ًیوف ػوٌح خشهوی‬
‫)‪ ،(Buchanan 1976; Lindsay 1980‬یبدییشی ػبختبس ّبی خْؾ طًتیکی (دس ساثٌِ ثب ػشًبى) )‪ ٍ (Srinivasan 1994‬یبدییشی‬
‫ًشاحی ػٌبكش هتٌبّی ثشای ثشسػی اػتشع دس ػبختبس ّبی فیضیکی )‪ (Dolsak and Muggleton 1992‬ثِ کبس سفتِ اًذ‪ .‬دس ّش یوک اص‬
‫ایي کبسثشد ّب‪ ،‬فشهیِ ای کِ هؼشفی هی ؿَد‪ ،‬ادػب ّبیی اػت کِ ثِ ساحتی تَػي دػتِ قَاًیي دسخِ اٍ ثیبى هی ؿًَذ‪ ٍ ،‬تَكیف ایي ادػب ّوب‬
‫دس ثیبى ّبی یضاسُ ای ثؼیبس ػخت اػت‪.‬‬

‫دس ایي فلل‪ ،‬اثتذا اص الگَسیتن ّبیی ؿشٍع خَاّین کشد کِ دػتِ قَاًیي یضاسُ ای سا یبد هی ییشًذ؛ دػتِ قَاًیي یضاسُ ای دػتِ قوَاًیٌی ّؼوتٌذ‬
‫کِ هتریش ًذاسًذ‪ .‬الگَسیتن ّبیی کِ ثوشای خؼوتدَی فووبی فشهویِ ای ی دػوتِ قوَاًیي فلولی دس چٌویي ؿوشایٌی قبثول دسک اًوذ‪ .‬ػوسغ‬
‫الگَسیتن ّبیی کِ دػتِ قَاًیي دسخِ اٍ یبد هی ییشًذ سا ثشسػی خَاّین کشد‪ .‬دس اداهِ ًیض دٍ سٍؽ کلی ثشای اػتقشا دس ثشًبهِ ًَیؼی هٌٌقی ٍ‬
‫سٍاثي اػبػی ثیي اػتٌجبى اػتقشایی ٍ اػتٌتبخی سا ثشسػی خَاّین کشد‪.‬‬

‫‪ 1.01‬الگًرتیم های ترتیبی‬

‫دس ایي ثخؾ خبًَادُ ای اص الگَسیتن ّب کِ دػتِ قَاًیي سا ثش اػبع اػتشاتظی یبدییشی یک قبًَى ٍ حزف دادُ ّبی ػوبصیبس ثوب آى قوبًَى یوبد‬
‫‪3‬‬
‫هی ییشًذ ثشسػی خَاّین کشد‪ .‬چٌیي الگَسیتن ّبیی‪ ،‬الگَسیتن ّبی تشتیجی ًبهیذُ هی ؿًَذ‪ .‬تَهیح ثیـتش ایٌکِ‪ ،‬فشم کٌیذ کِ یک صیوش سٍا‬
‫ثِ ًبم ‪ Learn-one-rule‬داسین کِ دػتِ ای اص ًوًَِ ّبی هثجت ٍ هٌفی سا دسیبفت کشدُ ٍ قبًًَی سا خشٍخی هی دّذ کِ اکثوش ًوًَوِ ّوبی‬
‫هثجت ٍ تؼذاد ثؼیبس کوی اص ًوًَِ ّبی هٌفی سا هی پَؿبًذ‪ .‬هی خَاّین کِ دقت ایي قبًَى خشٍخی حوذاکثش ؿوَد‪ ،‬الصم ًیؼوت پَؿوؾ قوبًَى‬

‫‪1‬‬
‫‪sequential covering algorithms‬‬
‫‪2‬‬
‫‪propositional representation‬‬
‫‪3‬‬
‫‪subroutine‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خشٍخی صیبد ثبؿذ‪ .‬هٌظَسهبى اص افضایؾ دقت قبًَى افضایؾ تؼذاد دػتِ ثٌذی ّبی دسػت آى اػت‪ .‬ثب پزیشفتي پَؿؾ کن‪ ،‬هٌظَسهبى ایي اػوت‬
‫کِ الصم ًیؼت کِ قبًَى ثشای ّوِ ی ًوًَِ ّبی آهَصؿی پیـجیٌی ای داؿتِ ثبؿذ‪.‬‬

‫ثب داؿتي صیش سٍا ‪ ،Learn-one-rule‬یکی اص ػبدُ تشیي ساّْب‪ ،‬دادى ّوِ ی ًوًَِ ّوبی آهَصؿوی هَخوَد ثوِ صیوش سٍا ٍ حوزف تووبهی‬
‫ًوًَِ ّبی هثجتی تحت پَؿؾ قبًَى خشٍخی ٍ تکشاس ایي سٍا ثب ثقیِ ی ًوًَِ ّبػت‪ .‬ایي فشایٌذ سا هی تَاًذ آًقذس اداهِ داد تب فللی اص قَاًیي‬
‫کِ ثب ّن توبهی ًوًَِ ّبی هثجت سا هی پَؿبًٌذ ثذػت آیذ‪ .‬دس آخش ًیض هی تَاى قَاًیي سا ثشسػی کشد تب ٌّگبم دػتِ ثٌذی ًوًَِ ّبی خذیذ اٍ‬
‫قَاًیٌی ثشسػی ؿًَذ کِ حذاکثش دقت سا داسًذ‪ .‬یک حبلت کلی اص الگَسیتن ّبی تشتیجی دس خذٍ ‪ 1..1‬آٍسدُ ؿذُ اػت‪.‬‬

‫)‪Sequential-Covering(Target_attribute,Attributes,Examples,Threshold‬‬

‫}{←‪Learned_rules‬‬ ‫‪‬‬
‫)‪Rule←Learn-One-Rule(Target_attribute,Attributes,Examples‬‬ ‫‪‬‬
‫تب صهبًی کِ ؿشى ‪ Performance(Rule,Examples)>Threshold‬اػت حلقِ ی صیش سا اداهِ ثذُ‬ ‫‪‬‬
‫‪Learned_rules←Learned_rules+Rule o‬‬
‫‪ً} o‬وًَِ ّبیی کِ ثِ دسػت تَػي ‪ Rule‬دػتِ ثٌذی هی ؿًَذ{‪Example←Examples-‬‬
‫‪Rule←Learn-one-rule(Target_attribute,Attributes,Examples) o‬‬
‫هشتت ؿذُ ی ‪ Learn_rules‬ثش اػبع ‪ Performance‬ثش ‪Learned_rules← Examples‬‬ ‫‪‬‬
‫‪ Learn_rules‬سا ثشیشداى‬
‫خذٍ ‪ 1..1‬الگَسیتن تشتیجی ثشای یبدیشفتي دػتِ قَاًیي فللی‪.‬‬
‫‪ Learn-one-rule‬قبًًَی سا ثش هی یشداًذ کِ حذاقل تؼذادی اص ًوًَِ ّبی ‪ Examples‬سا ثسَؿبًذ‪ Performance .‬صیش سٍالی اػت کِ کیفیت قبًَى‬
‫سا ثشسػی هی کٌذ‪ .‬ایي الگَسیتن تب صهبًی کِ ‪ Performance‬کوتش اص هقذاس ‪ Threshold‬اػت ثِ یبدییشی قَاًیي اداهِ خَاّذ داد‪.‬‬
‫ایي الگَسیتن تشتیجی یکی اص هتذاٍ تشیي سٍؽ ّبی یبدییشی دػتِ قَاًیي فللی اػت‪ .‬ایي سٍؽ هؼئلِ ی یبدییشی دػتِ قَاًیي فللی سا ثوِ‬
‫ػشی ای اص هؼبئل ػبدُ تش تجذیل هی کٌذ‪ ،‬دس ّش یک اص ایي هؼبئل ػبدُ تش یک قبًَى ػٌفی یبد یشفتِ هی ؿَد‪ .‬چَى ایوي سٍؽ‪ ،‬خؼوتدَیی‬
‫حشیلبًِ اًدبم هی دّذ ‪ ،‬دس یبدییشی قَاًیي ثذٍى هشاخؼِ ثِ هشاحل قجلی تظویٌی ًیؼت کِ کَچکتشیي دػتِ قَاًیي یب ثْتشیي دػتِ قَاًیٌی کِ‬
‫ًوًَِ ّبی آهَصؿی سا هی پَؿبًذ سا پیذا کٌین‪.‬‬

‫‪ Learn-one-rule‬سا چگًَِ ثبیذ ًشاحی کٌین تب ًیبصهبى دس الگَسیتن تشتیجی ثشًشف کٌذ‪ .‬الگَسیتوی هی خَاّین کِ قبًًَی سا ایدبد کٌذ کوِ‬
‫دقت ثبالیی داؿتِ ثبؿذ‪ ،‬اهب الصم ًیؼت توبم ًوًَِ ّبی هثجت سا ثسَؿبًذ‪ .‬دس ایي ثخوؾ الگوَسیتن ّوبی هتفوبٍتی سا ثوِ ّووشاُ تفوبٍت ّوبی‬
‫هْن ؿبى ثشسػی خَاّین کشد‪ .‬دس ایي ثخؾ فقي ثِ سٍؽ ّبی یضاسُ ای هی پشداصین ٍ تؼوین ایي سٍؽ ّب ثِ ‪ّ horn clause‬بی دسخِ اٍ‬
‫سا ثِ ثخؾ ثؼذی هَکَ هی کٌین‪.‬‬

‫‪ 1.0.01‬جستجًی ستًوی کلی به جسئی‬

‫یکی اص ساّْبی هَثش تؼشیف ‪ Learn-one-rule‬ػبصهبى دّی فوبی فشهیِ ّب دس ّوبى ؿکل کلی الگَسیتن ‪ ID3‬اػت‪ ،‬ثب ایي تفبٍت کِ دس‬
‫ایٌدب هب اهیذ ٍاس کٌٌذُ تشیي ؿبخِ ی دسخت سا دس ّش هشحلِ ثشسػی خَاّین کشد‪ّ .‬وبًٌَس کِ دس دسخت خؼتدَی ؿکل ‪ً 1..1‬یض آهوذُ اػوت‪،‬‬
‫خؼتدَ قبًًَی ؿشٍع هی ؿَد کِ کلی تشیي ؿشٍى سا داسد (ؿشًی ًذاسد ٍ توبهی ًوًَِ ّبی سا هی پَؿبًذ)‪ ،‬ػسغ ثِ كَست حشیلبًِ ثب اهوبفِ‬
‫کشدى ٍیظیی ّبیی کِ کبسایی قبًَى سا ثش سٍی ًوًَِ ّبی آهَصؿی ثیـتشیي افضایؾ هی دٌّذ اداهِ پیذا خَاّذ کشد‪ .‬ایوي فشایٌوذ ثؼوذ اص اهوبفِ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿذى ٍیظیی دٍم ًیض ثِ ّویي كَست پیؾ هی سٍد‪ ٍ ،‬ایي فشایٌذ ثِ ّویي تشتیت اداهِ پیذا هی کٌذ‪ .‬هـبثِ ‪ ID3‬ایي فشایٌوذ ًیوض حشیلوبًِ ثوب‬
‫افضایؾ ؿشٍى ٍیظیی ّب فشهیِ سا یؼتشؽ هی دّذ تب کبسایی آى ثِ حذ آػتبًِ ی قبثل قجَلی ثشػوذ‪ .‬ثوش خو ف ‪ ID3‬ایوي تؼشیوف ‪Learn-‬‬
‫‪ one-rule‬فقي یک صیش ؿبخِ دس ّش هشحلِ ی خؼتدَ اهبفِ هی ؿَد‪ ،‬فقي یک ؿشى کِ خفتی اص ٍیظیی ٍ هقوذاس اؽ اػوت‪ ،‬اهوب دس ‪ID3‬‬
‫یک دػتِ صیش ؿبخِ اهبفِ هی ؿذ کِ توبهی هقبدیش ٍیظیی سا هَسد ثشسػی قشاس هی داد‪.‬‬

‫ؿکل ‪ 1..1‬خؼتدَ دس ؿشٍى دس فشایٌذ ‪ Learn-one-rule‬کِ اص تشتیت کلی ثِ خضئی اػتفبدُ هی کٌذ‪.‬‬
‫دس ّش هشحلِ توبهی ؿشًٍی کِ اهبفِ ؿذًـبى هوکي اػت ثشسػی هی ؿَد‪ .‬حکن قبًَى ًَسی اًتخبة هی ؿَد تب ًوًَِ ّبیی کِ دس ؿشٍى قوبًَى كوذ‬
‫هی کٌٌذ سا ساهی کٌذ‪ .‬ایي ؿکل خؼتدَی ػتًَی ثب ػوق ‪ 1‬سا ًـبى هی دّذ‪.‬‬
‫‪1‬‬
‫خؼتدَی کلی ثِ خضئی ای کِ دس ثبال آٍسدُ ؿذ خؼتدَیی حشیلبًِ ٍ ثب ػوق یک ٍ ثذٍى ًگبُ ثِ هشاحول قجلوی ثوَد‪ .‬دسػوت هثول تووبهی‬
‫خؼتدَ ّبی حشیلبًِ‪ ،‬خٌش ثْیٌِ ػبصی خضئی دس ّش هشحلِ ٍخَد داسد‪ .‬ثشای کن کشدى ایي خٌش‪ ،‬هی تَاًین الگَسیتن سا ًَسی ترییش دّوین توب‬
‫خؼتدَیؾ ػتًَی‪ 2‬ؿَد؛ خؼتدَیی کِ دس آى ثِ خبی اًتخبة ثْتشیي یضیٌِ لیؼتی ‪ k‬یضیٌِ ی ثْتش ًگِ داؿوتِ هوی ؿوًَذ‪ .‬دس ّوش هشحلوِ اص‬
‫پیـشٍی خؼتدَ‪ ،‬خبف ػبصی ثشای توبهی ایي ‪ k‬یضیٌِ ی هٌشح ػبختِ ٍ قَاًیي حبكل دس هشاحل ثؼذی ًیض ثب اهبفِ کشدى ‪ k‬یضیٌوِ ی ثْتوش‬
‫خبف تش هی ؿًَذ‪ .‬خؼتدَی ػتًَی لیؼتی اص اهیذٍاس کٌٌذُ تشیي خبیگضیي ّبی فشهیِ ی فؼلی (ثْتشیي فشهیِ) ًگِ داسی هوی کٌوذ ٍ هیوضاى‬
‫هَفقیت آًْب دس ّش هشحلِ اص خؼتدَ دس ًظش یشفتِ هی ؿَد‪ .‬ایي الگَسیتن خؼوتدَی کلوی ثوِ خضئوی ػوتًَی دس ثشًبهوِ ی ‪ CN2‬کوِ تَػوي‬
‫)‪ (Clark and Niblett 1989‬تَكیف ؿذ ثِ کبس سفتِ اػت‪ .‬ایي الگَسیتن ثِ ًَس کبهل دس خذٍ ‪ 1..2‬آٍسدُ ؿذُ اػت‪.‬‬

‫)‪Learn-one-rule(Target_attribute,Attributes,Examples,k‬‬

‫ایي صیش سٍا قبًًَی کِ تؼذادی اص ًوًَِ ّبی ‪ Examples‬سا پَؿؾ هی دّذ خشٍخی هی دّذ‪ .‬دس ایي خؼتدَ صیش سٍا اص خؼتدَی ػوتًَی‬

‫‪1‬‬
‫‪backtrack‬‬
‫‪2‬‬
‫‪Beam search‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫حشیلبًِ ثشای پیذا کشدى ثْتشیي قبًَى کوک هی ییشد‪ ،‬ایي خؼتدَ تَػي هؼیبس ‪ Performance‬کٌتش هی ؿَد‪.‬‬

‫‪ Best_hypothesis‬سا ثب هقذاس اٍلیِ ی ∅ هقذاس دّی اٍلیِ کي‪.‬‬ ‫‪‬‬

‫‪ Candidate_hypothesis‬سا ثب هقذاس اٍلیِ ی }‪ {Best_hypothesis‬هقذاس دّی اٍلیِ کي‪.‬‬ ‫‪‬‬
‫تب صهبًی کِ هدوَػِ ی ‪ Candidate_hypotheses‬تْی ًیؼت حلقِ ی صیش سا اداهِ ثذُ‬ ‫‪‬‬
‫‪ Candidate_hypotheses .1‬خبف تشی ثؼذی سا ایدبد کي‬
‫هدوَػِ ی توبهی قیَد ثِ فشم )‪All_constrains← (a=v‬‬ ‫‪‬‬
‫کووِ دس آى ‪ a‬ػوووَی اص هدوَػووِ ی ‪ Attributes‬اػووت ٍ ‪ً v‬یووض هقووذاس هوکٌووی اص ‪ a‬اػووت کووِ دس هدوَػووِ ی‬ ‫‪‬‬
‫‪ Examples‬فؼلی ظبّش ؿذُ‬
‫‪ o‬ثشای توبهی ‪ّ h‬بی ‪ ٍ Candidate_hypotheses‬ثشای توبهی ‪ّ c‬بی ‪All_constrains‬‬
‫ثب اهبفِ کشدى ‪ c‬خبف ػبصی اص ‪ h‬ایدبد کي‬ ‫‪‬‬
‫ّش فشهیِ ی تکشاسی‪ً ،‬بػبصیبس یب کبه اختلبكی سا اص ‪ New_candidate_hypotheses‬حزف کي‪.‬‬ ‫‪‬‬
‫‪ Best_ hypothesis .2‬سا ترییش ثذُ‬
‫ثشای توبهی ‪ّ h‬بی ‪ New_candidate_hypotheses‬حلقِ ی صیش سا اخشا کي‬ ‫‪‬‬
‫>)‪(Performance(h,Examples,Target_attribute‬‬ ‫‪ o‬ایووووووووووووووووووووش‬
‫))‪Performance(Best_hypothesis,Examples,Target_attribute‬‬
‫آًگبُ ‪Best_hypothesis←h‬‬
‫‪ Candidate_ hypotheses .3‬سا ترییش ثذُ‬
‫‪ K‬ثْتووشیي ػوووَ هدوَػووِ ی ‪ New_candidate_hypotheses‬سا ثووش اػووبع هؼیووبس ‪Performance‬‬ ‫‪‬‬
‫←‪Candidate_ hypotheses‬‬
‫قبًًَی ثِ فشم صیش سا خشٍخی ثذُ‬ ‫‪‬‬
‫"ایش ‪ Best_hypothesis‬آًگبُ ‪"prediction‬‬

‫کووِ دس ایووي ساثٌووِ ‪ prediction‬پووش تکووشاس تووشیي هقووذاس ‪ Target_attribute‬دس هیووبى ‪ّ Examples‬ووبیی اػووت کوووِ دس‬
‫‪ Best_hypothesis‬كذ هی کٌٌذ‪.‬‬

‫)‪Performance(h,Examples,Target_attribute‬‬

‫صیش هدوَػِ ای اص ‪ Examples‬کِ ثب ‪ h‬ػبصیبس اػت ←‪h_Examples‬‬ ‫‪‬‬

‫هقذاس )‪ –Entropy(h_Examples‬سا ثشیشداى‪ ،‬آًتشٍپی ثش اػبع هدوَػِ ی ‪ Target_attribute‬هحبػجِ هی یشدد‪.‬‬ ‫‪‬‬
‫خذٍ ‪ 1..2‬یکی اص تؼشیف ّبی ‪ Learn-one-rule‬خؼتدَیی کلی ثِ خضئی ٍ ػتًَی اػت‪.‬‬
‫ؿشى فشهیِ ی فؼلی ثب هتریش ‪ Candidate_hypotheses‬هـخق هی ؿَد‪ .‬ایي الگَسیتن هـبثِ الگَسیتوی اػت کِ دس ثشًبهِ ی ‪ CN2‬ثِ کوبس سفتوِ‬
‫اػت )‪.(Clark and Niblett 1989‬‬
‫ثیبییذ ًکبتی کِ دس هَسد الگَسیتن ‪ Learn-one-rule‬دس خذٍ ‪ 1..2‬آٍسدُ ؿذ سا ثب دقت ثیـتشی ثشسػی کٌین‪ .‬اثتذا ایٌکِ تَخِ داؿتِ ثبؿیذ‬
‫کِ ّش فشهیِ کِ دس حلقِ ی اكلی دس ًظش یشفتِ هی ؿَد ػٌفی اص ؿشٍى ٍیظیی هقذاس اػت‪ّ .‬ش یک اص ایي فشهیِ ّوبی ػٌفوی ًظیوش یوک‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دػتِ ؿشٍى هوکي ثشای یبدییشی اًذ کِ ثب آًتشٍپی ًوًَِ ّبیی کِ هی پَؿبًذ اًذاصُ ییشی هی ؿَد‪ .‬خؼتدَ هشحلوِ ثوِ هشحلوِ فشهویِ ّوبی‬
‫خبف تش سا دس ًظش هی ییشد تب ثِ کلی تشیي فشهیِ ثشػذ کِ توبهی ٍیظیی ّبی هوکي سا داؿتِ ثبؿذ‪ .‬قبًَى خشٍخی الگَسیتن قبًًَی اػوت کوِ‬
‫دس ایي خؼتدَ ثیـتشیي ‪ Performance‬سا داساػت‪ ،‬هیضاى خبكی قبًَى دس ایي اًتخبة ّیچ تبثیشی ًذاسد‪ .‬حکن قبًَى خشٍخی دس هشحلِ ی‬
‫اًتْبیی الگَسیتن هـخق هی ؿَد‪ ،‬ثؼذ اص ایي کِ ؿشٍى تَػي هتریش ‪ Best_hypothesis‬هـخق ؿذ‪ .‬حکن قبًَى خشٍخی هتذاٍ تشیي‬
‫هقذاس ٍیظیی ّذف دس ًوًَِ ّبی تحت پَؿؾ آى تؼییي هی ؿَد‪ً .‬کتِ ی آخش ایي کِ تَخِ داؿتِ ثبؿویذ ثوب ایٌکوِ خؼوتدَی ػوتًَی خٌوش‬
‫قبًَى ّبی هَهؼی ثْیٌِ سا کوتش هی کٌذ اهب ٌَّص خٌش اص ثیي ًخَاّذ سفت‪ .‬ثب ایي ٍخَد‪ ،‬حتی صهبًی کِ قَاًیي هَهوؼی ثْیٌوِ اًوذ‪ ،‬الگوَسیتن‬
‫تشتیجی هی تَاًذ دػتِ قَاًیٌی سا یبد ثگیشد کِ ثب ّن ًوًَِ ّبی آهَصؿی سا ثسَؿبًٌذ‪ ،‬صیشا کِ الگَسیتن هتٌبٍثب اص صیوشسٍا ‪Learn-one-rule‬‬
‫اػتفبدُ هی کٌذ‪.‬‬

‫‪ 1.0.0.‬وسخه ها‬
‫الگَسیتن تشتیجی‪ ،‬ثب اػتفبدُ اص الگَسیتن ‪ Learn-one-rule‬دػتِ قَاًیٌی سا یبد هی ییشد کِ ًوًَِ ّبی آهَصؿی سا پَؿؾ دٌّذ‪ً .‬ؼخِ ّوبی‬
‫هتفبٍتی اص ایي سٍؽ هَسد ثحث ٍ ثشسػی قشاس یشفتِ اػت‪ .‬ثشای هثب ‪ ،‬دس ثؼوی ؿشایي هوکي اػت الصم ثبؿذ ًَسی ثشًبهِ سیضی ؿَد کِ فقي‬
‫قَاًیٌی کِ ًوًَِ ّبی هثجت سا هی پَؿبًذ یبد ثگیشین ٍ ًوًَِ ّبیی کِ دس ّیچ یک اص قَاًیي كذ ًوی کٌذ سا ثِ ًَس پیـوفشم هٌفوی دػوتِ‬
‫ثٌذی کٌین‪ .‬ثشای هثب ‪ ،‬ثشای یبدییشی تبثغ ّذفی هثل "صًبى ثبسداسی کِ دٍقلَ ثبسداسًذ" یکوی اص چٌویي ؿوشایي اػوت‪ .‬دس ایوي حبلوت‪ً ،‬ؼوجت‬
‫ًوًَِ ّبی هثجت ثِ کل خوؼیت کن اػت‪ ،‬ثٌبثشایي قَاًیي خ كِ تش ٍ هفَْم تش خَاٌّذ ثَد ایش فقي قَاًیي ثشای دػتِ ثٌذی ًوًَِ ّبی هثجت‬
‫دس ًظش یشفتِ ؿَد ٍ ثقیِ ی ًوًَِ ّب ثِ ًَس پیـفشم هٌفی دػتِ ثٌذی ؿًَذ‪ .‬ایي سٍؽ هـبثِ ‪ negative-as-failure‬دس صثبى ‪Prolog‬‬
‫اػت کِ دس آى ایش ًتَاى ثبثت کشد کِ یک ًوًَِ هثجت اػت ثِ ًَس پیـفشم هٌفی فشم هی ؿَد‪ .‬ثشای یبدییشی چٌیي قَاًیٌی کِ فقي یوک‬
‫هقذاس ٍیظیی ّذف سا تؼییي هی کٌٌذ‪ ،‬الگَسیتن ‪ Learn-one-rule‬سا هی تَاى ًَسی ترییش داد کِ پبساهتشی اهبفی داؿوتِ ثبؿوذ کوِ هقوذاس‬
‫پیـجیٌی هقذاس ّذف هَسد تَخِ سا هـخق کٌذ‪ .‬خؼتدَی ػتًَی کلی ثِ خضئی ثِ ّوبى ؿکل قجلی دػت ًخَسدُ ثبقی هی هبًذ ٍ فقي تؼشیف‬
‫صیش سٍا ‪ Performance‬کِ فشهیِ ّب سا اسصیبثی هی کشد ترییش هی کٌذ‪ .‬تَخِ داؿتِ ثبؿیذ کِ تؼشیف ‪ Performance‬ثِ ػٌَاى آًتشٍپی‬
‫دس ایي ٍهؼیت دیگش هٌبػت ًیؼت‪ ،‬صیشا کِ ایي تؼشیف ثِ قبًَى ّبیی کِ تؼذاد صیبدی ًوًَِ ی هٌفی سا هی پَؿبًٌذ ًیض هثل قَاًیٌی کوِ تؼوذاد‬
‫صیبدی ًوًَِ ی هثجت سا هی پَؿبًٌذ هقذاس صیبدی ًؼجت هی دّذ‪ .‬دس چٌیي ؿشایٌی اػتفبدُ اص ًؼجت ًوًَِ ّبی هثجوت پَؿوبًذُ ؿوذُ ثوِ کول‬
‫ًوًَِ ّبی پَؿبًذُ ؿذُ ی فشهیِ هؼیبسی هٌبػت تش خَاّذ ثَد‪.‬‬

‫ترییشات دیگشی ًیوض هوکوي اػوت‪ ،‬ایوي ًؼوخِ ّوبی ترییشیبفتوِ دس خوبًَادُ ای اص الگوَسیتن ّوبیی ثوب ًوبم ‪(Michalski , 1969, ،AQ‬‬
‫)‪ Michalski et al. 1986‬قشاس هی ییشًذ‪ ،‬ایي خبًَادُ اص الگَسیتن ّب قجل اص الگَسیتن ‪ CN2‬ثَخَد آهذُ ٍ توبهی ًتبیح ثبال ثش اػوبع ایوي‬
‫خبًَادُ اص الگَسیتن ّب ثذػت آهذُ اػت‪ .‬الگَسیتن ّبی ‪ً AQ‬یض فللی اص قَاًیي ػٌفی سا یبد هی ییشًذ‪ ،‬ثب ایي ٍخَد‪ ٍ AQ ،‬الگَسیتن ثیبى ؿذُ‬
‫دس ثؼیبسی اص خْبت هتفبٍت اًذ‪ .‬اثتذا ایٌکِ الگَسیتن پَؿـی‪ 1‬ی ‪ AQ‬ثب الگَسیتن تشتیجی فش داسد‪ ،‬صیشا کِ كشاحتب ثِ دًجب قَاًیٌی هوی یوشدد‬
‫کِ هقذاس ّذف خبكی سا پَؿؾ هی دٌّذ‪ ٍ ،‬ثشای ّش هقذاس ّذف یک دػتِ قَاًیي فللی سا یبد هی ییشد‪ .‬دٍم ایٌکِ الگَسیتن ّبی ‪ AQ‬ثوشای‬
‫یبدییشی تک قَاًیي اص سٍؿی هتفبٍت ثب ‪ Learn-one-rule‬اػتفبدُ هی کٌٌذ‪ .‬هـبثِ قجل ایي صیش سٍا ًیض اص خؼتدَی ػتًَی کلی ثِ خضئی‬
‫اػتفبدُ هی کٌذ ثب ایي تفبٍت کِ ثشای توشکض ایي خؼتدَ اص یک ًوًَِ ی هثجت اػتفبدُ هی ؿَد‪ .‬دس کل‪ ،‬ایي صیش سٍا فقي ٍیظیی ّوبیی سا دس‬
‫ًظش هی ییشد کِ ثب ًوًَِ ی هثجت ػبصیبسًذ ٍ ثب ایي فشم ثشای تؼوین اص خؼتدَی کلی ثِ خضئی اػوتفبدُ هوی کٌوذ‪ .‬دس ّوش هشحلوِ الگوَسیتن‬

‫‪1‬‬
‫‪covering‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫قبًًَی ػبصیبس ثب یکی اص ًوًَِ ّبی هثجت غیش پَؿؾ دادُ ؿذُ یبد هی ییشد تب هـبثِ قجل خؼتدَ سا ثشای پیذا کشدى فلولی اص قوَاًیي ػٌفوی‬
‫اداهِ دّذ‪.‬‬

‫‪ 1.01‬یادگیری دسته قًاویه‪ :‬خالصه‬

‫الگَستین تشتیجی ثبال ٍ الگَسیتن یبدییشی دسختی فلل ‪ 3‬هتذ ّبی هتفبٍت هوکٌی ثشای یبدییشی دػتِ قَاًیي ّؼتٌذ‪ .‬ایوي قؼووت خٌجوِ ّوبی‬
‫هختلف فوبی ًشاحی ایي یًَِ الگَسیتن ّب (الگَسیتن ّبی یبدییشی دػتِ قَاًیي) سا ثشسػی خَاّذ کشد‪.‬‬

‫اثتذا ایٌکِ الگَسیتن ّبی تشتیجی دس ّش هشحلِ فقي یک قبًَى سا یبد هی ییشًذ ٍ ًوًَِ ّبیی سا کِ تَػي آى قبًَى پَؿبًذُ هی ؿًَذ حزف کشدُ‬
‫ٍ ّویي فشایٌذ سا ثب ثقیِ ی ًوًَِ ّب اداهِ هی دٌّذ‪ .‬دس هقبثل‪ ،‬الگَسیتن ّبی یبدییشی دسختی هثل ‪ ID3‬کل دػتِ قوَاًیي سا ثوب ّون ٍ دس یوک‬
‫خؼتدَ ثشای دسختی قبثل قجَ یبد هی ییشًذ‪ .‬ثِ ّویي دلیل‪ ،‬الگَسیتن ّبیی چَى ‪ ID3‬سا الگَسیتن ّبی پَؿؾ ّوضهبى‪ 1‬هی ًبهٌذ‪ ،‬دس هقبثول‬
‫الگَسیتن ّبی تشتیجی هثل ‪ .CN2‬کذام یک اص ایي ًَع الگَسیتن ّب اسخْیت داسد؟ تفبٍت کلیذی دس قذم ّبی اثتذایی خؼتدَی آًْبػت‪ .‬دس ّوش‬
‫هشحلِ ی ‪ ID3‬ثیي توبهی ٍیظیی ّبی هوکي‪ٍ ،‬یظیی ّب ثب اػتفبدُ اص تقؼین ثٌذی ای کِ اًدبم هی دٌّذ اًتخبة هی ؿًَذ‪ .‬دس هقبثل ‪ CN2‬دس‬
‫ثیي خفت ٍیظیی هقذاس ّب‪ٍ ،‬یظیی ّب سا ثب اػتفبدُ اص صیش هدوَػِ ای اص دادُ ّب کِ هی پَؿبًٌذ اًتخبة هی کٌذ‪ .‬یکی اص ساّْبی دسک ایي تفبٍت‬
‫تَخِ ثِ تؼذاد اًتخبة ّبی خبكی اػت کِ ایي دٍ الگَسیتن اًدبم هی دٌّذ تب دػتِ قَاًیي هؼوبٍی ای سا یبدثگیشًوذ‪ .‬دس یوبدییشی ‪ n‬قوبًَى ‪k‬‬
‫ٍیظیی تؼت هوکي ثشای ؿشٍى داسد‪ ،‬الگَسیتن ّبی تشتیجی ‪ k.n‬هشحلِ خؼتدَ اًدبم هی دٌّذ ٍ دس ّش هشحلِ ًیض اًتخبثی هؼتقل ثشای هؼلوَم‬
‫کشدى ؿشى قبًَى اًدبم هی دٌّذ‪ .‬دس هقبثل‪ ،‬الگَسیتن ّبی پَؿؾ ّوضهبى تؼذاد ثؼیبس کوتشی اًتخبة هؼتقل اًدبم هوی دٌّوذ صیوشا کوِ ّوش‬
‫اًتخبة ٍیظیی دس یشُ ای اص دسخت هتٌبػت ثب هؼلَم کشدى آى ٍیظیی ثشای تؼذاد صیبدی اص قَاًیي اػت‪ .‬ثِ ػجبست دیگش‪ ،‬ایش یوشُ ای اص دسخوت‬
‫ٍیظیی ای کِ ‪ m‬هقذاس هوکي داسد سا ثشسػی کٌذ‪ ،‬اًتخبة ایي ٍیظیی ثشای آى یشُ ی دسخت ّن اسص اًتخبة ایي ٍیظیی ثشای ‪ m‬قوبًَى ًظیوش‬
‫آى اػت (توشیي ‪ .)1..1‬ثٌبثشایي‪ ،‬الگَسیتن ّبی تشتیجی هثل ‪ً CN2‬ؼجت ثِ الگَسیتن ّبی پَؿؾ ّوضهبى هثل ‪ ID3‬تؼوذاد ثیـوتشی اًتخوبة‬
‫هؼتقل اًدبم هی دٌّذ ‪ .‬ثب ایي ٍخَد‪ ،‬ایي ػَا ّوچٌبى ثذٍى خَاة ثبقی اػت‪ :‬کذام سٍؽ اسخْیت داسد؟ ایش دادُ ّوبی هَخوَد ثوِ اًوذاصُ ی‬
‫کبفی صیبد ثبؿذ تب ثتَاى تؼذاد صیبد اًتخبة ّبی هؼتقل الگَسیتن تشتیجی سا ثشًشف کٌذ الگَسیتن تشتیجی ثْتش اػت‪ ،‬دس هقبثل ایش دادُ ّبی هَخَد‬
‫کن ثبؿذ ثْتش اػت کِ اًتخبة ٍیظیی ّب ثیي ؿشٍى هـتشک ثبؿذ ٍ الگَسیتن ّبی پَؿؾ ّوضهبى هفیذ تش خَاّذ ثَد‪ .‬خٌجِ ی ثب اّویت دیگش‪،‬‬
‫ایي اػت کِ‪ ،‬آیب ایٌکِ قَاًیي ٍیظییْبی هـبثْی سا تؼت کٌٌذ ثشای هب هٌلَة اػت؟ دس الگَسیتن ّبی پَؿؾ ّوضهبى هثول یوبدییشی دسختوی‬
‫چٌیي کبسی اًدبم هی ؿَد‪ .‬اهب دس الگَسیتن ّبی تشتیجی ًیبصی ثِ چٌیي کبسی ًیؼت‪.‬‬

‫خٌجِ دٍم تفبٍت ایي دٍ ًَع الگَسیتن ًحَُ ی کٌتش خؼتدَیـبى دس ‪ Learn-one-rule‬اػت‪ .‬دس الگَسیتوی کِ دس ثبال تَهیح دادین‪ ،‬ایوي‬
‫خؼتدَ اص فشهیِ ّبی کلی تش ثِ خضئی تش اًدبم هی ؿَد‪ .‬دس دیگش الگَسیتن ّبی هٌشح ؿذُ (هثل ‪ Find-S‬کِ دس فلل ‪ 2‬ثَد) ایي خؼوتدَ اص‬
‫خضئی ثِ کلی اًدبم هی ؿَد‪ .‬یکی اص هضیت ّبی خؼتدَی کلی ثِ خضئی دس ایي اػت کِ کلی تشیي فشهیِ هٌحلش ثِ فشد اػت‪ ،‬اهب خضئی تشیي‬
‫فشهیِ ّب دس اکثش فوب ّبی فشهیِ ای هٌحلش ثِ فشد ًیؼتٌذ (ثِ تؼذاد ًوًَِ ّب خبكتشیي فشهیِ ٍخَد داسد)‪ .‬ثب ٍخَد تؼذاد صیبدی خوبف توشیي‬
‫فشهیِ هؼلَم ًیؼت کِ خؼتدَ سا ثبیذ اص کذام فشهیِ ؿشٍع کشد‪ .‬یکی اص ثشًبهِ ّبیی کِ اص خؼتدَی خضئی ثِ کلی اػتفبدُ هی کٌذ‪Golem ،‬‬

‫‪1‬‬
‫‪simultaneous covering‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪ (Muggleton and Feng 1990‬اػت کِ ایي هـکل سا ثب اًتخبة چٌذیي ًوًَِ ثِ ًَس تلبدفی ٍ ؿشٍع ثب آًْب حل هوی کٌوذ‪ .‬ػوسغ‬
‫ثْتشیي فشهیِ دس هیبى ایي فشهیِ ّبی تلبدفی اًتخبة هی ؿَد‪.‬‬

‫خٌجِ ػَم تفبٍت دس ایي اػت کِ ‪ Learn-one-rule‬خؼتدَیی آصهَى ٍخٌبیی‪ 1‬دس فشهیِ ّبی ثب قبئوذُ داسد یوب ثوِ ػجوبست دیگوش کٌتوش‬
‫ًوًَِ ای‪ 2‬اػت ٍ تک ًوًَِ ّبی آهَصؿی تؼوین آًشا کٌتش هی کٌٌذ‪ .‬الگوَسیتن ّوبی خؼوتدَی هتوذاٍ کٌتوش ًوًَوِ ای ؿوبهل ‪،Find-S‬‬
‫‪( Candidate-Elimination‬دس فلل ‪ ٍ ،AQ ،)2‬الگَسیتن ‪ Cigol‬کِ پیـتش دس ّویي فلول ثشسػوی ؿوذ ّؼوتٌذ‪ .‬دس ّوش یوک اص ایوي‬
‫الگَسیتن ّب تَلیذ یب ترییش فشهیِ ثب ثشسػی یک تک ًوًَِ ی آهَصؿی اًدبم هی ؿَد‪ ٍ ،‬اًتظبس هی سٍد کِ فشهیِ ی حبكل کبسایی ثْتشی ثوشای‬
‫آى تک ًوًَِ داؿتِ ثبؿذ‪ .‬ایي ًَع الگَسیتن ّب ثب الگَسیتن ‪ Learn-one-rule‬آصهَى ٍ خٌبیی کِ دس خذٍ ‪ 1..2‬آهذ هتفوبٍت اًوذ‪ ،‬دس ایوي‬
‫الگَسیتن فشهیِ ّبی هَفق فقي ثش اػبع صثبى‪ 3‬ثیبى فشهیِ ّب ثَخَد هی آیٌوذ ٍ فقوي صهوبًی ثوِ دادُ ّوبی آهَصؿوی سخوَع هوی ؿوَد کوِ‬
‫هی خَاّین ثب اػتفبدُ اص کبسایی ثش سٍی کل ًوًَِ ّبی آهَصؿی‪ ،‬ثیي ایي فشهیِ ّبی هوکي فشهیِ ای سا اًتخبة کٌوین‪ .‬یکوی اص هضیوت ّوبی‬
‫هْن سٍؽ آصهَى ٍ خٌب ایي اػت کِ ّش اًتخبة دس خؼتدَ ثش اػبع کبسایی اػت کِ ثش پبیِ ی تؼذاد صیبدی ًوًَِ تؼشیف هی ؿَد‪ ،‬ثٌبثشایي اثش‬
‫دادُ ّبی خٌب داس هیٌیون هی ؿَد‪ ،‬اهب دس هقبثل دس الگَسیتن ّبی کٌتش ًوًَِ ای کِ فشهیِ ّب ثوش اػوبع توک ًوًَوِ ّوبی آهَصؿوی ترییوش‬
‫هی کٌٌذ خٌش اؿتجبُ ثش اػبع یک ًوًَِ ی خٌبی آهَصؿی ثؼیبس صیبد اػت ٍ الگَسیتن دس هقبثل دادُ ّبی خٌب داس کبه آػیت پزیش اػت‪.‬‬

‫تفبٍت چْبسم دٍ سٍؽ ایي اػت کِ آیب ٍ چگًَِ فشهیِ ّب ّشع هی ؿًَذ؟ ّوبًٌَس کِ هی داًیذ دس یبدییشی دسختی‪ ،‬احتووب ایوي ٍخوَد داسد‬
‫کِ دػتِ قَاًیٌی پیذا کٌین کِ ثب ًوًَِ ّبی آهَصؿی خیلی خَة ػبصیبس ثبؿذ اهب سٍی کل ًوًَِ ّب هؼیف ػول کٌذ‪ .‬یکی اص سٍؿْبی ثش ًوشف‬
‫کشدى ایي هـکل ّشع ّش قبًَى ثؼذ اص یبدییشی اص ًوًَِ ّبی آهَصؿی اػت‪ .‬دس کل‪ ،‬ؿشٍى قَاًیٌی کِ حوزف ؿوبى ثبػوث افوضایؾ کوبسایی‬
‫قَاًیي ثش سٍی یک دػتِ ی ّشع‪ ،‬کِ هدضا اص دادُ ّبی آهَصؿی اػت‪ ،‬هی ؿَد ثبیذ ّشع ؿًَذ‪ .‬ثحث کبهل سٍی ایي هَهوَع سا دس قؼووت‬
‫‪ 3.7.1.2‬اًدبم دادین‪.‬‬

‫خٌجِ آخش تفبٍت ثیي ایي دٍ سٍؽ‪ً ،‬حَُ ی تؼشیف سٍا ‪ Performance‬کِ ثشای کٌتش خؼتدَ دس ‪ Learn-one-rule‬اػتفبدُ هی ؿَد‬
‫اػت‪ .‬تَاثغ اسصیبثی هختلفی سا هی تَاى هَسد اػتفبدُ قشاس داد‪ .‬چٌذیي ًوًَِ اص هتذاٍ تشیي تَاثغ اسصیبثی دس صیش آٍسدُ ؿذُ اًذ‪:‬‬

‫تؼذاد ًوًَِ ّبیی ثبؿوذ کوِ قوبًَى دسػوت دػوتِ ثٌوذی‬ ‫تکشاس ًؼجی‪ .4‬ایش ‪ n‬تؼذاد ًوًَِ ّبیی ثبؿذ کِ ثب قبًَى تٌبثق داسًذ ٍ‬ ‫‪‬‬
‫هی کٌذ‪ ،‬اسصیبثی تکشاس ًؼجی قبًَى کؼش صیش خَاّذ ثَد‪:‬‬

‫تکشاس ًؼجی دس اسصیبثی قَاًیي دس ‪ AQ‬هَسد اػتفبدُ قشاس یشفتِ اػت‪.‬‬

‫تخویي ‪ m‬دقت‪ .5‬ایي تخویي دقت ثِ ػوت دقتی پیـفشم ثشای قَاًیي ثبیبع ؿذُ اػت‪ .‬اص ایي سٍؽ صهبًی کِ تؼذاد دادُ ّب کون‬ ‫‪‬‬
‫ثوِ تشتیوت تؼوذاد‬ ‫اػت ٍ دقت قَاًیي ثبیذ ثش اػبع هدوَػِ ی ًوًَِ ّبی کَچکی تخویي صدُ ؿَد اػتفبدُ هی ؿَد‪ .‬ایش ‪ٍ n‬‬

‫‪1‬‬
‫‪generate then test‬‬
‫‪2‬‬
‫‪example driven‬‬
‫‪3‬‬
‫‪syntax‬‬
‫‪4‬‬
‫‪relative frequency‬‬
‫‪5‬‬
‫‪m-estimate of accuracy‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ًوًَِ ّبی ػبصیبس ٍ دسػت دػتِ ثٌذی ؿذُ ثش اػبع قبًَى هَسد ًظش ثبؿٌذ ٍ ‪ً p‬یض احتوب اٍلیِ ی ًوًَِ ی تلبدفی ثبؿوذ ٍ ایوش‬
‫‪ m‬یک ٍصى ثبؿذ‪ ،‬خَاّین داؿت کِ دقت تخویي ‪ ،m‬هیبًگیي ٍصى داس تکشاس ًؼجی ٍ احتوب اٍلیِ خَاّذ ثَد‪.‬‬

‫تَخِ داسیذ کِ ایش ‪ m‬كفش ثبؿذ ایي کؼش ّوبى تکشاس ًؼجی خَاّذ ثَد‪ .‬ثب افضایؾ هقذاس ‪ m‬تؼذاد ًوًَِ ّبیی کِ ثشای ترییش احتوب اٍلیِ ی ‪p‬‬
‫الصم اػت افضایؾ خَاّذ یبفت‪ .‬هؼیبس ‪ m‬هیبًگیي تَػي )‪ (Cestnik and Bratko 1991‬پیـٌْبد ؿذ ٍ دس ًؼخِ ّبی هختلف ‪ً CN2‬یض‬
‫ثِ کبس هی سٍد‪ّ .‬وچٌیي ایي تخویي دس دػتِ ثٌذی کٌٌذُ ػبدُ ی ثیض ثِ کبس هی سٍد‪.‬‬

‫آًتشٍپی‪ .1‬ایي هؼیبس دس تؼشیف ‪ Performance‬دس الگَسیتن خذٍ ‪ 1..2‬اػتفبدُ ؿذُ اػت‪ .‬ایش ‪ S‬هدوَػِ ای اص ًوًَِ ّب ثبؿذ کِ‬ ‫‪‬‬
‫ثب ؿشٍى قبًَى تٌبثق داسد‪ ،‬آًتشٍپی یکذػتی تبثغ ّذف سا دس ایي هدوَػِ اص ًوًَِ ّب اًذاصُ ییشی هوی کٌوذ‪ .‬هوب اص هٌفوی آًتشٍپوی‬
‫اػتفبدُ هی کٌین تب قَاًیي ثْتش اهتیبص ثیـتشی داؿتِ ثبؿٌذ‪.‬‬

‫) (‬ ‫∑‬

‫ًیض ًؼجتی اص ‪ S‬اػت کِ ٍیظیی ّذف ‪ i‬اهیي هقذاسؽ سا هی ییشد‪ .‬تشکیجوی‬ ‫دس ایي ساثٌِ ‪ c‬تؼذاد هقبدیش هوکي تبثغ ّذف اػت ٍ‬
‫اص آًتشٍپی ٍ یک تؼت آهبسی دس الگوَسیتن ‪ CN2‬هوَسد اػوتفبدُ قوشاس یشفتوِ اػوت )‪ّ .(Clark and Niblett 1989‬وچٌویي‬
‫آًتشٍپی ّؼتِ ی تبثغ ثْشُ ی اً ػبت دس ثؼیبسی اص الگَسیتن ّبی یبدییشی دسختی اػت‪.‬‬

‫‪ 1.01‬یادگیری قًاویه درجه ايل‬

‫دس قؼوت قجل‪ ،‬الگَسیتن ّبیی کِ دػتِ قَاًیي یضاسُ ای سا یبد هی یشفتٌذ (دػتِ قَاًیٌی کِ ّیچ هتریشی ًذاؿتٌذ) سا هَسد ثحث قشاس دادیون‪ .‬دس‬
‫ایي ثخؾ‪ ،‬ثِ یبدییشی قَاًیٌی کِ هتریش داسًذ خَاّین پشداخت ٍ یبدییشی ‪ّ horn clause‬بی دسخِ اٍ سا دس حبلت کلی ثشسػی هی کٌوین‪.‬‬
‫یکی اص اًگیضُ ّبی تَخِ ثِ چٌیي قَاًیٌی قذست ثیبى آًْب ًؼجت ثِ قَاًیي یضاسُ ای اػت‪ .‬یبدییشی اػتقشایی قَاًیي یب تئَسی ّوبی دسخوِ اٍ‬
‫یبّی ثشًبهِ ًَیؼی اػتقشایی هٌٌقی‪ً (ILP) 2‬بهیذُ هی ؿَد صیشا کِ هی تَاى ثِ ایي فشایٌذ ثِ دیذ سٍؽ ایدبد خَدکبس ثشًبهِ ّبی ‪ Prolog‬اص‬
‫ًوًَِ ّب ًگبُ کشد‪ّ Prolog .‬ذفی کلی اػت‪ ،‬صثبى ثشًبهِ ًَیؼی هؼبد تَسیٌگ کِ دس آى ثشًبهِ ّب ثب دػوتِ ‪ّ horn clause‬وب هـوخق‬
‫هی ؿًَذ‪.‬‬

‫‪ horn clause 1.0.01‬های درجه ايل‬

‫ثووشای هـووبّذُ ی هضیووت ّووبی اػووتفبدُ اص ًوووبیؾ دسخووِ اٍ ثووِ خووبی ًوووبیؾ یووضاسُ ای (ثووذٍى هتریووش)‪ ،‬کووبس یووبدییشی هفْووَم ػووبدُ ی‬
‫)‪ Daughter(x,y‬سا کِ ثش سٍی صٍج افشاد ‪ y ٍ x‬تؼشیف هی ؿَد سا دس ًظش ثگیشیذ‪ .‬صهبًی کوِ ‪ x‬دختوش ‪ y‬اػوت هقوذاس )‪Daughter(x,y‬‬
‫دسػت اػت ٍ دس غیش ایي كَست هقذاس آى غلت اػت‪ .‬فشم کٌیذ کِ ثشای ّش فشد دس دادُ ّبی هَخوَد ثوب ٍیظیوی ّوبی ‪،Father ،Name‬‬

‫‪1‬‬
‫‪entropy‬‬
‫‪2‬‬
‫‪inductive logic programming‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ Female ٍ Male ،Mother‬تَكیف هی ؿَد‪ .‬ثٌبثشایي‪ّ ،‬ش ًوًَِ ی آهَصؿی تَكیفی اص دٍ فشد ثب ٍیظیی ّبیـبى ٍ هقذاس ٍیظیوی ّوذف‬
‫‪ Daughter‬خَاّذ ثَد‪ .‬ثشای هثب ‪ ،‬دس صیش یک ًوًَِ ی هثجت آٍسدُ ؿذُ اػت‪:‬‬

‫دس ایي ًوًَِ صیش ًَیغ ّش ٍیظیی هـخق هی کٌذ کِ ٍیظیی کذام یک اص دٍ فشد تَكیف هی ؿَد‪ .‬حب ایش تؼذادی ًوًَِ ی آهَصؿوی ثوشای‬
‫خوغ کٌین ٍ آًْب سا ثِ یک یبدییش یضاسُ ای هثل ‪ CN2‬یب ‪ C4.5‬ثذّین قبًَى ّبی خشٍخی هثول قوبًَى صیوش‬ ‫هفَْم ّذف‬
‫خَاٌّذ ثَد‪:‬‬

‫(‬ ‫(⋀)‬ ‫(⋀)‬ ‫)‬

‫ثب ٍخَد ایٌکِ ایي قبًَى دسػت اػت اهب ثؼیبس خبف اػت‪ ،‬حتی ایش دس دػتِ ثٌذی ًوًَِ ّبی خذیذ ثِ کبس سٍد کبسثشدؽ ثؼیبس کن خَاّذ ثوَد‪.‬‬
‫هـکل ایٌدبػت کِ ًوبیؾ یضاسُ ای ّیچ ساُ کلی ای ثشای تَكیف سٍاثي ثیي هقبدیش ٍیظیی ّب ًذاسد‪ .‬دس هقبثل‪ ،‬ثشًبهِ ای کِ اص قوَاًیي دسخوِ‬
‫اٍ اػتفبدُ هی کٌذ هی تَاًذ قبًَى کلی صیش سا یبد ثگیشد‪:‬‬

‫(‬ ‫⋀)‬ ‫) (‬ ‫(‬ ‫)‬

‫دس ایي ساثٌِ ‪ y ٍ x‬هتریش ّبیی ّؼتٌذ کِ ّش فشدی هی تَاًٌذ ثبؿٌذ‪.‬‬

‫‪ّ Horn clause‬بی دسخِ اٍ ّوچٌیي هی تَاًٌذ هتریش ّبیی دس ؿشٍى داؿتِ ثبؿٌذ کِ دس ًوبیؾ یضاسُ ای هوکي ًیؼت‪ .‬ثشای هثب ‪ ،‬یوک‬
‫قبًَى ثشای ‪ GrandDaughter‬هی تَاًذ قبًَى صیش ثبؿذ‪:‬‬

‫(‬ ‫⋀)‬ ‫(‬ ‫)‬ ‫) (‬

‫(‬ ‫)‬

‫تَخِ داؿتِ ثبؿیذ کِ هتریش ‪ z‬دس ایي ساثٌِ پذس ‪ y‬اػت کِ دس حکن قبًَى ًیآهذُ اػت‪ .‬صهبًی کِ یک هتریش فقوي دس ؿوشى یوک قوبًَى ظوبّش‬
‫هی ؿَد ثذیي هؼٌبػت کِ قبًَى ثِ ٍخَد آى ٍاثؼتِ اػت؛ ثِ ػجبست دیگش‪ ،‬حکن قبًَى تب صهبًی دسػت اػت کِ حذاقل یک ًوًَِ ٍخَد داؿوتِ‬
‫ثبؿذ کِ دس ؿشى قبًَى دسهکبى ‪ z‬كذ کٌذ‪.‬‬

‫ّوچٌیي دس ایي ًَع ًوبیؾ اػتفبدُ اص خَد حکن ٍ ایدبد قَاًیي ثبصیـتی هوکي هی ثبؿذ‪ .‬ثشای هثب ‪ ،‬دٍ قبًًَی کِ دس اثتذای ّویي فلل آٍسدُ‬
‫ؿذُ اًذ ثب ّن ٍیظیی )‪ Ancestor(x,y‬سا ثیبى هی کشدًذ‪ .‬هتذ ّبی یبدییشی ‪ ILP‬هثل هتذ ّبیی کِ دس صیش تَهیح خَاّین داد اثجبت ؿذُ کِ‬
‫هی تَاًٌذ پٌْبی یؼتشدُ ای اص تَاثغ ثبصیـتی ػبدُ (هثل تبثغ ‪ ٍ Ancestor‬تَاثؼی کِ ثشای تشتیت کشدى ػٌبكش یک لیؼت ‪ ،‬پبک کشدى یک‬
‫ػوَ خبف یب تشکیت کشدى دٍ لیؼت ثِ کبس هی سًٍذ) سا یبد ثگیشًذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.0.0.‬ياشگان‬
‫قجل اص ؿشٍع ثحث دس هَسد الگَسیتن ّبی یبدییشی دػتِ قَاًیي ‪ ،horn clause‬ثیبییذ اثتذا ثؼوی ٍاطیوبى اػبػوی هٌٌوق سا هؼشفوی کٌوین‪.‬‬
‫توبهی اكٌ حبت‪ ،1‬تشکیجی اص ثبثوت ّوب‪( 2‬هوث ‪ ،)Louise ٍ Bob‬هتریوش ّوب‪( 3‬هثول ‪ً ، )y ٍ x‬ووبد ّوبی یوضاسُ ای‪( 4‬هثول ‪ٍ Married‬‬
‫‪ً ٍ )Greater_Than‬وبد ّبی تَاثغ‪( 5‬هثل ‪ّ )age‬ؼتٌذ‪ .‬تفبٍت یضاسُ ّب ٍ تَاثغ ایي اػت کِ یضاسُ ّب یکی اص دٍ هقذاس ‪ False ٍ True‬سا‬
‫هی ییشًذ اهب تَاثغ هی تَاًٌذ ّش ثبثتی سا ثِ ػٌَاى هقذاس داؿتِ ثبؿٌذ‪ .‬ثبثت ّب سا ثب حشٍف ثضسگ ٍ هتریش ّب سا ثب حشٍف کَچوک ًـوبى خوَاّین‬
‫داد‪ّ .‬وچٌیي تَاثغ سا ثب حشٍف کَچک ٍ یضاسُ ّب سا ثب حشٍف ثضسگ ًـبى خَاّین داد‪.‬‬

‫ثب ایي ًـبًِ یزاسی هی تَاى اكٌ ح ثِ فشم ریل ػبخت‪ :‬یک خولِ‪ 6‬هؼبٍی یک ثبثت‪ ،‬یب هتریش یب ّش تبثؼی اص یک خولِ ثبؿذ (هثول ‪،x ،Bob‬‬
‫)‪ .)age(Bob‬یک ػجبست‪ 7‬یک یضاسُ یب ًقین آى اػت (هثل )‪ Married(Bob,Louise‬یوب )‪.)¬Greater_Than(age(Sue),20‬‬
‫ایش یک ػجبست ػ هت ًقین (¬) داؿتِ ثبؿذ ثِ آى ػجبست هٌفی هی یَیین‪ ،‬دس غیش ایي كَست ثِ آى ػجبست هثجت هی یَیین‪.‬‬

‫یک ثٌذ‪ 8‬فللی اص ػجبسات اػت کِ دس آى فشم هی ؿَد توبهی هتریش ّب هؼلَم فشم هوی ؿوًَذ‪ .‬یوک ‪ horn clause‬ؿوبهل حوذاکثش یوک‬
‫ػجبست هثجت اػت‪،‬‬

‫) ⋀ (‬ ‫(ٍ‬ ‫)‬ ‫ػجووبساتی هٌفوی ّؼوتٌذ‪ .‬چوَى داسیوون ) ← (‬ ‫دس ایوي ساثٌوِ ‪ H‬ػجوبست هثجوت ٍ‬
‫(‪ ،‬پغ ‪ horn clause‬ثبال سا هی تَاى ثِ كَست هـبثِ ثِ ؿکل صیش ًـبى داد‪.‬‬ ‫)‬

‫⋀ (←‬ ‫⋀‬ ‫)‬

‫کِ دس ًوبدیزاسی قجلی هؼبد ثب ػجبست صیش اػت‪.‬‬

‫⋀‬ ‫⋀‬

‫ثذًِ ی قبًَى‪ 9‬یب هقذم‪ً 1.‬بهیذُ هی ؿوًَذ‪ .‬ػجوبست ‪ H‬حکون سا‬ ‫⋀‬ ‫⋀‬ ‫ثذٍى تَخِ ثِ ًحَُ ی ًوبیؾ ‪ horn clause‬ؿشٍى قبًَى‬
‫تـکیل هی دّذ کِ ػش قبًَى‪ 11‬یب ًتیدِ‪ً 1‬بهیذُ هی ؿَد‪ .‬ثشای ساحتی کبس‪ ،‬ایي تؼبسیف دس خذٍ ‪ 1..3‬یشد آٍسی ؿذُ اهب ثبص دس هَقغ هَاخِْ ثب‬
‫ثب تؼبسیف دیگش آًْب سا ثیبى هی کٌین‪.‬‬

‫‪1‬‬
‫‪Expression‬‬
‫‪2‬‬
‫‪constant‬‬
‫‪3‬‬
‫‪variable‬‬
‫‪4‬‬
‫‪predicate symbol‬‬
‫‪5‬‬
‫‪Function symbols‬‬
‫‪6‬‬
‫‪term‬‬
‫‪7‬‬
‫‪literal‬‬
‫‪8‬‬
‫‪clause‬‬
‫‪9‬‬
‫‪clause body‬‬
‫‪10‬‬
‫‪antecedents‬‬
‫‪11‬‬
‫‪clause head‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ّش ػجبست خَؽ فشم‪ 2‬اص ثبثتْب (هثل ‪ ،)Mary, 23 ,Joe‬هتریشّب (هثل ‪ ،)x‬یضاسُ ّب (هثول‪ Female ،‬دس )‪ٍ )Female(Mary‬‬
‫تَاثغ (هثل ‪ age‬دس )‪ )age(Mary‬تـکیل ؿذُ اػت‪( .‬یضاسُ=‪)predicate‬‬
‫خولِ‪ّ 3‬ش ثبثت‪ ،‬هتریش یب تبثؼی اػت کِ ثش سٍی خولِ ای دیگش اػوب ؿذُ اػت‪( .‬هثل )‪.)Mary, age(Mary), x, age(x‬‬
‫ػجبست‪ّ 4‬ش یضاسُ یوب ػکوغ یوضاسُ ای کوِ ثوِ هدوَػوِ ای اص خولوِ ّوب اػووب هوی ؿوَد اػوت‪( .‬هثول‪Female(Mary), ،‬‬
‫)‪)¬Female(x), Greater_than(age(Mary,20‬‬
‫ػجبست ؟ )‪--- (ground literal‬‬
‫ػجبست هٌفی )‪ (negative literal‬ػجبستی اػت کِ پیـًَذ هٌفی داسد (هثل‪.)¬Female(Joe) ،‬‬
‫ػجبست هثجت )‪ (positive literal‬ػجبستی اػت کِ ػ هت هٌفی ًذاؿتِ ثبؿذ (هثل‪.)Female(Mary) ،‬‬
‫اػت کِ هتریش ّبی آى دس کل یضاسُ ّبیی ّؼتٌذ‪.‬‬ ‫‪ (clause) ---‬فللی اص ػجبسات ثِ فشم‬
‫)‪ّ (horn clause‬ب ثِ فشم صیش ثیبى هی ؿًَذ‬
‫⋀ (←‬ ‫⋀‬ ‫)‬

‫ّوگی ػجبسات هثجتی ّؼتٌذ‪ H .‬ػش ‪ horn clause‬یب حکون )‪ً (consequent‬بهیوذُ هوی ؿوَد‪ .‬ػٌوف‬ ‫دس ایي ساثٌِ‬
‫ًیض ثذًِ یب ؿشى ‪ً horn clause‬بهیذُ هی ؿَد‪.‬‬ ‫⋀‬ ‫⋀‬ ‫ػجبسات‬

‫ثشای توبهی ػجوبسات ‪ B ٍ A‬ػجوبست )‪ (A←B‬هؼوبد )‪ (A⋀¬B‬اػوت ٍ )‪ً ¬(A⋀B‬یوض هؼوبد )‪ .(¬A ¬B‬ثٌوبثشایي‪horn ،‬‬
‫‪ّ clause‬ب سا هی تَاى ثِ فشم هؼبد فللی ًَؿت‬

‫یک خبًـیٌی )‪ (substitution‬تبثؼی اػت کِ هتریش ّب سا ثب خو تی خبیگضیي هی کٌذ‪ .‬ثشای هثب ‪ ،‬خبًـیٌی }‪ {x/3,y/z‬هتریوش‬
‫‪ x‬سا ثب خولِ ی ‪ ٍ 3‬هتریش ‪ y‬سا ثب خولِ ی ‪ z‬خبیگضیي هی کٌذ‪.‬‬

‫ثشای ػجبست ‪ ٍ L‬خبیگضیٌی ‪ θ‬اص ‪ θ‬ثشای حبكل اػوب ‪ θ‬ثِ ‪ L‬اػتفبدُ هی کٌین‪.‬‬
‫‪. θ‬‬ ‫خبًـیٌی ‪ θ‬اػت کِ داؿتِ ثبؿین ‪θ‬‬ ‫ٍ‬ ‫خبًـیٌی یکتب کٌٌذُ ‪5‬ی دٍ ػجبست‬
‫خذٍ ‪ 1..3‬تؼبسیف اٍلیِ ی هٌٌق دسخِ اٍ )‪.(first order logic‬‬

‫‪1‬‬
‫‪consequent‬‬
‫‪2‬‬
‫‪well-formed‬‬
‫‪3‬‬
‫‪term‬‬
‫‪4‬‬
‫‪literal‬‬
‫‪5‬‬
‫‪unifying substitution‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.01‬یادگیری دسته قًاویه درجه ايل‪FOIL :‬‬

‫الگَسیتن ّبی هختلفی ثشای یبدییشی دػتِ قَاًیي دسخِ اٍ یب ّوبى ‪ّ horn clause‬ب اسائِ ؿذُ اػوت‪ .‬دس ایوي ثخوؾ ثشًبهوِ ای ثوِ ًوبم‬
‫‪ (Quinlar 1990) FOIL‬کِ سٍؿی ثؼیبس هـبثِ الگَسیتن ّبی تشتیجی ٍ الگَسیتن ّبی ‪ Learn-one-rule‬قؼوت قجل اػوت سا تَهویح‬
‫هی دّین‪ .‬دس ٍاقغ ثشًبهِ ی ‪ FOIL‬تؼوین ًجیؼی الگَسیتن ّبی قجلی ثِ ًوبیؾ قَاًیي دسخِ اٍ اػت‪ .‬سػوب‪ ،‬فشهویِ ّوبی یبدیشفتوِ ؿوذُ ی‬
‫‪ FOIL‬دػتِ قَاًیي دسخِ اٍلی ّؼتٌذ کِ ّش قبًَى یک ‪ horn clause‬اػت‪ .‬فقي دٍ تفبٍت ٍخَد داسد‪ .‬اٍ ایٌکِ قَاًیي یبدیشفتوِ ؿوذُ ی‬
‫‪ FOIL‬هحذٍد کٌٌذُ تش اص قَاًیي کلی ‪ّ horn clause‬ؼتٌذ‪ ،‬صیشا کِ ػجبسات آًْب ًوی تَاًٌذ ؿبهل تَاثغ ًوبدی ثبؿٌذ (ایي ثبػث هی ؿَد تب‬
‫پیچیذیی خؼتدَ فوبی فشهیِ ای کوتش ؿَد)‪ .‬دٍم ایٌکوِ قوَاًیي ‪ FOIL‬اص قوَاًیي ‪ horn clause‬ؿوبهل تشًوذ‪ 1‬صیوشا کوِ قوَاًیي ‪FOIL‬‬
‫هی تَاًٌذ دس ثذًِ قبًَى ػجبست هٌفی ًیض داؿتِ ثبؿٌذ‪ .‬اص ‪ FOIL‬ثشای هؼبئل صهیٌِ ّبی هختلف اػتفبدُ ؿوذُ اػوت‪ .‬ثوشای هثوب ‪ ،‬اص آى ثوشای‬
‫یبدییشی حبلت ثبصیـتی الگَسیتن ‪ ٍ Quicksort‬یبدییشی توییض دادى چیٌؾ ّبی قبًًَی ٍ غیش قبًًَی كفحِ ی ؿٌشًح اػتفبدُ ؿذُ اػت‪.‬‬

‫الگَسیتن ‪ FOIL‬دس خذٍ ‪ 1..4‬ثِ ًَس خ كِ ثیبى ؿذُ اػت‪ .‬تَخِ داسیذ کِ حلقِ ی خبسخی هـبثِ ًؼخِ ای اص الگَسیتن ّبی تشتیجی ای کِ‬
‫قج دسثبسُ ی آى ثحث کشدین اػت؛ ایي حلقِ دس ّش اخشا یک قبًَى خذیذ یبد هی ییشد ٍ ًوًَِ ّبی هثجتی سا کِ تَػي قبًَى پَؿبًذُ هی ؿًَذ‬
‫حزف خَاّذ کشد‪ .‬حلقِ ی داخلی هتٌبػت ثب ًؼخِ ای اص الگَسیتن ‪ Learn-one-rule‬اػت کِ ثشای ًوبیؾ قوَاًیي دسخوِ اٍ تؼووین دادُ‬
‫ؿذُ اػت‪ّ .‬وچٌیي تَخِ داسیذ کِ تفبٍت ّبی ثؼیبس کن ٍ کَچکی هیبى ‪ ٍ FOIL‬الگَسیتن ّبی قجلوی ٍخوَد داسد‪ .‬دس کول‪ FOIL ،‬ثوش خو ف‬
‫الگَسیتن قجلی کِ دًجب قَاًیٌی کِ هقذاس تبثغ ّذف سا دسػت یب غلت دػتِ ثٌذی هی کٌٌذ تٌْب ثذًجب قَاًیٌی هی یشدد کِ هقذاس تبثغ ّوذف سا‬
‫دسػت )‪ (True‬پیـجیٌی هی کٌٌذ‪ّ .‬وچٌیي خؼتدَی ‪ FOIL‬ثیـتش ‪ hillclimbing‬اػت تب خؼتدَی ػتًَی (ثِ ًَس هؼبد ‪ ،‬اص ػوتًَی ثوب‬
‫پٌْبی یک ثشای خؼتدَ اػتفبدُ هی کٌذ)‪.‬‬

‫)‪FOIL(Target_predicate,Predicates,Examples‬‬

‫‪ → Pos‬توبهی ًوًَِ ّبیی کِ ثشایـبى ‪ Target_predicate‬دسػت اػت‪.‬‬

‫‪ → Neg‬توبهی ًوًَِ ّبیی کِ ثشایـبى ‪ Target_predicate‬غلت اػت‪.‬‬
‫‪}{ → Learned_rules‬‬
‫تب صهبًی کِ ‪ Pos‬تْی ًیؼت حلقِ ی صیش سا اداهِ ثذُ‬
‫قبًَى خذیذ ‪ NewRule‬سا یبد ثگیش‬

‫‪ → NewRule‬قبًًَی کِ ‪ Target_predicate‬سا ثذٍى ؿشى پیـجیٌی هی کٌذ‬

‫‪Neg → NewRuleNeg‬‬
‫تب صهبًی کِ ‪ NewRuleNeg‬تْی ًیؼت حلقِ ی صیش سا اساهِ ثذُ‬
‫ػجبستی خذیذ ثشای خبف ػبصی ثِ ‪ NewRule‬اهبفِ کي‬

‫‪ → Candidate_literals‬ػجبسات کبًذیذ ثشای ‪ NewRule‬سا ثب ‪ Predicates‬ایدبد کي‪.‬‬

‫‪1‬‬
‫‪expressive‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫‪)→ Best_literal‬‬

‫‪ Best_literal‬سا ثِ ؿشٍى ‪ NewRule‬اهبفِ کي‪.‬‬

‫‪ → NewRuleNeg‬صیشهدوَػِ ای اص ‪ NewRuleNeg‬کِ ؿشٍى ‪ NewRule‬سا ساهی هی کٌذ‪.‬‬
‫‪Learned_rules+NewRule → Learned_rules‬‬
‫‪{ → Pos‬اػوبیی اص ‪ Pos‬کِ تَػي ‪ NewRule‬پَؿبًذُ هی ؿًَذ{‪. Pos-‬‬
‫‪ Learned_rules‬سا خشٍخی ثذُ‪.‬‬

‫خذٍ ‪ 1..4‬الگَسیتن پبیِ ای ‪.FOIL‬‬

‫هتذ خبكی ثشای ػبخت ‪ ٍ Candidate_literals‬تؼشیف ‪ FOIL_Gain‬ثِ کبسثشدُ هی ؿَد کِ دس هتي آٍسدُ ؿذُ اػت‪ .‬الگَسیتن پبیِ ای سا هی تَاى ثب‬
‫کوی ترییش ثب دادُ ّبی خٌبداس ػبصیبس کشد‪ ،‬دس هتي ثِ آى ترییشات اؿبسُ ؿذُ اػت‪.‬‬
‫خؼتدَی فوبی فشهیِ ای ‪ FOIL‬ثب ثشسػی ػلؼلِ هشاتجی‪ 1‬ثْتش دسک هی ؿَد‪ّ .‬ش تکشاس حلقِ ی ثیشًٍی ‪ FOIL‬یک قوبًَى ثوِ هدوَػوِ ی‬
‫فللی فشهیِ ‪ Learned_rules‬هی افضایذ‪ .‬اثش ّش قبًَى خذیذ دس کلی تش کشدى فشهیِ فللی فؼلی اػت (اًذاصُ ی هدوَػِ ی ًوًَِ ّوبیی‬
‫کِ هثجت دػتِ ثٌذی هی کٌذ سا افضایؾ هی دّذ)‪ .‬ثب ایي ًگبُ‪ ،‬سٍؽ خؼتدَ کلی ثِ خضئی دس هیبى فوبی فشهیِ ای ٍ ثب ؿشٍع اص خبف توشیي‬
‫فشهیِ فللی ٍ خشٍج اص الگَسیتن دس صهبًی کِ توبم ًوًَِ ّب سا پَؿبًذ خَاّذ ثَد‪ .‬حلقِ ی داخلی خؼتدَیی ثْتش‪ 2‬ثشای تؼییي دقیق تؼشیف ّش‬
‫قبًَى خذیذ اًدبم هی دّذ‪ .‬ایي حلقِ ی داخلی فوبی فشهیِ ای دٍهی کِ فلل ػجبست ّبػت سا ثشای پیذا کشدى فللی کِ فشم ّبی قوبًَى‬
‫سا تـکیل دّذ خؼتدَ هی کٌذ‪ .‬ثب ایي فوبی فشهیِ ای‪ ،‬ایي حلقِ اص سٍؿی کلی ثِ خضئی‪ ٍ hillclimbing ،‬ثب ؿشٍع اص کلی تشیي فشهیِ ی‬
‫هوکي (ثذٍى ّیچ ؿشًی) ٍ افضایؾ ػجبسات ثِ آى ثشای خبف تش کشدى قبًَى ثشای پشّیض اص پَؿبًذى ًوًَِ ّبی هٌفی ػول هی کٌذ‪.‬‬

‫دٍ تفبٍت اػبػی هیبى ‪ ٍ FOIL‬الگَسیتوْبی تشتیجی ٍ ‪ Learn-one-rule‬کِ قج ثشسػی کشدین ٍخَد داسد‪ .‬ایوي تفوبٍت ّوب کوِ ًبؿوی اص‬
‫قَاًیي دسخِ اٍلٌذ ثِ ؿشح صیشًذ‪:‬‬

‫دس خؼتدَی کلی ثِ خضئی ثشای یبدییشی قَاًیي خذیذ‪ FOIL ،‬اص هشاحلی دیگوش ثوشای ایدوبد خوبف ػوبصی ّوبی هوکوي اػوتفبدُ‬
‫هی کٌذ‪.‬ایي تفبٍت ًبؿی اص آى اػت کِ ؿشٍى قبًَى هی تَاًٌذ هتریش ًیض داؿتِ ثبؿٌذ‪.‬‬
‫‪ FOIL‬اص هؼیبس کبسایی ای ثِ ًبم ‪ Foil_Gain‬اػتفبدُ هی کٌذ دس حبلی کِ ‪ Learn-one-rule‬کِ دس خذٍ ‪ً 1..2‬یض آهذُ ثَد اص‬
‫هؼیبس آًتشٍپی اػتفبدُ هی کشد‪ .‬ایي تفبٍت ًبؿی اص آى اػت کِ ‪ FOIL‬فقي ثِ دًجب قَاًیٌی هی یشدد کِ ًوًَوِ ّوب سا هثجوت دػوتِ‬
‫ثٌذی کٌٌذ‪.‬‬
‫دٍ قؼوت ثؼذی ایي تفبٍت ّب سا ثِ ًَس دقیقتش ثشسػی هی کٌٌذ‪.‬‬

‫‪ 1.0.01‬ایجاد خاص سازی های ممکه ‪FOIL‬‬

‫ثشای ایدبد خبف ػبصی ای اص قبًَى فؼلی‪ FOIL ،‬هدوَػِ ای اص ػجبسات خذیذ سا ایدبد هی کٌذ‪ّ ،‬ش یک اص ایي ػجبسات هوکي اػت ثِ تٌْوبیی‬
‫ثِ ؿشٍى قبًَى اهبفِ ؿًَذ‪ .‬ثِ ػجبست دقیقتش‪ ،‬فشم کٌیذ کِ قبًَى فؼلی ثِ فشم صیش ثبؿذ‪،‬‬

‫‪1‬‬
‫‪hierarchically‬‬
‫‪2‬‬
‫‪finer-grained‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫←)‬

‫( ًیض ػجبست ػوش قوبًَى یوب حکون‪ 1‬اػوت‪FOIL .‬‬ ‫ػجبسات تـکیل دٌّذُ ی ؿشى قبًَى فؼلی ٍ )‬ ‫دس ایي ساثٌِ‬
‫کِ ثِ یکی اص فشهْبی صیش اػت‪:‬‬ ‫خبف ػبصی ّبی هوکي ایي قبًَى سا ثب دس ًظش یشفتي ػجبستی خذیذ هثل‬

‫ّب ًیض هتریش ّبی خذیوذ یوب هَخوَد دس قوبًَى ّؼوتٌذ‪.‬‬ ‫( ‪ ،‬کِ دس آى ‪ Q‬یضاسُ ی دلخَاّی اص ‪ٍ Predicates‬‬ ‫)‬
‫ّب دس ایدبد ػجبست ثبیذ دس قبًَى هَخَد ثبؿذ‪.‬‬ ‫حذاقل یکی اص‬
‫هتریش ّبی هَخَد دس قبًَى ّؼتٌذ‪.‬‬ ‫ٍ‬ ‫‪ ،‬کِ دس آى‬ ‫(‬ ‫)‬
‫قشیٌِ ی یکی اص دٍ ػجبست ثبال‪.‬‬
‫ثشای تلوَس‪ ،‬یوبدییشی قوَاًیي سا ثوشای ػجوبست ّوذف )‪ GrandDaughter(x,y‬ثوش اػوبع یوضاسُ ّوبی )‪ٍ Father (predicator‬‬
‫‪ Female‬دس ًظش ثگیشیذ‪ .‬خؼتدَی کلی ثِ خضئی ‪ FOIL‬ثب کلی تشیي قبًَى هوکي ؿشٍع هی ؿَد‪،‬‬

‫(‬ ‫←)‬

‫کِ ثذیي هؼٌبػت کِ )‪ GrandDaughter(x,y‬ثشای ّش ‪ y ٍ x‬هقذاس دسػت داسد‪ .‬ثشای خبف ػبصی ایي قبًَى اٍلیِ‪ ،‬فشایٌذ ثبال ػجبسات صیش‬
‫سا ثِ ػٌَاى خبف تش ػبصی ّوبی هوکوي ؿوشى قوبًَى دس ًظوش هوی ییوشد‪،Father(y,x) ،Female(y) ،Female(x) ،Equal(x,y) :‬‬
‫)‪ .‬تَخِ‬ ‫(‬ ‫)‪ً ٍ Father(z,y) ،Father(z,x) ،Father(y,z) ،Father(x,z) ،Father(x,y‬قین ػجبسات هزکَس (هثل )‬
‫داسیذ کِ ‪ z‬هتریشی خذیذ اػت دس حبلی کِ ‪ y ٍ x‬دس قبًَى فؼلی هَخَد اًذ‪.‬‬

‫حب فشم کٌیذ کِ ثیي ػجبسات هزکَس‪ FOIL ،‬حشیلبًِ ػجبست )‪ Father(y,z‬کِ هب سا ثِ خبف تشیي ػجبست هوکي هی ثشد سا اًتخبة کٌذ‪،‬‬

‫(‬ ‫←)‬ ‫(‬ ‫)‬

‫دس کلی ػبصی ػجبسات هوکي ثشای خبف تش کوشدى ایوي قوبًَى‪ FOIL ،‬تووبهی ػجوبسات رکوش ؿوذُ دس هشحلوِ ی قجول ثوِ اهوبفِ ی ػجوبسات‬
‫)‪ً ٍ Father(w,z) ،Father(z,w) ،Equal(z,x) ،Female(z‬قبیوـبى سا دس ًظش خَاّذ یشفت‪ .‬ایي ػجبسات خذیذ ثخبًش اهبفِ ؿوذى‬
‫هتریش ‪ z‬دس هشحلِ ی قجل ثِ هدوَػِ ی ػجبسات هوکي اهبفِ هی ؿًَذ‪ .‬ثْویي خبًش هتریش خذیذ ‪ً w‬یض دس ًظش یشفتِ خَاّذ ؿذ‪.‬‬

‫ایش ‪ FOIL‬دس ایي هشحلِ ػجبست )‪ ٍ Father(z,x‬دس هشحلِ ی ثؼذی )‪ Female(y‬سا اًتخبة کٌذ ًتیدِ قوبًَى صیوش خَاّوذ ثوَد‪ ،‬کوِ فقوي‬
‫ًوًَِ ّبی هثجت سا هی پَؿبًذ ٍ هتبقجب خؼتدَ سا هتَقف هی کٌذ‪.‬‬

‫(‬ ‫←)‬ ‫(‬ ‫⋀)‬ ‫(‬ ‫⋀)‬ ‫) (‬

‫دس ایي لحظِ‪ FOIL ،‬توبهی ًوًَِ ّبی هثجت پَؿبًذُ ؿذُ تَػي ایي قبًَى سا حزف خَاّذ کشد‪ .‬ایش ًوًَِ ی هثجت ثبقی ثوبًذ‪ ،‬خؼتدَی کلی‬
‫ثِ خضئی ثشای یبفتي قبًًَی دیگش اص ػش یشفتِ خَاّذ ؿذ‪.‬‬

‫‪1‬‬
‫‪postcondition‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.0.0.‬کىترل جستجً در ‪FOIL‬‬

‫ثشای اًتخبة ثْتشیي ػجبست هیبى ػجبسات هوکي تَلیذی دس ّش هشحلِ ‪ FOIL‬اص هؼیبسی اص کبسایی قوبًَى ثوش سٍی دادُ ّوبی آهَصؿوی اػوتفبدُ‬
‫هی کٌذ‪ .‬دس ایي کبس‪ ،‬توبهی تشکیت ّبی هوکي هتریش ّب ی قبًَى فؼلی دس ًظش یشفتِ هی ؿَد‪ .‬ثشای تلَس ایي فشایٌوذ‪ ،‬دٍثوبسُ هثوبلی یوبدییشی‬
‫)‪ GrandDaughter(x,y‬سا دس ًظش ثگیشیذ‪ .‬فشم کٌیذ کِ دادُ ّبی آهَصؿی هدوَػِ ی ػبدُ ی صیش ثبؿذ ٍ اص قوشاسداد‪ P(x,y) 1‬اػوتفبدُ‬
‫هی کٌین (ثخَاًیذ "‪ P‬ی ‪ y ،x‬اػت")‪.‬‬

‫)‪GrandDaughter(Victor,Sharon‬‬ ‫)‪Fahter(Sharon,Bob‬‬ ‫)‪Father(Tom,Bob‬‬

‫)‪Female(Sharon‬‬ ‫)‪Father(Bob,Victor‬‬

‫ثیبییذ دس ایٌدب ثشای ػبدیی کبس فوشم کٌوین کوِ ثوشای تخوویي هتریوش ‪ GrandDaughter‬فقوي اص هتریوش ّوبی ‪،GrandDaughter‬‬
‫‪ Female ٍ Father‬ثش سٍی ثبثتْبی ‪ Tom ٍ Bob ،Sharon ،Victor‬اػتفبدُ هی کٌین‪ ،‬هتریش ّبیی کِ دس ثبال ًیآهذُ اًذ غلوت فوشم‬
‫ؿذُ اًذ (ثذیي هؼٌوب کوِ اًگوبس ػجوبسات )‪ ... ٍ ¬GrandDaughter(Victor,Victor) ،¬GrandDaughter(Tom,Bob‬دس ثوبال‬
‫آهذُ اًذ‪.).‬‬

‫ثشای اًتخبة ثْتشیي خبف کٌٌذُ ی قبًَى فؼلی‪ FOIL ،‬توبهی تشکیت ّبی هوکي ثبثت ّبی دادُ ّبی آهَصؿوی سا دس ًظوش هوی ییوشد‪ .‬ثوشای‬
‫هثب ‪ ،‬دس هشحلِ ی اٍ قبًَى ثِ ؿکل صیش خَاّذ ثَد‪،‬‬

‫(‬ ‫←)‬

‫دس ایي قبًَى هتریشّبی ‪ y ٍ x‬الصم ًیؼت ّیچ ؿشى خبكی داؿتِ ثبؿٌذ ٍ هوکي اػت ّش تشکیت چْوبس ثبثوت ‪ٍ Bob ،Sharon ،Victor‬‬
‫‪ Tom‬ثبؿٌذ‪ .‬دس ایٌدب اص ًوبیؾ }‪ {x/Bob, y/Sharon‬ثشای ًوبیؾ یک تشکیت )‪ (binding‬خبف اػتفبدُ هی کٌین‪ ،‬کِ ثوِ ّوش هتریوش‬
‫یک هقذاس ثبثت ًؼجت هی دّذ‪ .‬چَى ‪ 4‬ثبثت ٍخَد داسًذ ثٌبثشایي ثشای هقذاس اٍلیِ ی قبًَى ‪ 16‬حبلت تشکیت هوکي اػت‪ .‬تشکیت ‪{x/Victor,‬‬
‫}‪ y/Sharon‬یک ًوًَِ ی هثجت اػت صیشا کِ دادُ ّبی آهَصؿی )‪ GrandDaughter(Victor,Shron‬سا ؿبهل هی ؿَد‪ 15 .‬تشکیوت‬
‫دیگش هوکي (هثل }‪ ){x/Bob, y/Tom‬هذاسک هٌفوی )‪ (negative evidence‬دس قوبًَى هثوب فؼلوی ّؼوتٌذ صیوشا کوِ ّویچ ادػوبیی‬
‫)‪ (assertion‬ثشای دسػتی آًْب دس دادُ ّبی آهَصؿی هَخَد ًیؼت‪.‬‬

‫دس ّش هشحلِ قبًَى ثش اػبع ایي هدوَػِ ی تشکیت ّبی‪ 2‬هثجت ٍ هٌفی اسصیبثی هی ؿَد‪ ،‬ثب ایي فشم کِ قَاًیٌی کِ تشکیت ّبی هثجت ثیـتش‬
‫ٍ تشکیت ّبی هٌفی کوتشی سا ثسَؿبًٌذ اسخْیت ثیـتشی داسًذ‪ .‬ثب اهبفِ ؿذى ػجبسات ثیـتش ثِ قبًَى‪ ،‬هدوَػِ ی تشکیت ّب ًیوض ترییوش خَاّوذ‬
‫کشد‪ .‬تَخِ داؿتِ ثبؿیذ کِ ایش ػجبستی کِ هتریش خذیذی سا تؼشیف هی کٌذ ثِ قبًَى اهبفِ ؿَد‪ ،‬تؼذاد تشکیت ّبی قبًَى دس ًَ افضایؾ خَاّذ‬
‫یبفت (ثشای هثب ‪ ،‬ایش )‪ Father(y,z‬ثِ قبًَى ثبال اهبفِ ؿَد‪ ،‬تشکیت اٍلیِ ی }‪ {x/Victor, y/Sharon‬ثِ ‪{x/Victor, y/Sharon,‬‬

‫‪1‬‬
‫‪convention‬‬
‫‪2‬‬
‫‪binding‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪1‬‬
‫}‪ z/Bob‬کِ ًَ ثیـتشی داسد تجذیل خَاّذ ؿذ‪ّ .‬وچٌیي تَخِ داسیذ کِ ایش اهکبى داؿتِ ثبؿذ کِ هتریش خذیذ ثب ثبثت ّبی هختلفوی خفوت‬
‫ؿَد‪ ،‬تؼذاد تشکیت ّبی قبًَى خذیذ ثیـتش اص تؼذاد تشکیجْبی قبًَى قجلی خَاّذ ثَد‪.‬‬

‫تبثغ اسصیبثی ‪ FOIL‬ثشای تخویي کبسایی اهبفِ کشدى ػجبست خذیذ ثش اػبع تشکیت ّبی هثجت ٍ هٌفی پَؿؾ دادُ ؿوذُ قجول ٍ ثؼوذ اص اهوبفِ‬
‫کشدى ػجبست خذیذ ػول هی کٌذ‪ .‬ثِ ػجبست دقیقتش‪ ،‬قبًًَی هثل ‪ ٍ R‬ػجبست هوکي ‪ L‬کِ ثِ ثذًِ ی آى اهبفِ هی ؿَد سا دس ًظش ثگیشیذ‪ ،‬ایش ’‪R‬‬
‫قبًَى خذیذ حبكل اص اهبفِ کشدى ‪ L‬ثِ ‪ R‬ثبؿذ‪ ،‬هقذاس )‪ Foil_Gain(L,R‬کِ ثشای اهبفِ کشدى ‪ L‬ثِ ‪ R‬تؼشیف هی ؿَد ثِ كَست صیش تؼشیف‬
‫هی ؿَد‪،‬‬

‫(‬ ‫)‬ ‫(‬ ‫)‬ ‫(‬ ‫)‬

‫ثِ تشتیت تؼذاد تشکیت ّبی هثجوت ٍ هٌفوی قوبًَى ’‪R‬‬ ‫ٍ‬ ‫ثِ تشتیت تؼذاد تشکیت ّبی هثجت ٍ هٌفی قبًَى ‪ٍ R‬‬ ‫ٍ‬ ‫دس ایي ساثٌِ‬
‫ّؼتٌذ‪ً t .‬یض تؼذاد ًوًَِ ّبی هثجتی اػت کِ تَػي قبًَى ‪ R‬پَؿبًذُ هی ؿذ ٍ ثب اهبفِ کشدى ػجبست ‪ٌَّ L‬ص پَؿبًذُ هی ؿوَد‪ٌّ .‬گوبهی کوِ‬
‫هتریشی خذیذ ثب اهبفِ کشدى ‪ L‬ثِ ‪ R‬اهبفِ هی ؿَد‪ ،‬تشکیت ّبی قجلی پَؿبًذُ ؿذُ‪ ،‬صهبًی پَؿبًذُ ؿذُ دس ثبقی هی هبًٌذ کِ تشکیجی ًظیش آًْب‬
‫دس ’‪ R‬كذ کٌذ‪.‬‬

‫هیٌویون تؼوذاد ثیتْوبی الصم ثوشای کوذ‬ ‫تبثغ ‪ Foil_Gain‬تفؼیشی هؼتقین اص تئَسی اً ػبت اػت‪ .‬ثٌبثِ تئَسی اً ػبت‪،‬‬
‫ًیض تؼذاد ثیوت ّوبی‬ ‫ػبصی دػتِ ثٌذی یک تشکیت دلخَاُ اص تشکیت ّبی پَؿبًذُ ؿذُ تَػي قبًَى ‪ R‬اػت‪ .‬ثِ ًَس هـبثِ‪،‬‬
‫الصم ثشای کذ ػبصی یک تشکیت دلخَاُ اص تشکیت ّبی قبًَى ’‪ R‬اػت‪ .‬اص آًدبیی کِ ‪ t‬تؼذاد تشکیت ّوبی پَؿوبًذُ ؿوذُ ی هـوتشک ‪R’ ٍ R‬‬
‫اػت‪ Foil_Gain(L,R) ،‬سا هی تَاى ثِ ػٌَاى هیضاى کبّؾ تؼذاد ثیتْبی الصم ثشای کذػبصی توبهی دػتِ ثٌذی ّبی هوکي تشکیت ّوبی ‪R‬‬
‫داًؼت‪.‬‬

‫‪.‬‬
‫‪ 1.0.01‬یادگیری دسته قًاویه بازگشتی‬
‫دس ثحث ثبال اص احتوب ایٌکِ ػجبست ّبی اهبفِ ؿذُ ثِ ثذًِ ی قبًَى خَد یضاسُ ی )‪ّ (predicate‬ذف ثبؿٌذ كشف ًظش کشدین‪ ،‬هثل ػجبست‬
‫ػش قبًَى‪ .‬ثب ایي ٍخَد‪ ،‬ایش هتریش ّذف سا ثِ هدوَػِ ی یضاسُ ّب اهبفِ کٌین‪ FOIL ،‬ثب تَخِ ثِ آى ػجبسات هوکي سا تـکیل هی دّوذ‪ّ .‬وویي‬
‫خبكیت ثِ ‪ FOIL‬اخبصُ هی دّذ تب تَاًبیی یبدییشی قَاًیي ثبصیـتی سا داؿتِ ثبؿذ‪ ،‬قَاًیٌی کِ اص یضاسُ ّبی ػش ٍ ثذًِ ی قبًَى ثب ّن اػوتفبدُ‬
‫هی کٌٌذ‪ .‬ثشای هثب ‪ ،‬قبًَى صیش سا کِ تؼشیفی ثبصیـتی اص ساثٌِ ی ‪ Ancestor‬اػت سا دس ًظش ثگیشیذ‪.‬‬

‫)‪IF Parent(x,y‬‬ ‫‪THEN‬‬ ‫)‪Ancestor(x,y‬‬

‫)‪IF Parent(x,z)⋀Ancestor(z,y‬‬ ‫‪THEN‬‬ ‫)‪Ancestor(x,y‬‬

‫ثب داؿتي هدوَػِ ای اص ًوًَِ ّبی آهَصؿی سا هی تَاى ثب سٍؿی هـبثِ یبدییشی ‪ GrandDaughter‬یبد یشفت‪ .‬تَخِ داسیذ کِ قبًَى دٍم اص‬
‫خولِ قَاًیٌی اػت کِ ثِ رات دسٍى خؼتدَی ‪ FOIL‬هحؼَة هی ؿَد‪ Ancestor ،‬دس هدوَػِ ی یضاسُ ّب‪ 1‬کِ اص آى ػجبسات خذیذ قوبًَى‬

‫‪1‬‬
‫‪bind‬‬
‫‪2‬‬
‫‪recursive‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ایدبد هی ؿَد دس ًظش یشفتِ خَاّذ ؿذ‪ .‬الجتِ ایٌکِ ایي قبًَى یبدیشفتِ هی ؿَد یب خیش کبه ثِ ػجبست ّبی دیگش هوکي ٍ ایٌکِ آیب هوی تَاًٌوذ‬
‫دس خؼوتدَی حشیلوبًِ ی ‪ FOIL‬اهتیوبص ثیـوتشی داؿوتِ ثبؿوٌذ ثؼوتگی داسد‪ (Cameron-Jones and Quinlar 1993) .‬دس هوَسد‬
‫ًوًَِ ّبی ثؼیبسی اص کبسثشد ّبی هَفق ‪ FOIL‬دس یبدییشی قَاًیي ثبصیـتی ثحث کشدُ اًذ‪ .‬آًْب ّوچٌیي دس هَسد هجبحوث دیگوش ‪ FOIL‬چوَى‬
‫چگًَگی اختٌبة اص ایدبد حلقِ ّبی ثیٌْبیت دس قَاًیي ثحث ّبیی اًدبم دادُ اًذ‪.‬‬

‫‪ 1.0.0.‬خالصه ی ‪FOIL‬‬
‫ثِ ًَس خ كِ‪ FOIL ،‬الگَسیتن ّبی تشتیجی ‪ CN2‬سا ثشای کٌتش یبدییشی دػتِ قَاًیي دسخِ اٍ هـبثِ ‪ّ horn clause‬ب تبهین هی دّوذ‪.‬‬
‫ثشای یبدییشی ّش قبًَى ٍ دس ّش هشحلِ ی اهبفِ کشدى ػجبست ثِ ؿشٍى قبًَى‪ FOIL ،‬خؼتدَیی کلی ثِ خضئی اًدبم هی دّذ‪ .‬ػجوبسات خذیوذ‬
‫اهبفِ ؿذُ ثِ قبًَى هوکي اػت دس ؿشٍى قبًَى یب حکن قبًَى هَخَد ثبؿٌذ‪ ٍ ،‬یب حتی هوکي اػت هتریش ّبی خذیذی ثِ قبًَى اهبفِ کٌٌذ‪ .‬دس‬
‫ّش هشحلِ‪ ،‬اص تبثغ ‪ Foil_Gain‬کِ دس ساثٌِ ی ‪ 1..1‬آهذُ ثشای اًتخبة ثیي ػجبسات خذیذ هوکي اػتفبدُ هی ؿَد‪ .‬ایوش ػجوبسات خذیوذ ثتَاًٌوذ‬
‫یضاسُ ی ّذف سا دس ثشثگیشًذ‪ FOIL ،‬هی تَاًذ‪ ،‬اكَال دػتِ قَاًیي ثبصیـتی سا ًیض یبد ثگیشد‪ .‬تب خبیی کِ پیچیذیی هبًغ اص ایدبد قَاًیي ثب حلقوِ‬
‫ثیٌْبیت ؿَد اثجبت ؿذُ ‪ FOIL‬هی تَاًذ ثب هَفقیت دػتِ قَاًیي ثبصیـتی سا یبد ثگیشد‪.‬‬

‫ایش دادُ ّبی آهَصؿی ثذٍى خٌب ثبؿٌذ‪ FOIL ،‬هوکي اػت آًقذس اهبفِ کشدى قَاًیي سا اداهِ دّذ تب دیگش ّیچ ًوًَِ ی هٌفی پَؿبًذُ ؿذُ ای‬
‫ٍخَد ًذاؿتِ ثبؿذ‪ .‬ثشای کٌتش دادُ ّبی خٌب داس‪ ،‬خؼتدَ تب صهبًی کِ یک ؿشى ثیي دقت‪ ،‬پَؿبًٌذیی ٍ پیچیذیی ثشقشاس ؿَد اداهِ پیذا خَاّذ‬
‫کشد‪ FOIL .‬ثشای خلَییشی اص سؿذ ثیؾ اص اًذاصُ ی قَاًیي اص سٍؽ کَتبّتشیي تَهیح اػتفبدُ هی کٌذ‪ ،‬سٍؿی کوِ دس آى ػجوبسات خذیوذ فقوي‬
‫صهبًی اهبفِ هی ؿًَذ کِ ًَ تَهیح آًْب اص ًَ تَهیح دادُ ّبی آهَصؿی ای کِ تَخیِ هی کٌٌذ کوتوش ثبؿوذ‪ .‬خضئیوبت ایوي اػوتشاتظی دس‬
‫)‪ (Quinlar 1990‬آهذُ اػت‪ .‬ػ ٍُ ثش اى‪ FOIL ،‬قَاًیٌی کِ یبد هی ییشد سا ًیض ثؼذ اص یبدییشی ّشع هی کٌوذ‪ ،‬ایوي سٍؽ ّوشع کوشدى‬
‫هـبثِ ّشع کشدى دسخت ّبی تلوین ییشی اػت (فلل ‪.)3‬‬

‫‪ 1.01‬استقرا به عىًان استىتاج ياريوه‬

‫سٍؽ دٍم ٍ کبه هتفبٍت ثشای ثشًبهِ ًَیؼی اػتقشایی ثش اػبع هـبّذات ػبدُ ای اػت کِ ًـبى هی دّذ اػتقشا )‪ (induction‬فقي ٍاسٍى‬
‫اػتٌتبج )‪ (deduction‬اػت! دس کل‪ ،‬یبدییشی هبؿیي ػبختي تئَسی ّبیی اػت کِ ثشای دادُ ّبی هـبّذُ ؿذُ تَهیح هی آٍسًذ‪ .‬ثب داؿوتي‬
‫هدوَػِ ی دادُ ّبی ‪ ٍ D‬داًؾ قجلی )‪ ،B (background knowledge‬یبدییشی سا هی تَاى پیذا کشدى فشهیِ ّوبیی هثول ‪ h‬تؼشیوف‬
‫کشد کِ ‪ B ٍ h‬ثتَاًٌذ ثب ّن دلیلی ثشای ‪ D‬ثیبٍسًذ‪ .‬ثِ ػجبست دقیقتش‪ ،‬هثل ّویـِ فشم کٌیوذ کوِ دادُ ّوبی آهَصؿوی ‪ D‬کوِ هدوَػوِ ای اص‬
‫ًـبى دٌّذُ ی ‪ i‬اهویي ًوًَوِ ی آهَصؿوی ٍ ) ( هقوذاس‬ ‫اػت دس اختیبس اػت‪ .‬دس ایٌدب‬ ‫) (‬ ‫ًوًَِ ّبی آهَصؿی ثِ فشم‬
‫ٍ داًؾ‬ ‫سا اص ‪ ٍ h‬هـخلبت‬ ‫ّذف آى اػت‪ .‬یبدییشی‪ ،‬هؼئلِ ی پیذا کشدى فشهیِ ای هثل ‪ h‬اػت کِ ثتَاى دػتِ ثٌذی ) ( ثشای‬
‫قجلی ‪ً B‬تیدِ ییشی کشد‪.‬‬

‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫) (‬ ‫(‬ ‫)‬

‫‪1‬‬
‫‪Predicates‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ X‬سا ثخَاًیذ "‪ Y‬سا هی تَاى اص ‪ً X‬تیدِ یشفت )‪ "(follows deductively‬یب "‪ X‬هَخت )‪ Y (entails‬هی ؿَد"‪ .‬ساثٌِ ی‬ ‫ػجبست ‪Y‬‬
‫‪ ( ) ،‬سا ًتیدِ یشفت تَكیف هی کٌذ‪.‬‬ ‫‪ 1..2‬هحذٍدیت ّبیی کِ الصم اػت کِ ‪ h‬داؿتِ ثبؿذ تب ثتَاى اص ‪ٍ h ٍ B‬‬

‫ثشای هثب ‪ ،‬هؼئلِ ای سا دس ًظش ثگیشیذ کِ دس آى هفَْم ّذف "خفوت افوشادی هثول >‪ <u,v‬اػوت کوِ دس آى ‪ v‬فشصًوذ ‪ u‬اػوت"‪ ٍ ،‬آًوشا ثوب‬
‫)‪ً Child(u,v‬ـبى هی دّین‪ .‬فشم کٌیذ کِ فقي یک ًوًَِ ی هثجت ثِ هب دادُ هی ؿَد )‪ ٍ ،Child(Bob, Sharon‬دس آى ًوًَوِ ّوب ثوِ‬
‫كَست )‪ Father(Sharon,Bob) ٍ Female(Sharon) ،Male(Bob‬تَكیف ؿذُ اًذ‪ .‬ػ ٍُ ثش آى فشم کٌیذ کِ داًؾ قجلی داسین‬
‫‪ .‬هی تَاى ٍهؼیت ػجبسات ساثٌِ ی ‪ 1..2‬سا ثِ كَست صیش هـخق کشد‪:‬‬ ‫(‬ ‫←)‬ ‫(‬ ‫کِ )‬

‫(‬ ‫)‬ ‫(‬ ‫)‬ ‫(‬ ‫)‬

‫) (‬ ‫(‬ ‫)‬

‫(‬ ‫←)‬ ‫(‬ ‫)‬

‫) ⋀ ⋀ ( كذ هی کٌٌذ دس صیش آٍسدُ ؿذُ اًذ‪،‬‬ ‫دٍ فشهیِ اص فشهیِ ّبی هوکٌی کِ دس ساثٌِ ی ) (‬

‫(‬ ‫←)‬ ‫(‬ ‫)‬

‫(‬ ‫←)‬ ‫(‬ ‫)‬

‫ًتیدِ یشفتِ هی ؿوَد‪ .‬اهوب دس هوَسد فشهویِ ی‬ ‫⋀‬ ‫تَخِ داسیذ کِ ػجبست ّذف )‪ Child(Bob, Sharon‬ثذٍى اػتفبدُ اص ‪ ٍ B‬تٌْب اص‬
‫ثوِ‬ ‫⋀‬ ‫⋀ ًتیدِ ییشی خَاّذ ؿذ ٍ ًوی تَاى آًوشا اص‬ ‫⋀‬ ‫‪ ،‬اٍهبع هتفبٍت اػت‪ ،‬ػجبست ّذف )‪ Child(Bob, Sharon‬اص‬
‫تٌْبیی ًتیدِ یشفت‪ .‬ایي هثب ‪ً ،‬قؾ داًؾ قجلی دس یؼتشؽ هدوَػِ ی فشهیِ ّبی قبثل قجَ ثوشای یوک هدوَػوِ ی هؼلوَم اص دادُ ّوبی‬
‫) حتوی‬ ‫آهَصؿی سا هـخق هی کٌذ‪ّ .‬وچٌیي‪ً ،‬ـبى هی دّذ کِ چگًَِ هتریش ّبی خذیذ (هثل ‪ )Parent‬سا هی تَاى ثِ فشهیِ ّوب (هثول‬
‫دخیل ًیؼت هؼشفی کشد‪ .‬ایي فشایٌذ افضٍدى )‪ (augmenting‬هدوَػِ ای اص هتریوش ّوب ثوش اػوبع‬ ‫صهبًی کِ هتریش دس تَكیف ًوًَِ ی‬
‫داًؾ قجلی اػتقشای ػبختبسی )‪ً (constructive induction‬بهیذُ هی ؿَد‪.‬‬

‫ایي اّویت ساثٌِ ی (‪ )1..2‬اػت کِ هؼئلِ ی یبدییشی سا دس هحیي اػتٌتبج اػتقشایی ٍ هٌٌق ثیبى هی کٌذ‪ .‬دس ثحث هوب ایوي هٌٌوق‪ ،‬هٌٌوق‬
‫یضاسُ ای ٍ هٌٌق دسخِ اٍ خَاّذ ثَد ٍ الگَسیتن ّبی ساحت الذسک ثشای اتَهبتیک کشدى اػتٌتبج خَاّذ ثَد‪ .‬خبلت اػت کِ ایدبد ػکغ ایوي‬
‫فشایٌذ ّب ثشای اتَهبتیک کشدى فشایٌذ تؼوین اػتقشایی هوکي اػت‪ .‬ثِ ًظش هی سػذ‪ ،‬ایي دیذ کِ اػتقشا سا هی توَاى ثوب ػکوغ کوشدى اػوتٌتبج‬
‫ثذػت آٍسد سا اٍلیي ثبس دس قشى ًَصدّن ‪ W. S. Jevons‬هـبّذُ کشد‪ٍ ،‬ی هی ًَیؼذ‪:‬‬

‫اػتقشا دس حقیقت ػکغ ػول اػتٌتبج اػت ٍ ًوی تَاى ثذٍى ایي استجبى ٍخَدؽ سا تلَس کشد‪ ،‬ثٌبثشایي ػَا اّویت پویؾ ًخَاّوذ آهوذ‪ .‬چوِ‬
‫کؼی فکش خَاّذ کشد کِ خوغ یب تفشیق دس سیبهیبت هْن تش اػت؟ اهب دس ػَْلت تفبٍت صیبدی ثیي یک ػول ٍ ػکؼؾ ٍخَد داسد؛ ‪ ...‬ثبیوذ دس‬
‫ًظش یشفتِ ؿَد کِ اًدبم ػول اػتقشا ثؼیبس ػخت تش ٍ پیچیذُ تش اص ػول اػتٌتبج اػت ‪(Jevons 1874) ...‬‬

‫دس اداهِ ی ایي فلل ثِ اػتقشا ثِ دیذ ػکغ اػتٌتبج ًگبُ خَاّین کشد‪ .‬دس ایٌدب هؼئلِ ی اكلی ٍ هَسد تَخِ ًشاحی ػکغ ػولگش ّبی ًتیدِ‬
‫ییشی )‪ (entailment operators‬اػت‪ .‬یکی اص ػولگش ّبی ػکغ ًتیدِ ییشی‪ O(B, D) ،‬اػت کِ ًوًَوِ ّوبی آهَصؿوی *‬
‫ٍ داًؾ قجلی ‪ B‬سا دسیبفت کشدُ ٍ فشهیِ ای خشٍخی هی دّذ کِ دس ساثٌِ ی ‪ 1..2‬كذ کٌذ‪.‬‬ ‫) (‬ ‫‪+‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫)‬ ‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫) (‬

‫(‪ .‬یکوی‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫الجتِ دس کل‪ ،‬هوکي اػت فشهیِ ّبی هختلفی ثشای ‪ٍ h‬خَد داؿتِ ثبؿذ کِ ) (‬
‫اص سٍؽ ّبی ‪ ILP‬ثشای اًتخبة هیبى چٌیي فشهیِ ّبیی اػتفبدُ اص قبًَى کَتبّتشیي تَهیح اػت (ثشای اً ػبت ثیـتش ثِ ثخوؾ ‪ 6.6‬هشاخؼوِ‬
‫کٌیذ)‪.‬‬

‫(‬ ‫) (‬ ‫سٍؿْبی خزاة دیگش ثشای فشهَلی کشدى کبس یبدییشی ثِ ػٌَاى پیذا کشدى فشهیِ ای هثل ‪ h‬کِ ثتَاًذ دس ساثٌوِ ی‬
‫) ⋀ ⋀ () كذ کٌذ ٍخَد داسد‪.‬‬ ‫) (‬

‫ایي فشهَلی کشدى تؼشیف ّبی هؼوَ یبدییشی هفبّین سا ثِ ػٌَاى پیذا کشدى هفَْهی کلی کِ ثب هدوَػِ ای اص ًوًَِ ّبی آهَصؿی‬
‫هٌبثقت داؿتِ ثبؿذ سا ؿبهل هی ؿَد (ایي تؼشیف هؼوَ هـبثِ حبلتی اػت کِ ّیچ داًؾ قجلی ای ًذاؿتِ ثبؿین‪.).‬‬
‫یکی کشدى ًوبد داًؾ قجلی ‪ ،B‬ثب ایي فشهَ تؼشیف غٌی تشی اص تٌبػت یک فشهیِ ثِ هب هی دّذ‪ .‬تب ثِ حب ‪ ،‬تٌبػت فشهویِ (هثول‬
‫ؿجکِ ای ػلجی) سا فقي ٍاثؼتِ ثِ هـخلبت فشهیِ ٍ دادُ ّب ٍ هؼتقل اص هحیي هٌبلؼِ فشم هی کشدین‪ .‬دس هقبثول‪ ،‬ایوي فشهوَ‬
‫اخبصُ هی دّذ تب اً ػبت فوبی ػول کِ ثب داًؾ قجلی ‪ B‬هـخق هی ؿَد سا خضٍ تؼشیف "تٌبػت" )‪ (fit‬قشاس دّین‪ .‬دس کل‪ h ،‬ثب‬
‫⋀ ⋀ ًتیدِ یشفت‪.‬‬ ‫هتٌبػت اػت ّش یبُ ثتَاى ) ( سا اص‬ ‫) (‬ ‫ًوًَِ ای هثل‬
‫ثب تبثیش دادى داًؾ قجلی ‪ ،B‬ایي فشهَ هتذ ّبی یبدییشی ای سا هی ًلجذ کِ ثِ خبی خؼتدَی کَسکَساًوِ ی فووبی فشهویِ ای اص‬
‫داًؾ قجلی ثشای ّذایت خؼتدَی ‪ h‬اػتفبدُ کٌٌذ‪ .‬فشایٌذ دقوت ػکوغ )‪ (inverse resolution‬کوِ دس قؼووت ّوبی ثؼوذی‬
‫تَهیح دادُ هی ؿَد اص داًؾ قجلی ثشای ایي کبس اػتفبدُ خَاّذ کشد‪.‬‬
‫ثِ ًَس ّوضهبى‪ ،‬تحقیقبت ثش سٍی اػتقشای ثشًبهِ ًَیؼی هٌٌقی ًـبى هی دّذ کِ ایي فشهَلی کشدى ثب چٌذیي هـکل کبسثشدی سٍثشٍػت‪:‬‬

‫( ثِ ًَس ًجیؼی ثب دادُ ّبی آهَصؿی خٌوب داس ػوبصیبس‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫الضاهبت الصم ثشای ) (‬
‫یوب هقوذاس توبثغ‬ ‫ًیؼت‪ .‬هـکل ایٌدبػت کِ ایي ػجبست اخبصُ ی ٍخَد خٌبی احتوبلی دس دادُ ّبی هـوبّذُ ؿوذُ ًوًَوِ ّوبی‬
‫ّذفـبى ) ( سا ثِ هب ًوی دّذ‪ٍ .‬خَد چٌیي خٌبّبیی هوکي اػت هحذٍدیت ّبی هتٌوبقن دس ‪ h‬ایدوبد کٌوذ‪ .‬هتبػوفبًِ‪ ،‬اکثوش‬
‫هحیي ّبی هٌٌقی سػوی ثب دادى هدوَػِ ای هتٌبقن اص ادػبّب )‪ (assertion‬کبسایی خَد سا دس تویض دادى هقوذاس ٍاقؼوی ٍ غیوش‬
‫ٍاقؼی اص دػت هی دٌّذ‪.‬‬
‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫صثبى هٌٌقی دسخِ اٍ آًقذس ؿبهل اػت کِ تؼذاد فشهویِ ّوبیی کوِ دس ػجوبست‬
‫) ( كذ هی کٌٌذ ثؼیبس صیبد اػت کِ خؼتدَ هیبى ایي فوبی فشهیِ ّب دس حبلت کلی سام ًـوذًی )‪ (intractable‬اػوت‪.‬‬
‫اکثش تحقیقبت فؼلی دس فشم ّبی هحذٍد قَاًیي دسخِ اٍ ثشسػی هی ؿًَذ یب اص داًؾ قجلی دسخِ دٍم ًیض اػتفبدُ هی یشدد توب ثتوَاى‬
‫فوبی فشهیِ ای سا ثشای خؼتدَ ػبدُ تش کشد‪.‬‬
‫ثش خ ف ایي تلَس کِ داًؾ قجلی ثبیذ ثِ خؼتدَ ثشای یک فشهیِ کوک کٌذ‪ ،‬دس اکثش ػیؼتن ّبی ‪( ILP‬ؿبهل توبهی ػیؼتن ّبی‬
‫ثحث ؿذُ دس ایي فلل) پیچیذیی خؼتدَ فوبی فشهویِ ای ثوب افوضایؾ داًوؾ قجلوی افوضایؾ هوی یبثوذ‪( .‬ثوب ایوي ٍخوَد‪ ،‬ثوشای‬
‫الگَسیتن ّبیی کِ داًؾ قجلی پیچیذیی خؼتدَی فوبی فشهیِ ای سا کن هی کٌٌذ ثِ فلل ‪ 12 ٍ 11‬هشاخؼِ کٌیذ)‬
‫دس قؼوت ثؼذی‪ ،‬یکی اص سٍؿْبی کلی ػکغ ػولگش ًتیدِ ییشی سا کِ ثب ػکغ کشدى اػتٌتبج فشهیِ ّبیی ایدبد هی کٌذ سا ثشسػوی خوَاّین‬
‫کشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.01‬دقت عکس‬
‫هتذی کلی ای ثشای اتَهبتیک کشدى اػتٌتبج قبًَى دقت )‪ (resolution rule‬اػت کِ تَػي )‪ (Robinson 1965‬پیـٌْبد ؿذ‪ .‬قوبًَى‬
‫دقت قبًًَی کبهل ثشای اػتٌتبج دس هٌٌق دسخِ اٍ اػت‪ .‬ثٌبثشایي‪ ،‬خبی ایي ػَا ّؼت کِ ثسشػین آیب هی تَاى قبًَى دقوت سا ٍاسٍى کوشد توب‬
‫یک ػکغ ػولگش ًتیدِ ییشی ثذػت آیذ؟ خَاة آسی اػت‪ٍ ،‬اسٍى ایي قبًَى ػولگشی اػت کِ پبیِ ی ثشًبهِ ی ‪ Cigol‬سا تـکیل هوی دّوذ‬
‫کِ تَػي )‪ (Muggleton and Buntine 1988‬اسائِ ؿذ‪.‬‬

‫ثْتش اػت کِ قبًَى دقت سا دس فشم یضاسُ ای هؼشفی کٌین تب ثشای تؼوین ثش سٍی ًوبیؾ دسخِ اٍ آهوبدُ ثبؿوذ‪ .‬ایوش ‪ L‬یوک ػجوبست یوضاسُ ای‬
‫دلخَاُ ثبؿذ ٍ ‪ً R ٍ P‬یض دٍ حکن یضاسُ ای دلخَاُ ثبؿٌذ قبًَى دقت ثِ كَست صیش خَاّذ ثَد‪،‬‬

‫‪P‬‬ ‫‪L‬‬

‫‪¬L‬‬ ‫‪R‬‬

‫‪P‬‬ ‫‪R‬‬

‫ٍ‬ ‫آًشا ثبیذ ثِ كَست سٍثشٍ خَاًذ‪ :‬ثب داؿتي دٍ حکن )‪ (clause‬ثبالیی‪ ،‬حکن پبییي ًتیدِ ییشی هی ؿَد‪ .‬ثب داؿتي دٍ ادػبی‬
‫قبًَى دقت دسػت خَاّذ ثَد‪.‬‬ ‫ٍاهح اػت کِ یکی اص دٍ ػجبست ‪ L‬یب ‪ ¬L‬غلت اػت‪ ،‬ثٌبثشایي حکن‬

‫ػولگش دقوت اثتوذا ػجوبستی هثول ‪ L‬سا هـوخق‬ ‫ٍ‬ ‫فشم کلی یضاسُ ای ػولگش دقت دس خذٍ ‪ 1..5‬آٍسدُ ؿذُ اػت‪ .‬ثب داؿتي دٍ ػجبست‬
‫هی کٌذ کِ ػجبستی هثجت دس یکی اص ػجبست ٍ ػجبستی هٌفی دس ػجبست دیگش اػت‪ .‬ػسغ ًتبیح فشهَ ثبال سا هی کـذ‪ .‬ثشای هثب ‪ ،‬ػولکشد ػولگش‬
‫سا‬ ‫‪ ،‬هشحلِ ی اٍ فشایٌذ ػجبست‬ ‫ٍ‬ ‫دقت سا دس ؿکل ػوت ساػت ؿکل ‪ 1..2‬دس ًظش ثگیشیذ‪ .‬ثب داؿتي‬
‫آهذُ اػوت‪ .‬ثٌوبثشایي ًتیدوِ‬ ‫( دس‬ ‫)‬ ‫آهذُ ٍ ػکؼؾ‬ ‫هـخق هی کٌذ کِ دس‬
‫اػت‪ .‬ثِ ػٌوَاى‬ ‫*‬ ‫‪+‬‬ ‫ٍ‬ ‫‪* +‬‬ ‫حکوی اػت کِ اص تشکیت ایي دٍ ػجبست ثَخَد هی آیذ‬
‫سا کوِ‬ ‫ٍ‬ ‫هثبلی دیگش‪ً ،‬تیدِ ی اػوب قبًَى دقت سا ثِ دٍ ػجبست‬
‫اػت‪.‬‬

‫ؿکل ‪ 1..2‬دس ػوت چپ کبسثشدی اص (اػتٌتبج) قبًَى دقت ثشای ثذػت آٍسدى ‪ C‬اص ٍ آهذُ اػت‪.‬‬
‫دس ػوت ساػت کبسثشدی اص (اػتقشا) ػکغ آى ػول ٍ ثذػت آٍسدى اص ‪ ٍ C‬آٍسدُ ؿذُ اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫آهذُ ثبؿذ‪.‬‬ ‫دس‬ ‫پیذا کي کِ‬ ‫ػجبستی هثل ‪ L‬اص حکن‬ ‫ٍ‬ ‫ثب داؿتي ػجبسات‬
‫تـکیل ثذُ‪ .‬ثوِ ػجوبست دقیقتوش‪ ،‬هدوَػوِ ػجوبسات ‪ C‬سا‬ ‫ٍ‬ ‫ثِ غیش اص‬ ‫ٍ‬ ‫‪ C‬سا ثب اػتفبدُ اص توبهی ػجبسات‬
‫هی تَاى اص ساثٌِ ی صیش ثذػت اٍسد‪،‬‬
‫(‬ ‫)‪* +‬‬ ‫(‬ ‫*‬ ‫)‪+‬‬

‫ًـبى دٌّذُ ی اختوبع هدوَػِ ّب ٍ “‪ً “-‬ـبى دٌّذُ ی اخت ف هدوَػِ ّبػت‪.‬‬ ‫دس ایٌدب‬

‫خذٍ ‪ 1..5‬ػولگش دقت (فشم یضاسُ ای)‪.‬‬

‫⋀ ‪.‬‬ ‫ثب داؿتي دٍ حکن ٍ هی تَاى ثب اػتفبدُ اص ػولگش دقت ‪ C‬ای سا پیذا کشد کِ‬
‫( کِ اػوب اػتقشایی اًدبم هی دّذ ثؼیبس ػبدُ اػت‪ .‬دس کل‪،‬‬ ‫ٍاسٍى کشدى ػولگش دقت ثشای ػبخت یک ػکغ ػولگش ًتیدِ ییشی )‬
‫ثذػت آٍسد‪ .‬هثبلی سا فوشم‬ ‫سا ثب ثبصیـبیی )‪ ٍ C (resolve‬دیگش حکن‬ ‫ػکغ ػولگش ًتیدِ ییشی ثبیذ ثتَاًذ یکی اص حکن ّبی اٍلیِ‬
‫⋀ ؟ اٍ‬ ‫سا پیذا کشد کِ‬ ‫‪ .‬چگًَِ هی تَاى حکوی هثل‬ ‫ٍ حکن اٍلیِ‬ ‫کٌیذ کِ دس آى حکن ًْبیی‬
‫هَخَد خَاّذ ثوَد‪ .‬دس هثوب هوب‪،‬‬ ‫ًیؼت حتوب دس‬ ‫ایٌکِ ثبیذ تَخِ داؿت کِ ًجق تؼشیف ػولگش دقت ّش ػجبستی کِ دس ‪ّ C‬ؼت ٍلی دس‬
‫ٍخَد داسد اهب دس ‪ٍ C‬خَد ًذاسد تَػي قبًَى دقت حزف‬ ‫حتوب ػجبست ‪ A‬سا خَاّذ داؿت‪ .‬دٍم ایٌکِ ػجبستی کِ دس‬ ‫ایي ًـبى هی دّذ کِ‬
‫ثبیوذ حتووب ػجوبست ‪ ¬D‬سا داؿوتِ ثبؿوذ‪.‬‬ ‫حوَس داؿتِ ثبؿذ‪ .‬دس هثب هب‪ ،‬ایي ًـبى هی دّوذ کوِ‬ ‫ؿذُ اػت‪ ،‬ثٌبثشایي ػکغ آى ثبیذ دس‬
‫ثذػت آهذُ ‪ً C‬تیدِ یشفتِ خَاّذ ؿذ‪.‬‬ ‫ٍ‬ ‫‪ٍ .‬اهح اػت کِ اص تشکیت دٍ قبًَى‬ ‫ثٌبثشایي خَاّین داؿت کِ‬

‫هَخَد ثبؿذ اهب دس ‪ C‬هَخَد ًجبؿذ‪.‬‬ ‫ػجبستی هثل ‪ L‬سا پیذا کي کِ دس‬ ‫ثب هؼلَم ثَدى حکن ّبی ‪ٍ C‬‬
‫سا کِ ػجبسات صیش سا ؿبهل هی ؿَد سا تـکیل ثذُ‬ ‫حکن دٍم هثل‬
‫(‬ ‫(‬ ‫))‪* +‬‬ ‫*‬ ‫‪+‬‬

‫خذٍ ‪ 1..6‬ػکغ ػولگش دقت (فشم یضاسُ ای)‪.‬‬

‫⋀ ‪.‬‬ ‫ثب داؿتي دٍ حکن ‪ ٍ C‬هی تَاى حکوی هثل سا پیذا کشد کِ‬
‫داًؼت‪ .‬تفبٍت هیبى‬ ‫تَخِ داسیذ کِ دس هثب ثبال خَاة دیگشی ثشای ٍخَد داسد‪ .‬دس کل‪ ،‬سا هی تَاى ثِ كَست خبف تش‬
‫اهبفِ کشدُ این‪ً .‬کتِ ی کلی ایٌدب ایوي اػوت کوِ‬ ‫ظبّش ؿذُ ثَد سا ثِ‬ ‫ایي خَاة ٍ خَاة اٍ دس ایي اػت کِ دس ایٌدب ػجبستی کِ دس‬
‫‪ C ،‬سا ًتیدِ یشفوت‪ .‬سٍؽ هوب دس‬ ‫ٍ‬ ‫ٍخَد داؿتِ ثبؿذ کِ ثتَاى اص‬ ‫قبًَى ػکغ دقت قٌؼی ًیؼت‪ ،‬دس کل هوکي اػت ثیؾ اص یک‬
‫ّیچ ػجبستی‬ ‫اًتخبة ثیي خَاة ّبی هختلف اسخِ داًؼتي حکن ّبیی اػت کِ ًَ تَهیح کوتشی داسًذ‪ ،‬یب ثِ ًَس هـبثِ‪ ،‬فشم هی کٌین‬
‫ًذاسد‪ .‬ایش ایي ثبیبع ثِ ػوت حکن ّبی کَتبّتش سا ثب قبًَى ػکغ دقت تشکیت کٌین الگَسیتن خذٍ ‪ 1..6‬ثذػت خَاّذ آهذ‪.‬‬ ‫هـتشک ثب‬

‫حب هی تَاًین ثش اػبع ػکغ ػولگش ًتیدِ ییشی الگَسیتن ّبی یبدییشی قوبًًَی هثول دقوت هؼکوَع سا ًشاحوی کٌوین‪ .‬دس کول‪ ،‬الگوَسیتن‬
‫یبدییشی هی تَاًذ اص ػکغ ًتیدِ ییشی ثشای ػبختي فشهیِ ّبیی کِ ثتَاًٌذ ثِ ّوشاُ داًؾ قجلی دادُ ّبی آهَصؿی سا ًتیدوِ دٌّوذ تـوکیل‬
‫دٌّذ‪ .‬یکی اص اػتشاتظی ّبی هوکي اػتفبدُ اص الگَسیتن ّبی تشتیجی ثشای یبدییشی حلقِ ای دػتِ ای اص ‪ horn clause‬ثب ایي سٍؽ اػت‪ .‬دس‬
‫سا کِ ٌَّص پَؿبًذُ ًـذُ اػت اًتخبة هی کٌذ‪ .‬ػسغ اص قبًَى ػکوغ دقوت‬ ‫) (‬ ‫ّش حلقِ‪ ،‬الگَسیتن ًوًَِ ی آهَصؿی ای هثل‬
‫) ⋀ ⋀ ( كذ کٌذ اػتفبدُ هی ؿوَد‪ ،‬دس ایٌدوب ‪ B‬داًوؾ قجلوی ثوِ‬ ‫کِ دس ساثٌِ ی ) (‬ ‫ثشای ایدبد فشهیِ ای هوکي هثل‬
‫ػ ٍُ ی توبهی قَاًیي قجلی یبدیشفتِ ؿذُ اػت‪ .‬تَخِ داسیذ کِ ایي خؼتدَیی ثش پبیِ ًوًَوِ ّبػوت )‪ ،(example-driven‬صیوشا کوِ ّوش‬
‫فشهیِ هوکي ثشای پَؿبًذى یک ًوًَِ ی خبف ایدبد ؿذُ اػت‪ .‬الجتِ ایش چٌذیي فشهیِ هَخَد ثبؿذ (کِ یک ًوًَوِ سا ثسَؿوبًٌذ) فشهویِ ای‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اسخِ تش خَاّذ ثَد کِ دقت ثْتشی ثش سٍی دیگش ًوًَِ ّبی پَؿبًذُ ؿذُ اؽ داؿتِ ثبؿذ‪ .‬ثشًبهِ ی ‪ Cigol‬اص ػکغ دقت ثِ ػو ٍُ ی ًوَػی‬
‫الگَسیتن تشتیجی ثِ ّوشاُ تؼبهل ثب کبسثش ثشای ثذػت آٍسدى ًوًَِ ّبی آهَصؿی ثیـتش ثشای ثذػت آٍسدى ساٌّوبیی دس خؼتدَی هیوبى فووبی‬
‫ٍػیغ هشاحل اػتقشا اػتفبدُ هی کٌذ‪ .‬ثب ایي ٍخَد ‪ Cigol‬ثیـتش اص قَاًیي دسخِ اٍ ثِ خبی ًوبیؾ یضاسُ ای اػتفبدُ هوی کٌوذ‪ .‬دس صیوش تؼووین‬
‫قبًَى دقت الصم ثشای ػبصیبسی ثب ًوبیؾ دسخِ اٍ سا تَكیف خَاّین کشد‪.‬‬

‫‪ 1.0.01‬دقت در ومایش درجه ايل‬

‫قبًَى دقت ثِ ساحتی ثِ قَاًیي دسخِ اٍ تؼوین پیذا هی کٌذ‪ .‬هـبثِ حبلت یضاسُ ای‪ ،‬ایي فشایٌذ دٍ حکن ثِ ثشای ٍسٍدی دسیبفوت کوشدُ ٍ یوک‬
‫حکن خشٍخی هی دّذ‪ .‬تفبٍت کلیذی ثب حبلت یضاسُ ای دس ایي اػت کِ ایي فشایٌذ دس ًووبیؾ دسخوِ اٍ ثوش اػوبع یکتوبکشدى )‪(unifying‬‬
‫خبًـیٌی ّب )‪ (substitution‬اًدبم هی ؿَد‪.‬‬

‫‪ θ‬دس هتریوش ‪ x‬هقوذاس‬ ‫*‬ ‫ّش ًگبؿت )‪ (mapping‬اص هتریش ّب ثِ خو ت سا خبًـیٌی هی ًبهین‪ .‬ثوشای هثوب ‪ ،‬خبًـویٌی ‪+‬‬
‫دس ػجوبست ‪ W‬اػوتفبدُ‬ ‫ثشای ًووبیؾ ًتیدوِ ی اػووب خبًـویٌی‬ ‫ػجبست ‪ ٍ Bob‬دس هتریش ‪ y‬هقذاس ػجبست ‪ z‬سا قشاس هی دّذ‪ .‬اص ًوبد‬
‫ّوبى خبًـیٌی هثب قجلی ثبؿذ داسین‪.Lθ=Father(x, Bill) ،‬‬ ‫هی کٌین‪ .‬ثشای هثب ‪ ،‬ایش ‪ L‬ػجبست )‪ Father(x, Bill‬ثبؿذ ٍ‬

‫‪ .‬ثوشای هثوب ‪ ،‬ایوش‬ ‫داؿوتِ ثبؿوین‬ ‫ٍ‬ ‫خبًـویٌی ای یکتبػوت کوِ ثوشای دٍ ػجوبست‬ ‫صهبًی کوِ هوی یوَیین‬
‫اػت صیشا کوِ‬ ‫ٍ‬ ‫‪ θ ،θ‬یک خبًـیٌی یکتب ثشای‬ ‫*‬ ‫ثبؿذ ٍ ‪+‬‬ ‫(‬ ‫ٍ)‬ ‫(‬ ‫)‬
‫‪ .‬اّویت خبًـیٌی یکتب دس ایي اػت کِ دس فشم یضاسُ ای دقت‪ ،‬هی تَاى ثب پیذا کشدى ػجبستی هثول‬ ‫(‬ ‫)‬
‫سا تؼییي کشد‪ .‬دس دػتِ قَاًیي دسخِ اٍ ‪ ،‬ایي تؼوین پیذا کشدى ػجبستی هثل‬ ‫ٍ‬ ‫ثبؿذ ًتیدِ ی دٍ حکن‬ ‫ًیض دس‬ ‫ٍ‬ ‫‪ L‬کِ ‪ L‬دس‬
‫(‪.‬‬ ‫یکتب ثبؿذ )‬ ‫ٍ‬ ‫‪1‬‬ ‫اػت کِ ثتَاى خبًـیٌی ای هثل ‪ θ‬پیذا کشد کِ ثشای‬ ‫اص‬ ‫ٍ‬ ‫اص‬ ‫‪1‬‬

‫قبًَى دقت ػسغ حکن ‪ C‬سا اص ساثٌِ ی صیش تـکیل هی دّذ‪.‬‬

‫(‬ ‫‪* +‬‬ ‫(‬ ‫)‪* +‬‬ ‫(‬ ‫)‬

‫ٍ ثوب فوشم ایٌکوِ‬ ‫←) (‬ ‫حبلت کلی ػجبست دقت دس خذٍ ‪ 1..7‬آهذُ اػت‪ .‬ثشای تلَس‪ ،‬فشم کٌیوذ کوِ ) (‬
‫ثذػت خَاّذ اهذ‪ .‬حب هی تَاى قبًَى دقوت سا اػووب کوشد‪.‬‬ ‫) (‬ ‫‪ .‬ػجبست ) (‬ ‫(‬ ‫)‬
‫( یب )‪.C=White(Fred‬‬ ‫)‪* +‬‬ ‫(ٍ∅‬ ‫)‪* +‬‬ ‫(‬ ‫ثٌبثشایي‪ً ،‬تیدِ ی ‪ C‬اص تشکیت دٍ ػجبست )‬

‫‪.‬‬ ‫ٍ خبًـیٌی ‪ θ‬سا پیذا کي کِ‬ ‫اص‬ ‫ٍ‬ ‫اص‬ ‫ػجبستی هثل‬
‫سا تـوکیل ثوذُ‪ .‬ثوِ ػجوبست دقیقتوش‬ ‫ٍ‬ ‫ثوِ خوض‬ ‫ٍ‪θ‬‬ ‫ًتیدِ ی ‪ C‬سا ثب اختووبع تووبهی ػجوبسات ‪θ‬‬
‫هدوَػِ ی ػجبساتی کِ دس ‪ C‬خَاٌّذ ثَد ثِ كَست صیشًذ‪،‬‬
‫(‬ ‫)‪* +‬‬ ‫(‬ ‫)‪* +‬‬

‫خذٍ ‪ 1..7‬قبًَى دقت (فشم دسخِ اٍ )‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.0.0.‬يارين کردن دقت‪ :‬حالت درجه ايل‬

‫ثِ كَست تحلیلی هی تَاى هـتق ػکغ قبًَى دقت سا ثب دػتکبسی ساثٌِ ی ‪ 1..3‬کِ تؼشیف قبًَى دقت اػت ثذػت آٍسد‪ .‬اثتوذا تَخوِ داؿوتِ‬
‫‪ ،θ‬دس ایوي ساثٌوِ ‪ θ‬ؿوبهل تووبهی‬ ‫ثبؿیذ کِ ‪ θ‬دس ساثٌِ ی ‪ 1..3‬سا هی توَاى ثوِ كوَست یکتوب ثوِ ‪ θ ٍ θ‬تدضیوِ کوشد کوِ ‪θ θ‬‬
‫هی ؿَد‪ .‬ایي تدضیِ ثشای ایي ػولی اػوت‪،‬‬ ‫ٍ ‪ θ‬ؿبهل توبهی خبًـیٌی ّبی هشثَى ثِ هتریش ّبی‬ ‫خبًـیٌی ّبی هشثَى ثِ هتریش ّبی‬
‫ّویـِ ثب هتریش ّبی خبلق )‪ (distinct‬ؿشٍع هی ؿًَذ (صیشا کِ ایي دٍ ثِ كَست خْبًی خو ت هؼتقل اًذ‪ .) --‬ثب ایي تدضیِ‬ ‫ٍ‬ ‫کِ‬
‫‪ θ‬هی تَاى ساثٌِ ی ‪ 1..3‬سا ثِ كَست صیش ثبصًَیؼی کشد‪،‬‬

‫(‬ ‫)‪* +‬‬ ‫(‬ ‫)‪* +‬‬

‫ی سا‬ ‫ّویـِ تَخِ داؿتِ ثبؿیذ کِ ػ هت "‪ "-‬دس ایٌدب ثِ هؼٌبی اخت ف هدوَػِ ّبػت‪ .‬حب ایش ػکغ ػولگش دقت فقي حکون ّوبی‬
‫ًذاسًذ خشٍخی دّذ (ًجق قبًَى کَتبّتشیي ًَ تَهیح) هی تَاى ػجبست ثبال سا ثِ كَست صیش ثبص ًَیؼی کشد‪،‬‬ ‫کِ اؿتشاکی ثب‬

‫(‬ ‫)‪* +‬‬ ‫(‬ ‫)‪* +‬‬

‫سا ثشای ثذػت هی آٍسین‪،‬‬ ‫اػتفبدُ کشدُ ٍ‬ ‫حب ث خشُ اص ایي حقیقت کِ ًجق تؼشیف داسین‬

‫عکس دقت‪:‬‬

‫(‬ ‫(‬ ‫)‪* +‬‬ ‫)‬ ‫*‬ ‫‪+‬‬ ‫(‬ ‫)‬

‫ساثٌِ ی ‪ 1..4‬ػکغ قبًَى دقت سا ثشای هٌٌق دسخِ اٍ ًـبى هی دّذ‪ .‬هـوبثِ فوشم یوضاسُ ای‪ ،‬ػولگوش ػکوغ ًتیدوِ ییوشی غیوش قٌؼوی‬
‫ثشای حل ٍ خبًـیٌی یکتوب ی‬ ‫)‪ (nondeterministic‬اػت‪ .‬دس کل‪ ،‬دس اػوب ایي ػولگش ثبیذ دس حبلت کلی اًتخبة ّبی هختلف ثشای‬
‫ختن هی یشدد‪.‬‬ ‫ٍخَد داسد‪ّ .‬ش یک اص ایي اًتخبة ّب هوکي اػت ثِ خَاثی خبف ثشای‬ ‫ٍ‬

‫ؿکل ‪ 1..3‬اػوب چٌذ هشحلِ ای ػکغ قبًَى دقت سا ثشای یک هثب ػبدُ ًـوبى هوی دّوذ‪ .‬دس ایوي ؿوکل‪ّ ،‬وذف یوبدییشی قوَاًیٌی ثوشای‬
‫)‪ GrandChild(y,x‬ثووووووب داؿووووووتي دادُ ّووووووبی آهَصؿووووووی )‪ ٍ D=GrandChild(Bob,Shannon‬داًووووووؾ قجلووووووی‬
‫})‪ B={Father(Shannon,Tom), Father(Tom,Bob‬اػت‪ .‬ثِ ثبالتشیي هشحلِ ی دسخت ػکغ قبًَى دقت دس ؿوکل ‪ 1..3‬تَخوِ‬
‫کٌیوووذ‪ .‬دس ایٌدوووب‪ ،‬حکووون ‪ C‬سا ثوووشای ًوًَوووِ ی آهَصؿوووی )‪ GrandChild(Bob, Shannon‬سا ثشسػوووی کوووشدُ ٍ حکووون‬
‫سا اص داًووؾ قجلووی ثووش هووی یضیٌووذ‪ .‬ثووشای اػوووب ػکووغ ػولگووش دقووت فقووي یووک اًتخووبة‪،‬‬ ‫(‬ ‫)‬
‫ٍ‬ ‫ٍخووَد داسد‪ .‬فووشم کٌیووذ کووِ ػکووغ خبًـوویٌی ّووب سا ثووِ كووَست ‪*+‬‬ ‫)‪ ،Father(Shannon,Tom‬ثووشای‬
‫(‬ ‫(‬ ‫)‪* +‬‬ ‫)‬ ‫(‬ ‫)‬ ‫اص تشکیووت حکوون‬ ‫*‪ .‬دس ایووي حبلووت‪ ،‬حکوون ًتیدووِ ی‬ ‫‪+‬‬
‫*‪ .‬ثٌوووووووبثشایي ًتیدوووووووِ ی حکووووووون‬ ‫‪+‬‬ ‫(‬ ‫ٍ حکووووووون )‬ ‫(‬ ‫)‬
‫)‪ GrandChild(Bob,Shannon) ¬Father(x,Tom‬یووب ثووِ ًووَس هتووشادف ))‪(GrandChild(Bob,x) ←Father(x,Tom‬‬
‫ًوًَِ ی آهَصؿی )‪ GrandChild(Bob,Shannon‬سا ًتیدِ خَاّذ داد‪.‬‬ ‫خَاّذ ثَد‪ .‬تَخِ داؿتِ ثبؿیذ کِ ایي قبًَى کلی ثِ اهبفِ ی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿکل ‪ 1..3‬یک فشایٌذ ػکغ دقت چٌذ هشحلِ ای‪.‬‬

‫دس ایي هثب ‪ ،‬حکن ّبی دسٍى هؼتٌیلْب حبكل اص هشاحل اػتٌبخی ّؼتٌذ‪ .‬ثشای ّش هشحلِ‪ C ،‬حکوی اػت کِ دس ثبال ًـبى دادُ ؿذُ‪ ،‬حکن ػوت چپ‬
‫ًیض خبًـیٌی ًـوبى دادُ ؿوذُ دس صیوش‬ ‫خبًـیٌی تْی {} اػت‪ٍ ،‬‬ ‫حکن داخل هؼتٌیل دس ساػت اػت‪ .‬دس ّش دٍ هشحلِ ی اػتٌتبخی‪،‬‬ ‫ٍ‬
‫اػت‪ .‬تَخِ داسیذ کِ ًتیدِ ًْبیی (هؼتٌیل یَؿِ ی ثبال ٍ ساػت) فشم خبیگضیي )‪ GrandChild(y,x)←Father(x,y)⋀Father(z,y‬اػت‪.‬‬
‫ثِ ًَس هـبثِ‪ ،‬ایي حکن ًتیدِ ییشی ؿذُ سا هی تَاى ثِ ػٌَاى ًتیدِ ی ‪ C‬ثشای هشحلِ ی دٍم ػکغ دقت ثِ کبس ثشد‪ ،‬هـبثِ ؿوکل ‪ .1..3‬دس‬
‫ّش هشحلِ‪ ،‬تَخِ داسیذ کِ چٌذیي حبلت ًتیدِ ی هوکي ٍخَد داسد‪ ،‬ایي ًتبیح ثِ اًتخبة خبًـیٌی ٍاثؼتِ اًذ (توشیي ‪ .)1..7‬دس هثب ؿکل ‪،1..3‬‬
‫هدوَػِ ی خبكی اص اًتخبة ّب ثِ حکن ساهی کٌٌذُ ی )‪ GrandChild(y,x)←Father(x,y)⋀Father(z,y‬هی سػذ‪.‬‬

‫‪ 1.0.01‬خالصه ی يارين کردن دقت‬

‫) ⋀ ⋀ ( كذ کٌوذ‪ .‬ایوي‬ ‫ثِ ًَس خ كِ‪ ،‬ػکغ دقت سٍؿی کلی ثشای ایدبد اتَهبتیک فشهیِ ی ‪ h‬اػت کِ دس ساثٌِ ی ) (‬
‫‪ ،‬ػکغ قوبًَى‬ ‫کبس ثب ػکغ قبًَى کلی دقت (کِ دس ساثٌِ ی ‪ 1..3‬آهذُ) كَست هی ییشد‪ .‬ثب ؿشٍع اص ثبصیـبیی قبًَى ٍ حل آى ثشای حکن‬
‫دقت دس ساثٌِ ی ‪ 1..4‬ثذػت هی آیذ‪.‬‬

‫ثب داؿتي هدوَػِ ای اص حکن ّب‪ ،‬هوکي اػت ثب ثکبس ثشدى ػکغ قبًَى دقت چٌذیي فشهیِ ثذػت آیذ‪ .‬تَخِ داسیذ کِ ػکغ قبًَى دقت ایوي‬
‫) ⋀ ⋀ ( كذ هی کٌٌذ سا ایدبد هی کٌذ‪ .‬دس هقبثل خؼوتدَی آصهوَى ٍ خٌوبیی‬ ‫هضیت سا داسد کِ فقي فشهیِ ّبیی کِ دس ) (‬
‫‪ FOIL‬دس ّش هشحلِ اص خؼتدَ تؼذاد صیبدی فشهیِ کِ ثؼویـبى ایي ؿشى سا اسهب ًوی کٌٌذ ایدبد هی کٌذ‪ .‬ػسغ ‪ FOIL‬اص دادُ ّبی ‪ D‬ثوشای‬
‫اًتخبة ثیي ایي فشهیِ ّب اػتفبدُ خَاّذ کشد‪ .‬ثب داًؼتي ایي تفبٍت‪ ،‬اًتظبس هی سٍد کِ خؼتدَ ی هجتٌی ثش ػکوغ قوبًَى دقوت هتوشکوض توش ٍ‬
‫کبسا تش ثبؿذ‪ .‬ثب ایي ٍخَد‪ ،‬ایي ًتیدِ ییشی ّویـِ ثشقشاس ًیؼت‪ .‬یکی اص دالیل ایي اػت کِ ػکغ ػولگش دقت فقي کؼش کَچکی اص دادُ ّبی‬
‫هَخَد سا دس ّش هشحلِ اص ایدبد فشهیِ اؽ هذ ًظش قشاس هی دّذ‪ ،‬دس حبلی کِ‪ FOIL ،‬توبهی دادُ ّبی هوکي سا ثشای اًتخبة هیبى فشهیِ ّوبی‬
‫ًحَی )‪ (syntactical‬ایدبد ؿذُ هذ ًظش قشاس هی دّوذ‪ .‬تفوبٍت ّوبی ثویي اػوتشاتظی ّوبیی کوِ اص ػکوغ اػوتٌتبج اػوتفبدُ هوی کٌٌوذ ٍ‬
‫اػتشاتظی ّبیی کِ اص خؼتدَی آصهَى ٍ خٌبیی اػوتفبدُ هوی کٌٌوذ ّوچٌوبى هَهوَػی تحقیقوبتی اػوت‪(Srinivasan et al. 1995) .‬‬
‫آصهبیـی سا کِ دس آى ایي دٍ سٍؽ هقبیؼِ هی ؿًَذ هٌشح هی کٌذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.0.0.‬تعمیم‪ ،‬وتیجه گیری ‪ Ѳ‬ي وتیجه گیری‬

‫قؼوت قجلی ثِ استجبى ثیي اػتقشا ٍ ػکغ ًتیدِ ییشی پشداخت‪ .‬ثب دسًظش داؿتي اػشاس قجلی دس اػتفبدُ اص تشتیت کلوی توشی ثوشای ػوبصهبًذّی‬
‫خؼتدَ ی فوبی فشهیِ ای‪ ،‬ثذ ًیؼت کِ ساثٌِ ی ثیي سٍاثي کلی تشی ٍ ػکغ ًتیدِ ییشی سا هـبّذُ کٌین‪ .‬ثشای دسک ایي ساثٌوِ‪ ،‬تؼوبسیف‬
‫صیش سا دس ًظش ثگیشیذ‪.‬‬

‫( سا ثِ فشم صیش تؼشیف کوشدین‪ :‬ثوشای دٍ توبثغ هٌٌقوی هقوذاس‬ ‫ساثٌِ ی کلی تشی‪ .‬دس فلل ‪ 2‬ساثٌِ ی کلی تش یب هؼبٍی ثَدى )‬
‫(‪ .‬ایوي‬ ‫)‬ ‫) (‬ ‫ایوش ٍ تٌْوب ایوش داؿوتِ ثبؿوین کوِ ) (‬ ‫) (‬ ‫صهبًی هی یَیین ) (‬ ‫ٍ) (‬ ‫) (‬
‫دس ثؼیبسی اص الگَسیتن ّبی یبدییشی ثشای کٌتش خؼتدَی فوبی فشهیِ ای ثِ کبس هی سٍد‪.‬‬ ‫ساثٌِ ی‬
‫ّؼوتٌذ ٍ ‪H‬‬ ‫سا دس ًظش ثگیشیذ کِ ّش دٍ ثِ فشم‬ ‫ٍ‬ ‫ًتیدِ ییشی ‪.(Ѳ-subsumption) Ѳ‬دٍ حکن‬
‫‪ ،‬آًگبُ حکن‬ ‫ًیض ػجبسات دلخَاّی ّؼتٌذ‪ .‬ایش ٍ فقي ایش خبًـیٌی ای هثل ‪ Ѳ‬یبفت ؿَد کِ‬ ‫ًیض ػجبستی هثجت ٍ‬
‫اػت‪ .‬ایي تؼشیف سا )‪ (Plotkin 1970‬اًدبم دادُ اػت‪.‬‬ ‫صهبًی ًتیدِ ییشی ‪ Ѳ‬ی‬
‫اػوتٌتبج کوشد (هوی ًَیؼوین‬ ‫سا اص‬ ‫سا دس ًظوش ثگیشیوذ‪ .‬ایوش ٍ فقوي ایوش‬ ‫ٍ‬ ‫ًتیدِ ییشی )‪ .(Entailment‬دٍ حکن‬
‫ًتیدِ ییشی هی ؿَد‪.‬‬ ‫اص‬ ‫)‪ ،‬آًگبُ‬
‫سا ثب ًوبد یزاسی دسخوِ اٍ هـوبثِ دٍ تؼشیوف دیگوش ثبصًَیؼوی کٌوین‪ .‬ایوش )‪h(x‬‬ ‫ساثٌِ ی ثیي ػِ تؼشیف ثبال چیؼت؟ اثتذا ثیبییذ تؼشیف‬
‫فشهیِ ی هٌٌقی هقذاس ثشای هفَْم ّذف )‪ ،c(x‬کِ دس آى )‪ h(x‬ثب ػٌفی اص ػجبسات ثیبى ؿذُ‪ ،‬آًگبُ هی تَاى فشهیِ سا ثب حکن صیش ثبصًَیؼوی‬
‫کشد‪،‬‬

‫) ( ←) (‬

‫دس ایٌدب ًیض اص تفؼیش ‪ Prolog‬هجٌی ثش ایٌکِ ایش ًتَاى اثجبت کشد کِ ‪ً x‬وًَِ ای هثجت اػت‪ ،‬هٌفی دػتِ ثٌذی خَاّذ ؿذ اػتفبدُ هوی کٌوین‪.‬‬
‫ثِ ؿشٍى یب ثذًِ ی ‪ّ Horn clause‬ب اػوب هوی ؿوَد‪ .‬حکون هووٌی ‪Horn‬‬ ‫ثٌبثشایي‪ ،‬هی تَاى هـبّذُ کشد کِ تؼشیف قجلی هبى اص‬
‫‪ clause‬هیض هفَْم ّذف )‪ c(x‬اػت‪.‬‬

‫اص‬ ‫←) (‬ ‫‪ ،‬آًگوبُ حکون ) (‬ ‫ثب تؼشیف ًتیدوِ ییوشی ‪ Ѳ‬چیؼوت؟ تَخوِ داسیوذ کوِ ایوش‬ ‫ساثٌِ ی ایي تؼشیف‬
‫ًتیدِ ییشی ‪ Ѳ‬هی ؿَد‪ .‬ػ ٍُ ثش ایي‪ً ،‬تیدِ ییشی ‪ Ѳ‬حتی ٌّگبهی کِ ػش حکن ّب هتفبٍت اًذ دسػت اػت‪ .‬ثوشای‬ ‫←) (‬ ‫) (‬
‫هثب ‪ ،‬حکن ‪ A‬دس هثب صیش حکن ‪ B‬سا ًتیدِ ‪ Ѳ‬هی دّذ‪:‬‬

‫(‬ ‫←)‬ ‫(‬ ‫⋀)‬ ‫(‬ ‫)‬

‫(‬ ‫←)‬ ‫(‬ ‫⋀)‬ ‫(‬ ‫⋀)‬ ‫) (‬

‫ثِ ًَس هوٌی فشم هی کٌذ کِ ػش دٍ حکون یکوی‬ ‫ایش }‪ .Ѳ={y/Louise,z/Bob‬تفبٍت کلیذی دس ایي اػت کِ‬ ‫صیشا کِ‬
‫ّؼتٌذ‪ ،‬دس حبلی کِ ًتیدِ ییشی ‪ Ѳ‬ثشای حکن ّبیی کِ ػش ّبی هتفبٍتی داسًذ ًیض دسػت اػت‪.‬‬

‫ث خشُ ایٌکِ‪ً ،‬تیدِ ییشی ‪ Ѳ‬حبلت خبكی اص ًتیدِ ییشی اػت‪ .‬ثذیي هؼٌب کِ ایش حکن ‪ A‬اص حکن ‪ً B‬تیدِ ییشی ‪ Ѳ‬ؿَد خَاّین داؿت کوِ‬
‫‪ .A B‬ثب ایي ٍخَد‪ ،‬هی تَاى حکن ّبی ‪ B ٍ A‬سا پیذا کشد کِ ‪ A B‬اهب ‪ B‬اص ‪ً A‬تیدِ ییشی ‪ً Ѳ‬ـَد‪ .‬ثشای هثب صٍج هشتت حکن ّبی صیش سا‬
‫دس ًظش ثگیشیذ‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‬ ‫← )) (‬ ‫) (‬

‫(‬ ‫(‬ ‫← ))) (‬ ‫) (‬

‫دس ایٌدب تبثغ )‪ father_of(x‬تبثؼی اػت کِ ثش سٍی افشاد تؼشیف ؿذُ ٍ پذس ‪ x‬سا ثش هی یشداًذ‪ .‬تَخِ داسیذ کِ ‪ B‬سا هی تَاى اص ‪ A‬اثجبت کوشد‬
‫اهب خبًـیٌی ‪ٍ Ѳ‬خَد ًذاسد کِ ًتیدِ ییشی ‪ Ѳ‬ی ‪ B ،A‬ؿَد‪.‬‬

‫ّوبًٌَس کِ دس ایي هثبلْب ًیض ًـبى دادُ ؿذ‪ً ،‬وبدیزاسی قجلی کلی تش ثَدى حبلت خبكی اص ًتیدِ ییشی ‪ Ѳ‬اػت کِ خَد ًیوض حبلوت خبكوی اص‬
‫ًتیدِ ییشی اػت‪ .‬ثٌبثشایي خؼتدَ ی فوبی فشهیِ ای ثب کلی تش یب خبف تش کشدى فشهیِ ّب هحذٍد تش اص خؼتدَ ثب ػوگش ّبی ػکغ ًتیدِ‬
‫ییشی اػت‪ .‬هتبػفبًِ‪ً ،‬وبدیزاسی هتَػي ًتیدِ ییشی ‪ً ،Ѳ‬وبدیزاسی ساحتی سا ایدبد هی کٌذ کِ دس ثیي ًوبدیزاسی قجلی هبى دس ساثٌِ ی کلوی‬
‫تشی ٍ ًوبد یزاسی ًتیدِ ییشی اػت‪.‬‬

‫‪Prolog 1.0.0.‬‬
‫ثب ٍخَد ایٌکِ ػکغ دقت هتذی فشیجٌذُ ثشای ایدبد فشهیِ ّبی هوکي اػت‪ ،‬دس ػول هی تَاًذ ثِ ساحتی ثِ اًفدبسی اص فشهویِ ّوبی هوکوي‬
‫تجذیل ؿَد‪ .‬سٍؽ خبیگضیي دیگش اػتفبدُ اص ػکغ ًتیدِ ییشی ثشای ایدبد تک خبكتشیي فشهیِ اػت کِ ثب داًؾ قجلی دادُ ّبی آهَصؿوی سا‬
‫ًتیدِ ثذٌّذ‪ .‬ایي خبكتشیي فشهیِ سا هی تَاى ثشای هحذٍد کشدى خؼتدَ ی کلی تشی دس فوبی فشهیِ ای هـبثِ فوبی فشهیِ ای ‪ FOIL‬ثِ‬
‫کبسثشد‪ ،‬ثب ایي ؿشى اهبفِ کِ فقي فشهیِ ّبی کلی تش اص ایي هشص دس ًظش یشفتِ خَاٌّذ ؿذ‪ .‬ایي سٍؽ دس ػیؼتن ‪ Prolog‬هَسد اػوتفبدُ قوشاس‬
‫یشفتِ اػت‪ ،‬الگَسیتن ‪ Prolog‬ثِ ًَس خ كِ دس صیش آٍسدُ ؿذُ‪:‬‬

‫کبسثش ثب اػتفبدُ اص صثبى ػجبسات دسخِ اٍ هحذٍد ؿذُ فوبی فشهیِ ای ‪ H‬سا هـخق هی کٌذ‪ .‬هحذٍدیت ّبی ثب "ًحَُ ی تؼشیف"‬
‫ایدبد هی ؿَد کِ ثِ کبسثش اهکبى هـخق کشدى پیـجیٌی ٍ ًوبد ّبی تبثغ ٍ ًَع ٍ فشم آسیَهبًْبی ّش کذام سا هی دّذ ‪.---‬‬
‫‪ Prolog‬اص الگَسیتوی تشتیجی ثشای یبدییشی دػتِ ػجبساتی اص ‪ H‬کِ دادُ ّب سا هی پَؿبًٌذ کووک هوی ییوشد‪ .‬ثوشای ّوش ًوًَوِ ی‬
‫دسٍى‬ ‫کِ ٌَّص تَػي ػجبسات یبدیشفتِ ؿذُ پَؿبًذُ ًـذُ‪ ،‬ایي ػیؼتن اثتذا ثِ دًجب خبكتشیي فشهویِ ی‬ ‫) (‬ ‫‪H‬‬
‫) ⋀ ⋀ ( ‪ .‬ثوِ ػجوبست دقیقتوش‪ ،‬ایوي ػیؼوتن فشهویِ سا ثوب هحبػوجِ ی خبكوتشیي‬ ‫‪ H‬هی یشدد کِ داؿتِ ثبؿین ) (‬
‫فشهیِ ّب دس هیبى فشهیِ ّبیی کِ اص آًْب ) ( ثب ‪ k‬ثبس اػتفبدُ اص قبًَى دقت ًتیدِ یشفتِ هی ؿَد تخویي هی صًذ (‪ k‬پوبساهتشی‬
‫اػت کِ تَػي کبسثش تؼییي هی ؿَد)‪.‬‬
‫‪ ،‬کوِ دس‬ ‫‪ Prolog‬اص خؼتدَیی کلی ثِ خضئی دس فوبی فشهیِ ای هحذٍد ثیي کلی توشیي فشهویِ ی هوکوي ٍ هوشص خبكوتشیي‬
‫هشحلِ ی ‪ 2‬هحبػجِ ؿذ‪ ،‬اػتفبدُ هی کٌذ‪ .‬دس ایي هدوَػِ ی فشهیِ ّب‪ ،‬ایي ػیؼتن ثِ دًجب فشهویِ ای اػوت کوِ کوتوشیي ًوَ‬
‫تَهیح (کِ ثب تؼذاد ػجبسات ػٌدیذُ هی ؿَد) سا داؿتِ ثبؿذ‪ .‬ایي ثخؾ اص خؼوتدَ ثوب سٍؽ اثتکوبسی ‪ A*-like‬کوِ ّوشع ثوذٍى‬
‫سیؼک حزف خبكتشیي فشهیِ سا هوکي هی ػبصد اًدبم هی ییشد‪.‬‬
‫خضئیبت الگَسیتن ‪ Prolog‬دس )‪ (Muggleton 1992,1995‬آٍسدُ ؿذُ اػت‪.‬‬

‫‪ 1.01‬خالصه ي مىابع برای مطالعه ی بیشتر‬

‫ًکبت اكلی ایي فلل ؿبهل هَاسد صیش هی ؿَد‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫الگَسیتن ّبی پَؿؾ تشتیجی فللی اص قَاًیي سا ثب یبدییشی یک قبًَى دقیق ٍ ػسغ حزف ًوًَِ ّبی هثجت پَؿؾ دادُ ؿذُ تَػي‬
‫ایي قبًَى ٍ تکشاس ایي فشایٌذ تب ایٌکِ توبهی ًوًَِ ّبی هثجت پَؿؾ دادُ ؿًَذ یبد هی ییشًذ‪ .‬ایوي الگوَسیتن کوبسا ٍ حوشیق ثوشای‬
‫یبدییشی دػتِ قَاًیي یضیٌِ ای دس هقبثل یبدییشی دسختی ثبال ثِ پبییي هثل الگَسیتن ‪ ID3‬اػت کِ هی تَاى آًشا ثِ كَست پَؿوؾ‬
‫ّوضهبى (دس هقبثل پَؿؾ تشتیجی) داًؼت‪.‬‬
‫دس الگَسیتن ّبی پَؿؾ تشتیجی هتذّبی هختلفی سا ثشای یبدییشی یک قبًَى اسائِ ؿذُ اػت‪ .‬ایي هتذ ّب دس اػتشاتظی خؼتدَ ثشای‬
‫ثشسػی فوبی ؿشٍى هوکي قبًَى هتفبٍت اًذ‪ .‬یکی اص سٍؿْبی هتذاٍ ‪ ،‬کِ دس ثشًبهِ ی ‪ً CN2‬یض ثِ کبس سفتِ‪ ،‬اػتفبدُ اص خؼتدَی‬
‫ػتًَی ٍ کلی ثِ خضئی اػت‪ .‬دس ایي سٍؽ قَاًیي خَاف تش ایدبد ٍ هَسد ثشسػی قشاس هی ییشًذ تب قبًًَی ثِ اًذاصُ ی کوبفی دقیوق‬
‫پیذا یشدد‪ .‬سٍؽ ّبی خؼتدَی فشهیِ ای خضئی ثِ کلی دیگش اص خؼتدَیی هجتٌی ثش ًوًَِ ّب ثِ خبی آصهوَى ٍ خٌوب کووک هوی‬
‫ییشًذ ٍ اص هؼیبسّبی آهبسی هختلف ثشای دقت قبًَى دس کٌتش خؼتدَ کوک هی ییشًذ‪.‬‬
‫هدوَػِ قَاًیي دسخِ اٍ (قَاًیٌی کِ هتریش ًیض داسًذ) ًوبیؾ ؿبهلی داسًذ‪ .‬ثشای هثل‪ ،‬صثبى ثشًبهِ ًَیؼی ‪ Prolog‬ثشًبهِ ّوب سا دس‬
‫حبلت کلی ثب اػتفبدُ اص هدوَػِ ای اص ‪ّ horn clause‬بی دسخِ اٍ ًـبى هی دّذ‪ .‬ثشای ّویي یوبّی ثوِ هؼوئلِ ی یوبدییشی‬
‫‪ّ horn clause‬بی دسخِ اٍ هؼئلِ ی ثشًبهِ ًَیؼی هٌٌقی اػتقشایی هی یَیٌذ‪.‬‬
‫یکی اص سٍؿْبی یبدییشی دػتِ قَاًیي دسخِ اٍ تؼوین الگَسیتن پَؿؾ تشتیجی ‪ CN2‬اص ًووبیؾ یوضاسُ ای ثوِ ًووبیؾ دسخوِ اٍ‬
‫اػت‪ .‬ایي سٍؽ دس ثشًبهِ ی ‪ FOIL‬ثِ کبس سفتِ اػت‪ ،‬ایي ثشًبهِ دػتِ قَاًیي دسخِ اٍ ‪ ،‬ؿبهل خولِ قوَاًیي ثبصیـوتی‪ ،‬سا یوبد هوی‬
‫ییشد‪.‬‬
‫سٍؽ دیگشی ثشای یبدییشی قَاًیي دسخِ اٍ ثش اػبع ایي هـبّذُ کِ اػتقشا ػکغ اػتٌتبج اػت هی ثبؿذ‪ .‬ثِ ػجبست دیگش‪ ،‬هؼئلِ‬
‫ی اػتقشا پیذا کشدى فشهیِ هثل ‪ h‬اػت کِ‬
‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫) (‬

‫) ( ًیض هقوبدیش‬ ‫(‬ ‫تَكیف ًوًَِ ّبی دسٍى دادُ ّبی آهَصؿی ‪ّ D‬ؼتٌذ ٍ )‬ ‫دس ایي ساثٌِ ‪ B‬داًؾ قجلی کلی اػت‪،‬‬
‫ّذف ًوًَِ ّبی آهَصؿی ّؼتٌذ‪.‬‬

‫ثب دًجب کشدى دیذیبُ اػتقشا ثِ ػٌَاى ػکغ اػتٌتبج‪ ،‬ثؼوی ثشًبهِ ّب خؼتدَیی ثشای فشهیِ ّب ثب اػتفبدُ اص ػولگشی کوِ ػولگوش‬
‫هؼشٍف اػتٌتبج سا ػکغ هی کٌذ اًدبم هی دٌّذ‪ .‬ثشای هثب ‪ Cigol‬اص ػکغ دقت‪ ،‬ػولگشی کِ ػکغ ػولگش اػتٌتبج دقت هتذاٍ‬
‫دس اثجبت قوبیبی هکبًیکی اػت‪ ،‬اػتفبدُ هی کٌذ‪ً Progol .‬یض اػتشاتظی ػکغ اػتٌتبج سا ثب اػتشاتظی خؼتدَی فوبی فشهیِ ای‬
‫کلی ثِ خضئی تشکیت هی کٌذ‪.‬‬
‫کبسّبی اٍلیِ ثش سٍی یبدییشی ًؼجی تَهیحبت ؿبهل ثشًبهِ ی هؼشٍف )‪ Winston (1970‬ثشای یبدییشی تَهیحبت ثِ فوشم ؿوجکِ ثوشای‬
‫هفبّیوی چَى سئیغ )”‪ ،(“arch‬کبس )‪ ٍ Banerji (1964,1969‬ػشی کبسّبی ‪ Michalski‬ثش سٍی ثشًبهِ ّوبی ‪(Michalski AQ‬‬
‫)‪ 1960; Michalski et al. 1986‬هی ؿَد‪ .‬کبسّبی ‪ Michalski‬اص خولِ اٍلیِ کبسّوبیی اػوت کوِ اػوتفبدُ اص ًووبیؾ هٌٌقوی سا دس‬
‫یبدییشی ثشسػی کشد‪ .‬تؼشیف )‪ Plotkin (1970‬اص خبیگضیٌی ‪ θ‬ساثٌِ ی اٍلیوِ ی ثویي اػوتقشا ٍ اػوتٌتبج سا ثبثوت کوشد‪ّ .‬وچٌویي ‪Vere‬‬
‫)‪ (1975‬یبدییشی ًوبیؾ هٌٌقی سا هَسد ثشسػی قشاس داد‪ ،‬ثشًبهِ ی ‪ META-DENDRAL‬ی ‪ Buchanan‬تَهیحبت ًؼوجی هشثًَوِ ی‬
‫ًیف خشهی ػبختبسّبی هلکَلی ‪ ---‬سا یبدیشفتِ‪ .‬ایي ثشًبهِ ثِ ًَس هَفقیت آهیض دس کـف قَاًیي هفیذ ای کِ هتبقجب دس کتت ؿیوی هٌتـش ؿذُ‬
‫اػت‪ .‬الگَسیتن ‪ Candidate-Elimination vertion space‬ی ‪ Mitchell‬دس ساثٌِ ّبی هـبثِ ػبختبسّبی ؿیوی ثِ کبس سفتِ اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب سٍاج صثبى ‪ Prolog‬دس اٍاػي دِّ ی ‪ ،1980‬تحقیقبت ثِ ػوت یبدییشی تَهیحبت ًؼجی ثیبى ؿذُ ثب دػوتِ ‪ّ Horn clause‬وب سفوت‪.‬‬
‫کبسّبی اٍلیِ ثش سٍی ‪ّ horn clause‬وب ؿوبهل ثشًبهوِ ی ‪ MIS‬اص )‪ MARVIN ٍ Shapiro (1983‬اص ‪Sammut and Banerji‬‬
‫)‪ (1986‬هی ؿَد‪ .‬الگَسیتن ‪ FOIL‬اص )‪ Quinlan (1990‬کِ دس فلل ًیض هَسد ثشسػی قشاس یشفت‪ ،‬ثِ ػشػت ثب الگوَسیتن ّوبی خؼوتدَی‬
‫کلی ثِ خضئی ثشای قَاًیي دسخِ اٍ ؿوبهل ‪ MFOIL‬اص )‪ FOCL ،Dzeroski (1991‬اص )‪ CLAUDIEN ،Pazzani et al. (1991‬اص‬
‫)‪ MARKUS ٍ De Raedt and Bruynooghe (1993‬اص )‪ .Grobelnik (1992‬الگَستین ‪ FOCL‬دس فلل ‪ 12‬هَسد ثشسػی قشاس‬
‫یشفتِ اػت‪.‬‬

‫خي دیگش تحقیقی اص یبدییشی ‪ horn clause‬ثب ػکغ ػول اػتٌتبج تَػي )‪ Muggleton and Buntine (1988‬پیـٌْبد ؿذ کِ ثش‬
‫اػبع ایذُ ّبی هـبثِ )‪ Muggleton (1987) ٍ Sammut and Banerji (1986‬ایدبد ؿذُ ثَد‪ .‬کبسّبی اخیش دس ایوي حَهوِ ثوش‬
‫دیگش اػتشاتظی ّبی خؼتدَ ٍ هتذّبی توشکض فوبی فشهیِ ثشای ایدبد یوبدییشی هْوبس ؿوذُ اػوت‪ .‬ثوشای هثوب ‪Kietz and Wrobel ،‬‬
‫)‪ (1992‬اص قبًَى ‪ schemata‬دس ثشًبهِ ی ‪ RDT‬خَد کِ فشم ثیبى دس ًظش یشفتِ ؿذُ دس ًَ یبدییشی سا هحذٍد هی کٌوذ اػوتفبدُ کوشدُ‬
‫اًذ‪ً Muggleton and Feng (1992) ،‬یض هحذٍدیت ًووبیؾ دسخوِ اٍ سا ثوِ ‪ ij-determinate‬سا ثشسػوی کوشدُ اًوذ‪Cohen .‬‬
‫)‪ (1994‬ثشًبهِ ی کلی ‪ GRENDEL‬سا کِ هدوَػِ ای اص تَهیحبت هحن سا دسثبسُ ی صثبى تَكیف ثذًِ ی قبًَى دسیبفت کشدُ ٍ ثِ کبسثش‬
‫اخبصُ هی دّذ تب فوبی فشهیِ ای سا ثِ ًَس دلخَاُ هحذٍد کٌذ سا هَسد ثحث قشاس دادُ اػت‪.‬‬

‫)‪ Lavrac and Dzeroski (1994‬کتبثی ػبدُ ای سا دسثبسُ ی ثشًبهِ ًَیؼی اػتقشایی هٌٌقی اسائِ هی کٌٌذ‪ .‬دیگوش کتوت هوی توَاى ثوِ‬
‫)‪ Muggleton (1992,1995b) ،Morik et al. (1993) ،Bergadano and Gunetti (1995‬اؿبسُ کشد‪ .‬فلل هشثًَوِ ی‬
‫)‪ً Wrobel (1996‬یض دیذ خَثی دس ایي صهیٌِ اسائِ هی کٌذ‪ Bratko and Muggleton (1995) .‬خ كِ ی تؼذادی اص کبسثشد ّوبی‬
‫اخیش ‪ ILP‬دس هؼبئل کبسثشدی هْن سا هٌشح هی کٌٌذ‪ .‬هدوَػِ ای اص کبسیبّْبی ‪ ILP‬ػبالًِ هٌجغ خَثی اص تحقیقبت اخیش دس ایي صهیٌِ اسائِ هی‬
‫کٌٌذ (ثِ )‪ De Raedt (1996‬سخَع کٌیذ)‪.‬‬

‫تمریىات‬
‫‪ 1..1‬الگَسیتوی پَؿؾ تشتیجی هـبثِ ‪ ٍ CN2‬الگَسیتوی پَؿؾ ّوضهبى هثل ‪ ID3‬سا دس ًظش ثگیشیذ‪ّ .‬ش دٍ الگَسیتن ثوشای یوبدییشی هفْوَم‬
‫ّذف تؼشیف ؿذُ سٍی ًوًَِ ّبی تَكیفی ثب ػلف ‪ n‬هتریش هٌٌقی ثِ کبس هی سًٍذ‪ .‬ایش ‪ ID3‬دسخت تلوین هتقبسًی ثب ػوق ‪ d‬سا یوبد ثگیوشد‬
‫اًتخبة دس ٌّگبم ػبخت فشهیِ خشٍخی اًدبم هی دّذ‪ .‬چِ تؼذاد‬ ‫یشُ تلوین هؼتقل خَاّذ داؿت‪ ٍ ،‬ثٌبثشایي‬ ‫ایي دسخت‬
‫قبًَى ثشای ًوبیؾ چٌیي دسختی ثِ ػٌَاى فلل دػتِ قَاًیي الصم اػت؟ ّش یک اص ایي قَاًیي چٌذیي ؿوشى خَاٌّوذ داؿوت؟ یوک الگوَسیتن‬
‫پَؿؾ تشتیجی چِ تؼذاد اًتخبة هؼتقل ثبیذ اًدبم دّذ تب ّویي دػتِ قَاًیي سا ایدبد کٌذ؟ فکش هی کٌیذ کذام ػیؼوتن ثوب دادُ ّوبی آهَصؿوی‬
‫یکی‪ ،‬ثیـتش توبیل ثِ ‪ overfit‬خَاّذ داؿت؟‬

‫‪ 1..2‬الگَسیتن ‪ learn-one-rule‬دس خذٍ ‪ 1..2‬سا چٌبى ترییش دّذی کِ ثتَاًذ قَاًیٌی کِ ؿشًٍـبى هقبیؼِ ی ٍیظیی ّب ثب اػذاد حقیقوی‬
‫اػت سا ًیض یبد ثگیشد (هثل ‪ .)temperature>42‬الگَسیتن خَد سا ثب ترییشاتی کِ ثبیذ ثِ خذٍ ‪ 1..2‬اػوب ؿَد هـخق کٌیوذ‪ .‬ساٌّووبیی‪:‬‬
‫ثِ ّویي تؼوین دس یبدییشی دسختی تَخِ کٌیذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1..3‬الگَسیتن ‪ learn-one-rule‬دس خذٍ ‪ 1..2‬سا چٌبى ترییش دّذی کِ ثتَاًذ قَاًیٌی کِ ؿشًٍـبى ػوَیت دس هدوَػِ ی هؼلَهی اػت‬
‫)‪ .‬الگَستین ترییش یبفتِ ی ؿوب ثبیذ تووبهی فشهویِ ّوبی هوکوي‬ ‫*‬ ‫سا ًیض یبد ثگیشد (هثل ‪+‬‬
‫ؿبهل چٌیي صیشهدوَػِ ّبیی سا خؼتدَ کٌذ‪ .‬الگَسیتن خَد سا ثب ترییشاتی کِ ثبیذ ثِ خذٍ ‪ 1..2‬اػوب ؿَد هـخق کٌیذ‪.‬‬

‫‪ 1..4‬اػتفبدُ اص ‪ learn-one-rule‬دس ایدبد اػتشاتظی خؼتدَی فوبی فشهیِ ای سا دس ًظش ثگیشیذ‪ .‬دس کل‪ٍ ،‬یظیی ّبی خؼوتدَی صیوش سا‬
‫دس ًظش ثگیشیذ‪:‬‬

‫)‪ (a‬آصهَى ٍ خٌب دس هقبثل کٌتش ؿذُ ثب دادُ ّب‬

‫)‪ (b‬کلی ثِ خضئی دس هقبثل خضئی ثِ کلی‬

‫)‪ (c‬پَؿؾ تشتیجی دس هقبثل پَؿؾ ّوضهبى‬

‫دس هَسد هضیت ّبی اًتخبثْبی الگَسیتن خذٍ ‪ 1..2 ٍ 1..1‬ثحث کٌیذ‪ .‬ثشای ّش یک اص ایي ػِ ٍیظیی اػتشاتظی خؼتدَ‪ ،‬تبثیش هثجت یب هٌفوی‬
‫آى سا ثحث کٌیذ‪.‬‬

‫اػوب کٌیذ‪ .‬حذاقل دٍ خوَاة ثوشای‬ ‫ٍ‬ ‫‪ 1..5‬اص قبًَى ػکغ دقت دس فشم یضاسُ ای ثش سٍی یضاسُ ّبی‬
‫اسائِ کٌیذ‪.‬‬

‫اػووب‬ ‫(‬ ‫)‬ ‫(‬ ‫ٍ)‬ ‫(‬ ‫)‬ ‫(‬ ‫‪ 1..6‬اص قبًَى ػکغ دقت دس فشم یوضاسُ ای ثوش سٍی یوضاسُ ّوبی )‬
‫اسائِ کٌیذ‪ B ٍ A .‬ثبثت ٍ ‪ y ٍ x‬هتریش ّؼتٌذ‪.‬‬ ‫کٌیذ‪ .‬حذاقل چْبس خَاة ثشای‬

‫‪ 1..7‬اٍلیي هشحلِ ی ػکغ قبًَى دقت سا دس ؿکل ‪ 1..3‬سا دس ًظش ثگیشیذ‪ .‬حذاقل دٍ حبكل هختلف ‪-----‬‬

‫‪ 1..8‬سٍاثي تؼشیفی هؼئلِ ی اػتقشا دس ایي فلل سا دس ًظش ثگیشیذ‪:‬‬

‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫) (‬

‫سا ثب ساثٌِ ی صیش تؼشیف کشدین‪:‬‬ ‫حب تؼشیف قجلی هبى اص ثبیبع اػتقشایی دس فلل ‪ 2‬سا ًیض دس ًظش ثگیشیذ‪ ،‬ساثٌِ ی ‪ .2.1‬دس آًدب‬

‫(‬ ‫()‬ ‫) ⋀ ⋀‬ ‫(‬ ‫)‬

‫ثؼذ اص هـبّذُ ی دادُ ّبی آصهبیـی ‪ D‬اًدبم هوی دّوذ ٍ ‪ X‬کول‬ ‫( دػتِ ثٌذی ای اػت کِ یبدییش ثشای ًوًَِ ی‬ ‫دس ایي ساثٌِ )‬
‫فوبی ًوًَِ ای اػت‪ .‬تَخِ داسیذ کِ ساثٌِ ی اٍ قلذ داسد کِ فشهیِ ای سا کِ یبدییش ػ قِ ثِ پیذا کشدًؾ سا داسد تَكیف کٌذ دس حبلی کِ‬
‫ساثٌِ ی دٍم قلذ داسد خي هـی یبدییش سا ثشای تؼوین فشای دادُ ّبی آهَصؿی سا تؼییي کٌذ‪ .‬یبدییشی ایدبد کٌیذ کِ ثبیبع اػتقشایی اؽ دقیقب‬
‫هـبثِ داًؾ قجلی هَخَد ‪ B‬ثبؿذ‪.‬‬

‫فرهىگ لغات تخصصی فصل (فارسی به اوگلیسی)‬

‫‪first-order horn clase‬‬ ‫‪ horn clause‬دسخِ اٍ‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

inductive logic programming (ILG) ‫ثشًبهِ ًَیؼی هٌٌقی‬

inductive logic programming ‫ثشًبهِ ًَیؼی اػتقشایی هٌٌقی‬
simultaneous covering ‫پَؿؾ ّوضهبى‬
Implementing ‫تؼشیف‬
relative frequency ‫تکشاس ًؼجی‬
mechanical theorem provers ‫ثبثت کٌٌذُ ی تئَسی‬
beam search ‫خؼتدَی ػتًَی‬
Clause, postcondition ‫حکن‬
sets of rules ‫دػتِ قَاًیي‬
Resolution ‫دقت‬
propositional representation ‫سٍؽ ّبی یضاسُ ای‬
Syntax ‫صثبى‬
Subroutine ‫صیش سٍا‬
Precondition ‫ؿشى‬
Literal ‫ػجبست‬
deductive operator ‫ػولگش ّبی ًتیدِ ییشی‬
Expressive ‫قبثلیت ثیبى‬
Expressive ‫قَی تش دس ثیبى‬
Performance ‫کبسایی‬
example driven ‫کٌتش ًوًَِ ای‬
covering ‫الگَسیتن پَؿـی‬
sequential covering algorithms ‫الگَسیتن ّبی تشتیجی‬
candidate ‫هوکي‬
first order logic ٍ‫هٌٌق دسخِ ا‬
backtrack ‫ًگبُ ثِ هشحلِ ّبی قجلی‬
predicate symbol ‫ًوبد ّبی یضاسُ ای‬
propositional representation ‫ًوبیؾ ّبی یضاسُ ای‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل یبزدهم‪ :‬یبدگیری تحلیلی‬

‫ٔتذ ‪ٞ‬بی یبدٌیشی اػتمشایی ٔثُ ؿجى‪ٞ ٝ‬بی ػلجی ‪ ٚ‬یبدٌیشی دسختی ثشای سػیذٖ ث‪ ٝ‬حذی اص دلت دس تؼٕیٓ ٘یبص ث‪ ٝ‬تؼذاد لبثُ ت‪ٛ‬خ‪ٟ‬ی ٕ٘‪٘ٛ‬ه‪ٝ‬‬
‫آٔ‪ٛ‬صؿی داس٘ذ‪ ،‬ایٗ ٘یبص دس ٔشص ‪ٞ‬بی تئ‪ٛ‬سی ‪٘ ٚ‬تبیح آصٔبیـٍب‪ٞ‬ی تبثیش خ‪ٛ‬ا‪ٞ‬ذ ٌزاؿت‪ .‬یبدٌیشی تحّیّی اص دا٘ؾ لجّی ‪ ٚ‬اػتذالَ اػهت‪ٙ‬تبخی ثهشای‬
‫خٕغ آ‪ٚ‬سی اًالػبت ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ ،‬ث‪ٙ‬بثشایٗ ث‪ٔ ٝ‬حذ‪ٚ‬دیت تؼذاد ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ٚ‬اثؼت‪٘ ٝ‬یؼت‪ .‬دس ایٗ فلهُ ثه‪ٔ ٝ‬تهذ‬
‫یبدٌیشی تحّیّی ای ث‪٘ ٝ‬بْ یبدٌیشی ت‪ٛ‬هیحی‪ٔ (EBL) 1‬ی پشداصیٓ‪ .‬دس یبدٌیشی ت‪ٛ‬هیحی دا٘ؾ لجّی ثهشای ثشسػهی ‪ ٚ‬یهب ت‪ٛ‬ههی ‪ٞ‬هش یهه اص‬
‫‪3‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬ث‪ ٝ‬وبس ٔی س‪ٚ‬د‪ .‬ػپغ اص ت‪ٛ‬هیحبت داد‪ ٜ‬ؿذ‪ ٜ‬ثشای تـخیق ‪ٚ‬یظٌی ‪ٞ‬بی ٔشتجي‪ 2‬اص ‪ٚ‬یظٌی ‪ٞ‬بی غیهش ٔهشتجي‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ ،‬ػپغ ٔی ت‪ٛ‬اٖ تؼٕیٓ سا ثش اػبع س‪ٚ‬ؿ‪ٟ‬بی ٔ‪ٌٙ‬می‪ 4‬ث‪ ٝ‬خبی س‪ٚ‬ؿ‪ٟ‬بی آٔبسی پیؾ ثشد‪ .‬یبدٌیشی ت‪ٛ‬ههیحی‬
‫ثشای یبدٌیشی ل‪ٛ‬ا٘یٗ و‪ٙ‬تشَ خؼتد‪ ٚ ٛ‬وبس‪ٞ‬بی ثش٘بٔ‪ ٝ‬سیضی ‪ ٚ‬ا٘دبْ‪ 5‬ثب ٔ‪ٛ‬فمیت ث‪ ٝ‬وبس ٌشفت‪ ٝ‬ؿذ‪ ٜ‬اػت‪ .‬دس ایٗ فلُ ثب فشم ای‪ٙ‬ى‪ ٝ‬دا٘ؾ لجّی‬
‫‪ ٕٝٞ‬خب٘ج‪ ٚ 6ٝ‬دسػت‪ 7‬اػت ث‪ ٝ‬یبدٌیشی ت‪ٛ‬هیحی ٔی پشداصیٓ‪ ٚ .‬دس فلُ ثؼذی ث‪ ٝ‬تشویت یبدٌیشی تحّیّی ‪ ٚ‬اػتمشایی ثشای ٔؼبئّی وه‪ ٝ‬دا٘هؾ‬
‫لجّی فمي تب حذی دسػت اػت ٔی پشداصیٓ‪.‬‬

‫‪ 11.1‬معرفی‬
‫دس فل‪ٌ َٛ‬زؿت‪ ٝ‬ا٘‪ٛ‬اع ٔختّف ٔتذ ‪ٞ‬بی یبدٌیشی اػتمشایی‪ٔ ،‬تذ ‪ٞ‬بیی و‪ ٝ‬تبثغ سا اص ًشیك ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬پیهذا وهشدٖ خ‪ٛ‬اكهی وه‪ ٝ‬یهه‬
‫ٕ٘‪ ٝ٘ٛ‬سا ٔثجت یب ٔ‪ٙ‬فی ٔی و‪ٙ‬ذ ٔی آٔ‪ٛ‬ص٘ذ‪ ،‬سا ثشسػی وشدیٓ‪ٔ .‬تذ ‪ٞ‬بی یبدٌیشی ٔثُ دسخت تلٕیٓ ٌیشی‪ ،‬ؿجى‪ٞ ٝ‬هبی ػلهجی‪ ،‬ثش٘بٔه‪ٛ٘ ٝ‬یؼهی‬

‫‪1‬‬
‫‪explanation-based learning‬‬
‫‪2‬‬
‫‪relevant‬‬
‫‪3‬‬
‫‪irrevelant‬‬
‫‪4‬‬
‫‪logical‬‬
‫‪5‬‬
‫‪planning and schedualing‬‬
‫‪6‬‬
‫‪complete‬‬
‫‪7‬‬
‫‪correct‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ٔ‪ٌٙ‬می اػتمشایی ‪ ٚ‬اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ط٘تیه ‪ٍٕٞ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔتذ ‪ٞ‬بی اػتمشایی ‪ٞ‬ؼت‪ٙ‬ذ‪ .‬هؼف وّیذی ٔتذ ‪ٞ‬بی اػتمشایی دس ٘یبص ثه‪ ٝ‬تؼهذاد لبثهُ‬
‫ت‪ٛ‬خ‪ٟ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػت‪ .‬دس ‪ٚ‬الغ ‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس فلُ ‪٘ 7‬یض ٌفت‪ ٝ‬ؿذ‪ ،‬ثشسػهی ‪ٞ‬هبی تئه‪ٛ‬سی ٘ـهبٖ ٔهی د‪ٞ‬هذ وه‪ٔ ٝ‬حهذ‪ٚ‬دیت ‪ٞ‬هبی‬
‫پبی‪ ٝ‬ای ای دس دلت ایٗ ٘‪ٛ‬ع ٔتذ ‪ٞ‬ب ‪ٍٙٞ‬بٔی و‪ ٝ‬تؼذادی ٕ٘‪ ٝ٘ٛ‬آٔ‪ٛ‬صؿی ٔحذ‪ٚ‬د اػت ‪ٚ‬خ‪ٛ‬د داسد‪.‬‬

‫آیب ٔی ت‪ٛ‬ا٘ذ ٔتذ ‪ٞ‬بی یبدٌیشی ای ایدبد وشد و‪ ٝ‬ایٗ ٔحذ‪ٚ‬دیت ‪ٞ‬بی پبی‪ ٝ‬ای سا ٘ذاؿت‪ ٝ‬ثبؿذ ‪ ٚ‬ثب اػتفبد‪ ٜ‬اص داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔ‪ٛ‬خ‪ٛ‬د وهبس و‪ٙ‬هذ‬
‫خ‪ٛ‬اة ٔثجت اػت ث‪ ٝ‬ؿشى ای‪ٙ‬ى‪ ٝ‬دس خ‪ٛ‬د تؼشیف ٔؼئّ‪ ٝ‬ی یبدٌیشی تدذیذ ٘ظش و‪ٙ‬یٓ‪ .‬یىی اص سا‪ٟٞ‬بی ٕٔىٗ ایدبد اٍِه‪ٛ‬سیتٓ ‪ٞ‬هبی یهبدٌیشی ای‬
‫اػت و‪ ٝ‬دا٘ـی لجّی سا ػال‪ ٜٚ‬ثش ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی دسیبفت و‪ٙٙ‬ذ‪ .‬یبدٌیشی ت‪ٛ‬هیحی چ‪ٙ‬یٗ ٔتذی اػت‪ .‬ایٗ ٔتذ اص دا٘ؾ لجّی ثشای ثشسػهی ‪ٚ‬‬
‫ت‪ٛ‬هی ‪ٞ‬ش یه اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ تب ثف‪ٕٟ‬ذ و‪ ٝ‬وذاْ ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ٔشث‪ٛ‬ى ‪ ٚ‬وذاْ ‪ٚ‬یظٌی ‪ٞ‬ب ٘هبٔشث‪ٛ‬ى ثه‪ٝ‬‬
‫تبثغ ‪ٞ‬ذف‪ٙ‬ذ‪ .‬چ‪ٙ‬یٗ اًالػبتی ثبػث ٔی ؿ‪ٛ‬د تب ایٗ اٍِ‪ٛ‬سیتٓ ثت‪ٛ‬ا٘ذ ث‪ٟ‬تش اص ػیؼتٓ ‪ٞ‬بی اػتمشایی و‪ ٝ‬فمي ٔجت‪ٙ‬ی ثش ٕ٘‪ٞ ٝ٘ٛ‬هبی آٔ‪ٛ‬صؿهی ‪ٞ‬ؼهت‪ٙ‬ذ‪،‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬ب سا ثشسػی و‪ٙ‬ذ‪ٕٞ .‬بٌ٘‪ٛ‬س و‪ ٝ‬دس فل‪ٌ َٛ‬زؿت‪٘ ٝ‬یض دیذیٓ‪ ،‬ػیؼتٓ ‪ٞ‬بی ثش٘بٔ‪ٛ٘ ٝ‬یؼی ٔ‪ٌٙ‬می اػتمشایی ٔثُ ‪ Cigol‬دا٘ـهی اههبفی ٘یهض‬
‫ثشای خ‪ٟ‬ت د‪ٞ‬ی ث‪ ٝ‬یبدٌیشی داس٘ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬چ‪ٙ‬یٗ ػیؼتٓ ‪ٞ‬بیی اص دا٘ؾ لجّی ثشای تغییش ت‪ٛ‬كیفبت ٕ٘‪ٞ ٝ٘ٛ‬بی ‪ٚ‬س‪ٚ‬دی اػتفبد‪ٔ ٜ‬هی و‪ٙٙ‬هذ ‪ٚ‬‬
‫پیچیذٌی فوبی فشهی‪ ٝ‬ای خؼتد‪ ٛ‬سا افضایؾ ٔی د‪ٙٞ‬ذ‪ .‬دس ٔمبثُ‪ ،‬یبدٌیشی ت‪ٛ‬هیحی اص ایٗ دا٘ؾ لجّی وهب‪ٞ‬ؾ پیچیهذٌی فوهبی فشههی‪ ٝ‬ای‬
‫ٔ‪ٛ‬سد خؼتد‪ ٛ‬وٕه ٔی ٌیشد‪ ،‬ث‪ٙ‬بثشایٗ‪ ،‬پیچیذٌی ٕ٘‪ ٝ٘ٛ‬ای وب‪ٞ‬ؾ یبفت‪ ٚ ٝ‬دلت تؼٕیٓ یبدٌیش ٘یض افضایؾ خ‪ٛ‬ا‪ٞ‬ذ یبفت‪.‬‬

‫ثشای ؿ‪ٟٛ‬د الصْ ثشای یبدٌیشی ت‪ٛ‬هیحی‪ ،‬یبدٌیشی ثبصی ؿٌش٘ح سا دس ٘ظش ثٍیشیذ‪ .‬دس وُ‪ ،‬فشم و‪ٙ‬یذ و‪ٔ ٝ‬ی خ‪ٛ‬ا‪ٞ‬یٓ ثش٘بٔ‪ ٝ‬ی ٔب ٔدٕ‪ٛ‬ػه‪ ٝ‬ی‬
‫پ‪ٛ‬صیؼی‪ٞ ٖٛ‬بی ٔ‪ٕٟ‬ی سا یبدثٍیشد‪ٔ ،‬ثُ ٔف‪ٞ ْٟٛ‬ذف "پ‪ٛ‬صیؼی‪ٞ ٖٛ‬بیی و‪ ٝ‬ػیب‪ ٜ‬دس د‪ ٚ‬حشوت ‪ٚ‬صیهش خه‪ٛ‬د سا اص دػهت خ‪ٛ‬ا‪ٞ‬هذ داد"‪ .‬ؿهىُ ‪11.1‬‬
‫پ‪ٛ‬صیؼی‪٘ٛ‬ی اص ایٗ ٔف‪ٞ ْٟٛ‬ذف سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬اِجت‪ٔ ٝ‬ی ت‪ٛ‬اٖ اص یبدٌیشی اػتمشایی ثشای یبدٌیشی ایٗ تبثغ ‪ٞ‬ذف اػتفبد‪ ٜ‬وشد‪ .‬ثب ایٗ حبَ‪ ،‬چ‪ٖٛ‬‬
‫كفح‪ ٝ‬ی تمشیجب پیچیذ‪ ٜ‬اػت (‪ٟٔ 32‬ش‪ 64 ٚ ٜ‬خب٘‪ ٚ )ٝ‬اٍِ‪ٞ ٛ‬بیی و‪ ٝ‬ث‪ ٝ‬ایٗ ٔف‪ ْٟٛ‬ختٓ ٔی ؿ‪٘ٛ‬ذ تمشیجب پیچیذ‪ ٜ‬ا٘ذ (ث‪ٔ ٝ‬ىهبٖ ٘ؼهجی ثؼهیبسی اص‬
‫ٔ‪ٟ‬ش‪ٞ ٜ‬ب دس كفح‪ ٝ‬ثؼتٍی داسد)‪ ،‬ثبیذ ‪ٞ‬ضاساٖ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ث‪ ٝ‬یه ػیؼتٓ اػتمشایی ثذ‪ٞ‬یٓ تب ثت‪ٛ‬ا٘یٓ ا٘تظبس داؿت‪ ٝ‬ثبؿیٓ و‪ ٝ‬آٖ ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هبی‬
‫خذیذ سا دسػت دػت‪ ٝ‬ث‪ٙ‬ذی و‪ٙ‬ذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿىُ ‪ ٕٝ٘ٛ٘ 11.1‬ای ٔثجت اص ٔف‪ٞ ْٟٛ‬ذف "پ‪ٛ‬صیؼی‪ٞ ٖٛ‬بیی و‪ ٝ‬ػیب‪ ٜ‬دس د‪ ٚ‬حشوت ‪ٚ‬صیش خ‪ٛ‬د سا اص دػت خ‪ٛ‬ا‪ٞ‬ذ داد"‪.‬‬
‫ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬اػت ‪ٕٞ‬ضٔبٖ ث‪ ٝ‬ؿب‪ٚ ٚ ٜ‬صیش حّٕ‪ ٝ‬وشد‪ ،ٜ‬پغ ػیب‪ ٜ‬ثبیذ ؿب‪ ٜ‬خ‪ٛ‬د سا حشوت د‪ٞ‬ذ ‪ ٚ‬دس حشوت ثؼذی ػفیذ ‪ٚ‬صیش ػیب‪ ٜ‬سا خ‪ٛ‬ا‪ٞ‬ذ ٌشفت‪.‬‬
‫یىی اص ٘ىبت خبِت دس ٔ‪ٛ‬سد یبدٌیشی ؿٌش٘ح ایٗ اػت و‪ ٝ‬ا٘ؼب٘‪ٟ‬ب فمي ثب دیذٖ چ‪ٙ‬ذ ٔثبَ چ‪ٙ‬یٗ ت‪ٛ‬اثغ ‪ٞ‬ذفی سا یبد ٔی ٌیش٘ذ! دس ‪ٚ‬الغ‪ ،‬ثؼذ دیذٖ‬
‫‪ٕٞ‬یٗ ؿىُ ‪ 11.1‬اوثش افشاد فشهی‪ ٝ‬ی ٔ‪ٙ‬بػت سا پیذا ٔی و‪ٙٙ‬ذ "پ‪ٛ‬صیؼی‪ٟ٘ٛ‬بیی و‪ ٝ‬دس آٖ ؿب‪ٚ ٚ ٜ‬صیش ‪ ٓٞ‬صٔبٖ صیش حّٕ‪ ٝ‬لشاس ٔهی ٌیش٘هذ"‪ٞ .‬هی‬
‫وغ فشهی‪ ٝ‬ی دیٍشی ٔثُ "پ‪ٛ‬صیؼی‪ٟ٘ٛ‬بیی و‪ ٝ‬دس آٖ چ‪ٟ‬بس ػشثبص ػفیذ دس خب٘‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ی خ‪ٛ‬د ثبؿ‪ٙ‬ذ" سا پیـه‪ٟٙ‬بد ٕ٘هی د‪ٞ‬هذ‪ .‬چٍ‪٘ٛ‬ه‪ ٝ‬آدٔهی‬
‫ٔی ت‪ٛ‬ا٘ذ فمي ثب دیذٖ یه ٔثبَ تؼٕیٓ ٔ‪ٛ‬فمی ا٘دبْ د‪ٞ‬ذ‬

‫خ‪ٛ‬اة دس ایٗ اػت و‪ ٝ‬یبدٌیشی آدٔی ٔتىی ثش تفؼیش ٕ٘‪ٞ ٝ٘ٛ‬ب ثب دا٘ؾ لجّی اػت‪ ،‬دس ای‪ٙ‬دب ایٗ دا٘ؾ لجّی له‪ٛ‬ا٘یٗ ؿهٌش٘ح دس ٔه‪ٛ‬سد ٘حه‪ ٜٛ‬ی‬
‫حشوت ٔ‪ٟ‬ش‪ٞ ٜ‬بػت‪ .‬اٌش اص یبدٌیش ا٘ؼب٘ی ثپشػیذ و‪ ٝ‬چشا ؿىُ ‪ 11.1‬یه ٕ٘‪ٔ ٝ٘ٛ‬ثجت اص ٔف‪" ْٟٛ‬پ‪ٛ‬صیؼی‪ٞ ٖٛ‬بیی وه‪ ٝ‬ػهیب‪ ٜ‬دس د‪ ٚ‬حشوهت ‪ٚ‬صیهش‬
‫خ‪ٛ‬د سا اص دػت خ‪ٛ‬ا‪ٞ‬ذ داد" اػت اوثش افشاد خ‪ٛ‬اثی ٔـبث‪ ٝ‬خ‪ٛ‬ا‪ٙٞ‬ذ داد‪" :‬صیشا و‪ ٝ‬اػت ػفیذ ‪ٕٞ‬ضٔبٖ ث‪ ٝ‬ؿب‪ٚ ٚ ٜ‬صیش حّٕ‪ ٝ‬وشد‪ ٜ‬اػت‪ ،‬ػیب‪ ٜ‬ثبیهذ اص‬
‫ویؾ خبسج ؿ‪ٛ‬د‪ ،‬پغ دس حشوت ثؼذی اػت ‪ٚ‬صیش سا خ‪ٛ‬ا‪ٞ‬ذ ٌشفت"‪ .‬ا‪ٕٞ‬یت چ‪ٙ‬یٗ ت‪ٛ‬هیحبتی ث‪ ٝ‬ایٗ اػت و‪ ٝ‬اًالػبت الصْ ثشای تؼٕیٓ ٔ‪ٛ‬فك اص‬
‫خضئیبت ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی دس پی ثشدٖ ث‪ ٝ‬تبثغ ‪ٞ‬ذف سا دس خ‪ٛ‬د داس٘ذ‪ٚ .‬یظٌی ‪ٞ‬بی ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی و‪ ٝ‬دس ت‪ٛ‬هی آٔذ (ٔثُ ٔىبٖ اػت ػفیذ‪،‬‬
‫ؿب‪ ٜ‬ػیب‪ٚ ٚ ٜ‬صیش ػیب‪ٔ )ٜ‬شتجي ث‪ ٝ‬تبثغ ‪ٞ‬ذف‪ٙ‬ذ ‪ ٚ‬ثبیذ دس ت‪ٛ‬هی فشهی‪ ٝ‬ی تؼٕیٓ اػتفبد‪ ٜ‬ؿ‪٘ٛ‬ذ‪ .‬دس ٔمبثُ‪ٚ ،‬یظٌی ‪ٞ‬بیی و‪ ٝ‬دس ت‪ٛ‬هی ٘یبٔهذ‪ٔ( ٜ‬ثهُ‬
‫ای‪ٙ‬ى‪ ٝ‬و‪ ٝ‬ػیب‪ 4 ٜ‬ػ‪ٛ‬اس داسد) ٘جبیذ ت‪ٛ‬خ‪ ٝ‬ؿ‪ٛ‬د‪.‬‬

‫دا٘ؾ الصْ ثشای یبدٌیش ػبختٗ چ‪ٙ‬یٗ ت‪ٛ‬هیحی ثشای ایٗ ٔثبَ ؿٌش٘دی چیؼت فمي وبفی اػت حشوت ‪ٞ‬بی لهب٘‪٘ٛ‬ی ٔ‪ٟ‬هش‪ٞ ٜ‬هبی ؿهٌش٘ح سا‬
‫ثذا٘یٓ‪ :‬ثذا٘یٓ و‪ ٝ‬اػت ‪ ٚ‬ثمی‪ ٝ‬ی ٔ‪ٟ‬ش‪ٞ ٜ‬ب چٍ‪ ٝ٘ٛ‬دس كفح‪ ٝ‬حشوت ٔی و‪ٙٙ‬ذ‪ ،‬ثذا٘یٓ و‪ ٝ‬د‪ ٚ‬ثبصیىٗ ٘‪ٛ‬ثت ثه‪ٛ٘ ٝ‬ثهت ٔ‪ٟ‬هش‪ٞ ٜ‬هبی خه‪ٛ‬د سا حشوهت‬
‫ٔی د‪ٙٞ‬ذ‪ ٚ ،‬ثذا٘یٓ و‪ ٝ‬اٌش ثبصیى‪ٙ‬ی ؿب‪ ٜ‬حشیف سا ثٍیشد ثش٘ذ‪ٔ ٜ‬ی ؿ‪ٛ‬د ‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت ثبؿیذ و‪ ٝ‬فمي ثهب ایهٗ دا٘هؾ لجّهی دس وهُ اص ٘ظهش تئه‪ٛ‬سی‬
‫ٔی ت‪ٛ‬اٖ حشوت ث‪ٟ‬ی‪ ٝٙ‬سا ثشای ‪ٞ‬ش پ‪ٛ‬صیؼی‪ ٖٛ‬پیذا وشد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬دس ػُٕ ایٗ ٔحبػجبت ٔی ت‪ٛ‬ا٘ذ ثؼیبس پیچیذ‪ ٜ‬ثبؿذ‪ ،‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬آدٔی ػّٓ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫صیبدی دسثبس‪ ٜ‬ی ؿٌش٘ح داسد أب ثب ایٗ حبَ ‪ٛٙٞ‬ص ٕ٘ی ت‪ٛ‬ا٘ذ آ٘شا ث‪ً ٝ‬شص ث‪ٟ‬ی‪ ٝٙ‬ثبصی و‪ٙ‬ذ‪ .‬پغ اوثش یبدٌیشی ا٘ؼب٘ی دس ؿٌش٘ح (‪ ٚ‬دیٍش ثبصی ‪ٞ‬بیی‬
‫و‪٘ ٝ‬یبص ث‪٘ ٝ‬مـ‪ ٝ‬وـیذٖ داسد) ٘یبص ث‪ ٝ‬فشای‪ٙ‬ذی ثّ‪ٙ‬ذ ثشای پیذا وشدٖ ٘تبیح دا٘ؾ لجّی‪ٞ ٕٝ٘ٛ٘ ٚ ،‬بی آٔ‪ٛ‬صؿی داسد‪.‬‬

‫دس ایٗ فلُ ث‪ ٝ‬ت‪ٛ‬كیف اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی یبدٌیشی ای ٔی پشداصیٓ و‪ ٝ‬ث‪ًٛ ٝ‬س خ‪ٛ‬دوبس چ‪ٙ‬یٗ ت‪ٛ‬هیحبتی سا ػبخت‪ ٚ ٝ‬ثهش اػهبع آ٘‪ٟ‬هب ٔفهب‪ٞ‬یٕی یهبد‬
‫خ‪ٛ‬ا‪ٙٞ‬ذ ٌشفت‪ .‬دس ادأ‪ ٝ‬ی ایٗ لؼٕت ٔؼئّ‪ ٝ‬ی یبدٌیشی تحّیّی سا ث‪ ٝ‬ك‪ٛ‬ست دلیمتش تؼشیف خ‪ٛ‬ا‪ٞ‬یٓ وشد‪ .‬دس لؼٕت ثؼذ‪ ،‬ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ت‪ٛ‬ههیحی‬
‫خبكی ث‪٘ ٝ‬بْ ‪ Prolog-EBG‬خ‪ٛ‬ا‪ٞ‬یٓ پشداخت‪ ٚ .‬دس لؼٕت ‪ٞ‬بی ثؼذی ٘یض خ‪ٛ‬اف وّی ایٗ اٍِ‪ٛ‬سیتٓ ‪ ٚ‬ساثٌ‪ ٝ‬ی آ٘شا ثب اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی یهبدٌیشی‬
‫اػتمشایی‪ ،‬سا و‪ ٝ‬دس دیٍش فلُ ‪ٞ‬ب آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬ا٘ذ‪ ،‬ثشسػی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪ .‬دس آخش ٘یض ث‪ ٝ‬وبسثشد یبدٌیشی ت‪ٛ‬هیحی ثشای ث‪ٟ‬ج‪ٛ‬د وبسایی دس ٔؼهبئّی ثهب‬
‫فوبی حبِت ثضسي‪ 1‬خ‪ٛ‬ا‪ٞ‬یٓ پشداخت‪ .‬دس ػشاػش ایٗ فلُ فشم ٔی و‪ٙ‬یٓ و‪ ٝ‬ت‪ٛ‬هیحبت اص دا٘ؾ لجّی وبٔال دسػت (ٔثُ دا٘ؾ ا٘ؼب٘‪ٟ‬ب) ٘بؿهی‬
‫ٔی ؿ‪٘ٛ‬ذ‪ٔ ،‬ثُ ٔثبَ ؿٌش٘ح ثبال‪ .‬دس فلُ ‪ 12‬ث‪ ٝ‬حبِتی وّی تش و‪ ٝ‬دس آٖ دا٘ؾ لجّی تمشیجب دسػت اػت خ‪ٛ‬ا‪ٞ‬یٓ پشداخت‪.‬‬

‫‪ 111111‬مسائل یادگیری استقرایی و یادگیری تحلیلی‬

‫تفب‪ٚ‬ت ‪ٞ‬بی اكّی ثیٗ ٔتذ ‪ٞ‬بی یبدٌیشی اػتمشایی ‪ٔ ٚ‬تذ ‪ٞ‬بی تحّیّی ایٗ اػت و‪ ٝ‬آ٘‪ٟ‬ب د‪ ٚ‬تل‪ٛ‬س ٔتفب‪ٚ‬ت اص ٔؼئّ‪ ٝ‬داس٘ذ‪:‬‬

‫*‬ ‫) (‬ ‫(‬ ‫)‬ ‫دس یبدٌیشی اػتمشایی‪ ،‬ث‪ ٝ‬یبدٌیش فوبی فشهی‪ٞ ٝ‬بی ‪ ٚ H‬دػت‪ٔ ٝ‬ثبِ‪ٟ‬هبی ‪+‬‬ ‫‪‬‬
‫داد‪ٔ ٜ‬ی ؿ‪ٛ‬د تب فشهی‪ ٝ‬ای اص ‪ٔ H‬ثُ ‪ h‬سا و‪ ٝ‬ػبصٌبس ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ D‬اػت پیذا و‪ٙ‬ذ‪.‬‬
‫دس یبدٌیشی تحّیّی‪ٚ ،‬س‪ٚ‬دی یبدٌیش ؿبُٔ ‪ٕٞ‬بٖ فوبی فشهی‪ ٝ‬ای ‪ٔ ٚ H‬ثبِ‪ٟ‬بی ‪ D‬اػت‪ .‬ػال‪ ٜٚ‬ثش ایٗ ‪ٚ‬س‪ٚ‬دی ‪ٞ‬ب‪ٚ ،‬س‪ٚ‬دی دیٍشی ٘یض‬ ‫‪‬‬
‫ث‪ ٝ‬ؿىُ س‪ٚ‬ثش‪ ٚ‬ث‪ ٝ‬یبدٌیش داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ :‬یه تئ‪ٛ‬سی لّٕش‪ٔ 2ٚ‬ثُ ‪ B‬و‪ ٝ‬دا٘ؾ لجّی ای ث‪ ٝ‬یبدٌیش ٔی د‪ٞ‬ذ تب ثت‪ٛ‬ا٘ذ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿهی‬
‫سا تدضی‪ ٚ ٝ‬تحّیُ و‪ٙ‬ذ‪ .‬خش‪ٚ‬خی یبدٌیش فشهی‪ ٝ‬ای ٔثُ ‪ h‬اص ‪ H‬خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د و‪ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿهی ‪ ٚ D‬تئه‪ٛ‬سی لّٕهش‪ B ٚ‬ػهبصٌبس‬
‫ثبؿذ‪.‬‬
‫‪ٞ‬ب پ‪ٛ‬صیؼی‪ٞ ٖٛ‬ب ‪ٞ‬ؼت‪ٙ‬ذ ‪ ( ) ٚ‬صٔب٘ی و‪ ٝ‬پ‪ٛ‬صیؼی‪ ٕٝ٘ٛ٘ ٖٛ‬ی ٔثجتهی اص "پ‪ٛ‬صیؼهی‪ٟ٘ٛ‬بیی وه‪ ٝ‬دس آٖ ؿهب‪ٚ ٜ‬‬ ‫ثشای تل‪ٛ‬س‪ ،‬دس ٔثبَ روش ؿذ‪ٜ‬‬
‫‪ٚ‬صیش ‪ ٓٞ‬صٔبٖ صیش حّٕ‪ ٝ‬لشاس ٔی ٌیش٘ذ" دسػت ‪ ٚ‬دس غیش ایٗ ك‪ٛ‬ست غّت اػت‪ .‬فوبی فشهی‪ ٝ‬ای ‪ H‬سا ٔی ت‪ٛ‬اٖ دػت‪ٌ ٝ‬ضاس‪ٞ ٜ‬بی تؼشیف ؿهذ‪ٜ‬‬
‫دس فلُ ‪( 11‬لب٘‪ٞ ٖٛ‬بی ‪ )if-then‬و‪ ٝ‬دس آٖ ؿش‪ٚ‬ى خبی ٘ؼجی ٔ‪ٟ‬ش‪ٞ ٜ‬ب دس كفح‪ ٝ‬ی ؿٌش٘ح اػت دس ٘ظهش ٌشفهت‪ .‬تئه‪ٛ‬سی لّٕهش‪ B ٚ‬سا ٘یهض‬
‫ٔی ت‪ٛ‬اٖ ل‪ٛ‬ا٘یٗ ؿٌش٘ح دس ٘ظش ٌشفت‪ .‬ایٗ ل‪ٛ‬ا٘یٗ ؿبُٔ ٘ح‪ ٜٛ‬ی حشوت ٔ‪ٟ‬ش‪ٞ ٜ‬ب‪ ،‬تغییش ٘‪ٛ‬ثت حشوت‪ ٚ ،‬ایٗ حمیمت اػت و‪ ٝ‬صٔهب٘ی وه‪ ٝ‬وؼهی‬
‫ؿب‪ٞ‬ؾ سا اص دػت ثذ‪ٞ‬ذ ٔی ثبصد ٔی ؿ‪ٛ‬د‪.‬‬

‫ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬دس یبدٌیشی تحّیّی‪ ،‬یبدٌیش ثبیذ فشهی‪ ٝ‬ای سا ث‪ ٝ‬ػ‪ٛٙ‬اٖ خش‪ٚ‬خی اسائ‪ ٝ‬و‪ٙ‬ذ و‪ ٓٞ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿهی ‪ٞ ٚ‬هٓ ثهب تئه‪ٛ‬سی‬
‫لّٕش‪ ٚ‬ػبصٌبس ثبؿذ‪ .‬صٔب٘ی و‪ٔ ٝ‬ی ٌ‪ٛ‬ییٓ فشهی‪ ٝ‬ی ‪ h‬ثهب تئه‪ٛ‬سی لّٕهش‪ ٚ‬ی ‪ B‬ػهبصٌبس اػهت وه‪ ٝ‬تئه‪ٛ‬سی لّٕهش‪ٚ‬ی ‪ B‬فشههی‪ ٝ‬ی ‪ h‬سا سد ٘ى‪ٙ‬هذ‬
‫(‪ .)B⊬¬h‬ایٗ ؿشى آخش ثبػث ٔی ؿ‪ٛ‬د اث‪ٟ‬بْ ‪ H‬دس صٔب٘‪ٟ‬بیی و‪ ٝ‬یبدٌیش ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ای ٔ‪ٛ‬اخه‪ ٝ‬اػهت وه‪ H ٝ‬سا ثه‪ ٝ‬ا٘هذاص‪ ٜ‬ی وهبفی‬
‫ٔحذ‪ٚ‬د ٕ٘ی و‪ٙٙ‬ذ وٓ ؿ‪ٛ‬د‪ .‬اثش وّی و‪ ٝ‬ت‪ٛ‬ػي تئ‪ٛ‬سی لّٕش‪ ٚ‬ایدبد ٔی ؿ‪ٛ‬د‪ ،‬دلت دسػتی فشهی‪ ٝ‬ی خش‪ٚ‬خی سا افضایؾ ٔی د‪ٞ‬ذ‪.‬‬

‫ثیبییذ ٔؼئّ‪ ٝ‬ی دیٍشی اص یبدٌیشی تحّیّی سا ٔؼشفی و‪ٙ‬یٓ‪ٔ ،‬ؼئّ‪ ٝ‬ای و‪ ٝ‬دس ادأ‪ ٝ‬ی فلُ ثشای ت‪ٛ‬هیحبت ث‪ ٝ‬وبس ٔی س‪ٚ‬د‪ .‬فوبی ٕ٘‪ٞ ٝ٘ٛ‬بی ‪X‬‬
‫سا دس ٘ظش ثٍیشیذ و‪ٞ ٝ‬ش ٕ٘‪ ٝ٘ٛ‬دس ایٗ فوب خفتی اص اؿیبء اػت‪ٞ .‬ش یه اص ایٗ د‪ ٚ‬ؿی ثب خ‪ٛ‬اف سً٘‪ ،‬حدٓ‪ ،‬كهبحت‪ ،‬خه‪ٙ‬غ‪٘ ،‬ه‪ٛ‬ع ‪ ٚ‬چٍهبِی ‪ٚ‬‬

‫‪1‬‬
‫‪large state-space search problems‬‬
‫‪2‬‬
‫‪domain theory‬‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

‫ یىی سا‬ٝ‫ذف "خفت اخؼبٔی و‬ٞ ْٟٛ‫یٓ ٔف‬ٞ‫ا‬ٛ‫ب ٔی خ‬ٞ ٕٝ٘ٛ٘ ‫دٖ فوبی‬ٛ‫ْ ث‬ّٛ‫ ثب ٔؼ‬.‫ اػت‬ٜ‫ ٔـخق ؿذ‬On ‫ ؿی ٘یض ثب خبكیت‬ٚ‫ ی ثیٗ د‬ٌٝ‫ساث‬
‫ذ‬ٙٔ‫د‬ٛ‫ا٘ذ ثؼیبس ػ‬ٛ‫ٔی ٔی ت‬ٟٛ‫یٗ ٔف‬ٙ‫ یبدٌیشی چ‬.ٓ‫ یبد ثٍیشی‬SafeToStack(x,y) ‫ ثب ٕ٘بد‬ٝ‫ی دیٍشی ٌزاؿت" سا و‬ٚ‫ س‬ٝ‫بٖ ث‬ٙ‫اٖ ثب إًی‬ٛ‫ٔی ت‬
‫ دس‬ّٝ‫ تؼشیف وبُٔ ایهٗ ٔؼهئ‬.‫ٓ اػت‬ٟٔ ‫ْ ثؼیبس‬ٟٛ‫ذ ایٗ ٔف‬ٙ‫دی ا٘جبس و‬ٚ‫ذ اخؼبْ سا دس فوبی ٔحذ‬ٞ‫ا‬ٛ‫ ٔی خ‬ٝ‫ ثشای یه سثبت و‬،َ‫ ثشای ٔثب‬،‫ثبؿذ‬
.‫ اػت‬ٜ‫ آٔذ‬11.1 َٚ‫خذ‬

:‫بی‬ٞ ‫دی‬ٚ‫س‬ٚ

،Material ،Owner ،Volume ،Color ،Type ‫اف‬ٛ‫ ثهب خه‬ٝ‫ خفتهی اص اخؼهبْ اػهت وه‬ٝ‫٘ه‬ٕٛ٘ ‫هش‬ٞ : X ‫هبی‬ٞ ٕٝ٘ٛ٘ ‫فوبی‬ 
.‫٘ذ‬ٛ‫ ٔـخق ٔی ؿ‬On ٚ Density
ُٔ‫ یهه ػجهبست ؿهب‬Horn clause ‫هش‬ٞ ‫ ػهش‬.‫ اػهت‬Horn clause ٗ‫ا٘ی‬ٛ‫ ای اص له‬ٝ‫ دػهت‬ٝ‫هش فشههی‬ٞ :H ‫بی‬ٞ ٝ‫فوبی فشهی‬ 
‫ب‬ٞ ٕٝ٘ٛ٘ ‫اف‬ٛ‫ٕبٖ خ‬ٞ ‫ ی‬ٝ‫ ثش پبی‬ٝ‫بیی اػت و‬ٞ ‫ ای ػٌفی اص ػٍّٕش‬ٌٝ‫ ساث‬horn clause ‫ش‬ٞ ‫ ی‬ٝ٘‫ دس ثذ‬.‫ اػت‬SafeToStack
times ٚ minus ،plus ُ‫اثؼی ٔثه‬ٛ‫ ت‬ٚ GreaterThan ٚ ،Equal ،LessThan ‫اثغ‬ٛ‫ب ؿبُٔ ت‬ٞ ‫ ایٗ ػٍّٕش‬.‫ذ‬ٙٙ‫ػُٕ ٔی و‬
:َ‫ ثشای ٔثب‬.‫د‬ٛ‫ٔی ؿ‬
SafeToStack(x, y) ←Volume(x, vx) ⋀ Volurne(y, vy) ⋀ LessThan(vx, vy)

SafeToStack(x,y) :‫ذف‬ٞ ْٟٛ‫ٔف‬ 

:SafeToStack(Obj1,Obj2) ‫صؿی صیش‬ٛٔ‫ ی آ‬ٕٝ٘ٛ٘ ُ‫بیی ٔث‬ٞ ٕٝ٘ٛ٘ :‫صؿی‬ٛٔ‫بی آ‬ٞ ٕٝ٘ٛ٘ 
On(Obj1,Obj2) Owner(0bj1 , Fred)

Type(0bj1 , Box) Owner(Obj2, Louise)

Type(Obj2, Endtable) Density(0bj1,0.3)

Color(Obj1, Red) Material(Obj1, Cardboard)

Color(Obj2, Blue) Material (Obj2, Wood)

Volume(Obj1,2)

Domain Theory B:

SafeToStack(x, y) ←¬Fragile(y)

SafeToStack(x, y) ←Lighter(x, y)

Lighter(x, y) ← Weight(x, wx)⋀ Weight(y, wy)⋀ LessThan(wx, wy)

Weight(x, w) ← Volume(x, v) ⋀ Density(x,d) ⋀ Equal(w, times(v, d))

Weight(x,5) ← Type(x, Endtable)

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪Fragile(x) ← Material (x, Glass‬‬

‫…‬

‫خش‪ٚ‬خی‪:‬‬ ‫‪‬‬
‫فشهی‪ ٝ‬ای اص ‪ H‬سا پیذا وٗ و‪ ٓٞ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٓٞ ٚ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ػبصٌبس ثبؿذ‪.‬‬
‫خذ‪ٔ 11.1 َٚ‬ثبِی اص ٔؼئّ‪ٞ ٝ‬بی یبدٌیشی تحّیّی‬
‫‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس خذ‪٘ 11.1 َٚ‬یض ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬اػت فوبی فشهی‪ٞ ٝ‬بی ‪ H‬تٕبٔی ل‪ٛ‬ا٘یٗ دسخه‪ ٝ‬ا‪ if-then َٚ‬یهب ‪ٕٞ‬هبٖ ‪ horn clause‬دس‬
‫٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬اػت (دس ػشاػش ایٗ فلُ اص‪ٕٞ‬بٖ ٕ٘بدٌزاسی ‪ ٚ‬اكٌالحبت تؼشیف ؿذ‪ ٜ‬دس خذ‪ 11.3 َٚ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬یٓ)‪ .‬ثشای ٔثبَ‪ ٕٝ٘ٛ٘ ،‬ی‬
‫‪ horn clause‬ی و‪ ٝ‬دس خذ‪ 11.1 َٚ‬آٔذ‪ ٜ‬اػت‪ ،‬ثیبٖ ٔی و‪ٙ‬ذ و‪ ٝ‬خؼهٓ ‪ x‬سا ٔهی ته‪ٛ‬اٖ س‪ٚ‬ی خؼهٓ ‪ٌ y‬زاؿهت اٌهش وه‪ ٝ‬حدهٓ ‪ x‬وٕتهش اص‬
‫)‪ (LessThan‬حدٓ ‪ y‬ثبؿذ (دس ایٗ ٕ٘بیؾ ‪ Vy ٚ Vx‬ث‪ ٝ‬تشتیت حدٓ خؼٓ ‪ ٚ x‬حدٓ خؼٓ ‪ y‬دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬ا٘ذ)‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ٝ‬‬
‫دس ثیبٖ ‪ٞ horn clause‬هب ٔهی ت‪ٛ‬ا٘هذ اص تٕهبٔی ‪ٚ‬یظٌهی ‪ٞ‬هبی ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هب ‪ ٚ‬تٕهبٔی ت‪ٛ‬اثهغ ٔؼشفهی ؿهذ‪ ٜ‬اػهتفبد‪ ٜ‬وهشد‪ .‬یهه ٕ٘‪٘ٛ‬ه‪ٔ ٝ‬ثجهت‬
‫)‪٘ SafeToStack(Obj1,Obj2‬یض دس خذ‪ 11.1 َٚ‬آٔذ‪ ٜ‬اػت‪.‬‬

‫ثشای فشٔ‪ِٛ‬ی وشدٖ ایٗ یبدٌیشی تحّیّی ثبیذ اثتذا تئ‪ٛ‬سی لّٕش‪ٚ‬یی سا پیذا و‪ٙ‬یٓ و‪ ٝ‬ت‪ٛ‬هی د‪ٞ‬ذ و‪ ٝ‬چشا ٕ٘‪ ٝ٘ٛ‬ی ٔثجت‪ ٕٝ٘ٛ٘ ،‬ی ٔثجتی اص ٔف‪ْٟٛ‬‬
‫‪ٞ‬ذف ٔزو‪ٛ‬س اػت‪ .‬دس ٔثبَ پ‪ٛ‬صیؼی‪ ٖٛ‬ؿٌش٘دی و‪ ٝ‬دس ا‪ َٚ‬فلُ ثیبٖ وشدیٓ‪ ،‬ت‪ٛ‬هیحی اص ای‪ٙ‬ى‪ ٝ‬چشا یه ٕ٘‪ ٕٝ٘ٛ٘ ،ٝ٘ٛ‬ی ٔثجت اػت آ‪ٚ‬سد‪ ٜ‬ؿذ‪ٜ‬‬
‫ث‪ٛ‬د‪ .‬دس ایٗ ٔثبَ ٘یض تئ‪ٛ‬سی لّٕش‪ ٚ‬ثبیذ ت‪ٛ‬هی د‪ٞ‬ذ و‪ ٝ‬چشا ٕ٘‪ ٝ٘ٛ‬ی ٔزو‪ٛ‬س‪ ٕٝ٘ٛ٘ ،‬ای ٔثجت اػت‪ ،‬ث‪ ٝ‬ػجبست دیٍهش ثبیهذ ت‪ٛ‬ههی د‪ٞ‬هذ وه‪ ٝ‬چهشا‬
‫اخؼبٔی ثب چ‪ٙ‬یٗ ‪ٚ‬یظٌی ‪ٞ‬بیی سا ٔی ت‪ٛ‬اٖ س‪ٚ‬ی ‪ ٓٞ‬لشاس داد‪ .‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ثیبٖ ؿذ‪ ٜ‬دس خذ‪ َٚ‬تؼشیف ‪ٞ‬بیی ‪ٕٞ‬چ‪" ٖٛ‬خؼٓ ‪ x‬سا ٔی ت‪ٛ‬اٖ س‪ٚ‬ی‬
‫خؼٓ ‪ y‬لشاس داد ‪ٞ‬ش ٌب‪ ٜ‬و‪ y ٝ‬ؿى‪ٙٙ‬ذ‪٘ (fragile) ٜ‬جبؿذ" ‪" ٚ‬خؼٓ ‪ x‬صٔب٘ی ؿى‪ٙٙ‬ذ‪ ٜ‬اػت و‪ ٝ‬خ‪ٙ‬غ )‪ (material‬آٖ ؿیـ‪ (glass) ٝ‬ثبؿذ"‬
‫اسائ‪ ٝ‬ؿذ‪ ٜ‬اػت‪ٔ .‬ـبث‪ ٝ‬فشهی‪ٞ ٝ‬بی یبدٌیش‪ ،‬تئ‪ٛ‬سی لّٕش‪٘ ٚ‬یض ثب اػتفبد‪ ٜ‬اص دػت‪ ٝ‬ای ‪ horn clause‬تؼشیف ؿذ‪ ٜ‬اػت تب یبدٌیش ثت‪ٛ‬ا٘ذ فشهی‪ٞ ٝ‬هب‬
‫سا ثب تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬مبیؼ‪ ٝ‬و‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ ٚ‬یظٌی ‪ٞ‬بی خذیذی ٔثُ ‪ Fragile ٚ Lighter‬سا ٘یض ٔ‪ٛ‬سد اػتفبد‪ ٜ‬لشاس داد‪ٜ‬‬
‫و‪ ٝ‬خض‪ٚ ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٞ ٝ٘ٛ‬ب ٘یؼت‪ٙ‬ذ أب آ٘‪ٟ‬ب سا ٘یض ثب اػتفبد‪ ٜ‬اص ‪ٚ‬یظٌی ‪ٞ‬بی ‪ Density ٚ Volume ،Material‬تؼشیف وشد‪ ٜ‬اػت‪ .‬دس آخهش‬
‫ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬دس خذ‪ٔ َٚ‬ی ت‪ٛ‬ا٘ذ اثجبت و‪ٙ‬ذ و‪ ٕٝ٘ٛ٘ ٝ‬ی ٔثجت یه ٕ٘‪ ٝ٘ٛ‬ی ٔثجت اػت (ت‪ٛ‬ههی الصْ سا‬
‫اسائ‪ٔ ٝ‬ی و‪ٙ‬ذ)‪.‬‬

‫‪ 11.1‬یبدگیری بب تئوری قلمرو هبی کبمل‪Prolog-EBG :‬‬

‫‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬پیـتش ٘یض ٌفتیٓ‪ ،‬دس ایٗ فلُ ث‪ ٝ‬یبدٌیشی ت‪ٛ‬هیحی ای و‪ ٝ‬ثش اػبع تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بی وبُٔ ا٘ذ‪ٔ 1‬ی پشداصیٓ‪ .‬یؼ‪ٙ‬ی ای‪ٙ‬ىه‪ ٝ‬تئه‪ٛ‬سی‬
‫لّٕش‪ٞٚ‬بی ٔ‪ٛ‬سد اػتفبد‪ ٓٞ ٜ‬دسػت‪ ٕٝٞ ٓٞ 2‬خب٘ج‪ ٝ‬ا٘ذ صٔب٘ی ٔی ٌ‪ٛ‬ییٓ یه تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت اػت و‪ ٝ‬تٕبٔی ساثٌ‪ٞ ٝ‬بیؾ دس خ‪ٟ‬هبٖ ‪ٚ‬الؼهی‬
‫لبثُ إًی‪ٙ‬بٖ ثبؿذ ‪ ٚ‬صٔب٘ی ٔی ٌ‪ٛ‬ییٓ یه تئ‪ٛ‬سی لّٕش‪ ٕٝٞ ٚ‬خب٘ج‪ ٝ‬اػت و‪ ٝ‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬فوبی ٕ٘‪ٞ ٝ٘ٛ‬ب ‪ ٚ‬تبثغ ‪ٞ‬ذف تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجهت سا‬
‫پ‪ٛ‬ؿؾ د‪ٞ‬ذ‪ .‬ث‪ ٝ‬ػجبست دیٍش‪ ،‬اٌش یه تئ‪ٛ‬سی لّٕش‪ ٚ‬تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی و‪ ٝ‬تبثغ ‪ٞ‬ذف سا ساهی ٔی و‪ٙ‬ذ سا ت‪ٛ‬هی د‪ٞ‬هذ ‪ٕٞ‬ه‪ ٝ‬خب٘جه‪ ٝ‬اػهت‪ .‬ت‪ٛ‬خه‪ٝ‬‬
‫داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬تؼشیف ٔب اص ‪ ٕٝٞ‬خب٘ج‪ ٝ‬ث‪ٛ‬دٖ حشفی دس ٔ‪ٛ‬سد ای‪ٙ‬ى‪ ٝ‬ت‪ٛ‬هیحی ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی ٔ‪ٙ‬فی داؿت‪ ٝ‬ثبؿذ ٕ٘ی ص٘ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د اٌش لشاس داد‬

‫‪1‬‬
‫‪perfect‬‬
‫‪2‬‬
‫‪correct‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ prolog‬سا لج‪ َٛ‬و‪ٙ‬یٓ‪ ،‬ثبیذ ٕ٘‪ٞ ٝ٘ٛ‬بیی و‪ ٝ‬ت‪ٛ‬هیحی ثشای ٔثجت ث‪ٛ‬دٖ ٘ذاس٘ذ سا ٔ‪ٙ‬فی دػت‪ ٝ‬ث‪ٙ‬ذی و‪ٙ‬یٓ‪ ،‬ث‪ٙ‬بثشایٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬هب‬
‫سا پ‪ٛ‬ؿؾ خ‪ٛ‬ا‪ٙٞ‬ذ داد‪.‬‬

‫ٕٔىٗ اػت ایٗ ػ‪ٛ‬اَ سا ثپشػیذ و‪ ٝ‬آیب ٔ‪ٌٙ‬می اػت و‪ ٝ‬فشم و‪ٙ‬یٓ و‪ ٝ‬چ‪ٙ‬یٗ تئ‪ٛ‬سی لّٕش‪ٚ‬ی وبّٔی دس اختیبس یبدٌیش اػت ث‪ٞ ٝ‬ش حبَ‪ ،‬ثب ‪ٚ‬خ‪ٛ‬د‬
‫چ‪ٙ‬یٗ تئ‪ٛ‬سی لّٕش‪ٚ‬ی وبّٔی چشا ثبیذ ث‪ ٝ‬فىش یبدٌیشی ثبؿیٓ د‪ ٚ‬خ‪ٛ‬اة ثشای چ‪ٙ‬یٗ ػ‪ٛ‬اِی ‪ٚ‬خ‪ٛ‬د داسد‪:‬‬

‫ا‪ َٚ‬ای‪ٙ‬ى‪ ٝ‬حبالتی ‪ٚ‬خ‪ٛ‬د داسد و‪ٔ ٝ‬ی ت‪ٛ‬اٖ چ‪ٙ‬یٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬ی وبّٔی سا پیذا وشد‪ٔ .‬ثبَ ؿٌش٘دی و‪ ٝ‬دس اثتذای فلُ صدیهٓ یىهی اص‬ ‫‪‬‬
‫ایٗ حبالت اػت و‪ ٝ‬دس آٖ ٘ح‪ ٜٛ‬ی حشوت ٔ‪ٟ‬ش‪ٞ ٜ‬ب تئ‪ٛ‬سی لّٕش‪ ٚ‬وبُٔ سا تـىیُ ٔی د‪ٞ‬ذ و‪ ٝ‬ثب اػتفبد‪ ٜ‬اص آٖ ٔی ت‪ٛ‬اٖ ثبصی وهشدٖ‬
‫ث‪ٟ‬ی‪ ٝٙ‬سا آٔ‪ٛ‬خت‪ .‬ػال‪ ٜٚ‬ثش آٖ‪ ،‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٔ ٝ‬ی ت‪ٛ‬اٖ ث‪ ٝ‬ساحتی ٘ح‪ ٜٛ‬ی حشوت ٔ‪ٟ‬ش‪ٞ ٜ‬ب سا س‪ٚ‬ی وبغز ٘‪ٛ‬ؿت‪ ،‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی وبٔهُ‪،‬‬
‫أب ٕ٘ی ت‪ٛ‬اٖ ث‪ ٝ‬ػبدٌی ٘ح‪ ٜٛ‬ی ث‪ٟ‬ی‪ ٝٙ‬ؿٌش٘ح ثبصی وشدٖ سا س‪ٚ‬ی وبغز ٘‪ٛ‬ؿت‪ .‬دس چ‪ٙ‬یٗ حبالتی‪ٔ ،‬ب تهشخی ٔهی د‪ٞ‬هیٓ وه‪ ٝ‬تئه‪ٛ‬سی‬
‫لّٕش‪ ٚ‬سا ثشای یبدٌیش پیذا و‪ٙ‬یٓ ‪ ٚ‬فشٔ‪ ِٝٛ‬وشدٖ ٔف‪ٞ ْٟٛ‬ذف سا ث‪ ٝ‬یبدٌیش ‪ٚ‬اٌزاس و‪ٙ‬یٓ تب ت‪ٛ‬هیحی لبثُ اػتفبد‪ٔ( ٜ‬ثهُ "پ‪ٛ‬صیؼهی‪ٟ٘ٛ‬بیی‬
‫و‪ ٝ‬دس حشوت ثؼذی ‪ٚ‬صیشْ سا اص دػت خ‪ٛ‬ا‪ ٓٞ‬داد") اص تبثغ ‪ٞ‬ذف ثذ‪ٞ‬ذ ‪ ٚ‬ثب ثشسػی ‪ ٚ‬تؼٕیٓ اص ایٗ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی تخٕیٗ خ‪ٛ‬ثی اص‬
‫تبثغ ‪ٞ‬ذف ثذ‪ٞ‬ذ‪ .‬دس لؼٕت ‪ 11.4‬وبسثشد ‪ٞ‬بی ٔ‪ٛ‬فمیت آٔیض یبدٌیشی ت‪ٛ‬هیحی ثب تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬هبی وبٔهُ سا دس افهضایؾ وهبسایی دس‬
‫ٔؼبئُ ٔتٕشوض ثش خؼتد‪ٛ‬ی ثش٘بٔ‪ ٝ‬سیضی ‪ ٚ‬ث‪ٟ‬ی‪ ٝٙ‬ػبصی آ‪ٚ‬سد‪ ٜ‬ایٓ‪.‬‬
‫د‪ ْٚ‬ای‪ٙ‬ى‪ ،ٝ‬دس ثؼیبسی اص حبالت فشم ای‪ٙ‬ى‪ ٝ‬یه تئ‪ٛ‬سی لّٕش‪ٚ‬ی وبُٔ ‪ٚ‬خ‪ٛ‬د داسد ثی دِیُ اػت‪ .‬حتی ٘‪ٛ‬ؿتٗ یه تئه‪ٛ‬سی دسػهت ‪ٚ‬‬ ‫‪‬‬
‫‪ ٕٝٞ‬خب٘ج‪ ٝ‬دس ٔ‪ٛ‬سد ٔؼئّ‪ ٝ‬ی ػبد‪ ٜ‬ی ‪ SafeToStack‬ػخت اػت‪ .‬فشم ‪ٚ‬الغ ثی‪ٙ‬ب٘‪ ٝ‬ایٗ اػت و‪ ٝ‬فشم و‪ٙ‬هیٓ ت‪ٛ‬ههیحبتی لبثهُ‬
‫لج‪ 1َٛ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ی غیش وبُٔ داسیٓ ٘‪ ٝ‬ای‪ٙ‬ى‪ ٝ‬خ‪ٛ‬د تئ‪ٛ‬سی لّٕش‪ ٚ‬سا دس دػتشع داؿت‪ ٝ‬ثبؿیٓ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬ثب دسن ایذ‪ ٜ‬ی تئه‪ٛ‬سی‬
‫لّٕش‪ٞ ٚ‬بی وبُٔ ٘مؾ ت‪ٛ‬هیحبت دس یبدٌیشی سا خ‪ٛ‬ا‪ٞ‬یٓ ف‪ٕٟ‬یذ‪ .‬دس فلُ ‪ 12‬یبدٌیشی ثب تئ‪ٛ‬سی لّٕهش‪ٞ ٚ‬هبی غیهش وبٔهُ سا ثشسػهی‬
‫خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬
‫دس ایهٗ لؼهٕت اٍِه‪ٛ‬سیتٓ ‪ (Kedar-Cabelli and McCarty 1987) Prolog-EBG‬سا اسائه‪ ٝ‬خه‪ٛ‬ا‪ٞ‬یٓ داد وه‪ ٝ‬پبیه‪ ٝ‬ی ثؼهیبسی اص‬
‫اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی یبدٌیشی ت‪ٛ‬هیحی اػت‪ Prolog-EBG .‬اٍِ‪ٛ‬سیتٕی تشتیجی اػت (سخ‪ٛ‬ع و‪ٙ‬یذ ث‪ ٝ‬فلُ ‪ .)11‬ث‪ ٝ‬ػجبست دیٍش ایٗ اٍِ‪ٛ‬سیتٓ ثب یهه‬
‫لب٘‪ horn clause ٖٛ‬ؿش‪ٚ‬ع ٔی و‪ٙ‬ذ ‪ ٚ‬ػپغ ٕ٘‪ٞ ٝ٘ٛ‬بی پ‪ٛ‬ؿب٘ذ‪ ٜ‬ؿذ‪ ٜ‬ی لب٘‪ ٖٛ‬سا حزف وشد‪ ٚ ٜ‬د‪ٚ‬ثبس‪ ٜ‬ایٗ فشای‪ٙ‬ذ سا ثشای ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هبی ٔثجهت‬
‫ثبلیٕب٘ذ‪ ٜ‬ادأ‪ٔ ٝ‬ی د‪ٞ‬ذ تب ته ته ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت پ‪ٛ‬ؿؾ داد‪ ٜ‬ؿ‪٘ٛ‬ذ‪ .‬صٔب٘ی و‪ ٝ‬تئ‪ٛ‬سی لّٕهش‪ ٚ‬دسػهت ‪ٕٞ ٚ‬ه‪ ٝ‬خب٘جه‪ ٝ‬ثبؿهذ‪Prolog-EBG ،‬‬
‫تظٕیٗ ٔی و‪ٙ‬ذ و‪ ٝ‬فشهی‪ ٝ‬ای (دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ) سا خش‪ٚ‬خی د‪ٞ‬ذ و‪ ٓٞ ٝ‬دسػت ثبؿ‪ٙ‬ذ ‪ٞ ٕٝ٘ٛ٘ ٓٞ ٚ‬بی ٔثجت آٔ‪ٛ‬صؿی سا پ‪ٛ‬ؿؾ د‪ٞ‬ذ‪ .‬ثشای ‪ٞ‬ش دػت‪ٝ‬‬
‫اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی فشهی‪ ٝ‬ی خش‪ٚ‬خی ‪ Prolog-EBG‬دػت‪ ٝ‬ای اص ػجبسات ٔ‪ٌٙ‬می وبفی سا ثش اػبع تئ‪ٛ‬سی لّٕش‪ ٚ‬ایدبد ٔی و‪ٙ‬ذ‪Prolog- .‬‬
‫‪ EBG‬تدذیذ ٘ظشی دس ‪ EBG‬اػت و‪ ٝ‬ت‪ٛ‬ػي )‪ٔ (Mitchell 1986‬ؼشفی ؿذ‪ ٚ ٜ‬ؿجب‪ٞ‬ت صیهبدی ثه‪ ٝ‬اٍِه‪ٛ‬سیتٓ ‪(DeJong and EGGS‬‬
‫)‪ Mooney 1986‬داسد‪ .‬اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬دس خذ‪ 11.2 َٚ‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬

‫‪ 111.11‬یک مثال‬
‫ثشای تل‪ٛ‬س د‪ٚ‬ثبس‪ٞ ٕٝ٘ٛ٘ ٜ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی خذ‪ 11.1 َٚ‬سا دس ٘ظش ثٍیشیذ‪ ،‬اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬اٍِ‪ٛ‬سیتٕی تشتیجهی اػهت وه‪ٝ‬‬
‫ٔشحّ‪ ٝ‬ث‪ٔ ٝ‬شحّ‪ ٝ‬تؼذاد ثیـتشی اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی سا پ‪ٛ‬ؿؾ ٔی د‪ٞ‬ذ‪ .‬ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی ٔثجت آٔ‪ٛ‬صؿی و‪ٛٙٞ ٝ‬ص ت‪ٛ‬ػي ‪ٞ horn clause‬هب‬
‫پ‪ٛ‬ؿؾ ٘ذاد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ horn clause ،‬خذیذی تـىیُ ٔی ؿ‪ٛ‬د‪ )1( :‬ایٗ ‪ horn clause‬ثبیذ ت‪ٛ‬هیحی ثشای ٕ٘‪ ٝ٘ٛ‬ی خذیذ داؿهت‪ ٝ‬ثبؿهذ‪،‬‬

‫‪1‬‬
‫‪plausible explanations‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫(‪ )2‬ایٗ ت‪ٛ‬هی ثبیذ ثشسػی ؿ‪ٛ‬د تب تؼٕیٓ الصْ ا٘دبْ ؿ‪ٛ‬د ‪ horn clause )3( ٚ‬خذیذ ث‪ ٝ‬فشهی‪ ٝ‬ی فؼّی اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د تهب فشههی‪ٕ٘ٛ٘ ٝ‬ه‪ ٝ‬ی‬
‫آٔ‪ٛ‬صؿی خذیذ سا ػال‪ ٜٚ‬ثش ٕ٘‪ٞ ٝ٘ٛ‬بی لجّی پ‪ٛ‬ؿؾ د‪ٞ‬ذ‪ .‬دس صیش ‪ٞ‬ش وذاْ اص ایٗ ٔشاحُ سا ثشسػی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬

‫‪ 111.1111‬توضیح دادن نمونه های آموزشی‬

‫ٔشحّ‪ ٝ‬ی ا‪ٞ َٚ‬ش یبدٌیشی ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی پیذا وشدٖ ت‪ٛ‬هیحی ثشای آٖ ثب اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت و‪ ٝ‬ت‪ٛ‬هی د‪ٞ‬ذ و‪ ٝ‬چشا ایٗ ٕ٘‪٘ٛ‬ه‪ ٝ‬ی‬
‫ٔثجت ٔف‪ٞ ْٟٛ‬ذف سا ساهی ٔی و‪ٙ‬ذ ‪ .‬صٔب٘ی تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت ‪ ٕٝٞ ٚ‬خب٘ج‪ ٝ‬اػت پغ ثبیذ اثجبتی ثشای ای‪ٙ‬ى‪ ٝ‬چشا ٕ٘‪ٔ ٝ٘ٛ‬ف‪ٞ ْٟٛ‬ذف سا ساههی‬
‫ٔی و‪ٙ‬ذ داؿت‪ ٝ‬ثبؿذ‪ .‬أب صٔب٘ی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬وبُٔ ٘یؼت‪ٕ٘ ،‬بیؾ ت‪ٛ‬هیحبت ثبیذ ً‪ٛ‬سی تغییش و‪ٙٙ‬ذ و‪ ٝ‬لبثُ لج‪ َٛ‬ثبؿذ ‪ٔ ٚ‬مبدیش سا ٘یض تخٕیٗ‬
‫ثض٘ذ (فمي ث‪ ٝ‬خبی اثجبت ٔحن ٘جبؿذ)‪.‬‬

‫)‪Prolog-EBG(TargetConcept, TrainingExamples, DomainTheory‬‬

‫‪{} → LearnedRules‬‬ ‫‪‬‬

‫‪ٞ ٕٝ٘ٛ٘ → Pos‬بی ٔثجت اص ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ‪TrainingExamples‬‬ ‫‪‬‬
‫ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی ٔثجت اص ‪ Pos‬و‪ ٝ‬ت‪ٛ‬ػي ‪ LearnedRules‬پ‪ٛ‬ؿب٘ذ‪ٕ٘ ٜ‬ی ؿ‪٘ٛ‬ذ‪:‬‬ ‫‪‬‬
‫‪ .1‬ت‪ٛ‬هی ‪:‬‬
‫‪ → Explanation‬ت‪ٛ‬هیحی سا و‪ ٝ‬چشا ‪ TargetConcept PossitiveExample‬سا ساهی ٔی و‪ٙ‬ذ‪.‬‬ ‫‪‬‬
‫‪ .2‬ثشسػی‪:‬‬
‫‪ → SufficientConditions‬وّی تهشیٗ دػهت‪ٚ ٝ‬یظٌهی ‪ٞ‬هبی ‪ PossitiveExample‬وه‪ ٝ‬ثهشای ساههی وهشدٖ‬ ‫‪‬‬
‫‪ TargetConcept‬ثش اػبع ‪ Explanation‬الصْ اػت‪.‬‬
‫‪ .3‬ثبصٍ٘شی‪:‬‬
‫‪ ، NewHornClause + LearnedRules → LearnedRules‬دس ایههٗ ساثٌهه‪ NewHornClause ٝ‬ثهه‪ٝ‬‬ ‫‪‬‬
‫ك‪ٛ‬ست صیش اػت‪:‬‬
‫"‪"SufficientConditions → TargenConcept‬‬
‫ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ‪ LearnedRules‬سا خش‪ٚ‬خی ثذ‪.ٜ‬‬ ‫‪‬‬
‫خذ‪ 11.2 َٚ‬اٍِ‪ٛ‬سیتٓ ‪.Prolog-EBG‬‬
‫دس ایٗ اٍِ‪ٛ‬سیتٓ ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی ٔثجت و‪ٛٙٞ ٝ‬ص ثب دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ یبدٌشفت‪ ٝ‬ؿذ‪ (LearnedRules) ٜ‬ػبصٌبس ٘یؼهت‪ٙ‬ذ‪ ،‬یهه ‪ horn clause‬خذیهذ ایدهبد‬
‫ٔی ؿ‪ٛ‬د‪ .‬ایٗ ‪ horn clause‬خذیذ دس ػ‪ٔ ٝ‬شحّ‪ ٝ‬ایدبد ٔی ؿ‪ٛ‬د‪ )1( .‬ت‪ٛ‬هی ٕ٘‪ ٝ٘ٛ‬ثب اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ )2( ٚ‬ثشسػی ت‪ٛ‬هیحبت تهب ٔؼّه‪ٌ ْٛ‬هشدد وهذاْ‬
‫‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ ٝ٘ٛ‬دس ٔف‪ٞ ْٟٛ‬ذف دخیُ ا٘ذ ‪ )3( ٚ‬ػبخت یه ‪ horn clause‬خذیذ و‪ ٝ‬دس ای‪ٞ ٕٝ٘ٛ٘ ٍٝ٘ٛٙ‬ب ثب تبثغ ‪ٞ‬ذف ػبصٌبس ثبؿذ‪.‬‬
‫ت‪ٛ‬هیحبت ٔشث‪ٛ‬ى ث‪ ٕٝ٘ٛ٘ ٝ‬ی اسائ‪ ٝ‬ؿذ‪ ٜ‬دس ؿىُ ‪ 11.2‬آٔذ‪ ٜ‬اػت‪ ،‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬ؿىُ ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬دس ‪ٚ‬ػي ٕ٘ه‪ٛ‬د تله‪ٛ‬یشی ‪ٕٞ‬هبٖ‬
‫ٕ٘‪ ٝ٘ٛ‬ای اػت و‪ ٝ‬دس خذ‪ 11.1 َٚ‬آٔذ‪ ٜ‬ث‪ٛ‬د‪ .‬ثبالی ؿىُ ت‪ٛ‬هیحبت ػبخت‪ ٝ‬ؿذ‪ ٜ‬ثشای ایٗ ٕ٘‪ ٝ٘ٛ‬سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿهت‪ ٝ‬ثبؿهیذ وه‪ ٝ‬ایهٗ‬
‫ت‪ٛ‬هیحبت (یب ‪ٕٞ‬بٖ اثجبت ٔثجت ث‪ٛ‬دٖ ٕ٘‪ )ٝ٘ٛ‬ثشای ٌزاؿتٗ ‪ Obj1‬ثش س‪ٚ‬ی ‪ Obj2‬آٔذ‪ ٜ‬صیشا و‪ Obj1 ٝ‬ػجىتش اص ‪ Obj2‬اػت‪ .‬ایهٗ ػهجىتشی‬
‫‪ Obj1‬اص ‪ Obj2‬اص ‪ٚ‬صٖ ‪ ،Obj1‬وهه‪ ٝ‬اص چٍههبِی )‪ ٚ (Density‬حدههٓ )‪ (Volume‬آٖ ثذػههت آٔههذ‪ٚ ٚ ٜ‬صٖ ‪ Obj2‬وهه‪ ٝ‬اص ‪ٚ‬صٖ پیـههفشم‬
‫‪ Endtable‬ثذػت آٔذ‪٘ ،ٜ‬بؿی ؿذ‪ ٜ‬اػت‪ Horn clause .‬ی و‪ ٝ‬اص ایٗ ت‪ٛ‬هیحبت ثذػت ٔی آیذ دس خذ‪ 11.1 َٚ‬آٔذ‪ ٜ‬اػهت‪ .‬ت‪ٛ‬خه‪ ٝ‬داؿهت‪ٝ‬‬
‫ثبؿیذ و‪ ٝ‬ت‪ٛ‬هی فمي اص تؼذادی اص ‪ٚ‬یظٌی ‪ٞ‬بی ‪ Obj2 ٚ Obj1‬اػتفبد‪ ٜ‬وشد‪ٚ( ٜ‬یظٌی ‪ٞ‬بیی و‪ ٝ‬دس ؿىُ ‪ٞ‬بؿ‪ٛ‬س صد‪ ٜ‬ؿذ‪ ٜ‬ا٘ذ‪).‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬دس ٔثبَ ٔب فمي یه ت‪ٛ‬هی ثشای ٕ٘‪ٕٔ ٝ٘ٛ‬ىٗ ث‪ٛ‬د أب دس وُ ٕٔىٗ اػت و‪ ٝ‬اص یه تئ‪ٛ‬سی لّٕش‪ ٚ‬چ‪ٙ‬ذیٗ ت‪ٛ‬هی ثشای یه ٕ٘‪ٝ٘ٛ‬‬
‫‪ٚ‬خ‪ٛ‬د داؿت‪ ٝ‬ثبؿذ‪ .‬دس چ‪ٙ‬یٗ ؿشایٌی چ‪ٙ‬ذ تب یب وُ ت‪ٛ‬هیحبت ٔ‪ٛ‬سد اػتفبد‪ ٜ‬لشاس ٔی ٌیش٘ذ‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬ایهٗ ت‪ٛ‬ههیحبت ٕٔىهٗ اػهت ‪horn‬‬
‫‪ clause‬سا ث‪ ٝ‬تؼٕیٓ ‪ٞ‬بی ٔختّفی ثىـب٘‪ٙ‬ذ أب ثب ایٗ حبَ ‪ ٕٝٞ‬دس خ‪ٟ‬ت تئ‪ٛ‬سی لّٕش‪ ٚ‬ا٘ذ‪ .‬دس ‪ٔ ،Prolog-EBG‬ثهُ ‪ Prolog‬ت‪ٛ‬ههیحبت ثهب‬
‫یه خؼتد‪ٛ‬ی ص٘دیش ‪ٚ‬اس ٔؼى‪ٛ‬ع‪ 1‬ا٘دبْ ٔی ؿ‪ٛ‬د‪٘ Prolog-EBG .‬یض ٔثُ ‪ Prolog‬دس ا‪ِٚ‬یٗ ت‪ٛ‬هی پیذا ؿذ‪ٔ ٜ‬ت‪ٛ‬لف ٔی ؿ‪ٛ‬د ‪ ٚ‬خؼهتد‪ ٛ‬سا‬
‫ادأ‪ٕ٘ ٝ‬ی د‪ٞ‬ذ‪.‬‬

‫ؿىُ ‪ 11.2‬ت‪ٛ‬هی یه ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی‪.‬‬

‫ؿجى‪ ٝ‬ی پبییٗ ؿىُ ت‪ٛ‬هی ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی خذ‪ 11.1 َٚ‬سا ثشای ٔف‪ SafeToStack(Obj1,Obj2) ْٟٛ‬اسائ‪ٔ ٝ‬ی د‪ٞ‬ذ‪ .‬لؼٕت ثبالیی ؿىُ چٍه‪ٍ٘ٛ‬ی‬
‫ساهی ؿذٖ ٔف‪ SafeToStack ْٟٛ‬ت‪ٛ‬ػي ایٗ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬لؼٕت ‪ٞ‬بی ‪ٞ‬بؿ‪ٛ‬س خ‪ٛ‬سد‪ ٜ‬دس ؿىُ ‪ٚ‬یظٌی ‪ٞ‬بی اػتفبد‪ ٜ‬ؿذ‪ ٜ‬دس ت‪ٛ‬هی‬
‫سا ٔـخق ٔی و‪ٙٙ‬ذ‪ٚ .‬یظٌی ‪ٞ‬بی دیٍش تبثیشی ثش تؼٕیٓ فشهی‪ ٝ‬دس ٔشحّ‪ ٝ‬ی ثشسػی ٘ذاس٘ذ‪.‬‬

‫‪ 111.111.‬بررسی توضیحات‬
‫٘ىت‪ ٝ‬ی وّیذی دس تؼٕیٓ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی خ‪ٛ‬اة ػ‪ٛ‬اَ "اص تٕبٔی ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت وذاْ ‪ٚ‬یظٌی ‪ٞ‬ب ‪ٚ‬یظٌی ‪ٞ‬بی تهبثیش ٌزاس٘هذ "‬
‫اػت‪ .‬ت‪ٛ‬هی ػبخت‪ ٝ‬ؿذ‪ ٜ‬ی یبدٌیش خ‪ٛ‬اة ٔ‪ٙ‬بػجی ث‪ ٝ‬ایٗ ػ‪ٛ‬اَ ٔی د‪ٞ‬ذ‪ :‬دلیمب ‪ٚ‬یظٌی ‪ٞ‬بیی و‪ ٝ‬دس ت‪ٛ‬هی ٔ‪ٛ‬سد اػتفبد‪ ٜ‬لهشاس ٌشفته‪ ٝ‬ا٘هذ‪ .‬ثهشای‬
‫ٔثبَ ت‪ٛ‬هیحی و‪ ٝ‬دس ؿىُ ‪ 11.2‬آٔذ‪ ٜ‬اص چٍبِی )‪ Obj1 (density‬اػتفبد‪ ٜ‬وشد‪ ٜ‬دس حبِی و‪ ٝ‬اص كبحت )‪ (owner‬آٖ اػهتفبد‪ ٜ‬ای ٘ىهشد‪.ٜ‬‬
‫ث‪ٙ‬بثشایٗ فشهی‪ ٝ‬ای و‪ ٝ‬ثشای )‪ SafeToStack(x,y‬اسائه‪ٔ ٝ‬هی ؿه‪ٛ‬د ثبیهذ اص ‪ٚ‬یظٌهی )‪ Density(x,0.3‬اػهتفبد‪ ٜ‬و‪ٙ‬هذ ‪ ٚ‬وهبسی ثهب ‪ٚ‬یظٌهی‬

‫‪1‬‬
‫‪backward chaining search‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪٘ Owner(x,Fred‬ذاؿت‪ ٝ‬ثبؿذ‪ .‬ثب خٕغ آ‪ٚ‬سی اًالػبت ٔـخق ؿذ‪ ٜ‬دس ثشي ‪ٞ‬بی دسخت ؿىُ ‪ ٚ 11.2‬خهبیٍضیٗ وهشدٖ ‪ y ٚ x‬ثه‪ ٝ‬خهبی‬
‫‪ٔ Obj2 ٚ Obj1‬ی ت‪ٛ‬اٖ لب٘‪ ٖٛ‬وّی صیش سا اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثذػت آ‪ٚ‬سد‪:‬‬

‫)‪SafeToStack(x, y) ←Volume(x, 2) ⋀ density(y, 0.3) ⋀ Type(y,EndTable‬‬

‫لب٘‪ ٖٛ‬ثبال تٕبٔی ٔ‪ٛ‬اسد روش ؿذ‪ ٜ‬دس ثشي ‪ٞ‬بی ؿىُ ‪ 11.2‬سا خض د‪ ٚ‬ػجبست ”))‪ “LessThan(0.6,5)” ٚ “Equal(0.6,times(2,0.3‬سا‬
‫دس خ‪ٛ‬د داسد‪ .‬ایٗ د‪ ٚ‬ثشي حزف ؿذ‪ ٜ‬ا٘ذ صیشا و‪ ٝ‬خذا اص ‪ٚ‬یظٌی ‪ٞ‬بی د‪ ٚ‬خؼٓ ‪ٕٞ yٚ x‬یـ‪ٔ ٝ‬مذاس دسػت داس٘ذ‪.‬‬

‫ثب داؿتٗ ایٗ لب٘‪ ،ٖٛ‬ثش٘بٔ‪ٔ ٝ‬ی ت‪ٛ‬ا٘ذ ت‪ٛ‬خی‪ٔ 1ٝ‬ت‪ٙ‬بػت سا ‪ ٓٞ‬پیذا و‪ٙ‬ذ‪ :‬ت‪ٛ‬هی ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی اثجبتی ثشای دسػتی ایٗ لب٘‪ ٖٛ‬اػت‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٝ‬‬
‫ایٗ ت‪ٛ‬هی ثشای پ‪ٛ‬ؿؾ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ػبخت‪ ٝ‬ؿذ‪ ٜ‬ث‪ٛ‬د‪ ،‬أب ت‪ٛ‬هیحی ثشای تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بیی و‪ ٝ‬دس آٖ كذق و‪ٙٙ‬ذ ٘یض داسد‪.‬‬

‫لب٘‪ ٖٛ‬ثبال تؼٕیٕی لبثُ ت‪ٛ‬خ‪ ٝ‬س‪ٚ‬ی ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی داد‪ ٜ‬اػت‪ ،‬صیشا و‪ ٝ‬ثؼیبسی اص ‪ٚ‬یظٌی ‪ٞ‬بی دیٍهش ٕ٘‪٘ٛ‬ه‪ ٝ‬سا وه‪ٟٔ ٝ‬هٓ ٘ج‪ٛ‬د٘هذ حهزف وهشد‪ٜ‬‬
‫(‪ٚ‬یظٌی ‪ٞ‬بی ٔثُ سً٘ )‪ (color‬د‪ ٚ‬ؿی)‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د ثب ثشسػی دلیمتهش ت‪ٛ‬ههیحبت‪ ،‬له‪ٛ‬ا٘یٗ وّهی تهشی سا ٔهی ته‪ٛ‬اٖ ثذػهت آ‪ٚ‬سد‪ .‬اٍِه‪ٛ‬سیتٓ‬
‫‪2‬‬
‫‪ Prolog-EBG‬وّی تشیٗ لب٘‪ ٖٛ‬سا و‪ ٝ‬ت‪ٛ‬هیحبت سا ت‪ٛ‬خی‪ ٝ‬و‪ٙ‬ذ ثذػت ٔی آ‪ٚ‬سد‪ ،‬ایهٗ وهبس ثهب اػهتفبد‪ ٜ‬اص پیهذا وهشدٖ ههؼیفتشیٗ پیـه‪ٛٙ‬یغ‬
‫ت‪ٛ‬هیحبت ا٘دبْ ٔی ؿ‪ٛ‬د‪:‬‬

‫تعریف‪ :‬هؼیفتشیٗ پیـ‪ٛٙ‬یغ یه ٘تید‪ٌ ٝ‬یشی ٔثُ ‪ C‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬اثجبت ‪ ،P‬وّی تشیٗ دػت‪ ٝ‬فشه‪ٟ‬بی ا‪ِٚ‬ی‪ ٝ‬ای ٔثُ ‪ A‬اػت و‪ ٝ‬ثش اػبع ‪ A‬ثهب‬
‫فشم دسػت ث‪ٛ‬دٖ ‪ P‬ثت‪ٛ‬اٖ ‪ C‬سا ٘تید‪ٌ ٝ‬شفت‪.‬‬

‫ثشای ٔثبَ ٔزو‪ٛ‬س هؼیفتشیٗ پیـ‪ٛٙ‬یغ ٔف‪ٞ ْٟٛ‬ذف )‪ ،SafeToStack(x,y‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٕٝ٘ٛ٘ ٝ‬ی آٔ‪ٛ‬صؿی خذ‪ 11.1 َٚ‬ث‪ ٝ‬ؿىُ لب٘‪ ٖٛ‬صیش ثیبٖ‬
‫ٔی ؿ‪ٛ‬د‪ .‬ایٗ وّی تشیٗ لب٘‪٘ٛ‬ی اػت و‪ٔ ٝ‬ی ت‪ٛ‬اٖ ثب ت‪ٛ‬هی ‪ٛ٘ 11.2‬ؿت‪.‬‬

‫⋀))‪SafeToStack(x,y)←Volume(x,vx)⋀ Density(x,dx)⋀ Equal(wx,times(vx,dx‬‬

‫)‪LessThan(wx,5)⋀ Type(y,EndTable‬‬

‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ لب٘‪ ٖٛ‬وّی د‪ٔ ٚ‬مذاس حدٓ )‪ (density) ٚ (volume‬و‪ ٝ‬دس لب٘‪ ٖٛ‬ا‪ َٚ‬آٔذ‪ ٜ‬ثه‪ٛ‬د سا ٘یهبص ٘هذاسد‪ ٚ .‬ثه‪ ٝ‬خهبی آٖ ؿهشایٌی‬
‫وّی تش ثشای ٔمبدیش ایٗ ‪ٚ‬یظٌی ‪ٞ‬ب ٔی ٌزاسد‪.‬‬

‫اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬هؼیفتشیٗ پیـفشم تبثغ ٔف‪ ْٟٛ‬سا ثش اػبع ت‪ٛ‬هیحبت ‪ ٚ‬فشای‪ٙ‬ذی ث‪٘ ٝ‬هبْ ‪(Waldinger 1977) regression‬‬
‫ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬فشای‪ٙ‬ذ ‪ regression‬ثش س‪ٚ‬ی تئ‪ٛ‬سی لّٕش‪ٞٚ‬بیی و‪ ٝ‬ثش اػبع ‪ٞ horn clause‬ب تؼشیف ؿذ‪ ٜ‬ا٘ذ ػُٕ ٔی و‪ٙ‬ذ‪ .‬ایهٗ فشای‪ٙ‬هذ‬
‫پّ‪ ٝ‬ث‪ ٝ‬پّ‪ ٝ‬ت‪ٛ‬هیحبت سا ثش ػىغ ٔ‪ٛ‬سد ثشسػی لشاس ٔی د‪ٞ‬ذ‪ ،‬اثتذا هؼیفتشیٗ پیـفشم ٔف‪ٞ ْٟٛ‬ذف سا ثش اػبع ٔشحّ‪ ٝ‬ی ٘‪ٟ‬بیی اثجبت ت‪ٛ‬هیحبت‬
‫ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ ،‬ػپغ هؼیفتشیٗ پیـفشم ػجبسات حبكُ سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬لذْ لجّی ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ ٚ ،‬ث‪ٕٞ ٝ‬یٗ تشتیهت ادأه‪ٔ ٝ‬هی د‪ٞ‬هذ‪ .‬ایهٗ‬
‫فشای‪ٙ‬ذ صٔب٘ی پبیبٖ ٔی یبثذ و‪ ٝ‬تٕبٔی لؼٕت ‪ٞ‬بی ت‪ٛ‬هی ثشسػی ؿذ‪ ٜ‬ثبؿ‪ٙ‬ذ‪ ،‬یؼ‪ٙ‬هی ههؼیفتشیٗ پیـهفشم ٔف‪ٟ‬ه‪ٞ ْٛ‬هذف ثهب ت‪ٛ‬خه‪ ٝ‬ثه‪ ٝ‬تٕهبٔی‬
‫ثشي ‪ٞ‬بی ت‪ٛ‬هی ثذػت آٔذ‪ ٜ‬ثبؿذ‪.‬‬

‫‪1‬‬
‫‪justification‬‬
‫‪2‬‬
‫‪weakest preimage‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ٔشاحُ ًی ؿذ‪ ٜ‬ی فشای‪ٙ‬ذ ‪ regression‬دس ؿىُ ‪ 11.3‬آٔذ‪ ٜ‬اػت‪ ،‬دس ایٗ ؿىُ لؼٕت ت‪ٛ‬هی ؿىُ ‪ 11.2‬ثب خي غیشوح‪ 1‬د‪ٚ‬ثبس‪ ٜ‬آ‪ٚ‬سد‪ ٜ‬ؿهذ‪ٜ‬‬
‫اػت‪ٔ .‬شص تؼییٗ ؿذ‪ ٜ‬دس ‪ٞ‬ش ٔشحّ‪ ٝ‬ی فشای‪ٙ‬ذ ‪ regression‬ثب خي وح ‪ ٚ‬صیشخي داس‪ٛ٘ 2‬ؿت‪ ٝ‬ؿذ‪ ٜ‬اػت‪ .‬فشای‪ٙ‬ذ اص سیـ‪ ٝ‬ی دسخت ؿش‪ٚ‬ع ثه‪ ٝ‬وهبس‬
‫ٔی و‪ٙ‬ذ ‪ٔ ٚ‬شصی سا ثشای ٔف‪ٞ ْٟٛ‬ذف وّی )‪ SafeToStack(x,y‬ثیبٖ ٔی و‪ٙ‬ذ‪ .‬دس ٔشحّ‪ ٝ‬ی ا‪ ،َٚ‬هؼیفتشیٗ پیـهفشم ٕٔىهٗ ثهب ت‪ٛ‬خه‪ ٝ‬ثه‪ٝ‬‬
‫ػجبسات ‪ ٚ‬لؼٕت ا٘ت‪ٟ‬بیی دسخت ٔحبػج‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬دس ایٗ ٔشحّ‪ ٝ‬لب٘‪ ٖٛ‬ثذػت آٔهذ‪ SafeToStack(x,y) ← Lighter(x,y) ٜ‬خ‪ٛ‬ا‪ٞ‬هذ ثه‪ٛ‬د‪،‬‬
‫پغ هؼیفتشیٗ پیـفشم ٕٔىٗ )‪ Lighter(x,y‬اػت‪ .‬حبَ فشای‪ٙ‬ذ ثب ٔف‪ ْٟٛ‬خذیذ })‪ {Lighter(x,y‬ادأ‪ ٝ‬پیذا ٔی و‪ٙ‬ذ‪ .‬دس ٔشحّ‪ ٝ‬ی ثؼهذی ‪ٚ‬‬
‫ثشسػی ‪ horn clause‬ثؼذی ت‪ٛ‬هی ثب فشای‪ٙ‬ذ ث‪ ٝ‬هؼیفتشیٗ پیـه‪ٛٙ‬یغ })‪{Weight(x,wx),LessThan(wx,wy),Weight(y,wy‬‬
‫ٔی سػیٓ‪ ،‬یؼ‪ٙ‬ی تٕبٔی ‪ٞ y ٚ x‬بیی و‪ ٝ‬دس آ٘‪ٟ‬ب ‪ٚ( wx‬صٖ ‪ )x‬اص ‪ٚ( wy‬صٖ ‪ )y‬وٕتش اػت‪ .‬ایٗ فشای‪ٙ‬ذ ث‪ٕٞ ٝ‬یٗ كه‪ٛ‬ست پّه‪ ٝ‬ثه‪ ٝ‬پّه‪ ٝ‬ادأه‪ ٝ‬پیهذا‬
‫ٔی و‪ٙ‬ذ تب ثالخش‪ ٜ‬ث‪ ٝ‬دػت‪ ٝ‬ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ ٝ‬دس ثشٌ‪ٟ‬بی دسخت ٘‪ٛ‬ؿت‪ ٝ‬ؿذ‪ ٜ‬ا٘ذ ٔی سػذ‪ٔ .‬دٕ‪ٛ‬ػ‪ ٝ‬ی ایٗ ل‪ٛ‬ا٘یٗ و‪ ٝ‬دس ا٘ت‪ٟ‬هبی ؿهىُ ‪٘ 11.3‬یهض آٔهذ‪ٜ‬‬
‫لب٘‪ٔ ٖٛ‬ؼشف هؼیفتشیٗ پیـفشم خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪.‬‬

‫ؿىُ ‪ٔ 11.3‬حبػج‪ ٝ‬ی هؼیفتشیٗ پیـفشم ثشای ٔف‪ SafeToStack(Obj1,Obj2) ْٟٛ‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ت‪ٛ‬هی ٔ‪ٛ‬خ‪ٛ‬د‪.‬‬
‫ٔف‪ٞ ْٟٛ‬ذف اص سیـ‪٘( ٝ‬تید‪ )ٝ‬تب ثشٌ‪ٟ‬بی دسخت ثشسػی ٔی ؿ‪ٛ‬د ‪ .‬دس ‪ٞ‬ش ٔشحّ‪( ٝ‬و‪ ٝ‬ثب خٌچیٗ خذا ؿذ‪ )ٜ‬دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ ٔشصی (ثب خي وهح ‪ ٚ‬صیهشخي داس) یهه‬
‫ٔشحّ‪ ٝ‬دس ت‪ٛ‬هیحبت ػمت ٔی س‪ٚ‬د‪ .‬صٔب٘ی و‪ ٝ‬فشای‪ٙ‬ذ پبیبٖ ٔی پزیشد‪ ،‬ػٌف ؿشایي ثذػت آٔذ‪ ٜ‬هؼیفتشیٗ پیـفشم ٔ‪ٛ‬خ‪ٛ‬د ثشای ت‪ٛ‬هی ‪ٔ ٚ‬ف‪ٞ ْٟٛ‬ذف ٔ‪ٛ‬خ‪ٛ‬د‬
‫خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬هؼیفتشیٗ پیـفشم ثذػت آٔذ‪ ٜ‬دس ا٘ت‪ٟ‬ب ثب خي وح ‪ ٚ‬صیشخي داس ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬

‫‪1‬‬
‫‪nonitalic‬‬
‫‪2‬‬
‫‪italic underlined‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫لّت فشای‪ٙ‬ذ ‪ regression‬اٍِ‪ٛ‬سیتٓ دیٍشی ث‪٘ ٝ‬بْ ‪ regress‬اػت و‪ ٝ‬دس ‪ٞ‬ش ٔشحّ‪ٔ ٝ‬هشص ‪ٞ‬هب‪ 1‬فؼّهی سا ثهب اػهتفبد‪ ٜ‬اص ‪ Horn clause‬ی اص‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬پغ ٔی سا٘ذ‪ .2‬ایٗ اٍِ‪ٛ‬سیتٓ دس خذ‪ 11.3 َٚ‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ٔ .‬ثبَ آٔذ‪ ٜ‬دس ایٗ خذ‪ٔ َٚ‬شحّه‪ ٝ‬ی ا‪ َٚ‬فشای‪ٙ‬هذ ‪ regression‬سا دس‬
‫ؿىُ ‪٘ 11.3‬ـبٖ ٔی د‪ٞ‬ذ‪ٕٞ .‬بٌ٘‪ٛ‬س و‪ ٝ‬دس خذ‪ ٓٞ َٚ‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ ،‬اٍِ‪ٛ‬سیتٓ ‪ regress‬ثب پیذا وشدٖ خب٘ـیٗ ای ثشای ػش ‪horn clause‬‬
‫و‪ ٝ‬ثب ػجبست ٔشص یىی اػت ‪ ٚ‬خبیٍضی‪ٙ‬ی ٔشص ثب ثذ٘‪ ٝ‬ی لب٘‪ ،ٖٛ‬آ٘شا پیؾ ٔی ثشد‪.‬‬

‫لب٘‪ ٖٛ‬خش‪ٚ‬خی اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬ثب فشٔ‪ َٛ‬صیش ثیبٖ ٔی ؿ‪ٛ‬د‪ :‬ثذ٘‪ ٝ‬ی لب٘‪ ٖٛ‬هؼیف ترین پیـفشم پیذا ؿذ‪ ٜ‬اص ًشیك س‪ٚ‬ؽ ثبال خ‪ٛ‬ا‪ٞ‬هذ‬
‫ث‪ٛ‬د ‪ ٚ‬ػش لب٘‪٘ ٖٛ‬یض ‪ٕٞ‬بٖ ٔف‪ٞ ْٟٛ‬ذف اػت و‪ ٝ‬ثشای ‪ٞ‬ش ‪ٞ‬ش ٔشحّ‪ ٝ‬ی فشای‪ٙ‬هذ ‪ regression‬خب٘ـهی‪ٙ‬ی ای (ٔهثال خب٘ـهی‪ٙ‬ی 𝛩 دس خهذ‪َٚ‬‬
‫‪ )11.3‬ث‪ ٝ‬آٖ اػٕبَ ؿذ‪ ٜ‬اػت‪ .‬ایٗ خب٘ـی‪ٙ‬ی اص ایٗ خ‪ٟ‬ت هش‪ٚ‬سی اػت و‪ ٝ‬ثجبت اػبٔی ٔتغیش ‪ٞ‬ب دس ػش ‪ ٚ‬ثذ٘‪ ٝ‬ی حىٓ ایدبد ؿذ‪ ٜ‬سا حفظ وشد‪ٜ‬‬
‫‪ ٚ‬ػش لب٘‪ ٖٛ‬سا دس ٔ‪ٛ‬الؼی و‪ ٝ‬ت‪ٛ‬هیحبت اػتفبد‪ ٜ‬ؿذ‪ ٜ‬فمي یه حبِت خبف اص تبثغ ‪ٞ‬ذف ا٘ذ ٔـخق و‪ٙ‬ذ‪ٕٞ .‬بٌ٘‪ٛ‬س و‪ ٝ‬پیـتش ٘یض اؿبس‪ ٜ‬ؿذ‪ ،‬ثشای‬
‫ٔثبَ حبهش لب٘‪ٟ٘ ٖٛ‬بیی ث‪ ٝ‬ؿىُ صیش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪،‬‬

‫←)‪SafeToStack(x,y‬‬ ‫⋀)‪Volume(x,vx)⋀Density(x,dx‬‬

‫)‪Equal(wx,times(vx,dx))⋀LessThan(wx,5)⋀Type(y,Endtable‬‬

‫) 𝛩 ‪Regress(Frontier,Rule,Literal,‬‬

‫‪ :Frontier‬دػت‪ ٝ‬ای اص ل‪ٛ‬ا٘یٗ و‪ ٝ‬ثبیذ ثب ‪ ،Rule‬پؼش‪ٚ‬ی و‪ٙٙ‬ذ )‪(regress‬‬

‫‪ :Rule‬یه ‪horn clause‬‬

‫‪ :Literal‬ػجبستی دس ‪ Frontier‬و‪ ٝ‬ت‪ٛ‬ػي ‪ Rule‬دس ت‪ٛ‬هیحبت اػت‪ٙ‬تبج ٔی ؿ‪ٛ‬د‬

‫𝛩‪ :‬خب٘ـی‪ٙ‬ی ای و‪ ٝ‬ػش لب٘‪ Rule ٖٛ‬سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ػجبست ت‪ٛ‬هیحبت یىتب ٔی و‪ٙ‬ذ‬

‫ایٗ فشای‪ٙ‬ذ ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ػجبسات سا و‪ ٝ‬ثب ‪ ٓٞ‬هؼیفتشیٗ پیـفشم ‪ Frontier‬سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ Rule ٝ‬تـىیُ ٔی د‪ٙٞ‬ذ سا ثش ٔی ٌشدا٘ذ‬

‫‪ →head‬ػش ‪Rule‬‬
‫‪ →body‬ثذ٘‪ ٝ‬ی ‪Rule‬‬
‫𝛩→ وّی تشیٗ یىتب و‪ٙٙ‬ذ‪ ٜ‬ی ‪ head‬ثب ‪ Literal‬و‪ ٝ‬خب٘ـی‪ٙ‬ی ای چ‪ٚ 𝛩 ٖٛ‬خ‪ٛ‬د داؿت‪ ٝ‬ثبؿذ و‪ٝ‬‬
‫( 𝛩( 𝛩‬ ‫))‬ ‫( 𝛩‬ ‫)‬

‫( 𝛩 سا ثشٌشداٖ‬ ‫)‬
‫ٔثبَ (ا‪ِٚ‬یٗ ٔشحّ‪ ٝ‬ی ‪ regression‬دس ؿىُ ‪)11.3‬‬

‫‪Frontier = {Volume(x, us), Density(x, dx), Equal(wx, times(vx,dx)), LessThan(wx, wy),Weight(y,‬‬

‫‪1‬‬
‫‪Frontier‬‬
‫‪2‬‬
‫‪regress‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫))‪wy‬‬

‫)‪Rule = Weight(z,5) ← Type(z, Endtable‬‬

‫)‪Literal = Weight(y, wy‬‬

‫}‪𝛩 = {z/Obj2‬‬

‫)‪head ← Weight (z, 5‬‬

‫)‪body ← Type(z, Endtable‬‬

‫)‪𝛩 ← {z/y, wy/5}, where 𝛩 = (y/Obj2‬‬

‫‪Return {Volume(x, us), Density(x, dx), Equal (wx, times(vx, dx)), LessThan(wx, 5),‬‬

‫})‪Type(y, Endtable‬‬

‫خذ‪ 11.3 َٚ‬اٍِ‪ٛ‬سیتٓ ‪ regression‬ثشای ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ػجبسات ثب یه ‪.Horn clause‬‬

‫ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ػجبسات ‪ Frontier‬ثب ‪ Rule‬پغ سا٘ذ‪ٔ ٜ‬ی ؿ‪٘ٛ‬ذ‪ Literal .‬ػو‪ٛ‬ی اص ‪ Frontier‬اػت و‪ ٝ‬ت‪ٛ‬ػهي ‪ Rule‬دس ت‪ٛ‬ههیحبت ت‪ٛ‬خیه‪ ٝ‬ؿهذ‪ ٜ‬اػهت‪.‬‬
‫خب٘ـی‪ٙ‬ی 𝜣 خب٘ـی‪ٙ‬ی اص ٔتغیش ‪ٞ‬بػت و‪ ٝ‬ػش ‪ Rule‬سا ث‪ ٝ‬ػجبست ٔشث‪ ًٝٛ‬ی آٔذ‪ ٜ‬دس ت‪ٛ‬هیحبت ٔشث‪ٛ‬ى ٔی و‪ٙ‬ذ‪ .‬اٍِ‪ٛ‬سیتٓ اثتذا خب٘ـهی‪ٙ‬ی 𝜣 سا وه‪ ٝ‬ػهش‬
‫‪ Literal ٚ Rule‬سا ث‪ ٝ‬ك‪ٛ‬ستی و‪ ٝ‬ثب خب٘ـی‪ٙ‬ی 𝜣 ػبصٌبس ثبؿذ یىتب ٔی و‪ٙ‬ذ ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬ػپغ خب٘ـی‪ٙ‬ی 𝜣 سا ثب ت‪ٛ‬خه‪ ٝ‬ثه‪ Rule ٝ‬ثهشای ایدهبد‬
‫پیـفشم ‪ Frontier‬اػٕبَ ٔی و‪ٙ‬ذ‪ .‬ػالٔت "‪ "-" ٚ "+‬دس اٍِ‪ٛ‬سیتٓ ٘ـبٖ د‪ٙٞ‬ذ‪ ٜ‬ی اختٕبع ‪ ٚ‬اختالف ٔدٕ‪ٛ‬ػ‪ٞ ٝ‬ب ‪ٞ‬ؼت‪ٙ‬ذ‪ٕ٘ .‬بد ٌزاسی }‪٘ {z/y‬ییض ٘ـهبٖ‬
‫د‪ٙٞ‬ذ‪ ٜ‬ی خبیٍضی‪ٙ‬ی ‪ y‬ث‪ ٝ‬خبی ‪ z‬اػت‪ .‬یه ٕ٘‪ ٝ٘ٛ‬اص چٍ‪ٍ٘ٛ‬ی ػّٕىشد اٍِ‪ٛ‬سیتٓ آ‪ٚ‬سد‪ ٜ‬ؿذ‪.ٜ‬‬

‫‪ 11.1.1.1‬تجذیذ نظر در فرضیه هبی موجود‬

‫فشهی‪ ٝ‬ی فؼّی دس ‪ٞ‬ش ٔشحّ‪ٔ ٝ‬دٕ‪ٛ‬ػ‪ ٝ‬ای اص ‪ٞ horn clause‬بػت و‪ ٝ‬تب آٖ ٔشحّ‪ ٝ‬یهبد ٌشفته‪ ٝ‬ؿهذ‪ ٜ‬ا٘هذ‪ .‬دس ‪ٞ‬هش ٔشحّه‪ ،ٝ‬اٍِه‪ٛ‬سیتٓ تشتیجهی‬
‫ٕ٘‪ ٝ٘ٛ‬ی ٔثجت خذیذی سا و‪ٛٙٞ ٝ‬ص پ‪ٛ‬ؿب٘ذ‪٘ ٜ‬ـذ‪ ٜ‬ا٘تخبة وشد‪ ٚ ٜ‬آ٘شا ت‪ٛ‬هی ٔی د‪ٞ‬ذ ‪ ٚ‬لب٘‪٘ٛ‬ی خذیذ ثش اػبع فشای‪ٙ‬ذی و‪ ٝ‬دس ثهبال ت‪ٛ‬ههی داد‪ٜ‬‬
‫ؿذ ایدبد ٔی و‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ً ٝ‬جك تؼشیفی و‪ ٝ‬وشدیٓ دس ایٗ اٍِ‪ٛ‬سیتٓ فمي ٕ٘‪ٞ ٝ٘ٛ‬هبی ٔثجهت پ‪ٛ‬ؿهب٘ذ‪ ٜ‬خ‪ٛ‬ا‪ٙٞ‬هذ ؿهذ ‪ٔ ٚ‬دٕ‪ٛ‬ػه‪ ٝ‬ی‬
‫‪ٞ horn clause‬بی پ‪ٛ‬ؿب٘ذ‪ ٜ‬ؿذ‪ ٜ‬فمي ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت سا پیؾ ثی‪ٙ‬ی ٔی و‪ٙٙ‬ذ‪ .‬اٌش یه ٕ٘‪ ٝ٘ٛ‬ت‪ٛ‬ػي ل‪ٛ‬ا٘یٗ فؼّهی یبدٌشفته‪ ٝ‬ؿهذ‪ ٜ‬پیـهجی‪ٙ‬ی‬
‫٘ـ‪ٛ‬د آٖ ٕ٘‪ٙٔ ٝ٘ٛ‬فی دػت‪ ٝ‬ث‪ٙ‬ذی خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ .‬ایٗ ٌٔبثك ثب س‪ٚ‬ؽ ٔ‪ٙ‬فی دس صٔبٖ ؿىؼهت )‪ (negation-as-failure‬اػهت وه‪ ٝ‬دس ػیؼهتٓ‬
‫‪ Prolog‬ت‪ٛ‬هی داد‪ ٜ‬ؿذ‪.‬‬

‫‪ 11.1‬نکبتی در مورد یبدگیری توضیحی‬

‫‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس ثبال دیذیٓ‪ Prolog-EBG ،‬ثشسػی ای دلیك اص ته ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثشای تؼیهیٗ ث‪ٟ‬تهشیٗ سا‪ ٜ‬تؼٕهیٓ آٖ ثه‪ ٝ‬یهه فشههی‪ٝ‬‬
‫‪ horn clause‬ا٘دبْ ٔی د‪ٞ‬ذ‪ .‬دس صیش خ‪ٛ‬اف وّیذی ایٗ اٍِ‪ٛ‬سیتٓ آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪،‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثش خالف س‪ٚ‬ؿ‪ٟ‬بی اػتمشایی‪ Prolog-EBG ،‬فشهی‪ٞ ٝ‬بی وّی ت‪ٛ‬خی‪ ٝ‬ؿذ‪ ٜ‬ت‪ٛ‬ػي دا٘ؾ لجّی سا ثشای ثشسػی تهه ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هب اسائه‪ٝ‬‬
‫ٔی د‪ٞ‬ذ‪.‬‬
‫ت‪ٛ‬هی ای‪ٙ‬ى‪ ٝ‬چٍ‪ ٝ٘ٛ‬یه ٕ٘‪ٔ ٝ٘ٛ‬ف‪ٞ ْٟٛ‬ذف سا ساهی ٔی و‪ٙ‬ذ ٔـخق ٔی و‪ٙ‬ذ و‪ ٝ‬وذاْ ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٔ ٝ٘ٛ‬شث‪ٛ‬ى ‪ ٚ‬وذاْ ‪ٚ‬یظٌی ‪ٞ‬ب‬
‫٘بٔشث‪ٛ‬ى ث‪ ٝ‬تبثغ ‪ٞ‬ذف‪ٙ‬ذ‪ٚ :‬یظٌی ‪ٞ‬بی اػتفبد‪ ٜ‬ؿذ‪ ٜ‬دس ت‪ٛ‬هی ‪ٚ‬یظٌی ‪ٞ‬بی ٔشث‪ٛ‬ى ‪ٞ‬ؼت‪ٙ‬ذ‪.‬‬
‫ثب ثشسػی ثیـتش ت‪ٛ‬هی ‪ ،‬پغ سا٘ذٖ ٔف‪ٞ ْٟٛ‬ذف ثشای تؼییٗ هؼیف تشیٗ پیـفشم ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ت‪ٛ‬هیحبت ث‪ٔ ٝ‬هب اخهبص‪ٔ ٜ‬هی د‪ٞ‬هذ تهب‬
‫لیذ ‪ٞ‬بی )‪ (constraint‬وّی دیٍشی دسثبس‪ ٜ‬ی ‪ٚ‬یظٌی ‪ٞ‬بی ٔشث‪ٛ‬ى پیذا و‪ٙ‬یٓ‪.‬‬
‫‪ٞ‬ش ‪ horn clause‬یبدٌشفت‪ ٝ‬ؿذ‪ٔ ٜ‬ت‪ٙ‬بػت ثب ؿشى وبفی ثشای ساهی وشدٖ تبثغ ‪ٞ‬ذف اػهت‪ٔ .‬دٕ‪ٛ‬ػه‪ ٝ‬ی ‪ٞ horn clause‬هبی‬
‫یبدٌشفت‪ ٝ‬ؿذ‪ٞ ٕٝ٘ٛ٘ ٜ‬بی آٔ‪ٛ‬صؿی ٔثجتی سا ٔی پ‪ٛ‬ؿب٘‪ٙ‬ذ و‪ ٝ‬یبدٌیش دس ً‪ َٛ‬یبدٌیشی ثب آ٘‪ٟ‬ب ٔ‪ٛ‬اخ‪ ٝ‬ؿذ‪ ٜ‬اػت‪ ،‬أب دیٍش ٕ٘‪ٞ ٝ٘ٛ‬بیی وه‪ٝ‬‬
‫ایٗ ؿشایي وبفی سا داؿت‪ ٝ‬ثبؿ‪ٙ‬ذ ٘یض پ‪ٛ‬ؿب٘ذ‪ ٜ‬خ‪ٛ‬ا‪ٙٞ‬ذ ؿذ‪.‬‬
‫ٔیضاٖ تؼٕیٓ ‪ٞ horn clause‬بی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ث‪ ٝ‬فشٔ‪ َٛ‬تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬تشتیت ٔـب‪ٞ‬ذ‪ ٜ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ٚ‬اثؼت‪ ٝ‬اػت‪.‬‬
‫‪ Prolog-EBG‬وبٔال فشم ٔی و‪ٙ‬ذ و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت ‪ ٚ‬وبُٔ اػت‪ .‬اٌش تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت یب وبُٔ ٘جبؿذ‪ٔ ،‬ف‪ ْٟٛ‬یبدٌشفت‪ٝ‬‬
‫ؿذ‪٘ ٜ‬یض ٘ب دسػت خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪.‬‬
‫خ‪ٙ‬ج‪ٞ ٝ‬بی ٔشث‪ ًٝٛ‬ی ثؼیبسی دس یبدٌیشی ت‪ٛ‬هیحی ‪ٚ‬خ‪ٛ‬د داسد و‪ ٝ‬ث‪ ٝ‬دسن لبثّیت ‪ٞ‬ب ‪ٔ ٚ‬حذ‪ٚ‬دیت ‪ٞ‬بی آٖ وٕه ٔی و‪ٙ‬ذ‪:‬‬

‫‪ EBL‬ث‪ ٝ‬ػ‪ٛٙ‬اٖ تؼٕیٓ ٕ٘‪ٞ ٝ٘ٛ‬ب ثب ‪ٞ‬ذایت تئ‪ٛ‬سی‪ EBL .‬اص تئ‪ٛ‬سی لّٕش‪ٚ‬یؾ ثشای تؼٕیٓ ٘ؼجی ٕ٘‪ٞ ٝ٘ٛ‬ب ثب ٔـخق وشدٖ ‪ٚ‬یظٌی ‪ٞ‬بی‬
‫ٔشث‪ٛ‬ى ‪٘ ٚ‬بٔشث‪ٛ‬ى ٕ٘‪ٞ ٝ٘ٛ‬ب اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ثب ایٗ س‪ٚ‬ؽ ایٗ اٍِ‪ٛ‬سیتٓ اص ٔشص ‪ٞ‬بی پیچیذٌی ٕ٘‪ ٝ٘ٛ‬ای و‪ ٝ‬وبٔال دس یبدٌیشی اػتمشایی‬
‫ایدبد ٔی ؿ‪ٛ‬د اخت‪ٙ‬بة ٔی و‪ٙ‬ذ‪ .‬ایٗ خ‪ٙ‬ج‪ ٝ‬ای اػت و‪ ٝ‬ث‪ًٛ ٝ‬س هٕ‪ٙ‬ی دس ت‪ٛ‬هیحبت ثهبال دس ثهبس‪ ٜ‬ی اٍِه‪ٛ‬سیتٓ ‪ Prolog-EBG‬آٔهذ‪ٜ‬‬
‫اػت‪.‬‬
‫‪ EBL‬ث‪ ٝ‬ػ‪ٛٙ‬اٖ ثبص٘‪ٛ‬یؼی تئ‪ٛ‬سی ‪ٞ‬ب ثش اػبع ٕ٘‪ٞ ٝ٘ٛ‬ب‪ .‬ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ٔ Prolog-EBG‬ی ت‪ٛ‬اٖ ث‪ ٝ‬ك‪ٛ‬ست ٔتذی ثشای ثبص٘‪ٛ‬یؼی تئ‪ٛ‬سی‬
‫لّٕش‪ ٚ‬ث‪ ٝ‬فشٔی وبسثشدی تش ٍ٘ب‪ ٜ‬وشد‪ .‬دس وُ‪ ،‬تئ‪ٛ‬سی لّٕش‪ ٚ‬اكّی ثب ایدبد ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ (a) ٝ‬و‪ ٝ‬اص تئ‪ٛ‬سی لّٕش‪٘ ٚ‬تید‪ٌ ٝ‬یشی خ‪ٛ‬ا‪ٞ‬ذ ؿذ‬
‫‪ٞ ٕٝ٘ٛ٘ (b) ٚ‬بی آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬سا ت‪ٟٙ‬ب دس یه ٔشحّ‪ ٝ‬اػت‪ٙ‬جبًی دػت‪ ٝ‬ث‪ٙ‬ذی ٔی و‪ٙ‬ذ‪ ،‬ثبص٘‪ٛ‬یؼی ٔهی ؿه‪ٛ‬د‪ .‬ث‪ٙ‬هبثشایٗ‪ ،‬له‪ٛ‬ا٘یٗ‬
‫یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬سا ٔی ت‪ٛ‬اٖ ثبص٘‪ٛ‬یؼی تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ ٝ‬ك‪ٛ‬ست دػت‪ ٝ‬ای اص ل‪ٛ‬ا٘یٗ حبِت خبف و‪ٔ ٝ‬ی ت‪ٛ‬ا٘‪ٙ‬ذ ٕ٘‪ٞ ٝ٘ٛ‬بی ٔف‪ٞ ْٟٛ‬ذف ثهب‬
‫یه اػت‪ٙ‬تبج دػت‪ ٝ‬ث‪ٙ‬ذی و‪ٙٙ‬ذ دا٘ؼت‪.‬‬
‫‪ EBL‬ث‪" ٝ‬فمي" ػ‪ٛٙ‬اٖ ثبص٘‪ٛ‬یغ آ٘چ‪ ٝ‬یبدٌیش "ٔهی دا٘هذ"‪ .‬اص ٘ظهشی‪ ،‬یهبدٌیش ٔثهبَ ‪ SafeToStack‬ثهب دا٘ـهی وبٔهُ اص ٔف‪ٟ‬ه‪ْٛ‬‬
‫‪ SafeToStack‬ؿش‪ٚ‬ع ٔی و‪ٙ‬ذ‪ .‬ثذیٗ ٔؼ‪ٙ‬ب و‪ ،ٝ‬اٌش تئ‪ٛ‬سی لّٕش‪ٚ‬ی ا‪ِٚ‬ی‪ ٝ‬ثشای ت‪ٛ‬هی تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی وبفی اػهت‪ ،‬پهغ‬
‫ثشای پیـجی‪ٙ‬ی دػت‪ ٝ‬ث‪ٙ‬ذی ‪ٞ‬ب ٘یض وبفی خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬پغ اص چ‪٘ ٝ‬ظش‪ ،‬ایٗ یبدٌیش ‪ٚ‬یظٌی یبدٌیشی داسد یىی اص خه‪ٛ‬اة ‪ٞ‬هب ایهٗ‬
‫اػت و‪ ٝ‬تفب‪ٚ‬ت ثیٗ ای‪ٙ‬ى‪ ٝ‬چیضی سا ث‪ًٛ ٝ‬س وّی ثذا٘یٓ ‪ ٚ‬ای‪ٙ‬ى‪ ٝ‬چیضی سا ث‪ًٛ ٝ‬س ث‪ٟ‬ی‪ٔ ٝٙ‬حبػج‪ ٝ‬و‪ٙ‬یٓ ٕٔىٗ اػت ثؼیبس صیبد ثبؿذ‪ ٚ ،‬دس‬
‫چ‪ٙ‬یٗ ؿشایٌی ایٗ ٘‪ٛ‬ع "ثبص٘‪ٛ‬یؼی دا٘ؾ" ٔی ت‪ٛ‬ا٘ذ فشْ ٔ‪ٕٟ‬ی اص یبدٌیشی ثبؿذ‪ .‬ثشای ٔثبَ‪ ،‬دس ثبصی ؿٌش٘ح‪ ،‬له‪ٛ‬ا٘یٗ ثهبصی تئه‪ٛ‬سی‬
‫لّٕش‪ٚ‬یی وبُٔ ‪ٞ‬ؼت‪ٙ‬ذ‪ ،‬و‪ ٝ‬دس وُ ثشای ثبصی ث‪ٟ‬ی‪ ٝٙ‬ی ؿٌش٘ح وبفی ا٘ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬افشاد ثشای یبدٌیشی خ‪ٛ‬ة ثبصی وهشدٖ ٘یهبص ثه‪ٝ‬‬
‫تدشث‪ ٝ‬داس٘ذ‪ .‬ایٗ دلیمب ‪ٚ‬هؼیتی اػت و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی ‪ ٕٝٞ‬خب٘ج‪ ٚ ٝ‬وبُٔ ثهشای یهبدٌیش (ثهبصیىٗ) ٔؼّه‪ ْٛ‬اػهت ‪ ٚ‬یهبدٌیشی فمهي‬
‫ثبص٘‪ٛ‬یؼی ایٗ دا٘ؾ ث‪ ٝ‬فشٔی اػت و‪ ٝ‬ثت‪ٛ‬اٖ آ٘شا ث‪ًٛ ٝ‬س وبسأذ ثشای تؼییٗ حشوت ٔ‪ٙ‬بػت ث‪ ٝ‬وبس ثشد‪ .‬یهه ٔؼهیش دس حهبَ ایدهبد دس‬
‫فیضیه ٘ی‪ٛ‬ت‪٘ٛ‬ی ‪ٕٞ‬یٗ خبكیت سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ ،‬ل‪ٛ‬ا٘یٗ ػبد‪ ٜ‬ی فیضیه ث‪ ٝ‬ساحتی ٘‪ٛ‬ؿت‪ٔ ٝ‬ی ؿ‪٘ٛ‬ذ أب دا٘ـد‪ٛ‬یبٖ لؼٕت ػٕذ‪ ٜ‬ای اص‬
‫تشْ سا ثش س‪ٚ‬ی ٘تبیح آٖ وبس ٔی و‪ٙٙ‬ذ دس حبِی و‪ ٝ‬آ٘‪ٟ‬ب ایٗ دا٘ؾ سا دس فشْ وبسثشدی تش داس٘ذ ‪٘ ٚ‬یبصی ث‪ ٝ‬ثذػت آ‪ٚ‬سدٖ سا‪ ٜ‬حُ ٔؼهئّ‪ٝ‬‬
‫اص ل‪ٛ‬ا٘یٗ ا‪ِٚ‬ی‪ ٝ‬دس أتحهبٖ ٘‪ٟ‬هبیی ٘خ‪ٛ‬ا‪ٙٞ‬هذ داؿهت‪ Prolog-EBG .‬ایهٗ ثبص٘‪ٛ‬یؼهی دا٘هؾ سا ثهب ٍ٘بؿهت ٔؼهتمیٓ دػهت‪ ٝ‬له‪ٛ‬ا٘یٗ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدٌشفت‪ ٝ‬اؽ س‪ٚ‬ی ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٚ ٜ‬دػت‪ ٝ‬ث‪ٙ‬ذی ٔت‪ٙ‬بػت ثب ٔف‪ٞ ْٟٛ‬ذف ث‪ًٛ ٝ‬سی و‪ ٝ‬ػبصٌبس ثب تئ‪ٛ‬سی لّٕش‪ٚ‬ی‬
‫ٔشث‪ ًٝٛ‬ثبؿذ ا٘دبْ ٔی د‪ٞ‬ذ‪ .---‬اص آ٘دبیی و‪ ٝ‬دػت‪ ٝ‬ث‪ٙ‬ذی ٕ٘‪ ٝ٘ٛ‬ی دِخ‪ٛ‬ا‪ ٜ‬ث‪ٔ ٝ‬شاحُ ٔتؼذدی اػت‪ٙ‬تبج ‪ ٚ‬خؼتد‪ٛ‬ی لبثهُ ته‪ٛ‬خ‪ٟ‬ی دس‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬داسد‪ ،‬ل‪ٛ‬ا٘یٗ یبدٌشفت‪ ٝ‬ؿذ‪ٞ ٕٝ٘ٛ٘ ٜ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬سا دس یه ٔشحّ‪ ٝ‬اػت‪ٙ‬تبج دػت‪ ٝ‬ث‪ٙ‬ذی ٔی و‪ٙٙ‬ذ‪.‬‬
‫ث‪ٙ‬بثشایٗ‪ ،‬فشْ خبِق ‪ ،EBL‬ثبص٘‪ٛ‬یؼی تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ ٝ‬ك‪ٛ‬ست دػت‪ ٝ‬ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صؿی سا دس یه اػت‪ٙ‬جبى دػت‪ ٝ‬ث‪ٙ‬ذی ٔی و‪ٙٙ‬ذ اػت‪.‬‬
‫ایٗ ٘‪ٛ‬ع ثبص٘‪ٛ‬یؼی دا٘ؾ ٌب‪ٞ‬ی ٌشدا‪ٚ‬سی دا٘ؾ‪٘ 1‬بٔیذ‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ ،‬ثذیٗ ٔؼ‪ٙ‬ب و‪ ٝ‬ایهٗ تجهذیُ وهبسایی دا٘هؾ سا ‪ Same‬دسػهتی دا٘هؾ افهضایؾ‬
‫ٔی د‪ٞ‬ذ‪.‬‬

‫‪ 111.11‬پیدا کردن خواص جدید‬

‫یىی اص لبثّیت ‪ٞ‬بی خبِت ‪ Prolog-EBG‬ت‪ٛ‬ا٘بیی آٖ دس فشٔ‪ِٛ‬ی وشدٖ خ‪ٛ‬اف خذیذی و‪ ٝ‬ث‪ ٝ‬ك‪ٛ‬ست كشی دس ت‪ٛ‬ههی ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هبی آٔ‪ٛ‬صؿهی‬
‫٘یأٔذ‪ ٜ‬ا٘ذ أب ثشای ت‪ٛ‬كیف لب٘‪ ٖٛ‬وّی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی الصٔ‪ٙ‬ذ اػت‪ .‬ایٗ لبثّیت دس ثشسػی ػّٕىشد اٍِ‪ٛ‬سیتٓ ‪ ٚ‬لب٘‪ ٖٛ‬یبدٌفت‪ ٝ‬ؿذ‪ ٜ‬ی لؼهٕت‬
‫لجُ ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ .‬دس ای‪ٙ‬دب‪ ،‬لب٘‪ ٖٛ‬یبدٌشفت‪ ٝ‬ؿذ‪٘ ٜ‬ـبٖ ٔی د‪ٞ‬ذ و‪ ٝ‬لیذ س‪ٚ‬ی ‪ Density ٚ Volume‬ی ‪ x‬ایٗ اػت و‪ ٝ‬هشثـبٖ ثبیذ‬
‫وٕتش اص ‪ 5‬ثبؿذ‪ .‬دس ‪ٚ‬الغ‪ٞ ٕٝ٘ٛ٘ ،‬بی آٔ‪ٛ‬صؿی ت‪ٛ‬كیفی اص چ‪ٙ‬یٗ حبكّوشثی یب ٔمذاسی و‪ ٝ‬ثبیذ داؿت‪ ٝ‬ثبؿذ ٘ذاس٘ذ‪ ،‬دس ٔمبثُ ایٗ لیذ ت‪ٛ‬ػي یهبدٌیش‬
‫ث‪ ٝ‬ك‪ٛ‬ست ات‪ٔٛ‬بتیه ایدبد ٔی ؿ‪ٛ‬د‪.‬‬

‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ "‪ٚ‬یظٌی"‪ٔ 2‬ـبث‪ٚ ٝ‬یظٌی ‪ٞ‬بی ‪ٚ‬احذ ‪ٞ‬بی الی‪ ٝ‬پ‪ٟٙ‬بٖ ؿجى‪ٞ ٝ‬بی ػلجی اػت؛ اص ایٗ خ‪ٟ‬ت و‪ ،ٝ‬ایٗ ‪ٚ‬یظٌهی یىهی اص خه‪ٛ‬اف‬
‫ثؼیبس صیبد لبثُ ٔحبػج‪ ٝ‬س‪ٚ‬ی ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ٞ ٝ٘ٛ‬بػت‪ٔ .‬ـبث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪٘ Prolog-EBG ،backpropation‬یهض ثه‪ً ٝ‬ه‪ٛ‬س خ‪ٛ‬دوهبس چ‪ٙ‬هیٗ‬
‫‪ٚ‬یظٌی ‪ٞ‬بیی سا حیٗ تالؽ ثشای ت‪ٙ‬بػت ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی پیذا ٔی و‪ٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬ثشخالف فشای‪ٙ‬ذ آٔبسی و‪ٚ ٝ‬یظٌی ‪ٞ‬بی ‪ٚ‬احذ‪ٞ‬بی پ‪ٟٙ‬هبٖ‬
‫ؿجى‪ٞ ٝ‬بی ػلجی سا پیذا ٔی وشد‪ Prolog-EBG ،‬اص فشای‪ٙ‬ذی تحّیّی ثشای ایدبد ‪ٚ‬یظٌی خذیذ ثش اػبع تحّیهُ ٕ٘‪٘ٛ‬ه‪ ٝ‬ی آٔ‪ٛ‬صؿهی اػهتفبد‪ٜ‬‬
‫ٔی و‪ٙ‬ذ‪ .‬دس ثبال‪ Prolog-EBG ،‬فشْ تحّیّی ‪ٚ‬یظٌی ‪ Density∙Volume>5‬سا اص ٕ٘‪ ٝ٘ٛ‬ػبصی خبف تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای ت‪ٛ‬هی یه تهه‬
‫ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ایدبد وشد‪ .‬ثشای ٔثبَ‪ٕ٘ ،‬بد ٌزاسی حبكّوشة ‪ Volume ٚ Density‬اص آٖ خ‪ٟ‬ت ا‪ٕٞ‬یت داسد و‪ ٝ‬اص یىی اص ل‪ٛ‬ا٘یٗ تئه‪ٛ‬سی‬
‫لّٕش‪ ٚ‬و‪ Weight ٝ‬سا تؼشیف ٔی و‪ٙ‬ذ ایدبد ٔی ؿ‪ٛ‬د‪ .‬ایٗ تفىش و‪ ٝ‬ایٗ حبكّوشة ثبیذ وٕتش اص ‪ 5‬ثبؿهذ اص د‪ ٚ‬لهب٘‪ ٖٛ‬تئه‪ٛ‬سی لّٕهش‪ ٚ‬وه‪ ٝ‬ادػهب‬
‫ٔی و‪ٙٙ‬ذ ‪ Obj1‬ثبیذ ‪ Endtable ٚ Lighter‬ثبؿذ ‪ ٚ‬ای‪ٙ‬ى‪ٚ ٝ‬صٖ )‪ 5 ،Endtable (Weight‬اػت ٘بؿی ٔی ؿ‪ٛ‬د‪ .‬ث‪ٙ‬هبثشایٗ‪ ،‬ایهٗ تشویهت‬
‫خبف ‪ ٕٝ٘ٛ٘ ٚ‬ثشداسی ‪ ٚ‬ػجبسات ا‪ِٚ‬ی‪ ٝ‬ی تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت و‪ ٝ‬ث‪ ٝ‬تؼشیف ایٗ خ‪ٛ‬اف خذیذ وٕه ٔی و‪ٙ‬ذ‪.‬‬

‫ٔجحث یبدٌیشی خ‪ٛ‬دوبس خ‪ٛ‬اف ٔفیذ ثشای تغییش ٕ٘بیؾ س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب ٔجحث ٔ‪ٕٟ‬ی دس یبدٌیشی ٔبؿیٗ اػت‪ٔ .‬ـتمُ تحّیّی ایٗ خ‪ٛ‬اف خذیذ‬
‫دس یبدٌیشی ت‪ٛ‬هیحی ‪ٔ ٚ‬ـتمُ اػتمشایی ایٗ خ‪ٛ‬اف دس الی‪ ٝ‬ی پ‪ٟٙ‬بٖ ؿجى‪ٞ ٝ‬بی ػلجی د‪ ٚ‬س‪ٚ‬ؽ ٔدضا سا اسائ‪ٔ ٝ‬ی و‪ٙٙ‬ذ‪ .‬صیشا و‪ ٝ‬آ٘‪ٟ‬ب ث‪ٙٔ ٝ‬هبثغ‬
‫ٔختّف اًالػبت (٘ظٓ ‪ٞ‬بی آٔبسی س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی صیبد دس ٔمبثُ تحّیُ یه ٕ٘‪ ٝ٘ٛ‬ثب اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ )ٚ‬ثشسػی س‪ٚ‬ؿ‪ٟ‬بیی وه‪ ٝ‬اص تشویهت‬
‫ایٗ د‪ٙٔ ٚ‬جغ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ ٔفیذ خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪.‬‬

‫‪1‬‬
‫‪knowledge compilation‬‬
‫‪2‬‬
‫‪feature‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 111.1.‬یادگیری استنتاجی‬
‫دس فشْ خبِق‪ Prolog-EBG ،‬ثیـتش ؿجی‪ ٝ‬س‪ٚ‬ؿی اػت‪ٙ‬تبخی اػت تب س‪ٚ‬ؿی اػتمشایی‪ .‬ثذیٗ ٔؼ‪ٙ‬ب وه‪ ٝ‬ثهب ٔحبػهج‪ ٝ‬ی ههؼیف تهشیٗ پیـهفشم‬
‫ت‪ٛ‬هیحبت فشهی‪ٔ ٝ‬ثُ ‪ h‬ایدبد ٔی ؿ‪ٛ‬د و‪ ٝ‬اص تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪ B‬و‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صؿی ‪ D‬سا پ‪ٛ‬ؿؾ ٔی د‪ٞ‬ذ ٘تیده‪ٌ ٝ‬یهشی خ‪ٛ‬ا‪ٞ‬هذ ؿهذ‪ .‬ثه‪ٝ‬‬
‫ػجبست دلیمتش‪ Prolog-EBG ،‬فشهی‪ ٝ‬ای ٔثُ ‪ h‬سا خش‪ٚ‬خی خ‪ٛ‬ا‪ٞ‬ذ داد و‪ ٝ‬دس د‪ ٚ‬ؿشى صیش كذق ٔی و‪ٙ‬ذ‪:‬‬

‫(‬ ‫) (‬ ‫) ⋀ ()‬ ‫) (‬ ‫(‬ ‫)‬

‫⋀‬ ‫(‬ ‫)‬

‫‪ i ،‬أهیٗ ٕ٘‪٘ٛ‬ه‪ ٝ‬ی آٔ‪ٛ‬صؿهی ‪ٔ ( ) ٚ‬مهذاس‬ ‫دس ایٗ س‪ٚ‬اثي داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ‪ D‬ؿبُٔ ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػت و‪ ٝ‬دس آٖ‬
‫‪ٞ‬ذف آٖ اػت (‪ f‬تبثغ ‪ٞ‬ذف اػت)‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬ؿشى ا‪ َٚ‬فمي تؼجیش سیبهی ؿشى وّی یبدٌیشی ٔبؿیٗ اػت‪ ،‬ای‪ٙ‬ى‪ ٝ‬فشهی‪ ٝ‬ی ‪ h‬ثبیهذ‬
‫دس ‪ D‬ث‪ ٝ‬دسػتی پیـجی‪ٙ‬ی و‪ٙ‬ذ (اِجت‪ ٝ‬دس ای‪ٙ‬دب ‪ .)---‬اِجت‪ ٝ‬دس وُ‪ ،‬فشهی‪ٞ ٝ‬هبی خهبیٍضیٗ ثؼهیبسی‬ ‫ٔمذاس ‪ٞ‬ذف ) ( سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی‬
‫‪ٚ‬خ‪ٛ‬د داس٘ذ و‪ ٝ‬دس ؿشى ا‪ َٚ‬كذق ٔی و‪ٙٙ‬ذ‪ .‬ؿشى د‪ ْٚ‬تبثیش تئ‪ٛ‬سی لّٕش‪ ٚ‬دس ‪ Prolog-EBG‬سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ :‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ٔدج‪ٛ‬س اػهت‬
‫اص تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٘تید‪ٌ ٝ‬شفت‪ ٝ‬ؿذ‪ ٜ‬ثبؿذ‪ .‬ایٗ ؿشى د‪ ْٚ‬اث‪ٟ‬بْ یبدٌیش دس ا٘تخبة فشهی‪ ٝ‬سا وهب‪ٞ‬ؾ ٔهی د‪ٞ‬هذ‪ .‬ث‪ٙ‬هبثشایٗ‪ ،‬تهبثیش‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬وب‪ٞ‬ؾ ٔ‪ٛ‬ثش ا٘ذاص‪ ٜ‬ی فوبی فشهی‪ ٚ ٝ‬ث‪ٙ‬بثشایٗ وب‪ٞ‬ؾ پیچیذٌی ٕ٘‪ٞ ٝ٘ٛ‬ب دس یبدٌیشی اػت‪.‬‬

‫ثب ٕ٘بیـی دیٍش ٔی ت‪ٛ‬اٖ ٘‪ٛ‬ع دا٘ـی و‪ Prolog-EBG ٝ‬ث‪ ٝ‬ػ‪ٛٙ‬اٖ تئ‪ٛ‬سی لّٕش‪٘ ٚ‬یبص داسد سا ٔؼّ‪ ْٛ‬وشد‪ .‬دس وُ‪ Prolog-EBG ،‬فشم ٔی و‪ٙ‬ذ‬
‫و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪ B‬سا ٔی ت‪ٛ‬اٖ اص دػت‪ ٝ‬ث‪ٙ‬ذی ٕ٘‪ٞ ٝ٘ٛ‬بی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٘تید‪ٌ ٝ‬شفت‪:‬‬

‫(‬ ‫) (‬ ‫) ⋀ ()‬ ‫) (‬ ‫(‬ ‫)‬

‫ایٗ ؿشى ثشای تئ‪ٛ‬سی لّٕش‪ ٚ‬ی ‪ٔ B‬ؼبدَ ایٗ اػت و‪ ٝ‬فشم و‪ٙ‬یٓ و‪ B ٝ‬ثت‪ٛ‬ا٘ذ ثشای ‪ٞ‬ش ٕ٘‪ٔ ٝ٘ٛ‬ثجت ت‪ٛ‬هیحی اسائ‪ ٝ‬د‪ٞ‬ذ‪.‬‬

‫ٔمبیؼ‪ ٝ‬ی تؼشیف ٔؼئّ‪ ٝ‬ی یبدٌیشی ‪ ٚ Prolog-EBG‬ثش٘بٔ‪ٛ٘ ٝ‬یؼی اػتمشایی ٔ‪ٌٙ‬می )‪ (ILP‬و‪ ٝ‬دس فلُ ‪ 11‬ثحث ؿذ خبِت اػت‪ .‬دس فلهُ‬
‫‪ 11‬فشم وشدیٓ و‪ ٝ‬تؼٕیٕی اص یبدٌیشی اػتمشا ٔؼٕ‪ َٛ‬ا٘دبْ ٔی د‪ٞ‬یٓ ثب ایٗ تفب‪ٚ‬ت و‪ ٝ‬دا٘ؾ لجّی ای ٔثُ ’‪ B‬دس اختیبس یبدٌیش اػت‪( .‬اص ’‪ B‬ث‪ٝ‬‬
‫خبی ‪ B‬ثشای دا٘ؾ لجّی ‪ ILP‬اػتفبد‪ ٜ‬وشدیٓ تب ٘ـبٖ د‪ٞ‬یٓ و‪ B’ ٝ‬دس ساثٌ‪ ٝ‬ی ‪ 11.3‬كذق ٕ٘ی و‪ٙ‬ذ)‪ ILP .‬یهه ػیؼهتٓ اػهتمشایی اػهت أهب‬
‫‪ Prolog-EBG‬یه ػیؼتٓ اػت‪ٙ‬تبخی اػت‪ ILP .‬اص دا٘ؾ لجّی ’‪ B‬ثشای افضایؾ ا٘ذاص‪ ٜ‬ی ٔدٕ‪ٛ‬ػ‪ ٝ‬ی فشهی‪ٞ ٝ‬بی ٕٔىٗ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ دس‬
‫حبِی و‪ Prolog-EBG ٝ‬اص دا٘ؾ لجّی ‪ B‬ثشای وب‪ٞ‬ؾ ٔدٕ‪ٛ‬ػ‪ ٝ‬ی فشهی‪ٞ ٝ‬بی لبثُ لج‪ َٛ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ٕٞ .‬بٌ٘‪ٛ‬س وه‪ ٝ‬دس ساثٌه‪ ٝ‬ی ‪10.2‬‬
‫٘یض آٔذ‪ ILP ،‬فشهی‪ ٝ‬ای ٔثُ ‪ h‬خش‪ٚ‬خی ٔی د‪ٞ‬ذ و‪ ٝ‬و‪ ٝ‬دس ؿشى صیش كذق ٔی و‪ٙ‬ذ‪،‬‬

‫(‬ ‫) (‬ ‫) ⋀ ⋀ ()‬ ‫) (‬

‫ث‪ ٝ‬ساثٌ‪ ٝ‬ی ثیٗ ایٗ ؿشى ‪ ٚ‬ؿش‪ٚ‬ى ‪ h‬دس ‪( Prolog-EBG‬و‪ ٝ‬دس س‪ٚ‬اثي ‪ 11.2 ٚ 11.1‬آٔذ‪ )ٜ‬ت‪ٛ‬خ‪ ٝ‬و‪ٙ‬یذ‪ .‬ایٗ ؿشى ‪ ILP‬ثشای ‪ h‬حبِت هؼیفتشی‬
‫) ⋀ ⋀ ( دس حبِی و‪ ٝ‬دس ‪ Prolog-EBG‬ؿشى ثؼیبس ٔحىهٓ تهش‬ ‫اص ؿشى ساثٌ‪ ٝ‬ی ‪ 11.1‬اػت‪ ،‬دس ‪ ILP‬فمي الصْ اػت و‪( ) ٝ‬‬
‫) ⋀ (‪ٕٞ .‬چ‪ٙ‬یٗ ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ILP ٝ‬ؿشًی دس ٔمبثُ ؿشى ساثٌ‪ ٝ‬ی ‪٘ Prolog-EBG 11.2‬ذاسد‪.‬‬ ‫اػت‪( ) ،‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 11.1.1‬ببیبس استقرایی یبدگیری توضیحی‬

‫ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬آ٘چ‪ ٝ‬دس فلُ ‪ٌ 2‬فت‪ ٝ‬ؿذ‪ ،‬ثبیبع اػتمشایی یه اٍِ‪ٛ‬سیتٓ یبدٌیشی ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص فشم ‪ٞ‬بػت و‪ ٝ‬ثب آٖ ث‪ٕٞ ٝ‬شا‪ٞ ٕٝ٘ٛ٘ ٜ‬بی آٔ‪ٛ‬صؿی‬
‫ٔی ت‪ٛ‬اٖ پیـجی‪ٙ‬ی ‪ٞ‬بی یبدٌیش سا ٘تید‪ٌ ٝ‬یشی وشد‪ .‬ا‪ٕٞ‬یت ثبیبع اػتمشایی دس ایٗ اػت و‪ ٝ‬چٍ‪ٍ٘ٛ‬ی تؼٕیٓ یبدٌیش ثش س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬هبی آٔ‪ٛ‬صؿهی‬
‫ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬سا ٔـخق ٔی و‪ٙ‬ذ‪.‬‬

‫أب ثبیبع اػتمشایی ‪ Prolog-EBG‬چیؼت ‪ٕٞ‬بٌ٘‪ٛ‬س وه‪ ٝ‬دس ساثٌه‪ ٝ‬ی ‪٘ 11.2‬یهض ٌفته‪ ٝ‬ؿهذ‪ ،ٜ‬دس ‪ Prolog-EBG‬فشههی‪ ٝ‬ی خش‪ٚ‬خهی ‪ h‬سا‬
‫ٔی ت‪ٛ‬اٖ اص ‪٘ B⋀D‬تید‪ٌ ٝ‬شفت‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬تئ‪ٛ‬سی لّٕش‪ٔ B ٚ‬دٕ‪ٛ‬ػ‪ ٝ‬ای اص فشم ‪ٞ‬بػت وه‪ ٝ‬ثه‪ٕٞ ٝ‬هشا‪ٕ٘ٛ٘ ٜ‬ه‪ٞ ٝ‬هبی آٔ‪ٛ‬صؿهی ٔهی ته‪ٛ‬اٖ اص آٖ‬
‫فشهی‪ ٝ‬ی خش‪ٚ‬خی سا ٘تید‪ٌ ٝ‬یشی وشد‪ .‬ثب دا٘ؼتٗ ای‪ٙ‬ى‪ ٝ‬پیـجی‪ٙ‬ی ‪ٞ‬بی یبدٌیش فمي اص ایٗ فشهی‪ ٝ‬ی ‪٘ h‬بؿی ٔی ؿ‪ٛ‬د‪ ،‬ث‪٘ ٝ‬ظش ٔی سػذ و‪ ٝ‬ثبیبع‬
‫اػتمشایی ‪ Prolog-EBG‬فمي تئ‪ٛ‬سی لّٕش‪ ٚ‬ی ‪ B‬اػت‪ .‬دس ‪ٚ‬الغ ایٗ ٌفت‪ ٝ‬اػت أب ثبیذ یه ت‪ٛ‬هی و‪ٛ‬چه سا دس ٘ظش ٌشفت وه‪ٔ :ٝ‬دٕ‪ٛ‬ػه‪ ٝ‬ی‬
‫ثضسٌی اص ‪ٞ horn clause‬ب سا ٔی ت‪ٛ‬اٖ اص تئ‪ٛ‬سی لّٕش‪٘ ٚ‬تید‪ٌ ٝ‬یشی وشد‪ .‬پغ ػ‪ٙ‬بكش ثبلیٕب٘ذ‪ ٜ‬ی ثبیبع اػتمشایی ٘بؿی اص ثبیبع دس ا٘تخهبة‬
‫‪ Prolog-EBG‬دس ٔیبٖ ‪ٞ horn clause‬بی ٕٔىٗ اػت‪ٕٞ .‬بٌ٘‪ٛ‬س و‪ ٝ‬دس ثبال دیذ‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ Prolog-EBG ،‬اص اٍِ‪ٛ‬سیتٕی تشتیجی وه‪ ٝ‬تهب‬
‫اتٕبْ تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت لب٘‪ ٖٛ‬ت‪ِٛ‬یذ ٔی و‪ٙ‬ذ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ػال‪ ٜٚ‬ثش آٖ‪ٞ ،‬هش ‪ horn clause‬وّهی تهشیٗ حىهٓ ٕٔىهٗ (ههؼیفتشیٗ‬
‫پیـفشم) ثش اػبع ت‪ٛ‬هیحبت ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی فؼّی اػت‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬دس ثهیٗ ایهٗ ‪ٞ horn clause‬هب وه‪ ٝ‬اص تئه‪ٛ‬سی لّٕهش‪٘ ٚ‬تیده‪ٌ ٝ‬یهشی‬
‫ٔی ؿ‪٘ٛ‬ذ‪ٔ ،‬ی ت‪ٛ‬ا٘یٓ ثبیبع اػتمشایی ‪ Prolog-EBG‬سا اسخ‪ٟ‬یت ٔدٕ‪ٛ‬ػ‪ ٝ‬ی وه‪ٛ‬چىی اص وّهی تهشیٗ ‪ٞ horn clause‬هب ثهذا٘یٓ‪ .‬دس ‪ٚ‬الهغ‪،‬‬
‫اٍِ‪ٛ‬سیتٓ حشیق ‪ Prolog-EBG‬فمي یه تمشیت ثشای اٍِ‪ٛ‬سیتٓ خؼتد‪ٛ‬ی ‪ ٕٝٞ‬خب٘ج‪ ٝ‬اػت و‪ٚ ٝ‬الؼب و‪ٛ‬تب‪ٞ‬تشیٗ ٔدٕ‪ٛ‬ػ‪ ٝ‬اص وّی تشیٗ ‪horn‬‬
‫‪ٞ clause‬ب سا پیذا ٔی و‪ٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬ثبیبع اػتمشایی ‪ Prolog-EBG‬سا ٔی ت‪ٛ‬اٖ تمشیجب آ٘چ‪ٌ ٝ‬فت‪ ٝ‬ؿذ دس ٘ظش ٌشفت‪.‬‬

‫تقریب بایاس استقرایی ‪ :Prolog-EBG‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪ B‬ث‪ ٝ‬ػال‪ ٜٚ‬ی اسخ‪ٟ‬یت ٔدٕ‪ٛ‬ػ‪ٞ ٝ‬بی و‪ٛ‬چىتش ‪ٞ horn clause‬بی وّی تش‪.‬‬

‫ٔ‪ ٟٓ‬تشیٗ ٘ىت‪ ٝ‬دس ای‪ٙ‬دب ایٗ اػت و‪ ٝ‬ثبیبع اػتمشایی ‪( Prolog-EBG‬خي ٔـیی و‪ ٝ‬ثشای تؼٕیٓ س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی پیؾ ٔی ٌیشد) ثه‪ٝ‬‬
‫ؿذت ث‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪ٚ‬س‪ٚ‬دی ‪ٚ‬اثؼت‪ ٝ‬اػت‪ .‬ایٗ ٔخبِف ػّٕىشد تٕبٔی دیٍش اٍِه‪ٛ‬سیتٓ ‪ٞ‬هبی یهبدٌیشی (ٔثهُ ؿهجى‪ٞ ٝ‬هبی ػلهجی ‪ ٚ‬دسخهت‬
‫یبدٌیشی) اػت‪ ،‬دس دیٍش اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی یبدٌیشی ثبیبع اػتمشایی خبكیتی ثبثت اص اٍِ‪ٛ‬سیتٓ یبدٌیشی ث‪ٛ‬د و‪ٔ ٝ‬ؼٕ‪ٛ‬ال ث‪ٕ٘ ٝ‬بیؾ فشهی‪ٞ ٝ‬ب ‪ٚ‬اثؼهت‪ٝ‬‬
‫ث‪ٛ‬د‪ .‬چشا ‪ٚ‬اثؼتٍی ثبیبع اػتمشایی ‪ Prolog-EBG‬ث‪ٚ ٝ‬س‪ٚ‬دی ‪ ٚ‬ثبثت ٘ج‪ٛ‬دٖ آٖ ا‪ٕٞ‬یت داسد صیشا و‪ٕٞ ،ٝ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس فلهُ ‪ ٚ 2‬دیٍهش فله‪َٛ‬‬
‫ٌفت‪ ٝ‬ؿذ‪ ،‬ثبیبػی ‪ٚ‬خ‪ٛ‬د ٘ذاسد و‪ ٝ‬دس ‪ ٕٝٞ‬ی ٔؼبئُ وبسایی الصْ سا داؿت‪ ٝ‬ثبؿذ‪ٕٞ ،‬چ‪ٙ‬یٗ یبدٌیشی ثذ‪ ٖٚ‬ثبیبع ثی‪ٟٛ‬د‪ ٜ‬اػت‪ .‬ث‪ٙ‬بثشایٗ‪ٞ ،‬ش تهالؽ‬
‫ثشای ػبخت ٔتذ وّی یبدٌیشی حذالُ الصْ اػت و‪ ٝ‬ثبیبع اػتمشایی ٔتغیشی داؿت‪ ٝ‬ثبؿذ تب ثت‪ٛ‬ا٘ذ ٔت‪ٙ‬بػت ثب ٔؼئّ‪ ٝ‬تغییش و‪ٙ‬ذ‪ .‬دس ػٌ وبسثشدی‬
‫تش‪ ،‬دس ثؼیبسی اص وبس‪ٞ‬ب ًجیؼی اػت و‪ ٝ‬دا٘ـی ٔشث‪ٛ‬ى ث‪ ٝ‬لّٕش‪ٔ ٚ‬ؼئّ‪ٔ( ٝ‬ثُ‪ ،‬دا٘ؾ دسثبس‪ ٜ‬ی ‪ Weight‬دس ٔؼئّ‪ ٝ‬ی ‪ )SafeToStack‬وه‪ ٝ‬دس‬
‫چٍ‪ٍ٘ٛ‬ی تؼٕیٓ یبدٌیش ثش س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی تبثیش ٌزاس اػت دس دػتشع ٔی ثبؿذ‪ .‬دس ٔمبثُ‪ ،‬ثبیبع وشدٖ فهشْ فشههی‪ٞ ٝ‬هب (ٔثهُ تهشخی‬
‫دسخت ‪ٞ‬بی و‪ٛ‬تب‪ٞ‬تش دس یبدٌیشی دسختی) ًجیؼی ٘یؼت‪ .‬دس آخش‪ ،‬اٌش ٔـىُ ثضسي چٍ‪ٍ٘ٛ‬ی ای‪ٙ‬ى‪ ٝ‬ػبُٔ خ‪ٛ‬دوبس‪ 1‬ت‪ٛ‬ا٘بیی ‪ٞ‬بیؾ دس یبدٌیشی سا دس‬
‫ً‪ َٛ‬صٔبٖ ث‪ٟ‬ج‪ٛ‬د ٔی ثخـذ سا دس ٘ظش ثٍیشیٓ‪ ،‬ث‪ٙ‬بثشایٗ خزاة خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د و‪ ٝ‬اٍِ‪ٛ‬سیتٓ یبدٌیشی ای داؿت‪ ٝ‬ثبؿیٓ و‪ ٝ‬لبثّیت ‪ٞ‬بی تؼٕیٕؾ ثب خٕهغ‬
‫آ‪ٚ‬سدی دا٘ؾ ثیـتش اص لّٕش‪ ٚ‬ث‪ٟ‬ج‪ٛ‬د یبثذ‪.‬‬

‫‪1‬‬
‫‪autonomous‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪1‬‬
‫‪ 11.1.1‬یبدگیری مرتبه ی دانش‬
‫‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس ساثٌ‪ ٝ‬ی ‪ 11.2‬اؿبس‪ ٜ‬ؿذ‪ ،‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ‪ h‬اص اٍِ‪ٛ‬ستیٓ ‪ Prolog-EGB‬اص تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪ٞ ٕٝ٘ٛ٘ ٚ B‬بی آٔ‪ٛ‬صؿی ‪٘ D‬تید‪ٝ‬‬
‫ٌیشی ٔی ؿ‪ٛ‬د‪ .‬دس ‪ٚ‬الغ‪ ،‬ثب ثشسػی اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬ف‪ٕٟ‬یذٖ ای‪ٙ‬ى‪ h ٝ‬ث‪ًٛ ٝ‬س ٔؼتمیٓ اص ‪٘ B‬تید‪ٌ ٝ‬یشی ٔی ؿ‪ٛ‬د ‪ٔ ٚ‬ؼتمُ اص ‪ D‬اػهت‬
‫ثؼیبس ػبد‪ ٜ‬خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬یىی اص سا‪ٞ ٜ‬بی پی ثشدٖ ث‪ ٝ‬ایٗ حمیمت ثشسػهی اٍِه‪ٛ‬سیتٓ ‪ Lemma-Enumerator‬اػهت‪ .‬اٍِه‪ٛ‬سیتٓ ‪Lemma-‬‬
‫‪ ،Enumerator‬خیّی ػبد‪ ،ٜ‬تٕبٔی دسخت ‪ٞ‬بی اثجبت‪ 2‬ؿبُٔ ٔف‪ٞ ْٟٛ‬ذف ثش اػبع فشم ‪ٞ‬ب دس تئ‪ٛ‬سی لّٕش‪ ٚ‬ی ‪ B‬سا ٔی ؿٕبسد‪ .‬ثهشای ‪ٞ‬هش‬
‫دسخت اثجبت‪ Lemma-Enumerator ،‬هؼیفتشیٗ پیـفشم سا ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ ‪ horn clause ٚ‬ی ثش اػبع آ٘چ‪ ٝ‬دس ‪Prolog-EBG‬‬
‫ٌفت‪ ٝ‬ؿذ تـىیُ ٔی د‪ٞ‬ذ‪ .‬ت‪ٟٙ‬ب تفب‪ٚ‬ت ‪ Lemma-Enumerator‬ثب ‪ Prolog-EBG‬ایٗ اػت و‪ Lemma-Enumerator ٝ‬وهبسی ثهب‬
‫داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٘ذاسد ‪ ٚ‬فمي تٕبٔی دسخت ‪ٞ‬بی اثجبت سا ٔی ؿٕبسد‪.‬‬

‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٔ Lemma-Enumerator ٝ‬دٕ‪ٛ‬ػ‪ ٝ‬ت‪ٛ‬ا٘ی ای )‪ (superset‬اص ‪ٞ horn clause‬ب سا و‪ ٝ‬خش‪ٚ‬خی ‪ٞ Prolog-EBG‬ؼت‪ٙ‬ذ‬
‫سا خش‪ٚ‬خی ٔی د‪ٞ‬ذ‪ .‬ثب دا٘ؼتٗ ایٗ حمیمت ػ‪ٛ‬اِ‪ٟ‬بی ثؼیبسی ٌٔشح ٔی ٌشدد‪ .‬اثتذا ای‪ٙ‬ى‪ ،ٝ‬اٌش فشهی‪ٞ ٝ‬بی خش‪ٚ‬خهی ‪ٔ Prolog-EBG‬ؼهتمیٕب ‪ٚ‬‬
‫ت‪ٟٙ‬ب اص تئ‪ٛ‬سی لّٕش‪٘ ٚ‬تید‪ٌ ٝ‬یشی ٔی ؿ‪٘ٛ‬ذ‪ ،‬پغ ٘مؾ داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی دس ‪ Prolog-EBG‬چیؼهت خه‪ٛ‬اة دس ایهٗ اػهت وه‪ٕ٘ٛ٘ ٝ‬ه‪ٞ ٝ‬هبی‬
‫آٔ‪ٛ‬صؿی اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬سا ثش ایدبد ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ ٝ‬ت‪ٛ‬صیغ ٕ٘‪ٞ ٝ٘ٛ‬ب دس ػُٕ سا پ‪ٛ‬ؿؾ ٔی د‪ٞ‬ذ ٔتٕشوض ٔهی و‪ٙ‬هذ‪ .‬ثهشای ٔثهبَ‪ ،‬دس ٔثهبَ‬
‫ؿٌش٘ح ٔب‪ٔ ،‬دٕ‪ٛ‬ػ‪ ٝ‬ی تٕبٔی )‪ٞ (lemma‬ب ثؼیبس ثضسي اػت‪ ،‬دس حبِی و‪ٔ ٝ‬دٕ‪ٛ‬ػ‪ ٝ‬ی پ‪ٛ‬صیؼهی‪ٞ ٖٛ‬هبیی وه‪ ٝ‬دس ثهبصی ‪ٚ‬الؼهی ؿهٌش٘ح س‬
‫ٔی د‪ٞ‬ذ فمي لؼٕت و‪ٛ‬چىی اص آٖ ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ثؼیبس ثضسي اػت‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬ثب تٕشوض ثش ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ت‪ِٛ‬یهذی دس تٕهشیٗ ‪ٞ‬هب‪ ،‬ثش٘بٔه‪ ٝ‬ثهب‬
‫ٔدٕ‪ٛ‬ػ‪ ٝ‬ی و‪ٛ‬چىتشی اص پ‪ٛ‬صیؼی‪ٞ ٖٛ‬ب ػش ‪ ٚ‬وبس خ‪ٛ‬ا‪ٞ‬ذ داؿت‪.‬‬

‫ػ‪ٛ‬اَ د‪ٌٔ ْٚ‬شح ایٗ اػت و‪ ٝ‬چٍ‪ٔ Prolog-EBG ٝ٘ٛ‬ی ت‪ٛ‬ا٘ذ فشهی‪ ٝ‬ای سا یبدثٍیشد و‪ ٝ‬ث‪ ٝ‬ك‪ٛ‬ست هٕ‪ٙ‬ی دس تئ‪ٛ‬سی لّٕش‪ ٚ‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت سا‬
‫یبد ثٍیشد‪ .‬ث‪ ٝ‬ػجبست دیٍش‪ ،‬آیب ایٗ اٍِ‪ٛ‬سیتٓ (ثب ایٗ فشم و‪ ٝ‬اٍِ‪ٛ‬سیتٓ دس ٔیضاٖ ٔحبػجبت ‪ٞ‬ی ٔحذ‪ٚ‬دیتی ٘ذاؿت‪ ٝ‬ثبؿذ) ٔی ت‪ٛ‬ا٘هذ دػهت‪ ٝ‬ث‪ٙ‬هذی‬
‫ٕ٘‪ ٝ٘ٛ‬ای سا و‪ٕ٘ ٝ‬ی ت‪ٛ‬اٖ ث‪ ٝ‬ت‪ٟٙ‬بیی ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬دػت‪ ٝ‬ث‪ٙ‬ذی وشد سا یبد خ‪ٛ‬ا‪ٞ‬ذ ٌشفت ٔتبػفب٘‪ ،ٝ‬اٍِ‪ٛ‬سیتٓ ٕ٘ی ت‪ٛ‬ا٘ذ‪ .‬اٌش ‪ ،B h‬پغ ‪ٞ‬ش دػت‪ٝ‬‬
‫ث‪ٙ‬ذی ای و‪ ٝ‬اص ‪٘ h‬تید‪ٌ ٝ‬یشی خ‪ٛ‬ا‪ٞ‬ذ ؿذ سا ٔی ت‪ٛ‬اٖ ٘تید‪ٌ ٝ‬یشی ای ٔؼتمیٓ اص ‪ B‬دا٘ؼت‪ .‬آیب ایٗ ٔحذ‪ٚ‬دیت دس یبدٌیشی ت‪ٛ‬هیحی یب اػت‪ٙ‬تبخی‬
‫راتی اػت خیش‪ ،‬ایٗ ٔحذ‪ٚ‬دیت راتی ٘یؼت‪ ،‬دس صیش ٔثبِی دس ایٗ ثبس‪ ٜ‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬

‫ثشای ایدبد ٕ٘‪ ٝ٘ٛ‬ای اص یبدٌیشی اػت‪ٙ‬تبخی و‪ ٝ‬دس آٖ فشهی‪ ٝ‬ی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ی ‪ h‬سا ٔؼتمیٕب ٘ت‪ٛ‬اٖ اص ‪٘ B‬تید‪ٌ ٝ‬یشی وشد‪ ،‬ثبیهذ حهبِتی ایدهبد‬
‫⋀ (و‪ ٝ‬دس ساثٌ‪ ٝ‬ی ‪٘ 11.2‬یض آٔهذ‪ ٜ‬ثه‪ٛ‬د)‪ .‬یىهی اص حهبالت خبِهت حهبِتی اػهت وه‪ B ٝ‬ؿهبُٔ‬ ‫أب داؿت‪ ٝ‬ثبؿیٓ‬ ‫⊬‬ ‫و‪ٙ‬یٓ و‪ٝ‬‬
‫فشم ‪ٞ‬بیی چ‪ ٖٛ‬فشم "اٌش ‪ x‬تبثغ ‪ٞ‬ذف سا ساهی و‪ٙ‬ذ‪ ،‬پغ )‪٘ g(x‬یض تبثغ ‪ٞ‬ذف سا ساهی خ‪ٛ‬ا‪ٞ‬ذ وشد" اػت‪ .‬ایٗ فشم ث‪ ٝ‬ت‪ٟٙ‬بیی دػت‪ ٝ‬ث‪ٙ‬هذی‬
‫‪ٞ‬ی یه اص ٕ٘‪ٞ ٝ٘ٛ‬ب سا ٔـخق ٘خ‪ٛ‬ا‪ٞ‬ذ وشد‪ ،‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬صٔب٘ی و‪ ٝ‬یه ٕ٘‪ ٝ٘ٛ‬ی ٔثجت ٔـب‪ٞ‬ذ‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ ،‬تؼٕیٓ اػهت‪ٙ‬تبخی س‪ٚ‬ی ٕ٘‪٘ٛ‬ه‪ٞ ٝ‬هبی‬
‫ٔـب‪ٞ‬ذ‪٘ ٜ‬ـذ‪ٕٔ ٜ‬ىٗ خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ .‬ثشای ٔثبَ‪ ،‬یبدٌیشی ٔف‪ٞ ْٟٛ‬ذف ‪ PlayTennis‬سا دس ٘ظش ثٍیشیذ‪ .‬فشم و‪ٙ‬یذ وه‪ٞ ٝ‬هش س‪ٚ‬ص فمهي ثهب ‪ٚ‬یظٌهی‬
‫‪ Humidity‬ت‪ٛ‬كیف ؿ‪ٛ‬د ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬فشم "اٌش ٔف‪ ْٟٛ‬ثبصی ت‪ٙ‬یغ دس ‪ x Humidity‬دسػت ثبؿذ‪ ،‬ایٗ ٔف‪ٟ‬ه‪ ْٛ‬دس ‪ٞ Humidity‬هبی‬
‫وٕتش ٘یض دسػت خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د" اػت‪ .‬ث‪ ٝ‬فشْ سػٕی تش ٔی ت‪ٛ‬اٖ ایٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ث‪ ٝ‬ك‪ٛ‬ست صیش ٘‪ٛ‬ؿت‪،‬‬

‫(‬ ‫)‬ ‫((‬ ‫(←)‬ ‫))‬

‫‪1‬‬
‫‪knowledge level learning‬‬
‫‪2‬‬
‫‪proof tree‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫((‬ ‫(←)‬ ‫))‬

‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬اص س‪ٚ‬ی ایٗ تئ‪ٛ‬سی لّٕش‪ٕ٘ ٚ‬ی ت‪ٛ‬اٖ ‪ٞ‬ی دػت‪ ٝ‬ث‪ٙ‬ذی سا دس ٔ‪ٛ‬سد ٔثجت یب ٔ‪ٙ‬فهی ثه‪ٛ‬دٖ یهه ٕ٘‪٘ٛ‬ه‪ ٝ‬ی ‪ PlayTennis‬سا ٘تیده‪ٝ‬‬
‫ٌشفت‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬صٔب٘ی و‪ ٝ‬یه یبدٌیش ٕ٘‪ ٝ٘ٛ‬ی ٔثجتی ثب ‪ Humidity=.3‬سا ٔـب‪ٞ‬ذ‪ٔ ٜ‬ی و‪ٙ‬ذ‪ ،‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ،ٚ‬فشهی‪ ٝ‬وّی صیهش سا‬
‫٘تید‪ٔ ٝ‬ی ٌیشد‪،‬‬

‫(‬ ‫(←)‬ ‫)‬

‫⋀ ‪ .‬فشههی‪ ٝ‬یهبد ٌیشفته‪ ٝ‬ؿهذ‪ ٜ‬دس ایهٗ‬ ‫سا ٘ـبٖ ٔی د‪ٞ‬ذ و‪ ٝ‬دس آٖ داسیٓ‬ ‫⊬‬ ‫ث‪ًٛ ٝ‬س خالك‪ ٝ‬ای‪ٙ‬ى‪ ،ٝ‬ایٗ ٔثبَ تل‪ٛ‬سی حبِتی اص‬
‫حبِت پیـجی‪ٙ‬ی ‪ٞ‬بیی سا ٔی ت‪ٛ‬ا٘ذ ٘تید‪ٌ ٝ‬یشی و‪ٙ‬ذ و‪ٔ ٝ‬ؼتمیٕب اص دا٘ؾ لجّی ٘تید‪ٌ ٝ‬یشی ٕ٘ی ؿ‪٘ٛ‬ذ‪ .‬ثشای ایٗ ٘‪ٛ‬ع یبدٌیشی‪ ،‬یبدٌیشی ای و‪ ٝ‬دس‬
‫آٖ پیـجی‪ٙ‬ی ‪ٞ‬ب فمي ث‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ ٚ‬اثؼت‪٘ ٝ‬یؼت‪ٙ‬ذ‪" ،‬یبدٌیشی ٔشتج‪ ٝ‬دا٘ؾ" ٔی ٌ‪ٛ‬ی‪ٙ‬ذ‪ٔ .‬دٕ‪ٛ‬ػ‪ ٝ‬ی تٕبٔی پیـجی‪ٙ‬ی ‪ٞ‬بی ٘تیده‪ٌ ٝ‬یهشی ؿهذ‪ ٜ‬اص‬
‫فشم ‪ Y‬سا ثؼتٍی ػت‪ٙ‬تبخی‪ٔ Y 1‬ی ٘بٔ‪ٙ‬ذ‪ .‬ثشتشی وّیذی دس ای‪ٙ‬دب ایٗ اػهت وه‪ ٝ‬یهبدٌیشی ػهٌ دا٘هؾ ثؼهتٍی اػهت‪ٙ‬تبخی ‪ B‬دس ای‪ٙ‬دهب صیهش‬
‫ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ثؼتٍی اػت‪ٙ‬تبخی ‪ B+h‬اػت‪.‬‬

‫ٕ٘‪ ٝ٘ٛ‬ی د‪ ْٚ‬یبدٌیشی تحّیّی ػٌ دا٘ؾ ثب ٘‪ٛ‬ػی اص فشم و‪ ٝ‬تؼییٗ‪٘ 2‬بٔیذ‪ٔ ٜ‬ی ؿ‪ٛ‬د ایدبد ٔی ؿ‪ٛ‬د‪ .‬ایٗ ٘‪ٛ‬ع یبدٌیشی ػٌ دا٘ؾ ثب خضئیهبت‬
‫دس )‪ (Russel 1989‬آٔذ‪ ٜ‬اػت‪ .‬تؼییٗ‪ ،‬فشم ٔی و‪ٙ‬ذ و‪ ٝ‬یىی اص ‪ٚ‬یظٌی ‪ٞ‬بی ٕ٘‪ ٝ٘ٛ‬وبٔال ث‪ ٝ‬دیٍهش ‪ٚ‬یظٌهی ‪ٞ‬هبیؾ ‪ٚ‬اثؼهت‪ ٝ‬اػهت أهب ٘ه‪ٛ‬ع‬
‫‪ٚ‬اثؼتٍی سا ٔـخق ٕ٘ی و‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬یبدٌیشی ٔف‪ٞ ْٟٛ‬ذف "افشادی و‪ ٝ‬پشتمبِی حشف ٔی ص٘‪ٙ‬ذ" سا دس ٘ظش ثٍیشیذ ‪ٕٞ ٚ‬چ‪ٙ‬یٗ فهشم و‪ٙ‬یهذ‬
‫و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬فشم تؼییٗ "صثب٘ی و‪ ٝ‬افشاد ث‪ ٝ‬آٖ حشف ٔی ص٘‪ٙ‬ذ ‪ٚ‬اثؼت‪ ٝ‬ث‪ّٔ ٝ‬یت آ٘‪ٟ‬بػت" اػت‪ .‬ایٗ تئه‪ٛ‬سی لّٕهش‪ ٚ‬ثه‪ ٝ‬ت‪ٟٙ‬هبیی ‪ٞ‬هی دػهت‪ٝ‬‬
‫ث‪ٙ‬ذی ای ثش س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب ا٘دبْ ٕ٘ی د‪ٞ‬ذ‪ ،‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬اٌش ثب ٕ٘‪ ٝ٘ٛ‬ی ٔثجت "خ‪ 23 ،ٛ‬ػبِ‪ ،ٝ‬چپ دػت‪ ،‬ثشصیّی‪ ،‬پشتمبِی حشف ٔی ص٘ذ" ثشخ‪ٛ‬سد‬
‫و‪ٙ‬یٓ‪ ،‬اص س‪ٚ‬ی ایٗ ٕ٘‪ ٚ ٝ٘ٛ‬تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬ی ت‪ٛ‬اٖ ٌفت و‪" ٝ‬تٕبٔی ثشصیّی ‪ٞ‬ب پشتمبِی حشف ٔی ص٘‪ٙ‬ذ"‪.‬‬

‫‪ٞ‬ش د‪ٔ ٚ‬ثبَ آ‪ٚ‬سد‪ ٜ‬ؿذ‪٘ ٜ‬ـبٖ ٔی د‪ٙٞ‬ذ و‪ ٝ‬چٍ‪ ٝ٘ٛ‬ثب س‪ٚ‬ؽ اػت‪ٙ‬تبخی ٔی ت‪ٛ‬اٖ فشهی‪ ٝ‬ای سا خش‪ٚ‬خی ٌشفت و‪ ٝ‬فمي ٘تید‪ٌ ٝ‬یشی ؿهذ‪ ٜ‬اص تئه‪ٛ‬سی‬
‫كذق ٕ٘ی و‪ٙ‬ذ‪ .‬دس ‪ٞ‬ش د‪ٚ‬حبِهت یهبدٌیش‬ ‫كذق وشد‪ ٜ‬أب دس‬ ‫⋀‬ ‫لّٕش‪٘ ٚ‬جبؿذ‪ .‬دس ‪ٞ‬ش د‪ ٚ‬حبِت فشهی‪ ٝ‬خش‪ٚ‬خی ‪ h‬دس ساثٌ‪ ٝ‬ی‬
‫‪3‬‬
‫فشهی‪ ٝ‬ای ت‪ٛ‬خی‪ ٝ‬ؿذ‪ ٜ‬و‪ٕ٘ ٝ‬ی ت‪ٛ‬اٖ آ٘شا ث‪ ٝ‬ت‪ٟٙ‬بیی اص تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬یب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثذػت آ‪ٚ‬سد اػت‪ٙ‬تبج ٔی و‪ٙ‬ذ‪.‬‬

‫‪ 11.1‬یبدگیری توضیحی ی دانش کنترل جستجو‬

‫‪ٕٞ‬بٌ٘‪ٛ‬س و‪ ٝ‬دس ثبال ٌفت‪ ٝ‬ؿذ‪ٔ ،‬حذ‪ٚ‬دیت وبسثشد ػّٕهی اٍِه‪ٛ‬سیتٓ ‪٘ Prolog-EBG‬یهبص آٖ ثه‪ ٝ‬تئه‪ٛ‬سی لّٕهش‪ٚ‬ی دسػهت ‪ٕٞ ٚ‬ه‪ ٝ‬خب٘جه‪ ٝ‬اػهت‪.‬‬
‫ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ٔؼبئُ یبدٌیشی و‪ ٝ‬دس آ٘‪ٟ‬ب ایٗ ٘یبص ث‪ ٝ‬ػبدٌی ثش ًشف ٔی ؿ‪ٛ‬د ٔؼبئُ یبدٌیشی افضایؾ ػشػت خؼتد‪ ٛ‬ی ثش٘بٔ‪ٞ ٝ‬هبی پیچیهذ‪ٜ‬‬
‫تؼییٗ‪ 4‬اػت‪ .‬دس ‪ٚ‬الغ‪ ،‬ثضسٌتشیٗ ٔؼئّ‪ ٝ‬ای و‪ ٝ‬دس آٖ اص یبدٌیشی ت‪ٛ‬هیحی اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ٔ ،‬ؼئّ‪ ٝ‬ی یبدٌیشی و‪ٙ‬تهشَ خؼهتد‪ ٛ‬اػهت‪ ،‬ثه‪ ٝ‬ایهٗ‬
‫ٔؼئّ‪ٌ ٝ‬ب‪ٞ‬ی ٔؼئّ‪ ٝ‬ی افضایؾ ػشػت‪٘ 5‬یض ٌفت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ثشای ٔثبَ‪ ،‬ثبصی وشدٖ ثبصی ‪ٞ‬بیی چ‪ ٖٛ‬ؿٌش٘ح ٘یبص ث‪ ٝ‬خؼتد‪ٛ‬ی ٔیبٖ فوبیی ثضسي‬

‫‪1‬‬
‫‪deductive closure‬‬
‫‪2‬‬
‫‪determination‬‬
‫‪3‬‬
‫‪deducts‬‬
‫‪4‬‬
‫‪speed up complex search programs‬‬
‫‪5‬‬
‫‪speedup‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اص حشوبت ٕٔىٗ ‪ ٚ‬پ‪ٛ‬صیؼ‪ٞ ٖٛ‬بی ٔختّف ثشای پیذا وشدٖ ث‪ٟ‬تشیٗ حشوت داسد‪ .‬ثؼیبسی اص ٔؼبئُ ػّٕی ثش٘بٔ‪ ٝ‬سیضی ‪ ٚ‬ث‪ٟ‬ی‪ ٝٙ‬ػبصی‪ 1‬سا ٔی ت‪ٛ‬اٖ‬
‫ث‪ ٝ‬ساحتی ث‪ ٝ‬ك‪ٛ‬ست ٔؼبئُ خؼتد‪ ٛ‬ثشای پیذا وشدٖ حشوتی ث‪ ٝ‬ػ‪ٛ‬ی ‪ٚ‬هؼیت ‪ٞ‬ذف ثیبٖ وشد‪ .‬دس چ‪ٙ‬یٗ ٔؼبئّی‪ ،‬تؼشیف ػٍّٕش ‪ٞ‬هبی خؼهتد‪ٛ‬ی‬
‫لب٘‪٘ٛ‬ی ث‪ٕٞ ٝ‬شا‪ ٜ‬تؼشیف ‪ٞ‬ذف خؼتد‪ ٛ‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی وبُٔ ‪ ٚ‬دسػت ثشای یبدٌیشی و‪ٙ‬تشَ خؼتد‪ ٛ‬ایدبد خ‪ٛ‬ا‪ٞ‬ذ وشد‪.‬‬

‫أب دلیمب چٍ‪ ٝ٘ٛ‬ثبیذ ٔؼئّ‪ ٝ‬ی یبدٌیشی و‪ٙ‬تشَ خؼتد‪ ٛ‬سا ثیبٖ و‪ٙ‬یٓ تب ثت‪ٛ‬اٖ یبدٌیشی ت‪ٛ‬هیحی سا دس آٖ ث‪ ٝ‬وبس ثشد ٔؼئّ‪ ٝ‬ای وّی اص یهبدٌیشی‬
‫و‪ٙ‬تشَ خؼتد‪ ٛ‬یی سا دس ٘ظش ثٍیشیذ و‪ ٝ‬دس آٖ ‪ٔ S‬دٕ‪ٛ‬ػ‪ ٝ‬ی تٕبٔی ‪ٚ‬هؼیت ‪ٞ‬بی ٕٔىٗ ‪ٔ O ٚ‬دٕ‪ٛ‬ػ‪ ٝ‬ی تٕهبٔی ػٍّٕهش ‪ٞ‬هبی ٕٔىهٗ ثهشای‬
‫تجذیُ یه ‪ٚ‬هؼیت ث‪ٚ ٝ‬هؼیتی دیٍش ‪٘ G ٚ‬یض ػجبستی تؼشیف ؿذ‪ ٜ‬س‪ٚ‬ی ‪ S‬اػت و‪ٔ ٝ‬ـخق ٔی و‪ٙ‬ذ وذاْ ‪ٚ‬هؼیت ‪ٞ‬هب ‪ٚ‬ههؼیت ‪ٞ‬هذف ‪ٞ‬ؼهت‪ٙ‬ذ‪.‬‬
‫ػجبست ‪ G‬سا ساهی ٔی و‪ٙ‬هذ‪.‬‬ ‫ثجشد و‪ٝ‬‬ ‫سا ث‪ٚ ٝ‬هؼیت آخش‬ ‫ٔؼئّ‪ ٝ‬دس وُ پیذا وشدٖ تشتیجی اص ػٍّٕش ‪ٞ‬بػت و‪ٚ ٝ‬هؼیت ا‪ِٚ‬ی‪ ٝ‬ی دِخ‪ٛ‬ا‪ٜ‬‬
‫یىی اص سا‪ٟٞ‬بی ثیبٖ ایٗ ٔؼئّ‪ ٝ‬تغییش ػیؼتٓ یبدٌیشی ثشای یبدٌیشی تبثغ ‪ٞ‬ذفی ٔؼتمُ ثشای ‪ٞ‬ش یه اص ػٍّٕش ‪ٞ‬بی ‪ O‬اػت‪ .‬دس وُ‪ ،‬ثشای ‪ٞ‬هش‬
‫ػٍّٕش ٔثُ ‪ o‬دس ‪ٕٔ O‬ىٗ اػت ٔف‪ٞ ْٟٛ‬ذفی ث‪ ٝ‬ؿىُ "ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ‪ٚ‬هؼیت ‪ٞ‬بیی و‪ o ٝ‬ث‪ ٝ‬یه ‪ٚ‬هؼیت ‪ٞ‬ذف ختٓ ٔی ؿه‪ٛ‬د" تؼشیهف ؿه‪ٛ‬د‪.‬‬
‫اِجت‪ ٝ‬ثشای ا٘تخبة دلیك ای‪ٙ‬ى‪ ٝ‬وذاْ ٔف‪ٞ ْٟٛ‬ذف سا یبد ثٍیشیٓ ث‪ ٝ‬ػبختبس داخّی حالَ ٔؼئّ‪ 2ٝ‬ثؼتٍی داسد و‪ ٝ‬اص دا٘ؾ یبدٌیشفت‪ ٝ‬ؿهذ‪ ٜ‬اػهتفبد‪ٜ‬‬
‫خ‪ٛ‬ا‪ٞ‬ذ وشد‪ .‬ثشای ٔثبَ‪ ،‬اٌش حالَ ٔؼئّ‪ ٝ‬ػیؼتٕی ثب ‪ٞ‬ذف‪ٟ‬بی ٔیب٘ی‪ 3‬اػت و‪ٔ ٝ‬ؼئّ‪ ٝ‬سا ثب ایدبد ‪ ٚ‬حُ صیش ‪ٞ‬ذف ‪ٞ‬ب‪ 4‬حُ ٔی و‪ٙ‬ذ‪ٕٔ ،‬ىهٗ اػهت‬
‫ثخ‪ٛ‬ا‪ٞ‬یٓ دس ػ‪ٛ‬م ٔف‪ٔ" ْٟٛ‬دٕ‪ٛ‬ػ‪ٚ ٝ‬هؼیت ‪ٞ‬بیی و‪ ٝ‬ثبیذ دس آ٘‪ٟ‬ب صیش ‪ٞ‬ذف ‪ A‬ص‪ٚ‬د تش اص صیش ‪ٞ‬ذف ‪ B‬ػّٕی ؿ‪ٛ‬د" سا یبد ثٍیشیٓ‪.‬‬

‫یىی اص ػیؼتٓ ‪ٞ‬بیی و‪ ٝ‬اص یبدٌیشی ت‪ٛ‬هیحی ثشای ث‪ٟ‬ج‪ٛ‬د خؼتد‪ٛ‬یؾ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ ‪ (Carbonell 1990) Prodigy‬اػهت‪Prodigy .‬‬
‫ػیؼتٓ تلٕیٓ ٌیشی ای‪ٔ 5‬ؼتمُ اص لّٕش‪ 6ٚ‬اػت و‪ ٝ‬تؼشیف لّٕش‪ٚ‬ی ٔؼئّ‪ ٝ‬سا ثب ‪ٚ‬هؼیت ‪ٞ‬بی ‪ ٚ S‬ػٍّٕهش ‪ٞ‬هبی ‪ O‬دسیبفهت ٔهی و‪ٙ‬هذ‪ .‬ػهپغ‬
‫سا ث‪ٚ ٝ‬هؼیتی و‪ ٝ‬دس ‪ G‬كذق ٔی و‪ٙ‬ذ ثشػب٘ذ" حُ ٔی و‪ٙ‬هذ‪ Prodigy .‬اص‬ ‫ٔؼئّ‪ ٝ‬سا دس فشْ "تشتیجی اص ػٍّٕش ‪ٞ‬ب ثیبثیذ و‪ٚ ٝ‬هؼیت ا‪ِٚ‬ی‪ ٝ‬ی‬
‫ثش٘بٔ‪ ٝ‬سیض‪ 7‬ا‪ٞ‬ذاف ٔیب٘ی و‪ٔ ٝ‬ؼئّ‪ ٝ‬سا ث‪ ٝ‬صیش ‪ٞ‬ذف ‪ٞ‬بی تدضی‪ٔ ٝ‬ی و‪ٙ‬ذ ‪ ٚ‬آ٘‪ٟ‬ب سا حُ ٔی و‪ٙ‬ذ وٕه ٔی ٌیشد ‪ ٚ‬دس آخش ٘یض ایٗ س‪ٚ‬ؿه‪ٟ‬بی حهُ سا‬
‫تشویت وشد‪ ٚ ٜ‬سا‪ ٜ‬حّی ثشای وُ ٔؼئّ‪ٔ ٝ‬ی یبثذ‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬دس ًی ایٗ خؼتد‪ ٛ‬ثشای حُ ٔؼئّ‪ٔ Prodigy ٝ‬شتجب ثب ػ‪ٛ‬االتی ٘ظیش "ث‪ ٝ‬وذاْ صیهش‬
‫‪ٞ‬ذف سا ثبیذ دس لذْ ثؼذی سػیذ " ‪" ٚ‬وذاْ ػٍّٕش ثشای حُ ایٗ صیش ‪ٞ‬ذف ثبیذ دس ٘ظش ٌشفت‪ ٝ‬ؿ‪ٛ‬د " ٔ‪ٛ‬اخ‪ ٝ‬اػت‪ٔ (Mintor 1988) .‬دتٕغ‬
‫ػبصی یبدٌیشی ت‪ٛ‬هیحی دس ‪ Prodigy‬سا ثب تؼشیف ٔدٕ‪ٛ‬ػ‪ ٝ‬ای اص ٔفب‪ٞ‬یٓ ‪ٞ‬ذف ٔت‪ٙ‬بػت ثب ایٗ ٘‪ٛ‬ع و‪ٙ‬تشَ تلٕیٓ و‪ٔ ٝ‬شتجب ثهب آٖ ٔه‪ٛ‬اخ‪ٟ‬یٓ سا‬
‫ت‪ٛ‬هی ٔی د‪ٞ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬یىی اص ٔفب‪ٞ‬یٓ ‪ٞ‬ذف "ٔدٕ‪ٛ‬ػ‪ ٝ‬ی ‪ٚ‬هؼیت ‪ٞ‬بیی اػت و‪ ٝ‬صیش ‪ٞ‬ذف ‪ A‬ثبیذ لجُ اص صیش ‪ٞ‬ذف ‪ B‬حُ ؿ‪ٛ‬د"‪ٔ .‬ثهبِی‬
‫اص لب٘‪ ٖٛ‬یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ت‪ٛ‬ػي ‪ Prodigy‬ثشای ایٗ ٔف‪ٞ ْٟٛ‬ذف دس لّٕش‪ ٚ‬ی ٔثبَ ػبد‪ ٜ‬ی س‪ٚ‬ی ‪ٌ ٓٞ‬زاؿتٗ ٔىؼت ‪ٞ‬ب ث‪ ٝ‬ك‪ٛ‬ست صیش اػت‪،‬‬

‫‪IF‬‬ ‫‪One subgoal to be solved is On(x,y) and‬‬

‫)‪One subgoad to be solved is On(y,z‬‬

‫)‪THEN Solve the subgoal On(y,z) before On(x,y‬‬

‫‪1‬‬
‫‪scheduling and optimization‬‬
‫‪2‬‬
‫‪problem solver‬‬
‫‪3‬‬
‫‪means-ends‬‬
‫‪4‬‬
‫‪subgoal‬‬
‫‪5‬‬
‫‪planning‬‬
‫‪6‬‬
‫‪domain-independent‬‬
‫‪7‬‬
‫‪planner‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشای دسن ایٗ لب٘‪ ٖٛ‬د‪ٚ‬ثبس‪ٔ ٜ‬ثبَ س‪ٚ‬ی ‪ٌ ٓٞ‬زاؿتٗ ٔىؼت ‪ٞ‬ب سا و‪ ٝ‬دس ؿىُ ‪ 9.3‬ت‪ٛ‬هی داد‪ ٜ‬ؿذ‪ ٜ‬ث‪ٛ‬د سا دس ٘ظش ثٍیشیهذ‪ .‬دس ایهٗ ٔثهبَ‪ٞ ،‬هذف‬
‫چیذٖ ٔىؼت ‪ٞ‬ب ث‪ ٝ‬ك‪ٛ‬ستی اػت و‪ ٝ‬وّٕ‪ ٝ‬ی ”‪ “universal‬سا ٕ٘بیؾ د‪ٞ‬ذ‪ Prodigy .‬ایٗ ‪ٞ‬ذف سا ث‪ ٝ‬صیش ‪ٞ‬ذف ‪ٞ‬بیی تمؼیٓ ٔی و‪ٙ‬هذ‪ ،‬صیهش‬
‫‪ٞ‬ذف ‪ٞ‬بیی ٘ظیش )‪ . ... ٚ On(N,I) ٚ On(U,N‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬لب٘‪ ٖٛ‬ثبال ثذیٗ ٔؼ‪ٙ‬بػت و‪ ٝ‬صیش ‪ٞ‬هذف )‪ On(U,N‬ثبیهذ لجهُ اص صیهش ‪ٞ‬هذف‬
‫)‪ On(N,I‬حُ ؿ‪ٛ‬د‪ .‬ت‪ٛ‬خی‪ ٝ‬ایٗ لب٘‪ ٚ( ٖٛ‬ت‪ٛ‬هی آٖ ت‪ٛ‬ػي ‪ Prodigy‬ثشای یبدٌیشی ایٗ لب٘‪ )ٖٛ‬ایٗ اػت و‪ ٝ‬اٌش صیهش ‪ٞ‬هذف ‪ٞ‬هب سا دس تشتیهت‬
‫ػىغ حُ و‪ٙ‬یٓ‪ ،‬ث‪ ٝ‬توبد خ‪ٛ‬ا‪ٞ‬یٓ سػیذ ‪ ٚ‬ثبیذ حُ )‪ On(U,N‬سا ثشای سػیذٖ ث‪ٞ ٝ‬ذف )‪ On(N,I‬هبیغ و‪ٙ‬یٓ‪ Prodigy .‬دس اثتهذا ثهب چ‪ٙ‬هیٗ‬
‫توبدی ثشخ‪ٛ‬سد ٔی و‪ٙ‬ذ ػپغ ایٗ توبد سا ت‪ٛ‬هی ٔی د‪ٞ‬ذ ‪ ٚ‬لب٘‪٘ٛ‬ی ٔثُ ثبال ثشای آٖ ایدبد ٔی و‪ٙ‬ذ‪ .‬اثهش ثشآی‪ٙ‬هذ ایهٗ اػهت وه‪ Prodigy ٝ‬اص‬
‫دا٘ؾ ٔؼتمُ اص لّٕش‪ٚ‬اؽ ثشای تـخیق صیش‪ٞ‬ذف ‪ٞ‬بی ٘بػبصٌبس ‪ ٚ‬اص دا٘ؾ ٔخل‪ٛ‬ف لّٕش‪ٚ‬اؽ اص ػٍّٕش ‪ٞ‬بی لّٕش‪( ٚ‬ثشای ٔثبَ‪ ،‬ایهٗ حمیمهت‬
‫و‪ ٝ‬سثبت دس ‪ٞ‬ش ثبس فمي یه خؼج‪ ٝ‬سا ٔی ت‪ٛ‬ا٘ذ ثّ‪ٙ‬ذ و‪ٙ‬ذ) ثشای یبدٌیشی ل‪ٛ‬ا٘یٗ الصٔ‪ ٝ‬دس ایٗ لّٕش‪ ٚ‬ثشای حُ ٔـبث‪ ٝ‬ثبال اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪.---‬‬

‫اػتفبد‪ ٜ‬اص یبدٌیشی ت‪ٛ‬هیحی ثشای ثذػت آ‪ٚ‬سدٖ دا٘ؾ و‪ٙ‬تهشَ ثهشای ‪ Prodigy‬دس ثؼهیبسی اص لّٕش‪ٞٚ‬هبی ٔؼهبئُ ؿهبُٔ ٔؼهئّ‪ ٝ‬ی چیهذٖ‬
‫ٔىؼج‪ٟ‬بی ثبال ‪ٔ ٚ‬ؼبئُ پیچیذ‪ ٜ‬تش ثش٘بٔ‪ ٝ‬سیضی ‪ ٚ‬اخشا ٔ‪ٛ‬فك ظب‪ٞ‬ش ؿذ‪ ٜ‬ا٘ذ‪ (Minton 1988) .‬آصٔبیـ‪ٟ‬بیی دس ػ‪ ٝ‬لّٕش‪ٚ‬ی ٔؼئّ‪ ،ٝ‬و‪ ٝ‬له‪ٛ‬ا٘یٗ‬
‫یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ث‪ ٝ‬حُ ٔؼئّ‪ ٝ‬ثب هشیت ‪ 2‬تب ‪ 4‬ث‪ٟ‬ج‪ٛ‬د ثخـیذ‪ ٜ‬ا٘ذ سا ٔؼشفی ٔی و‪ٙ‬ذ‪ .‬ػال‪ ٜٚ‬ثش ایٗ‪ ،‬وبسایی له‪ٛ‬ا٘یٗ یبدٌشفته‪ ٝ‬ؿهذ‪٘ ٜ‬یهض ثهب له‪ٛ‬ا٘یٗ‬
‫دػت‪ٛٙ‬یغ ایٗ تئ‪ٛ‬سی ‪ٞ‬بی لّٕش‪ ٚ‬لبثُ ٔمبیؼ‪ ٝ‬ث‪ٛ‬د‪ ٜ‬اػت‪ٕٞ Minton .‬چ‪ٙ‬یٗ تؼذادی فشای‪ٙ‬ذ ٌؼتشؽ یبفت‪ ٝ‬ثشای یهبدٌیشی ػهبد‪ ٜ‬ی ت‪ٛ‬ههیحی‬
‫اسائ‪ٔ ٝ‬ی و‪ٙ‬ذ و‪ ٝ‬وبسایی یبدٌیشی و‪ٙ‬تشَ خؼتد‪ ٛ‬سا ث‪ٟ‬ج‪ٛ‬د ٔی ثخـذ‪ .‬ایٗ فشای‪ٙ‬ذ ‪ٞ‬ب ؿبُٔ ٔتذ ‪ٞ‬بی ػبد‪ ٜ‬ػبصی له‪ٛ‬ا٘یٗ یبدٌشفته‪ ٝ‬ؿهذ‪ ٚ ٜ‬حهزف‬
‫ل‪ٛ‬ا٘یٗ یبدٌیشی ای و‪ ٝ‬ػ‪ٛ‬دؿبٖ وٕتش اص ‪ٞ‬ضی‪ٙ‬ـبٖ اػت ٔی ؿ‪ٛ‬د‪.‬‬

‫ٔثبَ د‪ ْٚ‬ػبختبس حُ ٔؼئّ‪ ٝ‬ی وّی و‪ ٝ‬اص یبدٌیشی ت‪ٛ‬هیحی وٕه ٔهی ٌیهشد ػیؼهتٓ ‪(Laird et al. 1986; Newell 1990) Soar‬‬
‫اػت‪ Soar .‬دأ‪ ٝٙ‬ی ‪ٚ‬ػیؼی اص اػتشاتظی ‪ٞ‬بی حُ ٔؼئّ‪ ٝ‬ؿبُٔ س‪ٚ‬ؽ ‪ٞ‬ذف ‪ٞ‬بی ٔیب٘ی ‪ Prodigy‬سا پـتیجب٘ی ٔی و‪ٙ‬ذ‪ٔ .‬ـبث‪ ،Prodigy ٝ‬ثب‬
‫‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ Soar ،ٝ‬ثب ت‪ٛ‬هی ‪ٚ‬هؼیت ‪ٞ‬ب یبد ٔی ٌیشد‪ .---‬صٔب٘ی و‪ ٝ‬ایٗ ػیؼتٓ ثب خؼتد‪ٛ‬یی و‪ ٝ‬خ‪ٛ‬اثی لٌؼی ثشایؾ ٘ذاسد ٔ‪ٛ‬اخه‪ٔ ٝ‬هی ؿه‪ٛ‬د‪،‬‬
‫(ٔثُ ایٗ ػ‪ٛ‬اَ و‪ ٝ‬اص وذاْ ػٍّٕشد دس ٌبْ ثؼذی اػتفبد‪ ٜ‬و‪ٙ‬ذ)‪ ،‬ػیؼتٓ ‪ ---‬ثب اػتفبد‪ ٜ‬اص ٔتذ ‪ٞ‬بی ههؼیف ٘ظیهش )‪(generate-and-test‬‬
‫ثشای تؼییٗ ٔؼیش دسػت ػّٕیبت اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪--- .‬‬

‫‪٘ Soar ٚ Prodigy‬ـبٖ ٔی د‪ٙٞ‬ذ و‪ٔ ٝ‬تذ ‪ٞ‬بی ٔجت‪ٙ‬ی ثش یبدٌیشی ت‪ٛ‬هیحی سا ٔی ت‪ٛ‬اٖ ثشای یهبدٌیشی دا٘هؾ و‪ٙ‬تهشَ خؼهتد‪ ٛ‬دس لّٕهش‪ٚ‬ی‬
‫ٔؼبئُ ٔختّف ث‪ ٝ‬وبسثشد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬تؼذاد صیبدی یب اوثش ثش٘بٔ‪ٞ ٝ‬بی خؼتد‪ٕٞ ٛ‬چ‪ٙ‬بٖ اص ت‪ٛ‬اثغ اسصیبثی ػذدی‪ٔ ،‬ـبث‪ ٝ‬آ٘چ‪ ٝ‬دس فلُ ‪ 1‬ت‪ٛ‬كهیف‬
‫ؿذ‪ ،‬ث‪ ٝ‬خبی ل‪ٛ‬ا٘یٗ ثذػت آٔذ‪ ٜ‬اص یبدٌیشی ت‪ٛ‬هیحی اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬أب دِیُ چیؼت دس ‪ٚ‬الغ ٔؼهبئُ وهبسثشدی ٔ‪ٕٟ‬هی دس اػهتفبد‪ ٜ‬اص ‪EBL‬‬
‫ثشای یبدٌیشی و‪ٙ‬تشَ خؼتد‪ٚ ٛ‬خ‪ٛ‬د داسد‪ .‬ا‪ َٚ‬ای‪ٙ‬ى‪ ٝ‬دس ثؼیبسی اص ٔ‪ٛ‬اسد تؼذاد ل‪ٛ‬ا٘یٗ و‪ٙ‬تشَ ث‪ ٝ‬ثبیذ یبدٌشفت‪ ٝ‬ؿه‪٘ٛ‬ذ ثؼهیبس صیبد٘هذ (ٔهثال دس حهذ‬
‫‪ٞ‬ضاساٖ لب٘‪ٕٞ .)ٖٛ‬ی‪ٌٛٙ‬س و‪ ٝ‬ػیؼتٓ ل‪ٛ‬ا٘یٗ و‪ٙ‬تشَ ثیـتشی سا ثشای ث‪ٟ‬ج‪ٛ‬د خؼتد‪ٛ‬یؾ یبد ٔی ٌیشد ثبیذ ‪ٞ‬ضی‪ ٝٙ‬ی ثیـتش ‪ ٚ‬ثیـتشی دس ‪ٞ‬هش ٔشحّه‪ٝ‬‬
‫ثشای خفت وشدٖ‪ 1‬ایٗ ٔدٕ‪ٛ‬ػ‪ ٝ‬اص ل‪ٛ‬ا٘یٗ ‪ٚ ٚ‬هؼیت فؼّی ثپشداصد‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ ٔـىُ ث‪ ٝ‬یبدٌیشی ت‪ٛ‬هیحی ٔ‪ٛٙ‬ى ٕ٘ی ؿ‪ٛ‬د؛ ایٗ ٔـهىُ‬
‫ثشای تٕبٔی ػیؼتٓ ‪ٞ‬بیی و‪ ٝ‬دا٘ؾ یبدٌشفت‪ ٝ‬اؿبٖ سا ثب دػت‪ ٝ‬ای اص ل‪ٛ‬ا٘یٗ و‪ ٝ‬تؼذادؿبٖ افضایؾ ٔی یبثذ ‪ٚ‬خ‪ٛ‬د داسد‪ .‬اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی خفت ػهبصی‬
‫ٔی ت‪ٛ‬ا٘‪ٙ‬ذ ایٗ ٔـىُ سا تب حذی حُ و‪ٙٙ‬ذ‪ ،‬أب ایٗ ٔـىُ ث‪ًٛ ٝ‬س وبُٔ اص ثیٗ ٕ٘ی س‪ٚ‬د‪ (Minton 1988) .‬اػتشاتظی ‪ٞ‬هبی تخٕهیٗ تدشثهی‬
‫ایٗ ‪ٞ‬ضی‪ ٝٙ‬ی ٔحبػجبتی ‪ ٚ‬ػ‪ٛ‬د ‪ٞ‬ش لب٘‪ ٖٛ‬سا ثشسػی وشد ‪ ٚ‬ل‪ٛ‬ا٘یٗ سا یبدٌیش ٔی ٌیشد و‪ٔ ٝ‬یضاٖ ػ‪ٛ‬د تخٕی‪ٙ‬ی اص ٔیهضاٖ ‪ٞ‬ضی‪ٙ‬ه‪ ٝ‬ی تخٕی‪ٙ‬هی وٕتهش‬
‫ثبؿذ ‪ٕٞ ٚ‬چ‪ٙ‬یٗ ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ ٝ‬اثش ٔ‪ٙ‬فی داس٘ذ سا حزف ٔی و‪ٙ‬ذ‪ٚ .‬ی ٘ح‪ ٜٛ‬ی اػتفبد‪ ٜ‬اص ایٗ تحّیُ تبثیش ل‪ٛ‬ا٘یٗ‪ 2‬سا ثشای تؼییٗ تبثیشٌزاسی یبدٌیشی‬

‫‪1‬‬
‫‪match‬‬
‫‪2‬‬
‫‪utility analysis‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ت‪ٛ‬هیحی دس ‪ Prodigy‬ت‪ٛ‬كیف ٔی و‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬دس ػشی ای اص ٔؼبئُ چیذٖ ٔىؼت‪ 328 Prodigy ،‬فشكت یبدٌیشی ل‪ٛ‬ا٘یٗ خذیهذ داسد‬
‫أب فمي ‪ 69‬لب٘‪ ٖٛ‬اص ایٗ ل‪ٛ‬ا٘یٗ سا اػتخشاج ٔی و‪ٙ‬ذ ‪ ٚ‬ػشا٘دبْ ایٗ ٔدٕ‪ٛ‬ػ‪ ٝ‬سا ث‪ 19 ٝ‬لب٘‪ ٖٛ‬وب‪ٞ‬ؾ ٔهی د‪ٞ‬هذ‪ ٚ ،‬له‪ٛ‬ا٘یٗ وهٓ وهبسثشد سا حهزف‬
‫ٔی و‪ٙ‬ذ‪ (Doorenbos 1993) ٚ (Tambe et al. 1990) .‬چٍ‪ٍ٘ٛ‬ی تـخیق ا٘‪ٛ‬اع ل‪ٛ‬ا٘یٗ و‪ ٝ‬دس وُ خفت ؿذ٘ـبٖ ‪ٞ‬ضی‪ ٝٙ‬ثش خ‪ٛ‬ا‪ٞ‬هذ‬
‫ث‪ٛ‬د‪ ،‬سا ث‪ٕٞ ٝ‬شا‪ٔ ٜ‬تذ ‪ٞ‬بی ثبص٘‪ٛ‬یؼی چ‪ٙ‬یٗ ل‪ٛ‬ا٘ی‪ٙ‬ی دس فشْ ‪ٞ‬بی وبسا تش ‪ٔ ٚ‬تذ ‪ٞ‬بیی ثشای اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ث‪ٟ‬ی‪ ٝٙ‬ػبصی خفت ػبصی اسائ‪ٔ ٝ‬هی و‪ٙٙ‬هذ‪.‬‬
‫)‪ (Doorenbos 1993‬چٍ‪ٍ٘ٛ‬ی ای‪ٙ‬ى‪ ٝ‬ایٗ ٔتذ ‪ٞ‬ب ث‪ Soar ٝ‬أىبٖ خفت ؿذٖ ثب ‪ 100,000‬لب٘‪ ٖٛ‬یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ثذ‪ ٖٚ‬افضایؾ لبثُ ت‪ٛ‬خ‪ٝ‬‬
‫دس ‪ٞ‬ضی‪ ٝٙ‬خفت ؿذٖ ثش حبِت دس لّٕش‪ ٚ‬ی ٔؼئّ‪ ٝ‬ای سا ٔی د‪ٙٞ‬ذ سا ٔ‪ٛ‬سد ثحث ‪ ٚ‬ثشسػی لشاس ٔی د‪ٞ‬ذ‪.‬‬

‫ٔـىُ وبسثشدی دیٍش یبدٌیشی ت‪ٛ‬هیحی دس یبدٌیشی و‪ٙ‬تشَ خؼتد‪ ٛ‬ایٗ اػت و‪ ٝ‬دس ثؼیبسی اص ٔ‪ٛ‬اسد حتی ػبختٗ ت‪ٛ‬هیحبت ثشای ٔف‪ٞ ْٟٛ‬ذف‬
‫ثؼیبس ث‪ًٛ ٝ‬س ساْ ٘ـذ٘ی ای ػخت اػت‪ .‬ثشای ٔثبَ‪ ،‬دس ؿٌش٘ح ٕٔىٗ اػت ثخ‪ٛ‬ا‪ٞ‬یٓ ٔف‪ٞ ْٟٛ‬ذفی چ‪ٚ" ٖٛ‬هؼیت ‪ٞ‬بیی و‪ ٝ‬ػٍّٕش ‪ٔ A‬ب سا ثه‪ٝ‬‬
‫ػٕت سا‪ ٜ‬حُ ث‪ٟ‬ی‪ٔ ٝٙ‬ی ثشد سا یبد ثٍیشیٓ"‪ٔ .‬تبػفب٘‪ ٝ‬ثشای اثجبت یب ت‪ٛ‬هی ای‪ٙ‬ى‪ ٝ‬چشا ‪ٔ A‬ب سا ث‪ ٝ‬ػٕت سا‪ ٜ‬حُ ث‪ٟ‬ی‪ٔ ٝٙ‬ی ثشد ٘یبص داسد وه‪٘ ٝ‬ـهبٖ‬
‫د‪ٞ‬یٓ تٕبٔی دیٍش ػٍّٕش ‪ٞ‬ب ٘تید‪ ٝ‬ای هؼیفتش خ‪ٛ‬ا‪ٙٞ‬ذ داؿت‪ .‬ایٗ وبس ٔؼٕ‪ٛ‬ال تالؿی ٕ٘بیی دس ػٕك خؼتد‪ ٛ‬سا ٘یهبص خ‪ٛ‬ا‪ٞ‬هذ داؿهت‪(Chien .‬‬
‫)‪ٔ (Tadepalli 1990) ٚ 1993‬تذ‪ٞ‬بیی ثشای ت‪ٛ‬هیحبت "ت‪ٙ‬جُ"‪ 1‬یب افضایـی‪ 2‬و‪ ٝ‬دس آٖ س‪ٚ‬ؿی اثتىبسی ثهشای ایدهبد ت‪ٛ‬ههیحبت خضئهی ‪ٚ‬‬
‫تخٕی‪ٙ‬ی أب لبثُ اخشا )‪ (tractable‬سا ٔؼشفی ٔی و‪ٙٙ‬ذ‪ .‬ل‪ٛ‬ا٘یٗ اص ایٗ ت‪ٛ‬هیحبت ٘بوبُٔ ٔـبث‪ ٝ‬صٔب٘ی وه‪ ٝ‬ت‪ٛ‬ههیحبت وبٔهُ ث‪ٛ‬د٘هذ اػهتخشاج‬
‫ٔی ؿ‪ٛ‬د‪ .‬اِجت‪ ٝ‬ایٗ ل‪ٛ‬ا٘یٗ یبدٌشفت‪ ٝ‬ؿذ‪ٕٔ ٜ‬ىٗ اػت ثخبًش ت‪ٛ‬هیحبت ٘بوبُٔ ٘بدسػت ثبؿ‪ٙ‬ذ‪ .‬ػیؼتٓ ایٗ ٔـىُ سا ثب ٘ظبست ثش وبسایی لب٘‪ ٖٛ‬ثش‬
‫س‪ٚ‬ی ‪ٚ‬هؼیت ‪ٞ‬بی ثؼذی اكالح ٔی و‪ٙ‬ذ‪ .‬اٌش لب٘‪٘ٛ‬ی دس ٔـب‪ٞ‬ذات ثؼذی اؿتجب‪ ٜ‬و‪ٙ‬ذ‪ ،‬آٍ٘ب‪ ٜ‬ت‪ٛ‬هی اكّی ث‪ ٝ‬ك‪ٛ‬ست ته‪ٛ‬ا٘ی ایدهبد خ‪ٛ‬ا‪ٞ‬هذ ؿهذ تهب‬
‫‪ٚ‬هؼیت خذیذ سا ثپ‪ٛ‬ؿب٘ذ ‪ ٚ‬لب٘‪٘ٛ‬ی ثبصٍ٘شی ؿذ‪ ٜ‬اص ایٗ ت‪ٛ‬هی ت‪ٛ‬ا٘ی اػتخشاج خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪.‬‬

‫تالؿ‪ٟ‬بی ثؼیبس تحمیمبتی دیٍشی دسثبس‪ ٜ‬ی وبسثشد یبدٌیشی ت‪ٛ‬هیحی ثشای ث‪ٟ‬ج‪ٛ‬د حالَ ‪ٞ‬بی ٔؼبئُ خؼتد‪ٛ‬یی ا٘دبْ ٌشفت‪ ٝ‬اػت ‪(Mitchell‬‬
‫‪1981; Silver 1983; Shavlik 1990; Mahadevan et al. 1993; Gervasio and DeJong 1994; DeJong‬‬
‫)‪ (Bennett and DeJong 1996) .1994‬یبدٌیشی ت‪ٛ‬هیحی سا ثشای ٔؼبئُ ثش٘بٔ‪ ٝ‬سیضی سثبت و‪ ٝ‬ػیؼتٓ تئ‪ٛ‬سی لّٕش‪ٚ‬ی ٘بوبّٔی داسد‬
‫و‪ ٝ‬خ‪ٟ‬بٖ ‪ٚ‬الؼی ‪ ٚ‬حشوبت سا ت‪ٛ‬كیف ٔی و‪ٙ‬ذ سا ثشسػی وهشد‪ ٜ‬ا٘هذ‪ (Dietterich and Flann 1995) .‬اختٕهبع یهبدٌیشی ت‪ٛ‬ههیحی سا ثهب‬
‫س‪ٚ‬ؿ‪ٟ‬بی یبدٌیشی تم‪ٛ‬یتی ثحث ؿذ‪ ٜ‬دس فلُ ‪ 13‬سا ثشسػی وشد‪ ٜ‬ا٘ذ‪٘ (Mitchell and Thrun 1993) .‬یهض وهبسثشد ؿهجى‪ٞ ٝ‬هبی ػلهجی‬
‫ٔجت‪ٙ‬ی ثش یبدٌیشی ت‪ٛ‬هیحی (ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ EBNN‬دس فلُ ‪ٔ 12‬شاخؼ‪ ٝ‬و‪ٙ‬یذ) سا ثشای ٔؼبئُ یبدٌیشی تم‪ٛ‬یتی ثشسػی وشد‪ ٜ‬ا٘ذ‪.‬‬

‫‪ 11.1‬خالصه و منببع برای مطبلعه ی بیشتر‬

‫٘ىبت اكّی ایٗ فلُ ؿبُٔ ٔ‪ٛ‬اسد صیش ٔی ؿ‪ٛ‬د‪:‬‬

‫ثش خالف ٔتذ‪ٞ‬بی یبدٌیشی اػتمشایی ٔحن و‪ ٝ‬ث‪ ٝ‬د٘جبَ فشهی‪ ٝ‬ای ٔی ٌشد٘ذ و‪ ٝ‬ثهب داد‪ٞ ٜ‬هبی آٔ‪ٛ‬صؿهی ٔت‪ٙ‬بػهت ثبؿهذ‪ٔ ،‬تهذ‪ٞ‬بی‬
‫تحّیّی ٔحن ث‪ ٝ‬د٘جبَ فشهی‪ ٝ‬ای ٔی ٌشد٘ذ و‪ ٝ‬ثب دا٘ؾ ا‪ِٚ‬ی‪ ٝ‬ی یبدٌیش تٌجیك داؿت‪ٞ ٕٝ٘ٛ٘ ٚ ٝ‬بی آٔ‪ٛ‬صؿهی سا ٘یهض پ‪ٛ‬ؿهؾ د‪ٞ‬هذ‪.‬‬
‫ا٘ؼب٘‪ٟ‬ب ٘یض ٌب‪ٞ‬ی اص دا٘ؾ لجّی ثشای ‪ٞ‬ذایت ثیبٖ فشهی‪ٞ ٝ‬بی خذیذ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬ایٗ فلُ س‪ٚ‬ؿ‪ٟ‬بی تحّیّی ٔحن سا ثیبٖ ٔهی‬
‫و‪ٙ‬ذ‪ ،‬دس فلُ آتی ث‪ ٝ‬س‪ٚ‬ؿ‪ٟ‬بی یبدٌیشی تشویجی تحّیّی اػتمشایی ٔی پشداصیٓ‪.‬‬

‫‪1‬‬
‫‪lazy‬‬
‫‪2‬‬
‫‪incremental‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یبدٌیشی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت ٘‪ٛ‬ػی یبدٌیشی تحّیّی اػت و‪ ٝ‬یبدٌیش ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی سا (‪ )1‬ثب اػتفبد‪ ٜ‬اص تئه‪ٛ‬سی لّٕهش‪ ٚ‬ت‪ٛ‬ههی‬
‫داد‪ )2( ٜ‬ایٗ ت‪ٛ‬هیحبت سا ثشای تؼییٗ ؿشى وّی دسػتی ت‪ٛ‬هیحبت ثشسػی وشد‪ )3( ٚ ٜ‬فشهی‪ ٝ‬اؽ سا ثشای تٌبثك ثب ایٗ ؿش‪ٚ‬ى وّهی‬
‫ثبصٍ٘شی ٔی و‪ٙ‬ذ‪.‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ Prolog-EBG‬اٍِ‪ٛ‬سیتٓ یبدٌیشی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبتی اػت و‪ ٝ‬اص ‪ٞ horn clause‬بی دسخ‪ ٝ‬ا‪ َٚ‬ثشای ٕ٘بیؾ تئه‪ٛ‬سی‬
‫لّٕش‪ٚ‬ی ‪ٚ‬س‪ٚ‬دی ‪ ٚ‬فشهی‪ ٝ‬ی یبدٌشفت‪ ٝ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬دس ‪ Prolog-EBG‬ت‪ٛ‬هی ‪ ،‬یه اثجبت ‪ Prolog‬اػت ‪ ٚ‬فشهی‪ ٝ‬اػهتخشاخی‬
‫اص ایٗ ت‪ٛ‬هی هؼیفتشیٗ پیـ‪ٛٙ‬یغ ایٗ اثجبت اػت‪٘ .‬تید‪ ،ٝ‬ای‪ٙ‬ى‪ ٝ‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ‪ Prolog-EBG‬سا ٔی ت‪ٛ‬اٖ اص تئ‪ٛ‬سی لّٕش‪ٚ‬اؽ‬
‫٘تید‪ٌ ٝ‬یشی وشد‪.‬‬
‫س‪ٚ‬ؿ‪ٟ‬بی یبدٌیشی تحّیّی ٔثُ ‪ٚ ، Prolog-EBG‬یظٌی ‪ٞ‬بی ٔیب٘ی ٔفیذی سا ث‪ ٝ‬ػ‪ٛٙ‬اٖ اثش خب٘جی ثشسػی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ایدهبد‬
‫ٔههی و‪ٙ‬هه ذ‪ .‬ایههٗ س‪ٚ‬ؽ تحّیّههی ثههشای ایدههبد ‪ٚ‬یظٌههی ٔىٕههُ س‪ٚ‬ؽ آٔههبسی ایدههبد ‪ٚ‬یظٌههی ‪ٞ‬ههبی ٔیههب٘ی دس ٔتههذ‪ٞ‬بیی چهه‪ٖٛ‬‬
‫‪ Backpropagation‬اػت‪ٚ( .‬یظٌی ‪ٞ‬بی ‪ٚ‬احذ ‪ٞ‬بی پ‪ٟٙ‬بٖ)‬
‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ Prolog-EBG ٝ‬فشهی‪ ٝ‬ای سا و‪ ٝ‬اص ٔحذ‪ٚ‬د‪ ٜ‬ی ٘تید‪ٌ ٝ‬یشی تئ‪ٛ‬سی لّٕهش‪ٚ‬اؽ تدهب‪ٚ‬ص و‪ٙ‬هذ خش‪ٚ‬خهی ٕ٘هی د‪ٞ‬هذ‪ ،‬أهب‬
‫س‪ٚ‬ؿ‪ٟ‬بی یبدٌیشی اػت‪ٙ‬تبخی چ‪ٙ‬یٗ لبثّیتی سا داسا ‪ٞ‬ؼت‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ‪---‬‬
‫یىی اص والػ‪ٟ‬بی ٔ‪ٔ ٟٓ‬ؼبئّی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی وبُٔ ‪ ٚ‬دسػت ثشایـبٖ ٔ‪ٛ‬خ‪ٛ‬د اػت‪ ،‬والع ٔؼهبئُ خؼهتد‪ٛ‬ی فوهب‪ٞ‬بی حبِهت‬
‫ثضسي اػت‪ .‬ػیؼتٕ‪ٟ‬بیی چ‪ SOAR ٚ Prodigy ٖٛ‬وبسایی ٔتذ‪ٞ‬بی یبدٌیشی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت سا ثشای پیذا وشدٖ خ‪ٛ‬دوبس دا٘هؾ‬
‫و‪ٙ‬تشَ خؼتد‪ٛ‬ی ای و‪ ٝ‬ػشػت حُ ٔؼبئُ سا دس چ‪ٙ‬یٗ ٔؼبئّی ٕٔىٗ ٔی ػبصد اثجبت وشد‪ ٜ‬ا٘ذ‪.‬‬
‫ثشخالف ‪ٚ‬ه‪ٛ‬ح وبسایی ٔتذ‪ٞ‬بی یبدٌیشی ت‪ٛ‬هیحی ثشای ا٘ؼب٘‪ٟ‬ب‪ ،‬پیبد‪ ٜ‬ػبصی اػت‪ٙ‬تبخی ٔحن ٔثهُ ‪ Prolog-EBG‬ههؼف ‪ٞ‬هبیی‪،‬‬
‫٘ظیش ای‪ٙ‬ى‪ ٝ‬فشهی‪ ٝ‬ی خش‪ٚ‬خی فمي صٔب٘ی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬كحی اػت دسػت ٔی ثبؿذ‪ ،‬داسد‪ .‬دس فلُ ثؼذی ث‪ ٝ‬س‪ٚ‬ؽ ‪ٞ‬بیی خ‪ٛ‬ا‪ٞ‬یٓ‬
‫پشداخت و‪ٔ ٝ‬تذ‪ٞ‬بی یبدٌیشی تحّیّی ‪ ٚ‬اػتمشایی سا تشویت وشد‪ ٜ‬تب اص تئ‪ٛ‬سی لّٕش‪ٚ‬ی ٘بوبُٔ ‪ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿهی ٔحهذ‪ٚ‬د یهبدٌیشی‬
‫ٕٔىٗ ؿ‪ٛ‬د‪.‬‬
‫سیـ‪ٞ ٝ‬بی ٔتذ‪ٞ‬بی یبدٌیشی تحّیّی سا ٔی ته‪ٛ‬اٖ دس ٔیهبٖ وبس‪ٞ‬هبی ا‪ِٚ‬یه‪ ٝ‬ی )‪ Fikes (1972‬دس یهبدٌیشی ػٍّٕهش ‪ٞ‬هبی وّهی ‪(macro-‬‬
‫)‪ operators‬دس ثشسػی ػٍّٕش ‪ٞ‬بی ‪ ٚ ABSYTIPS‬وبس )‪ Soloway (1977‬دس اػتفبد‪ ٜ‬ی دا٘ؾ لجّی ٔحهن دس یهبدٌیشی پیهذا وهشد‪.‬‬
‫س‪ٚ‬ؿ‪ٟ‬بی یبدٌیشی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت‪ٔ ،‬ـبث‪ ٝ‬آ٘چ‪ ٝ‬دس ً‪ َٛ‬فلُ ث‪ ٝ‬آٖ پشداختیٓ‪ ،‬ا‪ِٚ‬یٗ ثبس دس تؼذادی اص ػیؼتٓ ‪ٞ‬هبی ًشاحهی ؿهذ‪ ٜ‬دس ا‪ٚ‬ایهُ‬
‫د‪ٞ‬ه‪ ٝ‬ی ‪ 81‬ؿهبُٔ )‪ DeJong (1981); Mitchell (1981); Winston et al. (1983); Silver (1983‬ظ‪ٟ‬ه‪ٛ‬س پیهذا وهشد‪.‬‬
‫)‪ Mitchell et al. (1986) ٚ DeJong and Mooney (1986‬ت‪ٛ‬هیحبت وّی الصْ ‪----‬‬

‫ٔ‪ ٟٓ‬تشیٗ تالؽ ‪ٞ‬بی اػتفبد‪ ٜ‬اص یبدٌیشی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت ثب تئ‪ٛ‬سی لّٕ‪ٛ‬س‪ٞ ٚ‬بی وبُٔ دس ٔحذ‪ٚ‬د‪ ٜ‬ی یبدٌیشی و‪ٙ‬تشَ خؼتد‪ ٛ‬یهب یهبدٌیشی‬
‫افضایؾ ػشػت )‪ (speedup‬ث‪ٛ‬د‪ ٜ‬اػت‪ .‬ػیؼتٓ ‪ Soar‬و‪ ٝ‬ت‪ٛ‬ػي )‪ Prodigy ٚ Laird et al. (1986‬و‪ ٝ‬ت‪ٛ‬ػي ‪Carbonell et al.‬‬
‫)‪ (1990‬ت‪ٛ‬كیف ؿذ دس ٔیبٖ پیـشفت‪ ٝ‬تشیٗ ػیؼتٓ ‪ٞ‬بیی ‪ٞ‬ؼت‪ٙ‬ذ و‪ ٝ‬اص ٔتذ‪ٞ‬بی یبدٌیشی ت‪ٛ‬هیحی ثشای یبدٌیشی حُ ٔؼبئُ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪.‬‬
‫)‪ Rosenbloom and Laird (1986‬ساثٌ‪ ٝ‬ی ٘ضدیه ثیٗ ٔتذ یهبدٌیشی ‪( Soar‬یهب ‪ٕٞ‬هبٖ ‪ ٚ )chunking‬دیٍهش ٔتهذ‪ٞ‬بی یهبدٌیشی‬
‫ت‪ٛ‬هیحی سا ثحث ٔی و‪ٙٙ‬ذ‪ .‬اخیشا‪ Dietterich and Flann (1995) ،‬تشویت س‪ٚ‬ؿ‪ٟ‬بی ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت سا ثهب یهبدٌیشی تمه‪ٛ‬یتی ثهشای‬
‫و‪ٙ‬تشَ خؼتد‪ ٛ‬ثشسػی وشد‪ ٜ‬ا٘ذ‪.‬‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٞ ٝ‬ذف ػٕذ‪ ٜ‬ی ٔب دس ای‪ٙ‬دب ٌٔبِؼ‪ ٝ‬ی یبدٌیشی اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی یبدٌیشی ٔبؿیٗ اػت‪ ،‬خهبِی اص ٌِهف ٘یؼهت وه‪ ٝ‬اؿهبس‪ ٜ‬ؿه‪ٛ‬د وه‪ٝ‬‬
‫تحمیمبت ثش س‪ٚ‬ی یبدٌیشی ا٘ؼبٖ ث‪ ٝ‬ایٗ حذع ٌش‪ٚ‬یذ‪ ٜ‬و‪ ٝ‬یبدٌیشی ا٘ؼبٖ ٘یض ٔجت‪ٙ‬ی ثش ت‪ٛ‬هیحبت اػت‪ .‬ثشای ٔثبَ‪ٚ Ahn et al. (1987) ،‬‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

.‫هذ‬ٙٙ‫ ٔهی و‬ٝ‫هذ اسائه‬ٙٙ‫ ٔهی و‬ٜ‫ههیحبت اػهتفبد‬ٛ‫هی ثهش ت‬ٙ‫بی ٔجت‬ٟ‫ؿه‬ٚ‫هب اص س‬ٞ ٖ‫ ا٘ؼهب‬ٝ‫ی ثش ایٗ حذع وه‬ٙ‫ ٔذاسوی ٔج‬Qin et al. (1992)
ٜ‫ذ‬ٞ‫هبی ٔـهب‬ٞ ٜ‫ داد‬ٚ ‫ی ای اص دا٘ؾ لجّی‬ٙ‫ اثش ٔتمبثُ غ‬ٝ‫ب و‬ٞ ٖ‫ی یبدٌیشی ا٘ؼب‬ٚ‫( تحمیمبتی سا ثش س‬Wisniewski and Medin 1995)
‫كهیف‬ٛ‫ تحمیمهبتی سا ت‬Kotovsky and Baillargeon (1994) .‫ذ‬ٙٙ‫ذ سا ٌضاسؽ ٔی و‬ٞ‫ذ یبدٌیشی سا ٘ـبٖ ٔی د‬ٙ‫ ثشای تبثیش دس فشآی‬ٜ‫ؿذ‬
.‫ ا٘ذ وٕه ٔی ٌیش٘ذ‬ٝ‫ یبد ٌشفت‬ٝ‫ ٘یض اص دا٘ؾ لجّی ای و‬ٝٞ‫ ٔب‬11 ‫بی‬ٞ ٝ‫ذ حتی ثچ‬ٞ‫ ٘ـبٖ ٔی د‬ٝ‫ و‬ٜ‫وشد‬

‫ وهبس‬ٝ‫ ثه‬Prolog ‫بی‬ٞ ٝٔ‫ػي ثش٘ب‬ٛ‫ ت‬ٝ‫بػت و‬ٞ ٝٔ‫ ػبصی ثش٘ب‬ٝٙ‫ی‬ٟ‫بی ث‬ٞ‫ع خبكی اص ٔتذ‬ٛ٘ ٝ‫هیحی ٔـبث‬ٛ‫ی یبدٌیشی ت‬ٚ‫ ثش س‬ٝ‫ثشسػی ا٘دبْ ٌشفت‬
.‫ ٔی پشداصد‬ٚ‫ ی ثیٗ ایٗ د‬ٌٝ‫ ساث‬ٝ‫( ث‬Harmelen and Bundy 1988) .(Partition evaluation) ُ‫ ٔث‬،‫د‬ٚ‫ٔی س‬

‫تمرینبت‬
‫ ٕ٘هبیؾ‬HouseMates(x,y) ‫ ثب‬ٝ‫ذ" سا دس ٘ظش ثٍیشیذ و‬ٙٙ‫ ص٘ذٌی ٔی و‬ٝ٘‫ دس یه خب‬ٝ‫ج افشادی و‬ٚ‫ذف "ص‬ٞ ْٟٛ‫ ی یبدٌیشی ٔف‬ّٝ‫ ٔؼئ‬11.1
:‫ اػت‬ٜ‫ ؿذ‬ٜ‫سد‬ٚ‫ْ آ‬ٟٛ‫ ای اص ایٗ ٔف‬ٕٝ٘ٛ٘ ‫ دس صیش‬،‫د‬ٛ‫ ٔی ؿ‬ٜ‫داد‬

HouseMates(Joe,Sue)

Person(Joe) Person(Sue)

Sex(Joe,Male) Sex(Sue,Female)

HairColor(Joe,Black) HairColor(Sue,Brown)

Height(Joe,Short) Height(Sue,Short)

Nationality(Joe,US) Nationality(Sue,US)

Mother(Joe,Marry) Mother(Sue,US)

Age(Joe,8) Age(Sue,6)

:‫د اػت‬ٛ‫خ‬ٛٔ ‫ی صیش‬ٚ‫سی لّٕش‬ٛ‫ذف تئ‬ٞ ْٟٛ‫ ی ایٗ ٔف‬ٜ‫دسثبس‬

HouseMates(x,y)←InSameFamily(x,y)

HouseMates(x,y)←FraternityBrothers(x,y)

InSameFamily(x,y) ← Married(x,y)

InSameFamily(x,y) ← Youngster(x)⋀ Youngster(y)⋀SameMother(x,y)

SameMother(x,y) ← Mother(x,z)⋀Mother(y,z)

Youngster(x) ← Age(x,a)⋀LessThan(a,10)
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اص ‪ Prolog-EBG‬ثشای یبدٌیشی ایٗ ٔف‪ ْٟٛ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثبال اػتفبد‪ ٜ‬و‪ٙ‬یذ‪ .‬دس وُ‪،‬‬

‫)‪ (a‬سفتبس ‪ Prolog-EBG‬سا ث‪ًٛ ٝ‬س دػتی د٘جبَ و‪ٙ‬یذ؛ ت‪ٛ‬هیحبت ایدبد ؿذ‪ ٜ‬ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬حبكُ ثشاصؽ ٔف‪ٞ ْٟٛ‬ذف سا اص ایهٗ‬
‫ت‪ٛ‬هیحبت ‪ ٚ‬دػت‪ٞ horn clause ٝ‬بی حبكُ سا ثجت و‪ٙ‬یذ‪.‬‬

‫)‪ٔ (b‬ف‪" ْٟٛ‬افشادی و‪ ٝ‬ثب ‪ Joe‬دس یه خب٘‪ ٝ‬ص٘ذٌی ٔی و‪ٙٙ‬ذ" سا ث‪ ٝ‬خبی "ص‪ٚ‬ج افشادی و‪ ٝ‬دس یه خب٘‪ ٝ‬ص٘ذٌی ٔی و‪ٙٙ‬هذ" سا دس ٘ظهش ثٍیشیهذ‪.‬‬
‫ایٗ ٔف‪ٞ ْٟٛ‬ذف سا ثب فشٔ‪ِٟٛ‬بی ثبال ثبص٘‪ٛ‬یؼی و‪ٙ‬یذ‪ٕٞ .‬بٖ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ‪ٕٞ ٚ‬بٖ تئ‪ٛ‬سی لّٕش‪ ٚ‬سا دس ٘ظش ثٍیشیذ‪ ،‬چ‪ٞ horn clause ٝ‬بیی‬
‫ت‪ٛ‬ػي ‪ Prolog-EBG‬ت‪ِٛ‬یذ ٔی ؿ‪ٛ‬د ‪---‬‬

‫‪ٕٞ 11.2‬بٌ٘‪ٛ‬س و‪ ٝ‬دس ثخؾ ‪٘ 11.3.1‬یض اؿبس‪ ٜ‬ؿذ‪ٔ Prolog-EBG ،‬ی ت‪ٛ‬ا٘ذ ‪ٚ‬یظٌی ‪ٞ‬بی خذیذ ٔفیذی و‪ ٝ‬ث‪ًٛ ٝ‬س كشی دس ٕ٘‪ٞ ٝ٘ٛ‬ب ثیبٖ ٘ـذ‪ٜ‬‬
‫أب ثش حؼت ‪ٚ‬یظٌی ‪ٞ‬بی دس تؼٕیٓ س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب ٔفیذ اػت سا ایدبد و‪ٙ‬ذ‪ .‬ایٗ ‪ٚ‬یظٌی ‪ٞ‬ب ثش اثش ثشسػی ت‪ٛ‬هیحبت ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ایدبد ٔهی‬
‫ؿ‪ٛ‬د‪ٔ .‬تذ دیٍشی و‪ ٝ‬ثشای پیذا وشدٖ ‪ٚ‬یظٌی ‪ٞ‬بی ٔفیذ غیش كشی ‪ Backpropagation‬دس ؿجى‪ٞ ٝ‬بی ػلجی اػهت‪ ،‬دس ایهٗ ٔتهذ ‪ٚ‬یظٌهی‬
‫‪ٞ‬بی خذیذ دس ‪ٚ‬احذ‪ٞ‬بی پ‪ٟٙ‬بٖ ثش اػبع ‪ٚ‬یظٌی ‪ٞ‬بی آٔبسی تؼذاد صیبدی اص ٕ٘‪ٞ ٝ٘ٛ‬ب ایدبد ٔی ؿه‪ٛ‬د‪ .‬آیهب ٔهی ت‪ٛ‬ا٘یهذ سا‪ٞ‬هی ثهشای تشویهت ایهٗ‬
‫س‪ٚ‬ؿ‪ٟ‬بی آٔبسی ‪ ٚ‬اػتمشایی ثشای ایدبد ‪ٚ‬یظٌی ‪ٞ‬بی خذیذ اسائ‪ ٝ‬و‪ٙ‬یذ (ت‪ٛ‬خ‪ :ٝ‬ایٗ ٔؼئّ‪ٛٙٞ ٝ‬ص خض‪ ٚ‬لؼٕت ‪ٞ‬بی آصاد تحمیك ٔحؼ‪ٛ‬ة ٔی ؿ‪ٛ‬د)‬

‫∨⋀⌉⌈≱≠¬≻‬

‫فرهنگ لغبت تخصصی فصل (فبرسی به انگلیسی)‬

‫‪Speedup‬‬ ‫افضایؾ ػشػت‬
‫‪speed up complex search programs‬‬ ‫افضایؾ ػشػت خؼتد‪ ٛ‬ی ثش٘بٔ‪ٞ ٝ‬بی پیچیذ‪ ٜ‬تؼییٗ‬
‫‪Incremental‬‬ ‫افضایـی‬
‫‪Leaf nodes‬‬ ‫ثشي‬
‫‪Planner‬‬ ‫ثش٘بٔ‪ ٝ‬سیض‬
‫‪planning and schedualing‬‬ ‫ثش٘بٔ‪ ٝ‬سیضی ‪ ٚ‬ا٘دبْ‬
‫‪inductive logic programming‬‬ ‫ثش٘بٔ‪ٛ٘ ٝ‬یؼی ٔ‪ٌٙ‬می اػتمشایی‬
‫‪deductive closure‬‬ ‫ثؼتٍی ػت‪ٙ‬تبخی‬
‫‪Regress‬‬ ‫پغ سا٘ذٖ‬
‫‪utility analysis‬‬ ‫تحّیُ تبثیش ل‪ٛ‬ا٘یٗ‬
‫‪Determination‬‬ ‫تؼییٗ‬
‫‪Lazy‬‬ ‫ت‪ٙ‬جُ‬
‫‪Justification‬‬ ‫ت‪ٛ‬خی‪ٝ‬‬
‫‪domain theory‬‬ ‫تئ‪ٛ‬سی لّٕش‪ٚ‬‬
‫‪backward chaining search‬‬ ‫خؼتد‪ٛ‬ی ص٘دیش ‪ٚ‬اس ٔؼى‪ٛ‬ع‬
‫‪Match‬‬ ‫خفت وشدٖ‬
‫‪problem solver‬‬ ‫حالَ ٔؼئّ‪ٝ‬‬
‫‪Autonomous‬‬ ‫خ‪ٛ‬دوبس‬
‫‪proof tree‬‬ ‫دسخت ‪ٞ‬بی اثجبت‬
‫‪Correct‬‬ ‫دسػت‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

Subgoal ‫ذف‬ٞ ‫صیش‬

weakest preimage ‫یغ‬ٛٙ‫هؼیفتشیٗ پیـ‬
Irrevelant ‫غیش ٔشتجي‬
Assertion ‫ب‬ٞ ‫فشم‬
state-space ‫هؼیتی‬ٚ ‫فوبی‬
Constraint ‫لیذ‬
Perfect ُٔ‫وب‬
knowledge compilation ‫سی دا٘ؾ‬ٚ‫ٌشدا‬
sequential covering algorithm ‫سیتٓ تشتیجی‬ٍِٛ‫ا‬
Superset ‫ا٘ی ای‬ٛ‫ ت‬ٝ‫ػ‬ٕٛ‫ٔد‬
Relevant ‫ٔشتجي‬
search-intensive planning and optimization ‫ ػبصی‬ٝٙ‫ی‬ٟ‫ ث‬ٚ ‫ سیضی‬ٝٔ‫ی ثش٘ب‬ٛ‫ٔؼبئُ ٔتٕشوض ثش خؼتد‬
problems
domain-independent ٚ‫ٔؼتمُ اص لّٕش‬
Logical ‫ٌمی‬ٙٔ
negation-as-failure ‫فی دس صٔبٖ ؿىؼت‬ٙٔ
Feature ‫یظٌی‬ٚ
means-ends ‫بی ٔیب٘ی‬ٟ‫ذف‬ٞ
Complete ٝ‫ خب٘ج‬ٕٝٞ
analytical learning ‫یبدٌیشی تحّیّی‬
explanation-based learning (ELB) ‫هیحی‬ٛ‫یبدٌیشی ت‬
knowledge level learning ‫ ی دا٘ؾ‬ٝ‫یبدٌیشی ٔشتج‬
macro-operators ‫بی وّی‬ٞ ‫ػٍّٕش‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل دوازدهم‪ :‬تركیب یادگیری تحلیلی و استقرایی‬

‫ٔتذ ‪ٞ‬بی اػتمشایی ٔحن فشهی‪ ٝ‬ای وّی سا ثب پیذا وشدٖ لبئذ‪ٞ ٜ‬بی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ایدبد ٔی و‪ٙٙ‬ذ‪ٔ .‬تذ‪ٞ‬بی تحّیّی ٔحضن ٘یضض اص دا٘ضؾ‬
‫لجّی ثشای ٘تید‪ٌ ٝ‬یشی ٔ‪ٌٙ‬می فشهی‪ ٝ‬وّی اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬ایٗ فلُ ٔتذ ‪ٞ‬بیی سا ثشسػی خ‪ٛ‬ا‪ٞ‬ذ وشد و‪ٔ ٝ‬ىب٘یؼٓ ‪ٞ‬بی اػتمشایی ‪ ٚ‬تحّیّی سا‬
‫تشویت وشد‪ ٚ ٜ‬اص ٔ‪ٙ‬بفع ‪ٞ‬ش د‪ ٚ‬س‪ٚ‬ؽ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ :‬دلت تعٕیٕی ثیـتشی ثب اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ٔ‪ٛ‬خ‪ٛ‬د داس٘ذ ‪ ٚ‬دس صٔضب٘ی وض‪ ٝ‬دا٘ضؾ لجّضی‬
‫هعف داسد ث‪ ٝ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬اتىب خ‪ٛ‬ا‪ٙٞ‬ذ وشد‪ٔ .‬تذ ‪ٞ‬بی تشویجی حبكُ اص ٔتذ‪ٞ‬بی اػتمشایی ٔحن ‪ ٚ‬تحّیّضی ٔحضن وضبسایی‬
‫ثیـتشی خ‪ٛ‬ا‪ٙٞ‬ذ داؿت‪ .‬ایٗ فلُ ٔتذ‪ٞ‬بی یبدٌیشی اػتمشایی تحّیّی سا ثش اػبع ٕ٘بیؾ ‪ٞ‬بی ٕ٘بدیٗ ‪ ٚ‬ؿجى‪ٞ ٝ‬ضبی صلضجی ٔلض‪ٛٙ‬صی ثشسػضی‬
‫خ‪ٛ‬ا‪ٞ‬ذ وشد‪.‬‬

‫‪ 1.21‬انگیسه‬
‫دس فلُ ‪ٞ‬بی لجّی د‪ ٚ‬اٍِ‪ 1ٛ‬اص یبدٌیشی ٔبؿیٗ سا دیذیٓ‪ :‬یبدٌیشی اػتمشایی ‪ ٚ‬یبدٌیشی تحّیّی‪ٔ .‬تذ ‪ٞ‬ضبی اػضتمشایی‪ٔ ،‬ثضُ یضبدٌیشی دسختضی ‪ٚ‬‬
‫‪ Backpropagation‬دس ؿجى‪ٞ ٝ‬بی صلجی‪ ،‬ث‪ ٝ‬د٘جبَ فشهی‪ٞ ٝ‬بی وّی ٔی ٌشد٘‪ٙ‬ذ و‪ٔ ٝ‬ت‪ٙ‬بػت ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثبؿذ‪ٔ .‬تذ ‪ٞ‬بی تحّیّی‪،‬‬
‫ٔثُ ‪ Prolog-EBG‬ث‪ ٝ‬د٘جبَ فشهی‪ٞ ٝ‬بیی ٔی ٌشد٘ذ و‪ ٝ‬ثب پ‪ٛ‬ؿؾ داد‪ٞ ٜ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬ثب دا٘ؾ لجّی ٘یضض ٔت‪ٙ‬بػضت ثبؿضذ‪ .‬ایضٗ د‪ ٚ‬اٍِض‪ٛ‬ی‬
‫یبدٌیشی ثش اػبع ت‪ٛ‬هیحبت ٔختّف ثشای یبدٌیشی فشهی‪ٞ ٝ‬ب ایدبد ؿذ‪ٔ ٚ ٜ‬ضیت ‪ٞ‬ب ‪ ٚ‬هعف ‪ٞ‬بی ٔىُٕ داس٘ذ‪ .‬تشویت ایٗ ٔتذ ‪ٞ‬ضب‪ٔ ،‬تضذ ‪ٞ‬ضبی‬
‫یبدٌیشی ای ثب لبثّیت ‪ٞ‬ب ‪ ٚ‬لذست ثیـتشی ایدبد ٔی و‪ٙ‬ذ‪.‬‬

‫ٔتذ ‪ٞ‬بی یبدٌیشی تحّیّی ٔحن ایٗ ٔضیت سا داس٘ذ و‪ ٝ‬تعٕیٓ سا ثب اػتفبد‪ ٜ‬اص ٔیضاٖ داد‪ٞ ٜ‬بی وٕتشی ا٘دبْ ٔی د‪ٙٞ‬ضذ ‪ ٚ‬اص دا٘ضؾ لجّضی ثضشای‬
‫و‪ٙ‬تشَ یبدٌیشی اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ٕٔ ،‬ىٗ اػت ثب دا٘ؾ لجّی ٘بدسػت یب ٘بوبُٔ ث‪٘ ٝ‬تبیح غّتی ثیب٘دبٔ‪ٙ‬ذ‪ٔ .‬تذ ‪ٞ‬بی اػتمشایی ٔحضن‬
‫ایٗ ٔضیت سا داس٘ذ و‪٘ ٝ‬یبص ث‪ ٝ‬دا٘ؾ لجّی ٘ذاس٘ذ ‪٘ ٚ‬تبیح سا وبٔال اص خ‪ٛ‬د داد‪ٞ ٜ‬بی أ‪ٛ‬صؿی اػتخشاج ٔی و‪ٙٙ‬ذ‪ .‬أب صٔب٘ی و‪ ٝ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثض‪ٝ‬‬
‫ا٘ذاص‪ ٜ‬ی وبفی صیبد ٘یؼت أىبٖ داسد ث‪ٛ‬ػیّ‪ ٝ‬ی ثبیبع اػتمشاییـبٖ‪ ،‬و‪ ٝ‬ثشای تعٕیٓ س‪ٚ‬ی داد‪ٞ ٜ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬اصٕبَ ؿضذ‪ ،ٜ‬ثض‪٘ ٝ‬تضبیح غّتضی‬

‫‪1‬‬
‫‪paradigm‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشػ‪ٙ‬ذ‪ .‬خذ‪ 1..1 َٚ‬خالك‪ ٝ‬ی ایٗ ٔضیت ‪ٞ‬ب ‪ ٚ‬هعف ‪ٞ‬بی ٔىُٕ ٔتذ ‪ٞ‬بی یبدٌیشی اػتمشایی ‪ ٚ‬تحّیّی سا ٘ـبٖ ٔی د‪ٞ‬ضذ‪ .‬ایضٗ فلضُ ثض‪ ٝ‬ایضٗ‬
‫ػ‪ٛ‬اَ و‪" ٝ‬چٍ‪ٔ ٝ٘ٛ‬ی ت‪ٛ‬اٖ ایٗ د‪ ٚ‬سا دس یه اٍِ‪ٛ‬سیتٓ و‪ ٝ‬ث‪ٟ‬تشیٗ خ‪ٙ‬ج‪ٞ ٝ‬بی ‪ٞ‬ش د‪ ٚ‬سا داؿت‪ ٝ‬ثبؿذ ٌ‪ٙ‬دب٘ذ؟" ٔی پشداصد‪.‬‬

‫تفب‪ٚ‬ت ٔتذ ‪ٞ‬بی یبدٌیشی اػتمشایی ‪ ٚ‬ت‪ٛ‬هیحی سا ٔی ت‪ٛ‬اٖ دس ًجیعت ت‪ٛ‬خی‪ ٝ‬ی و‪ ٝ‬ثشای فشهی‪ٞ ٝ‬بی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬اؿبٖ اسائض‪ٔ ٝ‬ضی د‪ٙٞ‬ضذ دیضذ‪.‬‬
‫فشهی‪ ٝ‬ی خش‪ٚ‬خی ٔتذ ‪ٞ‬بی یبدٌیشی تحّیّی ٔحن ٔثُ ‪ Prolog-EBG‬ت‪ٛ‬خی‪ ٝ‬ی ٔ‪ٌٙ‬می ثشای فشهی‪ٞ ٝ‬بی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬اسائض‪ٔ ٝ‬ضی د‪ٙٞ‬ضذ‬
‫فشهی‪ ٝ‬خش‪ٚ‬خی سا ٔی ت‪ٛ‬اٖ اص تئ‪ٛ‬سی لّٕش‪ٞ ٕٝ٘ٛ٘ ٚ ٚ‬بی آٔ‪ٛ‬صؿی ٘تید‪ٌ ٝ‬یشی وشد‪ .‬فشهضی‪ٞ ٝ‬ضبی خش‪ٚ‬خضی ٔتضذ ‪ٞ‬ضبی اػضتمشایی ٔحضن ٔثضُ‬
‫‪ Backpropagation‬ت‪ٛ‬خی‪ ٝ‬آٔبسی ثشای فشهی‪ٞ ٝ‬بی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬اسائ‪ٔ ٝ‬ی د‪ٙٞ‬ذ فشهی‪ ٝ‬ی خش‪ٚ‬خی اص ٔتغیش ‪ٞ‬بی آٔبسی ثضب فضشم ای‪ٙ‬ىض‪ٝ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ث‪ ٝ‬ا٘ذاص‪ ٜ‬ی وبفی صیبد ‪ٞ‬ؼت‪ٙ‬ذ و‪ٕ٘ ٝ‬بی‪ٙ‬ذ‪ ٜ‬ی ت‪ٛ‬صیع ٕ٘‪ ٝ٘ٛ‬ای حبوٓ ثش آٖ ثبؿ‪ٙ‬ذ ت‪ٛ‬خی‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ایٗ ت‪ٛ‬خی‪ ٝ‬آٔبسی ثشای اػتمشا‬
‫دس ٘تبیح ‪ PAC-learning‬دس فلُ ‪ 7‬ث‪ًٛ ٝ‬س وبُٔ ثحث ؿذ‪ ٜ‬اػت‪.‬‬

‫ثب ٔعّ‪ ْٛ‬ث‪ٛ‬دٖ ای‪ٙ‬ى‪ٔ ٝ‬تذ ‪ٞ‬بی تحّیّی فشهی‪ٞ ٝ‬بیی ثب ت‪ٛ‬خی‪ٌٙٔ ٝ‬می خش‪ٚ‬خی ٔی د‪ٙٞ‬ذ ‪ ٚ‬س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ٔتذ ‪ٞ‬بیی ثب ت‪ٛ‬خی‪ ٝ‬آٔضبسی خش‪ٚ‬خضی‬
‫ٔی د‪ٙٞ‬ذ‪ ،‬س‪ٚ‬ؿٗ اػت و‪ ٝ‬تشویت ایٗ س‪ٚ‬ؽ ‪ٞ‬ب چٍ‪ٔ ٝ٘ٛ‬فیذ خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ :‬ت‪ٛ‬خی‪ٞ ٝ‬بی ٔ‪ٌٙ‬می ثب فشم ‪ٞ‬بیـبٖ یب ‪ٕٞ‬بٖ دا٘ؾ لجّی و‪ ٝ‬ثضش پبیض‪ ٝ‬آٖ‬
‫ػبخت‪ ٝ‬ؿذ‪ ٜ‬ا٘ذ ٔحذ‪ٚ‬د ٔی ؿ‪٘ٛ‬ذ ‪ ٚ‬دس صٔب٘ی و‪ ٝ‬دا٘ؾ لجّی ٘بدسػت ‪ ٚ‬یب دس دػتشع ٘جبؿذ ایٗ س‪ٚ‬ؿ‪ٟ‬ب ثذ‪ ٖٚ‬ثبصد‪ ٚ ٜ‬غیش لبثُ اصتٕبد خ‪ٛ‬ا‪ٙٞ‬ذ ث‪ٛ‬د‪.‬‬
‫ت‪ٛ‬خی‪ٞ ٝ‬بی آٔبسی فمي ثب داد‪ٞ ٜ‬ب ‪ ٚ‬فشم ‪ٞ‬بی آٔبسی و‪ٔ ٝ‬ی و‪ٙٙ‬ذ ٔحذ‪ٚ‬د ٔی ؿ‪٘ٛ‬ذ ‪ ٚ‬صٔب٘ی و‪ ٝ‬فشه‪ٟ‬بیـبٖ دسثبس‪ ٜ‬ی ت‪ٛ‬صیع غیضش لبثضُ اصتٕضبد‬
‫اػت ‪ ٚ‬یب داد‪ٞ ٜ‬ب ا٘ذن ا٘ذ ایٗ س‪ٚ‬ؽ ‪ٞ‬ب ثذ‪ ٖٚ‬ثبصد‪ ٚ ٜ‬غیش لبثُ اصتٕبد خ‪ٛ‬ا‪ٙٞ‬ذ ث‪ٛ‬د‪ .‬خالك‪ ٝ‬ای‪ٙ‬ى‪ ٝ‬ایضٗ د‪ ٚ‬س‪ٚ‬ؽ ثضشای ا٘ض‪ٛ‬اخ ٔختّفضی اص ٔؼضبئُ‬
‫دسػت وبس ٔی و‪ٙٙ‬ذ‪ .‬ثب تشویت آ٘‪ٟ‬ب ٔی ت‪ٛ‬اٖ أیذ داؿت و‪ ٝ‬س‪ٚ‬ؿی وّی تش ثشای یبدٌیشی و‪ ٝ‬ثش س‪ٚ‬ی ًیف ‪ٚ‬ػیعی اص ٔؼبئُ یبدٌیشی دسػت وبس‬
‫ٔی و‪ٙٙ‬ذ ثذػت آ‪ٚ‬سد‪.‬‬

‫خذ‪ً 1..1 َٚ‬یفی اص ٔؼبئُ یبدٌیشی و‪ ٝ‬دس دا٘ؾ لجّی ‪ ٚ‬حدٓ داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔتفب‪ٚ‬ت ا٘ذ سا دس ثش ٔی ٌیشد‪ .‬دس یه ًشف ًیف حدٓ ثؼیبس‬
‫صیبدی اص داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔ‪ٛ‬خ‪ٛ‬د ٔی ثبؿذ ‪ ٚ‬اثشی اص دا٘ؾ لجّی ٘یؼت‪ .‬دس ًشف دیٍش ًیف‪ ،‬دا٘ؾ لجّی ثؼیبس ل‪ٛ‬ی ٔ‪ٛ‬خ‪ٛ‬د اػت أب داد‪ٞ ٜ‬بی‬
‫آٔ‪ٛ‬صؿی ثؼیبس ا٘ذن اػت‪ٔ .‬ؼبئُ وبسثشدی اغّت خبیی ثیٗ ایٗ د‪ ٚ‬ػش ًیف ‪ٞ‬ؼت‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬دس ثشسػی پبیٍب‪ ٜ‬داد‪ ٜ‬پضؿضىی ثضشای یضبدٌیشی‬
‫ٔف‪" ْٟٛ‬صالیٕی و‪ ٝ‬دس آٖ دسٔبٖ ‪ x‬ث‪ٟ‬تش اص دسٔبٖ ‪ y‬اػت" ٕٔىٗ اػت فشم ا‪ِٚ‬ی‪ ٝ‬ای ‪ٚ‬خ‪ٛ‬د داؿت‪ ٝ‬ثبؿذ (ٔثُ حبِتی اص صُٕ ‪ ٚ‬صىضغ اِعٕضُ‬
‫و‪ٔ ٝ‬شث‪ٛ‬ى ث‪ ٝ‬ثیٕبسی اػت) و‪ٔ ٝ‬ی ٌ‪ٛ‬یذ دٔبی ثذٖ ثیٕبس ثیـتش اص ٔشث‪ٛ‬ى تش اص حبِت ٔیب٘ی ثیٕبس اػت‪ .---‬ثض‪ً ٝ‬ض‪ٛ‬س ٔـضبث‪ ،ٝ‬دس ثشسػضی پبیٍضب‪ٜ‬‬
‫داد‪ ٜ‬ی یه ا٘جبس ثشای یبدٌیشی ٔف‪ٞ ْٟٛ‬ذف "ؿشوت ‪ٞ‬بیی و‪ٔ ٝ‬یضاٖ ا٘جبسؿبٖ دس ً‪ َٛ‬د‪ٔ ٜ‬ب‪ ٜ‬آی‪ٙ‬ذ‪ ٜ‬د‪ ٚ‬ثشاثش ٔی ؿ‪ٛ‬د" ٕٔىٗ اػت دا٘ؾ لجّضی‬
‫داؿت‪ ٝ‬ثبؿیٓ و‪ ٝ‬التلبد ٘‪ٛ‬صی صُٕ ‪ ٚ‬صىغ اِعُٕ اػت‪ ٚ ،‬ػ‪ٛ‬د صٕذ‪ ٜ‬ی یه ؿشوت ٔشث‪ٛ‬ى تش اص سً٘ ٔبسن ؿشوت اػضت‪ .‬دس ‪ٞ‬ضش د‪ ٚ‬تعشیضف‬
‫ٔؼئّ‪ ،ٝ‬دا٘ؾ لجّی غیش ‪ ٕٝٞ‬خب٘ج‪ ٝ‬اػت‪ ،‬أب ‪ٚ‬اهح اػت و‪ ٝ‬دس تٕیض دادٖ ‪ٚ‬یظٌی ‪ٞ‬بی ٔشث‪ٛ‬ى اص غیش ٔ‪ٛ‬ث‪ٛ‬ى وبساػت‪.‬‬

‫یبدٌیشی تحّیّی‬ ‫یبدٌیشی اػتمشایی‬

‫فشهی‪ ٝ‬ای و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬تٌبثك داؿت ثبؿذ‬ ‫فشهی‪ ٝ‬ای و‪ ٝ‬ثب داد‪ٞ ٜ‬ب تٌبثك داؿت‪ ٝ‬ثبؿذ‬ ‫‪ٞ‬ذف‪:‬‬

‫ت‪ٛ‬خی‪ ٝ‬اػت‪ٙ‬تبخی‬ ‫ت‪ٛ‬خی‪ ٝ‬آٔبسی‬ ‫ت‪ٛ‬خی‪:ٝ‬‬

‫٘یبص ث‪ ٝ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ا٘ذوی داسد‬ ‫٘یبص ث‪ ٝ‬دا٘ؾ لجّی صیبدی ٘ذاسد‬ ‫ٔضیت‪:‬‬

‫تئ‪ٛ‬سی لّٕش‪ ٚ‬ی غّت‬ ‫داد‪ٞ ٜ‬بی ا٘ذن‪ ،‬ثبیبع غّت‬ ‫هعف‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫خذ‪ٔ 1..1 َٚ‬مبیؼ‪ ٝ‬ی یبدٌیشی اػتمشایی ٔحن ثب یبدٌیشی تحّیّی ٔحن‬

‫ؿىُ ‪ً 1..1‬یفی اص وبس‪ٞ‬بی یبدٌیشی‪.‬‬

‫دس یه ًشف ًیف‪ ،‬دا٘ؾ لجّی ای ‪ٚ‬خ‪ٛ‬د ٘ذاسد ‪ٔ ٚ‬تذ ‪ٞ‬بی وبٔال اػتمشایی ثب پیچیذٌی ٕ٘‪ ٝ٘ٛ‬ای ثبال الصْ اػت‪ .‬دس ًشف دیٍش ًیف‪ ،‬تئ‪ٛ‬سی لّٕضش‪ٚ‬ی وبٔضُ‬
‫ٔ‪ٛ‬خ‪ٛ‬د اػت‪ ،‬و‪ ٝ‬اػتفبد‪ ٜ‬اص س‪ٚ‬ؽ ‪ٞ‬بی تحّیّی ٔحن ٔثُ ‪ Prolog-EBG‬سا ٕٔىٗ ٔی و‪ٙ‬ذ‪ٔ .‬ؼئّ‪ٞ ٝ‬بی وبسثشدی ٔعٕ‪ٛ‬ال خبیی دس ٔیبٖ ایضٗ ًیضف لضشاس‬
‫داس٘ذ‪.‬‬
‫ػ‪ٛ‬اَ ٌٔشح دس ایٗ فلُ ایٗ اػت و‪" ٝ‬چ‪ٛ٘ ٝ‬خ اٍِ‪ٛ‬سیتٕ‪ٟ‬بیی ٔی ت‪ٛ‬ا٘‪ٙ‬ذ اص دا٘ؾ لجّی تمشیجی ث‪ٕٞ ٝ‬شا‪ ٜ‬داد‪ٞ ٜ‬ضبی ٔ‪ٛ‬خض‪ٛ‬د ثضشای ایدضبد ثضشای‬
‫فشهی‪ ٝ‬تعٕیٕی اػتفبد‪ ٜ‬و‪ٙٙ‬ذ؟"‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬حتی صٔب٘ی و‪ ٝ‬اص س‪ٚ‬ؿ‪ٟ‬ب اػتمشایی ٔحن اػتفبد‪ٔ ٜ‬ی وشدیٓ فشكت ا٘تخبة ًشاحضی ثضش پبیض‪ ٝ‬ی‬
‫دا٘ؾ لجّی ‪ٞ‬ذف یبدٌیشی داؿتیٓ‪ .‬ثشای ٔثبَ‪ ،‬صٔب٘ی و‪ ٝ‬اص ‪ Backpropagation‬ثشای ٔؼبئّی چ‪ ٖٛ‬تـخیق ٌفتضبس‪ 1‬اػضتفبد‪ٔ ٜ‬ضی وضشدیٓ‬
‫ا٘تخبة ‪ٞ‬بیی دس ً‪ً َٛ‬شاحی ایدبد ٔی ؿذ‪ ،‬ا٘تخبة ‪ٞ‬بیی ٘ظیش ٘ح‪ ٜٛ‬ی وذ ػبصی ‪ٚ‬س‪ٚ‬دی ‪ ٚ‬خش‪ٚ‬خی تبثع خٌضبیی وض‪ ٝ‬ثضب ؿضیت ٘ضض‪ٔ َٚ‬ی‪ٙ‬ضیٕٓ‬
‫ٔی ؿ‪ٛ‬د‪ ،‬تعذاد ‪ٚ‬احذ ‪ٞ‬بی پ‪ٟٙ‬بٖ‪ ،‬پیىشث‪ٙ‬ذی یب ػبختبس ؿجى‪ ،.ٝ‬هشیت یبدٌیشی ‪ ٚ‬تىب٘‪ ... ٚ 3ٝ‬ث‪ٛ‬د‪ .‬دس ایٗ ا٘تخبة ‪ٞ‬ب ًشاح ا٘ؼب٘ی ٔی ت‪ٛ‬ا٘ذ دا٘ضؾ‬
‫ٔشث‪ ًٝٛ‬ی یبدٌیشی سا دس اٍِ‪ٛ‬سیتٓ یبدٌیشی ‪ٚ‬اسد ٔی و‪ٙ‬ذ‪ .4‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د ٘تید‪ ٝ‬س‪ٚ‬ؿی اػتمشایی ٔحضن ‪ٕ٘ٛ٘ ٚ‬ض‪ ٝ‬ای اص ‪Backpropagation‬‬
‫خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د و‪ ٝ‬ت‪ٛ‬ػي ا٘تخبة ‪ٞ‬بی ًشاح ثشای تـخیق ٌفتبس تخللی ؿذ‪ ٜ‬اػت‪ .‬أب دس ای‪ٙ‬دب صالل‪ ٝ‬ی ٔب ث‪ ٝ‬چیض دیٍشی اػت‪ .‬صالل‪ ٝ‬ی ٔب ث‪ٝ‬‬
‫ػیؼتٓ ‪ٞ‬بیی اػت و‪ ٝ‬دا٘ؾ لجّی سا ث‪ ٝ‬ص‪ٛٙ‬اٖ ‪ٚ‬س‪ٚ‬دی كشیح ٔثُ داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی سا ث‪ ٝ‬دسیبفت ٔی و‪ٙٙ‬ذ‪ ،‬ث‪ٙ‬بثشایٗ ایضٗ ػیؼضتٓ ‪ٞ‬ضب ثضب ‪ٚ‬خض‪ٛ‬د‬
‫دسیبفت دا٘ؾ لّٕش‪ٚ‬یی‪ 5‬ػیؼتٓ ‪ٞ‬بیی وّی ثبلی ٔی ٔب٘‪ٙ‬ذ‪ .‬ث‪ًٛ ٝ‬س خالك‪ ،ٝ‬صالل‪ ٝ‬ی ٔب دس ای‪ٙ‬دب ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ٔؼتمُ اص لّٕش‪ 6ٚ‬اػضت وض‪ ٝ‬اص‬
‫‪ٚ‬س‪ٚ‬دی دا٘ؾ لّٕش‪ٚ‬یی اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪.‬‬

‫اص چ‪ٔ ٝ‬عیبسی ثبیذ ثشای ٔمبیؼ‪ ٝ‬ی س‪ٚ‬ؿ‪ٟ‬بی ٔختّف ‪ ٚ‬تشویت یبدٌیشی اػتمشایی ‪ ٚ‬تحّیّی اػتفبد‪ ٜ‬و‪ٙ‬یٓ؟ ثب دا٘ؼتٗ ای‪ٙ‬ى‪ ٝ‬دس وُ یضبدٌیش ویفیضت‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬یب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی سا ٕ٘ی دا٘ذ‪ ،‬پغ ثیـتش صالل‪ ٝ‬ی ٔب ث‪ ٝ‬ػ‪ٛ‬ی ٔتذ ‪ٞ‬بی وّی اػت و‪ٔ ٝ‬ی ت‪ٛ‬ا٘‪ٙ‬ذ ثذ‪ ٖٚ‬ت‪ٛ‬خ‪ ٝ‬ث‪ٔ ٝ‬ىبٖ ٔؼئّ‪ ٝ‬دس‬
‫ًیف ٔزو‪ٛ‬س ؿىُ ‪ 1..1‬وبس و‪ٙٙ‬ذ‪ .‬تعذادی اص ‪ٚ‬یظٌی ‪ٞ‬بی خبكی و‪ ٝ‬صالل‪ ٝ‬داسیٓ چ‪ٙ‬یٗ س‪ٚ‬ؽ یبدٌیشی ای داؿت‪ ٝ‬ثبؿذ دس صیش آٔذ‪ ٜ‬اػت‪:‬‬

‫ثذ‪ ٖٚ‬تئ‪ٛ‬سی لّٕش‪ ،ٚ‬چ‪ٙ‬یٗ اٍِ‪ٛ‬سیتٕی حذالُ ثبیذ وبسایی دس حذ س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ٔحن داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫ثب داؿتٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬وبُٔ‪ ،‬ثبیذ حذالُ وبسایی ای دس حذ س‪ٚ‬ؽ ‪ٞ‬بی تحّیّی ٔحن داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫ثب داؿتٗ تئ‪ٛ‬سی لّٕش‪٘ ٚ‬بوبُٔ ‪ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٘ب وبُٔ‪ ،‬ثبیذ وبسایی ث‪ٟ‬تش اص س‪ٚ‬ؽ ‪ٞ‬بی اػضتمشایی ٔحضن ‪ ٚ‬س‪ٚ‬ؽ ‪ٞ‬ضبی تحّیّضی‬
‫ٔحن داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫ثبیذ اٍِ‪ٛ‬سیتٓ ثب ػٌح ٘بٔعّ‪ٔٛ‬ی اص خٌب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی تٌجیك داؿت‪ ٝ‬ثبؿذ‪.‬‬

‫‪1‬‬
‫‪speech recognition‬‬
‫‪2‬‬
‫‪topology‬‬
‫‪3‬‬
‫‪momentum‬‬
‫‪4‬‬
‫‪task-specific knowledge‬‬
‫‪5‬‬
‫‪domain-specific knowledge‬‬
‫‪6‬‬
‫‪domain-independent algorithms‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثبیذ اٍِ‪ٛ‬سیتٓ ثب ػٌح ٘بٔعّ‪ٔٛ‬ی اص خٌب دس تئ‪ٛ‬سی لّٕش‪ ٚ‬تٌجیك داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬ایٗ ِیؼت خ‪ٛ‬اف دس حبِت ایذ‪ ٜ‬اَ اػت‪ .‬ثشای ٔثبَ‪ ،‬تٌجیك خٌب ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی حتی ثشای س‪ٚ‬ؿ‪ٟ‬بی آٔضبسی ثضذ‪ ٖٚ‬داؿضتٗ‬
‫و‪ٛ‬چىتشیٗ دا٘ؾ لجّی یب فشهی ٔج‪ٙ‬ی ثش ت‪ٛ‬صیع خٌب ٔـىُ صاػت‪ .‬تشویت یبدٌیشی اػتمشایی ‪ ٚ‬تحّیّی ‪ٛٙٞ‬ص دس ٔعشم تحمیك ‪ ٚ‬ثشسػی اػضت‪.‬‬
‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ِ ٝ‬یؼت ثبال خ‪ٛ‬اكی اػت و‪ٔ ٝ‬ی خ‪ٛ‬ا‪ٞ‬یٓ اٍِ‪ٛ‬سیتٕٕبٖ داؿت‪ ٝ‬ثبؿذ‪ٛٙٞ ،‬ص اٍِ‪ٛ‬سیتٓ ‪ٞ‬بیی ایدبد ٘ـذ‪ ٜ‬و‪ ٝ‬تٕبٔی ایٗ لی‪ٛ‬د سا دس حبِضت‬
‫وّی داؿت‪ ٝ‬ثبؿ‪ٙ‬ذ‪.‬‬

‫لؼٕت ثعذ‪ ،‬ثحثی دلیمتش اص ٔؼبئُ تشویجی اػتمشایی تحّیّی سا دس ثش ٔی ٌیشد‪ .‬صیش لؼٕت ‪ٞ‬بی ایٗ لؼٕت ػ‪ ٝ‬س‪ٚ‬ؽ ٔختّف ثشای تشویت دا٘ؾ‬
‫لجّی تمشیجی ‪ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔ‪ٛ‬خ‪ٛ‬د سا ثشای و‪ٙ‬تشَ خؼتد‪ٛ‬ی یبدٌیش ث‪ ٝ‬ػٕت فشهی‪ ٝ‬ی ٌّٔ‪ٛ‬ة اسائ‪ٔ ٝ‬ی و‪ٙٙ‬ذ‪ .‬اثجبت ٔی ؿ‪ٛ‬د و‪ٞ ٝ‬ضش یضه‬
‫اص ایٗ ػ‪ ٝ‬س‪ٚ‬ؽ وبسایی ای ث‪ٟ‬تش اص س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ٔحن دس لّٕش‪ٞ ٚ‬بی ٔختّف داس٘ذ‪ .‬ثشای ٔمبیؼ‪ ،ٝ‬اص ٔثبِی ثشای تل‪ٛ‬س ػ‪ ٝ‬س‪ٚ‬ؽ اػتفبد‪ٜ‬‬
‫خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬

‫‪ 1.2.‬روش یادگیری استقرایی تحلیلی‬

‫‪ 1.2.21‬مسئله ی یبدگیری‬
‫ٔؼئّ‪ ٝ‬ی یبدٌیشی ثحث ؿذ‪ ٜ‬دس ایٗ فلُ سا ٔی ت‪ٛ‬اٖ ث‪ ٝ‬ك‪ٛ‬ست صیش خالك‪ ٝ‬وشد‪:‬‬

‫‪ٚ‬س‪ٚ‬دی‪:‬‬

‫ٔدٕ‪ٛ‬ص‪ ٝ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ،D‬و‪ٕٔ ٝ‬ىٗ اػت خٌب داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫تئ‪ٛ‬سی لّٕش‪ ،B ٚ‬و‪ٕٔ ٝ‬ىٗ اػت خٌب داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫فوبی اص فشهی‪ ٝ‬ای ٕٔىٗ ‪H‬‬
‫خش‪ٚ‬خی‪:‬‬

‫فشهی‪ ٝ‬ای و‪ ٝ‬ث‪ٟ‬تشیٗ تٌبثك ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬داسد‪.‬‬
‫ٔ‪ٙ‬ظ‪ٛ‬س دلیك اص " فشهی‪ ٝ‬ای و‪ ٝ‬ث‪ٟ‬تشیٗ تٌبثك ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬داسد" چیؼت؟ دس وُ‪ ،‬آیضب فشهضی‪ ٝ‬ای سا وض‪ ٝ‬وٕضی ثیـضتش‬
‫تٌبثك ثش س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی داسد ‪ ٚ‬وٕی وٕتش تٌبثك ثش س‪ٚ‬ی تئ‪ٛ‬سی لّٕش‪ ٚ‬داسد سا تشخیح ٔی د‪ٞ‬یٓ یب ثّعىغ؟ ٔی ت‪ٛ‬اٖ ث‪ًٛ ٝ‬س دلیمتش ثضب‬
‫تعشیف ٔعیبس ‪ٞ‬بی خٌبی فشهی‪ ٝ‬ثش اػبع تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ایٗ اث‪ٟ‬بْ سا ثب تعشیف ثش ًشف وشد‪ .‬ثب ت‪ٛ‬خض‪ ٝ‬ثض‪ ٝ‬آ٘چض‪ ٝ‬دس فلضُ ‪5‬‬
‫سا احتٕبَ ای‪ٙ‬ى‪ ٝ‬دػضت‪ ٝ‬ث‪ٙ‬ضذی‬ ‫٘ؼجت ٕ٘‪ٞ ٝ٘ٛ‬بیی و‪ ٝ‬ت‪ٛ‬ػي ‪ h‬غّت دػت‪ ٝ‬ث‪ٙ‬ذی ٔی ؿ‪٘ٛ‬ذ اػت‪ .‬ثیبییذ ) (‬ ‫ٌفت‪ ٝ‬ؿذ ) (‬
‫ٕ٘‪ ٝ٘ٛ‬ای تلبدفی ثب ‪ h‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ی ‪ B‬تٌبثك ٘ذاؿت‪ ٝ‬ثبؿذ تعشیف و‪ٙ‬یٓ‪ .‬حبَ ٔی ت‪ٛ‬اٖ فشهضی‪ ٝ‬ی خش‪ٚ‬خضی ٌّٔض‪ٛ‬ة سا ثضب ت‪ٛ‬خض‪ ٝ‬ثض‪ ٝ‬ایضٗ‬
‫خٌب ‪ٞ‬بی تعشیف ؿذ‪ ٜ‬تعییٗ وشد‪ .‬ثشای ٔثبَ‪ٔ ،‬ی ت‪ٛ‬اٖ فشهی‪ ٝ‬ای سا تشویت خٌی ای اص ایٗ د‪ٔ ٚ‬عیبس سا ٔی‪ٙ‬یٕٓ ٔی و‪ٙ‬ذ سا ٌّٔ‪ٛ‬ة لشاس داسد‪.‬‬

‫) (‬ ‫) (‬

‫(ٔیضاٖ ا‪ٕٞ‬یضت ٘ؼضجی‬ ‫‪ٚ‬‬ ‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬چ‪ٙ‬یٗ تعجیشی دس ا‪ِٚ‬یٗ ثشخ‪ٛ‬سد ایٗ صجبست ث‪ ٝ‬ر‪ٔ ٗٞ‬ی سػذ أب ‪ٛٙٞ‬ص ٔـخق ٘یؼت و‪ٔ ٝ‬مبدیش‬
‫تٌبثك ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ث‪٘ ٝ‬ؼجت تٌبثك ثب تئ‪ٛ‬سی لّٕش‪ )ٚ‬چ‪ٔ ٝ‬مذاسی داس٘ذ‪ .‬اٌش تئ‪ٛ‬سی لّٕش‪ ٚ‬ثؼیبس هعیفی داؿت‪ ٝ‬ثبؿضیٓ ‪ ٚ‬تعضذاد داد‪ٞ ٜ‬ضبی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثیـتش ثبؿذ‪ .‬دس ٔمبثُ اٌش تئ‪ٛ‬سی لّٕش‪ ٚ‬ل‪ٛ‬ی ثبؿذ ‪ٞ ٕٝ٘ٛ٘ ٚ‬بی ا٘ذن ‪ ٚ‬پضش‬ ‫آٔ‪ٛ‬صؿی صیبد ‪ ٚ‬لبثُ اصتٕبد ثبؿذ ث‪ٟ‬تش اػت و‪ ٝ‬تبثیش ) (‬
‫ثذػت خ‪ٛ‬ا‪ٞ‬ذ أذ‪ .‬اِجت‪ ٝ‬اٌش یبدٌیش دس حبِت وّی ویفیت تئض‪ٛ‬سی لّٕضش‪ٚ ٚ‬‬ ‫خٌب داؿت‪ ٝ‬ثبؿیٓ ث‪ٟ‬تشیٗ ٘تید‪ ٝ‬ثب افضایؾ ٔمذاس ٘ظیش ) (‬
‫داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی سا ٘ذا٘ذ‪ ،‬چٍ‪ٍ٘ٛ‬ی ‪ٚ‬صٖ د‪ٞ‬ی ایٗ د‪ ٚ‬خٌب ٘ب ٔـخق ثبلی خ‪ٛ‬ا‪ٞ‬ذ ٔب٘ذ‪.‬‬

‫خ‪ٛ‬اة دیٍش ػ‪ٛ‬اَ چٍ‪ٍ٘ٛ‬ی ‪ٚ‬صٖ د‪ٞ‬ی دا٘ؾ لجّی ‪ ٚ‬داد‪ٞ ٜ‬ب س‪ٚ‬ؽ ثیضی اػت‪ .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬آ٘چ‪ ٝ‬دس فلُ ‪ٌ 6‬فتض‪ ٝ‬ؿضذ‪ ،‬لوضی‪ ٝ‬ی ثیضض چٍض‪ٍ٘ٛ‬ی‬
‫ٔحبػج‪ ٝ‬ی احتٕبَ ثب٘‪ٛ‬ی‪ ٝ‬ی )‪ P(h|D‬سا ثشای فشهی‪ ٝ‬ی ‪ ٚ h‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ‪ D‬ثیبٖ ٔی و‪ٙ‬ذ‪ .‬دس وُ‪ ،‬لوضی‪ ٝ‬ی ثیضض احتٕضبَ ثب٘‪ٛ‬یض‪ ٝ‬سا ثضش‬
‫اػبع داد‪ٞ ٜ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬ی ‪ ٚ D‬دا٘ؾ لجّی ای دس غبِت )‪ٔ P(D|h) ٚ P(D) ٚ P(h‬حبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬پغ ٔضی تض‪ٛ‬اٖ )‪ٚ P(D) ٚ P(h‬‬
‫)‪ P(D|h‬سا ث‪ ٝ‬ك‪ٛ‬ست فشٔی اص دا٘ؾ لجّی یب تئ‪ٛ‬سی لّٕش‪ ٚ‬دا٘ؼت ‪ٔ ٚ‬ی ت‪ٛ‬اٖ لوضی‪ ٝ‬ی ثیضض سا ٔتضذی ثضشای ‪ٚ‬صٖ د‪ٞ‬ضی ایضٗ تئض‪ٛ‬سی لّٕضش‪ٚ ٚ‬‬
‫داد‪ٞ ٜ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬ی ‪ D‬ثشای تعییٗ احتٕبَ ثب٘‪ٛ‬ی‪ ٝ‬ی )‪ P(h|D‬ثشای ‪ h‬دا٘ؼت‪ٍ٘ .‬ب‪ ٜ‬ثیضی ٍ٘ب‪ٞ‬ی اػت و‪ ٝ‬ثبیذ ثشای ا٘تخضبة فشهضی‪ ٝ‬ای‬
‫و‪ ٝ‬احتٕبَ ثب٘‪ٛ‬ی‪ ٝ‬اؽ ثیـتش اػت داؿت ‪ ٚ‬لوی‪ ٝ‬ی ثیض ٘یض ٔتذی ٔ‪ٙ‬بػت ثشای ‪ٚ‬صٖ د‪ٞ‬ی ػ‪ٞ ٟٓ‬ش یضه اص د‪ ٚ‬صبٔضُ دا٘ضؾ لجّضی ‪ ٚ‬داد‪ٞ ٜ‬ضبی‬
‫ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬اػت‪ٔ .‬تبػفب٘‪ ،ٝ‬فوی‪ ٝ‬ی ثیض ث‪ًٛ ٝ‬س هٕ‪ٙ‬ی فشم ٔی و‪ٙ‬ذ و‪ ٝ‬دا٘ؾ لجّی دسثضبس‪ ٜ‬ی )‪ P(D|h) ٚ P(D) ٚ P(h‬وبٔضُ اػضت‪ .‬دس‬
‫حبِی و‪ ٝ‬ایٗ وٕیت ‪ٞ‬ب فمي ث‪ ٝ‬ك‪ٛ‬ست غیش وبُٔ‪ 1‬دس دػتشع ا٘ذ‪ ،‬لوی‪ ٝ‬ثیض ث‪ ٝ‬ت‪ٟٙ‬بیی س‪ٚ‬ؿی ثشای تشویت آ٘‪ٟ‬ب ثب داد‪ٞ ٜ‬بی ٔـضب‪ٞ‬ذ‪ ٜ‬ؿضذ‪ ٜ‬اسائض‪ٝ‬‬
‫ٕ٘ی و‪ٙ‬ذ‪( .‬یىی اص س‪ٚ‬ؽ ‪ٞ‬بی ٕٔىٗ دس چ‪ٙ‬یٗ ؿشایٌی فشم ت‪ٛ‬صیع احتٕبَ ا‪ِٚ‬ی‪ ٝ‬ثش س‪ٚ‬ی خ‪ٛ‬د ٔمبدیش )‪ٔ ٚ P(D|h) ٚ P(D) ٚ P(h‬حبػضج‪ ٝ‬ی‬
‫ٔمذاس أیذ )‪ P(h|D‬اػت‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬ایٗ س‪ٚ‬ؽ ٘یبص ث‪ ٝ‬دا٘ؾ اهبفی دس ٔ‪ٛ‬سد ت‪ٛ‬صیع ا‪ِٚ‬ی‪ ٝ‬ی )‪ P(D|h) ٚ P(D) ٚ P(h‬داسد‪ ،‬پغ دس حبِضت‬
‫وّی ایٗ س‪ٚ‬ؽ وبسأذ ٘یؼت)‪.‬‬

‫دس لؼٕت ‪ٞ‬بی ثعذی ثبص ‪ ٓٞ‬ث‪ ٝ‬ػ‪ٛ‬اَ ٔف‪ٔ" ْٟٛ‬ت‪ٙ‬بػت تشیٗ فشهی‪ "ٝ‬دس ًی ثشسػی اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی خبف خ‪ٛ‬ا‪ٞ‬یٓ پشداخت‪ .‬أب دس حضبَ حبهضش‪،‬‬
‫ٔی ٌ‪ٛ‬ییٓ و‪ٔ ٝ‬ؼئّ‪ ٝ‬ی یبدٌیشی‪ٔ ،‬ی‪ٙ‬یٕٓ وشدٖ ٔعیبس تشویجی ای اص خٌب ی فشهی‪ ٝ‬ثش اػبع داد‪ٞ ٜ‬ب ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت‪.‬‬

‫‪ 1.2.2.‬جستجوی فضبی فرضیه ای‬

‫چٍ‪ٔ ٝ٘ٛ‬ی ت‪ٛ‬اٖ تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی سا ث‪ ٝ‬ث‪ٟ‬تشیٗ ‪ٚ‬خ‪ ٝ‬تشویت وشد تب ثت‪ٛ‬اٖ خؼتد‪ٛ‬یی ثشای فشهی‪ ٝ‬ای لبثُ لج‪ َٛ‬تشتیت داد؟ ایضٗ‬
‫ػ‪ٛ‬اَ دس یبدٌیشی ٔبؿیٗ ػ‪ٛ‬اِی ثذ‪ ٖٚ‬خ‪ٛ‬اة ثبلی ٔب٘ذ‪ ٜ‬اػت‪ .‬ایٗ فلُ‪ ،‬چ‪ٙ‬ذ س‪ٚ‬ؽ پیـ‪ٟٙ‬بدی سا ثشسػی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪ .‬ایٗ س‪ٚ‬ؽ ‪ٞ‬ب اغّت تعٕیٓ‬
‫س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ای ثشسػی ؿذ‪ ٜ‬دس فل‪ٌ َٛ‬زؿت‪ٔ( ٝ‬ثُ ‪ٞ )FOIL ٚ Backpropagation‬ؼت‪ٙ‬ذ‪.‬‬

‫یىی اص سا‪ٟٞ‬بی دسن ٔحذ‪ٚ‬د‪ ٜ‬ی س‪ٚ‬ؽ ‪ٞ‬بی ٔختّف‪ ،‬ثبصٌـت ث‪ ٝ‬دیذ یبدٌیشی ث‪ ٝ‬ص‪ٛٙ‬اٖ خؼتد‪ٛ‬یی دس ٔیبٖ فوبی فشهضی‪ ٝ‬ای اػضت‪ٔ .‬ضب اوثضش‬
‫ٔتذ ‪ٞ‬بی یبدٌیشی سا ث‪ ٝ‬ص‪ٛٙ‬اٖ اٍِ‪ٛ‬سیتٓ ثشای خؼتد‪ ٛ‬فوبی فشهی‪ ٝ‬ای ‪ H‬دس ٘ظش ٔی ٌیشیٓ ‪ ٚ‬آ٘‪ٟ‬ضب سا ثضب فوضبی فشهضی‪ ٝ‬ای ای وض‪ ٝ‬خؼضتد‪ٛ‬‬
‫دس ٘ظش ثٍیشیذ ‪ٔ ٚ‬دٕ‪ٛ‬ص‪ ٝ‬ی صٍّٕش ‪ٞ‬بی خؼتد‪ ٛ‬و‪ٔ ٝ‬شحّ‪ٞ ٝ‬بی‬ ‫ٔی و‪ٙٙ‬ذ ت‪ٛ‬كیف ٔی و‪ٙ‬یٓ‪ ،‬فشهی‪ ٝ‬ا‪ِٚ‬ی‪ ٝ‬و‪ ٝ‬خؼتد‪ ٛ‬ثب آٖ آغبص ٔی ؿ‪ٛ‬د سا‬
‫خؼتد‪ ٛ‬سا ٔعیٗ ٔی و‪ٙ‬ذ سا ‪ O‬دس ٘ظش ثٍیشیذ ‪ٔ ٚ‬عیبس ‪ٞ‬ذف ‪ G‬و‪ٞ ٝ‬ذف خؼتد‪ ٛ‬سا ٔـخق ٔی و‪ٙ‬ذ دس ٘ظش ثٍیشیذ‪ .‬دس ایٗ فلُ ٔب ث‪ ٝ‬ػ‪ ٝ‬س‪ٚ‬ؽ‬
‫ٔتفب‪ٚ‬ت اػتفبد‪ ٜ‬اص دا٘ؾ ا‪ِٚ‬ی‪ ٝ‬ثشای تغییش وبسایی خؼتد‪ٛ‬ی ٔتذ ‪ٞ‬بی اػتمشایی ٔحن سا ثشسػی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬

‫اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای ایدبد یه فشهی‪ ٝ‬ا‪ِٚ‬ی‪ ٝ‬و‪ ٝ‬خؼتد‪ ٛ‬اص آٖ ؿش‪ٚ‬خ ؿض‪ٛ‬د‪ .‬دس ایضٗ س‪ٚ‬ؽ تئض‪ٛ‬سی لّٕضش‪ ٚ‬ی ‪ B‬ثضشای ػضبخت‬
‫اػضتفبد‪ٔ ٜ‬ضی ؿض‪ٛ‬د‪.‬‬ ‫و‪ ٝ‬ثب ‪ B‬ػبصٌبس اػت ث‪ ٝ‬وبس ٔی س‪ٚ‬د‪ .‬ػپغ اص س‪ٚ‬ؿی اػتمشایی ثب فشهی‪ ٝ‬ی ا‪ِٚ‬یض‪ ٝ‬ی‬ ‫فشهی‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ی‬
‫ثشای ٔثبَ‪ ،‬ػیؼتٓ ‪ KBANN‬و‪ ٝ‬دس صیش ت‪ٛ‬هیح داد‪ ٜ‬ؿذ‪ ٜ‬اػت ػیؼتٕی اػت و‪ ٝ‬اص ؿجى‪ٞ ٝ‬ضبی صلضجی ثضب ‪ٕٞ‬ضیٗ س‪ٚ‬ؽ اػضتفبد‪ٜ‬‬

‫‪1‬‬
‫‪imperfect‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ٔی و‪ٙ‬ذ‪ .‬ایٗ ػیؼتٓ اص دا٘ؾ لجّی ثشای ًشاحی اتلبَ ‪ٞ‬بی ‪ٚ‬احذ ‪ٞ‬ب ‪ٚ ٚ‬صٖ ‪ٞ‬بی ا‪ِٚ‬ی‪ ٝ‬ی ؿجى‪ ٝ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ تب ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ثض‪ٝ‬‬
‫ً‪ٛ‬س وبُٔ ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ػبصٌبس ثبؿذ‪ .‬ػپغ فشهی‪ ٝ‬ای ؿجى‪ ٝ‬ای ثض‪ ٝ‬كض‪ٛ‬ست اػضتمشایی ثضب ‪ ٚ Backpropagation‬داد‪ٞ ٜ‬ضبی‬
‫ٔ‪ٛ‬خ‪ٛ‬د ثبصٍ٘شی ٔی ؿ‪ٛ‬د‪ .‬ثب ؿش‪ٚ‬خ خؼتد‪ ٛ‬اص فشهی‪ ٝ‬ای و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ػبصٌبس اػت‪ ،‬ث‪٘ ٝ‬ظش ٔی سػذ و‪ ٝ‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ثیـتش‬
‫ؿجی‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬ثبؿذ‪.‬‬
‫اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای تغییش ‪ٞ‬ذف خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای‪ .‬دس ایٗ س‪ٚ‬ؽ‪ٔ ،‬عیبس ‪ٞ‬ذف ‪ًٛ G‬سی تغییش ٔی یبثذ و‪ ٝ‬فشهی‪ ٝ‬ی‬
‫خش‪ٚ‬خی صال‪ ٜٚ‬ثش ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثب تئ‪ٛ‬سی لّٕش‪٘ ٚ‬یض ٔت‪ٙ‬بػت ثبؿذ‪ .‬ثشای ٔثبَ‪ ،‬ػیؼتٓ ‪ EBNN‬و‪ ٝ‬دس صیضش ت‪ٛ‬هضیح داد‪ ٜ‬خ‪ٛ‬ا‪ٞ‬ضذ‬
‫ؿذ اص ؿجى‪ٞ ٝ‬بی صلجی ثب ایٗ س‪ٚ‬ؽ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬اص آ٘دبیی و‪ ٝ‬یبدٌیشی اػتمشایی ؿجى‪ٞ ٝ‬بی صلجی اص ؿیت ٘ض‪ َٚ‬ثشای ٔی‪ٙ‬یٕٓ‬
‫وشدٖ خٌبی ٔشثعی ؿجى‪ ٝ‬ثش س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ EBNN ،‬اص ؿیت ٘ض‪ َٚ‬ثشای ٔی‪ٙ‬یٕٓ وضشدٖ ٔعیضبسی دیٍضشی‬
‫اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ایٗ ٔعیبس ؿبُٔ خّٕ‪ ٝ‬ای اهبفی اػت و‪ ٝ‬خٌبی ؿجى‪ ٝ‬ی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬سا ثش اػبع تئ‪ٛ‬سی لّٕش‪ ٚ‬ثیبٖ ٔی و‪ٙ‬ذ‪.‬‬
‫اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای تغییش ٔشاحُ ٔ‪ٛ‬خ‪ٛ‬د خؼتد‪ .ٛ‬دس ایٗ س‪ٚ‬ؽ‪ٔ ،‬دٕ‪ٛ‬ص‪ ٝ‬ی صٍّٕش ‪ٞ‬بی ‪ O‬ت‪ٛ‬ػضي تئض‪ٛ‬سی لّٕضش‪ ٚ‬تغییضش داد‪ٜ‬‬
‫ٔی ؿ‪ٛ‬د‪ .‬ثشای ٔثبَ‪ ،‬ػیؼتٓ ‪ FOCL‬و‪ ٝ‬دس صیش ت‪ٛ‬هیح داد‪ ٜ‬خ‪ٛ‬ا‪ٞ‬ضذ ؿضذ دػضت‪ ٝ‬ای اص ‪ٞ horn clause‬ضب سا ثض‪ٕٞ ٝ‬ضیٗ س‪ٚ‬ؽ یضبد‬
‫ٔی ٌیشد‪ .‬ایٗ س‪ٚ‬ؽ ثش پبی‪ ٝ‬ی ػیؼتٓ ‪ FOIL‬و‪ ٝ‬خؼتد‪ٛ‬یی حشیلب٘‪ ٝ‬ثش س‪ٚ‬ی فوبی ٕٔىضٗ ‪ٞ horn clause‬ضب ا٘دضبْ ٔضی د‪ٞ‬ضذ‬
‫ًشاحی ؿذ‪ ٜ‬اػت‪ .‬دس ‪ٞ‬ش ٔشحّ‪ ٝ‬ایٗ ػیؼتٓ فشهی‪ ٝ‬ی فعّی سا ثب اهبف‪ ٝ‬وشدٖ صجبستی خذیضذ ثضبصٍ٘شی ٔضی و‪ٙ‬ضذ‪ FOCL .‬اص تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ‬ثشای ثؼي ٔدٕ‪ٛ‬ص‪ ٝ‬صجبسات ٕٔىٗ اهبف‪ ٝ‬ؿ‪٘ٛ‬ذ‪ ٜ‬ث‪ ٝ‬لب٘‪ ٖٛ‬دس ‪ٍٙٞ‬بْ ثبصٍ٘شی فشهی‪ٞ ٝ‬ب اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ ٚ ،‬اهبف‪ ٝ‬ؿذٖ چ‪ٙ‬ضذیٗ‬
‫صجبستی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬آ٘‪ٟ‬ب سا اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ دس یه ٔشحّ‪ ٝ‬سا ٕٔىٗ ٔضی ػضبصد‪ .‬دس ایضٗ س‪ٚ‬ؽ‪ FOCL ،‬حشوضبت تضه پّض‪ ٝ‬ای دس‬
‫فوبی فشهی‪ ٝ‬ای و‪ ٝ‬دس حبِت اػتمشایی اٍِ‪ٛ‬سیتٓ ث‪ ٝ‬چ‪ٙ‬ذیٗ ٔشحّ‪ ٝ‬احتیبج داسد سا ٕٔىٗ ٔی ػضبصد‪ .‬ایضٗ حشوضبت ثضضسي ‪(macro-‬‬
‫)‪ٔ moves‬ی ت‪ٛ‬ا٘‪ٙ‬ذ ث‪ ٝ‬ؿذت ٔؼیش خؼتد‪ ٛ‬سا تغییش د‪ٙٞ‬ذ‪ ،‬ث‪ٙ‬بثشایٗ فشهضی‪ ٝ‬ی حبكضُ ػضبصٌبس ثضب داد‪ٞ ٜ‬ضب اص فشهضی‪ ٝ‬ای وض‪ ٝ‬اص سا‪ٜ‬‬
‫خؼتد‪ٛ‬ی اػتمشایی ثذػت ٔی آٔذ ٔتفب‪ٚ‬ت خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪.‬‬
‫لؼٕت ‪ٞ‬بی ثعذی ‪ٞ‬ش یه اص ایٗ س‪ٚ‬ؽ ‪ٞ‬ب سا ت‪ٛ‬هیح خ‪ٛ‬ا‪ٙٞ‬ذ داد‪.‬‬

‫‪ 1.21‬استفاده از دانص قبلی برای مقذار دهی اولیه ی فرضیه‬

‫یىی اص س‪ٚ‬ؽ ‪ٞ‬ب‪ ،‬اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬فشهی‪ ٝ‬ث‪ ٝ‬ك‪ٛ‬ستی و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ٌٔ ٚ‬بثمت داؿت‪ ٝ‬ثبؿذ ‪ ٚ‬ثبصٍ٘شی فشهی‪ ٝ‬ا‪ِٚ‬یض‪ٝ‬‬
‫ثشای تٌبثك ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی اػت‪ .‬ایٗ س‪ٚ‬ؽ ت‪ٛ‬ػي اٍِ‪ٛ‬سیتٓ ‪( KBANN‬ؿجى‪ٞ ٝ‬بی صلجی ثش پبی‪ ٝ‬دا٘ؾ لجّی‪ )1‬ث‪ ٝ‬وبس ٌشفت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬دس‬
‫‪ KBANN‬اثتذا ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ای ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د و‪ ٝ‬دس تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬ب دػت‪ ٝ‬ث‪ٙ‬ذی اؽ ثب دػت‪ ٝ‬ث‪ٙ‬ضذی تئض‪ٛ‬سی لّٕضش‪ ٚ‬یىضی اػضت‪ .‬ػضپغ اص‬
‫‪ Backpropagation‬ثشای ت‪ٙ‬ظیٓ ‪ٚ‬صٖ ‪ٞ‬ب ایٗ ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ثشای تٌبثك ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪.‬‬

‫تـخیق اٍ٘یض‪ ٜ‬ی ایٗ تى‪ٙ‬یه ثؼیبس ػبد‪ ٜ‬اػت‪ :‬اٌش تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت ثبؿذ‪ ،‬فشهی‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ث‪ ٝ‬دسػتی تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿضی سا دػضت‪ٝ‬‬
‫ث‪ٙ‬ذی خ‪ٛ‬ا‪ٞ‬ذ وشد ‪ ٚ‬دیٍش ٘یبصی ث‪ ٝ‬ثبصٍ٘شی دس آٖ ٘خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د اٌش فشهی‪ ٝ‬ی ا‪ِٚ‬ی‪ ٕٝٞ ٝ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی سا دسػت دػت‪ ٝ‬ث‪ٙ‬ذی‬
‫٘ى‪ٙ‬ذ‪ ٜ‬اص س‪ٚ‬ؿی اػتمشایی ثشای ث‪ٟ‬ج‪ٛ‬د ت‪ٙ‬بػت ثب داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی اػضتفبد‪ ٜ‬خض‪ٛ‬ا‪ٞ‬یٓ وضشد‪ .‬ت‪ٛ‬خض‪ ٝ‬داؿضت‪ ٝ‬ثبؿضیذ وض‪ ٝ‬دس س‪ٚ‬ؽ اػضتمشایی ٔحضن‬
‫‪ٚ ،Backpropagation‬صٖ ‪ٞ‬ب ٔعٕ‪ٛ‬ال ثب ٔمبدیش اتفبلی و‪ٛ‬چىی ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٔ ٝ‬ی ؿذ٘ذ‪ٔ .‬ف‪ ْٟٛ‬پـت ‪ KBANN‬ایٗ اػت و‪ ٝ‬اٌش تئض‪ٛ‬سی‬

‫‪1‬‬
‫‪Knowledge-Based Artificial Neural Network‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫لّٕش‪ ٚ‬فمي تمشیجب دسػت ثبؿذ‪ٔ ،‬مذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ؿجى‪ ٝ‬ث‪ ٝ‬ك‪ٛ‬ستی و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬تٌبثك داؿت‪ ٝ‬ثبؿذ تمشیت ؿش‪ٚ‬خ ث‪ٟ‬تضشی ٘ؼضجت ثض‪ٔ ٝ‬مضبدیش‬
‫تلبدفی و‪ٛ‬چه اص تبثع ‪ٞ‬ذف اػت‪ٔ ٚ .‬ت‪ٙ‬بػجب چ‪ٙ‬یٗ صّٕی ٔب سا ث‪ ٝ‬ػ‪ٛ‬ی تعٕیٕی ثب دلت ث‪ٟ‬تش دس فشهی‪ ٝ‬ی ٘‪ٟ‬بیی ‪ٞ‬ذایت خ‪ٛ‬ا‪ٞ‬ذ وشد‪.‬‬

‫ایٗ س‪ٚ‬ؽ ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ی فشهی‪ ٝ‬دس اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬دس چ‪ٙ‬ضیٗ تحمیضك ٔض‪ٛ‬سد ثشسػضی لضشاس ٌشفتض‪ ٝ‬اػضت‪ ،‬ایضٗ تحمیضك ‪ٞ‬ضب ؿضبُٔ‬
‫)‪(Pratt 1993a, 1993b) ٚ (Fu 1989,1993) ،(Towell and Shavlin 1994) ،(Shavlik and Towell 1989‬‬
‫ٔی ؿ‪ٛ‬د‪ٔ .‬ب اص اٍِ‪ٛ‬سیتٓ ‪ KBANN‬و‪ ٝ‬دس )‪ٌٔ (Shavlik and Towell 1989‬شح ؿذ‪ ٜ‬ثشای ت‪ٛ‬هیح ایٗ س‪ٚ‬ؽ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬یٓ‪.‬‬

‫‪ 1.2.21‬الگوریتم ‪KBANN‬‬
‫اٍِ‪ٛ‬ستیٓ ‪ ٕٝ٘ٛ٘ KBANN‬ای اص س‪ٚ‬ؽ ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ی فشهی‪ (initialize-the-hypothesis) ٝ‬اػت‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ فشم ٔی و‪ٙ‬ذ وض‪ٝ‬‬
‫تئ‪ٛ‬سی لّٕش‪ٚ‬ای و‪ ٝ‬ثب دػت‪ ٝ‬ای اص ٌضاس‪ٞ ٜ‬ب ثیبٖ ؿذ‪ ،ٜ‬یب ‪ٕٞ‬بٖ ‪ٞ horn clause‬بی غیش ثبصٌـتی ثیبٖ ؿذ‪ ٜ‬اػت‪ .‬یه ‪ horn clause‬صٔب٘ی‬
‫ٌضاس‪ ٜ‬ای اػت و‪ٔ ٝ‬تغیشی ٘ذاؿت‪ ٝ‬ثبؿذ‪ٚ .‬س‪ٚ‬دی ‪ ٚ‬خش‪ٚ‬خی ‪ KBANN‬ث‪ ٝ‬ؿشح صیش اػت‪:‬‬

‫‪ٚ‬س‪ٚ‬دی‪:‬‬

‫ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی‬

‫تئ‪ٛ‬سی لّٕش‪ٚ‬یی و‪ ٝ‬اص ‪ٞ horn clause‬بی ٌضاسی ای غیش ثبصٌـتی تـىیُ ؿذ‪ ٜ‬اػت‪.‬‬
‫خش‪ٚ‬خی‪:‬‬

‫ؿجى‪ ٝ‬ی صلجی ای و‪ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ت‪ٙ‬بػت داسد ‪ ٚ‬ث‪ ٝ‬ػٕت تئ‪ٛ‬سی لّٕش‪ ٚ‬ثبیبع ؿذ‪ ٜ‬اػت‪.‬‬
‫د‪ٔ ٚ‬شحّ‪ ٝ‬ی اٍِ‪ٛ‬سیتٓ ‪ KBANN‬اثتضذا ایدضبد ؿضجى‪ ٝ‬ای صلضجی اػضت وض‪ ٝ‬وضبٔال ثضب تئض‪ٛ‬سی لّٕضش‪ ٚ‬ت‪ٙ‬بػضت داؿضت‪ ٝ‬ثبؿضذ ‪ ٚ‬د‪ ْٚ‬اػضتفبد‪ ٜ‬اص‬
‫‪ Backpropagation‬ثشای ثبصٍ٘شی ایٗ ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ثشای ٔت‪ٙ‬بػت ؿذٖ ثب ٕ٘‪ٞ ٝ٘ٛ‬ضبی آٔ‪ٛ‬صؿضی اػضت‪ .‬ایضٗ خضئیضبت اٍِض‪ٛ‬سیتٓ ؿضبُٔ‬
‫چٍ‪ٍ٘ٛ‬ی ػبخت ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬دس خذ‪ 1... َٚ‬آٔذ‪ ٚ ٜ‬ثخؾ ‪ 1..3..‬ت‪ٛ‬هیح داد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬

‫)‪KBANN(Domain_Theory,Training_Examples‬‬

‫‪ٔ :Domain_Theory‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ٞ horn clause‬بی ٌضاس‪ ٜ‬ای غیش ثبصٌـتی‪.‬‬

‫‪ٔ :Training_Examples‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ص‪ٚ‬ج ٔشتت ‪ٞ‬بی ‪ٚ‬س‪ٚ‬دی خ‪ٛ‬سخی تبثع ‪ٞ‬ذف‪( .‬ث‪ ٝ‬فشْ >‪.)<input,output‬‬

‫ٔشحّ‪ ٝ‬ی تحّیّی‪ :‬ؿجى‪ ٝ‬ی صلجی ٔعبدَ تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ایدبد وٗ‪.‬‬

‫ثشای ‪ٞ‬ش ‪ٚ‬یظٌی دِخ‪ٛ‬ا‪ٞ ٕٝ٘ٛ٘ ٜ‬ب ‪ٚ‬س‪ٚ‬دی ؿجى‪ ٝ‬ای سا ایدبد وٗ‪.‬‬
‫ثشای ‪ٞ‬ش ‪ horn clause‬اص ‪ ،Domain_Theory‬ؿجى‪ ٝ‬ای ا‪ِٚ‬ی‪ ٝ‬ثب فشای‪ٙ‬ذ صیش ایدبد وٗ‪:‬‬
‫‪ٚ‬سدی‪ٟ‬بی ایٗ ‪ٚ‬احذ سا ث‪ٚ ٝ‬یظٌی ‪ٞ‬بیی و‪ ٝ‬ثشسػی ٔی و‪ٙ‬ذ ٔتلُ وٗ‪.‬‬
‫ثشای ‪ٞ‬ش صجبست غیشٔ‪ٙ‬فی حىٓ‪ٚ ،‬صٖ ‪ W‬سا ث‪ٚ ٝ‬س‪ٚ‬دی ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ ٔشث‪٘ ًٝٛ‬ؼجت ثذ‪.ٜ‬‬
‫ثشای ‪ٞ‬ش صجبست ٔ‪ٙ‬فی حىٓ ‪ٚ‬صٖ ‪ –W‬سا ث‪ٚ ٝ‬س‪ٚ‬دی ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ ٔشث‪٘ ًٝٛ‬ؼجت ثذ‪.ٜ‬‬
‫ثشای ایٗ ‪ٚ‬احذ سا ٔمذاس ‪ –(n–.5)W‬لشاس ثذ‪ ،ٜ‬دس ایٗ ساثٌ‪ n ٝ‬تعذاد صجبسات غیش ٔ‪ٙ‬فی حىٓ اػت‪.‬‬ ‫ٔمذاس آػتب٘‪ ٝ‬ی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫استجبً‪ٟ‬بی دیٍش ثیٗ ‪ٚ‬احذ‪ٞ‬بی ؿجى‪ ،ٝ‬سا ثب ‪ٚ‬كُ وشدٖ ‪ٞ‬ش ‪ٚ‬احذ ؿجى‪ ٝ‬الی‪ ٝ‬ی ‪ i‬اْ ث‪ ٝ‬تٕبٔی ‪ٚ‬احضذ‪ٞ‬بی الیض‪ ٝ‬ی ‪i+1‬اْ ‪ٕٞ ٚ‬چ‪ٙ‬ضیٗ‬
‫خ‪ٛ‬د الی‪ ٝ‬ی ‪ٚ‬س‪ٚ‬دی وبُٔ وٗ‪ٔ .‬مذاس ‪ٚ‬ص٘‪ٟ‬بی تلبدفی ٘ضدیه كفش سا ث‪ ٝ‬ایٗ استجبًبت اهبفی ٘ؼجت ثذ‪.---ٜ‬‬
‫ٔشحّ‪ ٝ‬ی اػتمشایی‪ :‬ثبصٍ٘شی ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪:ٝ‬‬

‫اص ‪ Backpropagation‬ثشای تغییش ‪ٚ‬ص٘‪ٟ‬بی ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ثشای تٌجیك ثب ‪ Training_examples‬اػتفبد‪ ٜ‬وٗ‪.‬‬

‫خذ‪ 1... َٚ‬اٍِ‪ٛ‬سیتٓ ‪.KBANN‬‬

‫تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ ٝ‬ؿجى‪ ٝ‬ی صلجی ٔعبدَ تشخٕ‪ٔ ٝ‬ی ؿ‪ٛ‬د (ٔشاحُ ‪ ،)3-1‬ػپغ ث‪ ٝ‬ك‪ٛ‬ست اػتمشایی ‪ ٚ‬ثب اػتفبد‪ ٜ‬اص ‪ Backpropagation‬ایٗ ؿجى‪ ٝ‬ثبصٍ٘شی‬
‫ٔی ؿ‪ٛ‬د (ٔشحّ‪ ٝ‬ی ‪ٔ .)4‬مذاس ٔت‪ٛ‬ػي و‪ ٝ‬ثشای ‪ W‬اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د ‪ 4‬اػت‪.‬‬

‫‪ 1.2.2.‬یک مثبل‬
‫ثشای تل‪ٛ‬س صّٕىشد ‪ٔ KBANN‬ؼئّ‪ ٝ‬ی ػبد‪ ٜ‬ی یبدٌیشی آٔذ‪ ٜ‬دس خضذ‪ 1..3 َٚ‬سا وض‪ ٝ‬اص وتضبة )‪ٌ (Towell and Shavlik 1989‬شفتض‪ٝ‬‬
‫ؿذ‪ ٜ‬اػت سا دس ٘ظش ثٍیشیذ‪ .‬دس ای‪ٙ‬دب ٕ٘‪ ٝ٘ٛ‬خؼٕی فیضیىی سا ثب خ‪ٙ‬ؼؾ ‪ٚ ٚ‬ص٘ؾ ‪ ... ٚ‬ت‪ٛ‬كیف ٔی و‪ٙ‬ذ‪ٞ .‬ذف یبدٌیشی دس ای‪ٙ‬دب یبدٌیشی ٔف‪ٟ‬ض‪ْٛ‬‬
‫‪ٞ‬ذف "ف‪ٙ‬دبٖ" اػت و‪ ٝ‬ثش س‪ٚ‬ی اخؼبْ فیضیىی تعشیف ؿذ‪ ٜ‬اػت‪ .‬خذ‪ٔ 1..3 َٚ‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی ٔشث‪ٛ‬ى ثض‪ٝ‬‬
‫ٔف‪" ْٟٛ‬ف‪ٙ‬دبٖ" سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی تعشیف ؿذ‪ ٜ‬ثش س‪ٚ‬ی "ف‪ٙ‬دبٖ" ایٗ اػت و‪ ٝ‬ثبیذ خؼٓ ‪Liftable ، Stable‬‬
‫‪ OpenVessel ٚ‬ثبؿذ‪ٕٞ .‬چ‪ٙ‬یٗ تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬ش یه اص ایٗ ‪ٚ‬یظٌی ‪ٞ‬ب سا ثب ‪ٚ‬یظٌی ‪ٞ‬بی ا‪ِٚ‬یض‪ ٝ‬ی دیٍضشی تعشیضف ٔضی و‪ٙ‬ضذ‪ٚ ،‬یظٌضی ‪ٞ‬ضبی‬
‫صّٕیبتی ای و‪ٞ ٕٝ٘ٛ٘ ٝ‬ب ثب آ٘‪ٟ‬ب ت‪ٛ‬كیف ٔی ؿ‪٘ٛ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬وبٔال ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ػضبصٌبس ٘یؼضت‪ .‬ثضشای ٔثضبَ‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬دس دػت‪ ٝ‬ث‪ٙ‬ذی دسػت ٕ٘‪ٞ ٝ٘ٛ‬بی د‪ ٚ ْٚ‬ػ‪ٞ ٕٝ٘ٛ٘ ْٛ‬بی آٔ‪ٛ‬صؿی ٘ب ٔ‪ٛ‬فك اػت‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬تئ‪ٛ‬سی لّٕش‪ ٚ‬تمشیت خ‪ٛ‬ثی اص ٔف‪ٟ‬ض‪ْٛ‬‬
‫‪ٞ‬ذف ث‪ٔ ٝ‬ب ٔی د‪ٞ‬ذ‪ KBANN .‬اص تئ‪ٛ‬سی لّٕش‪ٞ ٕٝ٘ٛ٘ ٚ ٚ‬بی آٔ‪ٛ‬صؿی ثشای پیذا وشدٖ فشهی‪ ٝ‬ای ث‪ٟ‬تش اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪.‬‬

‫تئ‪ٛ‬سی لّٕش‪:ٚ‬‬

‫‪Cup ← Stable, Liftable, OpenVessel‬‬

‫‪Stable ← BottomIsFlat‬‬

‫‪Liftable ← Graspable, Light‬‬

‫‪Graspable ← HasHandle‬‬

‫‪OpenVessel ← HasConcavity, ConcavityPointsUp‬‬

‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی‪:‬‬

‫‪Cups‬‬ ‫‪Non-Cups‬‬

‫‪BottomIsFlat‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ConcavityPointsUp‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪Expensive‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪Fragile‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪HandleOnTop‬‬ ‫√‬ ‫√‬

‫‪HandleOnSide‬‬ ‫√‬ ‫√‬ ‫√‬

‫‪HasConcavity‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪HasHandle‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪Light‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪MadeOfCeramic‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫‪MadeOfPaper‬‬ ‫√‬ ‫√‬

‫‪MadeOfstyrofoam‬‬ ‫√‬ ‫√‬ ‫√‬ ‫√‬

‫خذ‪ 1..3 َٚ‬وبس یبدٌیشی ٔف‪ ْٟٛ‬ف‪ٙ‬دبٖ‪.‬‬

‫تئ‪ٛ‬سی لّٕش‪ٚ‬یی تمشیجی ‪ٔ ٚ‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثشای ٔف‪ٞ ْٟٛ‬ذف "ف‪ٙ‬دبٖ"‪.‬‬
‫دس ٔشحّ‪ ٝ‬ی ا‪ َٚ‬اٍِ‪ٛ‬سیتٓ ‪( KBANN‬ػ‪ ٝ‬لذْ ا‪ )َٚ‬ؿجى‪ ٝ‬ای ا‪ِٚ‬ی‪ ٝ‬و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ػبصٌبس ثبؿذ ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ثشای ٔثبَ‪ ،‬ؿجى‪ ٝ‬ی ػبخت‪ٝ‬‬
‫ؿذ‪ ٜ‬ثشای ٔف‪" ْٟٛ‬ف‪ٙ‬دبٖ" دس ؿىُ ‪ 1...‬آٔذ‪ ٜ‬اػت‪ .‬دس وُ ؿجى‪ ٝ‬ثب ایدبد ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ حذ آػضتب٘‪ ٝ‬ای ثضشای ‪ٞ‬ضش ‪ horn clause‬تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ‬ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ٔ .‬مبدیش ‪ٚ‬س‪ٚ‬دی وٕتش اص ‪ 0.5‬ث‪ٙٔ ٝ‬ضِ‪ ٝ‬ی غّت ‪ ٚ‬ثضسٌتش اص ‪ 0.5‬ث‪ٙٔ ٝ‬ضِ‪ ٝ‬ی دسػت دس ٘ظش ٌشفت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ػپغ ‪ٞ‬ش ‪ٚ‬احذ‬
‫ً‪ٛ‬سی ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د و‪ٔ ٝ‬مذاسؽ دس ك‪ٛ‬ست دسػت ث‪ٛ‬دٖ ‪ horn clause‬ثضسٌتش اص ‪ 5.5‬ثبؿذ‪ .‬ثشای ‪ٞ‬ش فضشم ‪ٚ horn clause‬س‪ٚ‬دی ای‬
‫ٔت‪ٙ‬بػت ث‪ٚ ٝ‬احذ ػیٍٕ‪ٛ‬یذ داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬ػپغ ‪ٚ‬صٖ ‪ٞ‬بی ٌش‪ٞ ٜ‬بی ػیٍٕ‪ٛ‬یذ ً‪ٛ‬سی تعییٗ ٔی ؿ‪ٛ‬د و‪ٚ ٝ‬احذ ثض‪ ٝ‬كض‪ٛ‬ست ‪ٌٙٔ AND‬مضی صٕضُ‬
‫و‪ٙ‬ذ‪ .‬دس وُ‪ ،‬ثشای ‪ٞ‬ش ‪ٚ‬س‪ٚ‬دی ٔت‪ٙ‬بػت ثب یه ؿشى غیش ٔ‪ٙ‬فی‪ٔ ،‬مذاس ‪ٚ‬صٖ ‪( W‬و‪ٔ ٝ‬مذاس ٔثجتی اػت) لشاس داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬ثشای ‪ٞ‬ش ‪ٚ‬س‪ٚ‬دی ٔت‪ٙ‬بػت‬
‫٘یض ‪٘ –(n-.5)W‬یض دس ٘ظش ٌشفت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ ،‬دس ایضٗ ٔمضذاس ‪ n‬تعضذاد‬ ‫ثب یه ؿشى ٔ‪ٙ‬فی ٔمذاس ‪٘ –W‬ؼجت داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ٔ ٚ .‬مذاس آػتب٘‪ ٝ‬ی‬
‫ٔثجضت اػضت‬ ‫‪ٚ‬س‪ٚ‬دی ‪ٞ‬بی غیش ٔ‪ٙ‬فی اػت‪ .‬صٔب٘ی و‪ٔ ٝ‬مبدیش ٔمبدیش ‪ 1‬یب كفش اػت‪ٌٕٔ ،‬ئٗ خ‪ٛ‬ا‪ٞ‬یٓ ث‪ٛ‬د و‪ٔ ٝ‬دٕ‪ٛ‬خ ‪ٚ‬ص٘ذاسؿبٖ ث‪ ٝ‬صال‪ ٜٚ‬ی‬
‫(ث‪ٙ‬بثشایٗ خش‪ٚ‬خی ٘یض اص ‪ 5.5‬ثیـتش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د) پغ فمي ‪ ٚ‬فمي اٌش تٕبٔی صجبسات ؿشى ٔثجت ثبؿ‪ٙ‬ذ خش‪ٚ‬خی ٘یض ٔثجت خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٝ‬‬
‫‪ٚ‬احذ ‪ٞ‬بی ػیٍٕ‪ٛ‬یذ دس الی‪ ٝ‬ی ثب٘‪ٛ‬ی‪٘ ٝ‬یبصی ٘یؼت و‪ ٝ‬دلیمب ‪ 1‬یب كفش ثبؿ‪ٙ‬ذ ‪ ٚ‬ثحث ثبال وبٔال دسػت ٘خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬اٌش ٔمذاس ‪ W‬ث‪ٝ‬‬
‫ا٘ذاص‪ ٜ‬ی وبفی ثضسي ا٘تخبة ؿ‪ٛ‬د‪ٔ KBANN ،‬ی ت‪ٛ‬ا٘ذ ث‪ ٝ‬دسػتی تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ثشای ‪ٞ‬ضش ؿضجى‪ ٝ‬ای ثضب ‪ٞ‬ضش صٕضك دِخض‪ٛ‬ا‪ ٜ‬سا ٕ٘ضبیؾ د‪ٞ‬ضذ‪.‬‬
‫)‪ (Towell and Shavlik 1994‬دس ٌضاسؿبتـبٖ اص اػتفبد‪ ٜ‬اص ایٗ اٍِ‪ٛ‬سیتٓ اص ‪ W=4‬اػتفبد‪ ٜ‬وشد‪ ٜ‬ا٘ذ‪.‬‬

‫‪ٚ‬س‪ٚ‬دی ‪ٞ‬ش ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ ث‪ٚ ٝ‬س‪ٚ‬دی ؿجى‪ ٝ‬یب خش‪ٚ‬خی ‪ٚ‬احذ ‪ٞ‬بی ٔشث‪ٔ ًٝٛ‬تلُ اػت تب ٌشاف ‪ٚ‬اثؼتٍی ‪ٚ‬یظٌی ٔشث‪ ًٝٛ‬ی تعشیف ؿذ‪ ٜ‬دس تئ‪ٛ‬سی‬
‫لّٕش‪ ٚ‬سا ٘ـبٖ د‪ٞ‬ذ‪ .‬ث‪ ٝ‬ص‪ٛٙ‬اٖ آخشیٗ لذْ ایٗ ٔشحّ‪ ٝ‬تعذاد لبثُ ت‪ٛ‬خ‪ٟ‬ی ‪ٚ‬س‪ٚ‬دی ث‪ٚ ٝ‬احذ آػتب٘‪ ٝ‬اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د و‪ٚ ٝ‬ص٘‪ٟ‬بی ٘ظیشؿبٖ تمشیجضب كضفش‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫اػت‪٘ .‬مؾ ایٗ استجبى ‪ٞ‬بی ٔزو‪ٛ‬س‪ ،‬دادٖ ت‪ٛ‬ا ٘بیی الصْ ث‪ ٝ‬ؿجى‪ ٝ‬ثشای یبدٌیشی ‪ٚ‬اثؼتٍی احتٕبِی ‪ٚ‬یظٌی ٔشث‪ ًٝٛ‬ث‪ ٝ‬دیٍضش ‪ٚ‬یظٌضی ‪ٞ‬ضبی ؿضجى‪ٝ‬‬
‫اػت‪ .‬خٌ‪ٛ‬ى پش سً٘ دس ؿجى‪ ٝ‬ی ‪ 1...‬استجبى ‪ٞ‬بیی ثب ‪ٚ‬صٖ ‪ ٚ W‬خٌ‪ٛ‬ى وٕشً٘ استجبى ‪ٞ‬بیی ثب ‪ٚ‬صٖ تمشیجب كفش سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ٔ .‬ـ‪ٟٛ‬د اػت‬
‫و‪ ٝ‬ثب ثضسي ث‪ٛ‬دٖ ‪ W‬ث‪ ٝ‬ا٘ذاص‪ ٜ‬ی وبفی ایٗ ؿجى‪ٔ ٝ‬مبدیش ٘ظیش تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ٘ـبٖ خ‪ٛ‬ا‪ٞ‬ذ داد‪.‬‬

‫ٔشحّ‪ ٝ‬د‪( KBANN ْٚ‬پّ‪ ٝ‬ی چ‪ٟ‬بسْ دس خذ‪ )1... َٚ‬اػتفبد‪ ٜ‬اص ‪ Backpropagation‬دس ثبصثی‪ٙ‬ی ‪ٚ‬صٖ ‪ٞ‬بی ا‪ِٚ‬ی‪ ٝ‬ی ؿجى‪ ٝ‬اػضت‪ .‬اِجتض‪ ٝ‬اٌضش‬
‫تئ‪ٛ‬سی لّٕش‪ٞ ٕٝ٘ٛ٘ ٚ ٚ‬بی آٔ‪ٛ‬صؿی خٌبیی ٘ذاؿت‪ ٝ‬ثبؿ‪ٙ‬ذ‪ ،‬ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ٘یض ػبصٌبس خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬دس ٔثبَ "ف‪ٙ‬دضبٖ"‪ ،‬چض‪ٖٛ‬‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثب‪ ٓٞ‬ػبصٌبس ٘یؼت‪ٙ‬ذ‪ ،‬ایٗ ٔشحّ‪ٚ ٝ‬صٖ ‪ٞ‬بی ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬سا تغییش خ‪ٛ‬ا‪ٞ‬ذ داد‪ .‬ؿضجى‪ ٝ‬ی آٔض‪ٛ‬صؽ داد‪ ٜ‬ی ٔثضبَ‬
‫"ف‪ٙ‬دبٖ" دس ؿىُ ‪ 1..3‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ ،‬خٌ‪ٛ‬ى ت‪ٛ‬پش ثبال تشیٗ ٔمبدیش ‪ٚ‬صٖ ‪ٞ‬ب ‪ ٚ‬خي چیٗ ثبال ترین ٔمبدیش ‪ٚ‬صٖ ‪ٞ‬بی ٔ‪ٙ‬فی سا ٘ـبٖ ٔی د‪ٞ‬ذ ‪ٚ‬‬
‫خٌ‪ٛ‬ى وٕشً٘ ٕ٘بی‪ٙ‬ذ‪ ٜ‬ی ‪ٚ‬صٖ ‪ٞ‬بی لبثُ كشف ٘ظش اػت‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ ٝ‬ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬چ‪ٙ‬ذیٗ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی سا اؿتجب‪ ٜ‬دػت‪ ٝ‬ث‪ٙ‬ذی ٔی و‪ٙ‬ذ‪،‬‬
‫ؿجى‪ ٝ‬ی ثبصثی‪ٙ‬ی ؿذ‪ ٜ‬ی ؿىُ ‪ 1..3‬وبٔال تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی سا دػت‪ٔ ٝ‬ی و‪ٙ‬ذ‪.‬‬

‫ؿىُ ‪ 1..3‬حبكُ ثبصثی‪ٙ‬ی اػتمشایی ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪.ٝ‬‬

‫‪ KBANN‬اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثشای تغییش ‪ٚ‬ص٘‪ٟ‬بی ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪٘ ٝ‬بؿی اص تئض‪ٛ‬سی لّٕضش‪ ٚ‬اػضتفبد‪ٔ ٜ‬ضی و‪ٙ‬ضذ‪ .‬ت‪ٛ‬خض‪ ٝ‬داسیضذ وض‪ٚ ٝ‬اثؼضتٍی ‪ Liftable‬ثض‪ٝ‬‬
‫‪ HandleOnTop ٚ MadeOfStyrofoam‬دس تئ‪ٛ‬سی لّٕش‪٘ ٚ‬ج‪ٛ‬د‪.‬‬
‫ٔمبیؼ‪ ٝ‬ی ‪ٚ‬صٖ ‪ٞ‬بی ا‪ِٚ‬ی‪ ٝ‬ثب ‪ٚ‬صٖ ‪ٞ‬بی ٘‪ٟ‬بیی ؿجى‪٘ ٝ‬تبیح ثؼیبس خبِجی دس ثش خ‪ٛ‬ا‪ٞ‬ذ داؿت‪ٕٞ .‬ضبٌ٘‪ٛ‬س وض‪ ٝ‬دس ؿضىُ ‪٘ 1..3‬یضض دیضذ‪ٔ ٜ‬ضی ؿض‪ٛ‬د‪،‬‬
‫‪ٚ‬اثؼتٍی ؿذیذی دس ٔشحّ‪ ٝ‬ی اػتمشایی وـف ٔی ؿ‪ٛ‬د‪ٔ ،‬ثُ ‪ٚ‬اثؼتٍی ‪ٚ‬احذ ‪ Liftable‬ث‪ٚ ٝ‬یظٌی ‪ .MadeOfStyrofoam‬ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬ای‪ٙ‬ىض‪ٝ‬‬
‫ٌش‪ Liftable ٜ‬ت‪ٛ‬ػي ‪ horn clause‬ی دس تئ‪ٛ‬سی لّٕش‪ ٚ‬تعشیف ؿذ‪ ٜ‬ا٘ذ أب ت‪ٛ‬ػي ‪ Backpropagation‬ثض‪ٚ ٝ‬یظٌضی دیٍضشی اص ؿضجى‪ٝ‬‬
‫‪ٚ‬اثؼت‪ٔ ٝ‬ی ٌشدد‪ .‬ثعذ اص آٔ‪ٛ‬صؽ ؿجى‪ ،ٝ‬ایٗ ‪ٚ‬احذ ٔف‪ٟٔٛ‬ی ٔتفب‪ٚ‬ت ثب ٔف‪ ْٟٛ‬ا‪ِٚ‬ی‪ ٝ‬ی ‪ Liftable‬خ‪ٛ‬ا‪ٞ‬ذ داؿت‪.‬‬

‫‪ 1.2.2.‬نکبت‬
‫خالك‪ KBANN ،ٝ‬ث‪ ٝ‬ك‪ٛ‬ست تحّیّی ؿجى‪ ٝ‬ای ‪ ٓٞ‬اسص ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬اسائ‪ ٝ‬ؿذ‪ ٜ‬ایدبد ٔی و‪ٙ‬ذ‪ ،‬ػپغ دس ایٗ فشهی‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬سا ثضشای ت‪ٙ‬بػضت‬
‫ث‪ٟ‬تش ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی تدذیذ ٘ظش ٔی و‪ٙ‬ذ‪ .‬دس ایٗ وبس‪ ،‬ایٗ اٍِ‪ٛ‬سیتٓ ثشای تلحیح صذْ تٌضبثك تئض‪ٛ‬سی لّٕضش‪ ٚ ٚ‬داد‪ٞ ٜ‬ضبی ٔـضب‪ٞ‬ذ‪ ٜ‬ؿضذ‪ٜ‬‬
‫‪ٚ‬صٖ ‪ٞ‬بی ؿجى‪ ٝ‬سا تغییش ٔی د‪ٞ‬ذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثشتشی ٔ‪ ٟٓ‬دس ٔ‪ٛ‬سد ‪ KBANN‬ثش س‪ٚ‬ؿ‪ٟ‬بی اػتمشایی ٔحن ٔثضُ ‪( Backpropagation‬وض‪ ٝ‬اص ؿضجى‪ ٝ‬ای ثضب ‪ٚ‬صٖ ‪ٞ‬ضبی تلضبدفی ؿضش‪ٚ‬خ‬
‫ٔی ؿ‪ٛ‬د) ایٗ اػت و‪ ٝ‬صٔب٘ی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪٘ ٚ‬ؼجتب دسػت اػت تعٕیٓ ث‪ٟ‬تشی ٘ؼجت ث‪ Backpropagation ٝ‬داسد‪ ،‬ایٗ ثشتضشی صٔضب٘ی وض‪ٝ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی خٌبی صیبدی داسد ثیـتش دیذ‪ ٜ‬خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ ٚ KBANN .‬دیٍش س‪ٚ‬ؽ ‪ٞ‬بیی و‪ ٝ‬اص فشهی‪ ٝ‬اثتذایی وٕه ٔضی ٌیش٘ضذ دس ٔؼضبئُ‬
‫‪ٚ‬العی وبسایی ث‪ٟ‬تشی ٘ؼجت ث‪ ٝ‬ػیؼتٓ ‪ٞ‬بی اػتمشایی ٔحن اص خض‪ٛ‬د ٘ـضبٖ داد‪ ٜ‬ا٘ضذ‪ .‬ثضشای ٔثضبَ‪ (Towell 1990) ،‬وضبسثشد ‪ KBANN‬دس‬
‫ٔؼئّ‪ ٝ‬ای دسثبس‪ ٜ‬ی ػبختبس ّٔى‪ِٛ‬ی ط٘تیىی سا اسائ‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬دس ایٗ وبسثشد ‪ٞ‬ذف یبدٌیشی تـخیق لؼٕت ‪ٞ‬بیی اص ‪ DNA‬ث‪٘ ٝ‬بْ ‪promoter‬‬
‫‪ region‬اػت و‪ ٝ‬ثش صّٕىشد طٖ تبثیش داسد‪ .‬دس ایٗ تحمیك ث‪ KBANN ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی ا‪ِٚ‬ی‪ ٝ‬و‪ ٝ‬اص یه ٔحمك ط٘تیه‪ 1‬دسیبفت ؿذ‪ ٜ‬ثض‪ٛ‬د ثض‪ٝ‬‬
‫‪ٕٞ‬شا‪ٔ ٜ‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ ٕٝ٘ٛ٘ 53‬ی ٔثجت ‪ ٕٝ٘ٛ٘ 53 ٚ‬ی ٔ‪ٙ‬فی داد‪ ٜ‬ؿذ‪ .‬وبسایی ػیؼتٓ ثب اػتشاتظی ‪ٛٔ leave-one-out‬سد ثشسػی لشاس ٌشفت‬
‫‪ ٚ‬ػیؼتٓ ‪ 156‬ثبس آٔ‪ٛ‬صؽ داد‪ ٜ‬ؿذ‪ .‬دس ‪ٞ‬شثبس اخشای حّم‪ ٝ‬ی ‪ KBANN‬ثب ‪ ٕٝ٘ٛ٘ 155‬اص ‪ ٕٝ٘ٛ٘ 156‬آٔ‪ٛ‬صؽ داد‪ ٜ‬ؿذ ‪ ٚ‬ثش س‪ٚ‬ی ٕ٘‪ ٝ٘ٛ‬ی ثبلیٕب٘ذ‪ٜ‬‬
‫تؼت ؿذ‪٘ .‬ؼجت خٌبی‪ .‬ایٗ ‪ 156‬آصٔبیؾ سا ٔی ت‪ٛ‬اٖ تخٕی‪ٙ‬ی اص خٌبی ‪ٚ‬العی دا٘ؼت‪٘ KBANN .‬ؼجت خٌبی ‪ 4/106‬سا پیذا وشد دسحضبِی‬
‫و‪٘ ٝ‬ؼجت خٌبی ‪ 8/106 ،Backpropagation‬ؿذ‪٘ .‬ؼخ‪ٞ ٝ‬بی ٔختّف ‪ KBANN‬ت‪ٛ‬ػي )‪ (Fu 1993‬ث‪ ٝ‬وبسٌشفت‪ ٝ‬ؿضذ‪ ٜ‬وض‪ٚ ٝ‬ی ثض‪ٝ‬‬
‫خٌبی ‪٘ 2/106‬یض ثش س‪ٚ‬ی ‪ٕٞ‬بٖ داد‪ٞ ٜ‬ب سػیذ‪ ٜ‬اػت‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬اثش دا٘ؾ لجّی دس ایٗ آصٔبیـبت وب‪ٞ‬ؾ لبثُ ت‪ٛ‬خض‪٘ ٝ‬ؼضجت خٌضب ثض‪ٛ‬د‪ ٜ‬اػضت‪.‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ایٗ آصٔبیؾ دس ‪ٛٔ http://www.ics.uci.edu/~mlearn/MLRepository.html‬خ‪ٛ‬د ٔی ثبؿذ‪.‬‬

‫دس ‪ٞ‬ش د‪ (Towell 1990) ٚ (Fu 1993) ٚ‬روش ؿذ‪ ٜ‬و‪ ٝ‬دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ اػتخشاخی اص ؿجى‪ ٝ‬ی آٔ‪ٛ‬صؽ یبفت‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی تدذیذ ٘ظش یبفت‪ٝ‬‬
‫ث‪ٔ ٝ‬ب ٔی د‪ٙٞ‬ذ و‪ ٝ‬ػبصٌبسی ثیـتشی ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی داسد‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٌ ٝ‬ب‪ٞ‬ی ثذػت آ‪ٚ‬سدٖ دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ ‪ Horn clause‬اص ؿجى‪ ٝ‬یضبد‬
‫ٌشفت‪ ٝ‬ؿذ ٕٔىٗ اػت أب دس حبِت وّی ایٗ وبس ثب ٔـىالتی ‪ٕٞ‬شا‪ ٜ‬اػت صیضشا وض‪ ٝ‬ثعوضی ‪ٚ‬صٖ ‪ٞ‬ضب ٔعضبدَ ‪ horn clause‬كضشیحی ٘ذاس٘ضذ‪.‬‬
‫)‪ٔ (Craven 1996) ٚ (Craven and Shavlik 1994‬تذ ‪ٞ‬بی ٔتفب‪ٚ‬تی ثشای اػتخشاج ل‪ٛ‬ا٘یٗ ػٕج‪ِٛ‬یه اص ؿجى‪ٞ ٝ‬بی یبدٌشفتض‪ ٝ‬ؿضذ‪ٜ‬‬
‫اسائ‪ٔ ٝ‬ی و‪ٙٙ‬ذ‪.‬‬

‫ثشای پی ثشدٖ ث‪ ٝ‬ا‪ٕٞ‬یت ‪ KBANN‬ثذ ٘یؼت و‪ ٝ‬تفب‪ٚ‬ت خؼتد‪ٛ‬ی فشهضی‪ ٝ‬ای آ٘ضشا ثضب اٍِض‪ٛ‬ستیٓ اػضتمشایی ٔحضن ‪Backpropagation‬‬
‫ٔمبیؼ‪ ٝ‬و‪ٙ‬یٓ‪ .‬فوبی فشهی‪ ٝ‬ای ای و‪ ٝ‬ایٗ د‪ ٚ‬س‪ٚ‬ؽ خؼتد‪ٔ ٛ‬ی و‪ٙٙ‬ذ یىی اػت ‪ ٚ‬دس ؿىُ ‪٘ 1..4‬ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ٕٞ .‬ضبٌ٘‪ٛ‬س وض‪ٔ ٝ‬ـضب‪ٞ‬ذ‪ٜ‬‬
‫ٔی و‪ٙ‬یذ‪ ،‬تفب‪ٚ‬ت اػبػی دس فشهی‪ ٝ‬اثتذایی اػت و‪ ٝ‬اص آ٘دب خؼتد‪ ٛ‬آغبص ٔی ٌشدد‪ .‬دس ؿشایٌی وض‪ ٝ‬چ‪ٙ‬ضذیٗ فشهضی‪ ٝ‬ی ٔختّضف (ثضشداس ‪ٚ‬ص٘‪ٟ‬ضبی‬
‫ٔختّف) ثب داد‪ٞ ٜ‬ب ػبصٌبس٘ذ‪ ،‬ؿشًی و‪ٔ ٝ‬عٕ‪ٛ‬ال صٔب٘ی و‪ٞ ٕٝ٘ٛ٘ ٝ‬ب خٌب داس٘ذ پیؾ ٔی آیذ‪ KBANN ،‬ثیـتش ث‪ ٝ‬ػٕت فشهی‪ ٝ‬ای ٔیُ ٔضی و‪ٙ‬ضذ‬
‫و‪ ٝ‬تعٕیٓ س‪ٚ‬ی داد‪ٞ ٜ‬ب سا ٔـبث‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬ا٘دبْ ٔی د‪ٞ‬ذ‪ .‬اص ًشف دیٍش‪ٔ Backpropagation ،‬عٕ‪ٛ‬ال ث‪ ٝ‬فشهی‪ٞ ٝ‬بیی ٔیُ ٔی و‪ٙ‬ضذ وض‪ٝ‬‬
‫و‪ٚ ٝ‬صٖ ‪ٞ‬بی و‪ٛ‬چىی داس٘ذ‪ ،‬چ‪ٙ‬یٗ فشهی‪ٞ ٝ‬بیی ٔـبث‪ ٝ‬دس‪٘ٚ‬یبثی ‪ٕٛٞ‬اس ثیٗ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی اػضت‪ .‬ثض‪ً ٝ‬ض‪ٛ‬س خالكض‪ KBANN ،ٝ‬اص تئض‪ٛ‬سی‬
‫خبف لّٕش‪ ٚ‬اػتفبد‪ ٜ‬وشد‪ ٜ‬تب تعٕیٓ س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب سا ثبیبع و‪ٙ‬ذ دس حبِی و‪ Backpropagation ٝ‬اص لبئذ‪ ٜ‬ای ٔؼتمُ اص لّٕش‪ ٚ‬ثضشای ثبیضبع‬
‫وشدٖ ؿجى‪ ٝ‬ث‪ ٝ‬ػٕت ‪ٚ‬صٖ ‪ٞ‬بی و‪ٛ‬چىتش اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬دس ایٗ خالك‪ٔ ٝ‬ب اص اثش ٔی‪ٙ‬یٕٓ ‪ٞ‬بی ٔ‪ٛ‬هعی چـٓ پ‪ٛ‬ؿی وشد‪ ٜ‬ایٓ‪.‬‬

‫‪1‬‬
‫‪geneticist‬‬
‫‪2‬‬
‫‪error rate‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿىُ ‪ 1..4‬خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای ‪.KBANN‬‬

‫‪ KBANN‬ؿجى‪ ٝ‬سا ٔت‪ٙ‬بػت ثب تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬مذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٔ ٝ‬ی و‪ٙ‬ذ‪ ،‬دس حبِی و‪ backpropagation ٝ‬ؿجى‪ ٝ‬سا ثب ٔمبدیش تلضبدفی ٔمضذاس د‪ٞ‬ضی ا‪ِٚ‬یض‪ٝ‬‬
‫ٔی و‪ٙ‬ذ‪ٞ .‬ش د‪ ٚ‬ػیؼتٓ اص تغییش ‪ٚ‬ص٘‪ٟ‬بی و‪ٛ‬چه ثب اػتفبد‪ ٜ‬اص ؿیت ٘ض‪ َٚ‬اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬صٔب٘ی و‪ ٝ‬چ‪ٙ‬ذیٗ فشهی‪ ٝ‬ثب ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ػبصٌبس٘ذ‪٘ ،‬بحیض‪ ٝ‬ی‬
‫‪ٞ‬بؿ‪ٛ‬س صد‪ٕٔ Backpropagation ٚ KBANN ،ٜ‬ىٗ اػت ث‪ ٝ‬فشهی‪ٞ ٝ‬بی ٔتفب‪ٚ‬تی ختٓ ؿ‪٘ٛ‬ذ‪ ،‬صیشا و‪٘ ٝ‬مبى ؿش‪ٚ‬خ ٔتفب‪ٚ‬تی داس٘ذ‪.‬‬
‫ٔحذ‪ٚ‬دیت ‪ KBANN‬ایٗ حمیمت اػت و‪ ٝ‬ایٗ س‪ٚ‬ؽ فمي ثضب تئض‪ٛ‬سی لّٕضش‪ٞ ٚ‬ضبی ٌضضاس‪ ٜ‬ای ػضبصٌبس اػضت ثض‪ ٝ‬صجضبست دیٍضش فمضي ‪horn‬‬
‫‪ٞ clause‬بیی سا ٔی ت‪ٛ‬اٖ ث‪ ٝ‬ایٗ س‪ٚ‬ؽ داد و‪ٔ ٝ‬تغیشی دس آ٘‪ٟ‬ب ‪ٚ‬خ‪ٛ‬د ٘ذاؿت‪ ٝ‬ثبؿذ‪ .‬اِجت‪ٍٙٞ ٝ‬بٔی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬ثؼیبس پش خٌب ثبؿذ ٕٔىٗ اػت‬
‫ایٗ س‪ٚ‬ؽ ث‪٘ ٝ‬تید‪ ٝ‬ی وبٔال اؿتجب‪ٞ‬ی ثشػذ ‪ ٚ‬دس ایٗ حبِت دلت تعٕیٓ ایٗ س‪ٚ‬ؽ اص ‪٘ Backpropagation‬یض وٕتش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪،‬‬
‫ایٗ س‪ٚ‬ؽ ‪ ٚ‬اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ٔشث‪ ًٝٛ‬دس ٔؼبئُ وبسثشدی صیبدی ٔفیذ ‪ٚ‬الع ؿذ‪ ٜ‬ا٘ذ‪.‬‬

‫‪ KBANN‬س‪ٚ‬ؽ ٔمذاس د‪ٞ‬ی اثتذایی فشهی‪ ٝ‬ی سا ثشای تشویت یبدٌیشی تحّیّی ‪ ٚ‬یبدٌیشی اػتمشایی سا ت‪ٛ‬كیف ٔی و‪ٙ‬ذ‪ .‬دیٍش ٕ٘‪ٞ ٝ٘ٛ‬ضبی ایضٗ‬
‫س‪ٚ‬ؽ دس )‪ (Lacher 1991) ٚ (Yang and Bhargava 1990) ،(Bradshaw 1989) ،(Gallant 1988) ،(Fu 1993‬آٔضذ‪ٜ‬‬
‫اػت‪ .‬ایٗ س‪ٚ‬ؽ ‪ٞ‬ب دس تى‪ٙ‬یه ػبخت ؿجى‪ ٝ‬ی ا‪ِٚ‬ی‪ ،ٝ‬وبسثشد ‪ Backpropagation‬ثشای ت‪ٙ‬ظیٓ ‪ٚ‬صٖ ‪ٞ‬ب ‪ ٚ‬دس ٔتذ اػتخشاج ت‪ٛ‬كیف ػٕج‪ِٛ‬یه‬
‫اص ؿجى‪ٞ ٝ‬بی ثبصٍ٘شی ؿذ‪ ٜ‬ثب ‪ٔ ٓٞ‬تفب‪ٚ‬ت‪ٙ‬ذ‪ (Pratt 1993a, 1993b) .‬س‪ٚ‬ؿی اص فشهی‪ ٝ‬ی اثتذایی سا ٔعشفی ٔی و‪ٙ‬ذ و‪ ٝ‬دس آٖ دا٘ؾ لجّضی‬
‫اص ؿجى‪ ٝ‬ی آٔ‪ٛ‬صؽ یبفت‪ ٝ‬ای ثشای وبسی ٔـبث‪ ٝ‬ثذػت ٔی آیذ ‪ ٚ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ػٕج‪ِٛ‬یه اػتفبد‪ٕ٘ ٜ‬ی ؿ‪ٛ‬د‪ٔ .‬تذ ‪ٞ‬بی یبدٌیشی ٔمبدیش ؿجى‪ ٝ‬ی‬
‫ثب‪ٚ‬س ثیضی ای و‪ ٝ‬دس لؼٕت ‪ٔ 6.11‬عشفی ؿذ‪ ٜ‬ا٘ذ‪ ،‬سا ٔی ت‪ٛ‬اٖ دا٘ؾ لجّی ثشای ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬فشهضی‪ ٝ‬لضشاس داد‪ .‬دس ایضٗ حبِضت دا٘ضؾ لجّضی‬
‫ٔت‪ٙ‬بػت ثب ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص فشم ‪ٞ‬بی اػتمالَ خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د و‪ ٝ‬ػبختبس ٌشافی ؿجى‪ ٝ‬ی ثیضی سا ٔـخق ٔی و‪ٙ‬ذ‪ ،‬خذا‪ َٚ‬احتٕبالت ایٗ ٔمضبدیش اص‬
‫داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی اػتخشاج ٔی ؿ‪ٛ‬د‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.21‬استفاده از دانص قبلی برای تغییر هذف جستجو‬

‫س‪ٚ‬ؽ ثبال ثب خؼتد‪ٛ‬ی ؿیت ٘ض‪ ٚ َٚ‬ثب ؿش‪ٚ‬خ اص فشهی‪ ٝ‬ای و‪ ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ػبصٌبس اػت ؿش‪ٚ‬خ ٔی ؿ‪ٛ‬د ‪ ٚ‬دس ادأ‪ ٝ‬ثشای تٌضبثك ثضب داد‪ٞ ٜ‬ضبی‬
‫آٔ‪ٛ‬صؿی ایٗ فشهی‪ ٝ‬تغییش داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬س‪ٚ‬ؽ خبیٍضی‪ٙ‬ی ثشای اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ‪ٚ‬خ‪ٛ‬د داسد‪ ،‬آٖ ‪ ٓٞ‬اهبف‪ ٝ‬وشدٖ اًالصضبت دا٘ضؾ لجّضی دس‬
‫ٔعیبس خٌبی ؿیت ٘ض‪ َٚ‬اػت‪ ،‬پغ ؿجى‪ٔ ٝ‬دج‪ٛ‬س خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د تب ث‪ ٝ‬تبثعی تشویجی اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬یُ و‪ٙ‬ضذ‪ .‬دس ایضٗ ثخضؾ‪،‬‬
‫اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثذیٗ ك‪ٛ‬ست سا ثشسػی خ‪ٛ‬ا‪ٞ‬یٓ وشد‪ .‬دس وُ‪ ،‬ث‪ ٝ‬دا٘ؾ لجّی ث‪ ٝ‬دیذ ٔـتك ٔعّ‪ ْٛ‬تبثع ‪ٞ‬ذف ٍ٘ب‪ٔ ٜ‬ی و‪ٙ‬یٓ‪ .‬ا٘‪ٛ‬اخ خبكی اص‬
‫دا٘ؾ لجّی سا ٔی ت‪ٛ‬اٖ ث‪ ٝ‬ك‪ٛ‬ست ًجیعی ثب ایٗ فشْ ٘ـبٖ داد‪ .‬ثشای ٔثبَ‪ ،‬دس آٔ‪ٛ‬صؽ ؿجى‪ ٝ‬ی صلجی ثشای تـخیق وبساوتش ‪ٞ‬بی دػت ٘ض‪ٛ‬یغ‬
‫ٔی ت‪ٛ‬ا٘یٓ ٔـتمبت خبكی اص تبثع ‪ٞ‬ذف سا ثشای ثیبٖ دا٘ؾ لجّی ای‪ٙ‬ى‪" ٝ‬وبساوتش ث‪ ٝ‬ا٘تمبَ ‪ ٚ‬د‪ٚ‬ساٖ تل‪ٛ‬یش ‪ٚ‬اثؼت‪٘ ٝ‬یؼت" اػتفبد‪ ٜ‬و‪ٙ‬یٓ‪.‬‬

‫دس صیش ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ٔ TangentProp‬ی پشداصیٓ و‪ ٝ‬ؿجى‪ ٝ‬ای صلجی سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ٔ ٝ‬مبدیش ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿضی ‪ٔ ٚ‬ـضتمبت آٔ‪ٛ‬صؿضی آٔض‪ٛ‬صؽ‬
‫ٔی د‪ٞ‬ذ‪ .‬لؼٕت ‪ 1..4.4‬چٍ‪ٍ٘ٛ‬ی ث‪ ٝ‬دػت آ‪ٚ‬سدٖ ایٗ ٔـتمبت اص تئ‪ٛ‬سی لّٕش‪ٚ‬یی ٔـبث‪ ٝ‬آ٘چ‪ ٝ‬دس ٔثبَ "ف‪ٙ‬دبٖ" ٔض‪ٛ‬سد اػضتفبد‪ ٜ‬لضشاس ٌشفضت سا‬
‫ت‪ٛ‬هیح خ‪ٛ‬ا‪ٞ‬ذ داد (لؼٕت ‪ .)1..3‬دس وُ‪ ،‬ایٗ لؼٕت چٍ‪ٍ٘ٛ‬ی ایدبد ت‪ٛ‬هیحبت ثشای اػتخشاج ٔـتمبت آٔ‪ٛ‬صؿی اص ته ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿضی دس‬
‫اٍِ‪ٛ‬سیتٓ ‪ EBNN‬ثشای اػتفبد‪ ٜ‬دس ‪ TangentProp‬سا ت‪ٛ‬هیح خ‪ٛ‬ا‪ٞ‬ذ داد‪٘ EBNN ٚ TangentProp .‬ـضبٖ داد‪ ٜ‬ا٘ضذ وض‪ ٝ‬دس ثؼضیبسی اص‬
‫تئ‪ٛ‬سی لّٕش‪ٞٚ‬ب ؿبُٔ تـخیق وبساوتش‪ٞ‬بی دػت‪ٛٙ‬یغ ‪ ٚ‬تـخیق اؿیب ‪ ٚ‬دسن ‪ ٚ‬و‪ٙ‬تشَ سثبت اص س‪ٚ‬ؿ‪ٟ‬بی اػتمشایی ٔحن وبسایی ث‪ٟ‬تشی داس٘ذ‪.‬‬

‫‪ 1.2.21‬الگوریتم ‪Tangentprop‬‬
‫اٍِ‪ٛ‬سیتٓ )‪ Tangentprop (Simard 1992‬اًالصبت تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ثب ٔـتمبتی اص تضبثع ‪ٞ‬ضذف ٘ؼضجت ثض‪ ٝ‬تغییضش ‪ٚ‬س‪ٚ‬دی ‪ٞ‬ضبیؾ ثیضبٖ‬
‫ٔی و‪ٙ‬ذ‪ .‬وبس یبدٌیشی ای سا ثب فوبی ٕ٘‪ ٝ٘ٛ‬ای ‪ ٚ X‬تبثع ‪ٞ‬ذف ‪ f‬دس ٘ظش ثٍیشیذ‪ .‬تب االٖ فشم ثش ایٗ ث‪ٛ‬د و‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صؿی ث‪ ٝ‬ك‪ٛ‬ست ص‪ٚ‬ج‬
‫یه ٕ٘‪ٔ ( ) ٚ ٝ٘ٛ‬مذاس یبدٌیشی آٖ اػت‪ .‬اٍِ‪ٛ‬سیتٓ ‪ TangentProp‬فضشم‬ ‫ثیبٖ ٔی ؿ‪ٛ‬د و‪ ٝ‬دس آٖ‬ ‫) (‬ ‫ٔشتت ‪ٞ‬بی‬
‫ثب یه ٔمضذاس‬ ‫ٔی و‪ٙ‬ذ و‪ ٝ‬صال‪ ٜٚ‬ثش ٔمذاس تبثع ٔمذاس ٔـتمبت تبثع ‪ٞ‬ذف ٘یض دس ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ .‬ثشای ٔثبَ‪ ،‬اٌش ٕ٘‪ ٝ٘ٛ‬ی‬
‫) (‬
‫ثیبٖ ؿض‪ٛ‬د‪ .‬وض‪ ٝ‬دس ایضٗ ٕ٘‪٘ٛ‬ض‪ ٝ‬ی آٔ‪ٛ‬صؿضی‬ ‫) (‬ ‫|‬ ‫‪ٚ‬العی ت‪ٛ‬كیف ؿ‪ٛ‬د ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ٕٔىٗ اػت ث‪ ٝ‬ك‪ٛ‬ست‬
‫) (‬
‫اػت‪.‬‬ ‫ٔـتك تبثع ‪ٞ‬ذف ‪٘ f‬ؼجت ث‪ x ٝ‬دس ٘مٌ‪ ٝ‬ی‬ ‫|‬

‫ثشای ایدبد ؿ‪ٟٛ‬د ٔضیت داؿتٗ ٔمبدیش ٔـتك صال‪ ٜٚ‬ثش ٔمبدیش تبثع‪ ،‬وبس یبدٌیشی ػبد‪ ٜ‬ی آٔذ‪ ٜ‬دس ؿىُ ‪ 1..5‬سا دس ٘ظضش ثٍیشیضذ‪ .‬دس ایضٗ ؿضىُ‬
‫) (‬ ‫‪ٚ‬‬ ‫) (‬ ‫‪ٞ‬ضضذف یضضبدٌیشی تضضبثع ‪ٞ‬ضضذف ‪ٕ٘ f‬ضض‪ٛ‬داس ػضضٕت چضضس ثضضب اػضضتفبد‪ ٜ‬اص ػضض‪ٕ٘ٛ٘ ٝ‬ضض‪ ٝ‬ی آٔ‪ٛ‬صؿضضی‬
‫اػت‪ .‬ثب داؿتٗ ایٗ ػ‪ ٕٝ٘ٛ٘ ٝ‬ی آٔ‪ٛ‬صؿی ٔی ت‪ٛ‬اٖ ا٘تظبس داؿت و‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬تبثع فشهی‪ ٝ‬ای ‪ٕٞ‬ض‪ٛ‬اس‬ ‫) (‬
‫ٔثُ تبثع ‪ g‬سا و‪ ٝ‬دس ؿىُ ‪ٚ‬ػي آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬یبد ثٍیشد‪ .‬ؿىُ ػٕت ساػت اثش داؿتٗ ٔـتمبت آٔ‪ٛ‬صؿی یب ؿیت ‪ٞ‬ب سا ث‪ ٝ‬ص‪ٛٙ‬اٖ اًالصضبت اهضبفی‬
‫) (‬
‫) سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬ثب ت‪ٙ‬بػت یبدٌیش ‪ ٓٞ‬ثب ٔمبدیش آٔ‪ٛ‬صؿضی ) ( ‪ٞ ٚ‬ضٓ‬ ‫) (‬ ‫|‬ ‫ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی (ٔثُ‬
‫) (‬
‫‪ ،‬یبدٌیش ؿب٘غ ثیـتشی دس تعٕیٓ س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی خ‪ٛ‬ا‪ٞ‬ذ داؿت‪ .‬ث‪ًٛ ٝ‬س خالك‪ ٝ‬اثش دس ٘ظش ٌشفتٗ ٔـتمبت‬ ‫ٔـتمبت آٔ‪ٛ‬صؿی |‬
‫‪1‬‬
‫آٔ‪ٛ‬صؿی وب‪ٞ‬ؾ ثبیبع صثب٘ی اٍِ‪ٛ‬سیتٓ ‪ Backpropagation‬ث‪ ٝ‬ػ‪ٛ‬ی تعٕیٓ ‪ٕٛٞ‬اس ثیٗ ٘مبى خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د ‪ ٚ‬دس ٔمبثُ اًالصبت ‪ٚ‬س‪ٚ‬دی ٔحن‬
‫ٔـتمبت آٔ‪ٛ‬صؿی خبیٍضیٗ خ‪ٛ‬ا‪ٙٞ‬ذ ؿذ‪ .‬فشهی‪ ٝ‬ی حبكُ ‪ h‬دس ساػتشیٗ تل‪ٛ‬یش ؿىُ تخٕی‪ٙ‬ی ثب دلت ثؼیبسی ث‪ٟ‬تشی اص تبثع حمیمی ‪ f‬داسد‪.‬‬

‫‪1‬‬
‫‪syntactic‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫دس ٕ٘‪ ٝ٘ٛ‬ی ثبال فمي ا٘‪ٛ‬اخ ػبد‪ ٜ‬ی ٔـتك تبثع ‪ٞ‬ذف دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬اػت‪ .‬دس ‪ٚ‬الع‪ Tangentprop ،‬فمي ٔـتمبت آٔ‪ٛ‬صؿی ای سا دسیبفت‬
‫ٔی و‪ٙ‬ذ و‪ ٝ‬ثش حؼت تجذیالت ‪ٚ‬س‪ٚ‬دی ‪ x‬ثبؿ‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪ ،‬فشم و‪ٙ‬یذ‪ٞ ،‬ذف یبدٌیشی تـخیق وبساوتش ‪ٞ‬بی دػت ٘‪ٛ‬یغ اػت‪ .‬فشم و‪ٙ‬یذ و‪ٝ‬‬
‫‪ٚ‬س‪ٚ‬دی ‪ٔ x‬ت‪ٙ‬بػت ثب تل‪ٛ‬یش یه وبساوتش ثبؿذ ‪ٞ ٚ‬ذف ٘یض دػت‪ ٝ‬ث‪ٙ‬ذی دسػت ایٗ وبساوتش ثبؿذ‪ .‬دس ایٗ وبس ٕٔىٗ اػت صالل‪ ٝ‬داؿت‪ ٝ‬ثبؿضیٓ وض‪ٝ‬‬
‫یبدٌیش ثذا٘ذ و‪" ٝ‬تبثع ‪ٞ‬ذف ث‪ ٝ‬چشخؾ ‪ٞ‬بی و‪ٛ‬چه وبساوتش دس تل‪ٛ‬یش حؼبع ٘یؼت"‪ .‬ثشای ثیبٖ ایٗ دا٘ؾ لجّی ث‪ ٝ‬یضبدٌیش‪ ،‬اثتضذا یضه تجضذیُ‬
‫ٔثُ )‪ s(α,x‬سا تعشیف ٔی و‪ٙ‬یٓ و‪ ٝ‬تل‪ٛ‬یش ‪ x‬سا ‪ α‬دسخ‪ ٝ‬د‪ٚ‬ساٖ ٔی د‪ٞ‬ذ‪ .‬حبَ ٔی ت‪ٛ‬ا٘یٓ فشهٕبٖ سا دسثبس‪ ٜ‬ی د‪ٚ‬ساٖ سا ثب ایٗ صجبست و‪ٔ ٝ‬ـضتك‬
‫تبثع ‪ٞ‬ذف ٘ؼجت ث‪ ٝ‬ایٗ د‪ٚ‬ساٖ كفش اػت ثیبٖ و‪ٙ‬یٓ (ثذیٗ ٔع‪ٙ‬ب و‪ ٝ‬دػت‪ ٝ‬ث‪ٙ‬ذی وبساوتش ثب چشخؾ ص‪ٛ‬م ٕ٘ی ؿ‪ٛ‬د)‪ .‬ث‪ ٝ‬صجبست دیٍضش‪ٔ ،‬ضی تض‪ٛ‬اٖ‬
‫دس ٘ظش ٌشفت‪،‬‬ ‫ٔـتك آٔ‪ٛ‬صؿی صیش سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی‬

‫( (‬ ‫))‬

‫اػت‪.‬‬ ‫( ٘یض تل‪ٛ‬یش حبكُ اص اصٕبَ تجذیُ ‪ s‬ثش س‪ٚ‬ی تل‪ٛ‬یش‬ ‫دس ایٗ ساثٌ‪ f ٝ‬تبثع ‪ٞ‬ذف ‪) ٚ‬‬

‫أب ‪ TangentProp‬چٍ‪ ٝ٘ٛ‬اص چ‪ٙ‬یٗ ٔـتمبت آٔ‪ٛ‬صؿی ثشای تغییش ٔ‪ٙ‬بػت ‪ٚ‬صٖ ‪ٞ‬بی ؿجى‪ ٝ‬صلجی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ؟ دس ‪ TangentProp‬ایٗ‬
‫ٔـتمبت آٔ‪ٛ‬صؿی دس تبثع خٌبیی و‪ ٝ‬ت‪ٛ‬ػي ‪ٔ Backpropagation‬ی‪ٙ‬یٕٓ ٔی ؿ‪ٛ‬د لشاس ٔی ٌیشد‪ .‬ثضب ت‪ٛ‬خض‪ ٝ‬ثض‪ ٝ‬آ٘چض‪ ٝ‬دس فلضُ ‪ 4‬دسثضبس‪ ٜ‬ی‬
‫اٍِ‪ٛ‬سیتٓ ‪ٌ Backpropagation‬فت‪ ٝ‬ؿذ‪ ،‬ایٗ اٍِ‪ٛ‬سیتٓ اص ؿیت ٘ض‪ َٚ‬ثشای ٔی‪ٙ‬یٕٓ وشدٖ ٔدٕ‪ٛ‬خ خٌب‪ٞ‬بی ٔشثعی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪،‬‬

‫) ( (∑‬ ‫)) (̂‬

‫٘ـبٖ د‪ٙٞ‬ذ‪ ٜ‬ی ‪i‬أیٗ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی اػت ‪٘ f ٚ‬یض خ‪ٛ‬د تبثع ‪ٞ‬ذف اػت ‪ ̂ ٚ‬تبثع یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ت‪ٛ‬ػي ؿجى‪ ٝ‬ی صلجی اػت‪.‬‬ ‫دس ایٗ ساثٌ‪ٝ‬‬

‫دس ‪ TangentProp‬خّٕ‪ ٝ‬ای اهبفی ث‪ ٝ‬تبثع خٌب اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د تب اختالف ثیٗ ٔـتمبت آٔ‪ٛ‬صؿی ‪ٔ ٚ‬ـتمبت تبثع یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬سا دس ؿجى‪ ٝ‬ی‬
‫صلجی یب ̂ ٘یض تبثیش د‪ٞ‬ذ‪ .‬دس وُ ‪ TangentProp‬تجذیالت چ‪ٙ‬ذ ٌب٘‪ ٝ‬سا لج‪ٔ َٛ‬ی و‪ٙ‬ذ ( ثشای ٔثبَ‪ٕٔ ،‬ىٗ اػت ثخ‪ٛ‬ا‪ٞ‬یٓ ث‪ً ٝ‬ض‪ٛ‬س ‪ٕٞ‬ضٔضبٖ‬
‫٘یضض‬ ‫( ثبؿذ وض‪ ٝ‬دس آٖ ‪ α‬پضبسأتشی پی‪ٛ‬ػضت‪ٚ ٝ‬‬ ‫صذْ تبثیش چشخؾ ‪ ٚ‬ا٘تمبَ وبساوتش سا ث‪ ٝ‬یبدٌیش ٘ـبٖ د‪ٞ‬یٓ)‪ٞ .‬ش تجذیُ ثبیذ ث‪ ٝ‬فشْ )‬
‫( ‪،‬‬ ‫( (ثشای ٔثبَ‪ ،‬ثشای چشخؾ ‪ 5‬دسخ‪ ٝ‬تجذیُ ‪ٕٞ‬ب٘ی خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د)‪ .‬ثشای ‪ٞ‬ش تجضذیُ ثضب فضشْ )‬ ‫)‬ ‫ٔـتك پزیش اػت ‪ ٚ‬داسیٓ‬
‫‪ Tangentprop‬خٌبی ٔشثعی ثیٗ ٔـتك آٔ‪ٛ‬صؿی ‪ٔ ٚ‬مذاس ‪ٚ‬العی ٔـتك ؿجى‪ ٝ‬ی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬سا دس ٘ظش ٔی ٌیضشد‪ .‬خٌضبی تغییضش یبفتض‪ ٝ‬سا‬
‫ٔی ت‪ٛ‬اٖ ث‪ ٝ‬فشْ صیش ثیبٖ وشد‪،‬‬

‫( (‬ ‫))‬ ‫( (̂‬ ‫))‬

‫) ( ([ ∑‬ ‫)) (̂‬ ‫(∑‬ ‫)‬ ‫(]‬ ‫)‬

‫دس ایٗ ساثٌ‪ µ ٝ‬ثبثتی اػت و‪ ٝ‬ت‪ٛ‬ػي وبسثش تعییٗ ٔی ؿ‪ٛ‬د و‪ ٝ‬ا‪ٕٞ‬یت ٘ؼجی ت‪ٙ‬بػت ثب ٔـتمبت آٔ‪ٛ‬صؿی سا دس ٔمبثُ ا‪ٕٞ‬یضت ت‪ٙ‬بػضت ثضب ٔمضبدیش‬
‫آٔ‪ٛ‬صؿی سا ثیبٖ ٔی و‪ٙ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬خّٕ‪ ٝ‬ی ا‪ َٚ‬ایٗ تعشیف ‪ٕٞ E‬بٖ تعشیف اكّی خٌبی ٔشثعی ثشای ٔمبدیش آٔ‪ٛ‬صؿضی اػضت ‪ ٚ‬خّٕض‪ ٝ‬د‪ْٚ‬‬
‫خٌبی ٔشثعی ٔمبدیش ٔـتمبت آٔ‪ٛ‬صؿی اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪ (Simard 1992‬لب٘‪ ٖٛ‬ؿیت ٘ض‪ َٚ‬سا ثشای ٔی‪ٙ‬یٓ وشدٖ تبثع خٌبی تعٕیٓ یبفت‪ ٝ‬ی ‪ E‬اسائ‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬ایٗ تبثع خٌب سا ٘یض ٔی ت‪ٛ‬اٖ ثض‪ٕٞ ٝ‬ضبٖ‬
‫س‪ٚ‬ؽ فلُ ‪ 4‬ثشای اػتخشاج لب٘‪ ٖٛ‬ػبد‪ ٜ‬ی ‪ backpropagation‬اػتخشاج وشد‪.‬‬

‫‪ 1.2.2.‬مثبلی توصیفی‬
‫)‪٘ (Simard 1992‬تبیح ثذػت آٔذ‪ ٜ‬اص ٔمبیؼ‪ ٝ‬ی تعٕیٓ دلت ‪ٔ ٚ TangentProp‬تذ اػتمشایی ٔحن ‪ Backpropagation‬سا ثضشای‬
‫ٔؼئّ‪ ٝ‬ی تـخیق وبساوتش ‪ٞ‬بی دػت‪ٛٙ‬یغ ٔـخق ٔی و‪ٙ‬ذ ‪ .‬ث‪ ٝ‬ك‪ٛ‬ست خبف تش‪ٞ ،‬ضذف دس ایضٗ یضبدٌیشی دػضت‪ ٝ‬ث‪ٙ‬ضذی تلضب‪ٚ‬یش حضب‪ٚ‬ی تضه‬
‫سلٓ ‪ٞ‬بی ‪ 5‬تب ‪ 9‬اػت‪ .‬دس یه آصٔبیؾ ‪ٞ‬ش د‪ ٚ‬اٍِ‪ٛ‬سیتٓ ‪ Backpropagation ٚ TangentProp‬ثب ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثب‬
‫ا٘ذاص‪ٞ ٜ‬بی ٔتفب‪ٚ‬ت آٔ‪ٛ‬صؽ داد‪ ٜ‬ؿذ٘ذ ‪ ٚ‬ػپغ وبسایی خش‪ٚ‬خی ثش س‪ٚ‬ی ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ ٕٝ٘ٛ٘ 165‬ثشسػی ؿذ‪ .‬دا٘ؾ لجّی دس ٘ظش ٌشفت‪ ٝ‬ؿضذ‪ ٜ‬دس‬
‫‪ TangentProp‬ایٗ حمیمت ث‪ٛ‬د و‪ ٝ‬دػت‪ ٝ‬ث‪ٙ‬ذی اصذاد ث‪ ٝ‬ا٘تمبَ افمی ‪ ٚ‬صٕ‪ٛ‬دی تل‪ٛ‬یش ‪ٚ‬اثؼت‪٘ ٝ‬یؼت (ٔثال ٔـتك تبثع ‪ٞ‬ذف ٘ؼضجت ثض‪ ٝ‬ایضٗ‬
‫تجذیالت كفش دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬اػت)‪٘ .‬تبیح حبكُ اص ایٗ آصٔبیؾ دس ؿىُ ‪٘ 1..4‬ـضبٖ داد‪ ٜ‬ؿضذ‪ ٜ‬اػضت‪ ،‬ایضٗ ٘تضبیح ٘ـضبٖ ٔضی د‪ٞ‬ضذ وض‪ٝ‬‬
‫‪ TangentProp‬ثب اػتفبد‪ ٜ‬اص دا٘ؾ لجّی دس تعٕیٓ س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب وبسایی ثیـتشی اص س‪ٚ‬ؽ اػتمشایی ٔحن ‪ Backpropagation‬داسد‪.‬‬

‫‪ 1.2.2.‬نکبت‬
‫خالك‪ TangentProp ،ٝ‬اص دا٘ؾ لجّی ث‪ ٝ‬فشْ ٔـتمبت ا٘تظبسی تبثع ‪ٞ‬ذف ٘ؼجت ث‪ ٝ‬تجذیالت اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ایٗ س‪ٚ‬ؽ دا٘ضؾ لجّضی سا ثضب‬
‫داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬تشویت ٔی و‪ٙ‬ذ تب ثب ٔی‪ٙ‬یٕٓ ؿذٖ ایٗ تبثع ‪ٞ‬ذف خٌبی ؿجى‪ ٓٞ ٝ‬ثضشای ٔمضبدیش آٔ‪ٛ‬صؿضی ‪ٞ ٚ‬ضٓ ثضشای ٔمضبدیش‬
‫ٔـتمبت آٔ‪ٛ‬صؿی ٔی‪ٙ‬یٕٓ ؿ‪ٛ‬د (ؿجى‪ ٓٞ ٝ‬ثب ٔمبدیش آٔ‪ٛ‬صؿی ‪ ٓٞ ٚ‬دا٘ؾ لجّی ػبصٌبس ؿ‪ٛ‬د)‪ٔ .‬مذاس ثبثت ‪ µ‬دسخ‪ ٝ‬ی ٘ؼجی ا‪ٕٞ‬یت ایٗ د‪ ٚ‬خٌضب سا‬
‫دس خٌبی وُ تعییٗ ٔی و‪ٙ‬ذ‪ .‬سفتبس ایٗ اٍِ‪ٛ‬سیتٓ ث‪ٔ ٝ‬مذاس ‪ µ‬حؼبع اػت ‪ µ ٚ‬ثبیذ ت‪ٛ‬ػي ًشاح تعییٗ ؿ‪ٛ‬د‪.‬‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ TangentProp ٝ‬دس تشویت دا٘ؾ لجّی ‪ ٚ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثشای ‪ٞ‬ذایت یبدٌیشی ؿجى‪ ٝ‬ی صلجی ٔ‪ٛ‬فك اػت أضب ٘ؼضجت ثض‪ٝ‬‬
‫خٌبی دا٘ؾ لجّی آ ػیت پزیش اػت‪ .‬حبِتی سا دس ٘ظش ثٍیشیذ و‪ ٝ‬دا٘ؾ لجّی اؿتجب‪ ٜ‬ثبؿذ‪ ،‬ث‪ ٝ‬صجبست دیٍش‪ٔ ،‬ـتمبت آٔ‪ٛ‬صؿی ‪ٚ‬س‪ٚ‬دی ٔـتمبت تضبثع‬
‫‪ٞ‬ذف ‪ٚ‬العی سا ٘ـبٖ ٘ذ‪ٙٞ‬ذ‪ .‬دس چ‪ٙ‬یٗ ؿشایٌی‪ ،‬اٍِ‪ٛ‬سیتٓ ػعی ٔی و‪ٙ‬ذ تب ث‪ ٝ‬ػٕت ٔـتمبت آٔ‪ٛ‬صؿی اؿتجب‪ٍٕٞ ٜ‬شا ؿ‪ٛ‬د‪ ٚ ،‬دس ٘تید‪ٕٔ ٝ‬ىٗ اػضت‬
‫تعٕیٓ اٍِ‪ٛ‬ستیٓ اص ‪٘ Backpropagation‬یض هعیف تش ؿ‪ٛ‬د‪ .‬اٌش دس حبِت پیـشفت‪ ٝ‬تش ٔیضاٖ دسخ‪ ٝ‬ی خٌبی ٔـضتمبت آٔ‪ٛ‬صؿضی ٔعّض‪ ْٛ‬ثبؿضذ‬
‫ٔی ت‪ٛ‬اٖ اص چ‪ٙ‬یٗ اًالصبتی ثشای تعییٗ ثبثت ‪ µ‬اػتفبد‪ ٜ‬وشد ‪ ٚ‬ا‪ٕٞ‬یت ٘ؼجی ٔـتمبت آٔ‪ٛ‬صؿی سا ٘ؼجت ث‪ٔ ٝ‬مبدیش آٔ‪ٛ‬صؿی ٔـخق وشد‪ .‬أضب دس‬
‫وُ ٔعٕ‪ٛ‬ال چ‪ٙ‬یٗ اًالصبتی دس حبِت وّی دس دػتشع ٘یؼت‪ .‬دس لؼٕت ثعذ ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ EBNN‬خ‪ٛ‬ا‪ٞ‬یٓ پشداخت و‪ ٝ‬ث‪ًٛ ٝ‬س خ‪ٛ‬دوبس ٔمذاس ‪ µ‬سا‬
‫ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ث‪ًٛ ٝ‬س ٔدضا ‪ ٚ‬ثش حؼت احتٕبَ غّت ث‪ٛ‬دٖ دا٘ؾ لجّی تعییٗ ٔی و‪ٙ‬ذ‪.‬‬

‫ٔمبیؼ‪ ٝ‬ی خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای (فوبی ‪ٚ‬صٖ ‪ٞ‬ب) ی اٍِ‪ٛ‬سیتٓ ‪٘ Backpropagation ٚ KBANN ٚ TangentProp‬تبیح خضبِجی‬
‫دس ثش داسد‪ TangentProp .‬دا٘ؾ لجّی سا دس خؼتد‪ٛ‬ی فشهی‪ ٝ‬ای تبثیش ٔی د‪ٞ‬ذ ‪ٞ ٚ‬ذف خؼتد‪ٛ‬ی ؿیت ٘ض‪ َٚ‬سا ثب آٖ تغییش ٔی د‪ٞ‬ضذ‪ .‬ایضٗ‬
‫تغییضضش ٔت‪ٙ‬بػضضت ثضضب تغییضضش ‪ٞ‬ضضذف خؼضضتد‪ٛ‬ی فوضضبی فشهضضی‪ ٝ‬ای اػ ضت‪ٔ ،‬ثضضبِی ؿضض‪ٟٛ‬دی اص ایضضٗ تغییضضش دس ؿضضىُ ‪ 1..6‬آٔضضذ‪ ٜ‬اػضضت‪ٔ .‬ـضضبث‪ٝ‬‬
‫‪ٔ ٝ٘ ٚ( Backpropagation‬ـبث‪ TangentProp ،)KBANN ٝ‬خؼتد‪ٛ‬ی خ‪ٛ‬د سا ثب ؿضجى‪ ٝ‬ای ثضب ‪ٚ‬صٖ ‪ٞ‬ضبی و‪ٛ‬چضه ‪ ٚ‬تلضبدفی آغضبص‬
‫ٔی و‪ٙ‬ذ‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د لب٘‪ ٖٛ‬آٔ‪ٛ‬صؽ ؿیت ٘ض‪ َٚ‬ایٗ اٍِ‪ٛ‬سیتٓ ثب ‪ Backpropagation‬تفب‪ٚ‬ت داسد ‪ ٚ‬ایٗ تفب‪ٚ‬ت ثبصث ٔی ؿ‪ٛ‬د و‪ ٝ‬ایضٗ س‪ٚ‬ؽ‬
‫ث‪ ٝ‬فشهی‪ ٝ‬ی ا٘ت‪ٟ‬ضبیی دیٍضشی ٔیضُ و‪ٙ‬ضذ‪ٕٞ .‬ضبٌ٘‪ٛ‬س وض‪ ٝ‬دس ؿضىُ ٘یضض ٘ـضبٖ داد‪ ٜ‬ؿضذ‪ ٜ‬اػضت‪ٔ ،‬دٕ‪ٛ‬صض‪ ٝ‬ای اص فشهضی‪ٞ ٝ‬ضب وض‪ ٝ‬تضبثع ‪ٞ‬ضذف‬
‫‪ TangentProp‬سا ٔی‪ٙ‬یٕٓ ٔی و‪ٙ‬ذ ٕٔىٗ اػت ثب ٔدٕ‪ٛ‬ص‪ ٝ‬فشهی‪ٞ ٝ‬بیی و‪ٞ ٝ‬ذف ‪ Backpropagation‬سا ٔی‪ٙ‬یٕٓ ٔی و‪ٙ‬ذ ٔتفب‪ٚ‬ت ثبؿذ‪.‬‬
‫ٔخل‪ٛ‬كب صٔب٘ی و‪ٞ ٕٝ٘ٛ٘ ٝ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬دا٘ؾ لجّی ‪ٞ‬ش د‪ ٚ‬دسػت ثبؿ‪ٙ‬ذ‪ٕٞ ٚ ،‬چ‪ٙ‬یٗ ثت‪ٛ‬اٖ تبثع ‪ٞ‬ذف سا ثب ؿجى‪ ٝ‬ی ‪ ANN‬دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ٜ‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ٕ٘بیؾ داد‪ٔ ،‬دٕ‪ٛ‬ص‪ ٝ‬ی ثشداس ‪ٞ‬بی ‪ٚ‬ص٘ی و‪ٞ ٝ‬ذف ‪ TangentProp‬سا ساهی ٔی و‪ٙ‬ذ صیش ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ٔدٕ‪ٛ‬ص‪ ٝ‬ثشداس‪ٞ‬بی ساهضی و‪ٙٙ‬ضذ‪ ٜ‬ی‬
‫‪ٞ‬ضضذف ‪ backpropagation‬خ‪ٛ‬ا‪ٞ‬ضضذ ثضض‪ٛ‬د‪ .‬تفضضب‪ٚ‬ت ایضضٗ د‪ٔ ٚ‬دٕ‪ٛ‬صضض‪ ٝ‬فشهضضی‪ ٝ‬ا٘ت‪ٟ‬ضضبیی‪ٔ ،‬دٕ‪ٛ‬صضض‪ ٝ‬ی فشهضضی‪ٞ ٝ‬ضضبی غّتضضی اػضضت وضض‪ٝ‬‬
‫‪ backpropagation‬دس ٘ظش ٌشفت‪ ،ٝ‬أب ‪ TangentProp‬آ٘‪ٟ‬ب سا ثش اػبع دا٘ؾ لجّی اؽ سد ٔی و‪ٙ‬ذ‪.‬‬

‫ؿىُ ‪ 1..6‬خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای ‪.TangentProp‬‬

‫‪ TangentProp‬دسػت ٔـبث‪ Backpropagation ٝ‬ؿجى‪ ٝ‬سا ٔمبدیش و‪ٛ‬چه تلبدفی ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٔ ٝ‬ی و‪ٙ‬ذ‪ ،‬ثب ایضٗ ‪ٚ‬خض‪ٛ‬د‪ ،‬ایضٗ اٍِض‪ٛ‬سیتٓ اص تضبثع‬
‫خٌبی ٔتفب‪ٚ‬تی ثشای ‪ٞ‬ذایت خؼتد‪ٛ‬ی ؿیت ٘ض‪ َٚ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬خٌبی ٔ‪ٛ‬سد اػتفبد‪ ٜ‬ی ‪ ٓٞ TangentProp‬خٌضبی ٔمضبدیش آٔ‪ٛ‬صؿضی ‪ٞ ٚ‬ضٓ خٌضبی‬
‫ٔـتمبت آٔ‪ٛ‬صؿی و‪ ٝ‬ت‪ٛ‬ػي دا٘ؾ لجّی ث‪ٔ ٝ‬ب داد‪ٔ ٜ‬ی ؿ‪ٛ‬د سا دس ٘ظش ٔی ٌیشد‪.‬‬
‫ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬خبیٍضیٗ دیٍش ثشای ٔت‪ٙ‬بػت ػبصی ؿجى‪ ٝ‬ثب ٔـتمبت آٔ‪ٛ‬صؿی تضبثع ‪ٞ‬ضذف اهضبف‪ ٝ‬وضشدٖ ٕ٘‪٘ٛ‬ض‪ٞ ٝ‬ضبی آٔ‪ٛ‬صؿضی خذیضذ ٘ضدیضه‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی لجّی اػت‪ ،‬ایٗ ٔمبدیش سا ٔی ت‪ٛ‬اٖ اص ٔـتمبت آٔ‪ٛ‬صؿی ‪ٔ ٚ‬مبدیش آٔ‪ٛ‬صؿی ٕ٘‪ٞ ٝ٘ٛ‬ب تخٕیٗ صد‪ .‬ثشای ٔثبَ‪ ،‬دس ٔثبَ تـضخیق‬
‫تل‪ٛ‬یش وبساوتش‪ٞ‬ب ٔی ت‪ٛ‬اٖ تلب‪ٚ‬یش سا ث‪ ٝ‬ا٘ذاص‪ٞ ٜ‬بی ٘ؼجتب و‪ٛ‬چه ا٘تمبَ داد ‪ٞ ٕٝ٘ٛ٘ ٚ‬بی آٔ‪ٛ‬صؿی خذیذ ثذػت آ‪ٚ‬سد ‪ ٚ‬آ٘شا ثب ‪ٕٞ‬ضبٖ دػضت‪ ٝ‬ث‪ٙ‬ضذی‬
‫ٕ٘‪ ٝ٘ٛ‬ی اكّی ث‪ ٝ‬ؿجى‪ ٝ‬داد‪ٔ .‬ی ت‪ٛ‬اٖ ا٘تظبس داؿت و‪ ٝ‬ایٗ ٕ٘‪ٞ ٝ٘ٛ‬بی تخٕی‪ٙ‬ی ثب س‪ٚ‬ؽ ‪ Backpropagation‬ث‪ ٝ‬فشهی‪ ٝ‬ای ٔـبث‪ ٝ‬فشهی‪ ٝ‬ی‬
‫خش‪ٚ‬خی ‪ TangentProp‬ثشػذ‪ (Simard 1992) .‬خٌبی ثذػت آٔذ‪ ٜ‬اص ایٗ د‪ ٚ‬س‪ٚ‬ؽ سا دس چ‪ٙ‬یٗ حبالتی ثشسػی وشد‪ ٚ ٜ‬ثض‪ ٝ‬ایضٗ ٘تیدض‪ٝ‬‬
‫ٔی سػذ و‪ ٝ‬ثب ایٗ حبَ وبسایی ‪ TangentProp‬ث‪٘ ٝ‬ؼجت ثیـتش اص س‪ٚ‬ؽ تخٕی‪ٙ‬ی اػت‪ .‬خبِت اػت ثذا٘یذ و‪ ٝ‬ػیؼتٓ ‪ ALVINN‬وض‪ ٝ‬ثضشای‬
‫‪ٞ‬ذایت ات‪ٛٔٛ‬ثیُ ًشاحی ؿذ‪ ٜ‬ث‪ٛ‬د (ث‪ ٝ‬فلُ ‪ٔ 4‬شاخع‪ ٝ‬و‪ٙ‬یذ)‪ ،‬س‪ٚ‬ؿی ٔـبث‪ ٝ‬س‪ٚ‬ؽ تخٕیٗ ٔمبدیش آٔ‪ٛ‬صؿی خذیذ سا ث‪ ٝ‬وبس ثشد‪ ٜ‬اػت‪ .‬دس ایٗ ػیؼتٓ‬
‫اص دا٘ؾ لجّی ای‪ٙ‬ى‪ ٝ‬ا٘تمبَ افمی تل‪ٛ‬یش ٔت‪ٙ‬بػت ثب ‪ٞ‬ذایت فشٔبٖ اػت اػتفبد‪ ٜ‬وشد‪ ٜ‬تب ٕ٘‪ٞ ٝ٘ٛ‬بی خذیذی تخٕضیٗ صد‪ٕ٘ٛ٘ ٚ ٜ‬ض‪ٞ ٝ‬ضبی آٔ‪ٛ‬صؿضی‬
‫ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬سا افضایؾ د‪ٞ‬ذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ 1.2.2.‬الگوریتم ‪EBNN‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ EBNN‬یب یبدٌیشی ت‪ٛ‬هیحی ؿضجى‪ ٝ‬ی صلضجی‪ (Mitchell and Thrun 1993a; Thrun 1996) 1‬اص د‪٘ ٚ‬ظضش ثضش پبیض‪ ٝ‬ی‬
‫اٍِ‪ٛ‬سیتٓ ‪ TangentProp‬ػبخت‪ ٝ‬ؿذ‪ ٜ‬اػت‪ .‬اثتذا ای‪ٙ‬ى‪ ٝ‬ث‪ ٝ‬خبی ای‪ٙ‬ى‪ ٝ‬ث‪ ٝ‬وبسثش ثشای ٔـتمبت آٔ‪ٛ‬صؿی ‪ٚ‬اثؼت‪ ٝ‬ثبؿذ‪ EBNN ،‬خ‪ٛ‬دؽ ٔـتمبت‬
‫آٔ‪ٛ‬صؿی سا ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ٔ ٜ‬حبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬ایٗ ٔـتمبت آٔ‪ٛ‬صؿی ثش اػبع ت‪ٛ‬هیح ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ثش اػبع تئ‪ٛ‬سی لّٕش‪ٚ‬‬
‫ٔ‪ٛ‬خ‪ٛ‬د ٔحبػج‪ ٚ ٝ‬اص ت‪ٛ‬هیحبت اػتخشاج ٔی ؿ‪٘ٛ‬ذ‪ .‬د‪ ْٚ‬ای‪ٙ‬ى‪ٔ EBNN ٝ‬ـىُ چٍ‪ٍ٘ٛ‬ی ‪ٚ‬صٖ د‪ٞ‬ی ا‪ٕٞ‬یت ٘ؼجی ٔ‪ِٛ‬ف‪ٞ ٝ‬بی اػتمشایی ‪ ٚ‬تحّیّی‬
‫سا حُ ٔی و‪ٙ‬ذ (ثشای ٔثبَ‪ ،‬چٍ‪ٍ٘ٛ‬ی ا٘تخبة پبسأتش ‪ µ‬دس ساثٌ‪ ٝ‬ی ‪ 1..1‬سا تعییٗ ٔی و‪ٙ‬ذ)‪ٔ .‬مذاس ‪ µ‬ثشای ‪ٞ‬ش یه اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ث‪ًٛ ٝ‬س‬
‫ٔؼتمُ ا٘تخبة ٔی ؿ‪ٛ‬د‪ ،‬ایٗ ٔیضاٖ ثؼت‪ ٝ‬ث‪ ٝ‬ایٗ و‪ ٝ‬دلت تئ‪ٛ‬سی لّٕش‪ ٚ‬دس تخٕیٗ ٔمذاس آٔ‪ٛ‬صؿی چمذس اػت ا٘تخبة ٔی ؿ‪ٛ‬د‪ .‬ث‪ٙ‬بثشایٗ ٔ‪ِٛ‬فض‪ ٝ‬ی‬
‫تحّیّی یبدٌیشی ثشای ٕ٘‪ٞ ٝ٘ٛ‬بیی و‪ ٝ‬ت‪ٛ‬ػي تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت دػت‪ ٝ‬ث‪ٙ‬ذی ٔی ؿ‪٘ٛ‬ذ ٔ‪ٛ‬وذ ‪ ٚ‬دس ٕ٘‪ٞ ٝ٘ٛ‬بیی و‪ ٝ‬ت‪ٛ‬هیح هعیف اػت وٕش٘ضً‬
‫ٔی ؿ‪ٛ‬د‪.‬‬

‫ٔی ؿ‪ٛ‬د و‪ٞ ٝ‬یچ ٔـضتك آٔ‪ٛ‬صؿضی ای‬ ‫) (‬ ‫‪ٚ‬س‪ٚ‬دی ‪ٞ‬بی اٍِ‪ٛ‬سیتٓ ‪ EBNN‬ؿبُٔ (‪ٔ )1‬دٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ث‪ ٝ‬فشْ‬
‫دس آٖ اسائ‪٘ ٝ‬ـذ‪ ٜ‬اػت‪ ).( ،‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی ٔـبث‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بیی و‪ ٝ‬دس یبدٌیشی ت‪ٛ‬هیحی اص آٖ اػتفبد‪ ٜ‬وشدیٓ (ث‪ ٝ‬فلُ ‪ٔ 11‬شاخع‪ ٝ‬و‪ٙ‬یضذ)‬
‫ثب ایٗ تفب‪ٚ‬ت و‪ ٝ‬دس ای‪ٙ‬دب تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ ٝ‬خبی دػت‪ ٝ‬ای ‪ٞ horn clause‬ب ثب ؿجى‪ ٝ‬صلجی آٔ‪ٛ‬صؽ یبفت‪ ٝ‬ای ٕ٘بیؾ داد‪ٔ ٜ‬ضی ؿض‪ٛ‬د‪ .‬خش‪ٚ‬خضی‬
‫‪ EBNN‬ؿجى‪ ٝ‬ای صلجی اػت و‪ ٝ‬تبثع ‪ٞ‬ذف ‪ f‬سا تخٕیٗ ٔی ص٘ذ‪ .‬ایٗ ؿجى‪ ٝ‬ی یبدٌشفت‪ ٝ‬ؿذ‪ًٛ ٓٞ ٜ‬سی آٔ‪ٛ‬صؽ دیذ‪ ٜ‬اػت و‪ٔ ٓٞ ٝ‬ت‪ٙ‬بػت ثضب‬
‫ثبؿذ ‪ٔ ٓٞ ٚ‬ت‪ٙ‬بػت ثب ٔـتمبت ٘تید‪ٌ ٝ‬یشی ؿذ‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت‪ٔ .‬ت‪ٙ‬بػضت ثض‪ٛ‬د ثضب ٕ٘‪٘ٛ‬ض‪ٞ ٝ‬ضبی‬ ‫) (‬ ‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی‬
‫ٔ‪ِٛ‬ف‪ ٝ‬ی اػتمشایی یبدٌیشی ‪ٔ ٚ‬ت‪ٙ‬بػت ث‪ٛ‬دٖ ثب ٔـتمبت آٔ‪ٛ‬صؿی ٘تیدض‪ٌ ٝ‬یضشی ؿضذ‪ ٜ‬اص تئض‪ٛ‬سی لّٕضش‪ِٛٔ ٚ‬فض‪ ٝ‬ی‬ ‫) (‬ ‫آٔ‪ٛ‬صؿی‬
‫تحّیّی یبدٌیشی اػت‪.‬‬

‫ثشای تل‪ٛ‬س ایٗ ٘‪ٛ‬خ تئ‪ٛ‬سی لّٕش‪ ٚ‬و‪ EBNN ٝ‬اص آٖ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ ؿىُ ‪ 1..7‬سا دس ٘ظش ثٍیشیذ‪ .‬لؼٕت ثبالیی ایضٗ ؿضىُ تئض‪ٛ‬سی لّٕش‪ٚ‬یضی‬
‫ثشای ‪ EBNN‬سا ٘ـبٖ ٔی د‪ٞ‬ذ و‪ ٝ‬ثشای تبثع ‪ٞ‬ذف "ف‪ٙ‬دبٖ" ایدبد ؿذ‪ ٜ‬اػت‪ٞ ،‬ش ٔؼتٌیُ دس ایٗ ؿضىُ یضه ؿضجى‪ ٝ‬ی صلضجی ٔدضضا سا دس‬
‫تئ‪ٛ‬سی لّٕش‪٘ ٚ‬ـبٖ ٔی د‪ٞ‬ذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ ٝ‬دس ایٗ ٔثبَ ثشای ‪ٞ‬ش ‪ horn clause‬دس لّٕش‪ ٚ‬ػٕج‪ِٛ‬یه خذ‪ 1..3 َٚ‬یه ؿجى‪ٚ ٝ‬خ‪ٛ‬د داسد‪ .‬ثشای‬
‫ٔثبَ‪ ،‬ؿجى‪ ٝ‬ای ث‪٘ ٝ‬بْ ‪ Graspable‬تٕبٔی ‪ٚ‬یظٌی ‪ٞ‬ضبی ؿضجى‪ ٝ‬سا ثض‪ ٝ‬ص‪ٙ‬ض‪ٛ‬اٖ ‪ٚ‬س‪ٚ‬دی دسیبفضت ٔضی و‪ٙ‬ضذ ‪ ٚ‬خش‪ٚ‬خضی ای ٔت‪ٙ‬بػضت ثضب ‪ٚ‬یظٌضی‬
‫‪( Graspable‬دس دػت خب ؿذٖ) ٔی د‪ٞ‬ذ (‪ٌ EBNN‬ضاس‪ ٜ‬ای دسػت سا ثب ٔمذاس ‪ٔ 5.8‬مذاس غّت ٌضاس‪ ٜ‬ای سا ثب ‪٘ 5..‬ـبٖ ٔی د‪ٞ‬ذ)‪ .‬ایٗ ؿضجى‪ٝ‬‬
‫ٔـبث‪ٔ Horn clause ٝ‬شث‪ٛ‬ى ث‪ٚ ٝ‬یظٌی ‪ Graspable‬دس خذ‪ 1..3 َٚ‬صُٕ خ‪ٛ‬ا‪ٞ‬ذ وشد‪ .‬ثعوی ؿجى‪ٞ ٝ‬ب خش‪ٚ‬خی دیٍش ؿجى‪ٞ ٝ‬ب سا ث‪ ٝ‬ص‪ٛٙ‬اٖ‬
‫‪ٚ‬س‪ٚ‬دی دسیبفت ٔی و‪ٙٙ‬ذ (ثشای ٔثبَ‪ ،‬ؿجى‪ ٝ‬ی ػٕت ساػت و‪ Cup ٝ‬صالٔت ٌزاسی ؿذ‪ ٜ‬اػت اص خش‪ٚ‬خی ؿجى‪ٞ ٝ‬ضبی ‪ٚ Liftable ،Stable‬‬
‫‪ٚ OpenVessel‬س‪ٚ‬دی ٔی ٌیشد)‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬ؿجى‪ ٝ‬ای و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ٔی ػبصد ٔی ت‪ٛ‬ا٘ذ ٔـضبث‪ٞ Horn claue ٝ‬ضب وض‪ٌ ٝ‬ضب‪ٞ‬ی تشویجضی‬
‫ص٘دیش‪ٚ‬اس اص ‪ٞ horn clause‬ب ث‪ٛ‬د٘ذ تشویجی ص٘دیش ‪ٚ‬اس اص ؿجى‪ٞ ٝ‬ب ثبؿذ‪ .‬دس وُ ایٗ تئ‪ٛ‬سی لّٕش‪ٕٔ ٚ‬ىضٗ اػضت ایضٗ اًالصضبت ت‪ٛ‬ػضي ٔ‪ٙ‬جضع‬
‫خبسخی ث‪ ٝ‬یبدٌیش داد‪ ٜ‬ؿ‪ٛ‬د یب ٕٔىٗ اػت ایٗ ؿجى‪٘ ٝ‬تید‪ ٝ‬ی یبدٌیشی لجّی ‪ٕٞ‬بٖ ػیؼتٓ ثبؿذ‪ EBNN .‬اص ایٗ ؿجى‪ٞ ٝ‬بی تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای‬
‫یبدٌیشی تبثع ‪ٞ‬ذف خذیذ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ EBNN .‬ؿجى‪ٞ ٝ‬بی تئ‪ٛ‬سی لّٕش‪ ٚ‬سا دس ًی ایٗ فشای‪ٙ‬ذ تغییش ٔی د‪ٞ‬ذ‪.‬‬

‫‪1‬‬
‫‪Explanation-based Neural Network learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ؿىُ ‪ 1..7‬ت‪ٛ‬هیح ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی ای دس ‪.EBNN‬‬

‫ت‪ٛ‬هیحبت اص پیـجی‪ٙ‬ی تبثع ‪ٞ‬ذف ت‪ٛ‬ػي ؿجى‪ٞ ٝ‬بی تئ‪ٛ‬سی لّٕش‪( ٚ‬ؿىُ ثبالیی) تـىیُ یبفت‪ ٝ‬اػت‪ٔ .‬ـتمبت آٔ‪ٛ‬صؿی اص ایٗ ت‪ٛ‬هیحبت ثشای آٔ‪ٛ‬صؽ ؿجى‪ ٝ‬ی‬
‫‪ٞ‬ذف ٔدضا (ؿىُ پبیی‪ٙ‬ی) اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ٞ .‬ش ثّ‪ٛ‬ن ٔؼتٌیّی ٘ـبٖ د‪ٙٞ‬ذ‪ ٜ‬ی ؿجى‪ ٝ‬ی صلجی چ‪ٙ‬ذ الی‪ ٝ‬ای اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٞ‬ذف ‪ EBNN‬یبدٌیشی ؿجى‪ ٝ‬ای خذیذ اػت و‪ ٝ‬تبثع ‪ٞ‬ذف سا ت‪ٛ‬كیف و‪ٙ‬ذ‪ .‬ث‪ ٝ‬ایٗ ؿجى‪ ٝ‬ی خذیذ ؿجى‪ ٝ‬ی ‪ٞ‬ذف‪ٔ 1‬ی ٌض‪ٛ‬ییٓ‪ .‬دس ٔثضبَ ؿضىُ‬
‫اػت و‪ ٝ‬دس ثبالی ؿىُ ٘ـبٖ داد‪ ٜ‬ؿذ‪ٚ ٚ ٜ‬یظٌی ‪ٞ‬بی یه خؼضٓ سا ثض‪ ٝ‬ص‪ٙ‬ض‪ٛ‬اٖ ‪ٚ‬س‪ٚ‬دی دسیبفضت‬ ‫‪ 1..7‬ؿجى‪ ٝ‬ی ‪ٞ‬ذف ؿجى‪ ٝ‬ی‬
‫وشد‪ٔ ٚ ٜ‬ـخق ٔی و‪ٙ‬ذ و‪ ٝ‬خؼٓ ف‪ٙ‬دبٖ اػت یب خیش‪.‬‬

‫‪ EBNN‬ثب اػتفبد‪ ٜ‬اص اٍِ‪ٛ‬سیتٓ ‪ TangentProp‬و‪ ٝ‬دس لؼٕت لجُ آٔذ ؿجى‪ ٝ‬ی ‪ٞ‬ذف سا یبد ٔی ٌیشد‪ .‬اص لؼٕت ‪ٞ‬بی پضیؾ ٔضی دا٘یضذ وض‪ٝ‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ TangentProp‬ؿجى‪ ٝ‬ای سا آٔ‪ٛ‬صؿی ٔی د‪ٞ‬ذ و‪ ٓٞ ٝ‬ثب ٔمبدیش آٔ‪ٛ‬صؿی ‪ ٓٞ ٚ‬ثب ٔـتمبت آٔ‪ٛ‬صؿی ػبصٌبس ثبؿضذ‪ .‬اٍِض‪ٛ‬سیتٓ ‪EBNN‬‬
‫سا و‪ ٝ‬اص ‪ٚ‬س‪ٚ‬دی دسیبفت ٔی و‪ٙ‬ذ ‪ ٚ‬ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ٔ TangentProp‬ی د‪ٞ‬ضذ‪ .‬صضال‪ ٜٚ‬ثضش ایضٗ‪EBNN ،‬‬ ‫) (‬ ‫ٔمبدیش آٔ‪ٛ‬صؿی ای‬
‫ٔمبدیش ٔـتمبت آٔ‪ٛ‬صؿی ای سا و‪ ٝ‬ثش اػبع تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬حبػج‪ٔ ٝ‬ی و‪ٙ‬ذ سا ث‪ ٝ‬اٍِض‪ٛ‬سیتٓ ‪ٔ TangentProp‬ضی د‪ٞ‬ضذ‪ .‬ثضشای دسن چٍض‪ٍ٘ٛ‬ی‬
‫ٔحبػج‪ ٝ‬ی ٔـتمبت آٔ‪ٛ‬صؿی‪ ،‬د‪ٚ‬ثبس‪ ٜ‬ث‪ ٝ‬ؿىُ ‪ 1..7‬ت‪ٛ‬خ‪ ٝ‬و‪ٙ‬یذ‪ .‬لؼٕت ثبالیی ایٗ ؿضىُ پیـضجی‪ٙ‬ی تئض‪ٛ‬سی لّٕضش‪ ٚ‬اص ٔمضبدیش تضبثع ‪ٞ‬ضذف ثضشای‬
‫سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ٔ EBNN .‬مذاس ٔـتك ایٗ پیـجی‪ٙ‬ی سا ثب ت‪ٛ‬خ‪ ٝ‬ث‪ٚ ٝ‬یظٌی ٕ٘‪ ٝ٘ٛ‬ی ‪ٚ‬س‪ٚ‬دی ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬ثشای ٔثبَ دس‬ ‫ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی‬
‫ت‪ٛ‬ػي ‪ٚ‬یظٌی ‪ٞ‬بیؾ ٔثُ ‪ٔ( MadeOfStyrofoam = 0.2‬ثال غّت) ‪ ٚ‬پیـجی‪ٙ‬ی تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثضب ‪Cup = 0.8‬‬ ‫ایٗ ؿىُ‪ ٕٝ٘ٛ٘ ،‬ی‬
‫(ٔثال دسػت) ت‪ٛ‬كیف ٔی ؿ‪٘ٛ‬ذ‪ٔ EBNN .‬ـتمبت خضئی ایٗ پیـجی‪ٙ‬ی سا ٘ؼجت ث‪ٚ ٝ‬یظٌی ‪ٞ‬بی ٕ٘‪ ٝ٘ٛ‬سا ثض‪ ٝ‬كض‪ٛ‬ست ٔدٕ‪ٛ‬صض‪ ٝ‬ی ٔـضتمبت صیضش‬
‫ٔحبػج‪ٔ ٝ‬ی و‪ٙ‬ذ‪.‬‬

‫[‬ ‫]‬

‫ثض‪ ٝ‬ایضٗ حمیمضت اؿضبس‪ٜ‬‬ ‫ایٗ ٔدٕ‪ٛ‬ص‪ٔ ٝ‬ـتمبت ٌشادیبٖ تبثع ا٘تظبسی تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ٘ؼجت ث‪ٚ ٝ‬س‪ٚ‬دی ‪ٞ‬ب ٘ـبٖ ٔضی د‪ٞ‬ضذ‪ .‬صیش٘ض‪ٛ‬یغ‬
‫ثشسػی ٔی ؿ‪٘ٛ‬ذ‪ .‬دس حبِت وّی تش‪ ،‬صٔب٘ی و‪ ٝ‬تبثع ‪ٞ‬ذف چ‪ٙ‬ذیٗ خش‪ٚ‬خضی داسد‪ٌ ،‬شادیضبٖ تٕضبٔی‬ ‫ٔی و‪ٙ‬ذ و‪ ٝ‬ایٗ ٔـتمبت دس ٘مٌ‪ ٝ‬ی‬
‫خش‪ٚ‬خی ‪ٞ‬ب ٘ؼجت ث‪ ٝ‬تٕبٔی ‪ٚ‬س‪ٚ‬دی ‪ٞ‬ب ٔحبػج‪ ٝ‬خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ٔ .‬بتشیغ حبكُ اص ایٗ صّٕیبت طاو‪ٛ‬ثیٗ )‪ (Jacobian‬تبثع ‪ٞ‬ذف ٘بٔیذ‪ٔ ٜ‬ی ؿ‪ٛ‬د‪.‬‬

‫سا دس ٘ظش ثٍیشیذ‪ .‬اٌش تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثیضبٖ‬ ‫ثشای دسن ا‪ٕٞ‬یت ایٗ ٔـتمبت آٔ‪ٛ‬صؿی دس وٕه ث‪ ٝ‬یبدٌیشی ؿجى‪ ٝ‬ی ‪ٞ‬ذف‪ٔ ،‬ـتك‬

‫و‪ ٝ‬اص ت‪ٛ‬هیحبت اػتخشاج ٔی ؿ‪ٛ‬د ٔمضذاس كضفش خ‪ٛ‬ا‪ٞ‬ضذ‬ ‫و‪ٙ‬ذ و‪ٚ ٝ‬یظٌی ‪ Expensive‬تبثیشی ثش تبثع ‪ٞ‬ذف ‪٘ Cup‬ذاسد‪ٔ ،‬ـتك‬
‫داؿت‪ .‬كفش ث‪ٛ‬دٖ ٔـتك ثذیٗ ٔع‪ٙ‬بػت و‪ٚ ٝ‬یظٌی ‪ Expensive‬تبثیشی ثش پیـجی‪ٙ‬ی ٔمذاس ‪٘ Cup‬ذاسد‪ .‬اص ًشف دیٍش‪ٔ ،‬ـتك ثؼیبس ثضسي ٔثجت‬
‫یب ٔ‪ٙ‬فی ثذیٗ ٔع‪ٙ‬بػت و‪ٔ ٝ‬مذاس ‪ٚ‬یظٌی تبثیش ثؼیبس صیبدی دس تعییٗ ٔمذاس ‪ٞ‬ذف داسد‪ .‬ث‪ٙ‬بثشایٗ‪ٔ ،‬ـتمبت اػضتخشاخی اص ت‪ٛ‬هضیحبت تئض‪ٛ‬سی لّٕضش‪ٚ‬‬
‫اًالصبت ٔ‪ٕٟ‬ی دس تعییٗ ٔشتجي یب ٘ب ٔشتجي ث‪ٛ‬دٖ ‪ٚ‬یظٌی ‪ٞ‬ب ث‪ٔ ٝ‬مذاس ‪ٞ‬ذف سا اسائ‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬صٔب٘ی و‪ ٝ‬ایٗ ٔـتمبت اػتخشاخی ث‪ ٝ‬ص‪ٛٙ‬اٖ ٔـتمبت‬
‫سا یبد ثٍیشد‪ ،‬ایٗ ٔـتمبت ثبیبػی ٔفیذ ثشای خ‪ٟ‬ت د‪ٞ‬ضی تعٕضیٓ‬ ‫آٔ‪ٛ‬صؿی ث‪ TangentProp ٝ‬داد‪ٔ ٜ‬ی ؿ‪ٛ‬د تب ؿجى‪ ٝ‬ی ‪ٞ‬ذف‬
‫ؿجى‪ ٝ‬اسائ‪ٔ ٝ‬ی و‪ٙٙ‬ذ‪ .‬دس چ‪ٙ‬یٗ ؿشایٌی‪ ،‬ثبیبع ٘ح‪ٛ‬ی ٔعٕ‪ َٛ‬اػتمشایی ؿجى‪ٞ ٝ‬بی صلجی ثب ایٗ ثبیبع و‪ ٝ‬اص ٔـضتمبت آٔ‪ٛ‬صؿضی اػضتخشاخی اص‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬تـىیُ یبفت‪ ٝ‬خبیٍضیٗ ٔی ؿ‪ٛ‬د‪.‬‬

‫دس ثبال ٘ح‪ ٜٛ‬ی اػتفبد‪ ٜ‬اص پیـجی‪ٙ‬ی تئ‪ٛ‬سی لّٕش‪ ٚ‬دس ایدبد ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ٔـتمبت آٔ‪ٛ‬صؿی آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ .‬ث‪ ٝ‬صجبست دلیمتضش اٍِض‪ٛ‬سیتٓ وبٔضُ‬
‫‪ EBNN‬ث‪ ٝ‬ك‪ٛ‬ست صیش ٔی ثبؿذ‪ .‬ثب داؿتٗ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ EBNN ،ٚ‬اثتذا ؿضجى‪ ٝ‬ای وبٔضُ )‪ (fully-connected‬یضه‬
‫ًشف‪ (feedforward) ٝ‬ثشای ٕ٘بیؾ تبثع ‪ٞ‬ذف ایدبد ٔی و‪ٙ‬ذ‪ .‬ایٗ ؿجى‪ ٝ‬ی ‪ٞ‬ذف‪ٔ ،‬ـبث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ ،Backpropagation‬ثضب ‪ٚ‬صٖ ‪ٞ‬ضبی‬

‫‪1‬‬
‫‪target network‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٔ EBNN ،‬ـتك آٔ‪ٛ‬صؿضی ٔشث‪ًٛ‬ض‪ ٝ‬سا دس فشای‪ٙ‬ضذی د‪ٚ‬‬ ‫) (‬ ‫و‪ٛ‬چه ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ػپغ ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی‬
‫اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬ثیبییذ پیـجی‪ٙ‬ی تضبثع ‪ٞ‬ضذف‬ ‫ٔشحّ‪ ٝ‬ای ٔـخق ٔی و‪ٙ‬ذ‪ .‬اثتذا اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای پیـجی‪ٙ‬ی ٔمذاس تبثع ‪ٞ‬ذف ثشای ٕ٘‪ ٝ٘ٛ‬ی‬
‫سا ) ( دس ٘ظش ثٍیشیٓ‪ .‬ث‪ ٝ‬صجبست دیٍش‪ ( ) ،‬تبثعی اػت و‪ ٝ‬ت‪ٛ‬ػي تشویت ؿجى‪ٞ ٝ‬بی تئض‪ٛ‬سی لّٕضش‪ ٚ‬وض‪ ٝ‬ثضشای‬ ‫ثشای ٕ٘‪ ٝ٘ٛ‬ی‬
‫ت‪ٛ‬هیحی اسائ‪ٔ ٝ‬ی و‪ٙٙ‬ذ تعشیف ٔی ؿ‪ٛ‬د‪ .‬د‪ٚ ،ْٚ‬صٖ ‪ٞ‬ب ‪ ٚ‬ت‪ٛ‬اثع فعبِیت ؿضجى‪ٞ ٝ‬ضبی تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثضشای اػضتخشاج ) ( ٘ؼضجت ثض‪ ٝ‬تٕضبٔی‬
‫)‪ .‬اػتخشاج ایٗ ٔـتمبت ثب فشای‪ٙ‬ذی ثؼیبس ٔـبث‪ٔ ٝ‬حبػضج‪ ٝ‬ی صجضبست ‪δ‬‬ ‫ثشسػی ٔی ؿ‪٘ٛ‬ذ (طاو‪ٛ‬ثیٗ )‪ A(x‬دس ٘مٌ‪ ٝ‬ی‬ ‫‪ٚ‬یظٌی ‪ٞ‬بی‬
‫دس ‪ Backpropagation‬ادأ‪ٔ ٝ‬ی یبثذ (تٕشیٗ ‪ .)1..5‬ثالخش‪ EBNN ٜ‬اص تفب‪ٚ‬ت خضئضی اٍِض‪ٛ‬سیتٓ ‪ TangentProp‬اػضتفبد‪ٔ ٜ‬ضی و‪ٙ‬ضذ ‪ٚ‬‬
‫ؿجى‪ٞ ٝ‬ذف سا ً‪ٛ‬سی آٔ‪ٛ‬صؽ ٔی د‪ٞ‬ذ و‪ٔ ٝ‬مذاس تبثع خٌبی صیش ٔی‪ٙ‬یٕٓ و‪ٙ‬ذ‪.‬‬

‫) (‬ ‫) (̂‬
‫) ( (* ∑‬ ‫)) (̂‬ ‫(∑‬ ‫)‬ ‫‪+‬‬ ‫(‬ ‫)‬
‫(‬ ‫)‬

‫و‪ ٝ‬دس ایٗ ساثٌ‪ ٝ‬داسیٓ‬

‫) ( |‬ ‫|) (‬
‫(‬ ‫)‬

‫٘یضض ثضشای ٘ـضبٖ دادٖ ‪j‬‬ ‫‪ٕٞ‬بٖ ‪ i‬أیٗ ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی اػت ‪ٕٞ A(x) ٚ‬بٖ پیـجی‪ٙ‬ی تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای ‪ٚ‬س‪ٚ‬دی ‪ x‬اػت‪ٕ٘ .‬بد‬ ‫دس ای‪ٙ‬دب‬
‫‪1‬‬
‫أیٗ ٔ‪ِٛ‬ف‪ ٝ‬ی ثشداس ‪ x‬ث‪ ٝ‬وبس سفت‪ ٝ‬اػت (ثشای ٔثبَ‪ j ،‬أیٗ ٌش‪ٚ ٜ‬س‪ٚ‬دی ؿجى‪ ٝ‬ی صلجی)‪ .‬ثبثت ‪٘ c‬یض یه ثبثت ٘شٔبالیض اػت‪ ،‬ایٗ ثبثت ثبصضث‬
‫‪.‬‬ ‫‪µ‬‬ ‫ٔی ؿ‪ٛ‬د و‪ٔ ٝ‬مذاس ‪ٕٞ µ‬یـ‪ٝ‬‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٕ٘ ٝ‬بیؾ دس ای‪ٙ‬دب غیشٌ‪ٛ‬یب ث‪٘ ٝ‬ظش ٔی سػذ‪ ،‬أب ایذ‪ ٜ‬ی ایٗ صجبست ثؼیبس ػبد‪ ٜ‬اػت‪ .‬خٌبی آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬دس ساثٌ‪ ٝ‬ی ‪ٕٞ 1...‬بٖ فضشْ‬
‫وّی تبثع خٌبی ساثٌ‪ ٝ‬ی ‪( 1..1‬ساثٌ‪ ٝ‬ی ٔشث‪ ًٝٛ‬ی ‪ )TangentProp‬سا داسد‪ .‬خّٕ‪ ٝ‬ی ا‪ َٚ‬ایٗ تبثع خٌب‪ ،‬خٌبی ٔدٕ‪ٛ‬خ ٔشثعی ثیٗ ٔمضبدیش‬
‫آٔ‪ٛ‬صؿی ) ( ‪ٔ ٚ‬مذاس پیـجی‪ٙ‬ی ؿجى‪ ٝ‬ی ‪ٞ‬ذف ) (̂ سا تبثیش ٔی د‪ٞ‬ذ‪ .‬خّٕ‪ ٝ‬ی د‪ ْٚ‬خٌبی ٔشثعی ثیٗ ٔمبدیش ٔـتمبت آٔ‪ٛ‬صؿی اػتخشاخی‬
‫) (̂‬ ‫) (‬
‫سا ٘ـبٖ ٔی د‪ٞ‬ذ‪ .‬ث‪ٙ‬بثشایٗ‪ ،‬صجبست ػٕت چس ٘مؾ لیذ ثخؾ اػضتمشایی‬ ‫‪ٔ ٚ‬مبدیش ‪ٚ‬العی ٔـتمبت ؿجى‪ ٝ‬ی ‪ٞ‬ذف‬ ‫اص تئ‪ٛ‬سی لّٕش‪ٚ‬‬
‫سا داسد ثذیٗ ٔع‪ٙ‬ب و‪ ٝ‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ثبیذ ثب ٔمبدیش آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ٌٔ ٜ‬بثمت داؿت‪ ٝ‬ثبؿذ‪ ،‬دس حبِی و‪ ٝ‬خّٕ‪ ٝ‬ی ػٕت ساػت ٘مؾ تحّیّی‬
‫) (̂‬
‫دس‬ ‫سا داسد ثذیٗ ٔع‪ٙ‬ب و‪ ٝ‬فشهی‪ ٝ‬ی خش‪ٚ‬خی ثبیذ ثب ٔـتمبت آٔ‪ٛ‬صؿی اػتخشاخی اص تئ‪ٛ‬سی لّٕش‪ٌٔ ٚ‬بثمت داؿت‪ ٝ‬ثبؿذ‪ .‬ت‪ٛ‬خ‪ ٝ‬داسیذ و‪ٔ ٝ‬ـتك‬
‫( (̂‬ ‫))‬
‫( تجضذیّی اػضت‬ ‫اػت و‪ ٝ‬دس ساثٌ‪ ٝ‬ی ‪ 1..1‬آٔذ‪ ٜ‬ث‪ٛ‬د‪ ،‬دس ایٗ حبِت خبف )‬ ‫ساثٌ‪ ٝ‬ی ‪ 1...‬فمي حبِت خبكی اص ساثٌ‪ ٝ‬ی‬
‫تجذیُ ٔی و‪ٙ‬ذ‪ ،‬صجبست دلیك تغییش ‪ٚ‬صٖ دس ‪ EBNN‬دس )‪ (Thrun 1996‬آٔذ‪ ٜ‬اػت‪.‬‬ ‫سا ث‪ٝ‬‬ ‫و‪ٝ‬‬

‫ا‪ٕٞ‬یت ٘ؼجی ٔ‪ِٛ‬ف‪ٞ ٝ‬بی اػتمشایی ‪ ٚ‬تحّیّی یبدٌیشی دس ‪ EBNN‬ثب ثبثت ‪ µ‬تعییٗ ٔی ؿ‪ٛ‬د و‪ ٝ‬دس ساثٌ‪ ٝ‬ی ‪ 1..3‬تعشیف ؿذ‪ ٜ‬اػت‪ٔ .‬مضذاس ‪µ‬‬
‫ت‪ٛ‬ػي تفب‪ٚ‬ت ثیٗ پیـجی‪ٙ‬ی تئ‪ٛ‬سی لّٕش‪ٔ ٚ ( ) ٚ‬مذاس آٔ‪ٛ‬صؿی ) ( تعییٗ ٔضی ؿض‪ٛ‬د‪ .‬ث‪ٙ‬ضبثشایٗ ‪ٚ‬صٖ ٔ‪ِٛ‬فض‪ ٝ‬ی تحّیّضی یضبدٌیشی ثضشای‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ای و‪ ٝ‬پیـجی‪ٙ‬ی دسػتی ٘ذاس٘ذ وٕتش دس ٘ظش ٌشفت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪.‬ایٗ ‪ٚ‬صٖ د‪ٞ‬ی اثتىبسی فضشم ٔضی و‪ٙ‬ضذ وض‪ٔ ٝ‬ـضتمبت آٔ‪ٛ‬صؿضی‬
‫اػتخشاخی اص تئ‪ٛ‬سی لّٕش‪ ٚ‬دس ٔ‪ٛ‬اسدی و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬مذاس آٔ‪ٛ‬صؿی سا دسػت پیـضجی‪ٙ‬ی ٔضی و‪ٙ‬ضذ دسػضت تضش ا٘ضذ‪ .‬ثضب ایضٗ ‪ٚ‬خض‪ٛ‬د‪ٔ ،‬ضی تض‪ٛ‬اٖ‬

‫‪1‬‬
‫‪normalizing constant‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪ٚ‬هعیت ‪ٞ‬بیی سا ث‪ٛ‬خ‪ٛ‬د آ‪ٚ‬سد و‪ ٝ‬چ‪ٙ‬یٗ اثتىبسی ٔ‪ٛ‬فك ٘جبؿذ‪ ،‬دس صٕضُ ایضٗ س‪ٚ‬ؽ دس چ‪ٙ‬ضذیٗ تئض‪ٛ‬سی لّٕضش‪ٛٔ ٚ‬فضك اص ‪ Water‬دس آٔضذ‪ ٜ‬اػضت‬
‫)‪.(Mitchell and Thrun 1993a; Thrun 1996‬‬

‫‪ 1.2.21‬نکبت‬
‫ث‪ًٛ ٝ‬س خالك‪ ،ٝ‬اٍِ‪ٛ‬سیتٓ ‪ EBNN‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای ایدبد ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ؿجى‪ٞ ٝ‬بی صلجی آٔ‪ٛ‬صؽ دیذ‪ ٜ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ ‪ ٚ‬اص آٖ ث‪ٕٞ ٝ‬ضشا‪ٜ‬‬
‫ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ثشای آٔ‪ٛ‬صؽ فشهی‪ ٝ‬ی خش‪ٚ‬خی اؽ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿضی ‪ EBNN‬اص تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثضشای ت‪ٛ‬هضیح‬
‫ٕ٘‪ ٝ٘ٛ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ ،‬ػپغ ٔـتك آٔ‪ٛ‬صؿی سا اص ایٗ ت‪ٛ‬هیح اػتخشاج ٔی و‪ٙ‬ذ‪ .‬ثشای ‪ٞ‬ش ‪ٚ‬یظٌی ٕ٘‪ٔ ،ٝ٘ٛ‬ـتك آٔ‪ٛ‬صؿی ای و‪ٔ ٝ‬یضاٖ تبثیش تغییش‬
‫و‪ٛ‬چه ‪ٚ‬یظٌی دس ٔمذاس تبثع ‪ٞ‬ذف اػت سا اص تئ‪ٛ‬سی لّٕش‪ ٚ‬اػتخشاج ٔی و‪ٙ‬ذ‪ .‬ایٗ ٔـتمبت آٔ‪ٛ‬صؿی ث‪٘ ٝ‬ؼضخ‪ ٝ‬ای اص ‪ TangentProp‬وض‪ ٝ‬ثض‪ٝ‬‬
‫ٔـتمبت آٔ‪ٛ‬صؿی ‪ٔ ٚ‬مبدیش آٔ‪ٛ‬صؿی ؿجى‪ ٝ‬ی ‪ٞ‬ذف سا تٌجیك ٔی د‪ٞ‬ذ داد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬تٌبثك ثب ٔـتمبت‪ ،‬ؿضجى‪ ٝ‬ی یبدٌشفتض‪ ٝ‬سا ّٔضضْ ثض‪ ٝ‬تٌضبثك‬
‫‪ٚ‬اثؼتٍی ‪ٞ‬بی ٔ‪ٛ‬خ‪ٛ‬د دس تئ‪ٛ‬سی لّٕش‪ٔ ٚ‬ی و‪ٙ‬ذ‪ ،‬دس حبِی و‪ ٝ‬تٌبثك ٔمبدیش آٔ‪ٛ‬صؿی ؿجى‪ ٝ‬یبدٌشفت‪ ٝ‬سا ّٔضْ ثض‪ ٝ‬تٌضبثك ثضب خض‪ٛ‬د ٔمضبدیش آٔ‪ٛ‬صؿضی‬
‫ٔی و‪ٙ‬ذ‪ٚ .‬صٖ ‪ µ‬هشیت ٔـتمبت آٔ‪ٛ‬صؿی‪ ،‬ث‪ًٛ ٝ‬س خذاٌب٘‪ ٝ‬ثشای ‪ٞ‬ش ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی‪ ،‬ثش اػبع دلضت تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثضشای پیـضجی‪ٙ‬ی ٔمضبدیش‬
‫آٔ‪ٛ‬صؿی ایٗ ٕ٘‪ ٝ٘ٛ‬تعییٗ ٔی ؿ‪ٛ‬د‪.‬‬

‫٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬اػت و‪ٔ EBNN ٝ‬تذی وبسا ثشای یبدٌیشی اص تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بی تخٕی‪ٙ‬ی دس ثؼیبسی اص لّٕش‪ٞ ٚ‬بػضت‪ (Thrun 1996) .‬ایضٗ‬
‫س‪ٚ‬ؽ سا دس یبدٌیشی ٘ؼخ‪ٞ ٝ‬بی ٔختّف ٔؼئّ‪ ٝ‬ی یبدٌیشی ‪ ،Cup‬و‪ ٝ‬دس ثبال ت‪ٛ‬هیح داد‪ ٜ‬ؿذ‪ ،‬ث‪ ٝ‬وبس ٔی ثشد ‪ٌ ٚ‬ضاسؽ ٔضی د‪ٞ‬ضذ وض‪EBNN ٝ‬‬
‫دلت ث‪ٟ‬تشی ٘ؼجت ث‪ٔ ،Backpropagation ٝ‬خل‪ٛ‬كب صٔب٘ی و‪ ٝ‬تعذاد ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی وٓ اػت‪ ،‬داسد‪ .‬ثشای ٔثبَ‪ ،‬ثعضذ اص ‪ٕ٘ٛ٘ 35‬ض‪ ٝ‬ی‬
‫آٔ‪ٛ‬صؿی‪ EBNN ،‬ث‪ ٝ‬خٌضبی سیـض‪ ٝ‬ی ٔیضبٍ٘یٗ ٔشثعضی‪ 5.5 1‬ثضش س‪ٚ‬ی ٔدٕ‪ٛ‬صض‪ ٝ‬ای ٔدضضا اص داد‪ٞ ٜ‬ضبی تؼضت سػضیذ‪ ،‬دس حضبِی وض‪ ٝ‬خٌضبی‬
‫‪ 1..5 Backpropagation‬ث‪ٛ‬د‪ (Mitchell and Thrun 1993a) .‬اػتفبد‪ ٜ‬اص ‪ EBNN‬سا دس یبدٌیشی و‪ٙ‬تشَ سثبت ؿجی‪ ٝ‬ػبصی ؿضذ‪،ٜ‬‬
‫و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬اؽ ؿجى‪ٞ ٝ‬بی صلجی ای و‪ ٝ‬تبثیشات حشوبت سثبت سا ثش ‪ٚ‬هعیت ٘ـبٖ ٔی د‪ٙٞ‬ذ ث‪ ٝ‬وبس ٔی ثش٘ذ‪ .‬ث‪ً ٝ‬ض‪ٛ‬س ٔـضبث‪ EBNN ،ٝ‬ثضب‬
‫تخٕی‪ٙ‬ی وبسایی ث‪ٟ‬تشی ٘ؼجت ث‪ backpropagation ٝ‬وؼت ٔی و‪ٙ‬ذ‪ .‬دس ای‪ٙ‬دب ‪ backpropagation‬حذالُ ‪ 95‬ثبس حّم‪ ٝ‬ی آٔض‪ٛ‬صؽ سا‬
‫ثشای سػیذٖ ث‪ ٝ‬ػٌحی اص دلت تىشاس ٔی و‪ٙ‬ذ دس حبِی و‪ EBNN ٝ‬ث‪ٕٞ ٝ‬بٖ ػٌح اص خٌب سا دس ‪ .5‬حّم‪ٔ ٝ‬ضی سػضذ‪(O'Sullivan et al. .‬‬
‫)‪ (Thrun 1996) ٚ 1997‬چ‪ٙ‬ذیٗ وبسثشد دیٍش ‪ EBNN‬سا دس دسن ‪ ٚ‬و‪ٙ‬تشَ سثبت‪ٟ‬بی ‪ٚ‬العی سا ثب تئ‪ٛ‬سی لّٕش‪ٚ‬یی اص ؿجى‪ٞ ٝ‬ب و‪ ٝ‬تبثیش اصٕبَ‬
‫سا ثشای سثبت دس ٔحیي ثؼت‪ ٝ‬ثب ٔیىش‪ٚ‬فٗ‪ ،.‬دیذ ‪ ٚ‬ػ‪ٙ‬ؼ‪ٛ‬س‪ٞ‬بی ِیضسی تعییٗ ٔی ؿ‪ٛ‬د‪ ،‬سا ت‪ٛ‬كیف ٔی و‪ٙٙ‬ذ‪.‬‬

‫‪ EBNN‬ساثٌ‪ ٝ‬ی خبِجی ثب دیٍش ٔتذ ‪ٞ‬بی یبدٌیشی ت‪ٛ‬هیحی‪ٔ ،‬ثُ ‪ Prolog-EBG‬و‪ ٝ‬دس فلُ ‪ 11‬ت‪ٛ‬هیح داد‪ ٜ‬ؿذ‪ ،ٜ‬داسد‪ .‬ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬آ٘چ‪ ٝ‬دس‬
‫آ٘دب ٌفت‪ ٝ‬ؿذ‪٘ Prolog-EBG ،ٜ‬یض ت‪ٛ‬هیحبتی (پیـجی‪ٙ‬ی ٔمبدیش ‪ٞ‬ذف ٕ٘‪ )ٝ٘ٛ‬ثش اػضبع تئض‪ٛ‬سی لّٕضش‪ ٚ‬ایدضبد ٔضی و‪ٙ‬ضذ‪ .‬دس ‪Prolog-EBG‬‬
‫ت‪ٛ‬هیحبت ثب اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ٚ‬یی ٔتـىُ اص ‪ٞ horn clause‬ضب ‪ ٚ‬فشهضی‪ ٝ‬ی ‪ٞ‬ضذف ثضب ٔحبػضج‪ ٝ‬ی هضعیفتشیٗ پیـفشهضی وض‪ ٝ‬دس آٖ‬
‫ت‪ٛ‬هیحبت دسػت ثبؿ‪ٙ‬ذ ثبصثی‪ٙ‬ی ٔی ؿ‪ٛ‬د‪ .‬ث‪ٙ‬بثشایٗ ‪ٚ‬اثؼتٍی ‪ٞ‬بی ٘ؼجی دس ایٗ ت‪ٛ‬هیحبت ثب فشهی‪ٞ ٝ‬بی ‪ٞ horn clause‬بی یبدٌشفتض‪ ٝ‬ؿضذ‪ٜ‬‬
‫ثیبٖ ٔی ؿ‪ٛ‬د‪٘ EBNN .‬یض ت‪ٛ‬هیحبت ٔـبث‪ٟ‬ی ایدبد ٔی و‪ٙ‬ذ‪ ،‬أب ت‪ٛ‬هیحبت ‪ EBNN‬ثش پبی‪ ٝ‬ی تئ‪ٛ‬سی لّٕش‪ٚ‬یی اص ؿجى‪ٞ ٝ‬بی صلجی‪ ،‬ثض‪ ٝ‬خضبی‬
‫‪ٞ horn clause‬ب‪ ،‬اػت‪ٔ .‬ـبث‪ٚ ،Prolog-EBG ٝ‬اثؼتٍی ‪ٞ‬بی ٘ؼجی اص ایٗ ت‪ٛ‬هیحبت اػتخشاج ؿذ‪ ٚ ٜ‬ثشای ثبصثی‪ٙ‬ی فشهی‪ ٝ‬ی ‪ٞ‬ذف ث‪ ٝ‬وبس‬
‫ٔی س‪ٚ‬د‪ .‬دس ‪ EBNN‬ایٗ ‪ٚ‬اثؼتٍی ‪ٞ‬ب ث‪ ٝ‬فشْ ٔـتمبتی ثیبٖ ٔی ؿ‪ٛ‬د صیشا و‪ٔ ٝ‬ـتمبت ٕ٘بیؾ ًجیعی ‪ٚ‬اثؼتٍی دس ت‪ٛ‬اثع پی‪ٛ‬ػت‪ٔ ،ٝ‬ـبث‪ ٝ‬ؿجى‪ٞ ٝ‬بی‬

‫‪1‬‬
‫‪root-mean-squared‬‬
‫‪2‬‬
‫‪sonar‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫صلجی اػت‪ .‬دس ٔمبثُ‪ٕ٘ ،‬بیؾ ًجیعی ‪ٚ‬اثؼتٍی ‪ٞ‬ب دس ت‪ٛ‬هیحبت ٕ٘بدیٗ یب اثجبت‪ٟ‬بی ٔ‪ٌٙ‬می ت‪ٛ‬كیف ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ٕ٘‪ٞ ٝ٘ٛ‬بیی اػضت وض‪ ٝ‬ایضٗ‬
‫اثجبت ثشایـبٖ كبدق اػت‪.‬‬

‫تفب‪ٚ‬ت ‪ٞ‬بی ثؼیبسی ثیٗ لبثّیت ‪ٞ‬بی ‪ٔ ٚ EBNN‬تذ‪ٞ‬بی ٕ٘بدیٗ یبدٌیشی فلُ ‪ٚ 11‬خ‪ٛ‬د داسد‪ .‬تفب‪ٚ‬ت اكّی دس ایٗ اػت و‪ EBNN ٝ‬اص تئ‪ٛ‬سی‬
‫لّٕش‪ٞ ٚ‬بی ٘بوبُٔ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ ،‬دس حبِی و‪ Prolog-EBG ٝ‬اص تئ‪ٛ‬سی لّٕش‪ٞٚ‬بی وبُٔ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ضذ‪ .‬ایضٗ تفضب‪ٚ‬ت اص ایضٗ حمیمضت وض‪ٝ‬‬
‫‪ EBNN‬ثش پبی‪ ٝ‬ی ٔىب٘یؼتٓ اػتمشایی تٌبثك ثب ٔمبدیش آٔ‪ٛ‬صؿی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٚ ٜ‬اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬فمي ث‪ ٝ‬ص‪ٛٙ‬اٖ لیضذ اهضبفی ای ثضش س‪ٚ‬ی‬
‫فشهی‪ ٝ‬ی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ػبخت‪ ٝ‬ؿذ‪٘ ٜ‬بؿی ؿذ‪ ٜ‬اػت‪ .‬تفب‪ٚ‬ت ٔ‪ ٟٓ‬د‪ ْٚ‬اص ایٗ حمیمت ٘بؿی ٔی ؿ‪ٛ‬د و‪ Prolog-EBG ٝ‬دػضت‪ ٝ‬ای افضایـضی اص‬
‫‪ٞ horn clause‬ب سا یبد ٔی ٌیشد دس حبِی و‪ EBNN ٝ‬اص ؿجى‪ ٝ‬ی صلجی ای ثب ا٘ذاص‪ ٜ‬ی ثبثت اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ٕٞ .‬بٌ٘‪ٛ‬س و‪ ٝ‬دس فلُ ‪٘ 11‬یض‬
‫ٌفت‪ ٝ‬ؿذ‪ ،‬یىی اص ٔـىالت یبدٌیشی دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ ‪ horn clause‬ایٗ اػت و‪ٞ ٝ‬ضی‪ ٝٙ‬ی دػت‪ ٝ‬ث‪ٙ‬ذی ٕ٘‪٘ٛ‬ض‪ٞ ٝ‬ضبی خذیضذ ثضب ادأض‪ ٝ‬ی فشای‪ٙ‬ضذ‬
‫یبدٌیشی ‪ ٚ‬افضایؾ ‪ٞ horn clause‬بی خذیذ افضایؾ ٔی یبثذ‪ .‬ایٗ ٔـىُ دس ‪ٚ EBNN‬خ‪ٛ‬د ٘ذاسد صیشا و‪ ٝ‬ؿجى‪ ٝ‬ی ‪ٞ‬ذف ثب ا٘ضذاص‪ ٜ‬ی ثبثضت‬
‫صٔبٖ ثبثتی ثشای دػت‪ ٝ‬ث‪ٙ‬ذی ٕ٘‪٘ ٝ٘ٛ‬یبص خ‪ٛ‬ا‪ٞ‬ذ داؿت‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د‪ ،‬ؿجى‪ ٝ‬ی صلجی ثب ا٘ذاص‪ ٜ‬ی ثبثت دس ٔمبثُ ٔـىالتی داسد‪ ،‬صیضشا وض‪ٕٔ ٝ‬ىضٗ‬
‫اػت ٘ت‪ٛ‬ا٘ذ ت‪ٛ‬اثع ث‪ ٝ‬ا٘ذاص‪ ٜ‬ی وبفی پیچیذ‪ ٜ‬سا ٘ـبٖ د‪ٞ‬ذ‪ ،‬دس حبِی و‪ ٝ‬دػت‪ ٝ‬ای اص ‪ٞ horn clause‬ب ٔضی ت‪ٛ‬ا٘‪ٙ‬ضذ ثضب افضضایؾ تعضذاد ‪ٞ‬ضش تضبثع‬
‫پیچیذ‪ ٜ‬ای سا ٕ٘بیؾ د‪ٙٞ‬ذ‪ (Mitchell and Thrun 1993b) .‬ثحث دلیمتشی اص ساثٌ‪ ٝ‬ی ‪ٔ ٚ EBNN‬تذ‪ٞ‬بی یبدٌیشی ت‪ٛ‬هیحی ٕ٘ضبدیٗ‬
‫ا٘دبْ ٔی د‪ٞ‬ذ‪.‬‬

‫‪ 1.21‬استفاده از دانص قبلی برای تغییر عملگر های جستجو‬

‫دس د‪ ٚ‬لؼٕت ٌزؿت‪ ٝ‬د‪٘ ٚ‬مؾ دا٘ؾ لجّی دس یبدٌیشی سا ٌٔشح وشدیٓ‪ٔ :‬مذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ی فشهی‪ ٝ‬ی یبدٌیش ‪ ٚ‬تغییش تبثع ‪ٞ‬ضذفی وض‪ ٝ‬خؼضتد‪ٛ‬ی‬
‫فوبی فشهی‪ ٝ‬ای سا و‪ٙ‬تشَ ٔی و‪ٙ‬ذ‪ .‬دس ایٗ ثخؾ‪ ،‬س‪ٚ‬ؽ ػ‪ٔٛ‬ی ثشای اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای تغییضش خؼضتد‪ٛ‬ی فوضبی فشهضی‪ ٝ‬ای سا ٔض‪ٛ‬سد‬
‫ثحث لشاس خ‪ٛ‬ا‪ٞ‬یٓ داد‪ :‬اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای تغییش ٔدٕ‪ٛ‬ص‪ ٝ‬ی صٍّٕش ‪ٞ‬بیی و‪ٔ ٝ‬شاحُ لب٘‪٘ٛ‬ی دس خؼضتد‪ٛ‬ی فوضبی فشهضی‪ ٝ‬ای سا تعیضیٗ‬
‫ٔی و‪ٙٙ‬ذ‪ .‬ایٗ س‪ٚ‬ؽ دس اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ‪(Bergando ML-SMART ٚ (Pazzani 1991; Pazzani and Kibler 1992) ،FOCL‬‬
‫)‪ and Giordana 1990‬اػتفبد‪ ٜ‬ؿذ‪ ٜ‬اػت‪ٔ .‬ب دس ای‪ٙ‬دب اص اٍِ‪ٛ‬سیتٓ ‪ FOCL‬ثشای تل‪ٛ‬س س‪ٚ‬ؽ اػتفبد‪ ٜ‬خ‪ٛ‬ا‪ٞ‬یٓ وشد‪.‬‬

‫‪ 1.2121‬الگوریتم ‪FOCL‬‬
‫‪ FOCL‬تعٕیٕی اص ػیؼتٓ اػتمشایی ٔحن ‪ FOIL‬اػت و‪ ٝ‬دس فلُ ‪ 15‬ثض‪ً ٝ‬ض‪ٛ‬س وبٔضُ ثض‪ ٝ‬آٖ پضشداختیٓ‪ٞ .‬ضش د‪ ٚ‬ػیؼضتٓ ‪FOCL ٚ FOIL‬‬
‫ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ٞ horn clause‬بی دسخ‪ ٝ‬ا‪ َٚ‬ثشای پ‪ٛ‬ؿب٘ذٖ ٕ٘‪ٞ ٝ٘ٛ‬بی ٔـب‪ٞ‬ذ‪ ٜ‬ؿذ‪ ٜ‬ایدبد ٔی و‪ٙ‬ذ‪ٞ .‬ش د‪ ٚ‬ػیؼتٓ اص اٍِ‪ٛ‬سیتٕی تشتیجضی وض‪ٝ‬‬
‫اثتذا یه لب٘‪ ٖٛ‬یبد ٔی ٌیشد ‪ ٚ‬تٕبٔی ٕ٘‪ٞ ٝ٘ٛ‬بی ٔثجت پ‪ٛ‬ؿب٘ذ‪ ٜ‬ؿذ‪ ٜ‬ثب آٖ سا حزف ٔی و‪ٙ‬ذ ‪ ٚ‬ػپغ فشای‪ٙ‬ذ سا ثشای ٕ٘‪ٞ ٝ٘ٛ‬بی ثبلی ٔب٘ذ‪ ٜ‬تىضشاس‬
‫ٔی و‪ٙ‬ذ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ‪ .‬دس ‪ٞ‬ش د‪ ٚ‬ػیؼتٓ‪ٞ ،‬ش ‪ horn clause‬خذیذ ثب خؼتد‪ٛ‬یی وّی ث‪ ٝ‬خضئی ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ ،‬ایٗ خؼتد‪ ٛ‬اص وّضی تضشیٗ‬
‫‪ٕٔ horn clause‬ىٗ آغبص ٔی ؿ‪ٛ‬د (ٔثال ‪ horn clause‬ی و‪ٞ ٝ‬یچ ؿشًی ٘ضذاسد)‪ .‬ػضپغ چ‪ٙ‬ضذیٗ خضئضی ػضبصی ٕٔىضٗ ایضٗ ‪horn‬‬
‫‪ clause‬ػبخت‪ٔ ٝ‬ی ؿ‪ٛ‬د ‪ ٚ‬خضئی ػبصی ای و‪ ٝ‬ثیـتشیٗ ث‪ٟ‬ش‪ ٜ‬ی اًالصبت سا ثش س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی داسد ا٘تخبة ٔی ؿ‪ٛ‬د‪ .‬ایٗ فشای‪ٙ‬ذ تىشاس‬
‫ٔی ؿ‪ٛ‬د تب خضئی ػبصی ‪ٞ‬بی ثیـتشی ایدبد ؿ‪ٛ‬د ‪ ٚ‬ثبص ‪ ٓٞ‬ث‪ٟ‬تشیٗ آ٘‪ٟ‬ب ا٘تخبة ؿذ‪ ٜ‬تب ای‪ٙ‬ى‪ ٝ‬ث‪ horn clause ٝ‬ی ثشػذ وض‪ ٝ‬وضبسایی سهضبیت‬
‫ثخؾ سا داؿت‪ ٝ‬ثبؿذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تفب‪ٚ‬ت ‪ FOCL ٚ FOIL‬دس ٘ح‪ ٜٛ‬ی ایدبد خبف ػبصی ‪ٞ‬ب دس ًی خؼتد‪ٛ‬ی وّی ث‪ ٝ‬خضئی ثشای یبفتٗ یه ‪ horn clause‬اػضت‪ٕٞ .‬ضبٌ٘‪ٛ‬س‬
‫و‪ ٝ‬دس فلُ ‪٘ 15‬یض ٌفت‪ ٝ‬ؿذ‪ٞ FOIL ،‬ش خضئی ػبصی سا ثب اهبف‪ ٝ‬وشدٖ یه صجبست خذیذ ث‪ ٝ‬ؿش‪ٚ‬ى ‪ٔ horn clause‬ی ػضبصد‪٘ FOCL .‬یضض اص‬
‫‪ٕٞ‬یٗ س‪ٚ‬ؽ ثشای ایدبد خبف ػبصی ‪ٞ‬بی ٕٔىٗ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ أب صال‪ ٜٚ‬ثش آ٘‪ٟ‬ب خبف ػبصی ‪ٞ‬بی ٔجت‪ٙ‬ضی ثضش تئض‪ٛ‬سی لّٕضش‪ ٚ‬سا ٘یضض دس ٘ظضش‬
‫ٔی ٌیش‪ .‬یبَ ‪ٞ‬بی پش سً٘ دسخت خؼتد‪ ٛ‬دس ؿىُ ‪ٔ 1..8‬شاحُ خؼتد‪ ٛ‬ی وّی ث‪ ٝ‬خضئی دس ٘ظضش ٌشفتض‪ ٝ‬ؿضذ‪ ٜ‬دس خؼضتد‪ٛ‬ی ‪ FOIL‬سا ٘ـضبٖ‬
‫ٔی د‪ٙٞ‬ذ‪ .‬یبَ ‪ٞ‬بی خي چیٗ دس ایٗ دسخت خؼتد‪( ٛ‬ؿىُ ‪ )1..8‬خبف ػبصی ‪ٞ‬بی اهبفی دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬ت‪ٛ‬ػي ‪ٔ ٚ FOCL‬جت‪ٙ‬ی ثش تئ‪ٛ‬سی‬
‫لّٕش‪ٞ ٚ‬ؼت‪ٙ‬ذ‪.‬‬

‫ؿىُ ‪ 1..8‬خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای ‪.FOCL‬‬

‫ثشای یبدٌیشی یه لب٘‪ FOCL ،ٖٛ‬فشهی‪ٞ ٝ‬بی ٕٔىٗ سا وّی ث‪ ٝ‬خضئی ‪ ٚ‬ث‪ ٝ‬ك‪ٛ‬ست افضایـی ٔ‪ٛ‬سد ثشسػی لشاس ٔی د‪ٞ‬ذ‪ .‬د‪ٛ٘ ٚ‬خ صٍّٕش خبف ػبصی فشهی‪ ٝ‬ی‬
‫فعّی سا ا٘دبْ ٔی د‪ٙٞ‬ذ‪ .‬یىی اص ایٗ د‪ٛ٘ ٚ‬خ ت‪ٟٙ‬ب یه صجبست خذیذ ث‪ ٝ‬لب٘‪ ٖٛ‬اهبف‪ٔ ٝ‬ی و‪ٙ‬ذ (خٌ‪ٛ‬ى ٔت‪ٛ‬ػي ؿىُ)‪ .‬صٍّٕش ٘‪ٛ‬خ د‪ ْٚ‬خبف ػبصی لب٘‪ ٖٛ‬فعّی سا‬
‫ثب اهبف‪ ٝ‬وشدٖ ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص صجبسات و‪ ٝ‬ث‪ًٛ ٝ‬س ٔ‪ٌٙ‬می ؿشى وبفی تبثع ‪ٞ‬ذف ثش اػبع تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت سا دس ٘ظش ٔی ٌیشد (خٌض‪ٛ‬ى خضي چضیٗ ؿضىُ)‪.‬‬
‫‪ FOCL‬اص ٔیبٖ ایٗ خبف ػبصی ‪ٞ‬ب‪ ،‬ثب ٔعیبس وبسایی ؿبٖ ثش س‪ٚ‬ی داد‪ٞ ٜ‬ب خبف ػبصی ای ا٘تخبة ٔی و‪ٙ‬ذ‪ .‬ث‪ٙ‬بثشایٗ تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بی ٘بوبُٔ فمي صٔب٘ی و‪ٝ‬‬
‫ٔذاسن تبییذی داؿت‪ ٝ‬ثبؿ‪ٙ‬ذ تبثیش خ‪ٛ‬ا‪ٙٞ‬ذ ٌزاؿت‪ .‬ایٗ ٔثبَ ثش پبی‪ ٝ‬داد‪ٞ ٜ‬ب ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٚ‬ی اػتفبد‪ ٜ‬ؿذ‪ ٜ‬دس ‪ KBANN‬آ‪ٚ‬سد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ٞ FOIL ٚ FOCL ٝ‬ش د‪ٞ horn clause ٚ‬بی دسخ‪ ٝ‬ا‪ َٚ‬سا یبد ٔی ٌیش٘ذ أب دس ای‪ٙ‬دب ثحث سا ث‪ ٝ‬ل‪ٛ‬ا٘یٗ ٌضضاس‪ ٜ‬ای دسخض‪ ٝ‬ا‪ َٚ‬یضب‬
‫‪ٕٞ‬بٖ ‪ٞ horn clause‬بی ثذ‪ٔ ٖٚ‬تغیش ٔحذ‪ٚ‬د ٔی و‪ٙ‬یٓ‪ .‬د‪ٚ‬ثبس‪ٔ ٜ‬ف‪ٞ ْٟٛ‬ذف ‪ٞ ٕٝ٘ٛ٘ ،Cup‬بی آٔ‪ٛ‬صؿی ٔشث‪ ٚ ًٝٛ‬تئ‪ٛ‬سی لّٕش‪ ٚ‬ؿىُ ‪ 1..3‬سا‬
‫دس ٘ظش ثٍیشیذ‪ .‬ثشای ت‪ٛ‬كیف صّٕیبت ‪ ،FOCL‬اثتذا ثبیذ فشق ثیٗ صجبسات آٔذ‪ ٜ‬دس تئ‪ٛ‬سی لّٕش‪ ٚ ٚ‬فشهی‪ٞ ٝ‬ب سا ٔـخق و‪ٙ‬یٓ‪ .‬صٔب٘ی ٔضی ٌض‪ٛ‬ییٓ‬
‫یه صجبست صّٕیبتی )‪ (operational‬اػت و‪ ٝ‬اخبص‪ ٜ‬داؿت‪ ٝ‬ثبؿیٓ آ٘شا دس ت‪ٛ‬كیف یه فشهی‪ ٝ‬ی خش‪ٚ‬خی ثىضبس ثجضشیٓ‪ .‬ثضشای ٔثضبَ دس ٔثضبَ‬
‫‪ Cup‬ؿىُ ‪ٔ 1..3‬ب فمي اخبص‪ ٜ‬داسیٓ و‪ ٝ‬اص ‪ٚ 1.‬یظٌی ای و‪ ٝ‬دس ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی آٔذ‪ٔ( ٜ‬ثُ ‪ )HandleOnTop ،HasHandle‬صجبسات‬
‫ٔجت‪ٙ‬ی ثش ایٗ ‪ٚ 1.‬یظٌی ث‪ٙ‬بثشایٗ صجبسات صّٕیبتی ؿٕشد‪ٔ ٜ‬ی ؿ‪٘ٛ‬ذ‪ .‬دس ٔمبثُ‪ ،‬صجبساتی و‪ٔ ٝ‬جت‪ٙ‬ی ثش ‪ٚ‬یظٌی ‪ٚ‬اػٌ‪ ٝ‬ی ٔیب٘ی دس تئ‪ٛ‬سی لّٕش‪ ٚ‬ا٘ذ ‪ٚ‬‬
‫ٔجت‪ٙ‬ی ثش ‪ٚ‬یظٌی ا‪ِٚ‬ی‪ ٝ‬ی ٕ٘‪ٞ ٝ٘ٛ‬ب ٘یؼت‪ٙ‬ذ صجبسات غیش صّٕیبتی ث‪ ٝ‬ؿٕبس ٔی آی‪ٙ‬ذ‪ ٕٝ٘ٛ٘ .‬ای اص ‪ٚ‬یظٌی ‪ٞ‬ضبی غیضش صّٕیضبتی دس ایضٗ ٔثضبَ ‪ٚ‬یظٌضی‬
‫‪ Stable‬اػت‪.‬‬

‫دس ‪ٞ‬ش ٔشحّ‪ ٝ‬اص خؼتد‪ ٛ‬ی وّی ث‪ ٝ‬خضئی ‪ FOCL‬فشهی‪ ٝ‬ی فعّی خ‪ٛ‬د ‪ h‬سا ثب د‪ ٚ‬صٍّٕش صیش ٌؼتشؽ ٔی د‪ٞ‬ذ‪:‬‬

‫ثشای ‪ٞ‬ش صجبست صّٕیبتی و‪ ٝ‬خض‪٘ h ٚ‬یؼت‪ ،‬یه خضئی ػبصی اص لب٘‪ h ٖٛ‬ثب اهبف‪ ٝ‬وشدٖ ایٗ ته صجبست ث‪ ٝ‬ؿش‪ٚ‬ى لب٘‪ ٖٛ‬ثؼبص‪FOIL .‬‬
‫٘یض اص ایٗ ٔتذ ثشای ایدبد خضئی ػبصی ٕٔىٗ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬فّؾ ‪ٞ‬بی پش سً٘ ؿىُ ‪ 1..8‬ایٗ ٘‪ٛ‬خ خضئی ػبصی سا ٘ـبٖ ٔی د‪ٞ‬ذ‪.‬‬
‫ٌٔبثك ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬ؿشًی ٔ‪ٌٙ‬می ‪ ٚ‬صّٕیبتی ثشای تبثع ‪ٞ‬ذف ثؼبص‪ .‬ایٗ صجبست خذیذ سا ث‪ ٝ‬ؿش‪ٚ‬ى لب٘‪ h ٖٛ‬اهبف‪ ٝ‬وٗ ‪ ٚ‬ثالخش‪ ٜ‬ثضب‬
‫حزف ؿش‪ٚ‬ى اهبفی (ثشای پ‪ٛ‬ؿؾ ٕ٘‪ٞ ٝ٘ٛ‬ب) ‪ h‬سا ‪ٞ‬شع وٗ‪ .‬فّؾ خي چیٗ دس ؿىُ ‪ 1..8‬چ‪ٙ‬یٗ خضئی ػبصی ای سا ٘ـبٖ ٔی د‪ٞ‬ذ‪.‬‬
‫خضئیبت صٍّٕش د‪ ْٚ‬ث‪ ٝ‬ؿشح صیش اػت‪ FOCL .‬اثتذا یىی اص ل‪ٛ‬ا٘یٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬و‪ ٝ‬حىٕؾ ثب تبثع ‪ٞ‬ذف یىی اػضت سا ا٘تخضبة ٔضی و‪ٙ‬ضذ‪ .‬اٌضش‬
‫چ‪ٙ‬ذیٗ لب٘‪ ٖٛ‬چ‪ٙ‬یٗ حبِتی داؿت‪ ٝ‬ثبؿذ لب٘‪٘ٛ‬ی ا٘تخبة خ‪ٛ‬ا‪ٞ‬ذ ؿذ و‪ ٝ‬ث‪ٟ‬ش‪ ٜ‬ی اًالصبت ثیـتشی ثش س‪ٚ‬ی تبثع ‪ٞ‬ضذف داسد‪ .‬ثضشای ٔثضبَ‪ ،‬ثضب تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ ٚ‬داد‪ٞ ٜ‬بی خذ‪ 1..3 َٚ‬فمي یه لب٘‪ ٖٛ‬چ‪ٙ‬یٗ حبِتی خ‪ٛ‬ا‪ٞ‬ذ داؿت‪:‬‬

‫‪Cup←Stable,Liftable,OpenVessel‬‬

‫ؿش‪ٚ‬ى لب٘‪ ٖٛ‬ا٘تخبثی ؿشًی ٔ‪ٌٙ‬می وبفی ثشای تبثع ‪ٞ‬ذف سا تـىیُ ٔی د‪ٞ‬ذ‪ٞ .‬ش صجبست غیش صّٕیبتی دس ایٗ ؿشى وبفی ثضب اػضتفبد‪ ٜ‬اص تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ‬خبیٍضیٗ ٔی ؿ‪ٛ‬د‪ ،‬ثذیٗ ٔع‪ٙ‬ب و‪ ٝ‬حىٓ ل‪ٛ‬ا٘یٗ ثب ؿش‪ًٚ‬ـبٖ خبیٍضیٗ ٔی ؿ‪ٛ‬د‪ .‬ثشای ٔثبَ‪ ،‬لضب٘‪ٔ Stable←BottomIsFlat ٖٛ‬عضبدَ‬
‫خبیٍضیٗ وشدٖ صجبست صّٕیبتی ‪ BottomIsFlat‬ث‪ ٝ‬خبی صجبست غیش صّٕیبتی ‪ Stable‬اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ .‬ایٗ فشای‪ٙ‬ذ ثبصوشدٖ‪ 1‬تئ‪ٛ‬سی لّٕش‪ ٚ‬تب‬
‫خبیی و‪ ٝ‬ؿشى وبفی ثب صجبسات صّٕیبتی ثیبٖ ؿ‪ٛ‬د ادأ‪ ٝ‬پیذا ٔی و‪ٙ‬ذ‪ .‬اٌش چ‪ٙ‬ذیٗ لب٘‪ ٖٛ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای یه صجبست ت‪ٛ‬هیح آ‪ٚ‬سد‪ ٜ‬ثبؿ‪ٙ‬ذ ا٘ى‪ٝ‬‬
‫ث‪ٟ‬ش‪ ٜ‬ی اًالصبت ثیـتشی داسد ثشای خبیٍضی‪ٙ‬ی اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د‪ٚ .‬اهح اػت و‪ ٝ‬ؿشى وبفی ثب داد‪ٞ ٜ‬ب ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٛٔ ٚ‬خ‪ٛ‬د دس ٔثضبَ ‪ Cup‬ثض‪ٝ‬‬
‫ك‪ٛ‬ست صیش اػت‪:‬‬

‫‪BottomIsFlat, HasHandle, Light, HasConcavity, ConcavityPointsUp‬‬

‫دس ٔشحّ‪ ٝ‬ی آخش دس ایدبد خبف ػبصی ٕٔىٗ‪ ،‬ایٗ ؿشى وبفی ‪ٞ‬شع ٔی ؿ‪ٛ‬د‪ .‬ثذیٗ ك‪ٛ‬ست و‪ٞ ٝ‬ش صجبستی و‪ ٝ‬حزفؾ ثبصث وب‪ٞ‬ؾ دلت دػت‪ٝ‬‬
‫ث‪ٙ‬ذی ثش س‪ٚ‬ی ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ٕ٘ی ؿ‪ٛ‬د حزف خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ .‬ایٗ ٔشحّ‪ ٝ‬ثشای تـخیق خضئی ػبصی ثیؾ اص حذ‪ .‬ایدضبد ؿضذ‪ ٜ‬اػضت صیضشا وض‪ٝ‬‬

‫‪1‬‬
‫‪unfolding‬‬
‫‪2‬‬
‫‪overspecialization‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بی ٘بوبُٔ ٕٔىٗ اػت صجبسات ٘بٔشث‪ٛ‬ى دس ثش داؿت‪ ٝ‬ثبؿ‪ٙ‬ذ‪ .‬دس ٔثبَ حبهش‪ ،‬حزف صجبست ‪ HasHandle‬ثبصضث افضضایؾ وضبسایی‬
‫ٔی ؿ‪ٛ‬د‪ .‬ث‪ٙ‬بثشایٗ ؿشى وبفی ث‪ ٝ‬ك‪ٛ‬ست صیش خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪:‬‬

‫‪BottomIsFlat, Light, HasConcavity, ConcavityPointsUp‬‬

‫حبَ ایٗ ٔدٕ‪ٛ‬ص‪ ٝ‬اص صجبسات ث‪ ٝ‬ؿش‪ٚ‬ى فشهی‪ ٝ‬فعّی اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ت‪ٛ‬خ‪ ٝ‬داؿت‪ ٝ‬ثبؿیذ و‪ ٝ‬فشهی‪ ٝ‬حبكُ ثب فّؾ خي چیٗ دس ؿىُ ‪٘ 1..8‬ـضبٖ‬
‫داد‪ ٜ‬ؿذ‪ ٜ‬اػت‪.‬‬

‫یىی اص خضئی ػبصی ‪ٞ‬بی فشهی‪ ٝ‬ی فعّی ثب اػتفبد‪ ٜ‬اص د‪ ٚ‬صٍّٕش ثبال ایدبد ؿذ‪ ٜ‬اػت‪ .‬ثیٗ ایضٗ فشهضی‪ٞ ٝ‬ضب فشهضی‪ ٝ‬ای وض‪ ٝ‬ثیـضتشیٗ ث‪ٟ‬ضش‪ ٜ‬ی‬
‫اًالصبت سا داؿت‪ ٝ‬ثبؿذ ا٘تخبة خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ .‬دس ٔثبَ ٘ـبٖ داد‪ ٜ‬ؿذ‪ ٜ‬دس ؿىُ ‪ 1..8‬خضئی ػبصی ا٘تخبة ؿذ‪ ٜ‬دس ٔشحّض‪ ٝ‬ی ا‪ َٚ‬دسخضت خؼضتد‪ٛ‬‬
‫‪ٕٞ‬بٖ خبف ػبصی حبكُ اص تئ‪ٛ‬سی لّٕش‪ ٚ‬اػت‪ .‬دس ادأ‪ ٝ‬ی خؼتد‪ ٛ‬ػیؼتٓ ث‪ ٝ‬د٘جبَ خضئی ػبصی ثیـتش ؿش‪ٚ‬ى تئ‪ٛ‬سی لّٕضش‪ٔ ٚ‬ضی ٌضشدد‪ .‬ایضٗ‬
‫لؼٕت اص خؼتد‪ ٛ‬لؼٕت اػتمشایی خؼتد‪ ٛ‬اػت و‪ ٝ‬ثبصٍ٘شی دس ؿش‪ٚ‬ى اؿتمبلی اص تئ‪ٛ‬سی لّٕش‪ ٚ‬سا ٕٔىٗ ٔی ػبصد‪ .‬دس ٔثبَ حبهش‪ ،‬تئ‪ٛ‬سی لّٕش‪ٚ‬‬
‫فمي دس ٔشحّ‪ ٝ‬ی ا‪ َٚ‬خؼتد‪ ٛ‬تبثیش ٔی ٌزاسد‪ .‬ثب ایٗ ‪ٚ‬خ‪ٛ‬د ‪ٕٞ‬یـ‪ ٝ‬ایٗ اتفبق ٕ٘ی افتذ‪ .‬اٌضش تئض‪ٛ‬سی لّٕضش‪ ٚ‬ثض‪ ٝ‬ا٘ضذاص‪ ٜ‬ی وضبفی وضبسا ٘جبؿضذ دس‬
‫ٔشحّ‪ ٝ‬ی ا‪ َٚ‬اص س‪ٚ‬ؽ اػتمشایی اػتفبد‪ٔ ٜ‬ی ؿ‪ٛ‬د ‪ ٚ‬تبثیش تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ٔ ٝ‬شاحُ ثعذی ٔ‪ٛ‬و‪ٔ َٛ‬ی ؿ‪ٛ‬د ‪ .‬ث‪ًٛ ٝ‬س خالك‪ ٝ‬ای‪ٙ‬ى‪horn ،FOCL ٝ‬‬
‫‪ٞ clause‬ب سا ث‪ ٝ‬فشْ صیش یبد ٔی ٌیشد‪،‬‬

‫←‬

‫صٌفی ا‪ِٚ‬ی‪ ٝ‬اص صجبسات صّٕیبتی اػت و‪ ٝ‬دس ٔشحّ‪ ٝ‬ث‪ٔ ٝ‬شحّ‪ ٝ‬ت‪ٛ‬ػي صٍّٕش ا‪ َٚ‬ث‪ ٝ‬لب٘‪ ٖٛ‬اهبف‪ ٝ‬ؿذ‪ ٜ‬اػت‬ ‫دس ایٗ ساثٌ‪ٔ c ٝ‬ف‪ٞ ْٟٛ‬ذف اػت ‪ٚ‬‬
‫٘یضض صٌفضی اص صجضبسات‬ ‫صٌفی اص صجبسات صّٕیبتی اػت و‪ ٝ‬دس یه ٔشحّ‪ ٝ‬ثش اػبع تئ‪ٛ‬سی لّٕش‪ ٚ‬اهضبف‪ٔ ٝ‬ضی ؿض‪ٛ‬د ‪ٚ‬‬ ‫(دس ٔشاحُ لجّی)‪،‬‬
‫صّٕیبتی اػت و‪ ٝ‬دس یه ٔشحّ‪ ٝ‬ت‪ٛ‬ػي صٍّٕش ا‪ َٚ‬اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ٞ .‬ش یه اص ایٗ ػ‪ٔ ٝ‬دٕ‪ٛ‬ص‪ٕٔ ٝ‬ىٗ اػت ت‪ٟ‬ی ثبؿذ‪.‬‬

‫ؿىُ ‪ 1..9‬خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای ‪.FOCL‬‬

‫‪ٔ FOCL‬دٕ‪ٛ‬ص‪ ٝ‬ای صٍّٕش ‪ٞ‬بی خؼتد‪ٛ‬ی ‪ FOIL‬سا تغییش ٔی د‪ٞ‬ذ‪ .‬ثب ‪ٚ‬خ‪ٛ‬د ای‪ٙ‬ى‪ FOIL ٝ‬فمي اهبف‪ ٝ‬وشدٖ یه صجبست سا دس ‪ٞ‬ش ٔشحّ‪ ٝ‬دس ٘ظش ٔی ٌیشد‪ ،‬أب‬
‫‪ FOCL‬اهبف‪ ٝ‬وشدٖ چ‪ٙ‬ذیٗ صجبست اػتخشاخی اص تئ‪ٛ‬سی لّٕش‪ ٚ‬دس یه ٔشحّ‪ ٝ‬سا ٘یض دس ٘ظش ٔی ٌیشد‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ثحث ثبال اػتفبد‪ ٜ‬اص تئ‪ٛ‬سی لّٕش‪ٌ ٚ‬ضاس‪ ٜ‬ای دس ایدبد خبف ػبصی ‪ٞ‬بی ٕٔىٗ فشهی‪ ٝ‬دس ًی خؼتد‪ٛ‬ی وّی ث‪ ٝ‬خضئی ثشای پیذا وضشدٖ ‪horn‬‬
‫‪ٙٔ clause‬بػت سا ت‪ٛ‬كیف ٔی و‪ٙ‬ذ‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ ٔی ت‪ٛ‬ا٘ذ ث‪ ٝ‬ساحتی ثشای ٕ٘بیؾ دسخ‪ ٝ‬ا‪ َٚ‬تعٕیٓ داد‪ ٜ‬ؿ‪ٛ‬د (ل‪ٛ‬ا٘ی‪ٙ‬ی و‪ٔ ٝ‬تغیش ٘یض داس٘ذ)‪ .‬فلُ‬
‫‪ 15‬ث‪ًٛ ٝ‬س وبُٔ اٍِ‪ٛ‬سیتٓ ‪٘ ٚ FOIL‬ح‪ ٜٛ‬ی تعٕیٓ ایدبد ‪ٞ horn clause‬بی دسخ‪ ٝ‬ا‪ َٚ‬ثذ‪ٔ ٖٚ‬تغیش ث‪ ٝ‬ایدضبد ‪ٞ horn clause‬ضبی دسخض‪ٝ‬‬
‫ا‪ َٚ‬ثب ٔتغیش سا ت‪ٛ‬هیح داد‪ ٜ‬اػت‪ .‬ثشای تعٕیٓ صٍّٕش د‪ ْٚ‬ثشای تٌجیك ثب تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬بیی ثضب ‪ٞ horn clause‬ضبی دسخض‪ ٝ‬ا‪ ،َٚ‬دس ثضبصوشدٖ‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬ثبیذ ٔتغیش ‪ٞ‬ب سا دس ٘ظش ٌشفت‪ .‬ایٗ وبس سا ٔی ت‪ٛ‬اٖ ثب س‪ٚ‬ؽ فشای‪ٙ‬ذ ‪ regression‬دس خذ‪ 11.3 َٚ‬ا٘دبْ داد‪.‬‬

‫‪ 1.212.‬نکبت‬
‫‪ FOCL‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای افضایؾ خضئی ػبصی ‪ٞ‬بی ٕٔىٗ دس ٘ظش ٌشفت‪ ٝ‬ؿضذ‪ ٜ‬دس ‪ٞ‬ضش ٔشحّض‪ ٝ‬اص خؼضتد‪ٛ‬ی ‪ٞ horn clause‬ضب اػضتفبد‪ٜ‬‬
‫ٔی و‪ٙ‬ذ‪ .‬ؿىُ ‪ 1..9‬خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای اٍِ‪ٛ‬سیتٓ ‪ ٚ FOCL‬اٍِ‪ٛ‬سیتٓ اػتمشایی ٔحن ‪ FOIL‬سا ٔمبیؼ‪ٔ ٝ‬ی و‪ٙ‬ذ‪ .‬خضئی ػبصی ٔت‪ٙ‬بػت‬
‫ثب تئ‪ٛ‬سی لّٕش‪ ٚ‬دس ‪ٔ FOCL‬ـبث‪ ٝ‬تغییشات ثضسي )‪ (macro‬دس خؼتد‪ٛ‬ی ‪ FOIL‬و‪ ٝ‬دس آٖ چ‪ٙ‬ذیٗ صجبست ‪ٕٞ‬ضٔضبٖ ‪ ٚ‬دس یضه ٌضبْ ثض‪ ٝ‬لضب٘‪ٖٛ‬‬
‫اهبف‪ٔ ٝ‬ی ؿ‪ٛ‬د‪ .‬ایٗ فشای‪ٙ‬ذ سا ٔی ت‪ٛ‬اٖ ث‪ ٝ‬دیذ تشفیع فشهی‪ ٝ‬ای و‪ٕٔ ٝ‬ىٗ اػت دس ادأ‪ ٝ‬ی خؼتد‪ٛٔ ٛ‬سد ثشسػی لشاس ٌیشد دس ٘ظضش ٌشفضت ‪.---‬‬
‫اٌش تئ‪ٛ‬سی لّٕش‪ ٚ‬دسػت ثبؿذ‪ ،‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ٘یض ٌٔبثك ثب آٖ خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د‪ ،‬پغ ایٗ خبف ػبصی ا٘تخبة خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪ .‬حبَ اٌضش تئض‪ٛ‬سی لّٕضش‪ٚ‬‬
‫دسػت ٘جبؿذ‪ ،‬اسصیبثی تٕبٔی فشهی‪ٞ ٝ‬ب ك‪ٛ‬ست ٌشفت‪ٔ ٚ ٝ‬ؼیش دیٍشی ثشای ادأ‪ ٝ‬ی خؼتد‪ ٛ‬ا٘تخبة خ‪ٛ‬ا‪ٞ‬ذ ؿذ‪.‬‬

‫ث‪ًٛ ٝ‬س خالك‪ FOCL ٝ‬اص ‪ٞ‬ش د‪ ٚ‬س‪ٚ‬ؽ ایدبد خضئی ػبصی ٕٔىٗ ثب س‪ٚ‬ؽ اػتمشایی ‪ٔ ٚ‬جت‪ٙ‬ی ثش تئ‪ٛ‬سی لّٕش‪ ٚ‬دس ‪ٞ‬ضش ٔشحّض‪ ٝ‬اص خؼضتد‪ ٛ‬اػضتفبد‪ٜ‬‬
‫ٔی و‪ٙ‬ذ‪ .‬اٍِ‪ٛ‬سیتٓ ثیٗ خضئی ػبصی ‪ٞ‬بی ٕٔىٗ فمي ثش اػبع ٔعیبسی و‪ ٝ‬ثش اػبع تدشث‪ٞ ٕٝ٘ٛ٘( ٝ‬بی آٔ‪ٛ‬صؿی) اػت ا٘تخبة ٔی و‪ٙ‬ذ‪ .‬ث‪ٙ‬ضبثشایٗ‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬یبدٌیش سا ثبیبع ٔی و‪ٙ‬ذ أب ا٘تخبة ثیٗ ایٗ ثبیبع ‪ ٚ‬ػیؼتٓ اػتمشایی سا ثش ص‪ٟ‬ذ‪ ٜ‬ی تدشث‪( ٝ‬س‪ٚ‬ؽ اػتمشایی) ٔضی ٌضزاسد‪ .‬ثبیبػضی‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬ایدبد ٔی و‪ٙ‬ذ تشخیح ا٘تخبة ‪ٞ horn clause‬بی ٔـبث‪ٞ horn clause ٝ‬بی صّٕیبتی‪ٌٙٔ ،‬می ‪ ٚ‬وبفی اػضتخشاخی اص تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ‬اػت‪ .‬ایٗ ثبیبع ثب ثبیبع ثش٘بٔ‪ ٝ‬ی اػتمشایی ٔحن ‪ ،FOIL‬و‪ ٝ‬تشخیح فشهی‪ٞ ٝ‬بی و‪ٛ‬تب‪ٞ‬تش اػت‪ ،‬تشویت ؿذ‪ ٚ ٜ‬ثبیضبع ایضٗ ػیؼضتٓ سا‬
‫ایدبد ٔی و‪ٙ‬ذ‪.‬‬

‫‪٘ FOCL‬ـبٖ داد‪ ٜ‬اػت و‪ ٝ‬دس تعذادی اص وبسثشد ‪ٞ‬ب و‪ ٝ‬تئ‪ٛ‬سی لّٕش‪٘ ٚ‬بوبُٔ دس دػتشع اػت دلت ث‪ٟ‬تشی دس تعٕیٓ ٘ؼجت ث‪ ٝ‬اٍِ‪ٛ‬سیتٓ اػتمشایی‬
‫ٔحن ‪ FOIL‬داسد‪ .‬ثشای ٔثبَ‪ (Pazzani and Kibler 1992) ،‬ثب ایٗ س‪ٚ‬ؽ ٔف‪" ْٟٛ‬چی‪ٙ‬ؾ ‪ٞ‬بی ٔدضبص كضفح‪ ٝ‬ی ؿضٌش٘ح" سا ثشسػضی‬
‫وشد٘ذ‪ .‬ثب ٔدٕ‪ٛ‬ص‪ ٝ‬ای ‪ 65‬تبیی اص ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿضی وض‪ ٝ‬حضب‪ٚ‬ی ‪ٕ٘ٛ٘ 35‬ض‪ ٝ‬ی ٔدضبص ‪ٕ٘ٛ٘ 35 ٚ‬ض‪ ٝ‬ی غیشٔدضبص ثض‪ٛ‬د‪ 86 FOIL ،‬دسكضذ س‪ٚ‬ی‬
‫ٔدٕ‪ٛ‬ص‪ ٝ‬ی ٔدضایی وبسایی داؿت‪ .‬دس حبِی و‪ FOCL ٝ‬ثب ‪ٕٞ‬بٖ ٕ٘‪ٞ ٝ٘ٛ‬بی آٔ‪ٛ‬صؿی ‪ ٚ‬تئ‪ٛ‬سی لّٕش‪ٚ‬یی ثب ‪ 76‬وبسایی‪ 94 ،‬دسكضذ وضبسایی ٘‪ٟ‬ضبیی‬
‫داؿت‪ ،‬و‪ ٝ‬ایٗ خٌبی ٔمذاس اص ٘لف ٔیضاٖ خٌبی ‪ FOIL‬وٕتش اػت‪ .‬ثشای ٔثبَ‪ ،‬ثب ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ ٕٝ٘ٛ٘ 555‬ی آٔ‪ٛ‬صؿی خشاثی تّفٗ اص ؿشوت‬
‫‪ FOIL ،NYNEX‬وبسایی ‪ 95‬دسكذ داؿت دسحبِی و‪ FOCL ٝ‬ثب تئ‪ٛ‬سی لّٕش‪ٚ‬یی ثب وبسایی ‪ 95‬دسكذ ث‪ ٝ‬وبسایی ٘‪ٟ‬ضبییی ‪ 98‬دسكضذ س‪ٚ‬ی ‪ٕٞ‬ضبٖ‬
‫ٔدٕ‪ٛ‬ص‪ ٝ‬ی تؼت سػیذ‪.‬‬

‫‪ 1.21‬آخرین پیشرفت ها‬

‫ٔتذ ‪ٞ‬بی ٔعشفی ؿذ‪ ٜ‬دس ایٗ فلُ فمي س‪ٚ‬ؽ ‪ٞ‬بی ػبد‪ ٜ‬ی ٕٔىٗ دس تشویت یبدٌیشی تحّیّی ‪ ٚ‬اػتمشایی اػت‪ .‬دس حبِی وض‪ٞ ٝ‬ضش یضه اص ایضٗ‬
‫ٔتذ ‪ٞ‬ب ٘ـبٖ داد‪ ٜ‬ا٘ذ و‪ ٝ‬وبسایی ث‪ٟ‬تشی ٘ؼجت ث‪ ٝ‬س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ٔحن داس٘ذ‪ ،‬أب ‪ٞ‬یچ یه اص ایٗ س‪ٚ‬ؽ ‪ٞ‬ب دس س‪ٚ‬ی ٔدٕ‪ٛ‬ص‪ ٝ‬ی ٔت‪ٛٙ‬صی اص‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫لّٕش‪ٞ ٚ‬ب‪ 1‬تؼت ٘ـذ‪ ٜ‬یب وبسایی خ‪ٛ‬ثی ٘ذاؿت‪ ٝ‬ا٘ذ‪ .‬ثحث تشویت س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ‪ ٚ‬تحّیّی ‪ٛٙٞ‬ص یىی اص ثحث ‪ٞ‬ضبی لبثضُ تحمیضك ‪ ٚ‬ثشسػضی‬
‫اػت‪.‬‬

‫‪ 1.21‬خالصه و منابع برای مطالعه بیشتر‬

‫٘ىبت اكّی ایٗ فلُ ؿبُٔ ٔ‪ٛ‬اسد صیش ٔی ثبؿذ‪:‬‬

‫دا٘ؾ لجّی تمشیجی‪ ،‬یب تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬ب دس ثؼیبسی اص ٔؼبئُ یبدٌیشی صّٕی دس دػتشع ا٘ذ‪ .‬س‪ٚ‬ؽ ‪ٞ‬بی اػتمشایی ٔحن ٔثُ دسخضت‬
‫تلٕیٓ ‪ ٚ‬ؿجى‪ٞ ٝ‬بی صلجی اص چ‪ٙ‬یٗ تئ‪ٛ‬سی لّٕش‪ٞٚ‬بیی اػتفبد‪ٕ٘ ٜ‬ی و‪ٙٙ‬ذ ‪ ٚ‬ث‪ٙ‬بثشا٘ی فمي صٔب٘ی و‪ٔ ٝ‬مذاس داد‪ٞ ٜ‬بی ثض‪ ٝ‬ا٘ضذاص‪ ٜ‬وضبفی‬
‫صیبد ثبؿذ دسػت صُٕ ٔی و‪ٙٙ‬ذ‪ .‬س‪ٚ‬ؿ‪ٟ‬بی تحّیّی ٔحن ٔثُ ‪ Prolog-EBG‬اص تئ‪ٛ‬سی لّٕش‪ٞ ٚ‬ب اػضتفبد‪ ٜ‬وضشد‪ ٜ‬أضب فشهضی‪ٞ ٝ‬ضبی‬
‫غّتی ثب داؿتٗ دا٘ؾ لجّی ٘بوبُٔ ایدبد ٔی و‪ٙٙ‬ذ‪ٔ .‬تذ‪ٞ‬بیی و‪ٔ ٝ‬خّ‪ًٛ‬ی اص یبدٌیشی اػتمشایی ‪ ٚ‬تحّیّی ا٘ذ ٔی ت‪ٛ‬ا٘‪ٙ‬ذ اص ٔضیت ‪ٞ‬ش د‪ٚ‬‬
‫ٔتذ ث‪ٟ‬ش‪ ٜ‬ثجش٘ذ‪ :‬وب‪ٞ‬ؾ پیچیذٌی ٕ٘‪ ٝ٘ٛ‬ای ‪ ٚ‬لذست تلحیح دا٘ؾ لجّی ٘بدسػت‪.‬‬
‫یىی اص س‪ٚ‬ؿ‪ٟ‬ب‪ ،‬اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی تشویت یبدٌیشی اػتمشایی ‪ ٚ‬تحّیّی ثب ت‪ٛ‬خ‪ ٝ‬ث‪ ٝ‬تبثیش تئ‪ٛ‬سی لّٕش‪ ٚ‬ثش خؼتد‪ٛ‬ی فوبی فشهی‪ ٝ‬ای اػت‪.‬‬
‫دس ایٗ فلُ ث‪ٔ ٝ‬تذ‪ٞ‬بیی پشداختیٓ و‪ ٝ‬اص تئ‪ٛ‬سی لّٕش‪ٚ‬ی ٘بوبُٔ ثشای (‪ )1‬ایدبد فشهی‪ ٝ‬ا‪ِٚ‬ی‪ ٝ‬ی خؼتد‪ ٛ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ٌ ).( ،‬ؼتشؽ‬
‫ٔدٕ‪ٛ‬ص‪ ٝ‬ی صٍّٕش ‪ٞ‬بی خؼتد‪ ٛ‬و‪ ٝ‬ثبصٍ٘شی س‪ٚ‬ی فشهی‪ ٝ‬فعّی ٔی و‪ٙٙ‬ذ اػتفبد‪ٔ ٜ‬ی و‪ٙٙ‬ذ ‪ٞ )3( ٚ‬ذف خؼضتد‪ ٛ‬سا تغییضش ٔضی د‪ٙٞ‬ضذ‬
‫ا٘دبْ دادیٓ‪.‬‬
‫یىی اص ػیؼتٓ ‪ٞ‬بیی و‪ ٝ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای ٔمذاس د‪ٞ‬ی ا‪ِٚ‬ی‪ ٝ‬ی فشهی‪ ٝ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ اٍِ‪ٛ‬سیتٓ ‪ KBANN‬اػت‪ .‬ایٗ اٍِ‪ٛ‬سیتٓ اص‬
‫تئ‪ٛ‬سی لّٕش‪ ٚ‬ثیبٖ ؿذ‪ ٜ‬ثب دػت‪ ٝ‬ل‪ٛ‬ا٘یٗ ٌضاس‪ ٜ‬ای تحّیّی ثشای ایدبد ؿجى‪ ٝ‬ی صلجی ا‪ِٚ‬ی‪ ٝ‬و‪ٔ ٝ‬عبدَ تئ‪ٛ‬سی لّٕش‪ ٚ‬ثبؿذ اػضتفبد‪ٔ ٜ‬ضی‬
‫و‪ٙ‬ذ‪ .‬ػپغ ایٗ تئ‪ٛ‬سی لّٕش‪ ٚ‬ث‪ ٝ‬ك‪ٛ‬ست اػتمشایی ت‪ٛ‬ػضي اٍِض‪ٛ‬ستیٓ ‪ ،Backpropagation‬ثضشای ث‪ٟ‬جض‪ٛ‬د وضبسایی س‪ٚ‬ی داد‪ٞ ٜ‬ضبی‬
‫آٔ‪ٛ‬صؿی ثبصثی‪ٙ‬ی ٔی ؿ‪ٛ‬د‪٘ .‬تید‪ ٝ‬ی حبكُ ؿجى‪ ٝ‬ای ثبیبع ؿذ‪ ٜ‬ت‪ٛ‬ػي تئ‪ٛ‬سی لّٕش‪ٚ‬ی اثتذایی خ‪ٛ‬ا‪ٞ‬ضذ ثض‪ٛ‬د وض‪ٚ ٝ‬ص٘‪ٟ‬ضبیؾ ثضب س‪ٚ‬ؽ‬
‫اػتمشایی س‪ٚ‬ی داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی ثبصثی‪ٙ‬ی ؿذ‪ ٜ‬ا٘ذ‪.‬‬
‫‪ TangentProp‬اص دا٘ؾ لجّی ٕ٘بیؾ داد‪ ٜ‬ؿذ‪ ٜ‬ثب ٔـتمبت تبثع ‪ٞ‬ذف ٘یض اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬دس ثعوضی صٔی‪ٙ‬ض‪ٞ ٝ‬ضب‪ٔ ،‬ثضُ پضشداصؽ‬
‫تل‪ٛ‬یش‪ ،‬ایٗ س‪ٚ‬ؽ‪ ،‬س‪ٚ‬ؿی صبدی ثشای ٘ـبٖ دادٖ دا٘ؾ لجّی اػت‪ TangentProp .‬ایٗ دا٘ؾ لجّی سا ثب تغییش ‪ٞ‬ضذف خؼضتد‪ٛ‬ی‬
‫ؿیت ٘ض‪ َٚ‬دس فوبی فشهی‪ ٝ‬تبثیش ٔی د‪ٞ‬ذ‪.‬‬
‫‪ EBNN‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای تغییش ‪ٞ‬ذف خؼتد‪ ٛ‬دس فوبی ‪ٚ‬ص٘‪ٟ‬بی ٕٔىٗ یه ؿجى‪ ٝ‬ی صلجی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬ایٗ س‪ٚ‬ؽ تئض‪ٛ‬سی‬
‫لّٕش‪ ٚ‬ث‪ ٝ‬ؿىُ ؿجى‪ٞ ٝ‬بی صلجی یبدٌشفت‪ ٝ‬ؿذ‪ ٜ‬ی پیـیٗ ٔعبدَ ثشای ایدبد ؿجى‪ ٝ‬ی صلجی ‪--- .---‬‬
‫‪ FOCL‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای افضایؾ اصوب ٔدٕ‪ٛ‬ص‪ ٝ‬ی فشهی‪ٞ ٝ‬بی ٕٔىٗ دس ٘ظش ٌشفت‪ ٝ‬ؿذ‪ ٜ‬دس ‪ٞ‬ش ٔشحّ‪ ٝ‬اص خؼتد‪ ٛ‬اػضتفبد‪ٔ ٜ‬ضی‬
‫و‪ٙ‬ذ‪ .‬ایٗ س‪ٚ‬ؽ اص تئ‪ٛ‬سی لّٕش‪ٚ‬ی تمشیجی ٕ٘بیؾ داد‪ ٜ‬ؿذ‪ ٜ‬ثب ‪ٞ horn clause‬ب ثشای یبدٌیشی ٔدٕ‪ٛ‬ص‪ ٝ‬ای اص ‪ٞ horn clause‬ب‬
‫و‪ ٝ‬تبثع ‪ٞ‬ذف سا تخٕیٗ ٔی ص٘‪ٙ‬ذ اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ FOCL .‬اص اٍِ‪ٛ‬سیتٕی پ‪ٛ‬ؿؾ تشتیجی اػتفبد‪ ٜ‬وشد‪ ٚ ٜ‬ثضشای یضبدٌیشی ‪ٞ‬ضش ‪horn‬‬
‫‪ clause‬اص خؼتد‪ٛ‬یی وّی ث‪ ٝ‬خضئی اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬تئ‪ٛ‬سی لّٕش‪ ٚ‬ثشای تغییش ٔدٕ‪ٛ‬ص‪ ٝ‬ی فشهی‪ٞ ٝ‬بی خضبف تضش ٕٔىضٗ دس ٘ظضش‬
‫ٌشفت‪ ٝ‬ؿذ‪ ٜ‬دس ‪ٞ‬ش ٔشحّ‪ ٝ‬اص ایٗ خؼتد‪ ٛ‬ث‪ ٝ‬وبس ٔی س‪ٚ‬د‪ .‬فشهی‪ٞ ٝ‬بی ٕٔىٗ ػضپغ ثضش اػضبع وبساییـضبٖ س‪ٚ‬ی داد‪ٞ ٜ‬ضبی آٔ‪ٛ‬صؿضی‬

‫‪1‬‬
‫‪domain‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ػ‪ٙ‬دیذ‪ٔ ٜ‬ی ؿ‪٘ٛ‬ذ‪ .‬ثضب ایضٗ س‪ٚ‬ؽ‪ FOCL ،‬خؼضتد‪ٛ‬ی حشیلضب٘‪ ،ٝ‬وّضی ثض‪ ٝ‬خضئضی ‪ ٚ‬اػضتمشایی ‪ FOIL‬سا ثضب ص٘دیضش لضب٘‪(rule- ٖٛ‬‬
‫)‪ ٚ chaining‬اػتذالَ تحّیّی سا تشویت ٔی و‪ٙ‬ذ‪.‬‬
‫ای‪ٙ‬ى‪ ٝ‬چٍ‪ ٝ٘ٛ‬ث‪ ٝ‬ث‪ٟ‬تشیٗ ‪ٚ‬خ‪ٕٔ ٝ‬ىٗ دا٘ؾ سا ثب ٔـب‪ٞ‬ذات خذیذ تشویت و‪ٙ‬یٓ ‪ٕٞ‬چ‪ٙ‬بٖ یىی اص ػ‪ٛ‬االت اكّی یضبدٌیشی ٔبؿضیٗ ثضبلی‬
‫ٔب٘ذ‪ ٜ‬اػت‪.‬‬
‫اٍِ‪ٛ‬سیتٓ ‪ٞ‬بی ثؼیبسی ‪ٚ‬خ‪ٛ‬د داس٘ذ و‪ٞ ٝ‬ذفـبٖ تشویت یبدٌیشی اػتمشایی ‪ ٚ‬یبدٌیشی تحّیّی اػت‪ .‬ثشای ٔثبَ‪ٔ ،‬تذ‪ٞ‬بی یبدٌیشی ؿجى‪ٞ ٝ‬بی ثب‪ٚ‬س‬
‫ثیضی و‪ ٝ‬دس فلُ ‪ 6‬ث‪ ٝ‬آٖ پشداختیٓ س‪ٚ‬ؽ دیٍشی ثشای ثحث دس ای‪ٙ‬دب خ‪ٛ‬ا‪ٙٞ‬ذ ث‪ٛ‬د‪ٙٔ .---‬بثع ایٗ فلُ ٕ٘‪ٞ ٝ٘ٛ‬ب ‪ٙٔ ٚ‬بثع یبدٌیشی ثیـتش سا دسثضش‬
‫داسد‪.‬‬

‫تمرینات‬
‫‪ٔ 1..1‬ؼضضئّ‪ ٝ‬ی یضضبدٌیشی ٔف‪ٟ‬ضض‪ GoodCreditRisk ْٛ‬سا ثضضش س‪ٚ‬ی ٕ٘‪٘ٛ‬ضض‪ٞ ٝ‬ضضبی ت‪ٛ‬كضضیفی ثضضب چ‪ٟ‬ضضبس ‪ٚ‬یظٌضضی ‪،HasStudentLoan‬‬
‫‪ OwnsCar ٚ IsStudent ،HasSavingsAccount‬سا دس ٘ظش ثٍیشیذ‪ .‬ؿجى‪ ٝ‬ی ا‪ِٚ‬یض‪ ٝ‬ی اٍِض‪ٛ‬سیتٓ ‪ KBANN‬سا ؿضجى‪ ٝ‬ی حبكضُ اص‬
‫تئ‪ٛ‬سی لّٕش‪ٚ‬ی صیش ثب تٕبٔی استجبى ‪ٞ‬ب دس ٘ظش ثٍیشیذ‪.‬‬

‫‪GoodCredit←Employed, LowDept‬‬

‫‪Employed←¬IsStudent‬‬

‫‪LowDebt←¬HasStudentLoan,HasSavingsAccount‬‬

‫‪ KBANN 1...‬دػت‪ ٝ‬ای اص ‪ٞ horn clause‬بی ٌضاس‪ ٜ‬ای سا دسیبفت وشد‪ ٚ ٜ‬ا٘شا ث‪ ٝ‬ؿجى‪ ٝ‬ی صلجی ا‪ِٚ‬ی‪ ٝ‬تجذیُ ٔضی و‪ٙ‬ضذ‪ .‬وضالع لض‪ٛ‬ا٘یٗ‬
‫(‪ .‬صٔضب٘ی ؿضشى‬ ‫ٌضاس‪ ٜ‬ای "‪ n‬اص ‪ "m‬سا دس ٘ظش ثٍیشیذ‪ ،‬ایٗ ل‪ٛ‬ا٘یٗ ‪ m‬صجبست ؿشى داس٘ذ ‪ ٚ‬پبسأتش ٔشث‪ ًٝٛ‬ی ‪ n‬سا دسثش ٔضی ٌیش٘ضذ )‬
‫لب٘‪ٌ ٖٛ‬ضاس‪ ٜ‬ای "‪ n‬اص ‪ "m‬و‪ ٝ‬حذالُ ‪ٌ n‬ضاس‪ ٜ‬اص ‪ٌ m‬ضاس‪ ٜ‬ی ؿشى آٖ دسػت ثبؿ‪ٙ‬ذ‪ .‬ثشای ٔثبَ‪،‬‬

‫‪Student ← LivesInDorm,Young,Studies; n=2‬‬

‫٘ـبٖ ٔی د‪ٞ‬ذ و‪ ٝ‬صٔب٘ی ٔف‪ Student ْٟٛ‬دسػت اػت و‪ ٝ‬حذالُ د‪ٌ ٚ‬ضاس‪ ٜ‬اص ػ‪ٌ ٝ‬ضاس‪ ٜ‬ی ؿشى ثبال دسػت ثبؿذ‪.‬‬

‫اٍِ‪ٛ‬سیتٕی ٔـبث‪ ٝ‬اٍِ‪ٛ‬سیتٓ ‪ً KBANN‬شاحی و‪ٙ‬یذ و‪ ٝ‬دػت‪ ٝ‬ای اص ل‪ٛ‬ا٘یٗ "‪ n‬اص ‪ "m‬سا دسیبفت وشد‪ ٚ ٜ‬ؿجى‪ ٝ‬ای صلجی ػبصٌبس ثب تئ‪ٛ‬سی لّٕش‪ٚ‬‬
‫ایدبد و‪ٙ‬ذ‪.‬‬

‫‪ 1..3‬تعٕیٓ اٍِ‪ٛ‬سیتٓ ‪ KBANN‬سا ثشای دسیبفت تئ‪ٛ‬سی لّٕش‪ٚ‬یی و‪ ٝ‬ؿبُٔ ل‪ٛ‬ا٘یٗ دسخ‪ ٝ‬ا‪ َٚ‬ث‪ ٝ‬خبی ‪ٞ horn clause‬بػت سا دس ٘ظش ثٍیشیذ‬
‫(‪ٞ horn clause‬بیی و‪ٔ ٝ‬تغیش ٘یض داس٘ذ‪ٔ ،‬ـبث‪ ٝ‬فلُ ‪ .)15‬اٌش چ‪ٙ‬یٗ وبسی ٕٔىٗ اػت اٍِ‪ٛ‬سیتٕی ثشای ػبخت ؿجى‪ٞ ٝ‬ضبی صلضجی ٔعضبدَ‬
‫ل‪ٛ‬ا٘یٗ دسخ‪ ٝ‬ا‪ َٚ‬اسائ‪ ٝ‬و‪ٙ‬یذ ‪ ٚ‬اٌش ٕٔىٗ ٘یؼت ٔـىالت ثبصداس٘ذ‪ ٜ‬سا ثیبٖ و‪ٙ‬یذ‪.‬‬

‫‪ 1..4‬ایٗ تٕشیٗ اص ؿٕب ٔی خ‪ٛ‬ا‪ٞ‬ذ و‪ ٝ‬ؿیت ٘ض‪ َٚ‬سا ٔـبث‪ ٝ‬ا٘چ‪ ٝ‬دس ‪ TangentProp‬اػتفبد‪ ٜ‬ؿذ اػتخشاج و‪ٙ‬یذ‪ .‬فوبی ٕ٘‪ ٝ٘ٛ‬ای ‪ X‬سا ؿبُٔ‬
‫اصذاد حمیمی دس ٘ظش ثٍیشیذ‪ ،‬فوبی فشهی‪ ٝ‬ای ‪ H‬سا ٘یض ت‪ٛ‬اثع دسخ‪ ٝ‬د‪ ٚ‬س‪ٚ‬ی ‪ x‬دس ٘ظش ثٍیشیذ‪ .‬یع‪ٙ‬ی‪،‬‬

‫) (‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫)‪ (a‬لب٘‪ ٖٛ‬ؿیت ٘ض‪ َٚ‬سا ثشای ٔی‪ٙ‬یٕٓ وشدٖ ٔعیبس ‪ Backpropagation‬ث‪ ٝ‬وبس ثجشیذ ٔعیبس ‪ٔ Backpropagation‬ی‪ٙ‬یٕٓ وشدٖ ٔدٕ‪ٛ‬خ‬
‫خٌبی ٔشثعی ثیٗ فشهی‪ ٚ ٝ‬داد‪ٞ ٜ‬بی آٔ‪ٛ‬صؿی اػت‪.‬‬

‫)‪ (b‬لب٘‪ ٖٛ‬ؿیت ٘ض‪ َٚ‬دیٍشی و‪ٕٞ ٝ‬بٖ ٔعیبس سا ثشای ‪ٔ TangentProp‬ی‪ٙ‬یٕٓ ٔی و‪ٙ‬ذ سا اػتخشاج و‪ٙ‬یذ‪ .‬فمي تجضذیُ ‪ s(α,x)=x+ α‬سا دس‬
‫٘ظش ثٍیشیذ‪.‬‬

‫‪ٔ EBNN 1..5‬ـتمبت آٔ‪ٛ‬صؿی سا اص ت‪ٛ‬هیحبت حبكُ اص ثشسػی ‪ٚ‬ص٘‪ٟ‬ب ‪ ٚ‬تحشیه ؿجى‪ٞ ٝ‬بی صلجی ػبخت‪ ٝ‬ؿذ‪ ٜ‬ثشای ت‪ٛ‬هیح ثذػت ٔضی آ‪ٚ‬سد‪.‬‬
‫ٕ٘‪ ٝ٘ٛ‬ی ػبد‪ ٜ‬ای سا و‪ ٝ‬دس آٖ ت‪ٛ‬هیحبت ثب یه ػیٍٕ‪ٛ‬یذ ثب ‪ٚ n‬س‪ٚ‬دی ایدبد ٔی ؿ‪ٛ‬د سا دس ٘ظش ثٍیشیضذ‪ .‬ساثٌض‪ ٝ‬ای ثضشای پیضذا وضشدٖ ٔـضتك‬
‫) (̂‬
‫٘ـضبٖ‬ ‫یه ٕ٘‪ ٝ٘ٛ‬ی آٔ‪ٛ‬صؿی خبف ‪ٚ‬س‪ٚ‬دی ث‪ٚ ٝ‬احذ‪ ̂( ) ،‬خش‪ٚ‬خی ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ ‪ٚ‬‬ ‫پیذا و‪ٙ‬یذ‪ ،‬دس ایٗ ساثٌ‪ٝ‬‬ ‫|‬ ‫آٔ‪ٛ‬صؿی‬
‫اػتفبد‪ ٜ‬و‪ٙ‬یذ‪ .‬سا‪ٕٙٞ‬بیی‪:‬‬ ‫ثشای ٘ـبٖ دادٖ ‪ j‬أیٗ ‪ٚ‬یظٌی ٕ٘‪ ٝ٘ٛ‬ی‬ ‫د‪ٙٞ‬ذ‪ ٜ‬ی ‪ j‬أیٗ ‪ٚ‬س‪ٚ‬دی ‪ٚ‬احذ ػیٍٕ‪ٛ‬یذ اػت‪ٔ .‬ی ت‪ٛ‬ا٘یذ اص ٕ٘بد ٌزاسی‬
‫حُ ایٗ ٔؼئّ‪ٔ ٝ‬ـبث‪ ٝ‬اػتخشاج لب٘‪ ٖٛ‬یبدٌیشی ثشای ‪ backpropagation‬اػت‪.‬‬

‫‪ 1..6‬د‪ٚ‬ثبس‪ٔ ٜ‬ؼیش یبدٌیشی اٍِ‪ٛ‬سیتٓ ‪ FOCL‬و‪ ٝ‬دس ؿىُ ‪٘ 1..8‬ـبٖ داد‪ ٜ‬ؿذ سا دس ٘ظش ثٍیشیذ‪ .‬فشم و‪ٙ‬یذ و‪ ٝ‬فشهی‪ ٝ‬ی ا‪ِٚ‬ی‪ ٝ‬ی ا٘تخبة ؿذ‪ٜ‬‬
‫فشهی‪ ٝ‬ی صیش ثبؿذ‪:‬‬

‫‪Cup←¬HasHandle‬‬

‫فشهی‪ٞ ٝ‬بی ٔشحّ‪ ٝ‬ی د‪ ْٚ‬ای و‪ FOCL ٝ‬ایدبد ٔی و‪ٙ‬ذ سا پیذا و‪ٙ‬یذ‪ .‬فمي وبفی اػت فشهی‪ٞ ٝ‬بی ایدضبد ؿضذ‪ ٜ‬ت‪ٛ‬ػضي صٍّٕضش د‪ ْٚ‬خؼضتد‪ٛ‬ی‬
‫‪ FOCL‬سا پیذا و‪ٙ‬یذ و‪ ٝ‬اص تئ‪ٛ‬سی لّٕش‪ ٚ‬اػتفبد‪ٔ ٜ‬ی و‪ٙ‬ذ‪ .‬فشأ‪ٛ‬ؽ ٘ى‪ٙ‬یذ و‪ ٝ‬ؿش‪ٚ‬ى وبفی ثبیذ ‪ٞ‬شع ؿ‪٘ٛ‬ذ‪ .‬اص داد‪ٞ ٜ‬بی خذ‪ 1..3 َٚ‬ثشای آٔ‪ٛ‬صؽ‬
‫اػتفبد‪ ٜ‬و‪ٙ‬یذ‪.‬‬

‫‪ 1..7‬ایٗ فلُ ػ‪ ٝ‬س‪ٚ‬ؽ ثشای اػتفبد‪ ٜ‬اص دا٘ؾ لجّی ثشای تبثیش ثش خؼتد‪ ٛ‬فوبی فشهی‪ٞ ٝ‬بی ٕٔىٗ اسائ‪ٔ ٝ‬ی و‪ٙ‬ضذ‪ .‬ایضذ‪ٞ ٜ‬ضبی خض‪ٛ‬د سا ثضشای‬
‫ای‪ٙ‬ى‪ ٝ‬چٍ‪ٔ ٝ٘ٛ‬ی ت‪ٛ‬اٖ ایٗ ػ‪ ٝ‬س‪ٚ‬ؽ سا وبُٔ وشد اسائ‪ ٝ‬و‪ٙ‬یذ‪ .‬ایب ٔی ت‪ٛ‬ا٘یذ اٍِ‪ٛ‬سیتٓ خبكی اسائض‪ ٝ‬و‪ٙ‬یضذ وض‪ ٝ‬د‪ ٚ‬س‪ٚ‬ؽ اص ایضٗ ػض‪ ٝ‬س‪ٚ‬ؽ سا ثضشای‬
‫ٕ٘بیؾ فشهی‪ ٝ‬ای خبكی ث‪ ٝ‬وبس ثجشد؟ ٔضیت ‪ٞ‬ب ‪ٔ ٚ‬ضست ‪ٞ‬بی ایٗ تشویت چ‪ ٝ‬خ‪ٛ‬ا‪ٞ‬ذ ث‪ٛ‬د؟‬

‫‪ 1..8‬د‪ٚ‬ثبس‪ ٜ‬ػ‪ٛ‬اَ ٌٔشح ؿذ‪ ٜ‬دس لؼٕت ‪ 1....1‬سا دس ٘ظش ثٍیشیذ‪ .‬چ‪ٔ ٝ‬عیبسی ثشای ا٘تخبة ٔیبٖ فشهی‪ٞ ٝ‬ب صٔب٘ی و‪ ٓٞ ٝ‬داد‪ ٓٞ ٚ ٜ‬دا٘ؾ لجّی‬
‫دس دػتشع اػت اػتفبد‪ ٜ‬ؿ‪ٛ‬د؟ دس ایٗ ثبس‪ ٜ‬دیذٌب‪ ٜ‬خ‪ٛ‬د سا ثیبٖ و‪ٙ‬یذ‪.‬‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫فصل سیسدهم‪ :‬یادگیری تقویتی‬

‫یبدگیشی توَیتی ثِ هؼئلِّبیی هیپشداصد ًِ دس آى یي ػبهل هؼتول حبلتّبیی سا دسى ًشدُ ٍ هغبثن ثب آى ادساى اػواب ثْیٌاِ ای سا ثاشای‬
‫سػیذى ثِ اّذاكؾ سا اًجبم هیدّذ‪ .‬ایي هؼئلِی ثؼیبس جبهغ اػت ٍ ؿبهل هؼبئل یبدگیشی ًٌتش سثبتّبی هتحشى‪ ،‬یابدگیشی ثْیٌاِ ػابصی‬
‫ًبسخبًِّب‪ ٍ ،‬یبدگیشی ثبصیّبی كلحِ ای‪ 1‬هیؿَد‪ّ .‬ش گبُ ًِ ػبهل ػولی سا دس هحیغؾ اًجبم هیدّذ‪ ،‬یي هؼلن هتٌبػت ثاب حبلات ٍ ػوال‬
‫اًجبم ؿذُ ثِ ٍی پبداؽ هیدّذ یب ٍی سا تٌجیِ هیًٌذ (پبداؽ هٌلی)‪ .‬ثشای هثب ‪ ،‬هؼلن هوٌي اػت دس یي ثبصی ثشای ثشد پبداؽ هثجت ٍ ثشای‬
‫ثبخت پبداؽ هٌلی ٍ ثشای اػوب دیگش پبداؽ كلش سا دس ًظش ثگیشد‪ً .‬بس ػبهل‪ ،‬یبدگیشی اص ایي پبداؽّب (ًِ گبّبً تاخخیش ًیاض داسد) اػات تاب دس‬
‫اػوب ثؼذی ثیـتشیي هیضاى تبثغ تجوؼی پبداؽ سا ثگیشد‪ .‬دس ایي كلل ثیـتش ثش سٍی الگَسیتوی ثِ ًبم یبدگیشی ‪ ًِ Q‬پبداؽّبی تخخیشی سا ًیض‬
‫دس ًظش هیگیشد توشًض هیًٌین‪ .‬ایي الگَسیتن حتی صهبًی ًِ ػبهل ّیچ اعالػبتی دس هَسد هحایظ ًاذاسد دسػات ًابس هایًٌاذ‪ .‬الگاَسیتنّابی‬
‫یبدگیشی توَیتی ساثغِی ًضدیٌی ثب الگَسیتنّبی ثشًبهِ ًَیؼی پَیب‪ 2‬داسًذ‪ً ًِ ،‬بسثشد ثؼیبسی دس هؼبئل ثْیٌِ ػبصی داسد‪.‬‬

‫‪ 1.31‬معرفی‬
‫كشم ًٌیذ ًِ سثبتی یبدگیش داسین‪ .‬ایي سثبت‪ ،‬یب ػبهل‪ ،3‬دػتِ حؼگشی ثشای هـبّذُی حبلت‪ 4‬هحیظ داسد‪ ٍ ،‬دػاتِ ای اص اػواب ‪ 5‬سا هایتَاًاذ‬
‫ثشای تـییش حبلت اًجبم دّذ‪ .‬ثشای هثب ‪ ،‬یي سثبت هتحشى هوٌي اػت حؼگشّبیی چَى دٍسثیي ٍ اػوبلی چاَى "حشًات ثاِ ػاوت جلاَ" ٍ‬

‫‪1‬‬
‫‪board games‬‬
‫‪2‬‬
‫‪dynamic programming‬‬
‫‪3‬‬
‫‪agent‬‬
‫‪4‬‬
‫‪state‬‬
‫‪5‬‬
‫‪action‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪2‬‬

‫"چشخؾ" داؿتِ ثبؿذ‪ّ .‬ذف ایي سثبت یبدگیشی خظ هـی‪ 1‬یب هتذی ثشای ًٌتش اػوب اػت ًِ ثتَاًذ ثب اػتلبدُ اص آىّب ثِ اّذاف خَد ثشػاذ‪.‬‬
‫ثشای هثب ‪ ،‬هوٌي اػت ّذف سثبت اتلب ثِ ؿبسطس دس ٌّگبم ًوجَد ؿبسط ثبؿذ‪.‬‬

‫دس ایي كلل ثِ چگًَگی یبدگیشی اػتشاتظی ًٌتش ثْیٌِ ایي ػبهلّب هیپشداصین‪ .‬كشم هیًٌین ًِ هیتَاى اّذاف ػبهل سا ثاب تابثؼی حویوای‬
‫هوذاس ثِ ًبم "تبثغ پبداؽ"‪ 2‬هـخق ًشد‪ .‬ایي تبثغ ثِ ّش ػول دس ّش حبلت ػذدی سا ًؼجت هیدّذ‪ .‬هثالً ثشای هثب ‪ ،‬ثشای اتلب ثاِ ؿابسطس دس‬
‫حبلتی ؿبسط ثبتشی ًن هیتَاًذ هوذاس هثجتی (هثالً ‪ ٍ )+100‬دس ثشای اتلب ثِ ؿبسطس ٍ دس ثویِی حبلتّب هوذاس كلش داؿتِ ثبؿذ‪ .‬تبثغ پابداؽ سا‬
‫هیتَاى ثِ دس هؼوتی اص سثبت ٍ یب ػبهلی خبسجی هثل هؼلوی ًِ ثشای اػوب پبداؽ هیدّاذ تؼشیاق ًاشد‪ً .‬ابس سثابت اًجابم ػاشی اػوابلی ٍ‬
‫هـبّذُی ًتیجِی آىّب دس هحیظ ٍ یبدگیشی اػتشاتظی ًٌتش اػت‪ .‬اػتشاتظی ًٌتش ایي اػت ًِ دس ّش حبلت اٍلیاِ سثابت ثتَاًاذ اػوابلی سا‬
‫اًتخبة ًٌذ تب ثِ ثیـتشیي پبداؽ ثشػذ‪ .‬ایي تؼشیق ثِ عَس خالكِ دس ؿٌل ‪ 13.1‬آٍسدُ ؿذُ اػت‪.‬‬

‫ّوبى عَس ًِ دس ؿٌل ‪ً 13.1‬یض پیذاػت‪ ،‬هؼئلِی یبدگیشی خظ هـیای ثشای حذاًثش ًشدى پبداؽ تجوؼی‪ ،3‬خیلی ًلی اػت ٍ هؼبئلی خابس‬
‫اص هحذٍدُی یبدگیشی سثبت سا ًیض دس ثش هیگیشد‪ .‬دس ًل‪ ،‬هؼئلِ یبدگیشی ًٌتش ػشی اػوب ‪ ،‬دس ّش حبلت اػت‪ .‬ایي هؼئلِ هوٌي اػات‪ ،‬ثاشای‬
‫هثب ‪ ،‬هؼئلِی ثْیٌِ ًشدى اػوب یي تَلیذ ًٌٌذُ ثشای حذاًثش ًشدى ػَد ًبسخبًِ ثبؿذ‪ ،‬دس ایي هثب تبثغ پبداؽ هیتَاًذ هیوت ًبالّبی تَلیذ‬
‫ؿذُ هٌْبی هجبلؾ هلشكی ثبؿذ‪ .‬یب هوٌي اػت هؼئلِ ایي ثبؿذ ًِ ؿشًت تبًؼی ثی ػین ثشًبهِی تبًؼیّبی خاَد سا چگًَاِ دس یاي ؿاْش‬
‫ثضسٍ ثشًبهِ سیضی ًٌذ ٍ تبثغ پبداؽ ًن ؿذى صهبى هٌتظش هبًذى هؼبكشیي ٍ ػَخت هلشكی تبًؼایّاب اػات‪ .‬دس ًال ّاذف یابدگیشی خاظ‬
‫هـیای ثشای ّش ًَع ػبهلی اػت ًِ اػوبلؾ ثش سٍی هحیظ تخثیش هیگزاسد ٍ تبثؼی تجوؼی ثشای ًیلیت ّش ػول دس دػاتشع داسد‪ .‬ثاِ ّواشاُ‬
‫ایي ًَع هؼبئل هؼوَالً ؿشایغی دس ًظش گشكتِ هیؿَد‪ ،‬هثالً ایٌٌِ اػوب ّویـِ هغؼی‪ّ 4‬ؼتٌذ یب ًِ‪ ،‬یاب ایٌٌاِ ػبهال اص هجال اعالػابتی سا دس‬
‫ثبسُ ی اػوبلؾ داسد یب خیش‪.‬‬

‫‪1‬‬
‫‪policy‬‬
‫‪2‬‬
‫‪reward function‬‬
‫‪3‬‬
‫‪cumulative‬‬
‫‪4‬‬
‫‪deterministic‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪3‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫ؿٌل ‪ 13.1‬ػبهلی دس استجبط ثب هحیغؾ‪ .‬ػبهلی دس هحیغی اػت ًِ حبلتؾ یٌی اص اػضبی ‪ S‬اػت‪.‬‬
‫ػبهل هیتَاًذ اػوب هجوَػِی ‪ A‬سا اًجبم دّذ‪ّ .‬ش ثبس ًِ ػولی هثل سا دس حبلت اًجبم هیدّذ هوذاس حویویای سا اص تبثغ پبداؽ دسیبكت هیًٌذ‬
‫ًِ حبكل لحظِ ای ایي ػول اػت‪ .‬ایي كشایٌذ ػشیای اص ٍ ّب ٍ ّب سا ایجبد هیًٌذ‪ّ .‬ذف ػبهل ایي اػت ًِ خظ هـیای ثِ كشم ‪π: S → A‬‬
‫سا یبد ثگیشد ًِ هجوَع ایي پبداؽ ثب پبداؽّبی آیٌذُ دس ػشی تَاًی حذاًثش ؿَد‪.‬‬
‫تَجِ داسیذ ًِ هجالً ًیض هؼبئل یبدگیشی ػشی اػوب سا دس ایي ًتبة دیذُ ثَدین‪ .‬دس ثخؾ ‪ 11.4‬دسثبسُی یبدگیشی تَضیحی دػتِ هَاًیي ثاشای‬
‫ًٌتش جؼتجَ سا دس حیي حل هؼئلِ ثحث ًشدین‪ .‬هؼئلِی هغشح ثشای ػبهل دس آى ثخؾ اًتخبة ثیي گضیٌِ ّبی هختلق ػول دس ّاش هشحلاِ‬
‫اص جؼتجَ ثشای یبكتي حبلت ّذف ثَد‪ .‬تلبٍت تٌٌیيّبیی ًِ دس ایٌجب ثِ ًبس هیثشین ثب تٌٌیيّبی ثخؾ ‪ 11.4‬دس ایي اػت ًِ هؼابئلی سا دس‬
‫ًظش هیگیشین ًِ اػوب هوٌي اػت ًتبیج ؿیش هغؼی داؿتِ ثبؿٌذ ٍ یبدگیش ًیض تئَسی هلوشٍیی دسثبسُی ؿیش هغؼی ثَدى ًتبیج اػوب ًاذاسد‪ .‬دس‬
‫كلل ‪ 1‬هؼئلِی یبدگیشی اًتخبةّبی اػوب ثبصی چٌشص سا هَسد ثحث هشاس دادین‪ .‬دس آًجب عشاحی هتذ یبدگیشیای ثؼیبس هـبثِ هتاذ ّابی ایاي‬
‫كلل سا عشاحی ًشدین‪ .‬دس ٍاهغ‪ ،‬یٌی اص هَكنتشیي ًبسثشدّبی الگَسیتنّبی یبدگیشی توَیتی ایاي كلال ثاشای هؼائلِی عاشص‪-‬ثابصی‪ ،1‬ثابصی‬
‫هـبثْی اػت‪ (Tesauro 1995) .‬ثشًبهِی ‪ TD-Gammon‬سا ًِ ثب سٍؽ یبدگیشی توَیتی ثشای سػیذى ثِ ثبصیٌي جْابًی ثاشای ثابصی‬
‫تختِ ًشد آهَصؽ دیذُ سا هؼشكی هیًٌذ‪ .‬ایي ثشًبهِ ثؼذ ‪ 1.5‬هیلیَى ثبصی خَدػبختِ‪ ،2‬حب دس حذ ثْتشیي ثبصیٌيّبی جْبًی ؿوشدُ هایؿاَد ٍ‬
‫دس هوبثل ثؼیبسی اص ثبصیٌٌبى ػغح ثبال دس هؼبثوبت جْبًی تختِ ًشد ثبصی هیًٌذ‪.‬‬

‫هؼئلِی یبدگیشی خظ هـی اًتخبة اػوب اص جٌجِّبیی ؿجیِ هؼبئل تخویي تَاثغ ًِ دس كللّبی گزؿتِ ثشسػی ًشدُاین اػت‪ .‬دس ایي تـابثِ‬
‫تبثغ ّذكی ًِ ثبیذ یبد گشكتِ ؿَد‪ ،‬تبثغ ‪ π: S → A‬اػت ًِ ثشای ّش حبلت ‪ s‬اص هجوَػِی ‪ ،S‬یي ػوال هثال ‪ a‬اص هجوَػاِی ‪ A‬سا ًظیاش‬
‫هیًٌذ‪ .‬ثب ٍجَد ایي تـبثِ هؼئلِی یبدگیشی توَیتی ثب هؼبئل تخویي تَاثغ دس ثؼیبسی اص جٌجِّب هتلبٍت اػت‪:‬‬

‫‪1‬‬
‫‪game-playing‬‬
‫‪2‬‬
‫‪self-generated‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪4‬‬

‫پبداؽ تخخیشی‪ّ .1‬ذف یبدگیشی‪ ،‬یبدگیشی تبثغ ّذكی هثل ‪ّ ًِ π‬ش حبلت ‪ s‬سا ثِ ػولی سثظ دّذ )‪ .a= π(s‬دس كلَ هجلی‪ّ ،‬ویـِ‬ ‫‪‬‬
‫كشم ثش ایي ثَدُ ًِ تبثغ ّذكی چَى ‪ π‬سا اص ًوًَِ ّبی آهَصؿیای ثِ كشم >)‪ <s, π(s‬یبد هیگیاشین‪ .‬دس حابلی ًاِ دس یابدگیشی‬
‫توَیتی اعالػبت آهَصؿی ثِ ایي كشم هَجَد ًیؼت ٍ ثِ جبی آى هشثی‪ 2‬ػشی پبداؽّبیی لحظِ ای ًظیش حشًبت سا ثِ ػبهل هیدّذ‪.‬‬
‫پغ ػبهل ثب هؼئلِی ًؼجت دادى اسصؽ هَهتی‪ 3‬هَاجِ اػت‪ :‬تلوین گیشی ثشای ایٌٌِ ًذام یي اص اػوب دس ػشی اػواب احتوابالً‬
‫ثؼذاً ثبػث پبداؽ خَاٌّذ داد‪.‬‬
‫جؼتجَی هحیظ‪ .4‬دس یبدگیشی توَیتی‪ ،‬ػبهل ثب اًتخبة اػوب ثش تَصیغ ًوًَِ ّبی آهَصؿی تخثیش هیگزاسد‪ّ .‬ویي تخثیش ػؤالی دیگاش‬ ‫‪‬‬
‫‪5‬‬
‫سا هغشح هیًٌذ‪ً ،‬ذام اػتشاتظی دس اًتخبة آصهبیؾّب آهَصؽ ثْیٌِ تشی سا كشاّن هیًٌذ؟ یبدگیش دٍ اًتخبة خَاّاذ داؿات‪ ،‬یٌای‬
‫ایٌٌِ حبلتّب ٍ اػوب جذیذ سا جؼتجَ ًٌذ (تب اعالػبت جذیذی ثذػت آٍسد) ٍ دیگش ایٌٌِ ثِ اعالػبتی ًِ تب ثاِ حاب پیاذا ًاشدُ‬
‫اًتلب ًٌذ ٍ اص آىّب ثشای سػیذى ثِ ثیـتشیي پبداؽ اػتلبدُ ًٌذ‪.6‬‬
‫حبلتّبی ًیوِ هؼلَم‪ .‬ثب ٍجَد ایٌٌِ ساحتتش اػت كشم ًٌین حؼگش ّبی ػبهل هیتَاًٌذ توبم ؿاشایظ هحایظ سا دس یاي حبلات سا‬ ‫‪‬‬
‫هؼلَم ًٌٌذ‪ ،‬اهب ثب ایي حب دس ثؼیبسی اص هثب ّبی ًبسثشدی حؼگشّب اعالػبت ًبهلی دس هَسد هحیظ ثِ هب ًویدٌّذ‪ .‬هاثالً‪ ،‬دس هثاب‬
‫سثبت صهبًی ًِ اص یي دٍسثیي سٍثِ جلَ اػتلبدُ هیؿَد اجؼبم پـت ػش سثبت تَػظ دٍسثیي هـخق ًویؿًَذ‪ .‬دس چٌیي ؿشایظ ثْتش‬
‫اػت ًِ دس ٌّگبم اًتخبة ػول‪ ،‬ػبهل ؿشایظ هـبّذُ ؿذُی هجلی سا ًیض دس ًظش ثگیشد‪ ،‬ؿبیذ ثْتشیي خظ هـی اًتخبة اػوبلی ثبؿذ‬
‫ًِ هیضاى هـبّذُی سثبت سا اص هحیظ هؼلَم ًٌذ‪.‬‬
‫یبدگیشی هبدامالؼوش‪ .7‬ثش خالف تخویي تَاثغ ‪ ،‬دس یبدگیشی سثبتیي گبّی ًیبص اػت ًِ سثبت چٌذیي ًابس هاشتجظ ثاب ّان سا دس ّوابى‬ ‫‪‬‬
‫هحیظ ٍ ثب ّوبى ػٌؼَسّب یبد ثگیشد‪ .‬ثشای هثب هوٌي اػت ًیبص ثبؿذ ًِ یي سثبت هتحشى ػالٍُ ثش ٍكل ؿذى ثِ ثبتشی‪ً ،‬حَُی‬
‫حشًت دس ساّشٍّبی ثبسیي ٍ ًحَُی ثشداؿتي خشٍجی پشیٌتش سا ًیض یبد ثگیشد‪ .‬ایي ثبػث هیؿَد ًِ آصهبیؾّب هجلی ٍ داًؾ ثذػات‬
‫آهذُ دس حبلتّبی هجلی سا ثتَاًذ دس یبدگیشی ًبسّبی جذیذ ثِ ًبس ثجشد‪.‬‬

‫‪ 1.31‬یادگیری کارها‬
‫دس ایي هؼوت دهینتش ٍ ثب دیذ سیبضی ثِ هؼئلِی یبدگیشی ػشی اػتشاتظیّبی ًٌتش هیپشداصین‪ .‬تَجِ داؿتِ ثبؿیذ ًِ ساُّبی ثؼیبسی ثاشای‬
‫ایي ثشسػی ٍجَد داسد‪ .‬ثشای هثب ‪ ،‬هوٌي اػت كشم ًٌین ًِ اػوب هغؼی یب ؿیش هغؼی ّؼتٌذ‪ .‬یب هوٌي اػت كشم ًٌین ًِ ػبهل هیتَاًاذ‬
‫حبلت ثؼذ اص ّش ػول سا پیؾ ثیٌی ًٌذ ٍ یب دس ًوغِی هوبثل حبلتّب ؿیش هبثل پیؾ ثیٌی ّؼتٌذ‪ .‬یب حتی هوٌي اػت كاشم ًٌاین ًاِ ػبهال‬
‫تَػظ یي هؼلن آهَصؽ دادُ هیؿَد ًِ توبهی ساُّبی ثْیٌِ سا ثشای اًجبم اػوب ًـبى هیدّذ‪ ،‬یب دس ًوغِی هوبثل خَد سثبت ثبیاذ ثاب اًجابم‬

‫‪1‬‬
‫‪delayed reward‬‬
‫‪2‬‬
‫‪trainer‬‬
‫‪3‬‬
‫‪temporal credit assignment‬‬
‫‪4‬‬
‫‪exploration‬‬
‫‪5‬‬
‫‪experimentation strategy‬‬
‫‪6‬‬
‫‪exploitation‬‬
‫‪7‬‬
‫‪life-long learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪5‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫اػوب ًبسّب سا یبد ثگیشد‪ .‬دس ایٌجب هب كشهَلی ًلی سا ًِ اص كشایٌذ ّبی تلوین گیشی هبسًٍَ‪ 1‬ثذػت آهذُ اسائِ هیًٌاین‪ .‬ایاي كشهاَ دس ؿاٌل‬
‫‪ 13.1‬آٍسدُ ؿذُ اػت‪.‬‬

‫دس یي كشایٌذ تلوین گیشی هبسًٍَ )‪ (MDP‬ػبهل هجوَػِ ای اص حبلتّب ثِ ًبم ‪ ٍ S‬هجوَػِ ای اص اػوب ثِ ًبم ‪ A‬سا دس اختیابس داسد‪ .‬دس ّاش‬
‫سا اًجبم هیدّذ‪ .‬هحیظ ًیض دس هوبثل پابداؽ‬ ‫سا هـخق هیًٌٌذ ٍ ػبهل ػول‬ ‫لحظِی ‪ ،t‬حؼگش ّبی ػبهل حبلت‬
‫سا ایجبد هیًٌذ‪ .‬دس ایٌجب دٍ تبثغ ‪ δ ٍ r‬جضٍ هحیظ ّؼتٌذ ٍ الضاهابً ثاشای ػبهال هـاخق‬ ‫سا ثِ ػبهل هیدّذ ٍ حبلت‬
‫كوظ ثِ حبلت كؼلی ٍ ػول ٍاثؼتِاًذ ٍ ثِ حبلتّب ٍ اػوب هجلای ّایچ ٍاثؼاتگیای‬ ‫ٍ‬ ‫ًیؼتٌذ‪ .‬دس یي ‪ MDP‬تَاثغ‬
‫ًذاسًذ‪ .‬دس ایي كلل كوظ حبلتّبیی سا ًِ دس آى ‪ A ٍ S‬هتٌبّی ّؼتٌذ سا ثشسػی هیًٌین‪ .‬دس ًل‪ ،‬دٍ تبثغ ‪ δ ٍ r‬هوٌي اػات تَاثاغ هغؼایای‬
‫ًجبؿٌذ اهب دس اثتذا كشم هیًٌین ًِ ایي تَاثغ هغؼیاًذ‪.‬‬

‫ثذػات ثیابٍسدد داسیان ًاِ‬ ‫سا ثش اػابع حبلات كؼلای‬ ‫ًبس ػبهل یبدگیشی خظ هـیای چَى ‪ π: S → A‬اػت ًِ ثتَاًذ حشًت ثؼذی‬
‫𝜋‪ .‬اهب چگًَِ هیتَاًین دهیوب هـخق ًٌین ًِ ػبهل ًذام خظ هـی سا ثشای ‪ π‬یبد ثگیشد؟ یٌی اص ساُ حلّبی ثؼیبس ػبدُ تؼییي‬
‫خظ هـی ثْیٌِ‪ ،‬تؼشیق آى ثِ كَستی اػت ًِ تبثغ تجوؼی پبداؽ دس عَ صهبى سا حذاًثش ًٌذ‪ .‬ثشای تؼشیق دهینتش هوذاس تجوؼای‬
‫ثذػت هیآیذ سا ثِ كشم صیش تؼشیق هیًٌین‪:‬‬ ‫سا ًِ تَػظ خظ هـی ‪ π‬اص حبلت اٍلیِی‬

‫∑‬

‫ٍ‪ .)...‬دس‬ ‫ٍ‬ ‫ثذػت هیآیذ (‬ ‫پبداؽّبیی ّؼتٌذ ًِ اص خظ هـی ‪ ٍ π‬ؿشٍع اص‬ ‫دس ایي ساثغِ ػشی ی‬
‫ثبثتی ثشای پبداؽّبی تخخیشی اػت‪ .‬دس ًل‪ ،‬تخثیش پبداؿی ًِ ‪ i‬هشحلِ ثؼذ اص اًجبم ػول دادُ هیؿَد تَػاظ ضاشیت‬ ‫ایي ساثغِ‬
‫ًَچي هیؿَد‪ .‬تَجِ داؿتِ ثبؿیذ ًِ اگش ‪ ، =0‬كوظ پبداؽ لحظِ ای دس ًظش گشكتِ خَاّذ ؿذ‪ .‬ثب ثیـتش ًشدى هوذاس تخثیش ًؼاجی‬ ‫تَاًی‬
‫پبداؽّبی تخخیشی دس تبثغ ثیـتش هیؿَد‪.‬‬

‫ًِ دس ساثغِی ‪ 13.1‬تؼشیق ؿذُ گبّی پبداؽ تجوؼی تخلیلی‪ 2‬ثشای خظ هـی ‪ π‬دس حبلت ‪ً s‬یض ًبهیاذُ هایؿاَد‪ .‬هٌغوای‬ ‫ًویت‬
‫اػت ًِ پبداؽّبی آیٌذُ سا تخلیق دّین‪ ،‬صیشا ًِ دس ثؼیبسی اص هَاسد ّذف هب ثش ػشیغتش سػیذى ثِ پبداؽ اػت‪ .‬ثب ایي ٍجَد‪ ،‬دس ثؼضی هاَاسد‬
‫∑ تؼشیق هیؿَد ًِ پبداؽّب سا تاب ‪h‬‬ ‫اص ًل پبداؽ دسیبكتی ًیض اػتلبدُ هیؿَد‪ .‬ثشای هثب ‪ finite horizon reward ،‬ثِ كشم‬
‫تؼشیق هیؿَد ًِ هتَػظ ًل پابداؽ دسیابكتی دس‬ ‫∑‬ ‫پلِی ثؼذی هَسد ًظش هشاس هیدّذ‪ .‬یب هتَػظ پبداؽ‪ 3‬ثِ كَست‬
‫عَ ػوش سثبت سا دس ًظش هیگیشد‪ .‬دس ایي كلل هب خَد سا هحذٍد ثِ ساثغِی ‪ 13.1‬هایًٌاین‪ .‬ثاشای پابداؽ هتَػاظ ثاِ ‪(Mahadevan‬‬
‫)‪ 1996‬هشاجؼِ ًٌیذ‪.‬‬

‫‪1‬‬
‫‪Markov decition processes‬‬
‫‪2‬‬
‫‪discounted cumulative reward‬‬
‫‪3‬‬
‫‪average reward‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪6‬‬

‫حب ثِ جبیی سػیذُاین ًِ ًبس یبدگیشی ػبهل سا دهین هـخق ًٌین‪ .‬ثبیذ خظ هـایای سا پیاذا ًٌاین تاب ثاشای توابهی حبلاتّابی ‪ s‬هواذاس‬
‫هبًضیون ؿَد‪ .‬چٌیي خظ هـیای سا خظ هـی ثْیٌِ‪ 1‬هیًبهین ٍ ثب 𝜋 ًـبى هیدّین‪.‬‬

‫𝜋‬

‫ثیـتشیي هوذاس هوٌاي پابداؽ تجوؼای تخلیلای سا‬ ‫ًوبیؾ هیدّین‪.‬‬ ‫سا ثِ كَست‬ ‫ثشای ػبدُ ػبصی ًوبیؾ‪ ،‬تبثغ‬
‫ثشای ّش حبلت ‪ s‬هیدّذد ثِ ػجبست دیگش‪ ،‬ایي هوذاس‪ ،‬هوذاس خظ هـی ثْیٌِ ثشای حبلت ‪ s‬اػت‪.‬‬

‫ثشای دسى ایي هلبّین‪ ،‬هؼوت اٍ ؿٌل ‪ 13.2‬سا ًِ هحیغی گؼؼتِ سا ًـبى دادُ دس ًظش ثگیشیذ‪ .‬ؿؾ هشثغ ًـبى دادُ ؿذُ دس ؿاٌل ًـابى‬
‫دٌّذُی ؿؾ حبلت یب هَهؼیت ثشای ػبهل ّؼتٌذ‪ّ .‬ش كلؾ دس ؿٌل یي ػول هوٌي ًِ ػبهل هیتَاًذ ثشای تـییش حبلت خَد اًجابم دّاذ سا‬
‫ًـبى هیدّذ‪ّ .‬ش ػذد سٍی كلؾ هوذاس پبداؽ )‪ r(s,a‬سا ًِ ػبهل پغ اص اًجبم ّش ػول هیگیشد سا ًـبى هیدّذ‪ .‬تَجِ داؿتِ ثبؿیذ ًِ توبهی‬
‫پبداؽّبی لحظِ ای دس ایي هثب جض ثشای ػولی ًِ ثِ خبًِی ‪ G‬ختن هیؿَد كلش اػت‪ .‬هیتَاى حبلت ‪ G‬سا ثِ ػٌَاى حبلات ّاذف دس ًظاش‬
‫گشكت صیشا ًِ كوظ ثب ٍسٍد ثِ خبًِی ‪ G‬ػبهل پبداؽ دسیبكت هیًٌذ‪ .‬تَجِ داؿتِ ثبؿیذ ًِ دس ایي هحیظ خبف تٌْب اػوبلی ًِ ثشای حبلات ‪G‬‬
‫دس ًظش گشكتِ ؿذُ ثبهی هبًذى دس ّوبى حبلت اػت‪ .‬ثِ ّویي دلیل حبلت ‪ G‬سا حبلت جبرة‪ 2‬هیًبهین‪.‬‬

‫آىسا هـخق ًاشد‪ .‬دس‬ ‫ثب هؼلَم ثَدى توبهی حبلتّب‪ ،‬اػوب ٍ پبداؽّب هیتَاى ثِ ساحتی ثب تؼییي هوذاس خظ هـی ثْیٌِ 𝜋 ٍ تبثغ‬
‫ایي حبلت ثیبییذ كشم ًٌین ًِ ‪ً . =0.9‬وَداس ٍػغی یٌی اص خظ هـیّبی ثْیٌِ سا ثشای ایي ؿشایظ هـخق هایًٌاذ‪ .‬هثال توابهی خاظ‬
‫هـیّب‪ ،‬ایي خظ هـی ًیض دس ّش حبلت كوظ یي ػول سا پیـٌْبد هیًٌذ‪ .‬جبی تؼجت ًذاسد ًِ خظ هـی ثْیٌِ ًَتبُتشیي ساُ سا ثِ ػوت حبلت‬
‫‪ً G‬ـبى هیدّذ‪.‬‬

‫‪1‬‬
‫‪optimal policy‬‬
‫‪2‬‬
‫‪absorbing state‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪7‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫ؿٌل ‪ 13.2‬یي هحیظ هغؼی ثشای تلَس هلبّین اٍلیِی یبدگیشی ‪.Q‬‬
‫ٍ‬ ‫ّش هشثغ یي حبلت ٍ ّش كلؾ یي ػول سا ًـبى هیدٌّذ‪ .‬تبثغ پبداؽ‪ r(s,a) ،‬دس ٍسٍد ثِ حبلت ‪ ٍ +100 G‬دس ثویِی هَاسد كلش اػت‪ .‬هوبدیش‬
‫ثذػت آهذُ اػت‪ .‬خظ هـی ثْیٌِ ای ًیض ثب هوبدیش ‪ Q‬هبًضیون ًیض دس ؿٌل آهذُ اػت‪.‬‬ ‫)‪ ًِ Q(s,a‬اص )‪ r(s,a‬ثب‬
‫سا ثشای ّش حبلت ًـبى هیدّذ‪ .‬ثشای هثب ‪ ،‬هشثغ گَؿِی پبییي ٍ ساػت ؿٌل سا دس ًظش ثگیشیاذ‪.‬‬ ‫ؿٌل ػوت ساػت دس ؿٌل ‪ 13.2‬هوبدیش‬
‫ثشای ایي هشثغ ‪ 111‬اػت صیشا ًِ خظ هـی ثشای ایي هشثغ كلؾ سٍ ثِ ثابال سا اًتخابة هایًٌاذ ٍ ػبهال پابداؽ لحظاِ ای ‪ 111‬سا‬ ‫هوذاس‬
‫ثشای هشثغ پبییي ٍ ٍػظ ‪ 91‬اػت‪.‬‬ ‫هیگیشد ٍ پغ اص آى ًیض ػبهل دس حبلت جبرة هیهبًذ ٍ ّیچ پبداؽ دیگشی ًیض ًویگیشد‪ .‬هـبثْبً‪ ،‬هوذاس‬
‫ایي ثخبعش ایي اػت ًِ خظ هـی ثْیٌِ اثتذا ػول ثِ ػوت ساػت سكتي سا ثب پبداؽ لحظاِ ای كالش ٍ ػا غ ػوال ثابال سكاتي سا ثاب پابداؽ‬
‫هیتَاى ًَؿت‪:‬‬ ‫لحظِ ای ‪ 111‬اًجبم هیدّذ‪ .‬پغ ثِ ػبدگی ثشای ایي هشثغ ثب تَجِ ثِ ساثغِی‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪8‬‬

‫دس ایي هحیظ خبف ثؼذ اص سػیذى ثِ حبلت جبرة ‪ G‬پبداؽ اػوب ثؼذی كلش خَاّذ ثَد ٍ ػبهل دیگش پبداؿی دسیبكت ًویًٌذ‪.‬‬

‫‪ 1.3.‬یادگیری ‪Q‬‬
‫𝜋 هوٌي ًیؼت صیشا ًِ ًوًَِّبیی‬ ‫چگًَِ ػبهل هیتَاًذ ثشای هحیغی دلخَاُ خظ هـی ثْیٌِ 𝜋 سا یبد ثگیشد؟ یبدگیشی هؼتوین‬
‫ثشای …‪ i=0,1,2,3,‬داسین‪ّ .‬وبى عَس ًاِ ثؼاذاً ًیاض‬ ‫آهَصؿی ثِ ؿٌل >‪ً <s,a‬ذاسین ٍ ثجبی آى تٌْب هوبدیش پبداؽّب سا ثِ كشم‬
‫خَاّین دیذ ثب داؿتي چٌیي اعالػبتی یبدگیشی تبثغ تخویٌی ػذدی ثش سٍی حبلتّب ٍ اػوب ػبدُ تش اػت‪ .‬ثؼذ اص پیذا ًشدى تبثغ تخویي ػذدی‪،‬‬
‫ثب اػتلبدُ اص آى خظ هـی ثْیٌِ سا پیذا هیًٌین‪.‬‬

‫سا ّش گبُ ًاِ‬ ‫اػت‪ .‬ػبهل ثبیذ حبلت‬ ‫چِ تبثغ تخویٌی سا ثبیذ ػبهل یبد ثگیشد؟ یٌی اص اًتخبةّبی آؿٌبس خَد‬
‫تشجیح دّذ‪ .‬الجتِ خظ هـی ثیي اػوب حن اًتخبة داسد ًِ ثیي حبلتّب‪ .‬ثب ایي ٍجَد هیتَاى ثشای اًتخبة ثیي اػواب ًیاض اص‬ ‫ثِ حبلت‬
‫حبلت پبیبًیاؽ ضشة دس هبًضیون ثبؿذ‪:‬‬ ‫اػتلبدُ ًشد‪ .‬ػول ثْیٌِ دس حبلت ‪ s‬ػولی هثل ‪ a‬اػت ًِ هجوَع پبداؽّبی لحظِ ای ٍ‬

‫𝜋‬ ‫[‬ ‫(‬ ‫])‬

‫ٍ اعالػابت ًابكی دس‬ ‫ًوبد حبلت ثؼذی ثشای ػول ‪ a‬اص حبلت ‪ s‬تؼشیق ؿذ)‪ .‬ثٌبثشایي ػبهل ثب اػاتلبدُ اص‬ ‫(تَجِ داؿتِ ثبؿیذ ًِ‬
‫هَسد تبثغ پبداؽّبی لحظِ ای ‪ ٍ r‬تبثغ حبلتّبی پبیبًی ‪ δ‬هیتَاًذ خظ هـی ثْیٌِ سا هـخق ًٌذ‪ .‬پغ صهبًی ًِ ػبهل دٍ تبثغ ‪ r ٍ δ‬سا ًاِ‬
‫هحیظ ثشای تـییشات اػتلبدُ هیًٌذ سا ثذاًذ هیتَاًذ ثب اػتلبدُ اص ساثغِی ‪ 13.3‬ػول ثْیٌِ سا ثشای حبلت دلخَاُ ‪ s‬هـخق ًٌذ‪.‬‬

‫كوظ صهبًی هیتَاى خظ هـی ثْیٌِ سا هـخق ًشد ًِ ػبهل دٍ تبثغ ‪ r ٍ δ‬سا ثذاًذ‪ .‬چٌیي چیضی هؼبد داًؼتي ًتبیج‬ ‫هتخػلبًِ‪ ،‬ثب یبدگیشی‬
‫لحظِ ای (ّن پبداؽّبی لحظِ ای ٍ ّن حبلتّبی پبیبًی) ثشای ّش صٍ هشتت حبلت ػول اػت‪ .‬ایي كاشم هـابثِ داؿاتي تئاَسی هلواشٍی‬
‫ًبهل دس یبدگیشی تَضیحی (كلل ‪ )11‬اػت‪ .‬دس ثؼیبسی اص هؼبئل ًبسثشدی‪ ،‬هثل ًٌتش سثبت‪ ،‬پیؾ ثیٌی دهین ًتیجِی ّش حشًت دس ّش حبلت‬
‫ثشای ػبهل ٍ یب ثشًبهًَِیؼؾ ؿیشهوٌي اػت‪ .‬ثشای هثب ‪ ،‬كشم ًٌیذ ًِ ثبصٍی ثیل ؿٌل سثبتی هیخَاّذ هوذاس خبى ثاشداسی ًٌاذ‪ ٍ ،‬حبلات‬
‫هلیذ ًخَاّذ ثَد صیشا ًِ‬ ‫ًْبیی هٌبى رسات خبى ثؼذ اص خبى ثشداسی اػت‪ .‬دس چٌیي ؿشایغی ّن ‪ّ ٍ δ‬ن ‪ً r‬بهؼلَهٌذ‪ ٍ ،‬هتخػلبًِ یبدگیشی‬
‫ػبهل ًویتَاًذ ساثغِی ‪ 13.3‬سا ًبهل ًٌذ‪ .‬ػبهل ثبیذ اص چِ تبثغ تخویٌی ثشای ایي تؼشیق هؼئلِی ًلیتش اػتلبدُ ًٌذ؟ تبثغ تخویي ‪ً ،Q‬اِ دس‬
‫ثخؾ ثؼذی تؼشیق خَاّذ ؿذ‪ ،‬جَاثی ثشای ایي هؼئلِ اسائِ هیًٌذ‪.‬‬

‫‪ 1.3.31‬تابع ‪Q‬‬
‫كشم ًٌیذ ًِ تبثغ تخویٌی )‪ Q(s,a‬سا ثِ كَستی تؼشیق ًشدُاین ًِ هوذاسؽ ّویـِ هبًضیون هوٌي تبثغ پبداؽ تجوؼی تخلیلای ثاشای ّاش‬
‫حبلت ‪ ٍ s‬ػول ‪ a‬دس گبم اٍ اػت‪ .‬ثِ ػجبست دیگش‪ ،‬هوذاس ػجبست ‪ّ Q‬ویـِ جوغ هوذاس پبداؽ لحظِ ای ػول ‪ ٍ a‬پبداؽ خظ هـی ثْیٌاِی‬
‫ثؼذ اص آى (ثب تخلیق ) اػت‪:‬‬

‫(‬ ‫)‬

‫تَجِ داؿتِ ثبؿیذ ًِ )‪ Q(s,a‬دهیوب ّوبى ًویتی اػت ًِ دس ساثغِی ‪ 13.3‬ثاشای اًتخابة ‪ a‬دس حبلات ‪ s‬هابًضیون ؿاذُ اػات‪ .‬ثٌابثشایي ثاب‬
‫ثبصًَیؼی ساثغِ خَاّین داؿت‪:‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪9‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫𝜋‬

‫یبد ثگیشد ثذٍى ًیبص ثِ دٍ تابثغ ‪ δ ٍ r‬هایتَاًاذ‬ ‫اّویت ایي ثبصًَیؼی دس چیؼت؟ ایي ساثغِ ًـبى هیدّذ ًِ اگش ػبهل تبثغ ‪ Q‬سا ثِ جبی‬
‫اػوب ثْیٌِ سا پیذا ًٌذ‪ّ .‬وبى عَس ًِ دس ساثغِی ‪ً 13.5‬یض آهذُ اػت‪ً ،‬بكی اػت ثب دس ًظش گشكتي حبلتّبی هختلق ثشای ‪ a‬دس حبلت ‪ s‬ػولی‬
‫سا اًتخبة ًٌین ًِ )‪ Q(s,a‬سا هبًضیون هیًٌذ‪.‬‬

‫دس اثتذا هوٌي اػت ػجیت ثِ ًظش ثشػذ ًِ ثب هبًضیون ًشدى هوذاسی هَضؼی هثل ‪ Q‬هیتَاى ثب تٌشاس اػوب ثِ ثیـتشیي پبداؽ ًلی سػایذ‪ٍ .‬‬
‫ایي ثذیي هؼٌبػت ًِ ػبهل ثذٍى ایٌٌِ حتی دس ًظش ثگیشد ًِ ثؼذ اص ایي ػول چِ حبلت سخ خَاّذ داد هیتَاًذ ػول ثْیٌِ سا پیذا ًٌاذ‪ .‬صیجابیی‬
‫یبدگیشی ‪ Q1‬دس ایي اػت ًِ تبثغ ‪ Q‬عَسی تؼشیق ؿذُ ًِ توبهی اعالػبت الصم دسثبسُی تبثغ پبداؽ تجوؼی تخلیلی دس آیٌذُ ثب اًتخبة ػول‬
‫‪ a‬دس حبلت ‪ s‬سا دس خَد داساػت‪.‬‬

‫ثشای دسى ثْتش‪ ،‬ؿٌل ‪ 13.2‬هوبدیش تبثغ ‪ Q‬سا ثشای ّش حبلت دس هحیظ هشثؼی تؼشیق ؿذُ ًـبى هیدّذ‪ .‬تَجِ داؿتِ ثبؿیذ ًِ هواذاس ‪ Q‬ثاشای‬
‫سا ثب تخلیق ًـبى هیدّذ‪ّ .‬وچٌیي تَجِ داؿتِ ثبؿایذ ًاِ خاظ‬ ‫ّش صٍ هشتت حبلت ػول هجوَع هوذاس پبداؽ لحظِ ای ٍ هوذاس تبثغ‬
‫هـی ثْیٌِ ًیض ثب هوبدیش ‪ Q‬ثشای حبلتّبی هختلق هتٌبػت اػت‪.‬‬

‫‪ 1.3.31‬الگوریتمی برای یادگیری ‪Q‬‬

‫یبدگیشی ‪ Q‬استجبعی هؼتوین ثب پیذا ًشدى خظ هـی ثْیٌِ داسد‪ .‬اهب چگًَِ هیتَاى ‪ Q‬سا یبد گشكت؟‬

‫ًلیذ حل ایي هـٌل پیذا ًشدى ساّی هبثل اعویٌبى ثشای تخویي هوبدیش آهَصؿی ثشای ‪ ،Q‬اص عشین تٌْب دادُ ّبی هَجَد یؼٌی ػشی پبداؽّبی‬
‫‪ r‬دس عَ صهبى اػت‪ .‬هیتَاى ثب تخویي تٌشاسیای ثِ چٌیي چیضی دػت یبكت‪ .‬ثشای پی ثشدى ثِ چگًَگی ایي اهش‪ ،‬ثیبییذ ثِ ساثغِی ثیي ‪ٍ Q‬‬
‫ًگبّی دهینتش ثیٌذاصین‪،‬‬

‫ًِ ثب تَجِ ثِ ساثغِی ‪ 13.4‬خَاّین داؿت‪:‬‬

‫ایي تؼشیق ثبصگـتی ‪ Q‬پبیِی الگَسیتنّبی حلوِ ای ثشای تخویي ‪ Q‬اػت )‪ .(Watkins 1989‬ثشای تَضایح الگاَسیتن‪ ،‬اص ًوابد ̂ ثاشای‬
‫ًوبیؾ تخویي یب ّوبى كشضیِی یبدگیش اػتلبدُ هیًٌین‪ً ٍ ،‬وبد ‪ Q‬سا ثشای تبثغ اكلی ثِ ًبس هیثشین‪ .‬دس ایي الگَسیتن یبدگیش كشضیِی ̂ سا ثب‬
‫̂ ًگاِ داسی‬ ‫جذٍلی ثضسٍ ًِ ثشای ّش جلت حبلت ٍ ػول ػذدی آٍسدُ ؿذُ ًـبى هیدّذ‪ .‬جاذٍ هوابدیش >‪ <s,a‬هوابدیش سا ثاشای‬
‫هیًٌذ‪ ،‬كشضیِی كؼلی یبدگیش ًِ تخویٌی اص ‪ Q‬اكلی اػت‪ .‬جذٍ دس گبم اٍ ثب هوبدیش تلبدكی پش هیؿَد (اگش كشم ًٌین جذٍ دس گابم اٍ‬
‫ثب كلش پش هیؿَد دسى الگَسیتن ساحتتش خَاّذ ثَد)‪ .‬دس ّش هشحلِ ػبهل حبلت ‪ s‬سا هـبّذُ هیًٌذ ٍ ػولی چَى ‪ a‬سا اًجبم هایدّاذ‪ ،‬ػا غ‬

‫‪1‬‬
‫‪Q learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪11‬‬

‫̂ داخل جذٍ سا ثشای چٌایي حابلتی ثاِ‬ ‫پبداؽ ًبؿی اص ػول )‪ ٍ r=r(s,a‬حبلت پبیبًی )‪ s’=δ(s,a‬سا هـبّذُ هیًٌذ‪ .‬ػ غ هوذاس‬
‫كشم صیش تـییش هی دّذ‪:‬‬

‫̂‬ ‫̂‬

‫تَجِ داسیذ ًِ ػبهل اص هوذاس كؼلی ̂ دس ’‪ s‬ثشای تخویي ̂ دس هشحلِی هجلی اػتلبدُ هیًٌذ‪ .‬ثب ٍجَد ایٌٌِ ایي ساثغِ ثِ تخویي هجلی ػبهل اص‬
‫̂ ًیض ٍاثؼتِ اػت اهب هیتَاى گلت ایي هبًَى آهَصؽ اص ساثغِی ‪ً 13.6‬ـخت گشكتِ اػت‪ .‬تَجِ داؿتِ ثبؿیذ ًِ ثب ٍجَد ایٌٌاِ ساثغاِی ‪13.6‬‬
‫‪ Q‬سا ثش اػبع دٍ تبثغ )‪ r(s,a) ٍ δ(s,a‬تَكیق هیًٌذ‪ ،‬ػبهل ثشای پیبدُ ػبصی ساثغِی ‪ّ 13.7‬یچ ًیبصی ثِ داًؼتي ایي دٍ ساثغِ ًاذاسد‪ .‬ثاِ‬
‫جبی آى ػبهل ػول هزًَس سا اًجبم هیدّذ ٍ حبلت جذیذ ’‪ ٍ s‬پبداؽ ‪ r‬سا هـبّذُ هیًٌذ‪ .‬پغ هیتَاى گلت ًِ دس ایي ساثغِ دٍ هوذاس ’‪r ٍ s‬‬
‫ایي دٍ تبثغ سا هذ ػبصی هیًٌٌذ‪.‬‬

‫الگَسیتوی ًِ دس ثبال تَضیح دادُ ؿذ ثشای ػیؼتنّبی تلوین گیشی هبسًٍَ دهینتش دس جذٍ ‪ 13.1‬آٍسدُ ؿذُ اػت‪ .‬ثب اػتلبدُ اص ایي الگَسیتن‬
‫تخویي ػبهل ̂ ثِ هوذاس ٍاهؼی ‪ Q‬هیل هیًٌذ ‪ .‬ثب تَجِ ثِ ایٌٌِ كشم ًشدین ػیؼتن یي هذ تلوین گیشی هبسًٍَ اػت‪ ،‬تبثغ پبداؽ ًشاى‬
‫داس اػت ٍ اػوب عَسی اًتخبة هیؿًَذ ًِ ّش جلت حبلت ٍ ػول چٌذ دكؼِ یي ثبس هـبّذُ ؿَد‪.‬‬

‫الگَسیتن یبدگیشی ‪Q‬‬

‫̂ سا كلش هشاس ثذُ‬ ‫ثشای ّش جلت ‪ aٍ s‬هوذاس اٍلیِی جذٍ‬

‫حبلت كؼلی ‪ s‬سا هـبّذُ ًي‬

‫حلوِی صیش سا تب ثیٌْبیت اداهِ ثذُ‪:‬‬

‫ػولی هثل ‪ a‬سا اًتخبة ًي ٍ آىسا اًجبم ثذُ‪.‬‬ ‫‪‬‬

‫هوذاس پبداؽ لحظِ ای ‪ r‬سا دسیبكت ًي‬ ‫‪‬‬
‫حبلت جذیذ ’‪ s‬سا هـبّذُ ًي‬ ‫‪‬‬
‫هوذاس جذٍ سا ثب ساثغِی صیش تـییش ثذُ‬ ‫‪‬‬
‫̂‬ ‫̂‬

‫‪‬‬
‫جذٍ ‪13.1‬‬
‫دس ًظش گشكتِ ؿذُ اػت‪.‬‬ ‫الگَسیتن یبدگیشی ‪ Q‬ثب كشم ایٌٌِ پبداؽّب ٍ اػوب هغؼی ّؼتٌذ‪ .‬ثبثت تخلیق‬

‫‪ 1.3.3.‬مثالی توضیحی‬
‫ثشای تلَس ثْتش یبدگیشی ‪ ،Q‬ػول ٍ حبلتّبی ًـبى دادُ ؿذُ دس ؿٌل ‪ 13.3‬سا دس ًظش ثگیشیذ‪ .‬دس ایٌجب یي ػبهل ػولی سا اًجبم دادُ ٍ ̂ سا‬
‫ثب تَجِ ثِ ایي ػول تـییش هیدّذ ‪ .‬ػبهل دس ایي هثب ثِ ػوت ساػت حشًت ًشدُ (ػول) ٍ ثشای ایي ػول پابداؽ كالش سا دسیبكات هایًٌاذ‪.‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪11‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫ػ غ ثب تَجِ ثِ ساثغِی ‪ 13.7‬هوذاس تخویٌی خَد ̂ سا ثشای صٍ حبلت ٍ ػولی ًِ اًجبم دادُ تـییش هیدّذ‪ .‬ثب تَجِ ثِ ساثغِ هوذاس جذیاذ ̂‬
‫جوغ پبداؽ لحظِ ای ػول (كلش) ٍ ثیـتشیي هوذاس ̂ ثشای حبلت پبیبًی (‪ )111‬ثب تخلیق ‪ 1.9 ،‬خَاّذ ثَد‪.‬‬

‫دس ّش تٌشاس ػبهل ػولی سا اًجبم دادُ ٍ اص حبلت هذیوی ثِ حبلت جذیذ هیسٍد‪ ٍ ،‬یابدگیشی ‪ً Q‬یاض دس ّاش هشحلاِ ̂ سا اص هشحلاِی جذیاذ ثاِ‬
‫هشحلِی هجلی گؼتشؽ هیدّذ ثِ عَس ّوضهبى هیضاى پبداؽ لحظِ ای تَػظ ػبهل دسیبكت ؿذُ ٍ دس تـییش ̂ تبثیش خَد سا هیگزاسد‪.‬‬

‫كشم ًٌیذ ًِ ایي الگَسیتن سا ثشای هحیظ هشثؼی ٍ تبثغ پبداؽ ًـبى دادُ ؿذُ دس ؿٌل ‪ 13.2‬ثِ ًبس ثجشین‪ .‬اص آًجبیی ًِ ایي هحیظ یي حبلت‬
‫جبرة داسد ثبیذ آهَصؽ سا دس چٌذ هؼوت اًجبم دّین‪ .‬دس ّش هؼوت ػبهل دس حبلتی تلبدكی هشاس هیگیشد ٍ تاب سػایذى ثاِ حبلات جابرة حان‬
‫اًتخبة اػوب سا خَاّذ داؿت‪ .‬صهبًی ًِ ػبهل ثِ حبلت جبرة هیسػذ ایي هؼوت اص آهَصؽ پبیبى هییبثذ ٍ ػبهل دٍثابسُ ثاِ حابلتی تلابدكی‬
‫كشػتبدُ هیؿَد تب هؼوت ثؼذی آهَصؽ اًجبم ؿَد‪.‬‬

‫هوبدیش ̂ چگًَِ دس ایي هثب ثب اػتلبدُ اص یبدگیشی ‪ Q‬تـییش هیًٌٌذ؟ دس اثتذای آهَصؽ ّوِی هوبدیش ̂ كلش هشاس دادُ هیؿًَذ ٍ تب صهبًی ًِ‬
‫ػبهل ثِ حبلت جبرة ًشػیذُ ٍ پبداؿی ؿیش كلش دسیبكت ًٌشدُ ایي هوبدیش كلش هیهبًٌذ‪ .‬ثب ٍسٍد ثِ حبلت جبرة‪ ،‬حبلتی ًاِ ػبهال هاجالً دس آى‬
‫ثَدُ هوذاس ̂ خَد سا تـییش هیدّذ‪ .‬دس هؼوت ثؼذی آهَصؽ اگش ػبهل اص حبلتی ًِ گلتِ ؿذ سد ؿاَد هواذاس ؿیاش كالش ̂ دس آى خبًاِ ثبػاث‬
‫هیؿَد تب خبًِ ای ثب كبكلِی دٍ اص ‪ً G‬یض هوذاس ̂ خَد سا پیذا ًٌذ ٍ ثِ ّویي تشتیت‪ .‬اگش تؼذاد هؼوتّبی آهَصؿی ًبكی ثبؿذ‪ ،‬اعالػبت الصم‬
‫اص عشین پبداؽّبی ؿیش كلش دس هیبى كضبی جلت حبلت ػول پخؾ خَاّذ ؿذ ٍ دس آخش ًیض ثِ جذٍلی ًِ دس ؿٌل ‪ً 13.2‬یض ًـبى دادُ ؿاذُ‬
‫اػت ختن هیؿَد‪.‬‬

‫دس هؼوت ثؼذی ثبثت خَاّین ًشد ًِ الگَسیتن اسائِ ؿذُ دس جذٍ ‪ 13.1‬ثِ ػوت تبثغ ‪ Q‬هیل خَاّذ ًشد‪ .‬اهب اثتذا دٍ خبكایت ًلای الگاَسیتن‬
‫یبدگیشی ‪ Q‬سا ًِ دس هَسد توبهی ‪ّ MDP‬بی هغؼی ثب پبداؽّبی ؿیش هٌلی كبدم اػت سا ثشسػی هیًٌین‪ .‬كاشم ًٌیاذ ًاِ توابهی هوابدیش‬
‫اٍلیِی ̂ سا كلش هشاس دادُاین‪ .‬اٍلیي خبكیت ایي اػت ًِ ثب ایي ؿشایظ هوبدیش ̂ ّیچٍهت دس عَ آهَصؽ ًبّؾ ًوییبثذ‪ .‬ثِ ػجابست دیگاش‬
‫̂ ثؼذ اص ‪ n‬تٌشاس كشایٌذ (هثالً ثؼذ اص ایٌٌِ ػبهل ‪ n‬جلت حبلت ٍ ػوال سا ثشسػای ًاشد)‬ ‫̂ ًوبد هوذاس یبد گشكتِ ؿذُی‬ ‫اگش‬
‫ثبؿذ‪ ،‬خَاّین داؿت‪:‬‬

‫̂‬ ‫̂‬

‫خبكیت ًلی دٍم ایي اػت ًِ دس عَ آهَصؽ ّویـِ هوذاس ̂ ثیي دٍ هوذاس كلش ٍ هوذاس حویوی ‪ Q‬خَاّذ ثَد‪.‬‬

‫̂‬

‫‪ 1.3.31‬همگرایی‬
‫آیب توشیت ̂ ًِ دس الگَسیتن جذٍ ‪ 13.1‬آٍسدُ ؿذُ ثِ هوذاس حویوی ‪ Q‬هیل خَاّذ ًشد؟ جَاة هثجت اػت‪ ،‬اهب ثب ؿاشایغی‪ .‬اثتاذا ثبیاذ كاشم‬
‫ًٌین ًِ ػیؼتن یي ػیؼتن هغؼی ‪ MDP‬اػت‪ .‬دٍم ایٌٌِ ثبیذ كشم ًٌین ًِ پبداؽّبی لحظِ ای ًشاى داسًذد یؼٌای ایٌٌاِ هواذاسی ثبثات‬
‫هثل ‪ c‬هَجَد اػت ًِ ثشای توبهی حبلتّبی ‪ ٍ s‬توبهی اػوب ‪ a‬داؿتِ ثبؿین ‪ .|r(s,a)|<c‬ػَم ایٌٌِ ثبیذ كشم ًٌین ًِ ػبهل ّش جلات‬
‫حبلت ٍ ػول سا حذاهل ّش چٌذ ٍهت یي ثبس ثشسػی هیًٌذ‪ .‬ثِ ػجبست دیگش اگش ػول ‪ a‬دس حبلت ‪ s‬یي هبًًَی ثَد‪ ،‬دس عَ صهبى ػبهل ثبیذ تب‬
‫صهبًی ًِ عَ ػشی اػوب ثِ ثیٌْبیت ثشػذ ػول ‪ a‬اص حبلت ‪ s‬ثب تٌبٍثی ؿیش كلش اًجبم دّذ‪ .‬تَجِ داسیذ ًِ ایي ؿشایظ اص جٌجِ ای هحاذٍد ٍ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪12‬‬

‫اص جٌجِ ای ثؼیبس ًلی ّؼتٌذ‪ً .‬ؼجت ثِ هثب ّبی ثشسػی ؿذُ ایي ؿشایظ ثؼیبس ًلی ّؼتٌذ صیشا ًِ ثب چٌیي ؿشایغی هحایظّابی دلخاَاّی سا‬
‫هیتَاى دس ًظش گشكت ًِ پبداؽّبی كلش یب هثجت یب هٌلی ٍ تؼذاد دلخَاّی جلت حبلت ٍ ػول داؿتِ ثبؿٌذ‪ .‬اهب اص عشكی دیگش ایي هحاذٍدیت‬
‫ٍجَد داسد ًِ ثبیذ ػبهل ثتَاًذ دس هحیظ ّش جلت حبلت ٍ ػول سا چٌذ ٍهت یي ثبس ثشسػی ًٌذ‪ .‬دس ًال ایاي ؿاشط‪ ،‬دس هحایظّابی ثاضسٍ ٍ‬
‫پیَػتِ ؿشط ثؼیبس هَیای اػت‪ .‬دس آیٌذُ ثِ ًتبیج هَیتش ّوگشایی خَاّین پشداخت‪ .‬ثب ایي ٍجَد ؿشٍط ثشسػی ؿذُ دس ایي هؼوت پبیاِ ّابی‬
‫دسى دسػتی یبدگیشی ‪ Q‬اػت‪.‬‬

‫ًٌتِی ًلیذی اثجبت ّوگشایی ایي اػت ًِ پش خغبتشیي هوذاس جذٍ ̂ ّش صهبى ًِ ثشسػی هیؿَد ثبیذ ثِ ًؼاجت ضاشیت خغابی خاَد سا‬
‫تلحیح ًٌذ‪ .‬صیشا ًِ هؼوتی اص هوذاس جذیذ ̂ ثِ هوذاس خغب داس ̂ ٍ ثویِی آى ثِ هوذاس ثذٍى خغبی پبداؽ ‪ r‬ثؼتگی داسد‪.‬‬

‫قضیهی ‪ 31.31‬همگرایی یادگیری ‪ Q‬برای فرایند های تصمیم گیری مارکوو در حالت قطعی‪ 3‬یاي ػبهال یابدگیش سا دس یاي‬
‫‪ ًِ .‬ایي ػبهل اص هبًَى یابدگیشی ‪ً Q‬اِ دس ساثغاِی ‪13.7‬‬ ‫‪ MDP‬هغؼی ثب پبداؽّبی ًشاى داس دس ًظش ثگیشیذ‪:‬‬
‫̂ سا ثب هوابدیش دلخاَاُ ًاشاى داس هواذاس دّای اٍلیاِ هایًٌاذ ٍ ػبهال تخلیاق ًیاض است ًاِ‬ ‫اػتلبدُ هیًٌذ‪ .‬پغ ػبهل هوبدیش‬
‫̂ پغ اص ‪ n‬ثبس تـییش ثبؿذ ٍ ّش جلت حبلت ٍ ػول ًیض چٌذ ٍهت یي ثبس ثشسػی ؿَد‪،‬‬ ‫̂ ًوبد كشضیِی‬ ‫‪ .‬اگش‬
‫هیل خَاّذ ًشد‪.‬‬ ‫̂ ثِ‬ ‫آًگبُ صهبًی ًِ ∞ ‪ n‬ثشای توبهی هوبدیش ‪،s ٍ a‬‬

‫اثبات‪ 3‬اص آًجبیی ًِ ّش صٍ حبلت ٍ ػول چٌذ ٍهت یي ثبس ثشسػی هیؿًَذ‪ ،‬ثبصُ ّبی پیبپیای سا دس ًظش ثگیشیذ ًِ دس آى توبهی صٍ حبلت ٍ‬
‫ػول چٌذ ٍهت یي ثبس ثشسػی هیؿًَذ‪ .‬دس ایٌجب ثبثت هیًٌین ًِ دس چٌیي ثبصُ ای خغبی هابًضیون ثاشای توابهی هوابدیش جاذٍ ̂ حاذاهل‬
‫̂ جذٍ هوبدیش كشضیِ ثؼذ اص ‪ n‬ثبس تـییش ثبؿذ ٍ 𝛥 ًیض حذاًثش خغبی ایي جذٍ ثبؿاذ (ثاِ كاشم‬ ‫هتٌبػت ثب ًبّؾ هییبثذ‪ .‬اگش‬
‫صیش)‪:‬‬

‫𝛥‬ ‫̂‬

‫̂ ًِ دس حلوِی ‪ n+1‬ام ػاَم هایؿاَد‪،‬‬ ‫دس صیش اص ًوبد ’‪ s‬ثشای ًوبیؾ )‪ δ(s,a‬اػتلبدُ خَاّین ًشد‪ .‬حب ثشای ّش هوذاس جذٍ‬
‫̂ خَاّذ ثَد‪:‬‬ ‫اًذاصُی خغب دس‬

‫̂|‬ ‫|‬ ‫̂‬

‫̂‬

‫̂‬

‫̂‬

‫̂|‬ ‫|‬ ‫𝛥‬

‫ًبؿی ؿذُ‪:‬‬ ‫ٍ‬ ‫خظ دٍم ثِ ػَم دس سٍاثظ ثبال اص ساثغِی ًلیای صیش ثشای دٍ تبثغ دلخَاُ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪13‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫دس خظ ػَم ثِ چْبسم ًیض تَجِ ًٌیذ ًِ هتـیش جذیذی ثِ ًبم ’’‪ s‬سا ًِ هتـیش هبًضیون ًٌٌذُ اػت اضبكِ ًشدُاین‪ .‬ایي ًبس اص ایي سٍ دسػت اػت‬
‫ًِ هوذاس هبًضیون ثؼذ اص اضبكِ ًشدى هتـیش جذیذ ثضسٍتش یب هؼبٍی خَاّذ ؿذ‪ .‬تَجِ داؿتِ ثبؿیذ ًِ ثب اضبكِ ًشدى ایي هتـیاش جذیاذ تؼشیاق‬
‫𝛥 سا دس ًبهؼبدلِ هیػبصین‪.‬‬

‫̂ ‪ًَ ،𝛥 ،‬چيتش اػت‪ .‬اص عشكی ثضسٍتشیي خغبی‬ ‫̂ ثشای ّش هوذاس ‪ a ٍ s‬حذاهل ثِ ًؼجت اص هبًضیون خغبی جذٍ‬ ‫ثٌبثشایي تـییش‬
‫اٍلیي جذٍ یب ّوبى 𝛥 ًیض ًشاى داس اػت صیشا توبهی هوبدیش ̂ ٍ )‪ Q(s,a‬ثِ اصای توبهی هوابدیش ‪ً s ٍ a‬اشاى داسًاذ‪ .‬حاب ثؼاذ اص اٍلایي‬
‫𝛥 خَاّذ ثَد‪ .‬ثؼذ اص ‪ k‬ثابس تٌاشاس حاذاًثش خغاب ثاِ 𝛥‬ ‫ثبصُ ای ًِ توبهی ‪ّ s,a‬ب سا ثشسػی هیًٌذ‪ ،‬ثضسٍتشیي خغبی هَجَد دس جذٍ‬
‫تولیل خَاّذ یبكت‪ .‬اص آًجبیی ًِ ّش حبلت ّش چٌذ ٍهت یي ثبس ثشسػی ؿذُ صهبًی ًِ ∞ ‪ n‬تؼذاد چٌیي تٌشاسّبیی ًیض ثاِ ػاوت ثیٌْبیات‬
‫𝛥‪.‬‬ ‫هیل خَاّذ ًشد ٍ هتؼبهجبً خَاّین داؿت ًِ‬

‫‪ 1.3.31‬استراتژیهای آزمایص‬
‫تَجِ داسیذ ًِ الگَسیتن جذٍ ‪ً 13.1‬حَُی اًتخبة اػوب تَػظ ػبهل سا هـخق ًٌشدُ‪ .‬یٌی اص اػتشاتظیّبی ػبدُی هَجَد اًتخبة ػولای‬
‫̂ سا هبًضیون ًٌذ ٍ اص اعالػبتی ًِ تب ثِ حب ثذػت آٍسدُ ثشای ثذػت آٍسدى پبداؽ اػتلبدُ ًٌاذ‪ .‬ثاب ایاي ٍجاَد ثاب‬ ‫اػت ًِ هوذاس‬
‫اًتخبة چٌیي اػتشاتظیای ػبهل سیؼي اػتوبد‪ 1‬سا اكضایؾ هیدّذ‪ .‬یؼٌی ایٌٌِ دس هشاحل اٍلیِی تخویي ̂ ػولی هواذاس صیابدی دس ̂ سا پیاذا‬
‫ًشدُ دس حبلی ًِ ‪ّ Q‬وبى ػول هبًضیون ًیؼت‪ .‬اص عشف دیگش عجن هضیِی ثبال ثشای ایٌٌِ ̂ ثِ ‪ّ Q‬وگشا ؿَد ثبیذ توبهی اػوب ّاش چٌاذ‬
‫ٍهت یي ثبس اًجبم ؿًَذ‪ٍ .‬اضح اػت ًِ ثب اًتخبة هبًضیون دس ّش حبلت چٌیي ؿشعی ثشآٍسدُ ًخَاّذ ؿذ‪ .‬ثِ ّویي دلیل‪ ،‬هؼوَ اػت ًاِ دس‬
‫یبدگیشی ‪ Q‬ثشای اًتخبة اػوب اص سٍؿی احتوبلی اػتلبدُ هیًٌٌذ‪ .‬هؼلوبً ثِ اػوبلی ًِ ̂ ثیـتش داسًذ احتوب ثیـاتشی دادُ هایؿاَد اهاب ثاِ‬
‫توبهی اػوب احتوبلی ؿیش كلش ثبیذ دادُ ؿَد‪ .‬یٌی اص ساُّبی اًتخبة ایي احتوبالت ثِ ؿٌل صیش اػت‪:‬‬

‫̂‬

‫̂‬
‫∑‬

‫دس حبلت ‪ s‬اػت ٍ ‪ً k‬یض ثبثتی هثجت اػت ًِ هذست اًتخبة گضیٌِی ثْتش سا ًـبى هیدّذ‪ .‬ثب‬ ‫احتوب اًتخبة ػول‬ ‫دس ایي ساثغِ‬
‫اكضایؾ هوذاس ‪ ،k‬اػوبلی ًِ ̂ ثیـتش داسًذ احتوب ثیـتشی خَاٌّذ داؿت‪ ٍ ،‬ثبػث هیؿَد تب ػبهل اص داًؼتِّبیؾ اػتلبدُ‪ًٌ 2‬اذ تاب ایٌٌاِ ثاِ‬
‫جؼتجَی‪ 3‬هحیظ ث شداصد‪ .‬دس هوبثل ثب ًن ؿذى ‪ k‬احتوب اػوب دیگش اكضایؾ هییبثذ ٍ ػبهل ثیـتش ثِ ػوت جؼتجَ توبیل پیاذا هایًٌاذ‪ .‬دس‬
‫ثؼضی هَاسد ثذ ًیؼت تب هوذاس ‪ k‬سا هتٌبػت ثب تؼذاد تٌشاس ّبی الگَسیتن ػَم ًٌین تب دس هشاحل اٍلیِ یبدگیشی ػبهل ثِ جؼاتجَ ث اشداصد ٍ دس‬
‫هشاحل آخش ًیض اص اعالػبت اػتلبدُ ًٌذ‪.‬‬

‫‪1‬‬
‫‪overcommit‬‬
‫‪2‬‬
‫‪expoit‬‬
‫‪3‬‬
‫‪explore‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪14‬‬

‫‪ 1.3.31‬سری تغییرها‬
‫یٌی اص اّویتّبی هضیِی ّوگشایی ثبال ایي ًٌتِ اػت ًِ یبدگیشی ‪ً Q‬یبصی ثِ دًجب ًشدى خظ هـی ثْیٌِ ثشای یبدگیشی آى ًذاسد‪ .‬دس ٍاهغ‬
‫هیتَاى تبثغ ‪ ٍ( Q‬هتؼبهجبً خظ هـی ثْیٌِ) سا ثب دًجب ًشدى یي خظ هـی ًبهالً تلبدكی دس ّش هشحلِ ٍ ثشسػی توبهی جلت حبلت ٍ ػولّاب‬
‫ّش چٌذ ٍهت پیذا ًشد‪ّ .‬ویي ًٌتِ ثِ هب اجبصُ هیدّذ ًِ ثذٍى اص ثیي ثشدى ّوگشایی الگَسیتن ثتَاًین ًحَُی اًتخابة اػواب سا ثاشای ثْیٌاِ‬
‫ػبصی یبدگیشی تـییش دّین‪ .‬ثشای تلَس‪ ،‬دٍثبسُ یبدگیشی ‪ MDP‬سا ثب ّوبى حبلت جبرة ؿٌل ‪ 13.1‬سا دس ًظش ثگیشیاذ‪ .‬كاشم ًٌیاذ ًاِ ٌّاَص‬
‫ػبهل سا ثب هؼوتّبی یبدگیشی آهَصؽ ًذادُاین‪ .‬ثشای ّش هؼوت ػبهل سا دس حبلتی تلبدكی هشاس هیدّین تب اػوبلی سا اًجبم دّذ ٍ جذٍ ̂ سا‬
‫تـییش دّذ تب ثِ حبلت جبرة ثشػذ‪ ٍ .‬ثؼذ اص آى ًیض دٍثبسُ ػبهل دس حبلتی تلبدكی هشاس هیگیشد‪ّ .‬وبى عَس ًِ هاجالً ًیاض گلتاِ ؿاذ اگاش توابهی‬
‫هوبدیش جذٍ ̂ سا كلش هشاس دّین ثؼذ اص هشحلِی اٍ تٌْب یي هوذاس جذٍ تـییش ًشدُ ٍ آى ًیض هوذاس حبلت هجلی حبلات جابرة اػات‪ .‬تَجاِ‬
‫داؿتِ ثبؿیذ ًِ اگش ػبهل ّوبى ػشی اػوب سا عی ًٌذ یٌی دیگش اص هوبدیش جذٍ ̂ ًیض ؿیش كلش خَاّذ ؿذ‪ .‬حب اگش دس توابهی هؼاوتّاب‬
‫ّویي اػوب سا تٌشاس ًٌین هوبدیش حبلتّب ثِ تشتیت اص حبلت جبرة ثِ ػوت حبلت اٍلیِ تي تي ثب ػشػت یاي حبلات دس هؼاوت ؿیاش كالش‬
‫خَاٌّذ ؿذ‪ .‬حب ّوبى آهَصؽ سا ثب تشتیت ثشػٌغ ثشای ّش هؼوت دس ًظش ثگیشیذ‪ .‬یؼٌی ایٌٌاِ اص ّوابى ساثغاِی ‪ 13.7‬ثاشای هحبػاجِی ̂‬
‫اػتلبدُ هیًٌین اهب ایي تشتیت سا ثشػٌغ اًجبم هیدّین‪ .‬ثب چٌیي ؿشایغی دس یي هؼوت هیتَاى توبهی هوبدیش تخویٌای ̂ سا دس عاَ ایاي‬
‫هؼیش دلخَاُ ثِ ػوت حبلت جبرة پیذا ًشد‪ .‬چٌیي كشایٌذی هؼلوبً دس تٌشاس ّبی ًوتشی ّوگشا خَاّذ ؿذ اهب ثب ایاي ٍجاَد حبكظاِی ثیـاتشی‬
‫ثشای رخیشُی ًل هؼوت هجل اص آهَصؽ آى هؼوت الصم اػت‪.‬‬

‫اػتشاتظی دٍم هغشح ثشای ثْجَد ػشػت ّوگشایی رخیشُ ػبصی جلت حبلت ٍ ػولّبی هجلی ثب پبداؽّبی لحظِّبیـبى تٌشاس تٌبٍثی ػولیابت‬
‫̂ هیؿَد صیاشا ًاِ دس‬ ‫هشثَعِ اػت‪ .‬ثب ٍجَد ایٌٌِ دس ًگبُ اٍ چٌیي ًبسی ّذس دادى صهبى ثِ ًظش هیسػذ اهب ایي ًبس ثبػث تلحیح‬
‫̂ ثؼذ اص آى دچابس تـییاشات هایؿاَد‪ ،‬پاغ‬ ‫̂ ًـبت گشكتِ ))‪ .(s’=δ(s,a‬دس حبلی ًِ خَد هوذاس‬ ‫اجشای اٍ ایي هوذاس اص‬
‫̂ خَاّذ ؿذ‪ .‬دس ًل‪ ،‬هیضاًی ًِ ثِ هؼیش ّبی هذیوی هیپشداصین دس هوبثل هیضاًی ًاِ‬ ‫تٌشاس دٍثبسُی جلت >‪ <s,a‬ثبػث ثْجَد هوذاس‬
‫‪1‬‬
‫هؼیش ّبی جذیذ ایجبد هیًٌین ثؼتگی ثِ ّضیٌِی ًؼجی ایي دٍ ػولیبت دس هلوشٍ هؼئلِ داسد‪ .‬هثالً دس هلوشٍ سثبتی ًِ حشًتّبیؾ ثؼیبس ًٌذ‬
‫اػت‪ ،‬تخخیش ایجبد ؿذُ دس پیذا ًشدى جلت حبلت ٍ ػولّبی جذیذ دس جْبى ٍاهؼی ّضیٌِی چٌذیي ثشاثش تٌشاس ّوبى هؼیش ّبی هجلی داسد‪ .‬ایاي‬
‫تلبٍت ثبػث هیؿَد ًِ گبّی یبدگیشی ‪ Q‬ثؼذ اص چٌذیي ّضاس تٌشاس حلوِ ّوگشا ؿَد‪.‬‬

‫تَجِ داؿتِ ثبؿیذ ًِ دس توبم عَ ثحث ثبال كشضوبى ثش ایي ثَد ًِ تَاثغ )‪ r(s,a) ٍ δ(s,a‬ثشای ػبهل هجَْ اػت‪ .‬اگش ایي دٍ تابثغ ثاشای‬
‫ػبهل هؼلَم ثبؿٌذ هتذ ّبی هَثش تشی سا هیتَاى ثٌبس ثشد‪ .‬ثشای هثب اگش اجشای اػوب خبسجی ّضیٌِ ثش اػت ػبهل هیتَاًذ اص اثاش خابسجی آى‬
‫چـن پَؿی ًشدُ ٍ آىسا ؿجیِ ػبصی ًٌذ ٍ دس ایي هحیظ ؿجیِ ػبصی ؿذُ ثب اًجبم اػوب ٍ پبداؿی ًِ خَد ثب اػتلبدُ اص ‪ r‬دس ًظش هیگیشد خَد‬
‫سا آهَصؽ دّذ‪ (Sutton 1991) .‬ػبختبس ‪ Dyna‬سا هؼشكی هیًٌذ ًِ ثؼذ اص اًجبم ّش هشحلِ اص آهَصؽ دس جْبى ٍاهؼی تؼاذادی ػوال سا دس‬
‫جْبى ؿجیِ ػبصی ؿذُ اًجبم هیدّذ‪ (Moore and Atkeson 1993) .‬هتذی ثِ ًبم ‪ prioritized sweeping‬سا هؼشكی هایًٌٌاذ‬
‫ًِ صهبًی ًِ دس اداهِ كشایٌذ ثِ حبلتّبی اهیذٍاس ًٌٌذُ جذیذ هیپشداصد ٍ كوظ صهبًی ًِ تـییش ثضسگی سخ داد ثِ حبلتّبی هجلای ثابص هایگاشدد‪.‬‬
‫)‪ً (Peng and Williams 1994‬یض سٍؿی هـبثِ سا تَكیق هیًٌٌذ‪ .‬صهبًی ًِ تَاثغ ‪ r ٍ δ‬هؼلَهٌذ‪ ،‬تؼذاد صیبدی اص الگَسیتنّبی ًبساهاذ‬
‫سا هیتَاى ثشای هجحث ثشًبهِ ًَیؼی پَیب ثِ ًبسثشد‪ (Kaelbling 1996) .‬تؼذادی اص ایي الگَسیتنّب سا ثشسػی هیًٌذ‪.‬‬

‫‪1‬‬
‫‪Domain‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪15‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫‪ 1.31‬اعمال و پاداشهای غیر قطعی‬

‫دس هؼوتّبی هجلی یبدگیشی ‪ Q‬سا ثشای هحیظّبی هغؼی ثشسػی ًشدین‪ .‬حب هیخَاّین كشم ًٌین ًِ هحیظ ؿیش هغؼی اػات‪ ،‬یؼٌای تابثغ‬
‫)‪ ٍ r(s,a‬تبثغ )‪ δ(s,a‬هوٌي اػت خشٍجیّبی احتوبلی داؿتِ ثبؿٌذ‪ .‬ثشای هثب دس ثشًبهاِی ثابصی تختاِ ًاشدی ًاِ ‪(1995) Tesauro‬‬
‫عشاحی ًشدُ‪ ،‬خشٍجی اػوب راتبً احتوبلی اػت صیشا ًِ ّش حشًت ثِ پشتبة تبع ٍاثؼتِ اػت‪ّ .‬وچٌیي دس هؼئلِی سثبتی ًِ حؼگشّب ٍ اػوب‬
‫ًَیض داس ّؼتٌذ الصم اػت ًِ ساثغِی ثیي اػوب ٍ پبداؽّب سا ؿیش هغؼی كشم ًٌین‪ .‬دس چٌیي ؿشایغی‪ ،‬دٍ تبثغ )‪ δ(s,a) ٍ r(s,a‬سا هیتَاى‬
‫ثِ كَست تَصیغّبی احتوبلی سٍی دٍ كضبی ‪ a ٍ s‬دس ًظش گشكت ٍ ػ غ خشٍجی تلبدكیای ثب تَجِ ثِ ایي تَصیغّب ثذػات آٍسد‪ .‬صهابًی ًاِ‬
‫ایي تَصیغّبی احتوب هٌحلشاً ثِ ‪ٍ a ٍ s‬اثؼتِ ثبؿٌذ (هثالً ثِ حبلت هجلی یب ػول هجلی ٍاثؼتِ ًجبؿٌذ)‪ ،‬آًگبُ ثِ ًل ػیؼاتن‪ ،‬ػیؼاتن تلاوین‬
‫گیشی ؿیش هغؼی هبسًٍَ‪ 1‬هیگَیین‪.‬‬

‫دس ایي هؼوت الگَسیتن یبدگیشی ‪ Q‬سا ثشای حبلت ؿیش هغؼی دس هحیظّبی ؿیش هغؼی ‪ MDP‬تبهین هیدّین‪ .‬ثشای ایي ًبس‪ ،‬دٍثبسُ الگاَسیتن سا‬
‫ثشای حبلت هغؼی ثشسػی ًشدُ ٍ دس هَاسد الصم آىسا ػَم هیًٌین‪.‬‬

‫سا ثاشای خاظ‬ ‫دس حبلت ؿیش هغؼی‪ ،‬دس اثتذا ثبیذ ثشای ػبهل دس ًظش ثگیشین ًِ دیگش خشٍجیّب هغؼی ًیؼتٌذ‪ .‬پغ ثذیْی اػت ًِ ساثغِی‬
‫هـی ‪ π‬ثِ كَست اهیذ پبداؽ تجوؼی تخلیلی ثیبى ًٌین (صیشا ًِ دیگش ّیچ چیض هغؼی ًیؼت)‪ .‬پغ داسین‪:‬‬

‫∑[‬ ‫]‬

‫پبداؽّبی دسیبكتی خظ هـی ‪ π‬ثب ؿشٍع اص حبلت ‪ s‬اػت‪ .‬تَجِ داؿتِ ثبؿیذ ًِ‬ ‫ًِ دس ایي ساثغِ‪ّ ،‬وبى عَس ًِ هجالً ًیض گلتِ ؿذ‪ ،‬ػشی‬
‫ایي ّوبى تبهین ساثغِی ‪ 13.1‬ثشای حبلت ؿیش هغؼی اػت‪.‬‬

‫سا ثاشای توابهی حبلاتّابی ‪ s‬هابًضیون‬ ‫ّوبى عَس ًِ هجالً ًیض گلتِ ؿذ‪ ،‬خظ هـی ثْیٌِ 𝜋 خظ هـیای هثل ‪ π‬اػت ًِ هواذاس‬
‫هیًٌذ‪ .‬دس گبم ثؼذی تؼشیق ‪ Q‬سا ًِ دس ساثغِی ‪ 13.4‬آهذُ تبهین هیدّین‪:‬‬

‫[‬ ‫]‬

‫[‬ ‫]‬ ‫[‬ ‫]‬

‫[‬ ‫]‬ ‫∑‬

‫احتوب سػیذى ثِ حبلت ’‪ s‬پغ اص اًجبم ػول ‪ a‬دس حبلت ‪ s‬اػت‪ .‬تَجِ داؿتِ ثبؿیذ ًِ هب دس ایٌجب اص‬ ‫ًِ دس آى‬
‫اػتلبدُ ًشدُ این‪.‬‬ ‫ثشای ثبصًَیؼی اهیذ هوذاس‬

‫دسػت هثل سٍاثظ هجلی ثشای تؼشیق ‪ً Q‬یض خَاّین داؿت‪:‬‬

‫‪1‬‬
‫‪nondeterministic Markov decision process‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪16‬‬

‫[‬ ‫]‬ ‫∑‬

‫ًِ ایي ساثغِ ًیض تبهین یبكتِی ساثغِی ‪ 13.6‬اػت‪ .‬ثِ عَس خالكِ‪ ،‬تؼشیق جذیذ )‪ Q(s,a‬اهیذ هوذاس تؼشیق ؿذُی حبلت هغؼی اػت‪.‬‬

‫حب ًِ تؼشیق ‪ Q‬سا ثبص ًَیؼی ًشدین‪ ،‬ثبیذ ثِ ػشاؽ ثبصًَیؼی هبًَى آهَصؽ ثشٍین‪ .‬هبًَى آهَصؽ هجلیای ًِ اص ثبصًَیؼی هبًَى هجلی (ساثغِی‬
‫‪ )13.7‬ثذػت هیآیذ ثشای ّوگشایی دس ؿشایظ ؿیش هغؼی دچبس هـٌل هیؿَد‪ .‬كشم ًٌیذ‪ ،‬ثشای هثب ‪ r(s,a) ًِ ،‬تبثؼی ؿیش هغؼی اػت ًاِ‬
‫̂‬ ‫̂ سا حتای اگاش هواذاس‬ ‫ّش ثبس پبداؽّبی هتلبٍتی ثشای صٍ >‪ <s,a‬هیدّذ‪ .‬دس چٌیي ؿشایغی‪ ،‬ساثغِی هجلی هتٌبٍثبً هوذاس‬
‫هوذاس دسػت تبثغ ‪ Q‬ثبؿذ تـییش خَاّذ داد‪ .‬ثِ عَس خالكِ‪ ،‬هبًَى آهَصؽ هجلی دس چٌیي ؿشایغی ّوگشا ًویؿَد‪ .‬ثشای حل چٌیي هـٌلی ثبیاذ‬
‫دس هبًَى هذیوی تـییشاتی سا اًجبم داد‪ ،‬هبًَى جذیذ دس ّش هشحلِ ثبیذ ثِ جبی اص ثیي ثشدى تخویي هجلی هیابًگیٌی ٍصى داس ثایي هواذاس تخویٌای‬
‫جذیذ ٍ هوبدیش هجلی هحبػجِ ًٌذ‪ .‬ثب تـییش ساثغِ ثِ كشم صیش ؿشایظ الصم ثشای ّوگشایی ̂ ثِ ‪ Q‬كشاّن هیؿَد‪:‬‬

‫̂‬ ‫̂‬ ‫[‬ ‫̂‬ ‫]‬

‫ًِ‬

‫تؼذاد توبهی جلات حبلات ٍ ػوالّابیی‬ ‫دس ساثغِی ثبال ‪ a ٍ s‬حبلت ٍ ػولی ّؼتٌذ ًِ دس تٌشاس ‪ n‬ام حلوِ سخ هیدٌّذ ٍ‬
‫اػت ًِ تب تٌشاس ‪ n‬ام ثشسػی ؿذُاًذ‪.‬‬

‫دس ساثغاِی‬ ‫ًٌتِی ًلیذی دس ایي هبًَى ایي اػت ًِ ̂ دس ایي ساثغِ ًٌذ تش اص هبًَى هجلی تـییش هیًٌذ‪ .‬تَجِ داؿتِ ثبؿیذ ًِ اگش هواذاس‬
‫‪ 13.11‬یي هشاس دادُ ؿَد ثِ ّوبى ساثغِی آهَصؽ هذیوی هیسػین‪ .‬ثب ًوتش ًشدى هوذاس ‪ ،α‬ایي جولِ هیبًگیي )‪ ٍ ̂ (s,a‬جذیذ تش خَاّذ ثَد‪.‬‬
‫تَجِ داسیذ ًِ ثب اكضایؾ ‪ n‬دس ساثغِی ‪ً α 13.11‬بّؾ هییبثذ‪ ،‬پغ تـییشات ثب پیـشكت آهَصؽ ثِ تذسیج ًوتش خَاّذ ؿذ‪ .‬ثب ًن ًشدى ‪ α‬ثاب‬
‫ی ًِ دس ثبال آهذُ ثب تَجِ ثِ هضیِی صیش كوظ یٌی اص چٌاذیي ؿاشط‬ ‫ػشػت هٌبػت دس عَ آهَصؽ هیتَاى ثِ تبثغ ‪ Q‬هیل ًشد‪ .‬اًتخبة‬
‫ّوگشایی اػت )‪.(Watkins and Dayan 1992‬‬

‫قضیهی ‪ 31.31‬همگرایی یادگیری ‪ Q‬برای فرایند تصمیم گیری غیر قطعی مارکوو‪ 3‬كشم ًٌیذ ًِ ػبهال یابدگیشی ‪ Q‬دس یاي‬
‫‪ .‬ػبهل یبدگیشی ‪ Q‬ثب ساثغاِی ‪ٍ 13.10‬‬ ‫هحیظ ؿیش هغؼی ‪ MDP‬هشاس گشكتِ اػت ًِ پبداؽّب ًیض ًشاى داسًذ‬
‫ػؼی هیًٌاذ تاب ‪ Q‬سا تخوایي ثضًاذ‪ .‬اگاش )‪n(I,s,a‬‬ ‫̂ ٍ ػبهل تخلیق‬ ‫هوذاس اٍلیِی دلخَاُ ًشاى داس اٍلیِی جذٍ‬
‫ؿوبسُی تٌشاسی ثبؿذ ًِ ػول ‪ a‬اص حبلت ‪ s‬ثشای ‪ i‬اهیي ثبس اجشا هیؿَد ٍ اگش توبهی جلت حبلت ٍ ػولّب ّش چٌذ ٍهت یي ثبس ثشسػی ؿًَذ‬
‫ٍ داؿتِ ثبؿین‬ ‫ٍ ًیض‬

‫∑‬ ‫[∑ ∞‬ ‫]‬ ‫∞‬

‫̂‪.‬‬ ‫ثشای توبهی ‪ّ a ٍ s‬ب اگش ∞ ‪ n‬ثب احتوب ‪ 1‬خَاّین داؿت ًِ‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪17‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫ثب ٍجَد ایٌٌِ ثبثت هیؿَد ًِ یبدگیشی ‪ ٍ Q‬دیگش الگَسیتنّبی یبدگیشی توَیتی تحت ؿشایغی ّوگشا هیؿًَذ‪ ،‬اهب دس ػول چٌاذ ّاضاس تٌاشاس‬
‫حلوِی اكلی الصم اػت تب ثِ هیضاى هغلَة ّوگشا ؿًَذ‪ .‬ثشای هثب دس ثبصی ‪ ًِ TD-Gammon‬تَػظ )‪ (Tesauro‬هغشح ؿذُ‪ ًِ ،‬هجالً‬
‫ثِ آى اؿبسُ ًشدین‪ 1.5 ،‬هیلیَى ثبصی هختلق ٍجَد داسًذ ًِ ّش ًذام ًیض دُّب جلت حبلت ٍ ػول داسًذ‪.‬‬

‫‪ 1.31‬یادگیری اختالف ارزشها‬

‫یبدگیشی ‪ Q‬ثب ًن ًشدى تلبٍت هوذاس تخویٌی ٍ هوذاس اكلی ‪ Q‬دس ّش تٌشاس حلوِ‪ Q ،‬سا یبد هیگیشد‪ .‬اص ایي ًظش یبدگیشی ‪ Q‬یي حبلت خبف اص‬
‫دػتِ الگَسیتنّبی ًبّؾ اختالف اسصؽّب‪ 1‬اػت ًِ اص عشین ًن ًشدى تلبٍت ثیي تخویي ػبهل ٍ تبثغ اكلی دس چٌذیي هشحلِ تابثغ ّاذف سا‬
‫تخویي هیصًٌذ‪ّ .‬وبى عَس ًِ هبًَى آهَصؽ ‪ 13.11‬تلبٍت ثیي هوذاس تخویٌی ̂ ثشای حبلت اثتذایی ٍ حبلت پبیبًی یاي ػوال سا ًان ٍ صیابد‬
‫هیًٌذ هیتَاًین الگَسیتنّبیی سا عشاحی ًٌین تب اختالف ثیي حبلتّبی چٌذ ػول هجل ٍ حبلتّبی چٌذ ػول ثؼذ سا ًیض ًن ٍ یب صیبد ًٌذ‪.‬‬

‫̂ آٍسدُ ؿذُ‬ ‫̂ ثب اػتلبدُ اص هوذاس‬ ‫ثشای ثشسػی ثیـتش‪ ،‬هحبػجبت ساثغِی یبدگیشی ‪ Q‬سا ًِ ثشای هحبػجِی هوذاس‬
‫̂ ًیاض‬ ‫اػت)‪ .‬ایي ساثغِ سا ثب ًگبُ یي هشحلِ ای سا ثاب‬ ‫دس حبلت‬ ‫ًتیجِی اًجبم ػول‬ ‫سا دس ًظش ثگیشیذ (ًِ دس آى‬
‫ًـبى هی دٌّذ‪:‬‬

‫̂‬ ‫̂‬

‫هیتَاى ثجبی ایي ًگبُ یي هشحلِ ای ثِ پبداؽّب ًگبُ دٍ هشحلِ ای داؿت‪:‬‬

‫̂‬ ‫̂‬

‫یب دس حبلت ًلی ًگبّی ‪ n‬هشحلِ ای ثِ پبداؽّب داؿت‪:‬‬

‫̂‬ ‫̂‬

‫)‪ (Sutton 1988‬هتذی ًلی ثشای تشًیت ایي سٍاثظ تخویٌی جبیگضیي ثِ ًبم )‪ TD(λ‬هؼشكی هیًٌاذ‪ .‬ایاذُی اكالی )‪ ،TD(λ‬اػاتلبدُ اص‬
‫ثشای تشًیت ایي جبیگضیيّبػت‪:‬‬ ‫𝜆‬ ‫ثبثت‬

‫̂[ 𝜆‬ ‫̂𝜆‬ ‫̂ 𝜆‬ ‫]‬

‫ثِ كَست ثبصگـتی خَاّین داؿت ًِ ‪:‬‬

‫[‬ ‫𝜆‬ ‫̂‬ ‫𝜆‬ ‫]‬

‫̂ خَاّین سػیذ ًِ كوظ یي هشحلِ پبداؽ سا دس تخویي ًظش هیگیشد‪ .‬ثب اكضایؾ هوذاس ‪ λ‬الگَسیتن‬ ‫حب اگش ‪ λ=0‬ثگیشین ثِ ّوبى ساثغِی‬
‫دس ًظش گشكتِ هیؿًَذ‬ ‫ثِ ػوتی هیسٍد تب اختالف تخویي سا ًیض دس هشاحل ثؼذی ًن ًٌذ‪ .‬دس ًْبیت اهش صهبًی ًِ ‪ λ=1‬اػت كوظ هوبدیش‬

‫‪1‬‬
‫‪temporal difference algorithms‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪18‬‬

‫ثاشای توابهی هوابدیش‬ ‫̂ ثبؿذ هبًَى رًش ؿاذُ ثاشای‬ ‫ٍ تخویي كؼلی ًیض تخثیشی دس ساثغِ ًخَاّذ داؿت‪ .‬تَجِ داؿتِ ثبؿیذ ًِ اگش‬
‫ایذُ آ خَاّذ ثَد‪.‬‬ ‫𝜆‬

‫اًگیضُی ایجبد )‪ TD(λ‬ایي اػت ًِ دس ثؼضی ؿشایظ آهَصؽ اگش ثب ػون ثیـتش ًگبُ ًٌین آهَصؽ هَثش تش خَاّذ ؿذ‪ .‬ثاشای هثاب ‪ ،‬صهابًی ًاِ‬
‫ػبهل اص خظ هـی ثْیٌِ پی سٍی هیًٌذ‪ ،‬ثب هوذاس ‪ λ=1‬تخویي ثذٍى تَجِ ثِ اؿتجبّبت هَجَد دس ̂ ػبلیای اص هوبدیش ٍاهؼی تبثغ ‪ Q‬ثِ هب‬
‫ّبی ثذػت آهذُ هوٌي اػت ثب تَجِ ثِ آیٌاذُ گواشاُ ًٌٌاذُ‬ ‫هیدّذ‪ .‬اص عشف دیگش اگش اػوب ثِ كَست ًبحیِ ای ثْیٌِ اًتخبة ؿًَذ‪،‬‬
‫ثبؿٌذ‪.‬‬

‫سا دس هلوشٍی هؼئلِی خبكی ًـبى هیدّذ‬ ‫)‪ (Peng and Williams 1994‬ثحثی گؼتشدُ تش سا ثِ ّوشاُ ًتبیج آصهبیـی ًِ ًبسایی‬
‫ثاِ تابثغ‬ ‫𝜆‬ ‫اسائِ هیًٌٌذ‪ً (Dayan 1992) .‬یض ًـبى هیدّذ ًِ تحت ؿشایظ خبكی سٍؿی هـبثِ )‪ TD(λ‬ثشای توبهی هوبدیش‬
‫هیل هیًٌذ‪ (Tesauro 1995) .‬اص سٍؽ )‪ TD(λ‬دس ثشًبهِی ‪ TD-Gammon‬ثشای ثبصی تختِ ًشد‪ 1‬اػتلبدُ هیًٌذ‪.‬‬

‫‪ 1.31‬تعمیم روی نمونهها‬

‫ؿبیذ یٌی اص هحذٍدًٌٌذُتشیي كشمّبیی ًِ تب ثِ حب دس هَسد یبدگیشی ‪ً Q‬شدین ایي ثَد ًِ ‪ Q‬ثِ كَست تبثؼی جذٍلی دس ًظش گشكتِ هیؿذ‬
‫ًِ ثشای ّش ٍسٍدی خبف (هثالً یي صٍ حبلت ٍ ػول) یي خشٍجی خبف داؿت‪ .‬پغ الگَسیتنّبیی ًِ تب ثِ حب ثِ ًبس ثشدین چیاضی ؿاجیِ‬
‫یي حبكظِ هؼوَلی‪ 2‬اًجبم هیدٌّذ ٍ ّیچ تالؿی ثشای تخویي هوبدیش دیگش ‪ً Q‬ویًٌٌذ‪ .‬ایي كشم دس اثجبت ّوگشایی ًیاض خاَد سا ًـابى دادُ‬
‫اػت‪ ،‬تٌْب صهبًی الگَسیتن ّوگشا خَاّذ ؿذ ًِ ّش جلت حبلت ٍ ػول ثشسػی ؿًَذ (آى ّن ّش چٌذ ٍهت یي ثبس!)‪ .‬چٌیي كشضای دس كضابّبی‬
‫ثضسٍ ٍ ًبهحذٍد كشضی ًبهالً ؿیش ٍاهؼی اػت‪ ،‬یب حذاهل‪ ،‬اجشای آى ّضیٌِ ٍ ٍهت صیبدی هیثشد‪ّ .‬ویي ثبػاث ؿاذُ تاب دس اًثاش ػیؼاتنّابی‬
‫ًبسثشدی تشًیجی اص یبدگیشی ‪ ٍ Q‬تخویي تَاثغ دس كللّبی گزؿتِ ؿذ هَسد اػتلبدُ هشاس هیگیشد‪.‬‬

‫تشًیت الگَسیتنّبی تخویي تَاثغ هثل ‪ ٍ Backpropagation‬یبدگیشی ‪ Q‬ثؼیبس ػبدُ اػت‪ ،‬ثِ ساحتی هیتَاى اص هوبدیش جذٍ ̂ سا ثشای‬
‫آهَصؽ ؿجٌِ ای ػلجی اػتلبدُ ًشد‪ .‬ثشای هثب ‪ ،‬هیتَاى ثب ًذ ًشدى حبلت ‪ ٍ s‬ػول ‪ٍ ٍ a‬سٍد آىّب ثِ ؿجٌِ ٍ گشكتي هوذاس ̂ اص خشٍجی آى‬
‫ٍ آهَصؽ ؿجٌِ ثب اػتلبدُ اص ًوًَِ ّبی جذٍ ̂ ٍ سٍاثظ ‪ 13.11 ٍ 13.7‬ؿجٌِ ای ثشای تخویي ̂ ػبخت‪ .‬سٍؽ دیگش ًِ دس ًبسثشد هَكنتاش‬
‫ثَدُ‪ ،‬آهَصؽ ؿجٌِ ّبی هجضایی ثشای ّش ػول ثب ٍسٍدی حبلت ٍ خشٍجی ̂ اػت‪ .‬یٌی دیگش اص ساُّبی هشػَم آهَصؽ ؿاجٌِ ای اػات ًاِ‬
‫حبلت سا ثِ ػٌَاى ٍسٍدی هیگیشد ٍ ثشای ّش ػول ًیض یاي هواذاس ̂ خشٍجای هایدّاذ‪ .‬تَجاِ داسیاذ ًاِ دس كلال اٍ دس كالحِی ثابصی‬
‫‪ checkers‬تبثغ اسصیبثی سا ثب اػتلبدُ اص ‪ LMS‬ثب تبثؼی خغی تخویي صدین‪.‬‬

‫دس ػول‪ ،‬ػیؼتنّبی یبدگیشی توَیتی هَكوی سا هیتَاى ثب جبیگضیٌی الگَسیتنّابی تخوایي ثاِ جابی جاذٍ ایجابد ًاشد‪ .‬دس ثشًبهاِی ‪TD-‬‬
‫‪ ًِ Gammon‬ػبختِی ‪ Tesauro‬اػت ثشای ثبصی تخت ًشد اص ؿجٌِ ای ػلجی ٍ الگاَسیتن ‪ ٍ Backpropagation‬هابًَى )‪TD(λ‬‬
‫اػتلبدُ ؿاذُ اػات‪ (Zhang and Dietterich 1996) .‬اص تشًیجای هـابثِ اص ‪ TD(λ) ٍ Backpropagation‬ثاشای ثشًبهاِ سیاضی‬

‫‪1‬‬
‫‪backgammon‬‬
‫‪2‬‬
‫‪Rote learning‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪19‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫هـبصُ ای‪ 1‬اػتلبدُ ًشدُاًذ‪ (Crites and Barto 1996) .‬سٍؿی توَیتی ثب ؿجٌِی ػلجی ثشای ثشًبهِ سیضی یي آػبًؼَس سا هَسد اػاتلبدُ‬
‫هشاس دادًذ‪ً (Thrun 1996) .‬یض اص یبدگیشی ‪ Q‬ثش اػبع خَؿِ یبثی دػتِ حبلتّب ثشای هؼئلِ ًٌتش ػبدُی سثبت اػتلبدُ ًشدُ اػت‪.‬‬

‫ثب ٍجَد هَكویت دس ایي ػیؼتنّب ‪ ،‬یبدگیشی توَیتی دس ًبسّبیی دیگش ثب ؿٌؼت سٍثشٍ ؿذُ اػت‪ ،‬تبثغ ّوگاشا ًـاذُ اػات‪ .‬هثاب ّابیی اص ایاي‬
‫ؿٌؼتّب دس )‪ (Gordon 1995) ٍ (Baird 1995) ٍ (Boyan and Moore 1995‬آهذُ اػت‪ .‬تَجِ داسیذ ًِ هضبیبی ّوگشایای‬
‫هغشح ؿذُ دس ایي كلل كوظ ثشای صهبًی ثشهشاس اػت ًِ ̂ ثب جذٍلی اص دادُّب ًوبیؾ دادُ ؿَد‪ .‬ثشای دسى ثْتش‪ ،‬كشم ًٌیذ ثِ جبی جذٍ اص‬
‫ؿجٌِ ای ػلجی ثجبی جذٍ ̂ اػتلبدُ ؿَد‪ .‬تَجِ داسیذ ًاِ اگاش یابدگیش ؿاجٌِ سا ثاشای یابدگیشی ثْتاش ‪ Q‬ثاشای ًوًَاِی خبكای چاَى‬
‫تـییش دّذ‪ ،‬هوٌي اػت تخویيّبی ̂ دیگش صٍ هشتتّب سا ًیض دػتخَؽ تـییش ًٌذ‪ .‬صیشا ًِ هوٌي اػت ایي تـییشات خغابی‬
‫̂ سا دس تخویي دیگش صٍ هشتتّب اكضایؾ دّذ‪ٍ ٍ ،‬یظگی الصم ثٌب هضیِی اثجبت ّوگشایی دیگاش تضاویي ؿاذُ ًیؼات‪ .‬ثشسػایّابی تئاَسی‬
‫یبدگیشی توَیتی ثب تؼوین تَاثغ تخویٌی دس )‪ (Tsitsiklis 1994) ٍ (Gordon 1995‬آٍسدُ ؿذُ اػت‪ (Baird 1995) .‬هتذ ّبی ؿایت‬
‫ًضٍ سا ًِ خغبی ًل ًوًَِ ّبی آهَصؿی سا دس ًظش هیگیشًذ سا ثشای سكغ ایي هـٌالت (ػذم ّوگشایی) پیـٌْبد هایًٌاذ (ایاي سٍؽ خغابی‬
‫ثبهیوبًذّی ثلوي‪ً 2‬یض ًبهیذُ هیؿَد)‪.‬‬

‫‪ 1.31‬رابطه با برنامه نویسی پویا‬

‫هتذ ّبی یبدگیشی توَیتی ّوچَى یبدگیشی ‪ Q‬ساثغِ ای ثؼیبس ًضدیي ثب تحویوبتی دس ثشًبهِ ًَیؼی پَیب ثشای حل هؼبئل تلوین گیشی هبسًٍَ‬
‫داسًذ‪ .‬دس چٌیي هؼبئلی كشم هیًٌٌذ ًِ ػبهل اعالػبت ًبهلی دسثبسُی تَاثغ )‪ ًِ r(s,a) ٍ δ(s,a‬هحیظ سا تؼشیق هیًٌٌذ داسد‪ .‬ثٌبثشایي‪ ،‬ثاب‬
‫كشم ایٌٌِ هحیظ ًبهالً هبثل ؿجیِ ػبصی اػت ٍ ًیبصی ثِ تؼبهل هؼتوین ثب هحیظ ًیؼت اكَالً ایي ػؤا هغشح هیؿَد چگًَاِ ثاب ًوتاشیي‬
‫تالؽ هحبػجبتی ثِ خظ هـی ثْیٌِ ثشػین؟ ٍیظگی عَالًی ًٌٌذُی یبدگیشی ‪ Q‬ایي ثَد ًِ كشم هیًشد ػبهل ّایچ ػلوای دسثابسُی تَاثاغ‬
‫)‪ً r(s,a) ٍ δ(s,a‬ذاسد ٍ ثبیذ ثِ جبی حشًت دس ؿجیِ ػبصی ثبیذ دس هحیظ ٍاهؼی ثِ حشًت ٍ هـبّذُ ػٌغالؼول هحیظ ث شداصد‪ .‬دس ؿشایغی‬
‫ًِ رًش ؿذ اٍلَیت اٍ هب هؼوَالً ًن ًشدى تؼذاد حشًبتی اػت ًِ ػبهل دس جْبى ٍاهؼی اًجبم هیدّذ تب ثِ خظ هـی هبثل هجَلی ّوگشا ؿَد‪،‬‬
‫ًن ًشدى تؼذاد تٌشاس حلوِی هحبػجبت دس اٍلَیتّبی ثؼذی اػت‪ .‬دلیل چٌیي اٍلَیت ثٌذیای ایي اػت ًِ دس ثؼیبسی اص صهیٌِ ّبی ًابسثشدی‬
‫هثل هؼبئل تَلیذ‪ّ ،‬ضیٌِی اػوب دس جْبى ٍاهؼی پَ ٍ صهبى اػت ًِ اص ّضیٌِی هلشكی ثشای اًجبم هحبػجبت ثؼیبس ثیـتش اػت‪ .‬ػیؼتنّبیی‬
‫ًِ دس هحیظ ٍاهؼی ػول هیًٌٌذ ٍ ًتبیج اػوب سا هـبّذُ هیًٌٌذ اكغالحبً ػیؼتنّبی ‪ً online‬بهیذُ هیؿًَذ دس حبلی ًِ ػیؼتنّبیی ًِ‬
‫دس هحیظّبی ؿجیِ ػبصی ػول هیًٌٌذ ػیؼتنّبی ‪ً offline‬بهیذُ هیؿًَذ‪.‬‬

‫استجبط ثیي سٍؽّبی هجلی ٍ یبدگیشی توَیتی ًِ دس ایٌجب رًش ؿذ تَػظ ساثغِی ثلوي )‪ (Bellman‬آؿٌبس هیگشدد‪ ،‬ایي ساثغِ پبیِی ثؼیبسی‬
‫اص سٍؽّبی ثشًبهِ ًَیؼی پَیب ثشای حل ‪ّ MDP‬بػت‪ .‬ساثغِی ثلوي دس صیش ًَؿتِ ؿذُ‪:‬‬

‫𝜋 ( [‬ ‫)‬ ‫𝜋 (‬ ‫] )‬

‫‪1‬‬
‫‪job-shop schedualing‬‬
‫‪2‬‬
‫‪Bellman residual errors‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪21‬‬

‫ثِ ساثغِی ًضدیي ثیي ساثغِی ثلوي ٍ ساثغِ ای ًِ هجالً ثشای خظ هـای ثْیٌاِ تؼشیاق ًاشدین (ساثغاِی ‪ )13.2‬تَجاِ داؿاتِ ثبؿایذ‪ .‬ثلواي‬
‫)‪ً (Bellman 1957‬ـبى داد ًِ خظ هـی ثْیٌِی 𝜋 دس ساثغِی ثبال كذم هیًٌذ ٍ ّش ساثغِ ای ًِ دس ساثغِی ثبال كذم ًٌذ ًیض خاظ‬
‫هـی ی ثْیٌِ اػت‪ .‬اص جولِ اٍلیي ثشسػیّب دسثبسُی ثشًبهِ ًَیؼی پَیب هیتَاى الگَسیتن ًَتبُتشیي هؼیش ثلواي‪-‬كاَسد ;‪(Bellman 1958‬‬
‫)‪ Ford and Fulkerson 1962‬سا ًبم ثشد ًِ یبد هیگشكت تب ًَتبُتشیي هؼیش ثِ ػوت ّذف دس یي گشاف سا ثشای ّاش گاشُ گاشاف ثاش‬
‫اػبع عَ هؼیش ّبی گشُ ّبی ّوؼبیِاؽ تخویي هیصد‪ .‬دس ایي الگَسیتن ایي كشم ًِ یب ّبی گشاف ٍ گشُ ّذف هؼلَهٌذ هؼبد كشم هاب‬
‫دس هؼلَم ثَدى دٍ تبثغ )‪ r(s,a) ٍ δ(s,a‬اػت‪ ٍ (Barto 1995) .‬هوبالت دیگش ًیض دسثبسُی ساثغِی ًضدیي ثشًبهِ ًَیؼی پَیاب ٍ یابدگیشی‬
‫توَیتی ثحث ًشدُاًذ‪.‬‬

‫‪ 1.31‬خالصه و منابع برای مطالعهی بیشتر‬

‫ًٌبت اكلی هغشح ؿذُ دس ایي كلل ثِ ؿشح صیش اػت‪:‬‬

‫یبدگیشی توَیتی هؼئلِی یبدگیشی اػتشاتظی ًٌتش ثشای ػبهلّبی خَدًبس‪ 1‬سا حل هیًٌذ‪ .‬ایي ًَع یبدگیشی كشم هیًٌذ ًاِ دادُ‬ ‫‪‬‬
‫ّبی آهَصؿی ثِ كشم ػیگٌب پبداؽ حویوی هوذاسی ثِ اصای ّش جلت حبلت ٍ ػول ثِ یبدگیش دادُ هیؿَد‪ّ .‬ذف ػبهل یبدگیشی خظ‬
‫هـیای ًِ ًل پبداؽ دسیبكتی سا هؼتول اص ًوغِی ؿشٍع حذاًثش ًٌذ‪.‬‬
‫الگَسیتنّبی یبدگیشی توَیتیای ًِ دس ایي كلل آٍسدُ ؿذُاًذ‪ ،‬ثشای تؼشیق هؼئلِی هؼشٍكی ثِ ًبم كشایٌاذ تلاوین گیاشی هابسًٍَ‬ ‫‪‬‬
‫اسائِ ؿذُ اػت‪ .‬دس كشایٌذ تلوین گیشی هبسًٍَ‪ً ،‬تیجِی حبكل اص اػوب یي ػول ثِ یي حبلت كوظ ثِ حبلت ٍ ػوال اًجابم ؿاذُ‬
‫ٍاثؼتِ اػت (ٍ ثِ اػوب هجلی ٍ حبالت هجلی ٍاثؼتگی ًذاسد)‪ .‬تؼشیق هؼئلِی كشایٌذ تلوین گیشی هبسًٍَ هؼبئل صیابدی سا اص جولاِ‬
‫ثؼیبسی اص هؼبئل ًٌتش سثبت‪ ،‬اتَهبػیَى ًبسخبًِ ٍ هؼبئل ثشًبهِ سیضی سا دس ثش هیگیشد‪.‬‬
‫یبدگیشی ‪ Q‬یٌی اص كشمّبی یبدگیشی توَیتی اػت ًِ ػبهل دس آى تبثؼی ثش سٍی حبالت ٍ اػوب سا یبد هیگیشد‪ .‬دس ًل‪ ،‬تبثغ اسصیبثی‬ ‫‪‬‬
‫)‪ ،Q(s,a‬اهیذ هبًضیون پبداؽ تخلیلی تجوؼی هبثل دسیبكت ثشای ػبهل ثب اػوب ػول ‪ a‬ثاِ حبلات ‪ s‬تؼشیاق هایؿاَد‪ .‬الگاَسیتن‬
‫یبدگیشی ‪ Q‬ایي هضیت سا داسد ًِ حتی صهبًی ًِ ػبهل داًؾ هجلیای دس هَسد تخثیش ػولؾ ثش هحیظ ًذاسد ّن هبثل اػتلبدُ اػت‪.‬‬
‫̂ جذٍلی اص دادُ ّبی خبم >‪ <s,a‬ثبؿذ ثِ تبثغ ‪ Q‬دسػت هیال‬ ‫ثبثت هیؿَد ًِ یبدگیشی ‪ Q‬ثِ ؿشط آًٌِ كشضیِ یبدگیش اص‬ ‫‪‬‬
‫هیًٌذ‪ .‬ایي هضیِ ّن دس حبلت هغؼی ٍ ّن دس حبلات احتوابلی ‪ MDP‬دسػات اػات‪ .‬دس ػوال یابدگیشی ‪ Q‬حتای دس هؼابئلی ثاب‬
‫هؼتذ تشیي اًذاصُ هوٌي اػت پغ اص ّضاساى حلوِ ّوگشا ؿَد‪.‬‬
‫یبدگیشی ‪ Q‬ػضَی اص ًالع گؼتشدُ تشی اص الگَسیتنّب ثِ ًبم الگَسیتنّبی ًبّؾ اختالف اسصؽّب هحؼاَة هایگاشدد‪ .‬دس ًال‪،‬‬ ‫‪‬‬
‫الگَسیتنّبی ًبّؾ اختالف اسصؽّب ثب ًبّؾ تٌبٍثی اختالكبت ثیي تخویي ػبهل ٍ ٍاهؼیت یبد هیگیشًذ‪.‬‬
‫یبدگیشی توَیتی ثؼیبس ًضدیي ثِ ثشًبهِ ًَیؼی پَیب دس حل كشایٌذ تلوین گیشی هبسًٍَ اػت‪ .‬تلبٍت ًلیذی دس ایي اػت ًاِ ثشًبهاِ‬ ‫‪‬‬
‫سا داسد‪ .‬دس هوبثل یبدگیشی توَیتی دس ًل كشم هایًٌاذ ًاِ‬ ‫ٍ‬ ‫ًَیؼی پَیب كشم هیًٌذ ًِ اعالػبت الصم اص‬
‫یبدگیش اص داؿتي چٌیي هَّجتی هحشٍم اػت‪.‬‬

‫‪1‬‬
‫‪autonomous‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪21‬‬ ‫كلل ػیضدّن‪ :‬یبدگیشی توَیتی‬

‫هَضَع هتذاٍلی ًِ صیشػبخت اًثش ًبسّبی یبدگیشی توَیتی اػت‪ً ،‬ن ًشدى اختالف ثیي اسصیبثیّبی حبلتّبی هَكن دس ّش حلوِ اػت‪ .‬ثؼضی‬
‫اص تالؽّبی اٍلیِ سٍی چٌیي هتذی تَػظ )‪ (Samuel 1959‬اًجبم گشكت‪ .‬ثشًبهِی یبدگیشی ثبصی چٌشص ٍی ػؼی داسد تب تبثغ اسصیبثیای ثب‬
‫اػتلبدُ اص اسصیبثی حبلتّبی اًتْبیی ثشای ایجبد هوبدیش آهَصؿی ثاشای حبلاتّابی اٍلیاِ ایجابد ًٌاذ‪ .‬توشیجابً دس ّوابى هَهاغ‪ ،‬الگاَسیتنّابی‬
‫‪ ،Bellman-Ford‬ثشای ًَتبُتشیي هؼیش ثب ّذف هؼلَم تَػظ )‪ (Bellman 1958; Ford and Fulkerson 1962‬ایجابد گـاتٌذ‪،‬‬
‫ایي الگَسیتنّب هوبدیش هتـیشّبی كبكلِ تب ّذف سا اص گشُّب ثِ ّوؼبیِّبیـبى ػشایت هیدٌّذ‪ .‬تحوین سٍی ًٌتش ثْیٌِ ثشای حل كشایٌذ ّابی‬
‫هبسًٍَ ثِ هتذ ّبی هـبثِ ای سػیذ )‪ .(Bellman 1961; Blackwell 1965‬هتذ ‪ً (Holland 1986) bucket brigade‬یض ثشای‬
‫یبدگیشی ػیؼتنّبی دػتِ ثٌذی اص هتذی هـبثِ ًِ اهتیبص سا دس ثیي پبداؽّبی تخخیشی پخاؾ هایًٌاذ اػاتلبدُ هایًٌاذ‪(Barto et al. .‬‬
‫)‪ 1983‬سٍؿی ثشای اختلبف اهتیبص صهبًی اسائِ ًشدُ ًِ دس ًْبیات ثاِ هوبلاِ )‪ (Sutton 1988‬خاتن ؿاذ ًاِ )‪ TD(λ‬سا هؼشكای ًاشد ٍ‬
‫ّوگشایی آى سا ثشای ‪ λ=0‬اثجبت ًشد‪ً (Dayan 1992) .‬یض ایي ًتیجِ سا ثِ هوبدیش دلخَاُ ‪ λ‬تؼوین داد‪ (Watkins 1989) .‬یابدگیشی ‪Q‬‬
‫سا ثشای سػیذى ثِ خظ هـی ثْیٌِ صهبًی ًِ تَاثغ پبداؽ ٍ اًتوب ًبهؼلَهٌذ اسائِ داد‪ .‬اثجبت ّوگشایی ثشای ثؼیبسی اص حبالت هختلق ایي هتاذّب‬
‫اسائِ گشدیذُ اػت‪ .‬ػالٍُ ثش اثجبتی ًِ دس ایي كلل اسائِ گشدیذ‪ ،‬هیتَاًیاذ ثاِ ;‪(Baird 1995; Bersekas 1987; Tsitsiklis 1994‬‬
‫)‪ Singh and Sutton 1996‬هشاجؼِ ًٌیذ‪.‬‬

‫یبدگیشی توَیتی ّوچٌبى صهیٌِی تحوین كؼبلی اػت‪ .‬ثشای هثب ‪ (Littman 1996) ٍ (McCallum 1995) ،‬تؼوین یبدگیشی تواَیتی سا‬
‫ثِ تؼشیق هؼئلِ ای ثب هتـیش ّبی حبلت ؿیش هبثل هـبّذُ سا ثحث ًشدًذ‪ ،‬ایي تؼشیق هؼئلِ خبس اص تؼشیق هؼئلِی كشایٌذ تلوین هبسًٍَ اػت‪.‬‬
‫تحوین صیبدی ثشای تؼوین ایي هتذّب سٍی هؼبئل ثضسٍتش ٍ ًبسثشدیتش اًجبم هیؿَد‪ (Maclin and Shavlik 1996) .‬سٍؿی اسائِ ًشدًذ‬
‫ًِ یبدگیش توَیتی ثتَاًذ اص هشثی تَكیِ ّبی ًبًبهل دسیبكت ًٌذ‪ ،‬ایي سٍؽ ثش اػبع تؼویوی اص ‪ KBANN‬اػت (كلل ‪ً (Lin 1992) .)12‬یض‬
‫ًوؾ آهَصؽ سا ثب ػشی اػوب پیـٌْبدی ثشسػی هیًٌذ‪ .‬هتذّبیی ًیض ثشای تؼوین ٍ اػوب ػلؼلِ هشاتجای اػواب تَػاظ )‪ٍ (Singh 1993‬‬
‫)‪ (Lin 1993‬اسائِ ؿذُ اػت‪ (Dietterich and Flann 1995) .‬اًتگشا گیشی هتذّبی هجتٌی ثش تَضیحبت سا ثب یبدگیشی توَیتی ثحث‬
‫ًشدُ ٍ )‪ً (Mitchell and Thrun 1993‬بسایی الگَسیتن ‪( EBNN‬كلل ‪ )12‬سا ثش سٍی یبدگیشی ‪ Q‬ثحاث هایًٌٌاذ‪(Ring 1994) .‬‬
‫یبدگیشی پیَػتِ یبدگیش سا سٍی ًبسّبی چٌذگبًِ ثشسػی ًشدُ اػت‪.‬‬

‫تحویوبت جذیذ سٍی یبدگیشی تواَیتی دس )‪(Kaelbling et al. 1996‬د )‪(Barto 1992‬د)‪(Dean et al. ٍ (Barto et al. 1995‬‬
‫)‪ 1993‬آهذُ اػت‪.‬‬

‫تمرینات‬
‫‪ 13.1‬خظ هـی ثْیٌِی دیگشی ثشای هؼئلِی ًـبى دادُ ؿذُ دس ؿٌل ‪ 13.2‬ثیبثیذ‪.‬‬

‫‪ 13.2‬جْبى هغؼی ًـبى دادُ ؿذُ صیش سا ثب حبلت جبرة ّذف ‪ G‬دس ًظش ثگیشیذ‪ .‬دس ایي جب توبهی كلؾّبیی ًِ ػذد ‪ 11‬داسًذ پبداؽ ‪ ٍ 11‬ثویِ‬
‫اػوب پبداؽ ‪ 1‬داسًذ‪.‬‬

‫سا ثشای توبهی حبالت ؿٌل هـخق ًٌیذ‪ .‬ثشای توبهی حشًتّبی هوٌي )‪ Q(s,a‬سا هحبػجِ ًٌیذ‪ .‬دس اًتْب ًیض خظ هـی ثْیٌاِ ای‬ ‫)‪(a‬‬
‫سا اسائِ ًٌیذ‪ .‬كشم ًٌیذ ًِ ‪. =0.8‬‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫یادگیری ماشین‬ ‫‪22‬‬

‫)‪ (b‬تـییشی دس )‪ r(s,a‬پیـٌْبد ًٌیذ ًِ هوبدیش )‪ Q(s,a‬سا تـییش دّذ اهب دس خظ هـی ثْیٌِ تخثیشی ًذاؿتِ ثبؿذ‪ .‬تـییاشی دس )‪ r(s,a‬پیـاٌْبد‬
‫ًذاؿتِ ثبؿذ‪.‬‬ ‫ًٌیذ ًِ )‪ Q(s,a‬سا تـییش دادُ اهب تخثیشی ثش‬

‫)‪ (c‬حب هیخَاّین یبدگیشی ‪ Q‬سا ثِ ایي جْبى ثب كشم ایٌٌِ هوبدیش اٍلیِی ̂ كلشًذ اػوب ًٌین‪ .‬كشم ًٌیاذ ًاِ ػبهال اص گَؿاِ پابییي‬
‫ػوت چپ ؿشٍع ٍ ػبػتگشد ثِ حشًت خَد اداهِ هیدّذ تب ثِ حبلت جبرة ثشػذ‪ .‬چِ هوبدیشی اص ̂ تـییاش خَاّاذ ًاشد ٍ ایاي تـییاشات چاِ‬
‫ّؼتٌذ‪ .‬حب ّویي ػؤا سا ثشای تٌشاس ّویي دٍس ثشای ثبس دٍم ٍ ػَم جَاة دّیذ‪.‬‬

‫‪ 13.3‬ثبصی دٍص‪ 1‬سا دس هوبثل ثبصیٌٌی ًِ ثِ كَست تلبدكی ثبصی هیًٌذ سا دس ًظش ثگیشیذ‪ .‬دس ػول كشم ًٌیذ ًِ حشیاق ثاب تَصیاغ یٌٌَاخات‬
‫یٌی اص خبًِ ّبی خبلی سا اًتخبة هیًٌذ‪ ،‬هگش ایٌٌِ هججَس ثِ اًتخبة خبًِی دیگش ثبؿذ (ًِ ثِ ٍضَح خبًِ دسػت سا اًتخبة خَاّذ ًشد)‪.‬‬

‫)‪ (a‬هؼئلِ یبدگیشی اػتشاتظی ثْیٌِی ثبصی دٍص سا دس ایي ؿشایظ ثشای یبدگیشی ‪ Q‬سا دهین ثیبى ًٌیذ‪ .‬دس ایي كشایٌذ تلوین گیشی ؿیاش هغؼای‬
‫هبسًٍَ هجوَػِ ّبی حبالت اػوب ٍ پبداؽ چِ ّؼتٌذ؟‬

‫)‪ (b‬آیب ثشًبهِی ؿوب دس كَستی ًِ حشیق ثْیٌِ ثبصی ًٌذ ًیض هَكن خَاّذ ثَد؟‬

‫‪ 13.4‬تَجِ داؿتِ ثبؿیذ ًِ دس ثؼیبسی اص هؼبئل ‪ MDP‬ثِ ػبدگی هیتَاى دٍ خظ هـی هختلق هثل 𝜋 ٍ 𝜋 سا پیذا ًشد ًاِ اگاش ػبهال اص‬
‫ؿشٍع ًٌذ 𝜋 ثْیٌِ تش ثبؿذ‪ .‬ثِ ػجابست دیگاش‪،‬‬ ‫ؿشٍع ثِ حشًت ًٌذ خظ هـی 𝜋 ثْیٌِ تش ثبؿذ ٍ اگش اص حبلت‬ ‫حبلت‬
‫‪ .‬تَضیح دّیذ ًِ چشا ّویـِ خظ هـیی (هثل 𝜋) ٍجَد داسد ًِ ثشای توبهی حبالت اٍلیاِ ی ‪s‬‬ ‫اهب‬
‫هبًضیون اػت‪ .‬ثِ ػجبست دیگش‪ ،‬تَضیح دّیذ ًِ چشا یي ‪ّ MDP‬ویـاِ اجابصُ هایدّاذ ًاِ خاظ هـایای هثال 𝜋 ثبؿاذ ًاِ‬
‫‪.‬‬ ‫𝜋‬

‫فرهنگ لغات تخصصی فصل (فارسی به انگلیسی)‬

‫‪Expoit‬‬ ‫اػتلبدُ اص داًؼتِّب ثشای ثذػت آٍسدى پبداؽ‬
‫‪Action‬‬ ‫اػوب‬
‫‪board games‬‬ ‫ثبصیّبی كلحِ ای‬
‫‪dynamic programming‬‬ ‫ثشًبهِ ًَیؼی پَیب‬

‫‪1‬‬
‫‪tic-tac-toe‬‬
www.MatlabKar.com ‫ ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬- ‫ آﻣﻮزش ﻣﺘﻠﺐ‬- ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر‬

23 ‫ یبدگیشی توَیتی‬:‫كلل ػیضدّن‬

delayed reward ‫پبداؽ تخخیشی‬

discounted cumulative reward ‫پبداؽ تجوؼی تخلیلی‬
imidiate reward ‫پبداؽ لحظِ ای‬
reward function ‫تبثغ پبداؽ‬
cumulative ‫تجوؼی‬
discount factor ‫ثبثت تخلیق‬
Exploration ‫جؼتجَی هحیظ‬
Explore ‫جؼتجَی هحیظ‬
Policy ‫خظ هـی‬
optimal policy ٌِ‫خظ هـی ثْی‬
nondeterministic Markov decision process ًٍَ‫كشایٌذ تلوین گیشی ؿیش هغؼی هبس‬
Agent ‫ػبهل‬
Nondeterministic ‫ؿیش هغؼی‬
Domain ٍ‫هلوش‬
Deterministic ‫هغؼی‬
temporal difference algorithms ‫الگَسیتنّبی ًبّؾ اختالف اسصؽّب‬
average reward ‫هتَػظ پبداؽ‬
Envirement ‫هحیظ‬
Trainer ‫هشثی‬
temporal credit assignment ‫ًؼجت دادى اسصؽ هَهتی‬
State ‫حبلت‬
absorbing state ‫حبلت جبرة‬
‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫ﺿﻤﯿﻤﻪ‬

‫ﻧﻤﺎدﮔﺬاري‬
‫در زﯾر ﺧﻼﺻﮫ ای از ﻧﻣﺎدﮔذاری اﯾن ﮐﺗﺎب آورده ﺷده اﺳت‪:‬‬

‫]‪ :(a,b‬ﮐروﺷﮫ و ﭘراﻧﺗز ﺑرای ﻧﺷﺎن دادن ﺑﺎزه ھﺎ ﺑﮫ ﮐﺎر ﻣﯽ روﻧد‪ ،‬ﮐروﺷﮫ ھﺎ ﻧﺷﺎن دھﻧده ی اﯾن اﺳت ﮐﮫ ﺑﺎزه ﺷﺎﻣل ﻣﻘدار ﻣرز اﺳت‬
‫و ﭘراﻧﺗز ﻧﺷﺎن دھﻧده ی اﯾن اﺳت ﮐﮫ ﺑﺎزه ﻣرز را ﺷﺎﻣل ﻧﻣﯽ ﺷود‪.‬‬

‫ﺑرای ﻣﺛﺎل ]‪ (1,3‬ﯾﻌﻧﯽ ‪.1<x≤3‬‬

‫∑‪ :‬ﻣﺟﻣوع ‪.x + x + ⋯ + x‬‬ ‫‪x‬‬

‫∏‪ :‬ﺣﺎﺻﻠﺿرب ‪.x . x . … . x‬‬ ‫‪x‬‬

‫ﯾﻌﻧﯽ ﮐﮫ ‪ B‬از ‪ A‬ﻧﺗﯾﺟﮫ ﮔﯾری ﻣﻧطﻘﯽ ﻣﯽ ﺷود‪.‬‬ ‫⊢‬ ‫⊢‪ :‬ﻧﻣﺎد ﻧﺗﯾﺟﮫ ﮔﯾری ﻣﻧطﻘﯽ‪ .‬ﺑرای ﻣﺛﺎل‬

‫>‪ :‬ﻧﻣﺎد ﮐﻠﯽ ﺗر ﺑودن‪ .‬ﺑرای ﻣﺛﺎل ‪ ℎ > ℎ‬ﻧﺷﺎن ﻣﯽ دھد ﮐﮫ ‪ ℎ‬از ‪ ℎ‬ﮐﻠﯽ ﺗر اﺳت‪.‬‬

‫‪ :argmax‬ﻣﻘدار ‪ x‬اﺳت ﮐﮫ )‪ f(x‬در آن ﻣﺎﮐزﯾﻣم ﻣﯽ ﺷود‪ .‬ﺑرای ﻣﺛﺎل‪،‬‬ ‫∈‬ ‫) (‬

‫) ( ‪ :‬ﺗﺎﺑﻌﯽ ﮐﮫ ﺗﺎﺑﻊ )‪ f(x‬را ﺗﺧﻣﯾن ﻣﯽ زﻧد‪.‬‬

‫‪ :δ‬در ﯾﺎدﮔﯾری ‪ ،PAC‬ﻣرزی ﺑر روی اﺣﺗﻣﺎل ﺷﮑﺳت اﺳت‪ .‬در ﺷﺑﮑﮫ ھﺎی ﻋﺻﺑﯽ ﻧﯾز‪ ،‬ﺟﻣﻠﮫ ی ﺧطﺎی ﻣرﺑوطﮫ ی ﺧروﺟﯽ ﯾﮏ ﺗﮏ‬
‫واﺣد اﺳت‪.‬‬

‫‪ :ϵ‬ﻣرز ﺧطﺎ ﻓرﺿﯾﮫ )در ﯾﺎدﮔﯾری ‪.(PAC‬‬

‫‪www.MatlabKar.com‬‬ ‫ﺳﺎﯾﺖ ﻣﺘﻠﺐ ﮐﺎر ‪ -‬آﻣﻮزش ﻣﺘﻠﺐ ‪ -‬ﺷﺒﯿﻪ ﺳﺎزي ﺑﺎ ﻣﺘﻠﺐ‬

‫‪2‬‬ ‫ﺿﻤﯿﻤﻪ‬

‫‪ :η‬ﺿرﯾب ﯾﺎدﮔﯾری در ﺷﺑﮑﮫ ھﺎی ﻋﺻﺑﯽ و ﻣﺗد ھﺎی ﯾﺎدﮔﯾری ﻣرﺑوطﮫ‪.‬‬

‫‪ :μ‬ﻣﯾﺎﻧﮕﯾن ﺗوزﯾﻊ اﺣﺗﻣﺎل‪.‬‬

‫‪ :σ‬اﻧﺣراف ﻣﻌﯾﺎر ﺗوزﯾﻊ اﺣﺗﻣﺎل‪.‬‬

‫‪ :‬ﮔردادﯾﺎن ‪ E‬ﻧﺳﺑت ﺑﮫ ﺑردار ⃗ ‪.‬‬ ‫)⃗ (‬

‫‪ :C‬ﮐﻼس ﺗواﺑﻊ ھدف ﻣﻣﮑن‬

‫‪ :D‬داده ھﺎی آﻣوزﺷﯽ‬

‫‪ :‬ﺗوزﯾﻊ اﺣﺗﻣﺎل روی ﻓﺿﺎی ﻧﻣوﻧﮫ ای‪.‬‬

‫]‪ :E[x‬ﻣﻘدار اﻣﯾد ‪.x‬‬

‫)⃗ ( ‪ :‬ﻣﺟﻣوع ﺧطﺎھﺎی ﻣرﺑﻌﯽ ﺷﺑﮑﮫ ی ﻋﺻﺑﯽ ﺑﺎ ﺑردار وزﻧﮭﺎی ⃗ ‪.‬‬

‫‪ :Error‬ﺧطﺎی ﻓرﺿﯾﮫ ﮔﺳﺳﺗﮫ ﻣﻘدار ﯾﺎ ﭘﯾﺷﺑﯾﻧﯽ‪.‬‬

‫‪ :H‬ﻓﺿﺎی ﻓرﺿﯾﮫ ای‪.‬‬

‫)‪ :h(x‬ﭘﯾﺷﺑﯾﻧﯽ ﻓرﺿﯾﮫ ی ‪ h‬ﺑرای ﻧﻣوﻧﮫ ی ‪.x‬‬

‫)‪ :P(x‬اﺣﺗﻣﺎل ‪.x‬‬

‫)‪ :Pr(x‬اﺣﺗﻣﺎل اﺗﻔﺎق ‪.x‬‬

‫)‪ :p(x‬ﭼﮕﺎﻟﯽ ﺗوزﯾﻊ اﺣﺗﻣﺎل ‪.x‬‬

‫)‪ :Q(s,a‬ﺗﺎﺑﻊ ‪ Q‬در ﯾﺎدﮔﯾری ﺗﻘوﯾﺗﯽ‪.‬‬

‫‪ :‬ﻣﺟﻣوﻋﮫ ی اﻋداد ﺣﻘﯾﻘﯽ‪.‬‬

‫)‪ :VC(H‬ﺑﻌد ‪ Vapnik-Chervonenkis‬ﻓﺿﺎی ﻓرﺿﯾﮫ ای ‪.H‬‬

‫‪ :‬ﻓﺿﺎی وﯾژه؛ ﻣﺟﻣوﻋﮫ ای از ﻓرﺿﯾﮫ ھﺎﯾﯽ از ‪ H‬ﮐﮫ ﺑﺎ ‪ D‬ﺳﺎزﮔﺎرﻧد‪.‬‬ ‫‪,‬‬

‫‪ :‬در ﺷﺑﮑﮫ ھﺎی ﻋﺻﺑﯽ وزن از ﮔره ‪ i‬ﺑﮫ ﮔره ‪ j‬اﺳت‪.‬‬

‫‪ :X‬ﻓﺿﺎی ﻧﻣوﻧﮫ ای‪.‬‬