‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭘﯿﺸﺨﻮر‬

‫ﯾﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭘﯿﺸﺨﻮر )ﺑﻪ اﻧﮕﻠﯿﺴﯽ‪:‬‬

‫‪ (Feedforward Neural Network‬ﯾﮏ ﺷﺒﮑﻪ‬
‫ﻋﺼﺒﯽ ﻣﺼﻨﻮﻋﯽ اﺳﺖ‪ ،‬ﮐﻪ در آن اﺗﺼﺎل ﻣﯿﺎن‬
‫واﺣﺪﻫﺎی ﺗﺸﮑﯿﻞ دﻫﻨﺪه آن ﯾﮏ ﭼﺮﺧﻪ را ﺗﺸﮑﯿﻞ‬
‫ﻧﻤﯽدﻫﻨﺪ‪ .‬در واﻗﻊ اﯾﻦ ﺷﺒﮑﻪ ﻣﺘﻔﺎوت از ﺷﺒﮑﻪﻫﺎی‬
‫ﻋﺼﺒﯽ ﺑﺎزﮔﺸﺘﯽ ﻣﯽﺑﺎﺷﺪ‪.‬‬
 ‫در ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭘﯿﺸﺨﻮر اﻃﻼﻋﺎت ﻓﻘﻂ در ﯾﮏ ﺟﻬﺖ ﺣﺮﮐﺖ‬

‫ﻣﯽﮐﻨﻨﺪ‪.‬‬

‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭘﯿﺸﺨﻮر اوﻟﯿﻦ و ﺳﺎدهﺗﺮﯾﻦ ﻧﻮع ﺷﺒﮑﻪ‬

‫ﻋﺼﺒﯽ ﻣﺼﻨﻮﻋﯽ ﻣﯽﺑﺎﺷﺪ‪ .‬در اﯾﻦ ﺷﺒﮑﻪ اﻃﻼﻋﺎت ﺗﻨﻬﺎ‬
‫از ﯾﮏ ﻣﺴﯿﺮ ﺣﺮﮐﺖ ﻣﯽﮐﻨﺪ ﮐﻪ ﺟﻬﺖ آن رو ﺑﻪ ﺟﻠﻮ‬
‫ﻣﯽﺑﺎﺷﺪ‪ .‬در واﻗﻊ اﻃﻼﻋﺎت ﺑﺎﺷﺮوع از ﮔﺮه‬
‫)ﻧﻮرون(ﻫﺎی ورودی و ﮔﺬر از ﻻﯾﻪﻫﺎی ﭘﻨﻬﺎن‬
 ‫)درﺻﻮرت وﺟﻮد( ﺑﻪ ﺳﻤﺖ ﮔﺮهﻫﺎی ﺧﺮوﺟﯽ‬
‫ﻣﯽروﻧﺪ‪ .‬ﻫﻤﺎنﻃﻮر ﮐﻪ ﮔﻔﺘﻪ ﺷﺪ در اﯾﻦ ﺷﺒﮑﻪ ﺣﻠﻘﻪ ﯾﺎ‬
‫دوری وﺟﻮد ﻧﺪارد‪.‬‬

‫ﻣﻘﺪﻣﻪ‬
‫در ﺳﺎل ‪ ۱۹۴۳‬وارن ﻣﮏ ﮐﻼچ و واﻟﺘﺮ ﭘﯿﺘﺰ اوﻟﯿﻦ‬
‫ﻧﻮرون ﻣﺼﻨﻮﻋﯽ را ﻃﺮاﺣﯽ ﮐﺮدﻧﺪ‪ .‬ﺧﺼﻮﺻﯿﺖ اﺻﻠﯽ‬
‫ﻣﺪل ﻧﻮرون ﻃﺮاﺣﯽ ﺷﺪه اﯾﻦ ﺑﻮد ﮐﻪ ﻣﺠﻤﻮع‬
‫ﺳﯿﮕﻨﺎلﻫﺎی ورودی وزن دار ﺷﺪه را ﺑﺎ ﯾﮏ ﻣﻘﺪار‬
‫آﺳﺘﺎﻧﻪ ﻣﻘﺎﯾﺴﻪ ﻣﯽﮐﺮد و ﺑﻪ اﯾﻦ ﺗﺮﺗﯿﺐ در ﻣﻮرد‬
‫ﺧﺮوﺟﯽ ﺗﺼﻤﯿﻢﮔﯿﺮی ﻣﯽﻧﻤﻮد‪ .‬اﯾﻦ ﻧﻮرون در ﺻﻮرﺗﯽ‬
‫ﮐﻪ ﻣﺠﻤﻮع وزندار ﺷﺪه ﺳﯿﮕﻨﺎلﻫﺎ‪ ،‬ﮐﻤﺘﺮ از آﺳﺘﺎﻧﻪ‬
‫ﺑﻮد‪ ،‬ﺧﺮوﺟﯽ ﺻﻔﺮ و در ﻏﯿﺮ اﯾﻨﺼﻮرت ﻣﻘﺪار ‪ ۱‬را ﺑﻪ‬
 ‫ﻋﻨﻮان ﺧﺮوﺟﯽ ﺗﻮﻟﯿﺪ ﻣﯽﮐﺮد‪ .‬آنﻫﺎ ﻗﺼﺪ داﺷﺘﻨﺪ‪،‬‬
‫ﻧﺸﺎن دﻫﻨﺪ‪ ،‬ﯾﮏ ﻧﻮرون ﺑﺎ ﭼﻨﯿﻦ ﺧﺼﻮﺻﯿﺎﺗﯽ ﻗﺎدر ﺑﻪ‬
‫ﻣﺤﺎﺳﺒﻪ ﻫﺮ ﺗﺎﺑﻊ رﯾﺎﺿﯽ ﯾﺎ ﻣﻨﻄﻘﯽ ﻣﯽﺑﺎﺷﺪ‪ .‬در اواﺧﺮ‬
‫دﻫﻪ ‪ ۱۹۵۰‬ﻣﯿﻼدی‪ ،‬ﻓﺮاﻧﮏ روزﻧﺒﻼت و ﭼﻨﺪﯾﻦ ﻣﺤﻘﻖ‬
‫دﯾﮕﺮ‪ ،‬ﯾﮏ ﮐﻼس از ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ ﺗﺤﺖ ﻋﻨﻮان‬
‫ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ ﭘﺮﺳﭙﺘﺮون ﻣﻌﺮﻓﯽ ﮐﺮدﻧﺪ‪ .‬ﻧﻮرونﻫﺎ‬
‫در اﯾﻦ ﺷﺒﮑﻪ ﻣﺸﺎﺑﻪ ﻧﻮرونﻫﺎی ﻃﺮاﺣﯽ ﺷﺪه ﺗﻮﺳﻂ‬
‫ﻣﮏ ﮐﻼچ و ﭘﯿﺘﺰ ﺑﻮدﻧﺪ‪ .‬روزﻧﺒﻼت ﺛﺎﺑﺖ ﮐﺮد ﮐﻪ ﻗﺎﻋﺪه‬
‫ﯾﺎدﮔﯿﺮی ﻃﺮاﺣﯽ ﺷﺪه ﺗﻮﺳﻂ او در آﻣﻮزش ﺷﺒﮑﻪﻫﺎی‬
‫ﭘﺮﺳﭙﺘﺮون ﻫﻤﻮاره ﺑﻪ وزنﻫﺎی ﺻﺤﯿﺤﯽ ﻫﻤﮕﺮا‬
‫ﻣﯽﺷﻮد‪ .‬ﺑﻪ اﯾﻦ ﺗﺮﺗﯿﺐ اﯾﻦ ﺷﺒﮑﻪﻫﺎ در ﺻﻮرت وﺟﻮد‬
‫ً‬
‫ﺣﺘﻤﺎ ﻣﺴﺌﻠﻪ را ﺣﻞ ﻣﯽﮐﺮدﻧﺪ‪ .‬روﻧﺪ ﯾﺎدﮔﯿﺮی‬ ‫ﭘﺎﺳﺦ‪،‬‬
‫ﺳﺎده و ﺧﻮدﮐﺎر ﺑﻮد‪ ،‬ﻫﻤﭽﻨﯿﻦ ﺷﺒﮑﻪﻫﺎی ﭘﺮﺳﭙﺘﺮون‬
 ‫ﺣﺘﯽ ﺑﺎ ﺷﺮوع از ﻣﻘﺎدﯾﺮ ﺗﺼﺎدﻓﯽ وزنﻫﺎ و ﺑﺎﯾﺎسﻫﺎ‬
‫ﻗﺎدر ﺑﻪ ﯾﺎدﮔﯿﺮی و ﺣﻞ ﻣﺴﺌﻠﻪ ﻣﯽﺑﺎﺷﻨﺪ‪ .‬ﺷﺎﯾﺎن ﺗﻮﺟﻪ‬
‫اﺳﺖ ﮐﻪ ﺷﺒﮑﻪﻫﺎی ﭘﺮﺳﭙﺘﺮون دارای ﻣﺤﺪودﯾﺖﻫﺎﯾﯽ‬
‫ﻧﯿﺰ ﻣﯽﺑﺎﺷﻨﺪ‪ .‬اﻣﺮوزه ﺷﺒﮑﻪﻫﺎی ﭘﺮﺳﭙﺘﺮون دارای‬
‫اﻫﻤﯿﺖ وﯾﮋهای ﺑﻮده و ﯾﮏ راهﺣﻞ ﺳﺮﯾﻊ و ﻣﻄﻤﺌﻦ‬
‫ﺑﺮای ﺣﻞ ﻣﺴﺎﺋﻞ ﻃﺒﻘﻪﺑﻨﺪی ﺷﺪه ﻣﯽﺑﺎﺷﻨﺪ‪.‬‬

‫ﻗﻮاﻋﺪ ﯾﺎدﮔﯿﺮی‬
‫در ﻣﺒﺎﺣﺚ ﻣﺮﺑﻮط ﺑﻪ ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ‪ ،‬ﻗﻮاﻋﺪ‬
‫ﯾﺎدﮔﯿﺮی‪ ،‬روﯾﻪای ﺑﺮای اﺻﻼح وزنﻫﺎ و ﺑﺎﯾﺎسﻫﺎ‬
‫ﺗﻌﺮﯾﻒ ﻣﯽﮐﻨﯿﻢ‪ .‬ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی در راﺳﺘﺎی آﻣﻮزش‬
‫ﺷﺒﮑﻪ ﺑﺮای اﻧﺠﺎم ﮐﺎر ﺧﺎﺻﯽ ﻣﻮرد اﺳﺘﻔﺎده ﻗﺮار‬
‫ﻣﯽﮔﯿﺮد‪ .‬ﻗﻮاﻋﺪ ﯾﺎدﮔﯿﺮی ﺑﻪ ﺳﻪ ﺑﺨﺶ ﻋﻤﺪه‬
‫ﺗﻘﺴﯿﻢﺑﻨﺪی ﻣﯽﺷﻮﻧﺪ‪:‬ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺑﺎ ﻧﻈﺎرت‪ ،‬ﻗﺎﻋﺪه‬
‫ﯾﺎدﮔﯿﺮی ﺑﯽ ﻧﻈﺎرت و ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺗﻘﻮﯾﺘﯽ‪ .‬در‬
‫اﯾﻨﺠﺎ ﺗﻮﺿﯿﺢ ﻣﺨﺘﺼﺮی در ﻣﻮرد ﻧﺤﻮه ﻋﻤﻠﮑﺮد اﯾﻦ‬
‫ﻗﻮاﻋﺪ ﻣﯽدﻫﯿﻢ‪ .‬در "'ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺑﺎ ﻧﻈﺎرت"' از‬
‫ﻣﺠﻤﻮﻋﻪای از ﻧﻤﻮﻧﻪﻫﺎی آﻣﻮزﺷﯽ اﺳﺘﻔﺎده ﻣﯽﮐﻨﯿﻢ‬
‫ﮐﻪ ﺷﺒﮑﻪ را آﻣﻮزش ﻣﯽدﻫﻨﺪ‪ .‬زوجﻫﺎی ﻣﺮﺗﺐ زﯾﺮ را‬
‫در ﻧﻈﺮ ﺑﮕﯿﺮﯾﺪ‪:‬‬

‫ﺑﻪ ﻋﻨﻮان‬ ‫‪ ،‬ورودی ﺷﺒﮑﻪ و‬ ‫در ﻫﺮ زوج ﻣﺮﺗﺐ‪،‬‬

‫ﺧﺮوﺟﯽ ﯾﺎ ﻫﺪف ﻣﻮرد ﻧﻈﺮ ﺷﻨﺎﺧﺘﻪ ﻣﯽﺷﻮد‪ .‬زﻣﺎﻧﯽ‬
‫ﮐﻪ ورودی ﺑﻪ ﺷﺒﮑﻪ اﻋﻤﺎل ﻣﯽﺷﻮد‪ ،‬ﺧﺮوﺟﯽ ﺑﺎ ﻫﺪف‬
‫ﻣﻘﺎﯾﺴﻪ ﻣﯽﺷﻮد‪ .‬ﺳﭙﺲ ﺑﺮ ﻃﺒﻖ ﻗﻮاﻋﺪ ﯾﺎدﮔﯿﺮی ﺑﺮای‬
‫ﺗﻨﻈﯿﻢ وزنﻫﺎ و ﺑﺎﯾﺎسﻫﺎ ﺗﻐﯿﯿﺮات ﻻزم اﻋﻤﺎل ﻣﯽﮔﺮدد‬
‫ﺗﺎ ﺧﺮوﺟﯽ ﺷﺒﮑﻪ ﺑﻪ ﻫﺪف ﻣﻮرد ﻧﻈﺮ ﻧﺰدﯾﮏ ﺗﺮ ﺷﻮد‪.‬‬
‫ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺷﺒﮑﻪﻫﺎی ﭘﺮﺳﭙﺘﺮون از ﻫﻤﯿﻦ ﻧﻮع‬
‫ﻣﯽﺑﺎﺷﺪ‪ .‬در "' ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺑﯽ ﻧﻈﺎرت"' وزنﻫﺎ و‬
‫ﺑﺎﯾﺎسﻫﺎ ﺗﻨﻬﺎ در ﻣﻘﺎﺑﻞ ورودی ﺷﺒﮑﻪ اﺻﻼح ﻣﯽﺷﻮﻧﺪ‬
‫و در واﻗﻊ ﻫﯿﭻ ﻫﺪﻓﯽ وﺟﻮد ﻧﺪارد‪ .‬اﯾﻦ اﻟﮕﻮرﯾﺘﻢ‬
‫ً‬
‫اﮐﺜﺮا ﺑﺮای ﻋﻤﻠﯿﺎت دﺳﺘﻪﺑﻨﺪی اﺳﺘﻔﺎده ﻣﯽﺷﻮد‪ .‬آنﻫﺎ‬
‫ورودیﻫﺎ را ﺑﺎ داﺷﺘﻦ ﺗﻌﺪاد ﻣﺤﺪودی از ﮐﻼسﻫﺎ‬
‫دﺳﺘﻪﺑﻨﺪی ﻣﯽﮐﻨﻨﺪ‪'" .‬ﻗﺎﻋﺪه ﯾﺎدﮔﯿﺮی ﺗﻘﻮﯾﺘﯽ"' ﺑﺮ‬
‫رﻓﺘﺎرﻫﺎﯾﯽ ﺗﻤﺮﮐﺰ دارد ﮐﻪ ﻣﺎﺷﯿﻦ ﺑﺎﯾﺪ ﺑﺮای ﺑﯿﺸﯿﻨﻪ‬
‫ﮐﺮدن ﭘﺎداﺷﺶ اﻧﺠﺎم دﻫﺪ‪ .‬اﯾﻦ ﻣﺴﺌﻠﻪ‪ ،‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ‬
‫ﮔﺴﺘﺮدﮔﯽاش‪ ،‬در زﻣﯿﻨﻪﻫﺎی ﮔﻮﻧﺎﮔﻮﻧﯽ ﺑﺮرﺳﯽ‬
‫ﻣﯽﺷﻮد‪ .‬ﻣﺎﻧﻨﺪ‪ :‬ﻧﻈﺮﯾﻪ ﺑﺎزیﻫﺎ‪ ،‬ﻧﻈﺮﯾﻪ ﮐﻨﺘﺮل‪ ،‬ﻫﻮش‬
 ‫ازدﺣﺎﻣﯽ‪ ،‬آﻣﺎر و …‪ .‬اﯾﻦ ﻧﻮع ﯾﺎدﮔﯿﺮی در ﺷﺒﮑﻪﻫﺎی‬
‫ﭘﺮﺳﭙﺘﺮون و ﯾﺎدﮔﯿﺮی ﺑﺪون ﻧﻈﺎرت در ﺷﺒﮑﻪ‬
‫ﭘﺮﺳﭙﺘﺮون ﮐﺎرﺑﺮدی ﻧﺪارﻧﺪ و ﺗﻮﺿﯿﺢ ﺑﯿﺸﺘﺮ در ﻣﻮرد‬
‫آﻧﺎن از ﺣﻮﺻﻠﻪ ﺑﺤﺚ ﺧﺎرج اﺳﺖ‪.‬‬

‫و…‬ ‫ﯾﺎدﮔﯿﺮی از ﻃﺮﯾﻖ ﺑﺎزﮔﺸﺖ ﺑﻪ ﻋﻘﺐ‬

‫ﯾﺎدﮔﯿﺮی ﻣﺎﺷﯿﻨﯽ ﺑﺎ ﻧﻈﺎرت )‪supervised‬‬

‫‪ (learning‬ﺑﻪ دﻧﺒﺎل ﺗﺎﺑﻌﯽ از ﻣﯿﺎن ﯾﮏ ﺳﺮی ﺗﻮاﺑﻊ‬
‫ﻫﺴﺖ ﮐﻪ ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ )‪ (loss function‬دادهﻫﺎ را‬
‫ﺑﻬﯿﻨﻪ ﺳﺎزد‪ .‬ﺑﻪ ﻋﻨﻮان ﻣﺜﺎل در ﻣﺴﺌﻠﻪ رﮔﺮﺳﯿﻮن ﺗﺎﺑﻊ‬
‫ﻫﺰﯾﻨﻪ ﻣﯽﺗﻮاﻧﺪ اﺧﺘﻼف ﺑﯿﻦ ﭘﯿﺶﺑﯿﻨﯽ و ﻣﻘﺪار‬
‫واﻗﻌﯽ ﺧﺮوﺟﯽ ﺑﻪ ﺗﻮان دو ﺑﺎﺷﺪ‪ ،‬ﯾﺎ در ﻣﺴﺌﻠﻪ‬
‫ﻃﺒﻘﻪﺑﻨﺪی ﺿﺮر ﻣﻨﻔﯽ ﻟﮕﺎرﯾﺘﻢ اﺣﺘﻤﺎل ﺧﺮوﺟﯽ ﺑﺎﺷﺪ‪.‬‬
 ‫ﻣﺸﮑﻠﯽ ﮐﻪ در ﯾﺎدﮔﯿﺮی ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ وﺟﻮد دارد‬
‫اﯾﻦ اﺳﺖ ﮐﻪ اﯾﻦ ﻣﺴﺌﻠﻪ ﺑﻬﯿﻨﻪﺳﺎزی دﯾﮕﺮ ﻣﺤﺪب‬
‫)‪ (convex‬ﻧﯿﺴﺖ‪ [۱].‬ازﯾﻦ رو ﺑﺎ ﻣﺸﮑﻞ ﮐﻤﯿﻨﻪﻫﺎی‬
‫ﻣﺤﻠﯽ روﺑﺮو ﻫﺴﺘﯿﻢ‪ .‬ﯾﮑﯽ از روشﻫﺎی ﻣﺘﺪاول ﺣﻞ‬
‫ﻣﺴﺌﻠﻪ ﺑﻬﯿﻨﻪﺳﺎزی در ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ ﺑﺎزﮔﺸﺖ ﺑﻪ‬
‫ﻋﻘﺐ ﯾﺎ ﻫﻤﺎن ‪ back propagation‬اﺳﺖ‪ [۱].‬روش‬
‫ﮔﺮادﯾﺎن ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ را ﺑﺮای ﺗﻤﺎم‬
‫ِ‬ ‫ﺑﺎزﮔﺸﺖ ﺑﻪ ﻋﻘﺐ‬
‫وزنﻫﺎی ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻣﺤﺎﺳﺒﻪ ﻣﯽﮐﻨﺪ و ﺑﻌﺪ از‬
‫روشﻫﺎی ﮔﺮادﯾﺎن ﮐﺎﻫﺸﯽ )‪(gradient descent‬‬
‫ﺑﺮای ﭘﯿﺪا ﮐﺮدن ﻣﺠﻤﻮﻋﻪ وزنﻫﺎی ﺑﻬﯿﻨﻪ اﺳﺘﻔﺎده‬
‫ﻣﯽﮐﻨﺪ‪ [۲].‬روشﻫﺎی ﮔﺮادﯾﺎن ﮐﺎﻫﺸﯽ ﺳﻌﯽ ﻣﯽﮐﻨﻨﺪ ﺑﻪ‬
‫ﺻﻮرت ﻣﺘﻨﺎوب در ﺧﻼف ﺟﻬﺖ ﮔﺮادﯾﺎن ﺣﺮﮐﺖ ﮐﻨﻨﺪ‬
‫و ﺑﺎ اﯾﻦ ﮐﺎر ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ را ﺑﻪ ﺣﺪاﻗﻞ ﺑﺮﺳﺎﻧﻨﺪ‪ [۲].‬ﭘﯿﺪا‬
 ‫ﮔﺮادﯾﺎن ﻻﯾﻪ آﺧﺮ ﺳﺎده اﺳﺖ و ﺑﺎ اﺳﺘﻔﺎده از‬
‫ِ‬ ‫ﮐﺮدن‬
‫ﮔﺮادﯾﺎن ﻻﯾﻪﻫﺎی ﻣﯿﺎﻧﯽ‬
‫ِ‬ ‫ﻣﺸﺘﻖ ﺟﺰﺋﯽ ﺑﺪﺳﺖ ﻣﯽآﯾﺪ‪.‬‬
‫اﻣﺎ ﺑﻪ ﺻﻮرت ﻣﺴﺘﻘﯿﻢ ﺑﺪﺳﺖ ﻧﻤﯽآﯾﺪ و ﺑﺎﯾﺪ از‬
‫روشﻫﺎﯾﯽ ﻣﺎﻧﻨﺪ ﻗﺎﻋﺪه زﻧﺠﯿﺮی در ﻣﺸﺘﻖﮔﯿﺮی‬
‫اﺳﺘﻔﺎده ﮐﺮد‪ [۲].‬روش ﺑﺎزﮔﺸﺖ ﺑﻪ ﻋﻘﺐ از ﻗﺎﻋﺪه‬
‫زﻧﺠﯿﺮی ﺑﺮای ﻣﺤﺎﺳﺒﻪ ﮔﺮادﯾﺎنﻫﺎ اﺳﺘﻔﺎده ﻣﯽﮐﻨﺪ و‬
‫ﻫﻤﺎنﻃﻮر ﮐﻪ در ﭘﺎﯾﯿﻦ ﺧﻮاﻫﯿﻢ دﯾﺪ‪ ،‬اﯾﻦ روش ﺑﻪ‬
‫ﺻﻮرت ﻣﺘﻨﺎوب ﮔﺮادﯾﺎنﻫﺎ را از ﺑﺎﻻﺗﺮﯾﻦ ﻻﯾﻪ ﺷﺮوع‬
‫ﮐﺮده آنﻫﺎ را در ﻻﯾﻪﻫﺎی ﭘﺎﯾﯿﻨﺘﺮ »ﭘﺨﺶ« ﻣﯽﮐﻨﺪ‪.‬‬
‫ﺗﺼﻮﯾﺮی از ﯾﮏ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﺑﺎ دو ﻻﯾﻪ ﭘﻨﻬﺎن‪ ،‬ﮔﺮادﯾﺎن ‪ c‬واﺑﺴﺘﻪ‬
‫ﺑﻪ ﮔﺮادﯾﺎن ﻻﯾﻪﻫﺎی ﺑﺎﻻﺗﺮ اﺳﺖ ﮐﻪ ﺑﻪ آﻧﻬﺎ ﻣﺘﺼﻞ اﺳﺖ‪.‬‬

‫ورودﯾﯽ ﮐﻪ از ﺳﻠﻮل ﻋﺼﺒﯽ‬ ‫ﺑﺮای ﺳﻠﻮل ﻋﺼﺒﯽ‬

‫ﻧﺸﺎن ﻣﯽدﻫﯿﻢ‪.‬‬ ‫ﺑﻪ اﯾﻦ ﺳﻠﻮل وارد ﻣﯽﺷﻮد را ﺑﺎ‬
‫اﺳﺖ و ﻣﺠﻤﻮع ﺿﺮب‬ ‫وزن اﯾﻦ ورودی‬
‫ﻧﻤﺎﯾﺶ ﻣﯽدﻫﯿﻢ‪ ،‬ﺑﻪ‬ ‫ورودیﻫﺎ ﺑﺎ وزﻧﻬﺎﯾﺸﺎن را ﺑﺎ‬
‫‪ .‬ﺣﺎل ﺑﺎﯾﺪ‬ ‫اﯾﻦ ﻣﻌﻨﯽ ﮐﻪ‬
‫ﺗﺎﺑﻌﯽ ﻏﯿﺮ ﺧﻄﯽ اﻋﻤﺎل ﮐﻨﯿﻢ اﯾﻦ ﺗﺎﺑﻊ را‬ ‫ﺑﺮ روی‬
‫ﻧﻤﺎﯾﺶ ﻣﯽدﻫﯿﻢ‬ ‫ﻣﯽﻧﺎﻣﯿﻢ و ﺧﺮوﺟﯽ آن را ﺑﺎ‬
‫‪ .‬ﺑﻪ ﻫﻤﯿﻦ ﺷﮑﻞ ﺧﺮوﺟﯿﯽ ﮐﻪ‬ ‫ﯾﻌﻨﯽ‬
‫وارد‬ ‫ﺧﺎرج ﺷﺪه و ﺑﻪ ﺳﻠﻮل‬ ‫از ﺳﻠﻮل ﻋﺼﺒﯽ‬
‫ﻧﻤﺎﯾﺶ ﻣﯽدﻫﯿﻢ و وزن آن را‬ ‫ﻣﯽﺷﻮد را ﺑﺎ‬
‫ﻣﯽﻧﺎﻣﯿﻢ‪ .‬ﺣﺎل ﺗﻤﺎم وزنﻫﺎی اﯾﻦ ﺷﺒﮑﻪ ﻋﺼﺒﯽ را در‬
‫ﻣﯽﮔﻨﺠﺎﻧﯿﻢ‪ ،‬ﻫﺪف ﯾﺎدﮔﯿﺮی‬ ‫ﻣﺠﻤﻮﻋﻪای ﺑﻪ اﺳﻢ‬
‫ﺑﺎﺷﺪ و ﺧﺮوﺟﯽ‬ ‫اﯾﻦ وزﻧﻬﺎﺳﺖ‪ [۳].‬اﮔﺮ ورودی ﻣﺎ‬
‫‪ ،‬ﻫﺪف ﭘﯿﺪا‬ ‫و ﺧﺮوﺟﯽ ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻣﺎ‬
‫اﺳﺖ ﺑﻪ ﻗﺴﻤﯽ ﮐﻪ ﺑﺮای ﺗﻤﺎم‬ ‫ﮐﺮدن اﻧﺘﺨﺎب‬
‫ﺑﻪ ﻫﻢ ﺧﯿﻠﯽ ﻧﺰدﯾﮏ ﺷﻮﻧﺪ‪ .‬ﺑﻪ‬ ‫و‬ ‫دادهﻫﺎ‬
‫ﻋﺒﺎرت دﯾﮕﺮ ﻫﺪف ﮐﻮﭼﮏ ﮐﺮدن ﯾﮏ ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ ﺑﺮ‬
‫روی ﺗﻤﺎم داده ﻫﺎﺳﺖ‪ ،‬اﮔﺮ دادهﻫﺎ را ﺑﺎ‬
 ‫و ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ را ﺑﺎ‬
‫اﺳﺖ‪[۴]:‬‬ ‫ﻧﺸﺎن دﻫﯿﻢ ﻫﺪف ﮐﻤﯿﻨﻪ ﮐﺮدن ﺗﺎﺑﻊ ﭘﺎﯾﯿﻦ‬

‫ﺑﻪ ﻋﻨﻮان ﻣﺜﺎل اﮔﺮ ﻣﺴﺌﻠﻪ رﮔﺮﺳﯿﻮن اﺳﺖ ﺑﺮای‬

‫ﻣﯽﺗﻮاﻧﯿﻢ ﺧﻄﺎی ﻣﺮﺑﻌﺎت را در ﻧﻈﺮ ﺑﮕﯿﺮﯾﻢ و اﮔﺮ‬
‫ﻣﺴﺌﻠﻪ دﺳﺘﻪﺑﻨﺪی اﺳﺖ ﺑﺮای ﻣﯽﺷﻮد ﻣﻨﻔﯽ ﻟﮕﺎرﯾﺘﻢ‬
‫ﺑﺎزﻧﻤﺎﯾﯽ را اﺳﺘﻔﺎده ﮐﺮد‪.‬‬

‫ﺑﺎﯾﺪ از روش‬ ‫ﺑﺮای ﺑﺪﺳﺖ آوردن ﮐﻤﯿﻨﻪ‬

‫ﮔﺮادﯾﺎن ﮐﺎﻫﺸﯽ اﺳﺘﻔﺎده ﮐﺮد‪ ،‬ﺑﻪ اﯾﻦ ﻣﻌﻨﯽ ﮐﻪ‬
‫ﮔﺮادﯾﺎن ﺗﺎﺑﻊ را ﺣﺴﺎب ﮐﺮده‪ ،‬ﮐﻤﯽ در ﺧﻼف ﺟﻬﺖ آن‬
‫ﺣﺮﮐﺖ ﮐﺮده و اﯾﻦ ﮐﺎر را آﻧﻘﺪر اداﻣﻪ داد ﺗﺎ ﺗﺎﺑﻊ ﻫﺰﯾﻨﻪ‬
‫ﺧﯿﻠﯽ ﮐﻮﭼﮏ ﺷﻮد‪ .‬روش ﺑﺎزﮔﺸﺖ ﺑﻪ ﻋﻘﺐ در واﻗﻊ‬
‫اﺳﺖ‪.‬‬ ‫روﺷﯽ ﺑﺮای ﭘﯿﺪا ﮐﺮدن ﮔﺮادﯾﺎن ﺗﺎﺑﻊ‬

‫را‬ ‫ﺣﺎل ﻓﺮض ﮐﻨﯿﻢ ﻣﯽﺧﻮاﻫﯿﻢ ﮔﺮادﯾﺎن ﺗﺎﺑﻊ‬

‫ﺑﺪﺳﺖ ﺑﯿﺎورﯾﻢ‪ .‬ﺑﺮای اﯾﻦ ﮐﺎر ﻧﯿﺎز‬ ‫ﻧﺴﺒﺖ ﺑﻪ وزن‬
‫ﺑﻪ ﻗﺎﻋﺪه زﻧﺠﯿﺮی در ﻣﺸﺘﻖﮔﯿﺮی دارﯾﻢ‪ .‬ﻗﺎﻋﺪه‬
‫زﻧﺠﯿﺮی ﺑﻪ اﯾﻦ ﺷﮑﻞ ﮐﺎر ﻣﯽﮐﻨﺪ‪ :‬اﮔﺮ ﺗﺎﺑﻌﯽ داﺷﺘﻪ‬
‫و‬ ‫ﮐﻪ واﺑﺴﺘﻪ ﺑﻪ ﺳﻪ ورودی ‪،‬‬ ‫ﺑﺎﺷﯿﻢ ﺑﻪ اﺳﻢ‬
‫ﺑﺎﺷﺪ و ﻫﺮﮐﺪام از اﯾﻦ ﺳﻪ ورودی ﺑﻪ ﻧﻮﺑﻪ ﺧﻮد‬
‫ﺑﻪ ﺑﻪ اﯾﻦ ﺷﮑﻞ‬ ‫واﺑﺴﺘﻪ ﺑﻪ ﺑﺎﺷﻨﺪ‪ ،‬ﻣﺸﺘﻖ‬
‫ﻣﺤﺎﺳﺒﻪ ﻣﯽﺷﻮد‪:‬‬
‫ﺑﺎ اﺳﺘﻔﺎده از اﯾﻦ ﻗﺎﻋﺪه زﻧﺠﯿﺮی روش ﺑﺎزﮔﺸﺖ ﺑﻪ‬
‫ﻋﻘﺐ را ﺑﻪ اﯾﻦ ﺷﮑﻞ دﻧﺒﺎل ﻣﯽﮐﻨﯿﻢ‪:‬‬
 ‫ﻫﻤﺎنﻃﻮر ﮐﻪ در ﺧﻂ ﭘﯿﺸﯿﻦ دﯾﺪﯾﻢ ﺑﺮای ﺑﺪﺳﺖ‬
‫ﺑﻪ دو ﻣﻘﺪار ﻧﯿﺎز دارﯾﻢ‬ ‫آوردن ﮔﺮادﯾﺎن ﻧﺴﺒﺖ ﺑﻪ‬
‫ﮐﻪ‬ ‫از ﺳﻠﻮل ﻋﺼﺒﯽ‬ ‫ورودی ﺑﻪ ﺳﻠﻮل ﻋﺼﺒﯽ‬
‫ﮐﻪ از‬ ‫اﺳﺖ و راﺣﺖ ﺑﺪﺳﺖ ﻣﯽآﯾﺪ و‬ ‫ﻫﻤﺎن‬
‫روش ﺑﺎزﮔﺸﺘﯽ ﺑﺪﺳﺖ ﻣﯽآﯾﺪ و ﺑﺴﺘﮕﯽ ﺑﻪ ﻫﺎﯾﯽ‬
‫ﻻﯾﻪ ﺑﻌﺪ دارد ﮐﻪ ﺳﻠﻮل ﺑﻪ آنﻫﺎ وﺻﻞ اﺳﺖ‪ ،‬ﺑﻪﻃﻮر‬

‫‪.‬‬ ‫دﻗﯿﻘﺘﺮ‬

‫روش ﺑﺎزﮔﺸﺘﯽ ﺑﺮای ﺑﺪﺳﺖ آوردن ﻫﺎ ﺑﻪ اﯾﻦ ﺷﮑﻞ‬

‫را ﺑﺮای ﺳﻠﻮلﻫﺎی ﻻﯾﻪ ﺧﺮوﺟﯽ‬ ‫ﮐﺎر ﻣﯽﮐﻨﺪ ﮐﻪ اﺑﺘﺪا‬
‫ﺣﺴﺎب ﻣﯽﮐﻨﯿﻢ‪ ،‬و ﺑﻌﺪ ﻻﯾﻪﻫﺎ را ﺑﻪ ﻧﻮﺑﺖ ﭘﺎﯾﯿﻦ آﺋﯿﻢ‬
‫آن را ﺑﺎ ﺗﺮﮐﯿﺖ ﻫﺎی ﻻﯾﻪﻫﺎی‬ ‫و ﺑﺮای ﻫﺮ ﺳﻠﻮل‬
‫ﺑﺎﻻﯾﯽ آن ﻃﺒﻖ ﻓﺮﻣﻮل ﺣﺴﺎب ﻣﯽﮐﻨﯿﻢ‪ .‬ﻣﺤﺎﺳﺒﻪ‬
‫ً‬
‫ﻣﺴﺘﻘﯿﻤﺎ ﺑﺎ‬ ‫ﺑﺮای ﻻﯾﻪ ﺧﺮوﺟﯽ آﺳﺎن اﺳﺖ و‬ ‫ﮐﺮدن‬
‫ﻣﯽآﯾﺪ‪[۵].‬‬ ‫ﺑﺪﺳﺖ‬ ‫ﻣﺸﺘﻖ ﮔﺮﻓﺘﻦ از‬

‫ﭘﺮﺳﭙﺘﺮون ﺗﮏ ﻻﯾﻪ‬
 ‫ﯾﮏ ﻧﻮرون ﭘﺮﺳﭙﺘﺮون ﮐﻪ از ﺗﺎﺑﻊ اﻧﺘﻘﺎل ‪ hard-limit‬اﺳﺘﻔﺎده‬
‫ﻣﯽﮐﻨﺪ‪.‬‬

‫ﭘﺮﺳﭙﺘﺮون ﺗﮏ ﻻﯾﻪ ﺳﺎدهﺗﺮﯾﻦ ﻧﻮع ﺷﺒﮑﻪ ﻋﺼﺒﯽ‬

‫اﺳﺖ‪ ،‬ﮐﻪ از ﯾﮏ ﻻﯾﻪ از ﻧﻮرونﻫﺎی ﺧﺮوﺟﯽ ﺗﺸﮑﯿﻞ‬
‫ﺷﺪهاﺳﺖ‪ .‬ورودیﻫﺎی اﯾﻦ ﺷﺒﮑﻪ ﺑﻪ وﺳﯿﻠﻪ ﯾﮏ آراﯾﻪ‬
‫از وزنﻫﺎ ﺑﻪ ﺻﻮرت ﻣﺴﺘﻘﯿﻢ ﺑﻪ ﺧﺮوﺟﯽﻫﺎ ﻧﺴﺒﺖ‬
‫داده ﻣﯽﺷﻮﻧﺪ‪ .‬در ﻧﺘﯿﺠﻪ اﯾﻦ ﺷﺒﮑﻪ ﻻﯾﻪ ﭘﻨﻬﺎﻧﯽ ﻧﺪارد‪.‬‬
‫اﯾﻦ ﺷﺒﮑﻪ را ﻣﯽﺗﻮان ﺳﺎدهﺗﺮﯾﻦ ﺷﺒﮑﻪ ﻋﺼﺒﯽ‬
‫ﭘﯿﺸﺨﻮر داﻧﺴﺖ‪ .‬در ﻫﺮ ﻧﻮرون ﻣﺠﻤﻮع ﺿﺮب ﻫﺮ وزن‬
‫در ورودی ﺑﺎ اﻧﺪﯾﺲ ﺑﺮاﺑﺮ ﺧﻮد ﻣﺤﺎﺳﺒﻪ ﻣﯽﺷﻮد‪ .‬اﮔﺮ‬
‫ﻣﻘﺪار ﻣﺠﻤﻮع ﻣﺤﺎﺳﺒﻪ ﺷﺪه در ﺑﺎﻻ ﺑﺮای ﻫﺮ ﻧﻮرون‬
‫ﺑﺎﻻﺗﺮ از ﯾﮏ ﻣﻘﺪار آﺳﺘﺎﻧﻪ ﺑﺎﺷﺪ )ﺑﻪﻃﻮر ﻣﻌﻤﻮل ‪،(۰‬‬
‫ﻧﻮرون ﻓﻌﺎل ﺷﺪه و ﻣﻘﺪار ﻓﻌﺎل )ﺑﻪﻃﻮر ﻣﻌﻤﻮل ‪ (۱‬را‬
‫ﻣﯽﭘﺬﯾﺮد‪ ،‬در ﻏﯿﺮ اﯾﻦ ﺻﻮرت ﻣﻘﺪار ﻏﯿﺮﻓﻌﺎل )ﺑﻪﻃﻮر‬
‫ﻣﻌﻤﻮل ‪ (۱-‬را ﻣﯽﭘﺬﯾﺮد‪ .‬ﺑﻪ ﻧﻮرونﻫﺎی ﺑﺎ ﺗﺎﺑﻊ ﻓﻌﺎل‬
‫ﺳﺎزی از ﻧﻮع ﺑﺎﻻ را ﻧﻮرونﻫﺎی ﻣﺼﻨﻮﻋﯽ ﯾﺎ واﺣﺪﻫﺎی‬
‫آﺳﺘﺎﻧﻪ ﺧﻄﯽ ﻣﯽﮔﻮﯾﯿﻢ‪ .‬اﺻﻄﻼح ﭘﺮﺳﭙﺘﺮون اﻏﻠﺐ‬
‫اﺷﺎره ﺑﻪ ﺷﺒﮑﻪﻫﺎی ﻣﺘﺸﮑﻞ از ﺗﻨﻬﺎ ﯾﮑﯽ از اﯾﻦ واﺣﺪﻫﺎ‬
‫ﻣﯽﮐﻨﺪ‪[۶].‬‬

‫ﯾﮏ ﭘﺮﺳﭙﺘﺮون را ﻣﯽﺗﻮان ﺑﺎ اﺳﺘﻔﺎده از ﻫﺮ ﻣﻘﺪاری‬

‫ﺑﺮای ﺣﺎﻻت ﻓﻌﺎل و ﻏﯿﺮﻓﻌﺎل‪ ،‬ﺗﺎ زﻣﺎﻧﯽ ﮐﻪ ﻣﻘﺪار‬
 ‫آﺳﺘﺎﻧﻪ ﺑﯿﻦ دو ﻣﻘﺪار ﻗﺮار دارد‪ ،‬ﺳﺎﺧﺖ‪ .‬اﮐﺜﺮ‬
‫ﭘﺮﺳﭙﺘﺮونﻫﺎ ﺧﺮوﺟﯽﻫﺎﯾﯽ از ‪ ۱‬ﯾﺎ ‪ ۱-‬ﺑﺎ ﻣﻘﺪار آﺳﺘﺎﻧﻪ ‪۰‬‬
‫دارﻧﺪ‪ .‬ﺷﺒﮑﻪﻫﺎی دارای ﺳﺎﺧﺘﺎر ﺑﺎﻻ را ﺑﺎ ﺳﺮﻋﺖ‬
‫ﺑﯿﺸﺘﺮی ﻧﺴﺒﺖ ﺑﻪ ﺷﺒﮑﻪﻫﺎی ﻣﺘﺸﮑﻞ از ﻧﻮرونﻫﺎی‬
‫دارای ﻣﻘﺎدﯾﺮ ﻣﺨﺘﻠﻒ ﻓﻌﺎل و ﻏﯿﺮﻓﻌﺎل‪ ،‬ﻣﯽﺗﻮان‬
‫داد‪[۷].‬‬ ‫آﻣﻮزش‬

‫ﭘﺮﺳﭙﺘﺮونﻫﺎ را ﻣﯽﺗﻮان ﺑﺎ ﯾﮏ اﻟﮕﻮرﯾﺘﻢ ﯾﺎدﮔﯿﺮی‬

‫ﺳﺎده ﮐﻪ ﻣﻌﻤﻮﻻً ﺑﻪ ﻧﺎم ﻗﺎﻧﻮن دﻟﺘﺎ آن را ﻣﯽﺷﻨﺎﺳﻨﺪ‪،‬‬
‫آﻣﻮزش داد‪ .‬اﯾﻦ اﻟﮕﻮرﯾﺘﻢ ﺧﻄﺎﻫﺎی ﻣﯿﺎن ﺧﺮوﺟﯽ‬
‫ﻣﺤﺎﺳﺒﻪ ﺷﺪه و ﺧﺮوﺟﯽ ﻧﻤﻮﻧﻪ را ﻣﺤﺎﺳﺒﻪ ﮐﺮده و از‬
‫آن ﺑﺮای ﺑﺮوزرﺳﺎﻧﯽ ﻣﻘﺎدﯾﺮ وزنﻫﺎ اﺳﺘﻔﺎده ﻣﯽﮐﻨﺪ‪.‬‬
‫اﯾﻦ اﻟﮕﻮرﯾﺘﻢ ﻧﺘﯿﺠﻪ اﺟﺮای ﯾﮏ ﻧﻤﻮﻧﻪ از ﮔﺮادﯾﺎن‬
‫ﮐﺎﻫﺸﯽ ﻣﯽﺑﺎﺷﺪ‪.‬‬
‫ﭘﺮﺳﭙﺘﺮونﻫﺎی ﺗﮏواﺣﺪ ﺗﻨﻬﺎ ﻗﺎدر ﺑﻪ ﯾﺎدﮔﯿﺮی اﻟﮕﻮﻫﺎی‬
‫ﺧﻄﯽ ﺟﺪا از ﻫﻢ ﻣﯽﺑﺎﺷﺪ‪ .‬در ﺳﺎل ‪ ۱۹۶۹‬در ﯾﮏ ﻣﻘﺎﻟﻪ‪-‬‬
‫ً‬
‫ﺑﻌﺪا ﺗﺒﺪﯾﻞ ﺑﻪ ﮐﺘﺎب ﺷﺪ‪ -‬ﻣﻌﺮوف ﺗﺤﺖ ﻋﻨﻮان‬ ‫ﮐﻪ‬
‫»ﭘﺮﺳﭙﺘﺮونﻫﺎ«‪ [۸]،‬ﻣﺎروﯾﻦ ﻣﯿﻨﺴﮑﯽ و ﺳﯿﻤﻮر ﭘﺎﭘﺮت‪،‬‬
‫ﻧﺸﺎن دادﻧﺪ ﮐﻪ ﺑﺮای ﯾﮏ ﺷﺒﮑﻪ ﭘﺮﺳﭙﺘﺮون ﺗﮏﻻﯾﻪ‬
‫ﯾﺎدﮔﯿﺮی ﺗﺎﺑﻊ ﺑﻮﻟﯽ ‪ XOR‬ﻏﯿﺮﻣﻤﮑﻦ اﺳﺖ‪ .‬ﺑﺎ اﯾﻦ‬
‫وﺟﻮد‪ ،‬ﻣﯽداﻧﯿﻢ اﺳﺖ ﮐﻪ ﭘﺮﺳﭙﺘﺮونﻫﺎی ﭼﻨﺪ ﻻﯾﻪ‬
‫ﻗﺎدر ﺑﻪ ﺗﻮﻟﯿﺪ ﻫﺮ ﮔﻮﻧﻪ ﺗﺎﺑﻊ ﺑﻮﻟﯽ ﻣﯽﺑﺎﺷﻨﺪ‪.‬‬

‫اﮔﺮ ﭼﻪ ﯾﮏ واﺣﺪ آﺳﺘﺎﻧﻪ ﮐﺎﻣ ً‬

‫ﻼ ﻣﺤﺪود ﺑﻪ ﻗﺪرت‬
‫ﻣﺤﺎﺳﺒﺎﺗﯽ ﺧﻮد ﻣﯽﺑﺎﺷﺪ‪ ،‬اﺛﺒﺎت ﺷﺪهاﺳﺖ ﮐﻪ‬
‫ﺷﺒﮑﻪﻫﺎﯾﯽ از واﺣﺪﻫﺎی آﺳﺘﺎﻧﻪ ﻣﻮازی ﻣﯽﺗﻮاﻧﻨﺪ ﻫﺮ‬
‫ﺗﺎﺑﻊ ﭘﯿﻮﺳﺘﻪ از ﺑﺎزه ﻓﺸﺮده اﻋﺪاد ﺣﻘﯿﻘﯽ ﺑﻪ ﺑﺎزه‬
‫]‪ .[۱ ۱-‬اﯾﻦ ﻧﺘﯿﺠﻪ ﺗﻮﺳﻂ ﭘﯿﺘﺮ آور‪ ،‬ﻫﺎروﻟﺪ ﺑﺮﮔﺴﺘﯿﻨﺮ و‬
 ‫وﻟﻔﮕﺎﻧﮓ ﻣﺎس در ﻣﻘﺎﻟﻪای در ﻣﻮرد ﻗﻮاﻧﯿﻦ و‬
‫آﻣﺪهاﺳﺖ‪[۹].‬‬ ‫اﻟﮕﻮرﯾﺘﻢﻫﺎی ﯾﺎدﮔﯿﺮی ﺑﺎ ﻋﻨﻮان ﺑﺪﺳﺖ‬

‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﭼﻨﺪ ﻻﯾﻪ ﻣﯽﺗﻮاﻧﺪ ﯾﮏ ﺧﺮوﺟﯽ ﭘﯿﻮﺳﺘﻪ‬

‫را ﺑﻪ ﺟﺎی ﯾﮏ ﺗﺎﺑﻊ ﭘﻠﻪای ﻣﺤﺎﺳﺒﻪ ﮐﻨﺪ‪ .‬ﯾﮏ اﻧﺘﺨﺎب‬
‫راﯾﺞ ﮐﻪ ﺗﺎﺑﻊ ﻟﺠﺴﺘﯿﮏ )ﻣﻨﻄﻘﯽ( ﻧﺎﻣﯿﺪه ﻣﯽﺷﻮد ﺑﺮاﺑﺮ‬
‫اﺳﺖ ﺑﺎ‪:‬‬

‫ﺗﺎﺑﻊ ﻟﺠﯿﺴﺘﯿﮏ )ﻣﻨﻄﻘﯽ( ﺑﺎ ﻧﺎم ﺗﺎﺑﻊ ﺳﯿﮕﻤﻮﺋﯿﺪ ﻧﯿﺰ‬

‫ﺷﻨﺎﺧﺘﻪ ﻣﯽﺷﻮد‪ .‬ﺑﺎ اﯾﻦ اﻧﺘﺨﺎب‪ ،‬ﺷﺒﮑﻪ ﺗﮏﻻﯾﻪ ﺑﺎ ﻣﺪل‬
‫رﮔﺮﺳﯿﻮن ﻟﺠﺴﺘﯿﮏ ﯾﮑﺴﺎن ﻣﯽﺷﻮد‪ .‬اﯾﻦ ﻣﺪل ﺑﻪ‬
‫ﺻﻮرت ﮔﺴﺘﺮده در ﻣﺪل آﻣﺎری ﮐﺎرﺑﺮد دارد‪ .‬ﺿﺎﺑﻄﻪ‬
 ‫اﯾﻦ ﺗﺎﺑﻊ‪ ،‬دارای ﻣﺸﺘﻖ ﭘﯿﻮﺳﺘﻪ و ﻫﻤﭽﻨﯿﻦ ﺿﺎﺑﻄﻪ‬
‫ﻣﺸﺘﻖ آن ﺑﺮ ﺣﺴﺐ ﺧﻮد ﺗﺎﺑﻊ ﺑﺪﺳﺖ ﻣﯽآﯾﺪ‪ .‬اﯾﻦ‬
‫وﯾﮋﮔﯽ ﺑﺎﻋﺚ ﺷﺪهاﺳﺖ ﮐﻪ از اﯾﻦ ﺗﺎﺑﻊ در ﻣﺘﺪ‬
‫ﭘﺲاﻧﺘﺸﺎر اﺳﺘﻔﺎده ﺷﻮد‪ .‬راﺑﻄﻪ ﻣﺸﺘﻖ اﯾﻦ ﺗﺎﺑﻊ ﺑﺎ‬
‫ﺧﻮد ﺗﺎﺑﻊ ﺑﺮاﺑﺮ اﺳﺖ ﺑﺎ‪:‬‬

‫)اﯾﻦ راﺑﻄﻪ ﺑﻪ راﺣﺘﯽ ﺑﺎ اﺳﺘﻔﺎده از ﻗﺎﻋﺪه زﻧﺠﯿﺮی‬

‫ﻗﺎﺑﻞ اﺛﺒﺎت اﺳﺖ(‬

‫ﺟﺴﺘﺎرﻫﺎی واﺑﺴﺘﻪ‬
‫ﺗﺎﺑﻊ ﺳﯿﮕﻤﻮﺋﯿﺪ )‪(Sigmoid Function‬‬
‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ )‪(Biological Neural Network‬‬
 Artificial Neural) ‫ﺷﺒﮑﻪ ﻋﺼﺒﯽ ﻣﺼﻨﻮﻋﯽ‬
(Network
(Deep Learning) ‫ﯾﺎدﮔﯿﺮی ﻋﻤﯿﻖ‬
(Reinforcement learning) ‫ﯾﺎدﮔﯿﺮی ﺗﻘﻮﯾﺘﯽ‬
(Supervised learning) ‫ﯾﺎدﮔﯿﺮی ﺑﺎﻧﻈﺎرت‬
(Unsupervised learning) ‫ﯾﺎدﮔﯿﺮی ﺑﯽﻧﻈﺎرت‬

‫ﻣﻨﺎﺑﻊ‬
۱. Ian Goodfellow and Yoshua Bengio
and Aaron Courville (۲۰۱۶). Deep
learning. MIT Press. ‫ﺻﺺ‬. ۲۰۰.
۲. Heaton, Jeff (2017-10-29). "Ian
Goodfellow, Yoshua Bengio, and
 Aaron Courville: Deep learning".
Genetic Programming and Evolvable
Machines. 19 (1–2): 305–307.
doi: 10.1007/s10710-017-9314-z.
ISSN  1389-2576.
۳. «Build with AI | DeepAI». DeepAI.
.2018 ‫ اﻛﺘﺒﺮ‬17 ‫ﺑﺎﯾﮕﺎﻧﯽﺷﺪه از اﺻﻠﯽ در‬
‫ ﺗﺎرﯾﺦ وارد‬.2018-10-24 ‫درﯾﺎﻓﺖﺷﺪه در‬
‫| ﺷﺪه در‬archivedate= ‫را ﺑﺮرﺳﯽ ﮐﻨﯿﺪ‬
‫))ﮐﻤﮏ‬
۴. A., Nielsen, Michael (2015). "Neural
Networks and Deep Learning".
Archived from the original on 22 ‫اﻛﺘﺒﺮ‬
 2018. Retrieved 13 2019 ‫دﺳﺎﻣﺒﺮ‬.
Check date values in: |archive-
date= (help)
۵. Russell, Stuart; results, search (2009-
12-11). Artificial Intelligence: A
Modern Approach (‫ ﺑﻪ‬English) (3 ed.).
Boston Columbus Indianapolis New
York San Francisco Upper Saddle
River Amsterdam, Cape Town Dubai
London Madrid Milan Munich Paris
Montreal Toronto Delhi Mexico City
Sao Paulo Sydney Hong Kong Seoul
 Singapore Taipei Tokyo: Pearson.
p. 578. ISBN 9780136042594.
۶. Kasabov, N. K (1998). Foundations of
Neural Networks, Fuzzy Systems,
and Knowledge Engineering. MIT
Press. ISBN 0-262-11212-4.
۷. T.Hagan, Martin; B.Demuth, Howard;
Beale, Mark (1996). Neural
Networks Design. PWS Publishing
Co. Boston. ISBN 0-534-94332-2.
۸. L.Minsky, Marvin; Papert, Seymour
(1988). Perceptrons: An Introduction
 to Computational Geometry. The MIT
Press. ISBN 0-262-63111-3.
۹. Auer, Peter; Harald Burgsteiner;
Wolfgang Maass (2008). "A learning
rule for very simple universal
approximators consisting of a single
layer of perceptrons" (PDF). Neural
Networks.
doi: 10.1016/j.neunet.2007.12.036.
Archived from the original (PDF) on
6 July 2011. Retrieved 27 April 2017.

‫ﭘﯿﻮﻧﺪ ﺑﻪ ﺑﯿﺮون‬
‫اﻟﮕﻮرﯾﺘﻤﯽ ﺗﺮﮐﯿﺒﯽ ﺑﺮای آﻣﻮزش ﺷﺒﮑﻪﻫﺎی ﻋﺼﺒﯽ‬
‫ﻣﺼﻨﻮﻋﯽ‬
‫اﻧﺠﻤﻦ آﻣﺮﯾﮑﺎﯾﯽ ﻫﻮش ﻣﺼﻨﻮﻋﯽ‬
‫ﻫﻮش ﻣﺼﻨﻮﻋﯽ ‪MIT -‬‬
‫ﮐﺘﺎﺑﺨﺎﻧﻪ ﻫﻮش ﻣﺼﻨﻮﻋﯽ‬

‫ﺑﺮﮔﺮﻓﺘﻪ از »?‪https://fa.wikipedia.org/w/index.php‬‬
‫‪&oldid=29545064‬ﺷﺒﮑﻪ_ﻋﺼﺒﯽ_ﭘﯿﺸﺨﻮر=‪«title‬‬

‫آﺧﺮﯾﻦ وﯾﺮاﯾﺶ ‪ ۲‬ﻣﺎه ﭘﯿﺶ ﺗﻮﺳﻂ ﻓﺮاﻧﮑﻨﺸﺘﺎﯾﻦ اﻧﺠﺎم ﺷﺪه‬

‫ﻣﺤﺘﻮا ﺗﺤﺖ ‪ CC BY-SA 3.0‬در دﺳﺘﺮس اﺳﺖ‬

‫ﻣﮕﺮ ﺧﻼﻓﺶ ذﮐﺮ ﺷﺪه ﺑﺎﺷﺪ‪.‬‬