‫اﻟﻘﺴﻢ اﻟﺜﺎﻧﻲ ‪ :‬اﻟﺘﻮﻗﻊ‬

‫اﻹﻧﺤﺪار اﻟﺘﺪرﯾﺠﻲ‬
 ‫ﺗﻌﻠﯾم اﻵﻟﺔ‬

‫ﻣﺣﺗوﯾﺎت اﻟﻛورس ‪:‬‬

‫ﻣﻘدﻣﺔ‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻷول‬ ‫●‬

‫اﻟﺗوﻗﻊ ‪Regression‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟﺛﺎﻧﻲ‬ ‫●‬
‫اﻟﺗﻘﺳﯾم ‪Classification‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟﺛﺎﻟث‬ ‫●‬
‫اﻟﺷﺑﻛﺎت اﻟﻌﺻﺑﯾﺔ ‪NN‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟراﺑﻊ‬ ‫●‬
‫ﻧظﺎم اﻟدﻋم اﻻﻟﻲ ‪SVM‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟﺧﺎﻣس‬ ‫●‬
‫اﻟﺗﻌﻠﯾم ﺑدون اﺷراف ‪Unsupervised ML‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟﺳﺎدس‬ ‫●‬
‫ﻣواﺿﯾﻊ ھﺎﻣﺔ )اﻟﻘﯾم اﻟﺷﺎذة ‪ ,‬ﻧظﺎم اﻟﺗرﺷﯾﺣﺎت ‪( . . .‬‬ ‫‪:‬‬ ‫اﻟﻘﺳم اﻟﺳﺎﺑﻊ‬ ‫●‬

‫‪2‬‬
Linear Regression Equation ‫ﻣﻌﺎدﻟﺔ اﻟﺗوﻗﻊ اﻟﺧطﻲ‬

3
‫ﺗﺣدﯾد ﻗﯾﻣﺔ ﺛﯾﺗﺎ‬

‫‪4‬‬
‫ﺗﺣدﯾد ﻗﯾﻣﺔ ﺛﯾﺗﺎ‬

‫‪5‬‬
‫اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ ‪Gradient Descent‬‬

‫اﻻﻧﺣدار اﻟﺗدرﯾﺟﻲ ‪:‬‬

‫طﺎﻟﻣﺎ ﻧﺣن ﻧﺑﺣث ﻋن ﻗﯾم ﺛﯾﺗﺎ ‪ 0‬و ‪ 1‬اﻟﺗﻲ‬ ‫●‬

‫ﺳﺗﻘﻠل ﻗﯾﻣﺔ ‪ J‬ﺑﺎﻗﺻﻲ ﻗدر ‪ ,‬ﻓﺳﻧﻔرض ﻗﯾم ﻟﺛﯾﺗﺎ‬
‫‪ 1‬و ‪ , 2‬ﺛم ﻧﻘوم ﺑﺗﻘﻠﯾﻠﮭﺎ ﺗدرﯾﺟﯾﺎ ﺣﺗﻲ ﻧﺻل‬
‫ﻻﻗل ﻗﯾﻣﺔ ﻟﻠـ ‪J‬‬

‫‪6‬‬
Gradient Descent ‫اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ‬

7
‫اﻟﻘﯾم اﻟﻣﺣﻠﯾﺔ ‪Local Max & Min‬‬

‫‪8‬‬
‫اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ ‪Gradient Descent‬‬

‫اﻟﻘﯾم اﻟﻣﺣﻠﯾﺔ ‪:‬‬

‫ﻓﮭﻧﺎك ﻣﺎ ﯾﺳﻣﻲ ‪local‬‬ ‫●‬

‫‪ minimum‬ﯾﻌﻧﻲ ﻗﯾﻣﺔ دﻧﯾﺎ ‪,‬‬
‫ﻟﻛن ﻣﺣﻠﯾﺔ )ﻋﻠﻲ اﻟﯾﻣﯾن( و ﻻ‬
‫ﻧري ﺟوارھﺎ اي ﻗﯾم دﻧﯾﺎ اﺧري ‪,‬‬
‫ﻟﻛن ﻓﻲ اﻟﺣﻘﯾﻘﺔ ھﻧﺎك ﻗﯾم اﻗل ﻣﻧﮭﺎ‬
‫ﻟﻛن اﺑﻌد‬
‫واﻟﻘﯾﻣﺔ اﻷﻗل ﺟﻣﯾﻌﺎ اﺳﻣﮭﺎ‬ ‫●‬
‫‪ global minimum‬وھﻲ‬
‫اﻟﻣطﻠوﺑﺔ‬
‫‪9‬‬
 ‫ﻣﻌﺎدﻟﺔ اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ‬

‫اﻟﻔﻛرة ‪:‬‬

‫اوﻻ ﻓﻛرة ان =‪ :‬ﻣﻌﻧﺎھﺎ ان ﯾﺎ ﺑرﻧﺎﻣﺞ ‪ ,‬اﻋﻣل ‪ overwrite‬ﻟﻠﻘﯾﻣﺔ‬ ‫●‬

‫اﻟﯾﺳري ﺑﻘﯾﻣﺔ اﻟﯾﻣﻧﻲ‬
‫اﻟﻔﺎ ھو ﻣﻌﺎﻣل ‪ ,‬ان زاد ‪ ,‬ﺳﺗﻛون اﻟﺧطوات اﺳرع ) و ﻏﺎﻟﺑﺎ اﻗل دﻗﺔ (‬ ‫●‬
‫و ان ﻗل ﺳﺗﻛون اﻟﺧطوات اﺑطﺊ و ادق‬
‫ﻣﺎ ھو ﻋﻠﻲ ﯾﻣﯾن اﻟﻔﺎ ‪ ,‬ھو اﺷﺗﻘﺎق ﺟزﺋﻲ ﻟﻠداﻟﺔ ‪ ,‬ﺑﺎﻟﻧﺳﺑﺔ ﻟﺛﯾﺗﺎ‬ ‫●‬
‫ﻻﺣظ ان ھذه اﻟﻣﻌﺎدﻟﺔ ﺗﻛون ﻣرة ﻟﺛﯾﺗﺎ ﺻﻔر ‪ ,‬وﻣرة ﻟﺛﯾﺗﺎ ‪1‬‬ ‫●‬
‫ﻛﻼ اﻟﻣﻌﺎدﻟﺗﯾن ﯾﻣﺷﯾﺎن ﺑﺎﻟﺗوازي ﻣﻌﺎ ‪ ,‬وﯾﺗم ﺗﻛرارھﻣﺎ ﻣﻌﺎ‬ ‫●‬
‫وﻻﺣظ ان اﻻﺑدﯾت ﻻزم ﯾﺗم زي اﻟﻠﻲ ﻋﻠﻲ اﻟﺷﻣﺎل ‪ ,‬ﻣش اﻟﯾﻣﯾن‬ ‫●‬
‫●‬
‫●‬
‫‪10‬‬
 ‫ﻣﻌﺎدﻟﺔ اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ‬

‫اﻟﻔﻛرة ‪:‬‬

‫ﻛﻼ اﻟﻣﻌﺎدﻟﺗﯾن ﯾﻣﺷﯾﺎن ﺑﺎﻟﺗوازي ﻣﻌﺎ ‪ ,‬وﯾﺗم ﺗﻛرارھﻣﺎ ﻣﻌﺎ‬ ‫●‬

‫وﻻﺣظ ان اﻻﺑدﯾت ﻻزم ﯾﺗم زي اﻟﻠﻲ ﻋﻠﻲ اﻟﺷﻣﺎل ‪ ,‬ﻣش اﻟﯾﻣﯾن‬ ‫●‬
‫‪11‬‬
 ‫ﻣﻌﺎدﻟﺔ اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ‬

‫اﻟﻔﻛرة ‪:‬‬

‫ﻻﺣظ ان ﻓﻲ ﺣﺎﻟﺔ اﻟﻘﯾﻣﺔ اﻟدﻧﯾﺎ ﻗﯾﻣﺔ اﻟﺗﻔﺎﺿل ﺑﺻﻔر‬ ‫●‬

‫)ﻷن وﻗﺗﮭﺎ ھﯾﻛون اﻟﺧط ﺷﺑﮫ ﻣﺳﺗﻘﯾم ﻓﺎﻟﻣﯾل ھﯾﻛون‬
‫ﺗﻘرﯾﺑﺎ ‪( 0‬‬
‫ﻻﺣظ ان ﻗﯾﻣﺔ اﻟﺗﻔﺎﺿل ﺗﻘل ﻛﻠﻣﺎ ﻗل اﻟﻣﯾل‬ ‫●‬
‫)اﻟﺗﻔﺎﺿل ھو ﻣﯾل اﻟﺧط اﻟﻣﺳﺗﻘﯾم ‪,‬ﻓﺗدرﯾﺟﯾﺎ ھﯾﻘل‬
‫ﻗﯾﻣﺔ اﻟﺗﻔﺎﺿل ﻟﺗﻐﯾر اﻟﻣﯾل( ‪ ,‬وﻛﻠﻣﺎ اﻗﺗرب ﻣن‬
‫اﻟﻘﯾﻣﺔ اﻟدﻧﯾﺎ ‪ ,‬ﻓﻼ داﻋﻲ ﻟﺗﻘﻠﯾل اﻻﻟﻔﺎ ‪ ,‬ﻓﺎﻟﻘﯾﻣﺔ ﻧﻔﺳﮭﺎ‬
‫ﺳﺗﻘل ﺗدرﯾﺟﯾﺎ‬

‫‪12‬‬
‫ﻣﻌﺎدﻟﺔ اﻹﻧﺣدار اﻟﺗدرﯾﺟﻲ‬

‫‪13‬‬
‫ﻗﯾﻣﺔ أﻟﻔﺎ‬

‫‪14‬‬