You are on page 1of 18

‫‪http://MiladZaman005.blogfa.

com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻣﻘﺪﻣﻪ اﯼ ﺑﺮ رﮔﺮﺳﻴﻮن ﺧﻄﯽ ﮐﺎرﺑﺮدﯼ‬


‫ﮔﺮوﻩ داﻧﺶ ﺁﻣﺎرﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻧﻮﻳﺴﻨﺪﻩ ‪ :‬ﺳﻴﺪ ﺟﻤﺎل ﻣﻴﺮﮐﻤﺎﻟﯽ‬


‫ﻣﺪﻳﺮ وﺑﻼگ ‪ :‬ﻣﺤﻤﺪ زﻣﺎن روﺷﻦ ﺑﺨﺶ‬

‫ﺗﺎﺑﺴﺘﺎن ‪85‬‬

‫ﻣﻘﺪﻣﻪ‬
‫اوﻟﻴﻦ ﺑﺎر ﻣﻮﺿﻮع رﮔﺮﺳﻴﻮن ) ﺑﺮﮔﺸﺖ ( ﺗﻮﺳﻂ ﮔﺎﻟﺘﻦ )‪ (Galton‬ﻣﻄﺮح ﺷﺪ‪ .‬وي ﻗﺼﺪ داﺷﺖ راﺑﻄﻪ اي ﺑﻴﻦ ﻗﺪ واﻟﺪﻳﻦ و ﻗﺪ ﭘﺴﺮان‬
‫ﭘﻴﺪا آﻨﺪ‬

‫آﺎرﺑﺮد رﮔﺮﺳﻴﻮن ﺑﻴﺸﺘﺮ در اﻗﺘﺼﺎد‪ ،‬ﻓﻴﺰﻳﻚ و ﺷﻴﻤﻲ ﻣﻲ ﺑﺎﺷﺪ‪.‬‬

‫در رﮔﺮﺳﻴﻮن ﺑﻪ دﻧﺒﺎل راﺑﻄﻪ اي ﺑﻪ ﻓﺮم زﻳﺮ هﺴﺘﻴﻢ‪:‬‬

‫)‪Y = f( X1,X2,...,Xk‬‬

‫ﺑﻪ ‪ Y‬ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ )‪ (Response‬ﻣﻲ ﮔﻮﻳﻨﺪ آﻪ ﻣﻲ ﺗﻮاﻧﺪ ﻳﻚ ﻣﺘﻐﻴﺮ آﻤﻲ ﻳﺎ ﭘﻴﻮﺳﺘﻪ ﺑﺎﺷﺪ‪.‬‬

‫ﺑﻪ ‪ X1,X2,...,Xk‬ﻣﺘﻐﻴﺮ هﺎي ﻣﺴﺘﻘﻞ ﻳﺎ ﻣﺘﻐﻴﺮ هﺎي ﭘﻴﺶ ﺑﻴﻦ )‪ (Predictor‬ﮔﻔﺘﻪ ﻣﻲ ﺷﻮد آﻪ ﻣﻲ ﺗﻮاﻧﻨﺪ آﻤﻲ ﻳﺎ آﻴﻔﻲ ﺑﺎﺷﻨﺪ‪.‬‬

‫ﻣﺎ ﺑﻪ دﻧﺒﺎل راﺑﻄﻪ ﺧﻄﻲ ‪ Y‬ﺑﺎ ﻣﺘﻐﻴﺮهﺎي ﻣﺴﺘﻘﻞ ‪ X1,X2,...,Xk‬هﺴﺘﻴﻢ‪ ،‬ﻳﻌﻨﻲ‪:‬‬

‫‪Y = β0+β1X1+...+βkXk‬‬

‫‪ β0,β1,...,βk‬ﺿﺮاﺋﺐ ﻣﺪل رﮔﺮﺳﻴﻮﻧﻲ هﺴﺘﻨﺪ آﻪ ﭘﺎراﻣﺘﺮ هﺎي ﻧﺎ ﻣﻌﻠﻮﻣﻲ هﺴﺘﻨﺪ و ﺑﺎﻳﺪ ﺑﺮﺁورد ﺷﻮﻧﺪ‪.‬‬

‫ﻣﺜﺎل‪ :‬اﮔﺮ ﺑﺨﻮاهﻴﻢ ﻣﻴﺰان ﻓﺸﺎر ﺧﻮن را از روي ﻣﻴﺰان ﻧﻤﻚ ﺧﻮن و ﭼﺮﺑﻲ ﺧﻮن ﭘﻴﺶ ﺑﻴﻨﻲ آﻨﻴﻢ ﺑﺎﻳﺪ ‪ β0,β1,β2‬را ﺑﺮﺁورد آﻨﻴﻢ‪:‬‬

‫ﻣﻴﺰان ﻓﺸﺎر ﺧﻮن = ‪Y‬‬

‫ﻣﻴﺰان ﻧﻤﻚ ﺧﻮن =‪X1‬‬

‫ﻣﻴﺰان ﭼﺮﺑﻲ ﺧﻮن=‪X2‬‬

‫‪Y = β0+β1X1+β2X2‬‬

‫ﺼﻔﺤﻪ ‪ 1‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻣﻌﺮﻓﻲ ﺳﺎدﻩ ﺗﺮﻳﻦ ﻣﺪل رﮔﺮﺳﻴﻮﻧﻲ‪:‬‬


‫در ﻣﺪل‬

‫)‪Y = f( X1,X2,...,Xk‬‬

‫اﮔﺮ ‪ k=1‬در اﻳﻦ ﺻﻮرت ﺑﺎ ﻣﺪل ﺳﺎدﻩ زﻳﺮ ﺳﺮوآﺎر دارﻳﻢ‪:‬‬

‫‪Y = β0+β1X+ε‬‬

‫‪ ε‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ اﺳﺖ آﻪ ﻓﺮض ﻣﻲ آﻨﻴﻢ‪:‬‬

‫‪E( ε ) = 0 , var( ε ) = σ2‬‬

‫ﺑﺎ اﻳﻦ ﻣﻔﺮوﺿﺎت دارﻳﻢ‪:‬‬

‫>= )‪E( Y | X) = E( β0+β1X+ε | X=x ) = E( β0+β1x+ε | X=x ) = β0 + β1x + E(ε‬‬

‫‪E( Y | X) = β0 + β1x‬‬

‫در ﻣﺪل ‪:E( Y | X) = β0 + β1x‬‬

‫‪ β0‬ﻋﺮض از ﻣﺒﺪا ﻳﺎ ﺛﺎﺑﺖ )‪ (Constant‬ﻣﺪل اﺳﺖ‪،‬‬

‫‪ β1‬ﺷﻴﺐ)‪ (Slop‬ﺧﻂ اﺳﺖ‪.‬‬

‫ﺗﻌﺒﻴﺮ دﻳﮕﺮي ﺑﺮاي ‪:β1‬‬

‫) ‪β1=E( Y | x + 1 ) - E( Y | x‬‬

‫ﭼﺮا ﻣﻲ ﮔﻮﻳﻴﻢ ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ؟‬

‫‪Y = β0+β1X1+...+βkXk+ε‬‬

‫ﻣﻨﻈﻮر از ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ اﻳﻦ اﺳﺖ آﻪ ﻣﺪل ﻧﺴﺒﺖ ﺑﻪ ﭘﺎراﻣﺘﺮ هﺎ ﺧﻄﻲ ﺑﺎﺷﺪ‪.‬ﺑﻌﺒﺎرﺗﻲ ﺿﺮاﺋﺐ ﻣﺪل ﻧﺒﺎﻳﺪ ﺑﺼﻮرت ﺗﻮاﻧﻲ ﻳﺎ‬
‫ﺗﻮاﺑﻌﻲ از ﻳﻜﺪﻳﮕﺮ ﺑﺎﺷﻨﺪ‪.‬‬

‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي زﻳﺮ ﺧﻄﻲ اﻧﺪ‪:‬‬

‫‪Y = β0+β1X2+ε‬‬

‫‪Y = β0+β1log ( X ) +ε‬‬

‫‪√Y = β0+β1X+ε‬‬

‫‪Y = β0+β1X1+β2X2+β3X1X2+ε‬‬

‫‪Y = β1eX +ε‬‬

‫ﺼﻔﺤﻪ ‪ 2‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي زﻳﺮ ﺧﻄﻲ ﻧﻴﺴﺘﻨﺪ‪:‬‬

‫‪Y = β0+β12 X +ε‬‬

‫‪Y = β0+log ( β1) X +ε‬‬

‫‪Y = β0.β1eX + ε‬‬

‫‪Y = β0 + β1X1+ β2X2 + β1.β2X3 + ε‬‬

‫ﻧﻜﺘﻪ‪ :‬ﻣﺪﻟﻬﺎﻳﻲ آﻪ ﻗﺎﺑﻞ ﺗﺒﺪﻳﻞ ﺑﻪ ﻳﻚ ﻣﺪل ﺧﻄﻲ ﺑﺎﺷﻨﺪ‪ ،‬ذاﺗﺎ ﺧﻄﻲ ﮔﻮﻳﻨﺪ‪.‬‬

‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي ذاﺗﺎ ﺧﻄﻲ‪:‬‬

‫‪Y = β0+log ( β1) X + ε => ( β2 := log ( β1) ) => Y = β0+ β2 X + ε‬‬

‫‪Y = β0eβ1 X + ε => log( Y ) = log(β0) + β1X1+ ε => ( β2 := log ( β0) ) =>log( Y ) = β2 + β1X1+ ε‬‬

‫ﺑﺮرﺳﻲ ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ ﺳﺎدﻩ‪:‬‬


‫‪Y = β0 + β1X + ε‬‬

‫ﻓﺮض آﻨﻴﻢ )‪ (x1,y1),...,(xn,yn‬ﻳﻚ زوج ﻧﻤﻮﻧﻪ ‪ n‬ﺗﺎﻳﻲ از ﺟﺎﻣﻌﻪ ﻣﻮرد ﻧﻈﺮ ﺑﺎﺷﻨﺪ‪:‬‬

‫‪yi = β0 + β1xi + εi ,i = 1,2,...,n‬‬

‫ﻓﺮﺿﻬﺎي اﺳﺎﺳﻲ رﮔﺮﺳﻴﻮن‪:‬‬

‫‪ .1‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ ﻣﻴﺎﻧﮕﻴﻦ ﺻﻔﺮ داﺷﺘﻪ ﺑﺎﺷﺪ ﻳﻌﻨﻲ ﺑﻪ ازاي هﺮ ‪ ،i‬اﻣﻴﺪ رﻳﺎﺿﻲ ‪ εi‬ﺑﺮاﺑﺮ ﺑﺎ ﺻﻔﺮ ﺑﺎﺷﺪ‪.‬‬
‫‪ .2‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ وارﻳﺎﻧﺲ ﺛﺎﺑﺖ داﺷﺘﻪ ﺑﺎﺷﺪ ﻳﻌﻨﻲ ﺑﻪ ازاي هﺮ ‪ ، i‬وارﻳﺎﻧﺲ ‪ εi‬ﺑﺮاﺑﺮ ﺑﺎ ‪ σ2‬ﺑﺎﺷﺪ‪.‬‬
‫‪ .3‬ﺧﻄﺎ هﺎ ﻧﺎ هﻤﺒﺴﺘﻪ اﻧﺪ ﻳﻌﻨﻲ ‪ εi‬هﺎ دو ﺑﻪ دو ﻧﺎ هﻤﺒﺴﺘﻪ ﺑﺎﺷﻨﺪ‪.‬‬
‫‪ .4‬ﻣﺘﻐﻴﺮ ﻣﺴﺘﻘﻞ ‪ X‬ﺗﺤﺖ آﻨﺘﺮل ﻣﺎ ﺑﺎﺷﺪ و ﺑﺎ ﺧﻄﺎي ﻧﺎ ﭼﻴﺰي اﻧﺪازﻩ ﮔﻴﺮي ﺷﻮد‬

‫ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻓﺮﺿﻬﺎي رﮔﺮﺳﻴﻮن دارﻳﻢ‪:‬‬

‫>= ‪yi = β0 + β1xi + εi‬‬

‫‪var( Yi ) = σ2‬‬

‫‪cov( Yi,Yj ) = 0‬‬

‫* ﭼﻮن ‪ X‬ﺛﺎﺑﺖ اﺳﺖ ﭘﺲ آﻮارﻳﺎﻧﺲ ‪ Yi,Yj‬ﺑﺮاﺑﺮ ﺑﺎ آﻮارﻳﺎﻧﺲ‪ εi,εj‬اﺳﺖ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 3‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫روش آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ﺧﻄﺎ )‪(Least Square Methods‬‬

‫در اﻳﻦ روش ‪ β0‬و ‪ β1‬را ﻃﻮري ﭘﻴﺪا ﻣﻲ آﻨﻴﻢ آﻪ ﻣﺠﻤﻮع ﺗﻮان دوم ﺧﻄﺎ هﺎي ‪ εi‬آﻤﻴﻨﻪ ﺷﻮد‪:‬‬

‫‪S( β0,β1) = ∑i=1.. n εi2 = ∑i=1.. n ( yi - β0 - β1xi )2‬‬

‫ﭘﺲ ‪ β0‬و ‪ β1‬را ﻃﻮري ﭘﻴﺪا ﻣﻲ آﻨﻴﻢ آﻪ ‪ S‬آﻤﻴﻨﻪ ﮔﺮدد‪:‬‬

‫┘‬

‫┘‬

‫‪ :‬ﻧﻜﺘﻪ‬

‫ﺼﻔﺤﻪ ‪ 4‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﭘﺲ دارﻳﻢ‪:‬‬

‫ﻣﺜﺎل‪ :‬ﻓﺮض آﻨﻴﺪ ‪ X‬ﻣﻴﺰان آﻮد و ‪ Y‬ﻣﻴﺰان ﻣﺤﺼﻮل ﺑﺎﺷﺪ در اﻳﻦ ﺻﻮرت‪:‬‬

‫‪Y = β0 + β1X + ε‬‬

‫ﺗﻌﺒﻴﺮ‪ ŷ0‬اﻳﻨﺴﺖ آﻪ ﺑﻪ ازاي ‪ X = x0‬ﺑﻄﻮر ﻣﺘﻮﺳﻂ ‪ ŷ0‬ﻣﻴﺰان ﻣﺤﺼﻮل ﺧﻮاهﺪ ﺑﻮد‪.‬‬

‫ﺧﻮاص ﺑﺮﺁوردﮔﺮ هﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪ β0‬و ‪: β1‬‬

‫‪ (1‬ﺑﺮﺁوردﮔﺮهﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪ β0‬و ‪ β1‬ﺗﺮآﻴﺐ ﺧﻄﻲ از ﻣﺸﺎهﺪات ‪ yi‬هﺴﺘﻨﺪ‪ ،‬ﻳﻌﻨﻲ‪:‬‬

‫‪ (2‬اﻳﻦ ﺑﺮﺁوردﮔﺮهﺎ ﻧﺎارﻳﺐ هﺴﺘﻨﺪ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 5‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪ (3‬وارﻳﺎﻧﺲ ﺑﺮﺁوردﮔﺮهﺎ ﺑﺮاﺑﺮ اﺳﺖ ﺑﺎ‪:‬‬

‫┘‬

‫┘‬

‫ﭼﻮن‪:‬‬

‫ﺑﻨﺎﺑﺮ ﺁﻧﭽﻪ ﺑﺪﺳﺖ ﺁﻣﺪ دارﻳﻢ‪:‬‬

‫┘‬

‫ﭼﻮن‪:‬‬

‫‪ (4‬ﺑﻨﺎ ﺑﻪ ﻗﻀﻴﻪ ﮔﺎوس ‪ -‬ﻣﺎرآﻮف در ﻣﺪل ‪ yi = β0 + β1xi + εi‬ﺗﺤﺖ ﺳﻪ ﻓﺮض‬

‫‪E( εi ) = 0 ,var( εi ) = σ2‬‬ ‫) ‪,cov( εi,εj ) = 0 ( i ≠ j‬‬

‫در ﺑﻴﻦ ﺗﻤﺎم ﺑﺮﺁوردﮔﺮ هﺎي ﻧﺎارﻳﺐ ‪ β0‬و ‪ β1‬آﻪ ﺑﻪ ﺻﻮرت ﺗﺮآﻴﺐ ﺧﻄﻲ از ‪ yi‬هﺎ هﺴﺘﻨﺪ ‪ ،‬ﺑﺮﺁوردﮔﺮ هﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪β0‬‬
‫و ‪ β1‬آﻤﺘﺮﻳﻦ وارﻳﺎﻧﺲ را دارﻧﺪ ﻳﻌﻨﻲ آﺎرا ﺗﺮﻳﻦ هﺴﺘﻨﺪ و ﻣﻌﺮوﻓﻨﺪ ﺑﻪ ‪.Best Linear Unbiased Estimator‬‬

‫ﺼﻔﺤﻪ ‪ 6‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ) ‪:( Residuals‬‬

‫‪yi = β0 + β1xi + εi ,i =1,2,...,n‬‬

‫) ﻣﻘﺪار ﺑﺮﺁورد ﺷﺪﻩ ( ‪ ) -‬ﻣﻘﺪار ﻣﺸﺎهﺪﻩ ﺷﺪﻩ ( = ‪ei = yi - ŷi‬‬

‫در ﺟﺎﻣﻌﻪ دارﻳﻢ‪:‬‬

‫و ﺑﺮاي ﻧﻤﻮﻧﻪ دارﻳﻢ‪:‬‬

‫ﻧﻜﺘﻪ‪ :‬اﮔﺮ ﻓﺮﺿﻴﺎت ﻣﺪل رﮔﺮﺳﻴﻮن ﺑﺮﻗﺮار ﻧﺒﺎﺷﺪ ‪ ،‬ﺑﺎ اﺳﺘﻔﺎدﻩ از ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ) ‪ ei‬هﺎ( ﻣﻲ ﺗﻮاﻧﻴﻢ ﻧﺴﺒﺖ ﺑﻪ ﺑﺮﻗﺮار ﻧﺒﻮدن ﺁﻧﻬﺎ‬
‫اﻃﻤﻴﻨﺎن ﺣﺎﺻﻞ آﻨﻴﻢ‪.‬‬

‫ﺧﻮاص ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ‪:‬‬


‫‪∑i=1.. n ei = 0‬‬

‫‪∑i=1.. n eixi = 0‬‬

‫‪∑i=1.. n eiyi = 0‬‬

‫ﺼﻔﺤﻪ ‪ 7‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺑﺮﺁورد ‪:σ2‬‬

‫‪...,( 150,50 ),( 150,58 ),( 150,65 ),( 150,68 ),...‬‬

‫‪var( εi ) = var( yi ) = σ2‬‬

‫‪ (1‬ﺑﺮاي ﺑﺮﺁور ‪ σ2‬آﺎﻓﻲ اﺳﺖ ﺑﺮاي ﺣﺪاﻗﻞ ﻳﻚ ﺳﻄﺢ ‪ x‬ﭼﻨﺪ ﻣﺸﺎهﺪﻩ ﺑﺮاي ‪ y‬داﺷﺘﻪ ﺑﺎﺷﻴﻢ‪ ،‬در اﻳﻦ ﺻﻮرت وارﻳﺎﻧﺲ ﺁﻧﻬﺎ ﺑﺮﺁوردي‬
‫ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬

‫در ﻣﺜﺎل ﺑﺎﻻ وارﻳﺎﻧﺲ اﻋﺪاد ‪ 50,58,65,68‬ﺑﺮﺁوردي ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬

‫‪ (2‬وارﻳﺎﻧﺲ ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ﺑﺮﺁوردي ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬

‫ﺗﻮﺟﻪ‪:‬‬

‫‪Error Sum of Square: SSE‬‬ ‫ﻣﺠﻤﻮع ﻣﺮﺑﻌﺎت ﺧﻄﺎ‬

‫‪Mean Square: MS‬‬ ‫ﻣﻴﺎﻧﮕﻴﻦ ﻣﺮﺑﻌﺎت‬

‫‪Error Mean Square: MSE‬‬ ‫ﻣﻴﺎﻧﮕﻴﻦ ﻣﺮﺑﻌﺎت ﺧﻄﺎ‬

‫ﻧﻜﺘﻪ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 8‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺁزﻣﻮن ﻓﺮﺿﻴﻪ راﺟﻊ ﺑﻪ ‪ β0‬و ‪: β1‬‬

‫‪yi = β0 + β1xi + εi ,i = 1,2,...,n‬‬

‫ﻓﺮض ﻣﻲ آﻨﻴﻢ ‪ εi‬هﺎ ﺗﻮزﻳﻊ ﻧﺮﻣﺎل داﺷﺘﻪ ﺑﺎﺷﻨﺪ‪ ،‬ﺑﻨﺎﺑﺮاﻳﻦ‬

‫‪E( εi ) = 0 ,var( εi ) = σ2‬‬ ‫) ‪,cov( εi,εj ) = 0 ( i ≠ j‬‬ ‫) ‪,εi ~Normal ≡ εi ~N( 0,σ2 ) ( i.i.d.‬‬

‫‪i.i.d. : Independent Identically Distribution‬‬

‫ﻓﺮض آﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم ﺑﺪهﻴﻢ‬

‫*‪H0: β1= β1‬‬

‫*‪H1: β1≠ β1‬‬

‫ﻓﺮض اوﻟﻴﻪ رد ﻣﻲ ﺷﻮد >= ‪| Z0 | > Zα/2‬‬

‫ﺣﺎل ﻓﺮض آﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم ﺑﺪهﻴﻢ‬

‫*‪H0: β0= β0‬‬

‫*‪H1: β0≠ β0‬‬

‫ﺼﻔﺤﻪ ‪ 9‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻓﺮض اوﻟﻴﻪ رد ﻣﻲ ﺷﻮد >= ‪| Z0 | > Zα/2‬‬

‫ﺁزﻣﻮن ﻓﺮﺿﻴﻪ و ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺮاﯼ ﺿﺮاﺋﺐ رﮔﺮﺳﻴﻮﻧﯽ در ﺣﺎﻟﺘﯽ ﮐﻪ ‪ σ2‬ﻧﺎ ﻣﻌﻠﻮم اﺳﺖ‬
‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم دهﻴﻢ‪:‬‬

‫*‪H0: β1= β1‬‬ ‫‪vs‬‬ ‫*‪H1: β1≠ β1‬‬

‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬

‫ﺣﺎﻟﺖ ﺧﺎص ﺁزﻣﻮن‪ :‬هﻤﻴﺸﻪ اﻳﻦ ﺁزﻣﻮن را اﻧﺠﺎم ﻣﯽ دهﻴﻢ) ﺁزﻣﻮن ﻣﻌﻨﺎ دارﯼ رﮔﺮﺳﻴﻮن (‪:‬‬

‫‪H0: β1= 0‬‬ ‫‪vs‬‬ ‫‪H1: β1≠ 0‬‬

‫ﺼﻔﺤﻪ ‪ 10‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﻧﺸﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬

‫‪ x .1‬و‪ y‬هﻴﭻ هﻤﺒﺴﺘﮕﯽ ﺗﺪارﻧﺪ‪.‬‬


‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﺷﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬

‫‪ x .1‬و‪ y‬راﺑﻄﻪ ﺧﻄﯽ دارﻧﺪ‪.‬‬


‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ ) ﻧﺴﺒﺖ ﺑﻪ ‪ ( x‬دارﻧﺪ‪.‬‬

‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم دهﻴﻢ‪:‬‬

‫*‪H0: β0= β0‬‬

‫*‪H1: β0≠ β0‬‬

‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬

‫ﺣﺎﻟﺖ ﺧﺎص ﺁزﻣﻮن ﺑﻪ ﺷﮑﻞ زﻳﺮ اﺳﺖ‪:‬‬

‫‪H0: β0= 0‬‬

‫‪H1: β0≠ 0‬‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﻧﺸﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬

‫‪β0= 0 .1‬‬
‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﺷﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬

‫‪β0≠ 0 .1‬‬
‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 11‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺦ‪:‬‬


‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺦ ﺑﻪ ازاﯼ ‪ X = x0‬دادﻩ ﺷﺪﻩ ﺑﺪﺳﺖ ﺁورﻳﻢ‪:‬‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ‪ :‬ﮐﺎﻓﯽ اﺳﺖ ﮐﻪ ‪ x0‬را در ﻣﻌﺎدﻟﻪ ﺧﻂ رﮔﺮﺳﻴﻮن ﺟﺎﻳﮕﺬارﯼ ﮐﻨﻴﻢ‪:‬‬

‫ﺑﺮﺁورد ﻓﺎﺻﻠﻪ اﯼ‪:‬‬

‫ﺑﺮاﯼ ﻣﺤﺎﺳﺒﻪ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺮاﯼ ) ‪ E( Y | X=x‬ﺑﺎ ﻓﺮض اﻳﻨﮑﻪ وارﻳﺎﻧﺲ ﻧﺎ ﻣﻌﻠﻮم ﺑﺎﺷﺪ از ﻓﺮﻣﻮل زﻳﺮ اﺳﺘﻔﺎدﻩ ﻣﯽ ﮐﻨﻴﻢ‪:‬‬

‫ﻃﻮل اﻳﻦ ﻓﺎﺻﻠﻪ وﻗﺘﯽ ﻣﻴﻨﻴﻤﻢ اﺳﺖ ﮐﻪ ‪ x0‬ﺑﻪ ‪ x‬ﻧﺰدﻳﮏ ﺑﺎﺷﺪ‪.‬‬

‫اﮔﺮ ﺗﻤﺎم ﻧﻘﺎط اﺑﺘﺪاﻳﯽ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎﻧﻬﺎ را ﺑﻪ هﻢ وﺻﻞ ﮐﻨﻴﻢ و ﺗﻤﺎم ﻧﻘﺎط اﻧﺘﻬﺎﻳﯽ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎﻧﻬﺎ را ﺑﻪ هﻢ وﺻﻞ ﮐﻨﻴﻢ ﺑﻪ ﺷﮑﻠﯽ ﺷﺒﻴﻪ‬
‫ﺷﮑﻞ زﻳﺮ ﻣﯽ رﺳﻴﻢ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 12‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻣﺜﺎل‪ :‬اﮔﺮ ﺑﺨﻮاهﻴﻢ ﺑﺪاﻧﻴﻢ ﺑﻪ ازاﯼ ﻣﻴﺰان ﻓﺮوش ‪ y‬ﭼﻘﺪر ﺑﺎﻳﺪ ﺗﺒﻠﻴﻐﺎت داﺷﺘﻪ ﺑﺎﺷﻴﻢ ﺑﺎﻳﺪ ﻳﮏ ﻣﺪل ﺧﻄﯽ ﺑﻴﻦ ﻓﺮوش و ﺗﺒﻠﻴﻐﺎت ﺑﺪﺳﺖ‬
‫ﺁورﻳﻢ ﺳﭙﺲ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن هﺎﯼ ﺁن را ﺑﺪﺳﺖ ﺁورﻳﻢ و از روﯼ ﻧﻤﻮدار ﻣﺮﺑﻮﻃﻪ ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺰان ﺗﺒﻠﻴﻐﺎت ﭘﻴﺪا ﮐﻨﻴﻢ‪:‬‬

‫ﺗﺨﻤﻴﻦ)ﭘﻴﺶ ﺑﻴﻨﯽ( ﻣﺸﺎهﺪات ﺟﺪﻳﺪ‪:Prediction of new observation-‬‬


‫ﻣﯽ داﻧﻴﻢ‪:‬‬

‫ﺣﺎل ﻓﺮض ﮐﻨﻴﻢ ﺑﺨﻮاهﻴﻢ ﺑﺮ اﺳﺎس ﺧﻂ رﮔﺮﺳﻴﻮن ﻣﻘﺪار ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ ‪ Y‬را ﺑﻪ ازاﯼ *‪ X = x‬ﺗﺨﻤﻴﻦ ﺑﺰﻧﻴﻢ؛ ﻳﺎ ﺑﺮاﯼ ﺣﺎﻟﺘﯽ ﮐﻪ هﻴﭻ‬
‫اﻃﻼﻋﯽ راﺟﻊ ﺑﻪ ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ ﻧﺪارﻳﻢ ﺁﻧﺮا ﺗﺨﻤﻴﻦ ﺑﺰﻧﻴﻢ‪.‬‬

‫ﻣﺜﺎل‪:‬‬

‫ﻣﻴﺰان ﻣﺤﺼﻮل=‪Y‬‬

‫ﻣﻴﺰان ﮐﻮد=‪X‬‬

‫*‪X = 15 = x‬‬ ‫?=‪;Ŷx‬‬

‫ﻣﺴﺘﻘﻞ ﺑﺎﺷﺪ‪.‬‬ ‫از‬ ‫ﻓﺮض ﮐﻨﻴﻢ ﮐﻪ‬

‫ﺣﺎل ﻣﯽ ﺧﻮاهﻴﻢ ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﻪ ازاﯼ *‪ X=x‬ﺑﺮاﯼ ﻣﺸﺎهﺪﻩ ﺟﺪﻳﺪ ‪ Yx‬ﺑﺪﺳﺖ ﺁورﻳﻢ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 13‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ ‪ Yx‬ﺑﻪ ﺻﻮرت زﻳﺮ اﺳﺖ‪:‬‬

‫ﭼﻮن‪:‬‬

‫‪ Yx‬از ‪ Y1,Y2,...,Yn‬ﻣﺴﺘﻘﻞ اﺳﺖ ﺑﻨﺎﺑﺮاﻳﻦ از هﺮ ﺗﺮﮐﻴﺐ ﺧﻄﯽ ﺷﺎن ﻧﻴﺰ ﻣﺴﺘﻘﻞ اﺳﺖ‪ .‬از ﻃﺮﻓﯽ ﺑﺮﺁوردﮔﺮ هﺎﯼ ‪ β0,β1‬هﺮ دو‬
‫ﺗﺮﮐﻴﺐ ﺧﻄﯽ از ‪ Yi‬هﺎ هﺴﺘﻨﺪ‪ .‬ﺑﻨﺎﺑﺮاﻳﻦ ‪ Yx‬از ﺑﺮﺁورد ‪ Yx‬ﻧﻴﺰ ﻣﺴﺘﻘﻞ اﺳﺖ‪:‬‬

‫‪1‬‬

‫‪2‬‬

‫→‪1,2‬‬

‫‪3‬‬

‫‪4‬‬

‫→‪3,4‬‬

‫ﺼﻔﺤﻪ ‪ 14‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻃﻮل اﻳﻦ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺰرﮔﺘﺮ از ﺣﺎﻟﺘﯽ اﺳﺖ ﮐﻪ ﺑﺮاﯼ ﺑﺮﺁورد ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺨﻬﺎ ﺑﺪﺳﺖ ﻣﯽ ﺁوردﻳﻢ‪ .‬ﭼﻮن وارﻳﺎﻧﺲ ﺁن ﺑﺰرﮔﺘﺮ‬
‫اﺳﺖ‪.‬‬

‫ﮐﺎرﺑﺮد ﻧﻤﻮدار ﻓﻮق در رﮔﺮﺳﻴﻮن ﻣﻌﮑﻮس اﺳﺖ‪.‬‬

‫ﺟﺪول ﺁﻧﺎﻟﻴﺰ وارﻳﺎﻧﺲ)‪:(Analysis of variance table‬‬


‫ﺟﺪول ﺁﻧﺎﻟﻴﺰ وارﻳﺎﻧﺲ ﻳﺎ ﺟﺪول ‪ ANOVA‬ﺑﺮاﯼ ﺑﺮرﺳﯽ و ﺗﺠﺰﻳﻪ و ﺗﺤﻠﻴﻞ وارﻳﺎﻧﺲ‪ Y‬ﻳﺎ وارﻳﺎﻧﺲ ﮐﻞ ﺑﻪ ﮐﺎر ﻣﯽ رود‪ .‬هﻤﭽﻨﻴﻦ‬
‫ﺑﺮاﯼ ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن ﻧﻴﺰ ﻣﻮرد اﺳﺘﻔﺎدﻩ ﻗﺮار ﻣﯽ ﮔﻴﺮد‪.‬‬

‫‪Total sum of square:SST=Syy‬‬

‫‪Error sum of square:SSE‬‬

‫‪Regression sum of square:SSR‬‬

‫وارﻳﺎﻧﺲ ﮐﻞ= ﺗﻐﻴﻴﺮاﺗﯽ ﮐﻪ ﺑﻪ وﺳﻴﻠﻪ ﻋﺎﻣﻞ ‪ x‬ﺑﻴﺎن ﻣﯽ ﺷﻮد‪ +‬ﺗﻐﻴﻴﺮاﺗﯽ ﮐﻪ ﺑﻮﺳﻴﻠﻪ ‪ x‬ﺑﻴﺎن ﻧﻤﯽ ﺷﻮد‬

‫ﺛﺎﺑﺖ ﻣﯽ ﺷﻮد ﮐﻪ ‪ SSR‬و‪ SSE‬از هﻢ ﻣﺴﺘﻘﻞ اﻧﺪ ﭘﺲ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 15‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺗﺤﺖ ﻓﺮض ‪ H0‬ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن دارﻳﻢ‪:‬‬

‫‪H0:β1=0‬‬

‫‪H1:β1≠0‬‬

‫‪1‬‬

‫‪2‬‬

‫→ ‪1,2 independent‬‬

‫ﺑﺎﺷﺪ‪.‬‬ ‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬

‫ﻧﮑﺘﻪ‪:‬‬

‫‪ANOVA:‬‬

‫‪Source of variance‬‬ ‫‪SS‬‬ ‫‪d.f.‬‬ ‫‪MS‬‬ ‫‪F0‬‬

‫‪Regression‬‬ ‫‪1‬‬ ‫‪MSR‬‬

‫‪Error‬‬ ‫‪Syy-‬‬ ‫‪n-2‬‬ ‫‪MSE‬‬


‫‪Total‬‬ ‫‪Syy‬‬ ‫‪n-1‬‬

‫ﺁﻣﺎرﻩ ‪ F0‬ﺟﺪول ﺑﺮاﯼ ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن ﺑﮑﺎر ﻣﯽ رود‪.‬‬

‫ﺼﻔﺤﻪ ‪ 16‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﺿﺮﻳﺐ ﺗﻌﻴﻴﻦ )‪:(Coefficient of determination‬‬

‫‪SST=SSE+SSR‬‬

‫ﺗﻐﻴﻴﺮات=ﻣﻴﺰان ﺗﻐﻴﻴﺮاﺗﻲ آﻪ ﺗﻮﺳﻂ ﻋﺎﻣﻞ‪ X‬ﺑﻴﺎن ﻣﻴﺸﻮد)‪+(SSR‬ﻣﻴﺰان ﺗﻐﻴﻴﺮاﺗﻲ آﻪ ﺗﻮﺳﻂ ‪ X‬ﺑﻴﺎن ﻧﻤﻲ ﺷﻮد)‪(SSE‬‬

‫‪ R2=0.98‬ﻳﻌﻨﻲ ‪ 98‬در ﺻﺪ ﺗﻐﻴﻴﺮات ‪ Y‬ﺗﻮﺳﻂ ﺧﻂ رﮔﺮﺳﻴﻮن ﺑﻴﺎن ﻣﻲ ﺷﻮد‪.‬‬

‫‪ R2=0.3‬ﻳﻌﻨﻲ ‪ 30‬در ﺻﺪ ﺗﻐﻴﻴﺮات ‪ Y‬ﺗﻮﺳﻂ ﺧﻂ رﮔﺮﺳﻴﻮن ﺑﻴﺎن ﻣﻲ ﺷﻮد‪.‬‬

‫ﻳﻜﻲ از ﻣﻌﻴﺎر هﺎي ﺑﺮرﺳﻲ ﺧﻮﺑﻲ ﺑﺮازش ‪ R2‬ﻣﻲ ﺑﺎﺷﺪ و هﺮ ﭼﻪ ﺑﻪ ﻳﻚ ﻧﺰدﻳﻜﺘﺮ ﺑﺎﺷﺪ ﻣﻲ ﺗﻮاﻧﺪ دﻟﻴﻞ ﺑﺮ ﺧﻮب ﺑﻮدن ﺑﺮازش‬
‫ﺑﺎﺷﺪ‪.‬اﻟﺒﺘﻪ ‪ R2‬وﻗﺘﻲ ﻣﻌﺘﺒﺮ اﺳﺖ آﻪ راﺑﻄﻪ ﺧﻄﻲ ﺑﺎﺷﺪ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 17‬ﺍﺯ ‪18‬‬


‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫ﻓﻠﻮﭼﺎرت ﻣﺮاﺣﻞ ﺑﺮازش ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ ﺳﺎدﻩ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 18‬ﺍﺯ ‪18‬‬

Rate