You are on page 1of 43

‫ﻓﺼﻞ ‪ :9‬ﺗﺨﻤﯿﻦ )ﺑﺮآورد(‬

‫ﻣﺘﻨﺎﻇﺮ ﺑﺎ ‪ ،Chapter 9‬ﺑﻪ ﻏﯿﺮ از ‪Section 9.6‬‬

‫روش ﮔﺸﺘﺎور‬
‫ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای‬
‫روش ‪ML‬‬
‫ﺗﺨﻤﯿﻦ ﭘﺎراﻣﺘﺮ‬

‫ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای‬
‫ﺗﺨﻤﯿﻦ‬

‫ﺗﺨﻤﯿﻦ ﺑﯿﺰ‬ ‫ﺗﺨﻤﯿﻦ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ )ﭘﯿﺸﮕﻮﯾﯽ(‬


‫ﯾﮑﯽ از ﻣﺒﺎﺣﺚ ﻣﻬﻢ آﻣﺎر ﮐﻪ ﮐﺎرﺑﺮد زﯾﺎدی ﻫﻢ در ﻣﻬﻨﺪﺳﯽ ﺑﺮق دارد‪ ،‬ﺗﺨﻤﯿﻦ )‪ (Estimation‬اﺳﺖ‪ .‬ﻣﺜﻼً از روی ﺳﯿﮕﻨﺎﻟﻬﺎﯾﯽ ﮐﻪ ﺑﻪ‬
‫آﻧﺘﻦﻫﺎی آراﯾﻪ رﺳﯿﺪه اﺳﺖ ﻣﯽﺧﻮاﻫﯿﻢ زاوﯾﮥ ورود ﻣﻨﺒﻊ ﯾﺎ ﻣﻨﺎﺑﻊ ارﺳﺎل ﺳﯿﮕﻨﺎل را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ )‪.(Direction Finding‬‬

‫ﺗﺨﻤﯿﻦ ﭘﺎراﻣﺘﺮ‪:‬‬
‫ﻓﺮض ﮐﻨﯿﺪ ﺗﻮزﯾﻊ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬دارای ﻧﻮع ﻣﺸﺨﺼﯽ اﺳﺖ‪ ،‬وﻟﯽ ﺑﺴﺘﮕﯽ ﺑﻪ ﭘﺎراﻣﺘﺮ ﻧﺎﻣﻌﻠﻮم ‪) θ‬اﺳﮑﺎﻟﺮ ﯾﺎ ﺑﺮدار( دارد‪ ،‬ﯾﻌﻨﯽ‪. f(x; θ) :‬‬
‫ﻣﺜﻼً ﻧﺮﻣﺎل ﺑﺎ ﻣﯿﺎﻧﮕﯿﻦ ﺻﻔﺮ و وارﯾﺎﻧﺲ ﻧﺎﻣﻌﻠﻮم )‪ θ‬اﺳﮑﺎﻟﺮ( ﯾﺎ ﺑﺎ ﻣﯿﺎﻧﮕﯿﻦ و وارﯾﺎﻧﺲ ﻧﺎﻣﻌﻠﻮم )‪ θ‬ﺑﺮداری(‪ .‬ﻫﺪف ﻣﺎ در اﯾﻨﺠﺎ اﯾﻦ اﺳﺖ ﮐﻪ ﺑﺎ‬
‫رؤﯾﺖ ﻧﻤﻮﻧﻪﻫﺎی اﯾﻦ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ θ‬را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ )ﺗﺨﻤﯿﻦ ﭘﺎراﻣﺘﺮ(‪.‬‬

‫‪1‬‬
‫ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای )‪:(Point Estimation‬‬
‫‪ x1 ‬‬
‫ﻧﻤﻮﻧﮥ ‪ x‬ﺑﺎ اﻧﺪازۀ ‪θˆ = g( x ) , x =   : n‬‬
‫‪ ‬‬
‫‪ x n ‬‬
‫‪ x1 ‬‬
‫ﻣﺸﺎﻫﺪات ‪θˆ = g(x) , x =   :‬‬
‫‪ ‬‬
‫‪ x n ‬‬
‫) ‪ g( x‬ﺗﺎﺑﻌﯽ از ﻣﺘﻐﯿﺮﻫﺎی ﺗﺼﺎدﻓﯽ اﺳﺖ )و ﻟﺬا ﺧﻮد ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ﻣﯽﺑﺎﺷﺪ(‪.‬‬

‫)اﺻﻮﻻً ﺗﺎﺑﻌﯽ از ﯾﮏ ﯾﺎ ﭼﻨﺪ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ )در اﯾﻨﺠﺎ ﺑﺮدار ﻣﺘﻐﯿﺮﻫﺎی ﺗﺼﺎدﻓﯽ ‪ i.i.d.‬ﻧﻤﻮﻧﻪﻫﺎ( را ﮐﻪ ﺑﻪ ﭘﺎراﻣﺘﺮ ﻧﺎﻣﻌﻠﻮﻣﯽ ﺑﺴﺘﮕﯽ ﻧﺪاﺷﺘﻪ‬
‫ﺑﺎﺷﺪ‪ ،‬آﻣﺎره )‪ (Statistic‬ﮔﻮﯾﻨﺪ‪(.‬‬

‫ﺗﺨﻤﯿﻦ ﻣﺎ ﺑﺪون ﺑﺎﯾﺎس )ﻧﺎارﯾﺐ( ﺧﻮاﻫﺪ ﺑﻮد‪ ،‬اﮔﺮ‪:‬‬


‫‪E(θˆ ) = θ‬‬
‫) ‪ E( θˆ ) − θ‬را ﺑﺎﯾﺎس ﺗﺨﻤﯿﻦ ﻣﯽﻧﺎﻣﻨﺪ‪(.‬‬

‫‪2‬‬
‫روش ﮔﺸﺘﺎور )‪:(Method of Moments‬‬
‫ﻣﯽداﻧﯿﻢ ﮔﺸﺘﺎور ‪k‬ام ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬ﺑﺮاﺑﺮ اﺳﺖ ﺑﺎ‪:‬‬
‫) ‪m k = E( x k‬‬
‫در روش ﮔﺸﺘﺎور ﻣﯽﮔﯿﺮﯾﻢ‪:‬‬
‫‪n‬‬
‫‪1‬‬
‫= ‪m̂ k‬‬ ‫∑‬
‫‪n i =1‬‬
‫‪xik‬‬

‫و از اﯾﻨﺠﺎ ﺗﺨﻤﯿﻨﯽ ﺑﺮای ‪) θ‬ﯾﺎ ‪θ‬ﻫﺎ( ﺑﻪ دﺳﺖ ﻣﯽآورﯾﻢ‪.‬‬

‫‪3‬‬
‫ﻣﺜﺎل ‪ :1‬ﻓﺮض ﮐﻨﯿﺪ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬دارای ﺗﻮزﯾﻊ ﻧﻤﺎﯾﯽ ﺑﺎ ﭘﺎراﻣﺘﺮ ‪ λ‬ﺑﺎﺷﺪ‪:‬‬
‫‪fx (x; λ ) = λe −λx : x > 0‬‬

‫ﻣﯽداﻧﯿﻢ ﮐﻪ‪:‬‬
‫‪1‬‬
‫= ) ‪m 1 = E( x‬‬
‫‪λ‬‬
‫ﯾﺎ‪:‬‬
‫‪1‬‬
‫=‪λ‬‬
‫‪m1‬‬

‫ﭘﺲ ﺑﺎ رؤﯾﺖ ﻣﻘﺎدﯾﺮ ‪ x i‬ﻫﺎ دارﯾﻢ‪:‬‬


‫‪1‬‬ ‫‪1‬‬
‫= ˆ‪λ‬‬ ‫=‬
‫‪m̂ 1 1 n‬‬
‫‪n i =1‬‬‫∑‬‫‪xi‬‬

‫‪4‬‬
‫ﻣﺜﺎل ‪ :2‬ﻓﺮض ﮐﻨﯿﺪ ﻣﯽداﻧﯿﻢ ﮐﻪ ﺳﯿﮕﻨﺎل درﯾﺎﻓﺘﯽ ﻣﺎ ﻧﻤﻮﻧﻪﻫﺎﯾﯽ از ﯾﮏ ﺳﻄﺢ ‪ dc‬ﺛﺎﺑﺖ آﻏﺸﺘﻪ ﺑﻪ ﻧﻮﯾﺰ ﮔﻮﺳﯽ ) ‪ N(0,σ‬اﺳﺖ‪:‬‬
‫‪xi = θ + ni‬‬

‫ﺑﺮای اﯾﻨﮑﻪ ﻣﻘﺪار ‪ θ‬را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ‪ ،‬دارﯾﻢ‪:‬‬


‫‪E( x ) = θ + E( n ) = θ‬‬
‫‪n‬‬
‫‪1‬‬
‫= ‪⇒ θˆ = m̂ 1‬‬ ‫∑‬
‫‪n i =1‬‬
‫‪xi‬‬

‫‪5‬‬
‫ﻣﺜﺎل ‪ :3‬ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬دارای ﺗﻮزﯾﻊ ﮔﻮﺳﯽ ﺑﺎ ﻣﯿﺎﻧﮕﯿﻦ و وارﯾﺎﻧﺲ ﻧﺎﻣﻌﻠﻮم اﺳﺖ‪ .‬ﻣﯽﺧﻮاﻫﯿﻢ ﺑﺎ رؤﯾﺖ ﻣﻘﺎدﯾﺮ ﻧﻤﻮﻧﻪﻫﺎی آن‪ ،‬ﻣﯿﺎﻧﮕﯿﻦ و‬
‫وارﯾﺎﻧﺲ را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ‪ .‬ﻣﯽداﻧﯿﻢ ﮐﻪ‪:‬‬
‫‪η = m 1 , σ 2 = m 2 − m 12‬‬

‫ﭘﺲ‪:‬‬
‫‪n‬‬
‫‪1‬‬
‫= ˆ‪η‬‬ ‫∑‬
‫‪n i =1‬‬
‫‪xi‬‬

‫‪2‬‬
‫‪1‬‬
‫‪n‬‬ ‫‪1 n ‬‬ ‫‪1‬‬
‫‪n‬‬
‫‪2‬‬
‫= ˆ‪σ‬‬ ‫∑‬
‫‪n i =1‬‬
‫‪2‬‬
‫‪xi − ‬‬ ‫∑‬ ‫= ‪xi ‬‬
‫‪ n i =1 ‬‬ ‫‪n i =1‬‬ ‫∑‬
‫‪(xi − ηˆ )2‬‬
‫‪‬‬ ‫‪‬‬
‫‪2‬‬
‫‪ s‬ﮐﻪ داﺷﺘﯿﻢ‪(.‬‬ ‫)ﯾﻌﻨﯽ ﻫﻤﺎن‬

‫در اﯾﻦ روش ﺗﻮﺟﻪ ﮐﻨﯿﺪ ﮐﻪ اﮔﺮ ̂‪ θ‬ﺗﺨﻤﯿﻨﯽ از ‪ θ‬ﺑﺎﺷﺪ‪ q(θˆ ) ،‬ﻧﯿﺰ ﺗﺨﻤﯿﻨﯽ از )‪ q(θ‬ﺧﻮاﻫﺪ ﺑﻮد‪.‬‬

‫‪6‬‬
‫روش ﻣﺎﮐﺰﯾﻤﻢ ﺑﺨﺖ )‪:(Method of Maximum Likelihood‬‬
‫اﯾﻦ روش ﮐﻪ ﺑﻪ آن روش ﻣﺎﮐﺰﯾﻤﻢ درﺳﺖﻧﻤﺎﯾﯽ ﻧﯿﺰ ﮔﻔﺘﻪ ﻣﯽﺷﻮد‪ ،‬ﺑﯿﺶ از روش ﮔﺸﺘﺎور ﻣﺘﺪاول اﺳﺖ‪ .‬اﮔﺮ ﭼﻪ ﻣﺤﺎﺳﺒﮥ آن ﻗﺪری‬
‫ﻣﺸﮑﻠﺘﺮ اﺳﺖ‪ .‬روی ﺧﻮاص رﯾﺎﺿﯽ آن ﻧﯿﺰ ﺧﯿﻠﯽ زﯾﺎد ﮐﺎر ﺷﺪه اﺳﺖ‪.‬‬

‫ﻣﻨﺤﻨﯽ )‪ f(x; θ‬ﺑﺮ ﺣﺴﺐ ‪ θ‬را ﺗﺎﺑﻊ ﺑﺨﺖ )‪) (Likelihood Function‬ﺑﺮای ‪ (θ‬ﻣﯽﮔﻮﯾﻨﺪ‪.‬‬
‫اﮔﺮ ‪ θ‬ﻣﻌﻠﻮم ﺑﻮد و از ﻣﺎ ﻣﯽﭘﺮﺳﯿﺪﻧﺪ ﮐﻪ ﮐﺪام ‪ x‬ﺑﯿﺸﺘﺮﯾﻦ ﺑﺨﺖ ﺑﺮای وﻗﻮع را دارد‪ ،‬ﯾﻌﻨﯽ ‪ f(x; θ)dx‬ﺑﺮای ﮐﺪام ‪ x‬ﻣﺎﮐﺰﯾﻤﻢ اﺳﺖ‪،‬‬
‫ﻣﺤﻞ ﭘﯿﮏ ﻣﻨﺤﻨﯽ )‪ f(x; θ‬ﺟﻮاب )ﭘﯿﺸﮕﻮﯾﯽ( ﻣﺎ ﺑﻮد )ﯾﻌﻨﯽ‪ x̂ML = xmod :‬؛ وﻟﯽ در ﻣﻌﯿﺎر ‪ ،mse‬ﻣﯿﺎﻧﮕﯿﻦ و در ﻣﻌﯿﺎر ‪ ،mae‬ﻣﯿﺎﻧﻪ‬
‫ﻣﯽﺷﺪ(‪ .‬ﺣﺎل ﺑﻪ ﻋﮑﺲ ‪ θ‬ﻧﺎﻣﻌﻠﻮم اﺳﺖ و ﻣﻘﺪار ‪ x‬ﺧﺎﺻﯽ رؤﯾﺖ ﺷﺪه اﺳﺖ‪ .‬ﻣﺤﺘﻤﻞﺗﺮﯾﻦ ‪ θ‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ اﯾﻦ ‪ x‬رؤﯾﺖ ﺷﺪه‪ ،‬ﻣﺤﻞ ﻣﺎﮐﺰﯾﻤﻢ‬
‫ﺗﺎﺑﻊ ﺑﺨﺖ اﺳﺖ‪:‬‬
‫ˆ‪θ = θ‬‬‫‪ML‬‬ ‫)‪⇔ ∀θ : f(x; θˆ ) ≥ f(x; θ‬‬
‫‪ML‬‬

‫ﺑﺮای اﯾﻦ ﻣﻨﻈﻮر ﺑﺎﯾﺪ داﺷﺘﻪ ﺑﺎﺷﯿﻢ‪:‬‬


‫)‪∂f(x; θ‬‬
‫‪= 0 → θˆ ML‬‬
‫‪∂θ‬‬
‫ﯾﻌﻨﯽ ‪ θ̂ML‬ﻣﺤﻞ ﻣﺎﮐﺰﯾﻤﻢ ﺗﺎﺑﻊ )‪) f(x; θ‬ﺑﺮای ‪ x‬داده ﺷﺪه( ﺑﺮ ﺣﺴﺐ ‪ θ‬ﻣﯽﺑﺎﺷﺪ )ﻣﺤﻞ ﻣﺎﮐﺰﯾﻤﻢ ﺗﺎﺑﻊ ﺑﺨﺖ(‪.‬‬

‫‪7‬‬
‫ﺑﻪ ﺳﺎدﮔﯽ ﻣﯽﺗﻮان ﻧﺸﺎن داد ﮐﻪ‪:‬‬
‫∧‬
‫) ‪[g(θ)]ML = g(θˆ ML‬‬
‫)ﯾﻌﻨﯽ ﻣﺎﮐﺰﯾﻤﻢ ﺑﻮدن )) ˆ‪ f(x;g(θ‬ﺑﺮ ﺣﺴﺐ ‪ θ‬ﻣﻌﺎدل اﺳﺖ ﺑﺎ ﻣﺎﮐﺰﯾﻤﻢ ﺷﺪن ))‪ f(x;g(θ‬ﺑﻪ ازای ) ˆ‪ g = g(θ‬ﺑﺮای ‪ g‬ﯾﮑﻨﻮا‪(.‬‬

‫‪8‬‬
‫ﻣﺜﺎل‪ :‬ﻃﻮل ﻋﻤﺮ ﻧﻮﻋﯽ ﻻﻣﭗ دارای ﺗﺎﺑﻊ ﭼﮕﺎﻟﯽ وﯾﺒﻮل ﺑﺎ ‪ b = 2‬اﺳﺖ‪:‬‬
‫)‪f (x‬‬
‫‪x2‬‬
‫‪−c‬‬
‫‪fx‬‬ ‫‪(x; c) = cxe 2‬‬

‫‪0‬‬ ‫‪1‬‬
‫‪x‬‬
‫‪c‬‬

‫)‪f (x‬‬ ‫اﮔﺮ ‪ x = x‬رؤﯾﺖ ﺷﺪه ﺑﺎﺷﺪ‪ ĉML ،‬ﭼﻘﺪر اﺳﺖ؟‬


‫ﺗﺎﺑﻊ ﺑﺨﺖ ‪:‬‬

‫‪3‬‬ ‫‪x2‬‬
‫)‪∂fx (x; c‬‬ ‫‪x‬‬ ‫‪−c‬‬ ‫‪2‬‬
‫‪= (x − c‬‬ ‫‪)e 2‬‬ ‫= ‪= 0 ⇒ cˆ ML‬‬
‫‪∂c‬‬ ‫‪2‬‬ ‫‪x2‬‬

‫‪0‬‬ ‫‪2‬‬
‫‪c‬‬
‫‪x2‬‬
‫در ﺣﺎﻟﯽ ﮐﻪ اﮔﺮ ‪ c‬ﻣﻌﻠﻮم ﺑﻮد و از ﻣﺎ ﻣﯽﺧﻮاﺳﺘﻨﺪ ﺗﺎ ‪ x̂ML‬را ﺑﻪ دﺳﺖ آورﯾﻢ )‪ ،(Prediction‬داﺷﺘﯿﻢ‪:‬‬
‫)‪∂fx (x; c‬‬ ‫‪1‬‬
‫= ‪= 0 ⇒ xˆ ML‬‬
‫‪∂x‬‬ ‫‪c‬‬

‫‪9‬‬
‫ﺗﻮﺟﻪ‪ :‬ﻣﻌﻤﻮﻻً ﻓﻘﻂ ﯾﮏ ﻣﺸﺎﻫﺪه ﻧﺪارﯾﻢ‪ ،‬ﺑﻠﮑﻪ ﻣﺸﺎﻫﺪات ‪ i.i.d.‬دارﯾﻢ‪:‬‬
‫‪ x1 ‬‬ ‫‪ x1 ‬‬
‫ﻣﻘﺎدﯾﺮ ﻣﺸﺎﻫﺪه ﺷﺪه ‪x =   → x =   :‬‬
‫‪ ‬‬ ‫‪ ‬‬
‫‪ x n ‬‬ ‫‪ x n ‬‬
‫ﭘﺲ ﺑﺎﯾﺪ ﻣﺤﻞ ﻣﺎﮐﺰﯾﻤﻢ ﺷﺪن )‪ fx (x; θ‬ﺑﺮ ﺣﺴﺐ ‪ θ‬را ﯾﺎﻓﺖ‪ .‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ‪ i.i.d.‬ﺑﻮدن ‪ x i‬ﻫﺎ دارﯾﻢ‪:‬‬
‫‪n‬‬
‫= )‪fx (x; θ‬‬ ‫)‪∏ f(xi ; θ‬‬
‫‪i =1‬‬
‫‪n‬‬
‫∂‬
‫∏‬
‫‪∂θ i =1‬‬
‫‪f(xi ; θ) = 0 → θˆ ML‬‬

‫ﯾﺎ ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﯾﮑﻨﻮا ﺑﻮدن ‪ ln‬ﻣﯽﺗﻮان ﻣﺤﻞ ﻣﺎﮐﺰﯾﻤﻢ ﻟﮕﺎرﯾﺘﻢ ﺗﺎﺑﻊ ﺑﺨﺖ را ﯾﺎﻓﺖ‪:‬‬
‫‪n‬‬
‫= )‪ln fx (x; θ‬‬ ‫)‪∑ ln f(xi ; θ‬‬
‫‪i =1‬‬
‫)‪∂f(xi ; θ‬‬
‫‪n‬‬
‫∂‬
‫‪∂θ‬‬
‫= )‪ln fx (x; θ‬‬ ‫∑‬
‫‪∂θ‬‬
‫)‪f(xi ; θ‬‬
‫‪= 0 → θˆ ML‬‬
‫‪i =1‬‬
‫‪10‬‬
:‫در ﻣﺜﺎل ﻗﺒﻞ دارﯾﻢ‬
c n 2
n − ∑ xi
∏ xi )e
n 2 i =1
fx (x; θ) = c (
i =1
n n
c

⇒ ln fx (x; θ) = n ln c + ln xi −
2 i =1 ∑
xi2
i =1

:‫ﭘﺲ ﺧﻮاﻫﯿﻢ داﺷﺖ‬


∂ ln fx (x; θ) n
n 1 2n
∂c
= − ∑
c 2 i =1
xi2 = 0 ⇒ cˆ ML = n

xi2
i =1

11
‫ﻣﺜﺎل‪ :‬ﻣﺤﺎﺳﺒﮥ ﺗﺨﻤﯿﻦ ‪ ML‬ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ و وارﯾﺎﻧﺲ ﺗﻮزﯾﻊ ﻧﺮﻣﺎل ﺑﺮاﺳﺎس ‪ n‬ﺑﺎر ﻣﺸﺎﻫﺪۀ ﻣﻘﺪار ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ‪:‬‬
‫‪n‬‬ ‫‪n‬‬ ‫‪(xi −η )2‬‬
‫‪1‬‬ ‫‪−‬‬
‫= ) ‪fx (x;η ,σ 2‬‬ ‫∏‬ ‫= ) ‪f(xi ;η ,σ 2‬‬ ‫∏‬
‫‪2‬‬
‫‪e 2σ‬‬
‫‪i =1‬‬ ‫‪i =1‬‬ ‫‪2 πσ 2‬‬
‫‪ 1‬‬ ‫‪n‬‬
‫‪(xi − η )2 ‬‬
‫‪2‬‬
‫‪ 2‬‬ ‫∑‬ ‫‪2‬‬
‫‪⇒ ln fx (x;η ,σ ) =  − ln(2 πσ ) −‬‬
‫‪2‬‬ ‫‪σ‬‬ ‫‪2‬‬ ‫‪‬‬
‫‪i =1 ‬‬ ‫‪‬‬
‫‪ n (xi − ηˆ )2‬‬ ‫‪‬‬ ‫‪1‬‬
‫‪n‬‬
‫‪ ∂ ln fx‬‬
‫‪‬‬ ‫=‬ ‫‪0‬‬ ‫‪ −‬‬ ‫∑‬
‫ˆ‪σ‬‬ ‫‪2‬‬
‫‪=0‬‬ ‫= ‪ηˆML‬‬
‫‪n i =1‬‬
‫‪xi‬‬ ‫∑‬
‫‪ ∂η‬‬ ‫‪ i =1‬‬ ‫‪‬‬
‫‪→‬‬ ‫‪⇒ ‬‬ ‫‪⇒ ‬‬
‫‪‬‬ ‫∂‬ ‫‪ln‬‬ ‫‪f‬‬ ‫‪‬‬
‫‪n ‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪(x‬‬ ‫‪−‬‬ ‫‪η‬‬‫ˆ‬ ‫)‬ ‫‪2‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪1‬‬
‫‪n‬‬
‫∑‬
‫‪x‬‬
‫‪ ∂σ 2‬‬
‫=‬ ‫‪0‬‬ ‫‪‬‬ ‫‪−‬‬ ‫∑‬ ‫‪+‬‬
‫‪  2 σˆ 2 2(σˆ 2 )2 ‬‬
‫‪i‬‬
‫‪‬‬ ‫=‬ ‫‪0‬‬ ‫‪σ‬‬‫ˆ‬ ‫‪2‬‬
‫‪ ML n‬‬ ‫=‬ ‫‪(x‬‬ ‫‪i‬‬ ‫‪−‬‬ ‫‪η‬‬‫ˆ‬‫‪ML‬‬ ‫)‬ ‫‪2‬‬
‫‪=s‬‬ ‫‪2‬‬

‫‪ i =1 ‬‬ ‫‪‬‬ ‫‪‬‬ ‫‪i =1‬‬

‫ﮐﻪ اﻟﺒﺘﻪ در ﻣﻮرد ‪ ،σ 2‬ﺗﺨﻤﯿﻦ ﺑﺎﯾﺎسدار اﺳﺖ‪ .‬اﻟﺒﺘﻪ ﺑﺮای ∞‪ n → +‬ﺑﺎﯾﺎس از ﺑﯿﻦ ﻣﯽرود )در روش ﮔﺸﺘﺎور ﻧﯿﺰ ﺑﻪ ﻫﻤﯿﻦ ﻧﺘﺎﯾﺞ‬
‫‪n−1 2‬‬ ‫‪2(n − 1) 4‬‬ ‫رﺳﯿﺪه ﺑﻮدﯾﻢ(‪.‬‬
‫= ) ‪E(s 2‬‬ ‫‪σ‬‬ ‫= ) ‪, var(s 2‬‬ ‫‪σ‬‬
‫‪n‬‬ ‫‪n2‬‬
‫اﺻﻮﻻً در ﺗﺨﻤﯿﻦ ‪ ML‬ﺑﺮای ∞‪ ، n → +‬ﺑﺎﯾﺎس ﺗﺨﻤﯿﻦ و وارﯾﺎﻧﺲ ﺗﺨﻤﯿﻦ ﺑﻪ ﺳﻤﺖ ﺻﻔﺮ ﻣﯿﻞ ﻣﯽﮐﻨﻨﺪ‪.‬‬

‫‪12‬‬
‫ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای )‪:(Interval Estimation‬‬
‫در اﯾﻨﺠﺎ ﺑﻪ ﺟﺎی اﯾﻨﮑﻪ ﺑﺮای ‪ x‬رؤﯾﺖ ﺷﺪه‪ ،‬ﯾﮏ ﻧﻘﻄﮥ )‪ g(x‬را ﺑﻪ ﻋﻨﻮان ﺗﺨﻤﯿﻦ ‪ θ‬ﺑﺪﻫﯿﻢ‪ ،‬ﯾﮏ ﻓﺎﺻﻠﻪ را اراﺋﻪ ﻣﯽﮐﻨﯿﻢ ﮐﻪ ‪ θ‬ﺑﻪ‬
‫اﺣﺘﻤﺎل زﯾﺎد در آن ﻓﺎﺻﻠﻪ ﻗﺮار دارد‪ .‬ﻣﺜﻼً ﺑﺮای ‪ η‬ﺑﻪ ﺟﺎی اﯾﻨﮑﻪ ﯾﮏ ﻧﻘﻄﮥ ‪ x‬را ﺑﻪ ﻋﻨﻮان ﺗﺨﻤﯿﻦ در ﻧﻈﺮ ﺑﮕﯿﺮﯾﻢ‪ ،‬ﻓﺎﺻﻠﻪای را ﻣﻌﺮﻓﯽ‬
‫ﻣﯽﮐﻨﯿﻢ ﮐﻪ ‪ η‬ﺑﻪ اﺣﺘﻤﺎل زﯾﺎد داﺧﻞ آن اﺳﺖ‪ .‬ﯾﻌﻨﯽ دو ﻣﻘﺪار )‪ θ1 = g 1 (x‬و )‪ θ2 = g 2 (x‬را ﭘﯿﺪا ﻣﯽﮐﻨﯿﻢ ﮐﻪ ‪ θ‬ﺑﯿﻦ آﻧﻬﺎ ﺑﺎﺷﺪ‪.‬‬
‫ﺑﺴﺘﻪ ﺑﻪ اﯾﻨﮑﻪ ﻣﺸﺎﻫﺪات ﭼﻪ ﺑﺎﺷﻨﺪ‪ θ1 ،‬و ‪ θ2‬ﻣﺘﻔﺎوت ﺧﻮاﻫﻨﺪ ﺑﻮد‪ .‬ﭘﺲ دو آﻣﺎرۀ ‪ θ1‬و ‪ θ2‬ﺑﻪ ﺻﻮرت زﯾﺮ ﻗﺎﺑﻞ ﺑﯿﺎن ﻫﺴﺘﻨﺪ‪:‬‬
‫) ‪θ 1 = g 1 ( x‬‬
‫‪‬‬
‫) ‪θ 2 = g 2 ( x‬‬
‫و ﻟﺬا ﻓﺎﺻﻠﻪ ﻧﯿﺰ ﻓﺎﺻﻠﻪای ﺗﺼﺎدﻓﯽ اﺳﺖ )ﺑﺴﺘﻪ ﺑﻪ اﯾﻨﮑﻪ ‪ x‬ﭼﻪ ﺑﺎﺷﺪ( ﮐﻪ ﻋﺪد ‪ θ‬ﺑﻪ اﺣﺘﻤﺎل زﯾﺎدی داﺧﻞ اﯾﻦ ﻓﺎﺻﻠﮥ ﺗﺼﺎدﻓﯽ اﺳﺖ‪.‬‬

‫اﮔﺮ ‪ P{θ1 < θ < θ 2 } = 1 − α‬ﺑﺎﺷﺪ‪ ،‬ﻓﺎﺻﻠﮥ ) ‪ (θ1 , θ 2‬را ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎنِ ‪ (Confidence Interval) 1 − α‬و ‪ α‬را‬
‫ﺳﻄﺢ اﻃﻤﯿﻨﺎن )‪ (Confidence Level‬ﮔﻮﯾﻨﺪ‪ α .‬ﻣﻌﻤﻮﻻً ﺑﺮاﺑﺮ ‪ %5‬ﯾﺎ ‪ %1‬ﯾﺎ ‪ %0/1‬اﺧﺘﯿﺎر ﻣﯽﺷﻮد‪.‬‬

‫‪13‬‬
‫ﺿﻤﻨﺎً اﮔﺮ )‪ τ = q(θ‬ﺗﺎﺑﻌﯽ ﯾﮑﻨﻮا ﺑﺎﺷﺪ‪ ،‬واﻗﻌﮥ } ‪ { θ1 < θ < θ2‬ﺑﺎ } ‪ { τ1 < τ < τ2‬ﮐﻪ ) ‪ τ1 = q(θ1‬و ) ‪ τ2 = q(θ2‬ﻣﻌﺎدل‬
‫ﺧﻮاﻫﺪ ﺑﻮد و ﻟﺬا‪:‬‬
‫‪P{ τ 1 < τ < τ 2 } = P{θ1 < θ < θ 2 } = 1 − α‬‬
‫ﭘﺲ اﮔﺮ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای ‪ (θ1 , θ2 ) ،θ‬ﺑﺎﺷﺪ‪ ،‬ﺑﺮای )‪ (q( θ1 ),q( θ2 )) ، q(θ‬ﺧﻮاﻫﺪ ﺑﻮد‪.‬‬

‫ﻫﺪف در ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای آن اﺳﺖ ﮐﻪ ﺗﻮاﺑﻊ ‪ θ1‬و ‪ θ2‬را ﭼﻨﺎن ﺑﯿﺎﺑﯿﻢ ﮐﻪ‪ P{θ1 < θ < θ2 } = 1 − α :‬ﺷﺪه و ﻣﻘﺪار ‪θ2 − θ1‬‬
‫ﺣﺪاﻗﻞ ﺑﺎﺷﺪ‪ .‬در ﺣﺎﻟﺖ ﮐﻠﯽ ﺣﻞ اﯾﻦ ﻣﺴﺌﻠﻪ ﺳﺎده ﻧﯿﺴﺖ و ﻣﺎ در ﻣﻮارد ﺧﺎص ﻣﻬﻤﯽ آن را ﺣﻞ ﻣﯽﮐﻨﯿﻢ‪.‬‬

‫‪14‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ در ﺻﻮرت ﻣﻌﻠﻮم ﺑﻮدن وارﯾﺎﻧﺲ‪:‬‬
‫‪ (i = 1, 2,… , n) x i i.i.d.‬از اﯾﻦ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ‬
‫ِ‬ ‫اﮔﺮ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬دارای ﻣﯿﺎﻧﮕﯿﻦ ﻧﺎﻣﻌﻠﻮم ‪ η‬و وارﯾﺎﻧﺲ ‪ σ 2‬ﺑﺎﺷﺪ و ﻧﻤﻮﻧﻪﻫﺎی‬
‫ﺑﺮداﺷﺘﻪ ﺑﺎﺷﯿﻢ‪ ،‬ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای زﯾﺮ را دﯾﺪﯾﻢ‪:‬‬
‫‪n‬‬
‫‪1‬‬ ‫‪σ2‬‬
‫=‪x‬‬ ‫∑‬
‫‪n i =1‬‬
‫ﻣﯿﺎﻧﮕﯿﻦ ﻧﻤﻮﻧﻪ ‪x i :‬‬ ‫‪→ E( x ) = η‬‬ ‫‪,‬‬ ‫‪σ x2‬‬ ‫=‬
‫‪n‬‬
‫‪n‬‬
‫‪1‬‬
‫=‪x‬‬ ‫∑‬
‫‪n i =1‬‬
‫ﻣﯿﺎﻧﮕﯿﻦ ﻧﻤﻮﻧﮥ ﻣﺸﺎﻫﺪه ﺷﺪه ‪xi :‬‬

‫ﺣﺎل ﻣﯽﺧﻮاﻫﯿﻢ ﯾﮏ ﻓﺎﺻﻠﮥ )‪ ( x − a, x + a‬اراﺋﻪ دﻫﯿﻢ ﮐﻪ ﺑﻪ اﺣﺘﻤﺎل ‪ η ، 1 − α‬داﺧﻞ اﯾﻦ ﻓﺎﺻﻠﻪ ﺑﺎﺷﺪ‪.‬‬

‫‪15‬‬
‫‪σ2‬‬
‫‪ . x ∼ N(η ,‬ﭘﺲ اﮔﺮ‬ ‫ﺣﺘﯽ اﮔﺮ ‪ x‬ﻧﺮﻣﺎل ﻧﺒﺎﺷﺪ‪ ،‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻗﻀﯿﮥ ﺣﺪ ﻣﺮﮐﺰی ﺑﺮای ‪ n‬ﺑﺰرگ‪ x ،‬ﺗﻘﺮﯾﺒﺎً ﻧﺮﻣﺎل اﺳﺖ‪ ،‬ﯾﻌﻨﯽ‪) :‬‬
‫‪n‬‬
‫‪x −η‬‬
‫ﺗﻌﺮﯾﻒ ﮐﻨﯿﻢ‪ z ، z = σ :‬ﻧﺮﻣﺎل اﺳﺘﺎﻧﺪارد ﺧﻮاﻫﺪ ﺑﻮد )ﺗﻘﺮﯾﺒﺎً( و ﻟﺬا‪:‬‬
‫‪n‬‬
‫‪P{ −z < z < z} = 1 − α ⇒ z = z1− α‬‬ ‫)‪fz (z‬‬
‫‪2‬‬

‫‪α‬‬ ‫‪α‬‬
‫‪2‬‬ ‫‪1−α‬‬ ‫‪2‬‬
‫‪−z1− α‬‬ ‫‪z1− α‬‬
‫‪z‬‬
‫‪2‬‬ ‫‪2‬‬

‫ﻣﺜﻼً ﺑﺮای ‪ ، α = 0.05‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﺟﺪول دارﯾﻢ‪:‬‬


‫‪G −1 (0.975) = D −1 (0.95) = 1.960‬‬
‫ﯾﻌﻨﯽ‪:‬‬
‫‪z0.975 = 1.960‬‬

‫‪16‬‬
‫ﭘﺲ در ﻧﻬﺎﯾﺖ ﺧﻮاﻫﯿﻢ داﺷﺖ‪:‬‬
‫‪x −η‬‬
‫‪P{ −z1− α < σ < z1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪2‬‬
‫‪n‬‬
‫ﺗﺨﻤﯿﻦ ﭘﺎراﻣﺘﺮ ‪P{ x − σ z1− α < η < x + σ z1− α } = 1 − α :‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬

‫ﻫﻤﭽﻨﯿﻦ دارﯾﻢ‪:‬‬
‫ﭘﯿﺶﺑﯿﻨﯽ ‪P{η − σ z1− α < x < η + σ z1− α } = 1 − α :‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬

‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎنِ ‪ 1 − α‬ﺑﺮای ‪ η‬در ﺣﺎﻟﺖ وارﯾﺎﻧﺲ ﻣﻌﻠﻮم ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫‪x − σ z 1− α < η < x + σ z 1 − α‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬

‫ﻣﺜﺎل‪ :‬ﻃﻮل ﯾﮏ ﻣﺤﺼﻮل دارای ﺗﻮزﯾﻊ ﻧﺮﻣﺎل ﺑﺎ اﻧﺤﺮاف ﻣﻌﯿﺎر ‪ σ = 4 mm‬اﺳﺖ‪ .‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ %95‬را ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ ﺑﻪ دﺳﺖ آورﯾﺪ‬
‫اﮔﺮ در ﯾﮏ ﻧﻤﻮﻧﮥ ‪ 30‬ﺗﺎﯾﯽ‪ ،‬ﻣﯿﺎﻧﮕﯿﻦ ﻧﻤﻮﻧﻪ ‪ 101mm‬ﺑﺎﺷﺪ‪.‬‬
‫‪4‬‬ ‫‪4‬‬
‫‪101 −‬‬ ‫‪1.96 < η < 101 +‬‬ ‫‪1.96 ⇒ 99.57 < η < 102.43‬‬
‫‪30‬‬ ‫‪30‬‬

‫‪17‬‬
‫ﮔﺎﻫﯽ ﺑﺮای ﻣﺎ ﻣﻬﻢ اﯾﻦ اﺳﺖ ﮐﻪ ‪ η‬از ﻣﻘﺪار ﺧﺎﺻﯽ ﺑﯿﺸﺘﺮ اﺳﺖ ﯾﺎ ﻧﻪ ﯾﺎ ﺑﻪ ﻋﮑﺲ ‪ η‬از ﻣﻘﺪار ﺧﺎﺻﯽ ﮐﻤﺘﺮ اﺳﺖ ﯾﺎ ﻧﻪ‪ .‬در اﯾﻦ ﺻﻮرت ﺑﻪ‬
‫ﻓﺎﺻﻠﮥ ﯾﮑﻄﺮﻓﻪ اﺣﺘﯿﺎج دارﯾﻢ‪:‬‬
‫‪P{ z < z} = 1 − α ⇒ z = z1−α‬‬ ‫)‪fz (z‬‬

‫‪x −η‬‬
‫‪⇒ P{ σ < z1−α } = 1 − α‬‬
‫‪α‬‬
‫‪n‬‬ ‫‪1−α‬‬
‫‪z 1 −α‬‬
‫‪z‬‬

‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺳﻤﺖ راﺳﺖ ﻋﺒﺎرت اﺳﺖ از‪:‬‬


‫‪P{η > x − σ z1−α } = 1 − α‬‬
‫‪n‬‬
‫ﺑﻪ ﻃﻮر ﻣﺸﺎﺑﻪ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺳﻤﺖ ﭼﭗ ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫‪P{η < x + σ z1−α } = 1 − α‬‬
‫‪n‬‬
‫)اﮔﺮ ‪ x‬ﻧﺮﻣﺎل ﻧﺒﺎﺷﺪ و ‪ n‬ﻫﻢ ﺑﺰرگ ﻧﺒﺎﺷﺪ‪ ،‬دﯾﮕﺮ ‪ x‬ﺗﻘﺮﯾﺒﺎً ﻧﺮﻣﺎل ﻧﺨﻮاﻫﺪ ﺑﻮد و ﺑﺮای ﺑﻪ دﺳﺖ آوردن ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻣﯽﺗﻮان از ﻗﻀﺎﯾﺎی‬
‫ﭼﺒﯿﺸﻒ ﯾﺎ ﭼﺮﻧﯿﻮف اﺳﺘﻔﺎده ﮐﺮد‪(.‬‬

‫ﻣﺜﺎل‪ :‬در ﻣﺜﺎل ﻗﺒﻞ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺳﻤﺖ راﺳﺖ را ﺑﯿﺎﺑﯿﺪ‪.‬‬


‫‪40‬‬
‫‪η > 101 −‬‬ ‫‪1.645 ⇒ η > 99.80‬‬
‫‪30‬‬
‫‪18‬‬
‫ﻣﺤﺎﺳﺒﮥ ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای )ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن( ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ ﺑﺪون ﻣﻌﻠﻮم ﺑﻮدن وارﯾﺎﻧﺲ‪:‬‬
‫ﯾﮑﯽ از راﻫﻬﺎﯾﯽ ﮐﻪ ﺑﻪ ﻧﻈﺮ ﻣﯽرﺳﺪ اﯾﻦ اﺳﺖ ﮐﻪ ﺧﻮد وارﯾﺎﻧﺲ را ﻫﻢ ﺗﺨﻤﯿﻦ زده و در راﺑﻄﮥ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻓﻮق ﻗﺮار دﻫﯿﻢ‪:‬‬
‫‪n‬‬
‫‪1‬‬
‫‪x − s z 1 − α < η < x + s z 1− α‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬
‫= ‪→ s‬‬ ‫‪2‬‬
‫‪n − 1 i =1‬‬ ‫∑‬
‫‪(xi − x)2‬‬

‫ﺑﺮای ‪ n‬ﺧﯿﻠﯽ ﺑﺰرگ )‪ (n > 30‬اﯾﻦ ﻓﺎﺻﻠﻪ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺧﻮﺑﯽ اﺳﺖ و اﺣﺘﻤﺎل ﺗﻘﺮﯾﺒﺎً ﻫﻤﺎن ‪ 1 − α‬اﺳﺖ و ﺑﺮای ‪ n‬ﻫﺎی ﮐﻮﭼﮑﺘﺮ‬
‫اﺣﺘﻤﺎل اﯾﻨﮑﻪ ‪ η‬داﺧﻞ اﯾﻦ ﻣﺤﺪوده ﺑﺎﺷﺪ‪ ،‬ﮐﻤﺘﺮ از ‪ 1 − α‬اﺳﺖ‪ .‬ﺑﻪ ﻋﺒﺎرت دﯾﮕﺮ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬واﻗﻌﯽ ﻗﺪری ﺑﯿﺶ از اﯾﻦ اﺳﺖ‪.‬‬

‫ﺗﻮﺟﻪ ﻣﯽﮐﻨﯿﻢ ﮐﻪ ﻣﺴﺘﻘﻞ از ﻣﻘﺪار ‪ σ‬دارﯾﻢ‪:‬‬


‫‪x −η‬‬
‫=‪T‬‬ ‫)‪s ∼ t(n − 1‬‬
‫‪n‬‬
‫ﭘﺲ‪:‬‬
‫)‪P{ − t < T < t} = 1 − α ⇒ t = t 1− α (n − 1‬‬
‫‪2‬‬
‫‪α‬‬ ‫‪α‬‬
‫‪2‬‬ ‫‪1−α‬‬ ‫‪2‬‬
‫‪−t1− α‬‬ ‫‪t1− α‬‬
‫‪2‬‬ ‫‪2‬‬
‫‪19‬‬
‫ﻟﺬا‪:‬‬
‫‪P{ x − s t 1− α (n − 1) < η < x + s t 1− α (n − 1)} = 1 − α‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬

‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ ﺟﺎﻣﻌﻪ در ﺣﺎﻟﺖ وارﯾﺎﻧﺲ ﻧﺎﻣﻌﻠﻮم ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫)‪x − s t 1− α (n − 1) < η < x + s t 1− α (n − 1‬‬
‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬

‫ﻣﺜﺎل‪ :‬اﮔﺮ در ﻣﺜﺎل ﻗﺒﻞ‪ ،‬اﻧﺤﺮاف ﻣﻌﯿﺎر ﺟﺎﻣﻌﻪ ﻧﺎﻣﻌﻠﻮم ﺑﻮده و اﻧﺤﺮاف ﻣﻌﯿﺎر ﻧﻤﻮﻧﻪ ﺑﺮاﺑﺮ ‪ 3.91mm‬ﺑﻪ دﺳﺖ آﻣﺪه ﺑﺎﺷﺪ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن‬
‫‪ %95‬ﺑﺮای ﻣﯿﺎﻧﮕﯿﻦ ﺟﺎﻣﻌﻪ را ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬

‫ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﺟﺪول دارﯾﻢ‪:‬‬


‫)ﻣﯽﺑﯿﻨﯿﻢ ﮐﻪ ‪ 2.05‬ﺑﺰرﮔﺘﺮ از ‪ 1.96‬اﺳﺖ( ‪t 0.975 (29) = 2.05‬‬
‫‪3.91‬‬ ‫‪3.91‬‬
‫‪101 −‬‬ ‫‪2.05 < η < 101 +‬‬ ‫‪2.05 ⇒ 99.54 < η < 102.46‬‬
‫‪30‬‬ ‫‪30‬‬
‫)ﺑﺎ وﺟﻮد اﯾﻨﮑﻪ ‪ s‬ﻧﺴﺒﺖ ﺑﻪ ‪ σ‬ﮐﻮﭼﮑﺘﺮ ﺷﺪه اﺳﺖ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺰرﮔﺘﺮ ﺷﺪ‪(.‬‬

‫‪20‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای اﺣﺘﻤﺎل ﯾﮏ واﻗﻌﻪ‪:‬‬
‫واﻗﻌﮥ ‪ A‬را در ﻧﻈﺮ ﺑﮕﯿﺮﯾﺪ ﮐﻪ‪ . P(A) = p :‬آزﻣﺎﯾﺶ ﺗﺼﺎدﻓﯽ را ‪ n‬ﺑﺎر ﺗﮑﺮار ﻣﯽﮐﻨﯿﻢ و ‪ k‬ﺑﺎر واﻗﻌﮥ ‪ A‬اﺗﻔﺎق ﻣﯽاﻓﺘﺪ‪ .‬ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای‬
‫‪ p̂ = k‬اﺳﺖ ﮐﻪ ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻗﺎﻧﻮن اﻋﺪاد ﺑﺰرگ ﺑﺮای ∞‪ n → +‬ﺑﻪ ‪ p‬ﻣﯿﻞ ﻣﯽﮐﻨﺪ‪ .‬ﺣﺎل ﻣﯽﺧﻮاﻫﯿﻢ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن را ﺑﺮای‬ ‫در اﯾﻨﺠﺎ ‪n‬‬
‫‪ p‬ﺑﻪ دﺳﺖ آورﯾﻢ‪.‬‬

‫اﮔﺮ ‪ x‬را ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ﯾﮏ‪ -‬ﺻﻔﺮ ﻣﺘﻨﺎﻇﺮ ﺑﺎ واﻗﻌﮥ ‪ A‬ﺗﻌﺮﯾﻒ ﮐﻨﯿﻢ‪ ،‬دارﯾﻢ‪:‬‬
‫‪ηx = p , σ x2 = pq‬‬
‫‪pq‬‬ ‫‪k‬‬
‫‪η x = p , σ x2 = n‬‬ ‫‪, x=n‬‬

‫ﭘﺲ ﻃﺒﻖ آﻧﭽﻪ در ﻣﻮرد ﺗﺨﻤﯿﻦ ﻣﯿﺎﻧﮕﯿﻦ داﺷﺘﯿﻢ )ﺑﺎ ﻓﺮض ‪ n‬ﻧﺴﺒﺘﺎً ﺑﺰرگ(‪:‬‬
‫‪pq‬‬ ‫‪pq‬‬
‫‪P{ x −‬‬ ‫‪z‬‬ ‫‪α‬‬
‫‪n 1− 2‬‬ ‫<‬ ‫‪p‬‬ ‫<‬ ‫‪x‬‬ ‫‪+‬‬ ‫‪n z1− α2 } = 1 − α‬‬

‫)‪p(1−p‬‬
‫‪ ،‬ﺧﻮد ﺑﻪ ﻣﻘﺪار ﻣﯿﺎﻧﮕﯿﻦ )ﻣﻮرد ﺗﺨﻤﯿﻦ( ﻣﺮﺗﺒﻂ اﺳﺖ‪ .‬ﺑﺮای ﺣﻞ اﯾﻦ ﻣﺸﮑﻞ ﭼﻨﺪ روش دارﯾﻢ‪:‬‬ ‫‪n‬‬ ‫وﻟﯽ وارﯾﺎﻧﺲ‪ ،‬ﯾﻌﻨﯽ‬

‫‪21‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻣﺤﺎﻓﻈﻪﮐﺎراﻧﻪ‪:‬‬
‫‪ pq‬ﺣﺪاﮐﺜﺮ ﺑﺮاﺑﺮ اﺳﺖ ﺑﺎ ‪ . 1‬ﭘﺲ ﺧﻮاﻫﯿﻢ داﺷﺖ‪:‬‬
‫‪4‬‬
‫‪k − 1 z α <p< k + 1 z α‬‬
‫‪n 2 n 1− 2‬‬ ‫‪n 2 n 1− 2‬‬
‫)ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬واﻗﻌﯽ ﮐﻤﺘﺮ از اﯾﻦ اﺳﺖ‪(.‬‬

‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺗﻘﺮﯾﺒﯽ‪:‬‬


‫در اﯾﻦ روش ﺑﻪ ﺟﺎی ‪ p‬از ﺗﺨﻤﯿﻦ آن اﺳﺘﻔﺎده ﻣﯽﮐﻨﯿﻢ‪ .‬ﭼﻮن در روش ﻗﺒﻞ ‪ pq‬ﻣﻤﮑﻦ اﺳﺖ ﺧﯿﻠﯽ ﮐﻮﭼﮑﺘﺮ از ‪ 1‬ﺑﺎﺷﺪ )وﻗﺘﯽ ‪p‬‬
‫‪4‬‬
‫‪ p̂ = x = k‬ﺑﻪ ‪ p‬ﻧﺰدﯾﮏ اﺳﺖ‪ .‬ﭘﺲ در ﻓﺮﻣﻮل ﺑﻪ ﺟﺎی ‪ p‬از ̂‪p‬‬
‫‪n‬‬ ‫ﺑﺰرگ‪،‬‬ ‫‪n‬‬ ‫ﺑﺮای‬ ‫ﺑﮕﻮﯾﯿﻢ‬ ‫ﮐﻪ‬ ‫اﺳﺖ‬ ‫اﯾﻦ‬ ‫ﺑﻬﺘﺮ‬ ‫ﺗﻘﺮﯾﺐ‬ ‫‪،‬‬‫(‬‫ﻧﺒﺎﺷﺪ‬ ‫ﻧﺰدﯾﮏ ‪1‬‬
‫‪2‬‬
‫اﺳﺘﻔﺎده ﻣﯽﮐﻨﯿﻢ‪:‬‬
‫) ‪k (1 − k‬‬ ‫) ‪k (1 − k‬‬
‫‪k−‬‬ ‫‪n‬‬ ‫‪n z α <p< k +‬‬ ‫‪n‬‬ ‫‪n z α‬‬
‫‪n‬‬ ‫‪n‬‬ ‫‪1−‬‬
‫‪2‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪1−‬‬
‫‪2‬‬
‫)ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن واﻗﻌﯽ ﻗﺪری ﺑﯿﺶ از اﯾﻦ اﺳﺖ‪(.‬‬

‫‪22‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن دﻗﯿﻖ‪:‬‬
‫‪pq‬‬ ‫‪pq‬‬
‫‪P{ x −‬‬ ‫‪z‬‬ ‫‪α‬‬
‫‪n 1− 2‬‬ ‫<‬ ‫‪p‬‬ ‫<‬ ‫‪x‬‬ ‫‪+‬‬ ‫‪n z1− α2 } = 1 − α‬‬
‫ﯾﻌﻨﯽ‪:‬‬
‫‪z12− α‬‬
‫< ‪P{(p − x )2‬‬ ‫‪2‬‬ ‫‪p(1 − p)} = 1 − α‬‬
‫‪n‬‬

‫ﻣﻌﺎدﻟﮥ درﺟﻪ دوم زﯾﺮ را ﺣﻞ ﻣﯽﮐﻨﯿﻢ‪:‬‬


‫‪z12− α‬‬
‫‪k‬‬
‫< ‪(p − )2‬‬ ‫‪2‬‬ ‫‪p(1 − p) → p1 ,p2‬‬
‫‪n‬‬ ‫‪n‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫‪p1 < p < p 2‬‬

‫‪23‬‬
‫ﻣﺜﺎل‪ :‬ﺑﺎ ﺑﺮرﺳﯽ ‪ 500‬ﺧﺎﻧﻮار در ﺗﻬﺮان ﻣﻼﺣﻈﻪ ﺷﺪه اﺳﺖ ﮐﻪ ‪ 150‬ﺧﺎﻧﻮار )‪ (%30‬زﯾﺮ ﺧﻂ ﻓﻘﺮ زﻧﺪﮔﯽ ﻣﯽﮐﻨﻨﺪ‪ .‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ %95‬را‬
‫ﺑﺮای درﺻﺪ ﺧﺎﻧﻮادهﻫﺎﯾﯽ ﮐﻪ زﯾﺮ ﺧﻂ ﻓﻘﺮ زﻧﺪﮔﯽ ﻣﯽﮐﻨﻨﺪ‪ ،‬ﺑﻪ دﺳﺖ آورﯾﺪ‪.‬‬
‫‪k = 150 , n = 500 , α = 0.05‬‬

‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻣﺤﺎﻓﻈﻪﮐﺎراﻧﻪ‪:‬‬


‫‪150‬‬ ‫‪1.96‬‬
‫‪±‬‬ ‫‪→ 0.3 ± 0.044 → %30 ± %4.4‬‬
‫‪500 2 500‬‬
‫ﯾﻌﻨﯽ ﺑﯿﻦ ‪ 25/6‬درﺻﺪ و ‪ 34/4‬درﺻﺪ ﻣﺮدم زﯾﺮ ﺧﻂ ﻓﻘﺮ زﻧﺪﮔﯽ ﻣﯽﮐﻨﻨﺪ‪.‬‬

‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺗﻘﺮﯾﺒﯽ‪:‬‬


‫‪150‬‬ ‫‪0.3 × 0.7‬‬
‫‪± 1.96‬‬ ‫‪→ 0.3 ± 0.040 → %30 ± %4.0‬‬
‫‪500‬‬ ‫‪500‬‬
‫ﯾﻌﻨﯽ ﺑﯿﻦ ‪ 26‬درﺻﺪ و ‪ 34‬درﺻﺪ ﻣﺮدم زﯾﺮ ﺧﻂ ﻓﻘﺮ زﻧﺪﮔﯽ ﻣﯽﮐﻨﻨﺪ‪.‬‬

‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن دﻗﯿﻖ‪:‬‬

‫‪2‬‬ ‫‪1.96 2‬‬


‫= )‪(p − 0.3‬‬ ‫‪p(1 − p) ⇒ p1 = 0.261,p2 = 0.342 ⇒ 0.261 < p < 0.342‬‬
‫‪500‬‬
‫‪24‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای ﺗﺎﺑﻊ ﺗﻮزﯾﻊ ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ‪:‬‬
‫}‪F(x) = P{ x ≤ x‬‬
‫‪nx‬‬
‫= )‪ F̂(x‬اﺳﺖ‪ .‬در اﯾﻨﺠﺎ ﻧﯿﺰ ﻃﺒﻖ آﻧﭽﻪ در ﺗﺨﻤﯿﻦ اﺣﺘﻤﺎل داﺷﺘﯿﻢ‪،‬‬ ‫ﻣﯽداﻧﯿﻢ ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای ﺗﻮزﯾﻊ اﻧﺒﺎﺷﺘﻪ ﺑﻪ ﺻﻮرت‪:‬‬
‫‪n‬‬
‫ﻋﻤﻞ ﻣﯽﮐﻨﯿﻢ‪ .‬ﺑﺎ اﺳﺘﻔﺎده از ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺗﻘﺮﯾﺒﯽ دارﯾﻢ‪:‬‬
‫‪nx‬‬ ‫‪nx‬‬ ‫‪nx‬‬ ‫‪nx‬‬
‫‪nx‬‬ ‫‪n‬‬ ‫‪(1‬‬ ‫‪−‬‬ ‫‪n ) z α < F(x) < n x +‬‬ ‫‪n‬‬ ‫‪(1‬‬ ‫‪−‬‬ ‫‪n )z α‬‬
‫‪n −‬‬ ‫‪n‬‬ ‫‪1−‬‬
‫‪2‬‬ ‫‪n‬‬ ‫‪n‬‬ ‫‪1−‬‬
‫‪2‬‬
‫)‪ F(x‬واﻗﻌﯽ ﺑﻪ اﺣﺘﻤﺎل ‪ 1 − α‬در ﻓﺎﺻﻠﮥ )ﺗﺼﺎدﻓﯽ( ﻓﻮق ﻗﺮار دارد‪.‬‬
‫اﻟﺒﺘﻪ اﯾﻦ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﻪ ‪ x‬ﺑﺴﺘﮕﯽ دارد‪.‬‬

‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن دﯾﮕﺮی ﺑﺮای ﺗﺎﺑﻊ ﺗﻮزﯾﻊ‪:‬‬


‫ˆ‬
‫)‪P{max F(x‬‬ ‫‪− F(x) ≤ c} = 1 − α‬‬
‫‪x‬‬
‫ﺗﺨﻤﯿﻦ ﮐﻮﻟﻤﻮﮔﺮوف ﺑﺮای ‪ n‬ﺑﺰرگ )ﻣﺜﻼً ﻻاﻗﻞ ‪:(100‬‬
‫‪1‬‬ ‫‪α‬‬
‫‪c‬‬ ‫‪−‬‬ ‫‪ln‬‬
‫‪2n 2‬‬

‫‪25‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای ﺗﻔﺎوت ﻣﯿﺎﻧﮕﯿﻦ دو ﺟﺎﻣﻌﻪ‪:‬‬
‫دو ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ‪ x‬و ‪ y‬ﺑﺎ ﻣﯿﺎﻧﮕﯿﻦﻫﺎی ﻧﺎﻣﻌﻠﻮم ‪ ηx‬و ‪ η y‬و وارﯾﺎﻧﺲﻫﺎی ﻧﺎﻣﻌﻠﻮم ‪ σ x2‬و ‪ σ y2‬دارﯾﻢ‪ .‬ﻣﯽﺧﻮاﻫﯿﻢ ﺗﻔﺎوت ﻣﯿﺎﻧﮕﯿﻦﻫﺎ‪،‬‬
‫ﯾﻌﻨﯽ ‪ ηx − η y‬را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ )ﻣﺜﻼً ﺗﻔﺎوت درآﻣﺪ ﻗﺸﺮ ﺗﺤﺼﯿﻞ ﮐﺮده و ﻗﺸﺮ ﺗﺤﺼﯿﻞ ﻧﮑﺮده ﯾﺎ ﺗﻔﺎوت ﻣﯿﺰان ﺟﻨﺎﯾﺖ در اﻓﺮاد ﺑﺎﺳﻮاد و‬
‫ﺑﯽﺳﻮاد؛ ﯾﺎ ﻣﺜﻼً ﺗﻐﯿﯿﺮی در ﺳﯿﺴﺘﻤﯽ دادهاﯾﻢ و ﻣﯽﺧﻮاﻫﯿﻢ اﺛﺮ آن را روی ‪ η‬ﺑﺒﯿﻨﯿﻢ(‪ .‬اﮔﺮ ﺗﻌﺮﯾﻒ ﮐﻨﯿﻢ‪:‬‬
‫‪w=x−y‬‬
‫ﻣﯽﺧﻮاﻫﯿﻢ ‪ η w‬را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ‪.‬‬

‫اﮔﺮ ‪ x‬و ‪ y‬ﻧﺮﻣﺎل ﺑﺎﺷﻨﺪ ﯾﺎ ﺗﻌﺪاد ﻧﻤﻮﻧﻪﻫﺎ زﯾﺎد ﺑﺎﺷﺪ‪ w ،‬ﻧﺮﻣﺎل ﺑﻮده و ﺧﻮاﻫﯿﻢ داﺷﺖ‪:‬‬
‫‪w − ηw‬‬
‫< ‪P{ −z1− α‬‬ ‫‪< z1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪σw‬‬ ‫‪2‬‬
‫‪w − σ w z 1 − α < η w < w + σ w z 1− α‬‬
‫‪2‬‬ ‫‪2‬‬
‫ﮐﻪ‪:‬‬
‫‪w=x−y‬‬

‫‪26‬‬
‫اﻟﻒ( اﮔﺮ ﻧﻤﻮﻧﻪﺑﺮداری ﺟﻔﺘﯽ ﺑﺎﺷﺪ )ﯾﻌﻨﯽ ‪ xi‬و ‪ y i‬در ﻧﻤﻮﻧﻪﮔﯿﺮی ‪i‬ام ﺑﻪ دﺳﺖ آﻣﺪه ﺑﺎﺷﻨﺪ(‪ ،‬دارﯾﻢ‪:‬‬
‫‪σw‬‬ ‫‪2‬‬
‫= ‪σw‬‬ ‫‪, σw‬‬ ‫‪= σ x2 + σ y2 − 2 µxy‬‬
‫‪n‬‬
‫ﯾﻌﻨﯽ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ‪ ηx − η y‬ﻋﺒﺎرت اﺳﺖ از‪:‬‬

‫‪σw‬‬ ‫‪σ x2 + σ y2 − 2 µxy‬‬


‫‪x − y ± z 1− α‬‬ ‫‪= x − y ± z 1− α‬‬
‫‪2‬‬ ‫‪n‬‬ ‫‪2‬‬ ‫‪n‬‬

‫اﮔﺮ ‪ σ w‬ﻧﺎﻣﻌﻠﻮم ﺑﺎﺷﺪ‪ ،‬ﺧﻮاﻫﯿﻢ داﺷﺖ‪:‬‬


‫‪w − ηw‬‬
‫=‪T‬‬ ‫)‪sw ∼ t(n − 1‬‬
‫‪n‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫‪sw‬‬
‫‪x − y ± t 1− α‬‬
‫‪2‬‬ ‫‪n‬‬

‫‪27‬‬
‫ب( ﺑﺎ ﻓﺮض اﯾﻨﮑﻪ ﻧﻤﻮﻧﻪﻫﺎی ‪ n) x‬ﺗﺎ( و ﻧﻤﻮﻧﻪﻫﺎی ‪ m) y‬ﺗﺎ( در ﻧﻤﻮﻧﻪﮔﯿﺮیﻫﺎی ﻣﺨﺘﻠﻒ ﺑﻪ دﺳﺖ آﯾﻨﺪ‪ ،‬ﻧﻤﻮﻧﻪﻫﺎی ‪ x‬و ﻧﻤﻮﻧﻪﻫﺎی ‪y‬‬
‫ﻣﺴﺘﻘﻠﻨﺪ و دارﯾﻢ‪:‬‬

‫‪2‬‬ ‫‪σ x2‬‬ ‫‪σ y2‬‬


‫‪σw‬‬ ‫‪= σ x2‬‬ ‫‪+ σ y2‬‬ ‫=‬ ‫‪+‬‬
‫‪n‬‬ ‫‪m‬‬
‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ‪ ηx − η y‬ﻋﺒﺎرت اﺳﺖ از‪:‬‬

‫‪σ x2‬‬ ‫‪σ y2‬‬


‫‪x − y ± z 1− α‬‬ ‫‪+‬‬
‫‪2‬‬ ‫‪n‬‬ ‫‪m‬‬

‫اﮔﺮ ‪ x‬و ‪ y‬ﻣﺴﺘﻘﻞ ﺑﻮده و وارﯾﺎﻧﺲﻫﺎ ﻧﺎﻣﻌﻠﻮم ﺑﺎﺷﻨﺪ‪ ،‬ﻣﯽﺗﻮاﻧﯿﻢ )ﺑﺮای ‪ n‬و ‪ m‬ﺑﺰرگ(‪ s x ،‬و ‪ s y‬را ﺟﺎﯾﮕﺰﯾﻦ ‪ σ x‬و ‪ σ y‬ﮐﻨﯿﻢ ﮐﻪ اﻟﺒﺘﻪ‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن واﻗﻌﯽ ﻗﺪری ﺑﯿﺸﺘﺮ اﺳﺖ‪.‬‬

‫‪28‬‬
‫اﮔﺮ وارﯾﺎﻧﺲﻫﺎ ﻧﺎﻣﻌﻠﻮم وﻟﯽ ﺑﺮاﺑﺮ ﺑﺎﺷﻨﺪ‪ ،‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن دﻗﯿﻖ را ﻣﯽﺗﻮان ﺑﻪ دﺳﺖ آورد‪.‬‬
‫در ﺗﻤﺮﯾﻦ ﻧﺸﺎن دادﯾﺪ )ﻣﺴﺄﻟﮥ ‪ (7.30‬ﮐﻪ )ﺗﺨﻤﯿﻦ ‪ ls‬از ‪ σ 2‬ﺑﺎ ﻓﺮض ) ‪ x ∼ N(ηx ,σ‬و ) ‪( y ∼ N(η y ,σ‬؛‬
‫ﺗﺨﻤﯿﻦ ﺗﻠﻔﯿﻘﯽ از ‪:σ 2‬‬
‫∧‬ ‫‪(n − 1)s2x + (m − 1)s 2y‬‬ ‫‪1‬‬ ‫‪ n‬‬ ‫‪n‬‬ ‫‪‬‬
‫‪sp2‬‬ ‫‪2‬‬
‫= ‪=σ‬‬
‫‪n+m−2‬‬
‫=‬ ‫∑‬ ‫‪2‬‬
‫∑‬ ‫‪2‬‬
‫‪ (xi − x ) + ( yi − y ) ‬‬
‫‪n + m − 2  i =1‬‬ ‫‪‬‬
‫‪‬‬ ‫‪i =1‬‬ ‫‪‬‬
‫∧‬
‫‪2‬‬ ‫‪(n − 1)s x2 + (m − 1)s2y 1 1‬‬ ‫‪1 1‬‬
‫‪σw‬‬ ‫=‬ ‫) ‪( + ) = sp2 ( +‬‬
‫‪n+m−2‬‬ ‫‪n m‬‬ ‫‪n m‬‬
‫‪w − ηw‬‬
‫=‪T‬‬ ‫)‪∼ t(n + m − 2‬‬
‫‪σˆ w‬‬
‫)ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ﻓﻮق ﻣﺴﺘﻘﻞ از ﭘﺎراﻣﺘﺮﻫﺎی ﻧﺎﻣﻌﻠﻮم اﺳﺖ‪(.‬‬
‫‪P{ − t 1− α < T < t 1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪2‬‬
‫‪P{ w − σˆ w t 1− α < η w < w + σˆ w t 1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪2‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ‪ ηx − η y‬ﻋﺒﺎرت اﺳﺖ از‪:‬‬
‫‪1 1‬‬
‫‪x − y ± t 1− α s p‬‬ ‫‪+‬‬
‫‪2‬‬ ‫‪n m‬‬

‫‪29‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای وارﯾﺎﻧﺲ ﺟﺎﻣﻌﮥ ﻧﺮﻣﺎل‪:‬‬
‫‪n‬‬
‫‪1‬‬
‫= ‪ v‬اﺳﺖ )ﮐﻪ ﺑﺪون ﺑﺎﯾﺎس ﻧﯿﺰ ﺧﻮاﻫﺪ ﺑﻮد(‪.‬‬ ‫∑‬
‫‪n i =1‬‬
‫اﮔﺮ ‪ η‬ﻣﻌﻠﻮم ﺑﺎﺷﺪ‪ ،‬ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای وارﯾﺎﻧﺲ ﺑﻪ ﺻﻮرت‪( x i − η )2 :‬‬

‫ﺣﺎل در اﯾﻨﺠﺎ ﻣﯽﺧﻮاﻫﯿﻢ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن را ﺑﻪ دﺳﺖ آورﯾﻢ‪:‬‬


‫‪n‬‬ ‫‪2‬‬
‫‪nv‬‬ ‫‪ xi − η ‬‬
‫‪σ‬‬ ‫‪2‬‬
‫=‬ ‫‪‬‬ ‫∑‬ ‫‪σ‬‬
‫‪‬‬ ‫∼‬ ‫‪χ‬‬ ‫‪2‬‬
‫)‪(n‬‬
‫‪i =1 ‬‬ ‫‪‬‬
‫‪nv‬‬
‫< )‪P{χ 2α (n‬‬ ‫‪< χ12− α (n)} = 1 − α‬‬
‫‪2‬‬ ‫‪σ2‬‬ ‫‪2‬‬

‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ‪ σ 2‬ﻋﺒﺎرت اﺳﺖ از‪:‬‬


‫‪nv‬‬ ‫‪nv‬‬
‫{‪P‬‬ ‫< ‪<σ2‬‬ ‫‪} = 1−α‬‬
‫)‪χ12− α (n‬‬ ‫)‪χ 2α (n‬‬
‫‪2‬‬ ‫‪2‬‬
‫)اﻟﺒﺘﻪ اﯾﻦ ﻓﺎﺻﻠﻪ ﻣﯿﻨﯿﻤﻢ ﻧﯿﺴﺖ‪ ،‬ﭼﻮن ﻣﺘﻘﺎرن ﻧﯿﺴﺖ‪ .‬وﻟﯽ ﺑﺮای راﺣﺘﯽ اﺳﺘﻔﺎده ﻣﯽﺷﻮد‪(.‬‬
‫‪α‬‬
‫‪α‬‬
‫‪2‬‬
‫‪1−α‬‬ ‫‪2‬‬

‫)‪χ 2α (n‬‬ ‫) ‪χ 12− α (n‬‬


‫‪2‬‬ ‫‪2‬‬
‫‪30‬‬
‫ﻣﺜﺎل‪ :‬ﺑﺮای اﻧﺪازهﮔﯿﺮی ﻗﺪرت ﻧﻮﯾﺰ ‪ 10‬ﻧﻤﻮﻧﻪ از داﻣﻨﮥ ﻧﻮﯾﺰ ﺑﺮداﺷﺘﻪاﯾﻢ و اﻋﺪاد زﯾﺮ ﺣﺎﺻﻞ ﺷﺪهاﻧﺪ‪ .‬ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ %95‬را ﺑﺮای ﻗﺪرت‬
‫ﻧﻮﯾﺰ ﺑﻪ دﺳﺖ آورﯾﺪ ) ‪ η = 0‬اﺳﺖ؛ ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای را ﺑﺮای ‪ σ 2‬ﻣﯽﺧﻮاﻫﯿﻢ(‪.‬‬
‫‪0.020‬‬ ‫‪-0.099‬‬ ‫‪-0.178‬‬ ‫‪0.059‬‬ ‫‪0.071‬‬ ‫‪-0.111‬‬ ‫‪-0.026‬‬ ‫‪0.053‬‬ ‫‪-0.096‬‬ ‫‪0.067‬‬

‫‪10‬‬
‫‪1‬‬
‫=‪v‬‬ ‫∑‬
‫‪10 i =1‬‬
‫‪xi2 = 0.0066‬‬

‫ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﺟﺪول دارﯾﻢ‪:‬‬


‫‪χ0.975‬‬
‫‪2‬‬
‫‪(10) = 20.48‬‬ ‫‪10 × 0.0066‬‬ ‫‪10 × 0.0066‬‬
‫‪ 2‬‬ ‫⇒‬ ‫< ‪<σ2‬‬ ‫‪⇒ 0.0032 < σ 2 < 0.0204‬‬
‫‪χ0.025 (10) = 3.25‬‬ ‫‪20.48‬‬ ‫‪3.25‬‬

‫‪31‬‬
‫اﮔﺮ ‪ η‬ﻣﻌﻠﻮم ﻧﺒﺎﺷﺪ‪ ،‬ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای ‪ σ 2‬ﺑﺮاﺑﺮ ﺧﻮاﻫﺪ ﺑﻮد ﺑﺎ‪:‬‬
‫‪n‬‬
‫‪1‬‬
‫‪2‬‬
‫= ‪s‬‬
‫‪n − 1 i =1‬‬‫∑‬‫‪( x i − x )2‬‬

‫ﻣﯽداﻧﯿﻢ ﮐﻪ‪:‬‬
‫‪(n − 1)s 2‬‬
‫)‪∼ χ 2 (n − 1‬‬
‫‪σ2‬‬
‫ﭘﺲ دارﯾﻢ‪:‬‬
‫‪(n − 1)s 2‬‬
‫< )‪P{χ 2α (n − 1‬‬ ‫‪< χ12− α (n − 1)} = 1 − α‬‬
‫‪2‬‬ ‫‪σ2‬‬ ‫‪2‬‬

‫ﭘﺲ ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ‪ 1 − α‬ﺑﺮای ‪ σ 2‬ﻋﺒﺎرت اﺳﺖ از‪:‬‬


‫‪(n − 1)s 2‬‬ ‫‪2‬‬ ‫‪(n − 1)s 2‬‬
‫< ‪<σ‬‬
‫)‪χ12− α (n − 1‬‬ ‫)‪χ 2α (n − 1‬‬
‫‪2‬‬ ‫‪2‬‬

‫‪32‬‬
‫ﻓﺎﺻﻠﮥ اﻃﻤﯿﻨﺎن ﺑﺮای ﺿﺮﯾﺐ ﻫﻤﺒﺴﺘﮕﯽ‪:‬‬
‫‪µxy‬‬
‫=‪r‬‬
‫‪σ xσ y‬‬
‫ﺗﺨﻤﯿﻦ ﻧﻘﻄﻪای‪:‬‬
‫‪1‬‬
‫‪s xy‬‬ ‫‪n−1‬‬ ‫)‪∑ (xi − x)(yi − y‬‬ ‫)‪∑ (xi − x)(yi − y‬‬
‫= ̂‪r‬‬ ‫=‬ ‫=‬
‫‪sxs y‬‬ ‫‪1 ‬‬ ‫‪1 ‬‬ ‫‪ ∑ (xi − x)2  ⋅  ∑ (y i − y)2 ‬‬
‫‪n−1‬‬ ‫∑‬ ‫⋅ ‪(xi − x)2 ‬‬
‫‪ n−1‬‬ ‫‪∑ (yi − y)2 ‬‬ ‫‪‬‬ ‫‪ ‬‬ ‫‪‬‬

‫ﺑﺎ ﻓﺮض ﻧﻤﻮﻧﻪﺑﺮداری ﺣﻘﯿﻘﯽ )ﯾﻌﻨﯽ در اﯾﻨﺠﺎ ‪ xi‬و ‪ y i‬ﺣﺎﺻﻞ ﯾﮏ آزﻣﺎﯾﺶ ﻫﺴﺘﻨﺪ(‪ ،‬ﺑﺎﯾﺪ آﻣﺎرهﻫﺎی ‪ r1‬و ‪ r2‬را ﭼﻨﺎن ﺑﯿﺎﺑﯿﻢ ﮐﻪ‪:‬‬
‫‪P{r1 < r < r2 } = 1 − α‬‬

‫‪‬‬ ‫‪‬‬ ‫‪z 1− α ‬‬ ‫ﻣﯽﺗﻮان )ﺑﺮای ‪ n‬ﺑﺰرگ( ﻧﺸﺎن داد ﮐﻪ‪:‬‬
‫)‪r1 = tanh  tanh −1 (r‬‬
‫‪ˆ −‬‬ ‫‪2 ‬‬
‫‪‬‬ ‫‪n−3‬‬
‫‪‬‬ ‫‪‬‬ ‫‪‬‬
‫‪‬‬ ‫اﺷﺎره ﺑﻪ اﺛﺒﺎت‪ :‬ﺻﻔﺤﮥ ‪ 296‬ﮐﺘﺎب‪.‬‬
‫‪‬‬ ‫‪‬‬ ‫‪z 1− α ‬‬
‫ˆ ‪−1‬‬ ‫‪2 ‬‬
‫)‪r2 = tanh  tanh (r‬‬ ‫‪+‬‬
‫‪‬‬ ‫‪‬‬ ‫‪n−3‬‬
‫‪‬‬
‫‪33‬‬
‫ﺗﺨﻤﯿﻦ ﺑﯿﺰ )‪:(Bayesian Estimation‬‬
‫در ﺗﺨﻤﯿﻦ ﭘﺎراﻣﺘﺮ ﻣﯽﺧﻮاﺳﺘﯿﻢ ﺑﺮ ﻣﺒﻨﺎی ﻣﺸﺎﻫﺪاﺗﻤﺎن از ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ‪ ،‬ﭘﺎراﻣﺘﺮی ﻧﺎﻣﻌﻠﻮم )ﻋﺪدی ﻣﺜﻞ ‪ (θ‬را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ‪ .‬در‬
‫آﻧﺠﺎ ‪ fθ‬ﻣﻔﻬﻮم ﻧﺪاﺷﺖ‪ ،‬ﭼﻮن ‪ θ‬اﺻﻮﻻً ﺗﺼﺎدﻓﯽ ﻧﺒﻮد‪ .‬در ﺗﺨﻤﯿﻦ ﺑﯿﺰی ﻣﯽﺧﻮاﻫﯿﻢ ﺑﺮ ﻣﺒﻨﺎی ﻣﺸﺎﻫﺪاﺗﻤﺎن از ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ‪ ،‬ﻣﺘﻐﯿﺮ‬
‫ﺗﺼﺎدﻓﯽ دﯾﮕﺮی را ﺗﺨﻤﯿﻦ ﺑﺰﻧﯿﻢ‪ .‬ﺑﺮای اﯾﻦ ﻣﻨﻈﻮر در ﺗﺨﻤﯿﻦ ﺑﯿﺰ‪ ،‬ﺗﺎﺑﻊ رﯾﺴﮏ را ﻣﯿﻨﯿﻤﻢ ﻣﯽﮐﻨﯿﻢ‪ .‬ﯾﻌﻨﯽ ) ‪ θˆ = g( x‬آﻧﭽﻨﺎن ﭘﯿﺪا‬
‫ﻣﯽﺷﻮد ﮐﻪ‪:‬‬
‫‪R = E L(θ − θˆ )‬‬
‫ﻣﯿﻨﯿﻤﻢ ﮔﺮدد )‪ R‬را ﺗﺎﺑﻊ رﯾﺴﮏ و ‪ L‬را ﺗﺎﺑﻊ زﯾﺎن )‪ (Loss Function‬ﻣﯽﻧﺎﻣﻨﺪ(‪.‬‬

‫ﻣﺘﺪاولﺗﺮﯾﻦ ﻧﻮع ﺗﺎﺑﻊ زﯾﺎن‪ ،‬ﻧﻮع ﻣﺮﺑﻌﯽ اﺳﺖ‪:‬‬


‫‪L(e) = e 2‬‬ ‫‪→ L(θ − θˆ ) = (θ − θˆ )2‬‬

‫‪34‬‬
‫در اﯾﻦ ﺻﻮرت ﺑﺎﯾﺪ ‪ mse = E ( θ − θˆ )2 ‬را ﻣﯿﻨﯿﻤﻢ ﮐﻨﯿﻢ ﮐﻪ ﻫﻤﺎن ﺗﺨﻤﯿﻦ ‪ ls‬ﺧﻮاﻫﺪ ﺑﻮد ﮐﻪ ﻗﺒﻼً ﺑﻪ ﻋﻨﻮان ﮐﺎرﺑﺮدی از ﻣﺘﻮﺳﻂ‬
‫‪‬‬ ‫‪‬‬
‫‪ x1 ‬‬
‫ﻣﺸﺮوط دﯾﺪﯾﻢ و ﻣﻼﺣﻈﻪ ﮐﺮدﯾﻢ ﮐﻪ اﮔﺮ ﻣﺸﺎﻫﺪاﺗﻤﺎن ‪ x‬ﺑﺎﺷﺪ )در اﯾﻨﺠﺎ ﺑﺮدار ‪ x‬ﮐﻪ ‪ ،( x =  ‬دارﯾﻢ‪:‬‬
‫‪ ‬‬
‫‪ x n ‬‬
‫) ‪θˆ = E(θ|x‬‬
‫‪ls‬‬
‫∞‪+‬‬
‫= )‪θˆ ls = E(θ|x‬‬ ‫‪∫−∞ θ fθ (θ|x)dθ‬‬
‫)‪ fθ ( θ‬را ﺗﺎﺑﻊ ﭼﮕﺎﻟﯽ ﭘﯿﺸﯿﻦ و )‪ fθ ( θ|x‬را ﺗﺎﺑﻊ ﭼﮕﺎﻟﯽ ﭘﺴﯿﻦ ﮔﻮﯾﻨﺪ‪.‬‬

‫وﻟﯽ ﻣﻌﻤﻮﻻً دادهﻫﺎی ﻣﺴﺌﻠﻪ ﺷﺎﻣﻞ )‪ fθ ( θ|x‬ﻧﯿﺴﺖ‪ ،‬ﺑﻠﮑﻪ )‪ fθ ( θ‬و )‪ fx (x|θ‬را دارﯾﻢ ) )‪ fx (x|θ‬را ﺗﺎﺑﻊ ﺑﺨﺖ‬
‫)‪ (Likelihood Function‬ﻣﯽﻧﺎﻣﻨﺪ(‪.‬‬

‫‪35‬‬
‫ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻗﻀﯿﮥ ﺑﯿﺰ دارﯾﻢ‪:‬‬
‫)‪fx (x|θ)fθ (θ‬‬
‫= )‪fθ (θ|x‬‬ ‫)‪= γ fx (x|θ)fθ (θ‬‬
‫)‪fx (x‬‬
‫ﻣﺴﺘﻘﻞ از ‪θ‬‬
‫)ﭘﺲ از ﻧﻈﺮ ﻧﻮع ﺗﺎﺑﻌﯿﺖ از ‪ ،θ‬ﺣﺎﺻﻠﻀﺮب ﭼﮕﺎﻟﯽ ﭘﯿﺸﯿﻦ و ﺗﺎﺑﻊ ﺑﺨﺖ‪ ،‬ﭼﮕﺎﻟﯽ ﭘﺴﯿﻦ ﻣﯽﺷﻮد‪(.‬‬

‫∞‪+‬‬ ‫‪1‬‬ ‫∞‪+‬‬


‫= ‪θˆ ls‬‬ ‫∫‬‫∞‪−‬‬
‫= ‪θ fθ (θ|x)dθ‬‬
‫)‪fx (x‬‬ ‫‪∫−∞ θ fx (x|θ)fθ (θ)dθ‬‬

‫ﺗﺎﺑﻊ زﯾﺎن دﯾﮕﺮ‪:‬‬


‫‪L(e) =|e| → L(θ − θˆ ) =|θ − θˆ |2‬‬
‫ﯾﻌﻨﯽ ﺑﺎﯾﺪ ) ‪ mae = E(|θ − θˆ |2‬ﻣﯿﻨﯿﻤﻢ ﺷﻮد ﮐﻪ ﻣﻨﺠﺮ ﻣﯽﺷﻮد ﺑﻪ‪:‬‬
‫) )‪θˆ abs = median ( fθ (θ|x‬‬
‫ﯾﻌﻨﯽ‪:‬‬
‫‪θˆ abs‬‬ ‫∞‪+‬‬
‫∞‪∫−‬‬ ‫= ‪fθ (θ|x)dθ‬‬ ‫ˆ‪∫θ‬‬ ‫‪abs‬‬
‫‪fθ (θ|x)dθ‬‬

‫‪36‬‬
‫ﺗﺎﺑﻊ زﯾﺎن دﯾﮕﺮ‪:‬‬
‫‪0 |e|< ε‬‬ ‫ˆ‬ ‫‪0 |θ − θˆ | < ε‬‬
‫‪L(e) = ‬‬ ‫‪→ L(θ − θ ) = ‬‬
‫‪‬‬ ‫‪1‬‬ ‫‪otherwise‬‬ ‫‪1 otherwise‬‬
‫ﮐﻪ ﻣﻨﺠﺮ ﻣﯽﺷﻮد ﺑﻪ ﺗﺨﻤﯿﻦ ‪ .(Maximum Apestriori Probability) MAP‬اﯾﻦ ‪θ‬ای اﺳﺖ ﮐﻪ )‪ fθ ( θ|x‬را ﻣﺎﮐﺰﯾﻤﻢ‬
‫ﻣﯽﮐﻨﺪ‪ ،‬ﯾﻌﻨﯽ‪:‬‬
‫ˆ‪θ = θ‬‬‫‪MAP‬‬ ‫ˆ‪⇔ ∀θ : f (θ‬‬
‫‪θ‬‬ ‫‪MAP‬‬ ‫)‪|x) ≥ f (θ|x‬‬
‫‪θ‬‬
‫ﯾﺎ‪:‬‬
‫)‪θ = θˆ MAP ⇔ ∀θ : fx (x|θˆ MAP )fθ (θˆ MAP ) ≥ fx (x|θ)fθ (θ‬‬
‫)ﭘﺲ ‪θ ، θ̂ML‬ای اﺳﺖ ﮐﻪ )‪ f(x|θ‬را ﻣﺎﮐﺰﯾﻤﻢ ﻣﯽﮐﻨﺪ‪ ،‬ﭼﻮن در آﻧﺠﺎ )‪ fθ ( θ‬ﻧﺪاﺷﺘﯿﻢ‪ .‬وﻟﯽ ‪θ ، θ̂MAP‬ای اﺳﺖ ﮐﻪ‬
‫)‪ f(θ|x) = γ f(x|θ)f(θ‬را ﻣﺎﮐﺰﯾﻤﻢ ﮐﻨﺪ‪(.‬‬

‫ﭘﺲ اﯾﻦ ﺳﻪ ﻧﻮع ﺗﺨﻤﯿﻦ )‪ abs ،ls‬و ‪ ،(MAP‬ﯾﮑﯽ ﻣﯿﺎﻧﮕﯿﻦ‪ ،‬دﯾﮕﺮی ﻣﯿﺎﻧﻪ و ﺳﻮﻣﯽ ﻣُﺪ )ﻧِﻤﺎی( ﺗﺎﺑﻊ ﭼﮕﺎﻟﯽ ﭘﺴﯿﻦ )‪ fθ ( θ|x‬را ﺑﻪ‬
‫ﻋﻨﻮان ﺗﺨﻤﯿﻦ اﻧﺘﺨﺎب ﻣﯽﮐﻨﻨﺪ‪.‬‬

‫‪37‬‬
‫ﺑﺎ اﻓﺰاﯾﺶ ‪ n‬ﻣﻨﺤﻨﯽ ‪ likelihood‬ﺗﯿﺰﺗﺮ ﺷﺪه و ﺗﺎﺑﻊ ﭼﮕﺎﻟﯽ ﭘﺴﯿﻦ ﺑﻪ ﺗﺎﺑﻊ ‪ likelihood‬ﻧﺰدﯾﮑﺘﺮ ﻣﯽﺷﻮد‪ .‬ﯾﻌﻨﯽ ﺑﺎ اﻓﺰاﯾﺶ‬
‫ﻣﺸﺎﻫﺪات‪ ،‬اﻃﻼﻋﺎت ﭘﯿﺸﯿﻦ ارزش ﺧﻮد را از دﺳﺖ ﻣﯽدﻫﻨﺪ‪.‬‬
‫ﺗﺎﺑﻊ ﺑﺨﺖ‬
‫ﺗﻮزﯾﻊ ﭘﺴﯿﻦ‬
‫ﺗﻮزﯾﻊ ﭘﯿﺸﯿﻦ‬

‫‪θ‬‬
‫‪ML‬‬
‫ﻣُﺪ‬ ‫ﻣﯿﺎﻧﮕﯿﻦ‬
‫ﻣﯿﺎﻧﻪ‬

‫‪38‬‬
‫ﻣﺜﺎل ‪ :1‬در ﻓﺼﻞ ‪ 6‬اﯾﻦ ﻣﺜﺎل را داﺷﺘﯿﻢ‪ .‬اﮔﺮ )‪ x ∼ Binomial(n, p‬ﺑﻮده و ﺧﻮد ‪ p‬ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ﺑﺎ ﺗﻮزﯾﻊ )‪ u(0,1‬ﺑﺎﺷﺪ‪،‬‬
‫ﻣﯽﺧﻮاﻫﯿﻢ ﺑﺮ ﻣﺒﻨﺎی ﻣﺸﺎﻫﺪۀ ‪ x = k‬ﻣﻘﺪار ‪ p‬را ﺗﺨﻤﯿﻦ ‪ ls‬ﺑﺰﻧﯿﻢ‪.‬‬
‫? = ‪p̂ls‬‬
‫در آﻧﺠﺎ دﯾﺪﯾﻢ ﮐﻪ‪:‬‬
‫ﺗﺎﺑﻊ ﺑﺨﺖ‬ ‫ﭘﯿﺸﯿﻦ‬
‫ﭘﺴﯿﻦ‬
‫)‪P{ x = k|p = p} fp (p‬‬ ‫)‪P{ x = k|p = p} fp (p‬‬
‫= )‪fp (p|x = k‬‬ ‫=‬ ‫‪1‬‬
‫}‪P{ x = k‬‬
‫‪∫0 P{x = k|p = p} fp (p)dp‬‬
‫‪n k‬‬ ‫‪n −k‬‬
‫)‪ k  p (1 − p) fp (p‬‬
‫‪=  ‬‬
‫‪1 n  k‬‬
‫‪‬‬ ‫∫‬
‫‪0 k‬‬
‫‪‬‬ ‫‪p (1 − p)n−k fp (p)dp‬‬

‫‪n k‬‬ ‫‪n −k‬‬


‫)‪ k  p (1 − p‬‬
‫‪(n + 1)! k‬‬
‫‪= ‬‬ ‫=‬ ‫ﺑﺮای )‪ fp (p‬ﯾﮑﻨﻮاﺧﺖ ‪p (1 − p)n−k :0 ≤ p ≤ 1 :‬‬
‫‪1‬‬ ‫!)‪k!(n − k‬‬
‫‪n +1‬‬
‫‪k‬‬
‫ﮐﻪ ﺗﻮزﯾﻊ ﺑﺘﺎی )‪ Beta(k + 1, n − k + 1‬ﺑﻮده و ﻫﺮ ﭼﻘﺪر ‪ n‬ﺑﺰرﮔﺘﺮ ﺑﺎﺷﺪ‪ ،‬در ﺣﻮاﻟﯽ ﺗﯿﺰﺗﺮ اﺳﺖ‪.‬‬
‫‪n‬‬

‫‪39‬‬
‫ﺗﻮزﯾﻊ ﭘﯿﺸﯿﻦ‬ ‫ﺗﺎﺑﻊ ﺑﺨﺖ‬ ‫ﺗﻮزﯾﻊ ﭘﺴﯿﻦ‬
‫‪0.08‬‬ ‫‪8‬‬
‫‪1‬‬
‫)‪(k = 60, n = 100‬‬

‫‪p‬‬ ‫‪p‬‬ ‫‪p‬‬


‫‪0‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪k‬‬ ‫‪1‬‬ ‫‪0‬‬ ‫‪k‬‬ ‫‪1‬‬
‫‪n‬‬ ‫‪n‬‬

‫‪1 k +1‬‬
‫‪1‬‬ ‫∫‬ ‫‪p (1 − p)n −k fp (p)dp‬‬
‫= )‪p̂ls = E(p|x = k‬‬ ‫‪∫0‬‬ ‫= ‪p fp (p|x = k)dp‬‬ ‫‪0‬‬
‫‪1 k‬‬
‫∫‬‫‪0‬‬
‫‪p (1 − p)n −k fp (p)dp‬‬
‫‪(n + 1)! (k + 1)!(n − k)! k + 1‬‬
‫=‬ ‫⋅‬ ‫=‬ ‫ﺑﺮای )‪ fp (p‬ﯾﮑﻨﻮاﺧﺖ ‪:‬‬
‫!)‪k!(n − k‬‬ ‫!)‪(n + 2‬‬ ‫‪n+2‬‬
‫‪k‬‬ ‫‪k+1‬‬ ‫‪1‬‬
‫اﺳﺖ ﮐﻪ ﺑﺮای ‪ n‬ﺑﺰرگ ﺗﻘﺮﯾﺒﺎً ﺑﺮاﺑﺮ‬ ‫در ﺣﺎﻟﯽ ﮐﻪ ﺑﺪون ﻣﺸﺎﻫﺪه )ﺑﺮ ﻣﺒﻨﺎی اﻃﻼﻋﺎت ﭘﯿﺸﯿﻦ ‪ p̂ = ،( fp‬ﺑﻮد‪ ،‬اﮐﻨﻮن ﺑﺮاﺑﺮ‬
‫‪n‬‬ ‫‪n+2‬‬ ‫‪2‬‬
‫ﻣﯽﺷﻮد‪.‬‬
‫‪k‬‬
‫ﻫﺴﺘﻨﺪ‪.‬‬ ‫اﻣﺎ ﺗﺨﻤﯿﻦ ‪) MAP‬و ﻧﯿﺰ ﺗﺨﻤﯿﻦ ‪ (ML‬ﺑﺮاﺑﺮ‬
‫‪n‬‬
‫‪40‬‬
‫‪ x1 ‬‬
‫ﺧﻮد ﯾﮏ ﻣﺘﻐﯿﺮ ‪ η‬ﺑﺎﺷﻨﺪ و ﻓﺮض ﮐﻨﯿﻢ ﮐﻪ ) ‪ N(η ,σ‬از ﯾﮏ ﻣﺘﻐﯿﺮ ﺗﺼﺎدﻓﯽ ﺑﺎ ﺗﻮزﯾﻊ ‪ i.i.d.‬ﻣﺸﺎﻫﺪات ‪ x =  ‬ﻣﺜﺎل ‪ :2‬اﮔﺮ‬
‫‪ ‬‬
‫‪ x n ‬‬
‫را ﺑﻪ دﺳﺖ آورﯾﺪ‪ η ∼ N(0,ση2 ) ،ηˆls .‬ﺑﺎﺷﺪ‪ ،‬ﯾﻌﻨﯽ‪ση2 :‬ﺗﺼﺎدﻓﯽ ﻧﺮﻣﺎل ﺑﺎ ﻣﯿﺎﻧﮕﯿﻦ ﺻﻔﺮ و وارﯾﺎﻧﺲ‬
‫‪η2‬‬
‫‪− 2‬‬
‫‪1‬‬ ‫‪2σ η‬‬
‫= ) ‪fη (η‬‬ ‫‪e‬‬
‫‪2‬‬
‫‪2 πση‬‬
‫‪n‬‬

‫‪2‬‬ ‫‪∑ (xi −η )2‬‬


‫‪n‬‬ ‫) ‪(xi −η‬‬ ‫‪i =1‬‬
‫‪1‬‬ ‫‪−‬‬ ‫‪1‬‬ ‫‪−‬‬
‫= ) ‪fx (x|η‬‬ ‫∏‬ ‫‪2 πσ‬‬ ‫‪2‬‬
‫‪e‬‬ ‫‪2σ 2‬‬ ‫=‬
‫‪2 2‬‬
‫‪n‬‬ ‫‪e‬‬ ‫‪2σ 2‬‬
‫‪i =1‬‬ ‫) ‪(2 πσ‬‬

‫) ‪fx (x|η )fη (η‬‬ ‫) ‪fx (x|η )fη (η‬‬


‫= )‪fη (η|x‬‬ ‫=‬ ‫∞‪+‬‬
‫)‪fx (x‬‬
‫‪∫−∞ fx (x|η )fη (η )dη‬‬

‫‪41‬‬
‫ﮐﻪ ﭘﺲ از ﻗﺪری ﻣﺤﺎﺳﺒﺎت ﻧﺘﯿﺠﻪ ﻣﯽﺷﻮد ﮐﻪ‪:‬‬

‫(‪fη (η|x) = N‬‬


‫∑‬ ‫‪2‬‬
‫‪xi‬‬
‫‪,‬‬
‫‪2 σ2‬‬
‫‪ση ⋅ n‬‬
‫‪2‬‬ ‫)‬
‫‪n + σ2‬‬ ‫‪ση2 + σn‬‬
‫‪ση‬‬
‫‪σ0‬‬
‫ˆ‪η‬‬

‫ﭼﻮن در ﺗﻮزﯾﻊ ﻧﺮﻣﺎل‪ ،‬ﻣﯿﺎﻧﮕﯿﻦ و ﻣُﺪ و ﻣﯿﺎﻧﻪ ﺑﺮ ﻫﻢ ﻣﻨﻄﺒﻖ ﻫﺴﺘﻨﺪ‪ ،‬دارﯾﻢ‪:‬‬


‫‪n‬‬
‫= ‪ηˆls = ηˆabs = ηˆMAP‬‬ ‫‪2‬‬
‫‪x‬‬
‫‪n+σ2‬‬
‫‪σ‬‬ ‫‪η‬‬
‫ﻣﻼﺣﻈﻪ ﻣﯽﺷﻮد ﮐﻪ ﺑﺮای ∞‪ ، n → +‬اﺛﺮ اﻃﻼﻋﺎت ﭘﯿﺸﯿﻦ ﮐﻤﺘﺮ و ﮐﻤﺘﺮ ﻣﯽﺷﻮد و ‪ η̂ = x‬ﻣﯽﮔﺮدد‪.‬‬

‫اﮔﺮ ﺗﺨﻤﯿﻦ ﻓﺎﺻﻠﻪای را ﻫﻢ ﺑﺨﻮاﻫﯿﻢ‪ ،‬ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻧﺮﻣﺎل ﺑﻮدن ‪) η|x‬ﯾﺎ ﺗﻘﺮﯾﺒﺎً ﻧﺮﻣﺎل ﺑﻮدن آن( دارﯾﻢ‪:‬‬
‫ˆ‪η − η‬‬
‫< ‪P{ −z1− α‬‬ ‫‪< z 1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪σ0‬‬ ‫‪2‬‬
‫‪⇒ P{ηˆ − σ 0 z1− α < η < ηˆ + σ 0 z1− α } = 1 − α‬‬
‫‪2‬‬ ‫‪2‬‬

‫‪42‬‬