何謂統計學?

敘述統計: 在於描述一組觀察到的實數值(real number) 在實數線

(或實數空間) 的分佈情形。
推論統計: 在於描述一組隨機變數 (random variable) 實現值
(realizations) 在實數線 (或實數空間) 的分佈情形。

M.-Y. Chen Basic Statistics

敘述統計的方法

I. 圖形表現法 (Graphic representations):

1. Bar graphs
2. Pie charts
3. Histogram
4. Ogive
5. Relative frequency table

M.-Y. Chen Basic Statistics

II. 數值表現法 (numerical representations)
1. Location measures: maximum, minimum, mean, mode,
median, percentile, etc.;
2. Dispersion measures: range, standard deviation, etc.;
3. Skewness measures: Spearson coefficient, skewness
coefficient, etc.;
4. Kurtosis measures: kurtosis coefficient, etc.

M.-Y. Chen Basic Statistics

推論統計的方法

統計推論:Statistical inferences on measures of random variables

圖形發掘:Graphical discovery (density estimation )

M.-Y. Chen Basic Statistics

連續隨機變數

一個隨機變數X:

X : Ω = {E1 , E2 , . . . , EN } → R = {x1 , x2 , . . . , xN }.

若任意xi 及xj 屬於R, 且任意一個實數c滿足0 ≤ c ≤ 1, 使

得cxi + (1 − c)xj 也屬於R, 則R稱為由連續實數所組成的集合, 而
隨機變數X則稱為連續隨機變數(continuous random variable);
若存在任意一個實數c滿足0 ≤ c ≤ 1, 使得cxi + (1 − c)xj 不屬
於R, 則R稱為由間斷實數所組成的集合, 而隨機變數X則稱為間斷
隨機變數(discrete random variable)。

M.-Y. Chen Basic Statistics

單一連續隨機變數分佈情形的描述

26
25
23
20
16

4
2
q q q q q q q q q q qq q q q q q q q q q q q q q q
0
M.-Y. Chen Basic Statistics
單一連續隨機變數分佈情形的描述(1)
1. 累加機率分配函數 (Cumulative Probability Distribution Function,
CDF):

FX (a) = P (X ≤ a)
Z a
= dFX (x).
−∞

2. 機率密度函數 (Probability Density Function, pdf):

dFX (x)
fX (x) =
dx
對所有x ∈ R皆存在, 即FX (x)在所有x ∈ R皆為可微分
(differentiable)。 此時,
Z a
FX (a) = fX (x)dx.
−∞

M.-Y. Chen Basic Statistics

單一連續隨機變數分佈情形的描述(2)
1. 位置衡量: 期望值
Z ∞
E(X) = xdFX (x)
−∞
Z ∞
= xfX (x)dx, if FX (x) exists.
−∞

2. 分散度衡量: 變異數
var(X) = E[(X − E(X))2 ]
Z ∞
= (x − E(X))2 dFX (x)
−∞
Z ∞
= (x − E(X))2 fX (x)dx, if FX (x) exists.
−∞

3. 偏態衡量:
α3 (X) = E[(X − E(X))3 ]
Z ∞
M.-Y. Chen Basic
3 Statistics
 y
(∞, ∞)
•
兩個連續隨機變數分佈情形的描述

x
q q q q q q q qqqqqqq q q q q q q q qq q q

M.-Y. Chen Basic Statistics

兩連續隨機變數分佈情形的描述(1)
(1) 聯合累加機率分配函數 (Joint Cumulative Probability Distribution
Function, Joint CDF):

FX,Y (a, b) = P (X ≤ a, Y ≤ b)
Z a Z b
= dFX,Y (x, y).
−∞ −∞

(2) 聯合機率密度函數 (Joint Probability Density Function, Joint pdf):

dFX,Y (x, y)
fX,Y (x, y) =
dx dy
對所有(x, y) ∈ R2 皆存在, 即FX,Y (x, y)在所有(x, y) ∈ R2 皆為可微分
(differentiable)。 此時,
Z a Z b
FX,Y (a, b) = fX,Y (x, y)dx dy.
−∞ −∞

M.-Y. Chen Basic Statistics

(3) 邊際機率密度函數 (Marginal Probability Density
Function):
Z ∞ Z ∞
fX (x) = fX,Y (x, y)dy, fY (y) = fX,Y (x, y)dx,
−∞ −∞

是隨機變數X及Y 的邊際機率密度函數。
(4) 條件機率密度函數 (Conditional Probability Density
Function):
fX,Y (x, y) fX,Y (x, y)
fX|Y =y (x) = , fY |X=x (y) = ,
fY (y) fX (x)
是隨機變數X在條件Y = y下及隨機變數Y 在條件X = x下
的條件機率密度函數。
(5) 隨機變數X及Y 相互獨立 (independent) 若且為
若fX,Y (x, y) = fX (x) fY (y)。
M.-Y. Chen Basic Statistics
兩連續隨機變數間線性關係的描述

1. 共變異數 (covariance): cov(X, Y ) =

E((X − µX )(Y − µY )) = E(XY ) − µX µY = σXY 。
2. 相關係數 (correlation):corr(X, Y ) = σXY /(σX σY ) = ρXY
且−1 ≤ ρXY ≤ 1;corr(X, Y ) 是ZX 和ZY 的共變異數, 其
p
中ZX = [X − E(X)]/ var(X)及ZY =
p
[Y − E(Y )]/ var(Y ) 是X和Y 的Z-scores。
3. 若X和Y 相互獨立, 則cov(X, Y ) = 0, 反之不成立。
4. E(X + Y ) = E(X) + E(Y );
var(X + Y ) = var(X) + var(Y ) + 2cov(X, Y )。

M.-Y. Chen Basic Statistics

統計上一些常用的隨機變數
1. 常態分配: X ∼ N(µ, σ 2 ),
2
1
其fX (x) = √2πσ 2
exp( −(x−µ)
2σ 2 );(X − µ)/σ ∼ N(0, 1)。
2. 若X1 , . . . Xm 為相互獨立之N(0, 1),
則Z = m 2 2
P
i=1 Xi ∼ χm , 即自有度為m的卡方分配。

3. 若X ∼ N(0, 1)且Y ∼ χ2m 為相互獨立,

p
則W = X/ Y /m ∼ tm , 即自有度為m的 Student t-分
配;tm → N(0, 1)當m → ∞。
4. 若X ∼ χ2n 且Y ∼ χ2m 為相互獨立,
則U = (X/n)/(Y /m) ∼ Fn,m , 即第一自有度為n、 第二自
有度為m之F 分配。

M.-Y. Chen Basic Statistics

推論統計

在推論統計(statistical inerence) 中, 主要的目的在於以少數、 部

分觀察到的實現值, 使能瞭解到需要用無窮多個 (間斷隨機變數)
或所有無窮多個 (連續隨機變數) 實現值方能得到描述隨機變數在
實數空間分佈情形的機率函數、 累加機率分配函數 (機率密度函數)
或衡量參數 (measure parameters)。 所觀察到的實現值, 稱為樣本
觀察值 (sample observations; 而相對應之無窮多個 (間斷隨機變
數) 或所有無窮多個 (連續隨機變數) 實現值的集合稱為母體
(population)。

M.-Y. Chen Basic Statistics

樣本估計式

母體 樣本
實現值 {x1 , x2 , . . . , x∞ } {x1 , x2 , . . . , xn }
1
Pn
位置衡量 E(X) xi
n
1
Pi=1n 2
分散度衡量 var(X) n i=1 (xi − x̄n )
1
P n 3
偏態衡量 α3 (X) n i=1 (xi − x̄n )
1
P n 4
峰態衡量 α4 (X) n i=1 (xi − x̄n )

M.-Y. Chen Basic Statistics

樣本估計式

1
Pn 1
Sample 1 {x11 , x12 , . . . , x1n } ⇒ x̄1n = xi
n
1
Pi=1
n
Sample 2 {x21 , x22 , . . . , x2n } ⇒ x̄2n = x2i
n
1
Pi=1
n
Sample 3 {x31 , x32 , . . . , x3n } ⇒ x̄3n = n i=1 xi
3

.. ..
. .
1
Pn N
Sample N {xN N N N
1 , x2 , . . . , xn } ⇒ x̄n = n i=1 xi
x̄n 的抽樣分配為數值{x̄1n, x̄2n , · · · , x̄N
n }當N → ∞在實數線上的
分佈情形; 其分佈情形可用E(x̄n), var(x̄n )),α3 (x̄n ), 及α4 (x̄n )來
描述。

M.-Y. Chen Basic Statistics

樣本估計式的評斷標準
1. 不偏性 (Unbiasedness): E(x̄n ) = E(X),x̄n 稱為不偏估計式 (unbiased
estimator)。
2. 一致性 (Consistancy): limn→∞ x̄n ) = E(X),x̄n 稱為一致估計式
(consistant estimator)。
3. 有效性 (Efficiency): 若x̄1n 和x̄2n 均為不偏, 且var(x̄1n ) < var(x̄2n ),
則x̄1n 較x̄2n 具有效性。
4. 均方誤 (Mean Square Error): E(x̄n − µ)2 , 此標準用以衡量偏誤估計式
(biased estimator)。

MSE(x̄n ) = E[(x̄n − µ)2 ] = E{[x̄n − E(x̄n )] + [E(x̄n ) − µ]}2

= E[x̄n − E(x̄n )]2 + E[E(x̄n ) − θ]2
+2E{[x̄n − E(x̄n )][E(x̄n ) − µ]} = var(x̄n ) + [bias(x̄n )]2 .
M.-Y. Chen Basic Statistics
假設檢定(1)

利用所得到的樣本觀察值 (樣本訊息,sample information) 以瞭解

描述母體分佈情形之衡量參數, 此過程即為「統計假設檢定」。 例如,
利用觀察到之台積電股票價格資料, 以了解台積電股票是否具有正
報酬, 即H0 : µr ≥ 0, 其中H0 表虛無假設 (null hypothesis); 或台
積電的股票市場是否滿足市場效率性假說 (efficient market
hypothesis, EMH)。

M.-Y. Chen Basic Statistics

統計推論基本邏輯
假設樣本觀察值為自母體隨機抽出 (random sampling) 的一組實現值, 即此樣
本具有母體代表性, 則
Pn
1. i=1 xi /n與E(X)很接近; 對於H0 : E(X) = µ0 而言,
P n
若 i=1 xi /n與µ0 很接近, 表示樣本訊息不棄卻虛無假設; 反之,
Pn
若 i=1 xi /n與µ0 離得遠, 表示樣本訊息棄卻虛無假設。
Pn 2 2
2. i=1 (xi − x̄n ) /n與var(X)很接近; 對於H0 : var(X) = σ0 而言,
n
若 i=1 (xi − x̄n )2 /n與σ02 很接近, 表示樣本訊息不棄卻虛無假設; 反之,
P
Pn
若 i=1 (xi − x̄n )2 /n與σ02 離得遠, 表示樣本訊息棄卻虛無假設。
Pn 3
3. i=1 (xi − x̄n ) /n與α3 (X)很接近;
Pn 4
4. i=1 (xi − x̄n ) /n與α4 (X)很接近。

問題: 究竟離多遠才算夠遠使能棄卻虛無假設?

M.-Y. Chen Basic Statistics

樣本觀察值的抽樣分配

若樣本觀察值為自母體隨機抽出, 則每一個樣本觀察值的抽樣分配
與母體分配相同, 換言之,

E(xi ) = E(X), ∀i
var(xi ) = var(X), ∀i
α3 (xi ) = α3 (X), ∀i
α4 (xi ) = α4 (X), ∀i.

若X為常態分配,xi亦為常態分配。

M.-Y. Chen Basic Statistics

樣本平均數的抽樣分配: 平均數

n
!
1X
E(x̄n ) = E x
n i=1 i
n
1X
= E(xi )
n i=1
n
1X
= µ
n i=1
n
= µ = µ.
n
樣本平均數為不偏估計式。
M.-Y. Chen Basic Statistics
樣本平均數的抽樣分配: 變異數

n
!
1X
var(x̄n ) = var x
n i=1 i
n n−1 X
n
!
1 X X
= var(xi ) + 2 cov(xi , xj )
n2 i=1 i=1 j=i+1

1 2

σ2
= nσ = .
n2 n
當n → ∞時,var(x̄n ) → 0, 即樣本平均數為一致估計式。

M.-Y. Chen Basic Statistics

樣本平均數的抽樣分配

若X為常態分配,xi亦為常態分配, 則x̄n = ni=1 xi /n為所有樣本

P

觀察值的線性組合 (linear combination); 因常態分配隨機變數的

線性組合仍為常態分配, 因此x̄n 為常態分配。 綜合以上,

x̄n ∼ N(µ, σ 2 ).

M.-Y. Chen Basic Statistics

假設檢定: 型I及型 II 誤差
推論結果
H0 為真 H0 為偽
棄卻H0 第一型錯誤推論 正確推論
不棄卻H0 正確推論 第二型錯誤推論

通常, 第一型誤差以α表示, 而第二型誤差則以β表示; 根據前面的

定義, 以數學式表示為

α = P (棄卻虛無假設|H0 為真)
β = P (不棄卻虛無假設|Ha 為真)

M.-Y. Chen Basic Statistics

假設檢定過程(1)
統計
2
對象 隨機變數X ∼ N(µX , σX )
問題 母體平均數是否等於特定數µ0
虛無假設 H0 : µ X = µ 0
樣本資料 {x1 , x2 , . . . , xn }
樣本信仰 資料具母體代表性
xi , ∀i具有與X相同分配的抽樣分配
x̄n = n1 ni=1 xi
P
樣本訊息
推論邏輯 x̄n 與µX 很接近
推論依據 若x̄n 與µ0 很接近則不棄卻虛無假設
若x̄n 與µ0 離的遠則棄卻虛無假設

M.-Y. Chen Basic Statistics

假設檢定過程(2)
依據界定 根據x̄n 在虛無假設下的抽樣分配
E(x̄n ) = µX (不偏估計式)
2
var(x̄n ) = σX /n → 0(一致估計式)
2
x̄n ∼ N (µX , σX /n)
H 2
x̄n ∼0 N (µ0 , σX /n)
x̄ H
√n 2 0 ∼ N (0, 1)
−µ 0

σX /n
(n − 1)s2X /σX 2
∼ χ2 (n − 1) given X ∼ N (µX , σX
2
)
x̄ H0
tx̄n = √ 2n −µ0
∼ t(n − 1)
sX /n
非棄卻域:tx̄n ∈ [tα/2 (n − 1), t1−α/2 (n − 1)]
p p
x̄n ∈ [µ0 − tα/2 (n − 1) s2X /n, µ0 + t1−α/2 (n − 1) s2X /n]
α為型 I 誤差
推論結果 若tx̄n 或x̄n 在非棄卻域
則在顯著水準1 − α下不棄卻虛無假設。
問題回答 樣本資料支持母體平均數等於µ0
M.-Y. Chen Basic Statistics
附錄: 樣本變異數的抽樣分配

2
假定一組來自母體X ∼ D(µX , σX )的樣本{x1 , x2 , . . . , xn }, 由前
一節的討論知道樣本平均數x̄n為µX 的不偏及一致估計式,
2
且var(x̄n ) = σX /n, 而在重複抽樣的概念下, 所有觀察值具
2
有var(xi ) = σX 的變異數, 則
Pn
(x − x̄n )2
sx = i=1 i
2
n−1
為樣本變異數 (sample variance)。

M.-Y. Chen Basic Statistics

Pn
i=1 (xi − x̄n )2 的期望值如下:
n
!
X
2
E (xi − x̄n )
i=1
n
( )
2
X
= E [(xi − E(xi )) − (x̄n − E(xi ))]
i=1
" n #
X
2 2
= E {[xi − E(xi )] − 2(xi − E(xi ))(x̄n − E(xi )) + [x̄n − E(xi )] }
i=1
n n
!
X X
= E[xi − E(xi )]2 − 2E [(xi − E(xi ))(x̄n − E(xi ))]
i=1 i=1
n
X
+ E[x̄n − E(xi )]2 .
i=1

M.-Y. Chen Basic Statistics

上式中左邊中括號內的第一項為
n
X n
X
E[xi − E(xi )]2 = var(xi )
i=1 i=1
n
X
2 2
= σX = nσX ,
i=1

M.-Y. Chen Basic Statistics

而第二項為
n
!
X
2E [(xi − E(xi ))(x̄n − E(xi ))]
i=1
n
!
X
= 2E (x̄n − E(xi )) (xi − E(xi ))
i=1
= 2E ((x̄n − E(xi ))(nx̄n − nE(xi )))
= 2nE[(x̄n − E(xi ))2 ] = 2nE[(x̄n − µX )2 ]
σ2 2
= 2nvar(x̄n ) = 2n X = 2σX .
n
而第三項則為
n
X
E[x̄n − E(xi )]2
i=1
n 2
X σX
= var(x̄n ) = n
i=1
n
2
= σX .
M.-Y. Chen Basic Statistics
因此, ni=1 (xi − x̄n )2 的期望值為
P

n
!
X
E (xi − x̄n )2 = nσX2 2
− 2σX 2
+ σX 2
= (n − 1)σX .
i=1

由此結果可知樣本變異數s2x為母體變異數σX 2
的不偏估計式, 即
Pn 2

2 i=1 (xi − x̄n )
E(sx ) = E
n−1
2
(n − 1)σX 2
= = σX .
n−1

M.-Y. Chen Basic Statistics

由於我們已知x̄n 是母體平均數的一致估計式, 因
此,limn→∞ x̄n = µX ; 而且, 因var(X) = E(X 2 ) − E(X)2 ,
則E(X 2 ) = σX 2
+ µ2X , 所以,
Pn 2
i=1 xi
lim = E(X 2 ) = σX
2
+ µ2X .
n→∞ n
是故,
 Pn 2
nx̄2n

n i=1 xi
lim s2x = lim −
n→∞ n→∞ n − 1 n n
2 2 2 2
= σX + µX − µX = σX .
P n
i=1 (xi −x̄n )
2
所以, 樣本變異數s2x = n−1
亦為母體變異數的一致估計式。

M.-Y. Chen Basic Statistics

 2
若母體X的分配為具平均數µX 和變異數σX 的常態分配, 則
xi − µX
∼ N (0, 1), i = 1, . . . , n.
σX

n
X
(n − 1)s2x /σX
2
= (xi − x̄n )2 /σX
2

i=1
n
X
= [(xi − µX ) − (x̄n − µX )]2 /σX
2

i=1
Xn n
X
2
= [ (xi − µX ) − 2(x̄n − µX ) (xi − µX ) + n(x̄n − µX )2 ]/σX
2

i=1 i=1
n
X
= [ (xi − µX )2 − 2n(x̄n − µX )2 + n(x̄n − µX )2 ]/σX
2

i=1
n  2
X xi − µX X̄n − µX
= − σX
σX √
n
i=1
∼ χ (n) − χ2 (1) = χ2 (n − 1).
2

M.-Y. Chen Basic Statistics

附錄:Student-t分配

x̄n − µX
tx̄n = p .
s2x /n
因x̄n 和s2x 均為隨機變數, 則T 亦為隨機變數, 且
x̄n − µX
tx̄n = p
s2x /n
x̄n −µX
√
σX2 /n
= q 2
(n−1)s2x /σX
n−1
N(0, 1)
∼ p = t(n − 1),
χ2 (n − 1)n − 1
其中t(n − 1)表示具(n − 1)自由度的t-分配。
M.-Y. Chen Basic Statistics
附錄:t統計量

檢定虛無假設H0 : µX = µ0 的統計量:
x̄n − µ0
tx̄n =p
s2x /n
√x̄n −µ0
2 /n
σX
= q 2 2
(n−1)sx /σX
n−1
N(0, 1)
∼ p = t(n − 1),
χ2 (n − 1)n − 1

其中t(n − 1)表示具(n − 1)自由度的t-分配。

M.-Y. Chen Basic Statistics