Professional Documents
Culture Documents
概率论与数理统计
概率论与数理统计
2010/4/27 1
概率论与数理统计是研究随机现象
数量规律的一门学科。
2
第一章 概率论的基本概念
• 1.1 随机试验
• 1.2 样本空间
• 1.3 概率和频率
• 1.4 等可能概型(古典概型)
• 1.5 条件概率
• 1.6 独立性
第二章 随机变量及其分布
• 2.1 随机变量
• 2.2 离散型随机变量及其分布
• 2.3 随机变量的分布函数
• 2.4 连续型随机变量及其概率密度
• 2.5 随机变量的函数的分布
第三章 多维随机变量及其分布
• 3.1 二维随机变量
• 3.2 边缘分布
• 3.3 条件分布 3
• 3.4 相互独立的随机变量
第四章 随机变量的数字特征
• 4.1 数学期望
• 4.2 方差
• 4.3 协方差及相关系数
• 4.4 矩、协方差矩阵
第五章 大数定律和中心极限定理
• 5.1 大数定律
• 5.2 中心极限定理
第六章 数理统计的基本概念
• 6.1 总体和样本
• 6.2 常用的分布
4
第七章 参数估计
• 7.1 参数的点估计
• 7.2 估计量的评选标准
• 7.3 区间估计
第八章 假设检验
• 8.1 假设检验
• 8.2 正态总体均值的假设检验
• 8.3 正态总体方差的假设检验
• 8.4 置信区间与假设检验之间的关系
• 8.5 样本容量的选取
• 8.6 分布拟合检验
• 8.7 秩和检验
第九章 方差分析及回归分析
• 9.1 单因素试验的方差分析
• 9.2 双因素试验的方差分析
• 9.3 一元线性回归
• 9.4 多元线性回归
5
第十章 随机过程及其统计描述
• 10.1 随机过程的概念
• 10.2 随机过程的统计描述
• 10.3 泊松过程及维纳过程
第十一章 马尔可夫链
• 11.1 马尔可夫过程及其概率分布
• 11.2 多步转移概率的确定
• 11.3 遍历性
第十二章 平稳随机过程
• 12.1 平稳随机过程的概念
• 12.2 各态历经性
• 12.3 相关函数的性质
• 12.4 平稳过程的功率谱密度
6
概 率 论
7
第一章 概率论的基本概念
关键词:
样本空间
随机事件
频率和概率
条件概率
事件的独立性
8
§1 随机试验
确定性现象
自然界与社会生活中的两类现象
不确定性现象
确定性现象:结果确定
不确定性现象:结果不确定
例:
向上抛出的物体会掉落到地上 ——确定
明天天气状况 ——不确定
买了彩票会中奖 ——不确定
9
概率统计中研究的对象:随机现象的数量规律
对随机现象的观察、记录、试验统称为随机试验。
它具有以下特性:
1. 可以在相同条件下重复进行
2. 事先知道可能出现的结果
3. 进行试验前并不知道哪个试验结果会发生
例:
抛一枚硬币,观察试验结果;
对某路公交车某停靠站登记下车人数;
对某批电子产品测试其输入电压;
对听课人数进行一次登记;
10
§2 样本空间·随机事件
(一)样本空间
定义:随机试验E的所有结果构成的集合称为E的
样本空间,记为S={e},
称S中的元素e为基本事件或样本点.
例:
一枚硬币抛一次 S={正面,反面};
记录一城市一日中发生交通事故次数
S={0,1,2,„};
记录某地一昼夜最高温度x,最低温度y
S={(x,y)|T0≤y≤x≤T1};
记录一批产品的寿命x S={ x|a≤x≤b }
11
(二) 随机事件
一般我们称S的子集A为E的随机事件A,当且
仅当A所包含的一个样本点发生称事件A发生。
例:观察89路公交车浙大站候车人数,S={0,1,2,„};
记 A={至少有10人候车}={10,11,12,„}S,
A为随机事件,A可能发生,也可能不发生。
如果将S亦视作事件,则每次试验S总是发生,
故又称S为必然事件。
为方便起见,记Φ 为不可能事件,Φ 不包含
任何样本点。
12
(三) 事件的关系及运算
事件的关系(包含、相等)
S
1 A B:事件A发生一定导致B发生 B
A
A B
2 A=B
B A
例:
记A={明天天晴},B={明天无雨} B A
记A={至少有10人候车},B={至少有5人候车} B A
一枚硬币抛两次,A={第一次是正面},B={至少有一次正面}
B A
13
事件的运算
A与B的和事件,记为 A B S
A B
A B { x | x A 或 x B }:A与B至少有一发生。
A与B的积事件,记为 A B, A B, AB S
A B { x | x A 且 x B }:A与B同时发生。 A B
n
Ai:A1 , A2 , An至少有一发生
i 1
n
Ai:A1 , A 2 , An同时发生
i 1
当AB=Φ 时,称事件A与B不相容的,或互斥的。 S
A B
14
A B A B { x | x A 且 xB } S
A B
A A S A B S
A的逆事件记为A, , 若 ,称A, B互逆、互斥
A A
A B
S
A A
“和”、“交”关系式
n n n n
某人一共听了17次“概率统计”课,其中有15次迟到,记
f ( A) 15 17 88%
n
A={听课迟到},则
f n ( A)
# 频率 反映了事件A发生的频繁程度。
16
例:抛硬币出现的正面的频率
表 1
试验 n =5 n =50 n =500
序号 nH fn(H) nH fn(H) nH fn(H)
1 2 0.4 22 0.44 251 0.502
2 3 0.6 25 0.50 249 0.498
3 1 0.2 21 0.42 256 0.512
4 5 1.0 25 0.50 253 0.506
5 1 0.2 24 0.48 251 0.502
6 2 0.4 21 0.42 246 0.492
7 4 0.8 18 0.36 244 0.488
8 2 0.4 24 0.48 258 0.516
9 3 0.6 27 0.54 262 0.524
10 3 0.6 31 0.62 247 0.494
表 2
实验者 n nH fn(H)
18
** 频率的性质:
1。 0 f n ( A) 1
2。 f n ( S ) 1
k k
3。 若A1 , A2 ,„,Ak 两两互不相容,则 f n ( Ai ) f n ( Ai )
i 1 i 1
且 f n ( A) 随n的增大渐趋稳定,记稳定值为p.
19
(二) 概率
定义1:f n ( A)的稳定值p定义为A的概率,记为P(A)=p
定义2:将概率视为测度,且满足:
1。 0 P( A) 1
2。 P(S ) 1
k k
3。 若A1 , A2 ,„,Ak 两两互不相容,则 P( Ai ) P( Ai )
i 1 i 1
称P(A)为事件A的概率。
20
P( A) 0不能 A ;
P( A) 1不能 A S;
性质:
1 P( A) 1 P( A)
A A S P( A) P( A) 1 P() 0
2 若A B,则有 P( B A) P( B) P( A) P( B) P( A)
BA AB P( B) P( A) P( AB)
P( B) P( A) P( AB) P( B A) 0 P( B) P( A)
3 概率的加法公式:P( A B) P( A) P( B) P( AB)
A B A ( B AB) P( A B) P( A) P( B AB)
又 B AB,由2。 知P( B AB) P( B) P( AB)
P( A B) P( A) P( B) P( AB)
n n
。
#3 的推广: P( Ai ) P( Ai ) P( Ai Aj )
i 1 i 1 1i j n
1i j k n
P( Ai Aj Ak ) (1) n 1 P( A1 A2 An )
21
§4 等可能概型(古典概型)
定义:若试验E满足:
1. S中样本点有限(有限性)
2. 出现每一样本点的概率相等(等可能性)
P A A所包含的样本点数
S中的样本点数
称这种试验为等可能概型(或古典概型)。
22
例1:一袋中有8个球,编号为1-8,其中1-3
号为红球,4-8号为黄球,设摸到每一
球的可能性相等,从中随机摸一球,
记A={ 摸到红球 },求P(A).
解: S={1,2,„,8}
A={1,2,3}
P A 3
8
23
例2:从上例的袋中不放回的摸两球,
记A={恰是一红一黄},求P(A).
解: P( A) C1C1 / C 2 15 53.6%
3 5 8
28
例3:有N件产品,其中D件是次品,从中不放
回的取n件,
记Ak={恰有k件次品},求P(Ak).
解:P( Ak ) CDk CNnkD / CNn , k 0,1, , n
(注:当L>m或L<0时,记 CmL 0 )
24
例4:将n个不同的球,投入N个不同的盒中(n≤N),设每一球落入各盒
的概率相同,且各盒可放的球数不限,
记A={ 恰有n个盒子各有一球 },求P(A).
解: ②
① ②……n
①
1 2 N 1 2 N
② ②
① …… ①
1 2 N 1 2 N
即当n=2时,共有N2个样本点;一般地,n个球放入N个盒子中,总
样本点数为Nn,使A发生的样本点数 CN n ! P( A) CN n !/ N
n n n
可解析为一个64人的班上,至少有两人在同一天过生日的概率为
99.7%.
25
例5:一单位有5个员工,一星期共七天,
老板让每位员工独立地挑一天休息,
求不出现至少有2人在同一天休息的
概率。
解:将5为员工看成5个不同的球,
7天看成7个不同的盒子,
记A={ 无2人在同一天休息 },
则由上例知:
C75 5!
P A 5
3.7%
7
26
例6: (抽签问题)一袋中有a个红球,b个白球,记a+b=n.
设每次摸到各球的概率相等,每次从袋中摸一球,
不放回地摸n次。
设 Ak { 第k次摸到红球 },k=1,2,„,n.求 P( Ak )
解1:
可设想将n个球进行编号:① ② … n
其中 ① —— a 号球为红球,将n个人也编号为1,2,„,n.
, , , , 可以是①号球,
亦可以是②号
1 2 k n 球……是 n 号
球
视 ① ②… n 的任一排列为一个样本点,每点出现的概率
相等。
a(a b 1)! a
P( Ak ) ----------与k无关
(a b)! ab 27
解2:
视哪几次摸到红球为一样本点
, , , ,
1 2 k n
总样本点数为 Cna ,每点出现的概率相等,而其中有 Cna11 个
样本点使 Ak 发生, a 1 a
a
P( Ak ) Cn 1 / Cn
ab
原
解3: 来
将第k次摸到的球号作为一样本点: 此值不仅与k 这
无关,且与 a, 不
S={ ①,②,…,n },Ak { ①,②,…,a } b都无关,若a 是
a a =0呢?对吗? 等
P( Ak ) 为什么? 可
n ab 能
解4: 概
记第k次摸到的球的颜色为一样本点: 型
S={红色,白色},Ak {红色} P( Ak ) 1 2
28
例7:某接待站在某一周曾接待12次来访,已知所有这12次
接待都是在周二和周四进行的,问是否可以推断接待时间是
有规定的?
解:假设接待站的接待时间没有规定,而各来访者在一周
的任一天中去接待站是等可能的,那么,12次接待来
访者都是在周二、周四的概率为
212/712 =0.000 000 3.
人们在长期的实践中总结得到“概率很小的事件在一次
试验中实际上几乎是不发生的”(称之为实际推断原理)。
现在概率很小的事件在一次试验中竟然发生了,因此有理由
怀疑假设的正确性,从而推断接待站不是每天都接待来访者,
即认为其接待时间是有规定的。
29
§5 条件概率
例:有一批产品,其合格率为90%,合格品中有95%为
优质品,从中任取一件,
记A={取到一件合格品}, B={取到一件优质品}。
则 P(A)=90% 而P(B)=85.5%
记:P(B|A)=95%
1. P(A)=0.90 是将整批产品记作1时A的测度
2. P(B|A)=0.95 是将合格品记作1时B的测度
3. 由P(B|A)的意义,其实可将P(A)记为P(A|S),而这里的
S常常省略而已,P(A)也可视为条件概率
分析:
若记P(B|A)=x,则应有P(A):P(AB)=1:x S
A B
解得: x P( AB)
P( A)
一、条件概率
P( AB)
定义: P( B | A) P( A) P( A) 0
由上面讨论知,P(B|A)应具有概率的所有性质。
例如: P( B | A) 1 P( B | A)
P( B C | A) P( B | A) P(C | A) P( BC | A)
B C P( B | A) P(C | A)
二、乘法公式
当下面的条件概率都有意义时:
P( AB) P( A) P( B | A) P( B) P( A | B)
P( ABC ) P( A) P( B | A) P(C | AB)
P( A1 A2 An ) P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 ) P( An | A1 An1 )
31
例:某厂生产的产品能直接出厂的概率为70%,余下
的30%的产品要调试后再定,已知调试后有80%
的产品可以出厂,20%的产品要报废。求该厂产
品的报废率。
∵AB与 AB
解:设 A={生产的产品要报废} 不相容
B={生产的产品要调试}
已知P(B)=0.3,P(A|B)=0.2, P( A | B ) 0
P( A) P( AB AB ) P( AB) P( AB )
P( B) P( A | B) P( B ) P( A | B )
0.3 0.2 0.7 0 6%
另解:A B, A AB,
利用乘
法公式 P( A) P( AB) P( B) P( A B) 0.3 0.2 6% 32
例:某行业进行专业劳动技能考核,一个月安排一次,每人
最多参加3次;某人第一次参加能通过的概率为60%;如
果第一次未通过就去参加第二次,这时能通过的概率为
80%;如果第二次再未通过,则去参加第三次,此时能通
过的概率为90%。求这人能通过考核的概率。
解: P( A2 | A1 )
1 P( A2 | A1 )
设 Ai={ 这人第i次通过考核 },i=1,2,3 1 0.8 0.2
A={ 这人通过考核 }, A A1 A1 A2 A1 A2 A3
P( A) P( A1 ) P( A1 A2 ) P( A1 A2 A3 )
P( A1 ) P( A1 ) P( A2 | A1 ) P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 )
0.60+0.4 0.8 0.4 0.2 0.9 0.992
亦可:
P( A) 1 P( A) 1 P( A1 A2 A3 ) 1 P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 )
1 0.4 0.2 0.1 0.992
33
例:从52张牌中任取2张,采用(1)放回抽样,(2)不放
回抽样,求恰是“一红一黑”的概率。
解: A1 A2 与 A1 A2
设 Ai={第i次取到红牌},i=1,2 不相容
B={取2张恰是一红一黑}
P( B) P( A1 A2 A1 A2 ) P( A1 A2 ) P( A1 A2 )
P( A1 ) P( A2 | A1 ) P( A1 ) P( A2 | A1 )
利用乘
法公式
(1)若为放回抽样: 1 1 1 1 1 1 1 1 1 1
P( B) C2 ( ) ( )
2 2 2 2 2 2 2
(2)若为不放回抽样: 26 26 26 26 26
P( B) C26C26 / C52
1 1 2
52 51 52 51 51
34
三、全概率公式与Bayes公式
定义:设S为试验E的样本空间,B1,B2,„,Bn
为E的一组事件。若:
(i) B1 B2 Bn S
(ii) Bi B j , i j, i, j 1, 2, , n
则称B1,B2,„,Bn为S的一个划分,或称为一组完备
事件组。
B1 S
即:B1,B2,„,Bn至少有一发生是
必然的,两两同时发生又是不可能的。
B2 Bn
35
定理:设试验E的样本空间为S,A为E的事件。B1,B2,„,Bn为S的
一个划分,P(Bi)>0,i=1,2,„,n;
n
则称:P( A) P( B ) P( A | B ) 为全概率公式
j 1
j j
ABi与AB j
不相容 i j
B1 S
证明:
A AS AB1 AB2 ABn
A
n n
B2 Bn P( A) P( AB j ) P( B j ) P( A | B j )
j 1 j 1
P( Bi A)
P( Bi | A)
P( A)
定理:接上定理条件, P( Bi ) P( A | Bi )
P( Bi | A) n
P( B ) P( A | B )
j j
称此式为Bayes公式。 j 1
36
* 全概率公式可由以下框图表示:
设 P(Bj)=pj, P(A|Bj)=qj, j=1,2,„,n
易知: n
p
j 1
j 1
P1 B1
q1
S P2 B2 q2
. . A
. .
. . qn
Pn Bn
P A P B j P A | B j
n
j 1
37
例:一单位有甲、乙两人,已知甲近期出差的概率为80%,
若甲出差,则乙出差的概率为20%;若甲不出差,
则乙出差的概率为90%。(1)求近期乙出差的概率;
(2)若已知乙近期出差在外,求甲出差的概率。
解:设A={甲出差},B={乙出差}
AB与AB不相容
已知 P( A) 0.80, P( B | A) 0.20, P( B | A) 0.90
P( A ) P( B | A ) P( A) P( B | A )
0.8 0.2 0.2 0.9 34 %
P( AB) P( AB) 16 8
2 P( A | B)
P( B) P( AB) P( AB) 34 17
38
例:根据以往的临床记录,某种诊断癌症的试验具有5%
的假阳性及5%的假阴性:若设A={试验反应是阳性},
C={被诊断患有癌症}
则有: P( A | C ) 5%, P( A | C ) 5%, 已知某一群体
P(C)=0.005,问这种方法能否用于普查?
解:考察P(C|A)的值
若P(C)较大,不妨设P(C)=0.8
P( AC )
P(C | A) 推出P(C|A)=0.987
P( A) 说明这种试验方法可在医院用
P(C ) P( A | C )
0.087
P(C ) P( A | C ) P(C ) P( A | C )
若用于普查,100个阳性病人中被诊断患有癌症的
大约有8.7个,所以不宜用于普查。
39
§6 独立性
例:有10件产品,其中8件为正品,2件为次品。从中取2
次,每次取1件,设Ai={第i次取到正品},i=1,2
不放回抽样时, 7 8
P( A2 | A1 ) P( A2 )
9 10
放回抽样时, 8
P( A2 | A1 ) P( A2 )
10
即放回抽样时,A1的发生对A2的发生概率不影响
同样,A2的发生对A1的发生概率不影响
定义:设A,B为两随机事件, P( A) 0, P( B) 0
若P(B|A)=P(B), 即P(AB)=P(A)*P(B)
即P(A|B)=P(A)时,称A,B相互独立。
40
A, B相互独立 A, B相互独立 A, B相互独立 A, B相互独立
当P AB P A P B 时
P AB P A AB P A P AB P A 1 P B P A P B
定义:设A1 , A2 , , An为n个随机事件,若对2 k n,
k
均有:P Ai1 Ai2 Aik P Ai j
j 1
则称A1 , A2 , , An相互独立
注意:
1 两两独立不能 相互独立
2 实际问题中,常常不是用定义去验证事件的独立性,
而是由实际情形来判断其独立性。
41
例:甲、乙两人同时向一目标射击,甲击中
率为0.8,乙击中率为0.7,求目标被
击中的概率。
解:
设 A={甲击中},B={乙击中}
C={目标被击中}
则:C A B,P(C ) P( A) P( B) P( AB)
∵ 甲、乙同时射击,其结果互不影响,
∴ A,B相互独立
P(C) 0.7 0.8 0.56 0.94
42
例:有4个独立元件构成的系统(如图),设每个元
件能正常运行的概率为p,求系统正常运
行的
概率。
解:设Ai 第i个元件运行正常 , i 1, 2,3, 4
A 系统运行正常
则:A A1 A2 A3 A4
由题意知,A1 , A2 , A3 , A4相互独立
P( A) P( A1 ) P( A2 A3 A 4 ) p( p 2 p p3 )
另解,P( A) P( A1 A2 A3 A1 A4 ) p3 p 2 p5,对吗?
2 3
1 注意:这里系统的概念与电路
4 中的系统概念不同 43
例:甲、乙两人进行乒乓球比赛,每局甲胜的概率为p, p 1 ,
2
对甲而言,采用三局二胜制有利,还是采用五局三胜制有利?
设各局胜负相互独立。
解:设Ai 第i局甲胜 P Ai p, i 1, 2, ,5
再设A 甲胜
1 三局二胜制:
P A P A1 A2 A1 A2 A3 A1 A2 A3 p 2 2 p 2 1 p p1
2 五局三胜制:
P A P A1 A2 A3 前三次有一次输 A4 前四次有两次输 A5
p 3 C31 1 p p 3 C42 1 p p 3 p2
2
p p , 当p 1
2 1
2
P2 P1 3P 2 P 1 2P 1
2
44
p2 p1 , 当p 1
2
总结:
1. 样本空间 S e 随机事件A S
2. 事件的关系: A B; A B
事件的运算:A B; A B; A
n
3. 频率:f n A A
n
0 P A 1; P S 1
概率的定义:满足
当AB 时,P A B P A P B
概率的性质: 1 P A 1 P A
2 当A B时 P A P B
3 P A B =P A P B P AB
P AB
4. 条件概率:P B | A P AB P A P B | A
P A
当B1 , B2 , , Bn为S的一划分时,
n
P ( Bi ) P ( A | Bi )
P ( A) P( B j ) P( A | B j ), P( Bi | A) n
j 1
P( B ) P( A | B )
j 1
j j
45
5. 事件独立性
复习思考题 1
1.“事件A不发生,则A=Ф”,对吗?试举例证明之。
2. “两事件A和B为互不相容,即AB=Ф,则A和B互逆”,对吗?
反之成立吗?试举例说明之。
6. 一口袋中有10个球, 其中有1个白球及9个红球。从中任意取一球
设A 取到白球 , 则A 取到红球 , 且设样本空间为S , S A, A ,
46
S中有两个样本点, 而A是其中一个样本点,问P A 12 对吗?
7.如何理解样本点是两两互不相容的?
8.设A和B为两随机事件,试举例说明P(AB)=P(B|A)表示不同的意义。
11.设A和B为两事件,且P(A)≠0,P(B)≠0,问A和B相互独立、A和B互不相容能
否同时成立?试举例说明之。
12.设A和B为两事件,且P(A)=a,P(B)=b,问:
(1) 当A和B独立时,P(A∪B)为何值?
47
(2) 当A和B互不相容时, P(A∪B)为何值?
13.当满足什么条件时称事件组A1,A2,„,An为样为本空间
的一个划分?
14.设A,B,C为三随机事件,当A≠B,且P(A)≠0, P(B)≠0时,
P(C|A)+P(C|B)有意义吗?试举例说明。
15.设A,B,C为三随机事件,且P(C)≠0,
问P(A∪B|C)=P(A|C)+P(B|C)-P(AB|C)是否成立?
若成立,与概率的加法公式比较之。
48
第二章 随机变量及其分布
关键词:
随机变量
概率分布函数
离散型随机变量
连续型随机变量
随机变量的函数
49
§1 随机变量
* 常见的两类试验结果:
示数的——降雨量;候车人数;发生交通事故的次数…
示性的——明天天气(晴,多云…);化验结果(阳性,阴性)…
* 中心问题:将试验结果数量化
s x
e X=f(e)--为S上的单值函数,X为实数
* 定义:随试验结果而变的量X为随机变量
离散型的
* 常见的两类随机变量
连续型的 50
§2 离散型随机变量及其分布
定义:取值可数的随机变量为离散量
离散量的概率分布(分布律)
… …
x1
pi 0, pi 1
X x2 xi
p1 p2 … pi …
P i 1
样本空间S={ X=x1,X=x2,…,X=xn,… }
由于样本点两两不相容
1 P( S ) P( X xi ) pi
i 1 i 1
# 概率分布 1、写出可能取值--即写出了样本点
2、写出相应的概率--即写出了每一个样本点出现的概率
51
例:某人骑自行车从学校到火车站,一路上要经
过3个独立的交通灯,设各灯工作独立,且设
各灯为红灯的概率为p,0<p<1,以X表示首次
停车时所通过的交通灯数,求X的概率分布律。
解:
设Ai={第i个灯为红灯},则P(Ai)=p,i=1,2,3
且A1,A2,A3相互独立。
P( X 0) P( A1 ) p ; P( X 1) P( A1 A2 ) (1 p) p ;
P( X 2) P( A1 A2 A 3 ) (1 p)2 p ;
P( X 3) P( A1 A2 A 3 ) (1 p)3 ;
X 0 , X 1 , X 2
注意:
X 0 1 2 3 X 3 为S的一个划分
2 3
p p p(1-p) (1-p) p (1-p)
52
例:从生产线上随机抽产品进行检测,设产品
的次品率为p,0<p<1,若查到一只次品就
得停机检修,设停机时已检测到X只产品,
试写出X的概率分布律。
解:设Ai={第i次抽到正品},i=1,2,„
则A1,A2,„相互独立。
亦称X为服从参数p的几何分布。
53
三个主要的离散型随机变量 样本空间中只
有两个样本点
X 0 1
0-1(p) 分布 p q p (p+q=1)
二项分布
* n重贝努利试验:设试验E只有两个可能的结果: A, A
p(A)=p,0<p<1,将E独立地重复进行n次,则称这一串重复
的独立试验为n重贝努利试验。
在相同条件下
即每次试验结果 重复进行
互不影响
54
例:
1. 独立重复地抛n次硬币,每次只有两个可能的结果:
正面,反面, P 出现正面 1 2
2.将一颗骰子抛n次,设A={得到1点},则每次试验
只有两个结果:
A, A, P A 1 6
3.从52张牌中有放回地取n次,设A={取到红牌},则
每次只有两个结果:
A, A, P A 1 2
如果是不放回抽样呢?
55
设A在n重贝努利试验中发生X次,则
P( X k ) Cnk p k (1 p)nk ,k 0, 1,,n
并称X服从参数为p的二项分布,记 X b(n,p)
n
注:1 ( p q) C p q
n
其中q 1 p
k
n
k nk
k 0
P( X 1) P( A1 A 2 A3 A1 A 2 A3 A1 A 2 A3 ) C31 p1 (1 p)31
P( X 2) P( A1 A 2 A3 A1 A 2 A3 A1 A 2 A3 ) C32 p 2 (1 p)32
P( X 3) P( A1 A 2 A3 ) p3
57
解:按第一种方法。
以X 记“第一人维护的20台中同一时刻发生故障的台数”。
以Ai i 1, 2,3, 4 表示事件“第i人维护的20台中发生故障不能
及时维修”,则知80台中发生故障不能及时维修的概率为:
P A1 A2 A3 A4 P A1 P X 2
而X b 20,0.01 , 故有:
0.01 0.99
1 1
P X 2 1 P X k 1 C20
20 k
0.0169
k k
k 0 k 0
即有:P A1 A2 A3 A4 0.0169
按第二种方法。以Y 记80台中同一时刻发生故障的台数,
此时, Y b 80, 0.01 ,
故80台中发生故障而不能及时维修的概率为:
P Y 4 1 C80k 0.01 0.99
3
80 k
0.0087
k
k 0
58
例:某人骑了自行车从学校到火车站,一路上
要经过3个独立的交通灯,设各灯工作独
立,且设各灯为红灯的概率为p,0<p<1,
以Y表示一路上遇到红灯的次数。
(1)求Y的概率分布律;
(2)求恰好遇到2次红灯的概率。
解:这是三重贝努利试验 Y b(3, p)
1 P (Y k ) C3
k k
p (1 p ) 3 k
, k 0,1, 2,3
2 P(Y 2) C32 p 2 (1 p)
59
例:某人独立射击n次,设每次命中率为p,
0<p<1,设命中X次,(1) 求X的概率分布
律;(2) 求至少有一次命中的概率。
解:这是n重贝努利试验 X b(n, p)
1 P( X k ) Cnk p k (1 p)nk ,k 0,1, , n
2 P( X 1) 1 P( X 0) 1 (1 p)n
同时可知: nlim P( X 1) 1
上式的意义为:若p较小,p≠0,只要n充分大,至
少有一次命中的概率很大。即“小概率事件”在大
量试验中“至少有一次发生”几乎是必然的。60
例:有一大批产品,其验收方案如下:先作第一次检验,
从中任取10件,经检验无次品接受这批产品,次品数大
于2拒收;否则作第二次检验,从中任取5件,仅当5件
中无次品便接受这批产品,设产品的次品率为p.
求这批产品能被接受的概率L(p).
解:
设X为第一次抽得的次品数,Y为第2次抽得的次品数;
则X~b(10,p),Y~b(5,p), P( A |1 X 2)
P(Y 0 |1 X 2)
且{X=i}与{Y=j}独立。A={接受该批}。
P(Y 0)
L( P) P( X 0) P( A | X 0) P(1 X 2) P( A |1 X 2)
P( X 2) P( A | X 2)
L(P)=P(A)
(1 p)10 [10 p(1 p)9 45 p 2 (1 p)8 ] (1 p)5
61
泊松分布(Poisson分布)
若随机变量X的概率分布律为
e k
P( X k ) ,k 0,1, 2, , 0
k!
称X服从参数为λ 的泊松分布,记 X ~ ( )
当n 10, p 0.1时,
k
Cnk p 1 p
k nk
e , 其中 np
k!
63
§3 随机变量的分布函数
随机变量X , 对实变量x, P( X x) 应为x的函数
定义:随机变量X , 对任意实数x, 称函数
F ( x) P( X x)为X 的概率分布函数,简称分布函数。
F ( x)的几何意义: X
x
F ( x)的性质:
1) 0 F ( x) 1
2) F ( x)单调不减,且F () 0,F () 1
0 P( x1 X x2 ) F ( x2 ) F ( x1 )
64
X 0 1
例:
p q p
求X的概率分布函数F x 及P X 1的值。
解:
0 x0
F ( x) P X x q 0 x 1
1 F x
x 1
1
P( X 1) p q
0 1 x
比较 P( X 1) p 与 当x 1时,F ( x) 1
65
§4 连续型随机变量及其概率密度
则称X为连续型随机变量,
其中 f ( x) 称为X的概率密度函数,简称概率密度。
66
f ( x)的性质: y f ( x)
面积为1
1) f ( x) 0
+
2)
f ( x)dx 1
P x1 X x2
3) 对于任意的实数x1,x2 ( x2 x1 )
P x1 X x2
x2
x1
f (t ) dt P( X a ) 0
4) 在f ( x)连续点x,F '( x) f ( x)
即在f ( x)的连续点 x1 x2
F ( x x) F ( x) P( x X x x)
f ( x) F '( x) lim lim
x 0 x x 0 x
与物理学中的质量线密度的定义相类似
P( x X x x) f ( x) x
f ( x)表示X 落在点x附近的概率的多少 67
c 0 x 1
例:设X的概率密度为 f ( x) 2 9 3 x 6
0 其他
(1)求常数c的值; (2) 写出X的概率分布函数;
2
(3) 要使 P( X k ) ,求k的值。
3
解:
2 6
2 1
1
1 1 f (t ) dt c 0 9 3 3 c c 3
dt dt
2 F ( x) P X x
0 x0
x1 0 x0
0 3 dt 0 x 1 x 3 0 x 1
11
dt 1 x 3 1 3 1 x 3
0 3
11 x 2 (2 x 3) / 9 3 x 6
dt dt 3 x 6
03 3 9
1 x6
1 x6
2
3 使 P( X k ) F (k ) k 4.5 68
3
几个重要的连续量
均匀分布 1
x ( a, b)
定义:X具有概率密度 f ( x) b a
0 其他
称X在区间(a,b)上服从均匀分布,
记为X~U(a,b)
设 a c cl b 0 xa
xa
c l 1 l
P (c X c l ) dt ----与c无关 F ( x) a xb
c ba ba b a
1 xb
f x F x
1
ba
0 a b x 0 a b x
69
例:在区间(-1,2)上随机取一数X,试写出X的概率
密度。并求 P( X 0) 的值;
若在该区间上随机取10个数,求10个数中恰有
两个数大于0的概率。
1
, 1 x 2
解:X在区间(-1,2)上均匀分布 f ( x) 3
0, 其他
2
P( X 0) , 设10个数中有Y个数大于0,
3
则:
2 8
2 2 2 1
Y b(10, ) P(Y 2) C10
3 3 3
70
指数分布
e x x 0
定义:设X的概率密度为 f ( x)
0 x0
其中λ >0为常数,则称X服从参数为λ的指数
分布。记为 X EP( )
1 e x x 0
F ( x)
0 x0
X具有如下的无记忆性:
P ( X t0 t )
P( X t0 t | X t 0 )
P ( X t0 )
1 F (t 0 t )
e t P( X t )
1 F (t 0 ) 71
例:某大型设备在任何长度为t的区间内发生故障的次数N t
服从参数为t 的Poisson分布,记设备无故障运行的时间为T
1 求T的概率分布函数;
2 已知设备无故障运行10个小时,求再无故障运行
8个小时的概率。
解:1 P N t k e t t / k !, k 0,1, 2,
k
FT t P T t 1 P T t
当t 0 时,FT t 0
当t 0 时,FT t 1 P N t 0 1 et
P T 18
2 P T 18 | T 10 e8 P T 8
P T 10
72
正态分布 ( x )2
1
定义:设X的概率密度为 f ( x) 2 e , x
2 2
其中 , 为常数,称X服从参数为
2
, 的正态分布(Gauss分布),
2
记为 X N ( , 2 )
可以验算: f ( x)dx 1
x
令t 2 t2
+ t
1 e dt 1 e dt
f ( x)dx
2
2
2 2
2
t
记 I e dt 2
( x 2 y2 ) r2
2
I e
2 2
dxdy d re dr I 2 f ( x)dx 1
2
0 0
73
X ~ N ( , 2 )
1 f ( x)关于x 对称
1
2 f max f ( )
2
3 lim f ( x) 0
x
称μ 为位置参数(决定对称轴位置)
σ 为尺度参数(决定曲线分散性)
f x f x 0.5
5 5 0.798
1.0
0.399 1.5
0.266
0 1 x
0 x
74
X的取值呈中间多,两头少,对称的特性。
在自然现象和社会现象中,大量随机变量
服从或近似服从正态分布。
75
记 Z ~ N (0,1),称Z 服从标准正态分布
x2
1 2
Z的概率密度: x e
2 t2
x 1 2
Z的分布函数: ( x) e dt
2
y ( x ) y
( x)
( x) x x 1
x 0 x x
b a
当 X ~ N ( , 2 ) 时 P ( a X b) ( ) ( )
( x )2
b 1
P(a X b) e 2 2
dx
a
2
b
x
t2
1
作变换: t P(a X b) a e dt2
76
2
例:X ~ N ( , ) 2 查书后附表
P( X ) P( X )
(1) (1) 2 (1) 1 0.6826
P( X 2 ) 2 (2) 1 0.9544
P( X 3 ) 2 (3) 1 0.9974
3 2 2 3
68.26%
95.44%
99.74%
77
例:一批钢材(线材)长度 X (cm) ~ N ( , 2 )
(1)若μ =100,σ =2,求这批钢材长度小于97.8cm
的概率;(2)若μ =100,要使这批钢材的长度至少
有90%落在区间(97,103)内,问σ 至多取何值?
97.8 100
(1) P( X 97.8) (
解: ) 1 (1.1)
2
查附表
=== 1 0.8643 0.1357
则Y服从什么分布?
X -1 0 1
例:已知X具有概率分布 pi 0.2 0.5 0.3
且设Y=X2,求Y的概率分布。
解:Y的所有可能取值为0,1
P(Y 0) P( X 0) 0.5
P(Y 1) P ( X 1) ( X 1) P( X 1) P( X 1) 0.5
即找出(Y=0)的等价事件(X=0);
(Y=1)的等价事件(X=1)或(X=-1) 80
x
, 0 x4
例:设随机变量X具有概率密度 f X ( x) 8
2 0, 其他
求Y=X 的概率密度。
解:分别记X,Y的分布函数为 FX ( x),FY ( y)
FY ( y) P Y y P X 2 y P y X y
当 y 0时,F Y ( y) 0; 当 y 16时,FY ( y) 1
d x
f ( x)连续时, f (t )dt f ( x)
dx a
d u( x)
当 0 y 16 时, dx a
f (t )dt f (u ( x))u '( x)
FY ( y) P 0 X y FX ( y )
y
f X (t )dt
1 1 y 1
f X ( y ), 0 y 16 , 0 y 16
fY ( y ) 2 y 2 y 8 16
其他
0, 0, 其他
Y在区间(0,16)上均匀分布。 81
一般,若已知X的概率分布,Y=g(X),求Y的
概率分布的过程为:
1. 若Y 为离散量,则先写出Y的可能取值:
y1 , y2 , yj, , 再找出Y y j 的等价
事件( X D), 得P(Y yi ) P( X D);
2. 若Y 为连续量,则先写出Y的概率分布函数:
FY ( y ) P(Y y ),找出Y y 的等价事件( X D),
得FY ( y ) P( X D);再求出Y的概率密度函数fY ( y );
关键是找出等价事件。
82
例:设 X -1 0 1
p 1 1 1
3 3 3
Y=2X,Z=X2,求Y,Z的概率分布。
解:Y的可能取值为-2,0,2
Z的可能取值为0,1
(Y=-2)的等价事件为(X=-1)„
(Z=1)的等价事件为(X=1)∪(X=-1)
Y -2 0 2
故得: p 1 1 1
3 3 3
Z 0 1
p 1 2
3 3
83
例:设X 的概率密度为f ( x),x ,Y X 2,
求Y的概率密度fY ( y )
解:设Y的概率分布函数为FY ( y)
y
当 y 0时,FY ( y) P(Y y) P( X y) 2
f (t )dt
y
y y
f (t )dt f (t )dt
0 0
1
[ f ( y ) f ( y )] , y0
f Y ( y) FY '( y) 2 y
y0
0,
84
定理:设X f X ( x), x ,g '( x) 0 (或g '( x) 0)。
Y g ( X ),则Y 具有概率密度为:
f X (h( y )) h '( y ) , y
f Y ( y)
0, 其他
其中 min( g (), g ()), max( g (), g ()),
h( y ) x y g ( x ) y y=g(x)
y
证明:不妨设g '( x) 0, 则g x 为单调增函数, h(y),y
且:h '( y) 0 0 x
86
X
例:设X ~ N ( , 2 ),Y ,求Y的概率密度fY ( y)
解: x
y g ( x) , g '( x) 1 0, x h( y) y
y 2
1 2
fY ( y) f X ( y ) e Y ~ N (0,1)
2
一般若X ~ N ( , 2 ),Y aX b Y ~ N (a b, a 2 2 )
x
, 0 x4
例:若X f ( x) 8 Y X 3,求 fY ( y )。
0, 其他
1
解: y g ( x) x ,x y 3 h( y)
3
2 1
1
g '( x) 3x 0, fY ( y ) y 3 f X ( y 3 )
2
3
1 3
1
y , 0 y 64
fY ( y ) 24
0, 其他
87
例:设X 服从参数为的指数分布,F x 为X 的分布函数。
1 求F x ;
2 设Y F X , 试证Y U 0,1 即均匀分布。
e x , x 0 1 e x , x 0
1 由前知,X f x
解: F x
0 ,x0 0 ,x0
1 e X , X 0
2 Y F X 0 Y 1
0 ,X 0
记FY y 为Y的概率分布函数,
当y 0时,FY y P Y y 0 当y 1时,FY y P Y y 1
当0 y 1时,FY y P 1 e X y P e X 1 y
1
ln1 y
1
P X ln 1 y 1 e
y
0, y0
即 FY y y, 0 y 1 , Y U 0,1
1, y 1
88
复习思考题 2
1.什么量被称为随机变量?它与样本空间的关系如何?
2.满足什么条件的试验称为“n重贝努里试验”?
3.事件A在一次试验中发生的概率为p,0<p<1。若在n次独立重复的试
验中,A发生的总次数为X,则X服从什么分布?并请导出:
P X k Cnk p k 1 k , k 0,1, , n
nk
4.什么条件下使用泊松近似公式等式较为合适?
5.什么样的随机变量称为连续型的?
6.若事件A为不可能事件,则P(A)=0,反之成立吗?又若A为必然事件,
则P(A)=1,反之成立吗?
7.若连续型随机变量X在某一区间上的概率密度为0,则X落在该区间
的概率为0,对吗?
8.若随机变量X在区间(a,b)上均匀分布,则X落入(a,b)的任意一子区间
(a1,b1)上的概率为(b1-a1)/(b-a),对吗?
9.若X~N(μ,σ2),则X的概率密度函数f(x)在x=μ处值最大,因此X落在89
μ附近的概率最大,对吗?
概 率 论
90
第三章 多维随机变量及其分布
关键词:
二维随机变量
分布函数 分布律 概率密度
边缘分布函数 边缘分布律 边缘概率密度
条件分布函数 条件分布律 条件概率密度
随机变量的独立性
Z=X+Y的概率密度
M=max(X,Y)的概率密度
N=min(X,Y)的概率密度
91
§1 二维随机变量
问题的提出
例1:研究某一地区学龄儿童的发育情况。仅研究身 高
H的分布或仅研究体重W的分布是不够的。需 要同时考察
每个儿童的身高和体重值,研究身 高和体重之间的关系,这就
要引入定义在同一 样本空间的两个随机变量。
例2:研究某种型号炮弹的弹着点分布。每枚炮弹的 弹
着点位置需要由横坐标和纵坐标来确定,而 它们是定义
在同一样本空间的两个随机变量。
92
定义:设E是一个随机试验,样本空间S={e};
设X=X(e)和Y=Y(e)是定义 y
在S上的随机变量,由它们构成的 X e ,Y e
向量(X,Y)叫做二维随机向量
或二维随机变量。
e x
S
定义:设(X,Y)是二维随机变量对于任意实数x,y,
二元函数 y
F ( x, y ) P ( X x) (Y y ) x, y
记成
P( X x, Y y )
称为二维随机变量(X,Y)的分布函数。 0 x
93
分布函数 F ( x, y的性质
)
y1 y2 F ( x, y1 ) F ( x, y2 )
x1 x2
94
3 F x, y 关于x, y右连续,即:
。
lim F ( x , y) F ( x, y)
0
lim F ( x, y ) F ( x, y)
0
y2
y1
4 若x1 x2 , y1 y2 x1 x2
F ( x2 , y2 ) F ( x2 , y1 ) F ( x1 , y2 ) F ( x1 , y1 ) 0
因为P x1 X x2 , y1 Y y2 F ( x2 , y2 ) F ( x2 , y1 ) F ( x1 , y2 ) F ( x1 , y1 ) 0
95
二维离散型随机变量
定义:若二维随机变量(X,Y)全部可能取到的不同值是有
限对或可列无限对,则称(X,Y)是离散型随机变量。
Y y y2 … yj …
X 1
离散型随机变量的联合概率分布: x1 p11 p12 … p1j …
…
xi pi1 pi2 … pij …
称P X xi , Y y j pij , i, j 1, 2, … … …
…
为二维离散型随机变量(X,Y)的联合概率分布。
可以用如右表格表示:
96
分布律的性质
1 pij 0,i, j 1, 2, 2 P
i 1 j 1
ij 1
例1:设随机变量X在1、2、3、4四个整数中等可能地取
一个值,另一个随机变量Y在1~X中等可能地取一
整数值,试求(X,Y)的联合概率分布。
解:(X=i,Y=j)的取值情况为:i=1,2,3,4;
j取不大于i的正整数。 X
Y 1 2 3 4
1 1 ⅛
P( X i, Y j ) P( X i ) P(Y j | X i ) 1 ¼ 1
12
1
16
4 i
i 1, 2,3, 4;j i 2 0 ⅛ 1
12
1
16
3 0 0 1
12
1
16
即(X,Y)的联合概率分布为:
4 0 0 0 1
16
97
例2:某足球队在任何长度为 t 的时间区间内得黄牌 或红牌
的次数N t 服从参数为 t 的Poisson分布, 记X i为比赛
进行ti 分钟后的得牌数, i 1, 2 t2 t1 。
试写出X 1 , X 2的联合分布。
e t t
k
解:P N t k , k 0,1, 2,
k!
P X1 i, X 2 j P X1 i P X 2 j | X1 i
j i
t2 t1
t2 t1
t1
t1
i
e e
, i 0,1, 2, , j i, i 1,...
i! ( j i)!
98
二维连续型随机变量
定义:对于二维随机变量 X , Y 的分布函数F x, y ,
如果存在非负函数f x, y ,使对于任意x, y,
y x
有F ( x, y ) f (u, v)dudv
称 X , Y 为连续型的二维随机变量
称f x, y 为二维随机变量 X , Y 的概率密度
99
概率密度的性质:
1. f x, y 0
2.
f ( x, y)dxdy 1
3. 设G是xoy平面上的区域,点 X , Y 落在G内的概率为:
P(( X , Y ) G ) f ( x, y )dxdy
G
2 F ( x, y)
4.在f ( x, y)的连续点(x,y),有 f ( x, y)
xy
2 求分布函数F ( x, y);
3 求P(Y X )的概率
解: (1)利用 f ( x, y)dxdy 1, 得
- -
k e2 x dx e
0 0
3 y
dy k 6 1 k 6
101
6e (2 x 3 y ) , x 0,y 0
f ( x, y )
0, 其他
y x
103
§2 边缘分布
二维随机变量(X,Y)作为整体,有分布函数 F ( x, y),
其中X和Y都是随机变量,它们的分布函数
记为:FX ( x),FY ( y称为边缘分布函数。
),
FX ( x) F ( x, )
FY ( y ) F (, y )
事实上,
FX ( x) P( X x) P( X x, Y ) F ( x, )
即在分布函数F ( x, y)中令y ,就能得到FX ( x)
104
对于离散型随机变量(X,Y),分布律为
P( X xi,Y y j ) pij,i, j 1, 2,
X,Y的边缘分布律为: 记为
P(Y y j ) P( X ,Y y j ) pij == p j j 1, 2,
i 1
记为
P( X xi ) P( X xi,Y ) pij == pi i 1, 2,
j 1
注意: y2 … yj … P X x
X Y y1 i
…
…
xi pi1 pi2 … p … pi ·
ij
pij 关于i求和后得到的; … … … …
…
P Y y j p·1 p·2 … p.j … 1
105
对于连续型随机变量(X,Y),概率密度为 f ( x, y)
X,Y的边缘概率密度为: f ( x) f ( x, y )dy
X
fY ( y ) f ( x, y )dx
事实上,
FX ( x) F ( x, ) f (t , y )dy dt
x
x
f X (t )dt
同理:
FY ( y ) F (, y) f ( x, t )dx dt
y
y
fY (t )dt
106
例1:对一群体的吸烟及健康状况进行调查,引入随机变量
0, 健康 0, 不吸烟
X 和Y 如下:X 1, 一般 , Y 10, 一天吸烟不多于15支
2, 不健康
20, 一天吸烟多于15支
根据调查结果,得 X , Y 的如下的联合概率分布:
0.25
2 P X 2 | Y 20 0.794
0.315
107
例2:(X,Y)的联合分布律为 Y -1 0 1
X
已知:P(Y 1| X 1) 0.5 1 0.1 a 0.2
求:(1)a,b的值; 2 0.1 0.2 b
(2)X,Y的边缘分布律;
(3)
P( X 1| Y 1)
解:
(1) 由分布律性质知 a+b+0.6=1 即a+b=0.4
又P(Y 1| X 1) 0.2 0.2 1 a 0.1,b=0.3
0.3 a 0.3 a 2
(2) X 1 2 Y -1 0 1
pi 0.4 0.6 p j 0.2 0.3 0.5
3 P( X 1| Y 1) 52 0.4
108
例3:设G是平面上的有界区域,其面积为A,若二维随机
变量(X,Y)具有概率密度
1 A , ( x, y ) G
f ( x, y )
0 , 其他
则称(X,Y)在G上服从均匀分布。
现设(X,Y)在有界区域 2 上均匀分布,其概
率密度为 x 求边缘概率密度
yx
解: 6, x 2 y x f X ( x),fY ( y)
f ( x, y )
0, 其他
x
x2 6dy 6( x x ), 0 x 1
2
f X ( x) f ( x, y )dy
0, 其他
y 6dx 6( y y ),
f ( x, y )dx y 0 y 1
fY ( y )
0, 其他
109
例4:设二维随机变量 X , Y 的概率密度为:
f ( x, y ) 1
2 1 2 1 2
1 ( x 1 ) 2 ( x 1 )( y 2 ) ( y 2 ) 2
exp 2 2
2(1 )
2
1
1 2 22
x , y
其中 1, 2, 1, 2, 都是常数,且 1 0, 2 0,
1 1;
记为:
( X ,Y ) N ( , ; 2, 2 ; );
1 2 1 2
试求二维正态随机变量的边缘概率密度。
110
解:f X ( x) f ( x, y )dy
1 ( x 1 ) 2 ( x 1 )( y 2 ) ( y 2 ) 2
1 exp 2
2 dy
2 1 2 1 2 2(1 ) 1
2
1 2 22
( x 1 )2 y 2 x 1
2
1
2 1
1 e 2 12
e 2(1 ) 2
dy
2 1 2 1 2
2
( x 1 )2 1 2
y ( x )
1
2 1
1 2 12 1 2 22 (1 2 )
e e dy
2 1
2 2 1 2
( x 1 )2 即二维正态分布的
1 2 12
e x 两个边缘分布都是
2 1 一维正态分布,
( x 2 )2
并且都不依赖于参数
1 2 22
同理 fY ( y ) e , y
2 2
111
§3 条件分布
正如对两事件A,B,若 P( A) 0, 可以考虑条件概率
P( B | A) 一样,对二维离散型随机变量(X,Y),其分布律为:
P( X xi,Y y j ) pij i, j 1, 2,
我们也可以考虑条件概率
若P(Y y j ) p j 0,
P( X xi | Y y j ) i 1, 2,
由条件概率公式可得:
P( X xi,Y y j ) Pij
P( X xi | Y y j ) i 1, 2,
P(Y y j ) pj
112
定义:设(X,Y)是二维离散型随机变量,
对于固定的yj,若 P(Y y ) 0,则称:
j
P( X xi,Y y j ) Pij
P( X xi | Y y j ) i 1, 2
P(Y y j ) Pj
为在Y y j 条件下,随机变量X的条件分布律;
同样,对于固定的xi, 若 P( X xi ) 0,则称:
P( X xi,Y y j ) pij
P(Y y j | X xi ) j 1, 2
P( X xi ) pi
为在X xi 条件下,随机变量Y的条件分布律。
113
例1:盒子里装有3只黑球,4只红球,3只白球,在其中
任取2球,以X表示取到黑球的数目,Y表示取到红球
的只数。求
(1)X,Y的联合分布率;
(2)X=1时Y的条件分布率;
(3) Y=0时X的条件分布率。
解:X, Y的联合分布率为
X Y 0 1 2
2/1
0 1/15 4/15 5
1 3/15 4/15 0
2 1/15 0 0 114
X Y 0 1 2
2/1
由于 P( X 1) 7 15, 0 1/15 4/15 5
故在X=1的条件下,Y的分布律为: 1 3/15 4/15 0
X 0 1 2
P(X=k/Y= 1/5 3/5 1/5
0)
115
例2:一射手进行射击,击中目标的概率为 p(0 p 1),
射击直至击
中目标两次为止,设以X表示首次击中目标所进行的射击次
数,以Y表示总共进行的射击次数,试求X和Y的联合分布律和
条件分布律。
解:( X , Y )的分布律为:
P( X m, Y n) p 2 q n 2 , q 1 p, n 2,3, , m 1, 2, n 1.
X 的边缘分布律为:P( X m)
n m 1
P( X m, Y n)
n m 1
p 2 q n 2 pq m1 , m 1, 2,
n 1
Y的边缘分布律为:P(Y n) P( X m, Y n)
m 1
n 1
p 2 q n 2 (n 1) p 2 q n 2 , n 2,3,
m 1
116
于是对每一n(n 2,3, ), P(Y n) 0,
在Y n条件下,X的条件分布律为:
p 2 q n2 1
P ( X m | Y n) 2 n2
, m 1, 2, , n 1.
(n 1) p q n 1
对每一m(m 1, 2, ), P( X m) 0,
在X m条件下,Y的条件分布律为:
p 2 q n2 n m 1
P(Y n | X m) m 1
pq , n m 1, m 2,
pq
117
定义:条件分布函数
若P(Y y) 0, 则在Y y条件下,X的条件分布函数为:
P( X x, Y y)
FX |Y ( x | y) P( X x | Y y )
P(Y y)
若P(Y y) 0, 但对任给 0, P( y Y y ) 0
则在Y y条件下,X的条件分布函数为:
P( X x, y Y y )
FX |Y ( x | y ) lim P( X x | y Y y ) lim
0 0 P( y Y y )
仍记为P( X x | Y y)
118
定义:条件概率密度
设二维随机变量 X , Y 的概率密度为f ( x, y),
X , Y 关于Y的边缘概率密度为fY ( y),
若对于固定的y, fY ( y) 0
f ( x, y )
则称 为在Y y的条件下,X 的条件概率密度,
fY ( y )
f ( x, y )
记为:f X |Y ( x | y )
fY ( y )
同理,若对于固定的x, f X ( x) 0
f ( x, y)
在X x条件下,Y的条件概率密度为:fY | X ( y | x)
f X ( x)
119
由定义:
f ( x, y)
f X |Y ( x | y) FX |Y ( x | y ) f X |Y ( x | y)
x fY ( y )
事实上,
P ( X x, y Y y )
f X |Y ( x | y) FX |Y ( x | y) lim
x x 0 P( y Y y )
F ( x, y ) F ( x, y )
lim
F ( x, y ) F ( x, y ) 0
lim
x 0 FY ( y ) FY ( y ) x lim FY ( y ) FY ( y )
F ( x, y ) F ( x, y )
2 0
y xy f ( x, y )
x dFY ( y ) fY ( y ) fY ( y )
dy
120
例3:设二维随机变量(X,Y)在区域{(x,y): y <x<1}
内均匀分布,求条件概率密度 f X |Y ( x | y)及P( X 23 Y 12 )
解: 根据题意,(X,Y) 的概率密度为: P( X 23 Y 12 )
1, y x 1 f X Y ( x 12 )dx
f ( x, y ) 23
0, 其他
1 2
Y的边缘概率密度为: 2dx
23 3
1 dx 1 y , 1 y 1
f ( x, y )dx y
fY ( y )
0, 其他 二
分 维
布 均
于是给定y(-1<y<1),X的条件概率密度为: 仍 匀
y 为 分
1 均 布
, y <x 1
f X |Y ( x | y ) 1 y 匀 的
0, 其他 分 条
件
o 布
1 x
121
例4:设数X 在区间 0,1 上随机取值,当观察到X x 0 x 1时,
数Y 在区间 x,1 上随机取值,求Y的概率密度fY ( y )。
分析 : 为求Y的概率密度,就要先求 X , Y 的概率密度;
而根据X的边缘概率密度和Y 在X 给定下的条件概率密度,
1 0 x 1
即可求得 X , Y 的概率密度,而f X ( x)
0 其他
解:对任给x(0 x 1), 在X x条件下,Y的条件概率密度为:
1
x y 1
fY | X ( y | x) 1 x
0 其他
1
x y 1, 0 x 1
故 X , Y 的概率密度为:f ( x, y ) f X ( x) fY | X ( y | x) 1 x
0 其他
所以Y的边缘概率密度为:
y 1
f ( x, y )dx 0 1 x
dx ln(1 y ) 0 y 1
fY ( y )
0 其他
122
§4 相互独立的随机变量
定义:设F ( x, y)及FX ( x), FY ( y)分别是二维随机变量 X , Y
的分布函数及边缘分布函数,若对所有x, y有:
P( X x, Y y) P( X x) P(Y y) 即 F ( x, y) FX ( x) FY ( y)
称随机变量X , Y 相互独立。
若 X , Y 是连续型随机变量,f ( x, y ), f X ( x), fY ( y )分别是
X , Y 的概率密度和边缘概率密度,则X , Y 相互独立的
条件等价于:f ( x, y ) f X ( x) fY ( y )几乎处处成立;
即在平面上除去“面积”为零的集合以外,处处成立。
若 X , Y 是离散型随机变量,则X , Y 相互独立的
条件等价于:P( X xi , Y y j ) P( X xi ) P(Y y j )
即 pij pi p j 对一切i, j都成立。
123
例1:§1例2中X和Y 是否相互独立?(X,Y)具有概率密度
6e (2 x 3 y ) , x 0, y 0
f ( x, y )
0, 其他
X和Y的边缘概率密度分别为:
2e2 x , x 0 3e3 y , y 0
f X ( x) fY ( y )
0, 其他 0 , y 0
故有f ( x, y) f X ( x) fY ( y),因而X , Y 是相互独立的。
连续型随机变量X,Y相互独立,其密度函数有何特征?
结论:f x, y g x h y a x b, c y d ,
其中a, b, c, d 可为有限或无穷。
124
例2: X , Y 具有分布律 右图,则: X 0 1 P(y=j)
Y
P( X 0, Y 1) 1 6 P( X 0) P(Y 1) 1 1
6
2
6
1
2
P( X 0, Y 2) 1 6 P( X 0) P(Y 2) 2 1
6
2
6
1
2
P( X 1, Y 1) 2 6 P( X 1) P(Y 1) P(X=i) 1 2
3 3
P( X 1, Y 2) 2 6 P( X 1) P(Y 2)
因而X , Y 是相互独立的。
X Y 0 1 2 P( X i)
126
例5 证明:对于二维正态随机变量 X , Y ,
X 与Y 相互独立的充要条件是参数 0
证:因为 X , Y 的概率密度为:
f ( x, y ) 1
2 1 2 1 2
1 ( x 1 ) 2 ( x 1 )( y 2 ) ( y 2 ) 2
exp 2
2
2(1 ) 1
2
1 2 22
又由 2例3知,其边缘概率密度的乘积为:
1
( x ) 2
( y ) 2
f X ( x ) fY ( y ) exp 1 1
2
2 1 2
2 1
2
2
2
127
" " 如果 0,则对于所有x, y,有f ( x, y) f X ( x) fY ( y)
即X , Y 相互独立。
" " 反之,若X , Y 相互独立,
由于f ( x, y ), f X ( x), fY ( y)都是连续函数,
故对于所有的x, y,有f ( x, y) f X ( x) fY ( y)
130
边缘分布
X1 , X 2 , , X n 的分布函数F ( x1 , x2 , xn )已知,
则 X1 , X 2 , , X n 的k (1 k n)维边缘分布函数就随之确定。
如:
FX1 ( x1 ) F ( x1 , , , , )
F( X1 , X 2 ) ( x1 , x2 ) F ( x1 , x2 , , , )
P( X1 x1i1 )
i2 ,i3 , in
P( X 1 x1i1 , X 2 x2i2 , , X n xnin )
P( X1 x1i1 , X 2 x2i2 )
i3 ,i4 , in
P( X1 x1i1 , X 2 x2i2 , , X n xnin )
f X1 ( x1 ) f ( x1 , x2 , , xn )dx2 dx3 dxn
f ( X1 , X 2 ) ( x1 , x2 ) f ( x1 , x2 , , xn )dx3dx4 dxn
131
相互独立 若对于所有的x1 , x2 , , xn , 有:
F ( x 1 , x2 , , xn ) FX1 ( x1 ) FX 2 ( x2 ) FX n ( xn )
则称X1 , X 2 , , X n是相互独立的
X1 , X 2 , , X m 与Y1 , Y2 , , Yn 的独立性
设 X1 , X 2 , , X m 的分布函数为F1 ( x1 , x2 , xm ),
Y1 , Y2 , , Yn 的分布函数为F2 ( y1 , y2 , yn ),
X1 , X 2 , , X m , Y1 , Y2 , , Yn 的分布函数为F ( x1 , x2 , xm , y1, y2 , yn )
若F ( x1 , x2 , , xm , y1 , y2 , , yn ) F1 ( x1 , x2 , xm ) F2 ( y1 , y2 , yn )
称 X1 , X 2 , , X m 与Y1 , Y2 , , Yn 相互独立。
132
定理1:
设 X1 , X 2 , , X m 与Y1 , Y2 , , Yn 相互独立,
则X i i 1, 2, , m 与Yj j 1, 2, , n 相互独立。
定理2:
设h x1 , x2 , , xm 和g y1 , y2 , , yn 是连续函数,
则h X1 , X 2 , , X m 和g Y1 , Y2 , , Yn 相互独立。
133
§5 两个随机变量的函数的分布
Z X Y 的分布
设( X , Y )的概率密度为 f ( x, y), 则Z X Y的分布函数为:
z y f ( x, y )dx dy
FZ ( z ) P( Z z )
x y z
f ( x, y )dxdy
z f (u y, y )du dy z
z
f (u y, y)dy du f Z (u )du
故Z的概率密度为:f Z ( z ) f ( z y, y)dy
固定z , y
令x u y 由X , Y的对称性,f Z ( z )又可写成f Z ( z ) f ( x, z x)dx
卷积公式:
将X 和Y 相互独立时,Z X Y的密度函数公式称为卷积公式
即 f X fY f X ( z y ) fY ( y )dy f X ( x) fY ( z x)dx
134
例1:设X和Y是相互独立的标准正态随机变量,求
的概率密度。
Z X Y
解:由卷积公式:
2 ( z x )2
f Z ( z)
x
f X ( x) fY ( z x)dx 1 e 2
e 2
dx
2
2 t x z 2
z
( x z )2 2 z
1 e e 4
dx 1 e e dt
2 t 2 4
2 2
2
2
z 1 z4
即 Z ~ N 0, 2
1 e 4
e
2 2
一般:设X,Y相互独立, X N (1 , 12 ), Y N ( 2 , 2 2 )
则 Z X Y N (1 2 , 12 2 2 )
135
例2:X,Y相互独立,同时服从[0,1]上的均匀分布,求
Z X Y 的概率密度。
解:根据卷积公式:
f Z ( z) f X ( x) fY ( z x)dx x
x=z x=z-1
易知仅当
0 x 1 0 x 1
即
0 z x 1 z 1 x z
0 1 2 z
时上述积分的被积函数不等于零
z
0
参考图得: dx z 0 z 1
1
f Z ( z ) dx 2 z 1 z 2
z 1
0 其他
136
例3:设X,Y相互独立、服从相同的指数分布,概率密度
为: 1 x 求 Z X Y 的概率密度。
e x0
f ( x)
0 x0
解:根据卷积公式:f Z ( z) f X ( x) fY ( z x)dx
当z 0 时,f Z ( z ) 0
当z 0 时,仅当x 0、z x 0 时,上述积分的被积函数不等于零
x zx z
z 1 z
于是当z 0 时,f Z ( z ) 2 e e
dx e
0 2
z
z
2e z0
即 fZ ( z)
0 z0
这是参数为(2, )的分布(Gamma)的密度函数
137
一般的,可以证明:
若X,Y相互独立,且分别服从参数为 ( , ),( , )的分布
1 2
X,Y的概率密度分别为
X Y 服从参数为1 2 , 的分布
则Z证明:这是例3的推广,由卷积公式
1
1 1
x
y e x0
f X ( x) 1 (1 )
f Z ( z) f X ( x) fY ( z x)dx 0
1 0, 0
x0
当z 0时,f Z ( z) 0 1
y
2 1
x1 1 ( z x)2 1
x zx y e y0
z
fY ( y ) 2 ( 2 ) 2 0, 0
当z 0时,f Z ( z ) e
dx
0 1 2 (1 ) ( 2 ) 0 y0
z
e z
1 2
(1 )( 2 ) 0
x1 1 ( z x) 2 1 dx
z
x z t 1 2 1 2 1
z
z
e 1
(1 )( 2 ) 0
1 2 1 1
t (1 t ) dt Az1 2 1e
1
由此可知:Z (1 2 1, ), 且常数A 1 2
(1 2 )
138
M max X , Y , N min X , Y 的分布
设X , Y 是两个相互独立的随机变量,它们的分布函数分别
为FX ( x)和FY ( y), 现在来求M , N的分布函数Fmax ( z )和Fmin ( z )。
M的分布函数为:
Fmax ( z ) P( M z ) P( X z, Y z ) P( X z ) P(Y z )
即 Fmax ( z) FX ( z) FY ( z)
因为 P( N z) P( X z, Y z)
所以 N的分布函数为:
Fmin ( z ) P( N z ) 1 P( N z )
1 P( X z, Y z ) 1 P( X z ) P(Y z )
即 Fmin ( z) 1 (1 FX ( z))(1 FY ( z ))
139
推广到n个相互独立的随机变量的情况
设X1,X2,„,Xn是n个相互独立的随机变量,它们的分布函
数分别为:
FX i ( xi ) i 1, 2, n,
则:
M max X i 及 N min X i的分布函数Fmax z 和Fmin z 为:
1i n 1i n
Fmax ( z ) FX1 ( z ) FX 2 ( z ) FX n ( z )
Fmin ( z ) 1 [1 FX1 ( z )][1 FX 2 ( z )] [1 FX n ( z )]
140
例4:设X与Y的联合分布律为: X Y 1 2
1 0.2 0.1
令U X Y , V max( X , Y ),
2 0.3 0.4
求(U , V )的联合分布率。
解:U V 1 2
2 0.2 0
3 0 0.4
4 0 0.4
141
例5:设系统L由两个相互独立的子系统L1,L2联结而成,联
结的方式分别为:(1)串联;(2)并联;
(3)备用(当系统L1损坏时,系统L2开始工作)。
如图,设L1,L2的寿命分别为X,Y,已知它们的概率
密度分别为:
e x x 0 e x y 0
f X ( x) fY ( y ) 0, 0,且
x0
试分别就以上三种联结方式写出L的寿命Z的概率密度。
0 0 y0
L1 L1
X Y X X
L1 L2 L2 L2
Y Y
142
A.串联的情况 L1 L2
由于当L1,L2中由一个损坏时,系统L就停止工作,所
以L的寿命为Z=min(X,Y);
而X,Y的分布函数分别为:
1 e x x 0 1 e y y 0
FX ( x) FY ( y )
故Z的分布函数为: 0 x0 0 y0
1 e ( ) z z 0
Fmin ( z )
于是Z的概率密度为:
0 z0
143
B. 并联的情况 L1
L2
由于当且仅当L1,L2都损坏时,系统L才停止工作,所
以这时L的寿命为Z=max(X,Y),Z的分布函数为:
e z e z ( )e ( ) z z 0
f max ( z )
0 z0
144
C. 备用的情况 L1
L2
由于这时当系统L1损坏时,系统L2才开始工作,因
此整个系统L的寿命Z是L1,L2寿命之和,即Z=X+Y;
因此:
当Z 0时,f Z ( z ) 0
当Z 0时,f Z ( z )
z
f X ( z y) fY ( y)dy e ( z y ) e y dy
0
z
e [e z e z ]
z
e ( ) y dy
0
[e z e z ] z 0
即 f Z ( z)
0 z0
145
复习思考题 3
1.设(X,Y)为二维向量,
则P{x1<X≤x2,y1<Y≤y2}=F(x2,y2)-F(x1, y1),对吗?
2.设(X,Y)为二维连续量,则P{X+Y =1}=0,对吗?
3.(X,Y)为二维连续型向量,f(x,y)为(X,Y)的联合概率密度,
fX(x)和fY(y)分别为关于X和Y的边缘概率密度,若有一点(x0,y0)使
f(x0,y0)≠ fX(x0)·fY(y0)则X和Y不独立,对吗?
146
第四章 随机变量的数字特征
关键词:
数学期望
方差
协方差
相关系数
147
问题的提出:
在一些实际问题中,我们需要了解随机变量
的分布函数外,更关心的是随机变量的某些特征。
例:
在评定某地区粮食产量的水平时,最关心的
是平均产量;
在检查一批棉花的质量时,既需要注意纤维的
平均长度,又需要注意纤维长度与平均长度的
偏离程度;
考察杭州市区居民的家庭收入情况,我们既知
家庭的年平均收入,又要研究贫富之间的差异
程度; 148
数学期望
例1:甲、乙两人射击比赛,各射击100次,其中甲、乙的成绩
如下:
甲 8 9 10 乙 8 9 10
次数 10 80 10 次数 20 65 15
评定他们的成绩好坏。
8 10 9 80 10 10 8 10 9 80 10 10 9
解:计算甲的平均成绩: 100 100 100 100
8 20 9 65 10 15 8 20 9 65 10 15 8.95
计算乙的平均成绩: 100 100 100 100
所以甲的成绩好于乙的成绩。
对于甲来说, 10 、80 、10 分别是8环、环、
9 10环的概率;
100 100 100
对于乙来说, 20 、65 、15 分别是8环、环、
9 10环的概率;
100 100 100
若用它们相应的概率表示,就得到了数学期望,
也称为均值。 149
定义:设离散型随机变量X 的分布律为:P( X xk ) pk k 1, 2,
若级数 xk pk 绝对收敛,则称级数 xk pk的和为随机变量X
k 1 k 1
的数学期望,记为E X , 即 E X xk pk
k 1
定义:
数学期望简称期望,又称均值。
150
例2:有2个相互独立工作的电子装置,它们的寿命 X k k 1, 2 ,
服从同一指数分布,其概率密度为: f ( x) 1 e x 0 0 x
若将这2个电子装置串联联接 0 x0
组成整机,求整机寿命N(以小时计)的数学期望。
是
解:
1 e x 0
x 指
X k (k 1, 2) 的分布函数F ( x) 数
0 x0 分
布
串联情况下,N min X1 , X 2 , 故N的分布函数为: 的
密
2x 2 2x 度
e x0
Fmin ( x) 1 (1 F ( x)) 2 1 e x0
f min ( x) 函
0 x0 0 x0 数
只要求出一般指数分布的期望(即E(X1)),就可得到E(N).
x x x x
E ( X1 ) x e dx xe |0 0 e dx e |0
1
0
从而E ( N )
2
问题:将2个电子装置并联联接组成整机,
整机的平均寿命又该如何计算? 151
例3:设有10个同种电子元件,其中2个废品。装配仪器
时,从这10个中任取1个,若是废品,扔掉后重取
1只,求在取到正品之前已取出的废品数X的期望。
解:X的分布律为:
X 0 1 2
X 0 1 2
8 2 8 2 1
pk pk 45 8 45 1 45
10 10 9 10 9
E ( X ) 0 4 1 8 2 1 2
5 45 45 9
152
例4:设一台机器一天内发生故障的概率为0.2,机器发生
故障时全天停工。若一周5个工作日里无故障,可获
利10万元;发生一次故障获利5万元;发生2次故障
获利0元,发生3次或以上故障亏损2万元,求一周内
期望利润是多少?
解:设X表示一周5天内机器发生故障天数,
则 X ~ b(5, 0.2)
设Y表示一周内所获利润,则
P(Y 10) P( X 0) (1 0.2)5 0.328,
其余同理可得,于是Y的分布率为:
Y 2 0 5 10
pk 0.057 0.205 0.410 0.328
于是 E (Y ) 5.216
(万元)
153
例5:设 X ( ), 求E ( X )
。
解:X的分布律为:P( X k ) e
k
k 0,1, 0
k!
X的数学期望为:
E( X ) k e
k
k 1
k 0
k!
e
(k 1)!
k 1
e e
即 E( X )
154
例6:
设 X U (a, b),求E ( X )。
1
b-a a x b
解:X 的概率密度为: f ( x)
0 其他
X的数学期望为:
E( X ) xf ( x)dx
b
x dx a b
a ba 2
即数学期望位于区间(a, b)的中点
155
定理:设Y 是随机变量X的函数:Y g ( X ) g是连续函数 ,
X是离散型随机变量,它的分布律为:
P( X xk ) pk , k 1, 2,
若 g ( xk ) pk 绝对收敛,则有E (Y ) E[ g ( X )] g ( xk ) pk
k 1 k 1
X 是连续型随机变量,它的概率密度为f ( x)
若 g ( x) f ( x)dx 绝对收敛
则有E (Y ) E ( g ( X )) g ( x) f ( x)dx
定理的重要意义在于我们求E (Y )时,不必算出Y的分布律或
概率密度,而只要利用X的分布律或概率密度就可以了。
上述定理也可以推广到两个或两个以上
随机变量的函数的情况。 156
定理:设Z是随机变量X , Y的函数:Z g ( X , Y ) g是连续函数 ,
若二维离散型随机变量 X , Y 的分布律为:
P( X xi , Y y j ) pij , i, j 1, 2,
则有E ( Z ) E[ g ( X , Y )] g ( xi , y j ) pij
i 1 j 1
这里设上式右边的级数绝对收敛,
若二维连续型随机变量 X , Y 的概率密度为:
则有E ( Z ) E ( g ( X , Y )) g ( x, y ) f ( x, y)dxdy
这里设上式右边的积分绝对收敛
特别地,E ( X ) xf ( x, y)dxdy
157
例7:已知某零件的横截面是个圆,对横截面的直径X进
行测量,其值在区间(1,2)上均匀分布,求横截
面面积S的数学期望。
1, 1 x 2
解:X 的密度函数为:f ( x)
0, 其他
X2
S
4
E ( S ) x 2 f ( x)dx
4
2
x 2 dx
1 4
7
12
158
例8:设二维随机变量 X , Y 的联合分布律为
X Y 0 1 2
159
例9:设随机变量(X,Y)的概率密度为:
3 1 y x, x 1
3 2
f ( x, y ) 2 x y x 求数学期望E Y , E 1
0 其他 XY 。
解:E (Y ) y 1 yx
x
yf ( x, y)dydx
3 dydx
1 1
x 2x y
3 2 x
3 13 lny |x1 dx 3 lnx dx
2 1 x x 1 x3
3 lnx | 13 dx 3
2 1
3
2 x 2 1 x 4 X=1
) 1 f ( x, y)dydx dx 1 34 3 dy
x
E( 1
XY xy 1
x 2x y
4 1
3 [ 1 ] | x
dx 3 ( 1 1 )dx 3 ( 1 1) 3
1 2x4 2 y 2 x
1
x6 x2 4 5 5
3 dx
1y 2 x3 y 2
0 y 1
考虑:先求E (Y ) yfY ( y )dy,这里 fY ( y ) 3 dx y 1
y 2 x3 y 2
0 其他
你算对了吗?哪个更容易呢? 160
例10:某商店经销某种商品,每周进货量X与需求量Y是相互独立的
随机变量,且都在区间[10,20]上均匀分布。商店每售出一
单位商品可获利1000元;若需求量超过进货量,商店可从它处
调剂供应,这时每单位商品可获利500元;试计算此商店经销
该种商品每周所获得利润的数学期望。
解:设Z表示该种商品每周所得的利润,则
1000Y , 若Y X
Z g( X ,Y )
500(X+Y), 若Y X
X 和Y 相互独立,因此( X , Y )的概率密度为
1 100, 10 x 20,10 y 20
f ( x, y )
0, 其他
E (Z ) g ( x, y ) f ( x, y )dxdy
20 x 20 20
dx 1000 y 1 100 dy dx 500( x y ) 1 100 dy
10 10 10 x
14166.7(元) 161
数学期望的特性:
1.设C是常数,则有E (C ) C
3.设X , Y 是两个随机变量,则有E( X Y ) E ( X ) E (Y )
将上面三项合起来就是:E(aX bY c) aE( X ) bE(Y ) c
这一性质可以推广到任意有限个随机变量线性组合的情况
162
证明:
1. C是常数,P( X C ) 1, E ( X ) E (C ) 1 C C
下面仅对连续型随机变量给予证明:
2. E (CX ) Cxf ( x)dx C xf ( x)dx CE ( X )
3. E ( X Y ) ( x y ) f ( x, y )dxdy
xf ( x, y )dxdy yf ( x, y )dxdy E ( X ) E (Y )
4. E ( XY ) xyf ( x, y )dxdy xyf X ( x) fY ( y )dxdy
xf X ( x )dx yfY ( y )dy E ( X ) E (Y )
163
例11:一民航送客车载有20位旅客自机场出发,旅客有10
个车站可以下车,如到达一个车站没有旅客下车就
不停车,以X表示停车的次数,求
E ( X )。
(设每位旅客在各个车站下车是等可能的,并设各旅
客是否下车相互独立)
解:引入随机变量: 0 第i站没有人下车
Xi i 1, 2, ,10
1 第i站有人下车
易知:X X1 X 2 X10
E ( X i ) P( X i 1) P(第i站有人下车) 1 ( 9 )
20
10
E( X ) E ( X1 ) E ( X 2 ) E ( X 10 )
10[1 ( 9 )20 ] 8.784(次)
10
本题是将X分解成数个随机变量之和,然后利用随机变量和
的数学期望等于随机变量数学期望之和来求数学期望,
这种处理方法具有一定的普遍意义。 164
例12:
设随机变量X 1 , X 2 , X 3 , X 4 相互独立,Xi ~ U (0, 2i ), 求行列式
X1 X2
Y
X3 X4
的数学期望E (Y ).
解:E ( X i ) i, i 1, 2,3, 4.
Y X1 X 4 X 2 X 3
由条件,E (Y ) E ( X 1 X 4 ) E ( X 2 X 3 )
E ( X1 ) E ( X 4 ) E ( X 2 )E ( X 3 )
1 4 2 3 2
165
2 方差
设有一批灯泡寿命为:一半约950小时,另一半约1050小时→平均寿命为1000小时;
另一批灯泡寿命为: 一半约1300小时,另一半约700小时→平均寿命为1000小时;
问题:哪批灯泡的质量更好?
单从平均寿命这一指标无法判断,进一步考察灯泡寿命X与均值
1000小时的偏离程度。
方差─正是体现这种意义的数学特征。
166
定义:
167
对于离散型随机变量X,其分布律为:P( X x k ) pk k 1, 2,
D( X ) [ xk E ( X )]2 pk
k 1
对于连续型随机变量X,
其概率密度为f ( x),
D( X ) [ x E ( X )]2 f ( x)dx
此外,利用数学期望的性质,可得方差得计算公式:
D( X ) E ( X 2 ) [ E( X )]2
E ( X 2 ) 2E( X ) E( X ) [ E( X )]2
E ( X 2 ) [ E ( X )]2 168
例1:设随机变量X具有数学期望 E ( X )
X
方差D( X ) 0,记X
2 *
证明:E ( X * ) 0,D( X * ) 1,称X *为X的标准化变量
证:E ( X * ) 1 E ( X ) 1 [ E ( X ) ] 0
D( X ) E ( X ) [ E ( X * )]2
* *2
X
E[( 2
) ] 1 E[( X ) 2
]
2
2
2 1
169
例2:设随机变量X具有0-1分布,其分布律为:
P( X 0) 1 p,P( X 1) p,求D( X )。
解:
E ( X ) 0 (1 p) 1 p p
E ( X 2 ) 0 (1 p) 1 p p
2 2
所以 D( X ) E ( X 2 ) [ E ( X )]2
p p 2 p(1 p)
170
例3:设X ( ),求 D( X )。
解:
X的分布律为:P( X k ) e
k
k 1, 2, >0
k!
由上节例5已算得E( X )
而 E ( X 2 ) E X ( X 1) X E[ X ( X 1)] E( X )
k (k 1) k
e e
2 k 2
k 0 k! k 2 (k 2)!
2 e e 2
所以 D( X ) E ( X 2 ) [ E ( X )]2
即泊松分布的均值与方差相等,都等于参数
171
例4: 设X ~ U (a, b),求D( X )。
1 a xb
解:X的概率密度为: f ( x) b a
0 其他
上节例6已算得:E ( X ) a b
2
E( X )
2
x f ( x)dx
2 b
x2 1 dx b 3
a 3
a ba 3(b a)
a 2
b 2
ab
3
D( X ) E ( X 2 ) [ E( X )]2
2
a b ab a b 2ab
2 2 2 2 (b a )
3 4 12
172
例5:设随机变量X服从指数分布,其概率密度
为: 1 x
e x0
f ( x) 0,求E ( X ), D( X )。
0 x0
x
解:E ( X ) xf ( x)dx x 1 e dx
0
x x
xe
0| e dx
0
x
E ( X ) x f ( x)dx
2 2
x21 e dx
0
x x
2
x e 0 | 2 xe dx 2 2
0
于是 D( X ) E ( X 2 ) [ E( X )]2 2 2 2 2
即对指数分布而言,方差是均值的平方,而均值恰为参数θ
173
方差的性质:
1. 设C是常数,则D(C ) 0
2. 设X 是随机变量,C是常数,则有D(CX ) C 2 D( X )
3. 设X , Y 是两个随机变量,
则有D( X Y ) D( X ) D(Y ) 2 E [ X E ( X )][Y E (Y )]
特别,若X , Y 相互独立,则有D( X Y ) D( X ) D(Y )
4. D( X ) 0 P( X C) 1 且C E( X )
174
证明:
1. D(C ) E [C E (C )]2 0
4. 证略。
175
例6:
设X b(n, p),求E ( X ), D( X )。
解:随机变量X 是n重伯努利试验中事件A发生的次数,
设P(A)=p。 引入随机变量:
1 A在第k次试验发生
Xk k 1, 2, n
0 A在第k次试验不发生
于是X1 , X 2 , , X n相互独立,服从同一 0 1 分布:
Xk 0 1
易知:X X1 X 2 Xn
pk 1-p p
n n
故知:E ( X ) E ( X i ) E ( X i ) np
i 1 i 1
n n
D( X ) D( X i ) D( X i ) np(1 p)
i 1 i 1
Z的概率密度为: (t ) 1 e 2
2
2
t
于是 E ( Z ) 1
2
te 2
dt 0
2
t
2 2
D(Z ) E (Z )
2 1 t e dt
2
2 2
t t
1 te 2
| 1 e 2
dt 1
2
2
因为X Z,故E ( X ) E ( Z ) ,
D( X ) D( Z ) 2 D( Z ) 2
即正态分布的两个参数 , 2分别是该分布的数学期望和方差。
独立的n个正态变量的线性组合仍服从正态分布:
若X i N ( i , i 2 ) i 1, 2, n 且它们相互独立
则它们的线性组合:
C0 C1 X 1 C2 X 2 Cn X n
N (C0 C11 Cn n , C12 12 C2 2 2 2 Cn 2 n 2 )
C1 , C2 Cn是不全为0的常数
解:按题意需求P( X Y ) P( X Y 0)
由于X Y N (0.10, 0.052 )
故有P( X Y ) P( X Y 0)
0 (0.10)
( )
0.05
(2) 0.9772
179
表1 几种常见分布的均值与方差
分布 分布率或 密度函数 数学期望 方差
0-1分布 P( X k ) p k (1 p)1k p p(1-p)
k 0,1
泊松分布 ( ) P( X k ) k e k !
k 0,1,...,
均匀分布U(a,b) 1 (b a), a x b a+b (b-a)2
f ( x)
0, 其它 2 12
指数分布
EP( ) e x , x 0
f ( x) 1 1 2
0, 其它
正态分布 N ( , )
2
f ( x)
1
2
e
( x )2
2 2
2
x 180
协方差及相关系数
对于二维随机变量(X,Y),除了讨论X与Y的数学期
望和方差外,还需讨论描述X与Y之间相互关系的数字
特征。这就是本节的内容。
定义:
量E [ X E ( X )][Y E (Y )] 称为随机变量X 与Y的协方差,
记为:Cov( X , Y ),即
Cov( X , Y )
XY
D( X ) D(Y )
181
协方差的性质:
1. Cov( X , Y ) Cov(Y , X ),Cov( X , X ) D( X )
2. Cov( X , Y ) E( XY ) E( X ) E(Y )
3. Cov(aX , bY ) abCov( X , Y ) a, b是常数
4. Cov( X1 X 2 , Y ) Cov( X1 , Y ) Cov( X 2 , Y )
2. XY 1 存在常数a, b,使P(Y a bX ) 1
特别的, XY 1时,b 0; XY 1时,b 0
续 183
Cov( X , Y )
已得:a0 E (Y ) b0 E ( X ), b0
D( X )
此时e(a0 , b0 ) E [Y (a0 b0 X )] D[Y (a0 b0 X )] E Y (a0 b0 X )
2 2
[Cov( X , Y )]2
D(Y ) (1 XY
2
) D(Y )
D( X )
1. 由e(a0 , b0 ) 0 1 XY
2
0 XY 1
2. XY 1 E Y (a0 b0 X ) 0
2
D Y (a0 b0 X ) 0且E[Y (a0 b0 X )] 0
P Y (a0 b0 X ) 0 1
Cov( X , Y )
特别,当 XY 1 时,Cov( X , Y ) 0,b0 0
D( X )
当 XY 1 时,Cov( X , Y ) 0,b0 0
184
相关系数 XY 是一个用来表征X , Y 之间线性关系紧密程度的量
当 XY 较大时,e(a0 , b0 )较小,表明X , Y 线性关系的程度较好;
当 XY 1 时, e(a0 , b0 ) 0,表明X , Y 之间以概率1存在线性关系;
当 XY 较小时,e(a0 , b0 )较大,表明X , Y 线性关系的程度较差;
已知P(X = Y )=0,判断X和Y是否不相关?是否
不独立?
解: 先求X , Y的联合分布率:
X Y 1 0 1 p. j
1 0 14 0 14
0 14 0 14 12
1 0 14 0 14
pi. 14 12 14
186
E ( X ) (1) 1 4 0 1 2 11 4 0
E ( XY ) (1) (1) 1 4 (1) 11 4
1 (1) 1 4 111 4 0
所以,COV ( X , Y ) 0,即X 与Y 不相关.
P( X 1, Y 1) 0,
P( X 1) P(Y 1) 1 4 1 4
187
例2:设( X , Y )服从二维正态分布,它的概率密度为:
f ( x, y) 1
2 1 2 1 2
( x 1 ) 2 ( x 1 )( y 2 ) ( y 2 ) 2
exp{ 1 [ 2 ]}
2(1 )
2
12
1 2 22
续 188
而Cov( X , Y ) E ( X 1 )(Y 2 )
( x 1 )( y 2 ) f ( x, y)dxdy
( X 1 )2
( x 1 ) ( y 2 )
e 2 12
dx
2 1
2 2 1 2
2 2
exp 1 [ y (2 ( x 1 ))] dy
2(1 2
) 2
2
1
( X 1 )2
( x 1 )
2
e 2 12
[2 ( x 1 ) 2 ]dx
2 1 1
( X 1 )2
2 ( x 1 )2 2 2
e 2 12
dx 1 1 2
1
2 1 1
Cov( X , Y )
于是 XY
D( X ) D(Y ) 续 189
即二维正态变量( X , Y )的概率密度中的参数
就是X , Y的相关系数,因而二维正态变量的
分布完全可由X , Y 各自的均值、方差以及它
们的相关系数所确定。
若( X , Y )服从二维正态分布,那么X 和Y 相互独立 0
现在知道, XY ,从而知:
对于二维正态变量( X , Y )来说,
X 和Y 不相关 X 与Y 相互独立
190
例3:设X,Y相互独立服从同一分布,
记U=X-Y,V=X+Y,则随机变量U与V是否一
定不相关,是否一定独立?
解: 先求U,V的协方差:
COV (U ,V ) COV ( X Y , X Y ) D( X ) D(Y ) 0
所以,U 与V 一定不相关。
当U 与V 不一定独立。举例如下:
()
1 设X 与Y 独立,服从正态分布,则(U,V)也服从正态分布,
对于二维正态分布,独立与不相关等价,从而U与V独立。
(2) X ~ b(1, 1 2), (即(0 1)分布)
P(U 1,V 0) P ( X Y 1, X Y 0) 0
P(U 1) P ( X Y 1) P ( X 1, Y 0) 1 4,
P(V 0) P ( X Y 0) P ( X 0, Y 0) 1 4,
所以P(U 1,V 0) P(U 1) P (V 0) 191
U 与V不独立。
矩、协方差矩阵
定义:设X 和Y 是随机变量
若E ( X k ) k 1, 2, 存在,
则称它为X 的k阶(原点)矩;
若E [ X E ( X )]k k 1, 2, 存在,
则称它为X 的k阶中心矩;
若E X k Y l 存在 k , l 1, 2, 存在,
则称它为X 和Y的k l阶混合矩;
若E [ X E ( X )]k [Y E (Y )]l k , l 1, 2, 存在,
则称它为X , Y的k l 阶混合中心矩;
192
显然,最常用到的是一、二阶矩
定义:协方差矩阵
设二维随即变量( X 1 , X 2 )的四个二阶中心矩存在,将它们
D( X 1 ) Cov( X 1 , X 2 )
排成矩阵:
,称为( X 1 , X 2 )的协方差矩阵。
Cov( X 2 , X 1 ) D( X 2 )
设 n 维随机变量( X 1 , X 2 , X n ),Cov( X i , X j )
都存在,i, j 1, 2, n
D( X 1 ) Cov( X 1 , X 2 ) Cov( X 1 , X n )
Cov( X 2 , X 1 ) D( X 2 ) Cov( X 2 , X n )
称矩阵
Cov( X n , X 1 ) Cov( X n , X 2 ) D( X n )
为n维随即变量( X 1 , X 2 , X n )的协方差矩阵,
协方差矩阵是一个对称矩阵。 193
利用协方差矩阵,可由二维正态变量的概率密度推广,得到n维正态变量的概率密度。
已知( X 1 , X 2 )服从二维正态分布,其概率密度为:
1 ( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x2 2 ) 2
f ( x1 , x2 ) 1 exp [ 2 ]
2 1 2 1 2
2(1 )
2
12
1 2 22
X1 1 2
1 2
引入列向量:X , , ( X , X )的协方差矩阵为:C 1
X2 2 1 2
1 2 22
它的行列式为 C 12 22 (1 2 )
1
2
2
1 2 1 2
C的逆矩阵为C 1 1
1
2 1
1
C 1 2 12
2
1
22
1 2
( X 1 )2 ( X 1 )(Y 2 ) (Y 2 )2
(X ) C (X )
经计算, T 1 1
[ 2 ]
1 2
12
1 2 22
于是( X 1 , X 2 )的概率密度可写成:f ( x1 , x2 ) 1
(2 ) 2 C
2 1
2
exp 1 ( X )T C 1 ( X )
2
上式容易推广到n维正态变量( X 1 , X 2 , X n )的情况
X1 1 E ( X 1 )
X E ( X )
引入列向量:X 2 = 2 2
,
Xn n E ( X n )
C是( X 1 , X 2 , X n )的协方差矩阵,
( X 1 , X 2 , X n )的概率密度定义为:
f ( x1 , x2 , xn ) 1
(2 ) C 2
n
2
1 exp
2
1 ( X )T C 1 ( X )
n维正态变量具有以下四条重要性质:
1. n维正态变量( X 1 , X 2 , X n )的每一个分量X i , i 1, 2, n都是
正态变量;反之,若X 1 , X 2 , X n都是正态变量,且相互独立,
则( X 1 , X 2 , X n )是n维正态变量;
2. n维随机变量( X 1 , X 2 , X n )服从n维正态分布
X1, X 2 , X n的任意线性组合l1 X 1 l2 X 2 ln X n服从一维正态分布
其中l1 , l2 , ln不全为零
3. 若( X 1 , X 2 , X n )服从n维正态分布,设Y1 , Y2 , Yk 是
X j ( j 1, 2, n)的线性函数,则(Y1 , Y2 , Yk )也服从多维正态分布;
这一性质称为正态变量的线性变换不变性
4. 设( X 1 , X 2 , X n )服从n维正态分布,
则X 1 , X 2 , X n相互独立 X 1 , X 2 , X n两两不相关
196
复习思考题 4
1.叙述E(X)和D(X)的定义。
n n
2.设有一批数据x1 , x2 , , xn , 记x 1
n x , 则 ( x x ) 0, 对吗?
i 1
i
i 1
i
3 2x x 2
,0 x 2
3. 已知随机变量X 具有概率密度:f x 4
其它
0,
求E X , 试问下列哪种解法是正确的?
解法1:
3 2x x2
EX xf x dx
2
x dx 1
0 4
解法2:
2 3 2 x x2
x dx 1, 0 x 2
EX 0 4
0 0 xdx 0 xdx 0, 其它 197
2
4.试述计算随机变量X的函数g(X)的数学期望E[g(X)]的两种方法。
5.设X~N(μ,σ2),用如下两种方法求E(X2):
(1)E(X2)=D(X)+[E(X)]2=σ2+μ2;
(2) E(X2)=E(X.X)=E(X). E(X)=μ2;
两种结果不一样,哪一种错?为什么?
6.设X和Y为两随机变量,且已知D(X)=6, D(Y)=7,
则D(X-Y)=D(X)-D(Y)=6-7=-1<0,这与任意一个随机变量的方
差都不小于零相矛盾,为什么?
198
7.考虑100包水泥的总重量Y用以下两种方式表示:
(1)设第i袋水泥的重量为Xi , i=1,2,„,100, 由题意知,
Xi ~N(50,2.52),Y=∑Xi , 则Y~N(100*50,100*2.52);
(2)设一包水泥的重量为X, 由题意知 X~N(50,2.52)。
若将100包水泥的总重量看成是1包水泥的100倍,即Y=100X,
Y是X的线性函数,则:
E(Y)=100E(X)=100*50, D(Y)=1002D(X)=1002*2.52
Y~N(100*50,1002*2.52)
这两种方法得到的总重量的分布不一样(因为方差不同,后
者方差是前者的100倍),
试问哪一种正确?
8.试问D(X-Y)=D(X)+D(Y)-2cov(X,Y)对吗?
199
数 理 统 计
200
第五章 大数定律和中心极限定理
关键词:
契比雪夫不等式
大数定律
中心极限定理
201
§1 大数定律
背景 本章的大数定律,对第一章中提出的
“频率稳定性”,给出理论上的论证
为了证明大数定理,先介绍一个重要不等式
202
定理5.1 契比雪夫不等式:设随机变量X 具有数学期望E X , 方差D X 2
则对于任意 0, 都有:P X E X 2
2
定理的等价形式为:P X E X 1 2 2
仅就X为连续型时证之 设X的概率密度为f x ,
证明:
x
2
则 P X f x dx f x dx
x x
2
f ( x)
12 x f x dx
2
D X 2
2
2
203
例1:在n重贝努里试验中,若已知每次试验事件A
出现的概率为0.75,试利用契比雪夫不等式估
计n,使A出现的频率在0.74至0.76之间的概率不
小于0.90。
解:设在n重贝努里试验中,事件A出现的次数为X,
则X b n,0.75 ,
E X np 0.75n, D X npq 0.1875n,
又 f n A X
n
而P 0.74 X 0.76 P X 0.75n 0.01n
n
1 0.1875n2 1 1875 0.90
0.01n n
n 18750
204
随机变量序列依概率收敛的定义
定义5.1:设随机变量序列X1 , X 2 , X 3 , , 若存在某常数,
使得 0, 均有:lim P X n 0,
n
则称随机变量序列 X n 依概率收敛于常数,
p
记为:X 。
n
205
定理5.2 契比雪夫不等式的特殊情形 :
设随机变量序列X1 , X 2 , , X n , 相互独立,
且具有相同的数学期望 和相同的方差 2,
n
作前n个随机变量的算术平均:Yn 1 X k
n k 1
则 0,有:
1 n
lim P Yn lim P X k 1
n n
n k 1
1 n
证明:由于E Yn E X k 1 n ,
n k 1 n
1 n
D Yn D X k 12
n
2
1
D X k 2 n
2
n k 1 n k 1 n n
1 n 2 n
由契比雪夫不等式得:P X k 1 2
n k 1
1 n
lim P X k 1
n
n k 1
206
定理5.3 贝努里大数定理
设事件A在每次试验中发生的概率为p,记nA为n次独立重复试验
n
中A发生的次数, 则 0, 有:lim P A p 1
n
n
证明:利用契比雪夫不等式,因nA b n, p , 故:
n
E A 1 E nA 1 np p, D nA 1 D n 1 npq pq
n n n n n2 A
n2 n
n pq
于是, 0, 有P A p 1 2
n n
n
即得:lim P A p 1
n
n
大数定律的重要意义:
贝努里大数定律建立了在大量重复独立试验中事件出现频率的稳
定性,正因为这种稳定性,概率的概念才有客观意义,贝努里大
数定律还提供了通过试验来确定事件概率的方法,既然频率nA/n
与概率p有较大偏差的可能性很小,我们便可以通过做试验确定
某事件发生的频率并把它作为相应的概率估计,这种方法即是在
第7章将要介绍的参数估计法,参数估计的重要理论基础之一就
是大数定理。
207
§2 中心极限定理
背景:
有许多随机变量,它们是由大量的相互独立
的随机变量的综合影响所形成的,而其中每
个个别的因素作用都很小,这种随机变量往
往服从或近似服从正态分布,或者说它的极
限分布是正态分布,中心极限定理正是从数
学上论证了这一现象,它在长达两个世纪的
时期内曾是概率论研究的中心课题。
208
定理5.4 独立同分布的中心极限定理
设nA为n次贝努里试验中A发生的次数,P A p 0 p 1 ,
nA np t
2
则对任何区间 a, b ,有:lim P a
b
b 1 e 2 dt ,
n a 2
np (1 p )
P a nA b
1 第i次试验时A发生
证明:令Xi b np
0 第i次试验时A未发生 ( )
np (1 p )
则X1 , X 2 , , Xn, 相互独立同分布,Xi ~ b(1, p). a np
( )
由于nA X1 X 2 Xn, np (1 p )
nA np b t
2
由定理5.4, lim P a b 1 e 2 dt
n np(1 p) a 2
即:n A (近似) ~ N (np, np(1 p)).
210
例2:设某种电器元件的寿命服从均值为100小时的指
数分布,现随机取得16只,设它们的寿命是相互
独立的,求这16只元件的寿命的总和大于1920小
时的概率。
解:记16只电器元件的寿命分别为X1 , X 2 , , X16 ,
16
则16只电器元件的寿命总和为X X i ,
由题设E X i 100, D X i 100 2 i 1
根据独立同分布的中心极限定理:
16
X 16 100
X 1600 近似服从N 0,1
i
Y i 1
4 100 400
P X 1920 1 P X 1920 1 1920 1600
400
1 0.8 0.2119
211
例3:某保险公司的老年人寿保险有1万人参加,每人每年交200元,
若老人在该年内死亡,公司付给受益人1万元。设老年人死亡
率为0.017,试求保险公司在一年内这项保险亏本的概率。
由德莫佛--拉普拉斯中心极限定理,保险公司亏本的概率为:
212
例4:设某工厂有400台同类机器,各台机器发生故障的概
率都是0.02,各台机器工作是相互独立的,试求机
器出故障的台数不小于2的概率。
7 0.9938
2.8
213
第六章 数理统计的基本概念
关键词:
总体
个体
样本
统计量
2 分布
t 分布
F 分布
214
引言:数理统计学是一门关于数据收集、整理、分析
和推断的科学。在概率论中已经知道,由于大
量的 随机试验中各种结果的出现必然呈现它的
规律 性,因而从理论上讲只要对随机现象进行
足够多次观察,各种结果的规律性一定能清楚
地呈现,但是实际上所允许的观察永远是有限
的,甚至是 少量的。
例如:若规定灯泡寿命低于1000小时者 为次
品,如何确定次品率?由于灯泡寿命试验是
破坏性试验,不可能把整批灯泡逐一检测,只
能抽取一部分灯泡作为样本进行检验,以样本
的信 息来推断总体的信息,这是数理统计学研
究的问题之一。
215
§1 总体和样本
总体:研究对象的全体。如一批灯泡。
个体:组成总体的每个元素。如某个灯泡。
抽样:从总体X中抽取有限个个体对总体进行观察的取值过程。
随机样本:随机抽取的n个个体的集合(X1,X2,„,Xn), n为样本容量
简单随机样本:满足以下两个条件的随机样本(X1,X2,„,Xn)称
为简单随机样本。
1. 每个Xi与X同分布
2. X1,X2,„,Xn是相互独立的随机变量
[说明]:后面提到的样本均指简单随机样本,由概率论知,若总体X
具有概率密度f(x),
则样本(X1,X2,„,Xn)具有联合密度函数:
n
f n x1 , x2 , xn f xi
i 1
216
统计量:样本的不含任何未知参数的函数。
常用统计量:设(X1,X2,„,Xn)为取自总体X的样本
n (二)设X1 , X 2 ,..., X n是
1. 样本均值 X 1 X i
n i 1 总体X 的样本,若
n
2. 样本方差 S 2 1 ( X i X )2 , S为样本标准差 E ( X ) , D( X ) 2,
n 1 i 1
n 则E ( X ) __,
3. 样本矩 k阶矩:Ak 1 X ik k 1, 2,
n i 1 D( X ) ___,
2
n E ( S 2 ) __
2
.
n
k阶中心矩:Bk 1 ( X i X )k k 1, 2,
n i 1
定理6.2:设t个随机变量 X 11 , , X n11 X 1t ,
, X nt t 是相互独立的,
又设对每一个i 1, 2, , t , ni 个随机变量X1i , , X nii是相互独立的,
则随机变量X11 , , X n11 , X 1t , , X nt t 是相互独立的。
218
§2 常用的分布
• 分布
2
服从自由度为n的 2分布,记为 2 2 n
自由度指 1 式右端包含的独立变量的个数
1 n
1 y 2
2y
e y0
定理6.3: n 分布的概率密度为:f n y 2 n 2 2
2
0 y0
其中 x 1e x dx f ( x)
0
n 1
n4
n 10
0 x
2分布的概率密度函数 219
2分布的一些重要性质:
1. 设 2 2 n , 则有E 2 n, D 2 2n
2. 设Y1 2 n1 , Y2 2 n2 , 且Y1 , Y2相互独立,则有Y1 Y2 2 n1 n2
性质2称为 2分布的可加性,可推广到有限个的情形:
m
m
设Yi ni , 且Y1 , Y2 , , Ym相互独立,则 Yi
2
ni
2
i 1 i 1
对给定的概率 , 0 1, 称满足条件 f n y dy 的点2 n 为
n
2
0
2 n x
2分布的分位数 220
例1:设总体X N , 2 , , 2 已知。 X 1 , X 2 , , X n 是取自总体X的样本
n
求(1)统计量 12 2
(X
i 1
i ) 2 的分布;
(2)设n=5,若a(X1 X 2 ) 2 b(2 X 3 X 4 X 5 ) 2 ~ 2 (k ),
则a,b,k各为多少?
Xi
解:(1)作变换 Yi i 1, 2, ,n
显然Y1 , Y2 , , Yn相互独立,且Yi N 0,1 i 1, 2, ,n
n
Xi n
于是 ( ) Yi 2 2 n
2 1
a
2
,
i 1 i 1 2 2
( X1 X 2 )2 b
1
(2) X1 X 2 ~ N (0, 2 ), 2
~ 2
(1) ,
2 2 6 2
(2 X 3 X 4 X 5 )2 k 2.
2 X 3 X 4 X 5 ~ N (0, 6 ),
2
~ 2
(1)
6 2
X 1 X 2与2X 3 X 4 X 5相互独立,
( X 1 X 2 ) 2 (2 X 3 X 4 X 5 ) 2
故 + ~ 2 (2)
2 2
6 2
221
t 分布
定义:设X N 0,1 , Y 2 n , 并且X, Y 相互独立,
则称随机变量T X 服从自由度为n的t分布,记为T t n
Y n
n21 t 2 2
n1
定理6.4:t n 分布的概率密度为:f t , n 1 n , t
n 2 n
对给定的 , 0 1, 称满足条件 f t , n dt 的点t n
t n
3 2 1 0 1 2 3 x 0 t n x
t分布的密度函数
t分布的分位数
222
F分布
定义:设X 2 n1 , Y 2 n2 , 且X, Y 独立,
X / n1
则称随机变量F 服从自由度 n1 , n2 的F 分布,记为F F n1 , n2
Y / n2
其中n1称为第一自由度,n2 称为第二自由度
定理6.5: F n1 , n2 分布的概率密度为:
n n
B n1 , n2 n1 n2 x n2 n1 x
n n n
1 1 1 1 2
x0
1 2
2 2 2 2
f x; n1 , n2 2 2
x0
0
a b
其中B a, b x 1 x dx
1
1 b 1
0 a b
223
对于给定的 , 0 1, 称满足条件 f x; n1 , n2 dx 的点F n1 , n2
F n1 , n2
f x f ( x)
n2 , n1 20
n2 25
n2 10
0 F n1 , n2
0
1 2 x x
F分布的密度函数
F分布的分位数
224
此外, 设X N 0,1 , 若Z 满足条件P X Z , 0 1
则称点Z 为标准正态分布的上 分位数。
Z1 Z
z
225
正态总体样本均值和方差的分布
定理6.6:设 X 1 , X 2 , , X n 是总体N , 2 的样本,X, S 2分别是样本均值和样本方差,则有:
1. X N , n
2
n -1 S 2 2
2. n 1
2
3. X和S 2相互独立
证明:由定理6.6知,
X
N 0,1 ,
n 1 S 2
2 n 1
/ n 2
且两者独立,由t分布定义得:
X n 1 S 2 / nX
/ n 1 t n 1
/ n 2 S
226
定理6.8:设样本 X 1 ,
, X n1 和 Y1 ,
, Yn2 分别来自总体N 1 , 12 和N 2 , 2 2
并且它们相互独立,其样本方差分别为S12 , S22 ,
22 S12
则:1 F 2 2 F n1 1, n2 1
1 S2
2
X Y 1 2
N (0,1),
2
2
1
2
n1 n2
3 当 2
2 2
时,
X Y
2 1 2
t n1 n2 2
1
SW 1 1
n1 n2
其中S 2
n1 1 S12 n2 1 S 22
,S SW2
W
n1 n2 2 W
227
n1 1 S12 n2 1 S22
1 由定理6.6知, 2
证明: n1 1 ,
2
2
n2 1
1 2
2
且两者独立,由F 分布的定义,有:
n1 1 S12
n1 1
2
22 S12
1
2 2 F n1 1, n2 1
n2 1 S 2
1 S2
2
n2 1
2 2
12 22
(2) 由定理6.6, X ~ N ( 1 , ), Y ~ N ( 2 , ),
n1 n2
12 22
且X 与Y 相互独立,所以X Y ~ N ( 1 2 , ),
n1 n2
( X Y ) ( 1 2 )
即 ~ N (0, 1)
2
2
1
2
n1 n2
228
3 当12 = 22 = 2时,由(2)得
U
X Y 1 2
N 0,1
1 1
n1 n2
又由给定条件知:
n1 1 S12 2 n 1 , n2 1 S22 2 n 1
1 2
2 2
且它们相互独立, 故有 2分布的可加性知:
n1 1 S12 n2 1 S22
V 2
n1 n2 2
2
由定理6.1知:U 与V 相互独立,
于是按t分布知:
U
X Y 1 2
t n1 n2 2
V n1 n2 2 Sw 1 1
n1 n2
复习思考题 6
1.什么叫总体?什么叫简单随机样本?总体X的样本X1,X2,…,Xn有
哪两个主要性质?
2.什么是统计量?什么是统计量的值?
3.样本均值和样本方差如何计算?
4.N(0,1)分布,t分布,χ2分布和F分布的双侧、下侧、上侧分位点是
如何定义的?怎样利用附表查这些分位点的值?
5.对一个正态总体的三个常用统计量及其分布是什么?
6.对两个正态总体的三个常用统计量及其分布是什么?
230
第七章 参数估计
关键词:
矩估计法
极大似然估计法
置信区间
置信度
231
问题的提出:
参数估计是统计推断的基本问题之一,实际工作中碰到的总体X ,
它的分布类型往往是知道的,只是不知道其中的某些参数,
例如:产品的质量指标X 服从正态分布,其概率密度为:
x
2
f x; , 2
1 e 2 2 x
2
但参数 , 2的值未知,要求估计 , 2,有时还希望以一定的可靠性来
估计 值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法:点估计法和区间估计法
232
§1 参数的点估计
点估计的问题就是根据样本 X 1 , X 2 , , X n ,
对每一个未知参数 i i 1, 2, , k ,构造出一
个统计量ˆi i X 1 , X 2 , , X n ,作为参数 i的估计,
称为 的估计量。
i
点估计有两种方法:
矩估计法和极大似然估计法
233
一 矩估计法:
设总体X 的分布函数为F x;1 , 2 , , k , 1 , 2 , , k 是待
估计的未知参数,假定总体X 的k阶原点矩E X k 存在,
则有:E X v v 1 , 2 , , k v 1, 2, , k , 对于样本X X 1 , X 2 , , X n ,
n
其v阶样本矩是:Av 1 X iv v 1, 2, ,k
n i 1
, , , A
1 1 2 k 1
用样本矩作为总体矩的估计,即令:
2 1, 2 , , k A2
, , , A
k 1 2 k k
解此方程即得 1 , 2 , , k 的一个矩估计量 1 , 2 , ,ˆk
234
例1:设总体X 的均值 和方差 2都存在,且 2 0, , 2均未知,
X1, X 2 , , X n 是取自X 的一个样本,试求 , 2的矩估计。
解:先求总体矩:
1 E X , 2 E X 2 D X E 2 X 2 2
再求样本矩:
n n
A1 1 X i X , A2 1 X i2
n i 1 n i 1
ˆ X
1 A1
令 2 1 n
2 A2 n
ˆ ( X i X ) 2
i 1
235
例2:设总体X 的密度为:
x 1 0 x 1
f x 0为未知参数,
0 其他
X 1 , X 2, , X n 为取自X 的样本,求的矩估计。
解:E X
xf x dx 0 x dx
1
1
2
令E X X X ˆ X
1 1 X
236
二.极大似然估计法
极大似然估计的原理介绍
考察以下例子:
假设在一个罐中放着许多白球和黑球,并假定已经知道两种
球的数目之比是1:3,但不知道哪种颜色的球多。如果用返回抽
样方法从罐中任取n个球,则其中黑球的个数为x的概率为:
n
P x; p p x q n x , 其中q 1 p,由假设知,p 1 或 3
x 4 4
若取n=3,如何通过x来估计p值
先计算抽样的可能结果x在这两种p值之下的概率:
x 0 1 2 3
P x, 34 1 64 9 64 27 64 27 64
P x, 14 27 64 27 64 9 64 1 64
237
从上表看到:
64
x 0, P 0, 1 27 P 0, 3 1 , 取 p 1 更合理;
4 4 64 4
x 1 类似;
64
x 2, P 2, 1 9 P 2, 3 27 ,取 p 3 更合理;
4 4 64 4
x 3类似;
14 x 0,1
于是有:pˆ x 3
4 x 2, 3
238
极大似然原理:
对每个x, 取 p x ,使P x; p x P x; p ' , P ' 是不同于pˆ x 的另一值;
极大似然估计法:
设总体X 的概率密度为f x, (或分布率p( x, )), 1 , 2 , , k 为
未知参数, , 为参数空间,即的取值范围。设 x1 , x2 , , xn 是
样本 X 1 , X 2 , , X n 的一个观察值:
n n
1. 作似然函数 L x1 , x2 , , xn , f xi , (或= p( xi , ))
i 1 i 1
2. 求使 L x1 , x2 , , xn , 达到最大的 值,称为的极大似然估计量
n X 的密度为:
解:似然函数L f xi ,
i 1 x 1
0 x 1
1 f x
n
n
0 其他
xi 1
xi
n
2
i 1 i 1
n
lnL n ln 1 ln xi
2
dlnL n 1 ni 1
令 1 ln xi 0
d 2 2 i 1
n
即:
i
n ln x
i 1
的极大似然估计量为:ˆ n2
2
n
lnX i 240
i 1
1 e x x
例4:设总体X 的概率密度为:f x ,
0 其它
其中 0, , 是未知常量, X 1 , , X n 为X 的样本,
求 , 的矩估计与极大似然估计。
解:1 矩估计
x
EX xf x dx x 1 e dx
D X E X 2 E2 X 2
E X X n
n
ˆ
1 ( X X ) 2
令 n
i
D X n ( X i X )
1 i 1
2
i 1 ˆ n
X 1
n i 1
( X i X ) 2
241
2 极大似然估计 n
n 1 xi
L , 1 e xi 1
ne i 1
xi
i 1
此处不能通过求偏导数获得的极大似然估计量,
xi , 故的取值范围最大不超过x min x1 , x2 , , xn
n
n
1 xi
另一方面,L , 1n e
i 1
是的增函数, 取到最大值时,L达到最大。
n
故 X 1 min X1 , X 2 , , X n , 又lnL nln 1 X i ˆ
i 1
dlnL
X
n
令 n 12 X 1 0 ˆ X X 1
d i 1
i
242
例5:设总体X 服从 0, 上的均匀分布, 0未知,
试由样本 x1 , x2 , , xn求出的极大似然估计和矩估计。
解:1 极大似然估计 1
0 x
因X 的概率密度为:f x;
0 其它
1 0 x , x , , x
n
故参数的似然函数为:L
1 2 n
0 其它
dln
由于 n 0, 不能用微分法求ˆL
d
以下从定义出发求ˆL :
因为0 xi , 故的取值范围最小为x n max x1 , x2 , , xn
2 矩估计
由E X 1 xdx X ˆ 2X
0 2 243
1 2 3
例6:设总体X 的概率分布率为:
, 其中 0未知,
2 1-3 2
现得到样本观测值2,3,2,1,3,求的矩估计与极大似然估计。
解:1 矩估计
E X xk pk 2 2 3 (1 3 2) 3 5 2
X 2.2
令 E(X)=X ˆ 0.32
2 极大似然估计
L( ) ( 2)(1 3 2)( 2) (1 3 2)
161 3 (2 3 )2
ln L( ) ln16 3ln 2ln(2 3 )
d ln L( ) 3 6
d
2 3
0 ˆ 0.4
244
表1 例2,例4,例5中两种估计方法所得结果
例 题 矩估计量 极大似然估计量
1 XX ˆL n2
2
ˆ n
2
例 2 lnX i
i 1
n
ˆ 1 ( X i X ) 2 ˆ X X 1
例 4 n i 1
n ˆ X 1
ˆ X 1 ( X i X ) 2
n i 1
例 5 ˆ 2X ˆ X n
245
§2 估计量的评选标准
从表1看到,对总体的未知参数可用不同方法求得不同的估计
量,如何评价好坏?
通常用三条标准检验:无偏性,有效性,相合性
无偏性
定义:若参数的估计量ˆ X 1 , X 2 ,
, X n , 满足E ˆ ,
则称ˆ是的一个无偏估计量。
若E ˆ , 那么 E 称为估计量ˆ的偏差
若 lim E , 则称ˆ是的渐近无偏估计量
n
246
例6:设总体X 的一阶和二阶矩存在,分布是任意的,记E X , D X 2 ,
证明:样本均值X 和样本方差S 2分别是 和 2的无偏估计。
证:因X1 , X 2 , , X n与X同分布,故有:
1 n 1 n
E X E X i E X i 1 n
n i 1 n i 1 n
故X 是的无偏估计
n
S 1 ( X i X )2
2
n 1 i 1
n 2
E S E ( X i X ) n 1 E ( X i ) X
n
2 1 2 1
n 1 i 1 i 1
n 2 n
1 E ( X i ) n X
2 1
D X i nD X
n 1 i 1 n 1 i 1
1 n 2 2 2
n 1
由第三章第5节知:
nx n 1
0 x
FX n x F x , 于是 f X x n
n
n
0 其它
x nx n 1 dx
因此有:E ˆL E X n n
0 n n 1
所以ˆL X n是有偏的。
248
纠偏方法
如果 E ˆ a b, , 其中a, b是常数,且a 0
则 1 ˆ b 是的无偏估计。
a
无偏性是对估计量的一个最常见的重要要求,
是“好”估计的标准之一。
无偏性的统计意义是指在大量重复试验下,
由ˆ X 1 , , X n 所作的估计值的平均恰是,
从而无偏性保证了ˆ没有系统误差。
249
有效性
定义:设 1 , 2是的两个无偏估计,
如果D 1 D 2 , 对一切 成立
250
例8:设总体X U 0, , X 1 , , X n是取自X 的样本,已知的两个无偏估计
4
解:D 1 D 2 X
2
2
n 12 3n
nx n 1 0 x
由 f X n x n nx n 1 dx n 2
E X 2
n
其它
0 n n2
0
n 1
2
2
2
于是D 2 E X 2
E X n
2
n n n n 2
3n n n 2
251
相合性
定义:设 X 1 , , X n 为参数的估计量,
若对于任意 ,当n 时,
n依概率收敛于,
即 0, 有: lim P n 0成立,
n
则称 n为的相合估计量或一致估计量
252
例9:设总体X U 0, , X 1 , , X n是取自X 的样本,
证明: 1 2 X 和 2 n 1 X n是的相合估计。
n
2
2
证:E 1 E 2 , D 1 , D 2
3n n n 2
D 1
2
有:P 1 0
2 3n 2
D 2
同理:P 2 2
2
n n 2 2
0
引言:点估计是由样本求出未知参数的一个估计值ˆ,
而区间估计则要由样本给出参数的一个估计范围,并指出
区间估计的方法是给出两个统计量 1 1 X 1 , , X n , 2 2 X 1 , , Xn
使区间 1 , 2 以一定的可靠程度盖住。
254
置信区间 置信度
如果有两个统计量 1 1 X 1 , , X n , 2 2 X1, , X n ,
使得:
P 1 X1, , X n 2 X1,
, X n 1 7 1
则称随机区间 1 , 2 是的双侧 1 置信区间;称 1 为置信度;
1和 2分别称为双侧置信下限和双侧置信上限。
255
单侧置信区间
在以上定义中,若将 7 1 式改为:
P 1 X1,
, X n 1 , 7 2
则称 1 X 1 , , X n 为的单侧置信下限。
随机区间 1 , 是的置信度为1 的单侧置信区间。
又若将 7 2 式改为:
P 2 X1,
, X n 1 , 7 3
则称 2 X 1 , , X n 为的单侧置信上限。
随机区间 , 2 是的置信度为1 的单侧置信区间。
256
正态总体均值方差的区间估计
一 单个正态总体N , 2 的情形
X1 , X 2 , , X n来自N , 2 , X 和S 2分别为样本均值和方差, 置信度为 1
1. 均值的置信区间
思考题:
1 已知时
2
均值的置信度1-的
X
X 是的无偏估计, 由 N 0,1
n 置信下限是什么呢?
X
有P Z 2 1
n
答案: X- z
n
即P X Z 2 X Z 2 1
n n
置信区间为: X Z 2 , X Z 2
n n 257
2 2未知时
X 1
由 t n 1
2
2
S n t0 t0
X
有P t 2 n 1 t 2 n 1 1
S n
即P X S t 2 n 1 X S t 2 n 1 1
n n
置信区间为: X S t 2 n 1 , X S t 2 n 1
n n
258
2. 方差 2的置信区间
设未知
2
1 2
由
n 1 S 2
~ 2 n 1 2 12
2
2 2
2
有P 1 2 n 1
n 1 S 2
思考题:
2
2 n 1 1
2
方差 2的置信度1-的
n 1 S
n 1 S 2 置信上限是什么?
2
即P 2 2
2
1
2
n 1 1 2 n 1
答案:
n 1 S 2 n 1 S 2 (n-1)S2
置信区间为: 2
2 n 1 12 2 n 1
, .
1 (n 1)
2
259
例10:设某种植物的高度X cm 服从正态分布N , 2 ,
随机选取36棵, 其平均高度为15cm. 就以下两种情形,
求的95%双侧置信区间:
1 2 16; 2 2未知, S 2 16;
解:1 n 36, X 15, 4
由P X 1.96 X 1.96 0.95
n n
的置信区间为13.693,16.307
260
2 n 36, X 15, S 2 16
S S
由P X t0.025 X t0.025 1 0.05
n n
区间短
2 2
13.693,16.307
已知, 16, 置信区间: 精度高
13.647,16.353
2未知, S 2 16, 置信区间: 区间长
精度低
但第二种情形更实用,因为多数时候, 2未知
用t分布求的置信区间只依赖于样本数据及统计量X , S , n
262
置信区间的含义:
若反复抽样多次, 每个样本值确定一个区间 , ,
每个这样的区间或者包含的真值, 或者不包含的真值。见下图
在例10中,
当 0.05,即置信水平为95%时,20个区间中只有大约1个不包含 值;
当 0.01,即置信水平为99%时,100个区间中将有99个包含值;
0.99
0.005 0.005
263
a b
例11:一个园艺科学家正在培养一个新品种的苹果, 这种苹果除了口感
好和颜色鲜艳以外, 另一个重要特征是单个重量差异不大。为了
评估新苹果, 她随机挑选了25个测试重量 单位:克 , 其样本方
差为S 2 4.25.试求 2的置信度为95%和的99%的置信区间。
解:置信度为95%时 置信度为99%时,
0.995
2
24 45.6,
n 1 S
n 1 S
2 2
2的置信区间为 2.24,10.31
2的置信区间为 2.59,8.23
264
二 两个正态总体N 1 ,12 , N 2 , 22 的情形
X1 , X 2 , , X n1 来自N 1 , 12 , Y1 , Y2 , , Yn2 来自N 2 , 22 ,
n1 n2
X 1 X i ,Y 1 Y , j S12和S 22分别为第一, 二个总体的样本方差, 置信度为 1 .
n1 i 1 n2 j 1
1. 1 2的置信区间
1 12 , 22已知时
12 22
由 X Y ~ N 1 2 ,
n 1 n2
有
X Y 1 2
~ N 0,1
2
2
1
2
n1 n2
12 22
置信区间为: X Y Z
n n2 265
2 1
2 12 22 2 , 2未知
此时由第六章定理6.8,
X Y 1 2
~ t n1 n2 2
Sw 1 1
n1 n2
置信区间为: X Y t n1 n2 2 S w 1 1
2 n1 n2
其中 S 2
n1 1 S12 n2 1 S22
,S Sw2
w
n1 n2 2 w
266
12
2. 2 的置信区间
2
设1 , 2未知
S12 S22
由 ~ F n1 1, n2 1
12 22
S12 S22
有 P F1 n1 1, n2 1 2 2 F n1 1, n2 1 1
2 1 2 2
2
S1 2
S 2
1
即 P 2 1 12 12 1
S F n 1, n 1 S F1
n 1, n 1
2 1 2 2 2 1 2
2 2
2 2
S S
置信区间为: 12 1 , 12 1
S2 F n1 1, n2 1 S2 F n1 1, n2 1
2
1
2
267
例12:两台机床生产同一个型号的滚珠,从甲机床生产的滚
珠中抽取8个,从乙机床生产的滚珠中抽取9个,测得这
些滚珠得直径(毫米)如下:
甲机床 15.0 14.8 15.2 15.4 14.9 15.1 15.2 14.8
乙机床 15.2 15.0 14.8 15.1 14.6 14.8 15.1 14.5 15.0
设两机床生产的滚珠直径分别为X , Y , 且X N 1 , 12 , Y N 2 , 22
12
4 若1 , 2未知,求 2 的置信度为0.90的置信区间;
2
268
解: n1 8, x 15.05, S12 0.0457;n2 9, y 14.9, S22 0.0575
[
说
置 置 明
1.
信 信
]
区 水 置
S1
2
1 S12 1 间 平 信
置
2 , 信
S
2 F 2 n1 1, n2 1 S 2
2
F1 2 n1 1, n2 1
越 越 水
平
区
小 高 间
, , 包
2.
精 区 含
确 间 区
由F0.05 7,8 3.50, F0.95 7,8 1 1 0.268 度 越 间
两
F0.05 8, 7 3.73 高 大 长
方
面
, , 度 含
但 但 义
12 置 区
得 2 的置信度为0.90的置信区间为 0.227, 2.965 信 间
2 水 精
12 平 确
当 2 的置信区间包含1时, 差 度
2 差
可以认为两个总体的方差之间没有显著差异。
270
正态总体均值、方差的置信区间与单侧置信限 置信度1
待估 其他 W 的 分 布 置信区间 单侧置信限
参数 参数
X Z
X Z
2已知 Z N 0,1 X 2
X Z
n
n n
n
一
个 X S t n 1
X S t n 1
正 2未知 t t n 1 X 2 X S
n
t n 1
态
S n n n
总 n 1 S 2
体 n 1 S 2
n 1
n 1 S 2 n 1 S 2 2
12 n 1
2
未知 2
2
2
2
n 1
, 2
n 1
n 1 S 2
2 1 2 2
2 n 1
,
2 2 X Y 2
N 0,1 12 22 1 2 X Y Z
12
22
1 2 Z
1
n1 n2
X Y Z 2
1 2
2
2
n1 n2 22
2
已知 1
2
1 2 X Y Z
1
n1 n2 n1 n2
两
个 1 2 12 22 t
X Y
1 2
t n1 n2 2 X Y t n n 2 S 1 1
1 2 X Y t n1 n2 2 Sw 1 1
n1 n2
2 1
n n 1 2 X Y t n1 n2 2 Sw 1 1
正 未知
2
Sw 11
n1 n2
2 w
1 2 n1 n2
态
总 12 1 , 2 S12 S22
S12 1
2 F n 1, n 1 ,
12
2
S12 1
体 F 2 2 F n1 1, n2 1 S2 2 1 2 S 22 F1 n1 1, n2 1
22 1 2
2
未知 S2 12 S12 1
2
12 1
S 2 F1 2 n1 1, n2 1 2 S 22 F n1 1, n2 1
复习思考题 7
1.总体未知参数矩估计的思想方法是什么?试写出0-1分布、
二项分布b(m,p)、泊松分布∏(λ )、均匀分布U(a,b)、正态分布N
(μ,σ2)中有关参数的矩估计式
2.极大似然估计的主要步骤是什么?
3.未知参数的估计量与估计值有什么区别?
n
4. 总体X 有容量为n的样本, 样本均值 X 1 X i ,
n i 1
n
样本方差S 1 ( X i X ) 2 ,
2
n 1 i 1
有性质E X E ( X ), E S 2 D X , 这是否只对正态总体成立?
5.估计量的三个基本评价标准是什么?你能理解它们的含义吗?
6.求参数置信区间的一般方法是什么?对正态总体,试从有关
的统计量自行导出几类参数的置信区间?
7.置信度的含义是什么?置信度、区间长度和样本容量的关系怎样?
复习思考题 8
1.假设检验的基本思想是什么?其中使用了一条什么原理?
2.检验的显著性水平α的意义是什么?
3.比较双边、左边和右边检验的拒绝域。
4.使用U检验法可以进行哪些假设检验?
5.使用t检验法可以进行哪些假设检验?
6.使用χ 2检验法可以进行哪些假设检验?
7.使用F检验法可以进行哪些假设检验?
8.正态总体期望与方差的区间估计和假设检验两者之间有什么
相似之处?
9.成对数据差的t检验适用于哪些特殊场合?
10.分布拟合的χ 2检验的基本步骤是什么?
273
随 机 过 程
274
第十章 随机过程及其统计描述
关键词:
随机过程
状态和状态空间
样本函数
有限维分布函数
均值函数
方差函数
自相关函数 自协方差函数
互相关函数 互协方差函数
正态过程 独立增量过程 泊松过程 维纳过程
275
§1 随机过程的概念
随机过程被认为是概率论的“动力学”部分,即它
的研究对象是随时间演变的随机现象,它是从多维随机
变量向一族(无限多个)随机变量的推广。
给定一随机试验E,其样本空间S={e},将样本空间
中的每一元作如下对应,便得到一系列结果:
e X (e), 即X —— 一维随机变量
e ( X (e), Y (e)), 即( X , Y )——二维随机变量
e ( X1 (e), X 2 (e), X n (e)), 即( X1 , X 2 , , X n )——n维随机变量
e ( X1 (e), X 2 (e), ), 即( X1 , X 2 , ) ——随机序列
e ( X (e, t ) t (, )), 即( X (t ), t (, ))——随机过程
276
一维、二维或一般的多维随机变量的研究是概率论的研究内容,而
随机序列、随机过程则是随机过程学科的研究内容。从前面的描述中看
到,它的每一样本点所对应的,是一个数列或是一个关于t的函数。
X (e, t ), e S , t T 是对应于e和t的实数,
定义:设T 是一无限实数集,
即为定义在S 和T 上的二元函数。
若此函数对任意固定的t T , X e, t 是一个随机变量,
则称 X (e, t ), e S , t T 是随机过程;
对于随机过程 X (e, t ), e S , t T 进行一次试验,即e给定,
它是t的函数,称为随机过程的样本函数。
X (t ) X 2 (t )
X 1 (t )
1 2 3 4 t
278
例2:考虑 X (t ) cos( t ), t , , 式中 和 是
正常数,是在(0, 2 )上服从均匀分布的随机变量,
这是一个随机过程。
对每一固定的时刻t , X (t ) cos ( t )是随机变量的函数,
从而也是随机变量。它的状态空间是[- , ].
在(0, 2 )内随机取一数 , 相应的就得到一个样本函数
x(t ) cos ( t ),
这族样本函数的差异在于它们相位的不同,
故这一过程称为随机相位正弦波。
279
例3:设X (t ) Vcos t t , 其中是常数;
V 在[0,1]上服从均匀分布,则X (t )是一个随机过程。
对每一固定的t,X (t ) Vcos t是随机变量V 乘以常
数cos t,故也是随机变量,对[0,1]上随机变量取一v值,
就得到相应的一个样本函数x(t ) vcos t.
280
例4:设某城市的120急救中心电话台迟早会接到用户的呼叫。
以X (t )表示时间间隔 0, t 内接到的呼叫次数,
它是一个随机变量,且对于不同的t 0,X (t )是不同
的随机变量,于是 X (t ), t 0 是一随机过程,且它的
状态空间是 0,1, 2, .
x(t )
x2 (t )
4
x1 (t )
3
2
1. 连续参数连续型的随机过程,如例2,例3
2. 连续参数离散型的随机过程,如例1,例4
3. 离散参数离散型的随机过程,如例5
4. 离散参数连续型的随机过程,
例子如下:对于随机相位正弦波,
若只在时间集T t , 2 t , n t, 上观察X (t ),就得到
随机序列 X 1 , X 2 , , Xn, , X n X (n t )是连续型随机变量。
283
分布函数
§2 随机过程的统计描述 两种描述
特征数
(一) 随机过程的分布函数族
设随机过程 X (t ), t T , 对每一固定的t T ,
FX ( x, t ) P X (t ) x,x R,称为随机过程 X (t ), t T 的一维分布函数
FX ( x, t ), t T 称为一维分布函数族
一般地,对任意n(n 2,3, )个不同的时刻,t1 , t2 , tn T
n维随机变量 X (t1 ), X (t2 ), X (tn ) 的分布函数:xi R, i 1, 2, n
FX ( x1 , x2 , xn;t1 , t2 , tn ) P X (t1 ) x1 , X (t2 ) x2 , X (t n ) xn ,
称为随机变量 X (t ), t T 的n维分布函数
FX ( x1 , x2 , xn ; t1 , t2 , tn ) ti T 称为 X (t ), t T 的n维分布函数族
FX ( x1 , x2 ,
一般地, xn ; t1 , t2 , tn ), n 1, 2, ti T
称为随机过程 X (t ), t T 的有限维分布函数族
它完全确定了随机过程的统计特性
284
例1:抛掷一枚硬币的试验,定义一随机过程:
cos t 出现H
X (t ) t , ,设P( H ) P(T ) 1 ,
t 出现T 2
试确定X (t )的: (1) 一维分布函数 F ( x;0),F ( x;1);
(2) 二维分布函数 F ( x1 , x2 ;0,1);
0 x0
1 出现H 1
解:X (0) 故F ( x;0) 0 x 1
2
0 出现T
1 x 1
0 x 1
1 出现H 1
X (1) 故F ( x;1) 1 x 1
1 出现T 2
1 x 1
285
例1:抛掷一枚硬币的试验,定义一随机过程:
cos t 出现H
X (t ) t , ,设P( H ) P(T ) 1 ,
t 出现T 2
试确定X (t )的: (1) 一维分布函数 F ( x;0),F ( x;1);
(2) 二维分布函数 F ( x1 , x2 ;0,1);
X (t ) X 2 (t )
1, 1
出现H
X (0), X (1)
0, 1 出现T
X 1 (t )
1 2 3 4 t
0 x1 1且x2 1
x2
x1 1或x2 0
故F ( x1 , x2 ;0,1)
1 x1 1且x2 1
1 其他
2
x286
1
例2:设随机过程X (t ) Vcos t , t , ,V 在[0,1]上均匀分布
求在t 0, , 3 , , 时X (t )的密度函数。
4 4 2
解:对给定的t , 若cost 0, 记a cost,则X (t ) aV的密度函数为:
1 0 x 1
f X x; t fV x 1 a
a a
a
0 其他
1 0 x 1
a cos 0 1 于是 f X x;0
0 其他
2
a cos 2 , f X x;
2 0 x
2
4 2 4 0 其他
2 x0
a cos 3 2 , f X x; 3
2
2
4 2 4
0 其他
a cos 1,
fX
x;
1 1 x 0
0 其他
a cos 0, P X 0 1
2 2 287
(二) 随机过程的数字特征
给定随机过程 X (t ), t T ,
X (t ) E[ X (t )] 均值函数 X2 (t ) E[ X 2 (t )] 均方值函数
X2 (t ) DX (t ) E [ X (t ) X (t )]2 ---方差函数
X (t ) X2 (t ) ---标准差函数
又设任意t1 , t2 T
RXX (t1 , t2 ) E[ X (t1 ) X (t2 )] (自)相关函数
C XX (t1 , t2 ) Cov[ X (t1 ), X (t2 )]
E [ X (t1 ) X (t1 )][ X (t2 ) X (t2 )] (自)协方差函数
各数字特征之间的关系如下:
X2 t RX t , t
CX t1 , t2 RX t1 , t2 X t1 X t2
X2 t CX t , t RX t , t X2 t 288
定义: 随机过程 X (t ), t T ,如果对每一t T , E[ X 2 (t )]都存在,
则称X (t )是二阶矩过程,
二阶矩过程的均值函数和相关函数总是存在的。
定义: X (t ), t T 是一随机过程,若它的每一个有限维分布
都是正态分布,即对任意整数n 1及任意t1 , t2 , tn T ,
X (t1 ), X (t2 ), X (tn ) 服从n维正态分布,
则称 X (t ), t T 是正态过程
正态过程的全部统计特性完全由它的均值函数和自协方差函数所确定。
289
例3:设A, B是两个随机变量,试求随机过程:
X (t ) At 3B, t T , 的均值函数和自相关函数。
如果A, B相互独立,且A ~ N 1, 4 , B ~ U 0, 2 ,
问X (t )的均值函数和自相关函数又是怎样的?
解: X (t ) E X (t ) tE ( A) 3E ( B)
当A N 1, 4 , B U 0, 2 时,
E ( A) 1, E ( A2 ) 5, E ( B) 1, E ( B 2 ) 4
3
n n n
而u1 X (t1 ) u2 X (t2 ) un X (tn ) A ui B uiti C uiti2
i 1 i 1 i 1
因此它服从一维正态分布,
所以X (t )是正态过程 续
292
下面计算均值函数和自相关函数:
因为E( A) E( B) E(C ) E( AB) E ( AC ) E( BC ) 0,
E ( A2 ) E ( B2 ) E (C 2 ) 2
故 X (t ) E A Bt Ct 0
2 2
E ( A) E ( B )t E (C )t
CX (t1 , t2 ) RX (t1 , t2 )
2 (1 t1t2 t12t22 )
293
(三) 二维随机过程的分布函数和数字特征
设X (t ), Y (t )是依赖于同一参数t T的随机过程,
对于不同的t T ,(X (t ), Y (t ))是不同的二维随机变量,
称 X (t ), Y (t ) t T 为二维随机过程
给定二维随机过程 X (t ), Y (t ) t T
对任意的正整数n, m,任意的数组t1 , t2 , tn T ; t1' , t1' , tm' T
n维随机变量 X (t1 ), X (t2 ), X (tn ) 与m维随机变量 Y (t1' ), Y (t2' ), Y (tm' )
相互独立,称随机变量X (t )和Y (t )是相互独立的
294
关于数字特征,除了X (t ), Y (t )各自的均值函数和自相关函数,
还有如下两个数字特征:
如果二维随机过程 X (t ), Y (t ) 对任意的t1 , t2 T ,
恒有C XY (t1 , t2 ) 0, 称X (t )和Y (t )是不相关的。
295
例6:随机过程W (t )是三个随机过程X (t ), Y (t ), Z (t )之和,
已知 X (t ), Y (t ), Z (t ), RX (t1 , t2 ), RY (t1 , t2 ), RZ (t1 , t2 ),
RXY (t1 , t2 ), RYZ (t1 , t2 ), RZX (t1 , t2 ),求W (t ), RW (t1 , t2 ).
解:W (t ) X (t ) Y (t ) Z (t )
W (t ) X (t ) Y (t ) Z (t )
RW (t1 , t2 ) RX (t1 , t2 ) RY (t1 , t2 ) RZ (t1 , t2 )
RXY (t1 , t2 ) RYX (t1 , t2 ) RXZ (t1 , t2 )
RZX (t1 , t2 ) RYZ (t1 , t2 ) RZY (t1 , t2 )
直观地说,它具有“在互不重叠的区间上,状态的增量是相互独立”
的这一特征;
若对任意的实数 h 和 0 s h t h,
X (t h) X ( s h) 与 X (t ) X ( s ) 具有相同的分布,称增量具有平稳性;
这时,增量X (t ) X ( s)的分布函数与X (t s ) X (0)的分布函数相同,
即只依赖于时间差t s (0 s t ), 而不依赖于t和s本身,
297
当增量具有平稳性时,称相应的独立增量过程是齐次的;
独立增量过程的性质:
若 X (t ), t 0 是独立增量过程,且X (0) 0, 则:
1. X (t )的有限维分布函数族可以由增量X (t ) X (s) (0 s t )的
分布所确定;
298
2. 设DX (t )已知,则CX (s, t ) DX min(s, t )
等
间
记N (t0 , t ) N (t ) N (t0 ) 0 t0 t 隔
的
它表示时间间隔 t0 , t 内出现的质点数,
其概率记为:
Pk (t0 , t ) P N (t0 , t ) k k 0,1, 2
t1 t2 t3 t4 t5
不等间隔的
300
定义:计数过程N (t )满足如下条件,称作强度为的泊松过程。
1. 在不相重叠的区间上的增量具有独立性
4. N (0) 0
301
若N (t )是强度为的泊松过程,
(t t0 ) e (t t0 )
k
证明:P0 t0 , t t P0 N t0 , t t 0 P0 N t0 , t N t , t t 0
P0 N t0 , t 0, N t , t t 0 == P0 t0 , t P0 t , t t
条件1
条件 2,
3
=== P0 t0 , t 1 t o t
即P0 t0 , t t P0 t0 , t P0 t0 , t t o t
等式两边除以t,令t 0,得:
dP0 t0 , t
P0 t0 , t
dt
由N (t0 , t0 ) 0 P0 (t0 , t0 ) 1,即为初始条件
j 0
k
P0 t , t t Pk t0 , t P1 t , t t Pk 1 t0 , t Pj t , t t Pk j t0 , t
j 2
1 t o t Pk t0 , t t o t Pk 1 t0 , t o t
Pk t0 , t P N t0 , t k e (t t0 ) t t0 , k 0,1, 2 证毕
k! 303
由此可见,增量N (t0 , t )的概率分布是参数为(t t0 )的泊松分布,
且只与时间差t t0有关,所以强度为的泊松过程是一齐次的独立增
量过程。
泊松过程也可用另一形式定义:
若计数过程 N (t ), t 0 满足下列三个条件:
1. 它是独立增量过程
2. 对任意的t t0 0, 增量N (t ) N (t0 ) t t0
3. N (0) 0
则称 N (t ), t 0 是一强度为的泊松过程
304
强度为的泊松过程的数字特征:
1. E N t0 , t E N t N t0 t t0
2. D N t0 , t D N t N t0 t t0
特别地,t0 0,由假设N 0 0,可得:
N t E N t t , DN t D N t t
3. CN s, t DN min s, t min s, t s, t 0
4. RN s, t CN s, t N s N t min s, t 2 st s, t 0
305
例7:设{N (t ), t 0}服从强度为的泊松过程,求
(1) P{N (5) 4};
(2) P{N (5) 4, N (7.5) 6, N (12) 9};
(3) P{N (12) 9 N (5) 4};
问题:求
(4) E[ N (5)], D[ N (5)], Cov[ N (5), N (12)].
P{N (5) 4 N (12) 9}
(1) P N 5 4 (5 )4 e5 4!
解:
(2) P N 5 4, N (7.5) 6, N (12) 9
P N 5 4, N (7.5) N (5) 2, N (12) N (7.5) 3
[(5 ) 4 e5 4!][(2.5 ) 2 e2.5 2!][(4.5 )3 e4.5 3!]
(3) P[ N (12) 9 N (5) 4] 答案:
94
P[ N (12) N (5) 5 N (5) 4] 5
4
5
1
4
P[ N (12) N (5) 5] (7 )5 e 7 5!
C
9 .
12 12
(4) E[N(5)]=5 , D N 5 5 ,
Cov[ N (5), N (12)] D N 5 5.
306
设N t 是强度为的泊松过程
1Wn是第n个质点出现的等待时间,下面给出Wn的概率密度 fWn t ,
Wn的分布函数FWn t P Wn t P N t n
即第n个质点出现的时间 t 0, t 内至少n个质点出现
t t
k
P N t k
于是FWn t
e t0
k n k n k !
0 t0
因此,Wn的概率密度为:
dFW t
n 1
k t e t t e t
k k 1 k 1 k t
n
e t t 0
fWn t dt k n k! k n k! n 1!
0 t 0
即Wn服从 n, 分布。
特别地,质点首次出现地等待时间W1服从指数分布:
e t t 0
fW1 t
0 t0
307
2 记Ti Wi Wi 1 i 1, 2, W0 0
称为相继出现的第i 1个质点和第i个质点的点间间距。
P Ti t P N ti 1 t N ti 1 1 1 e t t 0
则FTi t
0 t 0
e t t 0
于是Ti的概率密度为:fTi t
0 t 0
即点间间距序列Ti , i 1, 2, 服从同一个指数分布。
308
定理一:强度为λ 的泊松流(泊松过程)的点间间距是相互独立的随
机变量,且服从同一指数分布
定理二:如果任意相继出现的两个质点的点间间距是相互独立,
且服从同一个指数分布:
e t t 0
f t
0 t 0
则质点流构成强度为λ 的泊松过程
这两个定理刻画出了泊松过程的特征,定理二告诉我
们,要确定一个计数过程是不是泊松过程,只要用统计方
法检验点间间距是否独立,且服从同一个指数分布。
309
(二) 维纳过程
维纳过程是布朗运动的数学模型
以W(t)表示运动中一微粒从时刻t=0到时刻t>0的位移
的横坐标,且设W(0)=0。由于微粒的运动是受到大量随机
的、相互独立的分子碰撞的结果,于是:
(1) 粒子在时段(s,t]上的位移可看作是许多微小位移的
和,根据中心极限定理,假设位移W(t)-W(s)服从正
态分布是合理的。
(2) 由于粒子的运动完全由液体分子不规则碰撞而引起
的,这样,在不相重叠的时间间隔内,碰撞的次数、
大小和方向可假设相互独立,即W(t)具有独立增量,
同时W(t)的增量具有平稳性。
310
定义:给定二阶矩过程 W (t ), t 0,如果它满足:
1. 具有独立增量
2. 对任意t s 0,增量W t W s ~ N 0, 2 t s 且 0
3. W (0) 0
称此过程为维纳过程
311
维纳过程的性质:
1. 维纳过程是齐次的独立增量过程
2. 维纳过程是正态过程,因此其分布完全由它的均值
函数和自协方差函数(即自相关函数)所确定
3. 维纳过程的数字特征:
W (t ) E W t 0
DW (t ) D W t 2t
CW s, t RW s, t DW min s, t 2 min s , t s , t 0
312
例8:设{W (t ), t 0}是一个维纳过程,
求X (t ) W (t +1)-W (t )的均值函数和相关函数。
t, t s 1
0, t s 1 类似讨论s t的情况,合起来有
于是,R( s, t ) 2
(1 t s), t s 1
0, t s 1
R ( s, t ) 2
(1 t s ), t s 1
313
第十一章 马尔可夫链
关键词:
无后效性(马尔可夫性)
齐次马尔可夫链
n步转移概率
n步转移概率矩阵
C-K方程
马氏链的有限维分布律
遍历性
极限分布(平稳分布)
314
§1 马尔可夫过程及其概率分布
马尔可夫性(无后效性)
过程(或系统)在时刻t0所处的状态为已知的条件下,过
程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处
的状态无关。
通俗地说,就是在已经知道过程“现在”的条件下,其“将
来”不依赖于“过去”。
用分布函数表述马尔可夫性:
设随机过程 X (t ), t T , 其状态空间为I ,
对参数集T中任意n个数值t1 t2 tn , n 3, ti T
P X (tn ) xn | X t1 x1 X tn1 xn1 P X (tn ) xn | X tn1 xn1
则称过程 X (t ), t T 具有马尔可夫性或无后效性,
并称此过程为马尔可夫过程。
例1:设 X t , t 0 是独立增量过程,且X 0 0
X t , t 0是一个马尔可夫过程。
证明:
证:对T中任意n个数值t1 t2 tn1 tn ,
P X (tn ) xn | X t1 x1 , , X tn1 xn1
X t1 X 0 x1 , X t2 X 0 x2 ,
P X (tn ) X tn1 xn xn 1
, X t n 1 X 0 xn 1
X t , t 0是一个马尔可夫过程。
由定义知, 证毕!
316
由上例知,泊松过程是时间连续状态离散的马氏过程,
维纳过程是时间状态都连续的马氏过程。
时间和状态都离散的马尔可夫过程称为马尔可夫链,简称马氏链,
记为:{Xn=X(n),n=0,1,2,„},参数集T={0,1,2,„},
记链的状态空间为:
I a1 , a2 , ai R
马尔可夫链用条件分布律来表示为:
对任意的正整数n, r和0 t1 t2 tr m; ti , m, m n T,
有:P X m n a j | X t1 ai1 , X t2 ai2 , X tr air , X m ai
PX a j | X m ai == Pij m, m n
记为
mn
317
条件概率: Pij m, m n P X m n a j | X m ai
称为马氏链在时间m处于状态ai 条件下,
在时间m n转移到状态a j的转移概率
转移概率性质: P m, m n 1, j 1, 2,
j 1
ij
这是因为链在时刻m以任何一个状态ai出发,
到另一个时刻m n必然转移到a1 , a2 , 诸状态中的某一个。
转移概率矩阵:
P11 m, m n P12 m, m n P13 m, m n
P21 m, m n P22 m, m n P23 m, m n
P m, m n
P31 m, m n P32 m, m n P33 m, m n
此矩阵的每一行元素之和等于1
318
当Pij m, m n 只与i, j及n有关时,把它记为Pij n ,
即Pij n Pij m, m n P X m n a j | X m ai P X n a j | X 0 ai
称此转移概率为马氏链的n步转移概率;
当转移概率具有这种平稳性时,称此链是齐次马氏链。
在齐次马氏链中,n步转移概率矩阵为:
P11 (n) P12 (n) P13 ( n)
P ( n) P22 (n) P23 (n)
P n 21
P31 (n) P32 (n) P33 (n)
一步转移概率记为:Pij Pij 1 P X m 1 a j | X m ai
Xm+1的状态
a1 a2 a3
a1 P11 P12 P13
Xm
的 a2 P21 P22 P23
一步转移概率矩阵记为:P P 1 状
态 a3 P31 P32 P33
319
例2:(0-1传输系统)
X0 X1 X2 Xn-1 Xn
1 2 … n …
如图所示,只传输数字0和1的串联系统中,设每一级的传真率为p,
误码率为q=1-p。并设一个单位时间传输一级,X0是第一级的输入,
Xn是第n级的输出(n≥1),那么{Xn,n=0,1,2„}是一随机过程,
状态空间I={0,1},而且当Xn=i为已知时,Xn+1所处的状态的概率分布
只与Xn=i有关,而与时刻n以前所处的状态无关,所以它是一个马氏
链,而且还是齐次的,它的一步转移概率和一步转移概率矩阵
分别为:
p j i
Pij P X n 1 j | X n i i, j 0,1
q j i
p q
P
q p
320
1 2 3 4 5
例3:一维随机游动。设一醉汉Q(或看作一随机游动的
质点)在直线上的点集I={1,2,3,4,5}作随机游动,
且仅在1秒、2秒等时刻发生游动,游动的概率规则
是:如果Q现在位于点i(1<i<5),则下一时刻各以
1 3 的概率向左或向右移动一格,或以 1 3 的概率
留在原处;如果Q现在处于1(或5)这一点上,则下
一时刻就以概率1 移动到2(或4)这点上,1和5这
两点称为反射壁,这种游动称为带有两个反射壁的
随机游动。
321
1 2 3 4 5
解:以Xn表示时刻n时Q的位置,不同的位置就是Xn的不同
状态;而且当Xn=i为已知时,Xn+1所处的状态的概率分布
只与Xn=i有关,而与Q在时刻n以前如何到达i完全无关,
所以{Xn,n=0,1,2 „}是一马氏链,且是齐次的。
它的一步转移概率矩阵为:
如果把1这点改为吸收壁,即Q一旦到达1这一点,则永远留
在点1时,此时的转移概率矩阵为:
1 2 3 4 5
1 2 3 4 5
1 0 1 0 0 0 1 1 0 0 0 0
1 0 1 0
1 1
2 3 0 2 1 1
0
3
3 3
3 3
P3 0 1
3
1
3
1
3 0 P3 0 1 1 1
0
1 1 1
3 3 3
1
4 0 0 3 3 3 4 0 0 1
3
1
3 3
5 0 0 0 1 0 5 0 0 0 1 0
322
等候室 服务台
随机到达者 离去者
例4:排队模型 系统
设服务系统由一个服务员和只可以容纳两个人的
等候室组成。服务规则为:先到先服务,后来者需在
等候室依次排队,假设一个需要服务的顾客到达系统
时发现系统内已有3个顾客,则该顾客立即离去。
设时间间隔⊿t内有一个顾客进入系统的概率为q,
有一接受服务的顾客离开系统(即服务完毕)的概率为
p,又设当⊿t充分小时,在这时间间隔内多于一个顾
客进入或离开系统实际上是不可能的,再设有无顾客
来到与服务是否完毕是相互独立的。
323
等候室 服务台
随机到达者 离去者
系统
现用马氏链来描述这个服务系统:
设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数,
即系统的状态。{Xn,n=0,1,2„}是一随机过程,状态
空间I={0,1,2,3},且如前例2、例3的分析可知,它是
一个齐次马氏链,它的一步转移概率矩阵为:
0 1 2 3
0 1 q q 0 0
1 p(1 q) pq (1 p)(1 q) q(1 p) 0
P
2 0 p(1 q) pq (1 p)(1 q) q(1 p)
3 0 0 p(1 q) pq (1 p)
324
例5:有甲、乙两袋球,开始时,甲袋有3只球,乙袋有2只
球;以后,每次任取一袋,并从袋中取出一球放入另
一袋(若袋中无球则不取)。Xn表示第n次抽取后甲袋
的球数,n=1,2,„.{Xn,n=1,2,„}是一随机过程,
甲
状态空间I={0,1,2,3,4,5},当Xn=i时,Xn+1=j的概率
只与i有关,与n时刻之前如何取到i值是无关的,这
是一马氏链,且是齐次的,一步转移概率矩阵为:
0 1 2 3 4 5
乙 0 12 1
2 0 0 0 0
1 12 0 1
2 0 0 0
2 0 1
0 1
0 0
P 2
1
2
1
3 0 0 2 0 2 0
4 0 0 0 1
0 1
2
1
2
1
5 0 0 0 0 2 2
325
例6:某计算机机房的一台计算机经常出故障,研究者每
隔15分钟观察一次计算机的运行状态,收集了24个小时的
数(共作97次观察),用1表示正常状态,用0表示不正常状
态,所得的数据序列如下:
11100100111111100111101111110011111111100011
01101111011011010111101110111101111110011011
111100111
设Xn为第n(n=1,2,„,97)个时段的计算机状态,可以认
为它是一个齐次马氏链.
求(1)一步转移概率矩阵;
(2)已知计算机在某一时段(15分钟)的状态为0,问在此条
件下,从此时段起,该计算机能连续正常工作45分钟(3个
时段) 的条件概率.
解: (1) 设Xn为第n(n=1,2,„,97)个时段的计算机状态,
可以认为它是一个齐次马氏链,状态空间I={0,1},
96次状态转移情况是:
0→0:8次; 0→1:18次;
1→0:18次; 1→1:52次;
因此一步转移概率可用频率近似地表示为:
P00 P X n1 0 | X n 0 8 8 ,
8 18 26
P01 P X n1 0 | X n 1 18 18
8 18 26
P10 P X n1 1| X n 0 18 18 ,
18 52 70
P11 P X n1 1| X n 1 52 52
18 52 70
8 18
26 26
即: P
18 52
70 70
(2)某一时段的状态为0,定义其为初始状态,即X 0 0,
所求概率为 :
P X1 1, X 2 1, X 3 1| X 0 0
P01P11P11
18 52 52 0.382
26 70 70
328
定义:记p j 0 P X 0 a j a j I , j 1, 2,
称它为马氏链的初始分布。
马氏链在任一时刻n T 0,1, 2, 的一维分布:
p j n P X n a j a j I , j 1, 2,
性质: p n 1
j 1
j
公式: P X n a j P X 0 ai , X n a j
i 1
P X 0 ai P X n a j | X 0 ai
n
i 1
n
即 p j n pi 0 Pij n j 1, 2,
i 1
329
对于任意n个时刻t1 t2 tn ti T ,以及状态ai1 , ai2 , ain I
马氏链的n维分布:
P X t1 ai1 , X t2 ai2 , , X tn ain
P X t1 ai1 P X t2 ai2 | X t1 ai1
P X tn ain | X t1 ai1 , X t2 ai2 , , X tn1 ain1
P X t1 ai1 P X t2 ai2 | X t1 ai1
P X tn ain | X tn1 ain1
pi1 t1 Pi1i2 t2 t1 Pin1in tn tn1
pi 0 Pii1 t1 Pi1i2 t2 t1 Pin1in tn tn 1
i 0
马尔可夫链的有限维分布完全由初始分布和转移概率所确定
330
§2 多步转移概率的确定 ak aj
ai
设 X n , n 1, 2,
是一齐次马氏链,则
对任意的u , v T1 0,1, 2, 有: 0 s s u s u v t
Pij u v Pik u Pkj v i , j 1, 2,
k 1
这就是著名的chapman kolmogorov方程,
简称C K 方程
331
C K方程的证明:
Pij u v P X s u v a j | X s ai
P X s u ak , X s u v a j | X s ai
k 1
乘法公式
=== P X s u ak | X s ai
k 1
P X s u v a j | X s ai , X s u ak
马氏性
=== PX s u a | X s a
k 1
k i
PX s u v a | X s u a
j k
齐次性
=== P u P v
k 1
ik kj
证毕!
332
Pij u v 是u v步转移概率矩阵的 i, j 元
P u
i1 Pi 2 u Pi 3 u 是u步转移概率矩阵的第i行,
P v P2 j v P3 j v
T
1j 是v步转移概率矩阵的第j列,
根据矩阵乘法公式,
C K 方程可以写成矩阵形式:P u v P u P v
设P n 是n步转移概率矩阵
则有:P n P n
事实上,由 C K 方程
P n P 1 P n 1 PP n 1 P 2 P n 2 Pn
齐次马尔可夫链的有限维分布可
由初始分布与一步转移概率完全确定。
333
例1:设 X n , n 0 是具有三个状态0,1, 2的齐次马氏链,
一步转移概率矩阵为:
初始分布pi 0 P X 0 i 1
3 0 1 2
i 0,1, 2
试求: 0 3
4
1
4 0
1 P X 0 0, X 2 1, X 4 1 1 1
P 1 4 1
2 4
2 P X 2 1, X 4 1| X 0 0 2 0 3
4
1
4
3 P X 1 0, X 2 0, X 3 0, X 4 0 | X 0 0
334
解:由C K方程可得二步转移概率矩阵为:
85 5
16
1
16
P 2 P 2 165 1
2
3
16
163 9
16
1
4
2 P X 2 1, X 4 1| X 0 0 P01 2 P11 2 5 1 5
16 2 32
3 P X1 0, X 2 0, X 3 0, X 4 0 | X 0 0 从0出发,经4步
首次回到0状态
P01P11P11P10 P01P12 P21P10 7
1 1 1 1 1 1 3 1
4 2 2 4 4 4 4 4 256
335
例2:在上一节例2中,设初始分布
p1 0 P X 0 1 p, p0 0 P X 0 0 1 p, 传真率p 0.9,
系统二级传输后的传真率与三级传输后的误码率;
求:1
2 若系统经n级传输后输出为1,则原发字符也是1的概率;
1 1
2. 求出1 , 2 对应的特征向量,X 1 , X 2
1 1
1 0 1 1 1 1 1 1
则 , H 1 2
X , X ,H 1 1
0 p q 1 1 2
12 p q 12 12 p q
1 n n
3. P n P n H n H 1
2
2 p q 2 2 p q
12
1 n 1 1 n
于是P11 n 12 12 p q , P01 n 12 12 p q
n n
p p p q
n
代入可得:P X 0 1| X n 1
1 2 p 1 p q 337
n
§3 遍历性
对于一般的两个状态的马氏链,其一步转移概率矩阵一般可表示为:
0 1
0 1 a a
P 0 a, b 1
1 b 1 b
利用类似于例2的方法,可得n步转移概率矩阵为:
b a 1 a b n a a 1 a b n
P00 n P01 n ab ab
P n P
n
n 1, 2,
P10 n P11 n b b 1 a b a b 1 a b
n n
ab ab
1 a b 0,
当n 时,
n
339
一般,设齐次马氏链的状态空间为I , 若对于所有ai , a j I ,
转移概率Pij n 存在极限:
1 2 j
j
1 2
lim Pij n j 不依赖于i 或P n P n
n
n
1 2 j
则称此链具有遍历性
又若 j 1, 则称 1, 2 , 为链的极限分布
j
340
齐次马氏链在什么条件下才具有遍历性?如何求出它的
极 限分布?
有限链的遍历性的充分条件:
定理:设齐次马氏链 X n 1的状态空间为I a1 , a2 , , aN ,
P是它的一步转移概率矩阵, 如果存在正整数m, 使对任意
的ai , ai I , 都有Pij m 0, i, j 1, 2, , N,
则此链具有遍历性,且有极限分布 1 , 2 , , N ,
N
它是方程组 P(即 j i Pij ) 的满足条件
i 1
N
j 0, j 1. 的唯一解.
j 1
341
在定理的条件下,马氏链的极限分布又是平稳分布,
即若用 作为链的初始分布,pi 0 P X 0 ai i , i 1, 2, N
则链在任一时刻n T 的分布p n 永远与 一致,
pi n P X n ai i , i 1, 2, ,N
N
事实上, pi 1 P X 1 ai P X 0 ak Pki
k 1
N
k Pki i i 1, 2, N
k 1
N
依次类推, pi n P X n ai P X n 1 ak Pki
k 1
N
k Pki i i 1, 2, N
k 1
342
例1:一质点在1,2,3三个点上作随机游动,1和3是
两个反射壁,当质点处于2时,下一时刻处于1,2,3
是等可能的。写出一步转移概率矩阵,判断此链是
否具有遍历性,若有,求出极限分布。
1 0 1 0 13 13 13
解:P 2 13 13 13 , P 2 P 2 19 79 91 ,
3 0 1 0 13 13 13
由定理知,此链有遍历性;设极限分布 = 1 , 2 , 3 ,
1 13 2
方程组 3 13 2 1 2 3 1
1 3
1 2 3
343
例2:一质点在1,2,3三个点上作随机游动,1和3是
两个反射壁,当质点处于2时,下一时刻转移到1和3
的概率各为½。写出一步转移概率矩阵,判断此链是
否具有遍历性,若有,求出极限分布。
0 1 0
一般地,
解:P 12 0 1
2 ,
P 2n 1 P,
0 1 0
12 0 P 2n P 2 .
1
2
P 2 P 2 0 1 0 ,
故对任一固定的j j 1, 2,3,
12 0 1
2
0 1 0 极限 lim Pij n 都不存在
n
P 3 P 2 P 12 0 12 P 按定义,此链不具有遍历性。
0 1 0
344
例3:一质点在1,2,3三个点上作随机游动,1和3是两个
吸收壁,当质点处于2时,下一时刻转移到1和3的
概率各为½。写出一步转移概率矩阵,判断此链是
否具有遍历性? 若有,求出极限分布。
1 0 0 1 0 0
解:P 12 0 1
2 P 2 P 2 12 0 1
2 P
0 0 1 0 0 1
所以,此链不具有遍历性。
345
例4:设有6个球(2个红球,4个白球)随机平分放入甲,
乙两个盒中.今每次从两盒中各任取一球并进行交换.
X 0 表示开始时甲盒中的红球数,Xn(n>0)表示经n次交换
后甲盒中的红球数.
(1)求此马氏链的初始分布;
(2)求一步转移概率矩阵;
(3)计算 P( X 0 1, X 2 1, X 4 0), P( X 2 2) ;
(4)判断此链是否具有遍历性,若有,求出极限分布。
346
解:(1)P( X 0 0) C43 C63 1 5, P( X 0 1) C21C42 C63 3 5,
P( X 0 2) C22C41 C63 1 5,
0 1 2
即:X 0 ~
1 5 3 5 1 5
0 1 3 2 3 0 0 7 27 16 27 4 27
(2) P 1 2 9 5 9 2 9 , (3) P(2) 1 16 81 49 81 16 81 ,
2 0 2 3 1 3 2 4 27 16 27 7 27
1 5 4 27 3 5 16 81 1 5 7 27 1 5 0.2
347
0 1 3 2 3 0 0 7 27 16 27 4 27
(4) P 1 2 9 5 9 2 9 , 16 81 49 81 16 81 ,
P(2) 1
2 0 2 3 1 3 2 4 27 16 27 7 27
由定理知,此链有遍历性;设极限分布 = 0 , 1 , 2 ,
0 13 0 92 1 0 1
5
1 3 0 9 1 3 2
2 5 2
方程组 1 3
2 9 1 3 2
5
2 1
1 2 1
0 1 2
5
348
第十二章 平稳随机过程
关键词:
(宽)平稳过程
时间均值
时间相关函数
各态历经性
谱密度
349
§1 平稳随机过程的概念
定义: X t , t T 是一随机过程,
对任意的n n 1, 2, ,t1 , t2 , tn T 和任意实数h
当t1 h, t2 h, , tn h T 时,
X t , X t ,
1 2 , X tn 和
X t h , X t
1 2 h , , X tn h
具有相同的分布函数,
即:F x1 , x2 , , xn ; t1 , t2 , tn
F x1 , x2 , , xn ; t1 h, t2 h, , tn h
则称随机过程 X t , t T 具有平稳性,
称此过程为严平稳随机过程,简称严平稳过程
350
平稳过程的参数集T ,
可以为连续的,如 , 0, ;
,
可以为离散的,如0, 1, 2, , 0,1, 2,
严平稳过程的数字特征:
设严平稳过程 X t , t T 是二阶矩过程
记为
则 X t E X t E X 0 == X 常数
RX t1 , t2 E X t1 X t2
记为
E X 0 X t2 t1 RX 0, t2 t1 == RX t2 t1
351
事实上,X t 与X t h 同分布,取h t
则X t 与X 0 同分布,从而有相同的数学期望
X t , X t 与 X t h , X t h 同分布,取h t
1 2 1 2 1
则 X t , X t 与 X 0 , X t t 同分布,因此
1 2 2 1
自相关函数仅是时间差t2 t1 的函数
从而协方差函数 C X RX X2
方差函数 DX t C X 0 RX 0 X2 是常数
由于要确定一个随机过程的分布函数,
并进而判定其平稳性在实际中是不易办到的。
因此,通常只在二阶矩过程范围内考虑宽平稳过程。
352
定义:给定二阶矩过程 X t , t T ,如果对任意的t , t T ,
E X t X 常数
E X t X t RX
则称 X t , t T 为宽平稳过程
严平稳过程 二阶矩存在 宽平稳过程;反之不一定成立.
今后,平稳过程均指宽平稳过程。
定义:X t 和Y t , t T 是两个平稳过程
如果它们的互相关函数也只是时间差的函数,记为RXY ,
即RXY t , t E X t X t RXY
称X t 和Y t 是平稳相关的,
或称这两个过程是联合 宽 平稳的
353
例 1:设 X k , k 0, 1, 2, 是互不相关的随机变量序列,
且E X k 0, E X k2 2 .
2 k l
证明 : E X k 0, RX k , l E X k X l
0 k l
即:相关函数只与k l有关,
所以它是宽平稳的随机序列,也称为离散白噪声。
354
例2:设 X k , k 0, 1, 2, 是例1中的随机序列,
N
作Yn ak X n k n 0, 1, 2, ,其中N 是自然数,
k 0
而a0 , a1 , , aN 是常数.
Yn , n 0, 1, 2,
证明: 是平稳序列
N
证:E Yn ak E X n k 0
k 0
又相关系数RY n, n m E YnYnm
N N
a a E X X n m j
N N
E ak X n k a j X n m j nk
k 0 j 0 k j
k 0 j 0
N
k 0
ak am k 2 它与n无关,所以Yn是平稳序列。
0 m k N
355
例3:设S t 是一周期为T的函数,是在 0, T 上服从均匀分布的随机变量,
称X t S t 为随机相位周期过程,试讨论它的平稳性。
T1 0 T
解:由假设,的概率密度为: f
0 其他
0 T
t T
1 S d === 1
周期性
S d 常数
T
T t T 0
RX t , t E S t S t
t T
S t S t 1 d 1 S S d
T
0 T T t
周期性 记为
S S d ==R
T
=== 1 X
T 0
所以随机相位周期过程是平稳的。 356
例4:考虑随机电报信号,信号X t 由只取 I 或 I的电流给出。
P X t I 1 ,
2
而正负号在区间 t , t 内变化的次数N t , t 是随机的,
且假设N t , t 服从泊松分布,即:
e
k
P N t , t k k 0,1, 2,
k!
其中 0是单位时间内变号次数的数学期望,
试讨论X t 的平稳性.
x(t )
t 357
解:E X t I P X t I I P X t I I I 0
2 2
设 0, RX t , t E X t X t
I 2 P X t X t I 2 I 2 P X t X t I 2
e
2k
k 0 2k ! 续 358
同理P X t X t I 2
P N t , t 2k 1 e
2 k 1
k 0
k 0 2k 1!
e e
2 k 2 k 1
2
所以RX t , t I
k 0 2k 1!
2k !
k 0
k
I e
2
I 2e2
k 0 k!
此结果与t无关,若 0, 只要令t ' t
则有RX t , t E X t ' X t ' I 2e 2
综合得,RX t , t I 2e
2
. 仅与 有关,故是平稳过程。
359
§2 各态历经性
如何根据实验记录确定平稳过程的均值和自相关函数
呢?
按照数学期望和自相关函数的定义,需要时,一个平稳
过程重复进行大量观察,获得一族样本函数
x1 t , x2 t , , xn t ,
用统计实验方法,均值和自相关函数近似地为:
N N
X 1
N xk t1 ,
k 1
RX t2 t1 1
N x t x t
k 1
k 1 k 2
360
平稳过程的统计特性不随时间的推移而变化,
根据这一特点,能否通过在一个很长时间内观察得到的
一个样本曲线来估计平稳过程的数字特征呢?
本节给出的各态历经定理证实,只要满足某些条件,
那么均值和自相关函数实际上可以用一个样本函数在整个
时间轴上的平均值来代替。
x(t )
t 361
随机积分定义:
1. 给定二阶矩过程 X t , t T ,如果它的每一个样本函数x(t )在
a, b T 上的积分都存在,称随机过程X t 在 a, b 上的积分存在,
记为Y X t dt , Y 是一随机变量;
b
2. 考虑 a, b 内的一组分点:a t0 t1 t2 t n b,
且记 ti ti ti 1 , ti 1 i ti , i 1, 2, ,n
n
2
若存在随机变量Y,使 lim E Y X i ti 0
max ti 0
i 1
称Y 为X t 在 a, b 上的均方积分
两种定义下的随机变量在存在的情况下,以概率1相等
362
定理: X t , t T 是二阶矩过程,
若自相关函数的二重积分存在,
RX s, t dsdt存在,
b b
即
a a
则X t 在 a, b 上均方积分存在
即存在随机变量Y , Y X t dt ,
b
且E Y E X t dt.
b
363
定义:随机过程X t 的时间均值:
T 2T
T
随机过程X t 的时间相关函数:
T 2T T
364
例1:计算随机相位正弦波:
X t acos t 的时间平均
X t 和 X t X t 。
lim acossinT 0
T T
365
X t X t
1. 如果 X (t ) E X (t ) X以概率1成立,
则称过程X (t )的均值具有各态历经性
2. 如果对任意实数,
X (t ) X (t ) E X (t ) X (t ) RX 以概率1成立,
则称过程X (t )的自相关函数具有各态历经性,
特别当 0时,称均方值具有各态历经性
3. 如果X (t )的均值和自相关函数都具有各态历经性,
则称X (t )是各态历经过程
367
例2:X t X , t , , X 是随机变量,P X 1 1
2
试确定X t 的均值是否具有各态历经性。
解:X t X 是平稳过程, x1 t 1
因为 X t E X t EX 0 x2 t
1
RX t , t E X t X t E X 2 1 与 t 无关
T 2T
1
2T
T
Xdt X
即P X t X P X 0 0
T 2T
T
lim AcossinT 0 E[ X (t )]
T T
即X (t )的均值具有各态历经性.
370
X t X t
的充要条件是:lim 1
T T
0
2T
1 2T R X X2 d 0
思路:X t 的均值具有各态历经性的定义为:
P X t X 1 E X t X , D X t 0
下面只要计算 X t 的均值与方差就可以了
E X t E lim 1
T 2T
T
T X t dt Tlim
1
2T T E X t dt Tlim
T
1
2T
T
T
X dt X
2
E lim 1
T
D X t E X t T X2
2
2
X t dt
T 2T
X
lim E
T 1
4T 2 T
T T
T
X t1 dt1 X t2 dt2 X2
E X t1 X t2 dt1dt2 X2
T T
lim
T
1
4T 2
T T
RX t2 t1 dt1dt2 X2
T T
lim 1 2
T 4T
T T
372续
tt tt
1 1 2
2 2 1
1 0 d 2 2T 1 R d 2T 2T 2 1 R d 2
4T 2 2T
===== lim 2 2T X 2 1 0 2 2T 2 X 2 1 X
t1 ,t2 1 T 2 2
雅可比式
1 , 2 2
1 0 2T R d 2T 2T R d 2
4T 2 2T 0
lim 2
T 2 X 2 2 2 X 2
X
RX 2 为偶函数
2T R d
2T
==== lim 1
2 X 2 2 X2
T 4T 2 2T
lim 1
T T 1 2T R d
2T
0 X
2
X
lim 1 1 R d
2T
2
T X X
T 0 2T
即D X t 0 lim 1 1 R X2 d 0
2T
T X
T 2T 0
t2 t2
0, 2T
T , T T , T
t1 2T , 0 2T , 0 t1
T , T T , T
0, 2T
证毕!373
推论:在 lim RX 存在的条件下,
若 lim RX X2 ,则定理一条件成立,即均值具有各态历经性
若 lim RX X2 ,则定理一条件不成立,即均值不具有各态历经性
对随机相位正弦波而言,lim RX 不存在,但它的均值是各态历经的
374
在定理一的证明中,将X t 换成X t X t ,就可得到:
其中B 1 E X t X t X t 1 X t 1
在实际应用中通常只考虑定义在0 t 上的平稳过程,
此时上面的所有时间平均都应以0 t 上的时间平均来代替。
X t dt
T
即 X (t ) lim 1
T T 0
X t X t dt
T
X (t ) X (t ) lim 1
T T 0
而相应的各态历经定理可表示为下述形式: 见下页
375
定理三: P X t X 1
lim 1
T T 0
T
T
1 RX X2 d 0
定理四: P X t X t RX 1
1
X d 1 0
T
lim 1 1 T
2
B 1 R
T T 0
376
各态历经定理的重要价值在于它从理论上给出了如下保证:一个
平稳过程X(t),若0<t<+∞,只要它满足各态历经性条件,便可以根
据“以概率1成立”的含义,从一次试验所得到的样本函数x(t)来确
定该过程的均值和自相关函数。
x t dt x
T
T T 0
即 lim 1
x t x t dt Rx
T
T T 0
lim 1
T 0
x(t ) x(t )dt 1
T x(t ) x(t )dt 0 T
377
§3 相关函数的性质
设X t 和Y t 是平稳相关过程,RX , RY 和RXY
分别是它们的自相关函数和互相关函数。
相关函数具有如下的性质:
1. RX 0 E X 2 t X2 0
2. RX RX ,即RX 是的偶函数
RXY RYX ,即互相关函数既不是奇函数,也不是偶函数
3. RX RX 0 , C X C X 0 X2 .
此不等式表明:自相关 自协方差 函数在 0处取得最大值。
RXY RX 0 RY 0 , C XY C X 0 CY 0
2 2
378
见下页
4. RX 是非负定的,即对任意数组t1 , t2 , , tn T 和任意n个
RX ti t j ai a j 0
n
不全为零的实数a1 , a2 , , an,都有:
i , j 1
R t t a a E X t X t a a
n n
事实上, X i j i j i j i j
i , j 1 i , j 1
n n
2
E X ti X t j ai a j E X ti ai 0
i , j 1 i 1
自相关函数的非负定性是平稳过程最本质的特性,
因为任一连续函数,只要具有非负定性,
那么该函数必是某平稳过程的自相关函数。
379
见下页
定义:X t 是平稳过程,若满足条件P X t T0 X t 1,
则称X t 为周期为T0的平稳过程。
5. X t 是周期为T0的平稳过程的充分必要条件是:
其自相关函数是周期为T0的函数。
即 : P X t T0 X t 1
RX T0 RX .
380
证明: ""
因为P X t T0 X t 1 E X t T0 X t
2
0
要证RX T0 RX ,
只要证E X t X t T0 E X t X t ,
也即E X t X t T0 X t 0.
而 E X t X t T0 X t
2
柯西-施瓦兹
t E X t T0 X t ====0
不等式
2 周期平稳定义
E X 2
故RX T0 RX
""
要证P X t T0 X t 1 要证E X t T0 X t
2
0
计算得E X t T0 X t
2
R X 0 2RX T0 RX 0
RX 为周期函数
2 RX 0 2 RX T0 ==== 0
证毕381
应用:
在实际中,各种具有零均值的非周期性噪声和干扰一般
当 值适当增大时,X t 和X t 呈现独立或不相关,
即 lim RX lim C X 0
则V t 的自相关函数RV RS RN
对于充分大的值,RV RS
即如果将V t 作为自相关分析仪的输入,则对于充分大的 值,
分析仪记录到的是函数RS 的曲线。
382
例:假设接收机输出电压中的信号和噪声过程的自相关函数分别为:
RS cos , RN b 2 e a 0
2
a a
2
且噪声平均功率RN 0 b 远大于信号平均功率RS 0
2
2 a
2
则RV
2 2
a 2 a a
cos b e cos ,当 充分大时
2 2
自相关分析仪记录到的RV , 0的图形,
当 充分大后应呈现正弦曲线,
亦即从强噪声中检测到微弱的正弦信号。
RV
下面水平部分时为三角周期函数cos
383
§4 平稳过程的功率谱密度
(一) 平稳过程的功率谱密度
1. 确定性信号的功率谱密度
对确定性信号x t t , 它是时间函数,现作频谱分析。
设x t 满足狄利克雷条件,且 x t dt ,
则x t 的傅里叶变换存在或者说具有频谱:
Fx x t eit dt
且同时有傅里叶逆变换:
x t 1 eit Fx d t
2
对确定性信号x t 的傅里叶变换:
Fx x t eit dt
及傅里叶逆变换:x t 1 eit Fx d t
2
Fx 一般是复函数,称之为信号x t 的频谱,
其共轭函数Fx* Fx
在信号x t 与Fx 之间成立有Parseval等式:
2 x d
2
x t 2
dt 1 F
等式左边表示x t 在 , 上的总能量,
而右边的被积函数 Fx 在频率域中表示在
2
圆频率处的能谱密度。
但在工程技术中,通常总能量 x 2 t dt ,
T
T 2T T
而平均功率 lim 1 x 2
t dt
为此利用傅里叶变换给出"平均功率的谱表达式"。
386
x t t T
作x t 的截尾函数:xT t
0 t T
它在区间 ,
上绝对可积,记xT t 的傅里叶变换为:
Fx , T xT t e dt x t eit dt
T
it
T
xT t 的Parseval等式为:
Fx , T d
T
T
2
x 2
t dt x 2
t dt 1
T
2
两边除以2T , 再令T ,
得x t 在 ,
上的平均功率可表示为:
T T 4 T x d
T 2
lim 1
T 2T
x 2
t dt lim 1 F , T
F , T d
2 T 2T x
2
1 lim 1
其中S x lim 1 Fx , T
2
T 2T
称为信号x t 在处的功率谱密度
387
2. 平稳过程的功率谱密度
设平稳过程X t t ,
前面讨论的x t 可以看成它的样本函数,
于是对平稳过程X t 作讨论,只要把x t 换成X t 即可,
即: FX , T X t e i t dt
T
T
1 F , T 2 d
T
1
T 1
2
X t dt
2T 2 2T X
等式两边取数学期望,再让T , 得:
lim E 1 1
1 F , T 2 d
T
T T 2T X
2
X t dt lim
T 2T 2
等式左边称为平稳过程X t 的平均功率
T
lim 1 T
E X 2 t dt
2T T
lim E 1 X 2
t dt
T T 2T T
X2 RX 0
388
即平稳过程的平均功率等于该过程的均方值或RX 0 ,
等式右边中的被积式记为:
S X lim 1
T 2T
E FX , T
2
在频率域中称之为平稳过程在 处的功率谱密度
利用记号S X 及简化结果得:
RX 0
2 1
S X d
X
2
此式称为平稳过程X t 的平均功率的谱表达式
389
(二) 谱密度的性质
谱密度S X 有以下重要性质:
1. S X 是 的实的、非负的偶函数
事实上,因为 FX , T FX , T FX , T
2
是 的实的、非负的偶函数,所以它的均值的极限
也必是实的、非负的偶函数
2. S X 和自相关函数RX 是一傅里叶变换对,
即 S X RX e i
d;RX 1 S X ei d
2
它们统称为维纳 — 辛钦公式
390
证明:S X lim 1 E
T 2T T
T
X t1 e dt1 X t2 e it2 dt2
i t1
T
T
E X t1 X t2 ei t2 t1 dt1dt2
T T
lim 1
T 2T
T T
1 =t1 t2
2 =t2 t1
2T
==== lim 1 RX e i
d
T 2T 2T
RX d 时
当
====== RX ei d
表12.1列出了若干自相关函数以及对应的谱密度 391
表 12.1
RX S X
1 a
2a
e a2 2
2 1
1
RN
T
T 4sin 2 T 2
0 T T 2
T T
3 e
a cos0t
S X
a
a 2 0
2
a
a 2 0
2
0 0
4 sin 0
1 1 0
S X
0 0
0 0
5 1 RX 1 2 S X 2
6 1 t 1 S X 1
7 cos0t 0 0
0 0
例1:已知平稳过程X t 的自相关函数为:RX e
a
cos0
求X t 的谱密度S X 。
解:S X e
a
cos0 ei d
e
a ei0 ei0 ei d
2
a i
0
a i
0
2
1 e e d e e d
2 2a
1 2a
2 a 2 a 2 2
0 0
a 2 1 1
a 0 a 2 0
2 2
393
例2:已知谱密度为:S X 4 2
4 ,
10 9
2
求平稳过程X t 的自相关函数和均方值。
解:RX 1
2 4
d
i
e
2 10 9
4 2
1 9 6 ei d
2 48
2 ei d 5
2 1 48 2 9
1 9e 5e
48
3
均方值为 X2 RX 0 7
24
2n a a 2n 2
一般地,形如S S 2n 2
0 的谱密度,
X 0 2m
b 2m 2 b
2m 2 0
称为有理谱密度,式中S 0, 且m n, 分母无实数根 394
0
t 0, t 0
函数:即单位冲激函数 t ,定义如下:
t dt 1
函数的基本性质:
对任一在 0连续的函数f , 有:
f d f 0
一般,若函数f 在 0连续,就有:
0 f d f 0
据此,可以写出以下傅里叶变换对:
e d
i
1 1
2
1 e i
d
1 e i d
2 2
i
1 1 e d
2
即:当RX 1时,S X 2
当S X 1时,RX
395
例3:求自相关函数RV
2
a a
cos 0 b 2e
2
所对应的谱密度SV 。
解:SV RV ei d
2
ei0 ei0 ei d b2 e a ei d
a
2
2
0 0 2
2 2
a 2 ab
2 a 2
396
白噪声:
均值为零而谱密度为正常数,即S X S0 , , S0 0
的平稳过程X t 称为白噪声过程,简称白噪声,
其名出自白光具有均匀光谱的缘故。
白噪声的自相关函数为:
S0 i
RX S e d e d S0
2 X 2
1 i
397
(三) 互谱密度及其性质
设X t 和Y t 是两个平稳相关的随机过程,
定义:S XY lim 1 E FX , T FY , T
T 2T
为平稳过程X t 和Y t 的互谱密度。
它有以下特性:
1. S XY SYX
*
,即S XY 和SYX 互为共轭函数
2. 当 RXY d 时,成立维纳 辛钦公式
S XY RXY e i
d , RXY 1 S XY ei d
2
398
3. Re S XY 和Re SYX 是的偶函数
I m S XY 和I m SYX 是的奇函数
事实上,S XY RXY cos d i RXY sin d
Re S XY RXY cos d
故:Re S XY RXY cos d Re S XY
其余同理可得。
4. 互谱密度与自谱密度之间成立有不等式:S XY S X SY
2
399
课件结束!
2010/4/27