Professional Documents
Culture Documents
林元烈 、梁宗霞 编 著
清华大学出版社
内 容 简 介
本书的前身是清华大学自动化系、计算机系开设“随机数学引论”课 程时
所使用的讲义 , 此次出版对其做了系统的修改 .书中包括 : 随机 事件与概率、
随机变量及其分布、多维随机变量及其分布、数字特征、独立随机变量序 列的
极限定理、泊松信号流、随机游动与马尔可夫链、布朗运动、参数估计、假 设检
验共 10 章内容 .
本书可供高等院校 (特别是信息类专业) 的学生作为教材使用 , 也可 供教
师和工程技术人员参考 .
图书在版编目 ( CIP)数据
产与销售、随机环境与竞争条件中的决策优化等方面 .
(4 ) 随机数学与 其他 数学 分支 有 愈来 愈明 显的 相互 渗 透 , 例
如随机分析在偏微分方程、复杂性计算、运筹优化中成为强有力的
前沿工具 .
(5 ) 在金融与经 济领 域中 , 随机 微分 方程 与数 理 统计 已在 期
权定价、投资风险分析与优化等金融数学中扮演主角 .
总之 , 在现实中所遇到 的系统 与对 象避 免不了 随 机性 与噪 声
的干扰 , 所以研究的对象本身就需要随机模型 , 这样就必须掌握和
运用随机数学的理论与方法 .可以预期 , 在人类社会面对以信息科
学与生物科学为标志的新时代 , 以及知识更新愈来愈快、竞争环境
愈来愈激烈 ( 在某种意 义下 ) 的未 来 , 随机数 学的理论 与方法将 会
更为迅速地发展与普及 , 随机 数学的 应用 将愈 来愈广 泛地 渗透 到
人类活动的各个方面 .这样 , 我们 就应 该对高 等学 校的同 学 ( 特 别
是重点高等学校 ) 掌握随机数学基础提出更高的要求 .
基于上述考虑 , 本书注重以下诸点 :
(1 ) 着眼于引发兴趣 , 使读者领悟其思想、魅力与威力 .
(2 ) 揭示概念的 来源 及背 景、模 型的 提炼 与特 性 以及 它们 的
应用和发展的踪迹 .
(3 ) 对于随机事件的表示、转化与分解 ( 特别是用 随机变量 表
示的事件及分解 ) 等重要基本功予以足够的重视 .
(4 ) 突出全 概 率 公 式 ( 及 其推 广 ) 中 所 蕴 含 的 基本 思 想 与 方
法 , 把它作为贯穿本书的主导线索之一 , 并加以阐明和应用 .
(5 ) 条件数学期 望作 为随 机数 学 最基 本的 概念 之一 , 本书 力
求用初等的、便于直观确切理解的方法描述它的定义与重要性质 .
这是因为现代随机数学及其应用常常更关心的是随机变量之间的
各种关系 , 而条件数学期 望是 刻画不 同随 机变 量之间 各种 关系 的
最佳工具 .
(6 ) 着重用概率 的观 点与 方 法去 讨论 与领 略若 干 最基 本的 ,
序言 Ⅲ
且至今仍有活力与潜力的随机过程的主要特征与风采 .
(7 ) 着力描述统计推断的直观依据、原理 , 品尝其 独特的思 维
韵味 .
(8 ) 选择几个最简单且至今仍具无穷魅 力与威力 的典型随 机
过程 , 阐明其由来与背 景 , 提 炼主 要特 性及其 应用 与推 广 .这些 模
型既是初等概率论理论与 方法 的综合 运用 与发展 , 又 是读 者深 入
复习、检验与巩固初等概率论的极好素材 .
请读者注意 , 对书中有些较抽象的概念 , 初学者可以先跳过这
些内容 ( 特别是目录中加“ * ”的部 分 ) , 这样做 不会 影响掌 握后 面
的基本内容 .
本书是在第一作者编写的讲义《随机数学引论》的基础上修改
而成的本科生教材 , 亦 可作为 研究 生、教师、工程 技术 与管 理人 员
的参考书 .本书的编写得到清华大学数学科学系同仁 , 自动化系及
计算机科学系的教师及学生的鼓励、帮助与支持 .李敬逸、康波大、
司良省、石春华、林映侠参与本书的打印、整理与校对 .作者在此对
他们表示衷心的感谢 !
限于作者水平 , 不妥与错误难免 , 敬请指正 .
编 者
2002 .8
目 录
序言 ……………………………………………………………… Ⅰ
第 1 章 随机事件与概率 ………………………………………… 1
1 .1 样本空间与随机事件 ………………………………… 1
1 .2 概率的公理化定义与性质 …………………………… 10
1 .3 古典概型的计算 ……………………………………… 24
1 .4 条件概率与全概率公式 ……………………………… 31
1 .5 事件的独立性 ………………………………………… 41
练习题 ……………………………………………………… 48
第 2 章 随机变量及其分布 …………………………………… 54
2 .1 随机变量 ……………………………………………… 54
2 .2 离散型随机变量 ……………………………………… 60
2 .3 连续型随机变量 ……………………………………… 66
2 .4 随机变量的分布函数 ………………………………… 75
2 .5 条件分布函数与条件密度函数 ……………………… 80
2 .6 随机变量函数的分布 ………………………………… 82
练习题 ……………………………………………………… 88
第 3 章 多维随机变量及其分布 ……………………………… 93
3 .1 离散型随机变量及其分布 …………………………… 93
3 .2 连续型随机变量及其概率密度函数 ………………… 98
Ⅵ 目录
1 .1 样本空间与随机事件
1 随机现象
2 随机试验
出现某种固有的规律性 .
例如 , 在投掷一枚质地 均匀 的硬币 时 , 只投 掷一 次 时 , 投掷 的
结果是正面还是反面是无法确定的 , 但当大量重复投掷硬币 , 就可
以看到出现正面的次数约 占总 试验次 数的 一半 .又如 某人 打靶 射
击 , 若射击次数不多 , 靶上的 弹着 点似 乎是随 意分 布的 , 但 倘若 进
行大量的重复射击时 , 弹着点的分布就逐渐呈现规律性 : 大体上它
们关于靶中心对称 , 靠近靶心的弹着点密 , 偏离靶心越远弹着点越
稀少 , 且弹着点 落在靶内 任意指 定区域的 次数与 射击次数 n 之 比
( 频率 ) 大体 上保持 稳定 , 且 n 越大 , 其频 率稳定性 就愈加 明显 , 这
种在大量重复试验中随机 现象 所呈现 的固 有规律 , 通 常称 之为 统
计规律 .
为了研究方便 , 有时也会把具有固定结果的试验 , 看成是随机
试验的极端情形 .有时 , 又需要把几次试验作为一个整体合起来看
成一次随机试验 , 例 如 : 可 以 把连 续 掷 3 次 骰 子 看 成是 一 次 随 机
试验 .
若试验具有下列共同特征 :
(1 ) 在相同的条件下 , 试验可重复进行 ;
(2 ) 试验的一切 可能 结果 是预 先 可以 明确 的 , 但 每次 试验 前
无法预先断言究竟会出现哪个结果 .
则称之为随机试验 , 简称试验 , 记作 E 或 E 1 , E2 等 .例如 :
E1 : 掷一枚硬币 , 观察正面或反面出现的情况 .
E2 : 记录某一个服务台在时 间为 8: 00 ~ 9: 00 之 间到 来的 顾
客数 .
E3 : 在有噪声干扰的条件下 , 测量线路某一终端电压 .
3 样本空间
对于随机试验 E, 以 ω表示它的一个可能出现的试验结果 , 称
ω为 E 的一个 样 本 点 .样 本 点 的 全 体 称为 样 本 空 间 , 用 Ω 表 示 .
1 .1 样本空间与随机事件 3
即 Ω= {ω} .
从集合论的观点看 , 样本空间 Ω是 由一切 可能 结果所 构成 的
集合 , 而每个 样 本 点 ω是 集 合 Ω 中 的 元 素 .对 于 上 面 的 随 机 试
验有 :
E1 : 掷一枚硬币一次 , 观察出现正、反面 的情况 , 则 E1 的样 本
空间为 Ω= {ω1 ,ω2 } , 其中 ω1 表示出 现的 是正面 , ω2 表示出 现的 是
反面 ,ω1 与 ω2 分别为 Ω的样本点 .
E2 : 服务 台 在 时 间 为 8 : 00 ~ 9: 00 之 间 到 来 的 顾 客 数 , 则
Ω= { n| n = 0 , 1 , 2 , … } .可见 Ω包含可列无穷多个样本点 .
E3 : 在有噪声干扰下 , 测量某终端电压 , 则 Ω= { x | x∈R } , 其
样本点有不可数无穷多个 .
注 在同样的试验条件 下 , 由 于试 验的 考察侧 重 点与 目的 不
同 , 可能选择不同的样本空间 , 这是初学者必须要注意的 .例如 :
E4 : 一枚硬币投掷两次观察 出 现正 面的 次数 ( 注 意此 时投 掷
两次硬币才算完成一次实验 ) .Ω4 = { 0 , 1 , 2 } , 其中 , 0 , 1 , 2 分别 表
示出现正面的次数 , 共有 3 个样本点 .
E5 : 一 枚 硬 币 投 掷 两 次 观 察 出 现 正、反 面 的 次 序 , 则 Ω5 =
{ωω,ωω′,ω′
ω,ω′
ω′} ( 其中 :ω代表 出现 正面 ,ω′代表 出现 反面 ) , 包
含 4 个样本点 .
4 随机事件
通常 , 对于某个随机试验 , 在一次试验中可能出现也可能不出
现的事件 , 就 称 为随 机 事 件 .用 大写 英 文字 母 A, B, C, A i 等 来 表
示 .例如 :
在实验 E1 中 , A1 = {ω1 }表示 出现正 面这 一事 件 , A2 = {ω2 } 表
示出现反面这一事件 .A1 , A2 都是事件 .
在 E2 中 , A = { n | 0≤ n≤10 }表示在时间为 8 : 00 ~9: 00 之 间
出现的顾客数不超过 10 人这一事件 .
4 第 1 章 随机事件与概率
在 E5 中, A = {ωω,ω′
ω}表示掷第二次出现的是正面这一事件 .
从集合论的观点看 : 粗略地说 , 所谓随机事件就是样本空 间 Ω
中人们感兴趣的某些子集 .
对于事件 A Ω, 若 Ω中的某一样本点 ω( ∈ A) 在 本次实验 中
出现了 , 则称该次试验中事 件 A 发生 ; 若 ω| A , 即 ω在本 次实 验
中没有出现 , 则称该次试验中 A 不发生 .
从随机事件的定义可以 看出随 机事 件包含 着两 个 极端 情形 .
其一是在任何一次试验中必然出现的事件 , 称为必然事件 .由于样
本空间 Ω在每次试 验 中必 定 出 现 ( 无 论 哪 一个 ω出 现 , 均 有 ω∈
Ω) , 故 Ω是必然事件 .另 一种 是 在固 定的 试验 条件 下 不能 发生 的
事件 , 称为不可能事件 , 用空集 表示不可能事件 .
例 1 .1 将一个红 球 a, 一 个白 球 b, 随 机 地 放在 编 号分 别 为
Ⅰ , Ⅱ , Ⅲ的盒子中 , 观察两个球放置的所有可能结果 , 如下图用竖
线表示盒壁 , 全部结果表示如下 :
若用记号 ωk ( 1 ≤ k≤ 9 ) 表 示上 面 第 k 个 结 果 ( 样 本 点 ) .记 :
A = 至少有一个 盒 放 入 两 球 , B = 第 一 盒 有 球 , C = 第 二 盒 无 球 ,
D = 每盒恰有 一 球 , E = 至少 有 一盒 是 空的 ; 则 A = {ω1 , ω2 , ω3 } ,
B = {ω1 ,ω4 ,ω5 ,ω7 ,ω8 } , C= {ω1 ,ω3 ,ω5 ,ω8 } , D = , E= Ω.
例 1 .2 若将两 个不 可辨 的球 ( 例如 两 个同 样的 红 球 ) , 随 机
地放在编号分别为Ⅰ , Ⅱ , Ⅲ的盒子中 , 观察其放置的可能结果 , 若
球用 a 表示 , 则其样本点为 :
1 .1 样本空间与随机事件 5
5 事件的关系 与运算
A = B .即 " ω∈ A , 必有 ω∈ B, 而且 " ω∈ B, 必有 ω∈ A . A = B 表
示 A 与 B 是同一事件 .在概 率论 中 , 对同 一事 件给 出 不同 的等 价
表示形式是一种重要的技巧 .
(3 ) 事件的交
定义 A∩ B 为事件 A , B 同时发生 , 称 A∩ B 为 A 与 B 的交 ,
简记作 A B .即 A∩ B = {ω| ω∈ A 且 ω∈ B} .
n
推广到 n 个事件 : 定义 k∩ A k 为事 件 A 1 , A2 , … , An 同时 发生 ,
= 1
n
称 k∩ A k 为事件 A 1 , A2 , … , A n 的交 , 即
=1
n
∩ A k = {ω| ω∈ Ak , 1 ≤ k ≤ n} .
k=1
∞ ∞
记 k∩ A k 为事件 A 1 , … , Ak , …同 时 发 生 , 称 k∩ Ak 为 A 1 , … , Ak , …
=1 =1
∞
(4 ) 互不相容
A , B Ω, 如果 A, B 不 可能 同 时 出现 , 即 A B = , 则称 两 事
件互不相容 ( 或称互斥、互不相交 ) .
(5 ) 事件的并
定义 A∪ B 为事件 A , B 中至少有一事件发 生 , 称 A∪ B 为 A
与 B 的并 .即 A∪ B = {ω| ω∈ A 或 ω∈ B} .
n
事件发生 , 则称 k∪ Ak 为事件 A1 , A2 , … , An 的并 , 因此
= 1
n
∪ A k = {ω| ω∈ A1 , 或 ω∈ A2 , … , 或 ω∈ An } .
k=1
∞
称 k∪ A k 为 A 1 , A2 , … , A n , …的并 .
=1
若 A, B 互不相容时 , 记 A∪ B = A + B, 称为 A 与 B 的和 .若
1 .1 样本空间与随机事件 7
A1 , … , Ak , … 互不相容 , 则记
n ∞
n d ef ∞ de f
∪ Ak
k= 1 ∑A
k=1
k , ∪ Ak
k= 1 ∑A
k= 1
k .
(6 ) 对立事件
定义 A 为 A 不发生的事件 , 称事件 A 为事件 A 的逆 , 或称 A
为 A 的对立事件 .即 A = {ω| ω∈Ω, 但 ω| A} .若记 B = A , 则
A ∪ B = Ω,
B = A
AB = .
(7 ) 事件的差
“ 事件 A 发生 , 但事件 B 不发生”也是一个事件 , 记为 A \ B, 称
A \ B 为事件 A 与 B 的差 .即 A \ B = {ω| ω∈ A 且 ω| B} . 若 B
de f
A , 记 A\ B A- B.
事件的运算规则如下 .
① 交换律 : A∪ B = B∪ A, A B = B A;
② 结合律 : A∪ ( B∪ C) = ( A∪ B) ∪ C, A( BC) = ( A B) C;
③ 分配律 : A( B∪ C) = A B∪ AC, ( A∪ B) C = ( A C) ∪ ( BC) ,
A( B\ C) = ( A B) \ ( BC) ;
④ 德 ・ 摩 根 ( De Morgan ) 定 律 : A∪ B = A ∩ B, A∩ B =
A∪ B .
以上公式可以推广到有限个事件及可列个事件 :
∞ ∞ ∞ ∞
A k∪ Bk = k∪ ( ABk ) , A ∪ ∩ Bk = k∩ ( A ∪ Bk ) ,
=1 = 1 k= 1 =1
∞ ∞ ∞ ∞
∪ Ak = k∩ Ak , ∩ Ak = k∪ Ak .
k= 1 = 1 k= 1 = 1
我们只证明分配律和德・摩根定律 , 其余留给读者作为练习 .
分配律 : A( B∪ C) = A B∪ AC
证明 ω∈ A( B∪ C) ω∈ A 且 ω∈ ( B∪ C) ,
而 ω∈ ( B∪ C) ω∈ B 或 ω∈ C,
8 第 1 章 随机事件与概率
从而得
ω∈ A( B ∪ C) ω∈ A 且 ω∈ B 或 ω∈ C,
即 ω∈ A B 或 ω∈ AC ω∈ A B∪ AC, 故 A( B∪ C) = A B∪ AC .
德・摩根定律 : A∪ B = A∩ B
证明 对于 ω∈ A∪ B ω| A∪ B ω| A 且 ω| B ω∈ A,
且 ω∈ B ω∈ A∩ B, 故 A∪ B = A∩ B .
6 事件序列
设 Ak Ω( k = 1 , 2 , … ) , 称 { Ak , k≥1 } 为事件 序列 .若 " n =
d ef ∞
1 , 2 , … , An An + 1 , 则 称之 为 单调 增 序 列 , 定 义 n→
lim An ∪ An ,
∞ n= 1
d ef ∞
对于一般事件序列{ An , n≥1 } , 令 Bn = k∪ A k , Cn = k∩ Ak , 显
= n = n
限 , 它由属于无穷多个 An 的样本点构成 .
d ef ∞ ∞
例 1 .3 设事件 A , B Ω, 令 A2 n + 1 = A , A2 n = B ( n≥1 ) , 则
∞ ∞ ∞ ∞
li m An = k∩ ∪ A n = A∪ B, lim An = k∪ ∩ A n = AB .
n→ ∞ = 1 n= k n→ ∞
= 1n= k
1 .1 样本空间与随机事件 9
7 事件的示性 函数
对于 A Ω, 考虑定义在样本空间 Ω上的实函数 :
1, 当 ω∈ A 即 A 发生 ,
I A (ω) = ( 1 .1)
0, 当 ω| A 即 A 发生 ,
d ef
称 IA I A (ω) 为事件 A 的示性函数 .
引入事件的示性函数 , 可使 事件的 表示、事 件的 关 系与 运算 ,
转化为数量的表 示、数 量 的关 系 与运 算 .它 是 最 简 单的 概 念 与 记
号 , 但它却扮演重要角色 , 尤其在现代概率论中发挥巨大的基础作
用 .容易验证 :
def
{ IA = 1} {ω| I A (ω) = 1 } = A ,
de f
{ IA = 0 } {ω | I A (ω) = 0} = A;
并且容易得到以下关系 : " ω∈Ω 有
(1 ) A B I A (ω) ≤ I B (ω) ; A = B I A (ω) = I B (ω) ;
(2 ) I A∪ B (ω) = I A (ω) + I B (ω) - I A B (ω) ;
I A+ B (ω) = I A (ω) + I B (ω) ;
(3 ) I A B (ω) = I A (ω) I B (ω) ;
(4 ) I A (ω) + I A (ω) = 1;
(5 ) 若 B A , 则 I A - B (ω) = I A (ω) - I B (ω) ;
n
(6 ) 若记 : a∨ b = m ax ( a, b) , a∧ b = min ( a, b) , k∨ ak =
= 1
n
max { ak } , k∧ ak = 1 ≤mik≤nn { ak } , 则
1≤ k≤ n = 1
I A∪ B (ω) = I A ( ω) ∨ I B ( ω) , I A B ( ω) = I A ( ω) ∧ I B ( ω) ,
n
n
n
(ω) = k∨ ∑I ( ω) =
n
I ∪ A
k
I A k (ω) , I ∑ A k (ω) = A
k
(ω) , I ∩n A
k
k= 1 = 1 k= 1 k= 1
k= 1
n
∧ I A k (ω) .
k=1
10 第 1 章 随机事件与概率
例 1 .4 将 n 只球 (1~ n) 随机 地放 进 n 只盒 子 ( 1 ~ n) 中去 ,
一只盒子装一只球 , 若一只球装入与球同号的盒子中 , 称为一个配
对 , 记 X 为总的配对数 , X 如何表示呢 ?
我们自然而然地会想到示性函数 , 令 Ai 表示第 i 个球和盒 子
配对 , I A i ( ω) 为 事 件 A i 的 示 性 函 数 , 则 X ( ω) 可 表 为
n
X(ω) = ∑I
i= 1
A
i
(ω) .
1 .2 概率的公理化定义与性质
1 古典概型
(3 ) 设事件 A1 , … , Am 互不相容 , 则 P ∑A
i= 1
i = ∑ P( A ) ;
i =1
i
(4 ) 对于每一样本点 ωi ( 1≤ i≤ n) , 有
P( {ω1 } ) = P( {ω2 } ) = … = P( {ωn } ) = 1/ n .
证明 只证明 (4 ) , 其余的留作练习 .
设事件 A i = {ωi } ( 1 ≤ i≤ n) , 则由 定义 知 : P( A i ) = 1/ n, 所 以
P( {ω1 } ) = P( {ω2 } ) = … = P( {ωn } ) = 1/ n .事实上“
, 每一个样本
点出现等可能”与 ( 2 .1) 式等价 , 即事件 A 的 概率 P ( A) 仅与 A 中
所含的样本点数有关 , 而与它具体含有的是哪些样本点无关 .
例 2 .1 E1 : 掷一枚硬币一次 , 观察出 现正、反面的情 况 .只 有
两个样本点 , 即 n = 2; 又由于硬币的均匀 对称性 , 因此 两个样本 点
ω( 出现正面 ) 、
ω′( 出现 反面 ) 是等 可能 的 , 故 E1 是古 典概 型 , 于 是
12 第 1 章 随机事件与概率
P( {ω} ) = P( {ω′} ) = 1/ n = 1/ 2 .
例 2 .2 E2 : 掷一颗骰子观察出现的点数 , 有 6 个样本 点 ( n =
6) .假定骰 子是均匀 对称的 , 则可 认为每个 样本点 ωi ( 1 ≤ i≤ 6 ) 出
现的可能 性 相 同 , 从 而 E2 为 古 典 概 型 , 则 P ( {ωi } ) = 1/ n = 1/ 6
(1 ≤ i≤6 ) .若事件 A 表示出现偶数点 , 事件 B 表示出现 点数至 少
为 3 , 则 A = {ω2 ,ω4 ,ω6 } , 即 μ( A) = 3 , 所以 P( A) = μ( A)/ μ( Ω) =
3/ 6 = 1/ 2 ; B = {ω3 ,ω4 ,ω5 ,ω6 } , 即 μ( B) = 4 , 所以
P( B) = μ( B)/ μ( Ω) = 4/ 6 = 2/ 3 .
例 2 .3 袋中有 10 个球 , 6 个 白球 , 4 个红 球 .假 设每 个球 被
取出是等可能的 , 现随机地 取出 3 个 , 试 求取 出 k ( 0≤ k≤ 3 ) 个 红
球的概率 .
解 将球编号 , 记 6 个 白球 依次 为 1 ~ 6 , 4 个 红球 为 7 ~10 .
假设每球被取 出 的机 会 等 可 能 , 这 等 价 于 从 10 个号 码 中 任 取 3
个 , 不计次序的每一种取法是等可 能的 .因而若每 次随机 地取出 3
个 , 只观察其号码 , 不计其次序 , 则一个样本点等价于从 10 个号码
中取其 3 , 不计次序的 一种 组合 , 故样 本点 数 μ( Ω) = C310 .记 Ak =
{取 3 个 , 取出 k 个红球} ( 0≤ k≤3) .显然 , A k 发 生 , 当 且仅当 3 个
球中 , 需从 7~ 10 号中 取出 k( 0 ≤ k≤ 3 ) 个 , 且从 1 ~ 6 号中 取 出
(3 - k ) 个 .由 乘 法 原 理 有 : μ( A k ) = C4k C36 - k ( 0 ≤ k ≤ 3 ) , 于 是 得
P( Ak ) = C4k C36 - k / C31 0 .
注意 (1 ) 在解上题中 , 将球编号 , 目的 是为了使 我们建立 的
样本空间中的每一个样本 点出 现的机 会是 等可能 的 .倘若 此题 对
球不加编号 , 那么在题 设的条 件下 , 随 机取出 3 个 , 仅 观察 取到 红
球的个数 .此时 如果相应 建立的 ( 即 解题者 脑子中设 想的 ) 样本 空
间为 Ω= { A0 , A1 , A2 , A3 } , 其 中 Ai 表 示取 出 i 个红 球 .显 然上 述
样本空间的每个 样本点 A0 , A1 , A2 , A3 不是等 可能的 .这时 , 如 硬
要套用古典概型的定义来求解就会发生错误 .
(2 ) 对于“ 等可能”的 确切 含义 , 要依 据具 体的 题 设条 件给 予
1 .2 概率的公理化定义与性质 13
确切的理解与描述 .这是能否正确解决古典概型问题的关键之一 ,
务必请初学者倍加注意 .
例 2 .4 n 个人抽 签分 配 n 张 彩票 , 设 n 张 彩票 中有 m 张 有
奖彩票 (1 ≤ m < n) .假设每人抽到每一张 彩票的 机会是等 可能的 .
试求第 k 个人 (1 ≤ k≤ n) 抽到 有 奖彩 票的 概率 .问 第 1 个 人抽 到
有奖彩票和第 n 个人抽到有奖彩票的概率是否相等 .
解 记 Ak = 第 k 个人抽到有奖彩票 (1≤ k≤ n) .为求 P( A k ) ,
设想将彩票 编号 1 ~ n, 试验 只观 察第 k 个 人抽彩 票的 结果 .建 立
样本空间 如下 : Ω中 的一 个样 本点对 应于 从 1 ~ n 张彩票 中取 出
一张 .显然 ,μ(Ω) = n,μ( Ak ) = m, 故 P( Ak ) = m/ n ( 1 ≤ k≤ n) .由
上知 , P( Ak ) = m/ n 与 k 无关 , 得 P( A1 ) = … = P( An ) = m/ n .
以上结果表明 , 抽到有奖彩票的概率与抽签次序无关 , 这正是
人们直观上感到抽签分配是“公平的”的理论解释 .
2 几何概型
所以 P( A) = 2000/ 60000 = 1/ 30 .
此时 , 等可能性等价 于 P( A ) 只与 A 的面 积 有关 , 而与 A 的
形状和位置无关 .
2
这里的概率 P( A) 也 只对 R 上能 定 义面 积 的 点集 ( 可 测 集 )
才有意义 , 因此我们所考 虑的 事件必 须限 制在 二维可 测集 上才 有
意义 .
以下对在一维点集上定义的长度 , 在二维点集上定义的面积 ,
在三维 点集 上定义 的体 积 , n 维点 集上定 义的 超体 积等通 称为 集
合的测度 .因为它们有共同点 : 是集合的函数 , 且取值非负 , 具有可
加性 .直观 粗略地说 , 在 一定的度 量“ 标尺”下 , 能 够“ 度量”与定 义
测度的点集 , 称为可测集 .
定义 2 .3 设 随机试验 E 的样 本空间 Ω R n 是 R n 中的可 测
子集 , 具有有限的测度 μ( Ω) > 0( 记号 μ( Ω) 表示 集合 Ω 的测度 ) ,
记 F 为 Ω中的可测子集全体 .若 " A∈F, 定义
P( A) = μ( A) . ( 2 .4)
μ( Ω)
规定 ∈F, 且 μ( ) = 0 .称 A 为事件 , P( A) 为事件 A 的 概率 .称
(Ω, F , P) 为几何概型 .
显然 , 由于 A 的测度 μ( A) 是集 合的 函 数 , 且 取值 非 负 , 具 有
可加性 .故由 ( 2 .4) 式定 义 的概 率亦 是集 合的 函 数 , 且满 足 : ① 非
负性 ; ②规一性 ; ③可加性 .同样 , 由 (2 .4 ) 式定义的概 率 P( A) 蕴
含着 Ω中各点的等可能性 .
与前面例子类似 , 这里概率 P( A) 只对可测集 A 才有 定义 , 因
此我们所考虑的事件必须限制在 Ω中的可测 子集 , 而不是 Ω的 所
有子集 , 原因在于有不可测的子集存在 .几何概型在现实生活中有
着典型而广泛的应用 , 下面再举一个例子 .
例 2 .7( 布丰 (Buffon) 问题 ) 平面 中画着 等距 离的一 些平 行
线 , 线 与 线 之 间 的 距 离 为 a( a > 0 ) .向 平 面 随 机 地 投 一 长 度 为
16 第 1 章 随机事件与概率
l( l < a) 的针 , 试求这针与任一直线相交的概率 .
解 以 x 表示针的中 点与 最近 一平 行 线的 距离 , φ表 示针 与
平行线 之 间 的 夹 角 .易 知 : Ω = ( x,φ) | 0 ≤ x≤ a/ 2 , 0≤φ≤π 在
x ,φ平面上 是 一矩 形 .设事 件 A = { 针与 平 行线 相 交 } , 则 事 件 A
l
发生的充要条件是 : x≤ sinφ, 即
2
A = ( x ,φ) | x ≤ l sinφ, 0 ≤ x ≤ a/ 2 , 0 ≤ φ≤ π ,
2
对应于图 1 -1 中阴影面积 .
图 1-1
3 频率与概率 的统计背 景
定义 2 .4 设 E 为 一 随机 试 验 , A 为 一事 件 , 在 相 同的 条 件
下 , 把 E 独立地重复做 n 次 , 以 μn ( A) 表 示 A 在这 n 次试 验中 出
现的次数 , 称 f n = μn ( A) / n 为 事件 A 在 这 n 次 试 验中 出现 的 频
率 , 而 μn ( A) 称为频数 .
例 2. 8 历史上对于投掷一枚均匀硬币的实验有如下记录 :
1 .2 概率的公理化定义与性质 17
试 验 者 n μn fn
其中 n 为实验次数 , μn 代表 出 现正 面的 次数 , f n = μn/ n, 从 上
述实验记 录可以 看出 , 随 着 n 的 逐渐增 大 , 出现 正面 的频 率 f n 就
越来越趋近于 1/ 2 .
例 2 .9 在对同一 批 产品 进行 质量 抽 验时 , 每次 随 机地 抽 取
一件 , 其结果可能是合 格品 , 也可 能是 次品 , 而且 抽到 合格 品的 可
能性的大小是无法预知的 .下面是某次抽验结果记录 :
理论也早已 证明 : 在 相当 广泛的 条件 下 , 当 n→ ∞时 , 频率 f n ( A)
在一定意义 下 趋 于 常 数 P ( A ) ( 详 见 第 5 章 大 数 定 律 ) , 因 此 称
P( A) 为事件 A 的 概 率 .当 n 充 分 大 时 , 可 以 用 频率 f n ( A) 作 为
P( A) 的近似值 .频率的概念直观简单 , 容易掌握 .因此可以根据 频
率的基本性质加以提炼与 概括 , 作为 定义 事件 概率的 依据 和直 观
背景 .
从频率的定义可知事件 A 的频 率 f n ( A) 是集函 数 , 具 有下 述
性质 :0 ≤ f n ( A) ≤ 1 , f n (Ω) = 1; 对于任意有 限多个互不相容 事件
m
m
A1 , A2 , … , Am ( 即 Ai A j = , " i ≠ j ) 有 fn k∪
= 1
Ak = ∑f
k=1
n ( Ak ) ,
即具有可加性 .
例 2 .11 如果对例 2 .7 中的 投针试验重复进 行 n 次 , 事件 A
发生 ( 即投针与平行线相交 ) 的次数为 μn ( A) .当 n 很大时 , 其频 率
f n ( A) = μn ( A)/ n 近 似 等 于 概 率 P ( A) , 因 此 , 若 以 f n ( A) 作 为
P( A) 的近似值代入 (2 .5 ) 式 , 则得到π的近似值 :
2 nl
π≈ ,
aμn ( A)
用随机试验的方法确定圆周率π, 这真是奇妙的方法 !
4 概率的公理 化定义
本概念的长期研究 , 人们发现事件的运算与集合的运算非常相似 ,
概率与测度都是集函数 , 且有共同的基本性质 : 满足非负性与完全
可 加 性 .这 一 事 实 随 着 当 时 在 实 变 函 数 论 中 关 于 勒 贝 格
( Lebes gue) 测度和积分的研究以及一般抽象测度和积分理论的发
展而日益清晰起来 .直到 1933 年 , 前苏 联数学 家柯 尔莫哥 洛夫 综
合了前人结果 , 提出了概率论公理化结构 , 从而给出事件与概率的
严格定义 , 推动了概率论的迅速发展 .
下面就来叙述概率论中的公理化结构 .
(1 ) 集类
设 Ω为一个抽象空间 , 即一个非 空集合 , 它 的元 素称为 点 , 一
般用 ω表示 , 由 Ω中的某些点构成的集合用 A , B, A1 , A2 等大写
字母表示 , 它们都是 Ω的子集 .
ω∈ A 表示 ω为 A 的一个元素 , 称作 ω属于 A .空 集 也是 Ω
的一个子集 .由 Ω中 子集 构成 的 集合 称 为 集类 , 我们 将 用花 写 字
母 A, B,C 等来表示 .例 A = { , Ω} , 集类 A 中的 元素是空集 和
全集 Ω .A1 Ω, A2 Ω, A1 ≠ A2 , A = { A1 , A2 , } ,集类 A 由 3 个
元素构成 .
我们用 2Ω 表示由 Ω 的所有子集全体构成的集类 .
(2 ) 概率空间三要素
① 样本空间 Ω;
② σ- 代数 F: 设 F 是 Ω的某 些子集 构成的非 空集类 , 若满 足
以下条件 :
( i ) 若 A∈F, 则 A∈F; ( 2 .6)
∞
( ii ) 若对 " k≥ 1 , Bk ∈F, 则 k∪ Bk ∈F . ( 2 .7)
=1
( ii ) P(Ω) = 1 , 此即规一性 ;
( iii ) 若 A i ∈F ( i = 1 , 2 , … ) , 且 Ai A j = ( i≠ j) , 则
∞ ∞
P ∑A
i= 1
i = ∑ P( A )
i=1
i . ( 2 .8)
此即可列可加性 , 也称完全可加性 .
则称 P 为可测空间 ( Ω, F ) 上的一 个概 率测度 ( 简称 为概率 ) ,
称 ( Ω, F, P) 为概率空间 , 称 F 为事件域 .若 A∈F, 称 A 为事件 , 称
P( A) 为事件 A 的概率 .
注 Ω中的一集合 A 是 否 是事 件 , 取 决 于 A 是 否属 于 F .在
定义 σ-域 F 时 , 一般并 没有 要求 Ω的 全体 子 集都 属于 F, 因而 不
是任何子集都一定是 事件 .但 当 Ω是 有 限 或可 列 集时 , 如无 特 别
指出 , 总是把 Ω的全体子集 2Ω = { A , A Ω}作为 F .
(3 ) σ-代数 ( 也称 σ-域 )
下面举几个 σ-代数的例子 .
例 2 .12 F1 = { , Ω} , 这 是 Ω上 最 小 的 σ-代 数 .F2 = { A |
A Ω}是由 Ω 的全体子 集构成的 , 这 是 Ω上最 大的σ-代数 .F3 =
{ , A , A, Ω} , 其中 A 是 Ω 的一个真子集 .
命题 2 .1 若 F 为 σ-代数 , 则 :
① ∈F, Ω∈F;
∞ ∞ ∞ d ef
② 若 An ∈F, n≥ 1 , 则 n∩ An ∈F, n∩ ∪ Ak lim An ∈F;
= 1 = 1 k= n n→ ∞
③ 若 A , B∈F, 则 A - B∈F .
证明 留给读者作为练习 .
从定义及性质表明 , σ-代数对可列次 并、交、差等 所有运算 是
封闭的 , 这 是 σ-代数作为 现代随机数学中基 本概念和基本框 架的
主要原因之一 .
可以证明 , 对 于任 意 的一 个 集类 C, 一 定 存在 包 含 C 的 最 小
σ-域 .
1 .2 概率的公理化定义与性质 21
证明 显然有 = ∪ ∪… , P( )= ∑
i= 1
P( ) , 由概率
非负性即得 .
② P( A) = 1 - P( A) . ( 2 .9)
请读者自己证明 .
③ 有限可加性 , 即若 A1 , A2 , … , An ∈F, 且 Ai A j = ( i≠ j) ,
则
n
n
P k∪
=1
Ak = ∑ P( A
k= 1
k ) . (2 .1 0)
证明 由 P( ) = 0 及完全可加性可得 .
22 第 1 章 随机事件与概率
④ " A , B∈F , 则
P( A\ B) = P( A) - P( AB ) . (2 .1 1)
若 B A, 则
P( A - B) = P( A) - P( B) . ( 2 .11a)
证明 由 A = A B + ( A \ B) , 有 P( A) = P( A B) + P( A \ B) , 从
而得 (2 .1 1) 式 .当 B A 时 , 有 B = A B, 由 ( 2 .11 ) 式得 ( 2 .11a ) 式 .
⑤ P( A∪ B) = P( A) + P( B) - P( A B) . (2 .1 2)
证明 由 A∪ B = A + ( B\ A) , 有
P( A ∪ B) = P( A) + P( B \ A) ,
再利用 (2 .1 1) 式得 (2 .1 2) 式 .
⑥ 若 A B, 则 P( A) ≤ P( B) .
证明 由 A B, B = A + ( B - A) , 得
P( B) = P( A) + P( B - A) ≥ P( A) .
⑦ 若尔当 ( Jordan ) 公式 " Ak ∈F (1 ≤ k≤ n, n≥2 ) ,
n n
P k∪ Ak = ∑ P( Ak ) - ∑ P ( Ai A j ) +
=1
k= 1 1 ≤ i< j≤ n
∑
1 ≤ i< j < k≤ n
P ( Ai A j A k ) + … +
n- 1
( - 1) P( A1 A2 … An ) . (2 .1 3)
证明 由 (2 .1 2) 式及数学归纳法可得 (2 .1 3) 式 .
推论
n
n
P k∪
=1
Ak ≤ ∑ P( A
k= 1
k ) ( 有限次可加性 ) , (2 .1 4)
n
n
P k∪ Ak ≥ ∑ P( Ak ) - ∑ P ( Ai A j ) . (2 .1 5)
= 1
k= 1 1 ≤ i < j≤ n
⑧ 可列次可加性
∞
∞
P k∪
=1
Ak ≤ ∑ P( A
k= 1
k ) . (2 .1 6)
⑨ ( 概率连续性 ) 若{ An , n≥ 1}为单调事件序列 , 则
1 .2 概率的公理化定义与性质 23
P n→
lim An = n→
lim P( An ) . (2 .1 7)
∞ ∞
证明 若{ An , n≥ 1} ∈F, 且 A1 A2 … , 我们来证明 上述
性质 .记 B1 = A1 , B2 = A2 - A1 , … , Bn = An - An - 1 , 显然有 An =
n n ∞ ∞
∪ Ak =
k=1 ∑B
k=1
k , n→
lim∞
An = n∪
= 1
An = ∑B
n= 1
n 且{ Bn , n≥ 1 }两两 不相交 ,
由完全可加性有
∞ ∞ n
P n→
lim∞
An = P ∑B
n=1
n = ∑ P( B
n=1
n ) = n→
lim∞∑
P( Bk )
k= 1
= n→
lim P( An ) ,
∞
即得 (2 .1 7) 式 .
对{ An , n≥ 1 }∈F , 且 A1 A2 … An … , 注 意 到 A1
∞ ∞
A2 … , n∪ An = ∩ A n 可 得 ( 2 .17 ) 式 .详 细 证 明 留给 读 者 作 为
=1 n=1
练习 .
例 2 .15 设样本空间 Ω= {ω1 ,ω2 , … ,ωn }仅有有限个样本点 ,
μ( A)
F = { A| A Ω} , P( A) = , 其中 μ( A) 是 A 的测度 ( 具 有非负、
μ(Ω)
可加性的集函数 ) , 则称 (Ω, F , P) 是一个 概率空 间 , 称 为有限概 率
空间 .
下面的例 2 .16 初学者可跳过不看 .
例 2 .16 设 Ω= R , F = B, B 为一维博雷尔 σ-域 .在可测空间
(Ω, F ) = ( R , B ) 上定义 P( ・ ) 满足 :
∫
- 1/ 2 - t2 / 2
" A ∈ F = B, P( A) = ( 2π) e dt .
t∈ A
∫
- 1/ 2 - t2 / 2
由于 P(Ω) = ( 2π) e d t = 1 ( 详见第 2 章正态分布 ) , 则
t∈ R
1 .3 古典概型的计算
本节重点讨论有关古典概型的计算 .
古典概型是具有以下两点性质的试验 :
(1 ) 试验的样本空间的元素只有有限个 .
(2 ) 试验中每个样本点发生的可能性相同 .
事件 A 的概率定义为
A 中包含的样本点数 μ( A)
P( A) = = .
Ω 中包含的样本点数 μ(Ω)
为计算样本点数 , 往往需要用到排列组合的有关知识 , 而这部
分内容在中学已经讲过 , 这里只介绍简单组合的推广 , 即 n 个元素
分为 k 组的组合数 .
1 .3 古典概型的计算 25
设有 n 个不 同元 素分 为 k 组 ( 2 ≤ k≤ n) , 第一 组含 m1 个 , 第
k
二组含 m2 个 , ……第 k 组含 mk 个 , ∑m
i= 1
i = n .为计算其组合数 ,
可以先将 n 个元素分为 m1 , n - m1 两个 组 ; 再将 n - m1 , 分为 m2 ,
n - m1 - m2 两个组 ; 如此类推 , 即可得组合数为
n! ( n - m1 ) !
・ …
m1 !( n - m1 ) ! m2 !( n - m1 - m2 ) !
( n - m1 - … - mk - 2 ) ! n!
= , ( 3 .1)
mk - 1 !( n - m1 - … - mk - 1 ) ! m1 !m2 !… mk !
n!
即有 种不同的分组方法 ( 不计其次序 ) .
m1 ! m2 !… mk !
n
不难看 出 : 上 式 是 多 项 式 ( x1 + x2 + … + xk ) 的 展 开 式 中
x1m 1 x2m 2 … xkm k 项的系数 , 因此我们也称 ( 3 .1) 式为多项式系数 .
古典概型中事件概率的计算步骤大致为 :
(1 ) 由给定的随机试验 , 建立合适的样本空 间 , 判 断其等可 能
性是否满足 ;
(2 ) 求出 Ω及 A 中的样本点数 μ(Ω) 及 μ( A) ;
(3 ) 求概率 P( A) .
举例如下 .
1 抽球问题
C36 - i C4i
中取出 i 个 .故 μ( A i ) = C C , 所 以 P ( Ai ) = .于 是
3 - i i
6 4
C31 0
C26 C14 60 1
P( A1 ) = 3 = = .又 B = Ω - A0 , 于是 P( B) = 1 - P( A0 ) =
C10 120 2
C36 1 5
1- 3 =1- = .
C1 0 6 6
例 3 .2 箱中有 10 个 球 , 6 白 4 红 , 随 机 地 一 个个 取 出 不 放
回 , 求第 k(1≤ k≤10) 次取到红球的概率 .
解 下面给出两种解法 , 读者 可以 从中 体会建 立 样本 空间 的
方法 .
方法 1 将 球 如 例 3 .1 编 号 .因 为 所 求 为 第 k 次 取 出 红 球
的概率 , 故试验时 只观 察 球一 个 个 取出 时 第 k 次 的 结 果 .建 立 样
本空间 Ω如下 : Ω中的一个样本对应 于从 10 个球 中取 出 1 个 , 故
1
μ(Ω) = C1 0 .令 Ak = {第 k 次 取出 红球 } , 则 Ak 中 的样 本 对应 于 从
1
7~10 号中取出 1 个 , 故 μ( Ak ) = C4 , 所以
1 1
P( Ak ) = μ( Ak )/ μ( Ω) = C4 / C1 0 = 4/ 10 (1 ≤ k ≤ 10) .
因此 , 第 k 次取到红球的概率与 k 无关 .
方法 2 球不编号 , 只区分红、白颜 色 .试 验时 , 只考察 4 个 红
球占据有编号的 10 个位 置中 的 哪 4 个 位 置 .于 是样 本 空间 Ω 中
的一个样本点对应着 10 个元素中取出 4 个 , 不计其次序的一种取
法 , 故 μ( Ω) = C410 .A k = {第 k 个位 置上是 红球 } , Ak 发生对 应当 且
仅当“有一红球占据第 k 位置 , 而其余 3 个红球占据剩下的 9 个位
3 3 4
置中的 3 个”, 故μ( Ak ) = C9 , 所以 P( Ak ) = C9/ C10 = 4/ 10 .
从上面两种方法可以看出 , 在解决同一具体问题时 , 可建立不
同的样本空间 .关键在于满足古典模型的两个条件 , 并且适用于问
题的解决 .
例 3 .3 题设同例 3 .2; 求在第三次时 , 首次取到红球的概率 .
解 同例 3 .2 将球编号 , 只观察前 3 次抽球情况 , 据此建立样
1 .3 古典概型的计算 27
故
P( A) = C bk Cna - k/ C na+ b , 0 ≤ k ≤ b, 1 ≤ n ≤ a + b .
2 分房问题
例 3 .5 有 n 个人 , 每个人都以同样的概率分配在 N ( n≤ N)
间房中的每一间中 , 求下列事件的概率 :
A: 某指定 n 间房中各有 1 人 ;
B: 恰有 n 间房 , 其中各有 1 人 ;
C: 某指定房间中恰有 m( m≤ n) 人 .
解 设随机试验为把每个人随机分配到 N 个房间中 任一间 ,
据此建立样本空间 Ω .由于每一 人分 到 N 个房间 中有 N 种 分法 ,
由乘法原理得 μ(Ω) = N n .
现固定某 n 个房间且每间一人 , 第一人可分配到其中任一间 ,
有 n 种分法 , 第二人可分配到余下 n - 1 间中任一间 , 有 n - 1 种分
n!
法 , …… , 故 μ( A) = n !, 所以 P( A) = .
Nn
n
如果这 n 个房间可自 N 间中任意选出 , 那么只有 C N 种选法 ,
n
故 μ( B) = n !・C N , 所以
n
n !・C N
P( B) = n = n N! .
N N ( N - n) !
事件 C 中的 m 个人可自 n 个人中任意选出 , 故有 Cnm 种选法 ,
其余 ( n - m ) 个 人 可 任 意 分 配 到 剩 下 的 N - 1 间 房 里 , 共 有
( N - 1 ) n - m 种分法 , 所以 μ( C) = Cnm ( N - 1) n - m
.故
C nm ( N - 1 ) n - m m n- m
m 1 N - 1
P( C) = n = Cn .
N N N
例 3 .6 将 r 个质 点 ( 不可 分 辨 ) 随机 放 入 n 个盒 子 中 ( 1 ≤
r≤ n) ( 假设每一种放法等可能 ) , 求 下列事件 的概率 : A =“ 某指 定
的 r 个盒中各有一质点”, B =“某指定的一个盒中恰有 k(1≤ k≤ r)
1 .3 古典概型的计算 29
个质点”.
解 用竖线“ | ”表 示盒壁 , 用“ * ”表示 质点 , 将盒 子和 质点 并
列排成一排 , 如 r = 3 , n = 4 的一种放法表示为 : | * * | | * | | , 表 示
各个盒子 中的 质点数 依次 为 2 , 0 , 1 , 0 .把 每个壁 与每 个点 都看 成
一个位置 , 其中两端的 竖线固 定 , 其余 的 n - 1 条竖 线和 r 个“ * ”
依次占据 n + r - 1 个 位置 .令 Ω= { r 个 质点 的放 法 全体 } , 于 是 r
个质点的一种占位就相当于 n + r - 1 个位置中 r 个被“ * ”占据 的
一种 .等价于从 ( n + r - 1 ) 个 数中 不 计次 序 取 出 r 个数 的 一 种 取
r
法 , 故 μ(Ω) = Cn + r - 1 .事件 A 只是 r 个质点的一种放法 , 故μ( A) =
1 , 所以
P( A) = μ( A) = r 1 = r !( n - 1) ! .
μ( Ω) Cn + r - 1 ( n + r - 1) !
B =“ 某指定的一盒中恰有 k 个 质点”.这样 , B 中的一 个样 本
点就对应于有 k 个质点放在指定盒中 , 而其余的 r - k 个质点放 在
剩下的 n - 1 个盒中的一种放法 .
故由上分析可知 : μ( B) = C(r n- -k 1 ) + ( r - k) - 1 = Crn -+ kr - k - 2 , 所以
μ( B) Crn-+kr - k - 2
P( B) = = r .
μ(Ω) Cn + r - 1
本题与例 3 .5 同属“分房问题”.只是在例 3 .5 中人是可辨的 ,
即人的占据不仅依赖于每个房间的人数 , 还取决于不同人 ; 而本题
中 , 由于质点不可辨 , 所以其 分布 只依 赖于盒 的质 点个 数 , 这样 在
计算样本点数时 , 所用的方法就不相同 , 请读者仔细体会 .
3 随机取数问 题
A2 : 不含 1 和 10;
A3 : 10 恰好出现两次 ;
A4 : 至少出现两次 10 .
解 每取一次 , 有 10 种不 同的 取法 ; 还 原后 , 再 取 仍有 10 种
不同的取法 ; 因此由乘法原理 , Ω中共有 107 个不同的样本点 .
A1 =“ 7 个数字全不相同”.容易看出 μ( A1 ) = 10 ×9 ×8 ×7 ×
6×5 ×4 = 10 !/ 3 !, 所以
μ( A1 ) 10 × 9 × 8 × 7 × 6 × 5 × 4
P( A1 ) = = 7 ≈ 0 .06048 .
μ(Ω) 10
A2 =“不含 1 和 10”.A2 中的一个样本 点对应 于“ 从 2~ 9 这 8
7
个数中任取 1 个 , 重复 7 次的一种取法”, 故 μ( A2 ) = 8 , 所以
87
P( A2 ) = .
107
A3 =“ 10 恰好出现两次”.出 现 的两 次 10 可以 是 7 次 中的 任
意两次 , 而 其 他 5 次 , 每 次 只 能 取 剩 下 9 个 数 字 中 的 一 个 , 故
μ( A3 ) = C27 ・95 , P ( A3 ) = C27 ・ 95/ 107 .一 般 地 , 10 恰好 出 现 k 次
C7k ・ 97 - k
( k≤7) 的概率为 Pk = .
107
A4 =“至少出现两次 10”.设 Bk = 10 恰好出现 k 次 ( k = 0 , 1 ,
7
2 , 3 , 4 , 5 , 6 , 7) , 则它们 彼此互 不相 容 , 所以 A4 = ∑B
k=2
k ; 由此
及概率的有限可加性 , 有
7
∑C
k 7 - k
7 7 ・9
∑P
k=2
P( A4 ) = k = .
k= 2 107
1
∑C
k 7- k
1 7 ・9
k= 0
又 A4 = Ω - B0 - B1 , 所以 P( A4 ) = 1 - ∑
k= 0
Pk = 1 -
107
.
1 .4 条件概率与全概率公式 31
1 .4 条件概率与全概率公式
1 条件概率的 定义
2 乘法公式和 全概率公 式
类似的有一般的情形 .
推论 2 设 A i ∈F ( 1≤ i≤ n) , 若 P( A1 A2 … An - 1 ) > 0 , 则
P( A1 A2 A3 … An ) = P( A1 ) P( A2 | A1 ) P( A3 | A1 A2 )
… P( An | A1 A2 … An - 1 ) .
例 4 .2 袋中有 10 个球 , 6 白 4 红 , 一个一个地 取出 ; 令 A k =
第 k 次取出红球 , 其中 1 ≤ k≤10; 求 P( A1 A2 ) , P( A2 ) .
解 方法 1 按照古典概型的计算方法
2 1
C4 2 C4 2
P( A1 A2 ) = 2 = , P( A2 ) = 1 = .
C10 15 C10 5
4 3 2
方法 2 P ( A1 A2 ) = P ( A1 ) P ( A2 | A1 ) = × = .由
10 9 15
A2 = ΩA2 = A1 A2 + A1 A2 , 故
P( A2 ) = P( A1 A2 + A1 A2 ) = P( A1 A2 ) + P( A1 A2 )
= P( A1 ) P( A2 | A1 ) + P( A1 ) P( A2 | A1 )
2 6 4 2
=
+ × = .
15 10 9 5
在方法 2 求 P( A2 ) 的过程中 , 对 Ω作如下 分解 : Ω= A1 + A1 ,
且使 A1 A2 与 A1 A2 互不相容 .这种分解方法体现了以下全概率公
式的基本思想 .
(2 ) 全概率公式
定义 4 .2 若 { Bi , i≥ 1 } 满 足 : Bi ∈ F, " i ≠ j, Bi B j = ,
∞
P( A) = ∑ P( B ) P( A |
i=1
i Bi ) , ( 4 .3)
称之为全概率公式 .
n
n
证明 因为 A = AΩ = A i∪
= 1
Bi = ∑ ( B A)
i= 1
i , 所以
34 第 1 章 随机事件与概率
P( A) = P i∪ ( Bi A ) ( 事件的等价性 )
= 1
= ∑ P( Bi A ) ( 有限可加性 )
i=1
= ∑ P( Bi ) P( A | Bi ) ( 乘法公式 ) .
i=1
(1 ≤ i ≤ 9 ) , 则 " i≠ j, Bi B j = ,∪ Bi = Ω .又 P ( Bi ) = 1/ 10 ,
i= 0
P( A| B0 ) = 0 , P( A| B1 ) = 0 .当 2 ≤ i≤ 5 时 , P( A | Bi ) = ( i - 1 )/ 9;
当 6≤ i≤9 时 , P( A | Bi ) = ( i - 2)/ 9 .所以
9
P( A) = ∑ P( Bi ) P( A | Bi )
i= 0
5 9
= ∑ P( Bi ) P( A | Bi ) + ∑ P( B ) P( A |
i Bi )
i= 2 i=6
5 9
1 i - 1 1 i - 2 16
= ∑ + ∑ = .
10 i = 2 9 10 i= 6 9 45
例 4 .4 设一信号 接收 器在 [ 0 , 1 ] 时间 内到 达 n 个信 号的 概
率为
n
pn = μ e - μ , μ > 0 常数 , n ∈ N = {0 , 1 , 2 , …} .
n!
一信号到达时 , 能被记录下来的 概率是 0 .4 .设 各信号到达时能 否
被记录相互独 立 , 求 该 接 收 器 在 [ 0 , 1 ] 上 记 录 l 个 信 号 的 概 率 ,
l∈ N .
解 记 A = 接收器 在 [ 0 , 1 ] 上记 录 l 个 信 号 , Bn = 接 收 器 在
1 .4 条件概率与全概率公式 35
[0 , 1 ] 上 到 达 n 个 信 号 , n ∈ N . A = AΩ = n∪ ( Bn A ) , P ( Bn ) =
= l
n
μ -μ
e , P( A | Bn ) = Cln ( 0 .4) l ( 0 .6) n - l .故
n!
∞ n
μ e- μ l
P( A) = ∑ C n ( 0 .4) l ( 0 .6) n - l ( 令 i = n - l)
n= l n!
l ∞ i
( 0 .4μ) - μ (0 .6μ)
= e ∑
l ! i=0 i!
( 0 .4μ) l - 0 .4 μ
= e , l∈ N .
l !
由以上几个例子可以看出 , 全概率公式的形式虽然很简单 , 但
它所代表的“ 对样本空 间进行 适当分解”的思想却 十分重 要 , 具 有
很高的技巧性 .通过对样本空间的分解 , 可以将“较复杂的”事件转
化与分解为若干不相容事件的并 , 从而使问题得以解决 .这种事件
分解的思想在后面章节中仍会不断涉及 , 它贯穿概率论的始终 , 是
概率论的一大特点 .
对于全概率公式 , 还可以做以下两点推广 .
推论 3 若{ Bi , i≥1 }是 Ω的一个分解 , 且 P( B i ) > 0 , 则
∞
P( A) = ∑ P( B ) P( A |
n=1
i Bi ) . ( 4 .4)
推论 4 若 " i≠ j , B i B j = , B i ∈F, A ∪ Bn , 则 (4 .4 ) 式 亦
n= 1
成立 .
全概率公式是概率论的 最基本 公式 之一 , 它隐 含 了概 率论 中
分析问题的基本思想与技巧 , 以后还要介绍它的各种变形与推广 .
(3 ) 贝叶斯公式
n
由全概率公式可知 , P( A) = ∑ P( B ) P( A |
i= 1
i B i ) . 由 乘法 公
式 , 得到
36 第 1 章 随机事件与概率
P( A B i ) = P( A) P( Bi | A) = P( Bi ) P( A | Bi ) . ( 4 .5)
将 (4 .3 ) 式代入 ( 4 .5) 式 , 得到
n
∑ P( B ) P( A |
i= 1
i Bi ) ・ P( Bi | A) = P( Bi ) P( A | Bi ) ,
所以
P( Bi ) P( A | Bi )
P( Bi | A) = n . ( 4 .6)
∑ P( B ) P( A |
i=1
i Bi )
定义 4 .3 称 ( 4 .6) 式为贝叶斯公式 .
与全概率公式类似 , 贝 叶斯公 式也 可以 推广到 可 列无 穷的 情
况,即
P( Bi ) P( A | Bi )
P( Bi | A) = ∞ . ( 4 .7)
∑ P( B ) P( A |
i=1
i Bi )
通过 贝 叶 斯公 式 , 使 我 们在 已 知 P ( Bi ) 和 P ( A | B i ) 的 情 况
下 , 可以计算 P( Bi | A) 的值 , 称 P( Bi | A) 为事件 Bi 的后验概率 ( 即
已知试验结果 A 以后 B i 的概率 ) .相对地 , 称 P( Bi ) 为事件 Bi 的先
验概率 .
以下几个例子说明贝叶斯公式的应用 .
例 4 .5 某发报 机每 次随机 地发“ 1”与“ 0”两种信 号 , 其概 率
分别为 0 .6 与 0 .4 , 由于 系 统 受随 机 干扰 , 其 结 果 是在 发 报 机 发
“1”信号条件下 , 收报机收到“ 1”与“ 0”的条 件概 率 为 0 .8 与 0 .2;
在发“0”信号条件下 , 收到“1”与“ 0”的 条件 概率为“ 0 .1”与“ 0 .9”.
试求在收报机收到“1”信号条件下 , 发报机发“1”的条件概率 ?
解 设 A = 发“ 1”信 号 , A = 发“ 0”信 号 ; B = 收“ 1”信号 , B =
收“0”信号 .由题意有 P( A) = 0 .6 , P( A) = 0 .4 , P ( B | A) = 0 .8 ,
P( B | A) = 0 .2 , P( B | A) = 0 .1 , P( B| A) = 0 .9 .由贝叶斯公式得
P( A) P( B | A)
P( A | B) =
P( A) P( B | A) + P( A) P( B | A)
1 .4 条件概率与全概率公式 37
0 .6 × 0 .8
= = 0 .923 .
0 .6 × 0 .8 + 0 .4 × 0 .1
此例中 , P( A) = 0 .6 , P( A) = 0 .4 是 根据 以往 发信号 的统 计规 律
得到的 , 相对于这个问题而言是先验概率 , 而 P( A| B) 是根据本 次
得到的试验结果的信息下得到的后验概率 .
例 4 .6 对以往数据分析结果表 明 : 当 机器调整 良好时 , 产 品
的合格率为 90 % , 而当 机 器发 生某 一故 障 时 , 其 产品 合 格率 仅 为
30 % ; 每天早上机器开动时 , 机器调整良 好的概 率为 75 % .已知 某
日早上第一件产品是合格品 , 试求 : 机器调整良好的概率是多少 ?
解 A = {产品合格 } , B = {机 器调整 良好 } , 则 题 目要 求的 是
P( B | A) ; 由 题 意 知 P ( A | B) = 90 % , P ( A | B) = 30 % , P ( B) =
75 % , 所以
P( B) P( A | B)
P( B | A) =
P( B) P( A | B) + P( B) P( A | B)
0 .7 5 × 0 .9
= = 0 .9 .
0 .7 5 × 0 .9 + 0 .2 5 × 0 .3
即 , 当生产出的第一件产品合格 时 , 机 器调整良 好的概 率为 90 % .
题目中 P( B) = 75 % 是根据以往的数 据分析 得到 的 , 是先验 概率 ;
而 P( B| A) 是在得到“生产了一件合格产品”这一信息 条件下的 修
正概率 , 是后验概率 .
(4 ) 乘法公式、全概率公式在条件概率下的形式
在某事件 C 发生的条件下 , 乘法公 式、全概 率公 式仍然 成立 ,
其形式如下 :
乘法公式 : 设 A, B, C∈F, 若 P( A C) > 0 , 则
P( AB | C) = P( A | C) P( B | AC) . ( 4 .8)
∞
P( CBi ) > 0 , 则
38 第 1 章 随机事件与概率
P( A | C) = ∑ P( B
i= 1
i | C) P( A | CB i ) . ( 4 .9)
3 综合举例
在引入了条件概率的 3 个 重要 公式———乘 法公 式 , 全 概率 公
式和贝叶斯公式后 , 我们 所解 决的概 率问 题的 范围比 以前 大大 扩
展了 .为说明它们的综合应用 , 举例如下 .
例 4 .7 有两个 口袋 , 1 号袋 装有 2 个 黑 球和 3 个 红 球 ; 2 号
袋装有 3 个 黑球和 2 个红 球 ; 用掷一颗 骰子来 决定从哪 个袋中 取
球 .若骰子出现的点数是 1~ 4 , 则从 1 号袋 取球 , 否 则从 2 号袋 取
球 .接着随机地从该口袋抽出一球后放回原袋 , 再从同一口袋重复
取放 n 次 .记 Bk 为第 k ( 1 ≤ k≤ n) 次 取 出黑 球 .试 求 P( B2 | B1 ) ,
P( Bn | B1 … Bn - 1 ) 及lim P( Bn | B1 … Bn - 1 ) .
n→ ∞
解 记 A1 = 从 1 号口袋 (2 黑 3 红 ) 取球 ; A2 = 从 2 号 口袋 (2
红 3 黑 ) 取球 .由条件概率定 义得 P( B2 | B1 ) = P ( B1 B2 )/ P( B1 ) ,
而事件 B1 = B1 ( A1 ∪ A2 ) = A1 B1 ∪ A2 B1 , 从而有
P( B1 ) = P( A1 B1 ) + P( A2 B1 )
= P( A1 ) P( B1 | A1 ) + P( A2 ) P( B1 | A2 )
= 4/ 6・2/ 5 + 2/ 6・3/ 5 = 7/ 15 .
类似地
P( B1 B2 ) = P( A1 ) P( B1 B2 | A1 ) + P( A2 ) P( B1 B2 | A2 )
2 2
= 4/ 6・ ( 2/ 5) + 2/ 6 ・ (3/ 5 ) = 17/ 75 ,
P( B1 B2 ) 17
所以 P( B2 | B1 ) = = .
P( B1 ) 35
类似地 , 若前两次抽到的都是黑球 , 则第三次抽到的也是黑球
的条件概率为
1 .4 条件概率与全概率公式 39
P( B1 B2 B3 )
P( B3 | B1 B2 ) =
P( B1 B2 )
4/ 6・ ( 2/ 5) 3 + 2/ 6・ ( 3/ 5) 3 43
= 2 2 = .
4/ 6・ ( 2/ 5) + 2/ 6・ ( 3/ 5) 85
一般地 , 若已知前 n - 1 次抽 到的均 是黑 球 , 则从 第 n 次抽 到
的也是黑球的条件概率为
P( B1 B2 … Bn )
P( Bn | B1 B2 … Bn - 1 ) =
P( B1 B2 … Bn - 1 )
n n
= 4/ 6 (2/ 5n )- 1 + 2/ 6( 3/ 5) n - 1 .
4/ 6( 2/ 5) + 2/ 6( 3/ 5)
当 n→∞时 , 上述概率的极限为
( 2/ 5) n + ( 3/ 5) n
lim P( Bn | B1 B2 … Bn - 1 ) = n→
lim
n→ ∞ ∞ ( 2/ 5) n - 1 + (3/ 5 ) n - 1
3
= = P( B1 | B2 ) .
5
例 4 .8 波利亚 ( Polya ) 坛子模型 .
有些人把这个问题当作 传染病 或地 震的模 型 , 认 为某 地越 爆
发疾病则越容易爆发该疾 病 .模型 如下 ( 红 球代表 爆发 , 黑 球代 表
不爆发 ) : 坛子中有 b 个 黑 球 , r 个 红 球 ; 现 从中 每 次取 一 个 , 取 后
放回 , 并同时再放入 c 个与所取球同色的球 .问 :
(1 ) 前两次取出的都是黑球的概率 ;
(2 ) 第 n 次抽取的是黑球的概率 .
解 令 Bi = 第 i( i = 1 , 2 , … ) 次取出的是黑球 .
(1 ) 求 P( B1 B2 ) 由乘法公式 , 有
b b+ c
P( B1 B2 ) = P( B1 ) P( B2 | B1 ) = .
b+ rb+ r+ c
( 2) 求 P( Bn ) 先考虑 c = 0 与 c = - 1 的特殊情形 .这是我们
已经 熟 悉 的有 放 回 抽 样 问题 与 无 放 回 抽样 问 题 , 易知 P ( Bn ) =
b
.下面我 们 证 明 这 个 结 论 带 有 一 般 性 , 即 对 任 意 的 c, 都 有
b+ r
40 第 1 章 随机事件与概率
b
P( Bn ) = .
b+ r
考虑在前 n 次抽取中 , 对任意指定 顺序 取 k 个黑 球和 ( n - k)
个红球的概率 .每抽取一次 , 球的总数 加 c, 每抽 到一个 黑 ( 红 ) 球 ,
黑 ( 红 ) 球数加 c .均有
μ( Ω) = C1b+ r C1b+ r+ c …C1b+ r+ ( n - 1 ) c .
μ( 指定 k 个位置取黑球 , 其余 ( n - k) 个位置取红球 ) =
1 1 1 1 1 1
C b C b+ c …Cb+ ( k - 1 ) c Cr C r+ c …Cr+ ( n - k - 1 ) c ,
P( 指定顺序取 k 个黑球 , ( n - k) 个红球 ) =
b( b + c) …[ b + ( k - 1) c] r( r + c) …[ r + ( n - k - 1 ) c] .
( b + r) ( b + r + c) ( b + r + 2 c) …[ b + r + ( n - 1) c]
记 Ak = 前 n 次抽球中抽到 k ( k = 0 , 1 , 2 , … , n) 个黑球 , 则由全概率
n
公式 Ω= k∪ Ak 得
=0
P( Bn + 1 ) = ∑ P( A
k=0
k ) P( Bn + 1 | Ak )
n
b
= .
b+ r
1 .5 事件的独立性 41
1 .5 事件的独立性
1 两个事件的 独立性
例 5 .1 有 10 个球 , 6 白 4 红 , 现 从中每 次取出一 个 , 取后 放
回 , 设 Ak =“第 k 次取出的是红球”, 由古典概型 的概率计 算 , 可 以
4 4 4 4
得到 : P( A1 ) = , P( A2 ) = , P( A2 | A1 ) = , P( A2 | A1 ) = ,
10 10 10 10
即在 A1 发生或不发生的条件 下 , A2 发生 的条 件概 率都 等 于 A2 的
无条件概率 .这说明 A1 的发生与否对 A2 发生的概 率没有 影响 .这
时 , 我 们 可 以 设 想 A1 , A2 是 彼 此 独 立 的 , 再 由 P ( A1 A2 ) =
P( A1 | A2 ) P( A2 ) , 得 P( A1 A2 ) = P( A1 ) P( A2 ) , 由此 引 出两 个 事
件独立的定义 .
定义 5 .1 若事件 A , B 满足
P( AB ) = P( A) P( B) , ( 5 .1)
则称 A , B 相互独立 .
对于独立性 , 有如下的命题 .
命题 5 .1 下列命题等价 : (1 ) A 与 B 相 互独 立 ; ( 2 ) A 与 B
独立 ; ( 3) A 与 B 独立 ; ( 4 ) A 与 B 独立 ; ( 5 ) P( A | B) = P( A) ;
(6 ) P( A | B) = P( A) ; (7 ) P( A | B) = P( A) , P( A | B) = P( A) .
证明 ( 1 ) → ( 2 ) 由 A = A B∪ A B 得 P ( A) = P( A B) +
P( A B) ; 由 A, B 相互独立 , 得 P( A B) = P( A) P( B) .于是 P( A B) =
P( A) - P( A B) = P ( A) - P ( A ) P ( B) = P ( A ) ( 1 - P ( B) ) =
P( A) P( B) , 故 A, B 相互独立 .同理可证 (2 ) → ( 3) → (4 ) → ( 1 ) .其
余证明留给读者练习 .
42 第 1 章 随机事件与概率
2 几个事件的 独立性
(1 ) 3 事件的独立性
定义 5 .2 如果 3 事件 A , B, C 满足
P( A B) = P( A) P( B) , ( 5 .2)
P( AC ) = P( A) P( C) , ( 5 .3)
P( BC) = P( B) P( C) , ( 5 .4)
P( A BC) = P( A) P( B) P( C) . ( 5 .5)
则称 A , B , C 相互独立 .
当事件 A , B, C 只 满足 ( 5 .2 ) 式 , ( 5 .3) 式 , (5 .4 ) 式 时 , 称 事
件 A , B , C 两两独立 .
一般地, 事件 A, B, C 两两独 立时 P( A BC) = P( A) P( B) P( C)
不一定成立 , 即事件 A, B, C 的 两两 独立 性不 能保 证 事件 A , B, C
的相互独立性 , 从下例可看到这点 .
例 5 .2 一个均匀的正四面体 , 第一面 全染红色 , 第二 面全 染
黄色 , 第三面全染蓝色 , 第四 面染 红黄 蓝 3 色 .在 桌上 将该 四面 体
任意掷一次 , 考察和桌 面接触 的那 一面上 出现 的颜 色 .记 A =“ 出
现红色”, B =“ 出现黄 色”, C =“出 现 蓝色”.下面 我 们 将指 出 这 3
个事件两两独立 , 但 不 相互 独 立 .再 记 Ai =“ 第 i 面 接 触桌 面”,
i = 1 , 2 , 3 , 4 , 由题 意 P( Ai ) = 1/ 4 .又 A = A1 ∪ A4 , B = A2 ∪ A4 ,
C= A3 ∪ A4 , 所以 P ( A) = P ( B) = P ( C) = 1/ 2 .又 A B = AC =
BC = A4 , 故 P( A B) = P ( BC) = P ( A C) = 1/ 4 .可 见 事 件 A , B , C
两两独立 .
又 P( A BC) = P ( A4 ) = 1/ 4 , P ( A ) P ( B) P ( C) = 1/ 8 , 所 以
P( A B C) ≠ P( A) P( B) P( C) , 可见事件 A, B, C 不相互独立 .
命题 5 .2 下列命 题 等价 : ( 1 ) A, B, C 独立 ; ( 2 ) A, B, C 独
立 ; ( 3) A , B, C 独立 ; ( 4 ) A , B, C 独立 ; ( 5 ) A , B, C 独立 ; ( 6 ) A , B,
C 独立 ; (7 ) A, B, C 独立 ; (8 ) A, B, C 独立 .
1 .5 事件的独立性 43
证明 类似于命题 5 .1 的证明 , 从略 .
作为练习 , 请读 者证 明 若 A, B, C 独 立 , 则 A B 与 C , A \ B 与
C, A∪ B 与 C 相互独立 .一般地 , 有命题 5 .3 .
命题 5 .3 设 A , B, C 独立 , 记 F1 = σ( A, B) , F2 = σ( C) , 任 取
A1 ∈F1 , A2 ∈F2 , 则 A1 , A2 独立 .
(2 ) n 个事件的独立性
由定义 5 .2 推而广之 , 得到 n 个事件独立性的定义 .
定义 5 .3 n 个 事 件 A1 , A2 , … , An , 如 果 对 任 意 的 k ( 2 ≤
k≤ n) , 有
P( A i1 Ai2 … Ai k ) = P( A i1 ) P( Ai2 ) … P( Ai k ) , ( 5 .6)
其中 i1 , i2 , … , ik 是 满足 1 ≤ i1 < i2 < … < ik ≤ n 的 任 意 k 个 自 然
数 , 则称 A1 , A2 , … , A n 相互独立 .
注意 P( Ai1 A i2 … Ai k ) = P( Ai1 ) P( Ai2 ) … P( A i k ) 代表的等式
个数为
C2n + C3n + … + C nn = (1 + 1 ) n - C1n - C0n = 2 n - n - 1 .
还有如下命题 .
命题 5 .4 若 A1 , A2 , … , Am , Am + 1 , … , An 相 互独 立 ( 1 ≤
m < n) , 记 F1 = σ( Ak , 1 ≤ k≤ m ) , F2 = σ( Ak , m + 1 ≤ k≤ n) , 任 取
B1 ∈F1 , B2 ∈F2 , 则 B1 与 B2 相互独立 .
例 5 .3 甲、乙、丙 3 人 向同 一飞 机 射 击 , 设 各人 是 否命 中 相
互独立 , 他们的命中率 分别为 0 .4 , 0 .5 , 0 .7 .若 只有一人射中飞 机
坠毁的概率 为 0 .2; 若 两人 同时射 中飞 机坠毁 的概 率为 0 .6 ; 若 3
人同时射中 , 飞机一定坠毁 .求飞机坠毁的概率 .
解 飞机坠毁这一事件可看成由以下几个互不相容事件的并
组成 : 因一个人击中而 坠毁 , 因两 人击 中而坠 毁 , 因 3 人击 中而 坠
毁 .故可依此思路进行样本空间的分解 .
设 B = 飞机坠毁 , A i = 恰 由 i ( i = 0 , 1 , 2 , 3 ) 个人 同 时击 中 , 则
Ω= A0 + A1 + A2 + A3 .记 C1 = 甲射 中 , C2 = 乙 射中 , C3 = 丙 射中 ,
44 第 1 章 随机事件与概率
则
A0 = C1 C2 C3 , A1 = ( C1 C2 C3 ) ∪ ( C1 C2 C3 ) ∪ ( C1 C2 C3 ) ,
A2 = ( C1 C2 C3 ) ∪ ( C1 C2 C3 ) ∪ ( C1 C2 C3 ) , A3 = C1 C2 C3 .
由已知数据及概率可加性及乘法公式可计算出
P( A0 ) = 0 .6 × 0 .5 × 0 .3 = 0 .09 ,
P( A1 ) = 0 .4 × 0 .5 × 0 .3 + 0 .6 × 0 .5 × 0 .3 + 0 .6 ×
0 .5 × 0 .7 = 0 .36 ,
P( A2 ) = 0 .4 1 ,
P( A3 ) = 0 .1 4 .
由题 意 P ( B | A0 ) = 0 , P ( B | A1 ) = 0 .2 , P ( B | A2 ) = 0 .6 ,
P( B | A3 ) = 1 , 故
3
P( B) = ∑ P( A i ) P( B | Ai )
n= 0
(1 ) 试验的独立性
记随机试验 E( k) 的 样 本 空 间 为 Ω( k) , 概 率 空 间 为 ( Ω( k) , F( k) ,
( k) (1) (2 )
P ) (1 ≤ k≤ n) , 两 个 试 验 E 与 E 相互 独立, 粗略地说, 即
(1 ) (1 ) (1 ) (2 ) (2) (2 )
E 中的每个事件 A ∈F 与 E 中的任一事件 A ∈F 相互
独立 .详述如下 .
de f
定义 5 .4 记 n 个 试 验 E ( k) 的 复 合 试 验 为 E E( 1 ) ×
n
d ef d ef
×… ×E ∏ E , 它对应的 样本 空间 为 Ω Ω( 1 ) ×
(2 ) ( n) ( i)
E
i =1
n
d ef
∏Ω
(2) ( n) ( i)
Ω × … ×Ω , 相应的概率空间为 (Ω, F , P) , 其中 :
i=1
1 .5 事件的独立性 45
n
d ef
∏ Fi ; P 是 ( Ω, F ) 上的概率测度 . " A
( k) ( k)
F ∈F ( 即 E 中仅
i=1
( k)
与第 k 次试验 E ( 1≤ k≤ n) 有关的事件 ) , 如果
( 1) (2 ) ( n) (1) (2 ) ( n)
P( A A …A ) = P( A ) P( A ) … P( A ), ( 5 .7)
则称试验 E( 1 ) , E( 2 ) , … , E( n ) 相互独立 .
注 以上定义中的 F 可 以这样理 解 : F =σ{ A ( 1 ) × A( 2 ) ×… ×
A ( n) , A( k) ∈F ( k) , 1≤ k≤ n} .
( 1) (2) ( n)
一般地 , 对 于可 列个 试 验 E , E , …, E , … , 若 其中 任 意
( n)
有限个相互独立 , 则称{ E , n≥1 }为独立试验序列 .
在这里我们用事件的独立性导出了试验的独立性定义 .
(2 ) 独立重复试验序列
(1) (2) ( n) ( i) ( i)
定义 5 .5 若 E ,E , …, E 相 互独 立 , 且 E = E, Ω =
n
∏Ω
( i) n (1 ) (2) ( n)
Ω, Ω = = Ω , 则称 E ,E , …, E 为 n 次独立 重复 试
i=1
验序列 .若每个试 验只 关心 一 个事 件 A 的 发 生与 否 ( 例 如射 击 的
中与不中 ) , 则称之为 n 次伯努利试验 .
直观地讲 , n 次独立重复试验序列就 是指独立 地、重 复地进 行
同一个试验 n 次 ; 其 中每次 试验的每 个结果 不受其他 试验结果 的
影响 .
例 5 .4 设某人 独立 重复 的射 击 n 次 , 每 次 击中 目 标的 概 率
为 p(0 ≤ p≤1 ) , 求 :
① 给定的 k( 0≤ k≤ n) 次击中目标 , 而其余均未击中的概率 ;
② 恰好击中 k( 0≤ k≤ n) 次 ;
③ 至少有一次击中 .
解 令 Bk 为给定 的 k 次击 中目 标 , 而其余 均未 击中 ; Ck 为 恰
好击中 k 次 ; D 为至少有一次击中 .由独立性知
k n - k
P( Bk ) = p (1 - p) ,
P( Ck ) = Cnk p k ( 1 - p) n - k ,
46 第 1 章 随机事件与概率
P( D) = 1 - ( 1 - p) n .
例 5 .5 通信中常采 取重复发送信号的 办法来减少在接 收中
可能发生的错误 .假定发报机只发 0 和 1 两种信号 , 接收时发生错
误 (0 收为 1 或 1 收为 0 ) 的概 率为 0 .05 .为减小错误 , 采取每 一信
号连发 3 次 , 接收时按数目多的来判定信号 , 求在此情形下判错一
个信号的概率 .
解 每个信号的判定包 含连续 3 次 信号的 接收 , 这 3 次信 号
的接收可视为相互独立的伯努利试验 .设 A i =“有 i 次 接收 错误”
( i = 1 , 2 , 3) , B =“判 定 信号 发生 错误”.由 题意 P ( B) = P( A2 ) +
P( A3 ) .又 P ( Ai ) = C3i ( 0 .05 ) i ( 1 - 0 . 05 ) 3 - i , 所 以 P ( B ) =
2 2 3 3
C3 (0 .05) (1 - 0 .05 ) + C3 (0 .0 5) = 0 .00725 , 因此 , 判 错的概率 大
大减小了 .
4 事件的条件 独立性
定义 5 .6 若事件 A , C 及 B 满足
P( AC | B) = P( A | B) P( C | B) , ( 5 .8)
则称 A , C 关于事件 B 条件独立 .
命题 5 .5 下列命题等价 :
(1 ) A, C 关于 B 条件独立 ;
(2 ) P( A | B C) = P( A | B) ;
(3 ) P( A | B C) = P( A | B) ;
(4 ) P( C| A B) = P( C| B) ;
(5 ) P( C| AB ) = P( C| B) ;
(6 ) A, C 关于 B 条件独立 .
证明 略 .( 有兴趣的读者可作为练习 , 自己证之 , 并考虑是否
还有其他等价命题 .)
(1 ) , (2 ) , (3 ) 说明 A, C 关于 B 条件独立 , 其直观意义是 : 在 B
事件发生的条件下 , C 发生与否不影响 A 发生的条件概率 .
1 .5 事件的独立性 47
注意 A , C 关于 B 条件独立 , 一 般不能推 出 A, C 独立 ; 反 之
亦然 .
例 5 .6 考 虑 一 个电 子 游戏 机 , 它有 两 个状 态“ 1”和“ 2”.记
B =“ 1”, B =“ 2”, Ak 为 第 k 次 操 作 游 戏 机 出 现 成 功 事 件 .已 知
P( B) = 0 .3 , P( Ak | B) = 0 .15 , P( Ak | B) = 0 .20 ( k = 1 , 2 ) , 且各 次
出现成功与否关于系统状态“1”和“ 2”是条件独立的 , 即
P( A1 A2 | B) = P( A1 | B) P( A2 | B) ,
P( A1 A2 | B) = P( A1 | B) P( A2 | B) .
试求 P( A1 ∪ A2 ) , 并证 A1 , A2 不独立 .
解 P( Ak ) = P( A k | B) P( B) + P( Ak | B) P( B)
= 0 .15× 0 .30 + 0 .20× 0 .70 = 0 .185 ,
P( A1 A2 ) = P( A1 A2 | B) P( B) + P( A1 A2 | B) P( B)
= P( A1 | B) P( A2 | B) P( B) +
P( A1 | B) P( A2 | B) P( B)
= 0 .0 348 ,
故 P( A1 ∪ A2 ) = P( A1 ) + P( A2 ) - P( A1 A2 ) = 0 .335 .
P( A1 A2 )
P( A1 | A2 ) = = 0 .1878 ≠ 0 .1 850 = P( A1 ) .
P( A2 )
所以 A1 , A2 不独立 .这说明 A1 , A2 关 于 B 和关 于 B 条 件独 立 , 不
能保证 A1 , A2 独立 .
例 5 .7 甲乙两 参赛 者彼 此以 对方 作 为射 击 目标 轮 流 射击 ,
最先击中对方的射手为胜者 .甲乙彼此及各次射击均相互独立 .甲
每次击中对 手的概率 为 p1 , 乙每次 击中对 手的概率 为 p2 .假定 这
回竞赛由甲参赛者首先射 击 .试求每 位射 手胜 出的概 率及 竞赛 将
不断地无限长进行下去的概率 .
解 设 A = 甲参 赛者 胜出 , B = 乙参赛 者胜 出 , C = 竞 赛无 限
长进行下去 , Ak 和 B k 分别表示甲 和乙第 k ( k≥ 1) 次 击中对 方 , 则
显然有
48 第 1 章 随机事件与概率
A ∪ B ∪ C = Ω, A = A1 ∪ A1 B1 A2 ∪ A1 B1 A2 B2 A3 ∪ … ,
B = A1 B1 ∪ A1 B1 A2 B2 ∪ … ,
故
∞
P( A) = ∑ [ (1 - p1 ) ( 1 - p2 ) ] n p 1
n= 0
= p1/ [1 - ( 1 - p1 ) (1 - p2 ) ] ,
P( B) = (1 - p1 ) ・ p2 / [ 1 - (1 - p1 ) ( 1 - p2 ) ] ,
P( C) = 0 .
练 习 题
1 .1 从一副扑克牌 的 13 张黑 桃中 , 一 张接一 张 地有 放回 地
抽取 3 张 , 求 :
(1 ) 没有同号的概率 ;
(2 ) 有同号的概率 ;
(3 ) 最多只有两张同号的概率 .
1 .2 某 人 有 5 把 钥 匙 , 但 忘 了 开 房 门 的 是 哪 一 把 , 逐 把 试
开 , 问:
(1 ) 恰好第三次打开房门锁的概率是多少 ?
(2 ) 3 次内打开的概率是多少 ?
(3 ) 如 5 把内有 2 把房门钥匙 , 3 次内打开的概率是多少 ?
1 .3 从 6 双同样规格不同颜色的手套中任取 4 只 , 问其中恰
有一双的概率是多少 ?
1 .4 某人写了 n 张信笺与 n 个信封 , 将信笺随便乱装入信封
内 ( 每个信封装一张信笺 ) , 问无一封信匹配的概率是多少 ?
1 .5 两人约定某日晚 7 点至 8 点在某地会面 , 试求一人要等
另一人半小时以上的概率 .
1 .6 指 出 下 列各 式 中 哪 些 成 立 , 哪 些 不 成 立 , 若 成 立 试 证
练习题 49
明之 .
(1 ) A ∪ B = ( A B ) ∪ B, AB = A ∪ B, A∪ B C = A B C ,
( A B) ( A B) = ;
(2 ) A \ B = A \ A B = ( A∪ B) \ B, A∩ ( B \ C) = A B\ AC;
(3 ) 称 AΔB = ( A \ B) ∪ ( B \ A) 为 A 与 B 的对称差 , 则
AΔB = ( A ∪ B) - AB , AΔ = A, AΔΩ = A;
(4 ) A B, 则 A = A B, B = A∪ B .
1 .7 盒中有 12 个乒乓球 , 其中 9 个是新的 .第一次比赛时从
中任取 3 个来用 , 比赛后放回 盒中 .第二次比赛时再 从盒中任取 3
个 , 求第二次取出的球 都是新 球的 概率 .另外 , 如 第二 次取 出的 球
都是新球 , 求第一次取到的都是新球的概率 .
1 .8 设某昆虫生产 k 个卵的概率为
k
pk = λ e - λ , λ> 0 ,
k!
又设一个虫卵能孵化 为昆 虫的 概率 为 p .若卵 能 否孵 化为 虫
是相互独立的 .问此昆虫的下一代有 m 条的概率是多少 ?
1 .9 某产品 40 件 , 其 中有 次品 3 件 , 现从 中任 取 2 件 , 求 其
中至少有一件次品的概率 .
1 .10 袋中有红、黄、白色球各一个 , 每次任取一个 , 有放回地
抽 3 次 , 求 下 列事 件 的概 率 : A =“ 3 个都 是 红 的”=“ 全 红”, B =
“颜色全同”, C =“颜 色全 不 同”, D =“颜 色 不全 同”, E =“无 黄”,
F =“ 无红且无黄”.
1 .11 从一副扑克牌中 , 任意抽出两张 , 问都是黑桃的概率是
多少 ?
1 .12 从一副扑克牌中 , 任取 13 张 , 求各点彼此不同的概率 .
1 .13 设有 n 个 人 , 问 此 n 个人彼 此有不 同生日的 概率是 多
少 ? 其中至少有两个人有 相同 生日的 概率 是多少 ? ( 设每 人出 生
在一年 365 日中的每一天的机会是均等的 .)
50 第 1 章 随机事件与概率
1 .14 分别印有 1 , 2 , … , 10 的 10 个球 , 装 在一 个 袋中 , 现 从
中任取 3 个 , 问 : 在中间的号码恰为 5 的概率是多少 ?
1 .15 由 盛有号 码 1 , 2 , … , N 的 球的 箱子中 , 有放回 地抽 了
n 次球 ( 每次一个 ) , 依次 记 下其 号 码 .试 求 : ( 1 ) 这些 号 码按 严 格
上升次序排列的概率 ; ( 2 ) 这些 号 码按 上升 ( 不一 定严 格 上升 ) 次
序排列的概率 .
1 .16 将 10 个白球 10 个 黑球 随机 分为 10 组 , 每 组两 球 , 求
每组中恰有一白球一黑球的概率 .
1 .17 某码头只能容纳 一只船 .现 预知 某日将 独 立来 到两 只
船 , 且在 24 小时内各时刻来 到的 机会 均等 .如果 它们 需要 停靠 的
时间分别为 3 小时与 4 小时 , 试求有一船要在江中等待的概率 .
1 .18 在一张打上方格的纸上投一枚直径为 1 的硬币 , 问 : 方
格要多小才能使硬币与网格线不相交的概率小于 0 .01 ?
1 .19 袋中有 2 个红球 , 3 个黄球 , 5 个白球 , 现有放回地抽取
了 8 次 ( 每次一个 ) .问 : 恰抽到 3 红 3 黄 2 白的概率是多少 ?
1 .20 在一个袋 子里有 n 张 带 1 至 n 号码的票 , 我 们一张 一
张地随机取出票来 ( 不放回 ) , 问 : 至少有一次所取的票号码与次序
数相一致的概率为多少 ?
1 .21 某人带有两盒火柴 , 每盒 n 根 .每次用时他在两盒中随
机抓一盒 , 从中取出一 根 .问 : 遇 到一 盒空 而另 一盒 剩 r 根 的概 率
为多少 ( r≤ n) ?
1 .22 设样 本 空 间 Ω= {ω1 , ω2 , ω3 , ω4 } , A = {ω1 } , B = {ω1 ,
ω2 } , 集类 A = { A, B} .
(1 ) 试用 A, B, Ω 的 运算 关 系表 示 下列 各 事 件 : A, B 中 至 少
有一个发生 ; A 不发生 , B 发生 .
(2 ) 写出由集类 A 生成的 σ-域σ( A) 中的所有元素 .
1 .23 设 Ω= R = ( - ∞ , + ∞ ) , 任取 a∈ R 固定 , 记
A = { x: x ≤ a} , An = { x: x < a + 1/ n} ,
练习题 51
B = { x: x < a} , Bn = { x : x ≤ a - 1/ n} , n ∈ N \ { 0} .
∞ ∞
证明 : A = n∩ An , B = n∪ Bn .
= 1 = 1
1 .24 设 Ω= R , 记 :
A1 = { ( - ∞ , a] , a ∈ R } , A2 = { ( a, b] , a, b ∈ R } ,
A3 = { ( a, b) , a, b ∈ R } , A4 = { [ a, b) , a, b ∈ R } ,
A5 = { [ a, b] , a, b ∈ R } .
(1 ) 试用集类 A2 中 的元 素 的运 算表 示 A1 中 的元 素 , 用 A1 中
的元素的运算表示 A2 中的元素 ;
(2 ) 证明 : A1 σ( A2 ) , A2 σ( A1 ) ;
(3 ) 证明 : B =σ( A1 ) =σ( A2 ) = σ( A3 ) = σ( A4 ) =σ( A5 ) .
注 称 B 为 一 维 博 雷 尔 σ-域 , B 中 元 素 称 一 维 博 雷 尔 可
测集 .
1 .25 设 (Ω, F , P) = ( [ 0 , 1 ] , B[ 0 , 1 ] , P) 是 [ 0 , 1 ] 上 的博 雷
尔概率空间 ( 见例 2 .17) .记 B = [ 0 , 1] 上有理数全体 , B = [ 0 , 1 ] 上
无理数全体 .试用概率公理化定义与性质求 :
P( (1/ 5 , 1/ 4 ] ) , P( (1/ 5 , 1/ 4 ) ) ,
P( ( 1/ 5 , 1/ 4] ∪ ( 1/ 3 , 1/ 2) ) , P( B) 及 P( B) .
1 .26 给 定 概 率 空 间 ( Ω, F, P ) , 设 A , B ∈ F 且 P ( A) =
P( B) = 1 , 试用概率性质求 :
P( A B) , P( AB ) , P( A ∪ B) , P( A ∪ B) .
1 .27 设甲和 乙两同学 接连要做 3 次 随机试验 , 每 人每次 试
验均有 2 种可能结果 : 成功和 失败 .记 Ak 与 B k 分 别表示 甲、乙第
k(1≤ k≤3)次试验成功 .已知 : P( A1 ) = P( B1 ) = 0 .6 , P( A2 | A1 ) = 0 .8 ,
P( B2 | B1 ) = 0 .05 , P( A3 | A1 A2 ) = 0 .98 , P( B3 | B1 B2 ) = 0 .试分 别
求甲成功 ( 至少有一次成功 ) 的概率和乙成功的概率 .
1 .28 ( 条 件 概 率 全 概 率 公 式 ) 设 A, Bn ( n ≥ 1 ) , C∈ F, Bk
∞
P( A | C) = ∑ P( B
k= 1
k | C) P( A | Bk C) .
1 .29 设 A , B 为 两 事 件 , A, B 独 立 , 证 明 下 列 命 题 等 价 :
(1 ) A 与 B 独立 ; ( 2) A 与 B 独立 ; (3 ) P( A | B) = P( A) ; (4 ) P( A|
B) = P( A) ; ( 5) P( B | A) = P( B) ; ( 6) P( B | A) = P( B) .
1 .30 设 3 事件 A, B, C 相 互 独 立 , 证 明 : A∪ B, A \ B, A B,
A B , A B 均与 C 独立 ; A , B, C 相互独立 .
1 .31 设 A1 , A2 , A3 , A4 是 Ω的划分 , P( Ak ) = 1/ 4 , 1≤ k≤4 ,
A = A1 ∪ A4 , B = A2 ∪ A4 , C = A3 ∪ A4 .证 明 : A, B , C 两两 独立 , 但
它们不独立 .
1 .32 称 事 件 A, C 关 于 B 条 件 独 立 , 若 P ( A C | B ) =
P( A| B) P( C| B) .证此命题与下列命题等价 :
(1 ) A, C 关于 B 条件独立 ;
(2 ) A, C 关于 B 条件独立 ;
(3 ) A, C 关于 B 条件独立 ;
(4 ) P( A | B C) = P( A | B) ;
(5 ) P( A | B C) = P( A | B) ;
(6 ) P( A | B C) = P( A | B) ;
(7 ) P( A | B C) = P( A | B) ;
(8 ) P( A | B C) = P( A | BC) .
试列举其他的等价命题 .
1 .33 甲、乙 两 人 独 立 地 射 击 同 一 目 标 , 记 A =“ 甲 击 中”,
B =“ 乙击中”, 已知 P( A) = 0 .6 , P( B) = 0 .7 , 现 甲乙各射 击一次 ,
若已知目标被击中 , 求这是被甲击中的条件概率 .
1 .34 袋中有 10 个 球 , 6 白 4 红 , 随 机 地 一 个 个取 出 ( 不 放
回 ) , 求在第 4 次首次取到红球的概率 .
1 .35 试证命题 2 .1 .
1 .36 试证概率性质 (7 ) 中的 ( 2 .13 ) 式 .
练习题 53
1 .37 设 ( Ω, F, P) = 为 [ 0 , 1 ] 上 的 博 雷 尔 概 率 空 间 ( 见
例 2 .17 ) .令
1 3 1 1 1 1
B2 k - 1 = , + , B2 k = , + ( k ≥ 1) ,
5 8 2k + 1 4 2 2k
试求 :
(1 ) P( B1 ) , P( B2 ) , P( B1 ∪ B2 ) , P( B1 B2 ) , P( B2 \ B1 ) ;
(2 ) P n→
lim B2 n - 1 , n→
lim P( B2 n ) ;
∞ ∞
∞ ∞ ∞ ∞
(3 ) P ∩ ∪ Bn , P ∪ ∩ Bn ;
l = 1n = l l= 1 n= l
2 .1 随 机 变 量
1 随机变量
先给出一些直观例子
例 1 .1 投 篮 时 会 出 现 两 种 情 况 : ω1 =“投 中”, ω0 =“ 未 投
中”.于是 Ω= {ω0 ,ω1 } .我们 若用 数字 1 代表 投中 , 用 0 代 表未 投
中 .这样便将实验结果量化了 , 同时引入了一个变量 X, 就是
2 .1 随机变量 55
1, ω = ω1 ,
X = X(ω) =
0, ω = ω0 .
X(ω) 随实 验 结果 ω不同 而 取不 同 的值 , 由 于实 验 结果 ω∈ {ω0 ,
ω1 }的出现是 随机的 , 因此 X(ω) 的 取值也是 随机的 , X (ω) 是随 机
变量 .
例 1 .2 在某学校中 , 随机地 抽取 一人 ω, 用对 应的卡 片 ω登
记他的身高 L (ω) , 将这些卡片放在一起 , 若 从中随机 地取出一 张
卡片 , 那么 L(ω) 的取值 随实 验结果 ω的不 同而 不 同 , 因而 L (ω)
取值也是随机的 , L(ω) 也是随机变量 .
定义 1 .1 设 E 为随机试验 , 样本空间 Ω= {ω}为有限集或 可
列集 , 若对每个 样 本 点 ω∈ Ω, 都 有 一 个 实 数 X ( ω) 与 其 对 应 , 即
X(ω) 是定义 在 Ω 上 取 值 在 R 上 的 单 值 实 值 函 数 ( 映 射 ) , 简 记
X(ω) : Ω→ R , 称 X ( ω) 为 随 机 变 量 ( random va riable , 简 记 作
r .v .) .
可以用随机变量 X 描述事件 , 例如在例 1 .1 中随机变量 X 取
值 1 , 记 {ω: X(ω) = 1}或简记为 { X = 1} , 就表示事件{ 投篮命中} .
例 1 .3 某射手进行射击训 练 , 他每次 射中 目标 的概率 是 p,
且各次射击是否击中相互独立 .如果射手只射击了 n 次 , 记这 n 次
射击命中目标的次数 X , 那 么 X 就 是 一个 随机 变量 .如果 他开 始
射击 , 直到第一次命中目标后停止射击 , 记他首次命中目标时的射
击次数为 Y , Y 也是一个随机变量 .
前面对随机变量只在样本空间为有限集或可列集时给出粗略
的定义 , 其确切的 定义 需要 用到 博 雷尔 σ-域 的知 识 .下 面我 们 先
来说一下什么是博雷尔 σ-域 ( 有关博雷 尔集的 知识在第 1 章中 已
有介绍 ) .
(1 ) 设 Ω= R , 考虑R 中右 半闭 的无 穷区间 ( - ∞ , a] , 全体 这
56 第 2 章 随机变量及其分布
样的区间构成的集类 A, 即 A = { ( - ∞ , a] ; a∈R } , 称由 A 生 成
的 σ-域σ( A) 为博雷尔σ-域 , 通常记为 B .B 中的集称为博雷尔集 .
设 g( x ) 是定义 在 R 上的 单 值 实函 数 , 如 果 对任 意 a∈ R , 有
( x: g( x) ≤ a) ∈B, 则称 g( x ) 为博雷尔可测函数 , 或 B -可测函数 .
(2 ) 设 Ω= R n , n 为任一正整数 , R n 中 的右半 闭无穷区 间记 为
n
∏( - ∞, a ]
i=1
i , 它是一个 n 维点集 .全体这样的区间构成 R n 中的集
类 A:
n
A = ∏( -
i=1
∞ , ai ] , ai ∈ R , i = 1 , 2 , … , n ,
d ef
称由 A 生成的 σ-域为 n 维博 雷尔σ-域 , 通常记 为 Bn σ( A ) ,
Bn 中的集称为 n 维博雷尔集 .
n
设 g( x1 , x2 , … , xn ) 是定义在R 上 的单值实 函数 , 如果对 任
n
意实数 a, 有{ g( x1 , x2 , … , xn ) ≤ a}∈B , 则称 g( x1 , x2 , … , xn )
为 n 元博雷尔可测函数 , 或 Bn -可测函数 .
对于一般的概率空间 (Ω, F , P) , 同样可 以给 出定义 在 Ω上 取
值在R 上的实函数 X(ω) , 但是注意 到引出 X (ω) 的一个重 要目 的
是为了用它统一表示我们 关心 的事 件 , 并 能够 定义 其概 率 .为此 ,
要求 X(ω) 具有某些良好的性质 , 即对 " a∈ R , 有 {ω: X(ω) ≤ a} ∈
F, 我们称满足此性质的 X(ω) 为 (Ω, F, P) 上的随机变量 .
3 随机变量的 严格定义
随机变量的确切定义如下 .
定义 1 .2 设 ( Ω, F, P) 是一个 概率 空间 , X (ω) 是 定义 在 Ω=
(ω) 上的一个实值函数 .如果对 " a∈R , 有
{ω: X(ω) ≤ a} ∈ F , ( 1 .1)
则称 X(ω) 为 ( Ω, F, P) 上的随机变量 .
几点说明 :
2 .1 随机变量 57
X (ω) ω1 ω2 ω3
P 1/ 6 1/ 3 1/ 2
解 设 X (ω1 ) = 2 , X ( ω2 ) = 4 , X (ω3 ) = 5 .则 上 表 可 变 成
下表 :
X (ω) = i 2 4 5
P(ω: X(ω) = i) 1/ 6 1/ 3 1/ 2
由上表可见 :
58 第 2 章 随机变量及其分布
P( X(ω) ≤ 1) = 0 ,
1
P( X(ω) ≤ 3) = P( X(ω) = 2) = ,
6
P( X(ω) ≤ 4) = P( X(ω) = 2) + P( X(ω) = 4 )
= 1 + 1 = 1 ,
6 3 2
P( X(ω) ≤ 5) = P( X(ω) = 2) + P( X(ω) = 4 ) +
P( X(ω) = 5)
= 1 + 1 + 1 = 1,
6 3 2
P( X(ω) ≤ 10) = 1 .
例 1 .6 若 ( Ω, F ) 中的 F = { , A , A , Ω} . A∈F 而 A1 | F, 容
1
易验证 A1 的 示性 函数 I A 1 (ω) 使 I A1 ≤ | F, 故 I A1 (ω) 对 F =
2
{ , A , A, Ω} 而言不满足随机变量的定义 .
例 1 .7 ( Ω, F ) , 设 { Bk } ( 1 ≤ k < ∞ ) 是 Ω 的 一 个 分 解 , 即
∞
Bk B l = ( k≠ l) ; k∪ Bk = Ω 且 B k ∈ F( 0 ≤ k < ∞ ) , 定 义 X(ω) =
=1
∑x
k= 1
k I B k (ω) , 则容易验证 X(ω) 是随机变量 .
2 .2 离散型随机变量
1 定义
图 2-1
2 .2 离散型随机变量 61
分布律也可以用如下表格形式来表示 :
X x1 x2 x3 … xk …
Pk p1 p2 p3 … pk …
(1 ) 两点分布
定义 2 .3 若随机变量 X 只取 1 和 0 两 个值 , 且 P( X = 1 ) =
p , P( X = 0) = 1 - p(0≤ p≤1) , 则称 随机变量 X 服 从参数 为 p 的
两点分布 , 简记为 : X~ B( 1 , p) .
若事件 A 发生随机变量 X 取 1 , 否则 X 取 0; 即
1, ω∈ A ,
" A ∈ F, X(ω) = I A (ω) =
0, ω| A .
则 P( A) = P{ I A (ω) = 1 } = p, P( A) = P{ I A (ω) = 0 } = 1 - p; 可 见
示性函数可用来描述某随机事件发生与否 .
例 2 .1 200 件产品 , 190 件是合格的 , 10 件是不合格的 , 现从
中任取一件 , 若规定
1 , 若取得合格产品 ,
X =
0 , 若取得不合格产品 .
则 X 服从参数为 0 .95 的两点分布 .
两点分布是最简单的一 种分布 类型 , 它 可描述 一 切只 有或 只
关心两种可能结果的随机事件 .比如产品合格与不合格 , 新生婴儿
是男是女 , 比赛中的胜与负 , 电信号的正与负 , 种子是否发芽等 .
(2 ) 二项分布 ( binomial dist ribu tion )
以 X 表示 n 重伯 努利 试验中 A 发生 的次 数 , 易知 X 是一 个
随机变量 , 其可能取值 为 0 , 1 , 2 , … , n .由于各次试验 相互独立 , 故
k k n - k
在 n 次试验中 A 发生 k 次的概率 P( X = k) = C n p ( 1 - p) (k=
0 , 1 , 2 , … , n) .
62 第 2 章 随机变量及其分布
定义 2 .4 若随机变量 X 满足 :
k k n- k
P( X = k) = C n p ( 1 - p) , k = 0 , 1 , 2 , … , n, ( 2 .3)
则称随机变量 X 服从参 数为 ( n, p) 的二项 分布 , 又 称 为伯 努利 分
布 , 简记 X~ B( n, p) .
根据上面的定义 , 显然有
P( X = k) ≥ 0( 非负性 ) ;
n
∑C = ( p + q) n = 1( 规一性 ) , 其中 q = 1 - p .
k
p k qn - k
n
k= 1
特别地 , 当 n = 1 时 , 二项 分布 化为 : P( X = k) = pk q1 - k ( k = 0 , 1 ) ,
这就是两点分布 .可见 , 两点分布是二项分布的一个特例 .
例 2 .2 某人进行射击训练 , 每次射中的概率为 0 .0 2 , 独立射
击 400 次 , 求至少击中 1 次的概率 .
解 将每次射击看作一 次独立 试验 , 则 整个试 验 可看 作一 个
400 次的伯努利试验 .设击中的次数为 X , 则 X~ B( 400 , 0 .02 ) , X
的分布率为
k k 40 0 - k
P( X = k) = C400 0 .02 0 .98 , k = 0 , 1 , 2 , … , 400 .
则所求概率为 : P( X≥1) = 1 - P( X = 0) = 1 - 0 .98400 ≈ 0 .9997 .
这个例子的实际意义十 分有趣 .这 个射 手每次 命 中的 概率 只
有 0 .02 , 绝不是个天才 , 但他坚持 射击 400 次 , 则 击中目标 的概 率
近似为 1 , 几乎成 为必 然事 件 .这 正说 明了 “
, 只 要 功夫 深 , 铁 杵 磨
成针”.不要因为成功的希望小而放弃 , 只要我们锲而不舍地努力 ,
就一定会到达理想的彼岸 .这 一道简 单的 概率 题中蕴 含着 深刻 的
哲理 : 有志者事竟成 !
上例中 , 直接计算 P( X = k) 相当麻烦 , 下面我们介绍一个当 n
相当大 , p 很小时二项分布概率的近似公式 , 这就是二 项分布的 泊
松逼近 .
定理 2 .1( 泊松定理 ) 设 λ> 0 是一个常数 , n 是任一正整数 ,
设 pn = λ/ n, 则对任一固定的非负整数 k, 有
2 .2 离散型随机变量 63
λk e - λ
lim Cnk p nk (1 - pn ) n - k = . ( 2 .4)
n→ ∞ k!
λ
证明 因为 pn = , 所以
n
k n- k
n( n - 1 ) … ( n - k + 1 ) λ 1 - λ
k k n - k
C p (1 - pn )
n n =
k! n n
λk 1
= 1・ 1 - 1 - 2 …
k! n n
n - k
1 - k - 1 1 - λ 1 - λ .
n n n
对任一固定的 k, 当 n→∞时
n - k
1 - λ →e , -λ
1 - λ → 1,
n n
1 2 k - 1
1 - 1 - … 1 - → 1,
n n n
k -λ
λe
故li k k n- k
m C p (1n- pnn ) = .证毕 .
n→ ∞ k!
由于 npn = λ( 常数 ) , 所以 n→∞时 pn →0 .因此当 n 很大 p n 很
小时 , 有近似公式
k -λ
k k n- k λe
C p ( 1 - pn )
n n ≈ ,
k!
其中 λ= n pn .
在例 2 .1 中 ,λ= n p = 400× 0 .02 = 8 , 故
0 -λ
P( X = 0 ) = λ e = e - 8 ,
0!
λ1 e - λ
P( X = 1 ) = = 8e - 8 ,
1!
P( X ≥ 2 ) = 1 - P( X = 0) - P( X = 1 )
- 8 -8
=1 - e - 8e ≈ 0 .997 .
例 2 .3 为了保证设备正 常工作 , 需配备适量的维 修工人 .现
有同类型设备 300 台独 立工 作 , 发 生故 障 的概 率 都是 0 .01 .在 通
64 第 2 章 随机变量及其分布
可见 P{ X = k}满足概率分布的条件 .
在信息通信、计算机网络、生物学、医学、工业管理及公用事业
的排队等问题中 , 泊松分布是常见的 .例如一“服务台”在给定时间
上到达的“顾客”数 , 容 器内 微生物 数 , 玉器 上的疵 点数 , 交 换台 的
电话呼唤次数等 , 大多服从泊松分布 .由泊松分布引出的泊松信号
流是随机过程的一个重要分支 , 对它的详细阐述见第 6 章 .
例 2 .4 自 1875 年 至 1955 年 中 某 63 年 间 , 某 市 夏 季 ( 5 —
9 月 ) 共发生 暴 雨 180 次 .每 年 夏 季 共 有 n = 31 + 30 + 31 + 31 +
2 .2 离散型随机变量 65
暴雨次数 0 2 4 6 8
实际年数 4 14 10 2 1
理论年数 3 .5 14 .8 10 2 .9 0 .42
( 证明略 , 见习题 ) .
给定 (Ω, F, P) , 若 An ∈F, n∈ N \ { 0 } 两两 不交 , 且 ∑A
n=1
n =
Ω, 即{ An , n≥ 1 } 是 Ω 的 一 个 分 解 , an ∈ R , n ∈ N \ { 0 } ; 易 证 :
∞
X(ω) = ∑a I
n= 1
n A
n
(ω) , ω∈Ω为离 散 型随 机 变量 .反之 , 对于 任 一
离散型随机变 量 X , 若 其分 布 律 为 : P ( X = xk ) ( k∈ N \ { 0 } ) , 记
def
Bk ( X = xk ) ∈F( k∈N \ {0 } ) , 则 X(ω) 可以表示为
∞
X(ω) = ∑x
k= 1
k I B k (ω) , ω∈ Ω . ( 2 .8)
这说明对于任一离散型随 机变 量 , 总 可以 分解 为互不 交的 事件 的
示性函数的线性组合 .
定义 2 .7 形 如 ( 2 .8 ) 式 定 义 的 函 数 , 称为 ( Ω, F ) 上 的 简 单
函数 .
例 2 .5 二项分布可用示性函数表示 .
若随机变量 X(ω) ~ B( n, p) , Bk = { X = k} ( 0≤ k≤ n) , 则
n n
X (ω) = ∑ k・ I
k= 0
{ X = k} (ω) = ∑ k・ I
k=0
B
k
(ω) .
用示性函数的线性组合表示离散型随机变量这种分解的思想
与方法在随机数学 , 特别是现代随机数学中起着巨大的作用 .
2 .3 连续型随机变量
1 定义
定义 3 .1 若 对于 随机变 量 X , 存 在一定 义在 R 上的 非负 函
2 .3 连续型随机变量 67
数 f ( x) , 使对 " L∈B, 满足
P( X ∈ L) = ∫ x∈ L
f ( x) d x, ( 3 .1)
P( X ≤ a) = ∫ -∞
f ( x) d x,
则称 X 为连续型随机变量 , f ( x) 为 X 的概率密度函数 .
由定义易知 , 概率密度具有下列性质 :
(1 ) f ( x ) ≥0 ( 非负性 ) ;
+∞
∫
(2 )
- ∞
f ( x ) d x = 1 ( 规一性 ) ;
b
(3 ) P( a < X ≤ b) = ∫ f ( x ) d x , ( a≤ b) ;
a
可见 , 概率为 0 的事件不一定是不可能事件 .
(5 ) 若 f ( x ) 在 x 处连续 , 则
P( x < X ≤ x + h)
f ( x ) = lim , (3 .1a)
h→ 0 h
即
P( x < X ≤ x + h) = f ( x ) h + o( h) , ( 3 .1b)
o( h)
其中 o( h) 是 h 的高阶无穷小 , 即 lim =0 .
h→ 0 h
有些随机变量的概率密 度函数 直接 求解较 为困 难 , 此 时可 通
过求微小区域上的概率的主要部分 ( 见 ( 3 .1b ) 式 ) 来求 f ( x ) , 这 种
求解概率密度的方法称作微元法 .它是一种重要的方法 , 利用它可
以使一些复杂问题得到简 单明 了的解 决 , 读者 在以后 的学 习中 将
会逐步地体会到这一点 .
由定义 3 .1 及 f ( x ) 的性 质 可知 , X 的 概 率 密 度函 数 给 出 了
X (ω) 的所有概率特性 .
- 3x
例 3 .1 设随 机变量 X 具 有概率密 度 f ( x ) = ke I ( x≥0 ) , 试
确定常数 k, 并求 P( X > 0 .1) .
∞
解 由 ∫ -∞
f ( x) d x = 1 , 解 得 k = 3 , 于 是 X 的 概 率密 度为 :
f ( x) = 3e - 3 x I ( x≥ 0 ) , 所以
∞ ∞
∫ ∫
-3x
P{ X > 0 .1} = f ( x) d x = 3e d x = 0 .7408 .
0 .1 0 .1
(1 ) 均匀分布
定义 3 .3 若连续型随机变量 X 具有概率密度
1 , x ∈ [ a, b] , a < b,
f ( x) = b- a ( 3 .2)
0, 其他 .
2 .3 连续型随机变量 69
记 F( x) P( X≤ x ) =∫ - ∞
f ( t) d t, 可得
0, x < a,
x - a
F( x) = , a ≤ x ≤ b,
b - a
1, x > b,
f ( x) , F( x) 的图像分别如图 2 -2 , 图 2 -3 所示 .
图 2-2 图 2 -3
(2 ) 正态分布
定义 3 .4 若连续型随机变量 X 的概率密度为
2
1 - ( x -μ)
f ( x) = e 2σ2 , - ∞ < x < + ∞ , ( 3 .3)
2πσ
其中 μ,σ为常数 且 σ> 0 , 则 称 X 服 从 参 数为 (μ,σ2 ) 的 正 态 分 布
2
( normal distri bution) 或高斯 ( Gau ss ) 分布 , 记为 X~ N(μ,σ ) .
f ( x) 的图像如图 2 -4 所示 .
图 2-4
f ( x) 具有以下性质 :
① 关于 x = μ对称 .这表明对于任意 h > 0 , 有
P{μ - h < X ≤ μ} = P{μ< X ≤ μ+ h} .
1
② 当 x = μ时 , f (μ) = , 取得最 大值 . f ( x ) → 0 ( x→
2πσ
±∞ ) , 曲线 以 x 轴 为 渐 近线 .对于 同 样长 度 的 区间 , 当区 间 离 μ
越远 , X 落在这个区间上的概率越小 .
③ f ( x) 在 x = μ±σ处有拐点 .
④ σ越 大 , f ( x ) 的 图 像 越“ 胖”, 表 明 取 值 较 分 散 ; σ越 小 ,
f ( x) 的图像越“瘦”, 表明取值较集中 .
⑤ f ( x) 存在 n 阶连续导数 .
2 .3 连续型随机变量 71
+∞
⑥∫ -∞
f ( x) d x = 1 ( 规一性 ) .
证明 只证性质⑥ .其他性质的证明留给读者作为练习 .
+∞ 2
1
∫
- ( x -μ)
记 I = e 2σ d x , 即 证 I = 1 .因 I 非 负 , 只 需 证
2
-∞
2πσ
2
I =1 .
+∞ 2 +∞ 2
1 - ( t - μ) 1 - ( s- μ)
∫ ∫
2
I = e 2σ d t 2
e 2σ ds 2
- ∞
2πσ - ∞
2πσ
+∞ +∞ 2 2
1 - ( t - μ) + ( s- μ)
=
2πσ2 ∫∫ -∞ -∞
e 2σ
2
d td s .
t-μ s-μ
令 x= , y= , 又令 x = ρsinθ, y = ρcosθ(ρ> 0 , 0≤θ< 2π) ,
σ σ
则
+∞ +∞ 2 2 2π +∞ 2
1 1 -ρ
∫∫ ∫∫
2 - x +y
I = e 2
d xd y = e 2
ρdρdθ= 1
2π - ∞ - ∞ 2π 0 0
得证 .
特别地 , 若 X~ N (0 , 12 ) , 即 X 服从参数μ= 0 ,σ= 1 的正态分
布 , 则称 X 为标准正态分布 ; 称
1 - x 2/ 2
φ( x) = e ( 3 .4)
2π
为标准正态概率密度函数 ; 称
x x
1
∫ ∫
- t2/ 2
Φ( x ) = P( X ≤ x ) = φ( x) d x = e dt
-∞ - ∞
2π
( 3 .5)
为标准正态分布函数 .对于 Φ( x ) 的 值 , 可 通 过查 表 得到 ( 见 附 录
1) .易知 Φ( - x ) = 1 - Φ( x ) .
例 3 .3 X 服从标准正态分布 , 求 P{ | X | ≤1 } , P{ | X | ≤2 } ,
P{ | X | ≤3 } .
72 第 2 章 随机变量及其分布
解
P{ | X | ≤ 1 } = P{ - 1 ≤ x ≤ 1} = Φ( 1) - Φ( - 1 )
= Φ( 1) - [ 1 - Φ( 1) ] = 2Φ( 1) - 1
= 0 .6826 .
同样
P{ | X | ≤ 2 } = Φ(2 ) - Φ( - 2 ) = 0 .9545 ,
P{ | X | ≤ 3 } = Φ(3 ) - Φ( - 3 ) = 0 .9973 .
一般地 , 若 X~ N(μ, σ2 ) , 则只要通过一个适当的线性变换就
能将它化成标准 正态 分 布 , 此 过 程也 称 作 对 随 机变 量 X 进 行 标
准化 .
2 X -μ 2
引理 3 .1 若 X~ N (μ,σ ) , 则 Z = ~ N( 0 , 1 ) .
σ
X -μ
证明 由 Z = ,故
σ
μ+σx
( t - μ) 2
1
P{ Z ≤ x} = P{ X ≤ μ+ σx } = ∫
-
e 2σ2 d t
2πσ -∞
t - μ
令 = u
σ 1 x
u2
∫ d u = Φ( x) .
-
e 2
- ∞
2π
X -μ 2
由此 Z = ~ N( 0 , 1 ) .证毕 .
σ
这样 , 就可以利用标准正态分布来表示一般的正态分布函数 .
2
若 X~ N (μ, σ ) , 对于任意区间 ( a , b] 有
b- μ a - μ
P{ a < X ≤ b} = Φ - Φ , ( 3 .6)
σ σ
查表即可得概率值 .
对于标准正态分布随机变量 , 引入 α分位点的定义 .
定义 3 .5 设 X ~ N ( 0 , 12 ) 若 Zα 满 足 条 件 P { X > Zα } = α
(0 <α< 1) , 则称点 Zα 为标准正态分布上的α分位点 .
2 .3 连续型随机变量 73
在自然现象和社会现象 中 , 大 量的 随机 变量都 服 从或 近似 服
从正态分布 .例如 , 海洋波浪的高度 , 一个地区成年男子的身高 , 生
产条件不变的许多产品的 某些 量度都 服从 正态分 布 .正如 二项 分
布主要产生于伯努利试验 , 泊松分布主要产生于泊松流 , 正态分布
早期来源于测量误差分析 .在 概率论 中和 数理 统计的 理论 研究 和
实际应用中 , 正态分布都占有重要地位 .
(3 ) 指数分布
定义 3 .6 若连续型随机变量 X 的概率密度函数为
f ( x ) = λe - λx I ( x ≥ 0 ) , ( 3 .7)
其中 λ> 0 为常数 , 则称 X 服从 参数 为λ的 指数分 布 ( exponen tial
dist ribu tion ) , 记作 X~ Ex(λ) .
指数分布的两个重要性质 .
性质 1( 无记忆性 ) 对 " s, t > 0 , 有
P{ X > t} = P{ X > s + t | X > s} .
证明 左 = P{ X > t} = 1 - P{ X≤ t} = e - λt ,
P{ X > s, X > t + s} P{ X > t + s}
右= =
P{ X > s} P{ X > s}
- λ( s+ t)
e - λt
= - λs =e ,
e
所以
P{ X > t} = P{ X > s + t | X > s} .
为讨论指数分布的另一重要性质 , 先给出以下的定义 .
定义 3 .7 设 X(ω) 为非负随机变量 ( 可理解为一 元件的工 作
寿命 ) , " t≥0 , 若
P( t < X ≤ t + h | X > t)
lim = H ( t)
h→0 h
存在 , 则称 H ( t) 为 X 在 t 时刻的瞬时失效率 .
性质 2( 无老化性 ) 瞬 时失效 率为 常数 , 且 X 服从指 数分 布
是 X 具有无老化性的充要条件 .
74 第 2 章 随机变量及其分布
所以 X~ Ex (λ) 时 , 具有无老化性质 .
必要性 : 记 F( t) = P( X≤ t) , 因 X 具有 无老 化性质 , 故瞬 时
失效率 F′( t)/ (1 - F( t) ) = λ, 其中 λ为常数 .令 F( 0) = 0 , 有
d( 1 - F( t) )/ ( 1 - F( t) ) = - λd t,
t
∫λe
- λt - λu
F( t) = ( 1 - e ) I( t≥ 0 ) = d u,
0
即 X~ Ex (λ) .证毕 .
利用指数分布的这两条 性质 , 有时 可以 简捷地 解 决一 些涉 及
指数分布的问题 .
(4 ) 贝塔分布
定义 3 .8 若随机变量 X 的概率密度函数为
1 ・ xα- 1 ( 1 - x )β- 1 ・ I( 0 ≤ x ≤ 1 ) , α> 0 , β> 0 ,
f ( x) =
B(α,β)
( 3 .8)
1
∫
α- 1 β- 1
其中 B(α,β) = u (1 - u) d u 为贝塔函数 , 称 X 服从参数 为
0
∫
γ- 1 - u
其中 Γ(γ) = u e d u 是伽玛 函数 , 称 X 服 从参 数为 (α,γ) 的
0
2 .4 随机变量的分布函数
(3 ) 令 F X ( - ∞ ) = x →lim F X ( x ) , F X ( ∞ ) = xlim FX ( x ) , 则
- ∞ →∞
F X ( - ∞ ) = 0 , FX ( ∞ ) = 1 .
注 若定义 F X ( x) = P( X < x) , 则 F X ( x ) 是左连续的 .
证明
( 1) 如果 b > a, 则 ( X(ω) ≤ b) = ( X(ω) ≤ a) ∪ ( a < X(ω) ≤ b) ;
等式右边两个事件不相容 , 故 F X ( b) = P( X (ω) ≤ b) = P( X(ω) ≤
a) + P( a < X(ω) ≤ b) ≥ P( X(ω) ≤ a) = F X ( a) .
(2 ) 由于 F X ( x ) 的 单 调 不减 性 , 故 存 在 右 极限 F X ( a + 0 ) =
lim F X ( b) ; 由于单调 性 , 为 证 F X ( a + 0 ) = F X ( a) , 只 需 对某 一 列
b→ a +
F X ( a) 即可 .令 An = ( a < X (ω) ≤ bn ) , 显然 An An + 1 , n∩ An = ,
=1
= n→
lim P( An ) = P( ) = 0,
∞
则
lim FX ( bn ) = F X ( a) , 即 lim+ F X ( b) = F X ( a) .
n→ ∞ b→ a
∞
(3 ) 令 Cn = ( X(ω) ≤ - n) , 则 Cn Cn + 1 , n∩ Cn = , 由连续 性
=1
2 .4 随机变量的分布函数 77
定理得li m F( - n) = n→
lim P( Cn ) = P( ) = 0 , 则 F X ( - ∞ ) = 0 .同理
n→ ∞ ∞
可证 : FX ( ∞ ) = 1 .
定义 4 .2 满 足 上 述 ( 1 ) , ( 2 ) , ( 3 ) 的 函 数 F X ( x ) 称 为 分 布
函数 .
注 1 由此易知 , 任 一随 机变 量的 概率 分 布 函数 必 是分 布 函
数 ; 同时 , 由测度论中已证其 逆命 题成 立 , 即 任一 分布 函数 必是 某
一概率空间上一随机变量 的概 率分布 函数 , 故 对随机 变量 的概 率
分布函数 , 简称为分布函数 .
由定理 4 .1 , 令 FX ( b - 0) = lim- F X ( a) , 可 以用 FX ( x ) 来表 达
a→ b
诸如以下事件的概率 :
P( a < X ≤ b) = F X ( b) - F X ( a) ; (4 .2a)
P( X = b) = F X ( b) - F X ( b - 0 ) , P( X < b) = F X ( b - 0 ) ;
( 4 .2b)
P( X > b) = 1 - FX ( b) , P( X ≥ b) = 1 - FX ( b - 0) .
( 4 .2c)
F X ( x ) = P( X≤ x) 还可改写为 : F X ( x) = P( X∈ ( - ∞ , x] ) , 这 说
明作为点 x∈ R 的 函数 F X ( x ) 可 看作 是区 间 ( - ∞ , x] 上的 集 函
数 .由本章 2 .1 节命题 1 .1 已证明 :
" x ∈ R , ( X ≤ x) ∈ F " B ∈ B, ( X ∈ B) ∈ F ,
def
故对任 一 A ∈ B, P ( X (ω) ∈ A) μX ( A) 都 有 定 义 .这 意 味 着
" B∈B, P( X(ω) ∈ B) 均可用 X(ω) 的分布函数 F X ( x ) 来 表示 .不
难验证 ,μX ( A) 是定义在可测博雷尔空间 ( R , B) 上的概率 测度 , 称
μX ( A) = P( X(ω) ∈ A) 为由随机变量的导出测度 .
注 2 容易验证 , 若 给定 随机变 量 X (ω) 的 分布 函数 F X ( x ) ,
即定 义 在 集 类 A = { ( - ∞ , a ] , a ∈ R } 上 的 集 函 数 F X ( a) =
P( X(ω) ∈ ( - ∞ , a] ) 是 ( R , A) 上的概率测度 .再 由概率论 中的 概
78 第 2 章 随机变量及其分布
率测度扩张的唯一性定理 , 由 F X ( a) 可唯 一的 扩张 到一维 博雷 尔
de f
可测空间 ( R , B ) 上 , 其 中 B = σ( A ) .从 而 , " A ∈ B, μX ( A)
P( X(ω) ∈ A) 可由 F X ( a) 唯一确定 .这意味着 , 对任一 博雷尔可 测
集 A∈B, ( X(ω) ∈ A) 的概率 μX ( A) = P( X(ω) ∈ A) 完全由 F X ( a)
唯一确定 .因此 , 我们可以说 , 随机变量 X(ω) 的分布函数 F X ( a) 包
含了它的全部概率特性 .
例 4 .1 已知 X 的概率分布律如下 , 其中 p + q = 1 .求其分 布
函数 F X ( x) .
X - 2 0 2
P q2 2 pq p2
解 当 x < - 2 时 , F X ( x) = P( X≤ x ) = P( X < - 2) = 0 .
2
当 x∈ [ - 2 , 0 ) 时 , F X ( x) = P( X≤ x ) = P( X = - 2) = q ;
当 x∈[0 , 2 )时 , F X ( x) = P( X≤ x) = P( X = - 2) + P( X = 0) =
2
q + 2 pq;
当 x≥ 2 时 , F X ( x ) = P( X≤ x ) = P( X = - 2 ) + P ( X = 0 ) +
P( X = 2 ) = 1 .
F X ( x ) 的图像如图 2 -5 .
若 离 散 型 随 机 变 量 X 的 分 布 律 为 P( X = xk ) =
p k k ∈ N \ {0 } , pk ≥ 0 , ∑ p k = 1 , 容易验证 : " a∈ R , 有
k
F X ( a) = P( X ≤ a) = ∑
k: x ≤ a
k
P( X = xk ) = ∑
k: x ≤ a
k
pk . (4 .3 )
对于连续型随机变量的概率密度函数与其分布函数有如下关系 .
命题 4 .1 若随机变量 X 具有概率密度函数 f X ( u) ( u∈ R ) ,
则 " x∈R 有
x
F X ( x ) = P( X ≤ x) = ∫ - ∞
f X ( t) d t . ( 4 .4)
2 .4 随机变量的分布函数 79
图 2-5
证明 由 (3 .1 ) 式 , 取 L = ( - ∞ , x] ∈B, 即得 (4. 4 ) 式 .
de f
例 4 .2 X~ N ( 2 , 12 ) , 令 Y (ω) = X(ω) ∨0 max ( X (ω) ,
0) , 求 Y (ω) 的分布函数 .
解 由题意知 Y ≥ 0 , 当 u < 0 时 , FY ( u) = P( Y ≤ u) = 0 , 当
u≥0 时 , 有
{ Y ≤ u} = { m ax ( X , 0 ) ≤ u} = { 0 ≤ u} ∩ { X ≤ u}
= { X ≤ u} ,
故当 u≥0 时
u - 2
FY ( u) = P( Y ≤ u) = Φ = Φ( u - 2) .
1
注 P( Y = 0 ) = P( X≤ 0) = Φ( - 2) , 可 见 Y 既不 是离散型 随
机变量 , 也不是连续型随机变量 .
若给定一个随机变量 X 的分 布 函数 F ( x ) , 也 就 给定 了一 个
随机变量 X 的所有 的概 率特 性 .事 实上 , 若 两个 随 机变 量 X , Y ,
它们的分布函数相同 , 即 " a∈R , P( X≤ a) = P( Y ≤ a) , 则由本 章
命题 1 .1 可以证明 : " L∈B, 有 P( X∈ L ) = P( Y∈ L ) , 这 表明 随
机变量的分布函数决定了它所有的概率特性 .
80 第 2 章 随机变量及其分布
2 .5 条件分布函数与条件密度函数
在第 1 章 , 我们讨论了 条件 概率及 一些 相应 特 性 , 这一 节 , 我
们将在条件概率和分布函 数的 基础上 , 给 出条 件分布 函数 及条 件
密度函数的概念 .
定义 5 .1 给 定 ( Ω, F, P ) , 设 随 机 变 量 X 及 事 件 B ∈ F,
P( B) > 0 , " x∈R , 称
def
FX | B ( x ) P(ω: X ≤ x | B) ( 5 .1)
为 X 关于事件 B 的条件 (概率 ) 分布函数 .若存在非负函数 f X | B ( x) ,
使得
" L ∈ B, ∫ x∈ L
f X | B ( x ) d x = P(ω: X(ω) ∈ L | B) , (5 .2 )
则称 f X | B ( x ) 为 X 关 于 事 件 B 的 条 件 ( 概 率 ) 密 度 函 数
( conditional probability den sity function , 简记为 c .p .d .f .) .
例 5 .1 X~ N (2 , 12 ) , B = {ω: X≥0} , 求 X 在 B 条件下的 条
件分布函数及条件概率密度函数 .
解 当 x≤ 0 时 , P( X≤ x | X≥0) = 0; 当 x > 0 时 , 有
P( X ≤ x, X ≥ 0) P(0 ≤ X ≤ x )
P( X ≤ x | X ≥ 0) = =
P( X ≥ 0 ) P( X ≥ 0)
= ( Φ( x - 2) - Φ(0 - 2 ) )/ ( 1 - Φ( 0 - 2) )
= Φ( x - 2 ) - Φ( - 2 ) ;
Φ(2 )
当 x < 0 时 , F′
X | X≥ 0 ( x ) = 0; 当 x > 0 时 , F′ ×
- 1
X | X≥ 0 ( x ) = ( 0 .9772 )
- 1 2
(2π) 2
exp( - ( x - 2 ) / 2) ; X 在 X ≥ 0 条件下 的条 件概率 密度 函
数 , 可以取为
0, x ≤ 0,
f X| B ( x ) = -1 - 1 2
( 0 .9772 ) (2π) 2
exp( - ( x - 2) / 2 ) , x > 0 .
2 .5 条件分布函数与条件密度函数 81
注意 : 上例 F X | X≥ 0 ( x ) 在 x = 0 的导数不存在 .
注 若一分布函数 F( x) 在R 上连续 , 仅在可列点上导数不 存
在 , 其他点上导 数存 在 , 且 可 积 , 则 它的 概 率 密 度函 数 f ( x ) 可 取
为 : 在 F( x ) 导数存在点上取 f ( x ) = F′( x ) ; 在 导数 不存在 的点 上
任取 f ( x) = a≥0 即可 .
2
若随机变量 X~ N( 2 , 1 ) , 设事 件 A 为 ( X≥ 0 ) , 定义 随机 变
def
量 Y, Y X・ I A (ω) .读者可再 分析 一下 Y 的 分布 函数 ( 注 意 Y
为一般性随机变量 , 且 分布函 数在 0 点不 连续 ) , 并与 前两 个例 子
作一比较 , 以 加 深 对 条 件分 布 及 存 在 概 率 密 度 函 数 必 要 条 件 的
理解 .
注意 : 概率密度函数 f X ( x ) 表征的是随机变量在某 一点 x 处
的概率特性 , 而建立在条 件概 率和概 率密 度函 数基础 上的 条件 概
率密度函数表征的是在给 定事 件已发 生的 条件下 , 随 机变 量在 某
一点 x 处的条件概率特性 .
在许多理论研究和实际 应用中 , 通 常关 心随机 变 量限 制在 某
一范围内的概率分布 , 为此下面我们引入截尾分布函数的定义 .
定义 5 .2 对于一般的随机 变量 X , 称 X 在 ( a < X < b) 条 件
下的条件 概 率 分 布 为 X 的 截 尾 分 布 函 数 , 其 中 - ∞ ≤ a < b≤
+∞ .
易知 , 例 5 .1 实际上是 求一个 服从 正态 分布的 随 机变 量的 截
尾分布函数 .
例 5 .2 某 种 型 号的 电 子管 寿 命 X ( 以 小 时计 ) 服 从 参 数 为
λ= 2 的指数分布 , 厂家规 定 : X > 4 的 电子 管 为合 格 品 , 而 X > M
的电子管为优质品 , M 随 顾客 要 求而 定 ( M > 4 ) 现随 机 抽取 一 个
电子管 , 已知它 为合 格 品 , 求其 是 优 质 品 的概 率 ( 此 概 率 是 M 的
函数 ) .
解 本题也就 是求 符合指 数分 布的 随机 变量 的截 尾分 布
82 第 2 章 随机变量及其分布
函数 .
- λx
由于 X~ Ex (λ) , 则 f X ( x) = λe I ( x≥ 0 ) , 由题意 λ= 2 ,
- 2x - 2x
P( X ≤ x) = 1 - e , P( X > x) = e .
当 M > 4 时, 有
P( X > M) e- 2 M - 2( M - 4 )
P( X > M | X > 4 ) = = - 2× 4 = e .
P( X > 4) e
可见 , X 在 X > 4 的条件下仍服从指数分布 .
在第 3 节中我们介绍了 指数分 布具 有无记 忆性 , 上例 说明 了
同一性质 .
条件分布函数和条件概率密度函数在概率论中具有很重要的
地位 , 因为在实际应用中 , 人们往往关心的是随机变量在某一特定
范围内的概率特性 .例如仅考虑男生的身高变化 .这相对于全班同
学的身高 , 就是有条件的 , 涉及到条件分布函数和条件概率密度函
数的相应问题 .
此外 , 深入掌握一维随机变量 , 对以后学习多维随机变量及条
件数学期望都是很有益处的 .
2 .6 随机变量函数的分布
X - 2 -1 0 1 2
P 2/ 15 3/ 15 5/ 15 4/ 15 1/ 15
解 Y 所有可能取值为 1 , 2 , 5 , 故
2 5 1
P{ Y = 1 } = P{ X + 1 = 1 } = P{ X = 0 } = = ,
15 3
2
P{ Y = 2 } = P{ X + 1 = 2 } = P{ X = 1 } + P{ X = - 1 }
4 3 7
= + = ,
15 15 15
2
P{ Y = 5 } = P{ X + 1 = 5 }
84 第 2 章 随机变量及其分布
= P{ X = 2 } + P{ X = - 2 }
1 2 1
= + = ,
15 15 5
则 Y 的分布律为
Y 1 2 5
P 1/ 3 7/ 15 1/ 5
2
例 6 .2 设随机变量 X~ N (0 , 1 ) 求 : Y = X 的概率密度函数 .
2
解 设 Y 的分布函数 F Y ( y ) = P( Y≤ y) .由 于 Y = X ≥ 0 , 故
y < 0 时 , FY ( y ) = 0; 当 y≥0 时 , 有
P{ Y ≤ y} = P{ X2 ≤ y} = P{ - y≤ X≤ y}
y
∫
= - y
f X ( x) d x .
1 - x2 2
用 f X ( x) = e 2
代入上式 , 然后对 y 求导 , 即得 Y = X 概率密
2π
度函数为
- 1/ 2
y - y
f Y ( y) = e 2
・ I( y ≥ 0 ) ,
2π
此时称 Y 服从自由度为 1 的卡方分布 .( 见第 3 章练习题 3 .30 .)
例 6 .3 设随机变量 X~U ( 0 , 1) , 求 Y = Φ- 1 ( X) 的概率密 度
- 1
函数 ( 其中 Φ ( x) 是标准正态分布函数 Φ( x ) 的反函数 ) .
- 1
解 先求 Y = Φ ( X ) 的 分 布 函 数 FY ( y ) = P( Y ≤ y ) , 注 意
- 1
X~U ( 0 , 1) , 故有 FY ( y ) = P ( Y ≤ y ) = P( Φ ( X) ≤ y) = P( X ≤
2
Φ( y) ) = Φ( y) .于是知 Y~ N( 0 , 1 ) , 从而 得 Y 的概率 密度函数 为
1 - 2
f Y ( y) = Φ( y) = .由此可知 , 由服从 (0 , 1 ) 上 均匀分布 的
y / 2
e
2π
- 1 2
随机变量 X , 经变换 Y≡Φ ( X) 得到随机变量 Y~ N( 0 , 1 ) , 这为
产生服从正态分布的随机变量提供了一个途径 .
2 .6 随机变量函数的分布 85
还可以采用“微元法”求 随机 变量 函数的 概率 密度 函数 , 在 本
章第 3 节 , 我们曾提到微元法的依据 , 即 : 当 f Y ( y) 在 y 连续时 , 有
P( y < Y ≤ y + h)
f Y ( y) = lim .
h→ 0 h
这里也可以应用这种关系 , 对例 6 .4 求解 .
例 6 .5 题设同上例 .
解 用微元法 .先设 a > 0 , 则 " h > 0 , h 充分小 , 有
P( y < Y ≤ y + h) = P( y < aX + b ≤ y + h)
y - b y - b h
=P < X≤ +
a a a
y - b h h
= fX ・ + o ,
a a a
故
P( y < Y ≤ y + h)
f Y ( y) = lim
h→0 h
y - b h
fX ・
a a = fX y - b
= lim ・1
h→0 h a a
1 [ y - ( aμ+ b) ] 2
= exp - .
2πσ・ a 2 ( aσ) 2
当 a< 0 时 , 则
y - b y - b h
P( y < Y ≤ y + h) = P > X≥ +
a a a
y - b h h
= fX - + o .
a a a
从而得
1 [ y - ( aμ+ b) ] 2
f Y ( y) = exp - ,
2π | a | σ 2 ( aσ) 2
即 Y = aX + b~ N ( aμ+ b, ( aσ) 2 ) .
例 6 .6 设电 压 V = Asinθ, 其 中 A 是 已知 的 正常 数 , 相 角 θ
2 .6 随机变量函数的分布 87
是一随机变量 θ
. ~ U (0 ,π) , 试求电压 V 的概率密度 .
解 用微元法 . " v∈ (0 , A) 取 h > 0 充分小, 使 v + h∈ (0 , A) ,
P{ v < V ≤ v + h} = P{ v < Asinθ≤ v + h}
v < θ≤ arcsin v + h
= P a rcsi n +
A A
v+ h v
P π - arcsin ≤ θ< π - arcsin
A A
1 a rcsin v + h - a rcsin v
= +
π A A
1 a rcsin v + h - a rcsin v
.
π A A
由泰勒 ( Taylor ) 展开得
ar csin v + h = a rcsin v + 1 1 ・ h + o( h) ,
・
A A v2 A
1 - 2
A
因此有
2 1
P( v < V ≤ v + h) = ・ ・ h + o( h) ,
π A - v2
2
所以
P( v < V ≤ v + h) 2
f V ( v) = lim = ,
h→ 0 h π
2
A - v
2
因此
2
2 2
, 0 < v < A,
f V ( v) = π A - v
0, 其他 .
2
例 6 .7 设 X~ N ( 2 , 1 ) , B = {ω: X≥ 0} .求 X 在 B 条件 下
的条件概率密度函数 f X | B ( x) .
解 当 x≤0 时 , P( X≤ x, X≥0) = 0 , 故 x≤0 时, 有 f X | B ( x) =
0; 故只需考虑 x > 0 的情形 .对 x > 0 , 取 h > 0 充分小 , 则
P( x < X ≤ x + h | X ≥ 0) = P( x < X ≤ x + h)/ P( X ≥ 0)
88 第 2 章 随机变量及其分布
= (1 - Φ( - 2 ) ) - 1 P( x < X ≤ x + h)
x+ h
∫
-1 - 1/ 2 2
= Φ(2 ) ( 2π) exp ( - ( u - 2 ) / 2) d u
x
练 习 题
2 .1 一批零件中有 9 个合 格品 3 个 不合格 品 .安 装配 件时 ,
练习题 89
从这批零件中任取一个 , 如果每次取出的不合格品不再放回 , 而再
取一个零件 , 直到取得合格品为止 .求在取得合格品以前已取出不
合格品数的概率分布 .
2 .2 先掷一枚匀称的骰子 , 然后抛个数与骰子掷出的点数相
同的硬币 .
(1 ) 求国徽朝上个数的分布列 ;
(2 ) 若得到 3 个国徽朝上 , 问骰子掷出 n 点的概率多大 ?
2 .3 掷一颗匀称的骰子 n 次 , 设 M 与 m 分别 表示所 得点 子
的最大值与最小值 , 求 P( m = 2 , M = 5) .
2 .4 由 某 机 器 生 产 的 螺 栓 的 长 度 ( cm ) 服 从 参 数 为 μ=
10. 05 ,σ= 0 .0 6 的正态 分 布 , 规 定长 度 在范 围 10 .05 ± 0 .12 内 为
合格品 .求一螺栓为不合格品的概率 .
1
2 .5 已知 ln X~ N( 1 , 22 ) , 求 P < X<2 .
2
2 .6 点随机地落在中心在原 点、半 径为 R 的圆 周上 , 并且 对
弧长是匀称地分布的 , 求落点的横坐标的概率密度 .
2 .7 设 X 的分 布函 数 F ( x ) 是连 续函 数 , 则 Y = F( X) 服 从
U ( 0 , 1) .
2 .8 抛掷一枚分币 , 直 到出 现“ 国徽 朝上”为 止 , 求抛 掷次 数
的概率分布 .
2 .9 从 一 副 扑 克 牌 中 发 出 5 张 , 求 其 中 黑 桃 张 数 的 概 率
分布 .
2 .10 甲、乙两人投篮 , 投中的概率分别为 0 .6 , 0 .7 , 今各投 2
次 , 求 : (1 ) 两人投中 次数相 等的 概率 ; ( 2 ) 甲 比乙 投中次 数多 的
概率 .
2 .11 设 X 服 从 泊 松分 布 , 已 知 P ( X = 1 ) = P( X = 2 ) , 求
P( X = 4 ) .
2 .12 设 X 服 从 泊 松 分 布 ( 参 数 为 λ) , 问 : k 取 何 值 时 ,
90 第 2 章 随机变量及其分布
P( X = k) 为最大 ?
2 .13 设 X~ B( n, p) .问 : k 取何值时 , P( X = k) 为最大 ?
2 .14 在一次核反应中某个粒子可能分裂为 2 或 3 个粒子或
不分裂 , 这 3 种可能 性相 应的 概率分 别为 p2 , p3 和 p1 , 新 粒子 的
分裂性态是相同的 ( 与老粒子也相同 ) , 并且分裂结果彼此独立 .求
两次反应以后粒子总数的分布 .
2 .15 设随 机变 量 X 的概 率密 度 为 f ( x ) = C x I( 0 ≤ x ≤ 1 ) , 求 :
(1 ) 常数 C; ( 2) X 落在区间 (0 .3 , 0 .7 ) 内的概率 .
2 .16 设 X~ N ( 1 , 0 .22 ) , 求 : ( 1 ) P( X > 0 ) ; ( 2 ) P( 0 .2 <
X < 1 .8) .
π π
2 .17 设 X~ U - , , 证明 : Y = tan X 的概 率密度函 数
2 2
2 - 1
为 f Y ( y ) = (π( 1 + y ) ) , - ∞ < y < + ∞ , 称 Y 是 服从柯 西分 布
的随机变量 .
2 .18 设随机变量 X 的概率密度 f ( x ) 为
1 2
1 - x , - 1 ≤ x ≤ 1,
(1 ) f ( x ) = π
0, 其他 ;
x, 0 ≤ x < 1,
( 2) f ( x ) = 2 - x, 1 ≤ x ≤ 2,
0, 其他 .
分别求出 X 的 分布 函 数 F ( x ) , 并作 出 ( 2 ) 中 的 f ( x ) 与 F( x ) 的
图形 .
2 .19 设随 机变 量 X 服 从参数 为 p ( 0 < p < 1 ) 的 几何 分布 ,
即 X~ Ge( p) , " l∈ N , 求在 X≥ l 条件下的条件分布律 .
2 .20 设随机变量 X 只取正整数值 , 若对任意 l, k∈N \ { 0 } ,
有 P( X≥ l + k | X≥ k) = P( X≥ l) , 试证 : X 服从几何分布 .
2 .21 设 X (ω) 是定 义 在 概率 空 间 ( Ω, F , P) 上的 随 机 变量 .
练习题 91
∑ ( k/
n
2 .27 设 随 机 变 量 Y ~ U [ 0 , 1 ] , 令 Yn = 2 )・
k= 0
I ( k/ 2 n≤ Y < k+ 1/ 2 n ) ( n≥ 0) .求 :
(1 ) 分别求 Y1 , Y2 的分布律 ;
(2 ) Y n 的分布律 ;
(3 ) Y2 在给定 Y1 = 1/ 2 下的条件分布律 .
2 .28 设随机变量 X~ B( n, p) , 试用示性函数的 线性组合 来
92 第 2 章 随机变量及其分布
表示随机变量 X .
2 .29 设随机变量 Y ~ Po (λ) , 试用 示性 函数 的 线性 组合 来
表示随机变量 Y .
2
2 .30 设一批电子元件某指标 X~ N( 50 , 1 ) ( 设批 量为∞ ) ,
按质量要求 : 当 | X - 50 | ≤ 2 为 合 格 品 , 否 则为 次 品 .求 将产 品 中
不合格元件全部剔除后 , 剩下元件指标的概率密度函数 .
2 .31 某批 零 件强 度 X~ N ( 48 , 22 ) ( 设 批 量为 ∞ ) , 若 X ≥
46 .3 2 , 则此零件为合格品 , 否则 为次 品 .制定抽 验方 案 如下 : 第 一
次任取 3 个 , 若 3 个都合格 , 则接收该批零件 ; 若至少有 2 个次品 ,
则拒收该批 ; 否则再抽 第二次 , 也 是 3 个 .重 复上 述步 骤直 至作 出
接收或拒绝决定为止 .
(1 ) 求第一次抽验 3 个而接收该批零件 的概率及 第一次抽 验
而作出决定的概率 ;
(2 ) 求通过抽验接收该批产品的概率 ;
(3 ) 记 N 为直至作出决定的抽取次数 , 求 N 的分布律 .
2 .32 设 某 电 子 元 件 在 工 作 时 , 其 两 端 电 压 V ~ N ( 220 ,
400) .当 V∈ [200 , 240 ]时 , 其 失效 概率 为 0 .05; 当 V < 200 时 , 其
失效概率为 0 .10; 当 V > 240 时 , 其失效概率为 0 .50 .求 : ( 1) 此元
件的失效概率 ; ( 2) 当元件失效时 ; 电压超过 240 的条件概率 .
2 .33 设 F( x) 是一分布函数 .
x+ h
( 1 ) 证 明 " h > 0 , G1 ( x ) = ∫ x
F( u) d u/ h, G2 ( x ) =
x+ h
∫x - h
F ( u) d u/ 2 h 是分布函数 ;
3 .1 离散型随机变量及其分布
1 联合分布律
定义 1 .1 给定 ( Ω, F, P) .
(1 ) 若 X = ( X1 , X2 , … , Xn ) 每 一 个分 量 都是 离 散 型随 机 向
量 , 则称 X 为 n 维离散型随机变量 .
94 第 3 章 多维随机变量及其分布
(2 ) 若二维离散型随机变量 ( X , Y ) 可能取值为 ( x i , y j ) ( i, j∈
N \ {0 } ) , 则称
{ p ij = P( X = xi , Y = y j ) , i, j ∈ N \ { 0} }
为 ( X , Y ) 的联合分布律 , 简称分布律 .
由定义可知二维 离 散型 随 机变 量 ( X , Y ) 的 联合 分 布律 具 有
以下性质 : pi j ≥ 0; ∑ ∑ p ij = 1 . 并且具有上述性质的任何数集
i j
{ pi j , i, j = 1 , 2 , …}均可作为某二维离散型随机变量的分布律 .
2 边缘分布与 条件分布
易知 : P( X = x i ) = ∑p
j= 1
ij , P( Y = y j ) = ∑p
i= 1
ij ,
P( X = x i | Y = yj ) = pi j/ ∑pi
ij .
∑p
i=1
i = 1 . 记 X i 为 n 次试验中 A i ( 1≤ i≤ r) 出 现的次数 , 则随 机
向量 X = ( X1 , X2 , … , Xr ) 的联合分布律为
n!
P( X1 = n1 , X2 = n2 , … , X r = nr ) = p1n1 p2n2 … prn r ,
n1 !n2 !… nr !
( 1 .1)
3 .1 离散型随机变量及其分布 95
其中 , 0 ≤ ni ≤ n 且 n1 + n2 + … + nr = n .称 X = ( X1 , X2 , … , X r ) 服
从参数为 ( n; r; p1 , … , pr ) 的多项分布 .
(1 ) 当 r = 4 时 , 求 X1 的分布律 ;
(2 ) 当 n = 4 时 , 求 X2 关于 X1 的条件分布律 .
解 (1 ) " n1 = i = 0 , 1 , 2 , … , n,
n!
P( X1 = i) = ∑
n +n + n = n- i
2 3 4
n1 !n2 !n3 !n4 !
p1n1 p2n2 p3n3 p4n4
i
n !p1 ( n - i) ! n2 n3 n4
= ∑ p p p
i !( n - i) !n2 + n 3 + n4 = n - i n2 !n3 !n4 ! 2 3 4
n !p1i n- i
= ( p2 + p3 + p4 )
i !( n - i) !
i i n- i
= Cn p1 (1 - p1 ) ~ B( n, p1 ) . ( 1 .2)
同理 , P( X l = i) = Cni p il ( 1 - pl ) n - i ~ B( n, pl ) (0≤ i≤ n, 1≤ l≤ r) .
(2) 为求 P( X2 = j | X1 = i) ( i + j≤ n) , 先求 P( X1 = i, X2 = j) .
n!
∑
i j n n
P( X1 = i, X2 = j) = p1 p2 p3 3 p4 4
n + n = n - i- j
3 4
i !j !n3 !n4 !
n! i j n - i- j
= p1 p2 ( 1 - p1 - p2 ) ,
i !j !( n - i - j) !
故
P( X1 = i, X2 = j)
P( X2 = j | X1 = i) =
P( X1 = i)
j n - i- j
( n - i) ! p2 p2
= 1 -
j !( n - i - j) ! 1 - p1 1 - p1
p2
~ B n - i, , 0 ≤ i ≤ n, 0 ≤ i + j ≤ n .
1 - p1
n!
注 显然 (1 .1 ) 式 中的 系数 = 是 多项 式 ( X1 +
n1 ! n2 ! … nr !
X2 + … + Xr ) n 展开式 中 x1n1 x2n2 … xrn r 的系 数 .它是 二 项分 布的 推
广 , 当 r = 2 时 ( 1 .1) 式为二项分布 .
96 第 3 章 多维随机变量及其分布
3 和、差 、积、商、极大、极小
( X・ Y ≤ a) = i : ∪ ( X = xi , Y ≤ a/ xi ) ∪ i: ∪
x > 0 x < 0
i i
( X = xi , Y ≥ a/ x i ) ∈ F ,
当随机变量 Y≠ 0 时
{ ( X/ Y ) ≤ a} = ∪ { Y = y j , X ≤ ay j } ∪
j: y > 0
j
∪ { Y = y j , X ≥ ay j } ∈ F,
j: y < 0
j
而{ ( X∨ Y ) ≤ a} = ( X ≤ a, Y ≤ a) ∈F , { ( X ∧ Y ) > a} = ( X > a,
Y > a) ∈F .
那么它们的分布律如何求呢 ? 举例如下 .
例 1 .2 设离散型随机变量 ( X, Y ) 的联合分布律如下 :
( X,Y ) (1 , 1) (1 , 2) (1 , 3 ) ( 2,1 ) ( 2 , 2) (2 , 3)
P ij 1/ 18 5/ 18 3/ 18 3/ 18 4/ 18 2/ 18
求 : ( 1) X + Y 的分布律 ; ( 2) X∨ Y 的分布律 .
3 .1 离散型随机变量及其分布 97
解 (1 ) X + Y 的可能取值为 2~5 , 显然
P( X + Y = 2 ) = P( X = 1 , Y = 1) = 1/ 18,
P( X + Y = 3 ) = P( X = 1 , Y = 2) + P( X = 2 , Y = 1 ) = 8/ 18 ,
P( X + Y = 4 ) = P( X = 1 , Y = 3) + P( X = 2 , Y = 2 ) = 7/ 18 ,
P( X + Y = 5 ) = P( X = 2 , Y = 3) = 2/ 18 .
故
X+ Y 2 3 4 5
Pi 1/ 18 8/ 18 7/ 18 2/ 18
(2 ) X∨ Y 可能取值为 1 , 2 , 3 ,
P( ( X ∨ Y ) = 1) = 1/ 18 , P( ( X ∨ Y ) = 2 ) = 12/ 18 ,
P( ( X ∨ Y ) = 3) = 5/ 18 .
例 1 .3 设 ( X1 , X2 , … , Xr ) 服 从参 数为 ( n; 4; p1 , p2 , p3 , p4 )
的多项分布 , 试求 X1 + X2 的分布律 .
解 对 0 ≤ k≤ n, 用 类似于 证明 全概率 公式 中的 事件 分解 方
k
法 , 有 ( X1 + X2 = k) = ∪ ( X1 = i, X2 = k - i) , 故由 (1 .2 ) 式有
i= 0
k
n!
P( X1 + X2 = k) = ∑
i= 0 i !( k - i) !( n - k) !
p1i p2k - i (1 - p1 - p2 ) n - k
k
n !( 1 - p1 - p2 ) n - k
k!
∑
i k- i
= p1 p2
k !( n - k) ! i= 0 i !( k - i) !
= C nk ( p1 + p2 ) k (1 - p1 - p2 ) n - k ,
故 X1 + X2 ~ B( n, p1 + p2 ) .
注 仅由以上所述 , 读者不难发现 , 全概率公式证明中所应用
的事件分解的方法是概率论中最基本的技巧 .
4 离散型随机 变量的独 立性
P( X = x i , Y = y j , Z = z k ) = p ij k , i, j, k ∈ N \ {0 } ;
若 " i, j, k∈ N \ {0 }均有
P( X = xi , Y = yj , Z = zk ) = P( X = x i ) P( Y = yj ) P( Z = zk ) ,
则称离散型随机变量 ( X , Y , Z) 相互独立 .
以下略举它的若干性质 .
命题 1 .2 设离散型随机变量 X , Y , Z 相互独立 , 则 :
(1 ) " i, j, k∈ N \ {0} , P( X = xi | Y = yj ) = P( X = xi ) , P( X =
x i | Z = zk ) = P( X = xi ) , P( Y = y j | Z = zk ) = P( Y = yj ) , P( X =
x i | Y = yj , Z = z k ) = P( X = xi ) .
X 2 2 2
(2 ) X± Y 与 Z 独立 , X Y, 分别与 Z 独立 , X + Y 与 Z 相
Y
互独立 .
证略 , 留给读者作为练习 .
以上只列 举了 X , Y , Z 相互 独立 的部 分 性质 , 读 者 有兴 趣 的
话 , 可进一步列出其他性质 .
3 .2 连续型随机变量及其概率密度函数
1 联合概率密 度函数
定 义 2 .1 给 定 ( Ω, F, P) , 若 v f ( x1 , … , xn ) ≥ 0 , 对 " B∈
Bn , 有
(1 ) 非负性 : f ( x, y) ≥0;
+∞ +∞
(2 ) 规一性 : ∫∫ -∞ -∞
f ( x, y) d xd y = 1 ;
( 3) 设 G∈B2 是 xO y 平面上的一个区域 , 点 ( X, Y ) 落在 G 内
的概率为
P{ ( X , Y ) ∈ G} = f ( x, y) d xd y ,
G
几何上的值等于以 G 为 底 , 以 z = f ( x, y ) 为顶 面 的柱 体 体 积 .其
2
中 B 为二维博雷尔 σ-域 .
(4 ) 若 f ( x, y ) 在 ( x, y) 连续 , 则
P( x < X ≤ x + h1 , y < Y ≤ y + h2 )
f ( x, y ) = hlim .
1
→0 h1 h2
h →0
2
( 2 .1)
利用 (2 .1 ) 式 , 求 ( X , Y ) 的联合概率密度函数 .此法称为微元法 , 详
见本章 3 .6、3 .7 节及第 6 章等 .
2 边缘密度函 数
对于二维随机变量 ( X , Y ) , 其分 量 X ( 或 Y ) 的 密 度函 数称 为
边缘密度函数 .我们有
∞
f X ( x) =∫ - ∞
f ( x , y) d y .
证明 因 " B∈B,
+∞
P( X ∈ B) =
x∈ B
f ( x, y ) d xd y = ∫ ∫ x∈ B -∞
f ( x, y) d y d x,
∞
由上一章概率密度函数定义可知 ∫ - ∞
f ( x , y ) d y 为 X 的密度函数 .
2 2 2
例 2 .1 二维随机变量 ( X , Y ) 在 GR = { ( x , y ) : x + y ≤ R }
1
上服从二维均匀分布, 即 f ( x, y) = 2 I( x +
2 y2 ≤ R2 ) , 求: f X ( x) , fY ( y) .
πR
100 第 3 章 多维随机变量及其分布
解 由边缘分布的性质可得 :
当 | x| > R 时
f X ( x) = 0;
当 | x| ≤ R 时
+∞ R2 - x 2
1 2 R2 - x2
f X ( x) =∫ - ∞
f( x , y) d y = ∫ -
2
R - x
2
πR
2 dy =
πR
2 .
即
2 R2 - x2
f X ( x) = I( | x | ≤ R) .
πR2
同理可得
2 R2 - y2
fY ( y ) = I ( | y| ≤ R) .
πR2
由此可知 , 联合分布为均匀分布 , 边缘分布未必也是均匀分布 .
3 二维正态随 机变量
定义 2 .2 若二维随机变量 ( X1 , X2 ) 的联合概率密度函数为
2
1 - 1 ( x1 - μ1 )
f ( x1 , x2 ) = ・exp 2 2 -
2πσ1σ2 1 - ρ2
2( 1 - ρ ) σ1
2
( x1 - μ1 ) ( x2 - μ2 ) ( x2 - μ2 )
2ρ + , ( 2 .2)
σ1 σ2 2
σ2
其中 μ1 ,μ2 ,σ1 ,σ2 ,ρ都 是 常数 , 且 σ1 > 0 ,σ2 > 0 , - 1 ≤ρ≤ 1 , 则 称
( X1 , X2 ) 是参数为 (μ1 ,μ2 ,σ12 ,σ22 ,ρ) 的二维正态随机变量 , 简记为
2 2
( X1 , X2 ) ~ N (μ1 ,μ2 ,σ1 ,σ2 ,ρ) .
命 题 2 .1 设 ( X1 , X2 ) 为 如 上 二 维 正 态 , 则 Xk ~ N ( μk ,
2
σk ) ( 1≤ k≤ 2) .
解
2 2
1 - 1 ρ ( x1 - μ1 )
f ( x1 , x2 ) = ・exp -
2( 1 - ρ ) σ12
2
2πσ1σ2 1 -ρ2
3 .3 联合分布函数 101
( x1 - μ1 ) ( x2 - μ2 ) ( x2 - μ2 ) 2 - ( x1 - μ1 ) 2
2ρ + +
σ1σ2 σ22 2σ12
2
1 exp - ( x1 - μ1 ) 1
= 2 ・ ・
2πσ1 2σ1 2πσ2 1 - ρ2
- 1 σ2 2
exp ( x2 - μ2 ) - ρ ( x1 - μ1 ) ,
σ1
2 2
2σ2 (1 - ρ )
由边缘概率密度函数与联合概率密度函数的关系有
+∞
f X1 ( x1 ) = ∫ - ∞
f ( x1 , x2 ) d x2 .
2 - 1 - 1 - 1
令 t = (1 - ρ ) 2
σ2 [ ( x2 - μ2 ) - ρσ2 σ1 ( x1 - μ1 ) ] , 则有
- ( x1 - μ1 ) 2 +∞ t2
1 e 1 e-
f X1 ( x1 ) =
2πσ1
2σ12
∫ -∞
2π
2
dt
2
- ( x1 - μ1 )
1 2
= e 2σ1 . ( 2 .3)
2πσ1
- ( x2 - μ2 ) 2
1
同理得 : f X 2 ( x2 ) = e 2σ22 , 而 Xk ( 1≤ k≤2) 的边缘分布 为
2πσ2
一元正态分布 .
由这个命题知 , 二维正 态分布 的两 个边 缘分布 都 是一 维正 态
分布 , 且都 不依 赖于 参 数 ρ.这说 明 单由 关于 X1 和 X2 的边 缘 分
布 , 一般是不能确定 X1 和 X2 的联 合 概率 密度 函数 .说明 联合 概
率密度函数所反映的信息 , 不仅反映各自的特征信息 , 还包含着二
者之间某种关系的信息 .
3 .3 联合分布函数
1 联合分布函 数
2
定 义 3 .1 设 ( X , Y ) 为 二 维 随 机 向 量 , " ( x, y ) ∈ R 称
102 第 3 章 多维随机变量及其分布
F( x, y ) = P(ω: X ≤ x, Y ≤ y) 为二 维随 机向 量 ( X , Y ) 的联 合概 率
分布函数 , 或称为 ( X , Y ) 的联合分布函数 .
对于二维随机变量的联合分布 , 可给出其几何解释 , 若将二维
随机变量 ( X , Y ) 视为一个平面上的“ 随机点”的坐标 , 则 F( x, y) 的
函数值就是随机点 ( X, Y ) 落在如 图 3 -1 所示 的阴影 部 分的 概率 .
该概率是点 ( x, y) 的二元函数 .
图 3-1
图 3-2
3 .3 联合分布函数 103
分布函数 F( x, y) 具有以下的基本性质 :
(1 ) F( x, y) 是变量 x 和 y 的单调不减函数 , 即
" y ∈ R , 若 x2 > x1 , 则 F( x2 , y) ≥ F( x1 , y ) ;
" x ∈ R , 若 y2 > y1 , 则 F( x, y2 ) ≥ F( x, y1 ) ,
其图形注释如图 3 -3 及图 3 -4
图 3-3 图 3 -4
lim F( x, y) = 1 .
x→ + ∞
y→ + ∞
(3 ) " x1 ≤ x2 , y1 ≤ y2 ; 有
F( x2 , y2 ) - F( x2 , y1 ) - F( x1 , y2 ) + F( x1 , y1 ) ≥ 0 .
证明 由
F( x2 , y2 ) + F( x1 , y1 ) - F( x1 , y2 ) - F( x2 , y1 )
= P(ω: x1 < X ≤ x2 , y1 < Y ≤ y2 ) ≥ 0
即得 .
(4 ) 对于 " x ∈ R , F ( x , y ) 关 于 y 右 连 续 ; 对 于 " y ∈ R ,
F( x, y ) 关于 x 右连续 .
104 第 3 章 多维随机变量及其分布
证明 类似于一元分布函数右连续的证明 , 略 .
2 边缘分布函 数
定义 3 .2 设二 维随机 变量 ( X , Y ) 的联 合分 布函数 为 F( x,
y) , 而 X 和 Y 都 是 随 机 变 量 , 相 应 的 分 布 函 数 记 为 F X ( x ) ,
FY ( y) , 依次称为 X 和 Y 的边缘分布函数 , 简称边缘分布 .
易知 :
F X ( x) = F( x , + ∞ ) ; FY ( y ) = F( + ∞ , y) . ( 3 .1)
若 ( X , Y ) 具 有联合概 率密度 函数 f ( x, y ) , 则 " ( x , y) ∈ R 2 ,
其联合分布和 X 的边缘分布为
x y x +∞
∫∫
F( x , y ) =
-∞ -∞
f ( u, v) d ud v, F X ( x ) = ∫∫
-∞ -∞
f ( u, v) d v d u .
( 3 .2)
( 3 .2 ) 式给出联 合分布、边缘 分布与 密度函数 的关系 .可应 用
于已知密度函数 , 求其联合与边缘分布 .反之 , 若密度函数未知 , 如
何去求呢 ? 以下几个命题为此提供略有不同的几种途径 .
命题 3 .1 设 ( X , Y ) 的联合分布函数 为 F( x, y ) , 且除去有 限
2
F 2
点 ( x, y ) 外 , 若 在 ( x, y) ∈ R 上存 在且连 续 , 则 ( X, Y ) 的 联
y x
合密度函数存在 , 且
2
F
f ( x, y ) = . ( 3 .3)
y x
证明 从略 .
命题 3 .1 的条件太强 , 可稍减弱些 .
2
命题 3 .2 设随 机 变 量 ( X, Y ) , A R , A 是 一个 可 列 点 集
2
( 或零测集 ( 面积为 0) ) , 若 " ( x, y ) ∈ R , P( X = x, Y = y) = 0 , 且
" ( x, y) ∈R 2 - A, 极限
3 .3 联合分布函数 105
P( x < X ≤ x + h1 , y < Y ≤ y + h2 )
f ( x, y) = lim
h
1
, h →0
2 h1 h2
( 3 .4)
存 在 且 可 积, 则 ( X, Y ) 的 联 合 概 率 密 度 函 数 可 取 为
f ( x, y) IR2 - A ( x, y) .
证明 从略 .
应用 (3 .4 ) 式求 f ( x, y ) , 称为微元法 .
微元法可直观表述如下 : 为求 f ( x, y ) , 先 求 P( x < X < x +
h1 , y < Y < y + h2 ) ; 其次将上述概 率分为两 部分 之和 : 一部 分是 与
h1 h2 成比例的主部 , 另一 部 分是 o( h1 h2 ) , 即 是 h1 h2 的 高 阶 无 穷
小 ; 最后 , 第一项中 h1 h2 的系 数即 可作 为 ( X , Y ) 的 联 合概 率密 度
函数 .
关于微元法 , 在本章 3 .6 节中 讨论 随机 变量函 数 的分 布及 第
6 章中可以看到微元法的重要作用 .
4 随机变量序 列的极限 表示
d ef
lim s up Xn (ω) inf sup X k (ω) = n∧ ∨n X k (ω) )
( k≥
n→ ∞ n≥ 1 k≥ n ≥1
及
d ef
lim inf Xn (ω) sn≥up inf X n (ω) = n∨ ∧n X k (ω) )
( k≥
n→ ∞ 1 k≥ n ≥1
均为随机变量 .
证明 " a∈R , 因
s up X n (ω) ≤ a =∩ ( X n (ω) ≤ a) ∈ F,
n n
106 第 3 章 多维随机变量及其分布
故
C
inf X (ω) ≤ a =
n inf X (ω) > a
n ∈ F,
n n
从而
lim s up Xn (ω) = in ≥nf1 sup X k (ω)
n→ ∞ k≥ n
与
lim inf Xn (ω) = sup inf X k (ω)
n→ ∞ n≥ 1 k≥ n
均为随机变量 , 可知结论成立 .
命题 3 .4 ( Xn , n≥1) 同命题 3 .1 定义 .
(1 ) 记 A = ω: n→
lim inf Xn (ω) = lim sup X n (ω) , 则 A∈F;
∞ n→ ∞
de f d ef
X(ω) lim Xn (ω) lim sup X n (ω)
n→ ∞ n→ ∞
是随机变量 .
证明 (1 ) 因 珡
A = ω: lim inf X n (ω) < nlim sup X n (ω)
n→ ∞ →∞
m
∪Z k∈∪N ω: nlim
= m∈ i nf X n ≤ < lim sup X n
→∞ k n→ ∞
m
∪Z k∈∪N
= m∈ lim inf Xn (ω) ≤ ∩
n→ ∞ k
c
m
nli→m sup X n (ω) ≤ ∈F,
∞ k
故 A∈F .
(2 ) 由命题 3 .3 , 即得 X(ω) = n→
lim Xn (ω) 是随机变量 .
∞
定义 3 .3 设 ( Ω, F, P) , { A k , 1 ≤ k≤ n}是 Ω的 一个有 限分 解
( n≥1 ) , 及互不相同 的实 数 { ak , 1 ≤ k≤ n} , 称 随 机变 量 X(ω) =
n
∑a I
k= 1
k A
k
(ω) 为简单函数 ( 或阶梯随机变量 ) .
非负递增简单函数序列 .
证明 充分性 : 设 { X n , n≥ 1 } 为 简 单 函 数 序 列 , 且 " ω∈ Ω,
X(ω) = n→
lim Xn (ω) , 由命题 3 .4 知 X (ω) 是随机变量 .
∞
必要性 : 先设 X(ω) ≥0 , 取
n・2 n - 1
k
X n (ω) = ∑ k= 0 2n
I{ k・2 - n ≤ X( ω) < ( k+ 1 ) 2 - n} + n・ I( X (ω) ≥ n ) , ( 3 .5)
1
则 Xn 是简单函数 , 且在{ X < n} 上 , 0 ≤ X - X n ≤ , 而在 { X≥ n}
2n
上 , X n = n < X , 当 n↑ 时 , 显 然 Xn ↑ , 故 对 每 个 ω∈Ω, X ( ω) =
li m X n (ω) .
n→ ∞
对一般的随机变量 X(ω) , 取 X + = X∨ 0 , X - = - ( X∧ 0 ) , 显
然 X + , X - ≥0 , 由上 , 对 X + , X - , 存在简单函数序列 , X n+ ↗ X + ;
- - + -
Xn ↗ X , 取 Xn = Xn - X n , 则 对 每 个 ω∈ Ω, X n ( ω) →
X(ω) ( n→∞ ) .
3 .4 连续型随机变量的条件概率密度
因为 ( X , Y ) 是连续型随机变量 , 此时对任意 x, y, P( X = x) =
0 , P( Y = y ) = 0; 因此不能直接用离散型随机变量定义条件概率 分
108 第 3 章 多维随机变量及其分布
布的方法来讨论连续型随机变量的条件分布 .
首先给出条件是连续型随机变量的条件分布函数的定义 .
定义 4 .1 给 定 y, 设 " ε> 0 , P ( y - ε< Y ≤ y + ε) > 0 , 若
" x∈R ,
lim+ P{ X ≤ x | y - ε< Y ≤ y + ε}
ε→ 0
P{ X ≤ x, y - ε< Y ≤ y + ε}
= lim+
ε→ 0 P{ y - ε< Y ≤ y + ε}
存在 , 则 称此 极限 为 X 在 Y = y 条件 下的 条件 分布 函 数 .简称 X
关于 Y = y 条件分布 .记作 F X | Y ( x | y ) = P( X≤ x | Y = y) .
定义 4 .2 对 于 二 维 随 机 变 量 ( X , Y ) , 若 存 在 非 负 函 数
f X | Y ( x | y) , 使 " y∈ R , " B∈B, 有
P( X ∈ B | Y = y) = ∫ x∈ B
f X | Y ( x | y) d x,
则称 f X | Y ( x | y) 为 X 关于 Y = y 的条件概率密度函数 .
定理 4 .1 设 ( X , Y ) 的联合概率密度函数为 f ( x, y) .若 f ( x,
y) , f Y ( y ) 在点 ( x, y) 及点 y 处分别连续 , 且 f Y ( y) > 0 , 则
f ( x, y )
f X| Y ( x | y ) = . ( 4 .1)
fY ( y )
证明
P( X ≤ x | Y = y ) = lim+ P{ X ≤ x, y - ε< Y ≤ y + ε}
ε→ 0 P{ y - ε< Y ≤ y + ε}
y+ε x
lim+
ε→ 0
∫∫ y -ε - ∞
f ( u, v) d ud v/ 2ε
= y +ε
∫
lim
ε→ 0 + y -ε
f Y ( v) d v/ 2ε
x x
f ( u, y )
∫ ∫
*
= f ( u, y ) d u/ f Y ( y ) = d u,
-∞ -∞ f Y ( y)
3 .4 连续型随机变量的条件概率密度 109
f ( x, y)
故 f X | Y ( x | y) = .
fY ( y )
( 上面带“ * ”等号是根据积分中值定理 ) .
在定理 4 .1 的条件下 , 有下面的结论 .
推论 1 f ( x, y ) = f X | Y ( x | y) f Y ( y ) . ( 4 .2)
推论 2 " y∈ R , 有
+∞
P( Y ≤ y) = ∫ - ∞
P( Y ≤ y | X = x) f X ( x) d x . ( 4 .3)
证明
+∞ y
P( Y ≤ y) = ∫∫ - ∞ - ∞
f ( u, v) d ud v
+∞ y
∫∫
=
- ∞ - ∞
f Y | X = x ( v | u) f X ( u) d ud v
+∞ y
∫∫
= - ∞ - ∞
f Y | X = u ( v | u) d v f X ( u) d u
+∞
∫
= - ∞
P( Y ≤ y | X = u) f X ( u) d u .
推论 2 是全概率公式的推广 .
例 4 .1 若 ( X , Y ) 在 G = { ( x, y ) : x2 + y2 ≤ 1 } 上服从 均匀 分
1
布 , 即 f ( x, y ) = I 2 2
+ y ≤1 ) , 求 fY| X = x ( y | x ) .
π (x
解 当 | x | ≤1 时 , 有
1 - x2
1 dy = 2
fX ( x) = ∫ - 1 - x
2
π π
1 - x2 ;
当 | x | > 1 时 , f X ( x) = 0 .
由定理 4 .1 易得
1
fY | X = x ( y | x ) = 2
I - 1 - x2 , 1 - x2 ( y) , " | x | < 1 .
2 1 - x
例 4 .2 设随机变量 X~U ( 0 , 1) .当观察到 X = x ( 0 < x < 1)
110 第 3 章 多维随机变量及其分布
时 , 数 Y 是 区间 ( x, 1 ) 上 的均 匀 分布 , 求 ( X , Y ) 的 联 合概 率 密 度
函数 .
解 X 具有概率密度 f X ( x) = I( 0 < x < 1) .类似地 , 在 X = x 条件
1
下 Y 的概率密度 f Y | X ( y | x) = I .
1 - x ( x< y < 1)
由推论 1 可得
1 I
f ( x, y) = f Y | X ( y | x) f X ( x) = (0 < x < y< 1) .
1 - x
命题 4 .1 设 ( X, Y ) ~ N(μ1 ,μ2 ,σ12 ,σ22 ,ρ) , 则 " x∈R ,
σ2 2 2
f Y | X = x ( y | x) ~ N μ2 + ρ ( x - μ1 ) ,σ2 (1 - ρ ) .
σ1
证明 由 (2 .2 ) 式 ( X , Y ) 的联合概率密度函数为
1 - 1 ( x - μ1 ) 2
f ( x, y) = ・ exp 2 2 -
2πσ1σ2 1 -ρ
2
2( 1 - ρ ) σ1
( x - μ1 ) ( y - μ2 ) ( y - μ2 ) 2
2ρ + .
σ1σ2 σ22
及 3 .2 节命题 2 .1 知
1 exp - ( x - μ1 )
+∞ 2
fX ( x) = ∫ -∞
f ( x, y) d y =
2πσ1 2σ21
.
由 (4 .1 ) 式 , 得
1 - 1
f Y | X = x ( y | x) = ・exp 2 2 ×
2πσ2 1 -ρ
2
2σ (1 - ρ )
2
σ2 2
y- μ2 + ρ ( x - μ1 ) , ( 4 .4)
σ1
与一维 正 态 概 率 密 度 函 数 比 较 , 可 知 f Y | X = x ( y | x ) ~ N μ2 +
σ2 2 2
ρ ( x - μ1 ) ,σ2 ( 1 - ρ ) , 这 说明 二维 正 态的 条件 分布 仍是 正 态
σ1
分布 .
3 .5 随机变量的独立性 111
3 .5 随机变量的独立性
P{ X ≤ x, Y ≤ y} = ∫∫ -∞ - ∞
f ( x, y ) d xd y ( 5 .1)
x y
P( X ≤ x ) P( Y ≤ y) = ∫ -∞
f X ( x) d x ∫ - ∞
fY ( y ) d y
x y
=∫∫ -∞ -∞
f X ( x) f Y ( y) d xd y . ( 5 .2)
先证 (1 ) ( 2) .
112 第 3 章 多维随机变量及其分布
若 X , Y 独 立 , 即 " ( x, y ) ∈ R 2 , P { X ≤ x , Y ≤ y } =
P{ X≤ x} P{ Y≤ y} ; 即 ( 5 .1 ) 式 与 ( 5 .2 ) 式 相 等 .可 得 f ( x, y ) =
f X ( x) f Y ( y) ( 几乎处处 ) .
下证 (2 ) ( 1) . " ( x, y) ∈ R2 , 若 f ( x, y ) = f X ( x ) f Y ( y ) ( 几
乎处处 ) , 可 得 ( 5 .1 ) 式 与 ( 5 .2 ) 式 相 等 , 即 P { X ≤ x , Y ≤ y } =
P{ X≤ x} P{ Y≤ y} , 所以 X , Y 相互独立 .以上证明了 (1 ) ( 2) .
其他证明留给读者 .
2 2
命题 5 .3 设 ( X, Y ) ~ N (μ1 ,μ2 ,σ1 ,σ2 ,ρ) , 则 X, Y 相 互独 立
的充要条件是ρ= 0 .
证明 由前面命题 2 .1 可知
2
1 ( x - μ1 )
f X ( x) = exp - 2 ,
2πσ1 2σ1
1 ( y - μ2 ) 2
f Y ( y) = exp - 2 ,
2πσ2 2σ2
所以
1 ( x - μ1 ) 2 ( y - μ2 ) 2
f X ( x) ・ f Y ( y ) = exp - 2 - 2 .
2πσ1 σ2 2σ1 2σ2
而 X, Y 相互独立的充要条件是
f ( x, y ) = f X ( x) f Y ( y) , " ( x, y) ∈R 2 ,
2
即 " ( x, y) ∈R ,
2
1 - 1 ( x - μ1 )
・exp 2 2 +
2πσ1σ2 1 - ρ2 2( 1 - ρ ) σ1
( y - μ2 ) 2 ( x - μ1 ) ( y - μ2 ) 1 ・
2 - 2ρ =
σ2 σ1σ2 2πσ1σ2
( x - μ1 ) 2 ( y - μ2 ) 2
exp - - ,
2σ12 2σ22
2
上式取 x = μ1 , y = μ2 得 1 -ρ = 1 ρ= 0; 反之 , 若 ρ= 0 , 易 知
" ( x, y) ∈R , f ( x, y) = f X ( x ) f Y ( y ) .证毕 .
2
3 .5 随机变量的独立性 113
例 5 .1 一 负 责人 到 达 办公 室 的时 间 X 均 匀分 布 在 8 ~ 12
时 , 即 X~U[ 8 , 12 ] , 其秘书到达办公室的时间 Y 均匀分布在 7 ~9
时 , 即 Y~U[ 7 , 9] , 且两人到达办 公室的时 间独 立 , 求他们 到达 办
公室的时间相差不超过 5 分钟 (1/ 12 小时 ) 的概率 .
解 由题设 X, Y 的概率密度函数分别为
1 1
fX ( x) = I( 8 < x < 12 ) , f Y ( y) = I( 7 < y < 9 ) .
4 2
记图 3 -5 中 阴 影 部 分 为 G = ( | x - y | ≤ 1/ 12 ) ∩ ( 8 ≤ x ≤ 12 ,
7≤ y≤9) , 其面积为 SG .显然 题意所 求概 率为 P{ ( X , Y ) ∈ G} , 而
SG = 1/ 6 , 故
SG 1
P{ ( X , Y ) ∈ G} = f ( x, y) d xd y = = ,
( x, y) ∈ G
8 48
图 3-5
即负责人和他的秘书到达办公室的时间相差不超过 5 分钟的概率
为 1/ 48 .
以上所述的关于二维随 机变量 的一 些概率 特性 , 容易 推广 到
n 维随机变量的情况 .
定义 5 .2 设 X1 , … , Xn 是概率空间 (Ω, F , P) 上的 n 个随机
n
变量 , 若对 " ( x1 , … , xn ) ∈ R , 有 P( X1 ≤ x1 , … , Xn ≤ xn ) =
P( X1 ≤ x1 ) … P( X n ≤ xn ) , 则称 X1 , … , Xn 相互独立 .
定义 5 .3 设 n 个随机变量 X1 , … , Xn 相互独立 且服从同 一
114 第 3 章 多维随机变量及其分布
分布 , 即
d ef
FX i ( x ) F( x) , " i ∈ [ 1 , n] ,
则称 X1 , … , Xn 独立 同分布 ( independent identically distributed , 简
记为 i .i .d .) .
对于 n 维随机变量 , 命题 5 .2 可 推广 为 : 设 连续 型 随机 变 量
X1 , … , Xn 的概率密度函数分别为 f 1 ( x ) , … , f n ( x ) , 则 X1 , … , X n
n
相互独立的充要条 件为 f ( x1 , x2 , … , xn ) = ∏
i= 1
f i ( x i ) .证 明与 命
题 5 .2 证明类似 , 从略 .
命题 5 .4 X1 , … , X n 相互独立 , 则 :
k n k n
互独立 ;
(2 ) 若 Y i = g i ( Xi ) ( i = 1 , … , n) ; 即 Y i 仅是 X i 的函 数 , 则
Y1 , … , Yn 独立 ;
(3 ) 若 Z1 = h1 ( X1 , X2 , … , Xk ) , Z2 = h2 ( X k+ 1 , … , Xn ) (1 ≤
k < n) , 则 Z1 、Z2 独立 .
其中 gi ( x) ( i = 1 , … , n) , h1 和 h2 均为博雷尔可测函数 .
证明 (1 ) 的证 明留给 读者 作为 练 习 .(2 ) , (3 ) 的证 明已 超
出本书范围 , 从略 .
2
例5 .2 设 X , Y , 独立同分布 , 且 X ~ Ex (1 ) , 而 U = X , V =
2 Y , 求 ( U , V) 的联合概率密度函数 .
2
解 P( U ≤ u) = P( X ≤ u) = P(0 < X ≤ u) I( u > 0 )
u
∫e
- x - u
= d xI ( u > 0 ) = 1 - e I ( u> 0) ,
0
d - u 1
f U ( u) = P ( U ≤ u) = e ・ I( u > 0 ) ,
du 2 u
3 .6 随机向量函数的分布 115
v
P( V ≤ v) = P( 2 Y ≤ v) = P 0 < Y ≤ I( v > 0 )
2
v
∫
2 - y - v
= e d yI ( v > 0 ) = (1 - e 2
) I( v > 0 ) ,
0
所以
v
d 1 -
f V ( v) = P ( V ≤ v) = e 2
I( v > 0 ) ,
dv 2
利用定理 5 .2 , 由 X , Y 独立 , 得 U , V 独立 , 故
v
1 - u+
f ( u, v) = f U ( u) ・ f V ( v) = e 2
I( u > 0 , v > 0 ) .
4 μ
定义 5 .4 称定义 在 ( Ω, F , P) 上的随机 变量序 列{ Xn , n≥ 1}
相互独立 , 如果其中任意有限多个随机变量相互独立 .
3 .6 随机向量函数的分布
1 随机向量函 数的分布
这里主要讨论随机变量的和、差、积、商等的分布 .
(1 ) 离散型随机变量和的分布
由本章命题 1 .1 知 , 两个离 散型 随机 变量 的 和、差、积、商 .极
大极小仍为离散型随机变量 , 那么如何求其分布律 ? 举例如下 .
例 6 .1 ( 泊 松 分 布 对 和 的 封 闭 性 ) 设 X1 , X2 独 立 , X k ~
P o(λk ) ( k = 1 , 2 ) ; 证明 : X1 + X2 ~P o(λ1 +λ2 ) .
k
解 因为 " k∈ N , ( X1 + X2 = k) = i∪ ( X1 = i, X2 = k - i ) 及
= 0
X1 , X2 独立 , 故
k
P( X1 + X2 = k) = ∑ P( X
i =0
1 = i) P( X2 = k - i)
k i k- i k
λ1 λ2
= ∑ e - (λ1 +λ2 ) = 1 ∑ C λλ
i i k- i
k 1 2 e - (λ1 +λ2 )
i= 0 i !( k - i) ! k! i =0
116 第 3 章 多维随机变量及其分布
故 X + Y 也是随机变量 .
其他证明留给读者自己完成 .
例 6 .2 设 X, Y 独立 , X~ N(μ,σ2 ) , P( Y = a1 ) = p > 0 , P( Y =
a2 ) = 1 - p = q > 0 .试问 X + Y 是 否 具 有 概 率 密 度 函 数 ? 若 有求
X + Y的概率密度函数 .
解 注意到这是两个不同 类 型的 随机 变量 之和 , Y 为 离散 型
随机变量 , X 为连续型随机变量 , 它们之和 X + Y 是什么类型的随
机变量呢 ? 不妨看 " z∈R , P( X + Y = z) = ? 显然
P( X + Y = z) = P( Y = a1 , X = z - a1 ) +
P( Y = a2 , X = z - a2 ) = 0 ,
此时断定它可能是连续型随机变量 , 因而可先求其分布函数 .注意
到 Ω= ( Y = a1 )∪ ( Y = a2 ) , ( X + Y≤ z) = ( Y = a1 , X≤ z - a1 ) ∪ ( Y =
a2 , X≤ z - a2 ) ; 又因 X , Y 独立 , 所以
P( X + Y ≤ z) = P( X ≤ z - a1 ) P( Y = a1 ) +
P( X ≤ z - a2 ) P( Y = a2 ) ,
上式两边对 z 求导 存 在 ( " z∈ R ) , 所以 X + Y 是 连续 型 随 机 变
量 , 且 X 是正态 , 故
f X+ Y ( z) = P( Y = a1 ) f X ( z - a1 ) + P( Y = a2 ) f X ( z - a2 )
1 ( z - a1 - μ) 2
= p ・exp - +
2πσ 2σ2
3 .6 随机向量函数的分布 117
( z - a2 - μ) 2
q・ exp - .
2σ2
说明 ( i) 上 式 f X + Y ( z ) 是 两 个 正态 概 率 密 度 函数 f X ( z -
a1 ) , f X ( z - a2 ) 的“凸 组合”, 其形 状如 图 3 -6 .这种概 率密 度函 数
在工程上有着广泛的应用 .有 兴趣的 读者 试举 这种概 率密 度函 数
的实例 .
图 3-6
b φ( t)
∫
S1 ( t) = a
g ( x, t) d x, S2 ( t) = ∫ a
g ( x, t) d x
则
b
d S1 ( t) g( x, t) d x,
dt
= ∫ a t
( 6 .1)
φ( t)
d S2 ( t) g( x, t) d x + g(φ( t) , t)φ′( t) .
dt
= ∫ a t
( 6 .2)
例 6 .3( 和的 卷 积 公 式 ) 设 ( X , Y ) 的 联 合 概 率密 度 函 数 为
f ( x, y) , 它关于 ( x , y ) 连续 , 求 Z = X + Y 的分布及概率密度函数 .
解 " z∈R , 利用全概率公式 , 易知 Z 的分布函数为
+∞
P( X + Y ≤ z) = ∫ -∞
P( Y ≤ z - x | X = x) f X ( x) d x .
( 6 .3)
若 Y 关于 X = x 的条件密度函数 为 f Y | X = x ( y | x ) , 由 f ( x , y)
连续 , 易知 f Y | X ( y | x) 关于 y 连续 , 故由 ( 6 .3) 式两边对 z 求导 , 得
+∞
f X+ Y ( z) = d P( X + Y ≤ z) = ∫ f Y | X = x ( z - x | x ) f X ( x ) d x,
dz - ∞
(6 .3a)
故
+∞
f X+ Y ( z) = ∫ -∞
f ( x, z - x) d x . ( 6 .4)
同理可得
+∞
f X + Y ( z) = ∫ -∞
f ( z - y, y) d y . ( 6 .5)
若 X, Y 为非负连续型随机变量 , 则 " z≥0 ,
z
f X+ Y ( z) = ∫ f ( x, z -
0
x) d x . ( 6 .6)
若 X, Y 独立 , 则
+∞
f X+ Y ( z) = ∫ - ∞
f X ( x ) f Y ( z - x) d x . ( 6 .7)
3 .6 随机向量函数的分布 119
注 (6 .7 ) 式是 X , Y 独立时 , 概率密度函数的卷积公式 , 记 作
f X * fY .
若 X, Y 独立且非负 , 则 " z≥0 , 有
z
f X+ Y ( z) =∫f 0
X ( x) f Y ( z - x ) d x . ( 6 .8)
例 6 .4 已知 X , Y 独立同分布且 X ~U (0 , 1 ) , 求 X + Y 的 概
率密度函数 .
解 由题设 X, Y 独立 .由 ( 6 .7) 式 , 有
+∞
f X ( z) = ∫ - ∞
f X ( x ) f Y ( z - x) d x .
图 3-7
0, z≤ 0 或 z > 2,
z
f Z ( z) = ∫d x,
0
0 < z≤ 1,
1
∫ z- 1
dx, 1 < z≤ 2,
故得
120 第 3 章 多维随机变量及其分布
0, z≤ 0 或 z > 2,
f Z ( z) = z, 0 < z≤ 1,
2 - z 1 < z≤ 2 .
例 6 .5 X , Y 互相独立 , X~ N (μ1 ,σ12 ) , Y ~ N(μ2 ,σ22 ) , 证明 :
Z = X + Y 的概率密度函数为正态概率密度 , 即
X + Y ~ N(μ1 + μ2 ,σ12 + σ22 ) .
解 由 (6 .7 ) 式可得
+∞
∫
f Z ( z) = -∞
f X ( x) f Y ( z - x ) d x
2
+ ∞
1 ( x - μ1 )
=∫ -∞
2πσ1
exp -
2σ1
2 ・
1 ( z - x - μ2 ) 2
exp - 2 dx
2πσ2 2σ2
+∞ 2
1 exp - ( z - μ1 - μ2 ) ・
=∫ -∞ 2πσ1σ2 2 (σ12 + σ22 )
2 2 2 2
σ1 + σ2 x - σ2 μ1 + σ1 z - σ1 μ2
2 2
exp - 2 2 dx
σ12σ22 σ1 + σ2
2
1 ( z - μ1 - μ2 )
= exp - 2 2 ,
2π(σ1 + σ2 )
2 2 2 (σ1 + σ2 )
为证上述结论 , 只需利用公式 f Z ( z) = ∫ -∞
f ( x, z - x ) d x 及
本章 (2 .2 ) 式即可得到以上结论 .
2
若 Xi ~ N(μi ,σi ) ( i = 1 , 2 , … , n) , 且它们 相互 独立 , 则 它
们的和 Z = X1 + X2 + … + Xn 仍然服从正态分布 , 且有
3 .6 随机向量函数的分布 121
n n n
∑ ∑μk , ∑σk
2
Xk ~ N .
k= 1 k= 1 k= 1
2 随机向量变 换的分布
这里讨论如下问题 : 若 n 维随机变量 X = ( X k , 1 ≤ k≤ n) 的 联
合概率密度函数为 f X ( x) , x = ( xk , 1≤ k≤ n) ∈R n , 如何求 X 经变
换 ( 记为 L ) 后的 n 维随机变量 Y = ( Y k = gk ( X) , 1 ≤ k≤ n) 的分 布
或联合概率密度函数 .
de f n n
设变换 L: y = ( yk = gk ( x) , 1≤ k≤ n) ( g( x) ) ∈ R , x∈ R ,
g( x) = ( gk ( x) , 1≤ k≤ n) , 对 应的 逆变换 L ′: x = ( xk = hk ( y) , 1≤
d ef n n
k≤ n) ( h( y) ) ∈ R , y∈R , h( y) = ( hk ( y) , 1 ≤ k≤ n) , 其中 gk ,
1)
hk 是 n 元 ( 博雷尔可测 ) 函数 .
记 X 和 Y 的取值范围为 G = { x: f X ( x) > 0 , x∈R n } , G′= { y:
xi
y = g ( x) , x∈ G} . J = det 为 变 换 的 雅 可 比 ( Jacobi ) 行
yj n× n
列式 .
命题 6 .3 若上述变换 L 满足 :
g h
(1 ) 变换 L: G G′存在唯一的逆变换 L′: G′ G;
(2 ) gk , hk 有连续偏导数 ( 分别在 G 和 G′上 ) ;
(3 ) 在 G 中 , J≠ 0( 几乎处处 ) .
d ef
则 n 维随机变量向量 Y = ( Y k = gk ( X) , 1≤ k≤ n) ( g( X) ) 的联 合
概率密度函数为
f Y ( y) = fY ( h( y) ) | J | , y ∈ G′. ( 6 .9)
1) 所 谓 g( x) 为 n 维博 雷尔 可测函 数 , 即 " a∈ R n { x: g( x) ≤ a}∈ B n ( B n 为 n 维博
雷尔σ-域 ( 代数 ) ) .
122 第 3 章 多维随机变量及其分布
P( Y ∈ D′) = P( X ∈ D) = ∫…∫fx∈ D
X ( x) dx
=∫…∫f y∈ D′
X ( h( y) ) | J | dy,
1) 由 g, h 可测 , 则由 D′∈ B n 可 得 D∈ B n , 于是 ( Y∈ D′) = ( X∈ D) ∈ F .
3 .7 顺序统计量的分布 123
3 .7 顺序统计量的分布
定义 7 .1 给 定 (Ω, F , P) , { X k , 1 ≤ k≤ n} 为 n 维 随 机 向量 .
" ω∈Ω, 将 X1 (ω) , …, Xn (ω) 按从小到大顺序排列 , 记为 X( 1 ) (ω) ≤
X( 2 ) (ω) ≤…≤ X ( n) (ω) , 称 X ( 1 ) (ω) , … , X ( n) (ω) 为 ( X1 , … , Xn ) 的
顺序统计量 .
例 7 .1 设一随机实验是每次投掷红白两 颗骰子 , 记 X1 (ω) ,
X2 (ω) 为 相 应 的 点 数 . 如 第 一 次 试 验 结 果 是 X1 ( ω1 ) = 5 ,
X2 (ω1 ) = 2 , 则 X( 1 ) ( ω1 ) = 2 , X ( 2 ) ( ω1 ) = 5; 如 第 二 次 结 果 是
124 第 3 章 多维随机变量及其分布
1 极大、极小分布
这里直接利用定义与事件转化的方法求之 .
注意到 " z∈R ,
n n
( X( n) ≤ z) = k∩ ( Xk ≤ z) , ( X( 1 ) > z) = k∩ ( Xk > z) .
= 1 = 1
又由{ X k , 1≤ k≤ n} 相互独立 , 得
n
P( X ( n) ≤ z) = ∏ P( X
k=1
k ≤ z) , ( 7 .1)
n
P( X ( 1 ) > z) = ∏ P( X
k= 1
k > z) , ( 7 .2)
进一步 , 若{ Xk , 1≤ k≤ n}独立同分布 , 则
n
P( X( n) ≤ z) = ( P( X1 ≤ z) ) , (7 .1a)
n
P( X( 1 ) > z) = ( P( X1 > z) ) . (7 .2a)
以下是一个有趣结果 .
命题 7 .1 若{ Xk , 1≤ k≤ n}独立 , Xk ~ Ex(λk ) (1 ≤ k ≤ n) ,
n
则 X( 1 ) ~ Ex ∑λ
k= 1
k , 即
n
-
∑λk z
P( X ( 1 ) ≤ z) = 1 - e k= 1
・ I( z≥ 0 ) .
证明 由 (7 .2 ) 式立得 .
说明相互独立的指数分布其极小量仍是指数分布 .
3 .7 顺序统计量的分布 125
极大极小的背景 : 设 n 个电 路元 件的工 作寿 命为 X 1 , … , Xn ,
( 1) 若将它们组成一个串联系统 , 且系统能正常工作是当且仅当 n
个元件均 正 常 工 作 , 于 是 该 系 统 能 正 常 工 作 的 寿 命 为 X ( 1 ) =
min X k ; ( 2) 若将它们组成并 联系 统 , 且系统 能正 常 工作 是当 且
1≤ k≤ n
仅当至少 有 一 元 件 正 常 工 作 , 于 是 系 统 的 工 作 寿 命 为 X ( n) =
max X k .
1≤ k≤ n
有兴趣的读者试举出你生活中出现的极大极小的例子 .
2 ( X( 1 ) , X( n) ) 的联合分布
这里仅在{ X k , 1≤ k≤ n} 独立同分布的情况下讨论 .
为求 ( X ( 1 ) , X ( n) ) 的联 合分 布 P( X( 1 ) ≤ x, X( n) ≤ y) , " ( x, y)
2
∈R , 我们直接用事件转化分解的方法求之 .
分区域考虑 , 不妨设 X k 与 X 同分布 .
当 x≥ y 时 , 显然 ( X( 1 ) ≤ x, X( n) ≤ y ) = ( X( n ) ≤ y) , 故有
n
P( X ( 1 ) ≤ x, X( n) ≤ y) = P( X ( n) ≤ y ) = ( P( X ≤ y ) ) .
n
P( X( 1 ) ≤ x, X ( n) ≤ y)
[ P( X ≤ y ) ] n , x ≥ y,
=
[ P( X ≤ y ) ] n - [ P( X ≤ y) - P( X ≤ x ) ] n , x < y.
极差 : Rn = X( n ) - X ( 1 ) 是刻画 X1 , … , X n 取值波动大小的量 .
思考 : 如何求 Rn 的分布 ?
下面讨论两种主要的顺序统计量的分布 .
P( x1 < X( 1 ) ≤ x1 + h, x2 < X ( 2 ) ≤ x2 + h) = 2 ! h2 ,
t
因而在 0 < x1 < x2 < t 上 , 有
P( x1 < X ( 1 ) ≤ x1 + h, x2 < X ( 2 ) ≤ x2 + h)
f ( x1 , x2 ) = lim
h→ 0 h2
= 22 !,
t
3 .7 顺序统计量的分布 127
故 ( X ( 1 ) , X ( 2 ) ) 的联合概率密度函数为
例 7 .4 设 X1 , X2 独立 , 且 X k ~ Ex (λk ) ( 1 ≤ k≤ 2 ) , X( 1 ) ,
X( 2 ) 为其顺序统计量 , 求 ( X ( 1 ) , X ( 2 ) ) 的联合概率密度函数 .
解 设 ( X ( 1 ) , X ( 2 ) ) 的联合 概率 密度 函数 为 f ( t1 , t2 ) ; 因 0 ≤
X( 1 ) ≤ X ( 2 ) , 只需考虑 0 < t1 < t2 的情形 , 用微元法类似于例 7 .2 的
讨论可得
128 第 3 章 多维随机变量及其分布
练 习 题
3 .1 设离散型随机变量 ( X , Y ) 的联合分布律如下 :
P( X = 1 , Y = 1 ) = 2/ 27 , P( X = 1 , Y = 2) = 5/ 27 ,
P( X = 1 , Y = 3 ) = 1/ 27 , P( X = 2 , Y = 1) = 4/ 27 ,
P( X = 2 , Y = 2 ) = 7/ 27 , P( X = 2 , Y = 3) = 2/ 27 ,
P( X = 3 , Y = 1 ) = 1/ 27 , P( X = 3 , Y = 2) = 3/ 27 ,
P( X = 3 , Y = 3 ) = 2/ 27 .
求 : (1 ) X 及 Y 的边缘分布律 ; (2 ) X 关于 Y = i ( i = 1 , … ) 的
条件分布律 ; ( 3) X + Y 的分布律 ; ( 4) X Y 的分布律 ; ( 5) X∨ Y 的
分布律 ; ( 6) X∧ Y 的分布律 .
3 .2 设 { Y n , n ≥ 1 } 独 立 同 分 布 , P( Y n = 1 ) = p ≥ 0 ,
n
P( Y n = - 1) = q ≥ 0 , p + q = 1 .令 X0 = 0 , X n = X0 + ∑Y
k= 1
k
( n ≥ 1) . 称{ Y n , n ≥ 1} 为伯努利随机游动 .令 A = { X3 = 1} , B =
{ X5 - X1 = 2 } .
练习题 129
( 1 ) 把 它 化 为 标 准 形 式 并 指 出 μ1 , μ2 ,σ12 ,σ22 , ρ; ( 2 ) 求 出
f X ( x) 及 f Y ( y ) ; (3 ) 求 Y 在 X = x 时的条件概率密度函数 .
3 .8 设系统 L 由两 个 相互 独立 的 子系 统 L1 , L2 联 接 而成 ,
联接的方式分别为 : ( 1) 串联 ; ( 2) 并联 ; ( 3) 备用 ( 当系统 L1 损坏
时 , 系统 L2 即开始工作 ) .已知 L1 , L2 的寿命分别 为 X 和 Y , 相 应
- αx - βy
的概率密度为 : f X ( x ) = αe I ( x > 0 ) , f Y ( y ) = βe I ( y > 0 ) , 其中 α>
0 ,β > 0 ,α≠β.试分别就这 3 种 联接 方 式找 出系 统 L 的 寿命 Z 的
概率密度 .
3 .9 设某种 商品 一 周的 需 要 量是 一 个随 机 变 量 , 其 密 度 为
f ( x) = xe - x I ( x > 0 ) .如果各周的 需要 量是 相 互独 立的 .试 求 : ( 1 ) 2
周的需要量的概率密度 ; ( 2) 3 周的需要量的概率密度 .
3 .10 若 X , Y 相互独立且有相同的分布 N ( 0 , 1 ) , 试 证 : U =
2 2
X + Y 与 V = X/ Y 相互独立 .
3 .11 已 知 X1 , … , X n 独 立 且 同 为 参 数 为 λ 的 指 数 分 布 ,
X( 1 ) , … , X ( n) 为其顺序统计量 .记
Y1 = X ( 1 ) , Y2 = X( 2 ) - X ( 1 ) , … , Y n = X ( n) - X ( n - 1 ) .
求证 Y1 , … , Y n 相互独立 .
3 .12 设 X(ω) ~ N( 40 , 22 ) , 令
A = {ω:36 ≤ X(ω) ≤ 44 } ,
36 , 当 X(ω) ≤ 36 ,
Y (ω) = X(ω) ・ I A (ω) ,
44 , 当 X(ω) ≥ 44 .
Z(ω) = X(ω) ∧44 .
试求 : ( 1) Y (ω) 及 Z(ω) 的分布函数 ; ( 2) X(ω) 在 A 发生的 条
件概率密度函数 .
3 .13 设 { X i , 1 ≤ i ≤ n} 独 立 , X i 的 概 率 密 度 函 数 为
f i ( u) ( 1 ≤ i ≤ n) ,ξ为离散型随机变量 , 分布为 P(ξ= i) = pi ≥
n
0 , ∑ p i = 1 , 且ξ与{ X i , 1 ≤ i ≤ n} 独立 .令 X = ∑I (ξ= i) ・ Xi ,
i i= 1
练习题 131
求 X 的概率密度函数 .试举出出现这个问题的实际例子 .
3 .14 设 X1 , X2 , … , X k 独立同分布 , 且 X i ~ G( p) .求 Sk =
k
∑i=1
X i 的概率分布 .
2
3 .15 设 X, Y 独立 , X ~ N(μ,σ ) , P( Y = 1) = p > 0 , P( Y =
2) = 1 - p = q > 0 , 求 Z = X・ Y 的概率密度函数 .
3 .16 设 X , Y 独 立 , X ~ N(μ,σ2 ) , Y 为 离 散 型 随 机 变 量 ,
P( Y = ak ) = pk ≥ 0( k ∈ N \ { 0} , ∑ p k = 1) .求 Z = X + Y 的
k
概率密度函数 .
3 .17 { Yn , n≥ 0} 独立同分布 , 且 P( Yn = 1) = p > 0 , P( Yn =
0) = 1 - p = q > 0 , N ~ P o(λ) 且与{ Y n , n ≥ 0 } 独立 .试求 S =
N
∑Y
n= 0
n 的分布律 .
2
3 .18 设 X ~ N(10 , 2 ) , Y ~ B(10 , 2/ 3) , X 与 Y 独立, 求 Z =
X + Y 的概率密度函数 .
2 2
3 .19 设 ( X , Y ) ~ N( 0 , 0 ,σ1 ,σ2 ,ρ) .
(1 ) 求 Z = X/ Y 的概率密度函数 ;
(2 ) 当 ρ= 0 时 , 证明 Z = X/ Y 的概率密 度函数为 f 2 (δ) =
α/ π(α2 + δ2 ) , 其中 α= σ1 σ2- 1 .
2
3 .20 设 X , Y 独立 , X ~ N (μ,σ ) , Y ~ G( p) : P( Y = k) =
(1 - p) k - 1 p , k ∈ N \ { 0} .试求 : W = X/ Y 的概率密度函数 .
3 .21 设 { Xi , 1 ≤ i ≤ n} 独 立同 分 布 , Xi ~ U( 0 , t) , X( 1 ) ,
n
X( 2 ) , … , X ( n) 为其顺序统计量 , Sn = ∑X i= 1
i .
(1 ) 求 S2 的概率密度函数 ;
(2 ) 求 S3 的概率密度函数 ;
(3 ) 当 n = 3 时 , 求 X ( 1 ) , X ( 2 ) , X ( 3 ) 的联合概率密度函数 ;
(4 ) 当 n = 3 时 , 试证 : X( 1 ) , X( 2 ) - X ( 1 ) , X ( 3 ) - X ( 2 ) , t - X ( 3 )
132 第 3 章 多维随机变量及其分布
不独立但同分布 .
3 .22 设 { X i , 1 ≤ i ≤ n} 独立 , 且 X i ~ Ex(λi ) ( i = 1 , … ,
n) .求 :
(1 ) X1 ∧ X2 , X1 ∨ X2 , X1 + X2 的概率密度函数 ;
(2 ) Zn = X1 ∧ X2 ∧ X3 ∧ … ∧ X n 的概率密度函数 ;
(3 ) X1 在 X1 ≤ X2 下的条件概率密度函数 ;
(4 ) X1 在 X1 ≤ X2 ≤ X3 下的条件概率密度函数 ;
(5 ) X2 在 X1 ≤ X2 ≤ X3 下的条件概率密度函数 .
3 .23 设 { X i , 1 ≤ i ≤ n} 独立 , X i ~ Ex(λi ) ( i = 1 , … , n) ,
n
Sn = ∑X,X
i= 1
i ( 1) , X( 2 ) , … , X ( n) 为其顺序统计量 .( 1) 求 X1 / X2 的
概率分布函数 ; ( 2) 求 ( S1 , S2 ) 的联 合概 率密度 函数 ; (3 ) 若 λi =
λ(1 ≤ i ≤ n) , 试问 : X ( 1 ) , X ( 2 ) - X( 1 ) , … , X ( n) - X( n - 1 ) 是否独立 ?
同分布 ? 试证你的猜想 .
3 .24 { X i , 1 ≤ i ≤ n} 独立同分布 , X i ~ Ex(λ) ( i = 1 , … ,
n ∞
n) , S0 = 0 , Sn = ∑X
i=1
i " t ≥ 0 , 定 义 N( t) = ∑I
n= 1
( S ≤ t)
n
. (1 ) 证
N (1 ) ~ Po(λ) ; (2 ) N( 1) 与 N( 2) - N( 1) 独立 否 ?( 3) 求 S1 在
N (1 ) = 0 下的条件概率密度函数 ; (4 ) S1 在 N( 1) = 1 下的条件
概率密度函数 .
( 提示 : ( N( 1) = n) = ( Sn ≤ 1 < Sn + 1 ) .)
3 .25 设 { X i , 1 ≤ i ≤ n} 独立 , X i ~ Ex(λi ) ( i = 1 , … , n) ,
n
X( 1 ) , X( 2 ) , … , X ( n) 为其顺序统计量 , " t > 0 , N n ( t) = ∑I
i= 1
( X
( i)
≤ t)
( n ≥ 2) .求 : (1 ) N3 ( t) 的分布律 ; ( 2) 当 n = 2 时 , X( 1 ) 的概率密
度函数及 X ( 1 ) 在 X1 ≤ X2 下的 条 件概 率 密度 函 数 ; ( 3) X( 1 ) 在
N2 ( t) = 0 下的条件概率密度函数 ; ( 4) X ( 2 ) 在 N2 ( t) = 1 下的条
件概率密度函数 .
练习题 133
X1 + X2 , Z2 = X1 - X2 ,珡
Xn = ∑X/
k= 1
k n, Sn = ∑( X
k=1
k - 珡
Xn )2 .
(1 ) 求 ( Z1 , Z2 ) 的联合 概 率 密 度 ; (2 ) 证 明 Z1 与 Z2 相 互 独 立 ;
(3 ) 求珡
X n 的概率密 度 函 数 ; ( 4) 求 S2 的 概 率 密 度 函 数 ; (5 ) 求
X2 , S2 ) 的联合概率密度函数 ; (6 ) 证明 珡
(珡 X2 和 S2 相互独立 .
3 .28 { Y n , n ≥ 1} 独立同分布 , P( Y n = 1 ) = p > 0 , P( Y n =
0) = r ≥ 0 , P( Y n = - 1 ) = q > 0 , p + r + q = 1 .令 X0 = i, X n =
n
X0 + ∑ Y k , 对 " n ≥ 1 记 An - 1 = ( X0 = i, X1 = i1 , … , X n - 1 =
k= 1
in - 1 ) , Bn = ( Xn = in ) , Cn + 1 = ( X n + 1 = in + 1 ) .
(1 ) 若 P( An - 1 , Bn , Cn + 1 ) > 0 , 证明 P( Xn + 1 = in + 1 | X0 = i,
X1 = i1 , … , X n = in ) = P( Xn + 1 = in + 1 | X n = in ) ( 即证 An - 1 , Cn + 1
关于 Bn 条件独立 ) ; An - 1 , Cn + 1 是否独立 ?说明理由 .
(2 ) 当 X0 = i = 0 时 , " n, m ≥ 1 , X n 与 X m+ n - X m 是否同分
布 ?是否相互独立 ?
(3 ) 求 X3 的分布律 , 及 ( X2 , X3 ) 的联合分布律 .
(4 ) X3 关于 X2 的条件分布律, X3 在 X2 ≥ 0 下的条件分布律 .
n
3 .29 设 Y n , Xn 同上题中 定义 , 记 N j ( n) = ∑I k= 1
( Y = j)
k
,j∈
{ - 1 , 0 , 1 } .求 : ( 1) N1 ( n) 的分布律 ; (2 ) ( N0 ( n) , N1 ( n) ) 的联 合
分布律 ; ( 3) N0 ( n) + N1 ( n) 的分布律 .
3 .30 设 Y n , Xn 同上题 , 但 X0 = 0 , r = 0 , p + q = 1 .记
T0 1 = min { n, n ≥ 1 , Xn = 1} , T = mi n{ n, n ≥ 1 , Xn = - 1
134 第 3 章 多维随机变量及其分布
或 Xn = 2 } .
求 : (1) P( T01 = k) (1 ≤ k≤ 7); (2) T 的分布律 ; (3 ) T ∧ 7 的
分布 律 及 T 在 ( T ≥ 7 ) 下 的 条 件 分 布 律 ; (4 ) P( X T = - 1) 及
P( X T = 2 ) .
3 .31 设 某 种电 缆 有 内 外 两层 绝 缘 .记 外 层 绝 缘 的 寿 命 为
X , 内 层 绝 缘 的 寿 命 为 Y , ( X, Y ) 有 联 合 密 度 f ( x, y ) =
2θ- 2 e - ( x + y )/ θ( 0 < x < y < + ∞ ) .(1 ) 设 U = ln( X) , 求 U 的密度函
数 ; ( 2) 求已知外层绝 缘 寿 命 为 x 时 , 内 层 绝 缘 的 寿命 的 条 件 分
布 ; ( 3) 求已知外 层绝缘寿 命大于 x0 时 , 内层绝缘 的寿命 小于 y0
的条件概率 .
2
3 .32 设 X1 , … , X n 独立同分布 , X k ~ N (0 , 1 ) , Y ~ N( 0 ,
n
∑X
2 2 2
1 ) , 且 与 { Xk , 1 ≤ k ≤ n} 独 立 , 记 χ ( n) = k , T ( n) =
k=1
2 1/ 2 2 2
Y/ (χ ( n)/ n) , 称 χ ( n) 为自由度为 n 的χ 分布 ; T ( n) 是自由度
为 n 的 t - 分布 .它们在数理统计中有广泛应用 .求 ( 1) :χ2 ( n) 的概
率密度函数 ; ( 2) T ( n) 的概率密度函数 .
3 .33 设 X1 , X2 独 立 , 且 X1 = λ2 ( n) , X2 = λ2 ( m) , 其 中
λ2 ( n) 如上题定义 , 记 F( n, m) = n- 1 X1 / m- 1 X2 , 求 F( n, m) 的概率
密度函数 .
2
注 χ ( n) , T( n) , F( n, m) 在数理统计 中是 3 个 最常 用的 随
机变量 , 它们的概率密度函数分别称为自由度是 n 的卡方分布 , 自
由度为 n 的 t - 分布及自由度为 ( n, m) 的 F- 分布 .
3 .34 设 f n , f 是定义在 (Ω, F ) 上的随机变量 ( n > 0) , 证明 :
∞ ∞ ∞
1
ω: n→
lim f n (ω) = f (ω) = k∩ ∪ ∩ ω: | f n (ω) - f (ω) | < ,
∞ =1 N =1n= N k
∞ ∞ ∞
1
ω: nlim f n (ω) ≠ f (ω) = k∪ ∩ ∪ ω: | f n (ω) - f (ω) | ≥ .
→∞ = 1 n= 1 n= N k
3 .35 设 ( X , Y ) 是 (Ω, F ) 上 的 随 机 变 量 . 证 明 : X + Y ,
练习题 135
X - Y , X Y , 及 X/ Y ( Y ≠ 0) 均是随机变量 .
3 .36 设{ Xk , 1 ≤ k ≤ n} 独立同分布 , 且 X1 与 X 同分布 , 其
分 布函数为 F( x ) = P( X ≤ x ) ( 这在数理统计中称随机变量 X 为
总体 , { Xk , 1 ≤ k ≤ n} 为其样本 ) , X( 1 ) , X ( 2 ) , … , X ( n ) 为其顺序 统
n
计量 . " x ∈ R , 记αn ( x) = ∑I
k= 1
(X
( k)
≤ x) Fn ( x) = αn ( x )/ n, 通常称
,珟
珟
Fn ( x) 为 X 的经验分布函数 .
(1 ) 试求 :αn ( x ) 的分布律 ;
n
k k
(2 ) 试证: 对 " x ∈ R 固定 , ∑ P 珟
Fn ( x) = = F( x) .
k= 0 n n
2 2
3 .37 设 ( X , Y ) ~ N(μ1 ,σ1 ,μ2 ,σ2 ,ρ) , 令 Z1 = X - μ1 , Z2 =
-1
Y - μ2 - ρσ2σ1 ( X - μ1 ) .
(1 ) 求 Z2 的概率密度函数 , 及 ( Z1 , Z2 ) 的联合概率密度函数 ;
(2 ) 证明 Z1 与 Z2 相互独立 .
3 .38 设 X = ( X1 , X2 , X3 ) 和 Y = ( Y1 , Y2 , Y3 ) 分别是参数
为 ( n; 3; p1 , p2 , p3 ) 和 ( n;3; q1 , q2 , q3 ) 的三项分布, p1 + p2 + p3 = 1 ,
X1 X2
q1 + q2 + q3 = 1 且 X 与 Y 相互独立 .求: Z = = X1 Y2 -
Y1 Y2
X2 Y1 的分布律 .
3 .39 设 X1 , X2 独立同分布 , X i ~ N (0 ,σ2 ) , 证 明 X21 + X22
与 X1 / X2 相互独立 .
3 .40 设 ( X1 , … , Xn ) 独 立 同 分 布 , X1 ~ N( 0 , 12 ) , 证 明
n n
∑X ∑X
2 2
i 与 X k/ i 相互独立 .
i=1 i=1
(2 ) 下列各组事件是否等价 ?( N( t) ≥ n) 与 ( Sn ≤ t) , ( N( t) =
n) 与 ( Sn ≤ t < Sn + 1 ) .
n- 1
λ(λt ) - λt
(3 ) 若 Sn 的概率密度函数为 f S n ( t) = e I ( t≥ 0 ) , 试求
( n - 1) !
P( N( t) = 1) , 并证明 ( X1 , X2 ) 相互独立 .
3 .42 设{ Xn , n ≥ 1} 独立同分布 , X n ≥ 0 , 记 v = min{ n: n ≥
1 , Xn > 1m ax X k } , 试求 P( v > n) .
≤ k≤ n
2
3 .43 设 ( X1 , X2 , X3 ) 独立同分布 , X1 ~ N( 0 , 1 ) , 证明 Y =
2 1/ 2
( X1 + X2 X3 )/ (1 + X1 ) 是正态分布 .
3 .44 设 { Xn , n ≥ 1 } 独 立 同 分 布 , X1 ~ Ex(λ) , 记 N1 =
n
P ∑Y
k= 1
k >ε≤ ∑ P( |
k= 1
Yk | > ε
/ n) .
前面我们介绍了可以完满表达随机变量概率性质的分布函数
F( x ) .然而在理 论与 应用 中 , 人 们往 往更 关心 随机 变 量的 某些 主
要特征和相互关系 , 这是引出数字特征的原因之一 .
数字特征是由随机变量的分布函数 F( x ) 确定的 , 是 对 F( x)
进行某种运算的结果 , 以 便突 出反映 其主 要特 征及相 互间 的某 种
关系 .本章着重介绍若 干常用 的数 字特征 , 其 中 , 数学 期望 和条 件
数学期望是最重要而又最 基本 的两个 .引 入这 些重要 概念 将使 随
机数学的研究内容与应用更加多彩多姿 .
值得一提的是 , 由于条 件数学 期望 能更 精细和 深 入地 刻画 多
个随机变量之间的关系 , 以及 它的 良好性 质 , 因此 , 它 在现 代随 机
数学理论 的 迅 猛 发 展 和 广 泛 应 用 的 舞 台 上 扮 演 越 来 越 重 要 的
角色 .
4 .1 数 学 期 望
1 数学期望的 定义
在随机变量 的 数字 特 征中 , 我们 常 常 关心 随 机变 量 取 值“ 平
均”的大小 , 能够反映这个特征的就是随机变量的数学期望 .
我们先来看一个例子 .
例 1 .1 某人独立射击 100 次 , 结果如下 :
击中环数 8 9 10
相应次数 10 20 70
138 第 4 章 数字特征
如何衡量该射手的射击水平 ? 显然首先要看其每次击中的平均环数 .
10 20 70
解 所求的平均环数 = 8 × + 9× + 10 × = 9 .6 .
100 100 100
可见 , 100 次射击的平 均 环数 等于 击中 的环 数 乘 以该 环 数出 现 的
频率求和 .此数更集中反映射手的水平 .
我们将上例抽象化 , 记 X 为击中的环数 , 是 离散型随 机变量 ,
∞
其分布律为 P( X = xi ) = p i , 则 X 的平均值为 E X = ∑x
i= 1
i pi .
定义 1 .1 若离散型随机变量 X 的 分布 律为 P( X = x i ) =
p i , ( i ∈ N \ {0 } ) , 且 ∑ | x i | pi < ∞ , 则称
i
def
EX ∑x
i
i pi ( 1 .1)
特别地 , 当随机变量 的取 值 为 P( X = x i ) = 1 ( 1 ≤ i ≤ n)
n
n
时 , 则 E X = 1 ∑ xi , 即是 x i ( 1 ≤ i ≤ n) 的算术平均值 .所以 , 数
n i =1
学期望是算术平均的推广 , 即加权平均值 , 故亦称为均值 ( mean) .
注 定义中要求该级数绝对收敛 , 是为了保证该和数不随求
和次序的改变而改变 .当 ∑ | x i | pi 发散时 , 称 X 的 数学期望 不
i
存在 .
例 1 .2 若 X ~ B( 1 , p) , 则 E X = 0 × (1 - p) + 1 × p =
p = P( X = 1 ) , 即 E X = P( X = 1 ) .
在这里我们注意到数学期 望和概 率分 布的关 系 , 为此 考察 事
件 A ∈ F 的示性函数为 I A (ω) 的期望 E( I A (ω) ) = P( A) , 等于事
件 A 的概率 .这就将数 学期望和事件的 概率联系起来了 .因 此 , 求
某事件发生 的概率就 可以化 为求其示 性函数的 数学期 望 , 可见 引
进数学期望将丰富概率论的研究内容 .
4 .1 数学期望 139
例 1 .3 若 X ~ B( n, p) , 记 q = 1 - p 则
n n
kn!
∑ k P( X ∑
k n - k
EX = = k) = pq
k= 0 k=0 k !( n - k) !
n
n( n - 1) !p
= ∑
k= 1 ( k - 1 ) !( n - 1 - ( k - 1) ) !
pk - 1 qn - 1 - ( k - 1 )
n-1
( n - 1) ! k′ n - 1 - k′
= np ∑
n- 1
p q = np ( p + q) = np .
k′= 0 k′!( n - 1 - k′) !
例 1 .4 若 X~P o(λ) , 则
∞ ∞
λk - 1
k
λ -λ
∑ ∑
-λ
EX = k e =λ e = λ.
k= 0 k! k= 1 ( k - 1) !
在求随机变量的期望中 , 常要用到如下结果 .
∞
1
∑x
k
(1 ) = , | x | < 1;
k= 0 1 - x
∞
1
∑ kx
k-1
(2 ) = 2 , | x | < 1;
k= 1 (1 - x)
∞ k
x = ex .
(3 ) ∑k= 0 k!
∞ ∞
1 1
因为当 | x | < 1 时 , ∑ k x ∑x ′x = ′=
k -1 k
= 2 .
k= 1 k= 0 1 - x (1 - x)
∞
1
例 1 .5 若 X ~ G( p) , 则 E X = ∑ k(1
k= 1
- p) k - 1 p =
p
.
2
例 1 .6 若 X ~ P o(λ) , 求 E X .
2 2
解 由于 X 为非负整数 , 此时 P( X = k ) = P( X = k) , 故
∞ ∞
λk - λ λk -λ
EX = ∑ k ∑k
2 2
e = e
k=0 k! k= 1 ( k - 1) !
∞ k ∞ k
λ λ
= ∑
k=2 ( k - 2) !
e- λ + ∑
k= 1 ( k - 1) !
e- λ
2
= λ + λ.
140 第 4 章 数字特征
特殊情形 设 X 为取值非负整数随机变量 , 则有
∞
EX = ∑ P( X ≥ n)
n=1
.
EX = ∑ nP ( X =
n= 1
n) = ∑ ∑1n= 1 k=1
P( X = n) .
对于连续型随机变量 , 有如下的定义 .
定义 1 .2 设连续型随机变量 X 的概率密度函数是 f ( x ) , 若
∞
∫
-∞
| x | f ( x) d x < ∞ , 则称
∞
EX = ∫ - ∞
xf ( x) d x ( 1 .2)
为 X 的数学期望 .
1
例 1 .7 若 X ~ U[ a, b] , 即 f ( x ) = I ( x ∈ [ a, b] ) , 则
b- a
b
1 a+ b
EX = ∫x b -
a a
dx =
2
.
- λx
例 1 .8 若 X ~ Ex(λ) , 即 f ( x ) = λe I( x > 0 ) , 则
∞ ∞ ∞
1
∫ xλe ∫e
- λx - λx - λx
EX = d x = x( - e ) + dx = .
0 0 0 λ
2
例 1 .9 若 X~ N (μ,σ ) , 则
∞ 2
1 - ( x - μ)
EX =
2πσ
∫
- ∞
( x - μ+ μ) e 2σ2 d x
∞ 2 ∞ 2
1 - ( x - μ) - ( x - μ)
=
2πσ
∫ - ∞
( x - μ) e 2σ
2
dx+ ∫ -∞
μe 2σ
2
dx = μ.
4 .1 数学期望 141
等式右边第一项中被积函数为奇函数 , 故积分为 0 .
前面分别对离散型和连 续型两 种随 机变量 定义 了 数学 期望 ,
对于一般随机变量 , 严格定 义要 用到 黎曼 -斯蒂尔 切斯 ( Rie mann-
Stieltjes ) 积分 , 下面先介绍它的定义 .
2 黎曼-斯蒂尔切 斯积分
定义 1 .3 设 g( x ) , F( x) 是R 上的函数 ( 不妨限制在 F( x ) 为
单调 函 数 的 情 形 ) , " [ a, b] , 设 a = x0 < x1 < … < xn = b,
Δx k = xk - x k - 1 ,δn = 1max Δxk ; 任 取 uk ∈ [ xk - 1 , xk ] , 若 极 限
≤ k≤ n
n
li m∑ g( uk ) ( F( xk ) - F( xk - 1 ) ) = I 存在 , 则称极限
δ →0 k=1
n
b n
∫ g ( x ) d F( x )
a
n
→ 0∑
= δlim
k=1
g( uk ) ( F( xk ) - F( xk - 1 ) ) ( 1 .3)
为 g( x ) 关于 F( x ) 在 [ a, b] 上的 黎曼 -斯蒂 尔 切斯 积分 ( 简称 R-S
积分 ) .
b +∞
若 a→lim ∫ g( x ) d F( x ) =∫
- ∞
b→ + ∞
a -∞
g( x ) d F( x ) 存在 且有 限 , 则称 此
(1 ) 当取 F( x ) = x 时 , 则 ∫ - ∞ ∫
g( x ) d F( x ) =
-∞
g( x) d x 化为
通常的黎曼积分 .
(2 ) 当取 g( x) = x, F( x) 是离散 型随 机变 量 X 的分 布函 数
时 , 即若 P( X = xk ) = pk ( k ∈ N \ { 0} ) , 则 F( x) = ∑p x ≤ x
k
k 为台阶
形跳跃 函 数 , 在 xk 有 跳 跃 高 度 p k , k ∈ N \ {0 } ; 则 由 定 义 可 知
+∞
∫ -∞
xd F( x) = ∑x
k
k pk = E X .
142 第 4 章 数字特征
(3 ) 当取 g( x) = x, 而 F( x) 是连续型随机变量 X 的分布 函
数 , X 的概率密度函数为 f ( x) 或在R 上几乎处处有 F′( x) = f ( x)
+∞ +∞
存在时 , 则可证明 ∫ - ∞
xd F( x ) = ∫ -∞
x f ( x) d x = E X .此时上式左
∫
a
-
g( x) d F( x) = g( a) ( F( a+ ) - F( a- ) ) .
(5 ) 设 F( x ) 是随机变量 X 的分 布函数 , 即 F( x ) = P( X ≤
x ) .则 " a, b ∈ R , B ∈ B,
b
∫d F( x)
a
= P( X ∈ [ a, b] ) , P( X ∈ B) = ∫ x∈ B
d F( x ) .
定义 1 .4 若 随 机 变 量 X 的 分 布 函 数 为 F( x ) , 且 满 足
∞
∫
-∞
| x | d F( x) < ∞ , 则称
d ef ∞
EX ∫ -∞
xd F( x) ( 1 .4)
为 X 的数学期望 .
对于随机变量函数的数学期望有如下的定理
定理 1 .1 设 g( x) 是一元博雷尔可测函数, 随机变量 X 的分
∞
布函数为 F( x) , 若 ∫ -∞
| g( x) | dF( x) < ∞, 则 g( X) 的数学期望为
∞
Eg ( X) = ∫ - ∞
g( x ) d F( x) . ( 1 .5)
注 在第 2 章已提过 , 逐段单调函数、连续函数均为博雷尔可
测函数 .
严格证明这一定理需要用到测度论 , 已超出本书的范围 , 这里
不作要求 , 但要学会运用这一结论去推导其他性质 .例如 :
对于离散型随机变量 X, 有
4 .1 数学期望 143
E( g( X) ) = ∑ g( x
k
k ) P( X = xk ) . ( 1 .6)
对于连续型随机变量 X, 其概率密度函数为 f ( x) , 则有
∞
Eg ( X) = ∫ - ∞
g( x ) f ( x ) d x . ( 1 .7)
EX = ∫ P( X >
0
u) d u .
证明 留作练习 .仅提示
∞ ∞ x
EX = ∫ xd P( X ≤
0
x) = ∫∫d y
0 0
d P( X ≤ x)
∞ ∞
=∫∫ d P( X ≤
0 y
x) d y .
3 数学期望的 性质
数学期望有一些简单性质列在下 面 , 其中 X, Y , Xk 均 表示 随
机变量 , 且它们的数学期望均存在 .
(1 ) 对于常数 C, E( C) = C, E( X + C) = E( X) + C;
(2 ) " ci ∈R ( i = 1 , 2) , E( C1 X + C2 Y ) = C1 E( X) + C2 E( Y ) ;
" 随机变量 Xk ( 1≤ k≤ n) , Ci ∈ R (1 ≤ i≤ n) ,
n n
E ∑C X
k=1
k k = ∑ C EX
k=1
k k ;
(3 ) 若 X , Y 独立 , 则 E( X Y ) = E X・ E Y;
(4 ) 设 g( x, y) 为博雷尔 可测 函数 , X , Y 为 连续 型随机 变量 ,
其联合概率密度函数为 f ( x, y) , 若 E| g( X , Y ) | < ∞ , 则
144 第 4 章 数字特征
∞ ∞
Eg( X , Y ) = ∫∫ - ∞ -∞
g( x , y) f ( x , y ) d x d y . ( 1 .8)
我们仅对性质 3 在 ( X , Y ) 具 有联 合概率 密度 函数 时 , 给出 证
明如下 :
设 ( X , Y ) 的 联 合 概 率 密度 函 数 为 f ( x , y ) , X~ f X ( x ) , Y ~
f Y ( y) , 则
( X, Y ) 独立 " ( x, y) ∈ R 2 , f ( x, y ) = f X ( x) f Y ( y ) ,
所以
∞ ∞ ∞ ∞
∫∫
E( X Y ) = - ∞ -∞
x y f ( x, y ) d x d y = ∫∫ - ∞ -∞
x y f X ( x ) f Y ( y) d x d y
∞ ∞
=∫ - ∞
x f X ( x) d x ∫ - ∞
y f Y ( y ) d y = E X ・ EY .
利用数学期望的以上性质 , 可简化某些复杂的计算与推导 .举
例如下 .
例 1 .10 设{ Yn , n ≥ 1} 独 立同分 布 , P( Yn = 1 ) = p ≥ 0 ,
n
P( Y n = - 1) = q ≥ 0 , p + q = 1 , 记 X0 = 0 , X n = ∑Y
k=1
k , 称为从
解 由 EY k = p - q, 故 EX n = E∑ Y k = ∑ EY k = n( p - q) .
k= 1 k= 1
∑I
n
球,则有 X = A
k
, 易 知 P(珡
Ak ) = ( 1 - 1/ m) , P( A k ) = 1 -
k=1
n
(1 - 1/ m) , 故
m m
E X = E∑ I A k = ∑ EI
n
A
k
= m[1 - (1 - 1/ m) ] .
k= 1 k=1
4 .2 方差 145
∑x
k
k P ( X = xk ) , X 为离散型随机变量 ,
EX = ∞
X 为连续型随机变量且具有概率
∫-∞
x f ( x) d x,
密度函数 f ( x ) .
以离散型随机变量 X 为例 .前面我们定义了示性函数 I A (ω) ,
则
X(ω) = ∑x k
k I ( X = x k) (ω) ,
因此
EX = ∑x k
k P ( X = xk ) .
4 .2 方 差
随机变量另一个重要的 数字特 征是 方差 , 它反 映 了随 机变 量
取值的集中与分散程度 .在实际问题中 , 研究随机变量与其均值的
146 第 4 章 数字特征
偏离程度是十分重要 的 , 通 常用 E[ ( X - E X) 2 ] 来度 量 这个 偏 离
程度 .
定义 2 .1 设 X 是随机变量 , 则称
DX = E[ ( X - E X ) 2 ] ( 2 .1)
为 X 的方差 ( va riance ) , 也 可记 作 va r X, 称 σX = D X为 X 的标
准差或均方差 .
注 (1 ) D X 大 , 反映 X 取 值比较 分散 ; D X 小 , 反 映 X 取 值
比较集中 .
(2 ) 常用的计算方差的公式为
2 2
DX = E X - ( EX ) . ( 2 .2)
事实上
D X = E( X - E X ) 2 = E( X2 - 2 X E X + ( E X ) 2 ) = E X 2 - ( E X ) 2 .
在实际测量中 , 方差反 映了随 机变 量取 值与数 学 期望 的离 散
程度 , 用以刻画测量精度 .DX 小 , 则说明测量精度高 .
例 2 .1 若 X ~ B(1 , p) , 则 EX = p, E X2 = p, DX = EX2 -
( E X ) 2 = p - p2 = pq .
2 2
例 2 .2 若 X ~ B( n, p) , 则 E X = np , E X = n( n - 1 ) p +
np , D X = npq .
例 2 .3 若 X ~ Po(λ) , 则 E X = λ, E X 2 = λ2 + λ, DX = λ.
b
a+ b 1
∫x
2 2
例 2 .4 若 X ~ U[ a, b] ,则 EX = , EX = dx =
2 a b- a
1 ( b2 + ab + a2 ) , 而
3
2 2 1 2
DX = EX - ( EX ) = ( b - a) .
12
例 2 .5 若 X ~ Ex(λ) , 则 E X = 1 , D X = 12 .
λ λ
2
例 2 .6 若 X ~ N (μ,σ ) , 则 E X = μ, 试求 DX .
4 .2 方差 147
∫
2 2 2
解 D X = E( X - E X ) = E( X - μ) = ( x - μ) ・
- ∞
2 ∞ 2
1 - ( x -μ) x - μ σ2 - t
, 则 DX = ∫
2
e 2σ2 d x .作变换 t = t e 2
d t .应用
2πσ σ 2π -∞
∞ 2
1 - t
∫
2 2
分部积分法 , 容易验算 t e 2
d t = 1 , 因此 DX = σ .
-∞
2π
由例 2 .6 我们知道 , 正 态随机 变量 的概 率密度 函 数中 的两 个
参数 μ和σ2 分别是该随机 变量的 数学 期望 和方 差 .因 而 , 正态 随
机变量的分布完全可由它的数学期望和方差所决定 .
注意到若 X~ N(μ,σ2 ) , 则
P(μ - 3σ< x ≤ μ+ 3σ) = Φ(3 ) - Φ( - 3) = 0 .9974 ,
P( | X - μ| ≤ 2σ) = 0 .9545 .
因此 , 对于正态随机变 量 , 其 值落 在区 间[μ- 3σ, μ+ 3σ] 内 的概 率
接近于 1 .这也就看出了正态随机 变量的 集中程度 .在工 程测量 中
通常取 3σ为误差限 ( 精度要求高的 ) , 也有取 2σ为 误差限的 ( 一 般
精度要求 ) .
方差的一些简单性质如下 :
以下设 C1 , C2 , a, b 均为常数 .
(1 ) X = C, 或 P( X = C) = 1 , 则 D X = 0;
2
(2 ) D( C1 X + C2 ) = C1 D( X) ;
(3 ) 对于随机变量 X , Y , 有
D( X ± Y ) = DX + DY ± 2 E[ ( X - E X ) ( Y - E Y ) ] ,
D( aX ± bY ) = a2 D X + b2 DY ± 2 abE[ ( X - E X ) ( Y - EY ) ] .
若 X, Y 独立 , 则 D( X± Y ) = D X + D Y .
证明 D( X ± Y ) = E{ [ ( X ± Y ) - E( X ± Y ) ] 2 }
= E{ [ ( X - E X ) ± ( Y - EY ) 2 ] }
= E[ ( X - E X ) 2 + ( Y - EY ) 2 ±
2 ( X - E X ) ( Y - EY ) ]
148 第 4 章 数字特征
= E[ ( X - E X ) 2 ] + E( Y - EY ) 2 ±
2 E[ ( X - E X ) ( Y - EY ) ] .
若 X, Y 独立 , 则 X - E X , Y - E Y 独立 , 由数学期望性质可知
E[ ( X - E X) ( Y - E Y) ] = E( X - E X) ・ E( Y - E Y) = 0 , 故
D( X± Y ) = D X + D Y .
(4 ) 切比雪夫 (Че
быще
в) 不等式 若 D X < ∞ , 则对任意 ε> 0 ,
DX
P( | X - E X | ≥ ε) ≤ .
ε2
证明 设 X~ F( x) , 则
| X - EX |2
左端 = ∫ | X - E X | ≥ε
d F( x) ≤ ∫ | X - E X | ≥ε ε2
d F( x) ≤
+∞
| X - EX |2 DX
∫ - ∞ ε 2 d F( x) = 2 .
ε
切比雪夫不等式作为一个理论工具 , 其应用是很普遍的 .该不
等式给出了在未知随机变量 X 的分 布下 , 事 件{ω: | X - μ| < ε} 的
概率的一种估计方法 .
(5 ) DX = 0 的充要条件是 : 存在常数 μ, 使 P( X = μ) = 1 .
证明 “ ” 由 D X = 0 及 切 比 雪 夫 不 等 式 有 : " n > 0 ,
1 1
P | X - EX | ≥ ≤0 " n > 0 , P | X - EX | < = 1, 又
n n
+∞
EX = ∫ - ∞
xd F X ( x ) = ∫ μ-
xd F X ( x ) = μ
4 .3 协方差和相关系数 149
∫
2 2
DX = E( X - μ) = ( x - μ) d F X ( x ) = 0 .
μ-
由性质 (3 ) 的证明可得以下性质 .
(6 ) 若 E[ ( X - E X) ( Y - E Y) ]≠0 , 则 X , Y 不独立 .
这说明 E[ ( X - E X) ( Y - E Y) ]≠ 0 , 反映了 X , Y 之间 有某 种
关系 .
4 .3 协方差和相关系数
1 定义
定义 3 .1 设 X , Y 为两个随机变量 , 则称
cov ( X , Y ) = E[ ( X - E X ) ( Y - EY ) ] ( 3 .1)
为 X, Y 的协方差 ( covariance ) , 称
cov ( X , Y )
ρX Y = ( 3 .2)
DX DY
为 X, Y 的相关系数 ( correlation coefficient ) .
相关系数是刻画 X , Y 的 线性 关 系是 否密 切 的尺 度 , 见 下 面
的性质 (8 ) .
对于一般的随机变 量 , 若 D X≠ 0 , 可 以 对其 作一 定 的变 换 使
其标准化 .事实上 , 由期望和方差的性质我们知道
X - EX 1 1 ( EX - EX ) = 0,
E = E( X - E X ) =
DX DX DX
X - EX 1 1
D = D( X - EX ) = DX = 1 .
DX DX DX
150 第 4 章 数字特征
设随机变量 X, D X≠ 0 , 称随机变量
X - EX
( 3 .3)
DX
为随机变量 X 的标准化 .而
X - E X Y - EY X - E X Y - EY
cov , = E
DX DY DX DY
cov ( X , Y )
= = ρX Y .
DX DY
因此 , X , Y 的相关系数 , 即 X , Y 标准化后的协方差是一个没有量
纲的量 .
由定义易知 , cov( X , Y ) = E( X Y) - ( E X ) ( E Y) , 故
ρX Y = E( XY ) - ( E X ) ( EY ) . ( 3 .4)
DX ・ DY
定义 3 .2 若 X, Y 的相关系数ρX Y = 0 , 则称 X, Y 不相关 .
2 性质
协方差和相关系数具有如下一些性质 :
(1 ) cov( X , Y ) = cov( Y , X) , cov( X + c, Y + d) = cov( X ,
Y ) , 其中 c, d 为任意常数 ;
(2 ) cov( aX , bY ) = ab cov( X , Y ) , 其中 a, b 为任意常数 ;
(3 ) cov( X1 + X2 , Y ) = cov( X1 , Y ) + cov( X2 , Y ) ,
n m n m
cov ∑ X ,∑ Y
i= 1
i
j =1
j = ∑ ∑ cov( X , Y
i= 1 j= 1
i j );
以上性质 (1 ) ~ (3 ) 的证明留给读者 .
(4 ) 若 X , Y 独立 , 则 cov ( X, Y ) = 0 ,ρX Y = 0 , 即 X , Y 不相关 ;
证明 若 X , Y 独 立 , 则 由 数 学 期 望 性 质 E ( X Y ) =
( E X) ( E Y) 及 (3 .4 ) 式有
cov ( X , Y ) = E( XY ) - ( E X ) ( EY )
= ( E X ) ( EY ) - ( E X ) ( EY ) = 0 ,
从而 ρX Y = 0 .
4 .3 协方差和相关系数 151
利用以上性质可简化某些计算与推导 .
2
例 3 .1 设{ Y n , n≥ 1}独立同分布 , EY n = 0 , DYn = σ < ∞ ,
n
令 X0 = 0 , X n = ∑Y
i= 1
i , 求 cov( X n , Xn + m ) .
解 由{ Y n , n≥ 1}独立同分布 , 有
n n+ m
n n n n+ m
= cov ∑Y ,∑Y
i =1
i
j= 1
j + cov ∑Y , ∑ Y
i=1
i
j = n+1
j
∑ cov( Y i , Y i ) = nσ .
2
=
i= 1
这些均是与不相关等价的命题 , 详细的证明留给读者作为练习 .
Y - EY X - E X
(8 ) |ρX Y | = 1 P ± =0 =1 .
DY DX
证明 |ρY | = 1 2 (ρX Y ±1 ) = 0
Y - EY X - EX Y - EY X - EX
D ± = D + D ±
DY DX DY DX
Y - EY X - EX
2E = 1 + 1 ± 2ρX Y = 0 ,
DY DX
由 4 .2 节方差性质 (5 ) 知以上等价于
Y - EY ± X - E X = 0
P = 1 .
DY DX
可见 , 当 |ρX Y | = 1 时 , X , Y 以概率 1 取值在一条直线上 , 即
P ω: Y - EY =ê DY
( X - EX ) = 1 .
DX
由性质 (3 ) 知 , 若 X , Y 独立 , 则 X , Y 不相关 .然而 , X , Y 不 相
关 , 两者却不一定独立 .但是 , 在一种重要的特殊场合 , 即二维正态
分布下 , 不相关和独立是等价的 .
2 2
例 3 .2 若 ( X, Y ) ~ N(μ1 ,μ2 ,σ1 ,σ2 ,ρ) , 则 :
(1 ) cov( X , Y ) =ρσ1 σ2 ,ρX Y = ρ;
(2 ) X , Y 不相关 X, Y 独立 .
解 由已知
2 2
E X = μ1 , EY = μ2 , DX = σ1 , DY = σ2 , 而
∞ ∞
1
cov ( X , Y ) =
2πσ1σ2
∫∫
1 - ρ2 - ∞ - ∞
( x - μ1 ) ( y - μ2 ) ・
( x - μ1 ) 2 - 1 ・
exp - ・exp
2σ1 2 2
2 (1 - ρ )
2
y - μ2 x - μ1
-ρ d x dy .
σ2 σ1
4 .3 协方差和相关系数 153
1 y - μ2 x - μ1 x - μ1
若令 t = - ρ , u = ,则
1 -ρ
2
σ2 σ1 σ1
∞ ∞
1
∫∫
2 2
cov ( X , Y ) = (σ1 σ2 1 - ρ tu + ρσ1σ2 u ) ・
2π -∞ -∞
exp( - u2 / 2 - t2/ 2) d t d u
∞ ∞
σ1σ2 1 - ρ2
=
2π ∫ -∞
u exp( - u2/ 2 )d u ∫ - ∞
t exp( - t2/ 2) d t +
∞ ∞
ρσ1 σ2
2π ∫ - ∞
u2 exp( - u2 / 2 ) d u ∫ -∞
exp ( - t2/ 2) d t
ρσ1σ2
= 2π 2π = ρσ1 σ2 ,
2π
cov( X , Y )
则 ρX Y = = ρ.可知参数 ρ就是 X , Y 的相关系数 .
D X ・ DY
由第 3 章命题 (5 .3 ) 知 : ( X , Y ) 服从二维正态分布 , 则 X , Y 独
立 ρ= 0 X , Y 不相关 .
下面讨论最佳线性预测 ( 估 计 ) 问 题 , 进 一步 揭示 相关 系数 所
刻画的概率意义 .
3 最佳线性均 方预测 ( 估计 )
性函数 bX + a 作为 Y 的预测 ( 或 估计 ) , 记作 Y = bX + a .称 δ= Y -
∧
Y = Y - ( bX + a) 为 预 测 误 差 , 称 Q ( a, b) = Eδ2 = E ( Y - ( bX +
2
a) ) 为均方预测误差 .问题 是 : 如何 选 取 a, b, 使其 均 方预 测误 差
Q( a, b) 达最小 ( 如存在的话 ) !
命题 3 .1 当
* -1
b = ρσ2 σ1 , ( 3 .7)
a* = μ2 - ρσ2 σ1- 1 μ1 , ( 3 .8)
154 第 4 章 数字特征
∧
Y * = b* X + a* ( 3 .9)
时 , 满足 Q( a * , b* ) = min Q ( a, b) .
a, b
2
证明 Q( a, b) = E[ Y - ( bX + a) ] = E{ [ Y - μ2 - b( X - μ1 ) ] +
2
(μ2 - bμ1 - a) } .注意到 E[ Y - μ2 - b( X - μ1 ) ] = 0 , 故有
Q( a, b) = E[ Y - μ2 - b( X - μ1 ) ] 2 + (μ2 - bμ1 - a) 2
2 2 2 2
= σ2 - 2 bρ
σ1 σ2 + b σ1 + (μ2 - bμ1 - a)
2 2 2 -1 2 2
= σ2 (1 - ρ ) + σ1 ( b - ρσ2σ1 ) + (μ2 - bμ1 - a) .
(3 .1 0)
2
注意到 上 式 右 边 第 2 , 3 项 均 非 负 , 故 " a, b∈ R 有 Q ( a, b) ≥
2 2 * - 1 * * - 1
σ2 (1 - ρ ) , 于是选取 b =ρσ2σ1 , a = μ2 - b μ1 = μ2 - ρσ2 σ1 μ1
时 , ( 3 .10 ) 式右边第 2 , 3 项为 0 , 即
Q( a * , b* ) = σ22 (1 - ρ2 ) = min Q ( a, b) . (3 .1 1)
a, b
∧
定义 3 .3 称 Y * = b* X + a * = ρσ2σ1- 1 ( X - μ1 ) + μ2 为 Y 的
最佳线性均方预测 ( 估计 ) .
由命题 3 .1 证明的最后等式 (3 .1 1) 可知 .
* * 2 2
命题 3 .2 Q( a , b ) =σ2 ( 1 - ρ ) . (3 .1 2)
由 (3 .1 2) 式可看出 , 对 于给定 的 Y , 用 |ρX Y | = | ρ| 越 接近 于 1
* *
的 X, 其 b X + a 越接近于 Y ( 均方意义下 ) .这 表明 |ρ| 的大小 刻
画了 X, Y 之间线性关系密切的程度 .
4 .4 矩、协方差矩阵及 n 维正态分布
前面我们介绍的数学期望、方差、协方差等是随机变量最常用
的数字特征 , 它们的自然推广是矩 .矩有以下几种 :
( 1) 原点矩 : 对任意 k∈ N \ { 0} , 称 E X k 为 X 的 k 阶原点矩 .
数学期望是一阶原点矩 .
k
(2 ) 中心矩 : 对任意 k∈ N \ { 0} , 称 E[ X - E X] 为 X 的 k 阶
4 .4 矩、协方差矩阵及 n 维正态分布 155
中心矩 .方差是二阶中心矩 .
(3 ) 混合 矩 : ( 对 多维 分 布 而 言 ) : 对 任 意 k, l∈ N \ { 0 } , 若
k l k
E X Y 存在 , 称它为 X, Y 的 k + l 阶混合原点矩; 若 E[ ( X - E X) ・
l
( Y - E Y ) ] 存 在 , 称 它 为 X , Y 的 k + l 阶 混 合 中 心 矩 .协 方 差
cov( X , Y ) 是 X , Y 的二阶混合中心矩 .
例 4 .1 若 X ~ N ( 0 , σ2 ) , 则 X 的 2 k ( k ∈ N \ { 0 } ) 阶 矩
2k 2k k
E X = (2 k) ! σ / ( 2 ・ k !) .( 可以通 过分部 积分 求得 , 留给 读 者作
4 4
为练习 .) 特别地, 当 k = 2 时 , E X = 3σ .
T 2
def
定义 4 .1 设 n 维随 机变 量 X = ( X1 , X2 , …, Xn ) , 若 σi
DX i (1 ≤ i ≤ n) 存 在, 记 σi j = cov( X i , Xj ) , 则 称 矩 阵 Σ =
E[ ( X - EX) ( X - EX) T ] = (σij ) n× n , 为 n维随机变量 X = ( Xk , 1 ≤
T
k ≤ n) 的协方差矩阵 .
显然 , 协方差 矩阵是 一个 对称 矩阵 .易 证它 是非 负定 矩 阵 .当
σi > 0时 , 它是正定矩阵 , 且对角线之元素 σii =σ2i = D Xi (1≤ i≤ n) .
2 2
例 4 .2 设 ( X, Y ) ~ N(μ1 ,μ2 ,σ1 ,σ2 ,ρ) , 则有
2
σ1 ρσ1σ2
Σ= . ( 4 .1)
ρσ1σ2 σ22
T T T
记 : x = ( x1 , x2 ) ,μ = (μ1 , μ2 ) , 则 X = ( X1 , X2 ) 的联 合概 率
密度函数可表为
1 1 T - 1
f ( x) = 2 1 exp - ( x - μ) Σ ( x - μ) ,
(2π) 2 | Σ| 2 2
其中 | Σ | = detΣ .
T
这样 , 记二维正态随机变量 X = ( X1 , X2 ) ~ N (μ,Σ ) .
T
例 4 .3 设 X = ( X1 , X2 ) ~ N(μ, Σ ) , 令 Y = AX , 其 中
A = ( ai j ) 2 ×2 为非退化 2 阶矩阵 , 则
T
Y ~ N( Aμ , AΣA ) .
即二维正态分布进行了线 性变 换之后 仍为 正态分 布 .证明 留给 读
156 第 4 章 数字特征
者作为练习 .
T
以下介绍多元正态分布随机向量 . 记 :μ= (μk , 1 ≤ k ≤ n) ,
T
x = ( xk , 1 ≤ k ≤ n) 为 n 维向量 ,Σ= (σij ) 为 n 阶正定对称矩阵 .
定义 n 元函数
1 1 T -1
f ( x) = n 1 exp - ( x - μ) Σ ( x - μ) .
(2π) 2
| Σ| 2 2
( 4 .2)
∫
n
命题 4 .1 (1 ) " x ∈ R , f ( x) > 0 ; ( 2) f ( x) dx = 1 .
Rn
即由 (4 .2 ) 式定义的 f ( x) 是 n 维概率密度函数 .
证明 (1 ) 显然 .以下证 (2 ) .由Σ为正定对称方阵 , 则存在 非
奇异矩阵 L, 使Σ= L LT .令线性变换 y = L- 1 ( x - μ) , 其逆变换为
1
x = Ly + μ .此变换的雅可比行列式为 | L | = | Σ| 2
.故
1 1 T
∫ ∫
1
f ( x) dx= n 1 exp - y y | Σ | 2 dy
Rn
( 2π) 2 | Σ| 2 R n 2
n
1 1
= n
( 2π) 2 | Σ|
∫∫1
2
…n exp -
R
∑
2 k=1
y2k d y1 … d yn
n
1
∫e
- u2 / 2
= du = 1 .
2π R
定义 4 .2 若 n 维随机向量 X = ( X k , 1 ≤ k≤ n) T 的联 合密 度
函数是用 (4 .2 ) 式定义的 f ( x) , 则称 X 是 服从参数 (μ, Σ) 为 n 维
正态随机向量 , 简 记 X~ N (μ, Σ ) . f ( x) 为 n 维 正 态 概 率 密 度
函数 .
T
命题 4 .2 设 X = ( X i , 1 ≤ i≤ n) ~ N (μ, Σ ) , 令 Y = AX, 其
T
中 A 为非退化 n 阶方阵 , 则 Y~ N( Aμ , AΣA ) .
n 维正态分布有许多优良性质将在第 5 , 8 章进一步讨论 .
4 .5 条件数学期望 157
4 .5 条件数学期望
条件数学期望是随机数学中最基本、最重要的概念之一 .本节
将引入条件数学期望的概念 , 并说明它的性质和应用 .为了从直观
上对此概念有个正确的理解 , 我们先从离散型随机变量入手 , 再讨
论连续性随机变量 , 最后推广到多元随机变量的情形 .
(1 ) 定义与例子
定义 5 .1 设离散型随机变量 X , Y , 分布律为 P( X = xi , Y =
y j ) , 若对 " j∈N \ {0 } , P( Y = y j ) > 0 , 称
E( X | Y = yj ) = ∑x i
i P ( X = xi | Y = yj ) ( 5 .1)
为 X 关于 Y = y j 时的条件数学期望 .
这是一种狭 义 的 条 件 数 学 期 望 .现 比 较 ( 无 条 件 ) 数 学 期 望
E( X) = ∑xi
i P ( X = xi ) 与条件数学期望 E( X | Y = y j ) 的异同
点 .E( X) 是 对 所 有 的 ω∈ Ω, X(ω) 取 值 全 体 的 加 权 平 均 , 而
E( X | Y = y j ) 是 X 取值局限在 ω∈ {ω: Y = yj } = B j 上的加权
平均 .可以这样理解 : 记 B j = {ω: Y = y j } , A i = {ω: X = xi } , 于是
{ Ai , i ∈ N \ {0 } } 及{ B j , j ∈ N \ {0 }} 分别是样本空间 Ω的分解 ,
当 Ai B j = 时 , P( X = xi , Y = yj ) = 0 , 于是
E( X | Y = y j ) = ∑xi
i P ( X = xi | Y = y j )
= ∑x
i∈ D1
i P ( X = xi | Y = y j ) ,
j
1
其中 Dj = { i: Ai B j ≠ } , 这 正说 明 了 E( X | Y = y j ) 是 ω∈ Bj 时
X (ω) 的局部加权平均 .
158 第 4 章 数字特征
显然 E( X | Y = y j ) 依赖于 Y = yj , 即依 赖于 ω∈ B j = {ω: Y =
y j } .从全局看 , 有 必要 引 入一 个 新 的 随机 变 量 E( X | Y ) , 使 它 在
ω∈ Bj ( 即 Y = yj ) 时 , 取值为 E( X | Y = yj ) , 称随机变量 E( X | Y ) 为
随机变量 X 关于随机变量 Y 的条件数学期望 .它亦 是随机变 量 Y
的函数 , 确切定义如下 .
定义 5 .2 设离 散 型随 机 变量 X , Y , 分 布 律 为 P ( X = xi ,
Y = y j ) , 若对 " j∈N \ {0 } , P( Y = y j ) > 0 , 则称
E( X | Y ) = ∑
j∈ N \ { 0 }
E( X | Y = y j ) I( Y = y j ) (ω) ( 5 .2)
为随机变量 X 关于 Y 的条 件数 学期望 , 称 ( 5 .2 ) 式 为 E( X | Y ) 的
示性函数表示式 .
上述 E( X | Y ) 定义包含如下的直观意义 :
① 随机 变 量 E ( X | Y ) 是 ω的 函 数 .当 ω∈ {ω: Y = y j } 时 ,
E( X | Y ) 的取值 为 E ( X | Y = yj ) .事实 上 , 它 是 局 部 平 均 { E ( X |
Y = y j ) , j∈N \ {0 } } 的统一表 达 式 .因 而 条 件 数 学 期 望 更 深 入 地
描述了 X, Y 之间的某种关系 .
② 当 E( X | Y = y j ) ≠ E( X | Y = yk ) ( j≠ k) 时 , P{ E( X | Y ) =
E( X | Y = y j ) } = P( Y = y j ) .否 则 , 令 Dj = { k: E ( X | Y = y j ) =
E( X | Y = yk ) } , 则
P{ E( X | Y ) = E( X | Y = y j ) } = ∑ P(Y
k∈ D
j
= yk ) .
这个直观意义为我们提供了求条件数学期望分布律的简单方法 .
③ E( X | Y ) 亦是 Y 的函数 , 由 4 .1 节中随 机变 量函数 的期 望
公式 , 知它的数学期望
E{ E( X | Y ) } = ∑E( X |
j
Y = yj ) P( Y = yj ) .
下面举一个例子来加深对上述概念的理解和认识 .
例 5 .1 随 机 变 量 ( X , Y ) 的 联 合 分 布 律 如 下 表 所 示 , 试 求
E( X | Y ) 的分布律 , E( X) , E{ E( X | Y ) } .
4 .5 条件数学期望 159
X
1 2 3 P・ j
Y
2 4 1 7
1
27 27 27 27
5 7 3 15
2
27 27 27 27
1 2 2 5
3
27 27 27 27
8 13 6
Pi・ 1
27 27 27
解 为求 E( X | Y = j) , 先 求 P ( X = i | Y = j ) , 其 中 i, j = 1 ,
2, 3 .
P( X = 1 , Y = 1) 2/ 27 2
P{ X = 1 | Y = 1} = = = .
P( Y = 1 ) 7/ 27 7
同理
P{ X = 2 | Y = 1 } = 4/ 7 , P{ X = 3 | Y = 1} = 1/ 7 ,
3
E( X | Y = 1 ) = ∑ x P( X =
i=1
i xi | Y = 1)
= 1 × 2 + 2 × 4 + 3 × 1 = 13 .
7 7 7 7
同理
3
E( X | Y = 2 ) = ∑ iP ( X
i=1
= i | Y = 2)
= 1 × 5 + 2 × 7 + 3 × 3 = 28 ,
15 15 15 15
3
E( X | Y = 3 ) = ∑ iP( X =
i=1
i | y = 3)
1 2 2 11
= 1× + 2× + 3× = .
5 5 5 5
160 第 4 章 数字特征
得
13 28 11
E( X | Y ) = I ( Y = 1 ) (ω) + I ( Y = 2 ) (ω) + I( Y = 3 ) (ω) .
7 15 5
由前述直观意义 (2 ) , 可知 P{ E( X | Y ) = E( X | Y = j ) } = P( Y = j)
( j = 1 , 2 , 3 ) .故 E( X | Y ) 的分布律列表如下 :
13 28 11
E( X | Y)
7 15 5
7 15 5
P{ E( X | Y ) = E ( X | Y = j) } = P( Y = j)
27 27 27
于是
13 7 28 15 11 5 52
E{ E( X | Y ) } = × + × + × = ,
7 27 15 27 5 27 27
而
3
8 13 6 52
EX = ∑ i P( X = i) = 1 ×
i=1 27
+ 2×
27
+ 3×
27
=
27
.
可见 , E{ E( X | Y ) } = E X , 事实 上 , 若 ( X , Y ) 为 离 散型 随机 变
量 , 且 E | X | < ∞时 , E{ E( X | Y ) } = E( X ) 普 遍成立 , 即局 部加 权
平均后的加权平均等于总体的加权平均 .
为加深对条件数学期望的直观理解 , 试看下例 .
例 5 .2 设 A , B∈F , 0 < P( B) < 1 , 若 P( A | B) , P( A | 珚
B) 已
知 , 试求 E( I A | I B ) 的示性函数表示式 .
解 当 ω∈ ( I B = 1 ) = B 时 , E ( I A | I B ) = E ( I A | I B = 1 ) =
E( I A | B) = 1・ P( I A = 1 | B) = P ( A | B) ; 当 ω∈ ( I B = 0) = 珚
B 时,
E( I A | I B ) = E( I A | I B = 0) = E( I A | 珚
B) = P( A| 珚
B) , 故
E( I A | I B ) = P( A | B) I B (ω) + P( A |珚
B) I珚B (ω) .
(2 ) 条件数学期望的性质
下面列出离散型随机变 量的条 件数 学期望 的若 干 性质 , 以 下
均假定 E| X | < ∞ , E| X i | < ∞ ( 1≤ i≤ n) .
4 .5 条件数学期望 161
① E( X) = E{ E( X | Y ) } ;
n n
② E ∑CX
i= 1
i i | Y = ∑ C E( X
i= 1
i i | Y) ;
③ 若 X, Y 独立 , 则 E( X | Y ) = E X ;
④ E( X | X) = X, E{ g( X) | X} = g( X) ;
⑤ " g( X) , h( Y ) , 若 E | g( X) h( Y ) | < ∞, 则 E{ g( X) h( Y ) | Y} =
h( Y ) E{ g( X) | Y } ; 其中 g, h 是博雷尔可测函数 .
① 的证明 由 E( X | Y ) = ∑ E( X | Y
j
= y j ) I( Y = y j ) (ω) , 则
E{ E( X | Y ) } = E ∑ E( X |
j
Y = yj ) ・ I( Y = y j ) (ω)
= ∑ E( X | Y
j
= y j ) ・ E[ I( Y = y j ) (ω) ]
= ∑ E( X | Y
j
= y j ) ・ P( Y = y j )
= ∑ ∑xj i
i P( X = xi | Y = y j ) ・ P( Y = y j )
= ∑ x ∑ P( X =
i
i
j
xi | Y = y j ) ・ P( Y = y j )
= ∑x i
i P ( X = xi ) = E X ,
这样的形式与全概率公式具有相似之处 , 是全概率公式的推广 .
一 般地 , 设 D ∈ B, X 关于事件 {ω: Y (ω) ∈ D} = { Y ∈ D} 的
d ef
条件数学期望为 E( X | Y ∈ D) ∑x
i
i P ( X = xi | Y ∈ D) .若 Y
" x∈ R , 称
P( X ≤ x, Y = yj )
F X | Y = y j ( x | yj ) =
P( y = y j )
为 X 关于 Y = y j 条件分布函数 .
定 义 5. 3 在 上 述 记 号 下 , 称 E( X | Y = yj ) =
+∞
∫-∞
xd F X | Y = y j ( x | y j ) 为 X 关 于 Y = y j 的 条 件 数 学 期 望 ; 称
E( X | Y ) = ∑ E( X | Y = yj ) I( Y = y j ) 为 X 关于 Y 的条件数学期望 .
j
下面通过两个例题来加深对性质的理解 .
例 5 .3 设 N1 , N2 独立, Ni ~ Po(λi ) ( i = 1 , 2 ); 求 E( N1 | N1 +
N2 ) 及 E( N1 + N2 | N1 ) 的分布律 .
解 (1 ) E( N1 | N1 + N2 ) 的分布律 " n∈ N \ { 0} ,
n
E( N1 | N1 + N2 = n) = ∑ kP ( N
k=0
1 = k | N1 + N2 = n) ,
而
P( N1 = k, N1 + N2 = n)
P( N1 = k | N1 + N2 = n) = ,
P( N1 + N2 = n)
(0 ≤ k ≤ n) ,
其中
P( N1 = k, N1 + N2 = n) = P( N1 = k, N2 = n - k)
k n - k
λ1 λ2 - (λ +λ )
= P( N1 = k) P( N2 = n - k) = e 1 2 ,
k ! ( n - k) !
而由第 3 章例 6 .1 知 N1 + N2 ~ Po(λ1 + λ2 ) , 故
k n- k
λ1λ2 n!
P( N1 = k | N1 + N2 = n) =
k !( n - k) ! (λ1 + λ2 ) n
λ1 λ2
k n- k
k
= C n (0 ≤ k ≤ n)
λ1 + λ2 λ1 + λ2
λ1
~ B n, ,
λ1 + λ2
4 .5 条件数学期望 163
λ1
即 N1 在 N1 + N2 = n 下 的条 件 分布 律 与 参数 为 n, 的二
λ1 + λ2
项分布相同 .
下面用两种方法求 E( N1 | N1 + N2 = n) .
(1 ) 由定义 ( 5 .1) 式求
n
E( N1 | N1 + N2 = n) = ∑ k P( N
k=0
1 = k | N1 + N2 = n)
n k n- k
n! λ1 λ2
= ∑k=0
k
(λ1 + λ2 ) k !( n - k) !
n
n
nλ1 ( n - 1) !λ1k - 1 λ2n - k
(λ1 + λ2 ) n ∑
=
k = 1 ( k - 1 ) !( n - k) !
nλ1 nλ1
= 1 +λ
n-1
n (λ 2 ) = ,
(λ1 + λ2 ) (λ1 + λ2 )
得到
λ1
E( N1 | N1 + N2 ) = ( N1 + N2 ) .
(λ1 + λ2 )
k n - k
λ1 λ2
(2 ) P ( N1 = k | N1 + N2 = n) = C ~
k
n
λ1 +λ2 λ1 + λ2
λ1 λ1
B n, , 故 E( N1 | N1 + N2 ) = ( N1 + N2 ) .这 说 明
λ1 +λ2 (λ1 + λ2 )
E( N1 | N1 + N2 ) 是 ( N1 + N2 ) 的线性函数 .
由直观意义 (2 ) , 可得 E( N1 | N1 + N2 ) 的分布律为
nλ1
P E( N1 | N1 + N2 ) = = P{ N1 + N2 = n}
λ1 + λ2
(λ1 + λ2 ) n - (λ1 +λ2 )
= e , n ∈ N \ {0 } .
n!
(2 ) E( N1 + N2 | N1 ) 的分布律
E( N1 + N2 | N1 ) = E( N1 | N1 ) + E( N2 | N1 ) ( 性质 (2 ) )
= N1 + E( N2 ) ( 性质 (4 ) )
= N1 + λ2 ,
164 第 4 章 数字特征
所以 E( N1 + N2 | N1 = n) = n + λ2 ( n∈ N \ { 0} ) ,
n
λ1 - λ
P{ E( N1 + N2 | N1 ) = n + λ2 } = P( N1 = n) = e ,
n!
n ∈ N \ {0 } .
例 5 .4 设 ( Y n , n ≥ 1 ) 独 立同 分 布 , P( Y n = 1 ) = p ≥ 0 ,
n
P( Y n = - 1 ) = q = 1 - p ≥ 0 , X0 = 0 , Xn = ∑Y
k= 1
n .求 E( X3 | X2 )
的分布律及 E( X3 | X2 ≥ 0) .
解 (1 ) E( X3 | X2 ) = E( X2 + Y3 | X2 ) = E( X2 | X2 ) +
E( Y3 | X2 ) = X2 + E( Y3 ) = X2 + p - q .E( X3 | X2 ) 的分布律如
下表所示 :
X2 - 2 0 2
E( X3 | X2 ) - 2 + ( p - q) p- q 2+ p- q
P{ E( X3 | X2 ) = X2 + p - q} (1 - p) 2 2 p(1 - p) p2
(2 ) 因 E( X3 | X2 ≥0 ) = E( X2 + Y3 | X2 ≥0) = E( X2 | X2 ≥0 ) +
E Y3 , 故
E( X3 | X2 ≥ 0) = 0・ P( X2 = 0 | X2 ≥ 0) + 2・
P( X2 = 2 | X2 ≥ 0) + ( p - q)
2 2
= 2 p / (2 p q + p ) + ( p - q) .
(1 ) 定义
定义 5 .4 对二维随机变量 ( X , Y ) , 设 Y 为连续型随机变量 ,
具有概率密度函数 f Y ( s) , f X | Y = s ( t | s) 为 X 关于 Y = s 的条件概
+∞
率密度函数 ; 若 ∫ - ∞
| x | f X | Y = s ( x | s) d x < + ∞ , 则称
4 .5 条件数学期望 165
def +∞
E( X | Y = s) ∫ - ∞
x f X | Y = s ( x | s) d x ( 5 .3)
为 X 关于 Y = s 的条件数学期望 .
类似于第 3 章 3 .4 节可以定义 X 关于 Y∈ L 的条件分布函数
及密度函数 .事实上 , 对于 给定的 L∈B, ( 即 对一维 博雷 尔集 L ) ,
若 P( Y∈ L) > 0 , 则 X 关于 Y∈ L 的条件分布函数定义为
P( X ≤ t, Y ∈ L)
P( X ≤ t | Y ∈ L) = .
P( Y ∈ L)
若对 " B∈B, 存在非负函数 f ( t| L) , 满足
P( X ∈ B | Y ∈ L) = ∫ u∈ B
f ( u | L) d u,
称 f ( t| L) 为 X 关于 Y∈ L 下的条件概率密度函数 .
对于一般的随机变量 X , a < b, 求 X 在 a < X < b 的条 件分 布
函数 , 通常称为 X 的截尾分布函数 .
+∞
定义 5 .5 给定 L ∈ B, P( Y ∈ L) > 0 ,若 ∫ -∞
| t | f ( t | L)d t <
+ ∞ , 则称
+∞
E( X | Y ∈ L) = ∫ -∞
t f ( t | L) d t ( 5 .4)
为 X 关于 Y∈ L 下的条件数学期望 .
例 5 .5 设 X~ N (2 , 12 ) , L = { X≥0 } , 求 X 在 { X≥0} 下的条
件数学期望 .
解 由第 2 章例 5. 1 知 , X 关于 X ≥0 的条件概率密度为
2
-1 1 e - ( x -22) I( x≥ 0 ) .
f X | X ≥ 0 ( x) = ( 0 .9772 )
2π
故
+∞ 2
1 - ( u-2)
∫
- 1
E( X | X ≥ 0 ) = Φ ( 2) e 2
du
x
2π
166 第 4 章 数字特征
令 t= x - 2 +∞ 2
1 - t
Φ (2 ) ∫
-1 2
= ( t + 2) e dt
- 2
2π
-1 1 -2
= Φ (2 ) e +2 .
2π
显然 , 条件数学期望 E( X | Y = y) 是 X 局限 在 ω∈ { Y = y} 的局 部
加权平均 , 它是 y 的函 数 .类 似于 以离 散 型随 机变 量为 条件 的 条
件期望 , 定义一个新的随机变量 E( X | Y ) , 使其在 ω∈{ Y = y}时 的
取值为 E( X | Y = y ) .
下面讨论一般随机变量的情形 .
定义 5 .6 对 二维 随 机变 量 ( X , Y ) , 设 E | X | < + ∞ , " y∈
R , E( X | Y = y ) 存在 , 若随机变量 E( X | Y ) 满足 :
(1 ) E( X | Y ) 是 Y 的 函数 , 且 当 ω∈{ Y = y}时 , E( X | Y ) 的 取
值为 E( X | Y = y ) ;
(2 ) 对 " L∈B, 恒有 E{ E( X | Y ) | Y∈ L} = E{ X | Y∈ L} .
则称随机变量 E( X | Y ) 为 X 关于 Y 的条件数学期望 .
下面给出便于直观理解的等价定义 .
定义 5 .6( a) 对 于 二维 随 机向 量 ( X , Y ) , E | X | < + ∞ .记
+ -
Y = Y∨0 , Y = - ( Y∧0) , 按照第 3 章节 3 .3 命 题 3 .5 , 以 (3 .5)
+ - + -
式定义的离散型随机 变量 Y n , Yn , 及 Y n = Y n - Y n 有 Yn (ω) →
Y (ω) .若lim E( X | Yn ) 存在 , 则称 E( X | Y ) = n→
lim E( X | Y n ) 为 X 关
n→ ∞ ∞
于 Y 的条件数学期望 .
说明 事实上 , 可以证明 , 以上两个定义在几乎处处相等的意
义下是等价的 .两个随机变量 X1 , X2 , 若 P( X1 (ω) = X2 (ω) ) = 1 ,
则称 X1 , X2 几乎 处处 相等 , 简 记为 X1 = X2 a .s .( 或 a .e .) .容 易
证明 : 若 X1 = X2 a .s ., 则它们的分布函数相等 , 即 " x∈R , P( X1 ≤
x ) = P( X2 ≤ x ) .以后对于用条 件数 学期望 表示 的等 式 , 都 是在 几
乎处处意义下相等的 .
4 .5 条件数学期望 167
(2 ) 广义的全概率公式
由上述定义 , 易知
+∞
E( X) = E{ E( X | Y ) } = ∫ - ∞
E( X | Y = y) d P( Y ≤ y ) .
( 5 .5)
这是因为 : 当取 L = R = ( - ∞ , + ∞ ) 时 , 有
E X = E{ X | Y ∈ R } = E{ E( X | Y ) | Y ∈ ( - ∞ , + ∞ ) }
+∞
= E{ E( X | Y ) } = ∫ - ∞
E( X | Y = y) d P( Y ≤ y ) ,
当取 X = I A ( ω) 时 , E ( X ) = E ( I A ) = P ( A) , 又 E ( I A | Y = y ) =
P( A| Y = y) , 则由 ( 5 .5) 式有
+∞
P( A) = ∫ - ∞
P( A | Y = y ) d P( Y ≤ y) . ( 5 .6)
(5 .5 ) 式及 ( 5 .6) 式可看作是广义的全概率公式 .
应用 (5 .6 ) 式 , 若取 A = ( X≤ x) , 则
+∞
P( X ≤ x ) = E( I( X≤ x ) (ω) ) = ∫ -∞
E( I( X≤ x) | Y = y ) d P( Y ≤ y)
+∞
=∫ -∞
P( X ≤ x | Y = y ) d P( Y ≤ y)
+∞
=∫ -∞
P( X ≤ x | Y = y ) d P( Y ≤ y) ,
得
+∞
P( X ≤ x ) = ∫-∞
P( X ≤ x | Y = y) d P( Y ≤ y) .
(5 .6a)
(3 ) 条件数学期望的性质
设 EY , E( X i | Y ) , E( h( Y ) ) , E{ g( X) h( Y ) } 存在 , 则
① E[ E( Y | X) ] = E( Y ) ;
n n
② E ∑CX
i= 1
i i | Y = ∑ C E( X
i= 1
i i | Y ) a .s .;
168 第 4 章 数字特征
③ 若 X、Y 独立 , E[ h( Y ) | X] = E( h( Y ) ) a .s .;
④ E( X | X) = X, E( g( X) | X) = g( X) a .s .,
E[ g( X) h( Y ) | Y] = h( Y ) E[ g( X) | Y] a .s ., (5 .7a)
E[ g( X) h( Y ) ] = E[ h( Y ) E[ g( X ) | Y] ] a .s . . ( 5 .7b)
这些性质的证明 , 仅 限 制 在连 续 型的 情 形下 , 请 读 者思 考 并 作 为
练习 .
现就最后一个等式证明如下 .
设 ( X , Y ) 有联合概率密度函数 f ( x, y) , 设 f Y ( y) 是 Y 的概率
密度函数 , 于是
+∞ +∞
E{ g( X) h( Y ) } = ∫∫ -∞ - ∞
g( x ) h( y) f ( x, y) d xd y
+∞ +∞
g( x) f ( x , y)
=∫∫ -∞ - ∞ fY ( y )
d x h ( y ) f Y ( y) d y
+∞
=∫ -∞
E[ g( X) | Y = y] h( y) f Y ( y) d y
= E[ h( Y ) E[ g( X) | Y ] ] .
特别地 , 若取 I A (ω) = g( X) , h( Y ) = 1 得
+∞
P( A) = ∫ - ∞
P( A | Y = y) f Y ( y ) d y,
这正是全概率公式 !
下面举几个例子以加深对上述概念及性质的理解和认识 .
2 2
例 5 .6 设 ( X, Y ) ~ N(μ1 ,μ2 ,σ1 ,σ2 ,ρ) , 求 E( Y | X) .
解 先求 Y 关于 X = x 的条件概率密度函数 .
f ( x, y) 1
f Y | X = x ( y | x) = = ・
f X ( x) 2 1/ 2
2πσ2 (1 - ρ )
1
exp - 2 2 [ y - μ2 - ρσ2 σ1- 1 ( x - μ1 ) ] 2 ,
2σ (1 - ρ )
2
即
4 .5 条件数学期望 169
E( Y | X = x ) = ∫ -∞
y f Y | X = x ( y | x ) d y = μ2 + ρσ2σ1- 1 ( x - μ1 ) ,
得
E( Y | X) = μ2 + ρσ2σ1- 1 ( X - μ1 ) . ( 5 .8)
从此例中看到 : 二元正态分布 ( X , Y ) 的条件数 学期望是 X 的
线性函数 , 这也正是正态分布的重要性质之一 .
例 5 .7 设 X1 , X2 独立 , X i ~Ex (λi ) ( i = 1 , 2 ) .求
E( X1 | X1 ≤ X2 ) .
P( X1 > x, X1 ≤ X2 )
解 P( X1 > x | X1 ≤ X2 ) = ,
P( X1 ≤ X2 )
其中
∞
∫
-λ u
P( X1 > x, X1 ≤ X2 ) = P( X1 > x, u ≤ X2 | X1 = u)λ1 e 1 du
x
= ∫ x
P( u ≤ X2 )λ1 e - λ1 u d u
∞
λ1
= ∫ x
λ1 e - (λ1 +λ2 ) u d u =
λ1 + λ2
e - (λ1 +λ2 ) x ,
+∞
P( X1 ≤ X2 ) = ∫ 0
P( X2 ≥ x | X1 = x) d P( X1 ≤ x)
+∞
λ1
=∫ 0
e - λ2 xλ1 e - λ1 x d x =
λ1 + λ2
,
所以
+∞
E( X1 | X1 ≤ X2 ) = ∫ 0
P( X1 > x | X1 ≤ X2 ) d x
+∞
1
∫
- (λ +λ ) x
= e 1 2
dx = .
0 λ1 + λ2
下面来证明与这个结果相关的指数分布的一个有趣性质 .
命题 5 .1 设 X1 , X2 独立 , 且 X i ~ Ex(λi ) ( i = 1 , 2 ) , 则
170 第 4 章 数字特征
E( X1 | X1 ≤ X2 ) = E[ mi n( X1 , X2 ) ] .
证明 因为
P( min( X1 , X2 ) > t) = P( X1 > t, X2 > t) = e - (λ1 +λ2 ) t ,
- (λ +λ ) t
P( min ( X1 , X2 ) ≤ t) = 1 - e 1 2 ,
得 min ( X1 , X2 ) ~ Ex(λ1 + λ2 ) .
由例 5 .6 的结论得
1
E( X1 | X1 ≤ X2 ) = E[ min( X1 , X2 ) ] = .
λ1 + λ2
若推广这个结论可得下面的结论 .
命题 5 .2 若 X1 , X2 , … , X n 独立 , 且 X i ~ Ex (λi ) ( i = 1 , … ,
n) , 则
min( X1 , … , Xn ) ~ Ex (λ1 + λ2 + … + λn ) ,
n
-1
E 1 min
≤ i≤ n
Xi = ∑λi
i =1
.
例 5 .8 设 X1 , X2 , X3 独立 , X i ~ Ex(λi ) ( i = 1 , 2 , 3) .求
E( X2 | X1 ≤ X2 ≤ X3 ) .
解 E( X2 | X1 ≤ X2 ≤ X3 ) = E ( X1 + ( X2 - X1 ) | X1 ≤ X2 ≤
X3 ) = E( X1 | X1 ≤ X2 ≤ X3 ) + E( X2 - X1 | X1 ≤ X2 ≤ X3 ) .
1
由命题 5 .2 知 E( X1 | X1 ≤ X2 ≤ X3 ) = , 根据指 数分 布
λ1 + λ2 + λ3
的无记忆性 , 有
E( X2 - X1 | X1 ≤ X2 ≤ X3 ) = E( X2 | X2 ≤ X3 )
1
= E( X2 ∧ X3 ) = .
λ2 + λ3
故
1 1
E( X2 | X1 ≤ X2 ≤ X3 ) = + .
λ1 + λ2 + λ3 λ2 + λ3
4 .5 条件数学期望 171
3 条件概率、条件 分布函数的 推广
(1 ) 定义
定义 5 .7 设 3 个离散型随机变量 ( X , Y , Z) , 且 E| X | < ∞ ,
则称
E( X | Y = y j , Z = zk ) = ∑x i
i p ( X = xi | Y = yi , Z = z k )
为 X 关于 Y = yi , Z = zk 的条件数学期望 ; 称
E( X | Y , Z) = ∑I
j, k
(Y = y ,Z= z )
i k
E( X | Y = y j , Z = z k )
为 X 关于 ( Y , Z) 的条件数学期望 .
由定义 , 易知 E( X | Y , Z) 具有以下两方面的直观意义 :
① E( X | Y , Z ) 是 ( Y , Z) 的 二 元 函 数 , 当 Y = yj , Z = z k 时 ,
172 第 4 章 数字特征
E( X | Y , Z) = E( X | Y = yj , Z = zk ) ;
2
② 对任意 ( D1 , D2 ) ∈ B , E[ E( X | Y , Z ) | Y ∈ D1 , Z∈ D2 ] =
E[ X | Y∈ D1 , Z∈ D2 ] .
注意 E( X | Y , Z ) 是 ( Y , Z ) 的二 元 函 数 , 因 此这 样 的条 件 数
学期望刻画了 X 与 ( Y , Z) 之间的概率特性 .
对于 X 是一般随机变量 , 而 ( Y , Z) 是离散 型随 机变量 或是 连
续型随机变量的情形 , 定义 E( X | Y , Z ) 与 前面 定义 E( X | Y ) 相 类
似 .不难把以上定义推广到 n 元的情况 , 请读者自己尝试着定义 .
(2 ) 简单性质
若 E| X | < ∞ , E| X i | < ∞ ( 1 ≤ i≤ n) , E | g ( Y1 , … , Y n ) | <
∞ , 则有
n
① E( C1 X1 + … + Cn X n | Y1 , … , Y n ) = k∑ Ci E ( Xi | Y1 , … , Y n )
= 1
a .s .;
② E[ g( Y1 , … , Yn ) X | Y1 , …, Yn ] = g( Y1 , … , Yn ) E[ X | Y1 , … ,
Yn ] a .s .;
③ 若 X 与 Y1 , … , Y n 独立 , 则 E[ X | Y1 , … , Y n ] = E X a .s .;
④ E[ E( X | Y1 , … , Y n ) ] = E X , 表 明各 局 部 加权 平 均的 加 权
平均等于总的加权平均 ;
⑤ 对 ( X , Y , Z) 的情况 , 有
E( X | Y ) = E[ E( X | Y , Z) | Y] = E[ E( X | Y ) | Y , Z] a .s .
( 5 .9)
性质①~ ④的 证明均请 读者自己 补出 .以下 给出性质 ⑤在 离
散型随机变量情形下的证明 : 对任意给定的 ω∈{ Y = y j , Z = zk } ,
有 E[ E( X| Y ) | Y = yj , Z = zk ] = E[ E( X | Y = yj ) | Y = yj , Z = zk ] =
E( X | Y = y j ) E[1 | Y = yj , Z = z k ] = E( X | Y = y j ) , 故 E( X | Y ) =
E[ E( X | Y ) | Y , Z] .又因为对任意给定的 ω∈{ Y = y j }有
E[ E( X | Y , Z) | Y = yj ] = E[ E( X | Y , Z) | Y = y j ]
4 .5 条件数学期望 173
= ∑ E( X |
k
Y = y j , Z = zk ) P( Z = z k | Y = y j )
= ∑∑x
k i
i P( X = xi | Y = y j , Z = zk ) P( Z = z k | Y = y j )
= ∑∑x
k i
i P( X = xi , Z = zk | Y = y j )
= ∑ x ∑ P( X =
i
i
k
xi , Z = zk | Y = y j )
= ∑x
i
i P ( X = xi | Y = yj )
= E( X | Y = yj ) ,
得 E( X | Y ) = E[ E( X | Y , Z) | Y] .
上式的直观意义留给读者自己解释 .最好举一实际例子 , 以加
深直观理解 .
对于条件是连续型的随 机向量 的条 件数学 期望 的 定义 , 性 质
与以上相类似 , 不再赘述 .
对二元随机变量 ( X , Y ) , 设 X 可观测 , Y 不可 观测 , 但 X 与 Y
之间有一定的统计关系 .这 时 , 希 望用 X 的 某一 ( 博雷 尔 可测 ) 函
数 g( X) 作为 Y 的预测 , 记 作 珟
Y = g ( X ) , 并 力求 选取 这 样的 珟
Y使
2 * * 2
E( Y - 珟Y) 达 到 最 小 .若 珟 Y 满足 E (Y - 珟 Y ) = inf { E ( Y -
2 *
g( X) ) } , 则称 珟
Y 为 Y 的最佳均 方预 测其 中 inf{ } 表 示集 合的 下
1
确界 , 即集合{ }的最大下界 , 如 inf , N≥1 = 0 .
n
*
定理 5 .1 若 E( Y | X) 存在 , 则 珟Y = E( Y | X) .
证明 等价 于 证 明 对 任 意 博 雷 尔 可 测 函 数 g ( X ) , E [ ( Y -
2 2
E( Y | X) ) ] ≤ E[ ( Y - g( X) ) ] .
E[ ( Y - g( X)) 2 ] = E{( Y - E( Y | X) ) + ( E( Y | X) - g( X) ) }2
= E[( Y - E( Y | X) )2 ] + E[ ( E( Y | X) - g( X))2 ] +
2 E[( Y - E( Y | X) )( E( Y | X) - g( X) ) ] ,
174 第 4 章 数字特征
而
E[ ( Y - E( Y | X) ) ( E( Y | X) - g( X) ) ] = E{ E[ ( Y - E( Y | X) ) ・
( E( Y | X) - g( X) ) ] | X} = E{ [ E( Y | X) - g( X) ]・
E[ E( Y | X) - E( Y | X) ] } = 0 ,
得
E( Y - g( X) ) 2 = E( Y - E( Y | X) ) 2 + E( E( Y | X ) - g( X) ) 2
2
≥ E( Y - E( Y | X) ) .
*
故, 珟
Y = E( Y | X) , 即条件数学期望 E( Y | X) 是对 Y 的最佳均
方预测 .
这表明用 E( Y | X ) 描述 Y 与 X 之间的关系是最佳地刻画 ( 均
方意义下 ) .它比用 ρX Y 刻画两者之间线性关 系的密切 程度要更 深
入与精细 .
在本定理的证明中 , 充分 应用 了条件 数学 期 望的 性质 .可见 ,
恰当地运用这些性质往往可以使问题得到大大的简化 .
Y* .
例 5 .9 设 ( X, Y ) ~ N(μ1 ,μ2 ,σ12 ,σ22 ,ρ) , 用 X 预测 Y , 求珟
Y * = E( Y | X) , 由例 5 .6 , E( Y | X) = μ2 +ρσ2 σ1- 1 ( X -
解 珟
μ1 ) , 故
* -1
珟
Y = E( Y | X) = μ2 + ρσ2 σ1 ( X - μ1 ) . (5 .1 0)
进一步推广如下 .
若用 X1 , X2 , … , Xn 的某一 ( 博雷尔可测 ) 函数作为 Xn + 1 的预
X n*+ 1 = E( Xn + 1 | X1 , … , X n ) ( 如右
测 , 则 X n + 1 的最佳均方预测为 珦
边存在的话 ) .
例 5 .10 设{εn , n ≥ 1 } 独立同分布 , 且 εn ~ N (0 ,σ2 ) , X0 =
0 , Xn - aX n - 1 = εn ( | a | < 1 常数 ) , 用已知 X1 , X2 , … , Xn 去预测
Xn + 1 , 求 Xn + 1 的最佳均方预测 .
k- 1
∑ aε
h
解 由 Xk = k- h (1 ≤ k ≤ n) , 知 X1 , X2 , … , X n 与εn + 1
h= 1
独立 , 故
4 .6 母函数 175
X n*+ 1 = E( X n + 1 | X1 , … , X n ) = E( aX n + εn + 1 | X1 , … , X n )
珦
= E( aX n | X1 , … , X n ) + E(εn + 1 | X1 , … , Xn )
= aX n + Eεn + 1 = aX n .
6 条件方差
2
定义 5 .8 设二维随机变量 ( X , Y ) , 若 E( X | Y ) 存在 , 则称
D( X | Y ) = E[ ( X - E( X | Y ) ) 2 | Y] 是 X 关于 Y 的条件方差 .
易知 D( X | Y ) = E( X2 | Y ) - ( E( X | Y ) ) 2 .
4 .6 母 函 数
对于取值非负整数的随机 变量 , 其 母函 数有极 其 良好 的分 析
性质且便于计算和分析 , 因此引入母函数是非常必要的 .母函数又
称生成函数 ( gener ati ng function) .
∞
∑ a s (|
n
定义 6 .1 对于数列{ an , n ≥ 0} , 称幂级数 g( s) = n s|
n= 0
≤ 1) 为{ an , n ≥ 0 } 的母函数 .
0 1 n
例 6 .1 对组合数列 C n , C n , … , C n , 其母函数为
n
∑C s
k k n
g( s) = n = (1 + s) .
k= 0
∑p s
X k
g( s) = E( s ) = k , | s|≤ 1 ( 6 .1)
k= 0
为 X 的概率母函数 , 简称为母函数 .
1 几个常用分 布的母函 数
(1 ) 二项分布
n
设 X~ B( n, p) , 则它的母函数为 g( s) = ( q + sp) .实际上
176 第 4 章 数字特征
n n
∑ ∑ Cn p (1 - p)
X k k k n- k k n
g( s) = E( s ) = pk s = s = ( q + sp ) .
k= 0 k= 0
由上式可得二点分布的母函数为 g( s) = q + sp .
(2 ) 泊松分布
λ( s - 1 )
设 X 服从 X ~P o(λ) , 则其母函数为 g( s) = e .因为
∞
λk e - λ k - λ sλ λ( s - 1 )
∑
X
g( s) = E( s ) = s = e e = e .
k= 0 k!
(3 ) 几何分布
k - 1
设 X 服从参数为 p 的几何分布 , 即 P( X = k) = q p( k = 1 ,
2 , … ) , 则其母函数为 g( s) = ps/ ( 1 - qs) .事实上
∞
ps
∑q
X k- 1 k
g( s) = E( s ) = ps = .
k= 1 1 - qs
2 母函数的基 本性质
( k)
g ( 0)
(1 ) pk = , k ∈ N = {0 , 1 , 2 , …} .
k!
g( k) ( 0)
若已知 X 的母函数 , 则由 pk = 唯 一地确 定{ p k , k =
k!
0 , 1 , …} .所 以 说 , X 的 概 率 分 布 { pk , k = 0 , 1 , … } 与 其 母 函 数
g( s) 是一一对应的关系 .
(2 ) 设 非 负 整 值 随 机 变 量 X1 , X2 , … , X n 相 互 独 立 , 而 g1 ,
n
g2 , … , gn 分别是它们的母函数 , 则 Y = ∑X
k= 1
k 的母函数为
n
g( s) = g1 ( s) g2 ( s) … gn ( s) = ∏ g ( s)
k=1
k . ( 6 .2)
证明 由定义可知
X + …+ X X X
g( s) = E( s 1 n
) = E( s 1 ・…・ s n )
n
∏ g ( s)
X X
= E( s 1 ) ・…・ E( s n ) = k .
k=1
上式第三个等号是由于 X1 , … , Xn 独立 .
4 .6 母函数 177
3 几个应用
例 6 .2 设 X1 , X2 , … , Xn 独立同分布 , Xk ~ B(1 , p) (1 ≤ k ≤
n
n) , 求 Y = ∑X
k= 1
k 的分布 .
解 X1 服从两点分布 , 其母函数为 g1 ( z) = q + pz ; 又由 于
X i ( i = 1 , 2 , … , n) 同分布 , 由定理 6 .1 可知 Y = ∑X k 的母函数为
1 ( k)
n
g( z) = ( q + pz ) , 则由 pk = g ( 0) 可求得 Y 的分布律 .
k!
例 6 .3 设 X1 , X2 独立 , 且 X i ~ B( ni , p) ( i = 1 , 2 ) , 证明
X1 + X2 ~ B( n1 + n2 , p) .
证明 由 gX k ( s) = ( q + sp ) n 及 ( 6 .2) 式有
n n n +n
gX1 + X2 ( s) = ( sp + q) 1 ( sp + q) 2 = ( sp + q) 1 2 ,
所以 X1 + X2 ~ B( n1 + n2 , p) .证毕 .
例 6 .4 设 T1 , T2 , … , Tn 独立同分布且 T n ~ G( p) ( 0 < p <
n
1) , 参数同为 p, 求 Sn = ∑T k=1
k 的分布 .
ps
解 T1 服从几何分布 , 则其母函 数为 g1 ( s) = .由于 Ti
1 - qs
n
ps
独立同分布 , 则 Sn 的 母函 数 为 g ( s) = , 然后 , 将其 展 成
1 - qs
幂级数 , 从而找出 Sn 的分布
n ∞
ps n( n+ 1) … ( n+ k - 1)
∑
n n - n n n
= p s (1 - qs) = ps ( qs) k
1 - qs k= 0 k!
∞ ∞
∑C ∑ Cn + k - 1 p q
k n k n+ k n-1 n ( n + k) - n n+ k
= n+ k - 1 pq s = s
k= 0 k=0
∑C
n-1 n k- n k
= k-1 p q s ,
k= n
178 第 4 章 数字特征
所以 Sn 的分布为 P ( Sn = k) = C nk -- 11 pn qk - n ( k = n, n+ 1 , … ) .
例 6 .5 设 X1 , X2 相互独立 , 且 Xk ~ Po(λk ) ( k = 1 , 2 ) .证明 :
X1 + X2 ~ Po(λ1 + λ2 ) .
λ ( s - 1)
证明 由已知 Xk ~ P o(λk ) , 知 gk ( s) = e k
( k = 1 ,2) , 且
X1 , X2 互 相 独 立 , 则 X1 + X2 的 母 函 数 g( s) = g1 ( s) g2 ( s) =
e(λ1 +λ2 ) ( s - 1 ) , 所以 X1 + X2 ~ P o(λ1 + λ2 ) . 证毕 .
这与第 3 章的有 关 结 论 相同 , 但 证 明较 简 单 , 足见 母 函 数 的
威力 .
(1 ) 母函数与数字特征的关系
定理 6 .1 母函数与期望和方差间的关系可如下表示 :
E( X) = g′(1 ) , D( X) = va r( X) = g″( 1) + g′(1 ) - [ g′( 1) ] 2 .
( 6 .3)
∞
证明 由定义 g( s) = ∑p s , 两边对 s 求导 , 有
k
k
k= 0
∞ ∞
∑ kp ∑ kp
k-1 k-1
g′( s) = k s = k s ,
k= 0 k= 1
∞
因此 g′(1 ) = ∑ kp
k= 1
k = EX , 而
∞
∑ k( k -
2
g″( s) | s= 1 = 1 ) pk = E[ X( X - 1) ] = E( X ) - E( X) ,
k= 2
2 2 2
所以 D X = E X - E( X) = g″(1 ) + g′(1 ) - [ g′( 1) ] .证毕 .
(2 ) 母函数的期望表示
∞
∑s P( X =
k X
由母函数的定义 gX ( s) = k) = E( s ) 可知 , X 的
k=0
母函数就是 sX 的数 学 期 望 , 即 在 母 函数 与 期 望 之 间有 紧 密 的 联
系 , 使用母 函数的期 望表示可 以简化 母函数的 运算、证 明 .这一 点
练习题 179
在证明定理 6 .1 时已经看到了 .
例6 .6 在一次核反应中 , 某个粒子可能分裂为 2 或 3 个粒子
或不分裂 .这 3 种可能性相应的概率分别为 p2 , p3 与 p1 , 新粒子的
分裂性态是相 同的 ( 与原 有粒子 分裂性态 相同 ) , 并且 分裂的情 形
彼此独立 , 求两次反应以后粒子总数的分布 .
解 令 X1 = 第一次反应后的粒子数 , X2 = 两次反应后的粒
子数 .
X 2 3
由题意 E( s 1 ) = g( s) = p1 s + p2 s + p3 s , 求 X2 的 母函 数
E( sX 2 ) .由于两次反应后的总粒子数 , 是由一次反应后各个粒子分别
独立的分裂 (或不分裂) 产生的粒子总和, 故有 X2 = Y1 + Y2 + … +
Y X1 , 这里 Y i = 第一次反应后第 i( i = 1 , 2 , 3) 个粒子分裂产生的
粒子数 , Y i 与 X 1 同分布 , 故 gi ( s) = E( sX1 ) ; 由定理 6 .1 , E( sX 2 ) =
Y + …+ Y X
E( s 1 X
1 ) , 由于 X1 是随机变量, 应用条件期望性质有 E( s 2 ) =
Y + …+ Y
E[ E( z 1 X
1 | X1 ) ] . 因为
Y + …+ Y Y +… + Y Y +… + Y
E( s 1 X
1 | X1 = k) = E( s 1 k
| X1 = k) = E( s 1 k
)
Y Y Y k
= E( s 1 ) E( s 2 ) … E( s k ) = [ g( s) ] ,
故 有 E( sY 1 + … + Y X1 | X1 ) = [ g( s) ] X1 , 从 而 得 E( sX2 ) =
X X
E[ ( g( s) ) 1
] , 故将 E( s 1 ) = g( s) 的 s换成 g ( s) 即为 X2 的母函数
X
E( s 2 ) = g[ g( s) ] .
有关母函数的详细 内 容可 参阅 费勒 ( Feller) 名 著《概率 论 及
其应用》第 2 卷 .
练 习 题
4 .1 设随机向量 ( X , Y ) 的联合分布律同第 3 章 3 .1 题 , 试求
E( X + Y ) , E( X ∨ Y ) , E( X ∧ Y ) .
180 第 4 章 数字特征
4 .2 设{ Yn , n ≥ 1} 独立同分布 , P( Yn = 1 ) = p > 0 , P( Yn =
n
- 1) = q = 1 - p > 0 , X0 = 0 , Xn = ∑Y
k=1
k ( n ≥ 1 ) , Vn =
( q/ p) X n , T = mi n{ n, n ≥ 1 , Xn = - 1 或 X n = 2 } .求 : (1 ) E X 3 ,
E X 100 0 ; ( 2) EV n ; ( 3) ET ; (4 ) E X T ; ( 5) E( T ∧ n) ( n > 0 固 定
常数 ) .
4 .3 设随机变量 N 同第 2 章 2 .3 1 题定义 , 求 E N .
4 .4 某箱中 装 有 n 张 标 号 1 至 n 的 票 券 , 按 放 回 逐 张 抽
取 .问 :
(1 ) 到第 一张 抽出的 票券 再次 被抽出 为止 , 抽取 的期 望数 是
多少 ?
(2 ) 到第一次出现重复为止 , 抽取的期望数是多少 ?
(3 ) 若只抽取 m 次 , 最大票券号码的期望数是多少 ?如是以无
放回方式抽取 m 次 ( m ≤ n) , 回答同一问题 .
4 .5 对某一目标进行射击 , 直到 击中 r 次为 止 , 如果 每次 射
击的命中率为 p , 求需射击次数的均值和方差 .
4 .6 现有编号的 n 个袋子 , 第 i 个袋中装有 a i 个红球和 b i 个
白球 ( 1 ≤ i ≤ n) .现先从 1 号袋中随机的取出一球 , 记下颜色后放
入 2 号袋中 , 再从 2 号袋随机取出一球 , 重复以上过程 , 直至从 n 号
袋任取一球 , 记 下 颜色 为 止 .记 这 n 次 取 到 红球 的 个 数 为 S n , 试
求 ES n .
4 .7 设 X = ( X i , 1 ≤ i ≤ r) 服从参数为 ( n; r , p1 , p2 , … , pr )
的多项分布 , 试求 E X i X j , cov( X i , X j ) , 及 ρX i X j (1 ≤ i, j ≤ r) .
4 .8 设有 n 个 形状完 全相同 ( 不 可辨 ) 的球 , 随 机地放 在 m
个有编号的盒子中 ( 假设每一个球放在每一盒是等可能的 , 每盒放
的球数不限 ) .试求球超过 l 个 ( m, n m l ≥ 1 ) 的期望盒数 .
4 .9 某城市共有 m 辆汽车 , 车牌编号为 1 到 m .若随机的记
下 m 辆车的车牌号 , 其最大号记为 X , 求 E X .
练习题 181
4 .10 设 X 为取值非负整数随机变量, 证明 EX = ∑ P( X ≥
n= 1
n) ; 设随机变量 Y ≥ 0 , 分布函数为 F( s) , 证明
∞
EY = ∫ [1 -
0
F( s) ] ds .
- 1) = 1 - p = q > 0, X0 = 0 , Xn = ∑Y , A
i=1
i 1 = { Y1 + Y2 + Y3 =
- 1} , A2 = { Y2 + Y3 + Y4 + Y5 = - 2 } , B1 = { X4 = 2 } , B2 =
{ Y3 + Y4 + Y5 + … + Y9 = 3} .
(1 ) A1 , A2 是否相容 ?说明理由 .当 p = 1/ 3 时 , A1 , A2 是否独
立 ?证明你的结论 ;
(2 ) 求 P( B1 B2 ) , P( B2 | B1 ) , P( B2 | 珚
B1 ) ;
(3 ) 求 E( I A2 | I A 1 ) 的示性函数表达式 ;
(4 ) 求 E( X4 | Y1 , Y2 ) , E( X4 | X2 ) 的示性函数表达式 .
4 .13 设 P( A) = 0 .5 , P( B) = 0 .6 , P( B | A) = 0 .8 , 求
E( I A ∪ B | I A = 1 ) , E( I A∪ B | I A = 0 ) 及 E( I A∪ B | I A ) , E( I A∪ B | I A ,
I B ) 的分布律 .
4 .14 设 A, B, C ∈ F , 试用定义证 :
(1 ) E( E( I A | I B ) ) = E( I A ) ;
182 第 4 章 数字特征
(2 ) E( I A | I B ) = E( E( I A | I B , IC ) | I B )
= E( E( I A | I B ) | I B , IC ) .
4 .15 设{ Yn , n≥ 1} 独立同分布, P( Yn = 1) = p > 0 , P( Yn =
0) = r ≥ 0 , P( Yn = - 1 ) = q > 0 , p + q + r = 1 , 令 X0 = 0 ,
n
Xn = ∑Y
i= 1
i , A = { Y1 + Y2 + Y3 = 1} , B = { X4 - X1 = 2} .
(1 ) 求 P( AB ) , P( B | A) , P( A ∪ B) ;
(2 ) 求 E X 10 0 , D X1 00 , cov( X1 00 , X4 00 ) 及 X1 00 与 X40 0 的 相 关
系数 ;
(3 ) 求 E( I B | I A = 1) , E( I B | I A = 0 ) 及 E( I B | I A ) 的 分
布律 ;
(4 ) 求 E( X6 | I A = 1 ) 及 E( X6 | I A ) 的示性函数表示式 .
4 .16 设{ Yn , n≥ 1} 独立同分布, P( Yn = 1) = p > 0 , P( Yn =
0) = r ≥ 0 , P( Yn = - 1 ) = q > 0 , p + q + r = 1 , 令 X0 = 0 ,
n
∑Y
X
Xn = i , Un = Xn - n( p - q) , V n = ( q/ p) n .
i= 1
(1 ) 证明 EUn = EU0 , EV n = E V0 , " n ≥ 2;
(2 ) 求 E( U3 | U0 , U1 , U2 ) , E( V4 | V0 , V1 , V2 ) ;
(3 ) 证明 : E( U n + 1 | U0 , U1 , … , U n ) = U n ,
E( V n + 1 | V0 , V1 , … , V n ) = V n ;
(4 ) 试考虑 ( 3) 的结论是否可以推广 ?
4 .17 设 N1 , N2 独立, Ni ~ p(λi ) ( i = 1 , 2) ,求 :(1) E( N1 | N1 +
N2 = n) ; ( 2) E( N1 | N1 + N2 ) 及 E( N1 + N2 | N1 ) 的分 布律 .
4 .18 若 X 的密度函数是偶函数 , 且 E( X2 ) < ∞, 试证: | X |
与 X 不相关 , 但它们不相互独立 .
4 .19 设轮船横向摇摆的随机振幅 X 的概率密度为 f ( x ) =
2 2
A x e- I( x > 0 ) . 求 : (1 ) A; (2 ) 遇 到 大 于 其 振 幅 均 值 的 概 率 ;
x / 2σ
(3 ) E X ; ( 4) D X .
练习题 183
4 .20 从 [0 , 1 ] 中随机的选 n 个点 , 分 别 求这 n 个值 的极 大
值、极小值和极差的均值 .
2 k -λ
4 .21 设 X ~ N(μ,σ ) , Y ~ Po(λ) , P( Y = k) = λ e / k !
( k ∈ N ) , X, Y 独立 , 求 Z = X/ ( Y + 1 ) 的概率密度函数及 EZ .
4 .22 设 { Xi , 1 ≤ i ≤ n} 独 立同 分 布 , Xi ~ U( 0 , t) , X( 1 ) ,
n
X( 2 ) , … , X( n ) 为其顺序统计量 , Sn = ∑X i= 1
i .(1 ) 求 ES3 ; ( 2) n = 3
时 , 求 E X (1 ) , E X (2) , E X (3 ) .
2
4 .23 设{ Xk , 1 ≤ k ≤ n} 相互独立 , X k ~ N (μk ,σk ) , Y 为离
n
散型随机变量 , 分布律为 P( Y = yk ) = p k ≥ 0 , ∑ pk = 1 , 且 Y 与
k= 1
n
{ X k , 1 ≤ k ≤ n} 独立 , 令 Z = ∑X
k= 1
k ・ I( Y = y k ) .试求 : ( 1) Z 的概率
密度函数 ; ( 2) EZ 和 D Z .
4 .24 设 随 机 变 量 X, E | X | < ∞ , A ∈ F( A 为 事 件 ) ,
{ Bk , 1 ≤ k ≤ n} 为样本空间 Ω的一个 分解 , P( AB k ) > 0 , " k ∈
{1 , … , n} ,
n
证明 : 1) E X = ∑ P( B
k= 1
k ) E( X | Bk ) ;
n
( 2) E( X | A) = ∑ P( B
k= 1
k | A) E( X | AB k ) .
4 .25 设 水 电公 司 在 指 定 时间 内 限 于 设 备 能 力 , 其 发 电 量
4 4
X(10 kW ) ~ U[10 , 23 ] ( 均 匀 分 布 ) , 用 户 用 电 量 Y ( 10 k W) ~
U[ 10 , 20 ] .假设 X 与 Y 独立 , 水电公司每供应 1kW 电得到 0 .32 元
的利润 , 但空 耗每 kW 电损失 0 .14 元 , 而如 用户用 电量超 过供 电
量时 , 公司需从别 处补电 , 每 1kW 电反 而赔 0 .20 元 .求在 指定 时
间内 , 该公司获利 Z 的数学期望 .
4 .26 设 U = aX + b, V = cY + d, ac > 0 .证明 ρU V = ρX Y .
4 .27 设 X1 , X2 , 独 立 同 分 布 , X i ~ N( 0 , 12 ) , 求 E( X1 ∧
184 第 4 章 数字特征
X2 ) 及 E( X1 ∨ X2 ) .
T T
4 .28 X = ( X1 , X2 ) ~ N (μ, Σ ) , 其 中μ = (μ1 ,μ2 ) =
1 4/ 5 3 2
(1 , 2 ) T ,Σ = .令 Y = X.
4/ 5 1 2 3
(1 ) 求 Y = ( Y1 , Y2 ) T 的协方差矩阵 , E( Y2 | Y1 ) 及 E( Y1 + Y2 ) ;
(2 ) 求 E( X2 | X1 = x) 及 D( X2 | X1 = x) ≡ E{ [ X2 -
E( X2 | X1 = x ) ] 2 | X1 = x} ;
(3 ) 试问 : { X2 - E( X2 | X1 ) } 与 X1 是否独立 ?证明你的结论 .
4 .29 设 { X i , 1 ≤ i ≤ n} 独立同分布 .
X1
(1 ) 当 X i > 0 时 , 证明 E = 1/ n;
X1 + … + X n
n n+ m
(2 ) 证明 cov ∑ X ,∑ X
i= 1
i
i= 1
i = nD X 1 ;
(3 ) 试问 ( 1) 的结果能否推广 ?请具体给出并证明 .
2n - 1
k
4 .30 设 Y ~ U[ 0 , 1] , 令 Yn = ∑2 k=0
n I 2
k ≤ Y < k+ 1
n
2
n ( n≥ 0) .
求 : 1) EY2 , E( Y Y1 ) , E( Y2 | Y1 ) ;
( 2) EY n , E( Y3 | Y1 , Y2 ) ;
( 3) E( Yn + 1 | Y n ) , E( Y n + 1 | Y1 , … , Y n ) .
4 .31 设 { Y n , n ≥ 1} 独立 同分 布 , Y k ~ N (0 ,σ2 ) (1 ≤ k ≤
2
μ nμ
n) , 令 Xn = exp 2 ( Y1 + … + Yn ) - 2 .求: (1) EX1 , E( X2 | X1 =
σ 2σ
x ) , " x ∈ R ; (2 ) E( X n + 1 | X1 , … , X n ) .
2 n- 1
k
4 .32 设 Y ~ U[0 ,1] ,令 Yn = ∑2
k= 0
n I 2
k ≤ Y < k+1
n
2
n ( n ≥ 0) , Xn =
λ( Y + 2 - n ) λY n
(e n
- e n
)・2 ( n ≥ 1) .求 : (1 ) Y 在给定 Y1 , … , Y n 下的条件
概率密度函数 ; (2 ) E( X2 | X1 ) , E( X3 | X1 , X2 ) ; (3 ) E( X n + 1 | X n ) ,
E( Xn + 1 | X1 , … , X n ) .
练习题 185
4 .33 设 { X i , 1 ≤ i ≤ n} 独 立 同 分 布 , X n ~ U (0 , 1 ) , 对
n
1
" 0 < t < 1 , 记 N n ( t) = ∑I
i= 1
( X ≤ t)
i
,珟
Fn ( t) =
n
N n ( t) ,αn ( t) =
n(珟
Fn ( t) - t) .
(1 ) 求 E N n ( t) , E珟
F n ( t) 及 D珟
F n ( t) ;
(2 ) " 0 < s < t ≤ 1 , 求给定 Nn ( s) 下 Nn ( t) - N n ( s) 的条件
分布律 ;
(3 ) " 0 < s < t ≤ 1 , 求 E( N n ( t) - N n ( s) | N n ( s) ) 的分布律 ;
(4 ) " t ∈ [0 , 1 ] , 固定 , 证明 : " ε> 0 , lim P( | 珟
Fn ( t) - t | <
n→ ∞
ε) = 1 .
1
4 .34 设 { X k , 1 ≤ k ≤ n} 独立且 X k ~ Ex(λ) ,λ= > 0,
θ
- λt
即 X k 的分布函数为 F ( t) = ( 1 - e ) I( t≥ 0 ) , X ( 1 ) , X ( 2 ) , … , X( n) 为
n
其顺序 统 计 量 " t ≥ 0 , N n ( t) = ∑I
k=1
(X
( k)
≤ t) ,珟
F n ( t) = N n ( t)/ n,
k
θn , k =
珓 ∑X
i= 1
( i) + ( n - k) X ( k) / k(1 ≤ k ≤ n) .
(1 ) 求证 : " t ≥ 0 , E(珟
Fn ( t) ) = F( t) ;
(2 ) 记 X( 0 ) = 0, 求: ( X( k) - X( k - 1 ) ) 的概率密度函数及 E( X( k) -
X( k - 1 ) ) ( 1 ≤ k ≤ n) ;
(3 ) 证明 : X( 1 ) , X( 2 ) - X ( 1 ) , … , X( n) - X( n - 1 ) 相互独立 ;
(4 ) 求证 E(珓
θn, k ) = θ= 1/ λ.
4 .35 已知 n 维随机向量 X ~ N (0 , I) , Σ= I 为 n 阶单位矩
阵 , 试证 : XT Σ - 1 X ~ χ2 ( n) , 其中 χ2 ( n) 的定义见练习题 3 .32 .
6 3 2
-1
4 .36 设 X ~ N(μ, Σ) , 其 中μ = 0, Σ = 3 4 1 ,求
2 1 2
( X2 , X3 ) T 的联合密度以及 X1 = x1 的条件下 , ( X2 , X3 ) T 的条 件
186 第 4 章 数字特征
密度 .
4 .37 设{ Xk , 1 ≤ k ≤ n} 独立同分布, Xk ~ U[0 , t] , X( 1 ) , … ,
X( n) 为其顺序统计量 .试求 E X ( k) ( 1 ≤ k ≤ n) .
4 .38 设 珟
Fn ( x) 与 F( x ) 同第 3 章 3 .36 题 .( 1) 求 : E珟
Fn ( x ) ;
(2 ) 利用切比雪夫不等式证明 : " ε> 0 , n→
lim P( | 珟
Fn ( x ) - F( x) | <
∞
ε) = 1; (3 ) " x ∈ R 固定 , 证明 P( n→
lim 珟
F n ( x) = F( x ) ) = 1 .
∞
∑ P( X ≤ k) z
k
(1 ) ;
k= 1
∞
∑ P( X
k
(2 ) = 2 k) z .
k= 0
∑Y
n= 1
n , 试求 X 的生成函数 .
X1 = ( Y1 - Y2 )/ 2 , X2 = ( Y1 + Y2 - 2 Y3 )/ 6 , X3 = ( Y1 + Y2 +
Y3 )/ 3 .证明 : X1 , X2 , X3 相互独立 .
2
4 .50 设 { Y1 , … , Y n } 独立同 分布 , Y k ~ N(μ,σ ) (1 ≤ k ≤
n n
∑ Y k , Zk = Y k - 珚Y( 1 ≤ k ≤ n) , Sn = ∑ ( Y k - 珚Y) .
2
n) , 记 珚
Y =
k= 1 k=1
证明 : 1) 珚
Y 与 Zk = Yk - 珚
Y 相互独立 (1 ≤ k ≤ n) ;
( 2) 珚
Y 与 Z2k = ( Y k - 珚
Y ) 2 相互独立 (1 ≤ k ≤ n) ;
( 3) 珚
Y 与 S n 相互独立 .
4 .51 ( 马尔可夫不等式 ) 设 E X = μ, 且 E | X - μ| k = μk
μk
存在 , 则 " ε> 0 有 P( | X - μ| ≥ε) ≤ k ( k ≥ 1) .
ε
4 .52 ( 坎泰利 ( Cant elli) 不等 式 ) 设 E X = μ, D X = σ2 ,
证明 :
(1 ) P( X - μ > ε) ≤ σ2 / (σ2 + ε2 ) , 对 " ε> 0;
2 2 2
(2 ) P( X - μ < ε) ≤ σ/ (σ + ε ) , 对 " ε> 0 .
188 第 4 章 数字特征
2 1 - ε2/ 2
P( | X - μ| > εσ) ≤ e .
π ε
∞
∫
2 2
( 提示 : 利用不等式 : e- u / 2 d u ≤ e- x - 1 , 对 " x > 0 .)
x / 2
∑( X ∑ DX
2
P 1max i - EXi ) ≥ε ≤ i ε .
≤ k≤ n
i= 1 i=1
第5章
独立随机变量序列的极限定理
本章主要讨论随机变量序列一些基本的极限定理 .包括 : 独立
同分布随机变量序列的弱大数定律 ; 特征函数及其性质 ; 中心极限
定理 ; 4 种收敛概念与相互关系等 ; 强大数定律 .
5 .1 大 数 定 律
n n
μn 1
∑ n∑
D X i = p(1 - p) .μn = Xi , E = E Xi = p ,
i=1 n i= 1
n n
μn 1
D = D ∑ X i = 12 D ∑X i = p( 1 - p) ≤ 1 ,
n n i= 1 n i=1 n 4n
故由切比雪夫不等式知 , " ε> 0 ,
μn μn
0 ≤ P ω: - p ≥ ε ≤ 12 D ≤ 1 2 → 0, n → ∞,
n ε n 4 nε
得
μn
lim P ω: - p < ε = 1 , " ε> 0 .
n→ ∞ n
μn
以上事实 , 我们称事件 A 的频率 以概率 收敛 到 p = P( A) ,
n
μn P μn
简记为 P ( A) ( n→∞ ) .直观 解 释 , 由 于 n→ ∞ 时 , D =
n n
μn
D - p →0 , 因 而 不论 任 给 多 么 小 的 ε> 0 , 当 n 越 大 时 , 事 件
n
μn μn
ω: - p <ε 的 概率 就越 大 , 且 越接 近于 1 , 即 频率 的 取 值
n n
落在 p 的ε小邻域中的概率越接近于 1 , 即 n→∞时 , 有
μn
P{ω: | - p | < ε} → 1 .
n
对于一般的独立同分布随机变量序列有以下结果 .
2
定理 1 .2 设{Yn, n≥1}独立同分布, 且 EYn = μ, , DYn =σ < ∞ .
n
1
n∑
令 Xn = Y k , 则 " ε> 0 ,
k= 1
称{ X n , n≥ 1}以概率收敛到 μ.简记为
n
1 P
Xn = ∑ Y k μ ( n → ∞ ) .
n k= 1
5 .1 大数定律 191
2
σ
证明 显然 E X n = μ, D Xn = .由切比雪夫不等式有 ,
n
2
" ε> 0 , 0 ≤ P{ω: | X n - μ| ≥ ε} ≤ 12 ・σ ,
ε n
即
2
1 - 12 σ ≤ P{ω: | X n - μ| < ε} ≤ 1 ,
ε n
故 " ε> 0 ,
lim P{ω: | Xn - μ| < ε} = 1 .
n→ ∞
直观解释与应用
( 1) 若 μ表测量对象的真值 ( 理论值 ) .Y k 表第 k 次测量值 , X n
表前 n 次独立重复测量的平均值 .显然它的均方误差 E( Xn - μ) 2 =
1 2 2 2
σ 要比 E( Y k - μ) = σ 小 .若 ε表 测量误差 限 , ( 1 .2 ) 式 表明 不
n
管精度要求多么高 ( 即 ε多么小 ) , 只要取测量次数 n 足够 多 , 则 取
其平均值 Xn 就 可 使 落 在 真 值 的 误 差 限 内 的 概 率 就 可 充 分 接 近
于1 .
(2 ) 记 An (ε) = {ω: | X n - μ| < ε} , ( 1 .2 ) 式 等 价于 : " ε> 0 ,
P( An (ε) ) →1 ( n→∞ ) .
(3 ) 注意此处n→
lim P( An (ε) ) ≠ P( n→
lim An (ε) ) , 而且此时 n→
lim An (ε)
∞ ∞ ∞
不一定有意义 !
例 1 .1( 经验分布以概率收敛到理论分布 ) 设随 机变量 X~
F( x ) = P( X≤ x) , { Xk, 1≤ k≤ n}独 立同 分布 , 且 X k 与 X 同 分布 ,
n
" x∈R , 称 珟
Fn ( x ) = ∑I
k=1
( X ≤ x)
k
/ n 为随机变量 X 的经验 分布 , 则
有 " x∈R , n≥1 .
(1 ) E珟
Fn ( x) = F( x ) , D珟
Fn ( x ) = F( x ) ( 1 - F( x ) )/ n; ( 1 .3)
(2 ) " ε> 0 , lim P( |珟
Fn ( x ) - F( x) | <ε) = 1 . ( 1 .4)
n→ ∞
192 第 5 章 独立随机变量序列的极限定理
简记 nli→m 珟
Fn ( x ) = F ( x) .
∞
试用随机试验模拟方法计算下面积 Ih = ∫h ( x) d x .
a
解 取随机变量序列{ X i , i≥1 } 独 立同 分 布 , Xi ~ U[ a, b] , 即
Xi 为[ a, b]上的均匀分布的随机变量 .从而{ g( Xi ) , 1≤ i≤ n}亦独立
b
n∑
由大数定律知 ^g ( X) = g( X i ) E g ( X i ) ( n → ∞ ) .于 是
i= 1
则 " ε> 0 ,
n n
1
lim P ω: ∑ Y k - 1 ・ ∑ EY k < ε = 1 .
n→ ∞ n k= 1 n k= 1
证明 利用切比雪夫不等式即得 .
5 .2 特征函数 193
5 .2 特 征 函 数
第 4 章的讨论表明 , 数学期望、方差等数字特征只能粗略地反
映分布函数的某些性质 , 一般情况下并不能完全确定分布函数 .本
节引入特征函数的概念 , 既可 完全刻 画分 布函 数又可 利用 其良 好
的分析性质来解决某些问题 .
在上一章中所研究的母函数为非负整值随机变量的研究带来
了很大方便 , 特征函数则是针对一般的随机变量而设立的 .
1 特征函数的 定义
定义 2 .1 如果 X , Y 均 为 概率 空间 ( Ω, F, P) 上 的 实值 随 机
变量 , 则称 ξ= X + iY 为一复随机变量 .且定义复随机变量ξ= X +
iY 的数学期望为 Eξ= E X + i E Y, 其中 i = - 1 为虚数 .
由以上定义知
i tX
E( e ) = E( cos tX + i sin t X ) = E( cos tX ) + i E( sin tX ) .
定义 2 .2 若随机变量 X 的分布函数为 F X ( x) , 则称
+∞ +∞
∫ ∫
itX i tx
φ( t) = Ee = e d FX ( x ) = ( cos t x + i sin t x ) d F X ( x )
- ∞ -∞
( 2 .1)
为 X 的特征函数 ( 简记为 c .f . ) .
若 g( X) 是一个一维博雷尔可测函数 , Y = g( X) , 则有
+∞
∫
i tY i tg ( X) i tg ( x )
Ee = Ee = e d FX ( x ) ,
- ∞
其中 ei t Y = cos tY + i sin t Y .
简单性质 :
(1 ) 由于 | ei tX | ≤1 , 故对任一随机变量 X 及 实数 t 都有意义 ,
即任一随机变量都具有特征函数 .
194 第 5 章 独立随机变量序列的极限定理
(2 ) 特征函数是一个实变量的复值函数 .
(3 ) 特征函数只 与分 布函 数有 关 , 因 此又 称为 某 一分 布函 数
的特征函数 .
(4 ) 若 X 的特征函数为φ( t) , 则 a + bX 的特征函数为
i ta
φa + bX ( t) = e φ( bt ) .
(5 ) φ(0 ) = Ee0 = 1 .
(6 ) 对离散型随机变量 X , P( X = x j ) = p j ( j = 1 , 2 , … ) , 则 X
的特征函数为
∞
∑ pj e
i tx
φ( t) = j .
j= 1
∫
i tx
φ( t) = e f ( x) d x .
-∞
2 几种常见分 布的特征 函数
(1 ) 二点分布
设 X~ B( 1 , p) , q = 1 - p, 则由定义可知
φ( t) = ei t p + e0 q = ei t p + q .
(2 ) 泊松分布
λk - λ
设 X~ Po(λ) , 即 P( X = k) = e , k∈ N \ { 0} ; 则
k!
∞ k
φ( t) = ∑ e λ e - λ = e - λeλe = eλ( e - 1 ) .
i tk it it
k= 0 k!
(3 ) 正态分布
① 标准正态分布的特征函数 .设 X~ N (0 , 12 ) , 由
+∞
x2
1 e-
∫ - ∞
sin t x
2π
2 dx = 0,
得
5 .2 特征函数 195
+∞ +∞
x2 x2
1 - 1 -
∫ ∫
itx
φ( t) = e e 2
dx = cos t x e 2
dx,
- ∞ -∞
2π 2π
两边对 t 求导 , 有
+∞ +∞
x2 x2
1 e- 1
φ′( t) = - ∫ -∞
x sin t x
2π
2
∫
dx =
-∞
sin t x
2π
e- 2 ′d x
+∞ 2
1 -
∫
x
= - tcos t x e 2
d x = - tφ( t) ,
-∞
2π
即可得 到 微 分 方 程 φ′( t ) + tφ( t ) = 0 , 加 上 φ( 0 ) = 1 , 有
- t2/ 2
φ( t) = e .
2
② 对于一般的正态分布 .设 X~ N (μ,σ ) , 可以这样来看 Y =
X -μ
~ N (0 , 1 ) , 所以 X = μ+ σY; 由简单性质 (4 ) 知
σ
iμt iμt - 1 σ2 t 2
φX ( t) = e φY (σt) = e 2
.
3 特征函数的 性质
∫ ∫
i tx i tx
| φ( t) | = e d F( x) ≤ | e | d F( x ) ≤
-∞ - ∞
∫ -∞
d F( x ) = 1 = φ(0 ) ,
∞ ∞
∫ ∫
i( - t ) x - i tx
φ( - t) = e d F( x) = e d F( x) = φ( t) .
-∞ - ∞
196 第 5 章 独立随机变量序列的极限定理
性质 2 φ( t) 在 ( - ∞ , + ∞ ) 上一致连续 .
k
性质 3 若 E( X ) 存在 , 则对任 t∈ ( - ∞ , + ∞ ) ,φ( t) k 阶 可
导,且
φ( k) ( t) = i k E( Xk ei t X ) .特别有 φ( k) ( 0) = i k E( Xk ) .
性质 4 φ( t) 具有 非 负定 性 , 即对 任意 的 正整 数 n 及任 意 实
n n
故
n n n
2
∑λ e ∑ ∑ E( e )λk λj
it X i( t - t ) X
E k k = k j
k= 1 k=1 j= 1
n n
= ∑ ∑φ( t
k= 1 j= 1
k - tj )λk λj ≥ 0 .
∏ Ee ∏φ ( t)
it( X + … + X )
证明 φ( t) = Ee i tY itX
= Ee 1 n = k = k .
k=1 k=1
( 第三个等号是根据 X1 , … , X n 相互独立 ) .
性质 5 是特征函数的一 条重要 性质 , 独 立性问 题 在概 率论 中
具有重要的地位 , 而应用特征函数来处理独立问题是简洁明了的 .
因此特征函数在概率论中有其独特的作用 .
定理 2 .1 分布函数 F( x ) 到特 征函数 φ( t) 的 变 换是 一一 对
应的 .
5 .2 特征函数 197
+∞
注意 φ( t) = Eei tX = ∫ -∞
ei tx d F X ( x ) , 因此 ,φ( t) 实质上是由 X
的分布函 数 F ( x ) 决 定 的 ; 所 谓 一 一 对 应 , 这 里 指 : 若 F1 ( x ) ≠
F2 ( x ) , 则 φ1 ( t) ≠φ2 ( t) .从 φ( t) 到 F( x ) 的具体公式如下 :
T
1 e- i t a - e- i t b
F( b) - F( a) = lim
2π T→ ∞ ∫
- T it
φ( t) d t,
其中 a < b 皆是 F ( x) 的连续点 .
证明略 .有兴趣的读者可参看文献[ 3 , 5] .
定理 2 .2 分布函数序列{ Fn ( x) , n≥1 }与 分布函数 F( x ) 具
有关系
lim Fn ( x ) = F( x) ( 对任意 F( x ) 的连续点 )
n→ ∞
当且仅当lim φn ( t) = φ( t) ,
n→ ∞
其中 φ( t) f ( t) 是 F( x) 的特征函数 , 而 φn ( t) 是 Fn ( x) 的特征函数 .
证明略 .有兴趣的读者可参看文献[ 3 , 5 , 8 , 15 , 18] .
定理 2 .3 设{ Y n , n≥ 1 } 独 立 同分 布 , 且 E Yn = μ< ∞ , 则 对
" ε> 0 ,
n
1
n∑
lim P ω: Yk - μ < ε = 1 . ( 2 .2)
n→ ∞ k= 1
证明 由 Y1 , Y2 , … , Y n 有相 同的 分布 , 设 它们 的 特征 函数 为
φ( t) , 由于它们期望存在 E Yn = μ, 故 φ( t) = φ(0 ) + φ′(0 ) t + o( t) =
n
1
1 + iμt + o( t) ; 从而 ∑ Y k 的特征函数 φn ( t) 为
n k= 1
n n
t t t
φn ( t) = φ = 1 + iμ + o ,
n n n
iμt i μt
对固定的 t∈ R 有 φn ( t ) → e ( n→ ∞ ) .而 极 限函 数 e 是连 续 函
n
5 多元特征函 数
设随机向量 X = ( X1 , …, Xn ) 的联合概率密度函数为 p( x1 , …,
xn ) , 类似于一维情形 , 我们可定义随机向量 X 的特征函数为
n
φ( t1 , t2 , … , tn ) = E exp i∑ tk X k
k=1
n
∞ ∞
=∫ …∫ -∞ -∞
exp i∑ tk x k ・ p( x1 , x2 , … , xn ) d x1 d x2 … d xn .
k= 1
例如 , 设 X = ( X k , 1≤ k≤ n) T ~ N (μ, Σ) 为 n 维正 态 随机 变量 ,
则其特征函数为
itT X T 1 tT Σt
φ( t) = Ee = exp iμ t - . ( 2 .3)
2
对于 n 元 特 征 函 数 的 性 质 与 一 元 相 类 似 , 读 者 可 参 阅 文 献
[3 , 5 , 8 ] .
5 .3 中心极限定理
是件复杂的事情 , 自 然 希望 在 一 定 条 件下 X n 的 极 限分 布 能 够 存
在 , 这是很有意义的工作 .本节要介绍的中心极限定理就是研究在
什么条件下 , X n 的极 限分 布 恰是 正态 分 布 .为 使 问题 的 提法 更 具
一般化和应用性 , 这一 节我们 感兴 趣的问 题是 : 在 什么 条件 下 , 随
机变量序 列 { Y n , n ≥ 1 } 的 前 n 项 和 X n 经 标 准 化 后 , 即 Zn =
Xn - E X n
的极限分布是标准正态分布 .
D Xn
5 .3 中心极限定理 199
1 独立同分布 的情形
定理 3 .1 ( 林 德 伯 格-莱 维 ( Lindeberg-Levy) 定 理 ) 设 { Y n ,
n
∑Y
2
n≥1} 独立同分布 , 且 E Y1 = μ, DY1 = σ < ∞ , 记 X n = k ,
k=1
Xn - E X n ∑(Y
k=1
k - μ) n
Yn - μ
Zn =
D Xn
=
n・σ
= ∑
k=1 n・σ
,
则 " x∈R 有
x 2
1
∫
- u
lim P( Zn ≤ x ) = Φ( x ) = e 2
d u, ( 3 .1)
n→ ∞ - ∞
2π
w
简记 P( Zn ≤ x ) Φ( x) .
Yn - μ
证明 令 Y ′
n = , 则 EY ′
n = 0 , DY ′
n = 1 .设 Y ′
n 的特征 函
σ
数为φ( t) = Eei tY′n , 则
2
φ″(0 ) 2 2 t 2
φ( t) = 1 + φ′(0 ) t + t + o( t ) = 1 - + o( t ) ,
2! 2
Y′
n t t2 o( t2 )
的特征函数为 φ =1 - + .故 Zn 的特征函数为
n n 2n n
2
2 2 n 2 2 - 2n - t
1 - t + o( t ) 1 - t + o( t )
t2 2
φn ( t) = = ,
2n n 2n n
t2
故 : n→ φ , " x∈R .
-
lim n ( t) = e 2
∞
x 2
1
∫
- u
lim P( Zn ≤ x ) = Φ( x ) = e 2
du .
n→ ∞ - ∞
2π
以下是中心极限定理几个简单应用的例子 .
(1 ) 正态随机数的产生
200 第 5 章 独立随机变量序列的极限定理
设{ Y k , k≥1 }独立同分布 , 且 Y k ~ U [ 0 , 1 ] , 令 X n = ∑Y
k=1
k .
记 f n ( x ) 为 X n 的概率密度函数 , 则
1, x ∈ [ 0 , 1] ,
f1 ( x) =
0, x | [ 0 , 1] ;
x, x ∈ [ 0 , 1] ,
f2 ( x) = 2 - x, x ∈ [ 1 , 2] ,
0, 其他 ;
1 x2 , x ∈ [0 , 1 ] ,
2
1 ( - 2 x2 + 6 x - 3) , x ∈ [1 , 2 ] ,
f 3 ( x) = 2
1 2
( 3 - x) , x ∈ [2 , 3 ] ,
2
0, 其他 .
图 5-1
5 .3 中心极限定理 201
由图 5 -1 可以看出 , f3 ( x ) 已 接近 于 正态 的 情形 , 为将 其 标 准化 ,
Xn - E X n
令 Zn = .由中心极限定理有 " x∈R ,
D Xn
w
P( Zn ≤ x ) Φ( x ) , n → ∞ .
12
通常取 Z12 = ∑Y
k= 1
k - 6 作为正态分布随机变量的近似 .
(2 ) 对误差限可靠度的估计与实验次数的确定 .
在伯努利独立重复试验中 , 若事件 A 的概率 P ( A) = p 未知 ,
μn ( A)
可用 n 次试 验中 出现 A 的 频率 作 为 P ( A) 的 估计 .记 p^ =
n
μn ( A)
, 设估计的误差限为 δ> 0 , 误差限的可靠度 β定义为
n
^ P ω: μn - p < δ .
β=
n
① 给定 δ及试验次数 n , 以及试验结果 , 估计 β.
由中心极限定理 , 当 n 充分大时
μn
β= P ω: - p <δ
n
n μn ( A) - np n
= P ω: - δ < <δ
p (1 - p) np ( 1 - p) p ( 1 - p)
≈ 2Φ δ n - 1 .
p (1 - p)
μn ( A)
再以 珟
p= 作为 p 的近似代入 , 则 β的估计珓
β 取为
n
珓
β = 2Φ δn n - 1 .
μn ( A) ( n - μn ( A) )
② 给定 δ及 β, 如 何确 定 试验 次 数 n 以 满 足 要 求 .即 要 求 n
满足
μn ( A)
P ω: - p < δ ≥ β,
n
202 第 5 章 独立随机变量序列的极限定理
为此需
n n 1 +β
2Φ δ - 1 ≥ β, 即 Φ δ ≥ .
p( 1 - p) p ( 1 - p) 2
1 +β n
记 Zβ满足 Φ( Zβ ) = , 则需 n 满足δ ≥ Zβ , 即 需
2 p (1 - p)
2 2
Zβ 1 Zβ
要 n≥ p( 1 - p) .又由 p( 1 - p) ≤ , 故当 n≥ 时, 取
δ 4 2δ
Zβ 2
nmin = + 1 , 当 n≥ nmin 时 , 即有
2δ
μn ( A)
P{ω: | - p | < δ} ≥ β.
n
2 一般情形的 中心极限 定理 *
只叙述以下的林德伯格定理 .
定理 3 .2 设 { Y k , k≥ 1 } 为 独 立 的 随 机 变 量 序 列 , 记 : ak =
n
E Y k , b = DY k < ∞ , B = ∑b , Fk ( x) = P( Y k ≤ x) , 若对 " τ> 0
2 2 2
k n k
k=1
有
n
lim 1 ∫
n→ ∞ Bn ∑
( x - ak ) 2 d Fk ( x) = 0 , ( 3 .2)
k=1 | x - a | > τB
k n
则 , 对 " x∈R , 有
n
1
lim P ω: ∑ ( Y k - ak ) ≤ x = Φ( x) , ( 3 .3)
n→ ∞ Bn k = 1
且上式对 x 是一致收敛的 .满足 (3 .2 ) 式称为林德伯格条件 .
以上定理的证明 略 .这 里 仅 对 ( 3 .2 ) 条 件 的 概 率意 义 说 明 如
下 .记 Ak = {ω: | Y k - ak | >τBn } (1 ≤ k≤ n) , 则有
n
n
=∑ ∫
k=1
| x - a | > τB
k n
d Fk ( x)
5 .4 随机变量序列的几种收敛性 * 203
≤ 1 2∑ ∫ ( x - ak ) 2 d Fk ( x ) .
(τB n ) k = 1 | x - a | > τB
k n
可见 (3 .2 ) 条件保证了 , 对 " τ> 0 ,
| Y k - ak |
lim P ω: 1m ax > τ = 0, ( 3 .4)
n→ ∞ ≤ k≤ n Bn
这表明 : 当 n 充分大时 , 参 与构成总 和的每 一项要以 概率“均匀 的
小”, 因而任一被加项对总 和极 限分布 不会 导致显 著的 影响 , 这 样
即可使它们总和的分布趋 向于 正态分 布 .于是 定理可 直观 地解 释
为 : 当某一随机现象的指标是由大量独立的随机因素影响 , 若这些
因素对总和的指标的影响都是“ 均匀的 小”( 在 概率 意义下 ) , 则 该
指标的分布近似于正态分 布 .这个定 理深 刻地 从理论 上证 明了 许
多自然界中引出的随机变量可用正态分布来近似的理论根据 .
5 .4 随机变量序列的几种收敛性 *
P ω: n→
lim Xn (ω) = X (ω) = 1,
∞
则称{ Xn , n≥ 1 } 以 概 率 1 收 敛于 X , 或 者几 乎 处 处 收 敛 ( almost
every wher e or al most sur ely , 简记为 a .e .或 a .s .) .记为
a .s . a .e . a .s .
lim X = X , 或者 X n
n X 或者 X n X.
n→ ∞
例 4 .1 设{ Xn , n≥ 1 } , X , Y 是 定义 在 [ 0 , 1 ] 上 博雷 尔概 率
空间 ( 见第 1 章例 2 .17) (Ω, F, P) = ( [0 , 1 ] , B[ 0 , 1] , P) 上的 随
机变量 , 满足 : " ω∈[ 0 , 1] , Y (ω) = 1 .而 X(ω) = 1 , 若 ω∈珚
B = {[0,
1] 上无理点 } ; X ( ω) = 0 , 若 ω∈ B = { [ 0 , 1 ] 上 有 理 点 全 体 } .而
1 1
Xn (ω) = 1 , 若 ω∈ n , 1 ; Xn (ω) = 0, 若 ω∈ 0, n .则 易 知 P(ω:
2 2
204 第 5 章 独立随机变量序列的极限定理
X(ω) ≠ Y ( ω) ) = P ( B ) = 0 . ( ω: nlim X n ( ω) = Y ( ω) ) = Ω; ( ω:
→∞
a .s .
li m X n (ω) = X(ω) ) = 珚
B≠Ω, 但 P(珚
B) = 1 , 故lim Xn = X .
n→ ∞ n→ ∞
Lp
则称{ X n , n≥ 1}以 Lp 收敛于 X .记为 Xn X .
2
当 p = 2 时 , n→
lim E | X n - X | = 0 , 称 { X n , n≥ 1 } 均 方 ( mean
∞
1
例 4 .3 设{ X k , 1≤ k≤ n}相互独立 , 且满足 P( X n = 1) = ,
n
n-1 2 1
P( X n = 0 ) = ( n≥1) , X(ω) ≡0 .则 E( X n - 0 ) = →0 , 故
n n
m .s .
= 0 , 即 Xn
2
lim E | X n - 0 | 0 .
n→ ∞
定义 4 .4( 依 分布 收 敛 ( 弱 收 敛 ) ) 对 于随 机 变 量 序列 { Xn ,
n≥1} 及 X , 记 Fn ( x) = P( X n ≤ x ) , F( x) = P( X≤ x) 分别是 X n 和
X 的分布函数 .若对 F( x ) 的每个连续点 x 有
5 .4 随机变量序列的几种收敛性 * 205
lim Fn ( x) = F( x ) ,
n→ ∞
w
敛到 F( x) , 记为 Fn ( x ) F( x ) .注 意 , 尽 管 { Fn ( x) , n≥ 1 } 是 分
布函数列 , F( x) 却 未必是 分布 函数 .故“ Fn ( x ) 弱收敛 到分 布函 数
F( x )”和“ Fn ( x ) 弱收敛到函数 F( x) ”两句话有很大差别 .例如 : 若
x < n, Fn ( x ) = 0 ; 若 x≥ n, Fn ( x) = 1; F( x ) = 0 , x∈ ( - ∞ , + ∞ ) .
则li m Fn ( x ) = F( x) , 但 F( x) 不是分布函数 .
n→ ∞
记 ( An , i .o .) = nlim An = n→
lim sup An = n∩ ∪ A k , 即 ( An , i .o .) =
→∞ ∞ = 1 k= n
∞ ∞
{ω:ω至少属于无穷多个 An } .又 记 n→
lim An = n→
lim inf An = n∪ ∩ Ak =
∞ ∞ = 1k= n
{ω:ω至多不属于有限个 A n } .
引理 4 .1( 博雷尔-坎泰利引理 )
∞
(1 ) 若 随 机 事 件 序 列 { An , n ≥ 1 } 满 足 ∑ P( A
n= 1
n ) < ∞ ,则
∞ ∞
P n∩ ∪ Ak = 0 .
= 1 k= n
(2 ) 若{ An , n≥1}是相互独立的随机事件序列 , 则 ∑ P( An ) =
n= 1
∞ ∞
∞ 成立的充要条件为 P n∩ ∪ Ak = 1 .
= 1 k= n
206 第 5 章 独立随机变量序列的极限定理
∞ ∞ ∞ ∞
证明 (1) 0 ≤ P n∩ ∪ Ak = P n→
lim ∪ Ak = n→
lim P k∪ Ak ≤
= 1 k= n ∞ k= n ∞ = n
li m∑ P ( Ak ) = 0 . 其中第二个等号是利用了概率的连续性 , 最后
n→ ∞ k = n
一个等号是因为 ∑ P( An ) < ∞ .
n= 1
m+ n
(2 ) 先 证 明 必 要 性 . 由 { An , n ≥ 1} 独 立 , 有 P k∩ Ak =
= n
m+ n ∞
∞
∏ P( A
k= n
k ) , 故 P k∩
= n
Ak = ∏P( A
k= n
k ) . 又 当 0 ≤ x < 1 时,
ln( 1 - x) ≤ - x; 故
∞ ∞ ∞
ln∏ 1 - P( Ak ) = ∑ l n(1 - P( Ak ) ) ≤ - ∑ P( A k ) = - ∞,
k= n k= n k= n
由此得
∞
P k∩ Ak = 0 , " n ≥ 1;
= n
所以
∞
P k∪ Ak = 1; " n ≥ 1 ,
= n
故
∞ ∞
P n∩ ∪ Ak = 1 .
= 1 k= n
∞
∞ ∞
P n∩ ∪ Ak = 0 .矛盾 ! 又 P( An ) ≥0 ,故只能 ∑ P( An ) = ∞ .
= 1k= n
n= 1
或以 Lp 是基本 列 ( 柯 西 列 ) , 若 P ω: n→
lim ( Xn - Xm ) = 0 = 1, 或
∞
m→ ∞
" ε> 0 , n→
lim P ω: | X n - X m | <ε = 1 , 若 n→
lim E| X n - X m | p = 0 .
∞ ∞
m→∞ m→ ∞
5 .4 随机变量序列的几种收敛性 * 207
引理 设li m Xn = X , 则
n→ ∞
∞ ∞ ∞
1
ω: nli→m X n (ω) = X(ω) = m∩ ∪ ∩ ω: | X k - X | < ,
∞ = 1 n= 1 k= n m
( 4 .1)
∞ ∞ ∞
证明 记 B = ω: n→
lim Xn (ω) = X(ω) , 则 珚
B = ω: nlim Xn (ω) ≠
∞ →∞
1
ω∈ ω: | Xk - X | < " m ≥ 1, v n ≥ 1,
m
∞
1
ω∈∩ ω: | X k - X | < " m ≥ 1,
k= n m
∞ ∞
1
ω∈ n∪ ∩ ω: | X k - X | <
= 1 k= n m
∞ ∞ ∞
1
ω∈ m∩ ∪ ∩ ω: | Xk - X | < ,
= 1 n= 1 k= n m
故
∞ ∞ ∞
1
B = ∩ ∪ ∩ ω: | Xk - X | < .
m= 1 n= 1 k= n m
由第 1 章 1 .1 节的德・摩根事件运算规律得
∞ ∞ ∞
1
珚
B = m∪ ∩ ∪ ω: | Xk - X | ≥ .
= 1 n= 1 k= n m
a .s .
lim P ω: k∪ { | X k - X | ≥ ε} = 0; ( 4 .3)
n→ ∞ = n
或
lim P ω: sup | Xn+ k - Xn | ≥ ε = 0 .
n→ ∞ k≥ 1
证明 (1 ) 记
∞ ∞
1 1 1 1
Ak = ω: | X k - X | ≥ , A = n∩ ∪ Ak ,
m m m = 1 k= n m
由
∞
1 1
P( B) = 1 P(珚 B) = P m∪ A = 0 P A = 0,
= 1 m m
" m≥ 1 .
∞
∞
1 1
因 P m∪
= 1
A
m
≤ ∑m= 1
P A
m
.
P( A(ε) ) = 0 , " ε> 0
∞ ∞ ∞
lim P ω: k∪ { | Xk - X | ≥ε} = 0 .
n→ ∞ = n
∞ ∞
由下列事 件 等 价 D = ω: k→
lim ( Xk - X l ) ≠ 0 = ε>∪0 D (ε) =
∞
l→ ∞
∞
∪ ∩ ω: sup | Xk + l - X l | ≥ε 得
ε> 0 n = 1
k≥ n
l≥n
P( D) = 0 ∪0 D(ε)
P ε> = 0 P( D(ε) ) = 0( " ε> 0)
∞ ∞
P n∩ ∪ {ω: | X k - X l | ≥ ε} =
= 1 k= n
l= n
∞
lim P k∪ {ω: | X k + l - X l | ≥ ε} = 0
n→ ∞ =1
l= n
a .e .
推论 1 X n X( n→∞ ) 的充分条件是
∞
" ε> 0 , ∑ P {ω: | Xk - X | ≥ ε} → 0 , n → ∞ .
k= n
∞
∞
ε} , 立得结论 .
注 显然 , ( 4 .3) 式等价于li m P(ω: sup | Xk - X | ≥ε) = 0 .
n→ ∞ k≥ 1
∞
εn } < ∞ , 则
a .e .
Xn X.
∞ ∞
P ω: lim Xn ≠ X = P n∩ ∪ Ak = 0 .
n→ ∞ =1k= n
a .e .
得 Xn X .
以下定理将给出几种收敛性的关系 .
定理 4 .2
a .e P
(1 ) X n X Xn X;
Lp P
(2 ) X n X Xn X;
Lp d
(3 ) X n X Xn X .
证明 (1 ) 由定理 4 .1 的 ( 1) 及定义而得 .( 2) 由切比雪夫不等
E| X n - X | p Lp
式知 " ε≥ 0 , P{ω: | X n - X | ≥ε} ≤ p , 由 Xn X, 即
ε
p
E| Xn - X | → 0( n→∞ ) , 故 " ε≥ 0 , P {ω: | X n - X | ≥ε} → 0 ( n→
210 第 5 章 独立随机变量序列的极限定理
P
∞ ) , 即 Xn X .
(3 ) 记 F( x ) = P( X≤ x ) , Fn ( x) = P( Xn ≤ x ) , " x, y∈R ,
( X ≤ y) = ( X n ≤ x, X ≤ y) ∪ ( X n > x, X ≤ y)
( Xn ≤ x ) ∪ ( X n > x, X ≤ y)
F( y ) ≤ Fn ( x) + P( | Xn - X | ≥ x - y ) .
P
当 Xn X , 可得: " y < x, P{ω: Xn > x, X≤ y}≤ P{ω: | Xn - X | ≥
x - y} →0( n→∞ ) , 所以 F( y ) ≤lim Fn ( x ) .
n→ ∞
类似地有
" x < z , ( Xn ≤ x) = ( Xn ≤ x , X ≤ z) ∪ ( Xn ≤ x , X > z)
( X ≤ z) ∪ ( Xn ≤ x, X > z) ,
得
Fn ( x) ≤ F( z) + P( | X n - X | ≥ z - x) .
又 P{ω: X n ≤ x, X > z} ≤ P{ω: | X - X n | ≥ z - x} → 0 ( n→ ∞ ) , 故
li m Fn ( x ) ≤ F ( z ) . 对 y < x < z 有 F ( y ) ≤ lim Fn ( x ) ≤
n→ ∞ n→ ∞
li m Fn ( x ) ≤ F( z) , 如 x 是 F( x) 的连续点 , 令 y↑ x, z↓ x, 得
n→ ∞
F( x ) = nlim Fn ( x ) .
→∞
定理 4 .2 的 (1 ) ~ ( 3) 的逆不真 , 以下举例说明 .
P a .e .
例 4 .5 X n X ≠ > Xn X.
令 ( Ω, F, P) = ( [0 , 1 ] , B[0 , 1 ] , P) 为[ 0 , 1] 上博雷尔概率测
度 ( 见第 1 章例 2 .16) , 令 :
X1 = I ( 0 , 1 ] , X2 = I( 0 , 1/ 2] , X3 = I ( 1/ 2 , 1 ] ,
X4 = I ( 0 , 1/ 3 ] , X5 = I( 1/ 3 , 2/ 3 ] , X6 = I ( 2/ 3 , 1 ] ,
X7 = I ( 0 , 1/ 4 ] , … X1 0 = I( 3/ 4,1 ]
…
对任意正整数 n≥ 1 , 总 存在 两 正整 数 i, k ( 1 ≤ i≤ k, k≥ 1) 使 n =
( k - 1) k/ 2 + i .故 对 " n≥ 1 , 有 X n = X ( k - 1 ) k/ 2+ i = I( ( i - 1/ k, i/ k) ] (1≤
5 .4 随机变量序列的几种收敛性 * 211
2
i≤ k, k≥ 1 ) , 则有 E X n = 1/ k, E X n = 1/ k, n = ( k - 1 ) k/ 2 + i( 1 ≤
P
i≤ k, k≥ 1) . " ε> 0 , P( | Xn (ω) | ≥ε) → 0( n→∞ ) , 故 X n 0 .
k
但是对 " ω∈ [ 0 , 1 ] , " k≥ 1 , 因 ∑I
i=1
( ( i - 1 )/ k, i/ k] = I( 0 , 1 ] , 故 对
" ω∈ [0 , 1 ]及 " k≥ 1 存在 i k ( 1≤ ik ≤ k) , 有 I ( ( i k - 1 )/ k, i / k]
k
= 1 ,即存
在 n = ( k - 1) k/ 2 + i k , 使 X n (ω) = 1 , 而对 其余的 i≠ ik ( 1 ≤ i≤ k) ,
有 Xn (ω) = 0 .由此可 知 , 对 " ω∈ [ 0 , 1 ] , 序列 { Xn (ω) , n≥1 } 中 有
无穷多个 X n (ω) = 1 及有无穷多个 X n (ω) = 0 .于是 X n (ω) 对每一
个 ω∈[ 0 , 1] 都不收敛 .
a .e . P Lp
例 4 .6 X n X Xn X ≠ > Xn X .
设 ( Ω, F, P) = ( [0 , 1 ] , B[0 , 1 ] , P) 为[ 0 , 1] 上博雷尔概率测
度,令
n 1
e , 0 ≤ ω≤
n
X n (ω) =
1
0, < ω≤ 1 .
n
1
易见 P ω: n→
lim Xn ≠ 0 = 0 . " ε> 0 , P(ω: | Xn (ω) | <ε) = 1 - →1
∞ n
np
a .e . P e p
( n→∞ ) , 则有 Xn 0 , Xn 0 .但 E | X n | = → ∞ , 即 Xn 不
n
以 L p 收敛到 0 .
Lp a .e .
例 4 .7 X n X ≠ > Xn X.
1
设随机变量序列{ Xn , n≥1} 满足 P( Xn = 1) = , P( Xn = 0 ) =
n
n-1 Lp
, 且{ X n , n≥ 1 } 独立 .易 证 明 对 每 一 个 p > 0 , X n 0 ( n→
n
∞ ∞
1
∞ ) .但 ∑ P | X n - 0 | > = ∑ 1 = ∞ , 故由博雷尔 -坎泰
n= 1 2 n= 1 n
a .e .
P a .e .
尽管一般由 Xn X 不能推出 X n X, 但有如下的结论 .
定理 4 .3 设随机变量序列{ X n , n≥1} 和随机变量序列 X 有
P
Xn X , 则存在一子序列 { X n k , k≥ 1}使
a .e .
X nk X, k → ∞
P
证明 由 Xn X 的定义可知 , 若令 n1 = 1 , 则对每一个 k∈
N \ {0 } , v nk , 且 nk > nk - 1 使
1 1
P ω: | X n k - X | ≥ < k ,
2k 2
l nε 1
所以 " 0 <ε< 1 , 一切 k≥ N = - k ≤ε , 与 N≥ N0 有
ln2 2
∞ ∞
∑ P {ω: | X n k - X | ≥ ε}≤ ∑P ω: | Xn k - X | ≥ 1k
k= N k= N 2
∞
1 1
< ∑2
k= N
k =
2 N +1 ,
从而
∞ N
0
∑ P{ω:
k= 1
| Xn k - X | ≥ ε} = ∑ P{ω:
k= 1
| Xn k - X | ≥ ε} +
∞
1
∑ P{ω:
k= N
| Xn k - X | ≥ ε} ≤ N0 +
2 N +1
0
< ∞ .
0
lnε
最后一个不等号是因为, 对于取定的ε> 0, N0 = - < ∞ .故 "ε> 0,
ln2
∞
∑
k= 1
P{ω: | X n k - X | ≥ε} < ∞ .由推论 1 知定理成立 .
*
5 .5 强大数定律
称为强大数定律 .
1 博雷尔强大 数定律
定理 5 .1 设在伯努利 独立 重复试 验序 列中 , 事 件 A 出现 的
概率为 P ( A) = p , 以 μn ( A) 表示前 n 次试验中 A 出现的次数 .则
μ( A)
P ω: n→lim = p = 1 . ( 5 .1)
∞ n
证明 (1 ) 成立的充要条件是
∞ ∞
μn ( A)
" ε> 0 , P ω: ∩ ∪ - p ≥ε = 0 . ( 5 .2)
l = 1 n= l n
μn ( A)
若记 An (ε) = ω: - p ≥ε , (5 .2 ) 式为
n
∞ ∞
∑( X
i =1
i - p) ∑( X
j= 1
j - p)
n
1
∑ E( X ∑∑ E { ( X
4 2 2
= 4 i - p) + i - p) ( Xk - p) } ,
n i= 1 i≠ k
4
在和式中注意到 E( X i - p) = 0 , 因 而上 式 中只 有 E( X i - p) 及
214 第 5 章 独立随机变量序列的极限定理
2 2 4
E{ ( X i - p) ( Xk - p) } ( k≠ i) 不 为 0 .而 E ( Xi - p ) 有 n 项 ,
E{ ( X i - p) 2 ( Xk - p) 2 } .有 C24 C2n = 3 n( n - 1 ) 项 .又 E( X i - p) 4 =
3 3 2 2 2 2
pq( p + q ) ,且 E{( Xi - p) ( Xk - p) } = p q ( i≠ k) , 其中 q= 1 - p .故
μn ( A) 4
pq 3 3
E - p = 4 [ npq( p + q ) + 3 pqn( n - 1 ) ]
n n
≤ p3q [ p3 + q3 + 3 p q( n - 1 ) ]
n
pq 3 3
< 3 [ n( p + q ) + 3 n p q]
n
≤ 1 2 [ p3 + q3 + 3 p q( p + q) ] = 1 2 .
4n 4n
1
最后一个不等号是因为 pq≤ ,则
4
∞ ∞
P n∩ ∪ A k (ε) = 0,
= 1 k= n
得
μn ( A)
P ω: n→
lim = p = 1 .
∞ n
例 5 .1( 强大数定律应用之一 ) 经 验分布 以概率 1 收敛到 理
论分布 X~ F( x) , { Xk , 1≤ k≤ n}独 立同 分布及 珟
Fn ( x ) 同 例 1 .1 ,
应用定理 5 .1 , 对 " x∈ R , 有
P{ n→
lim 珟
Fn ( x ) = F( x) } = 1 .
∞
注 ( 马尔可夫不等 式 ) 对 随 机变 量 X , 若 E| X - E X | r 存 在
( r > 0 常数 ) , 则
r
2 坎泰利强大 数定律
证明 不失一般性 , 令 E Yn = 0; 由博 雷尔 -坎泰 利 引理 知 , 为
证 (5 .4 ) 式成立只需证明
∞ n n
1
" ε> 0 , ∑ P ω: ・ ∑Y k - ∑ EY k ≥ε < ∞ .
n= 1 n k=1 k=1
∞ n 4
1
∑ n∑
为应用切比雪夫不等式 , 只需证明 E Yk < ∞ .
n=1 k= 1
注意到 E Yi = 0 , 所以
n n n
4
∑Y ∑ EY + 6∑ E Yi E Yj
4 2 2
E k = i
k=1 i =1 i, j = 1
i≠ j
n
≤ nC + 6∑
4 4
E Yi E Y j
i, j = 1
j≠ i
6 n( n - 1 )
≤ nC + C < 3 n2 C .
2
故
n ∞ n 4 ∞
1 4 3C 1 1
∑Y ∑ n∑
E k ≤ 2 E Yk ≤ 3 C∑ < ∞ .
n4 k= 1 n n= 1 k=1 n=1 n2
3 柯尔莫哥洛 夫强大数 定律
(1 ) 柯尔莫哥洛夫不等式
定理 5 .3 设{ Y n , n≥ 1} 为 独立的 随机 变量 序列 , D Yn = σn <
216 第 5 章 独立随机变量序列的极限定理
∞ , 令 X n = 1 ∑ Y k , 则对 " ε> 0 ,
n k=1
DX n
P{ω: 1max | X k - E X k | ≥ ε} ≤ 2 , ( 5 .5)
≤ k≤ n ε
这是切比雪夫不等式的推广 , 是更精细的不等式 , 它是研究收敛性
的重要工具 .
证明 略 .有兴趣的读者可作为练习加以证明 .
(2 ) 柯尔莫哥洛夫强大数定律
∞
DYn
定理 5 .4 设{ Yn , n≥1 }为独立的随机变量序列, 且 ∑ 2 <
n= 1 n
∞ ,则
n
1・
n ∑
P ω: nli→m
∞
( Y k - EY k ) = 0 = 1 . ( 5 .6)
k=1
证明 利用上节定理 4 .1 及定理 5 .3 可得 (5 .6 ) 式 .
练 习 题
5 .1 将 n 个号码 1 至 n 的 球 随机 地放 入 n 个 号 码为 1 至 n
的盒中 , 假设每盒只能放一球 , 记 Xn 为 球与盒 子号 码相同 的盒 子
P
数 .试证明 : ( X n - E Xn )/ n 0( n→∞ )
5 .2 设{εn , n≥ 1} 为独立同 分布随 机变量 , Eε1 = 0 , Dε1 =σ2 <
∞ , 而{ Xn , n≥0} 满足 X0 = 0 , X n + αXn - 1 = εn ( 其 中 α常 数 |α| <
n
P
1) , 试求 : ∑
k= 1
X k/ n ?( n → ∞ ) .
2
5 .3 设{ Yn , n≥1 }独立同分布 , E Y1 = μ, D Y1 =σ < ∞ , 证明 :
n
P
(1 ) Y n = ∑ Y k/ n
k= 1
μ( n → ∞ ) ;
n
P
∑ ( Yk - Y n ) / n
2 2 2
(2 ) S =n σ ( n → ∞) .
k= 1
练习题 217
P ∑X k= 1
k >ε≤ ∑ P( |
k= 1
Xk | > ε
/ n) .
5 .5 设 随 机 变 量 序 列 { X n , n ≥ 1 } 及 { Y n , n ≥ 1 } , X, Y ,
P P
Xn X , Yn Y .证明 :
P P
(1 ) X n ± Y n X ± Y ; ( 2) | X n | | X| ;
P
(3 ) X n ・ Y n X・Y
d P
5 .6 若 X n C( 常数 ) , 证明 : X n C.
∞
a .e .
5 .7 设对 p > 0 , ∑
n=1
E | X n | p < + ∞ , 证明 : X n 0 .
P P
5 .8 设随机变量{ Xn , n≥1 } , X n X , Xn Y .证明 :
P{ω: X = Y} = 1 .
φ( t) - 1
5 .9 设 φ( t) 是特征函数 , 证明 g( t) = e 也是特征函数 .
5 .10 将 n 个不可辨 的球随 机放入 m 个编号 从 1 至 m 的 盒
中 ( 每盒放的球数不限 , 参看第 4 章例 1 .11 ) .设某个指定的第 i 盒
球数为 Xi , 记 P( X i = k) = qik .
n
(1 ) 试求 qik = ?; ( 2 ) 求证 : 当 n→ ∞ , m→ ∞ , →λ时 , qik →
m
λk/ (1 +λ) k + 1 .
( 提示 : 利用斯特林 ( Stirling ) 公式 n ! = 2πnnn e - n (1 + o(1 ) ) .)
5 .11 设 Xn ~ B( n, p) .证明 :
Xn - np
" x ∈ R , nlim P ≤ x = Φ( x) .
→∞
np ( 1 - p)
Xn - n
5 .12 设 Xn ~ Po ( n) , 证 明 : " x ∈ R , n→
lim P ≤x =
∞ n
Φ( x) .
218 第 5 章 独立随机变量序列的极限定理
∑X
1
i , 试利用中心极限定理近似计算 P( Y≥3 ) .
P( Y n = 0 ) = 1/ 2 , 记 Xn = ∑Y /
k= 1
k 2 k .试证 Xn 的分布函 数收敛 于
[0 , 1 ]上的均匀分布函数 .
5 .20 设{ Yn , n≥1}是独立同分布 , EYn = μ, DYn =σ2 , 记 Yn =
n
∑Y /
k= 1
k n , 求 n 至 少 应 取 多 大 , 才 能 使 P ( | Y n - μ| < 0 .05σ) ≥
0 .95 .
5 .21 设{ Yn , n ≥ 1} 独立同分布 .P( Yn = 2k - 2ln k ) = 2- k ( k = 1 ,
n
1 P
n∑
2 , … ) , 证明 : n→
lim ( Y k - EY k ) 0 .
∞
k=1
练习题 219
5 .22 设 ( [ 0 , 1 ] , B[ 0 , 1] , P) 为 [ 0 , 1 ] 上 的 博 雷尔 概 率 空 间
( 参见第 1 章例 2 .17 ) .令 An = [ k/ 2 m , k + 1/ 2 m ] ( m = 0 , 1 , 2 , … ,
k = 0 , 1 , … , 2 m - 1 , n = k + 2 m ) , X n = I A n ( n≥ 1) .
P a .s .
(1 ) 证明 : Xn 0 ( n→ ∞ ) ; ( 2 ) 证明 : nlim Xn ≠ 0; ( 3 ) 选 择
→∞
a .s .
一子序列{ X n j , j≥ 1}使 X n j 0 ( j→∞ ) .
2
5 .23 设{ X n , n≥ 1}独立同分布 , Xn ~ N (0 , 1 ) .试证明 :
n n
∑X ∑X 渐近正态分布 N ( 0 , 12 ) .
2
(1 ) U n = n k k
k= 1 k= 1
n n
1
∑X ∑X
2 2 2
(2 ) Un = k k 渐近正态分布 N (0 , 1 ) .
k= 1 k= 1
P
5 .24 设{ X n , n≥1 }满足 X n 0 ( n→∞ ) , 且 P( 0≤ Xn + 1 ≤
a .s .
Xn ) = 1 ( n≥1 ) .证明 : Xn 0 ( n→∞ ) .
P P
5 .25 设 Xn X , Yn Y ( n→ ∞ ) , 且 P ( X n ≤ Yn ) =
1( " n≥1) .证明 : P( X≤ Y ) = 1 .
P
5 .26 设 Xn 0( n→∞ ) , P( | Xn | ≤Y ) = 1 , " n≥1 , 且 E Yr <
Lr
∞ ( r > 0 ) .证明 : Xn X ( n→∞ ) .
5 .27 设 (Ω, F , P) 为一 概 率空 间 , 其 上 两随 机 变 量 X , Y , 若
有 P( X≠ Y ) = 0 , 称 X 与 Y 是等价的 .记 H 为所有随 机变量及 其
等价类的集合 , 且对 X, Y∈ H 定义如下 d 函数 , d( X, Y ) = E( | X -
Y |/ (1 + | X - Y | ) ) .证明 :
(1 ) d 是 H 上的距离 , 记为 ( H , d) ;
P ( H , d)
(2 ) X n X Xn X( n→∞ ) ;
(3 ) ( H, d) 是完备度量空间 .
m .s . m .s .
5 .28 设 Xn X , Yn Y ( n→∞ ) .证明 :
lim E( X n Y n ) = E( X Y ) .
n→ ∞
220 第 5 章 独立随机变量序列的极限定理
t) .证明 : (1 ) " ε> 0 , n→
lim P( | Fn ( t) - t | < ε) = 1; (2 ) " x ∈ R ,
∞
n ( s) ≤ x( s( 1 - s) ) ) = Φ( x ) .
1/ 2
0 < s < 1 , lim P(α
n→ ∞
其顺序 统计 量 , " t ≥ 0 , N n ( t) = ∑I ( X
( k)
≤ t) ,^
Fn ( t) = N n ( t)/ n,
k=1
k
^
θn, k = ∑X
i= 1
( i) + ( n - k) X( k) / k(1 ≤ k ≤ n) .证明 :
(1 ) " ε> 0 , 有 n→
lim P( | ^
Fn ( t) - F( x) | < ε) = 1 ;
∞
n
1
n∑
(2 ) " ε> 0 , 有 n→
lim P X ( i ) - θ < ε = 1;
∞ i= 1
Φ( x) 为标准正态分布函数 .( 提示 : 参见 4 .28 .)
5 .33 设随机变量序列{ Y n , n ≥ 1 } 及{τn , n ≥ 1 } 相互独立 ,
n
P P
且满足 : Y n = ∑ Y k/ n
k= 1
0 ,τn + ∞ ( n → ∞ ) .证明 :
练习题 221
τ
n
1 P
τn ∑
Yk 0( n → ∞ ) .
k=1
n∑k=1
f ( x + Yk ) ∫ f ( u) d u( n → ∞ ) .
0
5 .35 设 f ( x ) 为[ 0 , 1] 上连续函数 .
x1 + … + xn
1 1
(1 ) 试计算下列极限 n→
lim∞ ∫…∫ f 0 0 n
d x1 … d xn ;
n重
1 1
1
∫∫
n
(2 ) 证明 : nli→m … f( x1 … xn ) d x1 … d xn = f .
∞ 0 0 e
n重
5 .36 求下列随机变量的特征函数 :
- | x |/ 2
(1 ) X1 为 双 边 指 数 分 布 , 其 密 度 函 数 为 f1 ( x) = e
( x∈ );
2 2
(2 ) X2 为 柯 西 分 布 , 其密 度 函 数 为 f2 ( x ) = a/ π( a + x )
( a > 0) ;
1 α α- 1 - βx
(3) X3 为Γ- 分布, 其密度函数为 f3 ( x) = β x e I ( x≥ 0 )
Γ(α)
(α> 0 ,β> 0) ( 见第 2 章 2 .3 节 ) .
k
5 .37 设随机变量 X 的特征函数为 φ( t) , 且 mk = E X , Mk =
k ( n) ( n) n
E | X | .证明 : 若 Mn < ∞ , 则 φ ( t) 存在且 mn = φ (0 )/ i .
5 .38 X , mk , Mk 同上 题 , 设 X 的分 布 函数 为 F ( x) , 证 明 若
1 M1/n
" n ≥ 1 , Mn 存在 , 且lim = λ< ∞ , 则 F( x ) 由它的各阶
n
sup
n→ ∞ n
矩{ mn , n ≥ 1} 唯一确定 .( 参见参考文献[ 15 ] .)
第6章
泊松信号流
6 .1 随机过程的有关概念
1 随机过程的 概念
设对一个参 数 t∈ T, X ( t, ω) 是 一 随 机 变 量 , 称 随 机 变 量 族
X T = { X( t,ω) , t∈ T} 为 一 随 机 过 程 ( st ochastic proces ses ) , 其 中
T R , 称为指 标 集 .用 函 数 ( 映 射 ) 的 观 点 来 描 述 X T , X ( t, ω) :
T×Ω→R , 即 X( ・ , ・ ) 是定义在 T×Ω上 , 取值在 R 上的二元 单
值函数 .固定 t∈ T, X( t, ・ ) 是随机 变量 ; 对固定 的 ω∈Ω, X ( t, ω)
是参数 t 的一般函数 , 称它是随机过程的一条 ( 样本 ) 轨道 , 或称 为
一个实现 .记号 X( t,ω) 有时记为 X t (ω) , 简记为 X( t) 或 X t .
通常参数集 T R 有 3 种 : ( 1 ) T = N = { 0 , 1 , 2 , … } ; (2 ) T =
Z = { 0 , ±1 , ±2 , …} ; (3 ) T = [ a, b] R 或 T= R .
当 T 为可列集时 , 称 X T 为随机序列 .X T 的取值全体之集 , 称
n n
为状 态 空 间 , 记 作 S . S 可 以 是 N 、Z 、R 、R 或 C 或 一 般 抽 象
空间 .
6 .1 随机过程的有关概念 223
2 几个例子
(1 ) 质点在直线整数点无限制的随机游动 ( 简单随机游动 )
设一质点在开始 0 时刻在 i( 整数 ) 位置 , 以后每隔单位时间分
别以 p 及 q = 1 - p 向正 ( 右 ) 或负 ( 左 ) 方向随 机游动 一单位 , 且 各
次游动相互独立 , 如此 无穷多 次重 复游动 下去 , 称 为一 随机 试验 .
记 Xn 为质点在 n 时 刻 的 位置 , 固 定 n, Xn 是 随 机 变 量 .对 不 同 的
n≥0 , { X n , n≥0 }是一随机序列 .若记 Sn ( 1) 为 n 时刻之后 , 质点 到
达 1 位置的次数 ; 对不同的 n, { Sn ( 1) , n≥1} 是一随机过程 .
如果 我 们 要 考 察 S1 ( 1 ) , S2 ( 1 ) , … 的 概 率 特 性 , 还 要 考 察
{ Sn ( 1) , n≥1 }与{ Xn , n≥0} 的关系 , 这时只 限在 单个 的 Xn 或单 个
的 S n (1 ) 考虑是不够的 , 需要将 { X n , n≥0 }与{ Sn (1 ) , n≥1 }作为 整
体来研究 .
作为练习 , 对给定的一次试验 , 试画出 n-X n 的图形 .
(2 ) 考虑某“ 服务站”在[ 0 , t]上到达的“ 顾客”数 , 记为 N ( t) .
固定 t, N ( t) 是一随机变量 .给定 0 < s < t, N ( s) , N ( t) 是 两个 随
机变量 , 因此{ N ( t) , t≥0 }是一随机过程 .又记 Sn 为第 n 个顾客 到
达时刻 , 自然我们要关心 S1 , S2 , … , Sn 的情况以及它们与 N ( t) 的
关系 .这时需要对两个过程{ N ( t) , t≥0 } 与 { Sn , n≥1 } 作为 整体 来
研究其概率特性 .
(3 ) 考虑最简单的 R-C 电路 的输入输 出系 统 , 该系统 有一 个
干扰信号 电 压 , 记 为 ξ( t) ; 记 Q ( t ) 为 t 时 电 路 的 电 容 , 它 满 足
d Q( t) 1
R + Q( t) =ξ( t) .若 {ξ( t) , t≥ 0 } 是一 随机 过程 , 则{ Q( t) ,
dt C
t≥0} 也是一个随机过程 .
def
显然 , 我 们 要 对 每 个 t∈ T 知 道 X T 的 分 布 ( 函 数 ) . F ( t; x ) =
P( X( t) ≤ x) , 称 F( t; x ) 为 X T 的 一维分 布 .对 于 " t1 , t2 ∈ T, 要 刻
画 ( X( t1 ) , X( t2 ) ) 的特性 , 就需要 用它 们的 二 维分 布 F( t1 , t2 ; x1 ,
x2 ) = P( X1 ( t1 ) ≤ x1 , X2 ( t2 ) ≤ x2 ) .一 般地 , 对 " tk ∈ T ( 1 ≤ k≤
n) , 称
F( t1 , … , tn ; x1 , … , xn ) = P( X ( t1 ) ≤ x1 , … , X( tn ) ≤ xn )
为 X T 的 n 维分布 .用以描述 n 个时刻的概率特性 .其全体
{ F( t1 , … , tn ; x1 , … , xn ) , tk ∈ T, 1 ≤ k ≤ n, n ≥ 1}
称为随机过程 X T 的 有 限 维 分 布 族 .容 易 看 出 , 它 具 有 以 下 两 个
性质 :
(1 ) 对称性
对 (1 , 2 , … , n) 的任一种排列 ( j1 , j2 , … , jn ) , 均有
F( t1 , … , tn ; x1 , … , xn ) = F( tj1 , … , tj n ; x j1 , … , x j n ) .
(2 ) 相容性
对 m< n有
F( t1 , … , tm , … , tn ; x1 , … , xm , ∞ , … , ∞ )
= F( t1 , … , tm ; x1 , … , xm ) .
自然要问 , 一个随机过 程 X T 的 有限维 分布 族 , 是否描 述了 该
过程的全部概率特性 ? 下面的定理给出了肯定的回答 .
定理 1 .1(柯尔莫哥洛夫存在性定理 ) 设分布函数族{ F( t1 , …,
tn ; x1 , … , xn ) , tk ∈ T, 1 ≤ k≤ n, n≥1 } 满足 以上 对称 性 和相 容性 ,
则必有一随机过程 X T = { X( t) , t∈ T} , 使
{ F( t1 , … , tn ; x1 , … , xn ) , tk ∈ T, 1 ≤ k ≤ n, n ≥ 1}
恰好是 X T 的有限维分布族 , 即
F( t1 , … , tn ; x1 , … , xn ) = P( X( t1 ) ≤ x1 , … , X( tn ) ≤ xn ) .
定理证明从略(有兴趣可参见王梓坤著:《随机过程论》.科学出版
社, 1965) .这说明 XT 的有限维分布族包含了 X T 的所有概率信息 .
6 .2 泊松信号流的定义 225
4 数字特征
6 .2 泊松信号流的定义
以 N ( t) 表示 (0 , t]上的信号 数 , N ( s + t) - N ( s) 代 表 ( s, s + t]
上的信号数 .显 然 , 它取 值非负 整数 , 且 对 " t1 < t2 , 都 有 N ( t1 ) ≤
N ( t2 ) .称{ N ( t) , t≥0 }为计数过程 .
定义 2 .1 若信号流{ N ( t) , t≥0 }满足下面 4 条性质 :
(1 ) N( 0) = 0;
(2 ) 增量独立性 " 0≤ t1 < t2 < … < tn ; N( t1 ) - N(0) , N( t2 ) -
N ( t1 ) , … , N ( tn ) - N ( tn - 1 ) 是 相 互独 立 的 .即 在 互不 重 叠的 时 间
区间上到达的信号数相互独立 ;
(3) 增量平稳性 " s, t > 0 , n∈ N , P( N ( s + t) - N ( s) = n) =
P( N( t) = n) , 即在 ( s, s + t] 内到 达的 信号数 的概 率只 与时 间间 隔
长短有关而与时间起点 s 无关 ;
(4 ) 普通性 在充分小的时间间隔 h 中 , 最多到达一 个信号 ,
来两个或两个以上信号的概率是 h 的高阶无穷 小 , 即 " t≥0 , 充 分
小的 h > 0 , 有
P( N( t + h) - N( t) = 1) = λh + o( h) , λ> 0 ,
P( N ( t + h) - N ( t) ≥ 2 ) = o( h) ,
o( h)
其中 o( h) 意味着 lim = 0 .则称 { N ( t) , t≥ 0} 是 参数为 λ的 简
h→0 h
单泊松信号流 , 简称泊松流 ( 简记 : p .p .) .
注 对于固定的 t≥ 0 , N( t) 是一个随机变 量 .而 { N ( t) , t≥ 0}
通常表示与参数 t 有关的一族随机变量 .定义 2 .1 中 的第 ( 4 ) 条 已
隐含 (3 ) 增量平稳性 , 但为了强调定义的直观性 , 易于理解与处理 ,
仍作上述定义 .
下面我们来推导 N ( t) 的分布 .
定理 2 .1 如 果 { N ( t) , t≥ 0 } 是简 单 泊松 流 , 那么 对 于 " s,
t≥0 , 有
(λt ) n - λt
P( N ( s + t) - N ( s) = n) = e , n = 0, 1, 2, …,
n!
( 2 .1)
6 .2 泊松信号流的定义 227
即 ( N( s + t) - N ( s) ) ~ Po(λt) .
证明 令 Pn ( t) = P( N ( s + t) - N ( s) = n) , 由 增 量平 稳性 可
得 Pn ( t) = P( N ( t) = n) .为证 ( 2 .1 ) 式 , 需 考察 Pn ( t) 随 t 变化 的
具体规律 , 这就要分析在[ 0 , t + h] 上到达 的信号 数与[ 0 , t] 上到 达
的信号数的关系 .取充分小的 h > 0 , 事件可分解为 : 当 n≥1 时 ,
( N ( t + h) = n) = ( N ( t) = n, N( t + h) - N( t) = 0)
∪ ( N( t) = n - 1 , N( t + h) - N( t) = 1)
n
∪ ( N( t) = n - k, N( t + h) - N( t) = k) .
k=2
( 2 .2)
当 n= 0 时 , 有
( N ( t + h) = 0 ) = ( N ( t) = 0 , N( t + h) - N( t) = 0) .
由增量独立性可得
P0 ( t + h) = P0 ( t) P0 ( h) .
再由普通性可知
P( N( t + h) - N ( t) = 0 ) = P0 ( h) = 1 - λh + o( h) ,
故
P0 ( t + h) = P0 ( t) ( 1 - λh + o( h) ) .
移项 , 两边同除以 h, 得
P0 ( t + h) - P0 ( t) - λh P0 ( t) + o( h)
= .
h h
令 h→0 , 上式两边取极限 , 及 N (0 ) = 0 , 有
0 ( t) = - λ
P′ P 0 ( t) ,
( 2 .3)
P0 (0 ) = P( N( 0) = 0 ) = 1 .
- λt
解上面的微分方程 (2 .3 ) , 可得 P0 ( t) = e .因 此当 n = 0 时 , 定 理
2 .1 成立 .
下面来证 n≥1 时的情况 .根据平稳性及增量独立性 , 由 ( 2 .2)
式可推出
228 第 6 章 泊松信号流
Pn ( t + h) = Pn ( t) P0 ( h) + Pn - 1 ( t) P1 ( h) + o( h) ,
Pn ( t + h) = Pn ( t) ( 1 - λh + o( h) ) +
Pn - 1 ( t) (λh + o( h) ) + o( h) .
仿照 n = 0 时的方法 , 移项两边同除以 h, 再令 h→0 时取极限 , 有
n ( t) = - λ
P′ P n ( t) + λP n - 1 ( t) , n ≥ 1 ,
( 2 .4)
Pn (0 ) = P( N( 0) = n) = 0 , n ≥ 1 .
用生成函数的方法来求解上面的微分方程组 .令
∞
∑
n
P( t, x) = Pn ( t) x , ( 2 .5)
n=0
∑ P′( t) x = - λ∑ Pn ( t) x + λx∑ Pn - 1 ( t) xn - 1 ,
n n
n
n= 0 n= 0 n= 1
P( t, x )
即 = - λ(1 - x ) P( t, x ) , 分离变量后积分 , 得
t
l n P( t, x ) - ln P( 0 , x ) = - λ(1 - x) t,
因
∞
P(0 , x) = ∑P
n=0
n ( 0) xn = P0 (0 ) = 1 ,
得
∞
- λt ( 1 - x ) (λt ) n e - λt n
P( t, x ) = e = ∑
n= 0 n!
x ,
定理 2 .2 若信号流{ N( t) , t≥0 } 满 足 : ( 1 ) N ( 0 ) = 0; ( 2 ) 增
n
(λt) - λt
量独立性 ; ( 3) " s, t≥ 0 , n∈ N , P( N ( s + t) - N ( s) ) = e .
n!
则{ N( t) , t≥0} 是参数为 λ的泊松信号流 .
这样定理 2 .2 中 的 ( 1 ) 、( 2 ) 、( 3 ) 可 作 为 泊 松 信 号 流 的 另 一
定义 .
从定义 2 .1 第 (4 ) 条中的 P( N( t + h) - N( t) ≥2 ) = o( h) 可 推
断出计数过程{ N( t) , t≥0} 在任一时刻 t > 0 实际上不 可能有跃 度
大于 1 的 跳跃 , 即 它确切 表示 为 P{∩ ( N { t}≤ 1 ) } = 1 , 或 等价 地
t>0
1
P{∪ ( N{ t}≥2 ) } = 0 .其 中 N { t} = n→
lim N ( t) - N t - 表示
t>0 ∞ n
{ N( t) , t≥0} 在时刻 t 点发生的点数 .
6 .3 用相继到达的时间间隔刻画泊松流
S0 = 0 , Sn = ∑X
k= 1
k ,
当 N( t) 表示[ 0 , t] 上到 达的 信 号数 且有 定义 2 .1 中 的 普通 性时 ,
则上述 S1 及 Sn 可确切用 N ( t) 来定义如下 :
S0 = 0 , S1 = inf{ t; t > 0 , N ( t) ≠ 0 } ,
Sn = inf{ t; t > S n - 1 , N( t) ≠ n - 1 } , n > 1 , ( 3 .1)
Xn = Sn - Sn - 1 , n ≥ 1 .
反之 , 若 已给 { Xn , n≥ 1 } 为 相 继到 达 信 号 的 时 间 间 隔 .又 令
n
S0 = 0 , S n = ∑X
k=1
k , 也可用 S0 , S1 , … , Sn , …定义 N( t) 如下 :
230 第 6 章 泊松信号流
N( 0) = 0 , 对 " t > 0 ,
∞
N( t) = ∑I
n= 1
( S ≤ t)
n
= max { n; n ≥ 0 , S n ≤ t} . ( 3 .2)
n - λy
f ( S 1 , S2 , … , S n ) ( y1 , y2 , … , yn ) = λ e n
I ( 0 < y 1 < y 2 < … < y n ) . ( 3 .7)
证明 为避免繁琐 , 下面只对 n = 2 情形 给出证 明 ( n≥3 可 类
似推出 ) .当 n = 2 时 , 由于 0≤ S1 ≤ S2 , 只需考虑取 0≤ y1 < y2 及充
分小的 h1 , h2 > 0 满足 : 0 < y1 < y1 + h1 < y2 < y2 + h2 , 由下面易知
{ y1 < S1 ≤ y1 + h1 , y2 < S2 ≤ y2 + h2 }
= { N( y1 ) = 0 , N( y1 + h1 ) - N ( y1 ) = 1 ,
N ( y2 ) - N ( y1 + h1 ) = 0 ,
N( y2 + h2 ) - N( y2 ) = 1 } +
{ N ( y1 ) = 0 , N ( y1 + h1 ) - N( y1 ) = 1 ,
N ( y2 ) - N ( y1 + h1 ) = 0 ,
N( y2 + h2 ) - N ( y2 ) ≥ 2} .
再由{ N( t) , t≥0} 增量独立性及定理 2 .1 的 (2 .1 ) 式得
P( y1 < S1 ≤ y1 + h1 , y2 < S2 ≤ y2 + h2 )
- λy - λh - λ( y - y - h ) - λh
= (e 1
) (λh1 e 1
)(e 2 1 1
) (λh2 e 2
) + o( h1 h2 )
=λ2 e - λy 2 h1 h2 e - λy 2 + o( h1 h2 )
2 - λy
=λ e 2
h1 h2 ( 1 - λh2 + o( h2 ) ) + o( h1 h2 )
及
P( y1 < S1 ≤ y1 + h1 , y2 < S2 ≤ y2 + h2 )
f ( S 1 , S 2 ) ( y1 , y2 ) = hlim ,
→0
1 h1 h2
h →0
2
故
2 - λy
f ( S 1 , S2 ) ( y1 , y2 ) = λ e 2
I( 0 < y 1 < y 2 ) .
对 n≥ 3 , 可类似地证明 .
事实上 , 由 P( N( t + h) - N ( t) ≥ 2 ) = o( h) , 可推 出 : " n≥ 1 ,
P(0 < Sn < Sn + 1 ) = 1 .
再分析相邻事件到达的时间间隔 { X n , n≥ 1}的特性 .
引理 3 .3 若{ N ( t) , t≥0 }是 参数为 λ的简单泊松流 , 则相 邻
两个事件发生的时 间 间隔 { Xn , n≥1 } 彼 此独 立 , 且均 服 从参 数 同
232 第 6 章 泊松信号流
∏f
k= 1
k ( xk ) , 即{ X n , n≥1 }独立同分布且 X n ~Ex (λ) .引理得证 .
P( N ( t) = n) = (λt ) e - λt , n = 0 , 1 , 2 , … .
n!
def
证明 为求 N ( t) 的分 布 , 先 求出 Sn 的 分布 F n ( t) = P( Sn ≤
t) , 用归纳法 .
n-1 k
(λt )
∑
- λt
Fn ( t) = 1 - e , t ≥ 0, ( 3 .8)
k=0 k!
当 n = 1 时 , 易知 F1 ( t) = P( S1 ≤ t) = P( X1 ≤ t) = (1 - e - λt ) I ( t≥ 0 ) .
设当 n = k 时 , ( 3 .8 ) 成立 , 须 证 n = k + 1 时 , 由 Sn + 1 = S n +
Xn + 1 , 利用卷积公式
t
Fn+ 1 ( t) = ∫F ( t -
0
n u) d F1 ( u) ,
有
k- 1 i
t
(λ( t - u) )
∫ ∑
- λ( t - u ) - λu
Fk + 1 ( t) = 1 - e λe du
0 i=0 i !
k- 1
- λt - λt (λt ) i+ 1
=1 - e - e ∑
i=0 ( i + 1) !
k i
(λt ) ,
∑
- λt
=1 - e
i= 0 i !
从而 (3 .8 ) 式得证 .再由 (3 .8 ) 式 , 代入 (3 .5 ) 式 , 即证结论成立 .
由引理 3 .4 易得如下推论
推论 若 { X n , n≥ 1 } 独立同 分布 , 且 Xn ~ Ex (λ) , 则 由 (3 .2 )
式定义的{ N( t) , t≥0} 具有普通性 , 即 " t≥0 及充分小的 h > 0 , 有
P( N( h) = 1) = λh + o( h) , P( N ( h) ≥ 2 ) = o( h) .
234 第 6 章 泊松信号流
P( N ( s + t) - N ( s) = n) = ∑ P( N( s)
k= 0
= k, N ( s + t) = k + n)
∞
∑∫ P( S
k= 1 0
k ≤ s < Sk + X k+ 1 ≤ S k +
k+ n k+ n + 1
∑X
k+ 1
i ≤ s + t ≤ Sk + ∑X
k+ 1
i | Sk = u) d P( Sk ≤ u)
∑∫ P( s -
k= 1 0
u < S1 ≤ Sn ≤ s + t - u < Sn + 1 ) d P( Sk ≤ u) .
( 3 .9)
又
P( s < S1 ≤ Sn ≤ s + t < Sn+ 1 )
s+ t n n+ 1
∫
=
s
P ∑X 2
i ≤ s+ t - v < ∑X2
i | X1 = v λe - λv d v
s+ t
∫
=
s
P ( Sn - 1 ≤ s + t - v < Sn )λe - λv d v
s+ t
[λ( s + t - v) ] n - 1 - λ( s+ t - v) - λv
∫
= s ( n - 1) !
e λe d v
n
(λt ) - λ( s + t )
= e .
n!
6 .3 用相继到达的时间间隔刻画泊松流 235
类似地有
(λt ) n - λ( s + t - u)
P( s - u < S1 ≤ Sn ≤ s + t - u < Sn + 1 ) = e ,
n!
代入 (3 .9 ) 式得
(λt) n - λ( s + t) s
(λt) n - λ( s + t - u)
P( N ( s + t) - N( s) = n) =
n!
e + ∫ 0 n!
e λd u
n n
(λt) - λ( s + t) (λt ) - λ( s + t) λs
= e + e (e - 1)
n! n!
n
= (λt ) e - λt = P( N ( t) = n) .
n!
注 对 n = 0 的情形证明类似 , 留作读者练习 .
引理 3 .6 若{ X n , n≥ 1}独立同分布 , X n ~ Ex (λ) , 则由 (3 .2)
式定义的{ N( t) , t≥ 0 } 具 有增 量独 立 性 , 即 " 0 ≤ t1 < t2 < … < tn ,
N ( t1 ) - N (0 ) , N( t2 ) - N( t1 ) , … , N ( tn ) - N( tn - 1 ) 相互独立 .
证明 为节省篇幅 , 下面只证对 " s, t > 0 , N ( s) 与 N ( s+ t) -
N ( s) 独 立 , 即证 : " m, n≥0 有 P( N( s) = m, N( s+ t) - N( s) = n) =
P( N( s) = m) P( N ( s + t) - N ( s) = n) .只写 出 m≥1 与 n≥ 1 的 情
形 , 其他可类似证之 .
P( N( s) = m, N ( s + t) - N ( s) = n)
= P( Sm ≤ s < S m+ 1 ≤ Sm+ n ≤ s + t < Sm+ n + 1 )
s m+ n
∫ P( s -
=
0
u < Xm+ 1 ≤ ∑ X i ≤ s + t - u ≤
m+ 1
m+ n+1
∑m+ 1
X i | Sm = u) d P( S m ≤ u)
s
∫ P( s -
= 0
u < S1 ≤ Sn < s - u + t < Sn+ 1 ) d P( Sm ≤ u)
s
(λt ) n - λ( s- u+ t) (λt ) m - 1 - λu (λs) m - λs (λt ) n - λt
∫
= 0 n!
e λ
( m - 1) !
e du =
m !
e
n!
e
= P( N( s) = m) P( N( s + t) - N( s) = n) .
236 第 6 章 泊松信号流
综合引理 3 .2 ~3 .6 , 我们有以下重要定理 .
定理 3 .1 计数过程 { N ( t) , t≥ 0 } 是 简单 泊松 流 的充 要条 件
是其信号相继 到达 的 时 间 间 隔 { X n , n≥ 1 } 独 立 同 分 布 , 且 X n ~
Ex(λ) .
以上结果揭示了简单泊松流与服从指数分布且相互独立的时
间间隔的内在联系 , 这不仅在理论上有价值 , 而且在应用上很有意
义 .例如 , 要检验一个计数过 程是 否是 泊松流 问题 , 可 以转 化为 检
验{ X n , n≥ 1}是否独立同分布及 X n ~ Ex(λ) .同时 , 要 在计算机 上
模拟一简单泊松流 { N( t) , t≥0} .可通过以下步骤构造出 :
(1 ) 取一串{ U n , n≥1 }独立同分布 U n ~U ( 0 , 1) ;
(2 ) 令 X n = - λ- 1 l nU n (λ> 0 ) 易 知 , { Xn , n≥ 1 } 独立同 分布 ,
且 Xn ~ Ex(λ) ;
n
(3 ) 令 S0 = 0 , Sn = ∑X
1
k ;
∞
( 4) " t≥0 定义 N ( t) = ∑I
n= 1
( S ≤ t)
n
= sup{ n: n ≥ 0 , S n ≤ t} .
则{ N( t) , t≥0} 为泊松流 .
6 .4 相继到达时刻的条件分布
= P( N ( x) = 1 , N( t) - N ( x ) = 0) = x ,
P( N ( t) = 1 ) t
6 .4 相继到达时刻的条件分布 237
1 ( 0 ≤ x≤ t )
f S 1 | N( t) = 1 ( x ) = I . ( 4 .1)
t
可见 S1 = X1 在 N( t) = 1 下的条件概率密度函数是[ 0 , t]上的均 匀
分布 .一般地 , 我们有下面的结论 .
定理 4 .1 设{ N( t) , t≥0}为泊松信号流 , 则在 N( t) = n ( n≥ 1)
下 , ( S1 , S2 , … , Sn ) 的条件概率密度函数为
n!
f ( x1 , x2 , … , xn ) = ・ I( 0 < x1 < x 2 < … < x n < t) . ( 4 .2)
tn
证明 为 节 省 篇 幅 仅 证 n = 2 .因 在 N ( t) = 2 下 , 0 ≤ S1 ≤
S2 ≤ t, 故只 考虑 0 < x1 < x2 < t, 取 充 分 小 h > 0 使 0 < x1 < x1 +
h < x2 < x2 + h < t, 于是
P( x1 < S1 ≤ x1 + h, x2 < S2 ≤ x2 + h | N ( t) = 2 )
= P{ N( x1 ) = 0 , N( x1 + h) - N( x1 ) = 1 ,
N( x2 ) - N ( x1 + h) = 0 , N ( x2 + h) - N ( x2 ) = 1 ,
N( t) - N ( x2 + h) = 0 }/ P( N ( t) = 2 )
(λt ) 2 - λt
= e - λx 1 (λhe - λh ) e - λ( x 2 - x 1 - h) (λhe - λh ) e - λ( t - x - h)
2 / e
2!
2!
= 2 h1 h2 ,
t
2 !
得 f ( S 1 , S 2 | N ( t ) = 2 ) ( x1 , x2 ) = 2 I( 0 < x < x < t)
1 2
.
t
n≥3 的情况可类似证得 .
本定理说明在 N ( t) = n 的条件 下 ( S1 , S2 , … , Sn ) 的条 件概 率
密度函数与 n 个在 [0 , t] 上 相互 独 立同 均 匀分 布 U1 , … , Un 的 顺
序统计量 U( 1 ) , … , U( n) 的联合概率密度相同 ( 见第 3 章命 题 7 .2 ) .
其逆命题如下 .
定理 4 .2 设{ N ( t) , t≥0 } 为计 数过程 ( 信号 流 ) .{ Xn , n≥ 0}
为信号相继 到 达 的 时 间 间 隔 , 独 立 同 分 布 F ( x ) = P ( X n ≤ x ) ,
238 第 6 章 泊松信号流
F( 0) = 0 , 且 " 0 ≤ s≤ t, P ( X1 ≤ s | N ( t) = 1 ) = ( s/ t) I( 0 ≤ s≤ t ) , 则
{ N( t) , t≥0} 为泊松信号流 .
证明 由题设 P( X1 ≤ s| N ( s + x ) = 1 ) = s/ ( s+ x) ,
P( X1 ≤ x | N( s + x) = 1 ) = x/ ( s + x ) ,
所以
P( X1 ≤ s | N ( s + x) = 1 ) +
P( X1 ≤ x | N ( s + x ) = 1) = 1 , x , s > 0 . ( 4 .3)
又
P( X1 ≤ s | N ( s + x ) = 1) = P( X1 ≤ s,
X1 ≤ s + x < X1 + X2 )/ P( X1 ≤ s + x < X1 + X2 ) ,
由全概率公式可得
P( X1 ≤ s, X1 ≤ s + x < X1 + X2 )
s
=∫( 1 - 0
F( s + x - u) ) d F( u) .
同理
x+ s
P( X1 ≤ s + x < X1 + X2 ) = ∫ 0
( 1 - F( s + x - u) ) d F( u) .
由 (4 .3 ) 式可得
x s
∫( 1 -
0
F( s + x - u) ) d F( u) + ∫( 1 -0
F( s + x - u) ) d F( u)
x+ s
∫
= 0
( 1 - F( s + x - u) ) d F( u) ,
所以
s
∫ (10
- F( s + x - u) ) d F( u)
x +s
∫
= x
(1 - F( s + x - u) ) d F( u) , x , s > 0 .
令 G( x) = 1 - F( x ) , 则上式可化为
G( s + x) = G( s) G( x) , s, x ≥ 0 , ( 4 .4)
由 G( x) 单调不增、右 连续 , 则存 在右 导数 G′
x ( x) ; 又 G( 0 ) = 1 , 及
6 .4 相继到达时刻的条件分布 239
(4 .4 ) 式得 G′
s ( x + s) = G′
s ( s) G( x ) .又 G′
x ( x + s) = G′
s ( x + s) , 令
- λx
s= 0 , 则 G′
x ( x) = G′
s ( 0 ) G( x ) .令 λ= - G′
s ( 0 ) ≥ 0 , 则 G( x ) = e
例 4 .1 求 S( t) = k∑ ( t - Sk ) 的 期望 E S( t) , 其中 { N ( t) , t≥
=1
ES ( t) = E E ∑(t
k= 1
- S
k
) | N ( t) ,
为此先求
N ( t)
E[ S( t) | N ( t) = n] = E ∑(t -
k=1
S k ) | N( t) = n
= E ∑(t
k= 1
- Sk ) | N ( t) = n
n n
= nt - E ∑S
k= 1
k | N ( t) = n = nt - E ∑U
k=1
( k)
n n
= nt - E ∑U k = nt - ∑ EU k = nt ,
k= 1 k= 1 2
其中 U1 , … , Un 独立同分布 , 且 U1 ~U[ 0 , 1 ] , U( 1 ) , … , U( n) 为其 顺
序统计量 .故
ES ( t) = E{ E[ S( t) | N ( t) ] }
∞
λt2
= ∑ E[ S( t) | N( t) = n] P( N( t) = n) = .
n= 0 2
240 第 6 章 泊松信号流
6 .5 剩余寿命与年龄
本节再从不同角度刻画 泊 松流 的特 性 .设 N ( t) 表 示 在[ 0 , t]
上事件发生的个数 , Sn 表示第 n 个事 件发 生的 时刻 , 那么 , SN ( t) 表
示在 t 时刻前最后一个事件发生的时刻 .S N ( t ) + 1 表示 t 时刻后首 次
事件发生的时刻 .注意这里 S N ( t ) 与 SN ( t) + 1 的下标 N( t) 与 N( t) + 1
是随机变量 .令
W ( t) = S N( t) + 1 - t, ( 5 .1)
V ( t) = t - SN ( t ) , ( 5 .2)
W ( t) 与 V( t) 有许 多具 体 背景 , 例 如 , 设 一零 件在 t = 0 时 开始 工
作 , 若它失效 , 立即更换 , 一个更新的零件又开始工作 , 如此重复下
去 , 记 Sn 为第 n 次更换时刻 , 记 Xn = Sn - Sn - 1 表示第 n 个 零件 的
工作寿命 .此时 W ( t) 表示观察者在时刻 t 所观察的正 在工作的 零
件的剩余寿命 ; V ( t) 表示 正在 工作 的 零件 已经 工作 的时 间 , 称 为
年龄 .还可以有别的 解释 : 如 Sn 表示第 n 辆汽车到站 的时刻 , 某一
乘客到站的时刻为 t, 则 W ( t) 表示 该 乘客 的等 待时 间 .若 Sn 表 示
第 n 次发生地震的时刻 , 则 S N( t) + 1 表 t 时刻以后首次地震的时刻 ,
W ( t) 表示 t 时刻后直到首次地 震之 间的剩 余时 间 , 等等 .所 以 , 通
常称 W ( t) 为剩余寿命 , V ( t) 为 年龄 .显 然 , 研究 W ( t) , V ( t) 的 特
性很有意义 .
定理 5 .1 若 { N ( t) , t≥ 0 } 是 参 数 为 λ的 简 单 泊 松 信 号
流 , 则:
(1 ) W ( t) 与 { Xn , n ≥1 } 同为指数分布 ;
(2 ) V ( t) 是“截尾”的指数分布 , 即
- λx
1 - e , 0 ≤ x < t,
P( V( t) ≤ x ) = ( 5 .3)
1 x≥ t .
证明 由{ W ( t) > x} = { N ( t + x ) - N ( t) = 0 } , 及 t > x 时 ,
6 .6 泊松流的若干推广 241
{ V ( t) > x} = { N ( t) - N( t - x ) = 0 } , t≤ x 时 , { V ( t) > x} = ,即
得所要结论 .
推论 1 若{ N( t) , t≥0}是参数为 λ的简单泊松流 , 则 EW( t) =
1/ λ, E V( t) = ( 1 - e - λt )/ λ.
证明 由定理 5 .1 易得 , 请读者自己完成 .
问题 " t > 0 , W ( t) , V ( t) 是否 独 立 ? 请 有 兴趣 的 读者 证 明
你的猜想 .
还可用 W ( t) 与 X n 的关系来刻画泊松信号流 .
定理 5 .2 设{ Xn , n≥1} 独立同分 布 , X n ≥ 0 . " t≥0 , N ( t) 由
(3 .2 ) 式定 义 , W ( t) 由 ( 5 .1 ) 式 定 义 , 若 W ( t) 与 X n 独 立 同 分 布
F( x ) , 且 F(0 ) = 0 , 则{ N( t) , t≥0} 是泊松信号流 .
证明 梗概如下 : 设 G( x ) = 1 - F( x) , 由 W ( t) 的 定义及全 概
率公式可证 : " x, t≥0 , 有
t
P( W ( t) > x) = 1 - F( x + t) + ∫ P( W ( t -
0
u) > x) d F( u) ,
( 5 .4)
由此可得 G( t + x) = G( t) G( x ) ( t, x≥ 0 ) .类似 与定 理 4 .2 最后 部
分的证明 .
6 .6 泊松流的若干推广
1 非时齐泊松 流
的限制 , 即得到非时齐泊松流 .
定义 6 .1 计数 过程 { N ( t) , t≥ 0 } 称 为 具有 强 度函 数 {λ( t) ,
t≥0} 的非时齐泊松流 .若它满足 :
(1 ) N( 0) = 0;
(2 ) { N ( t) , t≥0 }具有增量独立性 ;
(3 ) " t≥0 , 充分小的 h > 0 , P( N( t + h) - N( t) = 1) =λ( t) h +
o( h) , P( N( t + h) - N( t) ≥ 2) = o( h) , 其中 {λ( t) , t≥ 0 }称 为强 度
函数 ,λ( t) ≥0 .
定理 6 .1 若{ N ( t) , t≥ 0} 是强 度函数 {λ( t) , t≥0 } 的非时 齐
t
泊松流 , 令 m( t) = ∫λ( u) d u , 则 " s, t≥ 0 有
0
n
[ m( s + t) - m( s) ]
P( N( s + t) - N( s) = n) = ・
n!
exp{ - [ m( s + t) - m( s) ] } , n ∈ N . ( 6 .1)
证明 证法与定理 2 .1 的证法完全类似 , 留作练习 .
可以证明 , 通过适当的 变换可 将非 时齐 的泊松 流 转化 为时 齐
的泊松流 , 反之亦然 .
2 复合泊松流
X( t) = ∑Y
k= 1
k , ( 6 .2)
称{ X( t) , t≥0 } 为复合泊松流 .
特殊情况 , 若 {ρk , k≥ 1} 独 立同 分布 , 是取 值为 正整数 的随 机
N( t)
3 条件泊松流
定义 6 .3 设 Λ是一正随机变 量 , 分布 函数 为 G( x ) ( x≥ 0 ) .
设{ N( t) , t≥0} 是计数过程 , 且在 给定 Λ= λ的 条件下 , { N ( t) , t≥
0} 是一时齐的泊松流 , 即 " s, t≥ 0 , λ≥0 , n∈N , 有
(λt ) n - λt
P( N ( s + t) - N ( s) = n | Λ = λ) = e ( 6 .3)
n!
4 更新过程
由定理 3 .1 知 , 一 个 计数 过 程 , 若他 们 相 邻 到 达的 时 间 间 隔
Xn 是指数分布 , 则 此 过程 为 泊松 流 .现 在 , 我 们 来考 虑 Xn 是 一 般
分布时的情形 , 这便是更新过程 .
定义 6 .4 设 { Xn , n≥ 0 } 独 立 同 分 布 , Xn ≥ 0 , 分 布 函 数 为
n
F( x ) ( x≥ 0) , 且 F( 0 ) < 1 , 令 S0 = 0 , Sn = ∑X
k=1
k , 对 " t≥ 0 , 记
∞
N ( t) = ∑I
n=1
( S ≤ t)
n
, 称{ N ( t) , t≥0 }为更新过程 .
显然 , 更新过程是一计数过程 , 并有
{ N( t) ≥ n} = { Sn ≤ t} , ( 6 .4)
{ N ( t) = n} = { Sn ≤ t < Sn+ 1 } = { Sn ≤ t} - { Sn+ 1 ≤ t} .
( 6 .5)
请读者考虑更新过程是否具有增量独立性 .
n
记 Fn ( x) 为 Sn 的分布函数 , 由 Sn = ∑X
k=1
k , 易知
F1 ( x) = F( x) ,
x
Fn ( x) = ∫F0
n -1 ( x - u) d F( u) , n ≥ 2 ,
即 Fn ( x) 是 F( x ) 的 n 重 卷 积 ( 简 记 Fn = Fn - 1 * F) .记 m ( t) =
E N( t) , 称 m( t) 为更新函数 .
244 第 6 章 泊松信号流
定理 6 .2 " t≥0 , 有
∞
m( t) = ∑F
n= 1
n ( t) . ( 6 .6)
∞ ∞ ∞
证明 m( t) = E∑ I( S n ≤ t) = ∑ EI ( S ≤ t)
n
= ∑ P( S n ≤ t) =
n=1 n=1 n= 0
∞
∑F
n= 1
n ( t) .
推论 若对 " t≥0 , F( t) < 1 , 则
m( t) ≤ F( t) ( 1 - F( t) ) - 1 ( 6 .7)
证明 由归纳法可得 Fn ( t) ≤ ( F( t) ) n , 再利用 ( 6 .6) 式即得 .
定理 6 .3 " t≥0 , m( t) 满足更新方程
t
m( t) = F( t) + ∫ m( t -
0
u) d F( u) . ( 6 .8)
∞
证 明 由 ( 6 .6 ) 得 m( t) = F( t) + ∑F
n= 2
n ( t) , 将 Fn ( x) =
x ∞
∫ ∫
- st
Fn - 1 ( x - u) d F( u) 代入 即得 ( 6 .8) .若令 珦
m( s) = e d m( t) ,
0 0
珟
F( s) = ∫ 0
e - s t d F( t) , 从 ( 6 .8) 式易得
珟
F( s) 珦
m( s)
珦
m( s) = , 珟
F( s) = , ( 6 .9)
1 - 珟
F( s) 1+珦
m ( s)
由拉普拉斯变换与其 逆变 换 是一 一对 应的 , 可 知 m ( t) 与 F( t) 亦
是一一对应的 .
令 μ= E X n , 由 F(0 ) < 1 易证 μ> 0 .记 N ( ∞ ) = lim N ( t) .
t→ ∞
Sn
定理 6 .4 ( 1 ) P ( nlim = μ) = 1; ( 2 ) P( N ( ∞ ) = ∞ ) = 1;
→∞ n
N ( t) 1
(3 ) P t→
lim = =1 .
∞ t μ
证明 (1 ) 由强大数定律即得 .
练习题 245
∞ ∞
(2 ) 注意到{ N ( ∞ ) < ∞} = n∪ ( S n = ∞ ) = n∪ ( Xn = ∞ ) 即得 .
= 1 = 1
(3 ) 从略 ( 留给有兴趣的读者作为练习来完成 ) .
更新过程的最初物理原 型是零 件的 接连更 换 , 一 个零 件在 零
时刻开始工作 , 在 X1 时刻失 效 , 然后 马 上被 第二 个更 换 , 一 般地 ,
n
件寿命是独立同分布的 , 即 P( X n ≤ x ) = F( x ) , 显然在这一更换过
程中 N ( t) 表示在 [ 0 , t] 的更 新数 目 .现 在 , 更新 过程 在 生物 遗传 ,
排水系统 , 可靠性工程 , 人口增长 , 经济管理等领域有着广泛应用 .
练 习 题
6 .1 假设在某一公路上 , 同方向行驶的汽车之间的距离是具
有均值为 100m 的指数分布 , 且相 互独 立 .问 : 在 5 km 的一 段路 上
有 50~ 60 辆汽车的概率是多少 ?
6 .2 在 某 一公 路 上 , 可 以 假设 运 输流 为 强度 等 于 0 .5 辆/ s
的简单泊松流 , 试求出 n 辆 汽车 ( 一辆 接一辆 ) 通过 观察岗 需要 时
间多于 t-s 的概率 .
6 .3 设{ N ( t) , t≥0 }是 参数为 λ的泊 松流 , S0 = 0 , Sn 为 第 n
个信号 ( 顾客 ) 到达时刻 .
(1 ) 下列事件是何关系 : ( N ( t) < n) 与 ( Sn > t) ; ( N ( t) ≤ n) 与
( Sn ≥ t) ; ( N ( t) > n) 与 ( Sn < t) ;
(2 ) " s, t > 0 , 求 E[ N ( s) N ( t) ] , P( N ( t) = k | N ( s) = n) 及
E[ N ( t) | N ( s) ]的分布律 ;
(3 ) 求 E( S1 | N ( t) = n) 及 E( S1 | N ( t) ) 的分布律 ;
(4 ) 求 E( Sk | N( t) = n) ;
(5 ) 试问 W ( t) = SN ( t ) + 1 - t 与 V ( t) = t - SN ( t ) 是否 独立 ? 试
246 第 6 章 泊松信号流
证之 ;
(6 ) 求 δ( t) = S N ( t) + 1 - S N( t) 的概率密度函数 .
6 .4 设{ N ( t) , t≥0 }是参数为 λ的时齐泊松过程 , { Y k , k≥1}
2
独立同分布 , 且与 { N ( t) , t≥0 }独立 , E Y1 = μ, D Y1 =σ , 令 X( t) =
N ( t)
∑Y
k= 1
k , 求 : E X( t) , D X( t) .
6 .5 设一系统在[ 0 , t] 内受冲 击的 次数 { N ( t) , t≥ 0 } 是参 数
为 λ的时齐泊松过程 , 第 k 次受冲击的即时损失为 D k , { Dk , k≥1}
独立同分布 , 并与{ N ( t ) , t≥ 0 } 独 立 , 且 损 失随 时 间呈 指 数 衰减 .
- αt
t = 0 的损失为 D, 经 t 时刻损失为 De .设 损失 可加 , t 时 刻的 总
N ( t)
- α( t - S )
损失为ξ( t) = ∑D e
k=1
k k . 试求 Eξ( t) (α> 0 为常数 ) .
6 .8 设 U k 是独立同 分布 U k ~ ( 0 , 1 ) , X k = - λ- 1 ln Uk , (λ>
0) , 求 : (1 ) X k 的分布 ;
n
(2 ) Sn = ∑X
k= 1
k 的概率密度函数 ;
练习题 247
2
(3 ) Zn = 2λSn 的概率密度函数 , 并与 χ ( 2 n) 的概 率密度函 数
比较 .
n
1 t
n∑
6 .9 证 : "ε> 0, n→
lim P Sk - < ε| N( t) = n = 1 ,
∞ k=1 2
W = | X1 - X2 | .
证明 : ( 1) P( N = i) = (λ1 +λ2 ) - 1 λi , i = 1 , 2 ,
( 2) P( U > t) = exp { - (λ1 + λ2 ) t} , t≥ 0 ,
( 3) N 与 U 独立 ,
( 4) P( W > t| N = 3 - i) = e - λit , t≥0 , i = 1 , 2 ,
( 5) U 与 W 独立 .
6 .16 某台仪器由 A , B 两个系 统构成 , 可 能发生 的故 障有 3
种类型 .发 生第 i 类 ( i = 1 , 2 , 3 ) 故 障的 累计 次数构 成 3 个 相互 独
立的强度分别为 λi 的 泊松过 程 .若发 生第一 类故 障 , 系统 A 无 法
正常运行 ; 若发生第二类故障 , 系统 B 无 法正常 运行 ; 若发 生第 三
类故障 , 系统 A, B 都 无 法正 常运 行 .以 X1 和 X2 分别 记 A , B 两
个系统的寿命 .证明 :
(1 ) X1 和 X2 的联合分布为
P( X1 > s, X2 > t) = exp { - λ1 s - λ2 t - λ3 m ax( s, t) }
( 这个分布通常称为二元指数分布 ) ;
(2 ) X1 和 X2 均服从指数分布 .
( k) ( k)
6 .17 设 N ={N ( t) , t≥0 } ( k≥1 ) , 为一列相互独立的泊
∞
∑λ
( k)
松过 程, N 的 强 度 为 λk . 又 λ = k < ∞ . 令 N ( t) =
k= 1
∞
∑ kN
( k)
( t) ( t ≥ 0 ) . 证明 N = { N( t) , t≥ 0}为复合泊松过程 .
k= 1
6 .19 试证明定理 6 .1 .
6 .20 设{ N( t) , t≥0} 为具有强度 函数{λ( t) , t≥ 0 }的 非时 齐
泊松流 , S0 = 0 , Sn 为第 n 个信号到达时刻 .求 : (1 ) P( S1 ≤ x ) ;
(2 ) P( S1 ≤ y1 , S2 ≤ y2 ) ; ( 3) P( S1 ≤ x | N ( t) = 1) .
6 .21 { N ( t) , t ≥ 0 } 与 {λ( t ) , t≥ 0 } 同 上 题 .令 m( t) =
t
∫λ( s) d s , m
- 1 - 1
( t) 是 m ( t) 的 反 函 数 , 即 m ( u) = inf { t: t > 0 ,
0
- 1
m( t) ≥ u, u≥0 } .记 M( u) = N ( m ( u) ) .
(1 ) 证明{ M ( u) , u≥0 }是时齐泊松流 ;
(2 ) 反之 , 若{ M ( u) , u≥ 0}是参数 λ= 1 的时齐泊松 流 , 给 定
强度函数{λ( t) , t≥0} .
def
∑Y
k= 1
k , 是复合泊松流 , { N ( t) , t≥ 0 } 是 参数 为 λ的 简 单泊 松流 且
与{ Y k , k≥ 1 } 独 立 , { Y k , k≥ 1} 独立 同分 布 .试 证明 : ( 1 ) { X ( t) ,
t≥0} 是增量独立的 ; ( 2) { X( t) , t≥0} 是增量平稳的 ; ( 3) X( t) 的 特
征函数为
+∞
∫
isX ( t) isx
Ee = exp - λt (1 - e ) d P( Y1 ≤ x)
- ∞
X( t) a . s .
lim = λa .
n→ ∞ t
2
6 .25 记号同 6 .22 .若 E Y1 = a, D Y1 =σ < ∞ .证明 :
X( t) - λat ≤ x
" x ∈ R , t→
lim P = Φ( x) .
∞ σ2 λt
6 .26 设 Xn ~ G( p) ( 参 数 为 p 的几 何分 布 ) .求 相应 的更 新
过程{ N( t) , t≥0} 的分布律及更新函数 m( t) .
6 .27 设 { X n , n≥ 1 } 独立同 分布 , X n ≥0 , P( X n ≤ t) = F( t) ,
{ N( t) , t≥0} 为相应的更新过 程 .证 明 : " t > 0 , P ( N ( t) < ∞ ) = 1
+
的充要条件是 F( 0 ) < 1 .
6 .28 设 X n , { N ( t) , t≥ 0 } 同 上 题 .记 φ( t, z) = Ez N( t) ,
∞ ∞
∫e ∫e
- st - st
L( t, z) = φ( t, z) d t, Ψ( s) = d P( X1 ≤ t) .证明 :
0 0
L( t, z) = (1 - Ψ( s) )/ s(1 - zΨ( s) ) .
6 .29 设 P( Xn ≤ x) = F( x) , F(0 + ) < 1 , 且 μ= E Xn < ∞ , Sn =
n
∑X
k= 1
k , { N ( t) , t≥0 }为相应的更新过程 .证明 :
Sn a .s . a .s .
N( t) a .s . 1
(1 ) lim = μ; ( 2) lim N ( t) = + ∞ ; ( 3) lim = .
n→ ∞ n t→ ∞ t→ ∞ t μ
6 .30 同 上 题 , 且 D X n =σ2 < ∞ . 证 明 : " x ∈ R,
t
N( t) -
lim P μ = Φ( x) .
t→ ∞ - 3/ 2 1/ 2 ≤x
σμ t
第7章
随机游动与马尔可夫链
7 .1 简单随机游动
X0 = j, Xn = X0 + ∑ Y i , 则 Xn 表质点 ( 开始从 X0 出发 ) 第 n 时刻
i =1
究 , 下面我们介绍它的较简单的两个模型 .
1 无限制随机 游动
P( X n = k) = Cn 2 p 2
q2 . ( 1 .1)
而当 n 与 k 奇偶性相反时 , 概率为 0 .由 (1 .1 ) 式 , 可引 出下面一 条
命题 .
7 .1 简单随机游动 253
Xn + n
命题 1 .1 若令 S n = , 则 S n ~ B( n, p) , 即 Sn 服从参 数
2
为 ( n, p) 的二项分布 .
证明留给读者 .
下面来看看一维直线随机游动在竞赛 ( 或赌博 ) 中的应用 .
设 A , B 两队 ( 人 ) 进 行某 种 竞赛 ( 赌博 ) .每次 A 胜 ( 赢 ) 的 概
率为 p, 负的概率为 q( p + q = 1) 规定若 A 胜 , 则加 1 分 ( 得一元 ) ,
否则减 1 分 ( 给 B 一元 ) , 且每 次之 间的胜 负相 互独立 , 于 是上 面
定义的 X n 就可 以 表示 进 行 了 n 次 竞赛 ( 赌 博 ) 后 , A 的 得 分 ( 得
的钱 ) .
在上述背景下 , 我们来求 E( X n + 1 | X0 , X1 , … , Xn ) .
分两种情况讨论 :
(1 ) p = q = 1/ 2( 对称随机游动 )
此时 E Yn + 1 = p - q = 0 , 并注 意到 Y n + 1 与 X0 , X1 , … , Xn 相 互
独立 .于是
E( Xn+ 1 | X0 , X1 , … , X n ) = E( X n + Y n+ 1 | X0 , X1 , … , Xn )
= E( X n | X0 , X1 , … , Xn ) + E( Y n+ 1 | X0 , X1 , … , X n )
= Xn + EY n+ 1 = Xn .
由此可得
E( X n + 1 | X0 , X1 , … , X n ) = X n . ( 1 .2)
上式说明 , 在每次胜负 ( 输赢 ) 机会相等的情况下 , 即在公平竞
赛 ( 赌博 ) 前提下 , 在已知前 n 次结 果 X 0 , X1 , … , Xn 的条件 下 , 考
虑前 n + 1 次平均总得分 E( X n + 1 | X0 , X1 , … , Xn ) 等于前 n 次的总
得分 , 因此 , 满足 (1 .2 ) 式 .反映 了 由于 公平 竞争 ( 赌博 ) 所 导致 的
序列{ X n , n≥ 1 } 的 一 个特 性 , 称具 有 ( 1 .2 ) 式 特 性的 随 机序 列 为
鞅 , 鞅是近代概率论发展的最为迅速的一个重要分支 , 它已广泛用
于现代随机控制优化理论 , 离散随机信号的滤波 , 预测与通讯等工
程技术 , 经济管理以及随机微分方程等基础理论的多个领域 .
254 第 7 章 随机游动与马尔可夫链
(2 ) p > q
同理可算得 E( Xn + 1 | X0 , X1 , … , X n ) = Xn + ( p - q) > Xn .
由于 p > q, 表示每次胜负机会不平等 ( 不公 平赌博 ) , 那么 , 在
已知前 n 次结果 X0 , X1 , … , X n 的条 件下 , 考 虑 前 n + 1 次 平均 总
得分 E( Xn + 1 | X0 , X1 , … , X n ) 必 然大 于 前 n 次 的总 得分 , 这样 的
竞赛 ( 赌博 ) 显然是对其中一方有利 , 所以是不公平的 .
如果参加 赌博 时 A 有资 本 a 元 , B 有资 本 b 元 , 规 定一 旦 A
赢 b 元或输光了 a 元时 , 赌 博就 停 止 .下 面我 们 讨论 A 最终 赢 的
概率是多大 ? 而 A 最终输的概率又是多大 ?
上述的输光问题可以抽 象为两 端带 有吸收 壁的 随 机游 动 .假
定质点在时刻 t = 0 时 , 位于 X0 = n, 0 < n < a + b, 质 点游 动 与 ( p,
q) 随机游动相同 , 每次仍以概率 p 和 q 分别向右和向左移动一位 ,
但在 0 及 a + b 处各有一 个吸收壁 , 即质点一旦移 动到达 0 或 a +
b, 质点永远停留在该处 .称 { X t , t≥ 0 } 为带 吸收 壁的 随机 游 动 .求
质点最终在 0 被吸收的概率 .
记 T = min { t: t≥ 0 , X t = 0 或 X t = a + b} 为赌 博 停止 时刻 ( 质
点停止游动时刻 ) , 事件 ( X T = 0 ) 表 A 最 终输 ( 即质点 停在 0 处 ) .
若以 pn = P( X T = 0 | X0 = n) 记 质点 的初 始位 置为 X0 = n 而随 机
游动后在 0 点被吸收的条件概率 , 以 qn = P( X T = a + b) 记 初始 位
置为 n 在 a + b 点被吸收的概率 , 显然
pa+ b = 0 , qa+ b = 1 , p0 = 1 , q0 = 0 , ( 1 .3)
( X0 = n, X T = 0 ) = ( X0 = n, X1 = n + 1 , X T = 0 ) ∪
( X0 = n, X1 = n - 1 , X T = 0) ,
即如果 0 时刻质点位于 X0 = n, 则 它要 被 0 吸收有 两 种方 式来 实
现 : 一种是接下去一次 是向 右 而最 后被 0 吸收 , 另 一 种是 接下 去
一次是向左的而最后被 0 吸收 .所以按全概率公式有
7 .1 简单随机游动 255
pn = p・ pn + 1 + q・ pn - 1 , n = 1 , 2 , … , a + b - 1 . ( 1 .4)
这样 , 我们得到了 关于 p n 的一个有 限差分方程 (1 .4) , 再利用 边界
条件 (1 .3 ) , 就可以求得 pn , 下面我们来求解 .把 (1 .4 ) 式改写成
q( pn - pn - 1 ) = p( pn + 1 - p n ) ,
n = 1 ,2 ,…, a + b - 1 . ( 1 .5)
我们先就 p = q = 1/ 2 来解上 面的方程 , 这 相应 于对称 随机 游
动的场合 , 这时方程成 为 pn - pn - 1 = pn + 1 - pn .若设 pn + 1 - pn =
p n - p n - 1 = … = p1 - p0 = c, 这里 c 是常数 .由此可得 pn = p0 + nc .
因为 p0 = 1 , p a + b = 0 , 故有
n
p0 - pn = . ( 1 .6)
a+ b
因此从 X0 = a 出发而在 0 被吸收的概率为
a = b .
pa = 1 - ( 1 .7)
a+ b a+ b
同理可求得在对称随机游 动 场合 , 从 X0 = a 出发 而 在 a + b 被 吸
收的概率为
a
qa = . ( 1 .8)
a+ b
注意到 p a + qa = 1 , 即得质点最终一定要被吸收 .
在一般情形 , 即 p≠ q 时 , 由 (1 .5 ) 式及 p0 = 1 得
n
q q
( pn + 1 - pn ) = ( Pn - pn - 1 ) = ( p1 - 1 ) ,
p p
n = 0, 1, 2, …, a + b - 1 . ( 1 .9)
又因
a+ b - 1 a+ b - 1 n
q
pa + b - p n = ∑(p
k= n
k+ 1 - pk ) = ∑
k= n p
( p1 - 1 )
n a+ b
q q
-
p p
= ( p1 - 1 ) ,
q
1 -
p
256 第 7 章 随机游动与马尔可夫链
由 (1 .3 ) 式有 pa + b = 0 , 故
n a+ b
q q
-
p p
p n = ( 1 - p1 ) , (1 .1 0)
1 - q
p
因 p0 = 1 , 故
a+ b
q
1 -
p
1 = ( 1 - p1 ) , (1 .1 1)
1 - q
p
由 (1 .1 0) 及 (1 .1 1) 式立即得到
n a+ b
q q
-
p p
pn = a+ b ,
q
1 -
p
因此 , 质点从 X0 = a 出发 , 在 0 被吸收的概率为
a a+ b b
q q p
- 1 -
p p q
pa = a+ b
= . (1 .1 2)
q p a+ b
1 - 1 -
p q
用同样的方法 可以 求得 从 X0 = a 出 发 , 而 在 a + b 被吸 收 的
概率为
a
q
1 -
p
qa = . (1 .1 3)
q a+ b
1 -
p
注意到 pa + qa = 1 , 因此质点最后一定要被吸收掉 .
另外 , 表达式 ( 1 .12 ) 及 ( 1 .13 ) 在 p = q = 1/ 2 时没 有 意义 , 这
时解为 (1 .7 ) 及 ( 1 .8) 式 , 但是 ( 1 .7) 及 ( 1 .8 ) 式也 可以 从 ( 1 .12 ) 及
(1 .1 3) 式中令 p→ q 并利用洛必达 ( L’H ospital ) 法则得到 .
这样 , 我们在这部分开头所提出的问题就得到了解决 .赌博过
程中 A 的钱增加和减少时对应于 质点向右 和向左 随机游 动 , A 最
7 .2 首达时间的分布及其数学期望 257
终赢得赌博对应于质点被吸收壁 x = a + b 吸收 , 所以 A 赢的概 率
为 qa , 而 A 输的概率为 p a .
7 .2 首达时间的分布及其数学期望
(1 ) 两种极端情形
当 p = 1 , q = 0 时 , 显然 P( T0 1 = 1 | X0 = 0) = 1 , 且 E T01 = 1 ;
当 p = 0, q = 1 时 , 显然对 于任意 的 i 满 足 i∈ 瓔 \ { 0} , 有
P( T01 = i | X0 = 0 ) = 0 , 于是对 " n∈瓔 \ { 0} , P( T01 ≤ n| X0 = 0 ) =
∞
= n→
lim P( T01 > n | X0 = 0 ) = 1 ,
∞
故 E( T0 1 | X0 = 0) = + ∞ .
(2 ) 一般情形
设 0 < p < 1 , 先求 T01 的分布律 .易知 P( T01 = 1 | X0 = 0 ) = p,
258 第 7 章 随机游动与马尔可夫链
{ n, n > 0 , X1 = - 1 , X n + 1 = 0 } , T′- 10 表 示 对 X′ n = Xn + 1 而 言 质 点
从 - 1 点出 发 , 首 次 到 达 0 点 的 首 达 时 间 .令 X ″
n = X′
T′
- 10
+ n ,
T″
0 1 = min{ n, n > 0 , X″
0 = 0 , X″ 0 1 可表 示对 X ″
n = 1 } , T″ n 而 言质 点
( T01 = 2 n + 1 ) = k∪ { X0 = 0 , X1 = - 1 , T′
- 10 = 2 k + 1 ,
= 0
T″
01 = 2 n - ( 2 k + 1) } ,
= ∑ P( X1 = - 1 | X0 = 0) P( T′
- 10 = 2k + 1 | X0 = 0, X1 = 1)・
k= 0
7 .2 首达时间的分布及其数学期望 259
P( T″
- 10 = 2( n - k - 1) + 1 | X0 = 0,…, X2 k+ 2 = 0)
n- 1
= ∑ qP( T′
k=0
- 10 = 2k+ 1 | X′
0 = - 1)・
P( T″
01 = 2( n - k - 1) + 1 | X″
0 = 0) ,
故
n- 1
P( T01 = 2 n + 1 | X0 = 0) = ∑ qP( T
k= 0
01 = 2 k + 1 | X0 = 0 ) ・
P( T0 1 = 2( n - k - 1 ) + 1 | X0 = 0) , ( 2 .2)
将 (2 .1 ) 式代入 ( 2 .2) 式 , 化简得
a0 = 1 ,
n- 1 ( 2 .3)
an = ∑aa
k= 0
k n- k -1 , n≥1 .
② 求 an
∞
∑ an x (0 ≤
n
设{ an , n ≥ 0 } 的生成函数 ( 母函数 ) 为 A( x) =
n= 0
n
x ≤ 1 ) .对 (2 .3 ) 式两边同乘以 x , 再对 n ≥ 1 求和 , 即可得到 ( 详
细的计算请读者自己完成 ) :
2
x[ A( x ) ] - A( x ) + 1 = 0 , ( 2 .4)
解 ( 2 .4 ) 式 , 并 考 虑 到 A ( x ) 为 x 的 单 调 增 函 数 ( 请 读 者 补 出 证
明) , 有
1 - 1 - 4x
A( x ) = , ( 2 .5)
2x
∞
1
∑
n n
将 (2 .5 ) 式 展 开 成 幂 级 数 , 则 有 A( x ) = C2 n x , 即 得
n= 0 n+1
1
an = C2n n , 故得到 T01 的分布率为
n+1
1 C2n n p ( pq) n , n ∈ 瓔 \ { 0} .
P( T01 = 2 n + 1 | X0 = 0) =
n+1
( 2 .6)
260 第 7 章 随机游动与马尔可夫链
P( T0 1 < ∞ | X0 = 0 ) = P n∪ ( T0 1 = 2 n + 1) | X0 = 0
= 0
= ∑ P( T01 = 2 n + 1 | X0 = 0 )
n= 0
= ∑ an p ( pq) = pA ( pq)
n
n= 0
2
( p + q) - ( p + q) - 4 pq
=p
2 pq
p + q - ( p - q)
=p = 1 .
2 pq
当 p < q 时 , 可得
p + q - ( q - p) p
P( T01 < ∞ | X0 = 0) = p = < 1
2 pq q
p
P( T0 1 = ∞ | X0 = 0) = 1 - > 0
q
E( T01 | X0 = 0 ) = + ∞ .
此时 T0 1 不是几乎处处有限的随机变量 !
1, p ≥ q,
P( T01 < ∞ | X0 = 0) = ( 2 .7)
p/ q, p < q.
求出了 T0 1 的分布律 , 即可求出其期望值 .仅把结果列在下面 :
1
, p > q,
E( T0 1 | X0 = 0) = p - q ( 2 .8)
+ ∞, p≤ q.
详细的推导留给读者 作 为练 习 .( 提 示 : 利 用 期望 的 定 义及 A( x )
的关系式 .)
7 .2 首达时间的分布及其数学期望 261
2 T0 b ( b ≥2 ) 的分布 及期望
T0 1 与 T′
1 2 条件独立且同分布 .又注意到 T02 = T0 1 + 12 , 故
T′
2
, p > q,
E( T02 | X0 = 0) = 2 E( T0 1 | X0 = 0 ) = p - q
+ ∞, p≤ q .
令
n+ 1
P( T02 = 2 n + 2 | X0 = 0 ) = bn ( pq) ,
∞
∑b
n
B( x ) = n x , 0≤ x≤1 .
n= 0
易知 B( x ) = [ A( x) ] , 再利用上面的结果 , 有
2
2
1 - 1 - 4x = 1 - 2 x - 2 1 - 4x ,
2
B( x) = [ A( x) ] =
2x 2x
∞
1 C2n n++1 2 xn , 故 有 bn =
将 B( x ) 级 数 展 开 , 得 B( x) = ∑
n= 0 n+ 2
1 n +1
C2 n + 2 , 即有
n+2
1 n+ 1 n +1
P( T02 = 2 n + 2 | X0 = 0) = C2 n + 2 ( pq) . ( 2 .9)
n+ 2
对于 T0 b ( b > 2 ) 的 情 况 , 可 仿 照 T0 2 的 变 量 分 解 方 法 , 类 似 进 行
处理 .
3 T00 的分布及期 望
2 n - 1 | X1 = - 1 ) , 故
n n
P( T0 0 = 2 n | X0 = 0 ) = C2 n ( pq) . (2 .1 0)
由
( X0 = 0 , T00 < ∞ ) = ( X0 = 0 , X1 = 1 , T′
10 < ∞ ) ∪
( X0 = 0 , X1 = - 1 , T - 1 0 < ∞ ) ,
有
P( T00 < ∞ | X0 = 0 ) = pP ( T′
1 0 < ∞ | X1 = 1 ) +
qP ( T - 1 0 < ∞ | X1 = - 1 ) .
若 p = q = 1/ 2 , 由 (2 .7 ) 式 而知 P( T00 < ∞ | X0 = 0) = p + q = 1; 若
p < q, 由 ( 2 . 7 ) 式 , P ( T′
10 < ∞ | X1 = 1 ) = 1 , P ( T - 1 0 < ∞ |
7 .3 马尔可夫链定义与例子
本章以下几节讨论离散参数 T = {0 , 1 , 2 , …} = 瓔 , 状态空 间
S = { 1 , 2 , … }可列的马尔可夫过程 , 通常称为马尔可 夫链 ( Markov
chains ) , 简称马氏链 ( M .C .) .马氏 链 最初 由 马尔 可 夫 于 1906 年
研究而得名 .至今它的理论已发展得较为系统和深入 , 它在自然科
学 , 工程技术及经济管理各领域中都有广泛的应用 .
定义 3 .1 随机序列{ X n , n≥ 0}称为马尔可夫链 , 如果对任 意
i0 , i1 , … , in , in + 1 ∈ S, n∈ 瓔 及 P( X0 = i0 , X1 = i1 , … , Xn = in ) >
0, 有
P( X n + 1 = in + 1 | X0 = i0 , X1 = i1 , … , Xn = in )
= P( X n + 1 = in + 1 | Xn = in ) . ( 3 .1)
(3 .1 ) 式刻画了马氏链的 特性 , 称 为马尔 可夫 性 ( 或 无后效 性 ) , 简
称马氏性 .
定义 3 .2 " i, j∈ S, 称 P( X n + 1 = j | Xn = i) = p ij ( n) 为 n 时
刻的一步 转 移 概率 .若 对 " i, j∈ S , p ij ( n) ≡ pi j 与 n 无 关 , 则 称
{ X n , n≥ 0}为齐次马氏链 .记 P = ( p i j ) , 称 P 为{ X n , n≥ 0 }的一 步
转移概率矩阵 , 简称为转移矩阵 ( t ransition m atri x) .
本章仅限于讨论齐次马氏链 .
为直观理解马氏性的意 义 , 设 想一 质点 在一直 线 上的 整数 点
上作随机运动 .以 X n 表示该质点在时刻 n 的位置 .( X n = i) 表示 质
点在时刻 n 处在 i 状态 ( 位 置 ) 这一 随机事 件 .如果 把时 刻 n 看 作
“现在”, 时刻 0 , 1 , … , n - 1 表 示“ 过去”, 时 刻 n + 1 表示“ 将来”,
那么 ( 1 .1 ) 式 表 明 在 已 知 过 去 X0 = i1 , … , X n - 1 = in - 1 及 现 在
Xn = in 的 条件下 , 质点在将来时刻 n + 1 处于状态 in + 1 ( 移动到 in + 1
位置 ) 的条件概率 , 只依赖 于现 在发 生的事 件 ( X n = in ) , 而 与过 去
历史曾发生过什么事件无关 .简言之 , 在已知“现在”的条件下“
, 将
264 第 7 章 随机游动与马尔可夫链
整数 , P{ Y n = i} = ai ( ai ≥ 0 ) , 且 ∑ ai = 1 .令 X0 = 0 , X n =
i= 1
n
∑Y
i=1
i , 则易证{ Xn , n ≥ 0 } 是一马氏链 , 且
aj - i , j ≥ i,
p ij =
0, j < i.
显然{ Y n , n≥ 0}本身也是一马氏链 .
例 3 .2 直线上的随机游动
在前两节 , 讨论了一维 直线整 数点 上随 机游动 的 两种 最为 常
见的模型 , 以下讨论一些更为一般的模型 .
(1 ) 无限制的随机游动
设有一质点在数轴上随机游动 , 每隔一单 位时间 Δt ( 设 Δt =
1) 移动一次 , 每次只能向左或向右移动 Δx 单位 ( 设 Δx = 1) , 或 原
地不动 .设质点在 0 时刻的位置为 a, 它 向右移 动的 概率 为 p≥ 0 ,
向左移动的概率为 q≥ 0 , 原 地不动的 概率为 r≥ 0 ( p + q + r = 1 ) ,
且各次移动相 互独立 , 以 X n 表示质点 经 n 次移 动后所处 的位置 .
称{ X n , n≥ 0 } 为 ( p, r, q) 随机 游动 , 则 { X n , n≥0 } 是 一马 氏 链 , 且
p i, i + 1 = p, p i, i - 1 = q, p ii = r, 其余 p i j = 0 .
(2 ) 带吸收壁的随机游动
设 (1 ) 中的随机游动限制在 S = { 0 , 1 , 2 , … , b} 内 , 当质点移 动
到状态 0 或 b 后就永远停留在该位置 , 即 p0 0 = 1 , pbb = 1 , 其余 pi j
(1 ≤ i, j≤ b - 1) 同 (1 ) .这 时序 列 { Xn , n≥ 0 } 称为 带两 个吸 收 壁 0
和 b 的随机游动 , 是一有限状态马氏链 .
7 .3 马尔可夫链定义与例子 265
(3 ) 带反射壁的随机游动
如 (2 ) 中的质点到达 0 或 b 后 , 下 一次 移动必 返回 到 1 或 b -
1 , 即 p0 1 = 1 , pb, b - 1 = 1 , p0 j = 0 ( j≠ 1 ) , pbj = 0 ( j≠ b - 1 ) , 其 余 同
(1 ) .称此 { X n , n≥ 0 } 为带 反射 壁 0 和 b 的随 机游 动 , 则 { X n , n≥
0} 是一马氏链 .
(4 ) 艾伦费斯特 ( Ehrenfest ) 模型
这是一个著名的粒子通 过薄膜 进行 扩散过 程的 数 学模 型 , 即
一质点在状态空间 S = { - a, - a + 1 , … , - 1 , 0 , 1 , 2 , … , a}中作 随
机游动 , 且带有两个反射壁 a 和 - a, 其一步转移概率是
1 1+ i 1 1- i
pi , i - 1 = , pi, i + 1 = , - a+ 1 ≤ i≤ a - 1,
2 a 2 a
pa, a - 1 = 1, p- a, - a+ 1 = 1,
pi j = 0 , 其他 .
由上可看出 , 当质点位置 i < 0 , 即 在原点 左边时 , pi , i - 1 < 1/ 2 ,
p i, i + 1 > 1/ 2 , 此时质点下一步向右移动 比向左移 动的 概率大 , 且 与
离原点的距离成正比 .反之亦 然 .当质 点在原 点时 , 向 左向 右的 概
率相等 .这样的随机游动可作如下两种解释 .
(1 ) 考虑 一容 器 内 有 2 a 个 粒子 作 随 机 游 动 .设 想 一 个 薄 膜
( 界面 ) 将容器分为相等的左、右两部分 A 和 B .如用 X n 表示 n 时
刻 B 内的粒 子数 与 A 内粒 子数 之差 , 并假 定每 次移 动只 有两 种
可能 , 一粒子从左到右或一粒子从右到左 ( 即同一时刻有两个或两
个以上粒子移动的概率为 0 , 当 Δt→ 0 时 作这 种 假设 是合 理的 ) ,
则 { X n , n≥ 0}可用上述模型来描述 .
(2 ) 设一粒子受一“ 弹簧力”作用 , 在直线上 作随机游 动 , 当 粒
子偏离原点时 , 受到一附 加的 与偏离 距离 成正 比且指 向原 点的 力
的作用 , 从而使向原 点移 动的 概率 增 大 .用 Xn 表 示 粒子 在 时刻 n
的位置 , 则同样可用上述模型来描述 .
266 第 7 章 随机游动与马尔可夫链
例 3 .3 排队模型
(1 ) 离散排队系统
考虑顾客到达一服务台 排队等 待服 务的情 况 .若 服务 台前 至
少有一顾客等待 , 则在一单位时间周期内 , 服务员完成一个顾客的
服务后 , 该 顾客立 即离 去 ; 若服 务台前 没有 顾客 , 则 服务员 空闲 .
在一个服务周期内 , 顾客可以到达 , 设第 n 个周期到达的顾客数ξn
是一个取值为非负整数的 随机 变量 , 且 {ξn , n≥1 } 独 立同 分 布 .在
每个周期开始时系统的状 态定 义为服 务台 前等待 服务 的顾 客数 .
若现在状态为 i, 则下周期的状态 j 应为
( i - 1 ) + ξ, i ≥ 1,
j =
ξ, i = 0,
其中ξ为该周期内到达的顾客数 .记第 n 周期开始的顾客数为 X n ,
+ +
则 X n + 1 = ( X n - 1 ) +ξn , 这里 a = max ( a, 0 ) .根据马氏链的定
义 , 容易证 明 { X n , n ≥ 0} 是 一个 马 氏 链 .若设 P{ξn = k} = ak
∞
( ak ≥ 0 ) 且 ∑ ak = 1 , 则 { X n , n ≥ 0} 的转移概率为
k=0
p0 j = aj , j ≥ 0,
p1 j = aj , j ≥ 0,
p ij = aj+ 1 - i , i > 1, j ≥ i - 1,
p ij = 0 , i > 1, j < i - 1 .
∞
直观上 , 若 Eξn = ∑ ka
k= 0
k > 1 , 则当 n充分大后 , 等待顾客的队长将
为计算它的一步转移概率矩阵 , 令 A = { Xn = i, X n + 1 = i + 1 - j} =
{ X n = i, 在 ( Tn , Tn + 1 ) 上服务完 j 个顾客} ( i≥0 , 0≤ j≤ i) 而 P{ 在
- μt j
(0 , t] 上服务完 j 个顾客} = e (μt ) / j !, 于是
+∞
P( A | Xn = i) = ∫ 0
P( A | X n = i, T n + 1 - Tn = t) d G( t)
∞
∫
- 1 - μt j
= ( j !) e (μt ) d G( t) ,
0
得
∞
∫e
- μt
(μt ) j d G( t) ( i ≥ 0 , 0 ≤ j ≤ i) .
-1
pi , i + 1 - j = ( j !)
0
而 p i0 是服务员由 i 个顾客转为空闲的概率 , 易知
∞ ∞
∑∫ ( k !) e - μt (μt) k d G( t) , i ≥ 0 .
-1
pi , 0 =
k = i +1 0
例 3 .4 离散分支过程
考虑某一群体 , 假定某 一代 的每 一个 个 体可 以产 生 ξ个下 一
代个体 , 其 中 ξ是取值 为非负整 数的离 散随机变 量 , P{ξ= k} =
∞
ak ≥ 0( k ≥ 0) , ∑ ak = 1 , 设某一代各个体产 生下一代的个数 相
k= 0
7 .4 转移概率矩阵
设{ X n , n≥ 0 } 为 马 氏 链 , P = ( pi j ) , 其 中 p i j = P { X n + 1 = j |
Xn = i}是一步转移概率 .显然
p ij ≥ 0 , i, j ∈ S; ∑ p i j = 1 , i ∈ S .
j∈ S
定义 4 .1 称矩阵 A = ( ai j ) S× S 为随机矩阵 , 若 ai j ≥ 0( i, j ∈
S) ; 且对 " i ∈ S, 有 ∑ a i j = 1 .
j∈ S
显然 , P = ( pi j ) 是一随机矩阵 .
记
πi ( n) = P( Xn = i) , π( n) = (π1 ( n) ,π2 ( n) , … ,πi ( n) , … ) ,
π( n) 表示 n 时刻 X n 的概率分布向量 .称{πi (0 ) , i∈ S} 为马氏链 的
初始分布 .下面 , 我们将看到一个马氏链的特性完全由它的一步转
移概率矩阵 P 及初始分布向量π(0 ) 决定 .
首先 , 对 任 意 i0 , i1 , … , in ∈ S , 我 们 计 算 有 限 维 联 合 分 布
P( X0 = i0 , X1 = i1 , … , Xn = in ) .由概率的乘法公式及马氏性可知
P( X0 = i0 , X1 = i1 , … , X n = in )
= P( X0 = i0 ) P( X1 = i1 | X0 = i0 ) ・
P( X2 = i2 | X0 = i0 , X1 = i1 ) …
P( Xn = in | X0 = i0 , … , X n - 1 = in - 1 )
= P( X0 = i0 ) P( X1 = i1 | X0 = i0 ) ・
P( X2 = i2 | X1 = i1 ) … P( X n = in | Xn - 1 = in - 1 )
=πi0 ( 0) p i0 i1 p i1 i2 … pi n - 1 i n
7 .4 转移概率矩阵 269
故
P( X0 = i0 , X1 = i1 , … , Xn = in ) = πi0 ( 0) p i0 i1 p i1 i2 … P in - 1 in ,
即 P( X0 = i0 , X1 = i1 , … , Xn = in ) 完全由 π(0 ) 及 P 决定 .
类似可以证明任意 n 个 时 刻的 联合 分布 也 完 全由 π( 0 ) 及 P
决定 .
其次 , 有以下定理 .
定理 4 .1
π( n + 1 ) = π( n) P ( 4 .1)
π( n) = π(0 ) Pn ( 4 .2)
n
其中 P 是 P 的 n 次幂 .
证明 先对事件进行分解 ( X n + 1 = j ) = i∈
∪S ( X n = i, X n + 1 = j ) .
因为当 i≠ k 时 , ( X n = i) ∩ ( Xn = k) = ,故
P( X n + 1 = j) = ∑ P( X
i∈ S
n = i, Xn + 1 = j )
= ∑ P ( X n = i) P( Xn + 1 = j | Xn = i)
i∈ S
= ∑πi ( n) pij .
i∈ S
写成向量形式 即 得 π( n + 1 ) = π( n) P, 重 复 利 用 ( 4 .1 ) 式 即 得
(4. 2 ) 式 .
(4 .2 ) 式表明任一时刻分布由 π( 0) 及 P 完全 决定 .这些事 实
表明 , 马氏链{ Xn , n≥0 }的概率性质完 全由 π( 0 ) 与 P 的代 数性 质
决定 .
( m)
为了下述定理的书写方便 , 记 pij = P( X n + m = j | Xn = i) 为 m
( m) ( m)
步转移概率 ; P = ( p ij ) 为 m 步转移概率矩阵 .
定理 4 .2 ( 查普曼 ( Chapman ) -柯尔莫哥洛夫方程 )
∑p
( m+ n ) ( m) ( n)
p ij = ik p kj ( 4 .3)
k∈ S
( m+ n) m+ n m n ( m) ( n)
或 P = P = P P = P P . ( 4 .4)
270 第 7 章 随机游动与马尔可夫链
证明 因 ( X0 = i, Xn + m = j) = k∈
∪S ( X0 = i, X m = k, X n + m = j) 故
P( Xn+ m = j | X0 = i) = ∑ P( X0 = i, Xm = k,
k∈ S
Xn + m = j)/ P( X0 = i)
= ∑ P( Xm = k | X0 = i) ・
k∈ S
P( X n + m = j | X0 = i, X m = k)
= ∑ p ik P ( X n+ m = j | X m = k)
( m)
k∈ S
( 由马氏性 ) = ∑ p ik p kj ,
( m) ( n)
k∈ S
即
p(ij m+ n) = ∑p
( m)
ik p (kjn) ,
k∈ S
写成向量形式即
( m+ n) ( m) ( n)
P = P P .
(1) ( 2) 2
再注意到 P = P, 将 m = n = 1 代入上式得 P = P P = P .从而得
到 (4 .3 ) 式及 ( 4 .4) 式 .
由上可知 , 一个马氏链 运动规 律的 概率 特性取 决 于它 的转 移
概率矩阵特性 .这样 , 研究 前者 就可 以转 化 为研 究后 者 .( 4 .4 ) 式
简称 C -K 方程 .显然 P( m) = ( p(ij m) ) 是一随机矩阵 .
7 .5 状态的分类
17 2 1
20 20 20
P= 9 1 .
0
10 10
0 0 1
由 P 可以看出 , 从“ 1”或“2”状 态出 发经有 限次 转移后 总要 到
达“3”状态 , 而一旦到达“3”则永远停在“ 3”.显然状态“ 1”“
, 2”与状
态“3”概率性质不同 .由此我们引入如下定义
定义 5 .1 称状态 i 为吸收 态 , 若 p i i = 1 .对 i, j∈ S , 若存 在
( n)
n∈ \ {0 } , 使 pi j > 0 , 称自状态 i 出发可达状态 j , 记为 i→ j .如 果
i→ j 且 j→ i, 则称 i, j 相 通 , 记为 i\ j .若 一马 氏链 的 任意 两个 状
都相通 , 则称为不可约链 .
定义 5 .2 首达时间为
Ti j = min{ n: n ≥ 1 , X n = j, X0 = i } .
若右边为空集 , 则令 Ti j = ∞ .Ti j 表示从 i 出发首次到达 j 的
时间 ; Ti i 表示从 i 出发首次回到 i 的时间 .
定义 5 .3 首达概率为
( n)
f ij = P( T ij = n | X0 = i)
= P( Xn = j, X k ≠ j , 1 ≤ k ≤ n - 1 | X0 = i) .
∞
∑ n f i i , 则 μi 表示从 i 出发
( n)
定义 5 .5 如果 f i i = 1 , 记 μi =
n=1
图 7-1
( n) ( 1) 2 ( n)
因 此 f 44 = 0 ( n≥ 1 ) , 所 以 f4 4 = 0 < 1; f3 3 = , f33 = 0
3
2
( n≥2 ) , 所以 f33 = < 1 .故状态 4 和 3 非常返 ; 由
3
7 .5 状态的分类 273
∞
1 1
∑
(1) ( 2) ( n)
f11 = f 11 + f 11 = 1; f2 2 = f 22 = 0 + + + … = 1;
n= 1 2 4
∞
μ1 = ∑nf = 1 × 1 + 2 × 1 = 3 < ∞;
( n)
11
n=1 2 2 2
∞
1 1
∑ nf
( n)
μ2 = 22 = 1×0 + 2× + … + n・ n - 1 + … = 3 < ∞ .
n= 1 2 2
故状态 1 和 2 都是正常返的 , 且易知它们是非周期的 , 从而是遍历
状态 .
下面讨论各类状态的若干性质以及如何利用转移 概率矩阵 P
来判断是否为常返状态 .
p(ijn) 与 f (i jn) 有以下关系 .
定理 5 .1 对 " i, j∈ S, n≥1 , 有
n
∑
( n) ( l) ( n - l)
(1 ) p ij = fij p jj , ( 5 .1)
l =1
∑p
( n) ( n - 1)
(2 ) f ij = ik f kj I { n > 1′} + pi j I { n = 1 } , ( 5 .2)
k≠ j
{ X0 = i, Xn = j} = { X0 = i, X n = j} ∩ ∪ ( T ij = l)
l= 1
= l∪ ( X0 = i, Xn = j, T ij = l) .
= 1
于是
n
P( X0 = i) P( X n = j | X0 = i) = ∑ P( X
l =1
0 = i) ・
P( Tij = l | X0 = i) P( X n = j | X0 = i, T ij = l) ,
因此
n
P( Xn = j | X0 = i) = ∑ P( Ti j = l | X0 = i) ・
l= 1
274 第 7 章 随机游动与马尔可夫链
P( Xn = j | X0 = i, Xk ≠ j,
1 ≤ k ≤ l - 1 , Xl = j) ,
n
= ∑ f (ijl ) P ( X n = j | X l = j ) ( 马氏性 )
l= 1
= ∑ f ij p j j
( l) ( n - l)
,
l= 1
即
n
∑f
( n) ( l)
p ij = ij p(j jn - l) ,
l =1
(2 ) 与 ( 3) 的证明与 (1 ) 类似 , 留给读者自己完成 .
定理 5 .2 状态 i 为常返态 , 当且仅当
∞
∑p
( n)
ii = ∞; ( 5 .3)
n= 0
状态 i 为非常返态 , 当且仅当
∞
1
∑p
( n)
ii = < ∞ . ( 5 .4)
n= 0 1 - f ii
(0) (0 ) ( n)
证明 约 定 p ii = 1 , f ii = 0 . 由 (5 .1 ) 式 有 p ii =
n
F(ρ) , 即
∞ ∞
∑p ρ , F(ρ) = ∑f ρn .
( n) n ( n)
P(ρ) = ii ii
n= 0 n= 0
又
∞ ∞ n
∑p ρ = ∑ ∑f p (iin - l ) ρn
( n) n ( l)
ii ii
n= 1 n=1 l= 0
∞ ∞
∑f ∑p
( l) l ( n - l) n - l
= ii ρ ii ρ
l= 1 n= l
) ∑ p ii ρ
(0) ( n′) n′
= ( F(ρ) - f ii
n′= 0
7 .5 状态的分类 275
P(ρ) F(ρ) .
注意到 , 当 0≤ρ< 1 时 , F(ρ) < f i i ≤1 , 故
1
P(ρ) = , 0 ≤ ρ< 1 . ( 5 .5)
1 - F(ρ)
又因对一切 0≤ρ< 1 及正整数 N , 有
N ∞
∑p ∑p
( n) n ( n)
ii ρ ≤ P(ρ) < ii , ( 5 .6)
n=0 n= 0
且当 ρ↑1 时 , P(ρ) 不减 , 故 在 (3 .6 ) 式 中先 令 ρ↑ 1 , 后令 N→ ∞
可得
∞
∑p
( n)
lim- P(ρ) = ii . ( 5 .7)
ρ→ 1 n= 0
同理可得
∞
∑f
( n)
lim- F(ρ) = ii = f ii . ( 5 .8)
ρ→ 1 n= 0
于是在 (5 .5 ) 式中两边 令 ρ↑ 1 , 由 (5 .7 ) 式 和 ( 5 .8 ) 式 便可 得定 理
的结论 .
为解释定理 5 .2 的直观意义 , 令
1, Xn = i,
In ( i) =
0, Xn ≠ i,
∞
及 S( i) = ∑I
n= 0
n ( i) , 则 S( i) 表示马氏链{ X n , n≥ 0} 到达 i的次数 .
于是
∞
E[ S( i) | X0 = i] = ∑ E[ In ( i) | X0 = i]
n= 0
= ∑ P( Xn = i | X0 = i)
n= 0
276 第 7 章 随机游动与马尔可夫链
= ∑ pii
( n)
. ( 5 .9)
n= 0
∞
∑p < ∞,
( n)
ij (5 .1 0)
n= 1
( n)
lim pij = 0 . (5 .1 1)
n→ ∞
求和得
∞ ∞ n
∑p = ∑ ∑ fij p jj
( n) ( l) ( n - l)
ij
n= 1 n= 1 l =1
∞ ∞
=∑ f ∑p
( l) ( n - l)
ij jj
l= 1 n= l
= f i j ∑ pj j
( k)
< ∞ .
k= 0
∑p
( n)
ij = ∞ . (5 .1 2)
n= 1
(2 ) 当 i 不可达 j 时 , 有
∞
∑p
( n)
ij = 0 . (5 .1 3)
n=1
∑p ∑ pij
( m+ n) ( m) ( n) ( m) ( n) ( n)
" n≥ 1, 有 p ij = ik p kj ≥ p ij p jj , 故 ≥
k∈ S n= 1
∞ ∞
时 , 显然 ( 5. 13 ) 式成立 .
下面再从概率意义考察常返性质 .记
∞
Sm ( j) = ∑I
n= m
n ( j) ,
gi j = P( S1 ( j) = + ∞ | X0 = i)
= P( Sm + 1 ( j ) = + ∞ | Xm = i) .
事件{ Sm ( j ) = + ∞} 表示 从时 刻 m 起系统 无穷 多次到 达 状态 j .
显然 , { X0 = i, S1 ( j ) = + ∞} { X0 = i, T ij < + ∞ } , 故 gij ≤ f ij .
进一步 , 我们有下面的结论 .
定理 5 .3 对任意 i, j∈ S, 有
n
gii = nlim ( f ii ) , gi j = f ij g jj . (5 .1 4)
→∞
证明 因{ Sm ( j ) ≥ k + 1} { Sm ( j) ≥ k} , 故
∞
( S1 ( j) = + ∞ ) = k∩ ( S1 ( j) ≥ k) = k→
lim ( S1 ( j ) ≥ k) .
=1 ∞
由概率的连续性可得
∞
gij = P( S1 ( j) = + ∞ | X0 = i) = P k∩ ( S1 ( j) ≥ k) | X0 = i
= 1
= k→
lim P( S1 ( j) ≥ k | X0 = i) . (5 .1 5)
∞
又因 ( S1 ( j ) ≥ k + 1 , X0 = i) { X0 = i, Tij < ∞} , 则有
∞
( S1 ( j) ≥ k + 1 , X0 = i) = ∪ ( T ij = l, S1 ( j) ≥ k + 1)
l=1
=∪ ( T ij = l, Sl+ 1 ( j) ≥ k) ,
l=1
故
P( S1 ( j ) ≥ k + 1 | X0 = i)
278 第 7 章 随机游动与马尔可夫链
= ∑ P( T ij = l | X0 = i) ・
l=1
P( Sl+ 1 ( j ) ≥ k | X0 = i, Ti j = l)
∞
= ∑ f (i jl) P ( Sl+ 1 ( j) ≥ k | X0 = i,
l=1
X m ≠ j, 1 ≤ m ≤ l - 1 , X l = j)
∞
= ∑ f i j P ( Sl+ 1 ( j) ≥ k | X l = j) ( 马氏性 )
( l)
l=1
= ∑ f (i jl) P ( S1 ( j) ≥ k | X0 = j ) ( 时齐性 ) ,
l=1
即
P( S1 ( j ) ≥ k + 1 | X0 = i) = f ij P ( S1 ( j ) ≥ k | X0 = i) .
(5 .1 6)
反复利用上式可得
P( S1 ( j) ≥ k + 1 , X0 = i) = f ij ( f j j ) k , (5 .1 7)
由 (5 .1 7) 式立得 (5 .1 4) 式 .
定理 5 .4 ( 1) f ii = 1 gii = 1 , ( f ii < 1 g ii = 0 ) ; (2 ) 若状 态
j 为常返 , 且 j→ i, 则 gij = f ij = 1 .
证明 (1 ) 由 ( 5 .14 ) 式 立 得 . (2 ) 由 j → i, 存 在 m ≥ 1 ,
( m)
p ji > 0, 再由 j 为常返 , 注意到{ X0 = i, S1 ( j) = + ∞} = k∈
∪S { X0 =
∑ p jk g kj , 从而 0 = 1 - gj j =
( m)
i, Xm = k, S1 ( j ) = + ∞} 得 gj j =
k∈ S
定理 5 .5 设 i 常返 , 则 :
(1 ) i 为零常返 , 当且仅当 lim ( n)
pii = 0;
n→ ∞
( n) 1
(2 ) i 为遍历 , 当且仅当 lim pii = >0 . (5 .1 8)
n→ ∞ μi
证明 由定理 5 .5 容易得到 , 详细的推导留给读者 .
状态相通关系为等价关系 , 因为具有 :
(0 )
(1 ) 自反性 : i\ i .这由下面定义可得 : pi j =δi j ;
(2 ) 对称性 : 若 i\ j, 则 j\ i;
(3 ) 传递性 : 若 i\ j 且 j\ k, 则 i\ k .
传递性的证明如下 .
由于 i\ j, j\ k, 则v m, n, 使 p(i jn) > 0 , p(jkm) > 0 , 则由 C-K 方程
可得
p(ikm+ n) = ∑p p (lkn) ≥ p(ij m) p(jkn) > 0 ,
( m)
il
l∈ S
故 i→ k .同理可证 k→ i, 故 i\ k .
利用等价关系 , 可以把马氏链的状态空间分为若干等价类 .在
同一等价类内的状态彼此 相通 , 在不 同的 等价 类中的 状态 不可 能
彼此相通 .然而 , 从某一类出发以正的概率到达另一类的情形是可
能的 .
定义 5 .8 如一马 氏 链的 所有 状态 属 于同 一 等价 类 , 则 称 它
是不可约链 .
例 5 .3
(1 )
1 1 1
2 4 4
1 3
S = {1 , 2 , 3 } , P = 0 ;
4 4
2 1
0
3 3
280 第 7 章 随机游动与马尔可夫链
(2 )
1 1 0 0 0
2 2
1 3
0 0 0
4 4
S = { 1 , 2 , 3 , 4 , 5} , P = ;
0 0 0 1 0
1 1
0 0 0
2 2
0 0 0 1 0
(3 )
0 .6 0 .1 0 0 .3 0
0 .2 0 .5 0 .1 0 .2 0
S = {1 , 2 , 3 , 4 , 5 } , P = 0 .2 0 .2 0 .4 0 .1 0 .1 .
0 0 0 1 0
0 0 0 0 1
读者可以自己画状态转移图进行判断 .
(1 ) 由于所有状态相通 , 组成一等价类 , 故该链是不可约链 .
(2 ) 此链可分为两个等价类 { 1 , 2} 及{3 , 4 , 5 } .
(3 ) 此链可分为 3 个等价类{ 1 , 2 , 3} , { 4} 及{ 5 } .由{ 1 , 2 , 3 } 可
进入{4 } 或{ 5} , 反之则不行 .
对于相通的状态 , 有以下重要的定理 .
定理 5 .6 若 i\ j, 则 :
(1 ) i 与 j 同为常返或同为非常返 ;
(2 ) d( i) = d( j) .
证明 (1 ) 由 i\ j, 存在 m ≥ 1 , n ≥ 1 使 p(i jm ) > 0 , p(jin) > 0 ,
∞
> 0 , 这 时 , 由 j 为 常 返 , 有 ∑ p ii
( m+ k+ n) ( m) ( k) ( n) ( k)
p ii ≥ p ij p jj p ji ≥
k= 0
∞ ∞
∑p ∑p
( m+ k+ n) ( m) ( n) ( k)
ii ≥p ij p ji jj = ∞ , 可知 i 亦为常返 .类似可证当 i
k= 0 k= 0
7 .5 状态的分类 281
为非常返时 , j 必为非常返 .
( m + n) ( m) ( n) ( n + m) ( n) ( m)
(2 ) 由 ( 1 ) 有 p ii ≥ pij p ji > 0 , pj j ≥ pj i p i j > 0, 知
( k)
m + n 同时能被 d ( i) 与 d( j ) 整除 .现 设 pii > 0, 则 k 及 m + n + k
( m + k + n) ( m) ( k) ( n)
可被 d ( i) 整除 , 由 p j j ≥ p ji p ii p ij > 0 , 知 m + n + k 亦能 被
d ( j ) 整除 , 则 k 能被 d ( j ) 整除 , 故而数集 { k: k≥ 1 , p(ii k) > 0 }的最 大
公因子 d( i) 能 被 d ( j ) 整 除 .类 似 论 证 , d ( j ) 能 被 d ( i) 整 除 , 得
d( i) = d( j) .
该定理说明 , 对相通的 状态 , 因 是同类 型 , 故只 需 选出 其中 之
一较容易判别的状态即可 .
关于常返态的判断 , 我们可以总结为以下重要定理 .
定理 5 .7 下列命题等价 :
(1 ) i 为常返态 ;
∞
(2 ) P n∪ ( Xn = i) | X0 = i = 1;
= 1
(3 ) P( S1 ( i) = + ∞ | X0 = i) = 1;
∞
∑p = ∞;
( n)
(4 ) ii
n= 0
(5 ) E{ S1 ( i) | X0 = i} = + ∞ .
证明 (1 ) ( 2) : 由于 f i i = P( T i i < ∞ | X0 = i) = 1 , 及
∞
= n∪ ( X0 = i, X l ≠ i, 0 < l < n, X n = i)
=1
= n∪ ( X0 = i, X n = i) ,
=1
因此
∞
P n∪ ( Xn = i) | X0 = i = P( T ii < ∞ | X0 = i) = f ii = 1 .
= 1
即 (1 ) 与 ( 2) 等 价 . ( 1 ) ( 3 ) 见 定 理 5 .4; ( 1 ) ( 4 ) 见 定理 5 .2;
(4 ) ( 5) 由 (5 .1 9) 式即得 .
282 第 7 章 随机游动与马尔可夫链
例 5 .4 ( 直线上的无限制 随机游 动 ( p, q) ) 在 例 3 .2 (1 ) 中
已经知道{ X n , n≥ 1}是马氏链 , 且容易证明当 0 < p < 1 时 , 它的 全
体状态构成一个类 .事 实上 , 它其 中的 任意两 个状 态都 相通 .问 题
是它是常返类 还是 非 常返 类 ? 由 定 理 5 .6 知 只 需选 一 个“ 代 表”
即可 .
由本章 7. 2 节中的 3 讨论 T0 0 的分布 可知 , 当 p = q = 1/ 2 时 ,
f 0 = P( T00 < ∞ | X0 = 0) = 1 , 故此时“ 0”为常 返 态 , 因而 其 他 状 态
亦为常返态 ; 而当 p≠ q 时 , f0 = P( T00 < ∞ ) < 1 , 故 此时全体状 态
为瞬时态 .
例 5 .5 生 灭 链 ( 有 一反 射 壁 的 随 机游 动 ) 设 一 随 机 过 程
{ X n , n≥0 } , 状态空间限制在 S = {0 , 1 , 2 , … } , 转移概 率为 p0 > 0 ,
r0 ≥0 , p0 + r0 = 1; p i > 0 , qi > 0 , ri ≥0 , 且 p i + ri + qi = 1 ( i≥ 1 ) .可
看作是一质点每次作向左、向右或原地不动的随机游动 ( 在原点有
一反射壁 ) .它适用描述一 群体 的繁衍 , 或 一服 务台信 号的 到达 与
离去 .称上述为生灭链 .
以下证明 , 上述生灭链为常返链的充要条件为
∞
q1 q2 … ql
∑
l= 1 p 1 p2 … pl
= ∞ . (5 .1 9)
记 a0 = 1 , ai = q1 q2 … qi/ p1 p2 … p i , 注意到 u0 = 1 , uk = 0 , 可得
k- 1 k- 1 -1
ui = ∑a
j= i
j
∑a
j= 0
j " 0 ≤ i≤ k - 1 . (5 .2 1)
由上式及 (5 .1 9) 式 , 知
f1 0 = P(τ0 < ∞ | X0 = 1) = lim P(τ0 < τk | X0 = 1 )
k→ ∞
k- 1 k- 1 - 1
= kli→m
∞ ∑a
j= 1
j
∑a j= 0
j
k- 1 -1
= kli→m
∞
1 - ∑a j= 0
j = 1, (5 .2 2)
故 f0 0 = r0 f00 + p0 f 10 = 1 , 即状态为常返类 .
下证必要性 设状态 0 为常返 , 则由定理 5 .4 知 f10 = 1 , 再
k- 1 -1
由上述证明过程中知 f10 = k→
lim∞
1- ∑a
j=0
j 即 ( 5 .19 ) 式成立 .
7 .6 极限性态与平稳分布
在实际应用中 , 人们 常常 关心 的问题 有两 个 : (1 ) 当 n → ∞
时 , P( Xn = i ) = πi ( n) 的极限是否存在 ? (2 ) 在 什么条件 下 , 一
个 马 氏 链 是 一 个 平 稳 序 列 ? 对 于 前 者, 由 于 ,πj ( n) =
∑π (0 ) p
( n) ( n) ( n)
i ij , 故可转化为研究 p ij 的 渐近 性质 , 即 nli→m pi j 是否 存
∞
i∈ S
(1 ) j 非常返或零常返
定理 6 .1 若 j 非常返或零常返 , 则对任意 i∈ S , 有
( n)
lim pij = 0 . ( 6 .1)
n→ ∞
证明 当 j 为非常返时 , 已在 7 .5 节 定理 5 .2 的 ( 5 .11 ) 式 给
出 ; 当 j 为零常返时可由下面定理 6 .2 给出 .
(2 ) j 为正常返态
这时情况较复杂 , n→ ij 不一定存在 , 即使存在 也可能 与 i 有
( n)
lim p
∞
关 .但有以下结论 .
定理 6 .2 若 j 常返 , 周期为 d, 则对任意 i∈ S 及 0≤ r≤ d -
1, 有
( n d + r) d
lim p ij = f ij ( r) , ( 6 .2)
n→ ∞ μj
∞
∑f
( m d + r)
其中 f ij ( r) = ij (0 ≤ r ≤ d - 1) .当 μj = + ∞ 时, 1/ μj = 0 .
m= 0
满足条件 x j ≥ 0 , j ∈ S, ∑ x j = 1 的唯一解 .
j∈ S
证明 记 πi = 1 , 由定理 6 .2 推论 2 有 n→ ( n) 1 = πj ≥
lim p ij =
μi ∞ μj
7 .6 极限性态与平稳分布 285
∑p
( n+ 1 ) ( n)
程有 p ij = il p lj , 如令 n → ∞ , 有
l∈ S
πj = ∑π p
l∈ S
l lj , " j∈ S . ( 6 .6)
知{πi , i∈ S} 是 (6 .5 ) 式的解 .
将 ( 6 .6) 式 两 边 乘 以 p ji 并 对 j 求 和 , 得 πi = ∑π p
j∈ S
j ji =
∑π p , 重复上述步骤 , 于是对所有 n 及 j , 有
( 2)
l li
l∈ S
∑π p
( n)
πj = i ij , ( 6 .7)
i∈ S
现证唯一 性 .设 { vi } 是 满足 条 件 的 另 一 组 解 , 则 类 似 ( 6 .7 )
式有
∑v ∑v
( n)
vj = i p ij = … = i p ij .
i∈ S i∈ S
令 n → ∞ , 则有 vj = ∑v
i∈ S
i lim p(ijn) =
n→ ∞ ∑v i∈ S
i πj = πj .
2 平稳分布
= P( Xt1 + t = i1 , X t2 + t = i2 , … , X tn + t = in ) ,
所以{ X n , n ≥ 0 } 是严平稳过程 .
必 要性 由于{ Xn , n ≥ 0} 是平稳过程 , 因此有 π( n) = π( n -
1) = … = π( 0) .又由 π( 1) = π(0 ) P 得π( 0) = π(0 ) P, 即 π(0 ) 是
平稳分布 .
由定理 6 .3 有以下结论 .
定理 6 .5 有 限 状 态 不 可 约 遍 历 链 恒 有 唯 一 的 平 稳 分 布
1
πi = , 且 πj = li ( n)
m pij .
μi n→ ∞
对于一般的马 氏 链 , 其平 稳 分 布 是 否存 在 ? 若 存在 , 是 否 唯
一 ? 这里不深入讨论 , 有兴趣的读者可参看文献[7 , 14] .
3 n→
lim πj ( n) 的 存在性
∞
πj* , … } 为马氏链的极限分布 .
定理 6 .6 有限状态非周期不可约链是正常返的充要条件是
它存在平稳分布 , 且此时平稳分布就是极限分布 .
证明 充分性 设存在平稳分布 π= {π1 , … ,πj , …} , 由此
有 π= πP = πP2 = … = πP n , 即 πj = ∑π p , 由于 x j ≥ 0 ,
( n)
i ij
i∈ S
7 .6 极限性态与平稳分布 287
j ∈ S, ∑ x j = 1 , 当 n → ∞ 时 , 因状态空间有限 , 极限号与和式可
j∈ S
交换 , 得
∞∑ ∑π lim p ∑π
πj = n→ πi p(i jn) = πj .
( n)
lim i ij = i
n→ ∞
i∈ S i∈ S i∈ S
因为
1
∑πj =
j∈ S
∑j∈ S μj
= 1 .
πj = 1 > 0 .
μj
必要性 由 于马氏链 是正常返 非周期 链 , 即 为遍历 链 , 由 定
* 1
理 6 .3 立即得证 .且所有 πj = πj = , j∈ S .
μj
由上可知 , 对于有限 状态 不 可约 遍 历链 , 则 极 限分 布π * = π
存在且等于平稳分布 .这意味着当 n 充分大时 , P( X n = j ) ≈πj =
1 , 即{ Xn , n ≥ 0} 是一渐近平 稳序 列 .这 在实 际问 题 中是 很有 意
μj
义的 .
例 6 .1 设
3 1
4 4
S = { 1 , 2} , P = .
5 3
8 8
n
求平稳分布及li mP = ?
n→ ∞
3 5 5
解 由 π= πP 得π1 = π1 + π2 及 π1 + π2 = 1 , 解得 π1 = ,
4 8 7
2 5 2 ( n) 1 7 7
π2 = , 故 π= , .由lim pi j = πj = , 故 μ1 = ,μ2 = , 且
7 7 7 n→ ∞ μj 5 2
288 第 7 章 随机游动与马尔可夫链
n
3 1 5 2
4 4 7 7
li m Pn = lim = .
n→ ∞ n→ ∞
5 3 5 2
8 8 7 7
7 .7 离散时间的 Phase-Type 分布
在有限状态马氏链中 , 从瞬 时态 ( 非 常返 ) 集 到吸 收态 的时 间
分布 , 称为 P hase-Type 分布 .由于它有 许多优 良性 质与简 洁的 矩
阵表示 , 已成为复杂随 机模型 , 特 别是 大规模 的排 队系 统、排队 网
络及可靠性工程中计算与 分析 的重要 工具 .本 节讨论 离散 时间 的
P hase-Type 分布 , 以下先给出它的定义 .
定义 7 .1 设 { Xn , n≥ 0 } 是 有 限 状 态 马 氏 链 , 状 态 空 间珟
S=
S∪ S0 , 其中 , S = { 1 , 2 , … , m} 为瞬时 态集 , S0 = { 0 }为吸 收态且 转
P P0
移矩阵 珟
P= , 其 中 P0 = ( I - P) e, e = ( 1 , … , 1 ) T , 记 τ=
0 1
inf{ n: n≥ 0 , Xn ∈ S0 } , τ为 首 达 吸 收 态 的 时 间 , 称 τ的 分 布 为
P hase-Type 分布 ( 或 PH 分布 ) .
令 π(0 ) = (α0 ,α) 为初始分布 , 其中 α= (α1 , … ,αm ) ,αk ≥ 0 ,
∑α
k∈ S
k = 1 , gk = P(τ= k) , ak ( i) = P(τ= k | X0 = i) ( i ∈ S) ,
∞ ∞
∑Q ,
- 1 k
( I - Q) = ( 7 .1)
k= 1
其中 I 为单位矩阵 .
7 .7 离散时间的 P hase-Type 分布 289
证明 因
n -1 n
( I - Q) ( I + Q + … + Q ) = (I - Q ) . ( 7 .2)
n n n
又因li m Q = 0, 则当 n 充分大时 , det ( I - Q ) = | I - Q | ≠0 , 从而
n→ ∞
n -1
| I - Q |・| I + Q + … + Q |≠ 0 .
- 1 - 1
于是 | I - Q| ≠ 0 , 得 ( I - Q) 存 在 , 再以 ( I - Q) 左 乘 ( 7 .2 ) 式 两
边 , 并让 n→∞即得 ( 7 .1) 式 .
定理 7 .1 在上述记号下 , 有 :
(1 ) " k∈ \ {0 } , g0 =α0 ,
k -1 k -1
gk = αP P0 = αP ( I - P) e; ( 7 .3)
ak = Pk - 1 P0 = Pk - 1 ( I - P) e . ( 7 .4)
(2 ) " λ∈[ 0 , 1]
- 1
g(λ) = α0 + λα( I - λP) ( I - P) e, ( 7 .5)
-1
G(λ) = λ( I - λP) ( I - P) e . ( 7 .6)
证明 (1 ) 用数学归纳法 :
当 k = 0 时 , g0 = P(τ= 0) = P( X0 ∈ S0 ) = α0 ;
当 k = 1 时,
g1 = P(τ= 1 ) = P( X0 ∈ S, X1 = 0 ) = ∑α p
i∈ S
i i0 = αP0 .
当 k≥2 时 ,
gk = P(τ= k) = P( X0 ∈ S, X1 ∈ S, … , Xk - 1 ∈ S , X k ∈ S0 )
= ∑… ∑ αi0 pi0 i1 … pik - 1 0 = αP
k -1
P0 ,
i ∈S i ∈S
0 k- 1
即 得 ( 7 . 3 ) 式 . 又 注 意 到 k ≥ 1 时 , αk ( i ) =
0 , … , 1 , 0 , … , 0) P ( I - P e, 立得 ( 7 .4) 式 .
k- 1
第 i个元素
及 (7 .6 ) 式 .
注 由 (7 .3 ) 式及 ( 7 .4) 式 , 离散的 P hase-Type 分布可以看作
290 第 7 章 随机游动与马尔可夫链
是矩阵形式的 几 何 分 布 .显 然 它 由 (α, P) 确 定 .故 可 简 记 为 τ~
P H (α, P) .
P H 分布有如下的一些优良性质 :
(1 ) 若 τ1 ,τ2 为 P H 分布 , 相互 独立 , 则 τ1 + τ2 ,τ1 ∧τ2 ,τ1 ∨τ2
均为 P H 分布 .
(2 ) τ1 , … ,τn 为 P H 分布 , 相互独立 ,ξ为离散型随机变量且与
n
τ1 , … ,τn 独立 , P(ξ= k) = pk ≥ 0 , ∑ pk = 1 (1 ≤ k ≤ n) , 则
k= 1
n
∑τ I
k= 1
k (ξ= k) 为 PH 分布 .
且与{τn , n ≥ 1 } 独立 .令 X = ∑τ , 则
k= 0
k X 为 P H 分布 .
有关 P H 分布的封闭性 , 有兴趣的读者可参看文献[ 21 ] .
记 B( 1 , m) = (α1 , …,αm ) , B( 2 , m) = (α2 , …,αm + 1 ) , B( k, m) =
(αk , … ,αk + m - 1 ) .
定理 7 .2
(1 ) " k≥1 ,
αk+ 1 = Pαk ; ( 7 .7)
(2 ) P 满足矩阵方程
PB( 1 , m) = B(2 , m) ; ( 7 .8)
(3 ) 若 rank B(1 , m) = m, 则
- 1
P = B( 2 , m) B ( 1 , m) , ( 7 .9)
- 1 k- 1 - 1
αk = ( B(2 , m) B ( 1 , m) ) ( I - B(2 , m) B ( 1 , m) )
" k≥ 1 . (7 .1 0)
证明 由 (7 .4 ) 式可得 ( 7 .7) 式及 (7 .8 ) 式 .再 r ank B( 1 , m) =
m, 立得 ( 7 .9) 式和 (7 .10) 式 .
注 由 ( 7 .9 ) 式知 , 当 {αk , 1 ≤ k≤ m + 1 } 已知时 , 可反 求矩 阵
练习题 291
P, 这在许多情形下是 很有 用 的 ( 即反 问 题 .例 如 一系 统 的状 态 变
化可用马氏链来描述 , 其内部参数 P = ( pij ) 未知 , 但其首达时间可
以观测到 , 这时可用 ( 7 .9) 式来估计未知参数 P) .由 ( 7 .10 ) 式 知 ,τ
的概率分布至多由{αk , 1≤ k≤ m + 1}确定 .
尽管 P H 分布是定义在 有限 状态 马氏 链上 的 , 但 有时 亦可 根
据具体问题灵活的应用它 , 试看下例 .
例 7 .1 设{ X n , n≥ 0}为无限制的 ( p, r, q) 随机游 动 , 且 X0 =
0( 见 7. 3 节例 3. 2 ) , 其中 p , q > 0 , r≥ 0 , p + q + r = 1 .试 求 : T =
min{ n: n≥ 1 , X n = - 2 或 X n = 3 } 的 分布律 .乍 看此 链状态 空间 无
限 , 好像无法利用 P H 分布来求解 .但如果将此链限制在状态空 间
珟
S = { - 1 , 0 , 1 , 2 , 3 , - 2 } 上 , 选 取 S = { - 1 , 0 , 1 , 2 } 且 将 S0 =
{3 , - 2 想象 ( 当作 ) 吸收态 集 .显然 将 S0 = { 3 , - 2} 当 作吸 收态 集
后并没有 改变 原来 T 的分 布特性 .这 样便 可以应 用 (7 .3 ) 式来 求
T 的分布 { gk , k≥0} , 由 X0 = 0 , 显然 此时 g0 = 0 , 当 k≥ 1 时 , 只 需
取 α= ( 0 , 1 , 0 , 0) , 在 S = { - 1 , 0 , 1 , 2 } 上 的 P, 在 S0 = { 3 , - 2 } 上
的 P0 应取为
- 1 0 1 2 (3 , - 2)
r p 0 0 q
q r p 0 0
P= , P0 =
0 q r p 0
0 0 q r p
代入 (7 .3 ) 式即可 .
练 习 题
7 .1 设 { Yn , n ≥ 1} 独 立 同 分 布 , P( Yn = 1) = p > 0,
P( Yn = - 1) = q > 0, p + q = 1 , p - q > 0, Y0 = 0, X0 = 0, Xn =
292 第 7 章 随机游动与马尔可夫链
∑ Yk , Un = Xn - n( p - q) , V n = ( q/ p)
X
n .求 :
k=1
试证 T0 1 与 T′
1 2 条件独立且同分布 .
Xn = n - ∑ξ , (ξ
j= 0
j 0 = 0) ,
则{ X n , n ≥ 0 } 为常返 不 可 约马 尔 可 夫 链 , 正 常 返 的充 要 条 件 为
∞
∑ kα
k= 1
k < ∞ .
∑αk P ,
k
0} 为正常返不可约马尔可夫链 , 其转移概率矩阵为 珟
P =
k= 1
且与{ X n , n ≥ 0 } 有相同的平稳分布 .
7 .19 设 马氏 链 { X n , n≥ 0 } , S = { 1 , 2 , 3 } , 转 移 概 率 矩 阵 P
如下
0 .5 0 .4 0 .1
P= 0 .3 0 .4 0 .3 .
0 .2 0 .3 0 .5
296 第 7 章 随机游动与马尔可夫链
f ij / ( 1 - f j j ) < ∞ .
7 .23 设 { X n , n ≥ 0 } 为 ( p, r, q) 随 机 游 动 . X0 = i, Ti =
min{ n: n ≥ 0 , X0 = i, Xn = 0 或 X n = b} , 其中 b( 0 ≤ i ≤ b) 为正
整数 .
(1 ) 当 i = 1 , b = 3 时 , 求 P( T1 = k | X0 = 1) ( k ∈ 瓔 ) 及
练习题 297
P( X T1 = 3 | X0 = 1 ) ;
(2 ) 当 i = 2 , b = 5 时 , 求 P( T2 = k | X0 = 2) ( k ∈ 瓔 ) ;
(3 ) 求 P( X T2 = 5 | X0 = 2 ) .
7 .24 设有两 串 独 立 的 伯 努 利 试 验 序 列 X1 , X2 , … 及 Y1 ,
Y2 , … , 它们成功的概率分别为 p1 与 p2 , 即
P( X i = 1) = 1 - P( X i = 0) = p1 ,
P( Y i = 1) = 1 - P( Y i = 0) = p2 ,
{ Xn , n≥ 0}与 { Y n , n≥0 }独立 .为决定是否 p1 > p2 或 p2 ≥ p1 , 我们
利用下列检验 : 选取某个正整数 M 使得或者
X1 + X2 + … + X n - ( Y1 + Y2 + … + Y n ) = M ,
或者
X1 + X2 + … + Xn - ( Y1 + Y2 + … + Y n ) = - M .
若试验结果是前一情况发生 , 则判定 p1 > p2 ; 若是后一情况发生 ,
则判定 p2 ≥ p1 .记
N = min{ n: n ≥ 1 , X1 + X2 + … +
X n - ( Y1 + Y2 + … + Y n ) = ± M} .
若限制 M = 3 时 , 试证明 :
(1 ) 在 p1 > p2 条件下 , 经试验误判 p2 > p1 的 概率 为 1/ ( 1 +
M
λ ) , 其中 λ= p1 (1 - p2 )/ p2 (1 - p1 ) ;
M M
(2 ) E N = M(λ - 1 )/ ( p1 - p2 ) (λ + 1) .
7 .25 设{ X n , n≥0 }是马氏链 , 状态空间 S = {0 , 1 , 2 , … , N } .
j j N - j
X0 = 2 .设 p ij = C N ( i/ N ) ( 1 - i/ N ) , V n = X n ( N - Xn )/ (1 -
- 1 n
N ) , T = min{ n: n≥ 1 , Xn = 0 或 X n = N} .
试求 : ( 1) E X1 及 E ( X2 | X1 ) 的 分 布 律 ; ( 2 ) E ( V2 | V1 ) 及
E( V n + 1 | V0 , V1 , … , V n ) ; (3 ) 求 P ( T = k | X0 = 2 ) ; ( 4 ) 当 N = 3
时 , 求 E( T | X0 = 2) .
7 .26 证明 : 有 限马氏 链为 不可 约遍历 链的 充要条 件 是 : 存
在 m≥1 , 使得对 " i, j∈ S, p(ij m) > 0 .
298 第 7 章 随机游动与马尔可夫链
7 .27 设{ X n , n≥ 0} 是 带一 个吸 收 壁 的随 机 游动 .状态 空 间
为 S = { 0 , 1 , 2 , … } , 转 移 概 率 为 p00 = 1 , " i≥ 1 , p ii + 1 = pi > 0 ,
p ii - 1 = qi > 0 , pii = ri ≥0 , pi + qi + ri = 1 , T l0 = min { n: n≥1 , X0 = l,
Xn = 0} .
( k)
(1 ) 试求 P( Tl0 = k | X0 = l ) = f l0 ( l≥ 1 ) 及 E ( T l0 | X0 = l)
( l≥1) ;
(2 ) 试讨论在什么条件下 , 该链为常返链 ?
7 .28 若一篇文章有 m 个错误 , 每校对一 次至少纠正一个 错
误 , 且遗漏下来的个数在 0 到 m - 1 之间 是等可能 的 .现在设原 稿
有 i( i > 0) 个错误 , 为了改正全部错误 , 平均需要校阅几次 .
7 .29 设 τ1 ,τ2 为相互独 立的 P H 分 布 ,τ1 ~ P H (α, P) ,τ2 ~
P H (β, T) , 其中 α= (α1 ,α2 ) ,β = (β1 ,β2 ) , P = ( p ij ) , T = ( tij ) 为 二
阶转移概率矩 阵 .试求 : ( 1 )τ1 + τ2 的矩 阵 表示 ; ( 2 )τ1 ∧τ2 的 分
布律 .
7 .30 设{ X n , n≥ 0 } 为离 散 分 支 过程 ( 参 见 7. 3 节 例 3 .4 ) .
Xn 表示第 n 代个体的数目 ,ξ表示某一代个体产 生下一代 的个数 .
如 X n = 0 , 则 Xn + 1 = 0; 当 Xn > 0 时 , 有 Xn + 1 = ξ1 +ξ2 + … +ξX n , 其
中{ξi , i≥1 }相互 独 立 , 与 ξ同 分 布 , 且 与 X n 独 立 .设 X0 = i > 0 ,
P(ξ= 0 ) = p0 = 1/ 20 , P(ξ= 1 ) = p1 = 1/ 10 , P(ξ= 2 ) = p2 = 17/ 20 .
试求 f i0 及 P( n→
lim Xn = ∞ ) .
∞
第8章
布 朗 运 动
8 .1 定义和性质
1 布朗运动的 定义
我们从一维直线上的随机游动引出布朗运动 .
(1 ) 先离散化 .让我们先考虑在一直线上的 简单、对称的随 机
1
游动 .设质点每隔 Δt 时间 , 随 机地 以概 率 p = 向右 移动 Δx > 0
2
1
单位 , 或以概率 q = 1 - p = 向左移 动 Δx 单位 , 且 每次移 动相 互
2
独立 , 记
300 第 8 章 布朗运动
1, 第 i 次质点向右移动 ,
Xi = X( t) = t 时刻质点的位置 .
- 1, 第 i 次质点向左移动 ,
设 t = 0 时 , X(0) = 0 , 那么有 X( t) = Δx X1 + X2 + … + X t ,
Δt
t
Δt
t
其中 表示不超过 t 的最大整数 .显然 X( t) = Δx ∑X k 是
Δt Δt k=1
独立同分布的随机变量之和 , 因而它们在互不重叠的时间区间上 ,
2
其增量相互独立, 且 E X i = 0 , DX i = E X i = 1 , 故此时 E X ( t) = 0 ,
t
DX ( t) = (Δx) 2 .
Δt
以上简单随机游动可作为微小粒子在直线上作不规则运动的
近似 .而 实际 粒子的 不规 则运 动是连 续进 行的 , 为 此 , 考虑 Δt→0
时极限情形 .
(2 ) 精确化 .通常情况下 , 令 Δt→0 ,Δx→ 0 .由实验得 知 , 在 许
多情 形 下 , 有 Δx = C Δt ( C > 0 为 常 数 ) , 下 面 假 定 在 Δx =
C Δt的条件下 , 推出其极限情形 .
2
显然 , 当 Δt→ 0 时 , E X ( t ) = 0; 而 Δt→ li m0 ( Δx )
lim0 D X ( t ) = Δt→
t
= C2 t .进而由表达式 X( t) = Δx X 1 + X2 + … + X t 是独
Δt Δt
立同分布 , 方差 有限 的 随 机变 量 之和 .易证 它 在 互 不重 叠 的 区 间
上 , 其增量相互独立 ; 同 时由 中 心极 限 定理 知 , 当 Δt→ 0 时 , X ( t)
的分布趋向于正态分布 , 即 Δt→0 时 , X( t) ~ N ( 0 , C2 t) .确 切地 ,
" x∈ , t > 0 , 有
u2
X( t) 1 x
∫
-
lim P ≤ x = Φ( x ) = e 2
du .
Δt→ 0 C2 t 2π -∞
有了上述简单随机游动的极限描述 , 可以引出下面的定义 .
定义 1 .1 若一族随机变量 { X( t) , t≥0 }满足 :
8 .1 定义和性质 301
2 布朗运动的 性质
定义 1 .2 随机过程 { X( t) , t∈ T} , 若对 任意 的 ti ∈ T ( i =
1 , 2 , … , n) , ( X( t1 ) , X( t2 ) , … , X ( tn ) ) 的 联 合分 布 为 n 维正 态 分
布 , 则称{ X( t) , t∈ T} 为正态过程 .
定理 1 .1 布朗运动是正态过程 .设 { B( t) , t≥ 0} 为标 准布 朗
运动 , 则当 t0 = 0 , B ( 0 ) = 0 时 " 0 = t0 < t1 < … < tn , ( B ( t1 ) ,
B( t2 ) , … , B( tn ) ) 的联合概率密度函数为
n
g( x1 , x2 , … , xn ; t1 , t2 , … , tn ) = ∏ p( x
i =1
i - x i - 1 , ti - ti - 1 ) ,
( 1 .3)
302 第 8 章 布朗运动
2
1 - x
其中 p( x, t) = e 2t 且 x0 = 0 .
2πt
证明 利用布朗运动的增量独立性 .
令 Y1 = B( t1 ) , Y i = B( ti ) - B( ti - 1 ) ( 2 ≤ i ≤ n) , 则 B( ti ) =
i
∑Y
k= 1
k ; 由布朗运 动的 定 义知 Y1 , Y2 , … , Y n 相互 独 立 , Y n ~ N( 0 ,
ti - ti - 1 ) , 则其联合密度函数为
n
1 y2i
f ( y1 , y2 , … , yn ) = ∏i= 1 2π( ti - ti - 1 )
exp -
2( ti - ti - 1 )
,
由于 B( ti ) = ∑Y
k= 1
k , 故 由 第 3 章 命 题 6 .3 得 ( B( t1 ) , B( t2 ) , … ,
B( tn ) ) 的联合概率密度函数为
g( x1 , x2 , … , xn ; t1 , t2 , … , tn ) = f ( y1 , y2 , … , yn ) ・| J | ,
且易得 | J | = 1 , 故
g( x1 , x2 , … , xn ; t1 , t2 , … , tn )
n
1 ( xi - xi - 1 ) 2
=∏ exp -
i=1 2π( ti - ti - 1 ) 2 ( ti - ti - 1 )
n
= ∏ p( xi - xi - 1 , ti - ti - 1 ) .
i=1
定理得证 .
在得出了 ( B ( t1 ) , B( t2 ) , … , B ( tn ) ) 的 联 合 概 率密 度 函 数 之
后 , 可得以下推论 .
推论 1 " 0 < t1 < t2 < … < tn - 1 < tn , 在 B( t1 ) = x1 , B( t2 ) =
x2 , … , B( tn - 1 ) = xn - 1 下 B( tn ) 的条件概率密度函数为
f ( xn | x1 , x2 , … , xn - 1 )
1 ( xn - xn - 1 ) 2
= exp - . ( 1 .4)
2π( tn - tn - 1 ) 2 ( tn - tn - 1 )
尤其是
8 .1 定义和性质 303
P( B( tn ) ≥ xn - 1 | B( t1 ) = x1 , … , B( tn - 1 ) = xn - 1 ) = 1/ 2 ,
(1 .4a)
即布朗运动具有对称性 .
推论 2
E( B( tn ) | B( t1 ) = x1 , B( t2 ) = x2 , … , B( tn - 1 ) = xn - 1 ) = xn - 1 ,
( 1 .5)
D( B( tn ) | B( t1 ) = x1 , B( t2 ) = x2 , …, B( tn - 1 ) = xn - 1 ) = tn - tn - 1 .
( 1 .6)
推论 1 和 2 可以 通过求条 件概率密 度函数 的方法很 容易求 得 , 这
里不再赘述 .
推论 1 表明布朗运动具有这样一条性质 : 即已知现在 , 将来与
过去条件独立 .但是 , 对于 t1 < t2 < t3 , 如 果在 给定 B( t1 ) 与 B( t3 )
下求 B( t2 ) 的条件概率密度函数 , 结果会怎样呢 ?
先看看取 t1 = 0 , t3 = 1 , t2 = t, 0 < t < 1 的情 形 .由 ( 1 .3 ) 式知 ,
在 B( 0) = 0 下 , B( t) , B(1 ) 的联合概率密度函数为
2 2
1 1 x ( y - x)
f ( x, y) = exp - + .
2π t( 1 - t) 2 t 1 - t
1
又在 B ( 0 ) = 0 下 , B ( 1 ) 的 概 率 密 度 函 数 为 g ( y ) =
2π
y2
exp - , 从而在 B(0 ) = B(1 ) = 0 下 , B( t) 的条件概率密度为
2
f ( x, y)
f B( t) | B( 0 ) = B( 1 ) = 0 ( x) =
g( y)
2
1 1 x
= exp - ,
2πt( 1 - t) 2 t(1 - t)
仍为正态分布 .可以看出
E[ B( t) | B( 0) = B(1 ) = 0] = 0 ,
E[ B2 ( t) | B( 0) = B(1 ) = 0] = t( 1 - t) .
304 第 8 章 布朗运动
对于一般的情形 , 我们有以下的定理 .
定理 1 .2 对 t1 < t < t2 , 给定 B( t1 ) = a, B( t2 ) = b, B( 0 ) = 0 ,
则 B( t) 的条件概率密度函数是一正 态密 度 , 其均值 为 a + ( b - a)
- 1 - 1
( t - t1 ) ( t2 - t1 ) , 方差为 ( t2 - t) ( t - t1 ) ( t2 - t1 ) .
证明
E[ B( t) | B( t1 ) = a, B( t2 ) = b]
= E[ B( t) - B( t1 ) + B( t1 ) | B( t1 ) - B(0 )
= a, B( t2 ) - B( t1 ) = b - a]
= E[ B( t) - B( t1 ) | B( t2 ) - B( t1 ) = ( b - a) ] + a
*
t - t1 t - t1
= ・ [ ( b - a) - 0 ] + a
( t - t1 ) ( t2 - t1 ) t2 - t1
= a + ( b - a) ( t - t1 ) ( t2 - t1 ) - 1 ,
上式“ * ”处用到了第 4 章例 5 .6 的 (5 .8 ) 式 ( 二元正态条件期望的
公式 ) .条件方差的证明与 上例 类似 , 留作 练习 .提 示 : 先求 相应 的
条件概率密度函数 .
定理 1 .3 设{ B( t) , t≥ 0 } 是正 态过 程 , 轨 道连 续 , B( 0 ) = 0 ,
" s, t > 0 , 有 E B( t) = 0 , E[ B( s) B( t) ] = t∧ s, 则 { B( t) , t≥ 0 }是 布
朗运动 .反之亦然 .
证明 先证充分性 由定理 1 .1 知 , 若{ B( t) , t≥ 0} 是布朗 运
动 , 则它是正态 过程 .同 时由 布朗 运动 定 义知 , E B( t) = 0 , 且 轨 道
连续 .设 0 < s≤ t, 则
E[ B( s) B( t) ] = E[ ( B( t) - B( s) + B( s) ) B( s) ]
2
= E[ ( B( t) - B( s) ) B( s) ] + E[ B ( s) ]
= E[ B( t) - B( s) ] E[ B( s) ] + s = s,
所以
E[ B( s) B( t) ] = t ∧ s, E[ B( t) ] = 0 . ( 1 .7)
再证必要性 当{ B( t) , t≥0 }是正态过程 , 且满足 (1 .7) 式时 ,
8 .1 定义和性质 305
那么 " s, t > 0 , 有
E[ B( t) - B( s) ] = E( B( t) ) - E( B( s) ) = 0 ,
2 2 2
E[ B( t) - B( s) ] = E[ B ( t) ] + E[ B ( s) ] - 2 E[ B( t) B( s) ]
= t + s - 2 ( t ∧ s) = | t - s | .
而 " s1 < t1 ≤ s2 < t2 , 有
E[ { B( t1 ) - B( s1 ) } { B( t2 ) - B( s2 ) } ]
= E[ B( t1 ) B( t2 ) ] - E[ B( t1 ) B( s2 ) ] -
E[ B( s1 ) B( t2 ) ] + E[ B( s1 ) B( s2 ) ]
= t1 - t1 - s1 + s1 = 0 .
再由正态分布知 : 不相关即相互独立 , 所以 B( t) 是独立增量过程 ,
且 B( t) - B( s) ~ N ( 0 , | t - s | ) .又{ B( t) , t≥0 } 轨道 是 连续 的 , 得
{ B( t) , t≥0 }是布朗运动 .
这样就得到了判断一个正态随机过程是否为布朗运动的充分
必要条件 , 从而得出一系列很有用的结论 .
定理 1 .4 设{ B( t) , t≥ 0}是布朗运动 , 则 :
(1 ) { B( t +τ) - B(τ) , t≥0 } , " τ≥0;
1
(2 ) B (λt) , t≥0 (λ> 0 ) ;
λ
1 1 d ef
(3 ) tB , t≥0 , 其中 t B 0;
t t t= 0
(4 ) { B T - S - B T , 0≤ S≤ T} ( T > 0 ) ;
仍为布朗运动 .
证明 利用定理 1 .3 的结论易证 , 详细的推导留给读者 .
至此 , 我们已经研究了不少有关布朗运动的重要性质和定理 ,
那么 , 它和我们上一章 ( 1 .2) 式所引出的鞅有什么关系呢 ? 这是一
个很有价值的问题 .我们先引入连续参数鞅的概念 .
定义 1 .3 随机过程 { X ( t) , t≥ 0 } , 若 " 0 ≤ t0 < t1 < … < tn <
306 第 8 章 布朗运动
t, E| X( t) | < ∞ , 且
E( X( t) | X( t0 ) , X( t1 ) , … , X( tn ) ) = X( tn ) ( a .s .)
则称{ X( t) , t≥0} 为鞅 .
定理 1 .5 设{ B( t) , t≥ 0} 为标 准布朗 运动 , 则 { B( t) , t≥ 0 } ,
2
{ B ( t) - t, t≥0 }都是鞅 .
证明 利用布朗运动的 增量独 立性 不难证 明 , 详 细的 推导 留
给读者 .
由以上结论可知 , 布朗运动本身既是马氏正态过程 , 又是连续
鞅 .这个结果很别致 , 但并不奇怪 .因为我们分别讨论的泊松过程、
马尔可夫链、鞅、布朗运动等 随机 过程 , 不过 是对 一些 随机 过程 的
某些方面的特殊性质进行了专门的、分类的讨论 , 而并不排斥这些
性质可以交叉、共存 于 一 个随 机 过程 中 .在 介 绍 这 些概 念 时 只 能
“串行”进行 , 但实际上要能够“ 并行”应用 , 融会贯通 .
8 .2 首中时与最大值的分布
设{ B( t) , t≥ 0 } 为 标 准 布朗 运 动 , 不 妨设 B ( 0 ) = 0 .记 T a =
min{ t: t > 0 , B ( t ) = a} , Ta 表 示 首 次 击 中 a 的 时 间 ( 首 中 时
( hitting time ) ) ; 要研 究 P( Ta ≤ t) 有 多大 , 仍 然从 事件的 等价 性
入手 .
对 " t > 0 , 记 Mt = 0max B ( u) 表 示 [ 0, t ] 上 的 最 大 值
≤ u≤ t
1
P( B( t) ≥ a | Ta ≤ t) = P( B( t) < a | Ta ≤ t) = ,
2
故 P( T a ≤ t) = 2 P( B( t) ≥ a) .
于是 , 当 a > 0 时 ,
+∞ u2 +∞ x2
2 2
∫ ∫
- -
P( Ta ≤ t) = e 2t
du = e 2
dx
2πt a π a
t
a
= 2 1 - Φ ;
t
当 a < 0 时 , 由 布朗 运动的 对称 性 , 显然 P( T - a ≤ t) = P( Ta ≤ t) ,
所以对于一般的 a, 有
+∞ 2
2 - x | a|
P( Ta ≤ t) = ∫
π | a|
t
e 2
dx = 2 1 - Φ
t
, ( 2 .2)
这就是首中时的分布 .
由此可以推知两个重要的结论 :
(1 ) Ta 几乎处处有限 , 即 P( Ta < ∞ ) = 1 .因为
+∞ u2
2
∫
-
P( T a < ∞ ) = t→ P( T a ≤ t) = du = 1,
2
lim e
∞ π 0
( 2 .3)
即 a 点首中时 T a < ∞的概率为 1 .
(2 ) E Ta = + ∞ . ( 2 .4)
证明
∞ ∞
E Ta =∫ 0
P( Ta > t) d t = ∫ [1 - 0
P( Ta ≤ t) ] d t
∞ +∞ u2
∫ 2
∫
-
2
= 1 - e du dt
0 π | a| / t
∞ | a|/ t u2
2
∫∫
-
2
= e du dt
π 0 0
∞ a2 / u 2 u2
2
∫∫
-
2
= dt e du
π 0 0
308 第 8 章 布朗运动
∞ 2
2 1 e - u2 d u
∫
2
=a
π 2
0 u
1 2
2 1 - u2
∫
2
≥a 2 e du
π 0 u
1
2 1
∫ u du = + ∞,
2 - 1
≥a e
π 2
0
所以 E Ta = + ∞ .
8 .3 布朗运动的各种变形与推广
1 吸收布朗运 动
设
B( t) , Ta > t,
X( t) =
a, Ta ≤ t,
其中 Ta = min { t: t > 0 , B( t) = a} .称 { X ( t) , t≥ 0 } 为吸 收 布 朗 运
动 .表示一旦质点到达 a 后 , 即被吸收停留在 a 点 .
可以证明 X( t) 的概率分布为
P( X( t) ≤ y ) = 1 , 当 y > a,
∞ u2
2
∫e
-
当 y = a,
2t
P( X( t) = a) = ,
a
2πt ( 3 .1)
y 2
- u
2
P( X( t) ≤ y ) = ∫ 当 y < a.
2t
e
y -2x
2πt
2 反射布朗运 动
设 Y ( t) = | B ( t) | , 则 称 { Y ( t) , t≥ 0 } 为 在 原 点 反 射 的 布 朗
运动 .
我们来推导 Y ( t) 的分布 .显然 , 当 y < 0 时 , P( Y ( t) ≤ y ) = 0;
8 .3 布朗运动的各种变形与推广 309
当 y > 0 时, 有
P( Y ( t) ≤ y) = P( - y ≤ B( t) ≤ y) = 2 P( B( t) ≤ y) - 1
y u2
2
∫
-
2t
= e du - 1, ( 3 .2)
-∞
2πt
这样就得到了它的分布 .
3 几何布朗运 动
B( t )
设 W ( t) = e , 则称 { W ( t) , t≥ 0}为几何布朗运动 .
几何布朗运动有时可以作为相对变化为独立同分布情况的模
Y ( n)
型 .例如 , 设 Y( n) 是 n 时刻商品的价格 , = X ( n) 是独立同分布
Y( n - 1 )
n
的 .如取 Y ( 0 ) = 1 , Y ( n) = X( 1 ) X ( 2 ) … X( n) , 则 ln Y ( n) = ∑ ln X
i= 1
( i) ,所
以当 n → ∞ 时 , 根据中心极限定理知 , { ln Y ( n) , n ≥ 1 } 渐近为布朗
运动 .于是{ Y ( n) , n ≥ 0 } 就近似为几何布朗运动 .
取 B( t) 的矩母函数 ( s) = E[e sB ( t) ] , 则
∞ 2 x ts 2
1
∫
sB( t) sx -
e dx = e 2 .
2t
( s) = E[ e ] = e
-∞
2πt
相应地
t
B( t )
E( W ( t) ) = E( e ) = (1 ) = e 2 , ( 3 .3)
D( W ( t) ) = E( W2 ( t) ) - [ E( W ( t) ) ] 2 = E( e2 B( t) ) - et
= (2 ) - et = e2 t - e t . ( 3 .4)
这样就得到了几何布朗运动的一阶矩和二阶矩 .
4 漂移布朗运 动
X( t) = Δx X1 + X2 + … + X t .
Δt
1 1
设 Δx = Δt, p = (1 + μ Δt ) , q = (1 - μ Δt ) , 对于 给
2 2
定的 μ> 0 , 取充分 小的 Δt, 使 μ Δt < 1; 当 Δt→ 0 时 , E X ( t ) =
μt, D X( t) = t, 所以 X( t) ~ N(μt, t) .
将带漂移的布朗运动的定义写成微分形式, 得 d X( t) = d B( t) +
μd t, 即质点 t 时 刻 位 移 的增 量 分 解 为 随 机 性 增 量 与 确 定 性 增 量
之和 .
一般地 , 有如下推广 : d X( t) = σd B( t) + μd t .若扩散系数 σ与
漂移系数 μ 不是 常数 , 而是 t 与 X ( t) 的函 数 , 那么 有如下 更一 般
的随机微分方程
d X( t) = σ( t, X( t) ) d B( t) + μ( t, X( t) ) d t,
这类随机微分方程可用以 描述 分子的 热运 动 , 电子的 迁移 运动 规
律等 .例如 , 以 X( t) 描 述 一个 粒 子 在 液 体表 面 t 时 刻 的速 度 , 有
d X ( t) d B( t)
m = - f X( t) + , 其 中 m 为 质 点质 量 , - f X ( t) 为 粒
dt dt
d B( t)
子与液面的摩擦阻力 , f > 0 为常数 , 而 为由分子撞击产生 的
dt
总的合力 .求解这一类方程在物理学工程中是常见的 , 而这离不开
布朗运动理论 .
可见漂移布朗运动很具 有实际 意义 , 只 要赋予 相 应系 数以 物
理意义 , 就可以用它来刻画许多复杂的难以研究的物理过程、工程
8 .4 布朗运动轨道的性质 * 311
技术及经济现象 .
8 .4 布朗运动轨道的性质 *
本节将通过以下几个命题来研究布朗运动轨道的性质 .
以下均设{ B( t) , t≥0 }为标准布朗运动 , 且 B( 0) = 0 .
命题 4 .1 对任意固定的 t > 0 , 有
n
2 2
k k - 1
∞∑
P ω: n→
lim B nt - B n t = t = 1 . ( 4 .1)
k= 1 2 2
2n 2
k k - 1
证明 " n ∈ \ { 0} 记 Xn = ∑
k= 1
B nt - B
2 2
n t ,要
a .s .
证 Xn t, 由 第 5 章 定 理 4 .1 的 推 论 1 , 只 需 证 明 : " ε > 0 ,
∞
∑ P(ω:
n= 1
| Xn - t | ≥ ε) < ∞ 易知
2n
k - 1 2
k
EX n = E ∑
k=1
B nt - B
2 2n
t
n
2 2
k k- 1
=∑ E B nt - B n t
k= 1 2 2
n
2
= ∑ 1n t = t,
k= 1 2
由切比雪夫不等式得
DX n
" ε> 0 , P(ω: | X n - t | ≥ε) ≤ 2 ,
ε
2n
k k - 1
∑Y
2
再令 Yk = B nt - B t , 则 Xn = k ; 又 Yk ~
2 2n k= 1
2n
1
N 0 , n t , 且 Y k (1 ≤ k ≤ n) 相互 独立 , 所 以 DX n = D∑ Y k =
2 2
2 k=1
312 第 8 章 布朗运动
2n
∑ DY k .再由正态分布的性质知
2
k= 1
2 2 2
2 4 1 2 2 1 1
DY = EY - ( EY ) = 3 n t
k k k - t = 2 nt ,
2 2n 2
得
2
1 n 1
DX n = 2 n t 2 = n -1 t,
2 2
故
∞ ∞ ∞
DXn
∑ P(ω: | Xn - t | ≥ ε) ≤ ∑ 2 = t2 ∑ n1- 1 = 22t < ∞ .
n= 1 n= 1 ε ε n= 1 2 ε
" t > 0 , 取 0 = t0 < t1 < … < tn = t, 记 λ= 1max ( tk - tk - 1 ) , 则 有下 面
≤ k≤ n
的命题 .
命题 4 .2 对任意固定 t > 0 , 有
n
m .s .
λ→ 0 ∑
2
lim ( B( tk ) - B( tk - 1 ) ) t. ( 4 .2)
k= 1
证明 要证明以上命题 , 只需证明
n
2
∑ ( B( tk ) - B( tk - 1 ) )
2
li mE - t = 0 .
λ→ 0 k=1
为此计算
n
2
∑ ( B( tk ) - B( tk - 1 ) ) - t
2
E .
k= 1
记 Y k = B ( tk ) - B( tk - 1 ) ( 1 ≤ k≤ n) , 由 Y k ~ N ( 0 , tk - tk - 1 ) , 知
E Y4k = 3 ( tk - tk - 1 ) 2 , E Y2k = DY k = tk - tk - 1 , 且 Y2k ( 1≤ k≤ n) 相互 独
立 , 故当 k≠ l 时 , E Y2k Y2l = E Y2k E Y2l = ( tk - tk - 1 ) ( tl - tl - 1 ) , 因此
n
2
∑ ( B( tk ) - B( tk - 1 ) ) - t
2
E
k=1
n n n
2 2
∑Y ∑Y ∑Y
2 2 2 2
=E k - t = E k - 2E k t+ t
k=1 k=1 k= 1
8 .4 布朗运动轨道的性质 * 313
= 3∑ ( tk - tk - 1 ) 2 + 2 ∑ ( ti - ti - 1 ) ( tj - tj - 1 ) -
k=1 i< j
∑(t
2
2 k - tk - 1 ) t + t
k=1
= 2∑ ( tk - tk - 1 ) .
2
k=1
n n
又 ∑ ( tk - tk - 1 ) ≤ λ∑ ( tk - t k - 1 ) = λt , 则当 λ→ 0 时 ,
2
k= 1 k= 1
n
2
∑ ( B( tk ) - B( tk - 1 ) )
2
E - t → 0,
k= 1
故
n
m .s .
λ→ 0 ∑
2
lim ( B( tk ) - B( tk - 1 ) ) t.
k= 1
引理 4 .1 对任意固定 t > 0 , 记
k k - 1
Y n = maxn | B n t - B t | ,
1 ≤ k≤ 2 2 2n
有
P ω: nlim Yn = 0 = 1 .
→∞
证明 为 证结 论 , 由第 5 章 定 理 4 .1 知 , 只 需 证 " ε> 0 ,
∞
有
2k
l l - 1
P( | Y k | ≥ε) = P l∪ B k t - B t ≥ε
=1 2 2k
2k
l l - 1
≤∑ P B k t - B t ≥ε
l= 1 2 2k
2k 4
l l - 1
≤ ∑ε E B k t - B
- 4 2 -4 - k
t = 3tε 2 ,
l= 1 2 2k
314 第 8 章 布朗运动
∞ ∞
k= n k= n
得证 .
命题 4 .3 对任意固定 t > 0 , 有
2n
kt k - 1t
∞∑
P ω: n→
lim B n - B n = ∞ = 1 . ( 4 .3)
k= 1 2 2
证明 记
2n 2
k k - 1t a .s .
A = ω: ∑ B nt - B n t .
k= 1 2 2
k k - 1 a .s .
B = ω: max n B n t - B t 0 ,
1≤ k≤2 2 2n
2n
kt k - 1t
n→ ∞ ∑
C = ω: lim B n - B n = ∞ .
k=1 2 2
易知
n
2 2
k k - 1t kt k - 1t
∑
k=1
B nt - B
2 2
n ≤ maxn
1 ≤ k≤ 2
B
2
n - B
2
n
2n
k k - 1
∑
k=1
B
2 n t - B
2n
t ,
有
n
2 2
k k - 1t
∑ B nt - B
2 2
n 2
n
k k - 1
∑
k=1
≤ B n t - B n t ,
k k- 1 k= 1 2 2
max
1 ≤ k≤ 2 n B nt - B n t
2 2
由 以 上 不 等 式 知, 当 n → ∞, 且 ω ∈ AB 时 , 有
2n
k k - 1
∑
k= 1
B
2 n t - B
2n
t → ∞ , 故得 ω∈ C, 于是 AB C; 又 由
命题 4 .1 及引理 4 .1 有 P( A) = P( B) = 1 , 而 P( A) = P( A B) +
8 .4 布朗运动轨道的性质 * 315
P( A B ) , 0 ≤ P( A B ) ≤ P( B) = 1 - P( B) = 0 , 于是得 P( AB ) =
P( A) = 1 , 故而 1 = P( AB ) ≤ P( C) ≤ 1 , 从而得 P( C) = 1 .命题
得证 .
命题 4 .3 说明对 t 在任意区间 上 , 对几 乎所有 的 ω, 布 朗运 动
B( t,ω) 关于 t 不是有界变差函数 .
注 可以证明对于任意固定的 t, 几乎对所有的 ω, B( t) 关于 t
没有有限的导数 .
命题 4 .4 对任意固定 t > 0 , 有
n
m .s . 1 2 1
λ→ 0 ∑
lim B( tk - 1 ) ( B( tk ) - B( tk - 1 ) ) B ( t) - t,
k= 1 2 2
( 4 .4)
n
m .s . 1 2 1
λ→ 0 ∑
lim B( tk ) ( B( tk ) - B( tk - 1 ) ) B ( t) + t . ( 4 .5)
k=1 2 2
证明 令
n
An = ∑ B( t ) ( B( t )
k=1
k k - B( tk - 1 ) ) ,
n
Cn = ∑ B( t
k=1
k -1 ) ( B( tk ) - B( tk - 1 ) ) ( n ∈ \ {0 } ) ,
则
n
An + Cn = ∑ ( B( tk ) + B( tk - 1 ) ) ( B( tk ) - B( tk - 1 ) )
k=1
= ∑ ( B ( tk ) - B ( tk - 1 ) ) = B ( t) .
2 2 2
k=1
n
m .s .
∑ ( B( tk ) - B( tk - 1 ) )
2
由命题 4 .2 得 An - Cn = t(λ→ 0 ) , 故
k= 1
2 2
A n = B ( t) - Cn , 而由均方收敛的定义知 λlim E( A n - Cn - t) = 0 ,
→0
2 2
有lim E( B ( t) - 2 Cn - t) = 0 , 从而得
λ→ 0
2
1 B2 ( t) - 1 t
lim E Cn - = 0,
n→ ∞ 2 2
316 第 8 章 布朗运动
故由此得到
n 2
1 B2 ( t) - 1 t
lim E
λ→ 0 ∑ B( t
k= 1
k- 1 ) ( B( t k ) - B( tk - 1 ) ) -
2 2
= 0,
(4 .4 ) 式成立 .同理可以证明 (4 .5 ) 式 .
在介绍漂移布朗运动时 , 我们提到了随机微分方程 , 与分析中
类似 , 要想解随机微分方程 , 就必须定义随机积分 , 也称伊藤积分 ,
然后将相应的微分方程转 化为 积分方 程来 求解 .关于 布朗 运动 的
积分是最简单也是最常用的一种 .
定义 4 .1 ( 伊藤积分 ) 称一随机过程{ g( t) , t ≥ 0 } 关于布
朗运动的 伊 藤 积 分 是 指 : 对 于 区 间 [ 0 , t] 的 任 一 分 割 0 = t0 <
t1 < … < tn = t, 记 λ = 1max ( tk - tk - 1 ) , 若 当 λ→ 0 时 和 式
≤ k≤ n
n
∑ g( t
k= 1
k- 1 ) ( B( tk ) - B( tk - 1 ) ) 的均方极限存在 , 则称该极限为 g( t)
t
关于 B( t) 的伊藤积分 , 并记作 ∫ g( s) d B( s) , 也即
0
n
m .s . t
λ→ 0 ∑
lim g( tk - 1 ) ( B( tk ) - B( tk - 1 ) )
k= 1
∫ g( s) d B( s) . ( 4 .6)
0
例 4 .1 求布朗运动关于自身的伊藤积分 ∫ B( s) d B( s) .
0
解 由定义知
n t
m .s .
λ→ 0 ∑
lim B( tk - 1 ) ( B( tk ) - B( tk - 1 ) )
k=1
∫ B( s) d B( s) ,
0
由命题 4 .4 知
n
m .s . 1 B2 ( t) - 1 t,
λ→ 0 ∑
lim B( tk - 1 ) ( B( tk ) - B( tk - 1 ) )
k= 1 2 2
故由均方收敛极限的唯一性知
t
1 2 1
∫ 0
B( s) d B( s) =
2
B ( t) -
2
t. ( 4 .7)
积分 , 下同 ) , 有以下几点明显的不同 :
(1 ) 伊藤 积 分 定义 中 最 后 一 步取 极 限 是 在 均方 意 义 下 的 极
限 , 而不能定义和理解为当 λ→0 时 , 是对每一个 ω的求极限 .这是
因为由命题 4 .3 可知 , 对几乎所有的 ω, B( t, ω) 关于 t 在任意给 定
小区间[ a, b] 上都不 是有 界变 差函 数 , 故 而对 几乎 所有 的 ω, 其 积
分和式都不存在有限的极限 .
(2 ) 伊藤积分在 定义 积分 和式 时 , 被 积函 数在 小 区间 上要 取
左端点 , 这与 普通积分可任意取 不同 .这样做的理由可 由命题 4 .4
看出 , 若不是固定取左 端点 , 而固 定取 右端点 或任 意取 , 那 就会 导
致极限值不同或极限根本不存在 .
(3 ) 伊藤积分的结果通 常 不满 足 普 通积 分 中的 牛 顿 -莱 布 尼
茨 ( Newt on-L eibniz ) 公式 , 以上务必请初学者注意 .
伊藤积分和伊藤随机积 分方程 在现 代信息 科学、管理 科学 与
金融科学中已成为最重要 的数 学模型 之一 , 请 有兴趣 的读 者参 看
相关的文献 .
练 习 题
2
p 1 p
(2 ) 证 = 2 ;
t 2 x
( 3 ) " 0 ≤ t1 < t2 < … < tn + 1 , 给 定 B( ti ) = x i ( 1 ≤ i≤ n) , 求
B( tn + 1 ) 的条 件 概 率 密 度 , 及 P { B ( tn + 1 ) ≤ x | B ( t1 ) = x1 , … ,
B( tn ) = xn } , E{ B( tn + 1 ) | B( t1 ) , … , B ( tn ) } , va r { B( tn + 1 ) | B( t1 ) =
x1 , … , B( tn ) = xn } , " x∈ ;
(4 ) " 0 < tn + 1 < tn < … < t1 , 给 定 B ( ti ) = x i ( 1 ≤ i≤ n) , 求
B( tn + 1 ) 的条件概率密度函数 .
1
8 .3 Y ( t) = t B ( t > 0 ) , Y ( 0 ) = 0 , Z( t) = B( t) - t B( 1 ) ,
t
1
W ( t) = B( a2 t) ( a > 0 ) , U ( t) = ( t + 1) Z( t/ ( t + 1) ) .
a
(1 ) 证明 : { Y ( t) , t≥0} { W ( t) , t≥0} , { U ( t) , t≥ 0} 都是布 朗
运动 ;
(2 ) 求 Z( t) 的概率密度函数 .
8 .4 令 V ( t) = exp( - αt) B[ exp ( 2αt) ] .求 证 : { V ( t) , t≥ 0}
是平稳正态过程 ( 称 为奥恩 斯坦 -乌伦 贝克 ( Orn st ein-U hlenback)
过程 ) 并求 E( V ( s) V ( t) ) 及 V ( t) 的概率密度函数 .
8 .5 求 | B( t) | , | 0mi n B ( s) | , M ( t) = 0max ( B( s) ) 及 δ( t ) =
≤ s≤ t ≤ s≤ t
M( t) - B( t) 的概率密度函数 .
t
8 .6 求 S( t) = ∫ B( s) d s 的协方差、方差及 ( S( t ) S( t ) ) 的
0
1 2
联合概率密度函数 .
8 .7 证明 P{ M( t) > x | B( t) = M( t) } = exp( - x2 / 2 t) .
( 提示 : 求在给定 δ( t) = M( t) - B( t) = 0 下 M( t) 的 条 件
分布 .)
8 .8 设 μ > 0, M = max X( t) , 证 明: α > 0 , P( M > α) =
t≥ 0
exp (2μα) .
练习题 319
x2 2
1 - p 1 p
8 .9 设 p( x, t) = e , 证明
2t
= 2 .
2πt t 2 x
8 .10 求 P( T1 < T - 1 < T2 ) .提示 : 利用全概率公式及布朗
运动的对称性 .
8 .11 V ( t) 同题 8 .4 , 求 :
V ( t + h) - V( t) V( t)
(1 ) lim E ;
h→0 h
( V ( t + h) - V ( t) ) 2
(2 ) lim E V( t) .
h→0 h
8 .12 设 0 < t1 < t2 , 记
A( t1 , t2 ) = {ω: v t ∈ ( t1 , t2 ) , B( t) = 0} ,
A( t1 , t2 ) = {ω: " t ∈ ( t1 , t2 ) , B( t) ≠ 0 } .
证明 P( A( t1 , t2 ) ) = ( 2/ π) arcsin t1 / t2 .( 提示 : 利 用 首中 时及 全
概率公式 .上式即为著名的过零点的反正弦定理 .)
8 .13 设 τ0 = sup { t: 0 < t < a, B( t) = 0 } ( a > 0 ) .试 证 明 :
" 0 < t0 < a, P(τ0 ≤ t0 ) = (2/ π) ar csin t0/ a .
8 .14 设 τ0 同上题 .记 τ1 = inf{ t: t > a, B( t) = 0 } ( a > 0 ) , 试
证明 : ( 1) P(τ1 < t1 ) = ( 2/ π) a rccos a/ t1 , t1 > a; ( 2) " 0 < t0 <
a < t1 , P(τ0 < t0 ,τ1 > t1 ) = ( 2/ π) a rcsin t0 / t1 .
8 .15 设 U ( t) = e - t B ( e2 t ) , " 0 < s, t, 求 U ( s) , U ( t) 的联合 概
率密度 .
8 .16 设 W ( t) = e B( t ) 为几何布朗运动 .试求下列系数 :
μ( x) = lim+ E[ W ( t + h) - W ( t) | W ( t) = x]/ h, x > 0 ( 漂 移
h→0
系数 ) ;
2 2
σ ( x ) = lim+ E[ ( W ( t + h) - W ( t) ) | W ( t) = x]/ h, x > 0 ( 扩 散
h→ 0
系数 ) .
8 .17 设 T (λ) = inf{ t: t > 0 , B( 0) = 0 , B( t) =λ} (λ> 0) .证 明
320 第 8 章 布朗运动
∑Δ
2
nk .求 :
k= 1
2 2 2
(1 ) E(Δnk | Δnk ) 及 E(Δnk ・Δnk + 1 | Δnk ,Δnk + 1 ) ;
(2 ) ES2 及 ES22 ;
(3 ) ES n 及 E S 2n .
8 .20 Δnk , Sn 同上 .
(1 ) 求 E( S2 | S1 ) ;
(2 ) 试 证 : E [Δ2n + 1 , 2 k - 1 + Δ2n + 1 , 2 k | B ( 1/ 2 n ) , … , B ( 2 n/ 2 n ) ] =
(Δ2nk + 1)/ 2 ;
1
(3 ) 证明 : E( S n + 1 | Sn ) = ( Sn + 1 ) .
2
8 .21 Δnk , Sn 同 8 .1 9 题 .
(1 ) 证明 : E( S1 | S2 ) = S2 ;
(2 ) 证明 : E[Δ2nk | Δ2n + 1 , 2 k - 1 , Δ2n + 1 , 2 k ] = Δ2n + 1 , 2 k - 1 + Δ2n + 1 , 2 k ;
(3 ) 试证 : E( S n | Sn + 1 ) = Sn + 1 .
第9章
参 数 估 计
9 .1 数理统计的研究对象及基本概念
通过前几章的介绍可知 , 很多 随机 现象 的规律 性 可以 用随 机
变量和随机过程来描述 , 而要刻画它们需要知道相应的概率分布 ,
或它们的某些数字特征和参数 .然而 , 在许多实际问题中对这些往
往知之甚少 , 或只知部 分信息 .对 此 , 用什么 方法 才能 确定 该随 机
变量的分布或 其参 数 呢 ? 这 就 需要 掌 握数 理 统 计 的基 本 理 论 与
方法 .
1 数理统计的 研究对象
试验 , 以便在较短时间内找出疗效好的药品配方与工艺条件 , 如何
找出影响性能的主要因 素以及 它们 的数量 关系 ? 又如 , 一 个工 厂
每天生产一大批产品 , 如何进行质量管理与控制 , 如何预测未来产
品的销售量 ? 又如 , 面对天花乱坠的股票波动与金融风险 , 如何作
出较有把握的预测 , 抓住机遇作出明智的决策 ? 等等 .数理统计将
为这些问题提供富有启发 性的 思维方 法与 强有力 的工 具 .下面 举
几个具体例子 :
(1 ) 如何估计产品的寿命 ? 这是工业品 质量管理 中极重要 的
问题 .为了评价某批电 子设备 的使 用寿命 , 随 机抽 取了 18 台做 试
验 , 测得 寿 命 数 据 如 下 ( 单 位 : 小 时 ) : 17 , 29 , 50 , 68 , 100 , 130 ,
140 , 270 , 280 , 340 , 410 , 450 , 520 , 620 , 190 , 210 , 800 , 1100 .假 设 使
用寿命服从指数分布 .问 : 整批电子设备中 , 寿命超 过 200 小时 的
占多大比例 ? ( 由本章随后要介绍的参数估计方面的知识可知 , 这
- 200/ 318
个比例大约是 e = 0. 533 .)
(2 ) 为了探 讨吸 烟 与 患慢 性 支气 管 炎是 否 关 联 , 调 查 了 339
人 , 情况如下表 :
人数 患慢性支气管炎 未患慢性支气管炎 合计
吸烟 43 162 205
不吸烟 13 121 134
合计 56 283 339
问 : 从这批数 据能 否断 定患 慢性 支 气管 炎与 吸烟 有关 ? ( 答
案是肯定的 , 这是一个统计推断问题 .)
数理统计的主要内 容 是 : 应用 概率 论和 数学 方 法 , 研究 怎 样
收集 ( 通过试 验或观察 ) 带有随机 误差的 信息与数 据 , 建立适当 的
随机数学模型 , 并在设定的模型 ( 称为统计模型 ) 之下 , 对这种信息
与数据进行分析 ( 称为统计分析 ) .以对所研究的问题作出推断 ( 称
为统计推断 ) 与决策 .下面再举一例来说明数理统计研究的两个基
9 .1 数理统计的研究对象及基本概念 323
本内容 .
例 1 .1 某工厂每 月 生产 大批 电子 元 件 .按 以往 的 试验 数 据
- λx
分析结果认为元件的寿命服从指数分布 , 即 f ( x ) = λe I( x > 0 ) , 但
每月生产元件的参数 λ并不知道 , 那么 : ( 1 ) 该月生产 元件的平 均
寿命如何估计 ? (2 ) 如果你是使用单位 , 要求平均寿命能达到某个
指定的数 , 例如 5000 小时 .问这批元件可否被接受 ?
如果该分布中的参数 λ已知 , 则 可知其 平均 寿命为 1/ λ, 于 是
上面两个问题马上就可以得到回答 .但现在 λ是未知的 , 于是需 要
从一大批元件中随机抽取若干个 , 例如 n 个 , 并测出其寿命分别为
X1 , … , Xn .然后将得到的部分信息 , 经过一定的 加工 , 便能较好 地
估计未知参数λ与平均寿命 .例如用 其算术平均值 珡
X = ( X1 + … +
Xn )/ n 去估计未知的平均寿命 1/ λ.
问题 (1 ) 称为 参数 估计 问 题 .这时 考虑 使用 1/ 珡
X 作 为未 知 参
数λ的估计 .显然由于随机抽取 , 自然 珡
X 亦是 随机的 , 那么①这 种
估计的精度与误差有多大 ? ②估计量与 λ之差不超过给定的允 许
误差有多大把握 ( 概率可信度 ) ? ③为要保证满足给定的“精度”和
“可信 度”, 至少 要多大 样本容量 n 才能达到 目的 ? ④ 有没有更 好
的估计方法 ? 这些都是参数 估计 研究 的主要 内容 .参 数估 计是 数
理统计中的基本问题之一 .
问题 (2 ) 与 ( 1 ) 不 同 , 问 题 ( 2 ) 是 要 判断 总 体 的均 值 是否 达 到
5000 .通 常 把 对 总 体 的 某 种 要 求 作 为 对 总 体 的 一 个 假 设 ( 记 为
H0 ) 提出 , 然后用样本的 观 察结 果对 总体 的假 设 H0 进行 检 验 , 最
后作出接受或拒绝 H0 的决 择 .显而 易见 , 当 珡
X 取 值珚
x 比 5000 大
很多 , 就 应该 接 受 H0 , 且 珡
X 越 大就 越 有 理由 与 把握 接 受 H 0 ; 反
之 , 就应拒绝 H0 .那么 ① 对 给定 的 假定 H0 , 如 何 制定 检 验 H0 成
立的检验准则 ? ②给定一检验 法 , 通过 检验 , 接受 与拒 绝 H0 的 概
率各有多大 ? ③如何比较与衡量不同检验法的优劣 ? ④为了减少
推断失误的概率 , 该选 择多大 的 n 才能 达到 目的 ? 这 类问 题称 为
324 第 9 章 参数估计
假设检验问题 , 也是最重要的统计问题之一 .
2 总体和样本
总体是指所研究 对 象 全 体构 成 的 集 合 .总 体 的 元 素 , 称 为 个
体 .如在例 1. 1 中一大批元件就是问题的总体 , 而每一单个元件就
是一个个体 .在数理统计中 , 主要关心的是对象的某些数量指标的
统计规律性 .因此可用 随机 变量 X 的 取值 全体 作为 总 体 , 简称 X
为总体 ( 或母体 ) .X 的全部 统计 规律性 可 用 X 的 分布 函 数 F ( x)
来刻画 , 称 F( x) 为总体分布 , 记为 X~ F( x ) .有时 , 总体 X 的分布
也用 f ( x) 表 示 , 当总 体 X 为 离 散型 随机 变量 时 , 它表 示 分 布律 ;
当总体 X 为连续型 随机 变量 时 , 它 表示 概率 密度 函数 ( 简 称密 度
函数 ) .
为了研究总体的性质 , 最好是把每个个体的指标都加以观测 ,
但这往往是不必要的 , 有时甚至是不可能的 , 怎么办呢 ? 一个主要
的方法 , 即从总体中选 取少量 个体 作为代 表 , 即随 机抽 样法 .然 后
对抽取的部分个体进行观测与研究 , 从而推断总体的性质 .从总体
中抽取的 部 分 个体 称 为样 本 .从 总 体 X 中 抽 取的 n 个个 体 记 为
X1 , … , X n , 这 n 个个体 X 1 , … , X n 称为总体 X 的一个容量为 n 的
样本 ( 或称子样 ) .本书中的 样本 通常是 按“简 单抽 样”抽取 一部 分
个体 .所谓“ 简单 抽样”是指 总体中的 每个个 体每次被 抽出是等 可
能的 .为了使样本更具代表性 , 且能从有限的样本中包含与提取更
多的信息 , 要求抽取 ( 观测 ) 是彼此独立的且与总体同分布 .由此引
进下面的定义 .
定义 1 .1 称 X1 , … , Xn 是来自总体 X 的一个容量为 n 的 样
本 ( 子样 ) , 若 X1 , … , X n 独立同分布 , 且每个 Xi 均与 X 同分布 , n
称为样本容量 , X1 , … , X n 的全 体称 为一 组 样本 , 而 X i ( 1 ≤ i≤ n)
称为其中的第 i 个样本 .
显然 , 若总体 X 的分布为 f ( x ) , 则 其样本 X1 , … , X n 的分 布
9 .1 数理统计的研究对象及基本概念 325
为 ∏ f ( xk ) .
k= 1
3 统计量
X1 , … , Xn 作为来自总 体 X 的 一 组样 本 , 包含 了 总体 分布 的
信息 , 利用它对 X 的分 布规 律进 行统 计 推断 , 但 因为 样 本是 n 维
的 , 这些信息是分散到 样本的 每个 分量上 的 .因此 , 直 接从 样本 出
发来推断总体分布是不方 便的 .为 此 , 需要对 样本 进行 加工 , 将 样
本中分散的信息通过适当的变换 , 浓缩起来 , 以便更加突出地显示
出总体某一侧面的特性 .所谓统计量 , 就是不含未知参数的样本的
函数 .特别地 , 统计量只依赖于样本 , 而不依赖未知参数 .要根据不
同的需要 , 对样本进行不同的加工与提炼 , 从而把样本中蕴含的总
体的不同侧面的特性突出 反映 出来 , 就可 以对 总体的 某些 参数 与
性质作出尽可能高精度的估计与可靠的推断 .
2
例如 , 设 X1 , … , X n 是 从正 态总 体 X ~ N (μ,σ ) 中 抽出 的 样
本, 则 珡 X = ( X1 + … + Xn )/ n 是 统 计 量 , 因 为 它 完 全 由 样 本
X1 , … , Xn 决定 .而当参数 μ未知时 , 珡 X - μ就 不 是 统 计 量 .同 理 ,
n
1
∑( X - 珡
X ) 2 也是统计量 .通常称 珡
X 为样本均值 , 称 S2
2
S = i
n-1 i=1
2
为样本方差 .显然统计量 珡
X 与 S 是对样 本的不同 加工 , 它们各 自
2
显露出总体不同侧面 ( 例如 μ与σ ) 的性态 .常 用的 统计量 是样 本
均值与样本方差等 .
定义 1 .2 设总体 X~ F( x ) , X1 , X2 , … , Xn 为 其样本 , E X =
θ, D X =σ2 , 则分别称
n n
∑ X/ ∑( X
2 2
珡
X = i n, S = i - 珡
X) / ( n - 1 )
i=1 i= 1
为样本均值与样本方差 ; 称
n n
∑X/ n, ∑ ( Xi - 珡
k k
i X) / n
i =1 i= 1
326 第 9 章 参数估计
机变量 χ ( n) = ∑X 的分 布是 自由 度 为 n 的 卡方 分布 , 简记 为
2 2
i
i= 1
∑Y ∑Y
2 2 2
N (0 , 1 ) . 令 X1 = i , X2 = m+ j , 则 X1 ~ χ ( m) , X2 ~
i= 1 j= 1
2
χ ( n) , 且 X1 , X2 独立 ( 见第 3 章随机变量的独立性质 ) , X1 + X2 =
m+ n
∑Y
2 2
i 为 m + n 个标准 正态随机 变量的 平方和 .按 χ 分 布的定 义
i=1
9 .1 数理统计的研究对象及基本概念 327
图 9-1
知其分布为 χ2 ( m + n) , 即得证 .
② 若 X1 , … , X n 独 立 且 都 服 从 指 数 分 布 f ( x ) =
- λx
λe I( x > 0 ) , 则
n
X = 2λ∑ X i ~ χ2 ( 2 n) .
i= 1
证明 首先 , 由 X i 的 概率 密度 函数 可 推出 2λX i 的概 率密 度
1 - x/ 2 2
函数为 e I( x > 0 ) .但由式 (1. 1 ) , 当 n = 2 时可知正好是 χ ( 2) 的
2
2
概率密度函数 , 即 2λX i ~χ (2 ) .再因 X1 , … , Xn 独立 , 利用刚才 证
明的性质 , 即得所要的结果 .
(2 ) 自由度为 n 的 t 分布
2
定义 1 .4 设 X1 , X2 独立 , X1 ~ N( 0 , 1) , X2 ~χ ( n) , 则称
T( n) = X1 / X2 / n
的分布是自由度为 n 的 t 分布 , 简记为 t( n) , 亦称为学生 ( st udent )
分布 .这种分布是英国 人戈 塞特 ( W .S .Gosset ) 在 1908 年 以笔 名
“st uden t”发表的 , 它是数理统计中最重要的分布之一 .
命题 1 .3 设 T ( n) 是自 由度为 n 的 t 分布 , 则 它的概 率密 度
328 第 9 章 参数估计
函数为
Γ( ( n + 1)/ 2 ) 2 - ( n + 1 )/ 2
tn ( y) = ( 1 + y / 2) . ( 1 .3)
nπΓ( n/ 2 )
证明 这里只给出 证明梗 概 为证式 ( 1. 3 ) , 由 X2 的 概率 密
度函数先求 X2 / n的概率密度函数 , 再 利用第 3 章 推广的 全概 率
公式 , 求随机变量商 X1/ X2/ n的概率密度函数 , 命题可得证 .
这个密度函数关于 y 轴对称 , 其图形 与标准正态分布 N( 0 , 1 )
的密度函数的图形类似 , 见 图 9-2 .由 中心 极限 定 理易 知 : 当 n→
∞时 , t 分布的极限分布是标准正态分布 .
图 9-2
(3 ) F 分布
定义 1 .5 设 X1 , X2 独立 , X1 ~χ2 ( n) , X2 ~χ2 ( m) , 则称
m- 1 X2
F = -1
n X1
的分布是自由度为 ( m, n) 的 F 分布 , 简记为 F( m, n) .
m - 1 X2
命题 1 .4 设 F = - 1 如上定义 , 则 F 的概率密度函数为
n X1
9 .1 数理统计的研究对象及基本概念 329
m/ 2 n/ 2 Γ( ( m + n)/ 2 ) m/ 2 - 1 - ( m+ n)/ 2
f m, n ( y) = m n y ( my + n) I( y > 0 ) .
Γ( m/ 2)Γ( n/ 2 )
( 1 .4)
证明 直接由定义应用推广的全概率公式于随机变量商的情
形 , 即可证得 ( 1. 4) 式 .
F( m, n) 分布的图形见图 9 -3 .
图 9-3
性质 如 X~ F( m, n) , 则 1/ X~ F( n, m) .
通常把 χ2 , t 和 F 这 3 个分布合称“统计上的 3 大分布”, 这 是
因为它们在统计学中有广泛的应用 .
下面给出正态总体的样本均值与样本方差的重要定理 .
2
定理 1 .1 设 X1 , … , Xn 是来自 总体 X ~ N (μ,σ ) 的 样本 ,μ,
n n
∑ X/ ∑( X
2 2 2
σ 均 未 知 .记 珡
X= i n, S = i - 珡
X ) / ( n - 1) , U =
i= 1 i= 1
X - μ)
(珡 n/ σ.则
①珡
X ~ N(μ,σ2 / n) , U = (珡
X - μ) n/ σ~ N( 0 , 12 ) ;
n
∑( X
2 2 2 2 2
② ( n - 1) S/ σ = i - 珡
X) / σ ~ χ ( n - 1 ) ;
i= 1
330 第 9 章 参数估计
2
③ (珡
X - μ) 与 S 相互独立 ;
④ X - μ)/ S ~ t( n - 1 ) .
n(珡
2 2
证明 ①因 为 E珡
X = μ, 且 D珡
X = σ/ n, 故 珡
X ~ N (μ,σ/ n) , 且
U~ N (0 , 12 ) .下证②与③ .令 X = ( X i , 1≤ i≤ n) T , Y = ( Y i , 1 ≤ i≤
T
n) , 设 A 为 n 阶 正 交 方 阵 , 其 中 第 一 行 元 素 均 为 1/ n, 而 Y =
n
∑X
2
AX .因 为 A 为 正 交 变 换 , 故 其 平 方 和 保 持 不 变 , 即 i =
i=1
n
∑Y
2 T
i , 又 det A = 1 , 而 X = ( X i , 1 ≤ i ≤ n) 的概率密度函数为
i=1
n
∑ ( xi - μ) / 2σ
- n 2 2
( 2πσ) exp -
i= 1
n n
注意到 A 的第一行元素均为 1/ n, 因而 y1 = ∑ x/
i= 1
i n= x,其
n珚
n
中珚
x = ∑ x/
i=1
i n, 故由第 3 章 随机向 量变 换前 后概 率 密度 函数 的
关系式知 Y = ( Y i , 1≤ i≤ n) T 的概率密度函数为
n
2πσ) ∑y
- n 2
( exp - i - 2μ n y1 + nμ2 / 2σ2
i=1
∏[ (
-1 2 2
2πσ) exp( - yi / (2σ ) ) ] .
i =2
∑ Y 相互独立 .而∑ Y = ∑Y - Y = ∑ X - ∑
2 2 2 2 2
i i i 1 i Xi / n=
i=2 i =2 i=1 i= 1 i=1
9 .2 点估计 : 极大似然估计与贝叶斯估计 331
∑( X
i=1
i - 珡
X ) 2 = ( n - 1) S2 , 从而③得证 .又注意到
Y i/ σ~ N( 0 , 12 ) ( i = 2 , … , n) ,
n
故 ( n - 1) S / σ = ∑ ( Y / σ) ~ χ2 ( n - 1) , 即 ② 得证 .下证 ④ .
2 2 2
i
i =2
由 ③ 知 U = (珡
X - μ) n/ σ与 ( n - 1 ) S2/ σ2 独立 , 又由 U ~ N( 0 ,
2 2 2 2
1 ) , ( n - 1) S / σ ~ χ( n - 1) , 故
2 2 1/ 2
U/ [ ( ( n - 1) S / σ )/ ( n - 1) ] ~ t( n - 1 ) ,
即 n(珡
X - μ)/ S~ t( n - 1 ) .证毕 .
9 .2 点估计 : 极大似然估计与贝叶斯估计
参数点估计的方法具体有很多 , 本节仅介绍最基本的 3 种 .
注意 : 本书在数理 统计 部 分 , 仅限 于讨 论离 散 型与 连续 型 的
两种总体 .总体 X 的分布用 f ( x ,θ) 表示 , 如总体 X 为离散型随机
变量 , 则 f ( x, θ) 表 示 分 布 律 ; 如 总 体 X 为 连 续 型 随 机 变 量 , 则
f ( x,θ) 表示概率密度函数 , 简称 f ( x,θ) 为总体分布 .
1 极大似然估 计
或
L( X ,珟
p) = p∈max L( X , p) .
[0 , 1]
∏[ p ] = pk∑ ( 1 - p) k∑
X 1 - X X n - X
L( X1 , … , X n ; p) = k
(1 - p) k
=1
k
=1
k
.
k= 1
如由试验结果 X1 = i1 , … , Xn = in , 来 估计 未 知 参数 p, 则 应 取 珟
p
满足
L( i1 , … , in ;珟
p) = p∈max L( i1 , … , in ; p) ,
[0 , 1]
或
L( X1 , … , X n ;珟
p) = p∈max L( X1 , … , X n ; p) .
[0 , 1]
这种使已发生的抽样结果达到最大的 参数 珟
p 作为 对 p 的估 计 , 就
是极大似然估计原理 .
例 2 .2 一个袋子里有 5 个球 , 既有红 球也有白 球 , 已 知它 们
的数目之 比是 4∶ 1 , 但不知 是红 球多 还是白 球多 , 即 随机 抽取 一
个红球的概 率是 p1 = 1/ 5 或 者 p2 = 4/ 5 .现在 有放 回 地从 袋子 里
抽取 3 个球 , 试用抽取的红球数来估计红球的比例是 p1 还是 p2 .
解 记抽取的红球 数 为 X , 易 知 X~ B ( 3 , p) .当 X = k( 0 ≤
k≤3 ) 时 , 记它的概率为
334 第 9 章 参数估计
k k 3- k
L( k, p) = C3 p (1 - p) ,
它是 p 的函数 , 下表给出了 p = p1 = 1/ 5 与 p = p2 = 4/ 5 时 P( X = k)
的值 :
X 0 1 2 3
p = 1/ 5 时 P( X = k)的值 64/ 125 48/ 125 12/ 125 1/ 125
p = 4/ 5 时 P( X = k)的值 1/ 125 12/ 125 48/ 125 64/ 125
可知 : 当 k = 0 , 1 时 , L( k, p1 ) > L( k, p2 ) , 故应取 珟
p = p1 = 1/ 5 ; 当
k = 2 , 3 时 , L( k, p1 ) < L( k, p2 ) , 故应 取 珟
p = p2 = 4/ 5 .即说 明应 取
使得事件 ( X = k) 发 生的 可能 性 最大 的参 数作 为我 们 的估 计较 为
合理 , 符合客观推理 , 即应取 珟
p 满足
p) = m pax L ( k, p) , 0 ≤ k ≤ 3 ,
L( k,珟
或
L( X ,珟
p) = max L ( X , p) .
p
2
例 2 .3 已知一批零件的直径 X~ N (μ, 1 ) , 其中 σ= 1 已知 .
1 2
其概率密度是 f ( x;μ) = exp ( - ( x - μ) / 2) , 其中 μ未 知 , 但
2π
设 μ有两 种取 值 : μ1 = 1 或 μ2 = 5 , 现抽取 一个 样本 , 若抽 取的 结
果为 1. 1 , 则估计总体的参数 μ是 1 还是 5 ?
解 记 L( x ,μ) = f ( x,μ) , 当给 定 x 时 , L ( x,μ) 看作 是 μ的
函数 .现 在 抽样 结 果 是 x = 1. 1 , 在 此 条 件下 , 比 较 两个 参 数 μ=
μ1 = 1 与 μ= μ2 = 5 , 则不难得出 L( 1. 1 , 1 ) > L ( 1. 1 , 5 ) .这 表明 在
x = 1. 1 的前提下 , 未知参数 μ取μ= 1 的可能性要比取 μ= 5 的 可
能性大 , 故选取 珘
μ= 1 作为 μ的估计较为合理 .
以上 3 例估计参数的直 观依 据是 : 选取 参数 p( 或 μ) 的估 计
珟
p( 或 珘
μ) 满足 : 使 已观 测 到的 样本 出现 的可 能 性最 大的 参数 作 为
未知 参 数 p ( 或 μ) 的 估 计 , 这 种 估 计 方 法 称 为 极 大 似 然 估 计
9 .2 点估计 : 极大似然估计与贝叶斯估计 335
解 X1 , … , Xn 的似然函数为
n
1 e- 1
( X - μ) 2
L( X1 , … , X n ;μ) = ∏
k= 1 2π
2 k .
取对数 , 得
n
ln L( X1 , … , X n ;μ) = - n ln (2π) - 1 ∑ ( X i - μ) 2 ,
2 2 i=1
对 ln L 关于μ求导 , 并令它为 0 , 得
n
d ln L =
dμ ∑( X
k= 1
k - μ) = 0 .
n n
dln L
不 难验证 , 当 μ< 珡
X = ∑
k= 1
X k/ n 时 ,
dμ
> 0; 当μ> 珡
X= ∑ X/
k= 1
k n
时 , dln L < 0 .故 μ= 珡
X 为 L ( X1 , … , Xn ;μ) 的极大点 , 亦是最大值
dμ
*
点 .故 珘
μ = 珡
X 是μ的极大似然估计 .
例 2 .5 ( 均匀分布 ) 设样本 X1 , … , Xn 取自总体 X ~ U ( 0 ,
θ) (θ> 0 为未知参数 ) , 则似然函数
n
∏I
- n
L( X1 , … , X n ;μ) = θ ( 0 < X < θ)
k
.
k= 1
此时 无 法 利 用 ( 2. 2 ) 式 求 极 大 似 然 估 计 .但 注 意 到 由 于 θ> X k
*
( " 1 ≤ k≤ n) , 为使 L 达最大 , 当且仅当取珓
θ = 1m ax X k .
≤ k≤ n
以下是总体为离散型随机变量的例子 .
例 2 .6 设样本 X1 , … , Xn 取自总体 X ~P o(λ) , 其中λ> 0 为
*
未知参数 .试求其极大似然估计 珘
λ .
解 X 的分布律为
i -λ
P( X = i) = (λ/ i !) e ( i = 0 , 1 , … ) ,
故似然函数为
n
∏ (λ /
X -λ
L( X1 , … , Xn ;λ) = k
Xk !) e ,
k= 1
9 .2 点估计 : 极大似然估计与贝叶斯估计 337
dln L
由 λ* = 珡
= 0 , 可得珘 X .
dλ
下面对几类常见的分布 , 找出它们的参数的极大似然估计 .
- λx
(1 ) 指数分布 : X ~ Ex(λ) . f ( x ) = λe I ( x > 0 ) , 参数 λ> 0 .
当样本取值 ( x1 , … , xn ) 时 , 它的 似然 函数 为 L( x1 , … , xn ; λ) =
n n
λ∏ e = λ e ∑ , 对数似然函数记为
n - λx n -λ x
i i
i =1
i= 1
n n
ln Ln n
l n L = nlnλ - λ∑ xi , = - ∑x , i
i=1 λ λ i= 1
λ* = 1/ 珡
故珘 X 就是λ的极大似然估计 .
1 1 2
(2 ) 正 态分 布 : 分布 密 度 f ( x ; μ,δ) = e - 2δ( x - μ) ( 其 中
2πδ
δ= σ2 > 0) , 样本的似然函数为
n n
1 1 2
∏ e 2δ i
( x - μ)
L( x1 , … , xn ;μ,δ) = -
2πδ i=1
n
1 2
= ( 2π) - n/ 2 δn/ 2 e - 2δ∑ ( x - μ)
i= 1
i ,
故
n
n
ln Ln n 1
+ 2 ∑ ( xi - μ) = 0 .
2
= -
δ 2δ 2δ i = 1
n n
1 1
∑ ∑
2
解得 μ= xi = 珚
x ,δ= ( xi - 珚
x) .
n i= 1 n i=1
n
1
∑
*
故μ
珘 = 珡 σ = ( Xi - 珡
X ) 2 分别 为 μ与σ2 的极 大 似然 估
2
X ,珓
n i= 1
计量 .
338 第 9 章 参数估计
2 矩估计
考察常用的总体分布中 , 许多 未知 参数 与它们 的 矩有 密切 的
关系 .例如正态总体 X~ N (μ,σ2 ) 中的参数 μ,σ2 本身就是 X 的 一
阶原点矩 和 二 阶 中 心 矩 .又 如 X ~ Po (λ) , 则 λ= E X .又 如 X ~
- 1
Ex(λ) , 此时 E X = λ , 可知参数 λ是 一阶矩的 函数 .由此 , 一种 很
自然的估计方法是用样本 的矩 作为总 体相 应矩的 估计 , 再 利用 未
知参数与总体矩的函数关系 , 可得未知参数的估计量 , 称这种方法
为矩估计 .
n
1
X = ∑ Xk 为
设 X1 , … , X n 是总体 X ~ F( x,θ) 的样本 , 称 珡
n k=1
n n
样本均值 , S = 1 ∑ ( Xk - 珡
X) 2 为样本方差 , 1 ∑ Xki 为样本
2
n - 1 i= 1 n i= 1
n
1
k 阶原点矩 , ∑ ( Xi - 珡
k
X ) 为样本 k 阶中心矩 .
n i= 1
2 2
例 2 .7 设样本 X1 , … , Xn 来自总体 X ~ N (μ,σ ) , 其中 μ,σ
为未知参数 .试求 μ,σ2 的矩估计 .
解 由 样 本 矩 和 总 体 矩 的 定 义 可 知 ,μ = E X , 故 珘
μ=
n n
1 1
∑ σ = ∑ ( Xk - 珡
2 2 2
Xk = 珡
X 为μ的矩估计 .同理 ,珓 X) = S1 为
n k= 1 n i= 1
σ2 的矩估计 .又由 σ= DX 可知 ,珓
σ = S1 是 σ的矩估计 .
例 2 .8 设总体 X ~ B( n, p) , 其中 n 已知 , 求 p 的矩估计 .
解 由 E X = np , 可得 珡
X =珟
p n, 故 珟
p=珡
X/ n 是 p 的矩估计 .
例 2 .9 设总体 X 是 Γ 分布 ( 参 看第 2 章 ) , 即 概率密 度函 数
1 α α- 1 - βx
为 f ( x) = β x e I ( x≥ 0 ) , 其中 α,β为 未知 参 数 .试 求 α,β
Γ(α)
的矩估计量 .
解 经计算 可知: E X = α
/ β, D X = α/ β2 , 故 应 取 珡
X =珘
α/ 珓
β,
9 .2 点估计 : 极大似然估计与贝叶斯估计 339
2 2 2 2 2
α/ 珓
S =珘 β , 解之得珘
α= 珡 β= 珡
X / S ,珓 X/ S .
3 贝叶斯估计
本小节简要讨论贝叶斯估计的基本思想 .
设总 体的分 布为 f ( x,θ) , 其 中 θ∈Θ为 未知 参 数 , 问 题是 用
样本 X1 , … , Xn 对 参 数 θ作 出 估 计 .前 面 所 讨 论 的 极 大 似 然 估
计 , 矩估 计等 方法 中 , 假 设 未 知 参 数 θ只 是 简 单 的 一 些 未 知 数 ,
在抽 取样本 之前 , 我们对 θ没 有任 何 了解 , 所 有的 信 息 完 全来 自
样本 .
而贝叶斯估计法的 出 发点 是 : 首先 , 把 未知 参 数 θ看作 是 随
机变量 ( 或随机向 量 ) , 且 在抽样 之前 , 对 θ已 有一定 的知识 ( 包 括
合理的猜想与准则 ) , 称其 为先 验知识 .这 种先 验知识 用 θ的某 种
概率分布表达出来 , 记 为 h(θ) .这 种 概率 分 布 叫 做 θ的“ 先 验 分
布”或“ 验前分布”.这个分布反映了在试验之前对未知参数 θ所 把
握的信息 .其次 , 将原来含有参数 θ的 样本 X 1 , … , Xn 分布 f ( x1 ,
θ) … f ( xn ,θ) 定义为在给定 θ值时 , ( X1 , … , X n ) 的条件分 布 .因 而
(θ, X1 , … , X n ) 的 联 合 密 度 为 h (θ) f ( X1 , θ) … f ( X n ,θ) , 于 是 ,
( X1 , … , X n ) 的边缘密度为
p( X1 , … , Xn ) = ∫h(θ) f ( X
θ∈ Θ
1 ,θ) … f ( Xn ,θ) dθ.
第三 , 由 此 , 贝 叶斯 提出 在 给定 X1 , … , X n 的 条件 下 ,θ的 条
件密度为
h(θ| X1 , … , X n ) = h(θ) f ( X1 ,θ) … f ( X n ,θ)/ p( X1 , … , Xn ) .
( 2 .3)
称 (2. 3 ) 式为 θ的“后验密度”.这个条件密度代表了我们现 在
( 即在取得样本 X1 , … , Xn 后 ) 对 θ的知 识 , 它 综合 了 θ的 先验 信
息 ( h(θ) 所 反 映 的 信 息 ) 与 由 样 本 带 来 的 信 息 .读 者 不 难 看 出
(2. 3 ) 式在形式上与第 1 章的贝叶斯公式相类似 .
340 第 9 章 参数估计
0 , 1) , 其中 X = ∑X
i=1
i = x 表击中次数 .取 p 的先验密度 h( p) , 则
p 的后验密度为
n n
h( p) pi∑ ∑
X n- X
i ( 1 - p) i
h( p | X1 , … , Xn ) = , 0 ≤ p≤ 1,
=1 i= 1
1 n n
∫ h( p) p∑ (1 - p) ∑
X n- X
i i d p
i= 1 i= 1
0
( 2 .4)
若对该射手射击水平 很不 了解 , 可假 设 他的 命 中概 率 p 在 [ 0 , 1 ]
上取每个值是等可能的 , 此时 h( p) = I[ 0 , 1 ] 是 [0 , 1 ]上的均 匀分布 .
代入 (2. 4 ) 式有
1
∫p
X n - X X n- X
h( p | X1 , … , X n ) = p ( 1 - p) (1 - p) d p,
0
即 h( p| X1 , … , Xn ) 为贝塔 分布 .如 用 后验 分布 的期 望值 , 即 p 对
X1 , … , Xn 的条件期望 E ( p| X1 , … , Xn ) 作为 p 的估计量 , 即得
9 .2 点估计 : 极大似然估计与贝叶斯估计 341
珟
p= 珟
p( X1 , … , X n ) = ∫ ph ( p |
0
X1 , … , X n ) d p
= ( X + 1)/ ( n + 2 ) , ( 2 .5)
珟
p 即为 p 的贝叶斯估计 .
现比较上例 p 的 3 个不同估 计 .n 次射击 , 命 中 X 次 .用极 大
似然估计和矩估计 都 是用 n 次 射 击 命 中 的频 率 X/ n = 珟
p 去估计
p .这种估计有它的不足之处 , 例如 , 当 n = X = 1 时 , 估 计 珟
p = 1; 而
当 n = X = 100 时 , 此估计还是 珟
p = 1 .再有一种极端情形 , 对 n = 1 ,
而 X = 0,得 珟
p = 0; 对 n = 100 , X = 0 , 仍 是 珟
p = 0 .射 击 100 次每 次
都命中 , 直 觉 上 此 射 手命 中 概 率 相 当大 , 此 时 估计 珟
p = 1 合情合
理 ; 倘若仅射 一 次 , 命 中 了 , 但 此 时 该 射 手 命 中 概 率 不 应 与 射 击
100 次每次命中 相提并 论 , 遗 憾的是 ,珟
p = X/ n 作为 p 的 估计其 结
果都是一 样的 .然而 , 用 贝叶 斯 估计 量 p 的估 计 是 珟
p = ( X + 1 )/
( n + 2 ) .当 n = X = 1 时 ,珟
p = 2/ 3; 而 当 n = X = 100 时 , 珟
p = 101/
102 .显然 , 这个估计比用 X/ n 要合理 , 更符合多数人的直观估计 .
2
例 2 .11 设总体 X ~ N (μ,σ ) , 其 中 σ已 知 , 而 μ为 未 知 参
数 ,μ的先验分布为 N (μ0 ,σ20 ) , 其中 μ0 ,σ20 > 0 为已知常数 , X1 , … ,
Xn 为 X 的样本 .试求 μ的贝叶斯条件期望估计 .
- 1 2 2
解 此时 h(μ) = ( 2πσ0 ) exp ( - (μ- μ0 ) / 2σ0 ) ,
f ( x ,μ) = ( 2πσ) - 1 exp( - ( x - μ) 2/ 2σ2 ) .
由 (2 .3 ) 式知 ,μ的后验密度 ( 即 μ关 于 X1 , … , X n 的条 件密 度 ) 经
整理后为
h(μ| X1 , … , X n )
n
1
∑( X
2 2 2 2
= Kexp - (μ - μ0 ) / σ + 0 k - μ) / σ ,
2 k=1
∑X/
k= 1
k n, 将上式右端方括号的式子化简为
342 第 9 章 参数估计
n 2 2
( X k - μ) (μ - μ0 )
∑ k= 1 σ
2 +
σ0
2
-1 2
n 1 X μ0
n珡 n 1
= 2 + μ- + 2 2 + + c,
σ σ20 σ σ0 σ σ20
2
其中 c 是 一 个 与 μ 无 关 , 只 与 σ, μ0 , σ0 , X1 , … , X n 及 n 有 关 的
数 .故
h(μ| X1 , … , X n )
2
n珡
X μ0 -1
1 n + 1 n 1
= Kexp - μ- + 2 2 + + c.
2 σ σ20 σ σ20
2 2
σ σ0
( 2 .6)
注意上式说明 h(μ| X1 , … , Xn ) 是正态分布 , 且条件期望为
n珡
X μ0 -1
n 1
+ 2 2 + ,
σ σ20
2
σ σ0
故得 μ的贝叶斯的条件期望估计为
- 1
X μ0
n珡 n 1
珘
μ= + 2 2 + 2 ,
σ2 σ0 σ σ0
即
n / σ0 ) 2
(σ
μ=
珘 2 2 珡
X+ μ0 . ( 2 .7)
n + (σ/ σ0 ) n + (σ2 / σ20 )
将 μ的贝叶斯条件期望估计珘
μ 分解成 (2. 7 ) 式颇有意味 .考虑两种
极端情形下的估计 : 若仅 有实 验样 本 结果 的信 息 , 而 毫无 先验 信
息 , 则此同于以往矩估计与极大似然估计 用样本均 值去估 计 μ.另
一种是若仅有先验信息 h(μ) ~ N (μ0 ,σ20 ) , 而 无取样 本 的信 息 , 则
只好用先验分布的均值 μ0 作为 μ的 估计 .而当同 时掌握了 两种 信
息 , 则贝叶斯的条件期望估计是上述两种极端情形的“ 加权”平均 ,
2
“权”的比值为 n∶ (σ
/ σ0 ) .当 σ= σ0 时 , 权之 比为 n∶ 1 , 即 如果 先
验知识中 μ的方差与总体 的方 差一 样时 , 则样 本信 息与先 验信 息
对 μ的估计所占比例 为 n∶ 1 .当 σ
/ σ0 = n 时 , 权之 比为 1 ∶1 , 此
时样本信息与先验信息对 μ的估计占同等重要地位 ! 足见贝叶斯
9 .3 估计的优良性准则 343
估计的合理性 !
再从例 2. 11 来看对同一 参数 的贝叶 斯估 计与 极 大似 然估 计
2
的关系 : 注意 σ0 是 以 往“经 验 值”μ0 的 方 差 , 它 是 刻 画 μ0 的“ 精
2
度”的 .若 σ0 →∞ , 则意味着对 μ而言 , 已没 有任 何先 前经验 可言 .
此时 , 由 ( 2. 7) 式 , 当 σ20 →∞时 ,μ的贝叶斯估计珘
μ 就等于 μ的极 大
似然估计 ! 这说明 , 对这一问题而言 , 前者的结果包含了后者 .
另外 , 还要强调 一 点的 是 : 贝 叶 斯统 计 首 先把 被 估 计 参 数 θ
看作是随机变量是否恰当 , 是否合理 ? 在许多具体问题中 , 把参数
θ看作是随机变量更加符合客观实际 .例如 , 大 批量生产 的某一 元
件 , 设次 品率为 p, 将这 批元 件打 包成箱 销售 , 每 箱 1000 个 .显 而
易见 , 此时各箱的次品率 θ就是一个随机变量 .同时 , 在理论上 , 假
设参数 θ是一个随机变量 , 这 个观点 本身 并无 不妥 .当 然 , 与任 何
其他数理统计一样 , 贝叶斯统计理论还有待进一步完善、改进与发
展 .从应用的角度看 , 在没有 先验 资料 与数据 的条 件下 , 如 何恰 当
选取其先验分布 , 这是关键 , 值得进一步深入探讨 .
9 .3 估计的优良性准则
1 无偏估计
定义 3 .1 称 珘
θ = φ( X1 , … , Xn ) 是 参 数 θ 的 无 偏 估 计
( unbiased estim ate ) , 若
θ = θ, θ∈ Θ .
E珘
对估计量的无偏性要 求在 通常情 形下 是合理 的要 求 , 但对 某
些情形下不见得是必要的 .
例 3 .1 设 ( X1 , …, Xn ) 为总体 X 的样本, 记 μ= E X .若 D X =
n
∑( X
2 2
i - 珡
X ) / ( n - 1) 是 σ 的无偏估计 .
i=1
n
证明 因 E珡
X = E ∑X i= 1
i / n = μ, 故 珡
X 是μ的无偏估计 , 而
n
∑( X - 珡
2
ES = E i X) 2/ ( n - 1 )
i=1
∑ [( X
2
= E i - μ) - (珡
X - μ) ] / ( n - 1)
i=1
= E ∑( X
i=1
i - μ) 2 - n(珡
X - μ) 2 / ( n - 1 )
n
∑ DX
2
= i X / ( n - 1) = σ
- nD珡
i= 1
( 注 D珡
X = σ2/ n) , 故 S2 是 σ2 的无偏估计 .
9 .3 估计的优良性准则 345
味着多次反复利用估计量 珘
θ与真 值 θ没有系 统偏 差 , 因而 无偏 性
刻画了多次使用估计量珘
θ的“平均”效果 .
无偏性的要求有时不见得是必要的 , 见本章练习题 9. 10 .
一个参数估 计 可以 有 许多 不 同 的无 偏 估计 量 .例 如在 例 3. 1
中, X1 , αX2 + ( 1 - α) X3 ( 其 中 0 ≤ α ≤ 1 ) , 珡
X 及
n n
∑α X
i=1
i i 其中 ∑αi = 1 均是 μ的无偏估计 .在众多的 μ的无偏估
i=1
计中 , 如何选择较好的 ?
定义 3 .2 设 珘
θ1 与珘
θ2 均是 θ的无偏估计 , 若对于任意样本容
量都有
θ1 < D珘
D珘 θ2 ,
则称珘
θ1 比珘
θ2 有效 .
定义 3 .3 设珘
θ0 是 θ的无偏估 计 , 若对 θ的任 何一个 无偏 估
计珘
θ 都有
θ0 < D珘
D珘 θ, " θ∈ Θ,
则称珘
θ0 是 θ的最小方 差无偏 估计 量 ( minimum variance unbiased
estima te, 简记为 M VU 估计 ) .
用以上定义验算一个估计量是否为最小方差无偏估计量是难
于实现的 .若要深入讨论最小方差无偏估计量的求法 , 涉及数理统
计其他许多内容 , 故本 书不作 介绍 .下 面仅给 出它 的下 界 , 即著 名
的克拉默 -拉奥 ( H .Cra mer-C .R .Rao) 不等式 .
定理 3 .1 设总 体 X 是连续 型随机变 量 , 其概率密 度函数 为
346 第 9 章 参数估计
L( x;θ) = ∏ i=1
f ( xi ,θ) ,
2
f ( u,θ)
I(θ) = ∫ R θ
/ f ( u,θ) d u . ( 3 .1)
若满足 :
(1 ) 集合 Sθ = { xi , f ( x i ,θ) ≠0 }与 θ无关 ;
f ( x i ,θ)
(2 ) 存在 , 且对 " θ∈Θ有
θ
f
∫
θ
f ( x ,θ) d x =∫
R
i i
R θ
d xi ,
θ Rn∫
θ( x) L( x;θ) d x
珓
L
∫珓
=θ( x) Rn θ
d x;
2
ln P( X ,θ)
θ)θ∈Θ, 则 I(θ) = E , 若满 足定 理 3. 1 中类似 条件 ,
θ
则 (3. 2 ) 式仍成立 .
1
定义 3 .4 若珓
θ0 是 θ的无偏估计 , 且 D珓
θ0 = , 则称珓
θ0 是 θ
n I(θ)
的有效估计 .
例 3 .2 设 X1 , … , X n 是 来自总体 X ~ N (θ,σ2 ) 的 样本 ,θ,σ2
2 2
未知 .试问 珡
X 与 S 是否分别是 θ与σ 的最小方差无偏估计 ?
2
解 须分别计算 θ与σ 的克拉默 -拉奥下界 .本题中 ,
2
2πσ) exp - ( x 2- θ)
2 -1
f ( x,θ,σ ) = (
2σ
2 2
ln f ( X ,θ,σ )
I(θ) = E
θ
+∞
1 - ( x - θ) 2
∫
-1 2
= ( 2πσ) ( x - θ) exp dx
-∞ σ4 2σ2
= 12 ,
σ
2
σ 1
E珡
X =θ, D珡
X= = ,故珡
X 是θ的最小 方差 无偏 估计量 .对 于
n nI(θ)
2 2
ln f ( X,θ,σ )
σ , ES =σ , S 是 σ 的无 偏估 计 , 又 I(σ ) = E
2 2 2 2 2 2
2 =
σ
1 2 2 4 2 4 1 2 2
4 , 但 DS = σ> σ= , 故 S 不 是 σ 的最小 方差 无
2σ n-1 n nI(θ)
偏估计 .
1
例 3 .3 设总体 X~ Ex ,θ> 0 未 知 .试问 珡
X 是 否是θ的
θ
最小方差无偏估计量 ?
解 显然 , 由于 E珡
X = E X = θ, 知 珡
X 是θ的无偏估计 .又 D珡
X=
2
1 θ
DX = ,而
n n
348 第 9 章 参数估计
+∞ 2
ln f ( x,θ)
∫
I(θ) =
0 θ
f ( x,θ) d x
+∞
1 -
∫
2 x/ θ 2
= ( - 1/ n + x/ n ) - e d x = 1/ θ
0 θ
2
1 θ
D珡
X = = ,
nI (θ) n
故珡
X 是θ的最小方差无偏估计量 .
例 3 .4 设总体 X~ B( 1 , p) , p∈ ( 0 , 1 ) 未 知 .试问 珡
X 是否 是
p 的最小方差无偏估计量 ?
解 E珡
X = p,故 珡
X 是 p 的无偏估计 .又 X 的分布律为 p X (1 -
1 - X
p) , 从而
2 2
l n( 1 - p) ln p 1
I( p) = (1 - p) + p = ,
p p p( 1 - p)
p( 1 - p) 1
D珡
X = = ,
n nI ( p)
故珡
X 是 p 的最小方差无偏估计量 .
3 相合估计
由于估计量 珓
θ= φ( X1 , … , X n ) 是 样 本的 函数 , 因而 它依 赖 于
样本容量 n .自然有兴趣也 有必 要考虑 n→∞ 时估 计量 珓
θ的 性态 .
下面为突出珓
θ与 n 的关系 , 故记珓
θn = φ( X1 , … , Xn ) .显然 , 当 n→∞
时 ,珓
θn 是否以概率收敛到θ至关重要 .
P
定义 3 .5 设珓
θn =φ( X1 , … , Xn ) 是 θ的一个估计量, 若 n→
lim 珓
θn =
∞
θ, 即 " ε> 0 , 有 li θn - θ| <ε) = 1 , 则 称珓
m P( |珓 θn 是 θ的 相合 估计 量
n→ ∞
4 损失函数与 风险函数
(1 ) 损失函数
设珓
θ为参数θ∈Θ的 一个 估计 量 , 称 非负 二 元 函数 L (θ,珓
θ) 为
损失函数 .例如 L(θ,珓
θ) = (θ- 珓
θ) 2 , 或 L(θ,珓
θ) = |θ- 珓
θ| .它们表示若
用珓
θ去估计θ的效果越差 ,其损失就越大 .注意由于θ与珓
θ=φ( X1 , … ,
Xn ) 是随机变量 , 故 L(θ,珓
θ) 也是随机变量 .
(2 ) 风险函数
风险 ( ris k) 函数 是 评 价估 计 的一 个 准则 , 风 险小 估 计的 效 果
越好 .称 R(θ,珓
θ) = E L(θ,珓
θ) 为估计量珓
θ的风险函数 .
(3 ) 后验风险函数
给定样本 X1 , X2 , … , Xn , 称 rθ ( X1 , … , Xn ) = E( L(θ,珓
θ) | X1 , … ,
Xn ) 为估计量珓
θ的后验风险函数 .后验风险是估计量珓
θ的条件平均
损失 .
由条件期望的性质易知 R(θ,珓
θ) = E( rθ ( X1 , … , Xn ) ) .为求 风
险 R(θ,珓
θ) 可先 求在 给定样 本 X1 , … , X n 下 , L (θ,珓
θ) 对 X1 , … , X n
的条件数 学期望 rθ ( X1 , … , Xn ) , 其次 对 rθ ( X1 , … , X n ) 关 于样 本
X1 , … , Xn 求期望即得 R (θ,珓
θ) .
在贝叶斯统计中 , 如何 从后验 分布 出发 进而给 出 该参 数的 估
计 ? 在上一节已给出了两种 较常 用的 办法 , 其中 一个 是从 直观 定
义出发构造参数的估计量 , 如 通常可 用来 刻画 后验分 布的 数字 特
征 , 如后 验 分 布 的 条 件 数 学 期 望 ( 均 值 ) 或 后 验 分 布 的 中 位 数
M(θ| X1 , … , Xn ) 来估计θ( 设随机变量 X, 若存在 M , 满足 : P( X >
1
M) = P( X≤ M) = , 称 M 为 X 的 中 位数 ) .这 里再 给 出另 一 办
2
350 第 9 章 参数估计
法 , 就是从估计产生的效果出发提出适当的准则 .这就是最小风险
估计 .
定义 3 .6 设珓
θ为参数θ的 一个 估计量 , L(θ,珓
θ) 为损失 函数 ,
θ) = E L(θ,珓
R(θ,珓 θ) 为估计风险 .若珓
θb 为θ的一个 估计量 , 满 足 : 对
θ的任一估计珓
θ有
θb ) ≤ R(θ,珓
R(θ,珓 θ) ,
则称珓
θb 为θ的最 小 风 险 估 计 .通 常 把 最 小 风 险 估 计 称 为 贝 叶 斯
估计 .
可以证明 , 后验风险最 小估 计等于 风险 最小 估 计 .因此 , 上 述
定义的贝叶斯 估 计就 是 后 验 风 险最 小 估 计 .若 取 L (θ,珓
θ) = (珓
θ-
2
θ) , 则贝叶斯估计珓
θb = E(θ| X1 , … , Xn ) .
例 3 .5 设 X~ B( 1 , p) , 其中 参数 p 未知 , 样 本 X1 , X2 , … ,
Xn , 取 p 的先验估计为[0 , 1 ]上的均匀分布 , 损失函数取 L(θ,珓
θ) =
(θ- 珓
θ) 2 , 求 θ的贝叶斯估计 .
n
解 由 θ与 X 1 , … , X n 的 联 合 概 率 密 度 函 数 为 p ∑ x
i (1 -
i= 1
n n
∑ i , p ∈ [ 0 , 1] .记 X =
∑ X , 则后验分布为
n - x
p) i= 1 i
i= 1
Γ( n + 1 )
h( p | X1 , … , X n ) = pX (1 - p) n - X .
Γ( X + 1 )Γ( n - X + 1)
因而 ^pb = E( p | X1 , … , Xn ) = ( X + 1)/ ( n + 2 ) = ( n X + 1)/ ( n + 2 ) .
9 .4 区 间 估 计
1 正态总体均 值的区间 估计
(1 ) 标准差 σ已知的情形
设正态 总 体 X ~ N (μ,σ2 ) , σ已 知 .从 总 体 抽 得 简 单 样 本
X1 , … , Xn , 试求置信水平为 ( 1 - α) 的 μ的置信区间 .
由前面的 讨 论 可 知, 可 用 珡
X 作 为 μ的 估 计 , 易 知 珡
X ~ N (μ,
352 第 9 章 参数估计
2 2
σ / n) , 故 U = (珡
X - μ) n/ σ~ N ( 0 , 1 ) , 当 给定 α( 0 < α< 1 ) 时 , 存
在 uα/ 2 ( uα/ 2 可用标准正态 分布表 查出 ) 满 足 : P{ | U | < uα/ 2 } = 1 -
α, 即 P{ | (珡
X - μ) n/ σ| < uα/ 2 } = 1 - α.从而得
σ σ
P 珡
X - uα/ 2 < μ< 珡
X + uα/ 2 = 1 - α, ( 4 .1)
n n
因此可取
σ σ
珡
X - uα/ 2 ,珡
X + uα/ 2 ( 4 .2)
n n
σ σ
作为 μ的 ( 1 - α) 置信水平的置 信区 间 .珡
X - uα/ 2 与珡
X + uα/ 2 分
n n
别称为μ的置信上限与置信下限 .
通常取 α= 0. 01 , 0. 05 或 0. 10 等 . ( 4. 1 ) 式 表 明 , 随 机 区 间
σ σ
珡
X - uα/ 2 ,珡
X + uα/ 2 套住 ( 覆盖 ) 参数 μ的概率为 ( 1 - α) .
n n
注 给定 α(0 < α< 1 ) , 满足 (4. 1 ) 式的置信区间不唯一 .
(2 ) 标准差 σ未知的情形
由于 σ未知 , 需选用 ( 珡
X - μ) n/ S 作为解决这种情形的基础 .
由本章定理 1. 1 知 , T = ( X - μ) n/ S~ t( n - 1 ) , 则 给定 α( 0 <
α< 1) , 查 t 分布 分 位 表 得 tα/ 2 ( n - 1 ) 满 足 P { | ( 珡
X - μ) n/ S | <
tα/ 2 ( n - 1 ) } = 1 - α, 得
S S
P 珡
X - tα/ 2 ( n - 1 ) < μ< 珡
X + tα/ 2 ( n - 1) = 1 - α,
n n
( 4 .3)
因此可取
X - tα/ 2 ( n - 1 ) S , 珡
珡 X + tα/ 2 ( n - 1 ) S ( 4 .4)
n n
作为 μ的置信区间 , 对应的置信水平为 ( 1 - α) .
9 .4 区间估计 353
2 正态总体方 差的区间 估计
σ2
为 ( n - 1 ) 的卡方分布 .若给定水平 (1 - α) , 可查 χ2 ( n - 1 ) 表 , 存在
两侧的分位数 χ21 - α/ 2 ( n - 1 ) 及 χα2/ 2 ( n - 1 ) 满足
2 2 α
P χ ( n - 1) ≥ χα/ 2 ( n - 1 ) = ,
2
P χ2 ( n - 1 ) < χ21 - α/ 2 ( n - 1 ) = α ,
2
则 P χ21 - α/ 2 ( n - 1) < ( n - 1 ) S2/ σ2 < χα2/ 2 ( n - 1 ) = 1 - α, 即
2 2 2 2 2
P ( n - 1) S / χα/ 2 ( n - 1 ) < σ < ( n - 1) S / χ1 - α/ 2 ( n - 1 )
= 1 - α, ( 4 .5)
故可取
( ( n - 1 ) S2/ χα2/ 2 ( n - 1) , ( n - 1 ) S2/ χ21 - α/ 2 ( n - 1) ) ( 4 .6)
2
作为 σ 的置信区间 .取
n - 1 S/
2
χα/ 2 ( n - 1) , n - 1 S/
2
χ1 - α/ 2 ( n - 1 )
(4 .6a)
作为 σ的置信区间 .
∑( X ∑(Y
2 2 2 2
本 , 记 S1 = i - 珡
X ) / ( n1 - 1) 与 S2 = i - 珚
Y) / ( n2 -
i=1 i= 1
354 第 9 章 参数估计
1) 分别为 它 们 的 样 本方 差 .给 定 置 信 水 平 (1 - α) , 试 求 方 差 比
σ21/ σ22 的置信区间 .
2 2 2 2 2 2
为求 σ1/ σ2 的置信区间 , 注意到 ( n1 - 1 ) S1/ σ1 与 ( n2 - 1 ) S2/ σ2
分别服从自由度为 ( n1 - 1 ) 和 ( n2 - 1 ) 的卡方 分布 , 且相互独 立 ( 由
取样相互独立 ) , 于是由 F 分布定义知
2 2 2 2 2 2
( n2 - 1 ) S2 / [σ2 ( n2 - 1) ] S2/ σ2 σ1 / σ2
F = = 2 2 = 2 2 ( 4 .7)
S1/ σ1
2 2
( n1 - 1 ) S1 / [σ1 ( n1 - 1) ] S1 / S2
服从自由度为 ( n2 - 1 , n1 - 1) 的 F 分布 .
对给定 α, 查 F 分布表 , 可得
P{ F > Fα/ 2 ( n2 - 1 , n1 - 1) } = P{ F < F1 - α/ 2 ( n2 - 1 , n1 - 1 ) }
α
= ,
2
则 P{ F1 - α/ 2 ( n2 - 1 , n1 - 1 ) < F < Fα/ 2 ( n2 - 1 , n1 - 1) } = 1 - α, 即得
2 2 2
S1 σ1 S1
P F1 - α/ 2 ( n2 - 1 , n1 - 1) 2 < 2 < Fα/ 2 ( n2 - 1 , n1 - 1 ) 2
S2 σ2 S2
= 1 - α, ( 4 .8)
2 2
故得 σ/ σ 的置信水平为 (1 - α) 的置信区间为
1 2
S21 S21
F1 - α/ 2 ( n2 - 1 , n1 - 1) 2 , Fα/ 2 ( n2 - 1 , n1 - 1) 2 .
S2 S2
( 4 .9)
请读者思考 : 设总 体 X~ N (μ1 ,σ21 ) , Y ~ N (μ2 ,σ22 ) , 若 σ21 ,σ22
已知 , 而 μ1 ,μ2 未知 , 给定 α( 0 < α< 1 ) , 试给出均值差 μ1 - μ2 的 区
间估计 .
θ的点估计, 且 珡
X 是 θ的无偏估计与相合估计 , 即 E珡
X =θ, 且 n→
lim 珡
X =
∞
θ.又 D珡
X =σ2/ n, 故由 中心 极 限 定理 知 , 当 n→ ∞ 时 , ( 珡
X - θ) n/ σ
的分布函数趋向 标 准正 态 概率 分 布 N ( 0 , 12 ) .另 一 方 面 , 注 意 到
2 2 4 2
E S = σ , 在 E X < ∞存在的条件下 , 可以 证明 当 n→∞ 时 , D S →
P
时统计量 (珡
X - θ) n/ σ与 统计 量 ( 珡
X - θ) n/ S 的 极限 分 布均 是 标
准正态分布 N (0 , 12 ) , 即当 n 充分大时
X - θ)
U = (珡 n/ S
渐近标准正态分布 .给定置信水平 α, 查标 准正 态分位 数 uα/ 2 , 在 n
充分大时 , 有
P{ | 珡
X - θ| n/ S < uα/ 2 } ≈ 1 - α,
即
S S
P 珡
X - uα/ 2 < θ< 珡
X + uα/ 2 ≈ 1 - α.
n n
于是 θ的水平 (1 - α) 的置信区间为
S S
珡
X - uα/ 2 ,珡
X + uα/ 2 . (4 .1 0)
n n
例 4 .1 从一大批钢筋中随机抽取 100 件进行测试 , 结果有 4
件次品 .试以水平 为 95 % 的概 率估 计整 批 钢筋 次品 率 的范 围 ( 置
信区间 ) .
解 设总体 X~ B( 1 , p) 为两点分布 , 次品率 为 p . X = 0 表示
合格品 , X = 1 表示次品 .由题意样本容量 n = 100 , 次品数 k = 4 , 取
1
k n- k 2
S= = 0 .04×0 .96 , 而后利用 ( 4. 10 ) 式可得
n n
k - uα/ 2 S = 0 .04 - 1 .96 × 0 .04 × 0 .9 6/ 10 = 0 .002 ,
n n
356 第 9 章 参数估计
k S
+ uα/ 2 = 0 .04 + 1 .96 × 0 .04 × 0 .9 6/ 10 = 0 .078 ,
n n
故整批钢筋次品率的置信区间为 (0. 002 , 0. 078 ) .
5 贝叶斯区间 估计
∫
2
h(θ| x ) dθ= 1 - α,
珓
θ ( x)
1
则称[珓
θ1 ( x ) ,珓
θ2 ( x) ]为置信水平 1 - α参数θ的贝叶斯区间估计 .
例 4 .2 设总体 X~ N (μ,σ2 ) ,μ的先验 分布 为 N (μ0 ,σ20 ) , 其
中 σ,μ0 ,σ20 均为已知常数 , X1 , … , X n 为 X 的 样本 , 试 求 μ的贝 叶
斯区间估计 .
解 由前面例 2. 11 的 讨论 , 可知 μ的后 验 分布 h (θ| x1 , … ,
xn ) ~ N( a, b2 ) , 其中
- 1 - 1
n 1 2 2 2 n 1
a= 2 + x/ σ + μ0 / σ ) , b =
( n珚 0 2 + ,
σ σ20 σ σ20
2 μ- a 2
由 h(θ| x1 , … , xn ) ~ N ( a, b ) , 则 关于 x 的 分布为 N ( 0 , 1 ) ,
b
故而
μ- a
P - uα/ 2 < < uα/ 2 | x = 1 - α,
b
于是 μ的贝叶斯 (1 - α) 水平的区间估计为[ a - uα/ 2 b, a + uα/ 2 b] .
置信区间是下一章假设检验的基础 , 同时有广泛的应用背景 .
9 .5 非参数估计
以上讨论的是参数估计问题 , 本小节讨论非参数估计问题 , 主
要讨论总体分布函数的估计问题 .
练习题 357
设总 体 X ~ F ( x ) , 其 样 本 为 X1 , X2 , … , Xn , " x ∈ R , 记
n
Fn ( x) = 1 ∑ I( X k ≤ x ) , 称 珟
珟 Fn ( x ) 为 X 的经验分布 , 若用 珟
Fn ( x)
n k=1
作为总体分布函数的估计 , 则由第 3 , 4 章内容可知 : " x∈ R 有 :
(1 ) E珟
Fn ( x) = F( x ) , D珟
Fn ( x ) = F( x ) ( 1 - F( x ) )/ n;
(2 ) " ε> 0 , lim P( |珟
Fn ( x ) - F( x) | <ε) = 1 .
n→ ∞
事实上 , 有更强的结果 :
*
(3 ) P n→
lim 珟
Fn ( x) = F( x) = 1 .
∞
可见 珟
F n ( x) 是 F( x) 的无偏估计与 ( 强 ) 相合估计 .( 所指强 相合 , 即
当 n→∞时 ,珟
Fn ( x ) 以概率 1 收敛到 F( x) .)
练 习 题
9 .1 设 x1 , … , xn 是来 自正 态分 布 N (μ,σ2 ) 的样 本 值 ,μ已
2
知 , 求 σ 的极大似然估计量 .
9 .2 设 x1 , … , xn 是来自正态分布 N (μ, 1) 的样本值 , 求 μ的
极大似然估计量 .
9 .3 设 X 服从区间[ 0 ,λ] (λ> 0 ) 上 的均 匀分 布 ,λ是 未知 参
数 , 而 x1 , … , xn 是 X 的样本值 , 试求 出 λ的 极大似 然估计 量和 矩
估计量 .
9 .4 设 X1 , … , X n 是来自均匀 分布 U (θ, 2θ) 的 样本 , 试求 出
θ的最大似然估计量和矩估计量 .
9 .5 设 X 服从区间[ a, b] 上的均匀 分布 , 这里 a, b 是 两个 未
知参数 .若 x1 , … , xn ( 不全 相等 ) 是 X 的样 本值 , 试 求出 a, b 的 最
大似然估计量 .
- λ
9 .6 设 X~P o(λ) , 参数 λ有先验密度 h(λ) = e I (λ≥ 0 ) .试 分
别求出 λ的贝叶斯最大后验估计及贝叶斯条件期望估计 .
358 第 9 章 参数估计
^( X) 为 : 当 X 为 偶数 ,θ
e - 2λ 的唯一的无 偏估 计θ ^( X) = 1; 当 X 为
^( X) = 0 .( 2 ) 你认 为 ( 1 ) 中的 估计 是否 合理 ? 如不 合 理 , 试
奇数 ,θ
提出一个合理的估计 .
2
9 .10 设 X1 , … , X n 是来自正态总体 N ( a,σ ) 的 样本 , 则 已
n
^ ( x) 1 ^2 =
∑
2 2
知θ 1 = ( Xi - 珡
X) 为 σ 之一无 偏估 计 .证 明 : θ
n - 1 i= 1
n - 1^ 2 ^2 的均方误差较小, 即 E(θ
^2 - σ2 ) 2 <
θ1 虽非σ 的无偏估计, 但θ
n+1
^1 - σ ) .本题说明 : 无偏估计不一定是最好的选择 .
E(θ
2 2
9 .11 设 X1 , … , X n 是来自某一个具有均值θ而方差有限的
n
∑c X
i=1
i i 必是θ的无偏估计 .但是 , 只有在 c1 = … = cn = 1/ n 时方
⌒
2 2 2 2
σ1 ) 和 N(θ,σ2 ) 的样 本 ,σ1 和 σ2 都 已 知 .( 1) 找常 数 c, d , 使θ =
c珡
X + d珚
Y 为θ的无偏估计 , 并使其方差最小 ( 在所有形如 c珡
X + d珚
Y
⌒
的无偏估计类中最小 ) ; ( 2) 基于θ, 作出θ的置信系数为 1 - α的置
信 区间 .
9 .14 测 量 铝 的 相 对 体 积 质 量 16 次 , 测 得 珚
x = 2. 705 , S =
0. 029 , 试求铝的相对体积质 量的置 信区 间 ( 设测 量值 服从 正态 分
布 , 置信度为 0. 95) .
2 2
9 .15 设 X~ N(μ,σ ) , x1 , … , xn 是其样本值 .如果σ 已知 ,
问 n 取多大时方能保证 μ的 置信度 为 0. 95 的 置信 区间的 长度 不
大于给定的 L ?
2 2
9 .16 设 X1 , … , Xn 是来自正态总体 N (θ,σ ) 的样本 ,θ和σ
都未知 .证明 珡
X 仍为θ的最小方差无偏估计量估计 .
9 .17 设总体 X 为离散型随机变量 , 其分布律为 P( X = - 1) =
(1 - θ)/ 2 , P( X = 0 ) = 1/ 2 , P( X = 1) = θ
/ 2 , X1 , … , X n 为其样本 .
(1 ) 求 θ的极大似然估计珓
θ1 , 问珓
θ1 是否是 θ的无偏估计 ;
(2 ) 求 θ的矩估计珓
θ2 ;
(3 ) 计算 θ的无偏估计的方差克拉默-拉奥下界 .
1 θ1 - 1
9 .18 设总体 X 的概率密度函数为 f ( x,θ) = x I( 0 < x<1)
θ
(θ> 0) , X1 , … , Xn 为其样本 .
(1 ) 求 θ的极大似然估计珓
θ1 , E珓
θ1 及 D珓
θ1 ;
(2 ) 求 θ的最小方差无偏估计珓
θ2 .
9 .19 设总体 X 是服从参数为 p 的负二项分布 , 即
r -1 k- r r
P( X = k) = C k - 1 (1 - p) p , k ≥ r, r ≥ 1 为整数 ,
X1 , … , Xn 为其样本 .求 :
(1 ) p 的极大似然估计珟
p 1 ; (2 ) p 的矩估计珟
p2 .
9 .20 设总体 X~ U (θ1 ,θ2 ) (θ1 < θ2 ) , X1 , … , Xn 为 其 样本 ,
X( 1 ) , … , X ( n) 为其顺序统计量 .
360 第 9 章 参数估计
(1 ) 求 θ1 与 θ2 的最小方差无偏估计 ;
(2 ) 取θ2 = 2θ1 , 求θ1 的极大似然估计 , 问它是否是θ1 的无偏
估计 , 说明理由 ;
(3 ) 当 θ2 = 2θ1 时 , 令 T = ( n + 1 ) ( 2 X ( n) + X( 1 ) )/ (5 n + 4 ) ,
试证 T 是θ1 的无偏估计 , 且 DT ≤ D珓
θ1 .
9 .21 设总体 X ~ U ( kθ, ( k + 1)θ) ( k > 0 已知 ) .X1 , … , X n
为其样本 , X ( 1 ) , … , X( n) 为其顺序统计量 .
(1 ) 求 θ的极大似然估计 , 记为珓
θ;
⌒ ⌒
(2 ) 令θ = X ( 1 ) / k, Tα = α珓
θ + (1 - α) θ, 求使 DTα 达最小的
α* , 并计算 DTα* / D珓
θ.
9 .22 设 总 体 X 的 概 率 密 度 函 数 为 f ( x,μ,σ) =
(1/ 2σ) exp { - | x - μ| / σ} ,μ∈ R ,σ> 0 , X1 , … , X n 为其样本 .
(1 ) 求 μ,σ的矩估计 ;
(2 ) 求 μ,σ的极大似然估计 .
9 .23 设 X1 , … , Xn 独立同分布 , E X 1 = μ, D X 1 < ∞ .证明
n
2
n( n + 1) ∑
珘
μ= i X i 是 μ的相合估计 .
i= 1
μ的置信区间 ( 设 α= 0. 05) .
2
9 .27 设某厂每天生产的一批钢筋强度 X ~ N (μ,σ ) .现从
中抽 取 20 件 , 测 得 抗 拉 强 度 为 : 45. 20 , 44. 90 , 45. 11 , 45. 20 ,
45. 54 , 45. 38 , 44. 77 , 45. 35 , 45. 15 , 45. 11 , 45. 00 , 45. 61 , 44. 88 ,
45. 27 , 45. 38 , 45. 46 , 45. 27 , 45. 23 , 44. 96 , 45. 35 .给定 α = 0. 05 ,
试求 μ与σ的置信区间 .
9 .28 设某一钢厂生产的大 批量钢 材 , 每 根强度 X ~ N (μ,
2
σ ) , 其中σ= 10 ( kg) 为已知 .均值 μ为未知参数 .但由以往生产的
记录知 , 每天生产的每批钢材的期望强度 μ~ N( 1150 , 202 ) .现从
某一天生产的一批钢材中任取 5 根 , 测得每根钢材的强度为 1145 ,
1150 , 1147 , 1151 , 1155 .试用贝 叶斯 条件期 望估 计法 , 对该 批钢 材
的条件期望强度作出估计 .
9 .29 设总体 X ~ B( 1 , p) , 其中 p 为未知参数 , p ∈ [0 , 1 ] .
n
X1 , … , X n 为 X 的样本 , 记 X = ∑ X ,若
i= 1
i p 的先验分布 h( p) 取为
取值为 x1 , … , xn , 记 珚
x = ∑ x/
i=1
i n, 试求 θ的最大后验估计值 .
∑X
i=1
( i) θn , k = Tn, k / k (1 ≤ k ≤ n) .若 f ( x,θ) =
+ ( n - k) X ( k) ,珓
- 1 - θ- 1 x
θ e I ( x > 0 ) ,θ∈ Θ未知 .
(1 ) 给定 X ( 1 ) , X ( 2 ) , … , X( k) , 试求 θ的极大似然估计量珓
θL ;
(2 ) 证明珓
θn, k (1 ≤ k ≤ n) 是 θ的无偏估计 ;
(3 ) 证明珓
θn, k (1 ≤ k ≤ n) 是 θ的相合估计 .
9 .32 同上题定数截尾寿 命试 验 , 但 总 体 X 是 参 数为 (α,γ)
的伽玛分布 , 即 X ~ G(α,γ) .若 γ = 2 已 知 , 取 n 个 样本 , 给 定
X( 1 ) , X( 2 ) , … , X ( k) , 试求 α的极大似然估计量珘
αL .
第 10 章
假 设 检 验
10 .1 问题的提法与基本概念
所谓假设检验是指根据样本提供的信息来推断 ( 检验 ) 总体特
性的某些假设是否可信 ( 是否成立 ) .
例 1 .1 某厂生产一大批元件 , 按质量 标准规定 , 次品 率要 低
于 1 % , 并须经抽样检 验 合格 才能 出厂 , 现从 其 中任 抽 取 5 件 , 发
现 5 件中含有次品 , 问这批产品能否出厂 ?
从直观上判断 , 这批元件是不能出厂的 .那么理由何在 ? 记这
批元件的次品率为 p , 若记假设 ( 或命题 ) H0 = { p < 0. 01} , X 为 抽
取的次品个数 .则问题可转 化为 : 如 何根据 抽样 结果检 验假 设 H0
是否成立呢 ? 可以这样来推断 : 如果假设 H0 成立 , 即 p < 0. 01 , 那
么抽取 5 个 抽 到 次 品的 概 率 为 P ( X ≥ 1 ) = 1 - P ( X = 0 ) < 1 -
(0. 99) 5 < 0. 05 , 即事件 ( X≥1) 是一小概 率事件 .而 小概率 事件 在
一次试验中是难以发生的 .但一次试验结果竟然发生 , 于是我们可
以有把握断言 , 原来假设 H0 难以置 信 , 应拒 绝 H0 这 一原先 假设 .
这就是根据 样 本 结 果 检 验 总 体 原 先 假 设 H0 是 否 成 立 的 直 观 依
据 .称这种推断依据为小概率事件推断原理 .
显然 , 抽取的样 品 中次 品 的 个 数越 大 , 假设 H0 就 越 不可 信 ,
364 第 10 章 假设检验
就更要小的多了 .
例 1 .2 某奶粉厂 用 自动 打包 机打 包 , 规 定 每包 奶 粉标 准 重
为 500 克 , 已知每包重量服从 正态 分 布 , 其均 方差 σ= 0. 9 克长 期
保持不变 .每天开工后需抽样检验打包机工作是否正常 ( 即有无系
统偏差 ) .某日开工后测得 9 包重量 ( 单位 : 克 ) 如下 :
500. 7 , 500. 5 , 499. 7 , 501. 0 , 500. 8 , 499. 8 , 501. 2 , 502. 0 , 500. 6 .
给定 α= 0. 05 , 问该日打包机工作是否正常 ?
解 对抽样 数据的初 步直观 分析 : 设每包 重为 X , 按规 定 , 若
2
打包机工作正常 , 则 应有 X~ N ( 500 , 0. 9 ) .那么 在正 常 情 况下 ,
样本数据应该大体是 : ( 1) 数据应围绕 500 左右 波动 , 且大于和 小
于 500 的数目应各占 1/ 2 左 右 ; ( 2 ) 样本 数 应 有约 95 % 左右 落 在
区间 (500 - 2×0. 9 , 500 + 2 × 0. 9 ) 上 .而抽 样 结果 是 : ( 1 ) 9 个 数
据只有 2 个小于 500 , 而有 7 个大于 500 ; ( 2) 且 9 个数据已有一个
落在区间 (500 - 2× 0. 9 , 500 + 2× 0. 9 ) 之 外 .初步印象 , 打 包机 的
平均重量可能偏重 ! 不正 常 , 应进 一 步分 析检 验 .以 下介 绍 U-检
验法 .
2
依题意 X~ N(μ,σ ) , 且 σ= 0. 9 已 知 .为 检 验打 包 机工 作 是
否正常 , 我们先提出假设 H0 : μ= μ0 = 500 , 然 后用 抽 验结 果检 验
H0 是否成立 .若 H0 成 立 的 , 则 U = ( 珡
X - μ0 ) n/ σ~ N ( 0 , 12 ) , 因
此 , 可以用 U 的取值来判断 H 0 是 否成立 .给定 α= 0. 05 , 取 uα/ 2 =
u0 .02 5 = 1. 96 使 P{ | U | < 1. 96 } = 1 - α= 0. 95 .因此 , 若 H0 成立 , 则
{ | U | > 1. 96 } 是小概 率事 件 .而小 概率事 件在 一次 试验中 基本 不
会发生 .但是计算 珡
X 的取值 珔
x = 500. 7 及统计量 U 的取值 u = (珔
x-
μ0 ) n/ σ= ( 500. 7 - 500 ) × 9/ 0. 9 = 2. 33 > 1. 96 , 这意味着小概 率
事件{ | U | > 1. 96} 竟然在一次 试验中发生了 , 这是不合 理的 .究 其
源是因为原假设 H0 不可 信 .因 而 应 拒绝 H0 , 即 认为 不 能讲 该 日
打包机工作正常 , 应先调整之后再生产 .
366 第 10 章 假设检验
2 2
设总体 X~ N(μ,σ ) ,σ 已知 , 检验均值 μ的一般步骤如下 :
(1 ) 根 据问 题 要 求 , 提出 原 假 设 H0 : μ= μ0 , 对 立 假 设 H1 :
μ≠μ0 ;
(2 ) 根据 H0 , 选取统计量 U = (珡
X - μ0 ) n/ σ, 在 H0 成 立条 件
下 U~ N (0 , 12 ) ;
(3 ) 给定 α( 称 α为 显著 水平 ) , 查 表 定出 临 界值 uα/ 2 , 从 而 使
H0 成立时 , 事件{ | U | > uα/ 2 }是一小概率事件 ;
(4 ) 计 算 珡
X 的取 值珚
x 及 统计 量 U 的 取值 u = (珚
x - μ0 ) n/ σ,
当 | u | > uα/ 2 时 , 拒绝 H0 , 当 | u| < uα/ 2 时 , 接受 H0 .
通过以上诸例 , 可初步了解到假设检验问题的提法 , 以及用于
检验假设的直观依据 , 即小概 率事 件统计 推断 原理 .在 此 , 对若 干
常用名词与概念补充如下 .
(1 ) 原假设与对立假设
在假设检验中 , 常把一个被检验的“ 重要”假设叫作原假设 , 用
H0 表示 , 或叫作零假设 .而与原假设不同 的另一 假设 , 称为备择 假
设 , 用 H1 表示 , 有时也叫作对立 假设 .如 例 1. 2 中 , 原假 设为 H0 :
μ= μ0 = 100 , 而对立假设或备择假设为 H1 : μ≠μ0 .
(2 ) 检验统计量 , 接受域 , 拒绝域
为检验一个假设 H0 所选 择 的样 本 统 计量 称 为 检 验 统计 量 .
使 H0 得到接受的所有样本点 X1 , … , X n 所在区域全体 , 称为该 检
验的接受域 , 记为 W0 .而使 H0 被拒绝的所有样本点 X1 , … , X n 所
在区域全体 , 称为该检验的拒绝域 , 记为 W1 .如例 1. 2 中 , H0 的 接
受域为
W0 = (μ0 - uα/ 2σ
/ n,μ0 + uα/ 2σ
/ n) ,
H0 的拒绝域为
W1 = ( - ∞ ,μ0 - uα/ 2σ
/ n) ∪ (μ0 + uα/ 2σ
/ n, + ∞) ,
点 μ0 ± uα/ 2 σ
/ n称为临界点 .
10 .2 两类错误与功效函数 367
(3 ) 单式检验 , 复式检验与序贯抽样检验
根据抽取一回容量为 n 的样本就作出或者接受 H 0 , 或者拒绝
H0 的 决定 的检验 称为 单式检 验 .对复 式检 验 , 以例 1. 1 的 情形 为
例 , 若要检验 H0 : p < 0. 01 是否成立 , 规定抽样方案如下 : 第一回
抽取 5 个 , 记其中红球个 数为 X1 , 若 X1 = 0 , 则 接受 H0 ; 若 X1 ≥
2 , 则拒绝 H0 ; 若 X1 = 1 , 则再 抽第 二 回 , 例如 再抽 取 10 个 .记 X2
为其中红球数 , 若 X2 = 0 , 则接受 H0 , 否则拒绝 H0 .这种抽验方式
称为复式抽验 .而第 2 章练习题 2. 31 题所叙述的抽样检验就是一
种序贯抽验 .
10 .2 两类错误与功效函数
1 检验法
2 两类错误
由于假设检验是根据一次抽样所得的检验统计量的取值是落
在拒绝 域或 接 受域 而作 出决 定是 否 拒绝 或接 受 H0 .这 种由 部 分
信息判断总体的结果有可能发生两种错误 :
368 第 10 章 假设检验
∫
0 / 2
2πσ/ exp[ - ( u - μ1 ) 2 n/ 2σ2 ] d u .
-1
= ( n)
μ - u σ
/ n
0 α/ 2
令 t = ( u - μ1 ) n/ σ代入上式 , 得
β= Φ( (μ0 - μ1 ) n/ σ+ uα/ 2 ) - Φ( (μ0 - μ1 ) n/ σ - uα/ 2 ) .
( 2 .1)
由 (2 .1 ) 式 易知 , 当 n 给 定 时 , | μ0 - μ1 | 越 大 , 则 β越小 .若 给 定
μ= μ1 固定 , 则当 n→∞时 , (μ0 - μ1 ) n/ σ趋于正无 穷 ( 若 μ0 > μ1 )
或负无穷大 ( 若 μ0 < μ1 ) , 故 n→∞时 ,β→0 .
通常在检验一个假设 H0 ( 及 H1 ) 时 , 希望 犯两 类错误 的概 率
都尽可能小 , 但 这两 者 的要 求 往 往是 矛 盾 的 .仍 以 例 1. 2 为 例 来
看 .当犯第一类错误的概率 α减 小时 , 则 由 P( | U | > uα/ 2 ) = α知 ,
对应 uα/ 2 的 就增 大 , 又 由 ( 2. 1) 式 易 看出 , 当 uα/ 2 增 大时 , 对应 的 β
( 犯第二类错误的概率 ) 就增大 , 反之亦然 .因此需要建立适当的准
则以权衡与协调二者的利 害得 失 .下 面仅 介绍 在假设 检验 中如 何
区分不同检验法的一个基本依据和一种较为流行的处理方法 .
3 功效函数 ( 势函 数)
同一原假设 H0 : θ∈Θ0 ( 其中 Θ0 Θ是 Θ 的非 空真 子集 ) , 可
10 .2 两类错误与功效函数 369
10 .3 常用的参数检验
本节将讨论几 个 常 用的 参 数 检 验 , 以 及 在 奈 曼 -皮 尔 逊 假 设
检验的基本 准 则 下 , 如 何选 择 与 构 造 在 直 观 上 看 来 较 为 合 理 的
检验 .
2 2
是 X 与 Y 的样本 .在 σ1 ,σ2 已知条件下 , 讨论两个正态总体均值差
δ= μ1 - μ2 的检验 , 其中 常 见 的 假 设 : ① H0 : δ= 0 , H1 : δ≠ 0;
② H0′: δ≥0 , H1′: δ< 0 ; ③ H0″: δ≤0 , H1″: δ> 0 .对这几种假设
的检验方法完全类似于上面讨论的方法 , 所不同的是 , 此时采用的
检验统计量可取为
X - 珚
U = (珡 Y - δ)/ (σ21/ m + σ22 / n) 1/ 2 ,
其中 珡 Y 分 别 是 X , Y 的 样 本 均 值 .这 里 只 要注 意 当 H0 : δ= 0
X ,珚
2
时 , U~ N( 0 , 1 ) 就足以明白 .
对总体非正态分布的大样本情况下均值的检验 这时亦可采
2
用 U-检验法 , 例如 , 总体 X~ F( x,θ) 为一般 随机 变量 , 若 D X = σ
已知 , E X =θ未知 , 要检 验假设 H0 : θ= θ0 , H1 : θ≠θ0 , 在 大样 本
的情况下 , 可用 U n = (珡
X - θ0 ) n/ σ作为 检验统 计量 .这是因 为 , 在
2
H0 成立时 , 由中心极限定理 , Un 依分布收敛于 N (0 , 1 ) , 即 H0 成
立时 , Un 的分布趋向于 U 的分布 ( 即标准 正态 分布 ) .故当 n 充 分
大时 , 可用 U 作为 Un 的近似 .
2
注 上例中 , 若 D X = σ 未 知 , 可 将 Un 中 的 σ换 成 S , 即 取
X - θ0 ) n/ S 作为检验统计量 , 可以证 明 , 当 n 充 分大 时 , 有
U n = (珡
类似的结论 .
2
(2 ) 当方差 σ 未知时 , 均值的检验
设总体 X~ N(μ,σ2 ) , X1 , … , Xn 为其样本 , 珡
X , S2 分别为样 本
2
均值与样本方差 .若 σ 未知 , 要对如同上面 (1 ) 中的 3 种假设进 行
检验如下 :
① 检验 H0 : μ= μ0 , H1 : μ≠μ0 ;
由于 σ2 未知 , 故而此时 的 检验 统 计量 选 为 T ( n - 1 ) = ( 珡
X -
μ0 ) n/ S, 由本章第 1 节 易知 , 当 H0 : μ= μ0 成立 时 , T ( n - 1 ) =
X - μ0 ) n/ S~ t( n - 1 ) , 于 是 , 当 | T ( n - 1 ) | 取 得很 小时 , 应接 受
(珡
H0 ; 反之当 | T ( n - 1) | 取 得很 大时 , 应拒 绝 H0 .若 给定 水平 α, 可
查 t 分布表分位数 tα/ 2 ( n - 1 ) , 使得 P{ | T( n - 1) | ≤ tα/ 2 ( n - 1 ) } =
10 .3 常用的参数检验 373
1 - α, 故取
接受域 W0 = (μ0 - tα/ 2 ( n - 1) S/ n,μ0 + tα/ 2 ( n - 1 ) S/ n) .
拒绝域 W1 = ( - ∞ ,μ0 - tα/ 2 ( n - 1 ) S/ n) ∪ (μ0 + tα/ 2 ( n -
1) S/ n, + ∞) .
当 T ( n - 1 ) ∈ W0 时 , 接 受 H0 , 否 则 拒 绝 之 .若 检 验 统 计 量 φ在
H 0 成立时服从 t 分布 , 称为 t 检验 .
② H0′: μ≥μ0 , H1′: μ< μ0 ;
检验统计量同①取为 T = (珡
X - μ0 ) n/ S .显见 , 当 T ( n - 1 ) 取
充分大时 , 应接受 H0′, 否则拒绝 H0′.给定 α时 , 可取
Φ: W0′= (μ0 - tα ( n - 1) S/ n, + ∞ ) ,
W1′= ( - ∞ ,μ0 - tα ( n - 1) S/ n) ,
当 T ( n - 1) ∈ W0′时 , 接受 H0′, 否则拒绝之 .
③ H0″: μ≤μ0 , H1″: μ> μ0 .
请读者给出一个适当的检验法 .
不难看到 , 对于两个 正态总 体 X~ N (μ1 ,σ21 ) , Y ~ N (μ2 ,σ22 ) ,
X 与 Y 的 样 本 为 ( X1 , … , X m ) 及 ( Y1 , … , Y n ) .若 σ21 ,σ22 未 知 , 但
σ21 =σ22 时 , 要检验其均值差 δ= μ1 - μ2 是 否为 0 , ≥ 0 , ≤ 0 三 种 情
况 , 均可应用 t 检验法 , 此时检验统计量可选为
1
nm 2
T = X - 珚
(珡 Y - δ)/ S ,
m+ n
m n
1
其中 S = ∑( X - 珡 ∑( Y - 珚
2 2
i X) + j Y )2 .
m+ n - 2 i= 1 j= 1
2 正态总体方 差的检验
(1 ) 一个正态总体方差的检验
设总体 X~ N(μ,σ2 ) , 其中 μ,σ2 未知 , 试由样本 X1 , … , X n 检
验以下问题 :
2 2 2 2
① H0 : σ = σ0 , H1 : σ ≠σ0 ;
374 第 10 章 假设检验
2 2 2 2
② H0′: σ ≥σ0 , H1′: σ < σ0 ;
③ H0″: σ2 ≤σ20 , H1″: σ2 > σ20 .
def
2 2 2 2 2
对① H0 : σ =σ , 已知可取 S 作为σ 的估计,因而采取 K0 n- 1 =
( n - 1 ) S2/ σ20 作为检验 H0 的统计 量 , 当 H0 : σ2 =σ20 成立时 , 易 知
2 2
检验统计量 K n - 1 ~χ ( n - 1 ) , 对给 定的水 平 α( 0 < α< 1 ) , 查卡 方
分布表定出下分位数 χ21 - α/ 2 ( n - 1 ) 与上分位数 χα2/ 2 ( n - 1 ) , 可定出
2 2
Φ: W0 = (χ1 - α/ 2 ( n - 1 ) ,χα/ 2 ( n - 1) ) ,
2 2
W1 = (0 ,χ1 - α/ 2 ( n - 1) ) ∪ (χα/ 2 ( n - 1) , + ∞ ) .
当 K2n - 1 ∈W0 时 , 接受 H0 ; 否则拒绝 H0 .
以上方法称为卡方检验法 .
2 2 2
对② H0′: σ ≥σ0 , Φ: W0′= (χ1 - α ( n - 1 ) , + ∞ ) , W1′= ( 0 ,
χ21 - α ( n - 1) ) .
2
当 K n - 1 ∈W0′时 , 接受 H0′; 否则拒绝 H0′.
对③请读者给出一个类似于②的合理的检验法 .
问题 某电工厂每天生产一批保险丝 , 保险丝质量要求之一 ,
2
是它的熔化时间 ( 单位 : 小时 ) 的方 差 σ 越 小越 好 , 且 规定 它不 超
2 2
过 400 .对此可 提出假设 H0″: σ ≤ 400 , H1″: σ > 400 , 请读者给 该
厂提出一个合理的检验方案 .
(2 ) 两个正态总体方差比的检验
2 2 2 2
设 X~ N(μ1 ,σ1 ) , Y~ N (μ2 ,σ2 ) , 若 μ1 ,σ1 ,μ2 ,σ2 均未 知 .试
由 X 与 Y 的样本 ( X1 , … , X m ) 及 ( Y1 , … , Y n ) 检验以下问题 :
① H0 : σ2/ σ20 = 1 , H1 : σ2 / σ20 ≠1;
2 2 2 2
② H0′: σ / σ0 ≥1 , H1′: σ / σ0 < 1 .
对① H0 : σ2/ σ20 = 1 , 取检验统计量为 F = S21 σ22 / S22 σ21 , 则当 σ2 =
2
σ0 时 , F~ F( n - 1 , m - 1 ) .给 定水 平 α, 取 F1 - α/ 2 ( n - 1 , m - 1 ) 与
Fα/ 2 ( n - 1 , m - 1) 分别 为下、上分位 数 , 定出 Φ: W0 = ( F1 - α/ 2 ( n -
1 , m - 1 ) , Fα/ 2 ( n - 1 , m - 1 ) ) .当 F ∈ W0 时 , 接 受 H0 , 否 则 拒
10 .4 总体分布的假设检验 375
绝 H0 .
2 2
对② H0′: σ/ σ0 ≥ 1 , 检 验统 计量 同上 .Φ: W0′= ( F1 - α ( n - 1 ,
m - 1) , + ∞ ) , W1′= ( 0 , F1 - α ( n - 1 , m - 1 ) ) .当 F∈ W0′时 , 接 受
H0′, 否则拒绝 H0′.
3 指数分布参 数的检验
10 .4 总体分布的假设检验
本节简要讨论总体分布的假设检验问题 .
怎么知道一个总体 X 的分布函数是某个给定的分布函数 F( x)
呢 ? 这是个在具体应用中经常要遇到的问题 , 因为许多工程技术、
376 第 10 章 假设检验
经济管理中的问题所引出的随 机变 量 X , 往往 不能 根据概 率论 或
有关专业理论推出 X 的 ( 理论 ) 分布函数 .只 能从得到 大样本观 测
值 ( X1 , … , X n ) = ( x1 , … , xn ) 的一大堆数据中 , 用统计 推断的方 法
初步找出统计规律 , 进而 提出 总体分 布可 能是 什么样 子的 猜想 或
假设 .然后 , 再利用样本观测值对提出的假设进行验证、修改、再验
证 , 以得到较为可靠、满足需要的分布函数 .
一般情形大致分为两步 .首先 对取 得的 大样本 数 据作 初步 整
理 ( 包括求 珚
x , s2 , 作直 方 图等 ) , 由此 推 断出 总 体 可能 服 从的 分 布
函数 F( x) ( 或密度函数 f ( x) ) , 其次 , 利用本节介绍的常用非参 数
检验法检验总体是否就是原假设的分布函数 F( x) .
1 数据初步整 理 , 分布的近似 求法
∫
i
p i = P( ti - 1 < X ≤ ti ) = f ( x) d x ≈ f ( t′
i ) ( ti - ti - 1 ) ,
t
i- 1
其中 ti - 1 ≤ t′
i ≤ ti .故 n 充 分 大时 , 可 取 f ( t′
i ) ≈ pi/ ( ti - ti - 1 ) 作 为
f ( x) 在区间 ( ti - 1 , ti ] 上的近似 .
(3 ) 画直方图 , 即在 x -y 坐标 平面 上 , 画一 排小长 方形 , 对 于
区间 ( ti - 1 , ti ] , 画以 ( ti - 1 , ti ] 为底 , 以 yi = f i/ ( ti - ti - 1 ) ( 1≤ i≤ m)
为高的长方形 .如此作出的图叫作直方图 .从直方图的形状推测 X
的密度函数 f ( x) 可能是什么样子 .
n
(4 ) 记 珟
F n ( x) = ∑I
i= 1
( X ≤ x)
i
/ n, " x ∈ R , 称 珟
Fn ( x ) 为 F( x ) 的
经验分布 , 或称 为 样本 的 累 积频 率 .由 第 4 , 5 章可 知 , E珟
Fn ( x ) =
P a .s .
F( x) , 且 n→
lim 珟n ( x) = F( x)( 事 实 上 有 更 强 的 结 果: n→
F lim 珟n ( x) =
F
∞ ∞
F( x ) ) . 因此 珟
Fn ( x) 可作为 F( x ) 的估计量 ( 试验前 ) 和估计值 ( 试
验后 ) .
本节讨论如何由总 体 X 的 样 本观 测值 去检 验它 是 否与 某 一
理论分布相符合 , 即总体分布函数 的假 设检验 , 即 H0 : P( X ≤ x)
= F( x ) .
设总体 X 的样本 X 1 , … , Xn 的观测值为 x 1 , … , xn , 按前数 据
初步整理记号 , 取 a = mii n x i , b = max x i .把 ( a, b] 用 分点 a = t0 <
i
2
( vi/ n - p i ) 理应比较小 .于是
m 2 m m
vi n ( vi - np i ) 2 1 v2i
∑ ∑ n∑
2
K m- 1 = - pi ・ = = - n.
i=1 n pi i=1 np i i=1 pi
( 4 .1)
当 H0 成立 时 , 也应 该 取 值 较 小 才 符 合 原 假 设 H0 .换 言 之 , 如 上
式右 边每项 差异 越 小 , 则 原 假 设 H0 越 是 可 信 , 也 就 更 加 愿 意 去
接受 它 ( 式中 的因 子 p i/ n 在一 定 程 度 上 起到 平 衡 的 作 用 ) .基 于
上述 直观分 析 , 我 们可以 考虑 用上 式 统 计 量 K2m - 1 取 值 的 大小 作
为拒 绝或接 受 H0 的 推 断 依 据 , 这 个 统 计 量 K2m - 1 称 为 皮 尔 逊 的
拟合优 度检 验统 计量 .这 是因 为皮 尔逊 在 1900 年 证 明了 以 下重
要定 理 .
定理 4 .1 若原假设 H0 ( X 以 F ( x ) 为分 布函 数 ) 成 立 , 则 当
2 2
样本容量 n→ ∞时 , K m - 1 的分 布 趋向 于自 由度 为 ( m - 1 ) 的 χ 分
2
布,即 χ( m - 1) .
2
这样 , 当样本容量 n 很大时 , 可以用 K m - 1 作为检验 H0 的检验
2
统计量 .下面给出 χ 检验法的基本步骤 :
(1 ) 原假设 H0 : X 以 F( x ) 为分布函数 ;
m 2 m 2
( vi - np i ) 1 vi
∑ = ∑
2
(2 ) 检验统计量为 K m- 1 = - n;
i=1 np i n i= 1 pi
2 2 2
(3 ) 给定 α, 查表 χ ( m - 1 ) , 使 得 P( K m - 1 > χα ( m - 1 ) ) = α,
α
组合 1 圆黄 2 皱黄 3 圆绿 4 皱绿
vi 315 101 108 32
pi 9/ 16 3/ 16 3/ 16 1/ 16
我们在前面介绍了一个总体的经验分布以概率收敛到其理论
分布 .但事实上 , 还 有 更强 的 结 果 .只 要 注 意 到 对 固 定 的 x ∈ R ,
n
F( x ) 是表示事件 ( X≤ x) 的概率 , 而 珟
Fn ( x ) = i∑ I( X i ≤ x) / n ( " x ∈
=1
a .s .
即珟
F n ( x) 以概率 1 收敛到 F( x) (珟
Fn ( x ) F( x ) ) .
然而上述 结果 是针对 每一 个固定 的 x∈R 而言 的 , 因 而它 的
收敛性是局部性态 .下 面介 绍 格里 文 科 ( W .Glivenko) 在 1953 年
证明的一个重要定理 .
定理 4 .2 ( 格 里 文 科 定 理 ) 设 样 本 X1 , … , Xn 独 立 同 分
布~ F( x ) ,珟
Fn ( x) 为其经验分布函数 , 则
P{lim sup | 珟
Fn ( x) - F( x) | = 0} = 1 , ( 4 .3)
n→ ∞ x∈ R
380 第 10 章 假设检验
即当 n→∞时 , 经验分布 珟
Fn ( x ) 关于 x 均匀 地 以概 率 1 收 敛到 理
论分布 F( x) .
以下介绍柯尔莫哥洛夫检验 .
上面介绍利用分布检验总体分布 , 需将数据进行分组 , 而分组
具有很大的随意性 , 一方面导致样本信息的无法充分利用 .另一方
面 , 所拟合的优度实际上是分组导出的分布 , 而不是拟合所假设的
分布 .这里给出柯尔莫哥 洛夫 检验法 是利 用基 于经验 分布 函数 的
检验统计量 .其基本 依据是 : 由上 面的格里 文科定 理 , n→∞ 时 , 经
验分布 珟
F n ( x) 以概率 1 一致收敛到总体理论分布 F( x) .故可定 义
珟
Fn ( x) 到 F 的“距离”为
Dn (珟
Fn ( x ) , F) = sup |珟
Fn ( x ) - F( x ) | . ( 4 .4)
x∈R
现设 X~ F( x) , X1 , … , X n 为其 样本 ,珟
Fn ( x ) 为 其经验 分布 函
数 .要检验原假设 H0 : 总体 X 的分布 F ( x) = F0 ( x) , 其 中 F0 ( x)
为某一 已 知 分 布 函 数 .由 ( 4. 3 ) 式 知 , 当 H0 成 立 , n → ∞ 时 ,
Fn ( x) , F) 以概率 1 收敛到 0 , 故而 Dn (珟
Dn (珟 Fn ( x ) , F) 的大 小可 以
显示 珟
F n ( x) 对总体 F( x ) 的拟 合 程度 . Dn 越 大 , 反 映拟 合 越差 ; 反
之 , Dn 越小 , 反 映 拟合 越好 .因 此 , 可 以用 Dn 作为 检验 H0 的 检 验
统计量 .为此还需 要导 出 当 H0 成 立 时 , Dn 的 极 限 分 布 .因 n→ ∞
时 , Dn 以概率 1 收敛到 0 .故考虑极限性态时 , 需把 Dn 适当放大 n
倍 , 从而考虑 nD n 的极 限分 布 .柯氏在 20 世纪 30 年 代证 明了 以
下著名定理 .
定理 4 .3 设总 体 分 布 F( x ) = F0 ( x ) 为 连 续函 数 , 记 Dn =
F n , F0 ) , " d > 0 , 则有
Dn (珟
+∞
∑ (-
k 2 2
lim P{ nD n < d} = 1 ) exp( - 2 k d ) . ( 4 .5)
n→ ∞
k= - ∞
证明已超出本书范围 , 从略 .
利用 上 述 结 果 可 以 用 检 验 水 平 为 α 的 检 验 . 取 d, 使
练习题 381
li m P{ nD n > d} = α, 列表如下 :
n→ ∞
α 0. 9 0. 75 0. 50 0. 25 0. 10 0. 05 0. 01
d 0. 575 0. 678 0. 830 1. 02 1. 23 1. 36 1. 63
Dn 的计算如下 : 设样 本 观测 值 的顺 序 统 计 量为 x1 , n ≤ x2 , n ≤ … ≤
xn , n , 计算
k - 1 k
dk1 = F0 ( xk, n ) - , dk2 = F0 ( xk, n ) - ,
n n
k = 1 , … , n, Dn = m ax{ dk1 , dk2 , k = 1 , … , n} .
当 nD n > d 时 , 拒绝 H0 ; 否则接受 H0 .
在各种分布函数检验中 , 柯尔莫哥洛夫检验的灵敏度高 , 与分
组无关 , 效果比较好 .但此法只能在 F( x) 为连续函数下可用 .
有兴趣的读者可参见[8 , 12] .
练 习 题
2 2
10 .1 由经验知某零件重量 X~ N(μ,σ ) ,μ= 15 , σ = 0. 05 .
技术革新后 , 抽了 6 个 样品 , 测 得重 量 为 ( 单 位 : 克 ) : 14. 7 , 15. 1 ,
14. 8 , 15. 0 , 15. 2 , 14. 6 .已 知 方 差 不 变 , 问 平 均 重 量 是 否 仍 为
15 ? (α= 0. 05)
10 .2 糖厂用自动打包机打包 , 每包标准重量为 100 斤 .每天
开工后需要检验一次打包 机工 作是否 正常 , 即 检查打 包机 是否 有
系统偏差 .某日开工后测得几包重量为 ( 单位 : 斤 ) 如下 :
99. 3 , 98. 7 , 100. 5 , 101. 2 , 98. 3 , 99. 7 , 99. 5 , 102. 1 , 100. 5 .
问 : 该 日 打 包 机 工 作 是 否 正 常 ? (α= 0. 05 , 已 知 包 重 服 从 正 态
分布 .)
382 第 10 章 假设检验
10 .3 正常人的脉搏平均为 72 次/ 分 , 现某医生测得 10 例慢
性四乙基铅中毒患者的脉搏 ( 次/ 分 ) 如下 :
54 , 67 , 68 , 78 , 70 , 66 , 67 , 70 , 65 , 69 .
问 : 四乙基铅中毒患者 和正 常人 的 脉搏 有无 显著 性差 异 ( 已知 四
乙基铅中毒患者的脉搏服从正态分布 ) .
10 .4 用热敏电阻测温 仪间接 测量 地热勘 探井 底 温度 , 重 复
测量 7 次 , 测 得温 度 ( ℃ ) : 112. 0 , 113. 4 , 111. 2 , 112. 0 , 114. 5 ,
112. 9 , 113. 6 , 而用某精确办法 测得 温度为 112. 6 ( 可 看作 温度 真
值 ) , 试问用热敏电阻测温仪间接测温有无系统偏差 ? (α= 0. 05 .)
10 .5 某种导线 , 要求 其电 阻的标 准 差不 得超 过 0. 005 (Ω) .
今在生产的一批导线中抽取样品 9 根 , 测得 S = 0. 007 (Ω) , 设总体
为正态分布 .问在水平 α= 0. 05 下能 认为 这批 导线 的 标准 差显 著
地偏大吗 ?
10 .6 机床厂某日从两 台机器 所加 工的同 一零 件 中 , 分别 抽
若干 个 样 测 量 零 件 尺 寸 , 得 : 第 一 台 机 器 的 为 6. 2 , 5. 7 , 6. 5 ,
6. 0 , 6. 3 , 5. 8 , 5. 7 , 6. 0 , 6. 0 , 5. 8 , 6. 0; 第二 台机 器的为 5. 6 ,
5. 9 , 5. 6 , 5. 7 , 5. 8 , 6. 0 , 5. 5 , 5. 7 , 5. 5 .问 : 这 两台机器的加 工
精度是否有显著性差异 ? (α= 0. 05 .)
10 .7 某工厂采用新法 处理废 水 , 对处 理后的 水 测量 所含 某
种有毒物质的浓度 , 得到 10 个数据 ( 单位 : 毫克/ 升 ) :
22 , 14 , 17 , 13 , 21 , 16 , 15 , 16 , 19 , 18 ,
而以往 用 老 法 处 理 废 水 后 , 该 种 有 毒 物 质 的 平 均 浓 度 为 19 .
问 : 新法是否比老法效果好 ? ( 检验水平 α= 0. 05 .)
10 .8 从 正 态 母 体 N ( μ, 1 ) 中 取 100 个 样 品 , 计 算 得
珚
x = 10. 32 .
(1 ) 试检验 H0 : μ= 10 是否成立 (α= 0. 01 ) ?
(2 ) 计算上述检验在 μ= 9. 8 时犯第二类错误的概率 .
10 .9 某电器零件的平 均电 阻一 直保 持在 2. 64Ω .改 变加 工
练习题 383
(1 ) 给出适当的检验 ;
(2 ) 求检验在 H1 的功效函数及犯第二类错误的概率 ;
(3 ) σ= 1 ,δ= 1 , 问 n 应取 多大 , 才 能保 证第二 类 错误 的概 率
不超过 0. 10 .
10 .20 设 总 体 X ~ N ( μ, σ2 ) , 其 中 μ, σ2 均 为 未 知 参 数 ,
X1 , … , Xn 是 X 的样本 , 水平 α= 0. 05 .
(1 ) 若 H0 : μ= μ0 , H1 : μ= μ0 - δ, 其中 δ> 0 已 知 , 试 给出 适
当的检验 ;
(2 ) 设 δ= 1 , S = 2 , 求检验在 H1 的功效函数及犯第二类错 误
的概率 .
10 .21 设 总体 X ~ N (μ,σ2 ) , 其 中 σ2 已知 , μ为 未 知参 数 ,
X1 , … , Xn 为其样本 .给定水平 α, 任取 αi > 0( i = 1 , 2 ) ,α1 + α2 = α,
记 uαi 分别为αi 的分位数 , 即 P{ u > uαi } = αi ( i = 1 , 2 ) , 易知
P{ - uα1 ≤ (珡
X - μ) n/ σ≤ uα2 } = 1 - α. (* )
试证明在满足 ( * ) 式的 所 有置 信 度 为 ( 1 - α) 的置 信 区 间 ( - uα1 ,
uα2 ) 中 , 当取 α1 =α2 = α
/ 2 时 , 其置信区间长度最小 .
10 .22 某车床生产 一大批 滚珠 , 随 机的 抽取 100 个产 品 , 测
其直径为 ( 单位 : mm) :
{23 .9023 , 24 .3544 , 23 .9233 , 24 .0445 , 23 .4364 ,
23 .9464 , 25 .1536 , 23 .758 , 24 .0031 , 23 .8884 , 24 .0987 ,
23 .0127 , 24 .5685 , 23 .5493 , 23 .757 , 22 .7177 , 23 .8448 ,
22 .6404 , 24 .3034 , 24 .1123 , 23 .9506 , 23 .6562 ,
24 .1476 , 23 .4952 , 22 .7377 , 24 .5511 , 23 .6283 , 24 .3536 ,
24 .5179 , 23 .7127 , 23 .5198 , 24 .2968 , 24 .291 , 24 .4918 ,
23 .5824 , 23 .4544 , 23 .8727 , 24 .9305 , 24 .6421 , 23 .6771 ,
23 .0525 , 23 .7584 , 24 .3758 , 23 .5969 , 24 .2726 , 23 .3415 ,
24 .111 , 24 .0558 , 23 .4708 , 24 .5098 , 23 .7647 , 23 .3443 ,
23 .7184 , 24 .075 , 23 .9409 , 24 .2786 , 23 .7967 , 24 .7233 ,
386 第 10 章 假设检验
z
1 - u 2/ 2
Φ( z) = ∫ - ∞
2π
e du
= P( Z ≤ z)
z 0 1 2 3 4 5 6 7 8 9
0 .0 0 .5000 0 .5040 0 .5 080 0 .5120 0 .5160 0 .5199 0 .5239 0 .5279 0 .5319 0 .5359
0 .1 0 .5398 0 .5438 0 .5 478 0 .5517 0 .5557 0 .5596 0 .5636 0 .5675 0 .5714 0 .5753
0 .2 0 .5793 0 .5832 0 .5 871 0 .5910 0 .5948 0 .5987 0 .6026 0 .6064 0 .6103 0 .6141
0 .3 0 .6179 0 .6217 0 .6 255 0 .6293 0 .6331 0 .6368 0 .6406 0 .6443 0 .6480 0 .6517
0 .4 0 .6554 0 .6591 0 .6 628 0 .6664 0 .6700 0 .6736 0 .6772 0 .6808 0 .6844 0 .6879
0 .5 0 .6915 0 .6950 0 .6 985 0 .7019 0 .7054 0 .7088 0 .7123 0 .7157 0 .7190 0 .7224
0 .6 0 .7257 0 .7291 0 .7 324 0 .7357 0 .7389 0 .7422 0 .7454 0 .7486 0 .7517 0 .7549
0 .7 0 .7580 0 .7611 0 .7 642 0 .7673 0 .7703 0 .7734 0 .7764 0 .7794 0 .7823 0 .7852
0 .8 0 .7881 0 .7910 0 .7 939 0 .7967 0 .7995 0 .8023 0 .8051 0 .8078 0 .8106 0 .8133
0 .9 0 .8159 0 .8186 0 .8 212 0 .8238 0 .8264 0 .8289 0 .8315 0 .8340 0 .8365 0 .8389
1 .0 0 .8413 0 .8438 0 .8 461 0 .8485 0 .8508 0 .8531 0 .8554 0 .8577 0 .8599 0 .8621
1 .1 0 .8643 0 .8665 0 .8 686 0 .8708 0 .8729 0 .8749 0 .8770 0 .8790 0 .8810 0 .8830
1 .2 0 .8849 0 .8869 0 .8 888 0 .8907 0 .8925 0 .8944 0 .8962 0 .8980 0 .8997 0 .9015
1 .3 0 .9032 0 .9049 0 .9 066 0 .9082 0 .9099 0 .9115 0 .9131 0 .9147 0 .9162 0 .9177
1 .4 0 .9192 0 .9207 0 .9 222 0 .9236 0 .9251 0 .9265 0 .9278 0 .9292 0 .9306 0 .9319
1 .5 0 .9332 0 .9345 0 .9 357 0 .9370 0 .9382 0 .9394 0 .9406 0 .9418 0 .9430 0 .9441
1 .6 0 .9452 0 .9463 0 .9 474 0 .9484 0 .9495 0 .9505 0 .9515 0 .9525 0 .9535 0 .9545
388 附录 1 标准正态分布表
续表
z 0 1 2 3 4 5 6 7 8 9
1 .7 0 .9554 0 .9564 0 .9 573 0 .9582 0 .9591 0 .9599 0 .9608 0 .9616 0 .9625 0 .9633
1 .8 0 .9641 0 .9648 0 .9 656 0 .9664 0 .9671 0 .9678 0 .9686 0 .9693 0 .9700 0 .9706
1 .9 0 .9713 0 .9719 0 .9 726 0 .9732 0 .9738 0 .9744 0 .9750 0 .9756 0 .9762 0 .9767
2 .0 0 .9772 0 .9778 0 .9 783 0 .9788 0 .9793 0 .9798 0 .9803 0 .9808 0 .9812 0 .9817
2 .1 0 .9821 0 .9826 0 .9 830 0 .9834 0 .9838 0 .9842 0 .9846 0 .9850 0 .9854 0 .9857
2 .2 0 .9861 0 .9864 0 .9 868 0 .9871 0 .9874 0 .9878 0 .9881 0 .9884 0 .9887 0 .9890
2 .3 0 .9893 0 .9896 0 .9 898 0 .9901 0 .9904 0 .9906 0 .9909 0 .9911 0 .9913 0 .9916
2 .4 0 .9918 0 .9920 0 .9 922 0 .9925 0 .9927 0 .9929 0 .9931 0 .9932 0 .9934 0 .9936
2 .5 0 .9938 0 .9940 0 .9 941 0 .9943 0 .9945 0 .9946 0 .9948 0 .9949 0 .9951 0 .9952
2 .6 0 .9953 0 .9955 0 .9 956 0 .9957 0 .9959 0 .9960 0 .9961 0 .9962 0 .9963 0 .9964
2 .7 0 .9965 0 .9966 0 .9 967 0 .9968 0 .9969 0 .9970 0 .9971 0 .9972 0 .9973 0 .9974
2 .8 0 .9974 0 .9975 0 .9 976 0 .9977 0 .9977 0 .9978 0 .9979 0 .9979 0 .9980 0 .9981
2 .9 0 .9981 0 .9982 0 .9 982 0 .9983 0 .9984 0 .9984 0 .9985 0 .9985 0 .9986 0 .9986
3 .0 0 .9987 0 .9990 0 .9 993 0 .9995 0 .9997 0 .9698 0 .9998 0 .9999 0 .9999 1 .0000
注 : 表 中末行 系函 数值 Φ( 3 .0 ) , Φ( 3 .1) , … , Φ( 3 .9 )
附录 2 泊松分布表
r= ∞
e - λλr
1 - F( x - 1 ) = ∑
r= x r!
x λ= 0 .2 λ= 0 .3 λ= 0 .4 λ= 0 .5 λ= 0 .6
0 1 .0000000 1 .0000000 1 .0000000 1 .0000000 1 .0000000
1 0 .1812692 0 .2591818 0 .3296800 0 .323469 0 .451188
2 0 .0175231 0 .0369363 0 .0615519 0 .090204 0 .121901
3 0 .0011485 0 .0035995 0 .0079263 0 .014388 0 .023115
4 0 .0000568 0 .0002658 0 .0007763 0 .001752 0 .003358
10 0 .000001
390 附录 2 泊松分布表
续表
r= ∞
e - λλr
1 - F( x - 1 ) = ∑r= x r!
x λ= 1 .4 λ= 1 .6 λ= 1 .8
0 1 .000000 1 .000000 1 .000000
1 0 .753403 0 .798103 0 .834701
2 0 .408167 0 .475069 0 .537163
3 0 .166502 0 .216642 0 .269379
4 0 .053725 0 .078813 0 .108708
x λ= 2 .5 λ= 3 .0 λ= 3 .5 λ= 4 .0 λ= 4 .5 λ= 5 .0
0 1 .000000 1 .000000 1 .000000 1 .000000 1 .000000 1 .000000
1 0 .917915 0 .950213 0 .969803 0 .981684 0 .988891 0 .993262
2 0 .712703 0 .800852 0 .864112 0 .908422 0 .938901 0 .959572
3 0 .456187 0 .576810 0 .679153 0 .761897 0 .826422 0 .875348
4 0 .242424 0 .352768 0 .463367 0 .566530 0 .657704 0 .734974
续表
r= ∞
e - λλr
1 - F( x - 1 ) = ∑r= x r!
x λ= 2 .5 λ= 3 .0 λ= 3 .5 λ= 4 .0 λ= 4 .5 λ= 5 .0
10 0 .000277 0 .001102 0 .003315 0 .008132 0 .017093 0 .031828
11 0 .000062 0 .000292 0 .001019 0 .002840 0 .006669 0 .013695
12 0 .000013 0 .000071 0 .000289 0 .000915 0 .002404 0 .005453
13 0 .000002 0 .000016 0 .000076 0 .000274 0 .000805 0 .002019
14 0 .000003 0 .000019 0 .000076 0 .000252 0 .000698
P{ t( n) > tα ( n) } = α
续表
续表
续表
续表