You are on page 1of 246

研究生教学用 书

随机过程及其应用
第三版
刘次华  编著

高等 教育 出 版 社

内容提要
  本书为 研究生课 程“ 随 机过程” 的入 门教 材 , 其主 要内容 有: 随机 过程的 概念、 泊松过 程、 马尔可夫链 、 连 续时间的马 尔可夫 链、 平 稳随机过 程, 平 稳随机 过程的谱 分析、 随机微分方 程、 时间序列 分析等。 本书除 介绍最基 本的理 论外, 取材突出 了实用较 多的 马 尔可夫 链和平 稳过程 , 叙 述 尽可 能的通俗 , 例题 、 习题 适当增 加并结合实 际应 用。 每 章后 面附 有习题, 书后 附有习 题解答 , 可 供读者参 考。 本书可 供理工科 各专业 、 经济 管理专业 的硕士研 究生 作 为教材 或参考 书, 也 可供 有 关教 学和工程 技术人员参 考。

 图书在版编目( C I P )数据  随机过 程及其应用 / 刘 次华编著. — 3版. —北 京: 高等 教育出版社, 2 0 0 4. 7   I S B N7-0 4- 0 1 4 4 2 7-1  Ⅰ. 随. . .  Ⅱ. 刘. . .  Ⅲ. 随机过程-研究生-教材 Ⅳ. O 2 1 1. 6  中国版本图书馆 C I P 数据核字( 2 0 0 4 )第0 5 4 8 5 7号 策划编辑  徐 可 责任编辑 高尚华 封面设计 李卫青  责任绘图  尹文军 版式设计  史新薇 责任校对 朱惠芳 责任印制 

出版发行   高等教育 出版社           购 书热线 0 1 0-6 4 0 5 4 5 8 8 社  址   北京市西 城区德 外大街4号 邮政编码   1 0 0 0 1 1 总  机   0 1 0- 8 2 0 2 8 8 9 9 经  销   新华书店 北京发 行所 印  刷   版   次 1 9 9 6年7月 第1版 开  本   7 8 7× 9 6 0 1 / 1 6 印  张   1 5 . 5 字  数   2 8 00 0 0            年 月第 3版 印   次    年  月第 次印 刷 定   价 1 9. 7 0元 免 费咨询 8 0 0-8 1 0-0 5 9 8 网   址 h t t p : / / w w w. h e p . e d u. c n h t t p : / / w w w. h e p . c o m. c n

本书如有 缺页、 倒页、 脱页等 质量问题, 请到 所购图书销 售部门 联系调换 。

版权所 有 侵权 必究

前  言
随机过程理论在物理、 生物、 工程、 经济和管理等方面都得到了广泛应用, 已 成为近代科技工作者谋求掌握的一 个理论 工具。 目前, 有 条件的 高等 学校 在本 科生或研究生中开设了随机过程课 程。本书 是编 者根 据多年 的教 学实践, 在华 中科技大学出版社出版的《随机过程》 (第二版)的基础上, 充实和修改而编成的。 本书在工科大学生已有的数学知 识基础 上, 采用 为工 科学生 和工 程技 术人 员易于接受的叙述方式, 较全面地介 绍了 现代 科学技 术中 常见的 几种 重要 的随 机过程。全书分为四个部分: 预备知识 和基 本概 念(第一 章、 第二 章 ), 泊松 过程 ( 第三章), 马尔可夫过程(第四章、 第五章) , 平稳随机过程(第六章、 第七章、 第八 章 )。第二、 三、 四部分相互独立, 读者可根据专业的需要, 对内容进行适当取舍。 本书是为具有高等数 学、 线 性 代数、 概率 论 等知 识 的高 等 理工 科 院 校本 科 生、 研究生或工程技术 人 员学 习随 机过 程 编写 的, 它 既 可作 为 教材 或 教 学参 考 书, 也可作为需要随机过程知识的读者的自学读本。 本书的编写得到黄志远教授的支持与鼓励。高等教育出版社及编辑徐可同 志对本书的出版给予了大力的支持和帮助, 在此谨表示衷心感谢。 由于编者水平有限, 书中的缺点在所难免, 恳请读者批评指正。 编 者
2 0 0 3年1 2月于华中 科技大学

目  录
第一章 预备知识 ………………………………………………………………… 1 §1. 1  概率空间 …………………………………………………………… 1 §1. 2  随机变量及其分布 ………………………………………………… 2 §1. 3  随机变量的数字特征 ……………………………………………… 5 §1. 4  特征函数、 母函数和拉氏变换……………………………………… 7 §1. 5   n维正态分布 ……………………………………………………… 1 2 §1. 6  条件期望 …………………………………………………………… 1 2 第二章 随机过程的概念与基本类型 ………………………………………… 1 7 §2. 1  随机过程的基本概念 ……………………………………………… 1 7 §2. 2  随机过程的分布律和数字特征 …………………………………… 1 8 §2. 3  复随机过程 ………………………………………………………… 2 2 §2. 4  几种重要的随机过程 ……………………………………………… 2 4 习题二 ……………………………………………………………………… 2 8 第三章 泊松过程 ……………………………………………………………… 3 0 §3. 1  泊松过程的定义和例子 …………………………………………… 3 0 §3. 2  泊松过程的基本性质 ……………………………………………… 3 3 §3. 3  非齐次泊松过程 …………………………………………………… 4 0 §3. 4  复合泊松过程 ……………………………………………………… 4 3 §3. 5  泊松过程的应用 …………………………………………………… 4 5 习题三 ……………………………………………………………………… 4 6 第四章 马尔可夫链 …………………………………………………………… 4 8 §4. 1  马尔可夫链的概念及转移概率 …………………………………… 4 8 §4. 2  马尔可夫链的状态分类 …………………………………………… 5 6 §4. 3  状态空间的分解 …………………………………………………… 6 5 §4. 4  p 2 i j 的渐近性质与平稳分布 ……………………………………… 7 §4. 5  嵌入马尔可夫链 …………………………………………………… 8 0 习题四 ……………………………………………………………………… 8 3 第五章 连续时间的马尔可夫链 ……………………………………………… 8 7 §5. 1  连续时间的马尔可夫链 …………………………………………… 8 7
(n )

・Ⅱ・

目   录

§5. 2  科尔莫戈罗夫微分方程 …………………………………………… 9 0 §5. 3  生灭过程 …………………………………………………………… 9 8 §5. 4  布朗运动及其基本性质 ………………………………………… 1 0 3 §5. 5  布朗运动的最大值变量及反正弦律 …………………………… 1 0 5 §5. 6  布朗运动的几种变化 …………………………………………… 1 0 8 §5. 7  向后与向前扩散方程 …………………………………………… 1 1 1 习题五……………………………………………………………………… 1 1 3 第六章 平稳随机过程 ………………………………………………………… 1 1 5 §6. 1  平稳过程的概念与例子 ………………………………………… 1 1 5 §6. 2  联合平稳过程及相关函数的性质 ……………………………… 1 2 0 §6. 3  随机分析 ………………………………………………………… 1 2 3 §6. 4  平稳过程的各态历经性 ………………………………………… 1 3 2 习题六……………………………………………………………………… 1 4 0 第七章 平稳过程的谱分析 …………………………………………………… 1 4 3 §7. 1  平稳过程的谱密度 ……………………………………………… 1 4 3 §7. 2  谱密度的性质 …………………………………………………… 1 4 6 §7. 3  窄带过程及白噪声过程的功率谱密度 ………………………… 1 5 2 §7. 4  联合平稳过程的互谱密度 ……………………………………… 1 5 4 §7. 5  平稳过程通过线性系统的分析 ………………………………… 1 5 8 习题七……………………………………………………………………… 1 6 8 第八章 时间序列分析 ………………………………………………………… 1 7 1 §8. 1  A RMA 模型 ……………………………………………………… 1 7 1 §8. 2  模型的识别 ……………………………………………………… 1 7 3 §8. 3  模型阶数的确定 ………………………………………………… 1 8 4 §8. 4  模型参数的估计 ………………………………………………… 1 8 7 §8. 5  模型的检验 ……………………………………………………… 1 9 0 §8. 6  平稳时间序列预报 ……………………………………………… 1 9 1 §8. 7  非平稳时间序列及其预报 ……………………………………… 2 0 1 习题八……………………………………………………………………… 2 0 4 第九章 习题解析 ……………………………………………………………… 2 0 6 参考书目 ………………………………………………………………………… 2 4 1

第一章 预备知识

§ 1 . 1  概 率 空 间
随机试验 是概率论的基本概念, 随机试验不同于普通的试验, 其试验的结果 事先不能准确地预言, 且具有如下的三个特性: ( 1 ) 可以在相同的条件下重复进行; ( 2 ) 每次试验的结果不止一个, 但预先知道试验的所有可能的结果; ( 3 ) 每次试验前不能确定哪个结果会出现. 随机试验所有可能结果组成的集合称为这个试验的 样本空间 或基本事件空 间, 记为 Ω. Ω 中的元 素e称 为 样本 点 或 基本事件 , Ω 的 子集 A 称 为 事件 , 样本 空间 Ω 称为 必然事件 , 空集 于事件. 在实际问题中, 我 们 不 是对 所 有的 事 件(样 本 空 间 Ω 的 所 有 子集)都 感 兴 趣, 而是关心某些事件(Ω 的某 些子 集)及其 发生 的可 能性 大 小(概 率), 从而 导 致 σ代数 F和 F上的概率的概念. 定义1. 1  设 Ω是一个集合, F是 Ω 的某些子集组成的集合族. 如果 ( 1 ) Ω∈F; ( 2 ) 若 A∈F, 则珚 A= Ω\ A∈F;

称为 不可能事件 .

由于事件是集合, 故集合的运算(并、 交、 差、 上极限、 下极限、 极限等)都适用

( 3 )若 A n=1, 2, …则 n ∈F,


n=1

An ∈F,

则称 F为 σ代数 (事件域). (Ω, F )称为 可测空间 , F中的元素称为事件. 由定义易知: ( 4 ) ∈F;


n ∞

( 5 ) 若 A, B∈F, 则 A\ B∈F; ( 6 )若 A i = 1, 2, …则 i ∈F,


i=1

A i, ∩A i ∈F.
i=1

第一 章 预 备知识

定义1. 2  设 (Ω, F )是可测空间, P ( ・ )是定义在 F上的实值函数. 如果 ( 1 ) 对任意 A∈F , 0≤ P (A )≤1; ( 2 )P (Ω )= 1; ( 3 ) 对两两互不相容事件 A A2 , …(当 i ≠j时 , A 1, i∩A j=
∞ ∞

), 有


i= 1

A i =

(A), ∑P
i i =1

则称 P是(Ω, F ) 上的概率, (Ω, F, P )称为 概率空间 , P (A )为事件 A 的 概率 . 由定义易知: P ( )=0; ( 4 ) 若 A, B∈F, A< B, 则P (B\ A )= P (B )- P (A ) , 即概 率 具 有单 调 性; ( 5 )设 A n=1, 2, …则 n ∈F,

P l i mP (A )= n
n→ ∞

∪A
n= 1 ∞

, 若A 1< A 2 < …, , 若A 1= A 2 = ….

∩A
n= 1

定义1. 3  设 (Ω, F, P )是概率空间, G< F, 如 果对任意 A A …, An ∈G, 1, 2, n =1, 2, …有


∞ n

P 则称 G为 独立事件族 .


i= 1

A i =

(A), ∏P
i i=1

§ 1 . 2  随机变量及其分布
随机变量是概率论的主要研究对 象, 随机 变量的 统计 规律用 分布 函数 来描 述. 定义1. 4  设 (Ω, F, P )是概率空间. X= X ( e )是定 义在 Ω 上 的实 函数 , 如 果对任意实数 x, { e : X ( e )≤x }∈F, 则称 X ( e )是 F上的 随机变量, 简记为 随机 变量 X, 称 F ( x )= P ( e : X ( e )≤x ) ,  -∞<x <∞ 为随机变量 X 的 分布函数 . 分布函数 F (x )具有下列性质: ( 1 )F ( x )是非降函数: 即当 x 有F (x (x ); 1 <x 2 时, 1)≤ F 2 ( 2 )F ( -∞)= l i mF (x )=0 , F ( ∞)=l i mF (x )= 1;
x→ - ∞ x→ ∞

§ 1. 2 随 机变量及 其分布

( 3 )F ( x )右连续, 即F (x+0 )= F ( x ) . 可以证明, 定义在 R=(-∞, ∞)上实值 函数 F ( x ) , 若具 有上述三 个性质, 必存在一个概率空间(Ω, F, P )及其上的随机变量 X, 其分布函数是 F (x ). 在应用中, 常见的随 机变 量 有 两种 类 型: 离 散型 随 机变 量 和连 续 型 随机 变 量. 离散型随机变量 X 的概率分布用分布列描述: p (X= x ) ,  k= 1, 2, …, k= P k 其分布函数 F ( x )=
x ≤x k

∑ p.

连续型随机变量 X 的概率分布用概率密度f (x )描述, 其分布函数 F ( x )= 常见随机变量的分布参见表1-1. 下面我们讨论 n维随机变量及其概率分布. 定义1. 5  设 (Ω, F, P )是 概率空 间, X= X ( e )=(X ( e ), …, X e ) )是 定 1 n( 义在 Ω 上的n维空间 R 中取值的向量函数. 如果对于任意 x =(x x …, x ) 1, 2, n ∈R , { e : X ( e )≤x X e ) ≤x …, X ( e )≤ x ∈F, 则称 X= X ( e )为 n维 1 1, 2( 2, n n} 随机变量 或 n维随机向量 , 称 F ( x )= F (x x …, x ) 1, 2, n =P ( e : X ( e )≤ x X e )≤ x …, X ( e )≤ x ), 1 1, 2( 2, n n x=(x x …, x )∈Rn 1, 2, n 为随机变量 X=(X X …, X )的 联合分布函数 . 1, 2, n 联合分布函数 F ( x x …, x )具有下列性质: 1, 2, n ( 1 ) 对于每个变元 x ( i =1, 2, …, n ), F (x x …, x )是非降函数; i 1 , 2, n ( 2 ) 对于每个变元 x ( i =1, 2, …, n ), F (x x …, x )是右连续的; i 1 , 2, n ( 3 ) 对于 Rn 中的任意区域(a b …; a b ), 其中 a i = 1, …, n, 1, 1; n, n i ≤b i, P ( a …, a ) 1<X 1 ≤b 1, n<X n ≤b n
n n n

f ( t ) d t .

-∞

 = F ( b b …, b )- ∑ F ( b …, b a b …, b ) 1, 2, n 1, i- 1 , i, i+1 , n
i=1 n

i, j=1 i< j

(b , …, b ∑F
1 n

i-1

, a b …, b a b …, b )+… i, i+1 , j-1 , j, j+ 1 , n

+(-1 )F (a a …, a )≥0; 1, 2, n ( 4 )l i m F ( x x …, x …, x ) =0, i =1, 2, …, n, 1, 2, i, n


x →- ∞ i

第一 章 预 备知识

l i m
x , x , …, x → ∞ 1 2 n

F (x x …, x )=1. 1, 2, n

可以证 明, 对 于 定 义 在 Rn 上 具 有 上 述 性 质 的 实 函 数 F (x x …, x 1, 2, n), ( x x …, x )∈R , 必 存在 一个 概率 空 间(Ω, F, P )及 其上 的 n 维 随 机变 量 1, 2, n X=(X X …, X ), 其联合分布函数为 F (x x …, x ), (x x …, x )∈ 1, 2, n 1, 2, n 1, 2, n R . 在应用中, 常 见的 n 维随机变量也有 两种类型 : 离散型和连续 型, 对 于非离 散型非连续型随机变量, 我们给出一个例子. 例1. 1  设随机变量 X 的绝对值 不大 于 1; P {X= -1 }= 1 , P {X=1 }= 8
n n

1 ; 在事件{-1< X<1 } 出现的条 件下, X 在(-1, 1 )内的 任一子 区间 上的 条件 4 概率与该子区间长度成正比. 试求随机变量 X 的分布函数 F (x )=P {X≤x }. 解  由条件知, 当 x<-1时 F (x )=0; F (-1 ) = P {-1< X<1 }= 1- 1 ; 8

1 1 5 - = . 8 4 8 x+1 . 2

故在{-1< X<1 }条件下, 事件{-1< X≤ x }的条件概率为 P {-1< X≤ x |-1 < X< 1 } = 于是, 对于-1< x <1, 有 P {-1< X≤x }= P {-1 < X≤x, -1< X<1 } =P {-1 < X≤x |-1< X<1 }  ・P {- 1< X<1 } = x+1 5 5 (x+1 ) × = ; 2 8 1 6

F (x )= P (X≤-1 )+ P ( -1< X≤ x ) = 1 5 x+ 5 5x+7 + = . 8 1 6 1 6 0, F (x ) = x<-1,

对于 x≥1, 有F ( x )=1. 从而 5x+ 7 , -1≤ x< 1, 1 6 1, 型随机变量, 则称 X 是离散型随机向量. 对于离散型随机向量 X=(X X …, X ), 其联合分布列为 1, 2, n x≥1.

若随机向量 X=(X X …, X i =1, 2, …, n都 是离 散 1, 2, n)的每 个分 量 X i,

§ 1. 3 随 机变量的 数字特 征

p x

, … ,x n

=P (X …, Xn =x ), 1 =x 1, n

其中 x I i =1 , 2 , …, n. X 的联合分布函数 i ∈I i, i是离散集, F ( y y …, y )= 1, 2, n
n x ≤y i i i=1,… ,n

p x

, …, x n

( y y …, y ), ( y y …, y )∈R . 1, 2, n 1, 2, n

若存在定义在 R 上的非负函数f ( x x …, x ), 对于任意(y y …, y ) 1, 2, n 1, 2, n ∈Rn , 随机向量 X=(X X …, Xn)的联合分布函数 1, 2, F (y y …, y )= 1, 2, n


y 1 y n -∞

∫ … ∫
-∞

f ( x x …, x ) d x x 1, 2, n 1 …d n,

则称 X 是连续型随机向量, f ( x x …, x )称为 X 的联合概率密度. 1, 2, n 定义1. 6  设 {X t ∈T }是一族 随机 变量, 若对 于任 意 n≥2和 t t …, t, 1, 2, t , x x …, x 有 n ∈T 1, 2, n ∈R,


P (X X …, X ) = t ≤x 1, t ≤x 2, t ≤x n
1 2 n

(X ≤ x), ∏P
i=1 t i i

( 1. 1 )

则称{X t ∈T }是独立 的. t, 如果{X t ∈T }是一族独立的离散型随机变量, ( 1. 1 )式等价于 t,


P (X X …, X ) = t =x 1, t =x 2, t =x n
1 2 n

(X = x), ∏P
i=1 t i i

其中 x i =1 , 2, …, n. i是 X t 是任意可能值,

如果{X t ∈T }是一族独立的连续型随机变量, ( 1. 1 )式等价于 t,


f x x …, x = t , …, t( 1, 2, n)
1 n 1 n 1

∏ f(x),
i=1 t i i 2 n

其中 f x x …, x )是 随 机 向 量(X X …, X t ,… , t( 1, 2, n t , t , t )的 联 合 概 率密 度, f x )是随机变量 X i =1, 2, …, n. t( i t 的概率密度,


i i

独立性是概率中的重要概念. 在实际问题中, 独立性的判断通常是根据经验 或具体情况来决定的.

§ 1 . 3  随机变量的数字特征
随机变量的概率分布完全由其分 布函数 描述, 但 是如 何确定 分布 函数 却是 相当麻烦的. 在实际问 题 中, 我们 有时 只 需要 知 道随 机 变量 的 某些 特 征 值就 够 了. 定义1. 7  设随机变量 X 的分布函数为 F (x ), 若 称

|x | dF (x )<∞, 则

-∞


第一 章 预 备知识

E X

x dF (x )

-∞

为 X 的数学期望 或 均值. 上式右边的积分称为 L e b e s g u e-S t i e l t j e s积分. 若 X 是离散型随机变量, 分布列 p (X= x ) ,  k= 1, 2, …, k= P k 则


E X=

∑ xp .
k k k= 1

若 X 是连续型随机变量, 概率密度为 f (x ), 则 E X=

x f ( x ) d x,

-∞

随机变量的数学期望是随机变量的取值依概率的平均.
2 定义1. 8  设 X 是随机变量, 若E X <∞, 则称 DX

2 E (X- E X ) 为 X

的方差 . 随机变量的方差反映随机变量取值的离散程度. 定义1. 9  设 X, Y 是随 机变量 , E X < ∞, EY <∞, 则 称 BXY -E X ) (Y-EY ) ]为 X、 Y 的 协方差 , 称 ρ XY 为 X、 Y 的 相关系数 . 若ρ 则称 X, Y 不相关. XY =0, 相关系数 ρ Y 之间的线性相关程度的大小, 其特性为: XY 表示 X, ( 1 )| ρ XY|≤1; ( 2 )| ρ 表示 X 与 Y 以概率 1线性相关. XY|=1, 随机变量的数学期望和方差具有如下性质: ( 1 ) 若 n维随 机 变 量(X X …, X (x x …, 1, 2, n)的 联 合 分 布 函 数 为 F 1, 2, x ), g (x x …, x )是 n维连续函数 , 则 n 1, 2, n E g (X X …, X ) = 1, 2, n
∞ ∞ 2 2

E [ (X

BXY DX DY

∫ … ∫
-∞

-∞

g (x x …, x ) d F (x x …, x ); 1, 2, n 1, 2, n

( 2 )E ( a X+b Y )=a E X+b E Y, 其中 a, b是常数 ; ( 3 ) 若 X、 Y 独立 , 则 E (X Y ) =E X EY; ( 4 ) 若 X、 Y 独立 , 则 D ( a X+b Y )=a D X+b DY, 其中 a, b是常数 ; ( 5 )( S c h w a r z不等式)若 E X <∞, E Y <∞, 则 (E XY ) ≤E XE Y;
2 2 2 2 2 2 2

§ 1. 4 特 征函数、 母 函数和拉 氏变换

( 6 )( 单调收敛定理 )若0≤ Xn ↑ X, 则 l i mE X X; n =E
n→ ∞

( 7 )( F a t o u引理)若 X 0, 则 n≥ El i m Xn ≤l i mE (X ) ≤l i mE X i mX n n ≤E l n .
n→ ∞ n→ ∞ n→ ∞ n→ ∞

有关的证明可参考 [ 5 ].

§ 1 . 4  特征函数、 母函数和拉氏变换
特征函数是研究随机变量分布律 的一个 重要 工具. 由 于分布 律和 特征 函数 之间存在一一对应关系, 因此在知道随机变量的特征函数之后, 就可以求出它的 分布律. 用特征函数求分布律比直接求分布律容易得多, 而且特征函数具有良好 的分析性质. 为此, 我们首先介绍特征函数. 定义1. 1 0  设随机变量 X 的分布函数为 F (x ), 称 g ( t ) 为 X 的特征函数 . 特征函数 g ( t )是实变量 t的复 值函 数 , 由 于| e |=1, 故 随机 变量 的特 征 函数必然存在. 当 X 是离散型随机变量, 分布列 p (X= x ) ,  k= 1, 2, …, k= P k 则
∞ i t x

E ( e )=

i t X

e dF (x ),  -∞<t <∞

i t x

-∞

g ( t )=

∑e
k =1

i t x k

p k.

当 X 是连续型随机变量, 概率密度为 f (x ), 则 g ( t )=

∞ i t x e f (x ) d x.

-∞

随机变量的特征函数具有下列性质: ( 1 )g ( 0 )=1, |g ( t ) |≤1 , g (-t )=g ( t ). ( 2 )g ( t )在(-∞, ∞)上一致连续.


n ( 3 ) 若随机变量 X 的n阶矩 E X 存在, 则 X 的特征函数g ( t )可微分 n次 ,

且当 k ≤ n时 , 有g ( 0 )= iE X. ( 4 )g ( t )是非负定函数. 即对任意正整数 n及任意实数t t …, t 1, 2, n 和复数 z z …, z 有 1 , 2 , n,


(k )

k, l= 1

g ( t )z z 珔 . k -t l k l ≥0

第一 章 预 备知识

( 5 )若 X X …, Xn是相互独立的随机变量, 则 X= X 1, 2, 1 +X 2 + …+ X n的 特征函数 g ( t ) =g t ) g t ) …g ( t ), 1( 2( n 其中 g ( t )是随机变量 X i =1 , 2, …, n. i i的特征函数, ( 6 ) 随机变量的分布函数由其特征函数惟一确定. 我们只对( 4 ) , ( 5 )进行证明.


n n n i (t - t) X k l

k, l=1

g ( t ) z z 珔 k -t l k l=

[ e ∑∑E
k= 1 l= 1 n n

] z z 珔 k l

=E =E 所以 g ( t )是非负定函数.

∑ ∑e
k =1 n l= 1

i tX k

z el z k l ≥0,

i tX

∑e
k =1

i tX k

z k

i t X i t X 1 , n 也相互独立, 因为 X X …, X 所以e …, e 1, 2, n 相互独立, i t X i t (X + … + X ) i t X i tX 1 n =E 1 …e n) g ( t )= E e =E e ( e i t X i t X 1…E n = g( =E e e )…g ( t ). 1 t n

对于 n维随机变量也可以定义特征函数. 定义1. 1 1  设 X= (X X …, Xn) 是 n维随机变量 , t =( t t …, t )∈ 1, 2, 1, 2, n R , 则称


n n

g ( t )= g ( t t …, t )= E e 1, 2, n 为 X 的特征函数.

i t X ′

= Ee x pi kX k ∑t
k =1

n维随机变量的特征函数具有类似于一维随机变量的特征函数的性质 . 例1. 2  设 X 服从 B (n, p ), 求 X 的特征函数g ( t )及 E X、 E X、 D X. 解  X 的分布列为


k k n- k P (X=k )=C q , q =1- p, k=0, 1, …, n, np n n 2

i t k k k n- k k i t k n- k g ( t )= ∑ e C =∑C p e )q npq n( k=0 k =0

=(p e +q ). 由性质知 d i t n E X=- i g ′ ( 0 )=- i ( p e +q ) d t E X =(- i )g ″ ( 0 )=(- i ) 故


2 2 2 2 d i t n p e +q ) 2( d t

i t

=n p,
t=0 2 2

=n p q +n p ,
t=0

§ 1. 4 特 征函数、 母 函数和拉 氏变换


2 2 D X= E X -(E X ) =n p q .

例1. 3  设 X~ N ( 0, 1 ), 求 X 的特征函数 g ( t ). 解  由于| i x e


it x- 2 x 2

g ( t )= |= |x | e
- 2 x 2

1 2 π

i t-

2 x 2

d x.
- 2 x 2

( 1. 2 )

-∞ ∞

, 且

1 2 π
2 x 2

|x | e

d x<∞, 故 可对( 1. 2 )式右

-∞

端在积分号下求导, 得 g ′ ( t )= 1 2 π

i x e
2 x i t x- 2

i t x-

d x= t

-∞ ∞ - ∞

i 2 π

i t x

-d e

2 x 2

-∞ 2 x 2

=-

e 2 π

2 π

i t x-

d x

-∞

=-t g ( t ), 于是得微分方程 g ′ ( t )+t g ( t )=0. 这是可分离变量方程, 有 d g ( t ) =-t d t . g ( t ) 两边积分得 1 2 l ng ( t )=- t +c , 2 故得方程的通解为 g ( t )= e2


- 1 2 t +c

由于 g ( 0 )=1, 所以 c =0, 于是 X 的特征函数为 g ( t )=e 实数, 证明 Y 的特征函数g t )为 Y(


i t b g t )= e g a t ). Y( X( i t (aX+ b ) 证 g t ) =E [ e ] Y( - 2 t 2

例1. 4  设随机变量 X 的特征函数为g ( t ), Y=a X+b , 其中 a, b为任意 X

=E [ e

i (a t )X i b t

e ]=e E [ e

i b t

i (a t )X

]=e g a t ). X(
2 t 2

ib t

例1. 5  设随机变量 Y~ N ( a , σ), 求 Y 的特征函数g t ). Y(


- 解  设 X~ N ( 0, 1 ), 则由例1. 2知 X 的特征函数g t )= e X( 2 +a, 则 Y~ N ( a, σ ). 由例1 . 3知, Y 的特征函数 i a t ia t - g t )= e g ( σ t ) =e e Y( X 2 2 σt 2 i a t- =e 2 2 σ t 2

, 令 Y=σ X

常见随机变量的数学期望、 方差和特征函数见表1-1.

1 0 表1 -1 分  布 两点分 布 ( 0-1分布) 二项分 布 分布律 或概率 密度 P (X=1 )= p , P (X=0 )=q , 0<p< 1, p+q =1
k k n- k P (X=k )=C , npq

第一 章 预 备知识

期望 p n p

方差 p q n p q

特 征 函数
i t q+p e

0 <p <1 , p+ q = 1, k =0 , 1, …, n λ -λ P (X=k )= e , λ >0, k ! k =0 , 1 , …
k-1 P (X=k )= p q , 0<p<1, p +q=1, k =1 , 2, … k

i t n ( q+ p e )

泊松分 布

λ 1 p

λ q 2 p

λ ( e e

i t

-1 )

几何分 布

i t p e i t 1 -q e

均匀分 布

1 , a <x <b f (x ) = b-a 0, 其他 f (x )= f (x )=
a ) 1 -(x-2 e 2σ 2 πσ 2

2 a+b ( b -a ) 2 1 2

i b t i a t e -e i ( b-a ) t

2 N ( a , σ )

a 1 λ

2 σ

i a t - σt 2 e

1 22

指数分 布

x λ e- λ , x≥ 0 λ>0 0, x< 0

1 2 λ

i t 1 - λ

-1

研究非负整数值随机变量, 母函数是非常方便的工具. 定义1. 1 2  设 X 是非负整数值随机变量, 分布列 p (X=k ) , k =0, 1, …, k=P 则称 P ( s ) 为 X 的母函数 . 母函数具有以下性质: ( 1 ) 非负整数值随机变量的分布列由其母函数惟一确定. ( 2 )设 P ( s )是 X 的母函数 , 若E X 存在 , 则 E X= P ′ ( 1 ), 若D X 存在, 则 D X=P ″ ( 1 ) +P ′ ( 1 ) -[P ′ ( 1 ) ]. ( 3 ) 独立随机变量之和的母函数等于母函数之积. ( 4 )若 X X …是相互独立且同分布的非负整数值随机变量, N 是与 X 1, 2, 1,
N 2 ∞ X E ( s )=

∑ ps
k k k= 0

( 1. 3 ) ( 1. 4 )

X …独立的非负整数值随机变量, 则 Y= 2,


k= 1

X k 的母函数 ( 1. 5 )

H (S )=G (P ( s ) ),

§ 1. 4 特 征函数、 母 函数和拉 氏变换

1 1

其中 G ( s ) 、 P ( s )分别是 N、 X 1 的母函数.

证 ( 1 )P ( s )= ∑ p s k
k k =0 n ∞ k

=∑p s+ k
k=0

k= n+1

p s,   n=0, 1, …, k

上式两边对 s求 n阶导数, 得
∞ (n ) P ( s )=n! p n+

k= n +1

k- n k ( k-1 )…( k - n+1 )p s . k

令s =0, 则P ( 0 )= n ! p 故 n,
(n ) p 0 ) /n! ,   n= 0, 1, …. n =P ( ∞ ∞ k k- 1 k k

(n )

( 2 )由 P ( s )=

所以 P ′ ( s )= ∑ k ps ∑ ps,
k=0 k =1 ∞

, 令s ↑1, 得

E X= 同理可证( 1. 4 )式. ( 3 ) 显然.


∞ k ( 4 )H (S )= ∑ P (Y=k ) s k=0 ∞

p =P ′ ( 1 ). ∑k
k k= 1

k = ∑P Y=k ,∪(N = l )s k= 0 ∞ l= 0 ∞

=∑

k=0

(N=l )P (Y=k ) s ∑P
k l= 0 ∞

k =∑ P (N=l )∑ P (Y=k ) s l= 0 ∞ k=0 ∞ l

=∑ P (N=l )∑ P
l= 0 ∞ k=0


j= 1

X j =ks

l =∑ P (N=l ) [ P ( s ) ] =G [P ( s ) ] . l= 0

由公式( 1. 3 ) , ( 1. 5 )可得 EY= ENE X 1. 注: 当 X 公式( 1. 6 ) 仍成立. i 是相互独立同分布的随机变量时, 例1. 6  设商店在一天的顾客数 N 服从参数λ =10 0 0的泊松分布, 又 设每 位顾客所花的钱数 X ( 1 0 0, 5 0) , 求商店的日销售额 Z的平均值 . i 服从 N 解  由条件知 E N=10 0 0, E X 1 0 0, 故由( 1. 6 )式 1= E Z= E N ・E X 0 0×1 0 0 =1 0 00 0 0 (元). 1 =10

( 1. 6 )

1 2

第一 章 预 备知识

§ 1 . 5  n维正态分布
正态分布在概率论中扮演极为重要的角色. 一方面, 由中心极限定理知实际 中许多随机变量服从或近似地服从正态分布. 另一方面, 正态分布具有良好的分 析性质. 下面我们讨论 n维正态分布 . 定义1. 1 3  若 n维随机变量 X=(X X …, Xn)的联合概率密度为 1, 2, f ( x )=f ( x x …, x ) 1 , 2, n 1 1 -1 = e x p - ( x -a ) B ( x-a ) ′, 2 ( 2 π )n/2( d e t B )n/2 式中, a=( a a …, a )是常向量, B=( b )n× n 是 正定 矩阵, 则称 X 为 n 维正 1, 2, n i j 态随机变量 或服从 n维正态分布, 记作 X~ N ( a, B ) . 可以证明, 若 X~ N (a, B ), 则 X 的特征函数
i a t ′- iB t ′ 2 g ( t )=g ( t t …, t )=e . 1, 2, n 1

为了应用的方便, 我们不加证明地给出如下常用的几个结论. 性质1  若 X~ N ( a, B ), 则E X BX k =a k,


X k l

=b k , l =1, 2, …, n . k l,

性质2  设 X~ N ( a, B ), Y= XA, 若 A ′ B A 正定, 则 Y~ N ( a A, A ′ B A ). 即正态随机变量的线性变换仍为正态随机变量. 性质3  设 X=(X X X X E X k=1, 2, 1, 2, 3, 4)是 四维 正态 随机 变量, k =0, 3 , 4, 则 E (X (X E (X +E (X E (X 1 X 2 X 3 X 4)= E 1X 2) 3 X 4) 1X 3) 2X 4)+ E (X E (X . 1X 4) 2 X 3)

§ 1 . 6  条 件 期 望
设 X、 Y 是离散型随机变量 , 对一切使 P {Y=y }>0 的 y , 定义 给定 Y=y 时, X 的条件概率为 P {X= x |Y=y }= 给定 Y=y时 , X 的条件分布函数为 F (x | y )= P {X≤x |Y=y }, 而给定 Y=y时 , X 的条件期望为 E (X |Y=y )= dF ( x |y )= ∑ x P {X= x |Y=y }. ∫x

P {X=x, Y=y } , P {Y=y }

§ 1. 6 条 件期望

1 3

若 X、 Y 是 连 续 型 随 机 变 量, 其联 合概 率密 度为 f (x , y ), 则对 一切 使 f y )≥0的 y, 给定 Y=y , X 的条件概率密度定义为 Y( f ( x | y )= 给定 Y=y时 , X 的条件分布函数为 F ( x | y )= P {X≤ x |Y=y } = 而给定 Y=y时 , X 的条件期望定义为 E (X |Y=y )= dF ( x | y ) = f (x | y ) d x. ∫x ∫x f (x, y ) . f y ) Y(

f (x |y ) dx ,

-∞

由此可见, 除了概率是关于事件{Y=y } 的 条件概 率以 外, 现在的 定义 与无 条件 的情况完全一样. E (X |Y=y )是 y的函数 , y是 Y 的一个可能值 . 若在已 知 Y 的 条件下 , 全 面地考虑 X 的均值 , 需要以 Y 代替y , E (X |Y )是 随机 变量 Y 的 函数 , 也 是随 机变量, 称为 X 在 Y 下在的 条件期望 . 条件期望在概率论、 数理统计和随机过程中是一个十分重要的概念, 下面我 们介绍一个极其有用的性质. 性质  若随机变量 X 与 Y 的期望存在 , 则 E X= E [E (X |Y ) ]= (X |Y=y ) dF(y ). ∫E

( 1. 7 )

如果 Y 是离散型随机变量, 则 ( 1. 7 )式为 E X= (X |Y=y )P {Y=y }. ∑E


y ∞

( 1. 8 )

如果 Y 是连续型随机变量, 具有概率密度 f ( y ), 则( 1. 7 )式为 E X=

E (X |Y=y ) f ( y ) d y.

( 1. 9 )

-∞

证  我们仅对 X 与 Y 都是离散型随机变量证明( 1. 9 )式.   = = = (X |Y=y )P {Y=y } ∑E


P {X= x |Y=y }P {Y=y } ∑ ∑x


y x

P {X= x, Y=y }= ∑x ∑P {X=x, Y=y } ∑ ∑x


y x x y

P {X=x }= E X, ∑x

证毕.

从( 1. 7 )式我们看到, E X 是 给 定 Y=y时 , X 的条 件 期望 的一 个加 权平 均 值, 每一项 E (X |Y=y )所加的权是其 作为条 件事 件的 概率. 公式( 1. 7 )也 称为 全期望公式, 是计算随机变量数学期望的一种重要方法. 先对一个适当的随机变量取条件, 不仅使我们能求得期望, 也可以用这种方

1 4

第一 章 预 备知识

法计算事件的概率. 设 A 为一个任意事件 , A 的示性函数 I e )= A( 是一个二值随机变量. 显然 E ( I e ) )= P (A ), A( E ( I e ) |Y=y )= P (A |Y=y ) , A( 对任意的随机变量 Y, 所以由 ( 1. 7 )式我们有 P (A )= (A |Y=y ) dF( y ). ∫P
Y n

1, e ∈A, 0, e úA

特别, 若B k=1 , 2 , …, n 为互不 相容的事 件 , , 定 义离散 型随 k, ∪B k=Ω


k=1

机变量 Y ( e )=k, 若e ∈B k =1, 2 , …, n, k, 则得到( 1. 8 )式的离散形式


P (A )= =

(A |Y=k )P (Y=k ) ∑P
k=1 n

(A |B) P (B). ∑P
k k k=1

上式即为概率中的全概率公式. 例1. 7  设商场一天内的顾客到达人数 N 是 参数为 λ的泊松 随机 变量, 每 个顾客在该商场的消费是相互 独立 的. 其消 费金 额(元)都 服从[ 0, a ]上 的均 匀 分布, 求商场一天的平均营业额. 解  记 X 为商场一天的营业额, Y i =1, i 为第i个顾客在商场的消 费金额,

2 , …, N, 则 X= ∑ Y i.
i= 1

λ -λ P (N=k )= e ,  k=0 , 1, …, k! E Y i= 由 ( 1 . 8 )式

1 a ,  i =1, 2, …, N. 2

E X= = =

(X |N=k )P (N=k ) ∑E
k= 0 ∞ N

∑E
k= 0 ∞ k= 0

(N = k ) ∑ Y |N= k P
i i= 1 k i

∑E ∑Y
i= 1

P (N = k )

§ 1. 6 条 件期望

1 5

・EY・P (N=k ) ∑k
1 k= 0 ∞

= EY ・P (N=k ) 1・ ∑ k
k =1

= EY E N= 1・

1 a λ (元) . 2

例1. 8 (选票问题) 在一 次 选举 中, 候选 人 A 得 到 n 张选 票 , 而候 选 人 B 得到 m 张选票, 其中 n> m, 假 定选 票的 一切 排 列次 序是 等可 能的, 证明: 在计 票过程中, A 的票数始终领先的概率为( n- m ) / (n+ m ). 证  记所求概率为 P 以得到最后那张选票的候选人为条件, 我们有 n,m . P {A 始终领先 |A 得到最后一票}P {A 得到最后一票} n,m = P  + P {A 始终领先 |B 得到最后一票 }P {B得到最后一票} n =P {A 始终领先 |A 得到最后一票} n+ m m  + P {A 始终领先 |B 得到最后一票 } . n+ m 注意到, 在 A 得到最后一票的条件下 , A 始终领先的概率与 A 得到(n-1 )票而 B得到 m 张票的 概 率是 一 样 的 . 在 B 得 到最 后 一 票 的 条件 下 , 可 得类 似 的 结 果. 于是 n m P P + P . n,m = n+ m n- 1,m n+ m n,m -1 下面, 我们用归纳法, 对 n+ m 进行归纳 , 证明 n -m P . n,m = n+ m m=k +1时, 由( 1. 1 0 )式及归纳假设有 n n-1- m m n- m+1 n- m P + = , n,m = n+ mn-1+ m n + mn+ m-1 n+ m 证毕. 例1. 9 (匹配问题) 设有 n个人 , 把他们的帽子混在一起后, 每个人随 机地 选一顶, 求恰好有 k个人选到自己帽子的概率 . 解  记 E 为全不匹配这一事件, M 为第一 个人选 到自 己的帽 子这 一事件 , 珨 M 为第一个人没有选到自己的帽子这一事件 , 令 P (E ) , n =P 则P 由全概率公式我们有 n 与 n有关. P ( E )=P (E |M ) P (M ) +P (E |珨 M )P (珨 M ). n =P ( 1. 1 1 ) ( 1. 1 0 )

当 n+ m=1时, P 结论为真. 假设 n+ m=k时( 1 . 1 1 ) 式成 立, 则当 n+ 1, 0 =1,

1 6

第一 章 预 备知识

由于 P (E |M )=0, 从而 n-1 P (E |珨 M ) . n =P n ( 1. 1 2 )

现在 P (E |珨 M)是 n- 1 个人从 n-1 顶帽子 中各取一 顶都不 匹配的概 率, 其中 有一个人的帽子不在这 n-1顶帽子中. 此事 件由两 个互不相 容的事件 组成. 一 个事件是都不匹配且多余的那个人 (即其帽子已给第一个人取走的那个人)未能 选中多余的帽子( 即第一个选取人的 帽子), 另 一个事 件是 都不匹 配但 多余 的人 选取到了多余的帽子. 前一 个事件 的 概率 是 P 因为 可 以将 多余 的帽 子看 作 n -1 , 为多余的人的. 由于第二个事件的概率是 1 P , 我们有 n-1 n-2 1 P , n- 1 n-2

P (E |珨 M )= P n-1 + 于是, 从( 1. 1 1 )式得 P n= 或等价地

n-1 1 P + P . n n-1 n n-2

1 P (P - P n -P n -1 =- n-2). n n- 1 由于 P P 1 =0, 2= 1 , 于是由( 1. 1 3 )式得 2 P 3 -P 2 =- 所以 1 1 P - . 3= 2 ! 3 ! 一般地, 我们有 1 1 1 (-1 ) P - + -…+ . n= 2! 3! 4! n! 对于固定的 k个人, 只有他们选中自己的帽子的概率为 1 1 1 (n-k ) ! ・ … P = P n- k, n n- 1 n-( k -1 ) n- k n!

( 1. 1 3 )

P 1 2 -P 1 =- . 3 3!

其中 P n- k 是其余 n- k个人从他们自 己的 那些帽 子中 选取 但全不 匹配 的概率 . 因 k个人的选择法有 C 所有恰有 k个匹配的概率是 n 种, C n


k k

( n-k )! 1 1 1 (-1 )n- k P - +…+ . n- k = n! k!2! 3! (n-k ) !


-1 /k !

当 n充分大时上式近似地等于e

第二章 随机过程的概念与基本类型

§ 2 . 1  随机过程的基本概念
初等概率论研究的主要对象是一个 或有限 个随 机变量(或随 机向 量), 虽然 有时我们也讨论了随机变量序列, 但假定序列之间是相互独立的. 随着科学技术 的发展, 我们必须对一些随机现象的变化过程进行研究, 这就必须考虑无穷个随 机变量; 而且解 决问题 的出发点 不是随机 变量的 N 个独立样 本 , 而是无穷 多个 随机变量的一次具体观测. 这时, 我们必须用一族随机变量才能刻画这种随机现 象的全部统计规律性. 通常我们称随机变量族为随机过程. 例2. 1  生 物群 体的增 长问 题. 在描 述群体 的发 展或演 变过 程中, 以 X t表 示在时刻t群体的个数, 则对每一个 t , X 假设 我们从 t =0开 t 是一个随 机变量. 始每隔2 4小时对群体的个数观测一次, 则{X t =0, 1, …}是随机过程. t, 例2. 2  某电话交换台在时间 段[ 0, t ]内接 到的 呼 唤次 数是 与 t有 关的 随 机变量 X ( t ) , 对于固定的 t , X ( t )是一个取非负整数的随机变量. 故{X ( t ), t ∈ [ 0 , ∞) }是随机过程. 例2. 3  在天气预报中, 若以 X t 表 示某地 区第t次统 计所得 到的 该天 气最 高气温, 则 X 为了预报该地区未来的气温, 我们必须 研究随机 过程 t 是随机变量. {X t =0, 1 , …}的统计规律性. t, 例2. 4  在海浪分析中, 需要 观测 某固定 点处 海平面 的垂 直振 动. 设 X ( t ) 表示在时刻 t该处的海平面相对于平均 海平面的 高度 , 则X ( t )是 随机 变量, 而 {X ( t ), t ∈ [ 0, ∞) }是随机过程. 以上例子说明, 必须扩大概率 论的研 究范 围, 讨论 随机过 程的 有关性 质. 为 此, 我们给出随机过程的一般定义. 定义2. 1  设 (Ω, F, P )是 概率 空间, T 是给 定 的参 数集 , 若 对 每个 t ∈ T, 有一个随 机 变 量 X( t , e )与 之 对 应, 则 称 随 机 变 量 族{X ( t , e ), t∈ T }是 (Ω, F, P )上的 随机过程 , 简 记为 随 机过 程{X ( t ), t∈ T }. T 称 为 参数 集 . 通常

1 8

第 二章  随机过 程的概 念与基 本类型

表示时间. 通常将随机过程{X ( t ) , t∈ T }解释 为一 个 物理 系统. X ( t )表 示系 统在 时 刻 t所 处的状态 . X ( t ) 的所 有可能 状态所构 成的集 合称为状 态空间或 相空间, 记为 I . 值得注意的是参数 t可以指通常的 时间, 也 可以 指别的; 当 t是向量 时 , 则 称此随机过程为随机场. 为了简单起见, 我们以后总是假设 T< R=( -∞, ∞). 从数学的观点来说, 随机过程{X ( t , e ), t ∈T } 是定义在 T× Ω 上的二元函 数. 对固定的 t , X ( t , e )是(Ω, F, P )上的随 机变量; 对固 定 e , X ( t , e )是定 义在 T 上的普通函数 , 称为随机过程{X ( t , e ) , t ∈T }的 一个 样本 函数 或 轨道 , 样本 函数的全体称为样本函数空间. 根据参数 T 及状态空间I是可列集或非可列集, 可以 把随机 过程分为 以下 四种类型: 1 ° T 和I都是可列的 ; 2 ° T 非可列 , I可列; 3 ° T 可列 , I非可列; 4 ° T 和I都非可列 . 参数集 T 可列(即1 ° , 3 ° 情形)的随 机 过程 也称 为随 机序 列 或时 间序 列, 一 般用{X t = 0, ±1, ±2, …}表 示. 状 态空 间 I可 列(即 1 ° , 2 °情形)的随 机过 程 t, 也称为可列过程. 显然例2. 1至例2. 4分别对应于上述1 ° ~4 ° 的情况. 随机过程的分类, 除上述按 参 数集 T 与状 态 空间I是否 可 列外 , 还 可以 进 一步根据 X t …, t ( t X (t , …, t在 不同时刻t 1, 2, n 所对应的 随机 变量 X 1), 2) X ( t )之间的概率关系进行分 类, 如 独立 增量 过 程、 马尔 可夫 过 程、 平稳 过程 和 n 鞅过程等, 我们将在后面各章予以详细介绍.

§ 2 . 2  随机过程的分布律和数字特征
研究随机现象, 主要是研究它 的统计 规律 性. 我们 知道, 有限 个随 机变 量的 统计规律性完全由它们的联合分布函数所刻画. 由于随机过程可视为一族(一般 是无穷多个)随机变量, 我们是否也可以用一个无穷维联合分布函数来刻画其统 计规律性呢?由概率论的理论可知, 使用无穷维分布函数的方法是行不通的, 可 行的办法就是采用有限维分布函数族来刻画随机过程的统计规律性. 定义2. 2  设 XT ={X ( t ), t ∈T } 是 随机过程, 对 任意 n≥1 和 t t …, 1, 2, t , 随机向量(X ( t X ( t …, X ( t ) )的联合分布函数为 n ∈T 1), 2), n F t
1 , …, t n

(x …, x )= P {X ( t …, X ( t )≤ x . 1, n 1)≤x 1, n n}

( 2. 1 )

§ 2. 2 随 机过程的 分布律 和数字 特征

1 9

这些分布函数的全体 F= {F x x …, x ), t t …, t , n≥1 } t , … , t ( 1, 2, n 1, 2, n∈T


1 n

( 2. 2 )

称为 XT = {X t ∈T }的有限维分布函数族 . t, 显然, 随机过程 XT ={X ( t ), t ∈T }的有限维分布函数族 F 具有如下性质: ( 1 ) 对称性 对于{ t t …, t }的任意排列{ t t …, t 1, 2, n i , i , i}


1 2 n

F t

, …, t n

(x x …, x ) =F 1, 2 , n t

i 1

, …, t i n

(x t

i 1

, …,

x t );
i n

( 2 ) 相容性 当 m< n时 F x x …, x t ,… , t ( 1, 2, m)= F t
1 m 1 , …, t ,… , t m n

( x x …, x ∞, …, ∞). 1, 2, m ,

反之, 对给定的满足对称性和相容性条件的分布函数族 F, 是否一定存在一个以 F作为有限维分布函数族的随机过程呢?这就是随机过程的存在性定理要回答 的问题. 定理2. 1 ( K o l m o g o r o v存在定 理)  设已 给 参数 集 T 及满 足对 称性 和相 容 性条件的分布函数族 F, 则必存在概率空 间(Ω, F, P )及定 义在其 上的 随机 过程 {X ( t ), t ∈T }, 它的有限维分布函数族是 F. 科尔莫戈罗夫定理是随机过程理 论的基 本定 理, 它是 证明随 机过 程存 在性 的有力工具. 值得注意的是存在性定理中的概率空间(Ω, F, P )和{X t ∈T }的 i, 构造并不惟一. 科尔莫戈罗夫定理说明, 随机过 程的 有限 维分布 函数 族是随 机过 程概 率特 征的完整描述. 由于随机变量的分布函数和特征函数的一一对应关系, 随机过程 的概率特征也可以通过随机过程的有限维特征函数族 Φ={ g θ θ …, θ ): t t …, t , n≥1 } t , …, t( 1, 2, n 1, 2, n ∈T
1 n

来完整地描述, 其中

g θ θ …, θ )= E e x pi ( t ) t ,… , t( 1, 2, n iX i ∑θ
1 n k =1

在实际中, 要知道随机过程的 全部有 限维 分布 函数族 是不 可能的, 因 此, 人 们往往用随机过程的某些统计特征来取 代 F. 随机过 程常 用的统 计特 征定 义如 下. 定义2. 3  设 XT = {X ( t ), t ∈T }是 随机 过程, 如 果 对任 意 t ∈ T, E X ( t ) 存在, 则称函数 mX( t ) 为X T 的 均值函数 .
2 若对任意 t ∈ T, E (X ( t ) ) 存 在, 则称 X 而 称 BX( s , t ) T 为 二 阶 矩 过 程,

E X ( t ),  t ∈T

2 0

第 二章  随机过 程的概 念与基 本类型

E [ (X ( s )- mX( s ) ) (X ( t )- mX( t ) ) ], s , t ∈ T 为 XT 的 协方差函数 . 称 DX( t )=B t , t )= E [X ( t )- mX( t ) ],  t ∈T X(


为X 称 T 的 方差函数 . RX( s , t )= E [X ( s )X ( t ) ],  s , t ∈T 为X T 的 相关函数 . 由S c h w a r z不等式知, 二阶矩过程的协方差函数和相关函数一定 存在, 且有 下列关系: BX( s , t )= RX( s , t ) - mX( s )mX( t ), 特别, 当 XT 的均值函数 mX( t )≡0, 则B ( s , t )= RX( s , t ). X 均值函数 mX( t )是 随机 过程{X ( t ), t ∈T }在 时 刻 t的 平 均 值 , 方 差函 数 DX( t )是随机过程在时刻 t对均值 mX( t )的 偏离 程度, 而 协方差 函数 B s , t ) X( 和相关函数 RX( s , t )则反映随机 过程{X ( t ), t ∈T }在 时刻 s和t时的 线性 相 关程度. 例2. 5  设随机过程 X ( t )= Y c o s ( θ t )+Z s i n ( θ t ),  t >0 , 其中, Y、 Z是相互独立的随机变量 , 且 EY= E Z= 0, D Y= D Z=σ , 求{X ( t ), t >0 }的均值函数 mX( t )和协方差函数 BX( s , t ). 解  由数学期望的性质 E X ( t ) =E [Y c o s ( θ t )+Z s i n ( θ t ) ] =c o s ( θ t ) EY+s i n ( θ t )E Z =0. 因为 Y 与 Z相互独立, 故    BX( s , t )= R s , t )= E [X ( s )X ( t ) ] X( =E [Y c o s ( θ s )+ Z s i n ( θ s ) ] [Y c o s ( θ t )+ Z s i n ( θ t ) ] =c o s ( θ s ) c o s ( θ t )E (Y )+s i n ( θ s ) s i n ( θ t )E (Z) =σc o s [ ( t -s ) θ ]. 例2. 6  设随机过程 X ( t )= Y+Z t ,  t >0, 其中 Y, Z是相互独立的 N ( 0, 1 )随机变量, 求 {X ( t ), t >0 }的一、 二维概率密度 族. 解  由于 Y 与 Z是相互独立的正态随机变量, 故其线性组合仍为正态 随机 变量, 要计 算{X ( t ), t >0 }的 一、 二 维概 率 密 度, 只 要 计 算 数 字 特 征 mX( t ), DX( t ), ρ s , t ) 即可. X( mX( t )= E (Y+Z t )= E Y+t E Z=0,
2 2 2 2

( 2. 3 )

§ 2. 2 随 机过程的 分布律 和数字 特征


2 2 DX( t )= D (Y+Z t )= DY+t D Z=1+t ,

2 1

B s , t )= E X ( s )X ( t ) - mX( s )mX( t ) X( =E (Y+Z s ) (Y+ Z t ) =1+s t , ρ s , t )= X( 1+s t = , 2 2 DX( s ) DX( t ) ( 1+s) ( 1+t) x e x p- ,  t >0, 2 2 2 ( 1+t) 2 π ( 1+t) 1

BX( s , t )

故随机过程{X t >0 }的一、 二维概率密度分别为 t, f ( x ) = t

1    f ( x x ・ s, t 1, 2)= 2 2 2 2 π ( 1+s) ( 1+t ) 1 -ρ  e x p


2 x x 1 1x 2 - 1 ρ 2 -2 2 2 2 1+ s 2 ( 1 -ρ) ( 1+s) ( 1+t) 2

x  + 2 2 1+t 其中 ρ=ρ ( s , t ). X

,  s , t >0,

在实际问题中, 有时需要考虑 两个随 机过 程之 间的关 系. 例如, 通 信系 统中 信号与干扰之间的关系. 此时, 我们采用互协方差函数和互相关函数来描述它们 之间的线性关系. 定义2. 4  设 {X ( t ) , t ∈T }, {Y ( t ), t ∈T }是两个二阶矩过程, 则称 BXY( s , t )

E [ (X ( s )- mX( s ) ) (Y ( t )- mY( t ) ) ] ,  s , t ∈T

为 {X ( t ), t ∈T }与 {Y ( t ), t ∈T }的 互协方差函数 , 称 R s , t ) XY( E [X ( s )Y ( t ) ]

为 {X ( t ), t ∈T }与 {Y ( t ), t ∈T }的 互相关函数 . 如果对任意 s , t ∈ T, 有B s , t )=0, 则称 {X ( t ), t ∈T }与{Y ( t ), t ∈T } XY( 互不相关. 显然有 B s , t )= RXY( s , t )- mX( s )mY( t ). XY( ( 2. 4 ) 例2. 7  设有两个随机 过程 X ( t )=g t +ε )和 Y ( t )= g t +ε ), 其中 1( 2( g ( t )和 g t )都是周期为 L 的周期方波 , ε是在( 0 , L ) 上 服从均 匀分布的 随机 1 2( 变量. 求互相关函数 R ( t , t +τ )的表达式. XY 解  由定义    RXY( t , t +τ )= E [X ( t )Y ( t +τ ) ]

2 2

第 二章  随机过 程的概 念与基 本类型

=E [ g t +ε ) g t +τ +ε ) ] 1( 2( =


1 L

g t +x ) g ( t +τ +x ) f ( x ) d x 1( 2 ε
L 1 2

-∞

+x )g( t +τ +x ) d x. ∫ g(t

令 v=t +x , 利用 g ( t )和 g t )的周期性, 我们有 1 2( RXY( t , t +τ )= = 1 L 1 L


t 0

t +L

g v )g v+τ ) d v 1( 2(
1 2

)g(v+τ ) d v. ∫ g(v

例2. 8  设 X ( t )为信号过程, Y ( t )为噪声过程. 令 W ( t ) =X ( t )+ Y ( t ), 则 W( t )的均值函数为 mW( t )= mX( t )+ mY( t ) , 其相关函数为 RW( s , t )= E [X ( s )+ Y ( s ) ] [X ( t )+ Y ( t ) ] =E [X ( s )X ( t ) ]+ E [X ( s )Y ( t ) ]  + E [Y ( s )X ( t ) ]+ E [Y ( s )Y ( t ) ] = RX( s , t )+ RXY( s , t )+ RYX( s , t )+ RY( s , t ). 上式表明两个随机过程之和的相关函数可以表示为各个随机过程的相关函 数与它们的互相关函数之和. 特别, 若两个随机过程的均值函数恒为零且互不相 关时, 有 RW( s , t )= RX( s , t )+ RY( s , t ).

§ 2 . 3  复随机过程
工程中, 常把随机过程表示成复数形式来进行研究. 下面我们讨论复随机过 程的概念和数字特征. 定义2. 5  设 {X t ∈T }, {Y t ∈T }是取实数值的两 个随机过 程, 若 对任 t, t, 意t ∈T Z i Y t= X t+ t, 其中i = -1, 则称{Z t ∈T }为 复随机过程. t,

当{X t ∈T } 和{Y t ∈T }是二阶 矩过程 时, 其均 值函数、 方 差函 数、 相关 t, t, 函数和协方差函数的定义如下: mZ( t )= E (Z )= E X i E Y t t+ t,       D t ) =E [ |Z ( t ) |] Z( t - mZ


§ 2. 3 复 随机过程

2 3

=E [ (Z ( t ) ) (Z ( t ) ) ], t - mZ t- m Z RZ( s , t ) =E [ Z Z 珔 ], s t B s , t )= E [ (Z ( s ) ) (Z ( t ) ) ]. Z( s- m Z t- m Z 由定义, 易见 B s , t )= R ( s , t ) - mZ( s )mZ( t ). Z( Z 复随机过程的协方差函数具有如下重要性质. 定理2. 2  复随机过程{X t ∈T }的协方差函数 B ( s , t )具有性质 t, ( 1 ) 对称性: B ( s , t )= B ( t , s ); ( 2 ) 非负定性: 对任意 t i =1, 2 , …, n, n≥ 1, 有 i ∈ T 及复数a i,

i, j=1

B ( t t ) a a 珔 . i, j i j ≥0

证  ( 1 )B ( s , t )= E [ (X ( s ) ) (X ( t ) ) ] s- m t- m =E [ (X ( s ) ) (X ( t ) ) ] s- m t- m =B ( t , s ).

( 2 ) 

i, j=1 n

B ( t t ) a a 珔 i, j i j
t i i t j j i j

=E =E

i, j= 1

( t ) ) (X - m ( t ) ) a珔 a ∑ (X - m
n n

( t ) )a t - m i i ∑(X
i=1 i n

∑(X
j= 1

t j

-m ( t ) ) a j j

=E

( t ) ) a ∑ (X - m
i= 1 t i i i n

≥ 0.
k iw t k

例2. 9  设复随机过 程 Z t=

∑ Xe
k =1

, t ≥0, 其中 X X …, Xn 是相 互 1, 2,

独立的, 且服从 N ( 0, σ )的随机变量, w w …, w 求{Z t ≥0 }的均 k 1, 2, n 是常数, t, 值函数 m ( t )和相关函数 R ( s , t ).


解  m ( t )= E (Z ) =E t


k =1

X e k =0, k
n n iw s

iw t

R ( s , t )= E (Z Z 珔 )= E s t

∑ Xke k
k =1

∑ Xe
k k= 1

iw t k

= = =

k, l= 1 n


k =1 n

i ( w s- w t ) k l E (X ) e kX l


k =1

E (Xk) ek
2 i w ( s- t ) k k

iw (s- t )

∑ σe

2 4

第 二章  随机过 程的概 念与基 本类型

两个复随机过程{X }, {Y }的互相关函数定义为 t t R s , t )= E (X 珡 Y ). XY( s t 互协方差函数定义为 BXY( s , t )= E [X s ) ] [Y t ) ] . s- m X( t - mY(

§ 2 . 4  几种重要的随机过程
随机过程可以根据参数空间、 状态 空间是 离散 的, 还是 非离散 的进 行分类, 也可以根据随机过程的概率结构进行 分类. 下 面我们 简单 地介绍 几种 常用 的随 机过程.

一、正交增量过程
定义2. 6  设 {X ( t ) , t ∈T }是零均值 的二阶 矩过 程, 若对任 意的 t 1 <t 2≤ t , 有 3 <t 4∈ T E [X ( t -X ( t ) ] [X ( t -X ( t ) ]=0, 2) 1 4) 3 则称 X ( t ) 为正交增量过程. 由定义知, 正交增量过程的协 方差函 数可 以由 它的方 差确 定. 事实上, 不妨 设 T=[ a, b ]为有限区 间, 且 规定 X (a )=0, 取t , t , t , 则当 1 =a 2 =t 3 =s 4 =t a<s <t <b 时, 有       E [X ( s ) (X ( t )- X ( s ) ) ] =E [ (X ( s )- X ( a ) ) (X ( t )- X ( s ) ) ]=0, 故     BX( s , t )=RX( s , t )- mX( s )mX( t )= RX( s , t ) =E [X ( s )X ( t ) ]=E [X ( s ) (X ( t )- X ( s )+ X ( s ) ) ] =E [X ( s ) (X ( t )- X ( s ) ) ]+ E [X ( s )X ( s ) ] =σ s ). X( 同理, 当 b>s >t >a时 , 有
2 B s , t )= RX( s , t )=σ ( t ), X( X 2

( 2. 5 )

于是
2 B ( s , t )= RX( s , t )=σ m i n ( s , t ) ). X X(

二、独立增量过程
定义2. 7  设 {X ( t ), t ∈T }是 随机 过 程, 若对 任 意 的 正 整数 n 和t 1 <t 2 <…<t , 随机变量 X ( t ( t ), X ( t ( t , …, X ( t )- X ( t n∈ T 2)- X 1 3)- X 2) n n - 1)

§ 2. 4 几 种重要的 随机过 程

2 5

是相互独立的, 则称{X ( t ), t ∈T } 是 独立增量过程, 又称 可加过程 . 这种过程的特点是: 它在任何的 不相 重叠 的时间 间隔 上过程 状态 的改 变是 相互独立的. 实际中, 如服务系统在某段 时间间 隔内 的“顾客”数, 电话 传呼 站电 话的“呼叫”数等均可用这种过程来描述. 因为在不相重叠的时间间隔内, 来到的 “ 顾客”数, “呼叫” 数都是相互独立的. 正交增量过程与独立增量过程都是根据不相重叠的时间区间上随机过程增 量的统计相依性来定义的, 前者增量是互不相关, 后者增量是相互独立. 显然, 正 交增量过程不是独立增量过程; 而独立增量过程只有在二阶矩存在, 且均值函数 恒为零的条件下是正交增量过程. 定义2. 8  设 {X ( t ) , t ∈T }是 独立 增量 随机 过 程, 若对 任意 s<t , 随机 变 量X ( t )- X ( s )的分布仅 依赖 于 t -s , 则称{X ( t ), t∈ T }是 平稳 独立 增量 过 程. 例2. 1 0  考虑一种设备(它可以是灯泡、 汽车轮胎 或某种电 子元件)一 直使 用到损坏为止, 然后换上同类型的 设备. 假设 设备 的使 用寿命 是随 机变量, 记作 X, 则相继换上的设备寿命是 与 X 同分 布的 独立 随机 变 量 X X …, 其中 X 1, 2, k 为第k个设备的 使 用 寿 命. 设 N ( t )为 在 时 间 段[ 0, t ]内更 换 设备 的 件数, 则 {N ( t ), t ≥0 }是 随 机 过 程.对 于 任 意0≤t t N ( t ) , N ( t )- N ( t ) , …, 1 <…< n, 1 2 1 N ( t ) -N ( t [ 0 , t ], [ t t ], …, [ t t n n -1)分别表示在时间段 1 1, 2 n-1 , n]更换 设备 的 件数, 可以认为它们是相互独立的随机变 量, 所以, {N ( t ), t ≥0 }是独 立增 量过 程. 另外, 对于任意 s <t , N -s , 故{N ( t ), t ≥0 }是 平稳 t- N s的分布仅依赖于t 独立增量过程. 例2. 1 1  考虑液体表面 物质 的运 动. 设 X ( t )表示悬 浮在 液面 上微 粒位 置 的横坐标, 则{X ( t ), t ≥0 }是随机过程. 由于微粒的运动是大量分 子的随机 碰撞 引起的, 因此, {X ( t ), t ≥ 0 } 是平稳独立增量过程. 平稳独立增量过程是一类重要的 随机过 程, 后面 将提 到的维 纳过 程和 泊松 过程都是平稳独立增量过程.

三、马尔可夫过程
定义2. 9  设 {X ( t ) , t ∈T }为随机过 程, 若 对任 意正整 数 n及t …, 1 <t 2, <t P (X ( t …, X ( t =x )>0, 且其条件分布 n, 1)=x 1 , n -1) n- 1  P {X ( t )≤ x |X ( t …, X ( t ) =x } n n 1)= x 1, n- 1 n- 1 =P {X ( t )≤ x |X ( t n n n-1)= x n -1}, 则称{X ( t ) , t ∈T }为 马尔可夫过程. ( 2. 6 )式称为过程的 马尔可夫性(或无后效性) . 它表示若已知系统的现在状 ( 2. 6 )

2 6

第 二章  随机过 程的概 念与基 本类型

态, 则系统未来所处状态的概率规律性就已确定, 而不管系统是如何到达现在的 状态. 换句话说, 若把 t ”, 则t 而t t …, t n-1 看作“现在 n 就是“未来”, 1, 2, n-2 就是 “ 过去”, “X ( t )=x ”表示系统在时刻 t ( 2 . 6 )式说明, 系统在 已知 i i i 处于状态 x i. 现在所处状态的条件下, 它将来所处的状态与过去所处的状态无关. 马尔可夫过程 {X ( t ), t ∈T } , 其状 态空 间 I和参 数集 T 可以 是连续 的 , 也 可以是离散的. 有关马 尔 可夫 过程 的进 一 步讨 论, 我 们 将在 第 四章 和 第 五章 进 行.

四、正态过程和布朗过程
定义2. 1 0  设 {X ( t ), t ∈T } 是随 机过程, 若 对任意 正整 数 n 和t t …, 1, 2, t , (X ( t X ( t , …, X ( t ) )是 n维正态随机变量 , 则称{X ( t ), t ∈T }是 n ∈T 1), 2) n 正态过程 或 高斯过程 . 由于正态过程的一阶矩和二阶矩存在, 所以正态过程是二阶矩过程. 显然, 正态过程只要知道其均 值函 数 mX( t )和协 方差 函数 B s , t ) (或 相 X( 关函数 RX( s , t ) ), 即可确定其有限维分布. 正态过程在随机过程中的重要性, 类似于正态随机变量在概率论中的地位. 这是由于在实际问题中, 尤其是在电讯技术中正态过程有着广泛的应用. 正态过 程的一种特殊情形— — —维纳过程, 在现代随机过程理论和应用中也有重要意义. 定义2. 1 1  设 {B ( t ), -∞<t <∞ }为随机过程, 如果 ( 1 )B ( 0 )=0; ( 2 ) 它是独立、 平稳增量过程;
2 2 ( 3 )P s , t , 增量 B ( t )- B ( s )~ N ( 0, σ | t-s | ) , σ >0, 则 称{B (t ),

-∞<t <∞}为 维纳过程 , 也称 布朗运动 . 当σ =1时, 称为标准布朗运动 . 这类过程常用来描述通信中的电流热噪声等. 定理2. 3  设 {B ( t ), -∞<t <∞} 是参数为 σ 的布朗运动, 则 ( 1 ) 对任意 t ∈(-∞, ∞), B ( t )~ N ( 0, σ| t | ); ( 2 ) 对任意-∞<a <s , t <∞, E [ (B ( s )- B ( a ) ) ( B ( t ) -B ( a ) ) ]=σ m i n ( s -a, t -a ), 特别, RW( s , t )=σ m i n ( s , t ). 证 ( 1 ) 显然. 下证 ( 2 ), 不妨设 s ≤t , 则    E [ (B ( s )- B ( a ) ) (B ( t )- B (a ) ) ] =E [ (B ( s )- B ( a ) ) (B ( t )- B ( s )+ B ( s ) -B (a ) ) ] =E [ (B ( s )- B ( a ) ) (B ( t )- B ( s ) ) ]+E ( B ( s ) -B ( a ) ) =E (B ( s )- B (a ) ) =σ( s -a ),
2 2 2 2 2 2 2

§ 2. 4 几 种重要的 随机过 程

2 7

所以
2 E [ (B ( s )- B ( a ) ) ( B ( t ) -B ( a ) ) ]=σ m i n ( s -a, t -a ),

证毕.

五、平稳过程
定义2. 1 2  设 {X ( t ), t ∈T }是随机 过程, 如果 对任意常 数 τ和正 整数 n, t t …, t , t , t , …, t ∈ T, (X ( t X ( t …, X ( t ) )与 1, 2, n ∈T 1 +τ 2 +τ n +τ 1), 2), n (X ( t ) , X ( t ), …, X ( t ) )有相同 的联 合分布, 则 称{X ( t ), t ∈T } 1 +τ 2 +τ n +τ 为严平稳过程 , 也称 狭义平稳过程. 严平稳过程描述的物理系统, 其任意的有限维分布不随时间的推移而改变. 由于随机过程的有限维分布有时 无法确 定, 下面 给出 一种在 应用 上和 理论 上更为重要的另一种平稳过程的概念. 定义2. 1 3  设 {X ( t ), t ∈T } 是随机过程, 如果 ( 1 ){X ( t ), t ∈T } 是二阶矩过程; ( 2 ) 对任意 t ∈ T, mX( t ) =E X ( t )=常数; ( 3 ) 对任意 s , t ∈ T, RX( s , t )= E [X ( s )X ( t ) ]= R s -t ), 则 称{X ( t ), X( t ∈T }为 广义平稳过程 , 简称为(宽)平稳过程. 若 T 为离散集, 则称平稳过程{X ( t ), t ∈T }为 平稳序列 . 显然, 广义平稳过程不一定是 严平稳 过程; 反 之, 严平 稳过程 只有 当其 二阶 矩存在时为广义平稳过程. 值得注意的是, 对正态过程来说, 二者是一样的. 例2. 1 2  设随机过程 X ( t )= Y c o s ( θ t )+Z s i n ( θ t ),  t >0 ,
2 其中, Y, Z是相互独立的随机过程 , 且E Y= E Z=0, DY= D Z=σ , 则由例2. 5

知 mX( t )≡0, RX( s , t ) =σc o s [ ( t -s ) θ ], 故 {X ( t ), t >0 }为广义平稳过程. 例2. 1 3  设{X(t ), - ∞ < t< ∞}是 均 值 为 零 的 正 交 增 量 过 程. E |X ( t )- X ( t ) | =| t |, 若 2 1 2 -t 1 Y ( t )= X ( t )- X ( t -2 ), 证明{Y ( t ), -∞<t <∞}是( 宽)平稳过程. 证  只要验证 {Y ( t ), -∞<t <∞}满足平稳过程的定义即可. ( 1 )E Y ( t )= E [X ( t )- X ( t -2 ) ]= E X ( t )- E X ( t -2 )= 0. ( 2 ) 对P τ ∈R
2 2

2 8

第 二章  随机过 程的概 念与基 本类型

   RY( t +τ , t )= E [Y ( t +τ )Y ( t ) ] =E [X ( t +τ )- X ( t +τ-2 ) ] [X ( t )- X ( t -2 ) ]. 由于 X ( t ) 是正交增 量过 程, 利用 其 增量 在不 相重 叠的 时 间区 间正 交这 一性 质 对 τ进行讨论 . ( i )若 | τ |≥ 2, 则 RY( t +τ , t )=0. ( i i ) 若0≤τ <2, 则 RY( t +τ, t )= E [ (X ( t +τ ) -X ( t ) ) +(X ( t )- X ( t +τ -2 ) ) ] ・  [ (X ( t )- X ( t +τ -2 ) )+(X ( t +τ -2 )- X ( t -2 ) ) ] =E [X ( t )-X ( t +τ-2 ) ] =2-τ. ( i i i ) 若-2<τ <0, 则 R t +τ , t )=E [ (X ( t +τ )- X ( t -2 ) ) +(X ( t -2 )- X ( t +τ -2 ) ) ] ・ Y(   [ (X ( t )- X ( t +τ ) ) +(X ( t +τ )- X ( t -2 ) ) ]
2 =E [X ( t +τ )- X ( t -2 ) ] =2+τ . 2

因此 RY( τ ) =R t +τ, t ) = Y( 与 t无关.


2 ( 3 )E |Y ( t ) | = RY( 0 )=2<∞.

2- | τ |, | τ | <2 , 0, | τ | ≥2

故由( 1 ), ( 2 ) , ( 3 )知{Y ( t ), -∞<t <∞} 是平稳随机过程.

习 题 二
2 . 1  设随机过 程 X ( t )= V t +b , t ∈( 0, ∞), b为 常数 , V 为服从 正态分 布 N ( 0, 1 )的随 机变量 . 求 X ( t ) 的一 维概率 密度、 均值 和相关 函数. 2 . 2  设随机 变量 Y 具有概 率密度 f ( y ) , 令
-Y t X ( t )=e   ( t >0, Y>0 ) ,

求随机 过程 X ( t )的一维 概率密 度及 E X ( t ), R ( t t ) . X 1, 2 2 . 3  若从 t =0开 始每隔1 / 2秒 抛掷一 枚均匀的 硬币做 试验, 定义 随机过 程 X ( t ) = c o s ( π t ), t时刻 抛得正 面, 2 t , t时刻 抛得反 面,

试求: ( 1 )X ( t )的一维 分布函 数 F ( 1 / 2; x ), F ( 1; x ); ( 2 )X ( t ) 的二 维分布 函数 F ( 1 / 2, 1 ; x x ); 1, 2


2 2 ( 3 )X ( t ) 的均 值 mX( t ), mX( 1 ) , 方差 σ t ) , σ 1 ). X( X(

2 . 4  设有随 机过程 X ( t )= A c o s ( ω t )+ B s i n (ω t ) , 其中 ω为常 数, A, B 是相 互独 立且


2 服从正 态 N ( 0, σ )的随 机变量, 求 随机过 程的均值 和相关 函数 .

2 . 5  已知随机 过程 X ( t )的均值 函 数 mX( t )和协方 差函 数 B t t ), φ ( t )为普 通函 X( 1, 2

习 题  二 数, 令Y ( t )= X ( t )+φ ( t ) , 求随机 过程 Y ( t )的 均值和协 方差函 数.

2 9

2 . 6  设随机 过程 X ( t )= A s i n ( ω t +Θ ), 其中 A, ω为 常数 , Θ 是在( -π , π )上的均 匀分


2 布的随 机变量, 令 Y ( t )= X ( t ), 求 R t , t +τ )和 RXY( t , t +τ ). Y( 2 2 . 7  设随机 过程 X ( t )= X+ Y t +Z t , 其中 X, Y, Z 是相互 独立的 随机变量 , 且具有均

值为零 , 方 差为1, 求 随机过程 X ( t )的协方差 函数. 2 . 8  设 X ( t ) 为 实随机 过程, x为任 意实数 , 令 Y ( t ) = 1, X ( t )≤ x, 0, X ( t )> x,

证明随 机过程 Y ( t ) 的均 值函 数和相 关函数分 别为 X ( t )的一维 和二 维分布 函数. 2 . 9  设 f ( t )是一个 周期为 T 的周期 函数 , 随 机变 量 Y 在( 0 , T )上 均 匀分 布 , 令 X ( t ) =f ( t -Y ) , 求证随 机过程 X ( t ) 满足 E [X ( t )X ( t +τ ) ]= 1 T ( t ) f ( t +τ ) d t . ∫f
0 T

2 2 . 1 0 设随 机过程 X ( t ) 的 协方差 函数为 BX( t t 方差 函数为 σ ( t ), 试证 1, 2), X

( 1 )|B ( t t ) |≤σ ( t σ ( t ); X 1, 2 X 1) X 2 ( 2 )|B ( t t ) |≤ X 1, 2 1 2 2 [ σ( t)+σ t ) ]. X( 2 2 X 1

2 . 1 1 设随 机过程 X ( t ) 和 Y ( t )的 互协方 差函数为 B t t ), 试证 XY( 1, 2 | BXY( t t ) |≤σ t )σ t ). 1, 2 X( 1 Y( 2


2 . 1 2 设随 机过程 X ( t )=

∑ Ae
k k=1

i (ω t+ Φ ) k

, 其 中 ω 为 常 数, A k 为 第 k个 信 号 的 随 机 振

幅, Φ ( 0 , 2 π )上均 匀分布 的随机 相位. 所有随 机变量 A Φ ( k =1, 2 , …, N )以及 它们之 k 是在 k, k 间都是 相互独立 的. 求X ( t )的均值 和协方差函数 . 2 . 1 3 设{X ( t ), t ≥0 }是实正 交增量 过程, X ( 0 )=0, V 是 标准正 态随机 变量 . 若 对任意 的t ≥0 , X ( t )与 V 相 互独立 , 令Y ( t )= X ( t ) + V, 求随 机过程{Y ( t ), t ≥0 }的协 方差函 数.

2 . 1 4 设随 机过程 Y n=

其中 X( j =1 , 2, …, n )是相互 独立的 随机变 量, 且 ∑ X,


j j j =1

P {X }=p , P {X }= 1-p=q, j=1 j =0 求{Y n= 1, 2, …}的均值 函数和 协方差 函数. n, 2 . 1 5 设 Y, Z 是 独 立 同 分 布 随 机变 量. P (Y=1 )= P (Y= -1 )=1 / 2 , X( t )= Y c o s ( θ t )+ Z s i n (θ t ), -∞ <t <∞, 其中 θ为常 数 . 证明 随机 过 程{X ( t ), - ∞<t < ∞}是广 义平稳 过程, 但不 是严平 稳过程.
2 -α t 2α t 2 . 1 6  设{ W( t ) , - ∞ < t< ∞}是 参 数 为 σ 的 维 纳 过 程, 令 X ( t )=e W( e ),

-∞<t < ∞, α >0 为 常数. 证明{X ( t ), -∞<t<∞}是 平 稳 正 态 过 程 , 相 关 函 数 RX( τ )=


2 -α | σ e |τ .

2 . 1 7 设{X ( t ), t ≥0 }是维纳 过程, X ( 0 )=0, 试 求它的 有限维概 率密度 函数 族.

第三章 泊松过程
泊松过程是一类较为简单的时间 连续状 态离 散的 随机过 程. 泊松 过程 在物 理学、 地质学、 生物学、 医学、 天文学、 服务 系统 和可靠 性理 论等领 域中 都有 广泛 的应用.

§ 3 . 1  泊松过程的定义和例子
我们先看一个例子. 例3. 1  设电话交换机在[ 0, t ]内收到的呼叫数为 X ( t ), t ≥0 , 则{X ( t ), t ≥ 0 } 是一个随机过程, 且对 任 意给 定的 时刻 t , X ( t )是 取 非负 整数 的离 散型 随 机变量. 由于在不相重叠的时间间隔中收到的呼叫数是相互独立的, 故{X ( t ), t ≥ 0 } 是独立增量过程. 具有上述性质的现象在 生活 中 还有 许多, 如 某 商 店在[ 0, t ]内 到 达 的顾 客 数, 某车站在[ 0, t ]内 的候 车 人数 等. 实际 上, 这 类过 程 都可 以 用泊 松 过 程来 描 述. 下面, 我们给出泊松过程的定义. 定义3. 1  称随机过程{N ( t ), t ≥0 }为 计数过程 , 若 N ( t )表示 到时刻 t为 止已发生的“事件 A ”的总数, 且 N ( t )满足下列条件: ( 1 )N ( t )≥0 ; ( 2 )N ( t )取正整数值; ( 3 )若 s <t , 则 N ( s )≤ N ( t ); ( 4 )当 s <t时 , N ( t )- N ( s )等于区间( s , t ] 中“事件 A ”发生的次数. 如果计数过程 N ( t )在不相重叠的 时间间 隔内, 事 件 A 发生 的次 数是 相互 独立的, 即若 t 则 在( t t ( t 1 <t 2 ≤t 3 <t 4, 1 , 2]内 事 件 A 发 生 的 次 数 N 2)- N ( t ) 与在( t t ( t )- N ( t )相互 独立, 此时计 数过 1 3 , 4]内事件 A 发生的次数 N 4 3 程 N ( t )是独立增量过程. 若计数过程 N ( t )在( t , t+s )内( s >0 ), 事件 A 发 生的 次 数 N ( t +s )- N ( t )仅与时间差 s有关 , 而与 t无关 , 则计数过程 N ( t )是平稳增量过程. 泊松过程是计数过程的最重要的类型之一, 其定义如下:

§ 3. 1 泊 松过程的 定义和 例子

3 1

定义3. 2  称计数过程{X ( t ), t ≥0 } 为具有 参数 λ> 0 的泊松过 程 , 若 它满 足下列条件: ( 1 )X ( 0 )= 0; ( 2 )X ( t )是独立增量过程; ( 3 ) 在任一长度为 t的区间中, 事件 A 发生的次数服从参数λ> 0的泊松分 布, 即对任意 s , t ≥ 0, 有 P {X ( t +s )- X ( s )=n }=e
-λ t

( λ t ) , n= 0, 1, …. n!

( 3. 1 )

注意, 从条件 ( 3 )知泊 松过 程是 平 稳增 量过 程且 E [X ( t ) ]= λ t . 由于, λ= E [X ( t ) ] 表示单位时间内事件 A 发生的平均个数, 故称 λ为此过程的 速率 或 强 t 度. 从定义3. 2中, 我们看到, 为了判 定一个 计数 过程 是泊松 过程, 必 须证 明它 满足条件( 1 ), ( 2 ) 及( 3 ). 条 件( 1 )只是 说明事 件 A 的 计数 是 从t =0 时开 始的. 条件( 2 )通常可从我们对过程了解的情 况去 验证. 然而 条件( 3 )的 检验 是非 常困 难的. 为此, 我们给出泊松过程的另一个定义. 定义3. 3  称计数过程{X ( t ), t ≥0 } 为具有 参数 λ> 0 的泊松过 程, 若 它满 足下列条件: ( 1 )X ( 0 )= 0; ( 2 )X ( t )是独立、 平稳增量过程; ( 3 )X ( t )满足下列两式: P {X ( t +h )- X ( t )=1 } =λ h+o (h ), P {X ( t +h )- X ( t )≥2 } =o ( h ). ( 3. 2 )

定义中的条件 ( 3 )说明, 在充分小的时间间隔内, 最多有一个事件发生, 而不 能有两个或两个以上事件同时发生. 这种 假设 对于许 多物 理现象 较容 易得 到满 足. 例3. 2  考虑机器在( t , t +h ]内发生故障这一事件. 若机器发生故障, 立即 修理后继续工作, 则在( t , t +h ]内机器发生故障 而停止工 作的事 件数构成 一个 随机点过程, 它可以用泊松过程进行描述. 下面我们来证明泊松过程的两种定义是等价的. 定理3. 1  定义3. 2与定义3 . 3是等价的. 证  首先证明定义3. 2蕴含定义3. 3. 由于定义3. 2的条件( 3 )中蕴含 X ( t ) 为平稳增量过程, 故只需证明条件( 3 )的等价性. 由( 3. 1 )式, 对充分小的 h , 有    P {X ( t +h )- X ( t )=1 }= P {X ( h )- X ( 0 )=1 } = e
-λ h

λ h n =λ h ∑ (-λ h ) /n! , 1! n=0

3 2

第三 章 泊 松过程

   P {X ( t +h )- X ( t )≥2 }= P {X ( h )- X ( 0 )≥2 } ( λ h ) = ∑ e- λh =o ( h ). n ! n=2 故定义3. 2蕴含定义3. 3. 下面再证定义3. 3蕴含定义3 . 2. 令 P ( t ) =P {X ( t )=n }= P {X ( t )- X ( 0 )= n }. n 根据定义3. 3之( 2 )和( 3 ), 有 P t +h )= P {X ( t +h )=0 }= P {X ( t +h ) -X ( 0 ) =0 } 0( =P {X ( t )- X ( 0 )=0, X ( t +h )- X ( t )=0 } =P {X ( t )- X ( 0 )=0 }P {X ( t +h )- X ( t )=0 } =P ( t ) [ 1-λ h+o ( h ) ], 0 故 P ( t +h )- P t ) 0 0( o ( h ) =-λ P ( t )+ . 0 h h 令 h→0取极限得 P ′ ( t )=-λ P t ) 或  0 0( 积分得 l nP ( t )=-λ t +c  或 P ( t )=k e 0 0 由于 P 0 )= {P (X ( 0 ) )=0 }=1, 代入上式得 0( P ( t )=e . 0 类似地, 对于 n≥ 1有 P ( t +h )= P {X ( t +h )=n } n =P {X ( t +h )- X ( 0 )=n } =P {X ( t )- X ( 0 )=n, X ( t +h )- X ( t )=0 }  + P {X ( t )- X ( 0 )=n -1 , X ( t +h )- X ( t )=1 }
n -λ t -λ t ∞ n

P ′ t ) 0( =-λ , P ( t ) 0 .

 + ∑ P {X ( t )- X ( 0 )=n-j , X ( t +h )- X ( t )=j }.
j= 2

由定义3. 3的( 2 ) 和( 3 ), 得 P ( t +h )= P ( t )P h )+ P t )P h )+o ( h ) n n 0( n -1( 1( =( 1-λ h )P ( t )+λ h P t )+o (h ) , n n-1( 于是 P ( t +h ) -P ( t ) o ( h ) n n =-λ P ( t )+λ P t )+ . n n-1( h h 令 h→0取极限得

§ 3. 2 泊 松过程的 基本性 质

3 3

P ′ ( t )=-λ P ( t )+λ P ( t ), n n n- 1 所以
λ t λ t e [P ′ ( t )+λ P ( t ) ]=λ e P ( t ), n n n- 1

因此 d λt λ t [ eP ( t ) ] =λ eP ( t ). n n- 1 d t 当 n=1时, 得 d λt λ t λ t -λ t [ eP ( t ) ]=λ eP ( t )=λ e e =λ, 1 0 d t P ( t ) =( λ t +c ) e . 1 由于 P 0 )= 0, 代入上式得 1( P ( t ) =λ t e . 1 λ t ) -λ t( 下面用归纳法证 明 P t )=e 成 立. 假 设 n-1 时( 3. 1 )式 成 立, 根据 n( n! ( 3 . 3 )式, 有 d λ λ t ) λ ( λ t ) λ t( -λ t [ etP ( t ) ]=λ e e = , n d t (n-1 )! (n-1 )! 积分得 (λ t )n λ t e P ( t )= +c . n n! 由于 P ( 0 )= P {X ( 0 ) =n }=0, 代入上式得 n (λ t ) -λ t P ( t )= e . n n! 由条件( 2 ), 有 P { X ( t +s ) -X ( s )= n }=e 故定义3. 3蕴含定义3. 2, 证毕.
-λ t n n-1 n -1 n -λ t -λ t

( 3. 3 )

( λ t ) , n =0, 1, … n!

§ 3 . 2  泊松过程的基本性质
一、数字特征
根据泊松过程的定义, 我们可以导出泊松过程的几个常用的数字特征. 设{X ( t ), t ≥0 }是泊松过程, 对任意的 t , s ∈[ 0, ∞), 且s <t , 有 E [X ( t )- X ( s ) ]= D [X ( t )-X ( s ) ]=λ ( t -s ),

3 4

第三 章 泊 松过程

由于 X ( 0 ) =0, 故 mX( t )= E [X ( t ) ]= E [X ( t )- X ( 0 ) ]=λ t , σ( t )= D [X ( t ) ]= D [X ( t )- X ( 0 ) ]=λ t , RX( s , t )= E [X ( s )X ( t ) ]= E {X ( s ) [X ( t )- X ( s )+ X ( s ) ] } =E [X ( s )- X ( 0 ) ] [X ( t )- X ( s ) ]+E [X ( s ) ] =E [X ( s )- X ( 0 ) ]E [X ( t )- X ( s ) ]


2  +D [X ( s ) ]+ {E [X ( s ) ] } 2 2 X

( 3. 4 )

=λ s λ ( t -s ) +λ s +( λ s )

2 =λ s t +λ s =λ s ( λ t +1 ),

B s , t )= RX( s , t )- mX( s )mX( t ) =λ s . X( 一般, 泊松过程的协方差函数可以表示为 BX( s , t )=λ m i n ( s , t ) . 易知, 泊松过程的特征函数为 g u )=E [ e X(
iuX (t )

( 3. 5 ) ( 3. 6 )

]=e x p { λ t ( e -1 ) }.

i u

二、时间间隔与等待时间的分布
如果我们用泊松过程来描述服务 系统接 受服 务的 顾客数, 则 顾客 到来 接受 服务的时间间隔、 顾客排列的等待时间等分布问题都需要进行研究. 下面我们对 泊松过程与时间特征有关的分布进行较为详细的讨论. 设{X ( t ), t ≥0 }是泊松过程, 令 X ( t )表 示 t时 刻事 件 A 发 生(顾 客出 现) 的次数, W1 , W2 , …分别表示第一次, 第二次, ……事件 A 发生 的时间 , T (n≥ n 1 ) 表示从第(n- 1 )次事 件 A 发生 到第 n次 事 件 A 发生 的时 间 间隔(如图 3. 1 所示).

图3. 1

通常, 称 Wn 为第n次事件 A 出 现的时 刻或 第 n次 事件 A 的 等待 时间, T n 是第 n个时间间隔, 它们都是随机变量. 利用泊松过程中事件 A 发生的对应的时间间隔关系, 可以研 究各次事 件间 的时间间隔分布. 定理3. 2  设 {X ( t ) , t ≥0 }是 具有参 数 λ的泊 松过 程 , {T n≥1 }是对 应 n, 的时间间隔序列, 则随机 变量 Tn(n=1 , 2, … )是 独立同分布的均 值为1 / λ的指

§ 3. 2 泊 松过程的 基本性 质

3 5

数分布. 证  首先注意到事件{T }发生 当且 仅当 泊松过 程 在区 间[ 0, t ]内没 有 1 >t 事件发生, 因而 P {T }= P {X ( t )=0 }= e 1 >t 即 F t )= P {T }=1- P {T } =1- e T ( 1 ≤t 1 >t


1 -λ t -λ t

, ,

所以 T / λ的指数分布 . 利用泊松过程的独立、 平稳增量性质, 有 1 服从均值为1 P {T |T } 2 >t 1 =s =P {在( s , s +t ] 内没有事件发生 |T } 1 =s =P {在( s , s +t ] 内没有事件发生 } =P {X ( t +s )- X ( s )=0 }


-λ t =P {X ( t )- X ( 0 )=0 }=e ,

即 F t )= P {T }=1- P {T } =1- e T ( 2 ≤t 2 >t
2 -λ t

故T / λ的指数分布 . 2 也是服从均值为1 对于任意 n≥ 1和 t , s s …, s 有 1, 2, n -1 ≥0,      P {T |T …, Tn-1 =s } n >t 1 =s 1 , n- 1 =P {X ( t +s ( s } 1 +…+s n -1)- X 1 +s 2 +…+s n -1)=0 =P {X ( t )- X ( 0 )=0 } =e , 即 FT ( t )=P {T }=1-e , n ≤t
n -λ t -λ t

所以对任一 Tn(n ≥1 ), 其分布是均值为1 / λ的指数分布 . 定理3. 2说明, 对于任意 n=1, 2, …事件 A 相继到达的时间间隔 T n 的分布 为 F t )=P {T }= T ( n ≤t

1-e , t ≥0, 0, t <0,

-λ t

其概率密度为 f t )= t(
n -λ t λ e , t ≥0,

0 ,

t <0.

注意, 定理3. 2的结论是在平稳独立增量过程的假设前提下得到的, 该假设 的概率意义是指过程在任意时刻都从 头开始, 即从任 何时 刻起过 程独 立于 先前 已发生的一切(由独立增量), 且有与原过程完全一样的分布(由平稳增量). 由于 指数分布的无记忆性特征, 因此时间间隔的指数分布是预料之中的.

3 6

第三 章 泊 松过程

另一个 感 兴趣 的 是 等待 时 间 Wn 的 分布, 即 第 n 次 事件 A 到 达的 时 间 分 布. 因

Wn =

T n ≥1 ). i  (

i= 1

由定理3. 2知, Wn 是n个相互独立的指数分布随机变量和, 故用特征函数方法, 我们立即可以得到如下结论. 定理3. 3  设 {Wn , n≥1 }是与泊松过程{X ( t ), t ≥0 }对应的 一个等待 时间 序列, 则 Wn 服从参数为 n与λ的 Γ分布, 其概率密度为 f t )= W (

λ e

-λ t

( λ t )n-1 , t ≥0, ( n-1 )!

( 3. 7 )

0, t <0. 定理3. 3也可 以用下述 方法导 出. 注意到第 n 个事件在 时刻t或t之 前发 生当且仅当到时间t已发生的事件数目至少是 n, 即 X ( t )≥ n Z Wn ≤t . 因此


3. 8 ( λ t ) . j !
j-1 j

P {Wn ≤t }= P {X ( t )≥n }= 对上式求导, 得 Wn 的概率密度是



-λ t

j= n

f t )=- 6 λ e W (
n j= n -λ t

-λ t

( λ t ) + j !

λ e

-λ t

j= n

( λ t ) ( j -1 )!

( λ t ) =λ e . (n -1 )! ( 3. 7 )式又称为 爱尔兰 分布 , 它 是 n 个相 互独 立且 服 从指 数分 布的 随机 变 量之和的概率密度. 例3. 3  已知仪器在[ 0, t ]内发生振动的次数 X ( t )是具有参数 λ的泊松过 程. 若仪器振动 k ( k≥ 1 )次就会出现故障, 求仪器在时刻 t 0 正常工作的概率. 解  依题意知故障时刻 T 就是发生第k次振动的时刻 , 由定理3. 3知 T 的 概率密度为 f t )= T( λ e
-λ t

n -1

(λ t ) , t ≥0, ( n-1 )! t <0.


n- 1

0, 故仪器在时刻 t 0 正常工作的概率为 p= P (T>t = 0)

λ e

-λ t

t 0

( λ t )n- 1 d t . (n -1 )!

三、到达时间的条件分布
假设在[ 0, t ]内事 件 A 已 经发 生一 次 , 我们要 确定 这一 事件到 达时 间 W1

§ 3. 2 泊 松过程的 基本性 质

3 7

的分布. 因为泊松过程有平稳独立增量, 故 有理由 认为[ 0, t ]内长 度相 等的 区间 包含这个事件的概率应该相同. 换言之, 这 个事件 的到 达时间 应在[ 0, t ]上 服从 均匀分布. 事实上, 对s <t有 P {W1 ≤s |X ( t )=1 }= = P {W1 ≤s , X ( t )=1 } P {X ( t ) =1 }

P {X ( s )=1 , X ( t ) -X ( s ) =0 } P {X ( t )=1 } P {X ( s )=1 }P {X ( t ) -X ( s )=0 } = P {X ( t )=1 } = λ s e e -λ t λ t e


-λ s -λ ( t- s )

s , t s <0, s ≥t ;

即分布函数为 0, FW 分布密度为 1 , 0≤s <t , fW | X(t)=1( s )= t 1 0, 其它. 这个结果可以推广到一般情况. 定理3. 4  设 {X ( t ) , t ≥0 }是泊 松过程, 已知 在[ 0, t ] 内 事件 A 发生 n次 , 则这 n次到达时间 W1 , W2 , …, Wn 与相应于n个[ 0, t ]上均匀分 布的独立 随机 变量的顺序统计量有相同的分布. 证  令0≤t , 且取 h i =1, 2, …, 1 <…<t n+1 =t i 充分小 使得t i +h i <t i+1( n ), 则在给定 X ( t )= n的条件下 , 我们有    P { t …, t |X ( t )= n } 1≤W 1 ≤t 1 +h 1, n ≤ Wn ≤ t n +h n = = 因此 P { t i = 1, …, n |X ( t )= n } n! i≤ W i ≤t i +h i, = n. h 1 …h n t 令h 我们得到 W1 , …, Wn 在已知 X ( t )=n的条件下的条件概率密度为 i →0, n! , n , 0<t 1 <t 2 <…<t n <t t f ( t , …, t | X ( t )= n )= 1 n 0 , 其它, P { [ t t ] 中有一事件, i = 1, …, n, [ 0, t ]的别处无事件} i, i+h i P {X ( t )= n } λ h 1e
-λ h 1 |X (t )= 1 1

( s )= s / t , 0≤s <t , 1,

…λ h e ne n -λ t n e ( λ t )/ n!

-λ h

-λ (t- h - … - h ) 1 n

n! nh 1h 2 …h n, t

3 8

第三 章 泊 松过程

证毕. 例3. 4  设在 [ 0, t ]内事件 A 已经发生 n次 , 且0<s <i , 对于0<k <n, 求 P {X ( s )=k |X ( t )= n } . 解  利用条件概率及泊松分布得 P {X ( s )=k |X ( t )=n }=   = P {X ( s )=k , X ( t )=n } P {X ( t )=n }

P {X ( s )=k , X ( t )- X ( s )=n-k } P {X ( t )=n }


-λ s k ( λ s ) λ ( t -s ) ]n- k -λ ( t- s )[ e k ! (n-k )! n ( λ t ) -λ t e n!

e   =

  =C n 这是一个参数为 n和

s t

1-

s t

n- k

s 的二项分布. t

例3. 5  设在 [ 0, t ]内事件 A 已经发生 n次 , 求第 k ( k< n )次事 件 A 发生 的时间 Wk 的条件概率密度函数. 解  先求条件概率 P { s < Wk≤s +h |X ( t )= n }, 再对 s求导 . 当 h充分小时, 有    P { s < Wk ≤s +h |X ( t )=n } =P { s < Wk ≤s +h, X ( t )=n } / P {X ( t )=n } =P { s < Wk ≤s +h, X ( t )- X ( s +h )= n-k } e( λ t ) n!
λ t =P { s < Wk ≤s +h }P {X ( t )- X ( s +h )= n-k } e ( λ t )- nn! . λ t -n

将上式两边除以 h, 并令 h→ 0取极限, 得    f W


|X (t ) k

( s |n )= l i m
h →0 k

P { s < Wk ≤s +h |X ( t )= n } h

λ t - n =f s )P {X ( t )- X ( s )= n-k } e ( λ t ) n! W (

n! s s = 1- k ( k -1 ) !( n-k )!t t

k- 1

n- k

其中 Wk 的概 率 密 度 f s )由 定 理 3. 3 给 出. 由 上 式 结 果 知, 条件概率 密度 W ( f W
|X (t ) k

( s | n )是一个 B a t a分布.

例3. 6  设{X t ), t ≥0 }和{X t ), t ≥0 }是两 个相互 独立的泊 松过程, 它 1( 2( 们在单位时间内平均出现的事件数分别为 λ 记 Wk 为过程 X t )的第 k 1和 λ 2. 1(
2 ) ) 次事件到 达 时 间,W( 为过程 X t )的 第 1 次 事 件 到 达 时 间, 求 P { W(1 < 1 2( k ( 1)

§ 3. 2 泊 松过程的 基本性 质

3 9

) W(2 , 即第一个泊松过程的第 k次事 件发 生比 第 二个 泊松 过程 的第 1 次事 件 1 }

发生早的概率. 解  设 Wk 的取值为 x , W1 的取值为 y, 由( 3. 7 )式得


( 1 )( f x )= W k ( 1) ( 2 ) k- 1

λ e 1 0,

-λ x 1

( λ ) 1x , x≥0, (k -1 )! x<0,
-λ y 2

fW(2)( y )=

λ e 2 0,

, y ≥ 0, y < 0,

则 P {Wk < W1 }= f (x, y ) dx d y ,
D ( 1) (2 )

其中 D 为 由 y= x 与 y 轴 所 围 区 域(如 图 3. 2 ), f (x, y )为 Wk 与 W1 的联合概率密度. 由于 X t )与 X ( t )相互独立, 故 1( 2


( 1 )( ( 2 )( f (x, y )=f x ) f y ), W W k 1 (1) (2 )

图3. 2
k- 1

所以
1 ) ( 2) P {W( k < W 1 }=

∫∫

( λ ) 1x -λ x -λ y 1 2 d λ e λe y dx 1 ( k-1 )! 2

λ 1 λ + λ 1 2

例3. 7  仪器受到振动而引起损伤. 若震动是按强度为 λ的泊松 过程发生 , 第 k次震动 引 起 的 损 伤 为 D D D … 是 独 立 同 分 布 随 机 变 量 序 列, 且和 k, 1, 2, {N ( t ), t ≥0 }独立, 其中 N ( t )表示[ 0 , t ]时间 段仪 器受 到 震动 次 数. 假 设仪 器 受到震 动而 引起的 损伤 随时 间按指 数减 小, 即如 果震动 的初 始损伤 为 D, 则震 动之后经过时间 t后减小为 D e ( α>0 ). 若损 伤是可叠 加的, 即在时 刻 t的损
N(t ) -α t

伤可表示为 D ( t )= E [D ( t ) ].

-α (t- τ ) k , D e 其中 τ 求 k k 为仪 器受 到第 k次 震动 的时 刻,

k= 1

N(t )

解     E [D ( t ) ]= E

D e k
N (t )

-α (t -τ) k

k =1

=E E 由于
N(t )

D e k

-α (t -τ ) k

|N ( t )

k= 1

 E

D e k

-α (t -τ ) k

|N ( t )= n

k=1

4 0

第三 章 泊 松过程

=E

D e k

-α (t -τ ) k

|N ( t )= n
α τ k|N e ( t )= n ,

k =1 n

-α t =E (D e E 1)

k=1

由定理3. 4知在 N ( t )= n 的条 件下 , τ k=1, 2, …, n 是[ 0, t ]上 相互 独立 的 k, 均匀随机变量 U (k ), k=1, 2, …, n的顺序统计量, 故


n n

e k|N ( t )= n = E =n

α τ

k= 1


αU(k )

=n [E e
α t

αU( k )

k= 1 α x

1 t

n ( e -1 ), ∫e dx=α t

于是 E [D ( t ) |N ( t ) ]= 所以 E [D ( t ) ] = N ( t ) -α t ( 1- e )E (D 1), α t

λ E (D 1) - α t ( 1-e ). α

§ 3 . 3  非齐次泊松过程
本节中我们推广泊松过程, 允许时刻 t的来到强度(或速率)是 t的函数 . 定义3. 4  称计数过程{X ( t ), t ≥0 } 为具有跳跃强度函数 λ ( t ) 的 非齐次泊 松过程 , 若它满足下列条件: ( 1 )X ( 0 )= 0; ( 2 )X ( t )是独立增量过程; ( 3 )P {X ( t +h )- X ( t )=1 }=λ ( t ) h+o (h ), P {X ( t +h )- X ( t )≥2 }=o (h ). 显然, 非齐次泊松过程的均值函数为 mX( t )= ( s ) d s . ∫λ
0 t t

( 3. 9 )

对于非齐次泊松过程, 其概率分布由下面的定理给出. 定理3. 5  设 {X ( t ) , t ≥0 }是 具有均值 函数 mX( t )= 泊松过程, 则有      P {X ( t +s )- X ( t )=n } [mX( t +s )- mX( t ) ] = e x p {-[mX( t +s )- mX( t ) ] } (n≥0 ) n! 或

( s ) d s的非 齐次 ∫λ

§ 3. 3 非 齐次泊松 过程

4 1

[mX( t ) ]n P {X ( t )=n }= e x p {- mX( t ) }  ( n≥0 ). n! 证  沿着定理3. 1的证明路线, 稍加修改即可证明. 对固定 t定义 P ( s )= P {X ( t +s )- X ( t ) =n }, n 则有     P s +h )=P {X ( t +s +h )- X ( t )=0 } 0( =P {在( t , t +s ]中没事件, 在 ( t +s , t +s +h ]中没事件} =P {在( t , t +s ]中没事件}P { 在( t +s , t +s +h ]中没事件 } =P s ) [ 1-λ ( t +s )h+o (h ) ], 0( 其中最后第二个等式由非齐次泊松过程定义的条件 ( 2 )得到, 而最后一个等式由 条件( 3 )得到, 因此 P ( s +h )- P s ) o ( h ) 0 0( =-λ ( t +s )P ( s )+ , 0 h h 令 h→0取极限, 得 P ′ s ) =-λ ( t +s )P ( s ) 0( 0 或 l nP ( s )=- 0 或
-[ m (t+ s )- X P ( s )= e 0 m (t )] X

( t +u ) du ∫λ

同理    P ( s +h ) n =P {X ( t +s +h )- X ( t ) =n } =P { ( t , t +s ] 中有 n个事件 , ( t +s , t +s +h ]中没事件}  + P { ( t , t +s ]中有 n-1个事件, ( t +s , t +s +h ]中有1个事件}  + P { ( t , t +s ]中有 n-2个事件, ( t +s , t +s +h ]中有2个事件}  +… =P ( s ) [ 1-λ ( t +s )h+o (h ) ]+ P ( s ) [ λ ( t +s )h ]+o (h ), n n- 1 因此 P ( s +h )- P ( s ) o (h ) n n =-λ ( t +s ) P ( s )+λ ( t +s )P ( s )+ , n n- 1 h h 令 h→0取极限, 得 P ′ ( s )=-λ ( t +s )P ( s )+λ ( t +s )P ( s ). n n n -1 当 n=1时, 有 P ′ s )=-λ ( t +s )P s ) +λ ( t +s )P ( s ) 1( 1( 0

4 2

第三 章 泊 松过程

=-λ ( t +s )P s ) +λ ( t +s ) ・ 1(  e x p {- [mX( t +s )- mX( t ) ] }. 上式是关于 P s )的一阶线性微分方程, 利用初始条件 P ( 0 )=0, 可解得 1( 1 P s )=[mX( t +s ) - mX( t ) ] e x p {-[mX( t +s )- mX( t ) ] }, 1( 再利用归纳法即可得证, 证毕. 1 例3. 8 设{X ( t ) , t ≥0 }是具有跳跃强度 λ ( t )= ( 1+c o sω t ) 的非齐次泊 2 松过程(ω≠0 ). 求E [X ( t ) ]和 D [X ( t ) ]. 解  由( 3. 9 ) 式得 E [X ( t ) ]= mX( t )= = 由 ( 3 . 9 )式知 D [X ( t ) ]= mX( t )= 1 1 t + s i nω t. 2 ω ( 1+ c o sω s ) d s ∫1 2
0 t

1 1 t + s i nω t. 2 ω

例3. 9  设某路公共汽车从早晨5时到晚上 9时有 车发出. 乘客 流量如下: 5时按平均乘客为2 0 0人 / 时计算; 5时至8时 乘客 平均到 达率 按线 性增加, 8时 到达率为14 0 0人 / 时; 8时至1 8时保持平均到达率不变; 1 8时到2 1时从到达率 14 0 0人 / 时按线性下降, 到2 1 时为2 0 0人 / 时. 假定乘 客数在不相重叠 时间间隔 内是相互独立的. 求1 2时至1 4时有20 0 0人来站乘车的概 率, 并 求出两小 时内 来站乘车人数的数学期望. 解  将时间5时至2 1时平移为0时至1 6时, 依题意得乘客到达率为 2 0 0 +4 0 0 t , λ ( t )= 14 0 0, 乘客到达率与时间关系如图3. 3所示. 0≤t ≤3, 3<t ≤1 3,

14 0 0-4 0 0 ( t -1 3 ), 1 3 <t ≤1 6.

图3. 3

§ 3. 4 复 合泊松过 程

4 3

  由题意知乘客数 X 的变化可用非齐次泊松过程描述. 因为 mX( 9 )- mX( 7 )= 0 0 d s =28 0 0, ∫14


7 2 00 0 9

所以在1 2时至1 4时有20 0 0名乘客到达的概率为 28 0 0 R {X ( 9 )-X ( 7 ) =20 0 0 }=e-2 800 . 20 0 0! 1 2时至1 4时乘客数的数学期望为 mX( 9 )- mX( 7 )=28 0 0 (人). 例3. 1 0  设{X ( t ), t ≥ 0 }是具有均 值函数 m ( t )= ( s ) d s的非齐 次泊 ∫λ
0 t

松过程, {Wn , n≥ 1 }是其等待时间序列. 求 Wn 的概率密度. 解  当 t >0时, 由于{Wn ≤t } ={X ( t ) ≥n }, 故 P (Wn ≤t )= P (X ( t )≥n )= 6 上式对 t求导. 得到 Wn 的概率密度

[m ( t ) ] - m(t) e . j ! j= n

f W

(t )=

j= n

j- 1 j [m ( t ) ] [m ( t ) ] - m( t ) - m ′ ( t ) e -6 m ′ ( t ) e ( j -1 ) ! j ! j= n

m(t )

由于 m ′ ( t )=λ ( t ). 故
j- 1 [m ( t ) ] - m(t ) fW (t) =λ ( t ) e . n ( j -1 )!

当t ≤0时, f t ) =0 . W (


j- 1 [m ( t ) ] λ ( t ) e- m(t) , t >0, ( j -1 )! f ( t )= W n 0, t ≤0.

§ 3 . 4  复合泊松过程
复合泊松过程有广泛的应用, 其定义如下. 定义3. 5  设 {N ( t ), t ≥0 }是强度为 λ的泊松 过程 , {Y k=1, 2, …}是一 k, 列独立同分布随机变量, 且与{N ( t ), t ≥0 }独立, 令
N(t )

X ( t )= 6 则称{X ( t ) , t ≥0 }为复合泊松过程.

Y  t ≥0, k,

k =1

例3. 1 1  设 N ( t )是在时间段( 0, t ]内来到某商店的顾客人数, {N ( t ), t ≥ 0 } 是泊松过程. 若 Yk是第k个顾客在商店所花的钱数, 则{Yk , k=1, 2, …}是独

4 4

第三 章 泊 松过程

立同分布随机变量序列, 且与{N ( t ), t ≥0 }独 立. 记 X ( t )为 该商 店在( 0, t ]时


N(t )

间段内的营业额, 则 X ( t )= 6
N(t )

Y t ≥0是一个复合泊松过程. k, Yk , t ≥0是复合泊松过程, 则

k=1

定理3. 6  设 X ( t )= 6

k= 1

( 1 ){X ( t ), t ≥0 }是独立增量过程; ( 2 )X ( t )的特征函数 g u )=e x p {λ t [ g u )-1 ] }, 其中 g u )是 随机 X (t )( Y( Y( 变量 Y λ是事件的到达率 ; 1 的特征函数; ( 3 )若 E (Y 则E [X ( t ) ]=λ t E [Y ], D [X ( t ) ]=λ t E [Y1]. 1)<∞, 1 证 ( 1 ) 令0≤t 则 0 <t 1 <…<t m,
N(t ) k 2 2

X ( t )- X ( t )= k k- 1

i= N( t )+1 k -1

Y k =1, 2, …, m. i,

由条件, 不难验证 X ( t )具有独立增量性. ( 2 ) 因为    g t ) (u )= E [ e X(


∞ i uX(t )


i uX(t )

= = = =

6 6 6 6

E [ e Ee

|N ( t )=n ]P {N ( t )=n } |N ( t )= n e
n -λ t

n =0 ∞ N ( t ) iu Y k k=1

n =0 ∞

( λ t ) n!

n =0 ∞

Ee x pi u 6

Y k
-λ t

-λ t e

k=1 n

( λ t )n n!

[g u ) ]e Y(

n =0

( λ t ) =e x p { λ t [ g u )- 1 ] }. Y( n !

( 3 ) 由条件期望的性质 E [X ( t ) ] =E {E [X ( t ) |N ( t ) ] }, 由假设知
N( t )

E [X ( t ) |N ( t )= n ]=E =E 所以

6 6

Y |N ( t ) =n i

i= 1 n

Y |N ( t ) =n = E i

i=1

Y E (Y1), i =n

i= 1

E [X ( t ) ] =E { E [X ( t ) |N ( t ) ] }= E [N ( t ) ]E (Y t E (Y ). 1)= λ 1 类似地 D [X ( t ) |N ( t ) ]= N ( t )D [Y1],     D [X ( t ) ] =E X( t )-[E X ( t ) ]


2 2 2 2

=E {E [X ( t ) |N ( t ) ] }-{E [E (X ( t ) |N ( t ) ] }

§ 3. 5 泊 松过程的 应用
2 2 =E {D [X ( t ) |N ( t ) ]+( E [X ( t ) |N ( t ) ] ) }-(EN ( t )EY 1)

4 5

=E {N ( t )D [Y } +D {N ( t )E [Y1] } 1] =λ t D (Y1)+λ t (E Y 1)
2 =λ t E (Y1) . 2

上述结果也可以利用特征函数与矩的关系得到.

§ 3 . 5  泊松过程的应用
本节我们介绍软件可靠性的数学模型. J M 模型是 Z. J e l i n s k i和 P.M o r a n d a于 1 9 7 2 年提 出 的软 件可 靠性 数学 模 型. 它的假设是: ( 1 ) 软件中的初始错误个数为一个未知但固定的常数, 用 N 0 表示. ( 2 ) 错误一旦被查出即被完全排除, 于是每次排错之后, N 0 就要减去1. ( 3 ) 在任何时候的故障 率都与 软件 中的 剩余错 误个 数成 正 比, 正比 例常 数 用 φ表示 . 根据假设, 在第一个错误被排除之后, 故 障率就 由 N0 φ变 为(N )φ. 然 0 -1 后以此类推. 显然J M 模型就是一个非齐次的泊松过程. 设 T T …, Tn 表示相继 出现 1, 2, 的错误之间的时间区间长度. 根据 假设, 在 每两个 错误 之间 只有惟 一的 故障率, 故T i 的密度即为: f t )=φ [N0 - ( i -1 ) ] e x p { -φ [N i -1 ) ] t }, T( i 0 -( i

3. 1 0

其中 N 下面讨论J M 模型的参数估计问题. 0 和 φ是两个未知参数. 记样本 T T …, T t …, t 则由( 3. 1 0 )式 得到 似然 函 1, 2, n 的观测值为t 1, 2, n, 数:


L ( t t …, t )= 1, 2, n

φ [N i -1 ) ] e x p {-φ [N ( i -1 ) ] t }, 0 -( 0- i

i=1

其中, n为样本大小 , 即到当前时刻为止所排除的错误个数. 故对数似然函数为:


n n

l nL= 6 l n { [N i -1 ) ]φ }- 6 [N i -1 ) ]φ t 0 -( 0 -( i
i= 1 n i =1 n

=6 l n [N0 -( i -1 ) ]+ n l n φ- 6 [N0 -( i -1 ) ]φ t i,
i= 1 i= 1

上式分别对 N 并令结果为零; 0 和 φ求偏导, 5l nL 1 =6 - 5 N0 N -( i -1 ) 0 i=1


n n

φ t 0, i=

3. 1 1

i=1

4 6

第三 章 泊 松过程

5l nL n = - 6 [N0 -( i -1 ) ] t i =0. 5φ φ i=1


3. 1 2

t , 于是从( 3 . 1 2 )可解出: i =t φ= n

i=1

( 3. 1 3 )

N0t- 6 ( i -1 ) t i
i= 1

( 3 . 1 1 )可以写成:

i=1

1 = N i -1 ) 0 -(

n t

N -6 ( i-1 ) t 0t i
i=1

n . n 1 N ( i-1 ) t 0 - i t6 i=1 ( 3. 1 4 )
n n

方程( 3. 1 4 )不含 φ, 可由 测试 收 集的 数据 计算 出 t = 值. 将它们代入( 3 . 1 4 ), 则可解出 N N0 : 0 的估计值 ^ 1 1 1 + +…+ = N0 N -1 N -( n-1 ) 0 0

t i与

i =1

( i-1 ) t i的

i=1


N0 -

t i

-1

i=1

・6 ( i-1 ) t i
i= 1

再将 ^ N 3. 1 3 ), 可解出 φ的估计值^ φ: 0 代入( ^ φ= n


n n

^ N i -1 ) t 06 t i-6 ( i
i= 1 i =1

事实上软件中的初始错误个数 N 此时J M 模型的参 数如 0 为一个随机变量, 何估计?有兴趣的读者可进一步参考有关专著及文献.

习 题 三
  3 . 1  设 X ( t )和 X ( t ) 是分 别具有 参数 λ 证明 1 2 1和 λ 2 的 相互独立 的泊松 过程, ( 1 )Y ( t )= X ( t )+ X ( t )是具 有参数 λ 1 2 1 +λ 2 的泊松 过程; ( 2 )Z ( t )= X ( t ) -X ( t )不是泊松 过程. 1 2 3 . 2  设到达 某商店的 顾客组 成强度 为 λ的泊松 过程 , 每个 顾客购 买商品的 概率为 p, 且 与其它 顾客是否 购买商 品无关 , 若{Y t ≥ 0 } 是购 买商品 的顾客 数, 证明{Y t ≥0 } 是 强度为 t, t, λ p的 泊松过程 . 3 . 3  设电话 总机在( 0, t ]内接到 电话 呼叫数 X ( t )是具 有强度(每分钟)为 λ的泊 松过 程, 求 ( 1 ) 两 分钟内 接到3 次呼叫的 概率; ( 2 )“第二分 钟内收 到第三 次呼 叫 ”的 概率.

习 题  三

4 7

3 . 4  设 {X ( t ), t ≥0 }是具 有参 数 为 λ 的泊松 过程 , 假 定 S 是 相邻 事件的 时间 间隔 , 证 明 P { S>s s |S>s {S >s }, 1+ 2 1}= P 2 即假定预 先知道 最近一 次到达发生在 s 下 一 次到 达 至少 发生在 将来 s 1 秒, 2 秒的 概率等 于在 将来 s ). 2 秒 出现下一 次事件 的无条 件概率(这 一性质 称为“泊松过 程无记 忆”性 3 . 5  设到达 某路口的 绿、 黑、 灰色的 汽 车 的到 达率分 别为 λ λ λ 且 均为 泊松过 程, 1, 2, 3, 它们相 互独立. 若 把这些 汽车合并 成单个 输出过 程 (假定无 长度、 无延 时) , 求 ( 1 ) 相 邻绿色 汽车之 间的不同 到达时 间间隔 的概率 密度; ( 2 ) 汽 车之间 的不同 到达时刻 间隔的 概率密 度. 3 . 6  设{X ( t ) , t ≥0 }为具 有参数 λ的 泊松过 程 , 证明: ( 1 )E (Wn )= n , 即泊 松过程 第 n次到 达时间 的数学 期望恰好 是到达 率倒数 的n倍 ; λ

n ( 2 )D (Wn) = 2, 即 泊松过程 第 n次到 达时间 的方差 恰好是到 达率平 方的倒 数的n 倍 . λ 3 . 7  设{X ( t ) , t ≥0 }和{Y ( t ), t ≥0 }分别是 具有参 数 λ 1和λ 2 的 相互独 立的 泊松过 程. 令 W和W ′是 X ( t )的两 个 相 继 泊 松型 事件 出 现 的 时 间, 且 W< W ′ . 对 于 W <t <W ′, 有 X ( t ) =X (W )和 X (W ′ ) =X (W ) +1 , 定义 N= Y (W ′ )- Y (W) , 求 N 的概率分 布 . 3 . 8  设脉冲 到达计数 器的规 律是到 达率为 λ的 泊松过 程, 记录每 个脉冲的 概率为 p, 记 录不同 脉冲的概 率是相 互独立 的. 令X ( t )表示已 被记录 的脉冲 数. ( 1 )求 P {X ( t )=k }, k =0, 1 , 2, …; ( 2 )X ( t ) 是否 为泊松 过程. 3 . 9  某商店每 日8时 开始营 业, 从8时 到1 1 时 平 均顾 客到达 率线 性 增 加, 在8时 顾客 平均到 达率为5 人/时, 1 1时到 达率达最 高峰2 0人/时 . 从1 1 时到1 3 时, 平均顾 客到 达率维 持不变 , 为2 0人/ 时, 从1 3时 到1 7时, 顾客 到达率线 性下降 , 到1 7时 顾客到 达率为1 2人/时. 假定在 不相重叠 的时间 间隔内 到达商店的 顾客数 是 相互 独 立 的, 问在 8: 3 0—9: 3 0间无 顾客 到达商 店的概率 是多少 ?在这 段时间内到达 商店的 顾客数 学期望是 多少? 3 . 1 0 设移 民到某 地区定 居的户 数是一 泊 松 过程, 平均 每周 有 2 户 定 居, 即 λ=2. 如果 每户的 人口数是 随机变 量, 一户四 人的概 率为1 / 6, 一 户 三人 的概率 为1 / 3 , 一户 两人的 概率 为1 / 3, 一 户一人 的概率 为1 / 6, 并且 每户的 人口数 是 相 互独 立的, 求 在五 周 内移 民到该 地区 人口的 数学期望 与方差 . 3 . 1 1 设{X ( t ), t ≥0 }是具有 均值函 数 m( t )= ( s ) d s的 非齐 次 泊 松过 程, 证 明在 ∫λ
0 t

{X ( t ) =n }的 条件下, n次 事件的 到达时 间 W1 < W2< …< Wn 的条件 概率密度 为


f ( t …, t ( t )= n )= 1, n |X

n! 7 0,

i =1

λ ( t ) i , 0< t , 1 < … < t n <t m ( t ) 其 它.

第四章 马尔可夫链
  马尔可夫过程按其状态和时间参数是连续的或离散的, 可分为三类: ( 1 ) 时间、 状态都是离散的马尔可夫过程, 称为马尔可夫链. ( 2 ) 时间连续、 状态离散的马尔可夫过程, 称为连续时间的马尔可夫链. ( 3 ) 时间、 状态都连续的马尔可夫过程.

§ 4 . 1  马尔可夫链的概念及转移概率
一、马尔可夫链的定义
假设马尔可夫过程{Xn , n∈ T }的参数集 T 是离散的时间 集合 , 即 T={ 0, 1 , 2, …}, 其相应 X ={ i n 可 能 取值 的全 体组 成的 状 态空 间是 离散 的 状态 集 I 1, i i …}. 2, 3, 定义4. 1  设有随机过程{Xn , n∈ T }, 若 对于任意 的整数 n∈ T 和任 意的 i i …, i , 条件概率满足 0, 1, n+ 1 ∈I P {X |X X …, Xn =i } n +1 =i n+ 1 0 =i 0, 1 =i 1, n =P {X |Xn =i }, n +1 =i n+ 1 n 则称{Xn , n∈ T }为 马尔可夫链 , 简称 马氏链. ( 4. 1 )式是马尔可夫链的马氏性(或无后效性) 的数学表达式. 由定义知     P {X X …, X } 0 =i 0, 1 =i 1, n =i n =P {X |X X …, Xn-1 =i } ・ n =i n 0 =i 0, 1 =i 1, n- 1  P {X X …, X } 0 =i 0, 1 =i 1, n- 1 =i n -1 =P {X |X } P {X X …, X n =i n n-1 =i n- 1 0 =i 0, 1 =i 1, n -1 =i n-1} =… =P {X |X } P {X X }…・ n =i n n-1 =i n- 1 n -1 =i n -1| n -2 =i n- 2  P {X X }P {X }. 1 =i 1| 0 =i 0 0 =i 0 可见, 马尔可夫链的统计特性完全由条件概率 ( 4. 1 )

§ 4. 1 马 尔可夫链 的概念 及转移 概率

4 9

P {X |Xn =i } n +1 =i n+ 1 n 所决定, 如何确定这个条件概率, 是马尔可夫链理论和应用中的重要问题之一.

二、转移概率
条件概率 P {X |X }的直观含义为系统在时刻 n处于状态i的条 n +1 =j n =i 件下, 在时刻 n+1系统处于状 态 j的概率 . 它相当于 随机游动的质点 在时刻 n 处于状态i的条件下, 下一步转移 到状 态 j的概率. 记此条 件概 率为 p (n ), 其 i j 严格定义如下: 定义4. 2  称条件概率 p ( n )= P {Xn+1 =j |X } i j n =i 为马尔可夫链{X n∈ T }在时刻 n的一步转移概率, 其中 i , j ∈I , 简称为 转移 n, 概率 . 一般地, 转移概 率 p (n )不 仅 与 状 态 i , j有 关 , 而 且 与 时 刻 n 有 关. 当 i j p ( n )不依赖于时刻 n时 , 表示马尔可夫链具有平稳转移概率. i j 定义4. 3  若对任意的 i , j ∈I , 马尔可夫链{Xn , n ∈T } 的转移概率 p ( n ) i j 与 n无关, 则称马尔可夫链是 齐次的, 并记 p ( n )为 p i j i j. 下面我们只讨论齐次马尔可夫链, 通常将“齐次 ”两字省略. 设 P表示一步转移概率 p 且状态空间 I ={ 1, 2…}, 则 i j 所组成的矩阵, p 1 1 P= p 2 1 … ( 1 )p i , j ∈I ; i j ≥0, ( 2 )6 p , i ∈I . i j =1
j∈ I

p 1 2 p 2 2 …

… …

p 1n p 2n …

… …

称为系统状态的一步转移概率矩阵, 它具有性质:

( 2 )式中对 j求和是对状态空间I的所有可能状态进行的 , 此性质 说明一步 转移 概率矩阵中任一行元素之和为1. 通常称满足上述( 1 ), ( 2 )性质的 矩阵为 随 机矩 阵. 为进一步讨论马尔可夫 链的 统计 性质, 我 们 给出 n 步转 移 概率 、 初 始概 率 和绝对概率的概念. 定义4. 4  称条件概率
(n ) p {Xm + n =j |Xm =i } ( i , j ∈I , m≥0, n≥1 ) i j =P

为马尔可夫链{Xn, n∈ T }的 n步转移概率 , 并称
(n ) (n ) P = (p i j )

5 0

第四章  马尔 可夫链

(n ) (n ) (n ) 为马尔可夫链 的 n步转 移矩阵 , 其中 p 0,6 p 即P 也是 随机 矩 i j ≥ i j =1, j∈ I

阵. 当 n=1时, p 此时一步转移矩阵 P = P. 此外, 我们规定 i j =p i j, p i j =


(0 ) ( 1 ) ( 1)

0, i ≠j , 1, i =j .

定理4. 1  设 {Xn , n∈ T }为马尔可 夫链, 则对 任意 整数 n≥0, 1≤l < n和 i , j ∈I , n步转移概率 p i j 具有下列性质: ( 1 )p i j =


(n ) ( 2 )p i j = (n ) (n )

6 6

p i k p k j …
( n -1)

(l )

( n- l )


1 1 2 j n-1

( 4. 2 ) ; ( 4. 3 ) 4. 4 ( 4. 5 ) P {Xm =i , Xm+ n =j } P {Xm =i }

k∈ I

k ∈I 1

k ∈I n- 1

p i k p k k …p k

( 3 ) P =P P
(n ) n

(n )

( 4 ) P =P . 证 ( 1 ) 利用全概率公式及马尔可夫性, 有 p {Xm + n =j | Xm =i }= i j =P =   = =


(n )

P {Xm =i , Xm + l=k , Xm + n =j } ・ P { X = i , X = k } m m + l k∈ I

P {Xm =i , Xm + l =k } P {Xm =i }

6 6

P {Xm+ n =j |Xm+ l =k }P {Xm + l =k |Xm =i } pkj


( n- l )

k∈ I

(m+l )p )= i k (m

(l )

k∈ I

p i kp k j

(l )

( n- l )

k∈ I

( 2 ) 在( 1 )中令 l = 1, k=k 1得 p i j = 这是一个递推公式, 故可递推得到 p i j =


(n ) k ∈I 1 (n ) k ∈I 1

p . i k p k j
1 1

( n-1)

k ∈I n -1

p i k p k k …p k
1 1 2

j n-1

( 3 ) 在( 1 )中令 l = 1, 利用矩阵乘法可证. ( 4 ) 由( 3 ), 利用归纳法可证. 定理4. 1中( 1 )式 称为 切 普曼- 科尔莫 戈罗夫方 程 , 简称 C-K 方程. 它在 马尔可夫链的转移概率的计算 中起着 重要 的 作用. ( 2 )式 说明 n 步 转移 概率 完 全由一步转移概率决定. ( 4 )式说明 齐次 马 尔可 夫链 的 n 步转 移概 率矩 阵是 一 步转移概率矩阵的 n次乘方. 定义4. 5  设 {Xn , n∈ T }为马尔可夫链, 称

§ 4. 1 马 尔可夫链 的概念 及转移 概率

5 1

p {X }和 p n )= p {X } ( j ∈I ) j= P 0 =j j( n =j 为 {X n∈ T }的 初始概率 和 绝对 概率 , 并 分别称{p j ∈I }和{p (n ), j ∈I }为 n, j, j {Xn, n∈ T }的 初始分布和 绝对分布 , 简记为 {p }和{p ( n ) }. 称概率向量 j j
T P ( n )=( p n ), p n ), …)  ( n>0 ) 1( 2(

为 n时刻的 绝对概率向量 , 而称 P( 0 ) =(p p …) 1, 2, 为初始概率向量 . 定理4. 2  设 {Xn , n∈ T }为马尔可夫链, 则对任意 j ∈I和 n≥1, 绝对 概率 p (n )具有下列性质: j ( 1 )p ( n )= j ( 2 )p ( n )= j
T T T

6 6

(n ) p p i i j ;

( 4. 6 ) ( 4. 7 ) ( 4. 8 ) ( 4. 9 ) P {X , Xn =j } 0 =i
i∈ I

i∈ I

p ( n-1 )p i i j;
T T (n )

i∈ I

( 3 ) P(n )= P ( 0 ) P

( 4 ) P(n )= P (n -1 )P. 证 ( 1 ) p (n )= P {Xn =j }= 6 j = = ( 2 )

6 6

P {X |X }P {X } n =j 0 =i 0 =i
(n ) p p i i j .

i∈ I

i∈ I

p (n )= P {X }= j n =j = =

P {X , X } n =j n -1 =i

i∈ I

6 6

P {X |Xn- 1 =i }P {X } n =j n- 1 =i p n-1 )p i( i j.

i∈ I

i∈ I

( 3 )和( 4 )式是 ( 1 )与( 2 )式的矩阵乘积形式, 显然成立, 证毕. 定理4. 3  设 {X n∈ T }为 马 尔可 夫链, 则 对 任意 i …, i ≥1, n, 1, n ∈ I和 n 有 P {X …, X }= 6 p p 1 =i 1, n =i n i i i …p i


i∈ I 1 i n-1 n

( 4. 1 0 )

证  由全概率公式及马氏性有 P {X …, X }= P 1 = i 1, n =i n = =

∪X
i∈ I

=i , X …, X 1 =i 1, n =i n

6 6

P {X , X …, Xn =i } 0 =i 1 =i 1, n P {X }P {X X }…・ 0 =i 1 =i 1| 0 =i

i∈ I

i∈ I

 P {X |X , …, X } n =i n 0 =i n -1 =i n- 1

5 2

第四章  马尔 可夫链

6 6

P {X }P {X X }… 0 =i 1 =i 1| 0 =i

i∈ I

 P {X |X } n =i n n- 1 =i n- 1 = p p i i i …p i
1 i∈ I i n-1 n

证毕.

定理4. 2表明绝对 概 率 p (n )也 具 有 类 似 于 n 步 转移 概 率 的 性 质 . 定理 j 4 . 3则进一步说明马尔可夫链的有限 维分 布完 全由它 的初 始概率 和一 步转 移概 率所决定. 因此, 只要知道初始概率和 一步转 移概 率, 就可 以描述 马尔 可夫 链的 统计特性.

三、马尔可夫链的一些简单例子
马尔可夫链在研究质点的随机运动、 自动控制、 通信技术、 生物工程、 经济管 理等领域中有着广泛的应用. 例4. 1  无限制随机游动. 设质点在 数轴上移 动, 每次移动 一格, 向右移 动的概 率为 p, 向左移动 的概 率为 q =1-p, 这种运动称为无限制随机 游动. 以 Xn 表示时 刻 n质点 所处 的位 置, 则{X n∈ T }是一个齐次马尔可夫链, 试写出它的一步和 k步转移概率 . n, 解  显然{Xn, n∈ T }的状态空间 I={ 0, ±1, ±2, …}, 其 一步转 移概 率矩 阵为 … P= … … 0 … 进入 j , 则 x+y =k, x-y =j -i , 从而 x = k +( j -i ) k-( j -i ) ,  y= . 2 2 … q … … 0 … … … p … … . q 0 p 0

设在第 k步转移中向右移了 x步, 向左移了 y步 , 且经过 k步转移状态从i

由于 x, y都只能取整数, 所以 k± ( j -i )必须是偶数. 又在 k步中 哪 x步向右 ,


x 哪 y步向左是任意的 , 选取的方法有 C 于是 k 种. x x y

(k ) p i j =

C +( j -i )为偶数, k pq, k 0, k +( j -i )为奇数.

例4. 2  赌徒输光问题.

§ 4. 1 马 尔可夫链 的概念 及转移 概率

5 3

两赌徒甲、 乙进行一系列赌 博. 赌徒 甲 有 a元 , 赌徒 乙有 b元 , 每赌 一局 输 者给赢者1元, 没有和局, 直到两人中有一个输光为止. 设在每一局中, 甲赢的概 率为 p, 输的概率为 q = 1-p, 求甲输光的概率. 这个 问 题 实 质 上 是 带 有 两 个 吸 收 壁 的 随 机 游 动, 其 状 态 空 间 I={ 0, 1, 2 , …, c }, c =a+b . 故现在的问题是 求质 点从 a点 出发 到 达 0 状态 先于 到达 c 状态的概率.

图4. 1

解  设 u 我 们 要 计算 的 就 是 i 表 示甲 从 状 态i出发 转 移 到状 态 0 的 概 率, u 由于0和 c是吸收状态 , 故 a. u 1,  u 0= c =0. 由全概率公式 u u u i =1, 2, …, c -1 ). i =p i+1 + q i -1  ( 4. 1 1 上式的含义是, 甲从有 i元开始赌到输 光的 概率 等于“他 接下 去赢了 一局(概率 为p ), 处于状态 i +1后 再 输光”和“他 接 下去 输 了一 局(概 率为 q ), 处 于状 态 i -1 后再输光”这两个事件的和事件的概率. 由于 p+q=1, ( 4. 1 1 ) 式实质上是一个差分方程 u (u ),  i =1, 2, …, c -1, i+1 - u i =r i -u i- 1 其中 r= q , 其边界条件为 p u 1,  u 0= c =0. 先讨论 r= 1, 即 p=q= 1 的情况, 此时( 4. 1 2 ) 式为 2 u i+ 1 -u i=u i -u i-1 , 令i =1, 2, …, c -1 , u , 得 1 =u 0 +α u =u 2 α, 2 =u 1 +α 0 + … u =u α , i =u i-1 +α 0 +i … u =u α. c =u c -1 +α 0 +c 将u u 得参数 c =0, 0 =1代入最后一式, 4. 1 3 ( 4. 1 2 )

5 4

第四章  马尔 可夫链

α =- 所以 u i =1-

1 , c

i , i =1, 2, …, c - 1. c a b = . c a+b

令i =a, 求得甲输光的概率为 u a =1-

上述结果表明, 在 p=q情 况下( 即 甲、 乙每局 比赛 中输 赢是等 可能 的情 况 下), 甲输光的概率与乙的赌本 b成正比 , 即赌本小者输光的可能性大. 由于甲、 乙的地位是对称的, 故乙输光的概率为 a u . b= a+b 由于 u 表明甲、 乙中必有一人要输光, 赌博迟早要结束. a +u b =1, 再讨论 r≠1, 即p ≠q的情况. 由( 4. 1 2 )式得
c -1 c -1

u c-u k=

r (u i-u i-1)=
k c

i= k

r( u 1 -u 0) ( 4. 1 4 )

i= k

r -r =(u ) . 1 -1 1-r 令k =0, 由于 u 有 c =0, 1 -r 1= ( 1-u , 1) 1-r 即 代入( 4. 1 4 )式, 得 r -r u k =1, 2, …, c -1. k= c , 1-r 令k =a, 得甲输光的概率
a c r -r u a= c , 1 -r k c c

1-r 1 -u 1 = c, 1-r

由对称性, 乙输光的概率为( r / q ) 1 =p u b= r 1 -r 1 c . 1-r 1


b c

由于 u 因此在 r ≠1时, 即 p≠q时两个人中也总有一个人要输光的. a +u b =1, 例4. 3  天气预报问题. 设昨日、 今日都下雨, 明日 有雨 的概 率为 0. 7; 昨 日无 雨, 今 日有 雨, 明日 有 雨的概率为0. 5; 昨日有雨, 今 日 无雨, 明日 有 雨 的概 率 为0. 4; 昨 日、 今 日均 无 雨, 明日有雨的概率为0. 2. 若星期一、 星期二均下雨, 求星期四下雨的概率.

§ 4. 1 马 尔可夫链 的概念 及转移 概率

5 5

解  设昨日、 今日连续两天有雨称为状态0 (R R ), 昨日 无雨、 今日有雨 称为 状态1 (N R ), 昨日 有 雨、 今 日无 雨 称为 状 态 2 (RN ), 昨 日、 今 日 无 雨称 为 状 态 3 (NN ), 于是天气预报模型可看作一个四状态的马尔可夫链, 其转移概率为 p {R今 R明|R昨 R今 }=P {连续三天有雨 } 0 0 =P =P {R明 |R昨 R今 }=0. 7, p {N今 R明|R昨 R今 }=0 ( 不可能事件), 0 1 =P p {R今 N明|R昨 R今 }= P {N明|R昨 R今 } 0 2 =P =1-0. 7=0. 3, p {N今 N明|R昨 R今 }=0 (不可能事件), 0 3 =P 其中 R 代表有雨, N 代表无雨 . 类似地可得到所在状态的一步转移概率. 于是它 的一步转移概率矩阵为 p 0 0 P= p 1 0 p 2 0 p 3 0 其两步转移概率矩阵为 0. 7 P =P P=
( 2)

p 0 1 p 1 1 p 2 1 p 3 1

p 0 2 p 1 2 p 2 2 p 3 2 0 0 0. 4 0. 2

p 0 3 p 1 3 p 2 3 p 3 3 0. 3 0. 5 0 0 =

0. 7 0. 5 0 0 0 0 0. 6 0. 8

0 0 0. 4 0. 2

0. 3 0. 5 0 0 0 0 0. 4 0. 2

0 0 0. 6 0. 8 ,

0. 7 0. 5 0 0

0. 3 0. 5 0 0

0 0 0. 6 0. 8

0. 5 0 0

0. 4 9 0. 1 2 0. 2 1 0 . 1 8 = 0. 3 5 0. 2 0 0. 1 5 0 . 3 0 0. 2 0 0. 1 2 0. 2 0 0 . 4 8 0. 1 0 0. 1 6 0. 1 0 0 . 6 4 由于星期四下雨意 味着 过 程所 处 的状 态 为 0或 1, 因 此 星期 一、 星 期二 连 续 下 雨, 星期四下雨的概率为
( 2) (2 ) p=p . 4 9+0. 1 2=0. 6 1. 0 0 +p 01 =0

例4. 4  设质点在线段[ 1, 4 ]上作随机游动, 假设它只能 在时刻 n∈ T 发生 移动, 且只能停留在1, 2, 3, 4点 上. 当质点 转移 到2, 3 点时, 它 以1 / 3的 概率 向 左或向右移动一格, 或停留在原处. 当质 点移动 到点 1时, 它 以概 率1 停留 在原 处. 当质点移动到点4时, 它以概率1移动到点3. 若以 X n 表示 质点在时 刻 n所 处的位置, 则{X n∈ T }是一个齐次马尔可夫链, 其转移概率矩阵为 n,

5 6

第四章  马尔 可夫链

1 P= 0 0

0 0 0 .

1 / 3 1 / 3 1 / 3 0 1

1 / 3 1 / 3 1 / 3

各状态之间的转移关系及相应的转移概率如图4. 2所示.

图4. 2

例中的点1称为吸收壁, 即质点一旦到达这种状态后就被吸收住了, 不再移 动; 点4称为反射壁, 即质点一旦到达这种状态后, 必然被反射出去. 例4. 5  生灭链. 观察某种生物群体, 以 X 设为 n 表示在时 刻 n群体的 数目, i个数量单位 , 如在时刻 n+1增生到 i +1个数量单位的概率为 b 减灭到 i - i, 1个数量单位的概率为 a 保持不变的概 率为 r a ), 则{Xn , n≥0 } i, i =1-( i+b i 为齐次马尔可夫链, I = { 0, 1, 2, …}, 其转移概率为 b =i +1, i, j r =j , p i, i i j= a =i -1. i, j a , 称此马尔可夫链为生灭链. 0 =0

§ 4 . 2  马尔可夫链的状态分类
一、状态的分类
本节讨论齐次马尔可夫链的状态分类. 假设{Xn , n≥ 0 }是齐次马尔可夫链, 其状态空间 I= { 0, 1, 2, …}, 转移 概率 是p i , j ∈I , 初始分布为{p j ∈I }. 我们依概率性质对状态进行分类. i j, j, 例4. 6  设马尔可夫链的状态空间 I ={ 1, 2, …, 9 }, 状态间的转移概率如图

§ 4. 2 马 尔可夫链 的状态 分类

5 7

4 . 3所示. 由图4. 3可见自状态1出发, 再返回状态1的可能步数(时 刻)为 T= { 4 , 6 , 8, 1 0, …}. 显然 T 的最大公约数为2. 但2 T, 即由1出发经两步不能返 回1. 受机械运动周期的启发, 我们仍把2定义为状态1的周期.

图4. 3

定义4. 6  如集合{n: n≥ 1, p }非空, 则 称该集 合的 最大公 约数 d= i i >0 d ( i )= G. C. D { n: p }为状态 i的周期 . 如d >1就称 i为 周期 的, 如 d= i i >0 1就称 i为 非周期的. 由定义知, 如果 i有周期 d, 则对一切非零的 n≠0 ( m o dd )都有 p 但 i i =0. 这并不是说对任意 n d有 p >0, 如例4. 3中的状态1的 d=2, 但p 然 i i 11 =0. 而我们有如下结论. 引理4. 1  如 i的周期为 d, 则存在正整数 M, 对一切 n≥ M, 有p >0. i i
(n ) 证  设{n: n≥1, p }={ n n …}, 令 i i >0 1, 2, (n d ) (n d ) (2 ) (n ) (n )

(n )

t C. D { n n …, n }, k = G. 1, 2, k 则t 故 存 在 正 整 数 N, 使得 t , 因 此 d= 1 ≥t 2 ≥ … ≥ d≥1, N =t N +1 = … = d G. C. D { n n …, nN}. 从而存在正整数 M, 对一切 n ≥ M, 由初等数论有 1 , 2,


n d= 因而当 n≥ M 时


α  α kn k, i 为正整数.

k= 1

( nd ) 6 kk p =p i i i i k=1 αn N

(α n ) (α n ) (α n ) 1 1 p 2 2 …p N N ≥p i i i i i i

(n ) α k k [ p 0. i i ] >

k =1

例4. 7  设 I ={ 1 , 2, 3, 4 }, 转移概率如图4. 4, 易见状 态2与 状态3有 相同 的周期 d=2. 但由状态3出发经两步必定返回到 3 , 而状 态2则 不然, 当2 转移 到3后, 它再也不能返回到2. 为区别这样两种状态, 我们引入常返性概念. 记
(n ) f (Xm + v ≠j , 1≤v≤n-1 , Xm+ n =j |Xm =i ) ,  n≥1, i j =P

5 8

第四章  马尔 可夫链

图4. 4

( 0) f i j =0.

( 4. 1 5 )

显然由马氏性与齐次性上式 右方与 m 无关. 它表示质点由 i出发 , 经 n 步首次 到达j的概率也称为 首中概率 . 记


f i j=

(n ) f i j ,

n= 1

它表示质点由 i出发, 经有限步终于到达 j的概率. 定义4. 7  称状态 i为 常返 的, 如f 称状态 i为 非常返 的, 如f i i =1; i i <1. 因此, 若 i是非常返态 , 则由 i出发将以正概率1-f ; 若 i i 永远不 再返回到i i是常返时 , 上述现 象不会 出现. 对常返 态 i , 由定 义知{ f n≥1 }构成一 概率 i i , 分布. 此分布的期望值
∞ (n )

μ i=

(n ) n f i i ,

n =1

表示由 i出发再返回到i的平均返回时间. 定义4. 8  如 μ 则 称常返 态 i为 正常返 的; 如μ 则 称常返态 i i < ∞, i =∞, 为零常返 的. 非周期的正常返态称为 遍历状态 .
(n ) (n ) f i j 与p i j 有如下的关系:

定理4. 4  对任意状态 i , j及1≤ n<∞, 有


n n

p i j = 证

(n )

f i j p j j

(k )

( n- k )

k= 1

=6

f i j

( n- k )

p j j .

(k )

( 4. 1 6 )

k=0

      p (X |X i ) i j =P n =j 0=

(n )

= =

6 6 6

P (X j , 1≤v≤k- 1, X , X |X ) v≠ k =j n =j 0 =i P (X |X i , X , 1≤v≤k -1, X ) ・ n =j 0 = v ≠j k =j

k=1 n

k=1

 P (X , 1≤v ≤k-1 , X |X i ) v ≠j k =j 0 =

p j j

(n- k ) (k ) j j

f .

k=1

§ 4. 2 马 尔可夫链 的状态 分类

5 9

(n ) C-K 方程及( 4. 1 6 )是 马氏 链的 关 键性 公式, 它 们 可以 把 p i i 分解 成较 低步 的

转移概率之和的形式. 由定理4. 4我们得到周期的等价定义 引理4. 2  G. D. D {n : n≥1, p 0 } = G. C. D { n: n≥1, f }. i i > i i >0 证  令 d= G. C. D {n: n≥1, p }, i i >0 t = G. C. D {n: n≥1 , f }. i i >0 由 ( 4 . 1 6 )知 p n: n≥1, p }= {n: n≥1, f }, 从而1≤ d≤ i i ≥f i i 故{ i i >0 i i >0
(n ) t . 若t =1, 则 d=t =1. 若t >1, 我们 证明 d≥t , 为 此只 需证 t是{n: p } i i >0 (n) 的公约数即可. 换言之, 如 n≠0 ( m o dt )必有 p 0. 由 t的定义及 ( 4. 1 6 )知对 i i = (n ) (n ) (n ) (n ) (n ) (n ) (n ) (n )

一切 n<t , 都有
n (n ) p i i =

(n - k ) 0p =0 . i i

k=1

(n ) 今假设当 n= m t +r , m=0 , 1, 2, …, N-1时, p 则由( 4. 1 6 )并注意 到如 i i =0,

n ≠0 ( m o dt )时 f 我们有 i i =0, p i i
(N t+ r )

(n )

=f i i p i i

(t )

( N- 1 ) t+ r

+f i i p i i

( 2t )

( N -2)t+ r

+…+f , i i p i i =0

(N t )

(r )

从而由归纳法证得 d≥t . 综上所述, 我们有 d=t . 证毕. 例4. 8  设马尔可夫链的状态空间 I ={ 1, 2, 3 }, 其转移概率矩阵为 0 P= q 2 p 3 p 1 0 q 3 q 1 p , 2 0

求从状态1出发经 n步转移首次到达各状态的概率 . 解  如用( 4. 1 6 )式计算将会 很复杂, 我们 直接 通过 状态 转 移图(图4. 5 )来 计算. 利用归纳法可得

图4. 5

6 0

第四章  马尔 可夫链

f = 同理可得 f 1 3 = 0,
(n ) (p f 1 2q 3) 1 1 = p (n )

(n ) 1 2

(q ) 1p 3

m-1

q =2m, m≥ 1, 1q 3, n n=2m+1, m≥0.

(q )p 1p 3 1, (p ) 1q 2
m -1

p = 2m, m≥1, 1p 2, n n= 2m+1, m≥0 , n=1 ,


m -1

(p )q 1q 2 1,
m -1

q ( q 2 +q 1 3p 2)

p 3,

n=2m, m≥1,

p (p 1 2q 3)

m -1

p q ) 2p 3 +q 1( 3p 2

m -1

q =2m+1, m≥1. 2q 3, n

二、常返性的判别及其性质
本段论述如何用 p i j 判别常返状态及性质. 设{a n≥0 }为实数列, 考虑其母函数 n,
∞ (n )

A ( s )= 6

a s. n

n= 0

显然, 如{ a }有界, 则A ( s )对一切| s |<1收敛. 进而, 若{a }与{ b } 的母函数分 n n n 别为 A ( s ) 与B ( s ), 且对一切 | s |<1收敛, 则{ a 与{ b }的卷积 n} n

C n=

a b  n=0, 1, … k n- k ,

( 4. 1 7 )

k= 0

的母函数 C ( s )= A ( s )B ( s ). 定理4. 5  状态 i常返的充要条件为



如 i非常返, 则

(n ) p i i =∞.

( 4. 1 8 )

n= 0


( 0) i i ( 0) i i

n=0

1 (n ) p . i i = 1-f i i

证  规定 p =1, f =0. 由定理4. 4知


p i i =

(n )

p i i f i i
(n )

(k ) ( n- k )

, n≥1.
(n )

k=0

两边乘 以 s , 并 对 n≥1 求 和, 若 记{ p f ( s )与 i i }与{ i i }的 母 函 数 分 别 为 P F ( s ) , 与( 4. 1 7 )式比较即得 P ( s )-1= P ( s ) F ( s ). 注意到当0≤s <1时, F ( s )<f 因此 i i ≤1, 1 P ( s ) = ,  0≤s <1. 1 -F ( s ) ( 4. 1 9 )

§ 4. 2 马 尔可夫链 的状态 分类

6 1

显然对任意正整数 N 都有
N ∞ (n ) n p ( s )≤ i i s ≤P

n =0

(n ) p  0≤s <1 i i ,

( 4. 2 0 )

n= 0

且当 s ? 1时 P ( s ) 不减, 故在( 4. 2 0 )式中如先令 s ? 1, 再令 N→∞, 我们有


l i mP ( s )=
s? 1

(n ) p i i .

( 4. 2 1 )

n =0

同理可得

l i mF ( s )=
s? 1

(n ) f i i =f i i.

( 4. 2 2 )

n =0

令 ( 4 . 1 9 )式两边中的 s ? 1, 由( 4. 2 1 ), ( 4. 2 2 )式立得定理. 定理4. 5表示, 当 i常返时 , 返回 i的次数是无限多次 ; 当 i非常返时 , 返回 i的次数只能有限多次 . 为了进一步理解这一特性, 我们给出“超限” 概率的定义 g (有无限多个 n使 X |X ) i j= P n =j 0 =i

P ( 有无限多个 n使 X ) i n =j
∞ ∞ n

=P i

∩ ∪(X
m =1 n= m

=j ) .

引理4. 3  对任意状态 i , 有 g i j= 证  令 Ak=( e : 至少有 k个 n使 X ( e )=j ), n 可见 Ak+ 1 < A 且 k, l i mP (A )=g i k i j.


k→ ∞

f i j , 如 j是常返, 0, 如 j非常返.

4. 2 3

( 4. 2 4 )

另一方面

P ( A )= P i k + 1 i

X ≠j , 0< v< m, X ∪(
v m=1

=j且至少有 k个 n使 X ) m +n =j

=6 =6

P (X , 0<v< m, Xm =j )P ( 至少有 k个 n使 Xn =j ) i v ≠j j
( m) f (A )=f P (A ). i j P j k i j j k

m= 1 ∞

4. 2 5

m= 1

由 i的任意性, 反复迭代( 4. 2 5 )并注意 P (A 我们有 j 1)= f j j, P (A )=f f (A )=…=f ( f )k , i k+ 1 i j j jP j k- 1 i j j j 令k →∞, 由 ( 4. 2 4 )式及( 4. 2 5 )式有 g i j= f i j, 如 f j j =1, 0, 如f j j <1,

6 2

第四章  马尔 可夫链

从而引理得证. 由上述引理, 我们立即得到定理4. 6. 定理4. 6  状态 i常返当且仅当g 如 i非常返 , 则g i i =1; i i =0. 对于常返态 i , 为判别它是遍历或零常返, 我们不加证明地给出下面定理. 定理4. 7  设 i常返且有周期 d, 则
(n d ) l i mp = i i n→ ∞

d , μ i

4. 2 6

d 其中 μ 当μ i 为i的平均返回时间. i =∞时, =0. μ i 由定理4. 7立即得 推论  设 i常返 , 则


(n ) ( 1 )i零常返 Z l i mp i i =0; n→ ∞

( 2 )i遍历 Z l i mp i i =
n→ ∞

(n )

1 >0 . μ i
( nd ) (n ) n→ ∞

证 ( 1 ) 如 i零常返 , 由( 4. 2 6 )知l i mp =0, 但当 n≠0 ( m o dd )时 p i i i i = 0 , 故l i mp 反之, 若l i mp 而 i是 正常 返 , 则 由( 4 . 2 6 )得l i mp > i i =0. i i =0, i i


n→ ∞ n→ ∞ n→ ∞ (n ) (n ) (n d)

0 , 矛盾. ( 2 ) 设l i mp i i =
n→ ∞ (n )

1 1 (n d ) >0, 这说 明 i为 正常返 且l i mp = , 与( 4. 2 6 )比 较 i i μ μ n→ ∞ i i
(n )

得 d=1, 故 i遍历 ; 反之由定理4 . 7显然. 我们称自状态 i可达状态j , 并记为 i →j , 如果存 在 n>0使 p 称状 i j >0; 态 i与j互通 , 并记为 i \ j , 如i →j且j →i . 定理4. 8  可达关系与互通关系都具有传递性, 即 如果 i →j , j →k, 则i →k; 如果 i \j , j \ k, 则i \ k. 证 i →j , 即存在 l ≥1, 使p j →k, 即存在 m≥1, 使p i j >0, j k >0. 由 C-K 方程
( l+ m) (l ) ( m) (l ) ( m) p =6 p i k i s p s k ≥p i j p j k >0, s (l ) ( m)

且l + m≥1, 所以 i →k. 将可达关系的证明, 正向用一次, 反向用一次, 就可得出互通关系的传递性. 下一定理指出互通关系的状态是同一类型. 定理4. 9  如 i \ j , 则 ( 1 )i与j同为常返或非常返 , 如为常返, 则它们同为正常返或零常返; ( 2 )i与j有相同的周期.

§ 4. 2 马 尔可夫链 的状态 分类

6 3

证 ( 1 ) 由于 i \j , 由可达定义知存在 l ≥1和 n≥ 1, 使得


(l ) (n ) p >0,  p >0. i j =α j i =β

由 C-K 方程, 总有
(l+ m + n ) (l ) ( m) ( n ) ( m) p ≥p β p i i i j p j j p j i =α j j ;

( 4. 2 7 ) ( 4. 2 8 )

( n+ m + l ) j j

≥ p p p =α β p

(n ) j i

( m) i i

(l ) i j

( m) i i

将上两式的两边从1到∞求和, 得

6 6
∞ ∞

(l+ m + n ) i i

m =1 ∞

≥α β6

p j j ;
( m) p i i .

( m)

m =1 ∞

m =1

(l+ m + n ) p ≥α β6 j j

m =1

可见,6

k= 1

p i i 与 6
(k )

p 所以它们同为无穷或同为有限. 由定理2知 j j 相互控制,

(k )

k=1

i , j同为常返或同为非常 返 . 又 对( 4. 2 7 )式, ( 4. 2 8 )式 两边 同 时令 m→∞ 取 极 限, 则有 l i mp i i


m→ ∞ (l+ m + n )

≥α βl i mp j j ;
m→ ∞

( m)

l i mp j j
m→ ∞ k→ ∞ k→ ∞

( n+ m + l )

≥α βl i mp i i .
m→ ∞

( m)

(k ) (k ) 因此l i mp i mp 由定理4. 5知, i与j同为零常返或同为 i i 与l j j 同为零或同为正.

正常返. ( 2 ) 仍令 p >0,  p >0. i j =α j i =β


( m) 设 i的周期为 d, j的 周 期 为t . 由( 4. 2 7 )式 知, 对任一使 p >0 的 m, 必有 j j (l+ m + n ) (l ) (n )

p i i

>0, 从而 d可除尽l + m+n, 但 p ≥p β >0, i i i j p j i =α


l+ n (l ) (n )

所以 d也能除尽l +n. 可见 d可除尽 m, 这说明 d≤t . 利用( 4. 2 8 )类 似可证 d ≥t . 因而 d=t . 例4. 9  设马氏链{Xn}的状态空间为 I ={ 0, 1, 2, … }, 转移概率为 p 0 0= 1 1 1 , p = , p = , i ∈I . 2 i,i+ 1 2 i0 2 1 (2) 1 1 1 (3) 1 1 1 , f ・ = , f ・ ・ = 0 0 = 00 = 2 2 2 4 2 2 2

( 1 ) 考查状态0, 由图4. 6易知 f 0 0 =

1 1 (n ) , 一般有 f 故 0 0 = n , 8 2 f 0 0=

1 1, n= 2 n =1

6 4

第四章  马尔 可夫链

图4. 6

μ 0=
(1 ) 可见0为正常返, 由于 p 00 =

n 2- n <∞.

n= 1

1 >0, 所以 它是非周 期的, 因而 是遍历的. 对 其它 2

(n ) 状态 i求f 但利用定理4. 9 , 因i \ 0, 故 i也是遍历的 . i i 较烦.

此例告诉我们, 对互通状态的识别, 只需对最简单的状态进行判断即可. 例4. 1 0  设{X }为生灭链(例4. 5 ), 其中 X a ( i ≥1 ), b ( i ≥ n 0 =1, i >0 i >0 0 ) . 如



则 {X }的所有状态是常返的. n

k =1

a 1a 2 …a k =∞, b 1b 2 …b k

( 4. 2 9 )

实际上{Xn}的状态是互通的, 故只需验证状态0是常返即可. 定义 τ i n {n: Xn =j }. j =m 对固定的状态 k , 记 U ( i ) =P ( τ ) i 0 <τ k 则由全概率公式 U ( i )=b ( i +1 )+a ( i -1 )+r ( i ), 0<i <k . iU iU iU 因为 r -a 所以由上式得 i =1 i -b i, a i U ( i +1 )- U ( i )= [U ( i )- U ( i -1 ) ] b i a i a i- 1 = ・ [U ( i -1 ) -U ( i -2 ) ] b i b i-1 =… = 令β β 0 =1, i= a a i i-1 …a 1 [U ( 1 )- U ( 0 ) ]. b b …b i i- 1 1

P ( τ |X ) , 0<i <k , 0 <τ k 0 =i

a 1a 2 …a i , U ( 0 )=1 , 则有 b b …b 1 2 i U ( i )- U ( i +1 )=β [ 1- U ( 1 ) ]. i ( 4. 3 0 )

§ 4. 3 状 态空间的 分解

6 5

上式两边求和并注意 U (k )=0, 得
k-1

1=[ 1- U ( 1 ) ]6 由 ( 4 . 3 0 )式得
k -1

β i.

i=0

k -1

k-1

U ( i )=

[U ( j )- U ( j +1 ) ]=

j= i

β j

j= i

β j.

j= 0

因为( τ )? ( τ 故由( 4 . 2 9 )及上式得 0 <τ k 0 <∞), P τ )= l i mP τ ) 1( 0 <∞ 1( 0 <τ k


k→ ∞ k-1 k -1

=l i m
k→ ∞

β j

j= 1

6 6

β j β j
-1

j=0

k-1

=l i m 1-
k→ ∞

=1.

j= 0

注意到 P τ 所以 1( 0 <∞)= f 10 , f 00 = p 00 +p 01 f 1 0 =r 0 +b 0 =1. 由此知状态0是常返的. 由上可见, 如生灭链的 a , 则 它 是常 返链. 由于 状 态的 常 返 性与 初 i≥b i >0 始分布无关, 因此假设 X 0 =1不影响结论的一般性.

§ 4 . 3  状态空间的分解
定义4. 9  状态空间 I的子集 C称为(随机)闭集 , 如对任意 i ∈ C及k 的, 如其状态空间不可约. 引理4 . 4  C是闭集的充要条件为对任意 i ∈C及 k
( m) 设 n= m 时 , p i ∈ C, k i k =0, (n ) C都有 p , n≥ 1. i k =0

都有 p 闭集 C称为 不可 约的 , 如 C的 状态 互通 . 马氏 链{X i k =0. n}称为 不可 约

证  只需证必要性. 用归纳法, 设 C 为闭集 , 由定义当 n=1时结论成立. 今 C, 则


( m) ( m) j∈ C j C

p i k

( m +1)

=6 p p i j p j k+ 6 i j p j k =6 p 0 +
( m) i j j∈ C

0p , j k =0

j C

引理得证. 闭集的意思是自 C的内部不能到达 C的外部. 这意味着一旦质点进入 闭集 C 中, 它将永远留在 C 中运动 . 称状态 i为吸收的, 如p 显然状态 i吸收等价于单点集{ i }为闭集. i i =1. 例4. 1 1  设马氏链{X }的状态空间 I ={ 1, 2, 3, 4, 5 }, 转移矩阵为 n

6 6

第四章  马尔 可夫链

1 / 2 0 P= 0 0 1 0 0 1

0 1 0 0

1 / 2 0 0 0 0 0 0 0 . 0 0

1 / 2 0 1 / 2

由图4. 7 知3 是吸 收的, 故{ 3 }是 闭集. { 1 , 4 }, { 1, 4, 3 }, { 1 , 2, 3, 4 }都是 闭 集, 其中{ 3 }及{ 1, 4 }是不可约的. 又 I含有闭子集 , 故{X }不是不可约链. n

图4. 7

例4. 1 2  无限制随机游动为 不可约 马氏 链, 各状态 的周 期 为2 且当 p=q = 1 / 2时是零常返链, 当 p≠q时是非常返链 . 证  无限制随机游动的所有状态都 是互 通的, 故 只需判 断状 态0 是零 常返 还是非常返态. 由于 p 0 0 =
(n ) m m m C =2m, 2 mp q , n

0,

n=2m-1, m=1, 2 , …,

其中 q =1-p, 故状态0是否常返的充要条件是级数

p 0 0 =

(n )

n=1

C 2mp q

m =1

是否收敛. 由S t e r l i n g公式, 当 n充分大时 n!≈ 2 πn ne , 所以


2m -2m ( 2m )! 2 π ( 2m ) ( 2m ) e m  C = ≈ 2m 2 2 m -2 m (m! ) 2 πmm e n -n

4 . πm

§ 4. 3 状 态空间的 分解

6 7

故级数

n= 1

p 00 收敛的充要条件是级数 6
(n )

( 4p q )m 收敛. m= 1 m π

( 1 ) 当 p=q时


此时

( 4p q )m = m =1 m π

m= 1

1 1 1 ≥ =∞. ∑ m π π m=1 m 1

l i mp 0 0
m→ ∞

( 2 m)

=l i m
m→ ∞

=0. m π n= 2m, n= 2m-1,

故有 l i mp =
n→ ∞ (n ) 00

l i mp 0 0
m→ ∞

( 2 m)

=0,

0,
m m m

即状态0为零常返态. ( 2 ) 当 p≠q时 , 记a 由于4p q< 1. 故 m =C 2 mp q , l i m a ( 2m+2 ) ( 2m+1 ) m +1 =l i m p q 2 m→ ∞ a m→ ∞ (m+ 1 ) m ≤4 p q <1. 由比值判别法知


∞ ∞ (n ) 00

∑p
n= 1

∑a
m=1

收敛. 故状态0是非常返的. 我们知道自常返状态只能到达常返状 态, 因此 I中全 体常返 状态 组成 一闭 集 C. 在 C 中互通关系 具有 自返 性 , 对称 性 和传 递性, 因 而 它决 定一 分类 关系. 按互通关系我们可得到状态空间的分解定理. 定理4. 1 0 任一马氏链的状态空间 I , 可 惟一地 分解 成有限 个或 可列 个互 不相交的子集 D, C C …之和, 使得 1, 2, ( 1 ) 每一 C n 是常返态组成的不可约闭集. ( 2 )C 或全是正常返, 或 全是 零常 返. 它们有 相同 的周 期且 n 中的状态同类, f j , k ∈C i k =1, n. ( 3 ) D 由全体非常返态组成 . 自C n 中的状态不能到达 D 中的状态. 证  记 C 为全体常返状态反成的集合 , D=I -C为非 常返状 态全体 . 将C 按互通关系进行分解, 则 I = D∪ C 1∪C 2 ∪…, 其中每一个 C 且由定理4 . 9知 C n 是由常返状态组成的不可约的闭集, n 中 的状 态同类型. 显然, 自C n 中的状态不能到达 D 中状态.

6 8

第四章  马尔 可夫链

我们称 C 分解定理中的集 D 不一定是闭集, 但如 I为有 n 为基本常返闭集. 限集, D 一定是非闭 集 . 因此, 如 最初 质点 是 自某 一非 常返 状态 出 发, 则 它可 能 就一直在 D 中 运 动 , 也 可 能 在某 一 时 刻 离 开 D 转 移 到 某 一 基 本 常 返 闭 集 C n 中. 一旦质点进入 C 它将永远在此 C 在后面的定理中我们将 进一 n 后, n 中运动, 步揭示质点在闭集 C 下面我们看一个例子. n 中的运动规律. 例4. 1 3 设 I ={ 1 , 2, …, 6 }, 转移矩阵为 0 0 P= 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 ,

1 / 3 1 / 3 0 1 / 3 0 1 / 2 0

0 0 1 / 2

试分解此链并指出各状态的常返性及周期性.
( 3 ) (n ) 解  由图4. 8知 f f 0, n≠3. 所以 1 1 =1, 11 = ∞

μ 1 =

f ∑n
n= 1

(n ) 11

=3,

可见1为正常返状态且周期等于3 . 含1的基本常返闭集为 C k: 1→k }={ 1, 3, 5 }, 1 ={ 从而状态3及5也为正常返 且周期为3 . 同理 可知6为正常 返状态. μ / 2, 其 6 =3 周期为1, 含6的基本常返闭集为

图4. 8 

C k : 6→k }={ 2 , 6 } . 2 ={ 可见2是遍历状态. 由于 f / 3, f n≠1, 故4非常返, 周期为1 , 于是 I可分解为 4 4 =1 4 4 =0, I = D∪ C 4 }∪{ 1 , 3, 5 }∪{ 2, 6 }. 1 ∪C 2 ={
( 1 ) (n )

§ 4. 3 状 态空间的 分解

6 9

定义4. 1 0 称矩阵( a )为 随机矩阵, 如其元素非负且对每 i有 ∑a i j i j =1.


显然 k步转移矩阵 P =( p )为随机矩阵. 引理4. 5 设 C 为闭集 , 又 G=(p , i , j ∈ C 是 C 上所得 的(即与 C 相 i j ) 应的) k步转移子矩阵 , 则 G 仍是随机矩阵 . 证  任取 i ∈C, 由引理4. 4我们有 1=
(k ) (k )

(k )

(k ) i j

∑p
j∈ I

(k ) i j

∑p
j∈ C

(k ) i j

∑p
j C

(k ) i j

∑p
j∈ C

(k ) i j

显然 p 故 G 为随机矩阵. i j ≥0, 由此可见, 对 I的一个闭子集 C, 可考虑 C 上的 原马氏链 的子马氏 链 . 其状 态空间为 C, 转移矩阵 G=(p ), i , j ∈ C是原马氏链转移矩阵 P=( p ), i , j ∈ i j i j I的子矩阵 . 下面我们研究质点在不可约闭集 C中的运动情况 . 定理4. 1 1 周期为 d的 不 可约 马氏 链 , 其 状态 空 间 C 可 惟一 地 分解 为 d 个互不相交的子集之和, 即
d-1

C=


r =0

G G r, r∩ G s=

,  r ≠s ,

( 4. 3 1 )

且使得自 G 经一步转移必进入 G (其中 G ). r 中任一状态出发, r +1 中 d=G 0 证  任意取定一状态 i , 对每一 r =0 , 1 , …, d-1, 定义集 G j : 对某个 n ≥0 , p r ={ i j
d-1 ( nd+ r )

>0 } .

( 4. 3 2 )

因 C 不可约, 故


r =0

G . r= C

(nd + r ) ( md + s ) 其次, 如存在 j ∈ Gr ∩ G 由( 4. 3 2 )必存在 n 及 m 使 p >0, p > s, i j i j (h ) 0 , 又因 j \i , 故必存在 h, 使p 于是 j i >0, ( nd+ r+ h ) ( nd + r ) (h ) p ≥p p 0, i i i j j i >

p i i

( md + s+ h )

≥p i j

( md + s )

p j i >0.

(h )

由此可见 r+h及s + h都能被 d除尽 , 从而其差(r +h )-( s +h )=r-s也 可 被 d除 尽 , 但 0≤ r , s ≤ d- 1 , 故只能 r -s= 0, 因而 G 这 说明 当 r ≠s时 G r= G s, r ∩G s= .
k∈ G r + 1

下证对任一 j ∈G 有 r, 1=


p 实际上 j k =1. p j k=

∑p = ∑
j k k∈ C

p j k+
( nd + r ) i j

k∈ G r +1


G r +1

k∈ G r + 1

p j k.
图4 . 9 

最后一个等式是因设 p

>0, 故当 k
( nd+ r+ 1 ) i k

G 由 r+ 1 时,
(n d+ r )

0=p

≥p i j

p j k

7 0

第四章  马尔 可夫链

p 0. j k=

最后证明分解的惟一性, 这只 需证{G }与最 初 i的 选择 无关 , 亦即 如对 某固 定 r 的i , 状态 j与k同属于 某 G 则 对 另 外选 定 的 i ′ , 状 态 j与 k仍 属 于同 一 G r, r ′ ( r与r ′ 可以不 同). 实 际 上, 设 对 i分 得 G G …, Gd-1 , 对i ′分 得 G ′ G ′ 0, 1, 0, 1, …, G ′ 又假设 j , k ∈G i ′ ∈G 则 d-1 , r, s, 当 r≥s时 , 自i ′ 出发 , 只 能在 r-s , r-s + d, r-s +2 d, …等步 上到达 j 或k, 故 j与k都属于 G ′ r- s. 当 r<s时 , 自i ′ 出发 , 只能在 d-( s -r )=r -s +d, r -s +2d, …等 步上 到达 j或k , 故 j与k都属于 G ′ 证毕. r- s+ d . 例4. 1 4 设不可分马氏链的状态空间为 C={ 1, 2, 3, 4, 5, 6 }, 转移矩阵为 0 0 0 0 0 0 1 / 2 0 0 1 0 1 0 1 0 0 0 0 0 1 / 2 0 1 / 3 0 0 0 . 0 0 0 1 / 3 0 P= 1 / 3 0

0 1 / 4

3 / 4 0

由状态转移图4. 1 0易见各状态的周期 d=3. 今固定状态 i =1, 令

图4 . 1 0 
(3n ) G j : 对某 n≥0有 p }={ 1, 4, 6 }, 0 ={ 1, j >0 (3 n+1) G j : 对某 n≥0有 p >0 }={ 3 , 5 }, 1 ={ 1, j

G j : 对某 n≥0有 p 2 ={ 1, j 故 此链在 C 中的运动如图4. 1 1.

( 3n + 2 )

>0 }={ 2 },

C= G 1, 4, 6 }∪{ 3, 5 }∪ { 2 }. 0∪G 1 ∪G 2 ={

§ 4. 3 状 态空间的 分解

7 1

定理4. 1 2 设 {X n≥0 }是 周期 为 d 的不 可约 马氏链 , 则在定 理4. 1 1的 n, 结论下有 ( 1 ) 如只在时 刻 0, d, 2d, … 上 考虑{X 即得 一 n},
(d ) (d ) 新马氏链, 其转 移阵 P =(p 对 此新 链, 每 一 Gr i j ),

是不可约闭集, 且 G r 中的状态是非周期的; ( 2 ) 如原马氏链{X }常返, {X }也常返. n nd 证  ( 1 ) 由 定理 4. 1 1得 知 G Xnd}是 闭 集. 其 r 对{ 次对P j , k ∈G 因{Xn} 不可约, 故存在 N 使p r, j k >0.
( N)

图4. 1 1  

由定理4. 1 1知 N 只能是 n d形 , 换言之, 对{X }状态 j →k, 同理 k →j , 故j \k nd 即G 由引理 4. 1, 存 在 M, 对一切 n≥ M, 有p >0, 可见对{Xnd}状 r 不可分. j j 态 j的周期为 1.
(n ) ( 2 ) 设{X }常返, 任取 j ∈G 由周期的定义知, 当 n≠0 ( m o dd )时 p n r, j j = (n ) (n d )

0 , 因而 f 0, 故 j j =
∞ ∞

1 = 即 j对{X }也是常返的. nd

n=1

f , j j = ∑ f j j
(n ) (n d ) n= 1

例4. 1 5 设{X }为例4. 1 4中的马氏链, 已知 d=3, 则{X n≥0 }的 转移 n 3n , 矩阵为 1 / 3 0 0 1 P =


(3 )

0 0 0 0

1 / 3 0 1 / 3 1 / 3

0 0 0 0

1 / 3 0 0 1 / 3 0 1 / 3 .

0 0 7 / 1 2 1 / 3 0 1 / 3 0 0 0 7 / 1 2

0 5 / 1 2 0 5 / 1 2

由于链 X 1 2 )知, G 1, 4, 6 }, G { 3 , 5 }, G 2 } 3 n 的状态转移图(图4. 0 ={ 1= 2 ={

图4 . 1 2 

7 2

第四章  马尔 可夫链

各形成不可约闭集, 周期为1.
(n ) § 4 . 4  p i j 的渐近性质与平稳分布

对p 我们讨论两个问 题. 一 是l i mp 二 是其 极限 i j 的极限性质, i j 是 否存在,


n→ ∞

(n )

(n )

是否与 i有关 , 这就与马尔可夫链的所谓平稳分布有密切联系.


(n ) 一、p i j 的渐近性质

定理4. 1 3 如 j非常返或零常返 , 则


(n ) l i mp Pi ∈I . i j =0, n→ ∞

( 4. 3 3 )

证  由定理4 . 4, 对 N<n我们有
n (n ) p i j = N (k ) (n- k ) f ≤ i j p j j n (k ) ( n- k ) f + i j p j j


k= 1


k=1

k= N +1 (n )

(k ) f i j .

固定 N, 先令 n→∞, 由 定理4. 7的推 论知, 上式右 方第一 项因 p j j →0而 趋于


0 . 再令 N→∞, 第二项因

∑f
k =1

(k ) i j

≤1而趋于0, 故
(n ) n→ ∞

l i mp . i j =0 推论1 有限状态的马氏链, 不可能全是非常返 状态, 也不可 能含有零 常返 状态. 从而不可约的有限马氏链必为正常返的. 证  设 I ={ 0, 1, …, N }. 如全是非 常返, 则 对任意 i , j ∈I , 由 定理 4. 1 3知 p → 0, 故当 n→∞时, 就有
N (n ) 1= ∑ p 0, i j → j= 0 ( n) i j

这就产生了矛盾. 其次, 如 I含有零常返状态i , 则 C={ j : i →j } 是不可约闭集, 又因它是有限 集, 故所有状态均为零常返. 于是由定理4. 1 3知 1 = 矛盾, 证毕. 推论2 如马氏链有一个零常返态, 则必有无限多个零常返状态. 证  设 i为零常返 , 则 C={ j : i →j }为 不可约 闭集, 其 状态全 为零 常返, 故 不能是有限集, 否则同样与( 4. 3 4 ) 矛盾. 定理4. 1 3考虑的是非常返状态和零常返状态的渐近分布, 但是当 j是正常
(n ) 返状态时, l i mp 即使 存在 也可 能与 i有关 . 因 此, 我 们退 而研 究 i j 不一定存在. n→ ∞

∑p
j∈ C

(n ) i j

→0,

( 4. 3 4 )

(n ) § 4. 4 p i j 的渐 近性质 与平稳 分布

7 3

p d≥1 )及 i j (

( nd )

1 (k ) p 记 i j 的极限. n∑ k=1

f ( r ) = i j

∑f
m =0 ∞ d-1

( md + r ) i j

, 0≤r≤d-1.

( 4. 3 5 )

它表示质点由 i出发, 在时刻 n=r ( m o dd )首次到达 j的概率 , 显然


d-1 ∞

f ( r ) = i j

r= 0

∑∑

f i j

( md+ r )

m =0 r= 0

∑f
m= 0

( m) i j

=f i j,

( 4. 3 6 )

则我们有下面一般性定理. 定理4. 1 4 如 j正常返 , 周期为 d, 则对任意 i及 0≤r ≤ d-1有 d (n d+ r ) l i mp =f ( r ) . i j i j n→ ∞ μ j


(n ) 证  因为 p , n≠0 ( m o dd ). 故 j j =0 n d+ r n

( 4. 3 7 )

p i j

(n d+ r )


v =0

f i j p j j

(v )

(n d + r- v )

=∑f i j
m =0

( md + r )

p j j

( n - m) d

于是, 对1≤ N≤n有


N N ∞

f i j

( md + r )

p j j

( n - m) d

≤p i j

(nd+ r )

m= 0

f i j

( md+ r )

p j j

( n- m) d

m =0

m = N+1

f i j

( md + r )

在上式中先固定 N, 然后令 n→∞, 再令 N→∞, 由定理4. 7即得 d d (n d+ r ) f ( r ) ≤l i mp ≤f ( r ) , i j i j i j μ μ n→ ∞ j j 因此( 4. 3 7 )式得证. 推论  设不可约、 正常返、 周期 d 的马 氏链 , 其状 态空 间为 C, 则对一 切 i , j ∈C , 有 l i mp
n→ ∞ d-1 ( nd ) i j

d , μ = j 0,

如 i与j同属于子集 G s, 否则,

( 4. 3 8 )

其中 C=


s= 0

G 1 1中所给出. s 为定理4.

特别, 如 d= 1, 则对一切 i , j有 l i mp i j =
n→ ∞ (n )

1 . μ j

( 4. 3 9 )

证  在上定理中取 r= 0, 我们得 d (n d ) l i mp =f ( 0 ) , i j i j μ n→ ∞ j

其中 f ( 0 )= i j 而f i j
( md )

∑f
m=0

( md ) i j

( md ) . 如 i与j不在同一个 G 则由定理4. 1 1 , p =0. 从 s 中, i j (n ) (n )

=0 , 于是 f ( 0 )=0. 如 i与j属 于 G 则p (从而 f ), n≠0 i j s, i j =0 i j =0

7 4

第四章  马尔 可夫链

( m o dd ). 故
∞ ∞ ( md ) f = i j

f ( 0 )= i j

m=0

∑f
m=0

( m) i j

=f i j =1.

( 4. 3 5 )式中概率 f ( r )似 与 j有 关, 实际 上 f ( r )只 依赖 于 j所在 的子 集 i j i j G 即对P j , k ∈G 都有 f ( r )=f r ). s, s, i j i k(


我们知道

∑p
k =1

(k ) j j

表 示 自 j出 发, 在 n 步 之 内 返 回 到 j的 平 均 次 数 , 故

1 1 (k ) p 而 也表示自j出发每 单位 j j 表示每单位时间内再回到j的平均次数, n∑ μ j k= 1 时间回到j的平均次数, 所以应有 1 1 (k ) p . j j ≈ n∑ μ j k= 1 如果质点由 i出发, 则要考虑自 i出发能 否到达j的 情况 , 即要 考虑 f i j 的大小. 于是我们有 定理4. 1 5 对任意状态 i , j , 有 0, n 1 (k ) l i m ∑ p i j = f i j n→ ∞ n , k=1 μ j
n n

如 j非常返或零常返, 如 j正常返.
(n )

证  如 j为非常返或零常返 , 由定理4. 1 3知 p 所以 i j →0, 1 (k ) p n→∞ ). i j →0 ( n∑ k= 1 如 j正常返、 有周期 d, 我们应用下面事实: 假设有 d个数列{ a }, s =0, n d+ s 1 , 2, …, d-1, 如对每一 s , 存在l i ma 则必有 nd+ s = b s,
n→ ∞

l i m

1 1 a b k= s. ∑ n→ ∞ n d∑ k=1 s=0
(nd+ s )

d-1

( 4. 4 0 )

在( 4. 4 0 )式中令 a n d + s =p i j

d , 由定理4. 1 4知 b ( s ) . 于是得 s =f i j μ j
d-1 d-1

l i m

1 1 d 1 (k ) p f ( s ) = i j = i j ∑ ∑ n→ ∞ n k=1 d s= 0 μ μ j j = f i j . μ j

s ) ∑ f(
i j s=0

推论  如{Xn} 不可约, 常返, 则对任意 i , j , 有 1 1 (k ) l i m ∑p . i j = μ n→ ∞ n j k =1 当μ 理解 j =∞时, 1 = 0. μ j

(n ) § 4. 4 p i j 的渐 近性质 与平稳 分布

7 5

(n ) 定理4. 1 5及推论指出, 当 j正常 返时 , 尽 管l i mp 但 其平 均 i j 不一 定 存在, n→ ∞

值的极限存在, 特别是当链不可约时, 其极限与 i无关 . 在马氏链理论中, μ j 是一 个重要的量, 定理4. 1 4, 4. 1 5 的推 论 及定 义都 给出 μ 下面 我们 通 j 的 计算 公 式, 过平稳分布给出另外一种计算 μ j 的方法.

二、平稳分布
设{Xn , n≥0 }是齐次马尔可夫链, 状态空间为 I , 转移概率为 p i j. 定义4. 1 1 称概率分布{ π j ∈I }为马尔可夫链的 平稳分布 , 若它满足 j, π j =

∑πp ,
i i j i∈ I

( 4. 4 1 )

∑π
j∈ I

=1, π j ≥0.

由定义知, 若初始概率分布{p j ∈I }是平稳分布, 则由定理4. 2有 j, p ( 1 )= P (X j ) = j 1= p ( 2 )= P (X )= j 2 =j 根据归纳法可得 p (n )= P (X )= ∑ p (n- 1 )p p j n =j i i j= ∑ p i i j=p j.


i∈ I i∈ I i

∑ pp = p ,
i i j j i∈ I i j i i j j i∈ I

1 ) p = ∑ pp =p . ∑ p(
i∈ I

综合上述有 p ( 1 )=…=p (n ). j=p j j 这说明, 若初如概率分布是平稳分 布, 则对一 切正 整数 n, 绝 对概 率 p (n )等于 j 初始概率 p 故它们同样是平稳分布. j, 值得注意的是, 对平稳分布{ π j ∈I }, 有 j, π p j= ∑ π i i j .
(n ) i∈ I

( 4. 4 2 )

事实上, 因为 π j= = 以此类推可得( 4. 4 2 )式. 定理4. 1 6 不可约非周 期马 尔 可夫 链是 正常 返的 充 要条 件是 存在 平稳 分 布, 且此平稳分布就是极限分布 1 , j ∈I . μ j

∑ πp = ∑ ∑π p
i i j i∈ I i∈ I k∈ I

k k i

p i j
( 2) i j

∑π ∑p p
k k∈ I i∈ I

k i i j

∑π p
k k∈ I

证  先证充分性. 设{ π j ∈I }是平稳分布, 于是由( 4. 4 2 )式有 j,

7 6
(n ) π p j= ∑ π i i j . i∈ I

第四章  马尔 可夫链

由于

故可交换极限与求和顺序, 得 ∑π =1和π ≥0,


j j j∈ I (n ) i mp π l i m∑ π p i j j= i i j = ∑π i l n→ ∞ i∈ I i∈ I n→ ∞ (n )

= ∑π i
i∈ I

1 1 = . μ μ j j 1
k k

因为

故至少存在一个π >0, 即 >0, 于是 ∑π =1, μ


i i∈ I (n ) l i mp i k = n→ ∞

1 >0 , μ k

k为正常返态 , 故该马氏链是正常返的. 再证必要性. 设马氏链是正常返的, 于是 l i mp i j =


n→ ∞ (n )

1 >0 . μ j

由 C-K 方程, 对任意正数 N, 有


(n + p i j m)

( m) ( n ) ( m) ( n ) i k p k j ≥ ∑ p i k p k j . ∑p k∈ I k =0

令 m→∞取极限, 得 1 ≥ μ j 再令 N→∞取极限, 得 1 ≥ μ j
∞ N


k= 0

1 (n) p k j . μ k 1 (n) p k j . μ k

k= 0

1 (n) p k j = μ k


( 4. 4 3 )

k∈ I

下面要进一步证明等号成立, 由 1=
(n ) (n ) i k ≥ ∑ p i k , ∑p k∈ I k=0

先令 n→∞, 再令 N→∞取极限, 得 1≥

∑ μ.
k∈ I k

将 ( 4 . 4 3 )式对 j求和 , 并假定对某个 j , ( 4. 4 3 )式为严格大于, 则 1≥ = 于是有自相矛盾的结果:

∑ μ > ∑ ∑ μp
j∈ I j j∈ I k∈ I k

(n ) k j

k∈ I

1 (n ) ∑pkj μ k j∈ I 1

∑ μ,
k∈ I k

∑ μ> ∑ μ,
j∈I k∈ I k

(n ) § 4. 4 p i j 的渐 近性质 与平稳 分布

7 7

故有 1 = μ j 再令 n→∞取极限, 得 1 = μ j 故有 1

∑ μp
k∈ I k (n)

(n ) k j

( 4. 4 4 )

∑μ
k∈ I


l i mp k j
n→ ∞

1 μ j

∑ μ,
k∈ I k

由( 4. 4 4 )式知 ∑ μ =1.
k∈ I

1 , j ∈I 是平稳分布, 证毕. μ j

推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布. 证  由定理4 . 1 3的推论1知, 此马尔可夫链只 有正常返 态, 再由定理 4. 1 6 知必存在平稳分布, 证毕. 推论2 若不可约马尔可 夫链 的所 有 状态 是非 常返 或零 常 返的, 则 不存 在 平稳分布. 证  用反证法. 假设{ π j ∈I }是平稳分布, 则由( 4. 4 2 )式, 有 j,
(n ) π p j= ∑ π i i j . i∈ I

但是, 根据定理4. 1 3, 有
(n ) l i mp . i j =0 n→ ∞

显然

与平稳分布 ∑ π =1矛盾, 证毕. ∑π =0,


j j j∈ I j∈ I

推论3 若{ π j ∈I }是不可约非周期马氏链的平稳分布, 则 j, l i mp (n )= j
n→ ∞

1 =π j. μ j 1 , 有 μ j 1 μ j

( 4. 4 5 )

证  根据 p ( n )= j

∑pp
i i∈ I

(n ) i j

及l i mp i j =
n→ ∞ (n )

(n )

l i mp (n )=l i m∑ p p j i i j =
n→ ∞ n→ ∞ i∈ I

∑ p =μ ,
i i∈I j

1 由定理4. 1 6知, =π 证毕. j, μ j 例4. 1 6 设马尔可夫链的转移概率矩阵为 0. 7 P= 0. 1 0. 1 0. 2 0. 8 0. 1 ,

0. 0 5 0. 0 5 0. 9 求马尔可夫链的平稳分布及各状态的平均返回时间. 解  因为马尔可夫链 是不 可 约 的非 周 期有 限 状态, 所以 平 稳 分布 存 在, 由 ( 4 . 4 1 )式得方程组

7 8

第四章  马尔 可夫链

π 7 π 0. 1 π 0 5 π 1 =0. 1+ 2 +0. 3, π 1 π 0. 8 π 0 5 π 2 =0. 1+ 2 +0. 3, π 2 π 0. 1 π 9 π 3 =0. 1+ 2 +0. 3, π 1 +π 2 +π 3 =1. 解上述方程组得平稳分布为 π 1 7 6 5, π 2 3 5 3, π 5 8 8 2 . 1 =0. 2 =0. 3 =0. 由定理4. 1 6, 得各状态的平均返回时间分别为 1 1 1 μ =5. 6 7, μ =4. 2 5, μ =1. 7 0 . 1= 2= 3= π π π 1 2 3 例4. 1 7  设 马尔 可夫 链具 有状 态 空间 I={ 0, 1, … }, 转 移 概率 为 p i i+ 1 = p p p ( i ≥0 ), 其中 p q , p 称这 种马尔可 夫链 i, i i =r i, i i-1 =q i i, i>0 i +r i+q i =1. 为生灭链, 它是不可约的. 记 a a 0 =1, j= p 0p 1 …p j- 1  ( j ≥1 ) , q q …q 1 2 j

试证此马尔可夫链存在平稳分布的充要条件为 证  由( 4. 4 1 ) 式, 有 π 0 =π 0r 0 +π 1q 1

∑ a <∞.
j j= 0

π r j ≥1 . j =π j- 1 p j-1 +π j j +π j+ 1 q j+ 1 , p 1, j +r j +q j= 于是有递推关系 q 1π 1 -p 0π 0 =0, q π π j+1π j+ 1 - p j j=q j j-p j- 1π j-1 , 解之得 π j= 所以 π j= 对 j求和得


∞ ∞

p j-1π j- 1 , j ≥0, q j

p p j- 1π j-1 0 …p j- 1 =…= π π 0 =a j 0. q q …q j 1 j

1=

j =π 0∑ a j, ∑π j= 0 j=0 ∞

由此可知平稳分布存在的充要条件是

此时 ∑ a <∞,
j j= 0

(n ) § 4. 4 p i j 的渐 近性质 与平稳 分布

7 9

π 0=


, π j=

a j

, j ≥1.

∑a
j =0

∑a
j=0

例4. 1 8 设马尔可夫链的状态空间为{ 1, 2, 3, 4, 5, 6 }, 其转移矩阵为 0. 1 0. 1 0. 2 0. 2 0. 4 0 0 0 0 0 0 0 0 1 0 0 0 0. 5 0. 5 0 0 0 0 0 1 0 0 0 0 0 0 0 0. 5 0 0 0 0 0 0 0 0 0 0 . 0 0. 5

0. 5 0 . 5

0 . 5 0. 5
n→ ∞

(n ) ( 1 ) 求每一个不可约闭集的平稳分布; ( 2 ) 计算l i mp 1 3 .

解  ( 1 ) 从图4. 1 3看出, 状态空间可分解为两 个不可约 常返闭 集 C 2, 1 ={ 3 , 4 } 和C 5, 6, 7 }, 一个 非 常返 集 N={ 1 }, 求 平 稳分 布 可 在 常 返闭 集 上 进 2 ={ 行. 在C 对应的转移概率矩阵为 1 上,

图4 . 1 3 

0 0. 5 0 . 5 P= 0 1 由 ( 4 . 4 1 )式得平稳分布满足 π π . 5 π π 5 π 2 =π 4, 3 =0 2, 4 =0. 2 +π 3, 解得平稳分布为{ 0 , 2 / 5 , 1 / 5, 2 / 5, 0 , 0, 0 }. 类似地, 在C 0, 0, 0 , 0, 1 / 3, 1 / 3 , 1 / 3 } . 2 上可解得平稳分布为{ ( 2 ) 由 C-K 方程 0 0 1 0 .

8 0

第四章  马尔 可夫链

p 1 3 = 由 ( 1 )知

(n )

∑pp
1k k= 1

( n- 1 ) k 3

=p 1 1p 1 3

(n -1)

+p 12 p 23

(n - 1 )

+p 1 3p 3 3

( n- 1 )

+p 1 4p 4 3

(n -1)

l i mp 23
n→ ∞

( n -1)

=l i mp 33
n→ ∞

( n -1 )

= l i mp 4 3
n→ ∞

( n- 1 )

1 , 5

故 1 (n ) ( n -1 ) l i mp l i mp + (p +p ), 13 = p 11 13 13 + p 14 n→ ∞ n→ ∞ 5 12 l i mp 1×l i mp 1 3 =0. 13
n→ ∞ n→ ∞ (n ) ( n- 1 )

1 + ( 0. 1 +0. 2+0. 2 ). 5

注意l i mp i mp 13 =l 13
n→ ∞ n→ ∞

(n )

( n-1 )

, 所以 l i mp 1 3 =
n→ ∞ (n )

1 . 9

§ 4 . 5  嵌入马尔可夫链
在实际中, 有些随机模型并不满足马尔可夫性. 但仔细分析仍可用马尔可夫 链的方法进行研究, 这就是所谓的“ 嵌入马尔可夫链 ”方法. 本节我们通过对排队 论中的两个模型的讨论, 对嵌入马尔可夫链方法进行简单的描述. 例4. 1 9 (M /G / 1排队系统) 假设顾客依照参数为 λ的泊松过程来到一个 只有一名服务员的服务站, 来客若发现服务员空闲就立刻得到服务, 否则排队等 待直到轮到他. 设每位顾客接受服务的时间是相互独立的随机变量, 有共同的分 布函数 G ( x ), 且与 顾 客的 到 达 过程 独 立. 我 们 称 这 个系 统 为 M /G / 1排队系 统, 字母 M 代表顾客来到的时间间隔为指 数分布 , G (x )表示服 务时间 的分布, 数字1表示只有一名服务员. 若以 X ( t )表示在时刻 t系统中的顾客人数 , 则{X ( t ), t ≥0 }不具有马尔可 夫性. 这是因为, 若已知在 t时刻系统中的顾客人数为 X ( t ), 则 对 τ>0, 系 统在 t +τ时刻的顾客数 X ( t +τ ), 不 仅与 在时 间间 隔( t , t +τ )中 到达 的顾 客数 有 关, 而且与正在接受服 务 的顾 客已 服务 了 多长 时 间有 关, 由 于 服务 时 间 的分 布 G (x )是任意的, 不具有无记忆性, 故{X ( t ), t ≥ 0 } 不具有马氏性. 下面, 我们只在顾客离去的时刻对系 统进行 分析. 设 Xn 表示 第 n 个顾 客走 后剩下的顾客数, Y n≥1, 当 n 表示第 n+1个顾客 接受服 务期间 到来 的顾 客数, X 0时, 表示系统在 第 n 个 顾客 离 开 后 , 剩 下 的 Xn 个 顾 客 中 有 一人 进 入 服 n> 务, 而其余的 Xn - 1人在排队 等 候. 因此, 下一 个顾 客离 去时, 系统 中的 顾客 数 将包含在排队的 X +1 个 顾客 接 受服 务 期间 到 来 的顾 客 n -1个 顾 客以 及第 n

§ 4. 5 嵌 入马尔可 夫链

8 1

数. 当 X 类似讨论. 由此可得 n =0时, X n+ 1 = X n -1 + Y n, Y n, 若 Xn >0 , 若 Xn =0 . ( 4. 4 6 )

由于(Yn , n≥ 1 )是不相重叠的服 务时间 区间 中来 到的顾 客数, 由 泊松 过程 的性质知它们是相互独立, 且具有相同分布 P (Yn =j )=



(λ x ) -λ x e dG (x ), j =0, 1 , 2, …. j !

( 4. 4 7 )

从( 4. 4 6 )与( 4 . 4 7 )式知{Xn , n≥1 }是马尔可夫链, 其转移概率为 p o j = p i j =

∫e
0 ∞ 0

-λ x

( λ x ) dG (x ), j ! ( λ x ) dG ( x ), ( j-i+1 )!
j -i +1

j≥0 , j≥ i-1, i≥1, 其它. ( 4. 4 8 )

-λ x e

p i j =0,

显然{Xn , n≥1 }的所有状态是互通的, 故为不可约的非周期的马氏链. 令


ρ=

p, ∑j
o j j= 0

则 ρ表示在一个服务周期内来到系统中的顾客平均数. 我们有: 当 ρ< 1时, {X n ≥1 }是遍历链. n, 事实上, 由定理4. 1 7知{Xn , n≥1 }是通 历链的 充要 条件 为平稳 分 布{ π j j, ≥ 0 } 存在, 为此解方程组

π p j ≥0. j= ∑ π i i j,
i= 0

( 4. 4 9 )

为了方便, 记a 由 ( 4. 4 8 )式知{Xn, n≥1 }的转移概率为 j=p o j, p o j=a j, p i j=a j- i+ 1 , p i j =0, 则 ( 4 . 4 9 )式为


i +1

j ≥0, i >0, j ≥i -1, 其它,

π j =π 0a j+ 为求解. 引进母函数

∑ πa
i= 1 j

i j- i+1

, j ≥0.

( 4. 5 0 )

π ( s )=

s, A ( s ) = j ∑π
j=0

∑ as,
j j j=0

以 s乘( 4. 5 0 )式的两边, 且对 j求和得

8 2
∞ j +1

第四章  马尔 可夫链

π ( s )=π ( s )+ ∑ 0A
j=0 -1

∑ πa
i= 1 ∞ i i

i j- i +1 ∞


j- i+1

=π ( s )+s 0A

∑ πs ∑
i= 1

a j- i+1 s

j= i -1

=π ( s )+( π ( s )-π )A ( s ) / s , 0A 0 ( s -1 ) π ( s ) 0A π ( s )= . s -A ( s ) 令s →1, 由于


l i mA ( s )=
s→ 1

∑ a =1,
i i= 0

故 l i mA ( s )=π l i m 0
s→ 1

s -1 s - A ( s ) s→1 -1 =π 1- A ′ ( s ) ) , 0(

其中最后一个等式由洛必达法则得到. 由于 A ′ ( 1 )= 于是
∞ i

a=ρ , ∑i
i i=0

∑ π =1-ρ.
i=0

π 0

故平稳分布存在的充要条件是 ρ<1. 在 M /G / 1排队系统中顾客是依 参数为 λ的 泊松过 程 来到 . 即 顾客 来到 系 统的时间间隔是服从均值为1 / λ的指 数分布 , 此条件 的一 个合理 推广 就是 下面 的例子. 例4. 2 0 (G /M / 1排队系统) 假设顾客来 到只有 一个 服务员 的服 务站 的时 间间隔是独立同分布的随机变量, 其分布函数为 G ( x ), 每位顾客 接受服务 的时 间服 从 均 值 为 1 / μ 的 指 数 分 布 且 与 顾 客 的 到 达 过 程 独 立. 我们称 此系 统为 G /M / 1排队系统. 记 Xn 表示第 n个顾客来到服务站时见到系统中的顾客数. 则{X n≥1 }是 n, 马尔可夫链. 由于相继的 服务 时间 是 相互 独立 的均 值为 1 / μ 的 指数 分布 , 故在 ( 0 , t ]内已服务完的顾客数是参数 为 μ的 泊 松过 程 . {Xn , n≥1 }的 一步 转移 概 率为 p i, i +1-j =

∫e
0 ∞

-μ t

j (μ t ) dG ( t ), j !

j=0 , 1, …, i , i>0 , 其它.

p i o =

∫ ∑e
0 k= i +1

-μ t

(μ t )k dG ( t ), k !

p i j =0,

习 题  四

8 3

显然{Xn , n≥ 1 }是不可 约的 非周 期 的马 尔可 夫链. 可以 证明[11] , 若 顾客 到 达时间间隔的均值 m= 稳分布 π 1-β ) β, k =0, 1, 2, … k =( 其中 β是如下方程的解: β =


t dG ( t )大于服务时间的均值1 / μ, 则存在惟一的平

-∞

∫e

-μ t ( 1- β )

dG ( t ).

习 题 四
   4. 1  设质点在 区间[ 0, 4 ]的整 数点 作随 机游 动, 到 达0 点或 4点 后 以 概 率1 停留 在原 处, 在其它 整数点 分别以 概率1 / 3 向左、 向右 移动一 格或停留 在原处 . 求质点随 机游动 的一步 和二步 转移概率 矩阵. 4 . 2  独立地重 复抛掷 一枚硬 币, 每次抛 掷出 现 正面 的 概 率为 p. 对于 n≥2, 令 X n =0, 1 , 2或 3, 这些值 分别对 应于第 n- 1 次和第 n次 抛掷的 结果为( 正, 正), (正, 反), (反 , 正)或 ( 反, 反). 求马尔 可夫链{X n=0 , 1, 2, …}的一步和二步 转移概 率矩阵 . n, 4 . 3  设{X n≥0 }为 马尔可夫 链, 试证 n, ( 1 )P {X X …, X X …, X n+1 =i n+1 , n+2 =i n+2 , n+ m =i n+ m |X 0=i 0, 1 =i 1, n=i n}= P {X X …, X X }; n+1 =i n +1 , n+2 =i n +2 , n+ m =i n+ m| n =i n ( 2 )P {X …, X X …,X {X 0 =i 0, n =i n, n+2 = i n+2 , n+ m =i n+ m |X n +1 = i n +1}= P 0= i …, Xn =i |Xn+1=i }P {X …, X Xn+1 =i }. 0, n n+1 n+2 =i n+2 , n+ m =i n+ m| n+1 4 . 4  设{X n≥1 }为 有限齐次 马尔可 夫链, 其初 始分布 和转移 概率矩阵为 n, p {X i }=1 / 4, i =1 , 2 , 3, 4, i =P 0= 1 / 4 1 / 4 1 / 4 1 / 4 P= 1 / 4 1 / 4 1 / 4 1 / 4 1 / 4 1 / 8 1 / 4 3 / 8 1 / 4 1 / 4 1 / 4 1 / 4 试证 P {X 4 |X 1< X }≠ P {X | 1< X }. 2= 0 =1, 1 <4 2 =4 1 <4 4 . 5  设{X ( t ) , t ∈T } 为 随机过 程, 且 X ( t ), X ( t ), …, X ( t ), … 1= X 1 2= X 2 n= X n 为独立 同分布随 机变量 序列, 令 Y Y ( t )= X Y Y n≥2, 0 =0, 1 =Y 1 1, n +c n-1 = X n, 试证{Y n≥0 }是马尔 可夫链 . n, 4 . 6  已知随 机游动的 转移概 率矩阵 为 0. 5 0. 5 P= 0 0. 5 0 0 0. 5 0. 5 0. 5 , ,

8 4
( 3 ) 求三步 转移概率 矩阵 P 及当 初始分 布为

第四章  马尔 可夫链

P {X0 =1 }= P {X }=0 , P {X }=1 0 =2 0 =3 时, 经三步 转移后 处于状 态3的概 率. 4 . 7  已知本 月销售状 态的初 始分布 和转移 概率矩阵 如下 : 0. 8 0. 1 0. 1 ( 1 )P ( 0 )=( 0. 4 , 0. 2, 0. 4 ), P= 0. 1 0. 7 0. 2 ; 0. 2 0. 2 0. 6 ( 2 )P ( 0 )=( 0. 2 , 0. 2, 0. 3, 0. 3 ), 0. 7 0. 1 0. 1 0. 1 P= 0. 1 0. 6 0. 2 0. 1 0. 1 0. 1 0. 6 0. 2 0. 1 0. 1 0. 2 0. 6 求下一 、 二 个月的 销售状 态分布. 4 . 8  某商品 六年共2 4个季度销 售记录 如下表( 状态 1— — — 畅销 , 状态 2— — —滞销): 季   节 销售 状态 季   节 销售 状态 1 1 1 3 1 2 1 1 4 1 3 2 1 5 2 4 1 1 6 2 5 2 1 7 1 6 2 1 8 1 7 1 1 9 2 8 1 2 0 1 9 1 2 1 2 1 0 2 2 2 1 1 1 1 2 3 1 1 2 2 2 4 1 ,
T T

以频率 估计概率 . 求 ( 1 ) 销售状 态的 初 始 分布; ( 2 ) 三 步转 移 概 率矩 阵及三 步转移 后的 销售 状态分 布. 4 . 9  设老鼠在 如图4. 1 4 的迷宫 中作随 机游动 . 当 它处在 某 个 方格中 有 k条 通道时 , 以 概率1 / k随 机通过 任一通道 . 求老鼠作 随机游 动的状 态空 间、 转移概 率矩 阵及状 态空 间可分 解成几 个闭集.

图4 . 1 4  4 . 1 0 讨论 下列转 移概率 矩阵的 马尔可 夫链的 状态分 类:

习 题  四 0 . 2 0. 3 0. 5 0 . 7 0. 3 ( 1 ) P= 0 0 0 0 ( 2 ) P= 1 1 0 0 0 0 0 0 0 0 1 0 0 … 0 p … … … 0 0 0 1 0 0 0 ; 0 0 0 0 ;

8 5

0. 4 0. 6

0 . 3 0. 7 1 0 … 0 0 0 q … … … … p r … … …

0 . 6 0. 2 0. 2 0 … … 0 … 0 … … … …   … … … …   0 0 0 0 … p 1 , q r ( 3 ) P=

q r

其中 q +r+p =1, I ={ 0, 1, …, b }. 4 . 1 1 设马 尔可夫 链的转 移概率 矩阵为 : ( 1 ) 1 / 2 1 / 2 1 / 3 2 / 3 p 1 ( 2 ) 0 q 3 q 1 p 2 0 ; 0 q , 2 p 3

(n ) (n ) 计算 f f n =1 , 2, 3. 1 1 , 1 2 ,

4 . 1 2 设马 尔可夫 链的状 态空间 I ={ 1 , 2 , …, 7 }, 转移概 率矩阵为 0. 4 0. 2 0. 1 0 P= 0 0 0 0 0 0 0 0 0 0 0 . 1 0. 1 0 . 1 0 0 . 6 0 0 0 0 0 0 0 0 0. 1 0. 3 0. 2 0 . 2 0 . 1 0. 1 0 . 1 0. 6 0 . 4 0. 4 0 0 0 0 0

0. 2 0 . 5 0 . 3

0. 3 0 . 7 0. 8 0 . 2

求状态 的分类及 各常返 闭集的 平稳分 布. 4 . 1 3 设马 尔可夫 链的转 移概率 矩阵为 0 P= q 1 0 … 求它的 平稳分布 . 1 0 q 2 … 0 p 1 0 … … 0 p 2 … … … 0 … … … … ,

8 6

第四章  马尔 可夫链

4 . 1 4 艾伦 菲斯 特( E r e n f e s t )链. 设 甲 乙两个 容 器共 有2N 个球 , 每隔 单 位 时间从 这 2N 个球中 任取一球 放入另 一容器 中, 记X 则{X n≥0 }是齐次 n 为 在时刻 n甲容 器中球的 个数, n, 马尔可 夫链, 称为 艾伦菲 斯特链. 求该链的平 稳分布 . 4 . 1 5 将2 个红球 4个白 球任意 地分别 放入甲、 乙两 个盒子 中, 每个盒子放3 个, 现从每 个盒子 中各任取 一球, 交 换后放回 盒中( 甲盒 内取出 的球放 入乙盒中 , 乙盒内 取出的球 放入甲 盒中 ), 以 X ( n ) 表示 经过 n次 交换后 甲盒中 红球数 , 则{X ( n ), n≥0 }为一齐 次马 尔可夫 链, 试求 ( 1 ) 一 步转移 概率矩 阵; ( 2 ) 证 明{X ( n ) , n≥ 0 } 是 遍历链 ;
(n ) ( 3 ) 求l i mp j =0 , 1 , 2. i j , n→ ∞

4 . 1 6 设{X ( n ) , n≥ 1 } 为非 周期不 可 约 马尔 可夫链 , 状 态空 间 为 I , 若 对一切 j ∈I , 其 一步转 移概率矩 阵满足 条件:∑ p 试证 : i j=1,


i ∈I

( 1 ) 对 一切 j ,∑ p
i∈ I

(n ) i j

=1;

( 2 ) 若 状态空 间 I ={ 1, 2, …, m } , 计算各状 态的平 均返回 时间. 4 . 1 7 设河 流每天 的 B OD ( 生物 耗氧量) 浓 度为齐 次 马 尔可 夫链, 状态 空 间 I={ 1 , 2, 3, 4 }是按 B O D 浓度为 极低, 低、 中、 高分 别表示的 , 其一步转 移概率 矩阵( 以一 天为单 位) 为 0. 5 0. 4 0. 1 P= 0 . 0. 2 0. 5 0. 2 0. 1 0. 1 0. 2 0. 6 0. 1 0 ( 1 ) 证 明该链 是遍历 链; ( 2 ) 求 该链的 平稳分 布; ( 3 ) 河 流再次 达到污 染的平均 时间 μ 4. 4 . 1 8 设齐 次马尔 可夫链 的状态 空间为{ 1, 2, 3 , 4, 5, 6 } , 其转移矩 阵为 0. 1 0. 2 0. 2 0 0 . 5 0 0 0 0 0
(n ) ( 2 ) 计 算l i mp 1 4 ; n→ ∞ n→ ∞ (n ) ( 3 ) 计 算l i mp 2 5 .

0. 2 0. 4 0. 4

若B OD浓度 为高, 则称 河流处 于污染 状态.

0 0 0 0 .

0 0 0 0

0 1 0 0

1 0

0 0 0

0. 5 0. 5 0

0 0 . 5 0 . 5 0 0 . 5 0 . 5

( 1 ) 求 每一个 不可约 闭集的平 稳分布 ;

第五章 连续时间的马尔可夫链
第四章我们讨论了时间和状态都 是离散 的最 简单 的马尔 可夫 过程, 本 章将 介绍另一类应用广泛的特殊类型的马 尔可夫 链, 即时 间连 续状态 离散 的马 尔可 夫过程.

§ 5 . 1  连续时间的马尔可夫链
考虑取非负整数值的连续时间随机过程{X ( t ), t ≥0 } . 定义5. 1 设 随机 过程{X ( t ), t ≥0 }, 状 态空间 I={ i n≥0 }, 若对 任意 n, 0 ≤t i …, i , 有 1 <t 2 <…<t n+ 1 及 i 1, 2, n +1 ∈I  P {X ( t )=i |X ( t X ( t )=i …, X ( t )=i } n+ 1 n+ 1 1)=i 1, 2 2, n n =P {X ( t )=i |X ( t )=i }, n+ 1 n+ 1 n n 则称{X ( t ) , t ≥0 }为 连续时间马尔可夫链 . 由定义知, 连续时间马尔可夫链是具有马尔可夫性的随机过程, 即过程在已 知现在时刻 t 将 来时刻 t n 及一切过去时刻所处状态 的条件 下, n+ 1 的状 态只 依赖 于现在的状态而与过去无关. 记( 5. 1 )式条件概率的一般形式为 P {X ( s +t )=j |X ( s )=i }= p ( s , t ), i j ( 5. 2 ) 它表示系统在 s时刻处于状态i , 经过时间 t后转移到状态j的转移概率 . 定义5. 2 若 ( 5. 2 )式的转移概率与 s无关 , 则称连续 时间马 尔可夫链 具有 平稳的或齐次的转移概率, 此时转移概率简记为 p ( s , t )= p ( t ), i j i j 其转移概率矩阵简记为 P ( t )=( p ( t ) ) ( i , j ∈I , t ≥ 0 ). i j 以下的讨论均假定我 们所 考虑 的 连 续时 间 马尔 可 夫链 都 具有 齐 次 转移 概 率. 为方便起见, 有时简称为齐次马尔可夫过程. 假设在某时刻, 比如说时刻0, 马尔可夫链进入状态 i , 而且在接下来的 s个 单位时间中过程未离开状态i (即未发生转移), 问在随后的 t个单位时间中过程 ( 5. 1 )

8 8

第五 章 连 续时间 的马尔 可夫链

仍不离开状态 i的概率是多少呢?由马 尔可 夫性我 们知 道, 过程 在时刻 s处于 状态i条件下, 在区间[ s , s +t ]中仍然处于状态 i的概率正是它处于状态i至少 t个单位 时间的(无条件)概 率. 若记 τ i 为过程在 转移到另 一状态 之前停留 在状 态i的时间, 则对一切 s , t ≥0有 P { τ +t | τ }=P { τ }, i >s i >s i >t 可见, 随机变量 τ 因此 τ i 具有无记忆性, i 服从指数分布. 由此可见, 一个连续时间马尔可夫链, 每当它进入状态 i , 具有如下性质: ( 1 ) 在转移到另一状态之前处于状态 i的时间服从参数为 v i 的指数分布; ( 2 ) 当过程离开状态 i时 , 接着以概率 p ,∑p . i j 进入状态j i j =1
j≠ i

上述性质也是我们构造连续时间马尔可夫链的一个方法. 当v 称状态 i为瞬时状态 , 因为过 程一旦 进入此状 态立即 就离开. i =∞时, 若v 称状态 i为 吸收 状态 , 因 为 过程 一旦 进入 此状 态 就永 远不 再离 开了. i =0, 尽管瞬时状态在理 论 上是 可 能 的, 但 我们 以 后 仍 假 设对 一 切 i , 0≤v 因 i <∞. 此, 实际上一个连续时间马尔可夫链是一个这样的随机过程, 它按照一个离散时 间的马尔可夫链从一个状态转移到另一个状态, 但在转移到下一状态之前, 它在 各个状态停留的时间服从指数分布. 此外 在状态 i过 程停 留的时 间与 下一 个到 达的状 态必 须是相 互独 立的 随机变 量. 因为 若下 一个到 达的 状态依 赖于 τ 那 i, 么过程处于状态 i已有多久的信息与 下一个 状态 的预 报有关 , 这 就与 马尔 可夫 性的假定相矛盾. 定理5. 1 齐次马尔可夫过程的转移概率具有下列性质: ( 1 )p ( t )≥0 ; i j ( 2 ) ∑p ( t ) =1; i j
j∈ I

( 3 )p ( t +s ) = i j

)p ( s ). ∑p (t
i k k j k∈ I

其中( 3 )式即为连续时间齐次马尔可夫链的切普曼-科尔莫戈罗夫方程. 证  ( 1 ), ( 2 ) 由概率定义及 p ( t )的定义易知, 下面只证( 3 ). 由全概率 公式 i j 及马尔可夫性可得  p ( t +s )= P {X ( t +s )=j |X ( 0 )=i } i j = = = = {X ( t +s )=j , X ( t )=k |X ( 0 )=i } ∑P
k∈ I

{X ( t )=k |X ( 0 )=i }P {X ( t +s )=j |X ( t )=k } ∑P


k∈ I

{X ( t )=k |X ( 0 )=i }P {X ( s )=j |X ( 0 )=k } ∑P


k∈ I

)p( s ). ∑p (t
i k k j k∈ I

证毕.

§ 5. 1 连 续时间的 马尔可 夫链

8 9

对于转移概率 p ( t ), 一般还假定它满足: i j l i mp ( t )= i j
t→0

1, i =j , 0, i ≠j .

( 5. 3 )

称 ( 5 . 3 )式为 正则性条件 . 正则性条件 说明, 过 程刚进 入某 状态不 可能 立即 又跳 跃到另一状态. 这正好说明一个物理系统要在有限时间内发生无限多次跳跃, 从 而消耗无穷多的能量这是不可能的. 定义5. 3 对于任一 t ≥0, 记 p ( t )= P {X ( t )=j }, j p ( 0 )= P {X ( 0 )=j }, j ∈I , j =p j 分别称{p ( t ), j ∈I }和 {p j ∈I }为齐 次马尔 可夫过程 的 绝对概 率分 布 和 初始 j j, 概率分布 . 定理5. 2 齐次 马 尔可 夫 过程 的 绝对 概 率 及 有 限维 概 率 分 布 具有 下 列 性 质: ( 1 )p ( t )≥0; j ( 2 ) ∑p ( t )=1; j
j∈ I

( 3 )p ( t )= j

) ; ∑pp(t
i i j i∈ I

( 4 )p ( t +τ )= j

t )p( τ ); ∑p(
i i j i∈ I

( 5 )P {X ( t …, X ( t )=i } 1)=i 1, n n = 证明略. 例5. 1 试证明泊松过程{X ( t ), t ≥0 } 为连续时间齐次马尔可夫链. 证  先证泊松过程具有马尔可夫性, 再证齐次性. 由泊松过程的定义知它是 独立增量过程, 且 X ( 0 )=0 . 对任意0<t 有 1 <t 2 <…<t n <t n +1 ,  P {X ( t )=i |X ( t =i …, X ( t )=i } n+ 1 n+ 1 1) 1, n n =P {X ( t )- X ( t )=i |X ( t )- X ( 0 )=i n+ 1 n n +1 -i n 1 1,  X ( t )- X ( t =i …, X ( t )- X ( t )=i } 2 1) 2 -i 1, n n- 1 n -i n-1 =P {X ( t )- X ( t )=i } . n+ 1 n n +1 -i n 另一方面, 因为  P {X ( t )=i |X ( t =i n+ 1 n+ 1 n) n} =P {X ( t )- X ( t )=i |X ( t )- X ( 0 )=i } n+ 1 n n +1 -i n n n =P {X ( t )- X ( t )=i } , n+ 1 n n +1 -i n 所以 t)p ∑pp (
i∈ I i i i 1 1 i i 12

( t 2 -t 1)… p i

i n-1 n

( t ). n -t n- 1

9 0

第五 章 连 续时间 的马尔 可夫链

 P {X ( t ) =i X ( t )=i …, X ( t )=i } n+ 1 n+1| 1 1, n n =P {X ( t ) =i X ( t )=i }, n+ 1 n+1| n n 即泊松过程是一个连续时间马尔可夫链. 下面再证齐次性. 当j ≥i时 , 由泊松过程的定义, 得 P {X ( s +t )=j |X ( s )=i }= P {X ( s +t )- X ( s )=j -i } λ t ) -λ t( =e . ( j -1 )! 当j <i时 , 由于过程的增量只取非负整数值, 故p ( s , t )=0 , 所以 i j p ( s , t )=p ( t )= i j i j e
-λ t j- i ( λ t ) , ( j -i )! j- i

j ≥i , j <i ,

0, 即转移概率只与 t有关, 泊松过程具有齐次性.

§ 5 . 2  科尔莫戈罗夫微分方程
对于离散时间齐次马尔 可夫 链, 如果 已知 其 一步 转移 概率 矩阵 P=(p ), i j 则 k步转移概率矩阵由一步转移概率矩阵的k次方即可求得 . 但是, 对于连续时 间齐次马尔链, 转移概率 p ( t )的求解一般较为复杂. 下面我们首 先讨论 p ( t ) i j i j 的可微性及 p ( t )所满足的科尔莫戈罗夫微分方程. i j 引理5. 1 设齐次马尔可夫过程满足正则性条件( 5 . 3 ), 则对 于任意固 定的 i , j ∈I , p ( t )是 t的一致连续函数 . i j 证  设 h> 0, 由定理5. 1得  p ( t +h )-p ( t )= ∑ p ( h )p ( t )-p ( t ) i j i j i r r j i j
r∈ I

=p (h )p ( t ) -p ( t )+ i i i j i j =-[ 1- p (h ) ]p ( t )+ i i i j 故有

)p ( t ) ∑p (h
i r r j r≠ i

h )p ( t ), ∑p (
i r r j r≠ i

p ( t +h )- p ( t )≥-[ 1- p ( h ) ] p ( t )≥-[ 1- p (h ) ], i j i j i i i j i i p ( t +h )-p ( t )≤ ∑ p ( h )p ( t ) i j i j i r r j


r≠ i

≤ ∑p ( h ) =1- p ( h ), i r i i
r≠ i

因此 | p ( t +h )- p ( t ) |≤1- p ( h ). i j i j i i 对于 h<0, 同样有

§ 5. 2 科 尔莫戈罗 夫微分 方程

9 1

p ( t )- p ( t +h )= i j i j

)p ( t +h )-p( t +h ) ∑ p(-h
i r r j i j r∈ I

=p (- h ) p ( t +h )- p ( t +h ) i i i j i j  + ∑ p (-h ) p ( t +h ) i r r j
r≠ i

=-[ 1- p (-h ) ]p ( t +h ) i i i j  + ∑ p (-h ) p ( t +h ), i r r j


r≠ i

故有 p ( t )-p ( t +h )≥-[ 1-p (-h ) ]p ( t +h ) i j i j i i i j ≥-[ 1-p (-h ) ], i i p ( t ) -p ( t +h )≤ i j i j ≤ 因此 | p ( t )- p ( t +h ) |≤1-p (-h ). i j i j i i 综上所述, 一般地有 | p ( t +h )-p ( t ) |<1-p ( | h | ). i j i j i i 由正则性条件知 l i m |p ( t +h )-p ( t ) |=0, i j i j
h→ 0

)p ( t +h ) ∑ p (-h
i r r j r≠ i

)=1- p(-h ), ∑p (-h


i r i i r≠ i

即p ( t )关于 t是一致连续的, 证毕. i j 以下我们恒假设齐次马尔可夫过程满足正则性条件( 5. 3 )式. 定理5. 3 设 p ( t )是齐次马尔可夫过程的转移概率, 则下列极限存在: i j ( 1 )l i m


Δt →0

1- p ( Δ t ) i i =v i=q i i ≤∞; Δ t p ( Δ t ) i j =q i ≠j . i j <∞, Δ t

( 2 )l i m
Δt →0 [ 2 ]

证明

略.

我们称 q i j 为齐次马尔可夫过程从状 态i到 状态j的 转移 速率 或 跳 跃强度 . 定理中的极限的概率意义为: 在长为 Δ t的 时间区间 内 , 过 程从 状态 i转移 到另 一其它状态的转移概率1- p ( Δ t ), 等于 q t加 上 一个 比 Δ t高 阶 的 无穷 小 i i i iΔ 量; 而从状态 i转移到状态j的概率 p ( Δ t ), 等于 q t加上 一个 比 Δ t高 阶的 i j i jΔ 无穷小量. 推论  对有限齐次马尔可夫过程, 有 q i i=

∑ q <∞.
i j j≠i

9 2

第五 章 连 续时间 的马尔 可夫链

证  由定理5 . 1, 有 Δ t )=1, 即1-p( Δ t )= ∑ p( Δ t ). ∑ p(


i j i i i j j∈ I j≠ i

由于求和是在有限集中进行, 故有 l i m
Δt→0

1-p ( Δ t ) p ( Δ t ) i i i j = l i m∑ = Δ t Δ t Δ t→ 0 j≠ i q i i=

∑q,
i j j≠ i

∑q ,
i j j≠ i

( 5. 4 )

证毕. 对于状态空间无限的齐次马尔可夫过程, 一般只有 q i i≥

∑q .
i j j≠ i

若连续时间齐次马尔可夫链是具有有限状 态空 间 I={ 0, 1, …, n }, 则 其转 移速率可构成以下形式的矩阵: -q 00 Q= q 1 0 … q n 0 q i j ≥0. 利用 Q 矩阵可以推出任 意时间间隔t的转 移概率所满足的方 程组, 从而可 以求解转移概率. 由切普曼-科尔莫戈罗夫方程有 p ( t +h )= i j 或等价地 p ( t +h )- p ( t )= i j i j )p ( t )-[ 1- p( h ) ]p( t ). ∑ p (h
i k k j i i i j k≠ i

q 0 1 -q 11 … q n 1

… … …

q 0n q 1n … -q n n . ( 5. 5 )

由 ( 5 . 4 )式知, Q 矩阵的每一行元素之和为0, 对角线元素为负或0, 其余 i ≠j时

)p ( t ), ∑ p (h
i k k j k∈ I

两边除以 h后令h→0取极限, 应用定理5. 3, 得 l i m


h →0

p ( t +h )- p ( t ) p ( h ) i j i j i k = l i m∑ p ( t )-q p ( t ). k j i i i j h h h→0 k≠ i

( 5. 6 )

假定在( 5. 6 )式的右边可交换极限与求和, 再运用定理5. 3, 于是得到下面结论. 定理5. 4 (科尔莫戈罗夫向后方程)  假设 0 , 有 p ′ ( t ) = i j t )-q p( t ) . ∑ qp(


i k k j i i i j k≠ i

则 对一切 i , j及t ≥ ∑q =q ,
i k i i k≠ i

( 5. 7 )

§ 5. 2 科 尔莫戈罗 夫微分 方程

9 3

证  我们只须证明( 5. 6 )式右 边极限 与求 和可 交换次 序. 现在, 对 于任 意固 定的 N, 有 l i m i n f∑


h →0

p (h ) p ( h ) i k i k p ( t )≥ l i m i n f∑ p ( t )= k j k j h→ 0 h h k≠ i k≠i
k< N

k≠ i k< N

t ), ∑ qp(
i k k j

因为上式对一切 N 成立, 可见 l i m i n f∑
h→0

p (h ) i k p( t )≥ h kj k≠ i

t ). ∑ qp(
i k k j k≠ i

( 5. 8 )

为了倒转不等式, 注意对于 N>i , 由于 p ( t ) ≤1, 所以 k j    l i m s u p∑


h →0

p ( h ) i k p ( t ) k j h k≠ i

≤ l i m s u p
h →0


k< N

p (h ) p (h ) i k i k p ( t )+ ∑ k j h h k≠ i k≥ N p (h ) 1- p ( h ) p ( h ) i k i i i k p ( t )+ -∑ k j h h h k≠ i k≠ i
k< N i i i k

≤ l i m s u p
h →0


k< N k j

k≠ i k< N

t ) +q - ∑ q , ∑ q p(
i k k≠ i k< N

其中最后的等式由定理5. 3而得. 因上述不等式对一切 N>i成立 , 令 N→∞且 由 我们得到 ∑q =q ,


i k i i k≠ i

l i m s u p∑
h →0

p (h ) i k p ( t )≤ k j h k≠ i

). ∑ qp (t
i k k j k≠ i

上式连同( 5. 8 )式可得 l i m∑
h→0

p (h ) i k p( t )= h kj k≠ i

t ) , ∑ qp(
i k k j k≠ i

证毕. 定理5. 4中 p ( t )满足的 微分方程 组以科 尔莫戈罗 夫 向后 方程 著 称. 称它 i j 们为向后方程, 是因为在计算 时刻 t + h 的状 态的 概率 分 布时 我们 对退 后到 时 刻h的状态取条件, 即我们从 p ( t +h )= ∑P {X ( t +h )=j |X ( 0 )=i , X (h ) =k } ・P {X ( h )=k |X ( 0 )=i } i j
k∈ I

= ∑p ( t ) p (h ) k j i k
k∈ I

开始计算. 对时刻 t的状态取条件, 我们可以导出另一组方程, 称为科尔莫戈罗夫 向前 方程 , 可得 p ( t +h )= i j t ) p (h ), ∑ p(


i k k j k∈ I

9 4

第五 章 连 续时间 的马尔 可夫链

或 p ( t +h )- p ( t )= i j i j = 所以 l i m
h→0

t )p ( h )-p( t ) ∑p (
i k k j i j k∈ I

t )p ( h )-[ 1-p(h ) ] p( t ), ∑p (
i k k j j j i j k≠ j

p ( t +h )-p ( t ) i j i j = l i m h h→ 0

t ) ∑p (
i k k≠ j

p ( h ) 1- p (h ) k j j j - p ( t ) . i j h h

假定我们能交换极限与求和, 则由定理5. 3便得到 p ′ t )= i j( t ) q -qp( t ), ∑ p(


i k k j j j i j k≠ i

令人遗憾的是上述极限 与求 和 的交 换不 是 恒成 立, 所 以 上式 并 非 总是 成 立. 然 而, 在大多数模型中— — —包括全部生灭过程与全部有限状态的模型, 它们是成立 的. 定理5. 5 (科尔莫戈罗夫向前方程) 在适当的正则条件下 p ′ ( t )= ∑ p ( t ) q ( t ) q i j i k k j -p i j j j.


k≠i

( 5. 9 )

利用方程组( 5 . 7 )或( 5. 9 )及初始条件 p ( 0 )=1, i i p ( 0 )=0, i ≠j i j 我们可以解得 p ( t ). 科尔莫戈罗夫向后和向前方程虽然形式不同, 但可以 证明 i j 它们所求得解 p ( t )是 相 同 的. 在 实 际 应 用 中, 当固 定最后所处状态 j , 研究 i j p ( t )时( i = 0, 1, …), 采用向后方程( 5. 7 )较方便; 当固定状态 i , 研究 p ( t )时 i j i j ( j =0, 1, …), 则采用向前方程较方便. 向后方程和向前方程可以写成矩阵形式 P ′ ( t )= Q P ( t ), P ′ ( t )= P ( t )Q, 其中 Q 矩阵为 -q 00 Q= q 1 0 q 2 0 … q 0 1 -q 11 q 2 1 … q 0 2 q 1 2 -q 2 2 … … … … , ( 5. 1 0 ) ( 5. 1 1 )

矩阵 P ′ ( t ) 的元素为矩阵 P ( t )的元素的导数, 而 p t ) p ( t ) p ( t ) … 0 0( 0 1 02 P ( t )= p t ) p ( t ) p ( t ) … 1 0( 1 1 12 p t ) p ( t ) p ( t ) … 2 0( 2 1 22 … … … .

§ 5. 2 科 尔莫戈罗 夫微分 方程

9 5

这样, 连续时间马尔可夫链的转 移概 率的 求解问 题就 是矩阵 微分 方程 的求 解问题, 其转移概率由其转移速率矩阵 Q 决定. 特别, 若 Q 是一个有限维矩阵, 则( 5. 1 0 )和( 5. 1 1 )的解为 P ( t )= e =
Q t

(Q t ) . ∑ j ! j=0

定理5. 6 齐次马尔可夫过程在 t时刻处于状态j ∈I的 绝对概 率 p ( t )满 j 足下列方程: p ′ ( t )=- p ( t ) q j j j j+ 证  由定理5 . 2, 有 p ( t )= ∑ p p ( t ). j i i j


i∈ I

t ) q. ∑ p(
k k j k≠ j

( 5. 1 2 )

将向前方程( 5. 9 ) 式两边乘以 p 并对 i求和得 i, ′( t )= ∑ (-pp( t ) q)+ ∑ ∑ pp ( t )q , ∑ pp


i i j i i j j j i i k k j i∈ I i∈ I i∈ I i ≠ j

故 p ′ ( t ) =- p ( t )q q j j j j+ ∑ p k k j,
k≠ j

证毕. 与离散马尔可夫链类似, 我 们 讨论 转移 概率 p ( t )当 t →∞ 时 的极 限分 布 i j 与平稳分布的有关性质. 定义5. 4 设 p ( t )为连 续时间 马尔 可夫 链的 转移 概率, 若 存在 时刻 t i j 1和 t 使得 2, p ( t >0, p ( t i j 1) j i 2)>0, 则称状态 i与j是互通的. 若所有状态都是互通的, 则称此 马尔可 夫链为不 可约 的. 关于状态的常返性和非常返性等 概念与 离散 马尔 可夫链 类似, 在 此不 一一 重述. 下面我们不加证明地给出转移概率 p ( t )在 t → ∞时的 性质及其 与平 稳分 i j 布的关系. 定理5. 7 设连续时间的马尔可夫链是不可约的, 则有下列性质: ( 1 ) 若它是正常返的, 则极 限l i mp ( t ) 存 在 且等 于 π j ∈I . 这里π i j j >0, j是
t→ ∞

方程组 π q j j j =

∑πq ,
k k j k≠ j

( 5. 1 3 )

∑π
i∈ I

=1

9 6

第五 章 连 续时间 的马尔 可夫链

的惟一非负解. 此时称{ π j ∈I } 是该过程的平稳分布, 并且有 j, l i mp ( t )=π j j.


t→ ∞

( 2 ) 若它是零常返的或非常返的, 则 l i mp ( t )=l i mp ( t )=0 , i , j ∈I . i j j


t→ ∞ t→ ∞

证明略. 在实际应用中, 有些问题可以用科尔莫戈罗夫方程直接求解, 有些问题虽不 能直接求解, 但可以用方程( 5. 1 3 ) 求解. 下面举几个在应用中有一定代表性的例题. 例5. 2 考虑两个状态的连 续 时间 马尔 可夫 链, 在 转移 到状 态 1之 前链 在 状态0停留的时间是参数为 λ的指数变量 , 而在 回到状态 0之前 它停 留在 状态 1的时间是参数为 μ的指数变量 . 显然该链是一个齐次马尔可夫过程, 其状 态转 移概率为 p h )=λ h+o ( h ), 0 1( p h )=μ h+o ( h ), 1 0( 由定理5. 3知 1-p (h ) p (h ) 0 0 01 q l i m = l i m 0 0= h→0 h →0 h h d = p (h ) |h= 0 =λ=q 0 1, d h 01 1-p (h ) p (h ) 1 1 10 q l i m = l i m 1 1= h h h→0 h →0 d = p (h ) |h= 0 = μ =q 1 0 10 . d h 由科尔莫戈罗夫向前方程得 p ′ t ) =μ p ( t )-λ p t ) 0 0( 0 1 0 0( =-(λ +μ )p t )+μ, 0 0( 其中最后一个等式来自 p t )=1-p ( t ). 因此 0 1( 00
( λ+ μ )t (λ + μ )t e [p ′ t )+( λ +μ )p ( t ) ]= μ e 0 0( 0 0

或 d (λ+ μ)t (λ + μ )t [ e p t ) ]= μ e , 0 0( d t 于是 μ (λ+ μ)t (λ+ μ )t e p ( t )= e +c . 0 0 λ +μ λ 由于 p 0 ) =1, 可见 c = , 于是 0 0( λ +μ

§ 5. 2 科 尔莫戈罗 夫微分 方程

9 7

μ λ - (λ+ μ)t p t )= + e , 0 0( λ + μ λ+ μ λ μ 若记 λ , μ= , 则 0= λ +μ 0 λ +μ p ( t ) =μ 00 0 +λ 0e 类似地由向前方程 p ′ t ) =λ p ( t )-μ p t ) 0 1( 00 0 1( 可解得


- (λ+ μ )t p ( t )=λ [ 1 -e ]. 01 0 -(λ + μ )t

由对称性知 p ( t ) =λ 11 0 +μ 0e p t )=μ 1-e 1 0( 0[ 故转移概率的极限为 l i mp ( t )=μ l i mp ( t ), 0 0 0= 10


t→ ∞ t→ ∞ -(λ + μ )t

-(λ + μ )t

].

l i mp ( t )=λ i mp ( t ). 11 0 =l 0 1
t→ ∞ t→ ∞

由此可见, 当t →∞时, p ( t ) 的 极限存 在且 与 i无关 . 由 定理 5. 7 知, 平稳 分布 i j 为 π π 0 =μ 0, 1 =λ 0 . 若取初始分布为平稳分布, 即 P {X ( 0 )=0 }=p P {X ( 0 )=1 }= p 0 =μ 0, 1 =λ 0, 则过程在时刻 t的绝对概率分布为      p t )= p ( t )+p ( t ) 0( 0p 00 1p 1 0
-( λ+ μ )t - (λ + μ )t =μ [ λ e +μ [ 1-e ]= μ 0 0 0]+λ 0μ 0 0,

     p t )= p ( t )+λ ( t ) 1( 0p 01 0p 11 =μ 1-e 0λ 0[


- ( λ+ μ )t

]+λ [λ e 0 0 +μ 0

-( λ + μ )t

]=λ 0 .

例5. 3 机器维修问题. 设例5 . 2中状态0代表某 机器正常 工作, 状态 1代 表机器出故障. 状态转移概率与例5. 2 相同, 即在 h时 间内 , 机器从正 常工 作变 为出故障的概率为 p h )=λ h+o (h ); 在 h时间内 , 机器从有故障变为经 修复 0 1( 后正常工作的概率为 p h )= μ h +o (h ), 试求在 t =0 时正常工 作的机 器, 在 1 0( t =5 时为正常工作的概率. 解  由例5. 2已求得该过程的 Q 矩阵为 Q= -λ μ λ -μ .

根据题意, 要求机器最后所处的状态为正常工作, 只需计算 p t )即可. 0 0(

9 8

第五 章 连 续时间 的马尔 可夫链

由例5. 2知 p ( t ) =λ e 00 0 λ μ 其中 λ , μ , 故 0= 0= λ +μ λ +μ p ( 5 ) =μ e 00 0 +λ 0 因为 P {X ( 0 )=0 }= p 所以 0 =1, P {X ( 5 )=0 }=p 5 ) =p 5 ) 0( 0p 0 0( =μ 0 +λ 0e


-5(λ + μ ) -5 (λ + μ ) - (λ + μ )t

+μ 0,

§ 5 . 3  生 灭 过 程
连续时间马尔可夫链的一类重要 特殊情 形是 生灭 过程, 它的 特征 是在 很短 的时间内, 系统的状态只能从状态 i转移到状态i -1或 i +1或保持 不变, 确切 定义如下. 定义5. 5 设 齐 次 马 尔 可 夫 过 程{X ( t ), t≥0 }的 状 态 空 间 为 I={ 0, 1, 2 , …}, 转移概率为 p ( t ), 如果 i j p (h ) =λ h+o (h ) ( λ ), i, i+ 1 i i >0 p (h ) =μ h+o ( h ) ( μ μ ), i, i- 1 i i >0, 0 =0 p (h )=1 -( λ )h+o ( h ), i i i+μ i p (h )=o (h ), | i -j |≥2 , i j 则称{X ( t ) , t ≥0 }为 生灭过程 , λ μ i 为出生率, i 为死亡率. 若λ λ , μ μ ( λ , μ是正常数), 则称{X t ≥0 }为线性生灭过程 . i =i i =i i, 若μ 则称 {X ( t ), t ≥0 }为 纯生 过程 ; 若λ 则{X ( t ), t ≥0 }为 纯灭 i ≡0, i ≡0, 过程 . 生灭过 程可作 如下 概率 解释: 若以 X ( t )表示 一个 生物群 体在 t时刻的 大 小, 则在很短的时间 h内(不计高阶无穷小), 群体变化 有三种 可能, 状态由 i变 到i + 1, 即增加一个个体, 其概 率为 λ h; 状态 由 i变到i -1, 即 减少 一个 个体, i 其概率为 μ h; 群体大小不增不减, 其概率为1-( λ ) h. i i +μ i 由定理5. 3得 d q p(h ) |h=0 =λ i ≥0. i i =- i+μ i, dh ii λ  j =i +1,  i ≥0 , i, d q p ( h ) |h= 0 = i j= i j d h μ  j =i -1,  i ≥1, i, q | i -j |≥2, i j =0,

§ 5. 3 生 灭过程

9 9

故科尔莫戈罗夫向前方程为 p ′ ( t )=λ t )-( λ )p ( t ) +μ ( t ), i , j ∈I . i j j- 1 p i, j-1( j +μ j i j j+1 p i, j+ 1 科尔莫戈罗夫向后方程为 p ′ ( t )=μ p ( t )-( λ ) p ( t )+λ p ( t ), i , j ∈I . i j i i- 1, j i+μ i i j i i+ 1, j 因为上述方程组的求解较为困难, 我们讨论其平稳分布. 由( 5. 1 3 )式, 有 λ 0π 0 =μ 1π 1, ( λ ) π j ≥1. j +μ j j =λ j- 1π j -1 + μ j+ 1π j+1 , 逐步递推得 π 1= λ λ λ 0 1 0λ 1 π π π π …, 0, 2= 1= 0, μ μ μ 1 2 1μ 2 λ λ j- 1 0λ 1 …λ j- 1 π π …, j- 1 = 0, μ μ j 1μ 2 …μ j

π j=

再利用

得平稳分布 ∑ π =1,
j j= 1 ∞

π 0 = 1+ ∑
j= 1

λ 0λ 1 …λ j -1 μ 1μ 2 …μ j

-1


-1

π j =

∞ λ λ 0λ 1 …λ j -1 0λ 1 …λ j -1 1+ ∑ μ μ …μ μ μ …μ 1 2 j 1 2 j j=1

,  j≥1.

( 5. 1 4 )

上式也指出平稳分布存在的充要条件是


例5. 4  两个生灭过程

j= 1

λ 0λ 1 …λ j-1 <∞. μ μ …μ 1 2 j

( i )M /M / s排队系统 . 假设顾客按照参数为 λ的泊松过程来到一个有s个 服务员的服务站, 即 相继 来到 之 间的 时间 是均 值为 1 /λ的 独 立指 数随 机 变量 , 每一顾客一来到, 如果有服务员空 闲, 则直接 进行 服务, 否 则此顾 客要 加入 排队 行列(即他在队列中等待). 当一个服务结束对一位顾客的服务时, 顾客就离开服 务系统, 排队中的一个顾客(若有顾客等待)进入服务, 假定相继的服务时间是独 立的指数随机变量, 均值 为 1 / μ. 如 果 我们 以 X ( t )记 时刻 t系 统 中的 人 数 , 则 {X ( t ), t ≥ 0 }是生灭过程 μ n= n μ, s μ, 1 ≤ n≤s , n>s ,

λ ,  n≥0 . n =λ M /M / s排除系统中 M 表示马尔可夫过程 , s代 表s个服务 员 . 特别在 M/M / 1 排队系统中, λ , μ , 于是若 λ /μ <1, 则由( 5. 1 4 ) 式得 n =λ n=μ

1 0 0

第五 章 连 续时间 的马尔 可夫链

πn =

( λ / μ )n ∞ λ 1+ ∑ μ n= 1

λ μ

1-

λ , n≥0, μ

要平稳分布(即极限分布)存在, λ必须小于μ是直观的 . 顾客按速率 λ到来且以 速率 μ受到服务, 因而当 λ> μ时他们到来的速率高于他们能受到服务的速率 , 排队的长 度趋 于无穷. λ= μ的情 况类 似于 对称的 随机 游动 , 它 是零 常返 的, 从 而没有极限概率. ( i i ) 有迁入的线性增长模型. μ μ , n≥1, n =n λ λ+θ , n≥0 n =n 的模型称为有迁入的线性增长模型. 这种 过程 来自于 生物 繁殖与 群体 增长 的研 究中. 假定群体中的每个个体以指数率 λ出生; 此外, 群体 由于从 外界 迁入 的因 素又以指数率 θ增加 , 因此当系统中有 n个成员时 , 整个出生 率是 n λ+θ . 假定 此群体的各个成员以指数率 μ死亡 , 从而 μ μ. n =n 例5. 5  尤尔过程  设群 体中各 个成 员独 立地活 动以 指数 率 λ生育 . 若假 设没有任何成员死亡, 以 X ( t )记时刻 t群体的总量 , 则 X ( t )是一个 纯生过程, 其 λ λ, n>0 n =n 称此纯生过程为尤尔过程. 试计算 ( 1 ) 从一个个体开始, 在时刻 t群体总量的分布 ; ( 2 ) 从一个个体开始, 在时刻 t群体诸成员年龄之和的均值 . 解  ( 1 )记 T ( i ≥1 )为第 i个 与第i +1个 成员出 生之 间的 时间, 即 T i i是 群体总量从i变到i +1所花的时间. 由尤尔过程的定义容易得到 T ( i ≥1 )是独 i 立的具有参数 i λ的指数变量. 故
-λ t P (T )=1-e , 1 ≤t

P (T )= 1+ T 2 ≤t

(T + T ≤t |T = x ) λ e ∫P
0 1 2 1

-λ x

dx

1-e ∫(

- 2λ (t- x )

)λ e d x

-λ x

=( 1- e ),  P (T ) 1+T 2+T 3 ≤t = (T + T + T ≤t |T + T =x ) dF ∫P
0 1 2 3 1 2 t T + T 1 2

-λ t 2

(x )

1 -e ∫(
0 -λ t

- 3λ (t - x )

) ( 1-e ) 2 λ e d x

-λ t

-λ x

=( 1-e ) .

§ 5. 3 生 灭过程

1 0 1

一般地, 由归纳法可证明 P (T )= ( 1 -e ) . 1+T 2 +…+ T j ≤t 由于 P (T )= P (X ( t )≥j +1 |X ( 0 )= 1 ) , 1+T 2 +…+ T j ≤t 故 p ( t )=( 1- e ) 1j


-λ t -λ t j-1 -λ t j

-( 1-e ) , j ≥1.

-λ t

=e ( 1-e )

-λ t j -1

由此可见, 从一个个体开始, 在时 刻 t群体 的 总量 具有 几何 分布 , 其均 值为 e . 一般, 如果群体从 i个个体开始 , 在时刻 t群体总量是i个 独立同 几何分布 随机 变量之和, 具有负二项分布, 即 p ( t )= i j j -1 i -1 e ( 1-e )
-i λ t -λ t j-1

λ t

, j ≥i ≥1.

( 2 )记 A ( t ) 为群体在时刻 t诸成员的年龄之和 , 则可以证明 A ( t )=a 0+ ( s ) d s , ∫X


0 t

其中 a =0时的年龄. 取期望得 0 是初始个体在 t E A ( t )=a 0 +E =a 0 +


0 λ s

X ( s ) d s =a 0+
λ t 0

[X ( s ) ] d s ∫E

e -1 s =a + . ∫e d λ

例5. 6  传染模型  考虑有 m 个个体的群 体 , 在时刻 0由一 个已感染 的个 体与 m-1个未受到感染但可能被感 染的个 体组 成. 个体 一旦受 到感 染将 永远 地处于此状态. 假设在任意长为 h的时间 区间内任 意一个已 感染的 人将以 概率 a h +o ( h )引起任一指定的未感染者 成为 感染者. 若 我们 以 X ( t )记 时刻 t群体 中已受感染的个体数, 则{X ( t ), t ≥0 }是一纯生过程, 其 λ n= (m-n ) n a, 0, n= 1, 2, …, m- 1, 其它.

这是因为当有 n个已受感染的 个体 时则 m- n个 未受 感 染者 的每 一个 将以 速 率n a变成已感染者. 记 T 为直至整个群体被感染的时间, T + 1个已感染 i 为从i个已感染者到i 者的时间, 则


m -1

T= ∑ T i.
i= 1

由于 T 其参数分别为 λ (m-i ) i a, i =1, 2, …, i 是相互独立的指数随机变量, i= m-1, 故

1 0 2
m-1

第五 章 连 续时间 的马尔 可夫链

E T= D T=

T= ∑ , ∑E a i (m-i )
i i =1 i= 1

m -1

m-1


i=1

D T i=

1 2 a

m -1


i=1

1 . i (m-i )

对规模合理的群体, E T 渐近地为 E T= ≈ 1 m a∑ i=1 1 m a


m-1

1 1 +       m-i i 1 1 2 l n (m-1 ) + d t = . m-t t m a


m -1

例5. 7 机器维修  设有 m 台机床 , s个维修工人( s <m ). 机床或者工作, 或者损坏等待修理. 机床损坏后, 空着的维修工人立即来修理. 若维修工人不空, 则机床按先坏先修排队等待维修. 假定在 h时间内, 每台机床从工作转到损坏的概率的 λ h+o ( h ), 每台 修理 的机床转到工作的 概率为 μ h+o ( h ). 用 X ( t )表示时刻 t损 坏的机床 台数 , 则 {X ( t ), t ≥ 0 }是连 续时 间马 尔可 夫 链, 其状 态空 间 I={ 0, 1, …, m } . 设时刻 t 有i台机床损坏, 则在( t , t +h )内又有一台机床损坏的概率, 在不计高阶无穷小 时, 它应等于原来正在工作的 m-i台机 床 中 , 在( t , t +h )内 恰有 一台 损坏 的 概率, 于是 p (h ) =(m-i ) λ h+o ( h ), i =0 , 1, …, m-1 . i, i+ 1 类似地 p h )= i, i-1( i μ h+o ( h ), 1 ≤i ≤s , s μ h+o ( h ), s <i ≤ m,

p ( h )=o ( h ), | i -j |≥2 . i j 显然, 这是一个生灭过程, 其中 λ (m-i ) λ , i =0, 1, …, m, i= μ i= 由 ( 5 . 1 4 )式知它的平稳分布为


s j π m 0 = 1+ ∑ C j=1

i μ, 1≤i ≤s , s μ, s <i ≤ m.
m j -1

λ ( s+1 ) ( s+2 ) …j λ + ∑ Cj m j -s μ μ s j= s +1

Cj m π j= Cm

λ π, μ 0 ( s +1 ) ( s +2 )…j λ π, j- s μ 0 s

1≤j ≤s , s <j ≤ m.

当已知 m, λ , μ后 , 可以由上述平稳分布计算出在安排 s个 维修工人 时 , 平 均不

§ 5. 4 布 朗运动及 其基本 性质


1 0 3

工作的机床台数

π, 因而可以适当安排维修工人人数 s . ∑j
j j=1

§ 5 . 4  布朗运动及其基本性质
布朗运动是时间连续、 状态连 续的马 尔可 夫过 程, 在工程、 经 济和 科学 领域 中有广泛的应用. 第二章§2. 4 中, 我们 已 经简 单地 介绍 了布 朗 运动 的概 念, 以 下各节将进一步讨论布朗运动的性质. 我们首先对布朗运动给一个直观的描述. 考虑直线上对称的随机游动. 设 X ( t )表示质点在时刻 t所处的位置 , X ( 0 ) = 0. 质点每隔 Δ t时间等概率地向左或向右走一步 , 其步长为 Δx=σ / Δ t , 此时 X ( t )=Δx (X ), 1 +…+ X [t /Δ t ] 其中 X i= 1, 若步长为 Δx的第i步向右 , -1, 若步长为 Δx的第i步向左 , ( 5. 1 5 )

且假设 X 其分布列为 i 是相互独立同分布的随机变量, P (X ) =P (X )= i =1 i =-1 故E X D X 由( 5. 1 5 ) i =0, i =1, E X ( t )=0, D X ( t ) =( Δx )


1 . 2

t t 2 =σΔ t . Δ t Δ t

( 5. 1 6 )

由于 X 当Δ t →0时, i 是相互独立同分布的随机变量, 的中心极限定理知 l i m


Δt→ 0

t →∞, 由独 立同 分布 Δ t

X ( t ) D [X ( t ) ]

依分布收敛于标准正态随机变量 N ( 0, 1 ), 且 E [X ( t ) ]=0, l i mD [X ( t ) ]=σt .


Δt →0 2 2

故X ( t )是均值为0, 方差为 σt的正态随机变量 . 由于随机游动 在不 相 重 叠 的 时 间 区 间 中 的变 化 是 相 互 独 立 的, 且在任一 时间区间中的 位 置 变 化 只 依 赖 于 时 间 区 间 的 长 度, 故 X ( t )是 平 稳 独 立 增 量 过程.     总之, 当Δ t →0时, 由( 5 . 1 5 )定义的 X ( t )是参数为 σ 的布朗运动.

1 0 4

第五 章 连 续时间 的马尔 可夫链

以下我们只对标准布朗运动探讨其性质. 定理5. 8 设 {B ( t ), t ≥0 }是布朗运动, 则 ( 1 )( 轨道连续性)  B ( t )是 t的连续函数 ; ( 2 ){ B ( t ), t ≥0 }是马尔可夫过程; ( 3 ) 对任意0<t (B ( t , B ( t …, B ( t )的联 合概 率密 1 <t 2 <…<t n, 1) 2), n) 度为 f x …, x )=f x f x …f ( x ), t , …, t( 1, n t ( 1) t -t ( 2 -x 1) t -t n -x n- 1 1 n 1 2 1 n n-1 ( 5. 1 7 ) 其中 f (x ) = t 1 - x2/2t e . 2 π t

证  ( 1 ) 参见第六章例6. 1. ( 2 ) 由于布朗运动{ B ( t ), t ≥0 }是独立增量过程, 故对任 意0<t 1 <t 2 <… <t n <t n+ 1 ,     P (B ( t )≤x | B ( t )= x …, B ( t B ( t )=x ) n+ 1 1 1, n -1)=x n-1 , n n =P (B ( t )- B ( t )≤x-x |B ( t )=x …, B ( t =x B ( t )=x ) n +1 n n 1 1, n-1) n- 1 , n n =P (B ( t )- B ( t )≤ x- x ) n+ 1 n n =P (B ( t )≤x | B ( t )= x ), n+ 1 n n 即 {B ( t ), t ≥0 }具有无后效性, 故{B ( t ), t ≥ 0 }为马尔可夫过程. ( 3 ) 见习题2. 1 7. 推论   布朗运 动{B ( t ), t ≥0 }的 有限 维分 布具有 空间 齐次性, 即 对P t i≥ 0 , x i = 1, 2, …, n, i ∈R,     P (B ( t )≤x B ( t )≤x …, B ( t ) ≤x | B ( 0 )=0 ) 1 1, 2 2, n n =P ( B ( t )≤x , B ( t )≤ x , …, B ( t )≤x |B ( 0 ) =y ). ( 5. 1 8 ) 1 1 +x 2 2 +x n n+x 上述性质表示, 若 {B ( t ), t ≥0 }是始于 y的布朗运动 , 则B ( t )-y是始于 0 的布朗运动, 故我们只需研究始于0的布朗运动. 对P 0<s <t P (B ( t )≤x |B ( s )=y )= P (B ( t )≤ x-y |B ( s )= 0 ) =

x- y

-∞

2 1 e- u /2(t- s)d u. 2 π ( t -s )

上式对 x求导, 得到 B ( t )关于 B ( s )的条件概率密度 f x | y )= B(t ) |B (s )(


2 1 - (x - y )/ 2(t- s ) e . 2 π ( t -s )

( 5. 1 9 )

它表示布朗运动 B ( t ) 在时刻 s从y出发 , 经过时 间 t -s后转 移到 x 的概 率密 度. 由于布朗运动是平稳增量过程, 故 其转移 概率 密度 与时间 的起 点无关. 通常

§ 5. 5 布 朗运动的 最大值 变量及 反正弦 律

1 0 5

记为 p ( x, t ; y )=
2 1 -( x- y ) / 2t e . 2 π t

( 5. 2 0 )

由转移概率密度, 可以得到始于 y的 布朗 运动的 有限 维分 布函数( 0<t 1< t ) 2 <…<t n  P (B ( t )≤ x …, B ( t )≤x | B ( 0 )=y ) 1 1, n n =

x 1

p ( y t y ) d y 1, 1; 1
x n

-∞

x 2

p ( y t y ) d y 2, 2 -t 1; 1 2 ( 5. 2 1 )

-∞

 …

-∞

p ( y t y d y n, n -t n -1 ; n -1) n.

  可见, 布朗运动完全由初始状态与转移概率密度所确定. 例5. 8 设 B ( t )是标准布朗运动, 求P (B ( 1 )≤0, B ( 2 )≤ 0 ). 解  由( 5. 2 1 ) 式及 P (B ( 0 )=0 )=1  P (B ( 1 )≤0, B ( 2 )≤ 0 )= P (B ( 1 )≤0, B ( 2 ) ≤0 |B ( 0 )=0 )P (B ( 0 ) =0 ) =P (B ( 1 )≤0, B ( 2 )≤ 0 |B ( 0 )=0 ) = =

∫ ∫ ∫
0 0

-∞

1 - y2 / 2 e 1 d y 1 2 π 1 - y2 e 1/2d y 1 2 π

∫ ∫

-∞ y 1

1 -(y2- y1)2/2 e d y 2 2 π 1 - u2/2 e d u 2 π

-∞

-∞

Φ (-y ) dΦ ( y )= 1 1

-∞

[ 1- Φ ( y ] dΦ ( y 1) 1),

-∞

其中 Φ ( y )=

-∞

1 - x2/2 e d x为标准正态分布函数 , 故 2 π

P (B ( 1 ) ≤0, B ( 2 )≤0 )= Φ ( 0 )- 1 = - 2
1 2

Φ (y ) dΦ ( y 1 1) 3

-∞

d y = . ∫y 8

§ 5 . 5  布朗运动的最大值变量及反正弦律
设{B ( t ), t ≥0 }是标准布朗运动, 记 Tx = i n f { t >0; B ( t )=x }, 即T B ( t ), t ≥0 }首次击 中 x的时 刻 , 显然 T 其 x 表示布朗运动{ x 是 随机 变量, 分布由如下定理给出. 定理5. 9  T x 的概率密度为

1 0 6

第五 章 连 续时间 的马尔 可夫链


2 |x | -3 - x/ 2 t 2e , t >0 , π f t )= 2 T ( x 0, t ≤0 .

( 5. 2 2 )

证 对 x>0, 由全概率公式 P (B ( t )≥x )= P (B ( t )≥x |T )P (T ) x ≤t x ≤t +P (B ( t )≥x |T )P (T ) . x >t x >t 性, 在 t时刻 B ( t )处于 x之上或之下是等可能的 , 故 P (B ( t )≥x |T )= x ≤t 1 . 2 , 故( 5. 2 3 )式的 第二 ( 5. 2 3 ) 若 Tx ≤t , 则布朗运动 B ( t )在[ 0, t ]中某一时刻击中 x, 由布朗运动的对称

由布朗运动轨道连续性知{Tx≤t }∩{B ( t )≥x }= 项为零, 因此 P (Tx ≤t )= 2P (B ( t )≥x )= 2 = 2 2 π

∞ x

1 - u2/2t e d u 2 π t ( 5. 2 4 )

e- y/2d y .

x /t

上式对 x求导, 得 Tx 的概率密度 f t )= T (


x x x -3 - t 2e 2t , t >0, 2 π 2

( 5. 2 5 )

0,

t ≤0.

当 x<0时, 由布朗运动的对称性, Tx 与 T- x 有相同分布, 故


x -x - 3 - 2t , t t 2e >0, f t )= 2 π T ( x

( 5. 2 6 )

0, 综合( 5. 2 5 )与( 5. 2 6 )式即为( 5. 2 2 ) 式, 证毕.

t ≤0.

由( 5. 2 4 )式和 ( 5. 2 2 )式, 对x >0 (x<0类似) P (T l i mP (T )= x <∞)= x ≤t


t→ ∞

2 2 π


0 ∞ 0

e 2d y =1,
1 2 x

2 y

E (T )= x 作变量代换 u=

t f t ) d t = T (
x 2

-∞

x 2 π

- - 2e 2td t t ,

x 2x , 则d t = 3d u, u t 2 2x E (Tx)= 2 π


0 1 - 2

1 - u2/ 2 d u 2e u

2xe ≥ 2 π

∫ ydy
2 0

§ 5. 5 布 朗运动的 最大值 变量及 反正弦 律

1 0 7

=∞. 可见, Tx 虽然是概率1有限, 但有无 穷的 期望. 这就 是说 布朗运 动以 概率 1 迟早会击中 x, 但它的平均时间是无限的, 进一步, 由布朗运动的空间齐次性知, 布朗运动从任一点出发击中 x的概率都是 1. 下面, 我们进一步对布朗运 动{B ( t ), t ≥0 }在时 间区 间[ a, b ]中的 最大 值 ( 或最小值)及穿过0点的次数的问题进行讨论. 记 M ( t )= m a xB ( s ),
0≤ s≤ t

m ( t )= m i nB ( s ),
0 ≤ s≤ t

称 M ( t )和 m ( t )为布朗运动 B ( t )在[ 0, t ]中的最大值与最小值, 显然 M ( t )与 m ( t )都是随机变量. 由定理5. 9, 可以得到 M ( t )与 m ( t )的分布. 定理5. 1 0  M ( t ) 与 m ( t )的概率密度分别为 ( 1 ) f x ) = M(


2 2 -1 - x/ 2t t 2e , x >0, 2 π

( 5. 2 7 )

0, 2 ( 2 ) f x )= m( t e 2 π 0, 证  ( 1 ) 若 x>0,
1 - 2 2 -x/ 2t

x ≤0; , x<0, ( 5. 2 8 ) x≥0.

P (M ( t )≥x )= P (T ) =2P (B ( t )≥x ) x ≤t = 2

∫ 2 π

∞ x / t

2 -y/ 2

d y,

2 x 2 2 -1 - fM(x )= [ 1- P (M ( t ) ≥x ) ]= t 2e 2t . 2 x 2 π

若 x<0, 由于 B ( 0 )=0, 故在[ 0, t ]内事件(M ( t )≤x )是不可能事件, 故 P (M ( t ) ≤x )=0. 因此, M ( t )的概率密度为 f x )= M( ( 2 ) 证明与( 1 )类似. 若记 O ( t t {B ( t ), t ≥0 }在时间 区间( t t 1, 2)表示布朗运动 1, 2)中 至少 取得 有一个零点这一事件, 则我们有如下反正弦律: 2 定理5. 1 1  P (O ( t t ) )=1 - a r c s i n t / t 1 , 2 1 2. π ( 5. 2 9 )
x 2 -1 - t 2e 2t , x>0, 2 π 2

0,

x≤0.

1 0 8

第五 章 连 续时间 的马尔 可夫链

证  利用全概率公式 P (O ( t t ) )= 1, 2 1 2 π t 1

P (O ( t t ) |B ( t )= x ) e 1, 2 1

2 -x/ 2t 1

d x.

-∞

由布朗运动关于原点的对称性及轨道的连续性知 P (O ( t t |B ( t )= P (Tx ≤t . 1, 2) 1)= x 2 -t 1) 由 ( 5 . 2 4 )式 1 P (O ( t t ) = 1, 2) π t ( t 1 2 -t 1)

∫ ∫e
0 x

2 -y / 2(t - t ) 2 1

-x/ 2t 1d d y e x

2 =1- a r c s i n t / t 1 2. π 推论1 设0 < x<1, 则 2 P {布朗运动在(x t , t )中没有零点}= a r c s i n x. π 2 P (A ( t ) / t ≤x ) = a r c s i n x. π ( 5. 3 0 )

推论2 设 A ( t )表示布朗运动在[ 0, t ] 中为正的时间, 则对0< x<1 , ( 5. 3 1 )

§ 5 . 6  布朗运动的几种变化
一、布朗桥
由布朗运动, 我们可以定义一类应用广泛的布朗桥过程. 定义5. 6 设 {B ( t ), t ≥0 }是布朗运动, 令 B( t )= B ( t )-t B ( t ), 0≤t ≤1, 则称随机过程{B*( t ), 0≤t ≤1 }为布朗桥. 由定义知 B*( 0 )= B* ( 1 )= 0, 即 B* ( t )的起 始点是 固定 的, 就像 桥一样, 这就是布朗桥名称的由来. 由于布朗运动是高斯过程, 故布朗桥也是高斯过程, 其有限维分布完全由均 值函数和协方差函数确定. 显然, 对任意0≤s ≤t ≤1 , 有 mB * ( t )= E B( t )= E B ( t )-t E B ( t )=0,  C o v (B ( s ) , B( t ) )= E B( s )B ( t ) =E (B ( s )-s B ( 1 ) ) (B ( t )-t B ( 1 ) ) =s -t s -t s +t s =s ( 1-t ) . 布朗桥在研究经验分布函数时有着 重要作 用. 设F x )是总 体 F (x )的经 n( 验分布函数, {B ( t ), 0≤t ≤1 }是布朗桥, 则
* * * * * * *

§ 5. 6 布 朗运动的 几种变 化

1 0 9

l i mP ( n s u p |F ( x )- F ( x ) |≤y ) =P (m a x |B*( t ) |≤y ) , n


n→ ∞ x 0≤ t≤ 1

即 n s u p | F (x )-F ( x ) |的极限分布是布朗桥的最大值分布. n

二、有吸收值的布朗运动
设 Tx 是布朗运动 {B ( t ), t ≥0 }首次击中 x的时刻 , x>0. 记 Z ( t )= B ( t ) , 若t <T x, x , 若t ≥T x,

则 {Z ( t ), t ≥0 }是击中 x 后永远 停留 在 x处 的布 朗运动 . 对 任意 t >0, 随机 变 量Z ( t )的分布既有离散又有连续部分. 离散部分是 P (Z ( t )=x ) =P (T ) x ≤t = 2 2 π t

∫e

2 -y/ 2

d y.

( 5. 3 2 )

对于连续部分, 设 y<x , 我们有 P (Z ( t )≤y )= P (B ( t )≤y, m a xB ( s )< x )


0 ≤ s≤ t

=P (B ( t )≤y )- P (B ( t )≤y, m a x B ( s )>x ).


0≤ s≤ t

( 5. 3 3 )

计算( 5. 3 3 )式右边第二项, 由条件概率的乘法公式 P (B ( t )≤y , m a x B ( s )> x )


0≤ s≤ t

=P (B ( t ) ≤y |m a xB ( s )>x )P (m a xB ( s )>x )
0≤ s≤ t 0≤ s≤ t 0≤ s≤ t

( 5. 3 4 )

注意到事件 (m a xB ( s )> x )等价 于事 件(T ); 若布 朗运动 在时 刻 T (T ) x <t x x <t 击中 x, 那么为了在 时刻 t小于 y , 它在 之后的 t -T . 由 x 时间 中必须减 少 x- y 对称性, 它与增加这个数量的概率是相同的. 因此 P (B ( t )≤y |m a x B ( s )> x )
0≤ s≤ t

=P (B ( t ) ≥2 x-y |m a x B ( s )> x ).
0≤ s≤ t

( 5. 3 5 )

由 ( 5 . 3 4 )与( 5. 3 5 ) 我们有  P (B ( t )≤y , m a x B ( s )>x )


0≤ s≤ t

=P (B ( t )≥2 x-y |m a x B ( s )>x )P (m a x B ( s )>x )


0≤ s≤ t 0≤ s≤ t

=P (B ( t )≥2 x-y, m a x B ( s )>x )


0≤ s≤ t

=P (B ( t )≥2 x-y )   (因为 y<x ), 由 ( 5 . 3 3 )式 P (Z ( t )≤y ) =P (B ( t )≤y )- P (B ( t )≥2 x-y ) =P (B ( t )≤y )- P (B ( t )≤y -2x ) (由正态分布的对称性) =
y 2 1 -u/ 2t e d u. 2 π t y-2 x

1 1 0

第五 章 连 续时间 的马尔 可夫链

三、在原点反射的布朗运动
设{B ( t ), t ≥0 }为布朗运动, 令 Y ( t )= |B ( t ) |, t ≥0, 则称随机过程{Y ( t ), t ≥0 }为原点反射的布朗运动. 由于 B ( t )~ N ( 0, t ), 故 Y ( t )的分布函数为( y >0 ) P (Y ( t )≤y ) =P (B ( t )≤y ) -P (B ( t )≤-y ) =2 P (B ( t )≤y )-1 = 由此可得 Y ( t ) 的数字特征 E Y ( t )= 2 t / π, D Y ( t ) = 1 - 2 t . π 2 2 π t

e- u /2td t -1.

-∞

四、几何布朗运动
设{B ( t ), t ≥0 }是布朗运动, 令 X ( t ) =e
B(t )

, t ≥0,

则称随机过程{X ( t ), t ≥ 0 } 为几何布朗运动. 由于 B ( t )~ N ( 0, t ), 其矩母函数为


s B(t ) t s/ 2 E [ e ]=e , 2

所以{X ( t ) , t ≥0 }的数字特征 E [X ( t ) ]= E [ e ]=e ,


2 2 D [X ( t ) ]= E [X ( t ) ]- (E X ( t ) ) 2B (t ) t =E [ e ]-e B (t ) t / 2

=e -e . 例5. 9 股票期权的价值. 设某人拥有在将 来的一 个时 刻 T 以固 定的 价格 K 购买一股某种股票的期权 . 假设股票目前的价格为 y, 且它的价 格按几何 布朗 运动变化, 我们来计算拥有这期权的平 均价值. 若时 刻 T 的股 票价 格是 K 或更 高时, 期权将被实施, 因此它的平均价值为 E[ m a x (X (T )- K, 0 ) ]= = =

2t


P (X (T )- K>u ) d u


P (Y e

B (T )

- K> u ) du K+ u ) d u y


P (B (T )> l n

§ 5. 7 向 后与向前 扩散方 程

1 1 1
∞ 2 - x/ (2 T )

1 2 πT

∫∫

d x d u.

l n[ (K+ u ) /y ]

五、有漂移的布朗运动
设{B ( t ), t ≥0 }为标准布朗运动, 令 X ( t ) =B ( t )+ μ t , 则称随机过程{X ( t ), t ≥ 0 } 为具有漂移系数 μ的布朗运动 . 显然{X ( t ), t ≥0 }具有以下性质: ( 1 )X ( 0 )= 0; ( 2 ){X ( t ), t ≥0 }具有平稳独立增量; ( 3 )X ( t )~ N (μ t , t ). 因此有漂移的布朗运动是一个以速率 μ漂移开的过程.

§ 5 . 7  向后与向前扩散方程
我们知道, 时间与状态 都是 离散 的马 尔可 夫 链, 其 n 步转 移概 率 p (n )满 i j 足 C-K 方程( ( 4. 2 )式); 时间连 续的 马尔可 夫链, 其 转移概 率 p ( t )满 足科 尔 i j 莫戈罗夫向后与向前方程( ( 5. 7 ), ( 5. 9 )式) , 对于 布朗 运动, 我们 也有 类似 的结 论. 定理5. 1 2  设 X ( t )是 漂 移 系 数 μ 的 布 朗 运 动 , 在 X ( 0 )=y 的 条 件 下 X ( t )的概率密度为 p (x, t ; y )=l i mP (x< X ( t ) < x+Δx |X ( 0 )=y ) / Δx,
Δ x →0

( 5. 3 6 )

则 5 5 1 52 ( 1 ) p (x , t ; y )=μ p (x, t ; y )+ (x, t ; y ); 2 p 5t 5y 25 y 5 5 15 ( 2 ) p (x , t ; y )=-μ p (x, t ; y )+ (x, t ; y ). 2p 5t 5x 25 x 方程( 5. 3 7 )称为向后扩散方程, 方程( 5. 3 8 )称为向前扩散方程. 证  ( 1 ) 用向后方法, 即对 X ( h )取条件, 则 p (x , t ; y )= E [P {X ( t )= x |X ( 0 ) =y , X (h ) } ]. 由布朗运动的时齐性、 马氏性 P (X ( t )= x |X ( 0 )=y , X (h )= x ) h =P (X ( t -h )=x |X ( 0 ) =x ) , h 所以 p (x, t ; y )= E [p (x, t -h; X ( h ) ],

( 5. 3 7 ) ( 5. 3 8 )

1 1 2

第五 章 连 续时间 的马尔 可夫链

其中期望是对 X (h )取 的, X (h )~ N (μ h+ y , h ), 将p (x, t - h; X (h ) )在 点 ( x, t ; y )处展开成泰勒级数, 则 5 5 p (x, t ; y )= E p (x, t ; y )-h p ( x, x; y )+ (X ( h )-y ) p ( x, t ; y ) 5t 5y  + h 5 (X (h )-y )5 ・ 2p ( x, t ; y )+ (x, t ; y )+… 2p 2 5t 2 5y
2 2 2 2

5 5 =p ( x, t ; y )-h p ( x, t ; y )+ μ h p ( x, t ; y ) 5t 5y  + h5 2 ( x, t ; y ) +o ( h ). 2p 25 y

两边除以 h并令h→0, 即得( 5 . 3 7 )式. ( 2 ) 用向前方法对 X ( t -h )取条件, 由于  P (X ( t )=x |X ( 0 ) =y, X ( t -h )=a ) =P (X (h ) =x |X ( 0 )=a ) =P (W= x-a ), 其中 W~ N ( μ h, h ). 记 W 的概率密度为f x ), 则 W(      p (x, t ; y )= fW(x- a ) p ( a , t -h ; y ) d y = ( x , t ; y ) + ( a -x ) p ( x , t ; y ) -h p ( x , t ; y ) ∫p 5t 5t 5 5

2 1 2 5  + ( a- x ) 2p (x, t ; y )+… f x -a ) d a W( 2 5x

5 5 =p ( x, t ; y )- μ h p (x , t ; y )-h p (x, t ; y ) 5x 5t  + h5 ( x, t ; y )+o ( h ). 2 p 25 x


两边除以 h并令h→0, 即得( 5 . 3 8 )式. 应用中, 若我们对马尔可夫过程 X ( t )的极 限分布 感兴 趣, 通 常利 用向 前方 程; 若我们对首达时间分布感兴趣, 则利用向 后方程, 即对 最初 h时间 发生 的事 件取条件. 例5. 1 0 (保险理论中的破产问 题) 假 设到 时刻 t某 家保 险公 司收 到的 赔 偿要求的次数 N ( t )是 速率 为 λ的 泊松 过 程 , 且相 应的 要 求赔 偿的 金额 是独 立 同分布的, 其分布函数为 G (x ). 若保险公司的初始资本为 x, 且以每单位时间1 元的常数速率收到保险金. 求保险公司永远有偿还能力的概率. 解  设 Y i =1, …, N ( t ), 则 保险公 司永 远有 i 是第i个要求赔偿的金额数, 偿还能力的概率为
N(t )

R (x )= P x+ t- 6 Y 对一切 t . i >0,
i= 1

习 题  五

1 1 3

为了得到 R (x )的微 分 方程, 我 们用 向 后方 法, 对最 初 h时 间 发生 的 事 件取 条 件. 若无赔偿要求, 则公司的资产为 x+ h, 而若有 一个赔偿 要求, 则公 司的 资产 为 x+h- Y. 因此 R (x )= R ( x+h ) ( 1-λ h )+ E [R (x+h -y ) ] λ h+o ( h ), 所以 R ( x+h )- R ( x ) o ( h ) =λ R (x +h )-λ E [R (x + h- Y ) ]+ . h h 令 h→0得 R ′ (x )=λ R (x )-λ E [R ( x- Y ) ] 或 R ′ ( x )=λ R (x )-λ 有时可解出 R. (x-y ) dG ( y ). ∫R
0 x

习 题 五
5 . 1  设连续 时间马尔 可夫链{X ( t ), t ≥0 }具有 转移概 率 λ h +o ( h ), i p ( h ) = i j 0 , o ( h ), j =i + 1,

1 -λ h+o ( h ) , j =i , i j =i - 1, | j -i |≥2,

其中 λ X ( t )表 示一个 生物群体在时 刻 t的成员 总 数. 求科 尔莫 戈 罗 夫方 程, 转 移概 i是 正数, 率p ( t ) . (提示 : 利用 以下结 果, 若g ′ ( t ) +k g ( t )=h ( t ), k为 实 数, h ( t )为连续 函 数 , a≤t i j ≤b , 则g ( t )= e


a t

-k ( t- s )

h ( s ) d s +g ( a ) e

-k (t- a )

. )

5 . 2  一质点在 1, 2, 3 点上作随 机游动 . 若在时刻 t质点 位于这 三个点 之一 , 则在[ t , t + h )内 , 它 以概率 1 h+o (h ) 分 别转移 到其它 两点之 一. 试求质 点随机 游动 的科尔 莫戈 罗夫方 2

程, 转移概 率 p ( t ) 及 平稳分 布. i j 5 . 3  设某车 间 有 M 台车 床 , 由 于各 种原因 车床 时而工 作, 时而 停止. 假 设时刻 t , 一台 正在工 作的车床 , 在时刻 t +h停止 工作的 概率为 μ h+o ( h ), 而时 刻 t不工 作的车 床 , 在时刻 t + h开始工 作的概率 为λ h+o ( h ), 且各车床 工作情 况是相 互独立 的. 若N ( t )表示时 刻 t正 在工作 的车床数 , 求 ( 1 ) 齐 次马尔 可夫过 程 {N ( t ), t ≥ 0 } 的 平稳分 布; ( 2 ) 若 M=1 0, λ =6 0, μ=3 0, 系统 处于平 稳状态时 有一半 以上车 床在 工作的概 率. 5 . 4  排队问题 . 设 有一服务台, [ 0 , t )内 到达服 务台 的顾客 数 是 服从 泊 松分 布的随 机变 量, 即顾客 流是泊 松过程 . 单位 时间到达服 务台的 平均人 数为 λ . 服 务台 只 有 一个 服务员 , 对 顾客的 服务时间 是按指 数分布 的随机 变量, 平均 服 务 时间 为1 /μ . 如 果服 务 台空 闲时到 达的

1 1 4

第五 章 连 续时间 的马尔 可夫链

顾客立 即接受服 务; 如果 顾客到达 时服务 员正在 为另一顾 客服 务, 则 他必须 排队等 候; 如果顾 客到达 时发现 已经有两 人在等 候, 则他就 离开而 不再回 来. 设X ( t )代表在 t时刻系统 内的顾 客人数(包 括正在 被服务的 顾客和 排队等 候的顾 客), 该 人数 就是系 统所 处 的 状态. 于是 这个 系统的 状态空间 为 I ={ 0 , 1, 2, 3 }; 又 设在 t =0时系 统处 于状态 0, 即服 务 员 空闲 着. 求 过程 的 Q 矩 阵及t时 刻系统处 于状态j的 绝对概 率p ( t )所 满足的微分方 程. j 5 . 5  一条电 路供 m 个焊 工用电 , 每个 焊工均 是间断 用电. 现作 如下假设: ( 1 ) 若 一焊工 在 t时 用电 , 而在 ( t , t +Δ t )内停止 用电的概 率为 μ Δ t +o ( Δ t ); ( 2 ) 若 一焊工 有 t时 没有用电 , 而在 ( t , t +Δ t )内 用电的概 率为 λ Δ t +o ( Δt ) . 每 焊工的工 作情况 是相互 独立的 . 设 X ( t ) 表 示在 t时正在 用电的焊 工数 . ( 1 ) 求 该过程 的状态 空间和 Q 矩阵 ; ( 2 )设 X ( 0 )=0, 求绝对 概率 p ( t )满 足的微 分方程 ; j ( 3 )当 t →∞ 时, 求极限 分布 p j. 5 . 6  设 [ 0 , t ]内到达的顾 客数是 参数为 λ的 齐次泊 松 过 程 . 假设 有单个 服务 员, 服 务时 间为指 数分布的 排队系 统(M /M/ 1 ) , 平均服务时 间为1 /μ. 试 证明: ( 1 ) 在 服务员 的服务 时间内到 达顾客 的平均 数为 λ /μ ; ( 2 ) 在 服务员 的服务 时间内无 顾客到 达的概 率为 μ / (λ +μ ). 5 . 7  设 B ( t ) 是始 于0的 标准布 朗运动 , 对任 意常数 α, 计算 P (B ( 1 )< α , B ( 2 ) >0 ). 5 . 8  设 {B ( t ), t ≥0 }是标准 布 朗 运 动 , X (t )=t B t ≥0 }是标 准布朗 运动. 1 , t >0 , X ( 0 )=0, 证 明{X ( t ), t

第六章 平稳随机过程

§ 6 . 1  平稳过程的概念与例子
在第二章§2 . 4中我们介 绍了 严平 稳 过程 与宽 平稳 过程 的 概念. 在 自然 科 学、 工程技术中经常遇到这类过程, 例 如纺织 过程 中棉 纱横截 面积 的变化, 导弹 在飞行中受到湍流影响产生的随机波动, 军舰在海浪中的颠簸, 通讯中的干扰噪 声等等. 它们都可用平稳过程描述. 这类过程一方面受随机因素的影响产生随机 波动, 同时又有一定的惯性, 使在不同 时刻的 波动 特性 基本保 持不 变. 其统 计特 性是, 当过程随时间的变化而产生 随机波 动时, 其 前后 状态是 相互 联系的, 且这 种联系不随时间的推延而改变. 由于严平稳过程的统计特征是由 有限维 分布 函数 来决定 的, 在应 用中 比较 难以确定, 而宽平稳过程的判别只 涉及一、 二 阶矩 的确 定, 在实际 中比 较容 易获 得, 因此, 我们主要研究宽平稳过程. 这种仅研究与过程一、 二阶矩有关性质的理 论, 这就是所谓 相关理论 . 对于正态过程, 由于其宽平稳性与严平稳性是等价的, 故用相关理论研究它显得特别方便. 本书后面涉及的主要是宽平稳过程, 我们简称它为平稳过程. 例6. 1  设{X n=0, ±1, ±2, …}是 实 的 互 不 相 关 随 机 变 量 序 列, 且 n, E [Xn] =0, D [X ]=σ . 试讨论随机序列的平稳性. n 解  因为 E [Xn]= 0及 RX(n, n-τ )= E [X ]= nX n- τ
2 σ , τ =0, 2

0, τ ≠0,

其中 τ为整数, 故随 机序列的均值为 常数, 相 关函数仅与 τ有关 , 因此它 是平稳 随机序列. 在物理和工程技术中, 称上述随机序列为 白噪声 . 它普遍存在于各类波动现 象中, 如电子发射波的波动, 通讯设备 中电流 或电 压的 波动等. 这 是一 种较 简单 的随机干扰的数学模型.

1 1 6

第 六章  平稳随 机过程

例6. 2 设{ Z n= 0, ±1, ±2, …} 为复随机序列, 且E [ Z ]=0, E [Z n, n nZ m]


=σδ ,6
2 n nm

σ ω (n=0, ±1, ± 2, …)为实数 序列. 对 于每一 个 t , 可以 n <∞, n Z e n 在均方意义 (见§6. 3 )下收敛. 令 n


∞ iω t

n= - ∞ ∞

证明级数

n= - ∞

X ( t )=

n= - ∞

Z en . n

iω t

利用随机变量级数均方收敛性质, 可以推得

E [X ( t ) ]= E E [X ( t )X ( t -τ ) ]= E

n= - ∞ ∞ ∞

Z e n =0 , n Z en n
2 iω τ iω t

iω t

n = -∞

m =- ∞ ∞

Zme m

iω (t -τ )

= 所以 X ( t ) 为平稳过程.

n= - ∞

σ en = n

n= - ∞

E [ |Z |] en , n

iω τ

物理上, c o s (ω t ), s i n (ω t )或 e 都 是 描 述 简 谐 振 动 的,U o s (ω ), nc nt
iω t n 都可以看作是具有随机振幅的简谐振动. Vns i n (ω t )或e 上 述例题说 明, 若不 n

iω t

同频率的随机振幅互不相关, 则这种简谐振动的有限项甚至无限项的叠加(只要 它是均方收敛的) 都是平稳过程, 而且 它们的 相关 函数 亦有类 似的 分解, 即 可以 表示为与随机振动具有相同频率成分 的简谐 振动 之和, 其 振幅为 相应 的随 机振 幅的方差. 例6. 3 设随机过程{N ( t ), t ≥0 }是具有参数 λ的泊松过程 .

图6. 1

随机过程{X ( t ), t ≥ 0 }定 义 为: 若随 机点 在[ 0 , t ]内出 现偶 数次( 0 也看 作 偶数), 则X ( t )=1; 若出现奇数次, 则X ( t )=-1, 如图6. 1所示. ( 1 ) 讨论随机过程 X ( t )的平稳性; ( 2 ) 设随机变量 V 具有概率分布

§ 6. 1 平 稳过程的 概念与 例子

1 1 7

P {V=1 }= P {V=-1 }=1 / 2, 且 V与 X ( t )独立, 令Y ( t )= V X ( t ), 试讨论随机过程 Y ( t )的平稳性. 解  ( 1 ) 由于随机点 N ( t )是具有参数 λ的泊松 过程 , 在[ 0, t ]内 随机 点出 现 k次的概率 ( λ t ) -λ t P ( t )=e , k = 0, 1, 2, …, k k ! 故 P {X ( t )=1 }= P ( t )+ P t )+ P t ) +… 0 2( 4( =e
-λ t 2 4 ( λ t ) (λ t ) 1+ + +… 2! 4! k

-λ t =e c h ( λ t ),

P {X ( t )=-1 }= P t )+ P ( t )+ P ( t )+… 1( 3 5 =e
-λ t 3 5 ( λ t ) ( λ t ) λ t + + +… 3! 5!

-λ t =e s h ( λ t ),

于是
-λ t -λ t mX( t )= E [X ( t ) ]=1 ・ e c h ( λ t )-1 ・ e s h ( λ t )

=e [ c h ( λ t )-s h ( λ t ) ] =e ・ e =e
-λ t -λ t -2 λ t

-λ t

为了求 X ( t )的相关函数, 先求 X ( t X ( t 1), 2)的联合分布  P {X ( t X ( t =x 1)= x 1, 2) 2} =P {X ( t |X ( t =x P {X ( t 2)= x 2 1) 1} 1)= x 1}, 其中 x ( i =1, 2 ). i =-1或1 由上式知, 需求 P {X ( t }和 P {X ( t X ( t )=x 1)= x 1 2)=x 2| 1 1}. 设t 令 τ=t 因 为 事 件{X ( t X (t }等 价 于 事 件 2 >t 1, 2 -t 1, 1)=1, 2)=1 {X ( t 且在( t t ]内随机点出现偶数次}. 由假设知, 在 X ( t 1)=1, 1, 2 1)=1的 条件 下, 在区间( t t 0, τ ]内 随机 点出 现偶 1 , 2]内随机点出现偶 数次的 概率 与在 区间( 数次的概率相等, 故 P { X ( t )=1 |X ( t =1 }=e c h ( λ τ ), 2 1) 由于 P {X ( t )=1 }=e 1 所以
- λ t -λ τ 1c P {X ( t X ( t )=1 }=e h ( λ t e c h ( λ τ ). 1)=1, 2 1) -λ t 1 -λ τ

c h ( λ t ), 1

类似可得

1 1 8

第 六章  平稳随 机过程


-λ t - λτ 1s P {X ( t X ( t )=-1 }=e h ( λ t e c h ( λ τ ), 1)=-1, 2 1) t -λ τ 1 P {X ( t X ( t )=1 }=e- λ s h (λ t ) e s h (λ τ ), 1)=-1, 2 1

P {X ( t )=1, X ( t =-1 }=e 1 2) 因此

-λ t 1

c h ( λ t e s h ( λ τ ), 1)

-λ τ

RX( t t [X ( t )X ( t ] 1 , 2)= E 1 2)
-λ t -λ τ 1 =1 ・ 1 ・ e c h ( λ t e c h ( λ τ ) 1)

 +(-1 ) ・ (-1 ) e  +(-1 ) ・ 1 ・ e  +1 ・ (- 1 ) e


-λ t 1 -λ t 1

-λ t 1

s h ( λ t e c h ( λ τ ) 1)
-λ τ -λ τ

-λ τ

s h ( λ t ) e s h ( λ τ ) 1

c h ( λ t e s h ( λ τ ) 1)

-λ (t + τ ) 1 =e [ c h ( τ -t ) λ-s h ( τ -t λ ] 1 1) -λ (t + τ ) -λ 1 =e e (τ- t1)

=e 当t 同理可得 2 <t 1 时,

- 2λ t

=e

-2 λ (t - t ) 2 1

2λ (t - t ) 2λ τ 2 1 =e , RX( t t )=e 1 , 2

故对于任意 t t 有 1, 2, RX( t t )= e 1, 2 由于 mX( t ) =e


- 2λ t -2 λ |t - t | 2 1

=e

- 2λ |τ |

与时间t有关, 故 X ( t )不 是平 稳过 程. 值 得注 意的 是非

平稳过程的相关函数也可以与时间的起点无关. ( 2 ) 由于 E [V ]=0 , E [V ] =1, 故由 V 与 X ( t )独立知 E [Y ( t ) ]= E [V ]E [X ( t ) ]=0, RY( t , t -τ )= E [V ]E [X ( t )X ( t -τ ) ] =e


-2 λ |τ | 2

= RY( τ ) ,

所以 Y ( t )是平稳过程, 其相关函数 RY( τ )如图6. 2所示.

图6. 2

例6. 4 设有状态连续、 时间离散的随机过程 X ( t )= s i n ( 2 πΘ t ), 其中 Θ 是 ( 0 , 1 )上均匀分布的随机变 量, t只 取整 数值 1, 2, …, 试 讨 论随 机过 程 X ( t )的

§ 6. 1 平 稳过程的 概念与 例子

1 1 9

平稳性. 解  因为 E [X ( t ) ]=E [ s i n ( 2 πΘ t ) ] =

+∞

s i n ( 2 π θ t ) f ( θ ) d θ =

-∞

i n ( 2 π θ t ) d θ =0, ∫s

R ( t , t -τ ) =E [X ( t )X ( t -τ ) ] X = i n ( 2 π θ t ) s i n [ 2 π θ ( t -τ ) ] d θ ∫s
0 1

= =

1 2

c o s ( 2 π τ θ )-c o s [ 2 π ( 2 t -τ ) θ ] ] d θ ∫[

1 / 2, τ =0, 0, τ ≠0,

所以 X ( t ) 是平稳过程. 现在我 们用此 例说 明宽平 稳过 程不 一定是 严平 稳过程. 事 实上, 令t =t 1, 由于状态 X ( t )=x 即 1 1 对应两个 θ值, a r c s i nx π-a r c s i nx 1 1 θ , θ , 1= 2= 2 π t 2 π t 1 1 于是可得随机过程的一维概率密度为 f ( t x ( θ ) 1; 1)= f 1 d θ d θ 1 2 +f ( θ 2) d x d x 1 1

1 = . 2 π t 1- x 1 1 可见 X ( t ) 的一维概率密 度与 时间 t有关 , 故 X ( t )只是 宽 平稳 过程, 而 不是 严 平稳过程. 例6. 5  设 X ( t ) =X f ( t )为复 随机过 程, 其中 X 是均 值为 0 的实 随机 变 量, f ( t )是 t的确定函数. 试证 X ( t )是平稳过程的充要条件是 f ( t )=c e 其中i = -1, c , ω , θ为常数 . mX( t )= E [X ( t ) ]= E [X f ( t ) ]=0, 由于    RX( t , t -τ )= E [X ( t )X ( t -τ ) ] =E [X ] ce 所以 X ( t ) 是平稳过程. 必要性: 设 X ( t )是平稳过程, 则
2 RX( t , t -x )= E [X ( t )X ( t -τ ) ] =E [X ] f ( t ) f ( t -τ ). 2 2 i (ω t+ θ ) i (ω t+ θ ) 2 证  充分性: 令f ( t )=c e , 记 D [X ]=σ , 因为 E [X ]=0, 故 i (ω t+ θ )

-i [ω (t- τ )+ θ ]

=c σe ,

2 iω τ

1 2 0

第 六章  平稳随 机过程

上式必须与 t无关, 取τ =0 , 有 | f ( t ) | =c(常数 ), 因此 f ( t )=c e


iφ (t ) 2 2

, 其中 φ ( t )为实函数, 于是

f ( t ) f ( t -τ )=ce x p [ i (φ ( t )-φ ( t -τ ) ) ]. 上式应与 t无关, 故 d [φ ( t )-φ ( t -τ ) ]=0, d t dφ ( t ) dφ ( t -τ ) 即 = 对一切τ成立, 于是 d t d t φ ( t )= ω t +θ , 故 证毕. f ( t )=c e


i (ω t+θ )

§ 6 . 2  联合平稳过程及相关函数的性质
一、联合平稳过程
对于两个平稳过程的联合分布和 数字特 征的 讨论, 可 以用类 似于 第二 章的 方法. 下面我们主要讨论两个平稳过 程的联 合平 稳问 题. 如图 6. 3 所示, 若 将两 个平稳过程 X ( t )和 Y ( t )同 时 输 入 加 法 器 中, 考虑加法 器的 输出随机 过程 W( t )= X ( t )+ Y ( t )是否平稳的问题.

图6. 3

首先分析输出过程要求的平稳条件, 由  E [W ( t )W( t -τ ) ] =E { [X ( t )+ Y ( t ) ] [X ( t -τ )+ Y ( t -τ ) ] } =E [X ( t )X ( t -τ )+ Y ( t )Y ( t -τ )  + X ( t )Y ( t -τ )+ Y ( t )X ( t -τ ) ] =R ( τ )+ RY( τ )+ E [X ( t )Y ( t -τ ) ]+E [Y ( t )X ( t -τ ) ]. X 上式最后两项是 X ( t )和 Y ( t )的互相关函数, 一般情况 下, 它 们与 t有关 , 为使

§ 6. 2 联 合平稳过 程及相 关函数 的性质

1 2 1

输出过程 W ( t )是平稳过程, 必须要求输入的 两个平稳 过程 X ( t ) 和 Y ( t )的互 相关函数与 t无关. 定义6. 1 设 {X ( t ) , t ∈T }和 {Y ( t ), t ∈T }是 两个平 稳过程, 若它们 的互 相关函数 E [X ( t )Y ( t -τ ) ]及 E [Y ( t )X ( t -τ ) ]仅与 τ有关 , 而与 t无关 , 则 称X ( t )和 Y ( t )是联合平稳随机过程 . 由定义有 RXY( t , t -τ )= E [X ( t )Y ( t -τ ) ]= RXY( τ ), RYX( t , t -τ )= E [Y ( t )X ( t -τ ) ]= RYX( τ ). 当两个平稳过程 X ( t ), Y ( t )是联 合 平稳 时, 则 它 们 的和 W( t )是 平稳 过 程, 此时有 E [W ( t )W ( t -τ ) ]= RX( τ )+ RY( τ )+ R τ )+ RYX( τ )= RW( τ ). XY(

二、相关函数的性质
定理6. 1 设 {X ( t ), t ∈T }为平 稳过程, 则其相关函数 RX( τ )具 有下列性 质: ( 1 )R 0 ) ≥0; X( ( 2 )R τ )= RX(-τ ); X( ( 3 )|R ( τ ) |≤ R 0 ) ; X X( ( 4 )R τ )是非负定的, 即对任意实数 t t …, t a …, a 有 X( 1, 2, n 及复数a 1, 2, n,

i, j=1

RX( t t )a a i, j i j ≥0; ( 5 )若 X ( t )是周期 为 T 的周 期函 数 , 即 X ( t )= X ( t +T ), 则 RX(τ )=

RX( τ+ T ); ( 6 ) 若 X( t )是 不 含 周 期 分 量 的 非 周 期 过 程, 当|τ |→ ∞ 时,X (t )与 X ( t +τ )相互独立, 则


|τ |→ ∞

l i m RX( τ ) = mX mX .

证  由平稳过程相关函数的定义, 得
2 ( 1 )R 0 ) =E [X ( t )X ( t ) ] =E [ |X ( t ) | ]≥0. X(

( 2 )R τ )= E [X ( t )X ( t -τ ) ] X( =E [X ( t -τ )X ( t ) ]= RX(-τ ); 对于实平稳过程, 由于 RX( τ ) 为实数, 故 RX(-τ )= RX( τ ), 即实 平稳过程 的相 关函数是偶函数. ( 3 ) 由施瓦茨不等式有 |E [X ( t )X ( t -τ ) ] | ≤[E |X ( t )X ( t -τ ) | ]
2 2

1 2 2
2 2 ≤E [ |X ( t ) | ]E [ |X ( t -τ ) | ],

第 六章  平稳随 机过程

|RX( τ ) | ≤[R ( 0 ) ], X |RX( τ ) | ≤R ( 0 ). X ( 4 ) 第二章定理2. 2已证. ( 5 )R τ +T )= E [X ( t )X ( t -τ -T ) ] X( =E [X ( t )X ( t -τ ) ]= RX( τ ) . ( 6 )l i mR τ )= l i mE [X ( t )X ( t -τ ) ] X(


|τ |→ ∞ |τ |→ ∞

=l i mE [X ( t ) ]E [X ( t -τ )= mX mX .
|τ |→ ∞

类似地, 联合平稳过程 X ( t )和 Y ( t )的互相关函数有下列性质: ( 1 )|R τ ) | ≤R 0 )RY( 0 ) , |R τ ) | ≤R 0 )RY( 0 ) ; XY( X( YX( X( ( 2 )R )= RYX( τ ). XY(- τ 证  ( 1 ) 由施瓦茨不等式, 有 |RXY( τ ) | =|E [X ( t )Y ( t -τ ) ] | ≤[E |X ( t )Y ( t -τ ) | ]
2 2 2 2 2 ≤E [ |X ( t ) | ]E [ |Y ( t -τ ) | ]= R 0 )R 0 ) . X( Y( 2 2

( 2 )R )= E [X ( t -τ )Y ( t ) ] XY(- τ =E [Y ( t )X ( t -τ ) ]= R τ ). YX( 当X ( t ), Y ( t )是实联合平稳相关过程时, ( 2 )变成 RXY(-τ )= RYX( τ ). 这表明 RXY( τ )与 RYX( τ )在一般情况下是不相等的, 且它们不是 τ的偶函数 . 例6. 6 设 X ( t )= A s i n (ω t +Θ ) , Y ( t )=B s i n (ω t + Θ- φ )为两个平 稳过 程, 其中 A, B, ω为常数 , Θ 在( 0, 2 π )上服从均匀分布. 求 RXY( τ )和 RYX( τ ). 解   RXY( τ )= E [X ( t )Y ( t -τ ) ] =E [A s i n ( ω t +Θ )B s i n (ω t -ω τ +Θ-φ ) ] =
2π


1 A B s i n (ω t +θ ) s i n (ω t -ω τ +θ -φ ) d θ 2 π
2π 0

A B 2 π

i n (ω t +θ ) [ s i n (ω t +θ ) c o s (ω τ +φ ) ∫s

 -c o s (ω t +θ ) s i n (ω τ +φ ) ] d θ = 同理可得 RYX( τ )= 1 A B c o s (ω τ -φ ). 2 1 A B c o s (ω τ +φ ). 2

§ 6. 3 随 机分析

1 2 3

§ 6 . 3  随 机 分 析
在普通函数的微积分中, 连续、 导数和积分等概念都是建立在极限概念的基 础上. 对于随机过程的研究, 也需要建立随机过程的连续性、 导数和积分等概念, 而且这些概念都是建立在随机序列极 限的基 础上, 有 关这 部分内 容统 称为 随机 分析. 在随机分析中, 随机 序列 极 限 的定 义 有多 种, 下 面 简单 介 绍几 种 常 用的 定 义. 由于我们主要研究宽平稳过程, 故以下的随机过程都假定为二阶矩过程.

一、收敛性概念
由微积分知, 若对于任给 ε >0, 都存 在正 整数 N, 使 对一 切 n> N, 恒有 不 等式 |x |<ε n -a 成立, 则称序列{x }以 a为极限 , 记作l i mx . n n =a
n→ ∞

( 6. 1 )

对于概率空间 (Ω, F, P )上的随机序列{Xn}, 每个试验结果 e都对应一序列 X ( e ), X e ), …, X ( e ), …, 1 2( n ( 6. 2 ) 故随机序列{Xn}实际上代表一族( 6 . 2 )式的序列, 故不能 用( 6. 1 )式定义整 个族 的收敛性. 如果( 6 . 2 )式对每个 e都收敛, 则称随机序列{Xn}处处收敛 , 即满足 l i mX , n=X
n→ ∞

其中 X 为随机变量. 上面这种收敛定义太苛求了. 下面介绍随机序列在较弱意义下的收敛定义, 它们不一定要求对每个 e都收敛. 定义6. 2  称 二阶 矩 随机 序 列{Xn( e ) }以 概率 1 收 敛 于 二阶 矩 随机 变 量 X ( e ), 若使 l i mX ( e )= X ( e ) n


n→ ∞

成立的 e的集合的概率为1, 即 P { e : l i m Xn( e )= X ( e ) }= 1,


n→ ∞

或称{Xn( e ) }几乎处处收敛 于 X ( e ), 记作 X n X ( e ), 若对于任给 ε >0, 有

a. e .

X.

定义6. 3  称 二 阶 矩 随 机 序 列{X e ) }依 概 率 收 敛 于 二 阶 矩 随 机 变 量 n( l i mP { |X ( e )- X ( e ) |≥ε } =0 , n


n→ ∞

记作 Xn

X.

1 2 4

第 六章  平稳随 机过程

定义6. 4 设有二阶矩随机序列{Xn}和二阶矩随机变量 X, 若有
2 l i mE [ |X | ]=0 n-X n→ ∞

( 6. 3 )

成立, 则称{X }均方收敛 于 X, 记作 X n n ( 6. 3 )式的极限常写成

m. s

X.

l . i . mX . i . mXn = X n = X 或l
n→ ∞

( l . i . m 是l i m i t i nm e a n的缩写). 定义6. 5 称二 阶 矩 随机 序 列{X 依 分 布 收 敛 于 二阶 矩 随 机 变 量 X, 若 n} {Xn} 相应的分布函数列{F ( x ) }, 在 X 的分布函数F (x )的每一个连续点处, 有 n l i mF ( x )= F (x ), n


n→ ∞

记作 Xn

X.
m. s P P d

对于以上四种收敛定义进行比较, 有下列关系: ( 1 )若 X n ( 2 )若 X n ( 3 )若 X n X, 则 Xn X, 则 X n X; X; X,

a . e. P

X, 则 Xn

如图6. 4所示.

图6. 4

下面给出( 1 ) 和( 2 )的证明( ( 3 ) 参阅[ 3 ] ). 证  ( 1 ) 由切比雪夫不等式得 P { |X |≥ε }≤ n-X


2 n→ ∞ 2 E [ |X | ] n-X , 2 ε

若有l i mE [ |X |]= 0, 则对任给 ε >0, 有 n-X l i mP { |X |≥ε }=0 . n-X


n→ ∞

( 2 )由 P { l i m Xn = X }=1, 故
n→ ∞

§ 6. 3 随 机分析

1 2 5

l i mP { |Xn - X |→0 }= 1.
n→ ∞

因此, 对任给 ε >0, 有 l i mP { |X |<ε }=1即l i mP { |X |≥ε }=0. n-X n-X


n→ ∞ n→ ∞

证毕. 值得注意, 在四种收敛定义中, 均 方收敛 是最 简单 的收敛 形式, 它 只涉 及单 独一个序列. 下面我们讨论随机序列的收敛性, 都是指均方收敛. 定理6. 2 二阶矩随机序列{X }收敛于二阶矩随机变量 X 的充要条件为 n
n ,m → ∞ 2 l i m E [ |X n- X m |]=0.

证明略. 定理6. 3 设 {X }, {Y }, { Z }都 是二 阶矩 随机 序 列, U 为二 阶矩 随机 变 n n n 量, { c a, b , c为常数 . 令l . i . mX , l . i . m Yn = Y, l . i . mZ n}为常数序列, n=X n= Z , l i mc , 则 n =c


n→ ∞

( 1 )l . i . mc i mc ; n =l n =c
n→ ∞

( 2 )l . i . m U= U; ( 3 )l . i . m ( c )=c U; nU ( 4 )l . i . m (a Xn +b Y =a X+b Y; n) ( 5 )l i mE [X ]= E [X ] =E [ l . i . mX ]; n n
n→ ∞

( 6 )l i m E [X [XY ]= E [ ( l . i . m Xn) ( l . i . m Ym) ], nY m]= E


n ,m → ∞

特别有
2 2 2 l i mE [ |Xn| ]= E [ |X | ]= E [ | l . i . mX | ]. n n→ ∞

证  ( 1 ), ( 2 ) , ( 3 )由均方收敛定义可以得证. ( 4 ) 因为当 n→∞时, 有  E [ | a Xn +b Yn -( a X+b Y ) |]


2 =E [ | a (Xn - X )+b (Y ) | ] n- Y 2 2 2 2 2

≤2a E [ |Xn - X |]+2 bE [ |Y |]→0 . n-Y 由均方收敛定义知 ( 4 )得证. ( 5 ) 由施瓦茨不等式, 有 (E [ |Y | ] )= (E |Y ・ 1 | ) ≤E [ |Y |] ・ 1, 令 Y= X , 代入上式, 得 n-X 0≤|E [X ]-E [X ] | =|E [X ] | n n-X ≤E [ |X |]→0 (当 n→∞), n -X 所以 l i mE [X ]= E [X ]= E [ l . i . mXn] . n
n→ ∞ n→ ∞ 2 2 2 2 2 2

1 2 6

第 六章  平稳随 机过程

( 6 ) 由施瓦茨不等式, 有  |E [XnYm]- E [XY ] | =|E (XnYm - XY ) | =|E [ (X ) (Ym - Y ) +X XY ] | n- X n Y+ XY m -2 =|E [ (X ) (Ym - Y ) ]+ E [ (Xn - X )Y ] +E [ (Ym - Y )X ] | n- X ≤|E [Xn -X ] [Ym - Y ] | +|E [X ]Y |+| E[Ym - Y ]X | n-X ≤
2 2 E |X | E |Ym - Y | + n-X 2 2 E |X | E |Y | n-X

 + 所以

2 2 E |Ym - Y | E |X | →0 (当 n, m→∞),

n ,m → ∞

l i m E [X [XY ]. nY m]= E

定理6. 3的( 2 )和( 4 )式与普通极限 相似, ( 5 )式 和( 6 )式表明 极限 运算 和求 数学期望运算可以交换顺序. 定理6. 4 设 {Xn}为二阶矩随机序列, 则{X }均方收 敛的充 要条件为 下列 n 极限存在:
n ,m → ∞

l i m E [X nX m].

证  必要性由定理6. 3之( 6 ) 易知. 现在证充分性. 设


n ,m → ∞

l i m E [X |X | =c , nX m]= E

2 2 2 E |X [ |X | - XnX Xm| ] n- X m| = E n m -X nX m +|

=E |Xn| - E XnXm - EX |Xm| , nX m +E l i m E |Xn -Xm| =c -2 c +c =0,


n ,m → ∞ 2

根据定理6. 2知{X 均方收敛, 证毕. n} 以上讨论了具有二阶矩的随机序 列均方 极限 的性 质. 对于一 般的 二阶 矩过 程 {X ( t ), t ∈T }, 可以类似地定义它的均方极限, 且 有类似的 均方极限 性质, 不 再重述.

二、均方连续
下面在讨论随机过程{X ( t ), t ∈T }的均 方连续、 导数、 积 分等概念 中, 假定 {X ( t ), t ∈T }是二阶矩过程, 参数集 T 为直 线上的一 个有限 区间(可 以为 无穷 区间). 定义6. 6 设有二阶矩过程{X ( t ), t ∈T }, 若对每一个 t ∈ T, 有 l i mE [ |X ( t +h )- X ( t ) |]=0,
h→ 0 2

则称 X ( t ) 在 t点均方连续 , 记作 l . i . mX ( t +h )= X ( t ). 若对 T 中一切点 都均
h→ 0

方连续, 则称 X ( t )在 T 上均方连续 .

§ 6. 3 随 机分析

1 2 7

考虑到  E [ |X ( t +h )- X ( t ) |] = RX( t + h, t +h )- RX( t , t +h )- RX( t +h, t )+ R t , t ), X( 续性密切相关, 故有 定理6. 5 (均方连续准则) 二阶矩过程{X ( t ), t ∈T }在 t点均方连续的充 要条件为相关函数 RX( t t )在点( t , t )处连续. 1, 2 证  必要性: 若 l . i . mX ( t +h )= X ( t ), 则由定理6. 3之( 6 ) 得
h →0 2

( 6. 4 )

因此, 随机过程 X ( t )在点 t处的连续 性与 相关 函数 RX( t t t 1, 2)在 t 1, 2 处 的连

l i mRX( t t i mE [X ( t )X ( t ] 1 , 2)=l 1 2)
t →t 1 t →t 2 t →t 1 t →t 2

=E [X ( t )X ( t ) ]= RX( t , t ). 充分性: 若 RX( t t t , t )处连续, 令( 6 . 4 )式的 h→0 取极 限即 可得 1, 2)在点( 证, 证毕. 推论  若相关函数 RX( t t )在{ ( t , t ), t ∈T } 上连续, 则它在 T× T 上连 1, 2 续. 证  若 RX( t t )在{ ( t , t ) , t ∈T }上连续, 则由定理 6. 5知 X ( t )在 T 上 1, 2 均方连续, 故 l . i . mX ( s )= X ( t ), l . i . mX ( s )= X ( t ). 1 2
s→ t 1 s→ t 2

再由定理6. 3之( 6 ), 得 l i m RX( s , t )=l i mE [X ( s )X ( t ) ]


s→ t 1 s→ t 2 s→ t 1 s→ t 2

=E [X ( t )X ( t ]= RX( t t ), 1 2) 1, 2 知R t t )在 T× T 上连续 , 证毕. X( 1, 2 定理6. 5说明, 二阶矩过程在 T 上均方连续性与它的相关函数在 T× T 上 的连续性等价, 而相关函数在 T× T 上的连续性又等价于 它在对角 线{ ( t , t ), t ∈T }上的连续性. 例6. 7 证明参数为 λ的泊松过程{X ( t ), t >0 }是均方连续的. 证  由泊松过程的性质知, X ( t )在( t , t ) 处的相关函数 RX( t , t )=λ t +λt 是 t的连续函数. 故由定理6. 5知{X ( t ), t > 0 }是均方连续的. 值得注意的是泊松过程几乎所有的 样本轨 道不 是 t的连 续函 数, 因此 随机 过程的均方连续不能导致样本轨道的连续.
2 2

三、均方导数
定义6. 7 设 {X ( t ) , t ∈T }为二阶矩过程, 若存在另一个随机过程 X ′ ( t ),

1 2 8

第 六章  平稳随 机过程

满足 l i mE
h→ 0

X ( t +h )- X ( t ) -X ′ ( t ) =0, h

则称 X ( t ) 在 t点均方可微 , 记作 dX ( t ) X ( t +h )- X ( t ) X ′ ( t ) = = l . i . m , h→ 0 d t h 并称 X ′ ( t )为 X ( t )在 t点的均方导数 . 若 X ( t )在 T 上每 一点t均方可 微 , 则 称它在 T 上均方可微 . 类似地, 若随机过程{X ′ ( t ), t ∈T }在 t点均 方可 微 , 则称 X ( t )在 t点 二 次均方可微. X ′ ( t )的均方导数记为 dX X ″ ( t ) 或 2 , d t 并称它为二阶矩过程 X ( t ) 的二阶均方导数. 同理可定义更高阶均方导数. 为了叙述均方可微准则, 我们把相关函数 RX( t t : 1, 2)的如下极限(若存在) l i m
h →0 1 h →0 2 2

RX( t t - RX( t t ) R t t )- RX( t t ) 1 +h 1, 2 +h 2) 1 +h 1, 2 X( 1, 2 +h 2 1, 2 - h h 1h 2 1h 2

称为 RX( t t )在点( t t )的 广义二阶导数 , 记作 1, 2 1, 2 5 2 RX( t t 1, 2) . 5t 5t 1 2 定理6. 6 (均方可微准则) 二阶矩过程{X ( t ), t ∈T }在 t点均方可微的充 要条件为相关函数 RX( t t )在点( t , t )的广义二阶导数存在. 1, 2 证  由定理6 . 4知, X ( t )在 t点均方可微的充要条件为 l i m
h →0 1 h →0 2

X ( t +h ( t ) 1)- X h 1

X ( t +h )- X ( t ) 2 h 2

存在. 将上式展开得 l i m
h →0 1 h →0 2

RX( t +h t +h ) -R t +h t )- RX( t , t +h ) RX( t , t ) 1, 2 X( 1, 2 + , h h h h 1 2 1 2

上式极限存在的充要条件为 RX( t t )在点( t , t )的广义二阶导数存在, 证毕. 1, 2 推论1 二阶矩过程{X ( t ), t ∈T }在 T 上均 方可 微的充 要条 件为 相关 函 数 RX( t t ( t , t ), t ∈T }上每一点广义二阶可微. 1, 2)在{ dmX( t ) 推论2 若 RX( t t )在{ ( t , t ), t ∈T }上每一点广义二阶可微, 则 1, 2 d t 5 5 5 在 T 上以及 RX( t t ), RX( t t RX( t t )在 T× T 上存在 , 1, 2 1, 2), 1, 2 5t 5t 5t 5t 1 2 1 2 且有

§ 6. 3 随 机分析

1 2 9

( 1 )

dmX( t ) dE [X ( t ) ] = =E [X ′ ( t ) ]; d t d t

5R t t ) 5 X( 1, 2 ( 2 ) = E [X ( t )X ( t ] =E [X ′ ( t )X ( t ) ]; 1 2) 1 2 5t 5t 1 1 5R t t ) 5 X( 1, 2 ( 3 ) = E [X ( t )X ( t ] =E [X ( t )X ( t ) ′ ]; 1 2) 1 2 5t 5t 2 2 5 2 RX( t t ) 5 2 RX( t t 1, 2 1, 2) ( 4 ) = =E [X ′ ( t )X ( t ′ ]. 1 2) 5t 5 t 5 t 5 t 1 2 2 1 证  ( 1 ) 由推论1知 X ′ ( t )存在, 又由定理6. 3之( 5 ), 有 dmX( t ) dE [X ( t ) ] = d t d t = l i m


h →0

E [X ( t +h ) ]- E [X ( t ) ] h X ( t +h )- X ( t ) h X ( t +h )- X ( t ) h

= l i mE
h →0

=E l . i . m
h →0

=E [X ′ ( t ) ]. ( 2 ) 由定理6. 3之( 6 ), 有 5 5 RX( t t E [X ( t )X ( t ] 1 , 2)= 1 2) 5t 5 t 1 1 = l i mE


h→ 0

X ( t )- X ( t ) 1 +h 1 X ( t 2) h X ( t ) -X ( t ) 1 +h 1 X ( t 2) h

=E l . i . m
h →0

=E [X ′ ( t )X ( t ] . 1 2) 其余各式类似可证, 证毕. 推论2表明数学期望运算与求导数运算可以交换顺序. 此外, 均方导数还有许多类似 于普 通函数 导数 的性质, 如均方 导数 惟一性; X ( t )均方 可 微, 则 它 均 方 连 续; 任一随机变量 X (或 常 数)的 均 方 导 数 为 零; [ a X ( t ) +b Y ( t ) ] ′ =a X ′ ( t )+b Y ′ ( t ), 其中 a, b为常数 , 等等.
2 例6. 8 设{X ( t ), t ≥0 }是参数为 σ 的布朗运动, 试证明

( 1 )X ( t )在 ( 0, ∞)上均方连续; ( 2 ) 对P t >0, X ( t )不是均方可导. 证  ( 1 ) 由定理2. 3知{X ( t ), t ≥0 }的相关函数 RX( s , t )=σ m i n ( s , t ). 故对P t >0, RX( t , t )=σ t是t的连续函数 , 由定理6. 5知 X ( t )在 ( 0, ∞)上均
2 2

1 3 0

第 六章  平稳随 机过程

方连续. ( 2 ) 对P t >0, 令0 <h 考虑极限 1 <h 2,  l i m


h →0 1 h →0 2

RX( t +h t +h t +h t )- RX( t , t +h ) +R t t ) 1, 2)- R X( 1, 2 X( 1, 2 h h 1 2


2 2 2 2

=l i m
h →0 2

σ( t +h )-σ t -σt +σt 1 =∞. h h h →0 1 2 1

故 RX( s , t )在( t , t ) 处不是广义二次可微, 由定理6. 6知 X ( t )在 t处 不是 均方可微. 此例说明, 在概 率1 的意 义下, 对P t >0 , 布朗 运动 X ( t )在 t处是 均方 连 续, 但不是均方可微.

四、均方积分
设{X ( t ), t ∈T }为二阶矩过程, f ( t )为普通函数, 其中 T=[a, b ]. 用 一组 分点将 T 划分如下 : a =t , 0 <t 1 <…<t n =b 记m a x { ( t ) }=Δ 作和式 i -t i- 1 n,
1≤ i≤ n n

S n= 6

f ( t ′ X ( t ′ ( t i) i) i -t i-1),

i= 1

其中 t ′ ( i =1, 2, …, n ). i-1 ≤t i ≤t i 定义6. 8 如果当 Δ S 即 n →0时, n 均方收敛于 S, l i mE |S | =0, n -S


Δ →0 n 2

称为 f ( t )X ( t )在区间[a, b ]上 均方可积 , 并记为 S = ( t )X ( t ) d t = l . i . m6 ∫f


a Δ →0 n b n

f ( t ′ X ( t ′ ( t ). i) i) i -t i- 1

( 6. 5 )

i=1

称 ( 6 . 5 )式为 f ( t )X ( t )在区间[ a, b ]上的均方积分. 定理6. 7 (均方可积准则) f ( t )X ( t )在区间[ a, b ]上均方可积的充要条件 为 ( t) f ( t)R ( t, t) d td t ∫ ∫f


1 2 X 1 2 1 2 a a b b

存在. 特 别 地, 二 阶 矩 过 程 X( t )在 区 间[a , b ]上 均 方 可 积 的 充 要 条 件 为 RX( t t [ a, b ]×[ a , b ]上可积. 1, 2)在 证明


[ 2 ]

略.

定理6. 8 设 f ( t )X ( t )在区间[ a, b ]上均方可积, 则有

§ 6. 3 随 机分析

1 3 1

( 1 )E

( t )X ( t ) d t= ( t )E [X ( t ) ] d t , 特别有 ∫f ∫f
a a



a 1

X ( t ) d t=
b 1 2

[X ( t ) ] d t ; ∫E
a 2 2

( 2 )E  =

( t)X ( t) d t ( t)X ( t) d t ∫f ∫f
1 a a b b 1 2 X 1 2 1 2

( t) f ( t)R ( t, t) d td t. ∫∫f
a a

特别有 E

( t ) d t = t) d td t. ∫X ∫ ∫ R (t ,
X 1 2 1 2 a a a

证  ( 1 ) 由定理6. 3之( 5 ), 有 E


f ( t )X ( t ) d t =E l . i . m6
Δ →0 n n

f ( t ′ X ( t ′ ( t ) i) i) i -t i-1 f ( t ′ X ( t ′ ( t i) i) i -t i-1)

i=1

=l i mE
Δ →0 n n

i=1

=l i m

Δ →0 i=1 n

f ( t ′ E [X ( t ′ ] ( t ) i) i) i- t i-1

( t )E [X ( t ) ] d t . ∫f

类似地由定理6. 3之( 6 )可证( 2 )式, 证毕. 定理6. 8表明, 若f ( t )X ( t )均方可积, 则数 学期望和 积分两 种运算可 以交 换顺序. 均方积分有类似于普通函数积分的许多 性质, 如X ( t )均方连 续, 则它 均方 可积; 均方积分惟一性, 对于 a <c <b , 有


a b a

f ( t )X ( t ) d t =


f ( t )X ( t ) d t +

( t )X ( t ) d t ; ∫f
c b

若X ( t ), Y ( t )在区间 [a, b ]上均方连续, 则 X ( t )+β Y ( t ) ] d t =α t ) d t +β t ) d t , ∫ [α ∫ X( ∫ Y(


a a b

其中 α , β为常数, 等等. 定理6. 9 设二阶矩过程{X ( t ), t ∈T }在区间 [ a, b ]上均方连续, 则 Y ( t ) = ( τ ) d τ  ( a ≤t ≤b ) ∫X


a t

在均方意义下存在, 且随机过 程{Y ( t ), t ∈T }在 区间[ a, b ]上 均方 可微, 且有 Y ′ ( t )= X ( t ). 证明略. 推论  设 X ( t )均方可微, 且X ′ ( t ) 均方连续, 则

1 3 2

第 六章  平稳随 机过程

X ( t )- X (a )= 特别有

′ ( t ) d t , ∫X

( 6. 6 )

X (b )- X ( a )=

′ ( t ) d t . ∫X

( 6. 6 )式即相当于普通积分中的牛顿-莱布尼茨公式. 例6. 9  设{X( t ), t∈ T }是 实 均 方 可 微 过 程, 求 其 导 数 过 程(X ′ ( t ), t ∈T }的协方差函数 B ( s , t ). X ′ 解  由( 6. 6 ) 式, 有 mX( t )- mX( a )= s ) d s , ∫m(


a X ′ t

dmX( t ) = mX′( t ), d t 所以 B ( s , t )= E [X ′ ( s )- mX′ ( s ) ] [X ′ ( t )- mX′( t ) ] X ′ =E [X ′ ( s )X ′ ( t ) ]- mX′( s )mX′( t ) = RX′( s , t )- mX′( s )mX′( t ) 5 = [R ( s , t )- mX( s )mX( t ) ] 5s 5t X 5 = B( s , t ). 5s 5t X
2 2

§ 6 . 4  平稳过程的各态历经性
平稳随机过程的统计特征完全由其前二阶矩函数确定. 我们知道, 对固定的 时刻 t , 均值函数和协方差函数是 随机 变量 X ( t )的 取值 在 样本 空间 Ω 上的 概 率平均, 是由 X ( t )的分布函数确定, 通 常很难求 得. 实 际中, 如果 我们 已经 得到 一个较长时间的样本记录, 是否可由此获得平稳过程的数字特征的充分依据, 即 按时间取平均来代替统计平均呢?为此, 我们来回顾一下大数定律. 设独立同分布的随机变量序列 {X n=1, 2, … }, 具有 E [X ]= m, D [X n, n n] =σ(n=1, 2, …) , 则 l i mP
N→ ∞ 2

1 X k - m < ε =1. N6 k= 1

这里, 若将随机序列{Xn , n= 1, 2, …}看 作是 具有 离散参 数的 随机过 程, 则 1 X 它 随样 本不 同而变, 是个 k 为 随机 过程的 样本 函数按 不同 时刻 取平均, N6 k= 1 随机变量. 而 m=E [X ]是 随机 过程的 均值, 即 任意时 刻 的过 程取 值的 统计 平 n

§ 6. 4 平 稳过程的 各态历 经性

1 3 3

均. 大数定律表明, 随时间 n的无限增长 , 随机过 程的样本 函数按 时间平均 以越 来越大的概率近似于过程的统计平均. 也 就是 说, 只要 观测的 时间 足够长, 则随 机过程的每个样本函数都能够“遍历”各种可 能状 态. 随机 过程的 这种 特性 即谓 遍历性 或 埃尔古德性 , 或叫 各态历经性 . 根据随机过程的定义知, 对于每一个 固定的 t ∈ T, X ( t )为一 个随 机变量, E [X ( t ) ]= mX( t )即为统 计平均; 对 于每 一个 固 定的 e ∈ Ω, X ( t )即为 普通 的 时间函数, 若在 T 上对t取平均 , 即得时间平均. 定义6. 9 设 {X ( t ) , -∞<t <∞}为均方连续的平稳过程, 则分别称 1 〈X ( t ) 〉= l . i . m T T→ ∞ 2

X ( t ) d t , X ( t )X ( t -τ ) d t

-T T

1 〈X ( t )X ( t -τ ) 〉= l . i . m T→ ∞ 2 T 为该过程的 时间均值和时间相关函数 .

-T

定义6. 1 0 设{X ( t ), - ∞ <t< ∞}是 均 方 连 续 的平 稳 过 程, 若〈X ( t ) 〉


P r . 1

E [X ( t ) ], 即 1 l . i . m T→ ∞ 2 T
P r. 1

-T

X ( t ) d t = mX

( 6. 7 )

以概率1成立, 则称该平稳过程的均值具有各态历经性. 若〈X ( t )X ( t -τ ) 〉 E [X ( t )X ( t -τ ) ], 即


1 l . i . m T→ ∞ 2 T

X ( t )X ( t -τ ) d t = RX( τ ).

( 6. 8 )

-T

以概率1成立, 则称该平稳过程的相关函数具有各态历经性. 定义6. 1 1 如果均方连续的平稳过程{X ( t ), t ∈T }的均值 和相 关函 数都 具有各态历经性, 则称该平稳过程为具有各态历经性或遍历性. 从上面的讨论知, 随机过程的时间平均是对给定 的 e , 样本函数 对 t的 积分 值再取平均, 显然积分值依赖 于 e , 故 一般 地, 随机 过程 的 时间 平均 是个 随机 变 量. 如果 X ( t )是各态历经过程, 则〈X ( t ) 〉和〈X ( t )X ( t -τ ) 〉不再依赖 e , 而是 以概率1分别等于 E [X ( t ) ]和 E [X ( t )X ( t -τ ) ]. 这 一方面 表明 各态 历经 过 程各样本函数的时间平均实际上可以 认为是 相同 的, 于是 对随机 过程 的时 间平 均也可以由样本函数的时间平均来表 示, 且可 以用任 一个 样本函 数的 时间 平均 代替随机过程的统计平 均. 另 一方 面也 表明 E [X ( t ) ]和 E [X ( t )X ( t -τ ) ]必 定与 t无关 , 即各态历经过程必是平稳过 程. 但是, 平 稳过 程在什 么条 件下 才具 有各态历经性呢?下面先讨论平稳过程的均值具有遍历性的条件. 定理6. 1 0 设 {X ( t ), - ∞<t < ∞}是均 方连 续的 平稳 过 程, 则它 的均 值 具有各态历经性的充要条件为

1 3 4

第 六章  平稳随 机过程

1 l i m T T→ ∞2

2T -2 T

| τ | 2 1- [RX( τ )-|mX|] d τ=0. 2T


( 6. 9 )

证  因〈X ( t ) 〉是随机变量, 先求它的均值和方差得 1 . i . m E [ 〈X ( t ) 〉 ]= E l 2T


T→ ∞

X ( t ) d t

-T

1 =l i m T → ∞2 T

E [X ( t ) ] d t = mX ,

-T

故随机变量〈X ( t ) 〉的 均值 为常数 E [X ( t ) ]= mX , 由方 差 的性 质知, 若 能证 明 D [ 〈X ( t ) 〉 ]=0, 则 〈X ( t ) 〉 以概率1等于 E [X ( t ) ]. 所以要证明 X ( t )的均值具 有各态历经性等价于证 D [ 〈 X ( t ) 〉 ]=0. 由于 D [ 〈X ( t ) 〉 ]= E [ | 〈X ( t ) 〉 |] -|mX| , 而 1 2 E [ |〈X ( t ) 〉| ]= E l . i . m T T→ ∞ 2 =l i mE
T→ ∞ 2 2

( 6. 1 0 )


T -T T

X ( t ) d t

-T

1 2 4T


-T

X ( t ) d t 2 2

X ( t d t 1) 1
1 1 2

-T

=l i m

1 2 T → ∞ 4T

[X ( t) X ( t) ] d td t ∫∫ E
-T T T

1 =l i m 2 T→ ∞4 T

∫∫
-T

RX( t ) d t t 2 -t 1 1d 2.

-T

作变换 τ τ 变换的雅可比式为 1 =t 1 +t 2, 2 =t 2 -t 1, 5( t t 1 1, 2) = . 5( τ , τ ) 2 1 2 在上述变换下, 将正方形积分域 G 如图6. 5所示. 1 变成菱形域 G 2,

图6. 5

于是

§ 6. 4 平 稳过程的 各态历 经性

1 3 5

1 2 E [ | 〈X ( t ) 〉 |]=l i m 2 T → ∞4 T 1 =l i m 2 T → ∞4 T 1 =l i m T T → ∞2 又因为 故 1 2T

G 2 2T

1 R( τ) d τ τ 1d 2 2 X 2
2T -|τ | 2 -2 T+|τ | 2

∫∫
-2 T 2T -2 T

1 R( τ) d τ τ 1d 2 2 X 2

| τ 2| RX( τ d τ 6. 1 1 ) 2) 1- 2. ( 2T

2T

-2 T

| τ 2| d τ 1, 1- 2= 2T
-2 T

1 2 |mX| = 2T 1 D [ 〈X ( t ) 〉 ] =l i m T → ∞2 T

2T

| τ | 2 2 |mX| 1 - d τ 2 . 2T

( 6. 1 2 )

将 ( 6 . 1 1 )式和( 6. 1 2 )式代入( 6. 1 0 ) 式, 得

2T

-2 T

| τ | 2 1- [RX( τ )-|mX|] d τ. ( 6. 1 3 ) 2T

( 6 . 1 3 )式等于零就是〈X ( t ) 〉以概率1等于 E [X ( t ) ]= mX 的充要条件, 证毕. 当X ( t )为实均方连续平稳 过 程时, RX( τ )为偶 函数, 过程 X ( t )的 均值 各 态历经性的充要条件可写成 l i m 1 T→ ∞ T


2T

| τ | 2 1- [RX( τ )- mX] d τ =0. 2T


2T -2 T

( 6. 1 4 )

2 由于 B τ ) =R ( τ )- |mX| , 故充要条件( 6. 9 )式等价于 X( X

1 l i m T T → ∞2 ( 6 . 1 4 )式等价于 l i m 1 T→ ∞ T

∫ ∫

| τ | 1- B( τ ) d τ =0. 2T X | τ | 1- B( τ ) d τ =0 . 2T X

2T

定理6. 1 1 设 {X ( t ), -∞<t <∞} 为均方连续的平稳过程, 且E |X ( t ) | <∞, 则其相关函数具有各态历经性的充要条件为 1 l i m T T → ∞2 其中 B ( τ [X ( t )X ( t -τ ) X ( t -τ )X ( t -τ -τ ]. 1)= E 1 1) 过程, 且 mY = E [Y ( t ) ]= E [X ( t )X ( t -τ ) ]= RX( τ ) , 故R τ )的各态历经性相当于 E [Y ( t ) ]的各态历经性. 由于 X(    RY( τ )= E [Y ( t )Y ( t -τ ) ] 1 1 =E [X ( t )X ( t -τ )X ( t -τ X ( t -τ -τ ) ] 1) 1

2T -2 T

| τ | 2 1 [B ( τ )-|RX( τ ) |] d τ 1- 1 1 =0, 2T

( 6. 1 5 )

( 6. 1 6 )

证  对于固定的 τ , 记 Y ( t )= X ( t )X ( t -τ ) , 则 Y ( t )为均 方连 续的 平稳

1 3 6

第 六章  平稳随 机过程

=B ( τ ), 1 故根据定理6. 1 0知定理6. 1 1得证. 由于实际应用中只考虑定义在0≤t <∞上的均 方连续的 平稳过程, 故 定理 6 . 1 0和定理6. 1 1相应地可以写成下列形式. 定理6. 1 2 对于均方连续平稳过程{X ( t ), 0≤t <∞}, 等式 1 l . i . m T→ ∞ T 以概率1成立的充要条件为 1 l i m T → ∞2 T


X ( t ) d t = mX

-T

| τ | 1- B( τ ) d τ =0. T X τ B( τ ) d τ=0. T X

若X ( t )为实平稳过程, 则上式变为 l i m 1 T→ ∞ T


0 T

1-

定理6. 1 3 对于均方连续平稳过程{X ( t ), 0≤t <∞}, 若E |X ( t ) | <∞, 则等式 1 l . i . m T→ ∞ T 以概率1成立的充要条件为 | τ 1| 2 [B ( τ |RX( τ ) | ] d τ 1- 1)- 1 =0, T 其中 B ( τ )与( 6. 1 6 )式相同. 1 l i m 1 T→ ∞ T


X ( t )X ( t -τ ) d τ = RX( τ )

-T

若X ( t )为实平稳过程, 则上式变为 l i m 1 T→ ∞ T


1-

τ 1 2 [B ( τ - RX( τ ) ] d τ . 1) 1 =0 T

例6. 1 0  考虑例 6 . 3 的随机电 报信号 过程 Y ( t )的均值 的各态历 经性. 因


- 2λ |τ | 为它是实平稳过程, 且E [Y ( t ) ]= 0, RY( τ )= e ,

l i m

1 T→ ∞ T


2T

τ - 2λ |τ | 1- ( e -0 ) d τ =0. 2T

( 6 . 1 4 )式成立, 所以 Y ( t )是均值具有各态历经性的平稳过程. 例6. 1 1 设有随机相位 过程 X ( t )= a c o s (ω t +Θ ), a, ω为 常数 , Θ 为( 0, 2 π )上服从均匀分布的随机变量. 问 X ( t )是否为各态历经过程. 解  因为 E [X ( t ) ]= c o s (ω t +θ ) d θ =0, ∫a 2 π


0 2π

RX( t , t -τ )= E [ a c o s (ω t +Θ ) a c o s (ω t -ω τ +Θ ) ] =


2 π

a c o s (ω t +θ ) c o s (ω t -ω τ +θ ) d θ 2 π

§ 6. 4 平 稳过程的 各态历 经性


2 a c o s ( ω τ )= RX( τ ), 2

1 3 7

= 1 而 〈X ( t ) 〉= l . i . m T→ ∞ 2 T

a c o s (ω t +Θ ) d t

-T

as i n (ω T+ Θ )- s i n (- ω T+ Θ ) = l . i . m =0, T ω T→ ∞ 2 故有 又因为 1 〈X ( t )X ( t -τ ) 〉= l . i . m T→ ∞ 2 T a = l . i . m T T→ ∞ 2

〈X ( t ) 〉= E [X ( t ) ].

∫ ∫

ac o s (ω t +Θ ) c o s ( ω t -ω τ +Θ ) d t 1 [ c o s (ω τ )+ c o s ( 2ω t -ω τ + 2Θ ) ] d t 2

-T T

-T

2 a = c o s (ω τ ), 2

故 经的.

〈X ( t )X ( t -τ ) 〉= R τ ). X(

过程 X ( t ) 的均值和 相关 函数 都具 有各 态 历经 性, 所以 随 机相 位过 程是 各态 历 例6. 1 2 讨论随机过程 X ( t )= Y 的各态历经性 , 其中 Y 是方差不为 零的 随机变量. 解  易知 X ( t )= Y 是平稳过程 , 事实上 E [X ( t ) ]=E [Y ]= mX(常数), RX( t , t -τ )= E [Y ]= D [Y ]+ mX(与 t无关) . 但此过程不具有各态历经性, 因为 1 〈X ( t ) 〉= l . i . m T→ ∞ 2 T
2 2

Y d t = Y,

-T

Y 非常数 , 不等于 E [X ( t ) ]. 所以 X ( t )= Y 的均值不具有各态历经性 . 类似可证其相关函数也不具有各态历经性. 实际问题中, 要严格验证平稳过程是否满足各态历经条件是比较困难的. 但 各态历经性定理的条件较宽, 工程中所遇到的平稳过程大多数都能满足. 各态历经定理的重要意义在于它 从理论 上给 出如 下的结 论: 一个 实平 稳过 程, 如果它是各态历经的, 则可用任意一个样本函数的时间平均代替平稳过程的 统计平均, 即 1 mX = l . i . m T→ ∞ T 式:


1 x ( t ) d t , RX( τ )= l . i . m T→ ∞ T

( t )x ( t +τ ) d t . ∫x

若样本函数 x ( t ) 只 在有 限 区间[ 0, T ]上 给出, 则对 于 实平 稳 过程 有 下 列估 计

1 3 8

第 六章  平稳随 机过程

^ =1 mX ≈ m X T

( t ) d t , ∫x
0 T-τ

( 6. 1 7 ) ( 6. 1 8 )

1 ^( RX( τ )≈ R )= X τ T-τ t ≤ T-τ.


x ( t )x ( t +τ ) d t .

( 6 . 1 8 )式取积分区间[ 0, T-τ ], 是因为 x ( t +τ )只对 t +τ≤ T 为已知 , 即0≤ 实际计算中, 一般不可能给出 x ( t )的表 达式, 通 常采 用模拟 方法 或数 字方 法来测量或计算( 6 . 1 7 )式和( 6. 1 8 ) 式的估计值. 现在扼要地介绍如下: ( 1 ) 模拟相关分析仪 这种仪器的功能是当输入样本函数时, 在 X- Y 记录 仪上能 自动描绘 出自 相关函数曲线. 它的框图如图6. 6所示.

图6. 6

对于时间连续变化 的信 号 X ( t )进 行数 字 处理 时, 必须 先对 信号 离 散取 值 ( 也称 采样). 一般是每隔定长的时间 Δ t后 , 对 X ( t )进 行测量, 从 而获 得 X ( t ) 在t Δ t ( k =0, 1, …)的 一系列 数值 x (k Δ t ) (k=0, 1, …), 如图 6. 7所 k =k k =x 示. 但是, Δ t取多长进行采样 呢 ?一般 地, 采样的 时间 间隔 的选 择是 这样 的: 对

图6. 7

§ 6. 4 平 稳过程的 各态历 经性

1 3 9

于非随机的确定信号 x ( t ), 当x ( t )的傅氏变换 F (ω )只在频率域|ω |≤ ω c 上不 等于0, 其它频率上均为0, 则按采样定理, 应取采样 时间间隔 Δ t不超过 区间 π / ω 即当 Δ t <π / ω 理论上可以证明由采样值{x ( k Δ t ), k=0, 1, …}惟一 地确 c, c 时, 定信号 x ( t ). 对于平稳过程, 也有类似的结论. 定理6. 1 4 设有确定信号 x ( t ), F (ω )是它的傅氏变换, 若 F (ω )=0, | ω | >ω c, 则x ( t )能由它在相等时间间隔 Δ t =

π 上的采样值 x ( k Δ t )完全惟一地复原, 且 ω c

x ( t ) =

k= - ∞

s i n [ω ( t -k Δ t ) ] c x ( k Δ t ) . ω ( t -k Δ t ) c

定理6. 1 5 对于均方连续平稳过程{X ( t ), t ∈T }, 若 它的谱函 数 F (ω )满 足 dF (ω )=0, |ω |>ω c, 若取 Δ t < π , 则在均方意义下 X ( t )可惟一地复原, 且 ω c


X ( t ) = ( 2 ) 数字方法

k= - ∞

s i n [ω ( t -k Δ t ) ] c X ( k Δ t ) . ω ( t -k Δ t ) c T 的 小区间, 然 后在 N

如图6. 7所示, 将区间[ 0, T ]等分为 N 个 长度为 Δ t = 时刻 t - k= k

1 Δ t ( k=1, 2, …, N ), 对 X ( t )取样, 得 N 个测量值x ( t ) k =x k 2

( k=1, 2, …, N ) . 再将 ( 6. 1 1 )式和( 6. 1 2 )式 的积 分用 近似和 式代 替, 即得 近似 数字估计式 ^ =1 m X T    ^ RX( τ ) = ≈


0 0

1 1 x ( t ) d t ≈ 6 x Δ t = 6 x , T k=1 k N k=1 k x ( t ) x ( t +τ ) d t x x t = k k+ rΔ 1 x kx k+ r N-r 6 k=1


N-r

1 T-τ

T- τ

1 T-τ r

N- r

k= 1

( τ Δ t , r=0, 1 , …, m, m< N ). r =r 这个估计式算出相关函数的一系列近似值, 就可以作出相关函数的近似图形, 如 图6. 8所示.

1 4 0

第 六章  平稳随 机过程

图6. 8

习 题 六
  6 . 1  设有随 机过程 X ( t )= c o s (ω t +Θ ), 其中 ω>0为常 数, Θ 是 在区 间( 0, 2 π )上 服从 均匀分 布的随机 变量. 问X ( t )是否 为平稳过程.
2 6 . 2  设有随 机过程 X ( t )= A c o s ( π t ), 其 中 A是 均值 为零 , 方差为 σ 的 正态 随机变 量.

求 ( 1 )X ( 1 ) 和X ( 1 / 4 )的概率 密度; ( 2 )X ( t ) 是否 为平稳 过程. 6 . 3  设有随机 过程 X ( t )= A c o s (ω t +Θ ), 其 中 A 是服从 瑞利分 布的随 机变 量 , 其概率 密度为 a a x p - 2 , a>0, 2e 2 σ f ( a )= σ 0, a≤0, Θ是在( 0, 2 π )上服从均 匀分布 且与 A相互 独 立的 随机变 量 , ω为 常数 . 问 X ( t )是否为 平稳 过程 (提示 : 若 X 与 Y 是 两 个 相 互独 立的 随机 变量 , f (x )和 g ( y )是 连 续 函 数, 则f (X )和 g (Y )也是相互独 立的随 机变量). 6 . 4  设有随 机过程 X ( t )=f ( t +Θ ), 其中 f ( x )是 周 期 为 T 的实 值连续 函数 , Θ 是在 ( 0, T ] 上服 从均匀 分布的 随机变 量, 证明 X ( t )是平稳 过程并 求相关函 数 RX( τ ). 6 . 5  设 X ( t ) 和 Y ( t )为 平稳过程, 且相互 独立. 求Z ( t ) =X ( t )Y ( t )的 相关函 数, Z ( t ) 是否为 平稳过程 . 6 . 6  设 X ( t ) 为 实平稳 过程, 若存 在 T>0 , RX(T )= RX( 0 ) , 试证 ( 1 ) 它 以概率 1对所 有 t有 X ( t +T )= X ( t )成立; ( 2 ) 对 所有 τ , 有R τ +T )= RX( τ ), 即 随机 过程的 相关 函数 是 具有 周期 T 的周 期函 X( 数.
2 6 . 7  设随机过 程 X ( t )是二阶矩 过程 , 即E [ |X ( t ) | ]<∞, 均值 E [X ( t ) ]=α +β t , 协 -λ |t - t | 1 2 . 方差 B t t )=e 令 Y ( t )= X ( t +1 )- X (t ) , 则 Y ( t )为平 稳 过 程. 求它的 均值 X( 1, 2 2

习 题  六 和相关 函数.

1 4 1

6 . 8  设 X ( t )是 雷达的 发射信号 , 遇到目 标后 返 回 接收 机 的微 弱信号 为 a X ( t -τ ), a 1 n 1, τ 由 于接收 到的信 号伴有 噪声, 记噪 声为 N ( t ), 故 接收到 的全 信号为 1 是信号返 回时间 . Y ( t )=a X ( t -τ )+ N ( t ) . 1 ( 1 )若 X ( t )和 Y ( t ) 是单 独且联 合平 稳过程, 求互 相关函 数 R τ ); XY( ( 2 ) 在( 1 ) 的 条件下 , 假定 N ( t )的均值 为零, 且与 X ( t ) 是 相互独 立的, 求R τ ) . XY( 6 . 9  设 {Xn , n=0, ±1, ±2, …} 是 具有零 均值 , 方 差为 1的独 立同 分 布 的随 机序列 , 令

Y n=

a (n=0, ±1, ±2, …), 其中 a 试 证{Yn, n=0, ±1, ±2, …}是 平稳 lX n- l l为 常数.

l =0

过程. 6 . 1 0 设{N ( t ) , t ≥0 }为泊 松过程, 令 X ( t )= N ( t +L )- N ( t ), 其中 L为 正常数 . 若 N ( t )表示某事 件在区 间( 0, t ]内 发生的 次数, 则X ( t )表示该 事件在 起点为 t , 长为 L 的区间 内发生 的次数. 求 随机过 程 X ( t )的 均值和协方差 函数. 6 . 1 1 设{X ( t ), t ≥0 }为维纳 过程, 令 Y ( t )= 平稳过 程. 6 . 1 2 设 X ( t ) 和Y ( t )是具 有均值 为零、 方 差分别 为 σX =5, σ 0的 两个 平稳过 程, Y =1 且它们 是联合平 稳的, 试 说明下列 函数是 否为相 关函数, 为 什么?
-2τ ( 1 ) RX( τ ) =6 e ;         ( 2 )R τ ) =5 s i n ( 5 τ ); X( 2 -1 ( 3 ) RXY( τ ) =9 ( 1 +2 τ ) ; -|τ | ( 4 )R τ )=-e c o s ( 6τ ); Y( 2 2 t 0

s ) d s , 试 判别{Y ( t ), t≥0 }是 否为 ∫ X(

( 5 ) RY( τ ) =5

s i n ( 3 τ )2 ; 3 τ

( 6 )R τ )=6+4 Y(

s i nτ . τ

-|τ | / 2 6 . 1 3 设正 态随机 过程具有均值 为零, 相关函 数为 R τ )=6 e , 求给定 t时 随机变 X(

量X ( t ), X ( t +1 ), X ( t +2 )和 X ( t + 3 ) 的 协方差 矩阵. 6 . 1 4 试证 随机过 程 X ( t )= U c o s ( λ t )+ V s i n ( λ t ) (-∞< t <∞)是平 稳 过 程的充 要条 件为 U 和 V 是 具有零 均值 、 相同 方差的互 不相关 的随机 变量. 6 . 1 5 设随 机过程 X ( t ) =a c o s ( ω t +φ ) 和Y ( t )=b s i n (ω t +φ )是单 独且联 合平 稳随机 过程, 其中 a, b , ω为常 数, φ 是在( 0, π )上服从 均匀分 布的随机 变量. 求 RXY( τ )和 RYX(τ ). 6 . 1 6 设随 机过程 X ( t ) , Y ( t )都不是 平稳的 , 且 X ( t ) =A ( t ) c o st , Y ( t ) =B ( t ) s i nt , 其中 A ( t )和 B ( t ) 是 均值为 零的相 互独立的平稳 过程, 它们有 相同 的相关 函数. 求 证Z ( t )= X ( t ) +Y ( t )是平稳过 程. 6 . 1 7 验证 复随机 过程 Z ( t )=e x p [ i (ω +φ ) ]的 平 稳性 . 其 中 φ是在( 0, 2 π )上 均匀分 0t 布的随 机变量, ω 0 为常 数. 6 . 1 8 设 X t ), X t ), Y ( t ) 和 Y2( t ) 都 是零均 值实随 机过程, 定 义复随 机过程 1( 2( 1 Z t )= X ( t ) + i Y1( t ), Z ( t )= X2( t ) +i Y ( t ), 1( 1 2 2 求下列 情况下的 Z ( t ) 与Z ( t ) 的相 关函数 : 1 2 ( 1 ) 所 有实随 机过程 是相关的 ; ( 2 ) 所 有实随 机过程 互不相关 .

1 4 2

第 六章  平稳随 机过程

6 . 1 9 设 X ( t ) 是具 有相关 函数为 RX( τ )的 平稳过程 , 令 Y=


2 a是 实数 . 试证 E [ |Y | ] =


a +T

X ( t ) d t , 其中 T>0,

| )R ( τ ) d τ . ∫ (T-|τ
-T X

6 . 2 0 设 X ( t ) 为平 稳过程, Y ( t ) =X ( t ) c o s ( ω +Φ ), W ( t ) =X ( t ) c o s [ ( ω ) t +Φ ] , 0t 0 +ω 1 ω ω Φ是在( 0, 2 π ) 上 均匀 分布的 随机变 量. 试 证 W( t ) +Y ( t )是非平 稳过程. 0, 1 为常 数,


2 6 . 2 1 设有 随机过 程 X ( t )= A s i n ( λ t )+ B c o s ( λ t ) , 其中 A, B 是 均值为 零 、 方差 为 σ 的

相互独 立的正态 随机变 量. 试问 ( 1 )X ( t ) 的均 值是否 各态历 经的?


2 ( 2 )X ( t ) 的均 方值 E [X ( t ) ] 是 否各态 历经的?

( 3 ) 若 A= - 2 σ s i n Φ, B= 2σ c o s Φ, Φ 是( 0, 2 π )上 服 从 均 匀 分布 的随 机 变 量, 此时
2 E [X ( t ) ] 是否各 态历经 的?

6 . 2 2 试验 证第6. 4题的 随机相 位过程 X ( t ) =f ( t +Θ ) 是 各态历 经的.

第七章 平稳过程的谱分析
平稳过程{X ( t ), t ∈T }的相 关函 数 RX( τ )在时 间域 上描述 过程 的统 计特 征; 为描述平稳过程在频域上的统 计特征, 需 要引 进谱 密度的 概念. 本 章主 要讨 论平稳过程的谱密度及相关函数 R τ )的谱分析. X(

§ 7 . 1  平稳过程的谱密度
谱密度的概念在平稳过程的理论和应用上都很重要, 从数学上看, 谱密度是 相关函数的傅里叶变换, 它的物理意义是功率谱密度. 我们首先简要介绍普通时间函数 x ( t )的频谱、 能谱密度的概念. 设x ( t ) 绝对可积, 即

|x ( t ) | d t < ∞, 则 x ( t )的 傅 里叶 变 换(傅氏 变

-∞

换 )存在, 或者说 x ( t )具有频谱 F (ω )= x 一般地, F (ω )是复值函数, 有 x F (-ω ) = x F (ω )的傅氏反变换为 x 1 x ( t )= 2 π 利用( 7. 1 )式和( 7 . 2 )式, 可得


∞ -∞

x ( t ) e d t .

-iω t

( 7. 1 )

-∞

x ( t ) e d t =F (ω ). x

i ω t

F (ω ) e dω. x

iω t

( 7. 2 )

-∞

∞ 2

x( t ) d t=

-∞

-∞

1 x ( t ) 2 π
∞ -∞ ∞

F (ω ) e dω d t x

iω t

-∞

1 = 2 π 1 = 2 π 故

∫ ∫

F (ω ) x

x ( t ) ed t dω

iω t

-∞

F (ω )F ω ) dω, x x(

-∞

-∞

1 2 x ( t ) d t = 2 π

∞ 2 |F (ω ) | d ω. x

( 7. 3 )

-∞

1 4 4

第七章  平稳 过程的 谱分析

( 7. 3 )式称为帕塞瓦尔公式 . 若把 x ( t )看 作是 通过 1Ω 电阻 上的 电流 或电 压, 则 左 边 的 积 分 表 示 消 耗 在 1 Ω 电 阻 上 的 总 能 量, 故右边的被 积函数 |F (ω ) | 相应地称为 能谱密度 . 帕塞瓦尔公式即可看作总能量的谱表示式. x 实际问题中, 大多数时间函数的总能量都是无限的, 因而不能满足傅氏变换 条件. 为此我们考虑平均功率及功率密度. 作一截尾函数 x t )= T( x ( t ), | t |≤ T, 0, | t |> T,

因为 x t )有限, 其傅氏变换存在, 于是有 T( F ( ω, T )= x F (ω, T )的傅氏反变换为 x 1 x t )= T( 2 π 根据( 7. 3 )式的帕塞瓦尔公式, 有

∞ -iω t

x t ) e d t = T(

-∞

x t ) e T(

-i ω t

d t ,

-T

∞ iω t F (ω, T ) e dω. x

-∞


∞ 2

xT( t ) d t =

-∞

2 1 x( t ) d t = 2 π -T


|F (ω, T ) |dω, x
2 | F (ω, T ) | dω x

-∞

1 l i m T → ∞2 T

1 2 x ( t ) d t=l i m T → ∞4 πT -T 1 = 2 π

-∞

-∞

1 2 l i m |F (ω, T ) |d ω. x T → ∞2T

显然, 上式左边可以看作是 x ( t )消耗在1Ω 电阻上的平均功率, 相应地, 称右边 的被积函数 1 2 l i m |F (ω , T ) | T → ∞2 T x 为功率密度 . 以上 讨 论 的 是 普 通 时 间 函 数 的 频 谱 分 析,对 于 随 机 过 程{X(t ), -∞<t <∞}可以作类似的分析. 设X ( t )是均方连续随机过程, 作截尾随机过程 XT( t )= X ( t ), | t |≤ T, 0 , | t |> T.

因为 XT( t )均方可积, 故存在傅氏变换 FX(ω, T )=

-iωt XT( t ) e d t =

-∞


∞ -∞

T -i ω t X ( t ) e d t .

( 7. 4 )

-T

利用帕塞瓦尔公式及傅氏反变换, 可得

2 X t ) d t = T(

-∞

-T

1 2 X ( t ) d t = 2 π

2 |F ω, T ) | d ω. X(

§ 7. 1 平 稳过程的 谱密度

1 4 5

因为 X ( t ) 是随机过 程, 故 上式 两边 都是 随机 变 量, 要求 取平 均 值. 这时 不仅 要 对时间区间[- T, T ]取平均, 还要求概率意义下的统计平均, 于是有 l i mE


T→ ∞

1 T 2 1 ∞ 1 2 X( t ) d t =l i m E |F ω, T )| dω X( 2T - T π -∞ 2T T→ ∞ 2

1 = 2 π

-∞

1 2 l i m E [ |F ω, T ) |] d ω. ( 7. 5 ) X( T→ ∞2 T

上式就是随机过程 X ( t ) 的平均功率和功率密度关系的表达式. 于是有 定义7. 1 设 {X ( t ) , -∞<t <∞}为均方连续随机过程, 称 ψ =l i mE


T→ ∞ 2

1 2T

X( t ) d t

( 7. 6 )

-T

为X ( t )的平均功率. 称 1 2 s (ω )=l i m E [ |F ω, T ) |] X X( T T→ ∞2 为X ( t )的功率谱密度 , 简称谱密度 .


2 当X ( t )是均方连续平稳过程时, 由于 E [X ( t ) ]是 与 t无关 的常数 , 利用

( 7. 7 )

均方积分性质可以将( 7. 6 )式化简得  ψ = l i mE
T→ ∞ 2

1 2T
T -T

T 2 X ( t ) d t

-T

1 =l i m T → ∞2 T

2 2 E [X ( t ) ] d t =E [X ( t ) ]= RX( 0 ).

( 7. 8 )

由 ( 7 . 8 )式和( 7. 5 ) 式看出, 平稳过程的平均功率等于该过程的均方值, 或等于它 的谱密度在频域上的积分, 即 1 2 ψ = 2 π


S ω ) d ω. X(

( 7. 9 )

-∞

( 7. 9 )式是平稳过程 X ( t )的平 均功 率的频 谱展 开式, s ω )描述 了各 种频 率成 X( 分所具有的能量大小. 例7. 1  设有 随机过 程 X ( t )= a c o s (ω +Θ ) , a, ω 在下 列情 况 0t 0 为 常 数, 下, 求 X ( t ) 的平均功率: ( 1 ) Θ是在( 0, 2 π )上服从均匀分布的随机变量; ( 2 ) Θ是在( 0, π / 2 )上服从均匀分布的随机变量. a 解  ( 1 ) 此时随机过程 X ( t )是平稳过程, 且相关函数 R τ )= c o s (ω ) . X( 0τ 2 于是由( 7. 8 )式得 X ( t )的平均功率为 ψ = RX( 0 )= a/ 2. ( 2 ) 因为
2 2 2 E [X ( t ) ]= E [ a c o s (ω +Θ ) ] 0t 2 2 2

1 4 6

第七章  平稳 过程的 谱分析


2 2 a a + c o s ( 2ω + 2Θ ) 0t 2 2

=E = =

2 2 a a + 2 2 2 2

o s ( 2ω t +2 θ ) d θ ∫c π
0 0

π / 2

a a - s i n ( 2ω ), 0t 2 π

故此时 X ( t )是非平稳过程. 由( 7. 6 )式得 X ( t )的平均功率为 1 2   ψ =l i m T→ ∞2 T 1 =l i m T→ ∞2 T 出以下结果. 设{X n=0 , ±1, ±2, …}为平 稳随 机 序列, 均 值 为 零. 若 τ只取 离 散值 , n,

∫ ∫

T 2 E [X ( t ) ] d t 2 2 2 a a a - s i n ( 2ω )d t = . 0t 2 π 2

-T T

-T

以上讨论了平稳过程的谱密度, 对于平稳随机序列的谱分析, 我们类似地给

且相关函数 RX( τ )满足

n= - ∞ ∞

|R n ) |<∞. 当 ω在[-π, π ]上取值时, 若 X(

s ω )= X(

n= - ∞

-i nω RX( n ) e

( 7. 1 0 )

绝对一致收敛, 则s (ω )是 [-π , π ] 上的连续函数, 且对上式取绝对值再积分, 有 X


| s ω ) | d ω≤ X(

-π

n= - ∞

|RX(n ) |

e ∫|
-π

-in ω

| d ω<∞,

-π

s ω ) e dω存在 . 于是( 7. 1 0 )式是以 X(

inω

1 π inω RX(n )= s (ω ) e dω ( n=0 , ±1, ±2, …) X 2 π -π 为傅氏系数的 s ω )的傅氏级数. X(

( 7. 1 1 )

定义7. 2 设 {X n=0, ±1 , ±2, …}是 平 稳 随 机 序列, 若 相 关函 数 满 足 n,


n= - ∞ ∞

|RX(n ) |<∞, 则称 s ω )= X(

n= - ∞

R (n ) e X

-in ω

  (-π≤ ω≤π )

为 {X n=0, ±1 , ±2, …}的谱密度. n, ( 7. 1 0 )式与( 7 . 1 1 )式 给出 了平 稳随 机 序列 的相 关 函数 与 谱密 度 之 间的 关 系.

§ 7 . 2  谱密度的性质
对于平稳过 程 X ( t )的 统 计 规 律 描 述, 第六章是 从时域角度 对 相关函数

§ 7. 2 谱 密度的性 质

1 4 7

RX( τ )进行 讨 论, 而 在 §7. 1 中 则从 频 域的 角 度对 谱 密度 进 行 讨论. RX(τ )和 s ω )都是平稳过程 X ( t )的特性, 它们必定存在某种关系. 对于平稳 随机序列, X( 定义7. 2中已给出了它们的关系. 下面讨论平稳过程的情形. 设{X ( t ), -∞ <t < ∞}是 均 方 连 续 平 稳 过 程, RX(τ )为 它 的 相 关函 数, s ω )为它的功率谱密度. s (ω ) 具有下列性质: X( X ( 1 )若

|RX( τ ) | d τ <∞, 则s ω )是 RX( τ )的傅氏变换, 即 X( s ω )= X(

-∞

∞ -i ωτ RX( τ ) e d τ .

( 7. 1 2 )

-∞

证  将( 7. 4 ) 式代入( 7. 7 )式得 1 s (ω )=l i m E X T T→ ∞2 由于 1   E 2T 1 = E 2T

T -iω τ X ( t ) e d t

( 7. 1 3 )

-T


T -T T

X ( t ) e

-iω t

d t

-T -iω t X ( t ) e d t T -iω (t- s ) X ( t )X ( s ) e d t d s

∫ 1 = E 2T ∫ ∫
-T

T -iω s X ( s ) e d s

-T

-T

1 = 2T 1 = 2T 1 E 2T 于是有

∫∫
-T T

E [X ( t )X ( s ) ] e

-iω (t- s )

d t d s

-T T -iω (t- s ) RX( t -s ) e d t d s .

∫∫
-T 2

-T

仿照第六章定理6 . 1 0的推证步骤, 可得

T -i ω t X ( t ) e d t

-T

2T

-2 T

| τ | -iω τ 1- RX( τ ) e d τ , 2T

s ω )=l i m X(
T→ ∞

2T

-2 T

| τ | -iω τ 1- RX( τ ) e d τ . 2T

令 R τ , T )= X( 显然l i m RX( τ , T )= RX( τ ) , 故


T→ ∞

| τ | 1 - RX( τ ), | τ |≤2T, 2T 0,
2T

| τ |>2T.

s ω )=l i m X(
T→ ∞

∫ ∫

-2 T ∞

| τ | -iω τ 1- R( τ ) e d τ 2T X
-iω τ R ( τ, T ) e d τ X

=l i m
T→ ∞

-∞

1 4 8

第七章  平稳 过程的 谱分析

∫ ∫

l i m RX( τ , T ) e d t
T→ ∞

-iω t

-∞ ∞

= 证毕.

RX( τ ) e

-iω τ

d τ ,

-∞

对( 7. 1 2 )式作傅氏反变换得 1 RX( τ )= 2 π

s ω ) e dω. X(

iω τ

( 7. 1 4 )

-∞

( 7 . 1 2 )式与( 7. 1 4 ) 式说明了平稳过程的相关函数与谱密度之间构成一对傅氏变 1 换, 在( 7. 1 4 )式中令 τ = 0, 得平均功率 2 π 时, ( 7. 1 4 )式才成立. 当X ( t )为实平稳过程时, 则 s ω )=2 X(

s ω ) d ω= RX( 0 ), 只有当它 有限 X(

-∞


RX( τ ) c o s (ω τ ) d τ, RX( τ )=

1 π

) c o s (ω τ ) dω. ∫ s(ω
X 0

事实上, 因为 RX( τ )是偶函数, 故 s ω )= X(

∫ ∫

RX( τ ) e d τ RX( τ ) [ c o s (ω τ )- i s i n (ω τ ) ] d τ =2

-i ω τ

-∞ ∞

-∞


RX( τ ) c o s (ω τ ) d τ .

同理因为 s ω )是 ω的偶函数(见 ( 2 ) ), 故有 X( RX( τ ) = 1 π


) c o s (ω τ ) dω. ∫ s(ω
0 X

( 2 )s (ω )是 ω的实的 、 非负偶函数. X 证  因为

T -iω t

-T

X ( t ) e d t 是 ω 的 实的 非 负偶 函 数, 故 其均 值 当 T→ ∞

时的极限, 也必然是 ω的实的 、 非负偶函数, 由( 7. 1 3 )式知( 2 )得证. ( 3 )当 s ω )是 ω的有理函数时 , 其形式必为 X( s ω )= X(


2n 2 n-2 a +…+a 2 nω + a 2n -2 ω 0 , 2m 2 m -2 ω +b +…+b 2 m -2 ω 0

其中 a b ( i =0, 2, …, 2n, j =2, 4 , …, 2m )为常数, 且a , m>n, 分 2 n- i , 2 m -j 2 n >0 母无实根. 证  根据( 2 ) 及平均功率有限即可证明. 有理谱密度是常用的一类功率谱. 在工程中, 由于只在正的频率范围内进行 测量, 根据平稳过程的谱密度 s ω )是偶函数的性质, 因而可将负的频率范围内 X( 的值折算到正频率范围内, 得到所谓“单边功率谱” . 单边功率谱 GX(ω )定义为

§ 7. 2 谱 密度的性 质

1 4 9

1 2l i m E G ω )= T → ∞ T X( 0, 它与 s ω )有如下关系: X( GX(ω )=


T -iω t X ( t ) e d t

, ω ≥0, ω <0.

2 s ω ), ω≥0, X( 0, ω<0.

相应地, s (ω )可称为“双边谱”. 它们图形关系如图7. 1所示. X

图7. 1
-a |τ | 例7. 2 已知平稳过程的相关函 数为 RX(τ )=e c o s (ω ) , 其中 a>0, 0τ

ω 求谱密度 s (ω ) . 0 为常数. X 解  s ω )= 2 X( o s (ω τ ) c o s ( ω τ ) d τ ∫e c = c o s (ω + ω ) τ +c o s (ω - ω ) τ ] d τ ∫e [
-a τ 0 0 ∞ - a τ 0 0 0 ∞

a a = 2 2 + 2 2 . a +(ω ) a +(ω-ω 0 +ω 0) 2A a 例7. 3 已知平稳过程的谱密度 s ω )= 2 2 求相关函数 R τ ) X( 2 2, X( π(ω +a) 2 及平均功率 ψ . 3 iω τ ∞ A a e 解  RX( τ )= 2 ω 2 2 2d π -∞ (ω +a ) 3 i |τ |Z e A a 在 Z= a i处的留数 = 2 2 π i 2 2 2 (Z +a ) π A ( 1+a | τ | ) - a|τ | = e , 2 π 2 A ψ = RX( 0 )= . 2 π 例7. 4 (白噪声序列的功率谱密 度) 设{X n=0, ±1, ±2, …}是 具有 零 n, 均值的平稳随机序列, 且

RX(n )=

σ, n =0, 0, n ≠0.

1 5 0

第七章  平稳 过程的 谱分析

因为

n= - ∞ ∞

|RX(n ) |<∞, 故由( 7. 1 0 )式得 s (ω )= X

n =- ∞

-in ω 2 RX( n ) e =σ  (-π≤ ω≤π ).

例7. 5 设平稳随机序列的谱密度为
2 σ s ω )= , |φ |<1, X( -iω 2 | 1-φ e |

求相关函数 RX(n ). 解  由( 7. 1 1 ) 式得 1 R n )= X( 2 π 1 = 2 π σ = 2 π


∫ ∫ ∫
π π

s ω ) e dω X(

inω

-π 2 σ inω ω -iω 2e d -π | 1-φ e |

-π

c o s (n ω ) ω 2d 1-2φ c o s ω+ φ

2 n σ φ = n=0, 1, …) . 2  ( 1-φ

下面列出几个常见的平稳 过程 的相 关函 数 RX(τ )及相 应的 谱密 度 s ω ) X( 于表7. 1


表7. 1 R τ ) X( s (ω ) X

2 -a | RX( τ )=σ e |τ

2 σa s (ω )= 2 X 2 a +ω

RX( τ )=

|τ | 2 σ 1- ,| τ |≤ T T 0, | τ |> T

2 2 4 σ s i n ( ω T / 2 ) s ω ) = X( 2 T ω

§ 7. 2 谱 密度的性 质

1 5 1 续表

R τ ) X(

s (ω ) X

-a |τ | R ( τ )=e c o s (ω ) X 0τ

a a s (ω )= 2 X 2+ 2 2 a+ (ω +ω ) a+ (ω -ω ) 0 0

s i nω 0τ R τ ) =N X( π τ

s ω ) = X(

N, | ω |≤ ω 0 0, | ω |> ω 0

RX( τ )= 1

s (ω )=2 π δ (ω ) X

RX( τ ) =a c o s ( ω ) 0τ

s ω )=a π [ δ ( ω+ ω )+δ ( ω-ω ) ] X( 0 0

2 -σ RX(τ )=σ e τ

2 s (ω )=σ X

1 - ω2 e 4a 2 a

1 5 2

第七章  平稳 过程的 谱分析

§ 7 . 3  窄带过程及白噪声过程的功率谱密度
一般地, 信号的频谱是可以 分布 在整 个频 率轴 上 的, 即- ∞ < ω<∞. 但是 在实际应用中, 人们关心的是这样一些信号, 它们的频率谱的主要成分集中于频 率的某个范围之内, 而在此范围之 外的信 号频 率分 量很小, 可 以忽 略不计. 当一 个随机过程的谱密度为图7. 2所求的 形式时, 即谱密 度限 制在很 窄的 一段 频率 范围内, 则称该过程为 窄带随机过程 .

图7. 2

例7. 6 已知如图7. 2所示 的 窄带 平稳 过程 的谱 密 度 s ω ). 求该 过程 的 X( 均方值及相关函数. 解  X ( t )的均方值为


2 1 E [X( t ) ]= RX( 0 )= 2 π

s ω ) dω X(

-∞

= 相关函数为 RX( τ )= 1 π

1 π

ω 2 ω 1

1 s ω= s (ω - ω 0d 1). π0 2
ω 2 ω 1

) c o s (ω τ ) dω= ∫ ∫ s(ω π
X 0

s c o s (ω τ ) d ω 0

s 0 = ( s i n (ω )-s i n (ω ) ) 2τ 1τ π τ 2 s ω +ω ω -ω 0 2 1 = c o s 1 τ s i n 2 τ . π τ 2 2 如果一个随机过程的谱密度的值不变, 且其频带延伸到整个频率轴上, 则称 该频谱为白噪声频谱. 相应的白噪声过程定义如下. 定义7. 3 设 {X ( t ) , - ∞ <t<∞}为实 值 平稳 过程, 若 它 的均 值为 零, 且 谱密度在 所有频 率范 围内为 非零 的常 数, 即s )= N0(- ∞< ω<∞), 则称 X(ω X ( t )为 白噪声过程 .

§ 7. 3 窄 带过程及 白噪声 过程的 功率谱 密度

1 5 3

由于白噪声过程有类似于白光的性质, 其能量谱在各种频率上均匀分布, 故 有 “白”噪声之称. 又由于它的主要统计特性不随时间推移而改变, 故它是平稳过 程. 但是它的相关函数在通常的意 义下的 傅氏 反变 换不存 在, 所以, 为 了对 白噪 声过程进行频谱分析, 下面引进 δ函数的傅氏变换概念 . 具有下列性质的函数称为 δ函数: ( 1 )δ (x )= ( 2 ) 0, x≠0, ∞, x=0;

δ (x ) d x=1.

-∞

δ函数有一个非常重要的运算性质 , 即对任何连续函数 f (x ), 有


f (x ) δ (x ) dx=f ( 0 ),

( 7. 1 5 )

-∞

∫ ∫

f (x ) δ (x- T ) d t =f (T ).

-∞

由( 7. 1 5 )式知, δ函数的傅氏变换为 δ ( τ ) e
-iω τ

d τ=e |τ= 0 =1.

-i ω τ

( 7. 1 6 )

-∞

因此, 由傅氏反变换, 可得 δ函数的傅氏积分表达式为 1 δ ( τ )= 2 π 或

1 ・ e dω ,

iω τ

( 7. 1 7 ) ( 7. 1 8 )

-∞


同理, 由( 7. 1 5 )式可得

iω τ 1 ・ e dω =2 π δ ( τ ).

-∞

( 7 . 1 6 )式与( 7. 1 7 ) 式说明, δ ( τ )函数与1构成一对傅氏变换. 1 2 π 或 相应地有 1 2 π


-∞

1 iω τ δ (ω ) e dω= , 2 π
iω τ 2 π δ (ω ) e dω=1.


∞ -∞

( 7. 1 9 )

-∞

1 ・ e-iωτd τ =2 π δ (ω ).

( 7. 2 0 )

( 7 . 1 9 )式与( 7. 2 0 ) 式说明, 1与2 π δ (ω )构成一对傅氏变换. 换言之, 若相关 函数 RX( τ )=1时, 则它的谱密度为 s ω )=2 π δ (ω ). 它们的图形见表7. 1. X( 例7. 7 已知白噪声过程的谱密度为 s ω )= N0(常数) (-∞< ω<∞), X( 求它的相关函数 R τ ). X( 解  由( 7. 1 8 ) 式得

1 5 4

第七章  平稳 过程的 谱分析

1 RX( τ )= 2 π

s ω ) e dω X(
iω τ e d ω= N ( τ ). 0δ

iω τ

-∞ ∞

N 0 = 2 π

-∞

由本例看出, 白噪声过程也可以定义为均值为零、 相关 函数为 N0 δ ( τ )的平 稳过程. 这表明, 在任何两个时刻 t X ( t )与 X ( t )不相关, 即白噪声随时 1和t 2, 1 2 间变化的起伏极快, 而 过 程的 功率 谱极 宽, 对 不 同输 入 频率 的 信号 都 有 干扰 产 生. 例7. 8  已知 相关 函数 RX(τ )= a c o s (ω ), 其中 a , ω 求谱密 度 0τ 0 为常 数, s ω ). X( 解  由( 7. 2 0 ) 式得 s ω )= X(

∫ ∫
a 2 a 2

∞ -iω τ RX( τ ) e d τ

-∞ ∞ -iω τ a c o s (ω ) e d τ 0τ ∞ iω τ -iω τ -iω τ 0 +e 0 ] [ e e d τ ∞

-∞

= =

-∞ ∞

-i ( ω- ω )τ 0

d τ +

-∞

-i ( ω+ ω )τ 0

d τ

-∞

=a π [ δ (ω-ω (ω+ ω ) ]. 0)+δ 0 RX( τ )与 s ω ) 的图形见表7 . 1 X( 正如 δ函数是象征 性 函数 一样, 白 噪 声过 程也 是一 种 理想 化 的数 学 模型, 实际上并不存在. 因为在连续参数 的情况 下, 根据 白噪 声过程 的定 义, 它的 平均 功率 R 0 )是无限 的. 而实 际的 随机信 号过 程只有 有限 的功 率, 并且在 非常 接 X( 近的两 个时刻, 随机过 程的 取值总 是相 关的, 其 相关函 数也 不能 是 δ函 数形 式 的表达式. 但是, 实际中所遇到的各种 随机干 扰, 只要 它的 谱密度 在比 信号 频带 宽得多的频率范围内存 在, 且 分布 近似 均 匀, 通 常就 把 这种 干 扰当 作 白 噪声 处 理. 以上讨论白噪声过程的谱密度结 构时, 并 未涉 及它的 概率 分布, 因此, 它可 以是具有不同分布的白噪声, 诸如正态白噪声, 具有瑞利分布的白噪声等.

§ 7 . 4  联合平稳过程的互谱密度
在§6. 2中已经讨论过两个平稳过程的联合 平稳概念 及两个 平稳过程 的互 相关函数. 现在讨论联合平稳过程的互谱密度. 定义7. 4 设 X ( t ) 和 Y ( t )是两个平稳过程, 且它们是联合平稳的(平稳相

§ 7. 4 联 合平稳过 程的互 谱密度

1 5 5

关的), 若它们的互相关函数 RXY( τ )满足 傅氏变换 s ω )= XY(

|RXY( τ ) | d τ <∞, 则称 RXY( τ )的

-∞

RXY( τ ) e

-iω τ

d τ

( 7. 2 1 )

-∞

是X ( t )与 Y ( t )的互功率谱密度 , 简称互谱密度 . 由傅氏反变换得 1 RXY( τ )= 2 π



-∞

s ω ) e dω. XY(

iω τ

( 7. 2 2 )

-∞

因此互谱密度 s ω )与互相关函数 RYX( τ )的关系如下: YX( s ω )= YX(

RYX( τ ) e d τ ,
∞ iω τ s ω ) e dω. YX(

-iω τ

1 RYX( τ )= 2 π 数性质. 令( 7. 2 2 )式的 τ=0 , 则有

-∞

从定义看出, 互谱密度一般是复值的, 没 有谱密 度 s ω )所具 有实 的、 非负 偶函 X(

1 RXY( 0 )= E [X ( t )Y ( t ) ]= 2 π

s ω ) d ω. XY(

( 7. 2 3 )

-∞

若将 X ( t ) 看作是通过某系统的电压, Y ( t )是所产 生的 电流, 且 X ( t )和 Y ( t ) 是各态历经过程, 则( 7 . 2 3 )式左 边表 示输 到该 系 统的 功 率, 故 右边 的 被 积函 数 s ω )就是相应的互谱密度. XY( 互谱密度具有下列性质. ( 1 )s ω ) =s ω ), 即s ω )与 s ω )互为共轭; XY( YX( XY( YX( ( 2 )R e [ s ) ]和 R e [ s ) ]是 ω 的 偶 函 数,而 I m[s ) ]和 XY (ω YX (ω XY (ω I m [ s ω ) ]是 ω的奇函数 ; YX( ( 3 )s ω ) 与s ω )和 s ω )满足下列关系式: XY( X( Y( | s ω ) | ≤s (ω ) s ω ). XY( X Y( ( 4 )若 X ( t ) 和Y ( t )相互正交, 则s ω )=s ω )= 0. XY( YX( 证  ( 1 ) 利用互相关函数性质, 得 s ω )= XY(

∫ ∫ ∫

RXY( τ ) e

-iω τ

d τ

-∞ ∞ -iω τ RYX(-τ ) e d τ

-∞ ∞

RYX( τ ) e 1d τ τ ) 1 1  ( 1 =- τ

i ω τ

-∞

1 5 6

第七章  平稳 过程的 谱分析

= ( 2 ) 由于 s ω )= XY(

RYX( τ ) e 1

- iω τ 1

d τ ω ). 1 =s YX(

-∞

RXY( τ ) c o s (ω τ ) d τ - i

-∞

RXY( τ ) s i n (ω τ ) d τ ,

-∞

故其实部为 ω的偶函数, 虚部为 ω的奇函数 . ( 3 )s (ω )= l i m E |FX(ω, t ) |, X


T→ + ∞ 2

s ω )= l i m XY( 由施瓦茨不等式: E |X Y |≤

T→ + ∞

1 E [ FX(ω, T )FY(ω, T ) ]. 2T

E |X |

E |Y |

2 2

2 | s ω ) | = l i m XY(

1 E [F ω, T )FY(ω, T ) ] X( T → + ∞2 T

=l i m ≤l i m =l i m

T→ + ∞

1 2 E [F ω, T )FY(ω, T ) ] X( 2 4T 1 2 2 |F ω , T ) |E |F ω, T ) | 2E X( Y( 4T

T→ + ∞

T→ + ∞

1 2 1 2 E |F ω, T ) |l i m E |F ω, T ) | X( Y( 2T T → + ∞2 T

=s (ω ) s ω ). X Y( ( 4 ) 由正交定义有 RXY( τ )=0, 再根据( 7 . 2 1 )式及( 1 )即可证得. 互谱密度没有 (自)谱密度那样具 有明显 的物 理意 义, 引进这 个概 念主 要是 为了能在频率域上描述二个平稳过程的相关性. 在实际应用中, 常常利用测定线 性系统输入、 输出的互谱密度来确定该系统的统计特性. 这在下一节将进一步讨 论. 例7. 9 设 X ( t )和 Y ( t )为平稳过程, 且它们是平稳相关的, 则过程 W( t ) =X ( t )+ Y ( t )的相关函数为 RW( τ )= RX( τ ) + RY( τ )+ R τ )+ RYX( τ ), XY( 易知其谱密度为 s ω )=s ω )+s ω )+s ω )+s (ω ) W( X( Y( XY( YX =s ω )+s ω )+2 R e [ s ω ) ]. X( Y( XY( 显然, s ω )是实数. W( 当两个过程 X ( t )与 Y ( t )互 不 相关 时, 且 它 们的 均 值 为零, 则 RXY(τ )= RYX( τ ) =0, RW( τ )= RX( τ )+ RY( τ ), s ω )=s ω )+s ω ). W( X( Y( 例7. 1 0 已知平稳过程 X ( t )和 Y ( t )的互谱密度为

§ 7. 4 联 合平稳过 程的互 谱密度

1 5 7

s ω )= XY(

(a + i b ω ) / ω ω |< ω 0, | 0, 0, | ω |≥ ω 0,

其中 a, b, ω 求互相关函数 RXY( τ ). 0 为实常数. 解  由( 7. 2 2 ) 式得 1 RXY( τ )= 2 π

-∞

1 iω τ s ω ) e dω= XY( 2 π

ω 0

-ω 0

a+ i b ω iωτ e d ω ω 0

1 = ( a ω -b ) s i n ( ω )+b ω c o s (ω ) ]. 0τ 0τ 0τ 0τ 2[ πω 0τ 例7. 1 1 设随机过程 Y ( t )是由一个各 态历 经的白 噪声 过程 X ( t )延 迟时 间 T 后产生 的 . 若 X ( t )和 Y( t )的 谱 密 度 为 s 求 互 相 关 函 数 RXY (τ )和 0. RYX( τ ) 及互谱密度 s ω )和 s ω ). XY( YX( 解 因 为 RXY( τ )= E [X ( t )Y ( t -τ ) ]= R ), 其 中 Y( t +T )= YX(- τ X ( t ), 故 Y ( t )= X ( t -T ), Y ( t -τ ) =X ( t -τ -T ), 于是 RXY( τ )= E [X ( t )X ( t -τ -T ) ]= RYX(-τ ), E [X ( t )X ( t -τ -T ) ]= RX( τ +T ), 所以 RXY( τ )= R τ +T )=s ( τ +T )= RYX( -τ ), X( 0δ s ω )= XY(

∫ ∫ ∫ ∫

RXY( τ ) e-iωτd τ
-iω τ iωT s ( τ+ T ) e d τ=s e , 0δ 0

-∞ ∞

= s ω )= YX(

-∞ ∞

RYX( τ ) e-iωτd τ
-iω τ -iωT s (-τ+ T ) e d τ=s e . 0δ 0

-∞ ∞

-∞

例中因为 X ( t )和 Y ( t )都是白噪声过程, 它们的互相 关函数 除在 τ = T处 有值外, 其余各点为零, 所以 RXY(T )= RX( 0 )= RYX(T ), 它 们的 图形如 图7. 3 所示.

图7. 3

1 5 8

第七章  平稳 过程的 谱分析

§ 7 . 5  平稳过程通过线性系统的分析
平稳过程的一个重要应用是线性系统对随机输入的响应. 在自动控制、 无线 电技术、 机械振动等方面, 经常遇到的各 类随机 过程 是与“系 统”相 联系的. 所谓 系统就是指能对各种输入按一定的要 求产 生输出 的装 置. 如放 大器、 滤波 器、 无 源网络等都是系统. 本节所讨论的系统是指线性系统.

一、线性时不变系统
设对系统输入 x ( t )时, 系统的作用为 L, 其输出为 y ( t ), 则它们的关系为 y ( t ) =L [ x ( t ) ]. 求解等数学运算. 定义 7. 5  称 满 足 下 列 条 件 的 算 子 为 线 性 算 子 . 若y t )= L [x t ) ], 1( 1( y t ) =L [x t ) ], 则对任意常数 α , β有 2( 2( L [ α x ( t )+β x ( t ) ]=α L [x ( t ) ] +β L [x ( t ) ] 1 2 1 2 =α y ( t )+β y t ) . 1 2( 对于一个系统, 若算子 L 是线性的 , 则称该系统为 线性系统 . 定义7. 6 若系统 L 有y ( t )=L [ x ( t ) ], 并对任一时间平移 τ都有 y ( t +τ ) =L [ x ( t +τ ) ], 则称该系统为 时不变系统 . d 例7. 1 2 微分算子 L= 是线性时不变的. d t d 解  设 y ( t )= L [x ( t ) ] = x ( t ), 由导数运 算性 质知, 微分 算子 满足 线性 d t 条件, 且 d d x ( t +τ ) L [x ( t +τ ) ] = x ( t +τ ) = =y ( t +τ ). d t d ( t +τ ) 例7. 1 3 积分算子 L= 解  设 y ( t )= L [x ( t ) ]= ( 7. 2 4 ) ( 7 . 2 4 )式中“L ”在数学上代表算子, 它可以是加法、 乘法、 微 分、 积 分和微分 方程

( ) d u是线性时不变的.

-∞

x (u ) d u, 且y (-∞)= 0.

-∞

由积分运算性质知, 积分算子满足线性条件, 且    L [x ( t +τ ) ]=

x ( u+τ ) d u

-∞

§ 7. 5 平 稳过程通 过线性 系统的 分析

1 5 9

x ( u+τ ) d ( u+τ )=y ( t +τ ).

-∞

由上面的定义知, 一个系统的 线性性 质, 表现 在该 系统满 足叠 加原理; 系统 的时不变性质, 表现为输出对输入 的关系 不随 时间 推移而 变化. 因 此, 一个 线性 时不变系统, 叠加原理的数学表达式为
n n n

v ( t )= L

a ( t ) = hx h

h=1

h =1

a [ x ( t ) ]= 6 hL h

a y ( t ) . h h

h= 1

在工程实际中, 属于这类较简单而又重要的系统, 是输入与输出之间可以用下列 常系数线性微分方程来描述的系统:


n d y dn- 1 y  b n n- 1 0y n +b n- 1 +…+ b d t d t

=a m

dx d x , m-1 0x m +a m -1 +…+a d t d t

m-1

其中 n> m, -∞<t <∞.

二、频率响应与脉冲响应
下面分别从时域和频域角度讨论 线性时 不变 系统 输入与 输出 的关系. 当系 统输入端输入一个激励信号时, 输出端出现一个对应的响应信号. 激励信号与响 应信号之间的对应关系 L, 又称为 响应特性 . 定理7. 1 设 L 为线性时不变系统, 若输入一谐 波信号 x ( t )=e , 则 输出 为 y ( t )= L [ e ]= H (ω ) e , 其中 H (ω )= L [ e] | t= 0 . 证  令 y ( t )= L [ e ], 由系统的线性 时不变性, 则对 固定 的 τ和任 意的t , 有 y ( t +τ )= L [ e 令t =0, 得
iω τ iω t iω τ y ( τ )= e L [ e ] |t=0 = H (ω ) e , iω (t+ τ ) i ω t i ω t iω t iω t iω t

( 7. 2 5 )

]=e L [ e ].

iω τ

iω t

证毕. 定理7. 1表明, 对线性时不变系统输入一谐波信号时, 其输出也是同频率的 谐波, 只不过振幅和相位有所变化. 其中 H (ω )表 示了 这个变 化, 称它 为系 统的 频率响应函数 , 一般地, 它是复值函数. d d iωt iω t 例如, 当 = L时 , 则系 统 的 频率 响 应 H (ω )= L [ e ] | e | t=0 = t= 0 = d t d t i ω . 下面讨论系统的时域分析和频域分析.

1 6 0

第七章  平稳 过程的 谱分析

根据 δ函数的性质, 有 x ( t )=

x ( τ ) δ ( t -τ ) d τ .

( 7. 2 6 )

-∞

将 ( 7 . 2 6 )式代入( 7 . 2 4 )式, 并注意到 L 只对时间函数进行运算 , 有 y ( t ) =L [x ( t ) ]= L = =

x ( τ ) δ ( t -τ ) d τ

-∞

∫ ∫

x ( τ )L [ δ ( t -τ ) ] d τ x ( τ )h ( t -τ ) d τ , ( 7. 2 7 )

-∞ ∞

-∞

其中 h ( t -τ )= L [ δ ( t -τ ) ]. 若输入 x ( t ) 为表示脉冲的 δ函数 , 则( 7. 2 7 )式为 y ( t )=

h ( t -τ ) δ ( τ ) d τ =h ( t ).

( 7. 2 8 )

-∞

( 7 . 2 8 )式表明 h ( t )是输入为脉冲时的输出, 故称它为系统的 脉冲响应 . 例如, 设y ( t )=   h ( t )=

x (u ) e

2 - a (t- u )

du, 则系统的脉冲响应为

-∞ 2 - a (t- u )

δ (u ) e

d u e
2 -a t

-∞

= e

2 -a t

δ (u ) e

2 -a u

du=

, t >0 , t <0 .

-∞

0,

通过变量代换, ( 7. 2 7 )式又可写成 y ( t )=

x ( t -τ ) h ( τ ) d τ.

( 7. 2 9 )

-∞

( 7. 2 7 )式与( 7. 2 9 )式就是从时域研究 系统输 入 x ( t )与 输出 y ( t )的关系 式. 表 明线性时不变系统的输出 y ( t )等于输入 x ( t )与脉冲响应 h ( t )的卷积, 即 y ( t )=h ( t )*x ( t ). 变换分别为 X (ω ), Y (ω )和 H (ω ), 则有下列傅氏变换对: X (ω )= ( 7. 3 0 ) 设输入 x ( t ), 输出 y ( t )和 脉冲响 应 h ( t )都 满足 傅氏变 换条 件, 且它们 的傅 氏

x ( t ) e d t ,
∞ i ω t X (ω ) e d ω;

-iω t

( 7. 3 1 ) ( 7. 3 2 ) ( 7. 3 3 ) ( 7. 3 4 )

-∞

1 x ( t )= 2 π Y (ω )=


∞ ∞

-∞

y ( t ) e d t , Y (ω ) ed ω;
iω t

-iω t

-∞

1 y ( t )= 2 π

-∞

§ 7. 5 平 稳过程通 过线性 系统的 分析

1 6 1

H (ω )=

h ( t ) e d t , H (ω ) e d ω.
iω t

-i ω t

( 7. 3 5 ) ( 7. 3 6 )

-∞ ∞

1 h ( t )= 2 π

-∞

为了求出输入与输出之间的频谱关系, 利用( 7. 3 2 ) 式和( 7. 2 5 )式, 得 y ( t )= L [x ( t ) ]= L 1 2 π 1 = 2 π 1 = 2 π


iω t

X (ω ) ed ω

iω t

-∞

∫ ∫

X (ω )L ( e) dω X (ω )H (ω ) e dω.
iω t

-∞ ∞

( 7. 3 7 )

-∞

比较( 7. 3 4 )式和( 7 . 3 7 )式, 得 Y (ω )= H ( ω )X ( ω ) . ( 7. 3 8 ) ( 7 . 3 8 )式就是在频域上系 统输入 频谱 X (ω )与输 出频 谱 Y (ω )的关 系式. 它表 明线性时不变系统响应的傅氏变换等于输入信号的傅氏变换与系统脉冲响应的 傅氏变换的乘积. 实际应用中, 在研究平稳过程的输入与输出关系时, 可以根据问题的条件选 用 ( 7 . 3 0 )式或( 7. 3 8 )式. 一般地, 为了满足信号加入之前, 系统不产生响应, 必须 要求脉冲函数符合条件 h ( t )=0, 当t <0. 相应地, ( 7. 2 9 )式和( 7. 3 5 )式变成 y ( t )=


h ( τ ) x ( t -τ ) d τ , H (ω )=


∞ -i ω t h ( t ) e d t .

三、线性系统输出的均值和相关函数
设X ( t ), Y ( t )为均方连续平稳过 程, 由 卷积 公式( 7. 2 7 )或( 7. 2 9 )知, 对于 过程 X ( t ) 的任一样本函数 x ( t ), 有 y ( t ) =

h ( t -τ ) x ( τ ) d τ =

-∞

h ( τ )x ( t -τ ) d τ .

-∞

根据均方积分的性质知, 若系统输入过程 X ( t )时, 其输出 Y ( t ) = 也是随机过程. 下面讨论输入过程 X ( t )的均值和相 关函数与 输出过 程的均 值和 相关 函数 的关系. 定理7. 2 设输入平稳过程 X ( t )的 均 值为 mX , 相关 函 数为 RX( τ ), 则输

h ( t -τ )X ( τ ) d τ =

-∞

h ( τ )X ( t -τ ) d τ

-∞

1 6 2

第七章  平稳 过程的 谱分析

出过程 Y ( t )= 的均值和相关函数分别为 mY( t )= mX RY( t t ) = 1, 2

h ( t -τ )X ( τ ) d τ

-∞

h (u ) du=常数,

-∞

∫∫
-∞

h (u ) h ( v )RX( τ - u+v ) d u d v ( 7. 3 9 )

-∞

=R τ ) ( τ =t Y( 1 -t 2). 证   mY( t )=E [Y ( t ) ]= E =

h (u )X ( t -u ) d u

-∞

h (u )E [X ( t -u ) ] d u= mX

-∞

h (u ) du

-∞

=常数. 关于输出相关函数( 7. 3 9 )式的证明, 下面采用先求 Y ( t )与 X ( t )的互 相关 函数, 利用它再求 Y ( t )的相关函数的方法. ( 1 ) 求 RYX( t t 1, 2).    RYX( t t )=E [Y ( t )X ( t ] 1, 2 1 2) =E =


∞ -∞ ∞

h ( t )X (w )X ( t ) dw 1-w 2

-∞

∫ ∫ ∫ ∫

h ( t )E [X (w )X ( t ] dw 1-w 2) h ( t )RX(w-t ) dw 1-w 2 h (u )RX( t ) du 1 -t 2 -u h (u )RX( τ -u ) du=RYX( τ ), ( 7. 4 0 )

= = = 即

-∞ ∞

-∞ ∞

-∞

RYX( τ )= RX( τ )* h ( τ ),  (其中 τ =t 1 -t 2). ( 2 ) 求 RY( t t ). 利用( 1 )的结果及( 7. 2 7 )式, 有 1, 2 R t t =E [Y ( t Y ( t ) ] Y( 1, 2) 1) 2 =E Y ( t 1) = =


h ( t )X ( s ) d s 2 -s

-∞

∫ ∫

h ( t )E [Y ( t X ( s ) ] d s 2 -s 1) h ( t )RYX( t ) d s 2 -s 1 -s

-∞ ∞

-∞

§ 7. 5 平 稳过程通 过线性 系统的 分析

1 6 3

h ( t ) 2 -s

-∞

h ( t )RX(w-s ) dw d s . 1- w

-∞

令t =v, t , 得 2 -s 1 - w= u RY( t t )= 1, 2

h ( v )

-∞ ∞

h (u )RX( t +v ) d u d v 1 -t 2 -u

-∞

∫∫
-∞

h ( u )h ( v )RX( τ - u+ v ) d u d v

-∞

= RY( τ ) , 证毕. 从定理7. 2看出, 当输入平稳过程 X ( t )时, 输出过程的均值 E [Y ( t ) ]为常 数, 相关函数 RY( t t )= RY( τ )只是时间差 t 故输出过 程是 1 , 2 1 -t 2 = τ的 函数 , 平稳的, 从( 7. 4 0 ) 式看出, 输 出过程 Y ( t )与 输入 过程 X ( t )之 间还 是联 合平 稳 的. 在( 7. 3 9 )式中, 令v =-t , 利用( 1 )得 RY( τ )=

∫∫
-∞ ∞

h (u )h (-t )RX( τ - u-t ) d u d t

-∞

= 即 将 ( 7 . 4 0 )式代入得

h (-t )RYX( τ -t ) d t , ( 7. 4 1 )

-∞

RY( τ )= RYX( τ )*h (-τ ) . RY( τ )= RX( τ )* h ( τ )*h (-τ ).

从定理7. 2的证明过程说明, 输出相关函数可以通过两次卷积产生. 第一次 是输入相关函数与脉冲响应 的卷 积, 其结果 是 Y ( t )与 X ( t )的 互相 关函 数; 第 二次是 RYX( τ )与h (-τ )的卷积, 其结果是 R τ ). 或 者说, 以 RX( τ )作为 具有 Y( 脉冲响应 h ( τ )的系统的输入, 得输出 R ( τ ), 再以 RYX(τ )作为 具有脉冲 响应 YX h (-τ )的系统的输入, 可以得到输出为 RY( τ ). 它们的关系如图7. 4所示.

图7. 4

例7. 1 4  设 线性 系 统 输入 一 个白 噪 声过 程 X ( t ), 由例 7. 7 知 RX(τ )= N0 δ ( τ ). 将它代入( 7. 4 0 )式得 RYX( τ ) =

N0δ ( τ -u ) h ( u ) d u= N ( τ ). 0h

-∞

1 6 4

第七章  平稳 过程的 谱分析

h ( τ ) =

1 R ( τ ). N0 YX

利用上式, 从实测的互相关函数资料可以估计线性系统未知的脉冲响应. 对于物理上可以实现的系统, 当t <0时, h ( t )=0, 故当 τ <0时, RYX( τ )= N0 h ( τ )=0 . 当 τ>0时, 假定过程 X ( t )和 Y ( t )还是各态历经的, 则对充分大的 T, 有 h ( τ )= 1 1 R ( τ )≈ N0 YX N0 T ( t )x ( t +τ ) d t , ∫y
0 T

其中 x ( t )和 y ( t )分别为输入过程 X ( t )和输出过程 Y ( t )的一个样本函数.

四、线性系统的谱密度
现在讨论具有频率响应 H (ω )的 线性 系统, 其 输出的 谱密 度 s ω )与 输入 Y( 谱密度 s ω )的关系. X( 定理7. 3  设 输 入 平 稳 过 程 X ( t )具 有 谱 密 度 s ω ) , 则 输出平稳 过程 X( Y ( t )的谱密度为 s ω ) =|H (ω ) |s (ω ) , Y( X
2 2

( 7. 4 2 )

其中 H (ω )是系统的频率响应函数. 称|H (ω ) | 为系 统的 频率增 益因 子 或 频率 传输函数 . 证  由( 7. 3 9 ) 式可得 s ω )= Y(

RY( τ ) e
∞ ∞

-iω τ

d τ

-∞ ∞ -iω τ h (u )h (v )RX( τ - u+v ) d u d ve d τ .

∫ ∫∫
-∞ -∞ ∞ -∞ ∞

-∞

令 τ-u+v=s , 则 s ω )= Y(

∫∫∫
-∞

h ( u )h ( v )R ( s ) e X
-iωu

-iω (s+ u - v )

d u d v d s
-iω s

-∞

h (u ) e

d u

-∞

∞ iω v

h ( v ) e d v

-∞

RX( s ) e d s

-∞

=H (ω )H (ω ) s ω )= |H (ω ) |s ω ), X( X( 证毕. ( 7. 4 2 )式是一个重要的公式, 它 表明 线性 系统的 输出 谱密度 等于 输入 谱密 度乘以增益因子. 对于从频域上研 究输入 与输 出谱 密度关 系, 它是 很方便 的. 在 实际研究中, 由平稳过程的相关函数 R τ ), 求 RYX(τ )和 RY( τ ), 往 往会 遇到 X( 较复杂的计算. 因此, 可以通过( 7. 4 2 )式 求出 s ω ), 再通 过傅氏 反变 换得 到输 Y( 出相关函数

§ 7. 5 平 稳过程通 过线性 系统的 分析

1 6 5

1 RY( τ )= 2 π 1 = 2 π 及输出的平均功率 (均方值) 1 RY( 0 )= 2 π

∫ ∫

s ω ) e dω Y( s ω ) |H (ω ) |e dω X(
2 iω τ

iω τ

-∞

( 7. 4 3 )

-∞

s ω ) |H (ω ) |d ω. X(

-∞

( 7 . 3 9 )和( 7. 4 3 )式都是求 RY( τ ) 的公式, 可以根据条件选择用之. 例7. 1 5 如图7. 5所示的 R C电路 , 若输入白噪声电压 X ( t ), 其相关 函数 为R τ )= N0 δ ( τ ). 求输出电压 Y ( t )的相关函数和平均功率. X(

图7. 5

解  因为输入样本函数 x ( t ) 与输出样本函数 y ( t )满足微分方程 d y ( t ) R C +y ( t )=x ( t ). d t 这是一个常系数线性微分方程, 是 一个 线性 时不 变系 统. 取x ( t )=e , 根据 定 理7. 1, 有y ( t )= H (ω ) e , 代入上式得


iω t d [H (ω ) e ] iω t iω t R C +H (ω ) e = e , d t iω t iω t

故R C 电路系统的频率响应函数为 1 α H (ω )= = , i ω R C+1 i ω+α 其中 α =1 / R C. 由 ( 7. 3 6 )式得 1 h ( t )= 2 π 1 = 2 π

∫ ∫

-∞ ∞

α iωt e dω i ω+α

iω t α e dω. (ω - i α ) -∞ i

α 因为 在上半平面有一阶极点, 故当 t >0时, i ( ω- i α ) 1 -α t h ( t )= R ( i α ) =α e , s 2 π e h ( t )= α e , t >0, 0, t <0.


-α t

1 6 6

第七章  平稳 过程的 谱分析

由 ( 7 . 3 9 )式有 RY( τ )=

∫∫
-∞

h (u ) h (v )N0δ ( τ -u+v ) d u dv h (u ) du

-∞

= N0 = N0

∫ ∫
N 0 N 0

-∞ ∞

h (v ) δ ( τ - u+v ) dv

-∞

h (u )h (u-τ ) d u
∞ 2 -α u

-∞ -α ( u- τ )

∫ αe
τ ∞ 2 0

d u, τ≥0, d u, τ<0

∫ αe

- αu - α (u- τ )

α N0 - ατ e , τ ≥0, 2 α N 0 α eτ , 2 τ <0

α N0 - α e |τ|(-∞<τ <∞). 2 α N 0 . 2

令 τ=0 , 得输出平均功率为 RY( 0 )=

例7. 1 6 设如图7. 6的系统的激励力函数 x ( t )的谱密度 s ω )=s 试求 X( 0, 输出位移 y ( t )的谱密度和平均功率.

图7. 6

解  因为滑车运动位移 y ( t )满足微分方程 m
iω t

dy ( t ) d y ( t ) +r +k y ( t )=x ( t ) . 2 d t d t
iω t 2

令x ( t )=e , 则y ( t )= H (ω ) e , 代入上式得 (- m ω+ i r ω +k )H (ω )=1, 故 H (ω )= 1 , 2 -m ω+ i r ω+k

§ 7. 5 平 稳过程通 过线性 系统的 分析

1 6 7

1 2 |H (ω ) |= 2 2 2 2, (k -m ω) +r ω 所以位移输出谱密度为 s 0 2 s ω )= |H (ω ) | s ω )= Y( X( 2 2 2 2. ( k- mω ) +r ω 输出平均功率为 1 2 RY( 0 )= E [Y ( t ) ] = 2 π s 0 = 2 π


∞ 2 |H ( ω ) | s ω ) dω X(

-∞

-∞

2 s 1 0 dω= . 2 k r - mω + i r ω+k

例7. 1 7 设有两个线性时不变系统如图7. 7所 示. 它 们的频 率响应函 数分 别为 H ω )和 H2(ω ). 若 两个 系统输 入同 一个均 值为 零的 平 稳过 程 X ( t ), 它 1( 们的输出分别为 Y ( t ) 和 Y2( t ). 问如何设计 H1(ω )和 H ω )才能使 Y t )和 1 2( 1( Y t ) 互不相关. 2(

图7. 7

解  根据两个过程互不相关概念, 题意要求它们的协方差函数为零. 由( 7. 2 7 )式, 有 E [Y t ) ] = 1(

∫ ∫

h t -u )E [X ( t ) ] du=0, 1( h ( t -v )E [X ( t ) ] d v=0; 2

-∞ ∞

E [Y2( t ) ]=

-∞

 E [Y t Y t ] 1( 1) 2( 2) =E =

∫∫
-∞ ∞ ∞ -∞ ∞ -∞ ∞

h (u ) h v )X ( t )X ( t ) du d v 1 2( 1 -u 2 -v

-∞

∫∫ ∫∫
-∞

h (u )h (v )E [X ( t )X ( t ) ] du d v 1 2 1 -u 2 -v h (u )h (v )RX( τ -u+v ) du dv=RY 1 2


Y 1 2

( τ ),

-∞

其中 τ=t 上式表明 Y t ) 与 Y t )的互相关函数只是时 间差 τ的函数 . 1 -t 2, 1( 2( 由

1 6 8

第七章  平稳 过程的 谱分析

s Y

Y 1 2

(ω )=

∫ ∫

R Y

-∞ ∞

Y 1 2

( τ ) e

-iω τ

d τ

∫ ∫∫
-∞ ∞ -∞ -∞

-iω τ h (u ) h v )R τ - u+v ) d u d ve d τ 1 2( X( ∞ iω v ∞

-∞ -iωu

h u ) e 1(

d u

-∞

h v ) e dv 2(

-∞

RX( s ) e d s

-i ω s

=H ω )H ω ) s ω ), 1( 2( X( 故当设计两个系统的频率响应函数的振幅频率特性没有重叠时, 如图7. 8所示, 则s Y


Y 1 2

(ω )=0, 从而有 RY

Y 1 2

( τ )=0= BY

Y 1 2

( τ ), 即Y t )和 Y2( t )互不相关. 1(

图7. 8

习 题 七
  7 . 1  下列函 数中哪些 是谱密 度的正 确表达 式, 为什么 ? ω +9 ω +1 ( 1 )s (ω )= 2 ;   ( 2 )s (w )= 4 ; 2 2 (ω +4 ) (ω +1 ) ω +5 ω +6 ( 3 )s (ω )= ω +4 ; 2 ω -4ω +3
4 -i ω e . 2 ω + 2 2 2 2 2

( 4 )s (w )=

ω ; 2 ω +3 ω +2

( 5 )s (w ) =

| 7 . 2  设平稳 过程 X ( t )的相关 函数 RX( τ )=e-α|τ , 求X ( t )的谱密度 .

7 . 3  设有平 稳过程 X ( t )=a c o s (ω +Θ ), 其中 a , ω Θ 是在( -π , π ) 上 服从均 0t 0 为常数 , 匀分布 的随机变 量. 求X ( t )的谱密 度.


-|τ | 7 . 4  已知平 稳过程的 相关函 数为 RX( τ )=4 e c o s ( π τ )+ c o s ( 3 π τ ), 求谱 密度 s (ω ). X 2 2 7 . 5  设平稳 过程 X ( t )的谱密 度为 s / ( 1+ ω ), 求相关函 数 R τ ). X =1 X(

7 . 6  当平稳过 程 X ( t )通过如图 7. 9 所示的 系统时, 证明 输 出 Y ( t )的谱密 度为 s ω ) Y( =2 s ω ) ( 1+ c o s (ω T ) ). X( 7 . 7  已知平 稳过程 X ( t )的谱 密度为 0,


0≤ |ω |< ω 0,

s (ω )= c , ω |ω |<2ω X 0≤ 0, 0, | ω |≥2 ω 0.

习 题  七

1 6 9

图7. 9 求相关 函数 RX( τ ). 7 . 8  设有平稳 过程 X ( t )= a c o s (Θ t +φ ) , 其中 a 为常 数 , φ是 在( 0 , 2 π )上 服从均 匀分 布的随 机变量 , Θ 是分布 密度函 数满足f ( ω ) =f ( -ω )的随机 变量, 且 φ与 Θ相互 独立 . 求证
2 X ( t ) 的 谱密度 为 s (ω )=a π f ( ω ). X

7 . 9  设 X ( t )和 Y ( t )是 单独且 联合平 稳的随 机过程 , 试证 R e [ s (ω ) ]=R e [ s ω ) ], XY YX( I m [ s ω ) ]=-I m [ s (ω ) ]. XY( YX 7 . 1 0 设 X ( t )为平 稳过程 , 令 Y ( t ) =X ( t +a )- X ( t -a ), a为常 数, 试证 s ω )=4 s ( ω ) s i n( a ω ), Y( X RY( τ )= 2R (τ )- RX(τ +2a ) -R τ -2 a ). X X( 7 . 1 1 设 X ( t )和 Y ( t ) 是两 个相互 独立的 平 稳 过程, 均值 mX 和 mY 都 不为 零. 令Z ( t ) =X ( t )+ Y ( t ), 求s ω ) 和s ( ω ) . XY( XZ 7 . 1 2 设零 均值平 稳过程 X ( t )的 谱密 度 s ω )存 在二 阶 导数, 试证ds ω ) / d ω 不是 X( X( 谱密度 . 7 . 1 3 设线 性时不 变系统输入一 个均值 为零的 实平稳过 程{X ( t ), t ≥0 }, 其 相关 函数为 R (τ )=δ ( τ ). 若 系统的 脉冲 响应为 X h ( t )= 1, 0<t < T, 0, 其它,
2 2 2

试求系 统输出过 程 Y ( t )的相 关函数 、 谱密 度及 X ( t )与 Y ( t )的互 谱密度. 7 . 1 4 设{X ( t ), t ∈T }, {Y ( t ), t ∈T }是均 值为零 的实平 稳过程 , 它 们的相 关函 数分别 为R (τ ), RY( τ ), 互相关 函数为 RXY(τ ). 如果 X R τ )= RY( τ ), R (τ )=- RXY(-τ ), X( XY 试证 Z ( t ) =X ( t ) c o s ( ω )+ Y ( t ) s i n (ω )是平 稳过程(ω 0t 0t 0 为常数). 若X ( t ), Y ( t )的谱密 度为 s (ω ), s ω ), 互 谱密度为 s ω ). 试求 Z ( t )的谱密度 . X Y( XY( 7 . 1 5 设一 个线性 系统由 微分方 程 d y ( t ) +b y ( t ) =a x ( t ) d t 给出, 其中 a , b为常 数 , x ( t ), y ( t )分别为输 入平稳 过程 X ( t )和 输 出平稳 过 程 Y ( t )的样本
2 -β | 函数, 且输 入过程 均值为 零, 初 始条件为零, RX( τ )=σ e |τ . 求输出 的谱 密度 s (ω )和相关 Y

函数 RY( τ ) .
-α |τ | 7 . 1 6 设一 个线性 系统输入平稳 过程 X ( t ), 其相关 函数为 RX(τ )=β e . 若输入 、 输

1 7 0 出过程 的样本函 数满足 微分方 程

第七章  平稳 过程的 谱分析

d y ( t ) d x ( t ) +b y ( t )= +a x ( t ), d t d t 其中 a , b为常数 . 求 输出过程 Y ( t )的谱密 度 s ω )和相关 函数 RY( τ ) . Y( 7 . 1 7 设有 如图7. 1 0 的电路 系统, 输入 零均值的 平稳过 程 X ( t ), 且相关 函 数 为 R τ ) X( =σe
2 -β |τ |

. 求Y t ), Y ( t ) 的谱 密度及 两者的 互谱密度 . 1( 2

图7 . 1 0
2 7 . 1 8 设{X ( t ), - ∞l <t < ∞}是 均 值 为 零 的 正 交 增 量 过 程, E |X ( t )- X ( t | = 2 1)

| t | , 若 2 -t 1 Y ( t )= X ( t )- X ( t -1 ). ( 1 ) 证 明{Y ( t ), -∞ <t <∞}是平 稳过程; ( 2 ) 求{Y ( t ) }的功率 谱密度 . 7 . 1 9 设联 合平稳 过程 {X ( t ), Y ( t ) , -∞< t <∞ }的自相 关函数 及互相 关函数 分别为 RX( τ )=4 e
-|τ |

, RY( τ )= c o s ( 3 π τ ), | τ | >1.

R (τ )= XY 记

1-| τ |, | τ | ≤1, 0,

Z ( t )= X ( t )+ Y ( t ) , 求{Z ( t ), -∞<t <∞} 的 功率谱 密度.

第八章 时间序列分析
时间序列是指按时间先后顺序排 列的随 机序 列, 或者 说是定 义在 概率 空间 (Ω, F, P )上的一串有序随机变量集合{X t =0, ±1, …} , 简 记为{X }; 它 的每 t, t 一个样本(现实)序列, 是指按时间先后顺序对 X t 所反映的具体随 机现象或 系统 进行观测或试验所得到的一串动态数据{x t =0, ± 1, …}. 所谓时间序列分析, t, 就是根据有序随机变量或者观测得到 的有 序数据 之间 相互 依赖所 包含 的信息, 用概率统计方法定量地建立一个合适 的数学 模型, 并 根据 这个模 型对 相应 序列 所反映的过程或系统作出预报或进行控制. 本章主要以平稳时间序列为讨 论对象, 着 重介 绍一类 具体 的, 在自 然科学、 工程技术及社 会、 经 济 学的 建 模 分 析 中起 着 非 常 重 要作 用 的 平 稳 时 间 序 列 模 型— — —自回归滑动平均模型, 简称 ARMA 模型.

§ 8 . 1  A R M A模型
一、自回归模型
设{X } 为零均值的实平稳时间序列, 阶数为 p的自回归模型 定义为 t X t =φ 1X t-1 + φ 2X t-2 +…+φ pX t- p + a t, E [a ]=0  E [a a ]= t s t σ, t =s , 0, t ≠s ,
2 a

( 8. 1 )

E [ a ]= 0, s >t . sX t 模型( 8. 1 )简记为 AR (p ). 它是一个动态模型, 是时间序列{X }自身回归的表达 t 式, 所以称 自 回 归 模型. 满足A R (p )模 型 的 随 机 序列 称 为 A R (p )序 列, 其中 { y k= 1, 2, …, p }称为自回归 系数 . 从 白噪 声序 列{a }所满 足的 条件 看出, a k, t t 之间互不相关, 且a {a }亦称 为 新信息 序列 , 在 时间 t 与以前的观测值也不相关, t 序列分析的预报理论中有重要应用. 为方便起见, 引进延迟算子概念. 令

1 7 2

第 八章  时间序 列分析


2 B X B X (B X )= X t=X t- 1 , t= B t t-2 .

k k 一般有 B X ( k =1, 2, 3, …), 称 B 为一步延迟算子, B 为 k步延迟算子 . t= X t- k

于是( 8. 1 )式可以写成 φ (B )X t=a t, 其中 φ (B )=1 -φ -…-φ 1B pB .


( 8. 2 ) ( 8. 3 )

对于( 8. 2 )式的 AR ( p )模型, 若满足 条件: φ (B )=0的 根全在 单位 圆外, 即 所有根的模都大于1, 则称此条件为 A R (p )模型的 平稳性条 件 . 当模 型( 8. 2 )满 足平稳性条件时, φ- 1(B )存在且一般是 B的幂级数, 于是( 8. 1 )式又可写成是 X B )a t=φ ( t. 它称为 逆转形式 . 模型( 8. 2 )可 以看 作是 把相 关 的{X }变 为一 个互 不相 关序 列 t { a }的系统. t
-1

二、滑动平均模型
设{X } 为零均值的实平稳时间序列, 阶数为 q的滑动平均模型 定义为 t X a t=a t -θ 1a t-1 -…-θ q t- q , ( 8. 4 ) 其中{ θ k =1, 2, …, q }, θ 并 简记( 8. 4 )模型为 MA (q ). 满 k, t 称为 滑动平均系 数 , 足 MA ( q )模型的随机序列称为 MA ( q )序列 . 用延 迟算 子表示, ( 8. 4 )式可 以写 成 X (B ) a t =θ t, 其中 θ (B )=1-θ -…-θ 1B qB .

( 8. 5 ) ( 8. 6 )

对于( 8. 5 )式的 MA ( q )模型, 若满足 条件: θ (B )=0的 根全在 单位 圆外, 即 所有根的模大于1 , 则称此条件为 MA ( q )模型的 可逆性 条件 . 当模型( 8. 5 )满足
-1 可逆性条件时, θ (B )存在, 此时( 8. 5 )式可以写成

a B )X t=θ ( t, 它称为逆转形式. 模型( 8. 5 )中的 X a }输入线 性系 统 t 可 以看作 是白 噪声序 列{ t 中的输出.

-1

三、自回归滑动平均模型
设{X } 是零均值的实平稳时间序列, p阶 自回 归q阶 滑动平 均混 合模 型 定 t 义为 X a t -φ 1X t- 1 -…- φ pX t- p = a t -θ 1a t- 1 -…- θ q t- q , 或 φ (B )X (B ) a t =θ t, ( 8. 7 ) ( 8. 8 )

其中 φ (B )和 θ (B )分别为( 8 . 3 )式 和( 8. 6 )式所 表示, 且φ (B )与 θ (B )无 公共 因子, φ (B )满足平稳性条件, θ (B )满足可逆性条件. 模型( 8. 7 )记为 ARMA (p,

§ 8. 2 模 型的识别

1 7 3

q ). 满足 ARMA (p, q )模型的随机序列. 称为 A RMA (p, q )序列 . 显然, 当 q=0时, ARMA (p, 0 )就是 AR ( p ); 当 p=0时, A RMA ( 0, q )就是 M A ( q ). 如平稳过程的时域分析与 频域 分析有 对应 关系 一样, 这里 介绍 A RMA (p, q )序列与具有有理谱密度的平稳序列之间 存在的 对应关系, 并指 出一 个平 稳序 列在什么条件下是 A RMA ( p , q )序列. 定义8. 1 设 {X }是零均 值平稳 序列, 它的 谱密 度 f (λ )是e-i2πλ 的 有理 函 t 数: θ ( e ) | 1 1 2| f ( λ )=σ - ≤λ≤ , a -i 2 πλ 2, 2 2 |φ ( e ) |
-i 2πλ 2

( 8. 9 )

其中 φ ( λ )和 θ (λ )是形如( 8. 3 )和( 8. 6 )式的 多项 式, 且它们 无公 共因 子, φ (λ ) 满足平稳性条件, θ ( λ )满足 可逆性 条件. 则 称{X }是 具有有 理谱 密度 的平稳 序 t 列. 定理8. 1 均值为零的平稳时间序列{X }满足( 8. 8 ) 式的充要条件为, {X } t t 具有形如( 8. 9 )式的有理谱密度. 证明
[ 9 ]

略.

从定理1看出, 只要 平稳 序 列 的谱 密 度是 有 理函 数 形式, 则它 一 定 是一 个 A RMA (p, q )序列, 因此, 总 可以 找到一 个 A RMA ( p, q )序 列, 满足 预先 给定 的 精度去逼近所研究的平稳序列.

§ 8 . 2  模型的识别
对于一个平稳时间序列预测问题, 首 先要 考虑的 是寻 求与它 拟合 最好 的预 测模型. 而模 型的 识别 与阶 数 的确 定则 是选 择模 型 的关 键. 本 节先 对 AR (p ), M A ( q )与 ARMA (p, q )序列作相关分析, 讨论其理论自相 关函数 和偏相关 函数 所具有的特性, 从而找到识别模型的方法. 下节再讨论模型阶数的确定.

一、MA (q )序列的自相关函数
用X 8 . 4 ) 式两边, 再取 均值(由于 序列 的均 值为 零, 故 自相 关函 数 t- k 乘以( 与协方差函数相同 ), 为了不致混淆, 记所得协方差函数为 γ k, γ [X ] k =E tX t- k =E [ (a a ) (a a ) ] t -θ 1a t- 1 -…- θ q t- q t- k -θ 1a t- k-1 -…- θ q t- k- q
q q

=E [ a a ]- 6 t t- k

θ [a a ]- jE t t- k- j

j= 1

θ [ a a ] iE t- i t- k

i=1

1 7 4
q q

第 八章  时间序 列分析

 + 6 利用

i= 1

θ θ [ a a ]. i jE t- i t- k- j E [ a a ]= s t σ =s , a, t 0, t ≠s ,

j= 1

显然上式第二项对一切 k都为零, 其余各项依赖于 k . ( 1 ) 当 k=0时, 有


q q

γ [a ]+ 0 =E t ( 2 ) 当1≤k ≤q时, 有

i= 1

θ [ a ]=σ iE t- i a+ 6
2 2 2 q

θ σ i a;

2 2

i= 1

2 γ [ a ]+ k =-θ kE t- k q

i= k+1

2 θ θ [a ] i i- kE t- i

=-θ σ k a+

i= k +1

θ θ σ i i- k a;

( 3 ) 当 k>q时 , 右边四项都为0, 此时 γ k =0. 用γ / γ 简称它为 自相关函数 . k 除以 γ 0 得标准化自相关函数 ρ k =γ k 0, 综上可得 MA ( q )序列的协方差函数 γ k 和自相关函数ρ k为 σ ( 1+θ ) , a 1 +…+θ q
2 a 2 2 2

k =0, ( 8. 1 0 )

γ θ ), 1≤k ≤q , k = σ(- θ k +θ k +1 θ 1 +…+ θ q q- k 0, 1, ρ k= k >q , k =0,

-θ θ k +θ k +1 θ 1 +…+θ q q- k , 1≤k≤q , 2 2 1+θ 1 +…+θ q 0, k >q .

( 8. 1 1 )

从 ( 8 . 1 1 )式看出, MA ( q )序列的自相关函数 ρ 这种性质称为 k 在k> q时全为零 . q步 截尾性. 它表明 MA ( q ) 序 列只 有 q步相关 性 , 即当| t -s |> q时 , X s与 X t 不相关. 这是 MA (q )模型所具有的本质特性, 截尾处的 k值就是模型的阶数 . 定理8. 2 设零 均 值 平稳 时 间 序 列{X }具 有 谱 密度 f (λ )>0, 则{X }是 t t M A ( q )序列的充要条件是它的自相关函数 q步截尾 . 定理的必要性上述已证, 充分性见[ 9 ]. 例8. 1 已知 MA ( 2 )模型 X 5 a 3 a 试验 证模 型满 足可 t= a t +0. t- 1 -0. t- 2 , 逆性条件, 并求自相关函数.
2 2 解  因为 θ (B )=1+0 . 5B-0. 3B , 故令其为零, 得1 +0 . 5B-0. 3B =0,

解得 B 1 7, B 2. 8 4由 于|B |B 所 以 模型 满足 可 逆性 条 1 =1. 2=- 1|>1, 2|>1, 件.

§ 8. 2 模 型的识别

1 7 5

将θ 5 , θ 3代入( 8. 1 1 )式, 得自相关函数 1 =-0. 2 =0. ρ ρ 0 =1, 1= -(-0 . 5 )+0. 3 (-0. 5 ) =0. 2 6 1 2, 2 2 1+(-0. 5 ) +0. 3

-0. 3 ρ 2 2 3 9, ρ ( k>2 ). 2= 2 2 =0. k =0  1+( -0. 5 )+ 0. 3

二、 AR (p ) 序列的自相关函数
用X 8. 1 )两边, 再取均值, 得 t- k 乘模型( γ γ k>0 ), k=φ 1γ k -1 +…+ φ p k- p  ( 除以 γ 0 可得 ρ ρ k -φ 1ρ k -1 -…- φ p k- p =0, 即 φ (B ) ρ k >0 ). k =0 ( ρ ρ 1 =φ 1 +φ 2ρ 1 +…+ φ p p -1 , ρ ρ 2 =φ 1ρ 1 +φ 2 +φ 3ρ 1 +…+ φ p p -2 , …… ρ p =φ 1ρ p -1 + φ 2ρ p -2 +…+ φ p; 写成矩阵式为 ρ 1 ρ 2 … ρ p 下式给出:

( 8. 1 2 ) ( 8. 1 3 )

令 ( 8 . 1 2 )式的 k =1, 2, …, p, 得

( 8. 1 4 )

1 = ρ 1 … ρ p-1

ρ 1 1 … ρ p-2

ρ 2 ρ 1 … ρ p- 3

… … …

ρ p- 1 ρ p- 2 … 1

φ 1 φ 2 … φ p

( 8. 1 5 )

( 8 . 1 5 )式称为 尤尔-瓦尔克方程 . ( 8. 1 3 )式是 ρ k 所满足的差分方程.参数 σ a由

σ a =γ 0- 事实上, 由

φ γ j j.

( 8. 1 6 )

j=1

2 2 σ t =E X t-φ tX t- 1 -…- φ pX t- p a =E a p p p

=γ 0 -2 6 =γ 0 -2 6 =γ 0 -2 6 综上可得下面的定理.

j=1 p

φ γ j j+ 6 φ γ j j+ 6 φ γ j j+ 6

i= 1 p

φ φ γ i j j- i

j=1

φ j

j=1 p

j= 1 p

φ γ i j- i

i= 1

j=1

j= 1

φ γ j j= γ 0- 6

φ γ j j.

j=1

1 7 6

第 八章  时间序 列分析

定理8. 3 A R (p ) 序列{X }的自相关 函数 满足( 8. 1 5 )式, 白噪声 序列{a } t t 的方差满足( 8. 1 6 ) 式. 定理指出了 AR (p )序 列的 自 相 关函 数 所满 足 的方 程, 暂 时 未 讨论 它 的 解 法, 需要指出的是, 根据线性差分方程理论 可证, A R (p )序 列的自 相关 函数 不能 在某步之后截尾, 而是随 k增大逐渐衰减, 但受负指数函数控制.这种特性 称为 拖尾性 .下面用例题说明这种拖尾性. 例8. 2 求 A R ( 1 )序列的自相关函数. 解  因为 A R ( 1 )模型为 X 8. 1 4 )式得 t -φ 1X t- 1 =a t 由( ρ ρ …, ρ 1 =φ 1, 2 =φ 1ρ 1 =φ 1, k =φ 1ρ k-1 = φ 1. 由φ (B )=1-φ /φ 有|φ 故当 1 B=0 得 B=1 1 .在 满 足 平 稳 性条 件 时, 1|<1, k →∞时 ρ k →0. 由于 φ x p ( k l n |φ ), 又 因|φ 故l n |φ 所 以存在 c 1 =e 1| 1|<1, 1|<0, 1 >0, c 2 >0使 | ρ |<c e k 1 即 { ρ }被负指数函数控制. k 例8. 3 AR ( 2 )模型为 X 1X 0. 2X t=0. t- 1 + t- 2 + a t. 验证它满足平稳性条件, 并求自相关函数. 解 由 φ (B )=1-0. 1B-0. 2 B =0 解 得 B B 5, 由于 1 =2, 2 = -2. |B |B 所以模型满足平稳性条件. 1|>1, 2|>1, 由( 8. 1 4 )式得 φ 1 ρ , ρ k ≥2 ). 1= k=φ 1ρ k-1 + φ 2ρ k -2  ( 1- φ 2 代入 φ . 1, φ 2得 1 =0 2 =0. ρ 1 2 5, ρ . 2 1 3, ρ 0 4 6 , ρ 0 4 7, 1 =0. 2 =0 3 =0. 4 =0. ρ 0 1 4, ρ . 0 1 1, ρ 0 0 4 , ρ 0 0 3, 5 =0. 6 =0 7 =0. 8 =0. ρ 0 0 1, … 9 =0. 从例中的数值看出, ρ k 具有拖尾性.
2 -c k 2 k 2 k

三、 ARMA (p, q )序列的自相关函数


根据( 8. 8 )式, 若φ (B )满足平稳性条件, 则X t 的平稳解为
-1 X B ) θ (B ) a t=φ ( t.

将 φ (B )写成 B 的级数形式 , 令

-1

§ 8. 2 模 型的识别

1 7 7

G (B )= φ ( B ) θ (B )=

-1

G G ) , iB  ( 0 =1

( 8. 1 7 )

i= 0

其中系数序列{G }称为 格林函数 .于是 X a }的现在和过去的值表示为 i t 可用{ t


∞ ∞

X t=

G iB a i=

i= 0

G a i t- i .

( 8. 1 8 )

i =0

上式称为{X }的传 递形式 , 它的 系数 G 表示 i个单 位时间 以前 t i是 a t- i 的权重, 的a 称为 W o l d系数 .上式也可以看作是无穷阶的 MA 序列. t 对现在 X t 的影响, 与( 8. 1 7 )式相反, 若θ (B )满足可逆条件, 则 X t 的另一种逆转形式表达式为
-1 a B )φ (B )X t =θ ( t.

写成级数形式得
∞ ∞ j I B X j t=X t- 6

a (B )X t =I t =-

I ( I ), ( 8. 1 9 ) jX t- j 0 =-1

j= 0

j= 1

其中 I (B ) =1-

j -1 I B )φ (B ), I 逆 转形式 可以 jB =θ ( j 称为 逆函数 .所 以,

j=1

看作是将 a t 表示成 X t 的历史值的加权和. 现在将 φ (B )G (B )=θ (B )两边展开成多项式:


∞ ∞ i φ ′ iB ∞ i G B = i


比较系数得 G i 的递推式

i=0

6 6

i=0

i θ ′ iB .

i =0

G ′ i =θ i - 其中 φ ′ j= θ ′ j=

φ ′ jG i- j ,G 0 =1,

j=1

φ ≤p , j , 1≤j 0, j > p, θ ≤q , j , 1≤j 0, j >q .

  下面利用( 8. 1 8 )式导出 A RMA ( p, q )序列的自相关函数关系式. 将( 8. 7 )式两边乘 X 再取均值得 t- k ,  γ γ k-φ 1γ k -1 -…- φ p k- p =γ (X, a )-θ (X, a )-…-θ γ (X, a ), k 1γ k- 1 q k- q 即 其中 φ (B )γ (B )γ (X, a ), k =θ k

( 8. 2 0 )

γ (X, a )= E X a t t+ k = E k

G a a j t- j t+ k , ( 8. 2 1 )

j= 0

a a G = t- j t+ k jE

2 G- kσ ≤0 , a, k

j=0

0,

k>0 .

1 7 8

第 八章  时间序 列分析

将 ( 8 . 2 1 )式代入( 8 . 2 0 )式并除以 γ 写成自相关函数, 注意到 ρ 0, k 为偶函数可得


2 1- φ ρ k=0时, 有σ 1ρ 1 -…- φ p p X 2     = 1-θ 1 G 1 -…- θ qG q σ a, 2 ρ ρ k=1时, 有σ 1 -φ 1φ 0 -φ 2ρ 1 -…- φ p p-1 X 2     = θ 1 -θ 2G 1 -…-θ qG q- 1 σ a, 2 2 ρ k=q时 , 有σ σ q-φ 1ρ q -1 -…- φ p p- q = θ X ρ q a,

( 8. 2 2 )

k>q时 , 有ρ ρ k -φ 1ρ k -1 -…- φ p p- q =0,     即 φ (B ) ρ k =0. 若令上式 k =q+1 , …, q+p, 可得 ρ q ρ q+ 1 … ρ q+ p - 1 ρ q-1 ρ q … ρ q + p- 2 … … … ρ q- p + 1 ρ q- p + 2 … ρ q φ 1 φ 2 … φ p = ρ q+ 1 ρ q+ 2 … ρ q+ p . ( 8. 2 3 )

   定理8. 4 零均值平稳时间序列{X }为 ARMA (p, q )序列的充要条件 为其 t 自相关函数满足( 8 . 2 2 )式. 定理的必要性如上所述, 充分性见[ 9 ]. 比较( 8. 2 2 )式与( 8. 1 3 )式知, A RMA (p, q )序列与 A R (p )序列的 自相 关函 数满 足 相 同 的 差 分 方 程 φ (B )ρ k> q ).因 此, 和 AR (p )序 列 类 似, k =0( A RMA (p, q )序列的自相关函数也是拖尾的, 且受负指数函数控制. 例8. 4 求 A RMA ( 1, 1 )模型 X t-φ 1X t- 1 =a t -θ 1a t- 1 的自相关函数. 解  设 a |φ <1, 则 i 的方差为σ a, 1| 1 -θ 1B X ( B ) a a i= G i= i, 1- φ 1B 故
2 2 2 1-θ +φ    G +G 1 B 1+φ 1 B 1 B +… 0+G 1B 2 B +…= 2 2 = 1+ φ B+ φ 1 -θ 1 1 -φ 1θ 1 B +… . 2

比较系数得
2 G G1 =φ G …. 0 =1, 1 -θ 1, 2 =φ 1 -φ 1θ 1,

由 ( 8 . 2 2 )式得
2 2 2 1-θ φ σ 1- φ )=( 1-θ σ ( k=0 ), 1( 1 -θ 1) σ X( 1ρ 1 1G 1) a= a 2 2

σ ρ =θ ( k= 1 ), X( 1 -φ 1) 1σ a ρ ( k=2, 3, …) . k =φ 1ρ k- 1 解得

§ 8. 2 模 型的识别
2 1+θ φ (φ ( 1- φ 1 -2 1θ 1 1 -θ 1) 1θ 1) 2 σ , ρ , x= 2 1= 2 1- φ 1+θ φ 1 1 -2 1θ 1

1 7 9

ρ k =φ 1

k- 1

( φ ( 1-φ 1 -θ 1) 1θ 1)  ( k =1, 2, …) . 2 1+θ φ 1 -2 1θ 1

   例8. 5 求 A RMA ( 2, 1 )的自相关函数. 解  因为 A RMA ( 2, 1 )模型为 X t -φ 1X t-1 - φ 2X t-2 = a t -θ 1a t- 1 ,


2 1-φ -φ 1-θ X 1B 2B 1B a t= t. 2

设模型满足平稳性、 可逆条件, 且a 于是 t 的方差为σ a, 1-θ 1B    G (B )= 2 1-φ -φ 1B 2B


2 = 1+ (φ B+ φ ( φ ) +φ 1 1 -θ 1 2 B +…, 1 -θ 1)

得格林函数 G G G φ …. 0 =1, 1 =φ 1 -θ 1, 2 =φ 1( 1 -θ 1)+ φ 2, 由 ( 8 . 2 2 )式有 σ 1-φ ( 1-θ ) σ X( 1ρ 1 -φ 2ρ 2)= 1G 1 a         =( 1+θ σ ( k=0 ) , 1 -φ 1θ 1) a σ ρ )=-θ ( k =1 ), X( 1 -φ 1 -φ 2ρ 1 1σ a ρ k= 2, 3, …). k-φ 1ρ k-1 - φ 2ρ k-2 =0( 将ρ 2 =φ 1ρ 1 +φ 2 代入第一式得
2 2 2 1-φ (φ ) ρ σ 1+θ σ 2 +φ 1 2 -1 1 =( X 1 -φ 1θ 1) a. 2 2 2 2 2 2 2

将上式与第二式联立解得 σ X =σ a ρ 1=
2 2 2 1- φ 1θ 1 +θ 1

-φ (φ ) 1 2 -1 1 -φ 2

2 1-φ 2

-φ φ ) 1( 2 -1 1 -φ 2 -φ φ ) 1( 2 -1 1-φ 2

-θ 1

-φ 1

1-φ 1- φ 2 1θ 1 +θ 1 -φ 1 1-θ 1

1-φ 1θ 1 +θ 1 -θ 1

ρ ρ …可按递推法或解齐次差分方程求得. 2, 3,

四、偏相关函数
从上面的讨论知, 对 于自 相 关函 数, 只有 MA ( q )序 列 是截 尾 的, AR (p )和 A RMA (p, q )序列则是拖尾的.为了进一步区分 A R (p )序列和 A RMA (p , q )序 列, 我们引入偏相关函数的概念. 从概率论知, 在给定随机变量 W 的条 件下 , 随机 变量 U 与 V 的联 合条 件

1 8 0

第 八章  时间序 列分析

密度函数为f (u, v |w ), 则 U 与 V 的偏相关函数定义为  

∫∫
-∞

u- E (U )

-∞

v- E (V )f ( u, v |w ) d u d v D (U )D (V )

E U-E (U ) V- E (V ) . D (U )D (V )

类似地, 在零均值平稳时间序列中, 给定 X …, X X t- 1 , t- k+1 , t与 X t- k 之间的 偏相 关函数 定义为 E X tX t- k E X E X ( 1 )A P (p )序列的偏相关函数. 设{X } 是零均值的平稳序列, 它满足 AR (k )模型, 即 t X t=φ k 1X t-1 +φ k 2X t-2 +…+ φ k kX t- k+a t. 用X 当给定 X …, X 取条件期望得 t- k 乘上式两边, t- 1 = x t- 1 , t - k+ 1 = x t- k + 1 时, E X tX t- k = φ t- k +…+φ t- k k 1x t- 1 E X k, k -1 x t - k+ 1 E X +φ . t- k + E a tX t- k k kE X 因为 k >0时, E a 且有 tX t- k =0,
2 E X tX t- k = φ t- k = φ k kD X k kσ X, 2 2 t 2 t- k

E X tX t- k , 2 σX

( 8. 2 4 )

其中 E 表示关于条件密度函数f ( x x |x x …, x )的条件期望. t, t- k t-1 , t- 2 , t- k +1

φ kk =

E X tX t- k (k = 1, 2, …). 2 σ X

( 8. 2 5 )

根据( 8. 2 4 )式, 显然 φ R (p ) 序列的偏相关函数, 同时它又是 A R ( k )模型 k k 即为 A 的最后一个自回归系数 φ k. 为了探讨 A R ( p )序列 的偏相 关函 数的 特性, 考虑 X …, X t-1 , t- k 对 X t的 最 小方差估计, 即要求确定 φ …, φ 使 k 1, k k,

Q= E X φ t -6 k jX t -j
j= 1

=m i n .

( 8. 2 6 )

根据 A R ( p )模型定义, 有
p k

    Q = E =E

φ jX t- j +a t-

j=1

φ k jX t- j

j=1

a φ )X t+ 6 ( j -φ k j t -j - 6
j= 1 p 2

φ k jX t- j

j= p+1

=E a E a t +2 t

(φ )X j-φ k j t- j -

j= 1

j= p+1

φ k jX t- j

 + E

(φ )X j -φ k j t- j -

j=1

j= p+1

φ k jX t- j

§ 8. 2 模 型的识别

1 8 1

因为 E a 0( j > 0 )故 tX t- j =
p k

Q=σ + E 显然, 要使 Q=m i n, 应取

2 a

(φ )X j- φ k j t- j -

j= 1

j= p+1

φ k jX t- j

0 , p+1≤j ≤k . 这说明 AR (p )序列有 φ ( j =1 , …, p ), 且由( 8. 2 5 )式, φ k j= φ j p p =φ p 即为偏相关 函数.当 k>p时 , 有φ A R ( p )序列的偏相关函数为: φ φ k k =0.换句话说, 1 1, 2 2, …, φ 0, …, 0.即偏相关函数在 k步截尾 , 其截尾的 k值 就是模型 的阶数.这 pp , 是A R ( p ) 序列具有的本质特性. ( 2 )A RMA (p , q )序列和 MA ( q )序列的偏相关函数. 类似( 1 )的 讨 论,考 虑 用 X X t- 1 ,…, t- k 对 X t 作最 小 方 差 估 计来 求 A RMA (p, q )序列(把 MA ( q )看作 p=0 的特 例) {X }的 偏相 关函 数 φ 同时 t k k, 推出偏相关函数与自相关函数的关系. 为了使 Q=m i n, φ …, φ k 1, k k 应满足方程组 5Q =0, j =1, 2, …, k . 5φ k j 由
k k

φ k j=

φ ≤ p, j , 1≤j

Q= E

X φ t -6 k jX t -j
j =1 k

= E X -26 φ k jE X tX t -j
2 t j =1

 +

6 6
j=1

X φ φ t- jX t- i k j k iE
k k

i=1 k

=γ 0 -2 6 于是

φ γ k j j+

j= 1

6 6
j=1

φ φ γ k j k i j- i ,

i=1

5 Q =-γ j+ 5φ k j 等价于

φ γ k i j- i =0,

i= 1

j =1, 2, …, k ,

-ρ j+ 或

φ ρ 0,j =1, 2, …, k k i j- i =

i =1

ρ ρ 1 =φ k 1ρ 0 +φ k 2ρ 1 +…+ φ k k k-1 , ρ ρ 2 =φ k 1ρ 1 +φ k 2ρ 0 +…+ φ k k k-2 , …… ρ ρ k =φ k 1ρ k -1 + φ k 2ρ k -2 +…+ φ k k 0. ( 8. 2 7 )

1 8 2

第 八章  时间序 列分析

写成矩阵式为 1 ρ 1 … ρ k-1 ρ 1 1 … ρ k- 2 … … … ρ k- 1 ρ k- 2 … 1 φ k 1 φ k 2 … φ k k = ρ 1 ρ 2 … ρ k . ( 8. 2 8 )

( 8. 2 7 ) 式说明, 由 自相关函数的值 可以求出偏相关 函数 φ 系数 φ ( j = 1, …, k ) k k. k j 可以由( 8. 2 8 )式直接求解.现在给出求解 φ k j 的常用递推式: φ 1 1 = ρ 1,


k k

φ ρ ρ φ k +1,k +1 = k+1 - 6 k +1- j k j


j= 1

1- 6 ρ φ j k j
j=1

-1

( 8. 2 9 )

φ j=1, 2, …, k. k +1, j = φ k j-φ k +1, k +1 φ k, k+1- j , 事实上, 用k +1代( 8. 2 8 )式的 k得 1 ρ 1 … 取前 k个方程得 1 ρ 1 … ρ k- 1 即 φ k+ 1, 1 φ k+ 1, 2 … φ k + 1, k = 1 ρ 1 … ρ k-1 ρ 1 1 … ρ k -2 … 1  - φ k+ 1, k+1 ρ 1 … ρ k -1 φ k 1 = φ k 2 … φ k k -φ k+1, k+1 … … ρ k-1 ρ k-2 … 1 ρ 1 1 … ρ k- 2 φ k k φ k, k- 1 … φ k 1 , … … …
-1

ρ 1 1 …

… ρ k -1 … ρ k -2 … … … … … ρ 1

ρ k ρ k- 1 … 1 φ k+1, 1 φ k+1, 2 … φ k+ 1, k =

φ k+1 , 1 φ k+1 , 2 … φ k+ 1, k+1 ρ 1 ρ 2 … ρ k =

ρ 1 ρ 2 … ρ k +1 ρ k .

ρ ρ k k-1 ρ 1 1 … ρ k- 2

ρ k -1 ρ k -2 … 1

-φ k+ 1, k +1

ρ k-1 … ρ 1

ρ 1 ρ 2 … ρ k+ 1 ρ k- 1 ρ k- 2 … 1
-1

ρ k ρ k-1 … ρ 1

§ 8. 2 模 型的识别

1 8 3

于是 φ ( j =1, …, k ). k + 1, j=φ k j-φ k + 1, k+1 φ k, k +1 - j 又由( 8. 2 7 )式有


k+1 k

ρ k +1 =

φ ρ k +1, j k+ 1- j = φ k +1 , k+ 1 +

j= 1

φ ρ k+ 1, j k + 1- j

j= 1

=φ k + 1, k+1 + =φ k + 1, k+1 +

6 6

(φ ) ρ k j-φ k+1 , k +1 φ k, k+ 1- j k+1- j


j=1 k

j=1

φ ρ k j k+1 - j - φ k+ 1, k +1 6
k k

φ ρ k, k+ 1- j k +1 - j

j= 1

=φ φ ρ φ ρ k +1, k+1 1- 6 k l l + 6 k j k+1- j ,


l= 1 j=1


k k

φ ρ ρ φ k+1, k+1 = k +1 - 6 k+1- j k j


j =1

1- 6 ρ φ j k j
j=1

-1

   例8. 6 求下列模型的偏相关函数: ( 1 )X 5X 4X t +0. t -1 -0. t- 2 -a t; ( 2 )X 5X . 3 a t -0. t -1 = a t -0 t -1 . 解  ( 1 ) 因为是 AR ( 2 )模型, 例8. 3中已求得自相关函数为 φ 1 ρ ρ , ρ k ≥2 ), 0 =1, 1= k =φ 1ρ k-1 + φ 2ρ k-2( 1- φ 2 其中 φ 5 , φ 4, 由( 8. 2 9 )式 得 φ 8 3 3, 令( 8. 2 9 )式 的 1 =-0. 2 =0. 1 1 =ρ 1 = -0. k =1, 得 φ ρ ) ( 1-ρ = 0. 4, φ 0(k ≥2 ). 2 2 =( 2 -ρ 1φ 11 1φ 1 1) 4 4 =   ( 2 ) 因为是 ARMA ( 1. 1 )模型, 例8 . 4已推出自相关函数为 ( 1-φ ) (φ 1θ 1 1 -θ 1) k - 1 ρ φ ( k≥1 ), k= 2 1 1+θ φ 1 -2 1θ 1 其中 φ . 5, θ 3, 代入上式得 1 =0 1 =0. ρ 2 1 5 ( 0. 5 ) ( k≥ 1 ). k =0. 由 ( 8 . 2 9 )式得 φ 2 1 5, 令( 8. 2 9 )式中 k=1, 得φ ( ρ ( 1- 11 = ρ 1 =0. 2 2 = 2 -ρ 1φ 1 1) ρ ) =0. 1 1 3, φ 1 9 1 再 令( 8. 2 9 )式 中 k=2, 并代入 1φ 1 1 21 = φ 1 1 -φ 2 2φ 1 1 =0. ρ 1 0 8, ρ . 0 5 4得 2 =0. 3 =0 φ 1 9, 3 1 =φ 21 - φ 33 φ 22 =0. φ 1 1 1. 32 = φ 22 - φ 3 3φ 2 1 =0. 再令 k =3, 求φ φ φ φ …, 依次递推可求出各个偏相关函数值. 4 4, 4 1, 4 2, 43 , 例中( 2 )的求解过程即为具体的递推程序.
-1 k-1 -1

1 8 4

第 八章  时间序 列分析

对于 A RMA ( p, q ) 模型, φ (B )X (B ) a 由( 8. 1 9 )式的逆转形式 t =θ t,


a (B )X ( -I ) BX ( I ), t =I t= 6 i t 0 =-1
i i=0

说明有限阶的 A RMA (p, q )序列或 MA ( q )序列可以转化为无限阶的 A R (p )序 列.因此, 它们的偏相关函数将是拖尾的. 以上对平稳时间序列的特性进行 了理论 的分 析, 上述 结果对 初步 识别 平稳 时间序列的类型提供了依据, 我们将这些结果列于表8-1.
表8 -1         模型    类别 模 型方程 平 稳条件 自相关 函数 偏相关 函数 A R (p ) φ (B )X t= a t φ (B ) =0的根 全 在单位 圆外 拖  尾 截  尾 MA ( q ) X (B )a t= θ t 无 条件平 稳 截 尾 拖 尾 A RMA ( p , q ) φ (B )X (B ) a t =θ t φ (B )=0的根 全 在单位 圆外 拖  尾 拖  尾

§ 8 . 3  模型阶数的确定
上节讨论了模型的识别, 是根据 理论 自相 关函数 或偏 相关函 数是 否截 尾来 判断.但是, 在实际中 人 们所 获 得 的观 测 数据 只 是 一 个 有限 长 度 N 的 样 本 值 x …, x ρ φ 1, N .由它们算出的样本自相关函数 ^ k 和样本偏相关函数^ k k 只是ρ k和 φ k k 的估计值.由于样本的 随机 性, 其 估计 总 可能 有 误差.故对 于 A R (p )序 列, 当 k > p时, φ ^ 而 是 在零 附 近波 动.同 理, 对 于 MA ( q )序 列, 当 k k 可能不会全 为 零, k >q 时, ^ ρ 就是如何用样本自相关函数和 k 也可能不会全为零.本节讨论的问题, 样本偏相关函数来推断模型的阶.

一、样本自相关函数和样本偏相关函数
设有零均值平稳时间序列{X }的一 段样 本观 测值 x …, x 样本 协方 差 t 1, N, 函数定义为 γ k =γ -k=
* *

1 x x ( k =0, 1, …, N-1 ). i i+ k N-k6 i=1

N- k

* * 易知, γk ^ 是γ 但不一定是非负定的.故常用如下估计式代替 ^ γk : k 的无偏估计,

§ 8. 3 模 型阶数的 确定

1 8 5

^ γ k=

1 x x ( k =0, 1, …, N-1 ). i i+ k N6 i=1 ^ γ k ^ ρ (k = 0, 1, …, N- 1 ) k= γ ^ 0

N- k

( 8. 3 0 )

同理样本自相关函数定义为 ( 8. 3 1 )

( 8. 3 0 )式 是 γ 但{ ^ γ }是 非 负定 的.事 实 上, 设当 t > N 或t ≤0 k 的 有偏 估 计, k 时, x 对于任意的 m 个实数λ …, λ t =0, 1, m有


m m m m N -|j-i |

6 6
i=1

λ λ ^ λ i j j- i = = = =

j= 1

1 N6 i= 1 1 N6 i= 1 1 N6 i= 1 1 N6 i= 1
∞ m m m

6 6 6 6

λ λ i j

j =1 m


x x t t+ |j- i | x x t t+| j- i | x x t t+ j- i x x t+ i t+ j

i=1

j =1 m

λ λ i j 6 λ λ i j 6 λ λ i j 6

t= - ∞ ∞

j =1 m

t= - ∞ ∞

j =1

t= - ∞

1 = N t6 = -∞

λ x i t+ i

≥0.

i=1

实际问题中, N 一般取得较大(不 少于 5 0 ), 故( 8. 3 0 )式 看作 是 渐近 无偏 的.由 于 ( 8. 3 0 )式的 估 计误 差 随 k 增大 而 增大 , 一 般 取 k< N / 4 (常 取 k= N / 1 0左 右 ). 由( 8. 3 1 )式计算得 ^ ρ 代入 ( 8. 2 9 )式即得 ^ φ k 后, k k 的值.

二、^ ρ φ k 和^ k k的渐近分布及模型的阶
下面不加证明地给出{ ^ ρ } 和{ ^ φ 的渐近分布. k k k} ( 1 ) 设{X }是正态的零均值平稳 M A ( q )序列, 则对于充分大的 N, ρ ^ t k 的分 1 2 布渐近于正态分布 N 0, 1+26 ^ ρ i N i=1 ρ P |^ k |≤ 或 ρ P |^ k |≤ 1 N
q q

.由正态分布的性质知, 有
2 1/ 2

1+26 ^ ρ i
i= 1 q

≈6 8. 3%, ≈9 5. 5%.

2 2 1+26 ^ ρ i N i= 1

1/ 2

实际应用中, 因为 q一般不很大 , 而 N 很大 , 此时常取 1 2 1 1+26 ^ ρ , i ≈ N N i=1


2 即认为 ^ ρ ( 0, ( 1 / N ) ) , 于是有 k 的分布渐近于正态分布 N

1 8 6

第 八章  时间序 列分析

^ ρ |≤ P| k 或 ^ ρ |≤ P| k

1 ≈6 8. 3%, N 2 N ≈9 5. 5%.

于是, ^ ρ 首先计算 ^ ρ …, ρM(取 M= N ^ / 1 0左右), 因为 q值 k 的截尾性判断如下: 1, 未知, 故令 q取值从小到大 , 分别检验 ^ ρ ^ ρ …, ρM 满足 ^ q+ 1 , q+ 2 , | ^ ρ |≤ k 1 2  或 | ρ ^ |≤ k N N

的比例是否占总个数 M 的6 8. 3%或9 5 . 5%.第一个满足上述条件的 q就是^ ρ k 的截尾处, 即 MA (q )模型的阶数. ( 2 ) 设{X }是正态的零均值的平稳 AR (p )序列, 则对于充 分大的 N, φ ^ t k k的 分布也渐近于正态分布 N ( 0, ( 1 / N )).所 以, 可 类似于( 1 )的步骤对 ^ φ k k 的截 尾性进行判断. ( 3 ) 若{ ^ ρ φ ^ 但 收 敛 于 零 的 速 率 较 快, 则{X }可 能 是 k}和{ k k}均 不 截 尾, t A RMA (p, q )序列. 此时阶数 p和q较难于确定 , 一般采用由低阶到高阶逐个试 探, 如取(p, q )为( 1, 1 ), ( 1, 2 ), ( 2, 1 ), …直到经检验认为模型合适为止. 例8. 7 设从观测样本大小 N=1 5 0的时 间序列数 据计算 得样本 自相 关函 数值和偏相关函数值如表8-2.
表8 -2 k ^ ρ k φ ^ k k k ^ ρ k φ ^ k k 1 0. 8 0 0. 8 0 8 0. 0 5 0. 0 2 9 0. 0 3 0 2 0 . 5 9 -0. 1 5 1 0 0. 0 3 0. 0 4 3 0. 4 2 0 1 1 0. 0 3 4 0 . 3 2 0 . 0 8 1 2 0 5 0. 2 5 -0 . 0 3 1 3 1 4 6 0 . 1 7 - 0. 0 6 1 5 7 0. 1 0 -0. 0 2 1 6

-0. 0 5 -0. 0 7 -0 . 0 8 -0. 0 4 0. 0 1 0 0 . 0 9

-0. 0 2 -0 . 0 9 -0. 0 4

因为2 /N=0. 1 6 3, 从表中数据看出, ^ ρ 但不能认为是截尾 k 随k增大趋于零, 的. 而^ φ 从 k=2起它取值的绝对值都小于0. 1 6, 故初步识别该 序列 k k 有截尾性, 属于 A R ( 1 ) 模型.由于| ^ φ |=0. 1 5很接 近于 0. 1 6, 故也 可以考 虑它 是 A R ( 2 ) 22 模型. 例中看出模型的识别有一定的灵活性, 同一序列可以考虑不同的模型拟合. 但是, 在 样本大小 N 一定时 , 模型 的阶数 尽可定低, 因 阶数越高, 各 种参数 估计 精度会降低.在实际应用中, 应 根据实 际效 果的 好坏进 行 考核 模型 是否 可以 接

§ 8. 4 模 型参数的 估计

1 8 7

受.当然, 在理论上也可以探讨较精确的识别模型方法, 或 对模型 进行理论 考核 的方法.下面将进一步讨论.

三、模型定阶的 A I C准则
现在给出赤池提出的 A I C准则定义为 2 A I C ( k )= l n^ σ k /N( k =0, 1, …, L ), a +2
k 2 其中 ^ σ γ a =^ 0-

φ ^ γ ^ N 为样本大小 , L为预先给定的最高阶数 . j j,
0≤ k ≤ L

j=1

若A I C ( p ) =m i nA I C (k ), 则定 A R 模型的阶数为 p . 同理, 对于 ARMA 序列的 A I C 准则定义为 A I C (n, m )= l n^ σ (n+ m+1 ) /N. a +2 若A I C (p, q )= m i n A I C (n, m )则定 A RMA 模型 的 阶数 为(p, q ).其中 ^ σ a
0≤ n, m ≤ L 2 2

是相应的 A RMA 序列的 σ a 的最大似然估计值.

§ 8 . 4  模型参数的估计
当选定模型及确定阶数后, 进一 步的 问题 是要 估计 出模 型 的未 知参 数.参 数估计 方法 有矩法、 最小二 乘法 及最大 似然 法等.这 里仅介 绍矩 法.它虽 然较 粗糙, 但较简单, 且在有些情况下, 矩法与其它较精确估计很接近.

一、 AR (p ) 模型的参数估计
设{X } 的拟合模型为 t X t =φ 1X t-1 +…+φ pX t- p + a t. 此时要估计的参数为 φ φ …, φ 8. 1 5 )式和( 8. 1 6 )式, 将各 参数 1, 2, p和 σ a .利用( 换成它们的估计, 可得 ^ φ 1 ^ φ 2 … ^ φ p = 1 ^ ρ 1 … ^ ρ p-1
p 2

^ ρ 1 1 … ^ ρ p- 2

… ^ ρ p- 1 … ^ ρ p- 2 … … 1

-1

^ ρ 1 ^ ρ 2 … ^ ρ p , ( 8. 3 2 )

2 ^ σ γ φ ^ γ= ^ γ φ ^ ρ a = ^ 0 -6 ^ j 0 1- 6 ^ j j . j=1 j=1

( 8. 3 3 )

( 8 . 3 2 )式和( 8. 3 3 ) 式是 A R ( p )模型全部参数的估计公式.

二、MA (q )模型的参数估计
设{X } 的拟合模型为 t

1 8 8

第 八章  时间序 列分析

X a t=a t -θ 1a t-1 -…-θ q t- q .


2 此时要估计的参数为 θ θ …, θ ( 8. 1 0 )式, 将各参数换成估计, 得 1, 2, q 和σ a .利用

^ γ k=

^ σ ( 1+^ θ θ ), k =0, a 1 +…+^ q ^ σ (-^ θ ^ θ θ ^ θ θ ^ ), 1≤k≤q . a k+ k +1^ 1 +…+ q q- k


( 8. 3 4 )

上式是参数的非线性方程组, 可以直接求解, 也可以用其它 方法求解.下面 介绍 用迭代法求解的步骤.首先将( 8. 3 4 )式写成 σ ^ γ 1+^ θ θ ) , a =^ 0( 1 +…+^ q θ ^ γ / ^ σ ^ θ θ θ θ 1 =-^ 1 a+ 1^ 2 +…+^ q- 1 ^ q,
2 θ ^ γ / ^ σ ^ θ θ θ θ 2 =-^ 2 a+ 1^ 3 +…+^ q- 2 ^ q, 2 2 2 2 -1

( 8. 3 5 )

θ ^ γ / ^ σ +^ θ θ q- 1 =-^ q- 1 1^ q,
2 θ ^ γ / ^ σ q =- ^ q a.

2 a

然后, 选取 一 组 初 始 值, 如^ θ 0 )= … =^ θ 0 )=0, ^ σ 0 )= ^ γ σ 0 )= 1( q( a( 0(或 ^ a( ^ γ / 2 ), 代入( 8. 3 5 )式右边, 可得一步迭代值 0 ^ σ ( 1 )=^ γ ^ θ ( 1 )=-^ ρ ( k =1, 2, …, q ). a 0, k k, 再将它们代入( 8. 3 5 )式, 可得二步迭代值.
q 2

^ σ ( 2 )= ^ γ a 0

1+ 6 ^ ρ , k
2 k =1

θ ^ ( 2 )=- ^ ρ ρ ρ ρ ρ 1 1 +^ 1^ 2 + … +^ q-1^ q, θ ^ ( 2 )=- ^ ρ ρ ρ ρ ρ 2 2 +^ 1^ 3 + … +^ q-2^ q, θ ^ 2 )=-^ ρ ρ ρ q -1( q-1 + ^ 1^ q, θ ^ ( 2 )=-^ ρ q q 如此重复迭代, 直至 ^ σ(m )与 ^ σ (m-1 ) , ^ θ (m )与 ^ θ )变化 不大, 达到 a k-1(m-1
2 2 精度要求为止.此时参数的估计值为 ^ σ σ (m ) , ^ θ ^ θ (m )( k=1 , …, q ). a =^ a k= k 2 a 2

三、 ARMA (p, q )模型的参数估计


设{X } 的拟合模型为 t X a t -φ 1X t- 1 -…- φ pX t- p = a t -θ 1a t- 1 -…- θ q t- q . 此时要估计的参数为 φ …, φ θ …, θ σ 1 , p, 1, q, a .可以按下列步骤进行估计. 第一步, 先求 AR 部分的参数估计值 ^ φ k. 利用( 8. 2 3 )式, 将参数换成它们的估计, 得

§ 8. 4 模 型参数的 估计

1 8 9

φ ^ 1 φ ^ 2 … φ ^ p =

ρ ^ p ^ ρ q+ 1 … ^ ρ q+ p -1

^ ρ q-1 ρ ^ q … ^ ρ q + p- 2

… ^ ρ q - p +1 … ^ ρ q - p +2 … … ^ ρ q

-1

ρ ^ q+1 ρ ^ q+2 … ^ ρ q+ p .

这里由于未考虑 MA 部分的作用, 故所得的 ^ φ k 是近似值. 第二步, 令 Y φ φ 得Y t= X t-^ 1X t -1 -…- ^ pX t- p , t 的协方差函数为


p p

γ (Y )= E Y tY t+ k = 6 k
p p

i=0

X ^ φ φ ^ t- iX t- j- k i jE

j= 0

=6

i= 0

^ φ ^ φ γ ( φ ^ ). i j k+ j- i 0 =-1

j=0

用X γ 得^ γ ( y )的表达式 t 的协方差估计^ k 代替γ k, k


p p

^ γ (Y )= k

6 6
i= 0

φ ^ ^ φ ^ γ i j k + j- i .

j=0

  第三步, 把{Y }近似看作 MA ( q )序列, 即A RMA (p, q )模型改写成 t Y a t ≈a t -θ 1a t- 1 -…- θ q t- q .


2 此时可用 MA ( q ) 模型参数估计法得 ^ σ ^ θ …, θ ^ a, 1, q.

利用以上介绍的模型参数估计方 法和公 式, 一般 可以 在计算 机上 进行 各种 参数估计.作为例题, 对较低阶 数模 型, 可以采 用解 方程 的 方法, 直 接求 出参 数 估计的表达式. 例8. 8 求 A R ( 1 )模型和 A R ( 2 )模型的参数估计式. 解  利用( 8. 1 4 )和( 8. 1 6 )式, 对于 A R ( 1 )模型有
2 ^ φ ρ σ ^ γ φ γ γ 1-^ φ ρ 1 =^ 1, a =^ 0 -^ 1^ 1 =^ 0( 1^ 1).

对A R ( 2 )模型, 有 ^ ρ φ φ ρ ^ ρ φ ρ φ 1 =^ 1 +^ 2^ 1, 2 =^ 1^ 1 +^ 2, 解得 ^ φ ρ ( 1 -^ ρ ) / ( 1-^ ρ ), ^ φ ^ ρ ^ ρ / ( 1-^ ρ 1 =^ 1 2 1 2 =( 2- 1) 1), ^ σ γ ( 1-^ φ ρ φ ρ a =^ 0 1^ 1 -^ 2^ 2).    例8. 9 求 M A ( 1 ) 模型和 MA ( 2 )模型的参数估计式. 解  利用( 8. 3 4 )式, 对于 MA ( 1 )模型, 有 ^ γ σ ( 1+^ θ ), γ ^ σ (-^ θ , 0 =^ a 1 1 =^ a 1) 于是 γ ^ 1 θ ^ 1 =- 2 , ^ σ a 代入第一式得
2 2 2 2 2 2 2 2

1 9 0
2 2 2 2 ( ^ σ ) -^ γ σ γ a 0^ a +^ 1 =0,

第 八章  时间序 列分析

解得 1± 1-4 ^ ρ 2 1 σ ^ γ , a =^ 0 2
2 将^ σ θ 得 a 代入^ 1 式中, 2

-2 ^ ρ 1 ^ θ , 1 = 2 1± 1-4 ^ ρ 1 注意到可逆性条件, 应取| ^ θ 1|<1.因为 2 ^ ρ 1 ・ = 1, 2 1+ 1- 4 ρ 1 ^ - 1- 4 ^ ρ 1


2 1

2 ρ ^ 1

2 ^ ρ 1 1+ 1-4 ^ ρ 1
2 2

<1,

2 ^ ρ 1 + 1-4 ^ ρ 1 2 1 故取 ^ θ , σ ^ γ .对于 MA ( 2 ), 可类似 MA ( 1 )进行 1= a =^ 0 2 2 1+ 1 -4 ^ ρ 1 推导, 但因较烦琐, 只给出结果如下:     ^ θ 2= 1 1 1 - - 2 4 ^ ρ 2 ^ ρ 2 2 ± ^ ρ 2+ 1 2


-^ ρ 1
2 2

1 1 1 - - 2 4 ^ ρ 2 ρ ^ 2 2

1 ^ ρ 2+ 2

-^ ρ

2 1

-1,

其中“±”号依 ^ ρ 0或 ^ ρ 2> 2 <0分别取“-”或“+”. ^ ρ θ ρ ^ 1^ 2 2 2 ^ θ , ^ σ γ . 1= a =- ^ 0 ρ ^ 1 -^ θ θ ^ 1( 2) 2

§ 8 . 5  模型的检验
由样本观测序 列{ x t = 1, …, N }, 经过 模型的 识别、 阶数的 确定和参 数估 t, 计, 可以初步建立{X }的模型.这样建立的模型一般还需要进行统计检验, 只有 t 经检验确认模型基本上能反映{X }的统 计特性时, 用它 进行预 测才能 获得 良好 t 的结果.模型的所谓自相关函数检验法.其 基本思想 是, 如 果模型 是正 确的, 则 模型的估计值与实际观测值所产 生的 残差 序 列 a x ( t =1, …, N )应 是 t =x t -^ t 随机干扰产生的误差, 即{ a }应是白噪声序列.否则, 模型不正确. t 设x x …, xN 为观测序列, 不妨设初步选定为 A RMA ( p, q )模型 1 , 2, a t= X t-φ tX t- 1 -…- φ pX t - p +θ 1a t- 1 +…+θ qa i- q ,

§ 8. 6 平 稳时间序 列预报

1 9 1

代入参数估计和观测值得 a φ φ ^ θ θ a t=x i -^ 1x i- 1 -…-^ px i- p + 1a i -1 +…+^ q i- q ( i = 1, 2, …, N ) , 规定为零, 由( 8. 3 6 )式得   a 1 =x 1,   a φ θ ^ φ θ )x 2 =x 2 -^ 1x 1 +^ 1a 1 =x 2 -( 1 -^ 1 1,   a φ θ 3 =x 3 -^ 1x 2 +^ 1a 2, ^ φ θ ) +^ θ ( ^ φ ^ θ ) x =x ^ φ θ )x 2 -^ 2 1 1 - 1 3 -( 1 -^ 1 2- ( 1,   a φ θ N =x N -^ 1x N -1 +^ 1a N -1 . 现在的问题是要检验假设 H {a t =1, 2, …, N }为白噪声序列. 0: t, 由a a …, a 记 1, 2, N 计算序列的协方差函数和自相关函数估计值, 1 ^ γ ( a )= 6 a a ( k =0, 1 , …, M ), k N t= 1 t t+ k 其中 M 取 N / 1 0左右. ^ ρ ( a )= k ^ γ (a ) k ( k=1 , 2, …, M ). γ ^ a ) 0(
N- k

( 8. 3 6 )

若t =0作为开始时刻, 则上式中对于 i ≤ p, i ≤q的下标为 零或负的 项 , 其 取值

可以证 明, 当 H ( N^ ρ a ) , N^ ρ a ), …, 0 为 真 时,对 于 充 分 大 的 N, 1( 2( N ^ ρ a ) )的联合分布渐近于 M 维 独 立标 准正 态分 布 N ( 0, I .于 是, 统计 M( M) 量


QM = N 6 ^ ρ ( a ) i
2 i= 1

服从自由度为 M 的 χ 分布.由假设 检验 理论知, 对 于给 定的显 著性 水平 α, 查


2 2 表得 χ (M ), 若计算得 QM >χ (M ), 则 在水 平 α上 否定 假设 H 即 所选 择的 α α 0,

估计模型不合适, 应重新选择较合适的模型, 否则, 就认为估计模型选择合适.

§ 8 . 6  平稳时间序列预报
根据时间序列观测数据, 建立了一个与实际问题相适应的模型后, 就可以利 用过去和现在的观测值, 对该序列未来时刻的取值进行 估计, 即预报.关于 预报 效果优劣的标准, 下面采用的是在平稳线性最小方差意义下的预报.

一、最小方差预报
设{X } 是零均值平稳序 列, 并假定 它是 正态 的.令 ^ X ( l )表示 用时 刻 t及 t t

1 9 2

第 八章  时间序 列分析

它之前的全部观测数据, 即{X X …}的取值对未来 t +l时刻的X ( l >0 ) t, t- 1 , t+l 的取值所作的预报. 现在的问题是, 要找出一个如下形式的线性函数: ^ X ( l )=c t 0X t +c 1X t-1 +c 2X t -2 +… 使预报的误差均方值 ( l ) =E X X ( l ) =m Ee i n. k t+ l - ^ t 这样的 ^ X ( l )称为 X t t+ l 的 线性最小方差预报 . 由于{X X …}一般是相关的, 故^ X ( l )用它 们的 线性组 合形 式表 示不 t, t-1 , t 便研究, 为此先介绍几个定理. 对于零均值正态 A RMA (p, q )序列, 利用 其 等 价的 传 递形 式 和逆 转 形式, 令
∞ ∞ 2 c c jX k- j , j 实数, j < ∞ , 6 c j= 0 ∞ 2 2 2

( 8. 3 7 )

X X| X = k =


j=0

Ak = a|a = 6 d a d j k - j, j 实数, j < ∞ , 6 d
j=0 j= 0 ∞

则有 X 对 任 何 Y∈Ak, 必存在实数 u k =A k .事 实 上, j, 6

u 使 Y= j < ∞,

j=0

u a 利用逆转形式( 8. 1 9 )式, a 故 Y∈ j k - j. k- j 均可表示成 X k 的线性组合形式,

j=0

Xk; 反之, 对任何 Y∈X 利用 传递 形式( 8. 1 8 )式, X k, k - j 均可 表示 成 a k 的 线性 组 合形式, 故 Y∈Ak . 对于正态平稳 序 列, 满 足( 8. 3 7 )式 的 平稳 线 性 最 小 方 差 预 报 ^ X l )就 是 k( X X X … }时的条件均值, 且表示成 k+ l 在给定{ k, k- 1 , |X j = 0, 1, … Xk( ^ l )= E X k+ 1 k- j= x k- j , | XK = E X | Ak . =E X k+ l k+ l   最小方差预报具有下列性质:
∞ ∞

( 8. 3 8 )

( 1 )E

c | Xk = jX k- j

j= 0

X | X c k- j k ; jE ^ X ( l ), l >0, k X k+1 , 0, l ≤0; l >0,

( 8. 3 9 ) ( 8. 4 0 ) ( 8. 4 1 )

j=0

| Xk = E X | A ( 2 )E X k+ l k+ l k = | Ak =E a | X ( 3 )E a k+ l k+ l k =

a ≤0. k + l, l

定理 8. 5  设 零 均 值 AR MA(p, q )序 列{X }具 有 传 递 形 式 X t t =

G a 其中 G 则 j t -j , j 为格林函数,

j=0

§ 8. 6 平 稳时间序 列预报


1 9 3

^ X ( l ) = k

G a j+ l k- j,
l -1 2

( 8. 4 2 ) ( 8. 4 3 )

j=0

( l ) =σ D e k a6    证  因为 ^ X ( l )∈A 故有 k k,

Gj .

j=0

Xk( ^ l )= ( l ) =E X X ( l )    D e k k + l -^ k
∞ 2

* d ja k- j ,

( 8. 4 4 )

j= 0

=E =E
l -1

6 6

G a j k + l- j - G a j k + l- j -

j= 0 l -1

6 6

* d ja k- j

j=0 ∞ * (G a j+ l - d j) k-j ∞ 2

j= 0 2 GjE a k+ l- j l -1 ∞

j=0 2

=6 =σ

j= 0 2 a *

* 2 a + 6 (G k- j j+ l - d j) E j= 0

G+

2 j

j= 0

(G . j+ l -d j)

j= 0

显然, 当取 G 有 j+ l = d j 时,
l -1

( l ) =σ D e k a6

Gj ] m i n.

j=0

( 8 . 4 3 )式得证.再代入( 8. 4 4 )式即得( 8 . 4 1 )式, 证毕. 定理的( 8. 4 1 ) 式给出了计算 l步预测值的格林函数方法 , 格林 函数 G j 可由 A RMA (p, q )模型的参数递推计算. 当d 易知 j =G j+ l 时, e ( l )= X X ( l ) =a k k+ l - ^ k k+ l+ G 1a k + l- 1 +…+ G l-1 a k +1 , 令l =1得 e ( 1 )= X X ( 1 )= a k k+ 1 - ^ k k +1 .
2 ( 1 ) =σ 这说明 k时刻的一步预报误差就是a 因此 D e k k+1 , a. *

在正态性假定下, X X X …}的 条 件 分 布 为 N (^ X l ), k + l 对 于 给 定{ k, k-1 , k( D [ e ( l ) ] ), 因此, X k k + l 的1- a置信区间为 (^ X ( l ) -u ( 1 +G ) ^ σ k a /2 1 +…+ G l- 1 a,


2 2 1/ 2 ^ X ( l )+ u 1 +G σ ). k a /2( 1 +…+ G l-1) ^ a 2 2 1/ 2

( 8. 4 5 ) ( 8. 4 6 )

   定理8. 6 设 {X }是零均值 A RMA ( p, q )序列, 则有预报的差分方程 t ^ X ( l )= φ X ( l -1 )+…+ φ X ( l -p )( l >q ) . k 1^ k p^ k    证  因为 X k+ l = φ 1 X k + l-1 +…+ φ pX k+ l - p +a k+ l

1 9 4

第 八章  时间序 列分析

-θ a 1a k + l -1 -…- θ q k+ l- q , 当l >q时 , 由( 8. 4 1 )式可得 | X     ^ Xk( l )= E X k+ 1 k X | Xk =φ +…+φ 1E X k+ l -1| k pE X k + l- p =φ X ( l -1 )+…+φ ^ Xk( l -p ), 1^ k p 证毕.   定理表明, 若 q步以内的预报值^ X ( 1 ), …, ^ X ( l )已知, 则超过 q步的 预报 k k 值可由( 8. 4 6 )式推得. 特别, 当{X }是 MA ( q ) 序列时, ( 8. 4 6 ) 式变为 t ^ X ( l )=0( l >q ). k 这表明, 对于 MA (q )序列, 超过 q步的预报值为零 . 定理8. 7 设 {X }是零均值 A RMA ( p, q )序列, 则有预报递推公式 t X Xk( 1 ) . ^ X ( l )= ^ X ( l +1 )+G k+ 1 - ^ k+ 1 k l    证  由( 8. 4 2 ) 式有
∞ ∞

( 8. 4 7 )

( 8. 4 8 )

Xk+ 1( ^ l )= 6

j=0

G a a l+ j k+ 1- j = G l k +1 + 6

G a l+ j k+ 1- j

j= 1

=G Xk( 1 ) +6 l X k+ 1 - ^

G l+ j+1 a k- j

j=0

Xk( 1 ) +^ =G X ( l +1 ), l X k+ 1 - ^ k 证毕. 定理表明, 基于 k+1时刻的 l步预测值, 可由 该时刻 的观测 值与 基于 前一 时刻 k的l +1步预报值递推而得.

二、各种模型的预报方法
( 1 )A R ( p ) 序列的预报 由( 8. 4 6 )式, 令 q=0即得 A R ( p )序列的预报递推公式 ^ X ( l )=φ Xk ( l -1 )+…+ φ X ( l -p )( l > 0 ). k 1^ p^ k 对于 l ≤0, 显然有 ^ Xk( l )=X k+l , X ^ ( 1 )=φ k 1X k +φ 2X k- 1 +…+φ pX k- p+1 , X ^ ( 2 )=φ X ( 1 )+φ k 1^ k 2X k +…+ φ pX k - p +2 , ( 8. 5 1 ) X ^ ( p )= φ Xk( p-1 )+ φ Xk(p -2 )+…+ φ Xk( 1 )+φ k 1^ 2^ p -1 ^ pX k, X ^ ( l )=φ X ( l -1 ) +…+φ X ( l -p )( l >p ). k 1^ k p^ k ( 8. 5 0 ) 其中 φ ( i =1, …, p )是由样本序列确定的估计值.由 ( 8 . 4 9 )式和( 8. 5 0 ) 式可得 i ( 8. 4 9 )

§ 8. 6 平 稳时间序 列预报

1 9 5

  从( 8. 5 1 )式看出, 对于 A R (p )序列, 其 预报值 ^ X l ) 计 算只 需用到 k时刻 k( 前的 p个观测数据 X X …, X k, k -1 , k- p+ 1 .预报精度随步数 l增大而降低 . 利用( 8. 4 5 )式确 定 AR (p )序 列的 X 其格 林 函 数 k+ l 的1- α置 信区 间 时 , G ( j =1, …, l -1 )可用下列方法递推而得. j 因为 A R ( p )模型为 φ (B )X 传递形式为 X (B ) α 代入上式得 t =α t, t= G t, φ ( B )G (B ) α t =α t,
p 2 即φ (B )G ( B )= ( 1-φ -…- φ ( 1+ G +G 1B p B) 1B 2 B +…)=1.

上式展开成 B的级数, 并比较系数可得 G1 -φ 0, G G … 1 = 2 -G 1φ 1 -φ 2 =0, 3 -G 2φ 1 -G 1φ 2 -φ 3 =0, 递推解上述方程组, 可得 G G G 2φ 1 =φ 1, 2 =φ 1 +φ 2 , 3 =φ 1+ 1φ 2 +φ 3,


4 2 2 G φ φ …. 4 =φ 1 +3 1φ 2 +2 1φ 3 +φ 2 +φ 4, 2 3

( 8. 5 2 )

   例8. 1 0 求 A R ( 1 )序列的预报式. 解  因 A R ( 1 )模型为 X 由( 8. 4 9 )式得 t -φ 1X t- 1 =a t, ^ X ( l )= φ X ( l -1 )( l >0 ). k 1^ k 将初始值 ^ X ( 0 ) =X k k 代入上式得


2 ^ X ( 1 )= φ ^ X ( 2 ) =φ X ( 1 )=φ …, k 1X k, k 1^ k 1X k,

Xk( ^ l )=φ X ( l -1 )=φ ′ 1^ k 1 X k.    例8. 1 1 设有 A R ( 2 )模型 X 2X . 5 5X t =1. t -1 -0 t-2 + a t.


2 2 已知 X 6 1, X 0 2, ^ σ 0 8 , 试求第三步预报值及 X 5%置信 k =7. k- 1 =6. a =0. k +3 的9

区间. 解  由( 8. 5 1 ) 式可得 ^ X ( 1 )= 1. 2X 5 5X 2×7. 6 1-0 . 5 5×6. 0 2=5. 8 2 1, k k -0. k-1 =1. ^ X ( 2 )=1. 2 ^ X ( 1 )-0. 5 5X 7 9 95, k k k =2. ^ X ( 3 )=1. 2 ^ X ( 2 )-0. 5 5^ X ( 1 )=0. 1 5 79. k k k 查表得 u 9 6, 故 0. 0 25 =1.
2 2 1 ^ X ( 3 )± u 1+ G )/2^ σ k a / 2( 1 +G 2 a, 2 2 0. 1 5 8±1. 9 6 1+1. 2 +0. 8 9 ×0. 0 8,

即X 5%置信区间为( 0. 1 2 4, 0. 4 4 0 ). k +3 的9 ( 2 ) MA ( q )序列的预报 关于 MA ( q ) 序列的预报.这 里简略 介绍 平稳 预报 的 逆函 数方 法和 预报 向 量递推方法.

1 9 6

第 八章  时间序 列分析

类似于 A RMA ( p, q )序列的逆转形式( 8. 1 9 )式, MA ( q )模型的逆转形式为 α / θ (B )=I (B )X t= X t t,


∞ j X ( I )B X t- 6 j t= X t- j=0 ∞ -1 其中 I (B ) =θ (B )=1- ∞ ∞

I jX t- j ,

( 8. 5 3 )

j =0

j I B , I j j 为逆函数.

j= 0

利用 X t= 以推得

I 并根据最小方差预报性质( 8. 3 9 )— ( 8. 4 1 )式, 可 jX t- j + α t,

j= 0

l -1

^ Xk( l )= 6

j=1

I ^ X ( l -j )+ 6 I j k jX k+ l- j .
j= l

( 8. 5 4 )

由于 ^ X ( l -j ) ( j =1, …, l -1 )也是 X ( j =0, 1, …)的线性组合, 故可令 k k- j


^ X ( l ) = k

(l ) I j X k+1- j .

( 8. 5 5 )

j= 1

  当 l >q时 , 由( 8. 4 7 )式, 有^ X ( l )= 0, 于是得预报公式 k


^ X ( l )= k

(l ) I , j X k +1-j , 1≤ l≤ q

j= 1

( 8. 5 6 )

0, 将 ( 8 . 5 5 )式代入( 8 . 5 4 )式, 并比较系数可得 I j, I =


(l ) j l -1

l> q. l=1,
(l -i )

I I j +l -1 + 6 I j j
i=1

, 1< l≤ q.

( 8. 5 7 )

( 8. 5 6 )式是一个无穷 级数 和, 由 于实 际所 能观 测 到的 数 据总 是 有 限的, 且规 定 X 0 =X -1 =…=0.故采用有限和代替得


Xk( ^ l )≈ 6

(l ) I ( 1≤l ≤q ), j X k+ 1- j  

( 8. 5 8 )

j= 1

其中 k的大小可以根据精度要求适当选取. 实际应用中, 往往要求连续预 报, 且每获 得一 个新 数据后, 应 立即 用于 对未 来作预报, 用上述方法会使 计算 量和存 贮量 变得相 当大.下面 介绍 的预 报向 量 递推法可以适当减少计算量和存贮量. 由 MA ( q )模型 X (B )a (B )a 得 G ( 1≤l t =θ t 及 传递形式 X t =G t, t =- θ l ≤q ), 代入( 8. 4 8 )式, 得

§ 8. 6 平 稳时间序 列预报

1 9 7

^ X ( 1 )=θ Xk( 1 )+^ X ( 2 )-θ k+ 1 1^ k 1X k +1 , ^ X ( 2 )=θ Xk( 1 )+^ X ( 3 )-θ k+ 1 2^ k 2X k +1 , ^ X ( q-1 )=θ Xk ( 1 )+^ X ( q )-θ k+ 1 q- 1 ^ k q-1 X k+1 , ^ X ( q )=θ ^ Xk( 1 )-θ Xk+1 , k+ 1 q q^ 于是得预报矩阵式 ^ X ( 1 ) k +1 ^ X ( 2 ) k +1 … ^ X q-1 ) k +1( ^ X ( q ) k+ 1 = θ 1 θ 2 … θ q-1 θ q 1 0 … 0 0 θ 1 θ 2 - … θ q -1 θ q 递推初值可定为 ^ X 1 )= ^ X 2 )=…=^ Xk ( q )=0 . k ( k(
0 0 0

( 8. 5 9 )

0 1 … 0 0

… … … …

0 0 … 1 0

^ X ( 1 ) k ^ X ( 2 ) k … ^ X ( q -1 ) k ^ X ( q ) k

X k+ 1 .

( 8. 6 0 )

若称 ^ X =(^ X ( 1 ) , …, ^ X ( q ) ) 为预报 向量, 则 ( 8 . 6 0 )式表示 由预报 向量 k k


(q ) X 递推 ^ ^ X k+ 1 的关系式. (q ) k

(q ) k

例8. 1 2 试写出 MA ( 1 )的预报公式. 解  因为 q =1, 故l >1时, ^ X ( l )= 0.由 ( 8. 5 4 )式得 k ^ X ( 1 )=θ X ( 1 )-θ k 1^ k- 1 1X k. 由于模型阶数低, 也可用逆函数法求预报公式. 由( 8. 5 7 )式, 有I ( j ≥1 ), 又由( 8 . 5 3 )式, 有 j =I j 1 -1 2 2 j θ (B )= =1+θ +θ I 1B 1 B +…=1- 6 jB . 1-θ 1B j=1 比较两边系数得 I j ≥ 1 ), j =- θ 1  ( 于是 I 代入( 8. 5 6 )式, 得预报公式 j =-θ 1,
∞ K j 1 ( 1) j j ∞ (1 )

^ X ( 1 )= 6 (-θ)X k k+1 - j ≈
j=1

-θ 1X k + 1- j .

j =1

   例8. 1 3 已知 MA ( 2 ) 模型为 X 0. 5 a 6 a t=a t- t-1 +0. t- 2 , 试求预报公式.

1 9 8

第 八章  时间序 列分析

解  由( 8. 6 0 ) 式, 得预报向量递推公式     ^ X ( 1 ) k+1 ^ X ( 2 ) k+1 = = θ 1 1 θ 0 2 0 . 5 ^ X ( 1 ) k ^ X ( 2 ) k 1 - θ 1 θ 2 - X k +1 0. 5 -0. 6 X k+1 .

X ^ ( 1 ) k X ^ ( 2 ) k

- 0. 6 0

下面用逆函数法求预报公式. 因为 X ( B )a 1-0. 5B +0 . 6B) a 由( 8. 5 3 )式, 有 t=θ t =( t,


∞ 2

1-

I B= j

j= 1

1 1 = 2 θ (B ) 1 -0. 5B+0. 6B

3 2 = - 1-0. 3B 1-0. 2B
∞ j j ∞ j j

=3 6 ( 0. 3 )B -2 6 ( 0. 2 )B
j=0 j=0 ∞

= 比较系数得

j j j 3 ( 0. 3 ) -2 ( 0. 2 ) B .

j =0

j j I ( 0. 2 ) -3 ( 0. 3 )  ( j ≥ 1 ) , j =2

于是, 由( 8. 5 7 )式得 I ( 0 . 2 ) -3 ( 0. 3 ), j =I j =2 I ( 0. 2 ) j =I j+1 +I 1I j =2 =2×0 . 3 代入( 8. 5 8 )式得


k j+ 1 ( 2 ) ( 1 ) j+ 1 (1 ) j j

-3 ( 0. 3 )

j+1 j

 +( 2 ×0 . 2 )-( 3×0. 3 )2 ( 0. 2 ) -3 ( 0. 2 ) -3×0. 2


j+1

^ X ( 1 )≈ k

2×0. 2 -3×0. 3 X k+1- j , 2×0. 3


j+1

j=1

^ X ( 2 ) ≈ k

-3 ×0. 2

j+1

X k+1- j .

j=1

  ( 3 )A RMA (p , q )序列的预报 类似于 MA ( q )序列, A RMA (p, q ) 序列也可用逆函数 方法和 预报向量 法递 推预报. A RMA (p, q )序列用逆函数直接预报公式为 ^ Xk ( l )=φ X ( l -1 )+…+φ ^ X l -p )+^ a ( l ) 1^ k p k( k -θ a ( l -1 )-…-θ a ^ ( l -q ). 1^ k q k ( 8. 6 1 ) 当l >q时, ^ Xk( l )≠0, 预报公式如( 8. 4 6 )式, 或者说与 A R (p )序 列的预报 公式 ( 8. 4 9 )式相 同.这 是 与 MA (q )序 列 不 同 之 处.此 时( 8. 6 1 )式 ^ a l )= … = k(

§ 8. 6 平 稳时间序 列预报

1 9 9

a ^ ( l -q )=0 . k 当1≤l ≤ q 时, 令( 8. 6 1 )式 中 l =1, …, q, 即 可 得 各 步 预 报 公 式, 其中 a ^ ( l ), …, a ^ ( l -q )可以按 MA ( q )序列预报方法得到. k k 关于预报向量递推公式, 分别令( 8. 4 8 )式的 l = 1, …, q- 1可得 ^ X ( 1 ) =- G X ( 1 )+^ Xk( 2 )+ G k+ 1 1^ k 1X k+ 1 , ^ X ( 2 ) =- G X ( 1 )+^ Xk( 3 )+ G k+ 1 2^ k 2X k+ 1 , ^ X ( q-1 )=- G X ( 1 )+ ^ Xk( q )+ G k+ 1 q -1 ^ k q-1 X k+1 . 关于 ^ X ( q )的值, 可按下列情况确定.首先记 k+ 1 φ j =

φ ≤p, j , 1≤j 0, j >p.

再令( 8. 4 8 )式中 l =q, 且由( 8. 4 6 )式可得 1 °  当 p≤q时 X ^ ( q )=- Gq^ X ( 1 )+ ^ X ( q+1 )+ GqX k+ 1 k k k +1 =- Gq^ X ( 1 )+ φ q )^ Xk (q )+…+φp ^ X ( q+1- p ) k 1 ( k  +…+φ* Xk( 1 )+ G q^ qX k +1 ; 2 °  当 p>q时 Xk+1( ^ q )=- G ^ Xk( 1 )+φ X ( q )+…+ φ X ( 1 ) q 1 ^ k q^ k
* *  +φq +1 X k +…+φ pX k + q- p +1 + G qX k +1 * * * *

=- G ^ Xk( 1 )+φ X ( q )+…+ φ X ( 1 ) q 1 ^ k q^ k


 +

j= q+1

φ j X k+ q- j+1 + G qX k +1 ,

于是, 可得预报向量递推公式为 -G 1 -G 2 X ^
(q ) k+1

1 0 … 0

0 1 … 0 0

… … … … 0 0

0 0 … 0 φ 2

0 0
(q ) … ^ Xk

… -G q -1 - Gq + φ qφ q -1 G 1 G 2 + … G q-1 G q

1 φ 1

X k +1 +

( 8. 6 2 )

j= q+1

φ j X k+ q -j +1

其中 ^ X

(q) k+ 1

T = (^ X ( 1 ), ^ Xk+ 1( 2 ), …, ^ X q ) ) . k +1 k +1(

2 0 0

第 八章  时间序 列分析

当 p≤q时 , 6 X ^ q )=0. k(

φ Xk ( 1 )= ^ Xk ( 2 )= … = j X k + q- j+ 1 =0.初 值 可 定 为 ^
0 0

j= q+1

例8. 1 4 已知 A RMA ( 1, 2 )模型为 X 4X 5 a 6 a t -0. t -1 =a t -0. t-1 +0. t-2 , 试求预报公式. 解法( 1 ) 利用递推预报公式( 8. 6 2 ).因为
2 φ (B )=1-0 . 4 B, θ (B ) =1-0. 5B+0. 6B ,

故 1-0. 5B+0. 6B G (B )=φ- 1(B ) θ (B )= , 1-0. 4B


∞ ∞ 2 i ( 1-0. 5B+0. 6B ) ( 0. 4B ) =6 i G iB . 2

i=0

i= 0

* 比较系 数 得 G 1,G 5 6.因 为 φ* φ* 对于 1 = -0. 2 =0. q =φ 2 =0, q-1 = φ 1,

1 ≤l ≤2, 由( 8. 6 2 ) 式得    ^ X ( 1 ) k+ 1 ^ X ( 2 ) k+ 1 = -G 1 -G 2 0. 1 1 φ 1 1 Xk( ^ 1 ) Xk( ^ 2 ) + G 1 G 2 + X k +1 X k +1 .

^ X ( 1 ) k ^ X ( 2 ) k

-0. 1 0. 5 6

-0. 5 6 0. 4

当l >2时, 由( 8. 4 6 )式得 ^ X l )= φ X ( l -1 ), k( 1^ k 即^ X ( l )=0. 4 ^ X ( l -1 )=0. 4^ X ( l - 2 )=…=0. 4 k k k l ≤2时, 由( 8. 1 9 ) 式得


∞ 2 l- 2

^ Xk( 2 ).

解法( 2 ) 用逆函数直接预报.当 l >q=2时, 预报公式与( 1 ) 相同.当1≤ 1 -0. 4B j I jB = 2 1 -0. 5B+0. 6B


j j j

I (B )=θ (B )φ (B ) =1- 6
-1 ∞

j= 1

=( 1- 0. 4B )6 ( 3×0. 3 -2×0 . 2)B


j= 0 j ∞

( 3×0. 3 -2×0. 2)B


j =0

 -

j j j+ 1 0. 4 ( 3×0. 3 -2×0. 2 )B ∞

j=0

j-1 =1+ 6 [ ( 0. 3-0. 4 ) ×3×0. 3 j=1

 -( 0 . 2-0. 4 )×2×0 . 2 ]B

j- 1

§ 8. 7 非 平稳时间 序列及 其预报


2 0 1

=1+ 6 ( 2×0. 2 -0. 3)B .


j j j j= 1

比较系数得 I 3 -2×0. 2, 由( 6. 5 7 )式, 得 j =0. I 3 -2× 0. 2, j =I j =0.     I j =I j+1 +I 1I j =0. 3


j+ 1 (2 ) (1 ) j+ 1 j j ( 1 ) j j

-2×0. 2
j j

 +( 0. 3 -2×0. 2 ) ( 0. 3 -2×0 . 2) =0. 2 ( 0. 3 -0. 2). 由 ( 8 . 5 6 )式得预报公式为


X ^ ( 1 )= 6 ( 0. 3 -2× 0. 2)X k k + 1- j ,
j j j=1 ∞

^ X ( 2 )= k

0. 2 ( 0 . 3 -2 ×0. 2)X k+1- j .

j=1

  以上所讨论的预报都 是假 定{X }是 零均 值 的, 若其 均值 显 著地 非零, 则所 t 有预报公式中的预报值 ^ X ( l ) 必须用 ^ Xk( l )+珚 X 代替 . k

§ 8 . 7  非平稳时间序列及其预报
以上各节的讨论, 我们都是假定{X }是 平稳 的时 间序列.在 实际 问题 中所 t 遇到的时间序列, 有 些却 是 具有 某 种趋 势 性 变化, 或季 节 性的 周 期 变 化.一 般 地, 若时间序列具有下列形式 X ( t )+d ( t )+ W t=f t, 其中 f ( t ) 是趋势项, d ( t )是周期项, Wt 是平稳序列, 则只要能从 X ( t ) t 中提取f 和d ( t ), 剩下的平稳序 列 Wt 就可 以 按前 面讨 论过 的理 论 和方 法进 行研 究了. 本节简要地介绍利用差分法实现将非平稳序列转化为平稳序列.

一、 AR I MA ( p , d , q ) 模型
设随机序列{X }有 X t +b +W 其中{W }为平稳序 列, a t +b为 趋势 t t =a t, t 项.考虑增量 ΔX a + Wt)- a ( t -1 )+b + Wt- 1 t=X t- X t- 1 =( t+b =a + Wt - Wt-1 . 显然, X Δ”称为差分算子.它与延迟算子“B ”的 t-X t- 1 是一平稳序列.上式中“ 关系为 Δ =1- B, 即Δ X 1- B )X t =( t.

2 0 2

第 八章  时间序 列分析

2   类似地, 设随机序列{X }有 X t +b t +c + Wt , 将上式进行一次差分得 t t =a

ΔX t =X t- X t-1
2 ( t -1 ) +b ( t -1 )+c + Wt- 1 = ( a t +b t +c + Wt )- a 2

= 2 a t +( a -b )+Δ Wt . 将上式再进行一次差分得 ΔX ΔX )=Δ(X t=Δ( t t- X t-1) =X 2X a+Δ Wt. t- t-1 + X t-2 =2 上式已是平稳序列.因此, 一个 有趋 势项的 非平 稳序 列, 经 过若 干次 差分 后, 总 可以变为平稳序列. 设非平稳序列{X }方 差有 限, 初值 X X …, X 且与{ Wt}独 t 1, 2, d 均 值为 零, 立.若{X }经过 d阶差分Δ X 且 可用 ARMA (p, q )模型 拟合, t t 为 一平稳 序列, 即有 φ (B ) ΔX (B ) a t >d ), t =θ t  (
d d 1 d 2 d 2 i i d i d d d 2 2

( 8. 6 3 )

其中Δ =( 1- B ) =1-C B+C B - … +(-1 ) C B + …+(-1 )B , 则称 ( 8 . 6 3 )式为求和自回归滑动平均模 型, 记 为 AR I MA (p, d , q ), 此时, 称{X }是 t A RMA (p, q )序列的求和序列, d为求和的阶数 .下面给出用初值 X …, Xd 和 1, 平稳 A RMA ( p, q )序列 {Wt}表示 A R I MA (p, d, q )序列的两个常用表达式. 当 d=1时, X t= X t- X t-1 + X t-1 -…- X 1 +X 1
t -1 t -1

=X 1+ =X t+

6 6

j= 1

(X )= X j+1 - X j 1+ 6
t -k

ΔX j+1

j= 1

t -1

Wj+ 1 = X k+

j=1

Wj+ k  ( t >k ≥1 ).

j=1

当 d=2时, 有
t -1 j -1

X t= X 1+ 于是, 有

j=1

ΔX ΔX ΔX j+1 , j+1 =Δ X 2+ 6 i +2 ,
2 i=1 j -1

t -1

X t= X 1+ 6

j= 1

ΔX 2+

ΔX i+2
j -1

i= 1 t -1

=X t - 2 ) ΔX 1 +( 2+ 6 =X t - 2 ) ΔX 1 +( 2+ 6 =X t - 2 ) ΔX 1 +( 2+ 6

j=1 t -1

6 6 6

ΔX i+ 2 W i +2 Wi+ 2

i= 1 j -1

j=1 t -2

i= 1 t -1

i=1

j= i

§ 8. 7 非 平稳时间 序列及 其预报


t -2

2 0 3

=X t - 2 ) ΔX ( t -1-i )Wi+2 . 1 +( 2+ 6
i=1

一般形式为
d-1 t -d

X t= =

6 6

i=0 d-1

C t- d+ i-1 Δ X d+ 6
i i i i C t- k+ i- 1 Δ X k+

C t - j+ 1 Wd + j
d -1 Ct - k - j+ d -1 W k+j

d- 1

j=1

t -k

i=1

j= 1

 ( t >k ≥d ).

( 8. 6 4 )

二、季节性模型
对于具有季节性周期变化时间序列{X } , 若它的周期为 s , 则 可用差分 算子 t Δ 1- B)作季节性差分, 使其转化为平稳序列.即对{X }作季节差分 s =( t ΔsX 1- B)X t =( t=X t- X t- s , 消除季节性影响.再作 d阶差分消除趋势影响 , 从而得到平稳序列. 一般季节性模型为 φ (B ) Δ ΔsX ( B ) a. t=θ   例如 p=q= d=1 , s =1 2时, 有
12 ( 1- φ ) ( 1- B ) ( 1- B )X 1-θ ) a 1B t =( 1B t, j t s s

( 8. 6 5 )

即   1- ( 1+φ B+φ 1 +φ B -φ 1) 1 B - B +( 1) 1B =( 1-θ )a 1B t.


2 12 1 3 1 4

X t

三、 AR I MA ( p , d , q ) 序列的预报方法
令( 8. 6 4 )式中 t =l +k得
d -1 l

X k+ l = 由上式可得

C l+ i -1 Δ X k+

i=0

C k≥d ). l- j+ d-1 W k+ j  (

d -1

j=1

d-1

X k+ l =

C l+ i-1 Δ X k+

i= 0

C Wk( j ) , l- j+ d- 1 ^

d- 1

( 8. 6 6 )

j=1

因此, 只要求得 ^ Wk( j )即可得 X k + l 的预报值. 当( 8. 6 6 )式中 d=1时, 得


^ X ( l )= X k k+ 当 d=2时得

^ Wk( j ).

( 8. 6 7 )

j=1

Xk( ^ l )= X (X )+ 6 ( l +1-j )^ Wk( j ). k +l k- X k- 1


j= 1

( 8. 6 8 )

2 0 4

第 八章  时间序 列分析

   例8. 1 5 设非平稳模型( 1- B )X 1-θ )a 试写出预报式. t =( 1B t, 解  因为{X }是 p=0 , d=1, q=1的非平稳序列, 令 Wt=( 1- B )X t t= X t -X X 则{Wt}是 MA ( 1 )序列.由例8. 1 2已求得 MA ( 1 )的预报公式为 t- 1 =Δ l,

^ Wk( 1 )= 代入( 8. 6 7 )式得


-θ 1 W k +1- j ,

j=1

∞ j θ 1 W k+ 1- j = X k- 6 j θ 1Δ X k +1- j

^ X ( 1 )= X k k- 6 ≈X k- 6

j=1 K

j= 1

θ (X ). 1 k+1- j - X k- j

j=1

在结束本章讨论之前, 我们将时间序列分析的主要步骤归纳如下: ( 1 ) 对于{X }的一组 样本 观测 数 据, 首先 判断{X }是否 为 平稳 序列, 可以 t t 先按表8-1进行.若 ^ ρ φ 且至 少 有一 个 不拖 尾, 即 下 降 趋势 很 k 和^ k k 都 不 截尾, 慢, 不能被负指数函数所控制, 或有周期性变化, 则从 低降求和 阶数 d及适 当的 s , 作差分Δ 或Δs , 如Δ X t= Y t 成为平稳序列. ( 2 ) 若{Y }的均值显著非零, 则令 Wt = Y Y 再求零均值{Wt}的 ^ γ ρ ^ t t-珡 k, k, φ ^ k k. ( 3 ) 据( 2 )的计算, 再按表8-1进行模型识别, 若仍不 能识别 为 A R, MA 或 A RMA 的某一类, 则返回( 1 ), 应增大 d或调整s . ( 4 ) 初步识别模型后, 对模型的参数作出估计. ( 5 ) 对模型进行检验.若检验不通过, 应返回( 3 ), 重新识别. ( 6 ) 利用模型进行预测, 观察其效果.
d d

习 题 八
8 . 1  用延迟 算子 B表 示下列 模型 : ( 1 )X 2X t-0. t-1 =a t; ( 2 )X 5X 4a t-0. t-1 =a t -0. t-1 ; ( 3 )X 7X 5X 4a t+0. t-1 -0. t-2 =a t -0. t-1 ; ( 4 )X 0. 5a 3 a t=a t- t -1 +0. t-2 ; ( 5 )X 3X 5a t-0. t-1 =a t -1. t-1 . 8 . 2  上题各 模型中, 哪些 是平稳 的?哪 些是可 逆的? 8 . 3  试写出 A R ( 1 )模型 X R ( 2 )模型 X t- φ 1X t-1 = a t和 A t- φ 1X t-1 - φ 2X t -2 = a t的 自相关 函数. 8 . 4  求 MA ( 2 )模型 X 0. 7a 2 a t= a t+ t -1 -0. t-2 的 自相关 函数.

习 题  八

2 0 5

8 . 5  求 MA ( 2 )模型 X 5X 0. 2X ρ ρ ρ t -0. t-1 + t-2 =a t的 自相关 函数 ρ 1, 2, 3, 4 的值 . 8 . 6  求 A RMA ( 1 , 1 )模型 X 0. 2X 4 a t- t-1 =a t+0. t-1 的自相 关函数. 8 . 7  求模型 X . 1Xt-1 -0 . 4X t -0 t -2 = a t 的偏相 关函数. 8 . 8  求模型 X . 5 a . 3 a φ φ φ t =a t -0 t-1 +0 t -2 的偏 相关函 数 φ 1 1, 2 2, 3 3, 4 4. 8 . 9  证明当 - 1<c< 0时 , A R ( 2 )序列 X X t= X t -1 +c t -2 +a t 3 满足平 稳性条件 , 并求 c=- 时的 自相关 函数. 1 6 8 . 1 0 由{X }的样本 大小 N=1 6 0计算 得 ^ ρ φ t k 和^ k k 值如 下表.试对 下列各 题序列 的模型
2 进行识 别, 并求模 型的参 数估计值 和 ^ σ a值 .

( 1 ) k ^ ρ k φ ^ k k k ^ ρ k φ ^ k k 1 -0. 3 4 -0. 3 4 9 -0. 0 8 -0. 0 8 2 -0 . 0 5 0. 1 9 1 0 -0 . 0 2 -0 . 0 7 3 0. 0 9 -0 . 0 1 1 1 0. 0 8 0. 0 1 4 -0. 1 4 -0. 1 2 1 2 -0. 0 6 -0. 0 2 5 0 . 0 8 0 1 3 0 . 0 5 0 . 0 3 6 0. 0 4 0. 0 5 1 4 -0. 0 7 -0. 0 7 7 -0 . 0 6 0 1 5 0. 0 4 0. 0 2 8 0. 0 4 0. 0 1 1 6 0. 0 5 0. 0 5

( 2 ) k ^ ρ k φ ^ k k k ^ ρ k φ ^ k k 1 0. 5 6 0. 5 6 9 -0. 0 9 -0. 0 5 2 0. 3 0 -0 . 0 2 1 0 -0 . 0 5 -0 . 0 5 3 0. 1 7 0. 0 2 1 1 0. 0 2 0. 0 5 4 0. 0 5 -0. 0 7 1 2 0. 0 1 -0. 0 3 5 0 . 0 7 0 . 1 0 1 3 0 . 0 2 0 . 0 2 6 0. 0 5 -0. 0 3 1 4 0 -0. 0 2 7 -0 . 0 2 -0 . 0 7 1 5 0. 0 5 0. 0 1 8 -0 . 0 5 -0 . 0 2 1 6 0. 0 9 0. 0 2

8 . 1 1 写出 下列模 型的预 报式: ( 1 )X 8X t+0. t-1 =a t; ( 2 )X 5X 5X t-1. t-1 +0. t-2 =a t; ( 3 )X 1. 3a 4 a t=a t- t -1 +0. t-2 ; ( 4 )X 8X 5a t-0. t-1 =a t +0. t-1 .

第九章 习题解析

习题二解析
2. 1  X ( t )= V t +b , V~ N ( 0, 1 ), 故 X ( t )服从正态分布, 且 E X ( t )= E (V t +b )=b ,
2 D X ( t ) =D (V t +b ) =t ,

故X ( t )的一维概率密度为 f (x )= t 均值函数为 m ( t )= E X ( t )=b , 相关函数为    R ( t t )=E X ( t )X ( t )= E (V t ) (V t ) 1, 2 1 2 1 +b 2 +b =E (V t V t V t 1t 2 +b 1 +b 2 + b)=t 1t 2 +b . 2. 2 由随机变量函数的概率密度公式知, X ( t )的一维概率密度 f (x )=f ( y ) | y ′ (x ) |=f ( y ) / | x ′ ( y ) | t l nx =f - t x, t >0. t X ( t )的均值函数和相关函数为 E X ( t ) =E ( e )=
-Y t 2 2 2 (x - b ) 1 2 e- 2t ,x∈R, 2 π | t | 2


f ( y ) e d y,

-y t

( t )X ( t RX( t t 1 2) 1, 2)= E X =E e
∞ -Y t 1

-Y t 2

∫e

-y (t + t ) 1 2

f ( y ) d y.

2. 3 依题意知硬币出现正、 反面的概率均为1 / 2. ( 1 )当 t =1 / 2时, X ( 1 / 2 )的分布列为

习题二 解析

2 0 7

P (X ( 1 / 2 )=0 ) =P (X ( 1 / 2 )=1 )=1 / 2, 其分布函数为 0, 1, 同理, 当t =1时 X ( 1 )的分布列为 P (X ( 1 )=-1 )= P (X ( 1 )=2 )=1 / 2, 其分布函数为 0, 1, 列为      P (X ( 1 / 2 )=0, X ( 1 )=- 1 ) =P (X ( 1 / 2 )= 0, X ( 1 )= 2 ) =P (X ( 1 / 2 )= 1, X ( 1 )=-1 ) =P (X ( 1 / 2 )= 1, X ( 1 )= 2 )=1 / 4, 故二维联合分布函数为 0, x 1 <0 或 x 2 <-1, 1 / 4, 0≤x 1 <1 且 -1≤x 2 <2, / 2, 0≤x F ( 1 / 2 , 1; x x )= 1 1 <1 且 x 2 ≥2 或 1 , 2 x 1 ≥1 且 -1≤ x 2 <2, 1,
2 2 t )2  σ t )= E X( t )- mX( X(

x<0, x≥1.

F ( 1 / 2; x )= 1 / 2, 0 ≤ x<1,

x <-1, x ≥2.

F ( 1 ; x )= 1 / 2, -1 ≤ x<2,   ( 2 ) 由于在 不同时刻 投币是 相互独立 的, 故在 t =1 / 2, t =1时的 联合 分布

x 1 ≥1 且 x 2 ≥2.

  ( 3 ) mX( t )=c o s ( π t ) ・ 1 / 2+2 t ・ 1 / 2 =1 / 2c o s ( π t )+2 t, mX( 1 )=1 / 2. =c o s( π t ) ・ 1 / 2 +( 2 t )・ 1 / 2- 1 / 2 ( c o s ( π t )+2 t ) = 1 / 2 c o s ( π t )-t ,


2 σ ( 1 )= 9 / 4. X 2 2 2 2

  2. 4  E X ( t )= E A c o s (ω t )+ B s i n (ω t ) = c o s (ω t )E A+s i n (ω t )E B=0. RX( t t X ( t X ( t ) 1, 2)= E 1) 2 c o s (ω t s i n (ω t =E A 1)+ B 1) = c o s (ω t ) c o s (ω t )E A 1 2


2 2  +s i n ( ω t ) s i n (ω t )E B 1 2

A c o s (ω t )+ B s i n (ω t 2 2)

2 0 8
2 =σ c o sω ( t 1 -t 2).

第九 章 习 题解析

2. 5  mY( t ) =E Y ( t )= E X ( t )+φ ( t ) = mX( t )+ φ ( t ), BY( t t t t )- mY( t )mY( t ) 1, 2)= R Y( 1 , 2 1 2 = EY ( t ( t t t 1)Y 2)- mY( 1)m Y( 2) ( t ( t ) =E X 1)+ φ 1 t )+φ ( t  - mX( 1 1) 2. 6 由条件知 Θ 的概率密度为 f (x )= 1 / 2 π, -π< x<π, 0,

X ( t )+φ ( t 2 2) mX( t )+φ ( t 2 2)

= RX( t t ( t )mX( t )= B t t ). 1, 2)- m X 1 2 X( 1, 2

其它.
2 2 2

   R t , t +τ ) = EY ( t )Y ( t +τ )= E X( t )X ( t +τ ) Y( =E (A s i n (ω t +Θ ) )(A s i n (ω t +ω τ +Θ ) )
4 2 2 =A Es i n (ω t +Θ ) s i n (ω t +ω τ+ Θ )

A E ( 1- c o s ( 2ω t +2Θ ) ) 4
4 A E [ 1- c o s ( 2ω t +2Θ ) 4

 ・ ( 1-c o s ( 2ω t +2ω τ+2Θ ) ) =

 -c o s ( 2ω t +2ω τ +2Θ )  +c o s ( 2ω t +2Θ ) c o s ( 2ω t + 2ω τ +2Θ ) ]. E c o s ( 2ω t +2ω τ +2Θ )= 1 o s ( 2ω t +2ω τ+ 2 θ ) ・ d θ ∫c 2 π


-π π

π 1 = s i n ( 2ω t +2ω τ+ 2 θ ) =0. 4 π -π

同理可得 E c o s ( 2ω t +2Θ )= 0,  E c o s ( 2ω t +2Θ ) c o s ( 2ω t +2ω τ +2Θ ) =

-π

1 c o s ( 2ω t +2 θ ) c o s ( 2ω t +2ω τ + 2 θ ) d θ 2 π

1 = c o s ( 2ω τ ). 2 R t , t +τ )= Y(   RXY( t , t +τ )= E X ( t )Y ( t +τ ) =E A s i n (ω t +Θ ) (A s i n (ω t +ω τ +Θ ) )
2 4 A 1 1+ c o s ( 2ω τ ) , 4 2

习题二 解析
2 = A3 E s i n ( ω t +Θ ) s i n ( ω t +ω τ +Θ )

2 0 9

= A3

i n (ω t +θ ) s i n(ω t +ω τ +θ ) ・ d θ ∫s 2 π
2 -π

=0. 2. 7  E X= E Y=E Z=0 , D X= D Y= D Z=1, E X ( t )= E (X+ Y t +Z t)=0, ( t )X ( t     BX( t t 1 2) 1, 2)= E X t t ) (X+ Y t t = E (X+ Y 1 +Z 1 2 +Z 2)
2 2 2 2 2 =E X +t Y +t Z 1t 2E 1t 2E 2 2 2

=1+t 1t 2 +t 1t 2. 2. 8 ( 1 ) mY( t )=EY ( t ) =P (X ( t )≤x )+0 ・P (X ( t )>x ) =P (X ( t )≤x )= FX(x ), 即 Y ( t )的均值函数为 X ( t )的一维分布函数. ( t Y ( t ( 2 )R t t )=E Y 1) 2) Y( 1, 2 = 1 ・ 1 ・P (X ( t )≤x X ( t 1 1, 2)≤ x 2)  +1 ・ 0 ・P (X ( t ) ≤x X ( t ) 1 1, 2)> x 2  +0 ・ 1 ・P (X ( t ) >x X ( t ) 1 1, 2)≤ x 2  +0 ・ 0 ・P (X ( t ) >x X ( t ) 1 1, 2)> x 2 =P (X ( t )≤ x X ( t ), 1 1, 2)≤ x 2 即 Y ( t )的相关函数为 X ( t )的二维分布函数. 2. 9  E X ( t )X ( t +τ ) =E f ( t -Y ) f ( t +τ -Y ) = 令t -y=s , 则 E X ( t )X ( t +τ ) =- = 由于 f ( t )的周期为 T, 故 E X ( t )X ( t +τ ) =   2. 1 0 ( 1 )由S c h w a r z不等式 |B t t ) |=|E (X ( t )- mX( t ) ) (X ( t t ) ) | X( 1, 2 1 1 2)- m X( 2 ≤ E |X ( t ( t ) |E |X ( t )- mX( t | 1)- mX 1 2 2)
2 2 1/ 2

1 T

( t -y ) f ( t +τ -y ) d y . ∫f

1 T


t t t -T

t -T

f ( s ) f ( s +τ ) d s

1 T


1 T

f ( s ) f ( s +τ ) d s .

( s ) f ( s +τ ) d s . ∫f

2 1 0

第九 章 习 题解析

=σ ( t ) σ t ). X 1 X( 2
2 ( 2 ) 由( σ ( t ( t ) ) ≥ 0知 X 1)-σ X 2

  |B t t ) |≤σ ( t ) σ t ) X( 1, 2 X 1 X( 2 ≤ 1 σ 2 2 t +σ t ) . X( 1) X( 2 2

2. 1 1 由 S c h w a r z不等式 B t t )= E (X ( t -E X ( t ) (Y ( t )- E Y ( t ) XY( 1, 2 1) 1) 2 2) ≤ E |X ( t X ( t |・E |Y ( t Y ( t ) | 1)- E 1) 2)- E 2 =σ t ) ・ σ t X( 1 Y( 2).


N N 2 2 1 / 2

2. 1 2  E X ( t ) =E 6 由于 Φ ( 0, 2 π ), 故 k~U

A e k

i (ω t+ Φ ) k

k= 1

E A ・E e k

i (ω t+ Φ ) k

k =1

E e 所以

i (ω t+ Φ ) k

∫e
0 N

2π

i (ω t+ φ )

1 dφ=0, 2 π

E X ( t )= 6      BX( t t X ( t X ( t ) 1, 2)= E 1) 2


E A ・ 0=0, k

k=1

=E

A e k

i (ω t + Φ) 1 k

k=1 i E A e kA j

・6

A e j

i (ω t + Φ) 2 j

j=1

= =

6 6
k= 1 N

ω (t - t )+ ( Φ - Φ ) 1 2 k j

j=1 N

6 6
k= 1

E A ・E e kA j

( t - t )+ Φ - Φ i ω 1 2 k j

j=1

当k ≠j时, Φ 所以 k与Φ j 独立, E e 当k =j时 E e 故


N i [ω (t - t ) +( Φ - Φ ) ] 1 2 k k i [ω (t - t ) +( Φ - Φ ) ] 1 2 k j

=e

i ω (t - t ) 1 2

・E e k・E e
i ω(t - t ) 1 2

iΦ

-i Φ k

=0,

=e

B t t )= X( 1, 2

i ω (t - t ) 2 1 2 E e A k N

k= 1

=e

i ω (t - t ) 1 2

E Ak .

k= 1

2. 1 3 依题意知 E X ( t )=0, E V=0 , D V= 1, 所以 E Y ( t ) =E X ( t )+ V = E X ( t )+ E V=0,  BY( t t (X ( t )+ V ) (X ( t ) 1, 2)= E 1 2)+ V

习题二 解析
2 2 ( t X ( t ) + EV =E X =σ m i n ( t t )+1 . 1) 2 X( 1, 2)

2 1 1

2. 1 4  E X × p+0×q=p, j =1 E (X )= iX j

p, i =j ,
2 p , i ≠j , n

E Yn = E

X j =

j=1

E X p. j =n

j=1

     BY(m, n )=E Ym Yn - E Ym・E Yn


m n

=6 当 m≤n时
m n

j=1

E (X )- E Ym・E Yn . jX i

i= 1

6 6
j=1

E (X )= jX i

i=1

E (X )+ iX j

i= j

E (X ) iX j
2 2 2

i≠ j

=m p+(m n -m ) p=m n p +m p -m p, 同理, 当 m> n时


m n

6 6
j= 1

E (X =m n p +n p -n p, jX i)

i=1

故 BY(m, n )=p q m i n (m, n ).   2. 1 5  EY= E Z=1× 1 1 +( -1 )× =0 , 2 2 1 1 2 +(- 1 ) × = 1, 2 2

2 2 2 D Y= D Z= E Z -(E Z ) =1 ×

    E X ( t )= E Y c o s ( θ t )+ Z s i n ( θ t ) =c o s ( θ t )E Y+ s i n ( θ t )E Z=0, RX( t t (Y c o s ( θ t )+Z s i n ( θ t ) ) (Y c o s ( θ t )+ Y s i n ( θ t ) 1, 2)= E 1 1 2 2)


2 2 = EY ・ c o s ( θ t c o s ( θ t Z ・ s i n ( θ t ) s i n ( θ t ) 1) 2)+ E 1 2

=c o sθ ( t ), 2 -t 1
2 E X ( t )= RX( t , t ) =1<∞,

故 {X ( t ), -∞<t <∞}是广义平稳过程. 由于 X ( t )的一维分布函数与 t有 关 , 故{X ( t ), - ∞<t <∞}不 是严 平稳 过程. 2. 1 6 由题意知 W( t ) 是维纳过程, W ( t )~ N ( 0, σ| t | ) , 故 W ( e )~ N ( 0, σe ), Z ( t )~ N ( 0, σ), E X ( t ) =0, -∞<t <∞.
2 2α t 2 2α t 2

2 1 2
2α t 2α t 1 ≤e 2 , 对P t 由于e 因此 1 ≤t 2,

第九 章 习 题解析

     RX( t t X ( t X ( t ) 1, 2)= E 1) 2


- α(t + t ) 2α t 2α t 1 2 EW 1)W 2) =e ( e ( e

=e

- α(t + t ) 1 2

E W ( e 1)- W( 0 )
2α t 2α t

2α t

  (W ( e 2)- W( e 1) )+ W ( e 1) . 由于 W( t ) 为独立增量过程, 故  E W ( e 1)- W( 0 )


2α t 2α t

2α t

W( e 2)- W ( e 1)
2α t 2α t

2α t

2α t

=E W ( e 1)- W( 0 ) ・E W ( e 2)- W ( e 1) =0, 因此      RX( t t 1, 2)=e


- α(t + t ) 1 2 - α(t + t ) 1 2

E W ( e 1)
2α t

2α t

2 2α t 2

=e

DW ( e 1)+(EW ( e 1) ) .
2 -α (t - t ) 1 2

- α(t + t ) 2 2α 1 2 ・ =e σ e t1

=σe 同理, 当t 1 >t 2时

-α (t - t ) 2 1

RX( t t )=σe 1, 2 所以 RX( t t )=σe 1, 2   2. 1 7 由维纳过程的定义, 知


, .

-α |t - t | 1 2

X ( t )~ N ( 0, σt ), 所以对任意 n及0<t 有 1 <t 2 <…<t n, X ( t )~ N ( 0, σt ), i =1, 2, …, n. i i 又因为维纳过程是齐次的 独立 增量过 程, 所以(X ( t X ( t …, X ( t ) )的 联 1), 2), n 合概率密度为  f ( t t …, t x x …, x ) X 1, 2, n; 1, 2, n =
1 1 - e 2σ2t1・ 7 2 π t k=1 1σ 2 x n-1 k+1 k 1 - e 2σ2|tk+1 - tk| . 2 π | t | σ k +1 -t k (x 2 - x) 2

习题三解析
3. 1 ( 1 ) 显然{Y ( t ) }是独立增量过程, 且    P (Y ( t +τ )- Y ( t )=n )  = P (X ( t +τ )+ X t +τ )- X ( t ) -X t )= n ) 1 2( 1 2(  = P (X ( t +τ )- X t )+ X ( t +τ ) -X t )= n ) 1 1( 2 2(

习题三 解析

2 1 3

  -

P (X ( t +τ )- X t )= n-i , X ( t +τ )- X t )=i ) 2 2( 1 1( P (X ( t +τ )- X t )= n-i ) 2 2(

i =0

 =

6 6

i =0

  ・P (X t +τ )- X ( t )=i ) 1( 1

 =

i =0

i ( λ ) ( λ )n- i 1τ 2τ -λ τ -λ τ 1 ・ 2 ・ e ・ e i ! (n -i )! n

λ τ ) -λ τ (  =e ・ ,n=0, 1, 2 , … n! 故 {Y ( t ) }服从参数(λ 1 +λ 2)的泊松过程. ( 2 )E Z ( t )=E (X t )- X ( t ) )=E X t )-E X t ) 1( 2 1( 2( = ( λ ) t , 1 -λ 2      D Z ( t ) =D (X t )- X ( t ) ) 1( 2 =D X t )+ D X t )=( λ t . 1( 2( 1 +λ 2) 由于 E Z ( t ) ≠D Z ( t ), 故Z ( t )不是泊松过程. 3. 2 设{X ( t ), t ≥0 }表示到达商店的顾客数, ξ i 表示第i个顾客购物与否, 即 ξ i= 1, 第 i个顾客购物, 0, 第 i个顾客不购物.

则由题意知 ξ i =1, 2, …独立同分布, 且与{X ( t ) }独立, i, P ( ξ )= p,P ( ξ )=1-p, i =1 i =0


X(t )

因此, Y ( t )= 6

ξ i是复合泊松过程, E Y ( t ) =λ t E ( ξ )=λ p t , 1

i= 1

Y ( t )的强度 λ Y ( t ) / t =λ p. Y =E ( 2 λ ) -2λ 4 3 - 2λ 3. 3 ( 1 )P (X ( t +2 )- X ( t )=3 )= e = λe . 3 ! 3


2 3

( 2 )P= =

6 6

P (X ( 1 )- X ( 0 )=k , X ( 2 )- X ( 1 )≥3-k ) P (X ( 1 )- X ( 0 )=k )P (X ( 2 )- X ( 1 )≥3-k )


2 λ -λ -λ -λ 1-e -λ e - e 2 -λ -λ -λ 2 λ -λ -λ + e 1-e 2

k=0 2

k=0 -λ

=e

 +λ e

1-e -λ e

2 1 4
2 λ -λ 2 -e 1+ 2 λ+2 λ 2

第九 章 习 题解析

=e

-λ

1+λ +


(λ s 2) - λ s 3. 4  P (S>s S>s (X ( s ( s )=0 )= e 2= 1 +s 2| 1)= P 1 +s 2)- X 1 0! e


-λ s 2

=1- P (S≤s (S >s ). 2)= P 2 λ e 1 0,


-λ t 1

3. 5 ( 1 ) 由定理3 . 2知绿色汽车之间的不同到达时刻的概率密度为 f ( t )= , t ≥0, t <0.

  ( 2 ) 由题3. 1 知, 汽车合并成单个输 出过程 Y ( t ), 则 Y ( t )仍为泊松过程, 其到达率为 λ 故汽车之间的不同到达时刻的概率密度为 1 +λ 2 +λ 3, f t )= Y(


-(λ + λ + λ )t 1 2 3 ( λ ) e , t ≥0, 1 +λ 2 +λ 3

0,

t <0.

  3. 6 设 T X ( t ), t ≥0 }第 i -1次事 件发 生到 第 i次事 件发 生的 时 i 表示{ 间间隔, 则 T i =1, …, n相互独立且都服从均值为 1 / λ的指数分布 , i, E T i=


1 1 ,  D T  i =1, 2, …, n. i= 2 , λ λ

  ( 1 ) EWn = E   ( 2 ) DWn = D

T i =

i =1

E T i=

i =1 n

n . λ

i= 1

T i = 6

i= 1

n DT i= 2 . λ

3. 7  P (N =k )= = =


P (Y (W ′ )- Y (W )=k, W ′ - W=s ) d s


P (Y (W ′ )- Y (W )=k |W ′ - W =s )P (W ′ - W=s ) d s
k ( λ ) 2s -λ s -λ s 2・ 1d e λ e s 1 k! k


λ λ 1 2 = λ λ 1 +λ 2 1 +λ 2

3. 8 设{N ( t ), t ≥0 }表示在 [ 0, t ]区间脉冲到达计数器的个数, 令 ξ i= 则


N (t )

1, 第 i个脉冲被计数器记录, 0, 第 i个脉冲没有被计数器记录,

X ( t )=

ξ i.

i =1

根据复合泊松过程的定义知 X ( t )为泊松过程, 且 E X ( t )= EN ( t ) ・E ξ t ・p=λ p t . 1 =λ

习题三 解析

2 1 5

故X ( t )的强度为 λ p, ( λ p t )k -λ p t P (X ( t )=k )=e , k=0, 1, 2, … k!   3. 9 根据题意知顾客的到达率为 5+5 t , λ ( t )= 2 0, 0≤t <3, 3≤t <5,

2 0-2 ( t - 5 ) , 5≤t <9, mX( 1. 5 )- mX( 0. 5 )=

1. 5

( 5+ 5 t ) d t =1 0,

0. 5

-10 P (X ( 1. 5 )- X ( 0. 5 )= 0 )=e .

  3. 1 0 设 N ( t )为在时间[ 0, t ]内 的移民 户数, Y 则在 i 表示每 户的 人口数, [ 0 , t ]内的移民人数


N (t )

X ( t )= 6

Y i

i=1

是一个复合泊松过程, Y 其分布列为 i 是相互独立且具有相同分布的随机变量, P (Y=1 )=P (Y=4 )= 1 / 6, P (Y= 2 )= P (Y=3 )=1 / 3. EY=1 5 / 6 , E Y =4 3 / 6 . 根据题意知 N ( t )在5周内是强度为1 0的泊松过程, 由定理3 . 6 mX( 5 )=1 0×E Y1 =1 0× 1 5 / 6=2 5, σ ( 5 )=1 0× E Y1 =1 0×4 3 / 6= 2 1 5 / 3. X   3. 1 1 令0≤t .取 h 便得 t i 1 <t 2 <…<t n <t n+1 =t i 充分小, i +h i <t i+1( = 1, 2, …, n ).则
 P ( t …, t |X ( t )=n ) 1≤ W 1 <t 1 +h 1, n≤ W n <t n +h n = = P { [ t t ]中仅有一 个事件 , i = 1, …, n, [ 0, t ]的别处 无事件} i, i+h i P (X ( t )=n )
- m ( t -m ( t 1 +h 1) 1) e m( t + h )- m(t ) 1 1 1 2 2

( t )- m ( t ) e- … m n +h n n n (m ( t ) ) - m(t e ) n!

m (t + h )- m( t) n n n

 ・ e

n m (t )- 6 k=1

m (t +h ) -m (t ) i i i

由于 故

l i m
h →0 i

m ( t )- m ( t ) i+h i i =λ ( t ), i =1, …, n, i h i
P ( t …, t |X ( t ) =n ) 1≤ W 1 <t 1 +h 1, n ≤ Wn <t n +h n h … h 1 n

f ( t …, t |X ( t )=n )=l i m 1, n

h →0 i

=n !7
i=1

λ ( t ) i . m ( t )

2 1 6

第九 章 习 题解析

注  若没总体 X 的分布函数为 m ( x ) , x≤t , m ( t ) F ( x ) = 0, x>t , X …, Xn 为 X 的样本.则在 X ( t )= n的条 件下 , n 个事 件到达 时间 的分 布与 1, X …, X 1, n 的顺序统计量具有相同分布.

习题四解析
4. 1  1 P= 0 0 0 1
( 2)

0 0

0 0 0 , 1 0 0

1 / 3 1 / 3 1 / 3 0 0 0

1 / 3 1 / 3 1 / 3 0 0 0 0

1 / 3 1 / 3 1 / 3

4 / 9 2 / 9 2 / 9 1 / 9 0 0   4. 2  p q 0 0 P= 0 0 p q p q 0 0 0 0 p q p P =
( 2 ) 2

P = 1 / 9 2 / 9 3 / 9 2 / 9 1 / 9 . 1 / 9 2 / 9 2 / 9 4 / 9 0 0 0 1

p q p q q
2 p q p q q 2 p q p q q 2 p q p q q

2 p 2 p 2 p

  4. 3 ( 1 ) X …, X X X …, X P Xn+1 =i n +1 , n + 2 =i n+ 2 , n+ m =i n + m| 0 =i 0, 1 =i 1, n =i n = = …, Xn =i X …, Xn+ m =i P X 0 =i 0 , n, n +1 =i n+1 , n+ m X …, X P X 0 =i 0, 1 =i 1, n =i n p i p i i …p i


0 01 0 i ii n -1 n n n+1 0 1

…p i

i n+ m-1 n+ m

p i p i i …p i

i n-1 n

习题四 解析

2 1 7

X …, X P X n =i n, n + 1 =i n+ 1 , n+ m =i n+ m P X n =i n

Xn+2 =i …, X Xn =i =P X . n +1 =i n+ 1 , n +2 , n + m =i n+ m| n ( 2 ) 利用条件概率类似可得. |X , 1< X<4 4. 4  P X 2 =4 0 =1 = = = 1< X , X P X 0 =1, 1 <4 2 =4 =1 , 1< X <4 P X 0 1 P (X X X )+P (X X X ) 0 =1, 1 =2, 2 =4 0 =1, 1 =3, 2 =4 P (X X )+P (X X ) 0 =1, 1 =2 0 =1, 1 =3 P 1P 1 2P 24 + P 1P 1 3P 3 4 P P + P P 1 12 1 1 3

1 / 4×1 / 4 ×1 / 4+1 / 4×1 / 4 ×3 / 8 5 = = . 1 / 4 ×1 / 4+1 / 4×1 / 4 1 6 类似地 | 1< X P X 9 / 6 0, 2 =4 1 <4 =1 故 |X 1< X 4 ≠P X 4 | 1< X P X 2 =4 0 =1, 1< 2 = 1 <4 .   4. 5  由 题 意 Yn = X Yn-1 知 Yn 是(X …, X 由于 X n - C 1, n)的 函 数, 1, X …, Xn , …是相互独立的随机变量, 故对P n ≥0 , X Y0 , Y …, Yn)独 2, n +1 与( 1, 立. |Y0 =0, Y …, Yn =i   P Yn+1 =i n+ 1 1 =i 1, n = P Yn+1 + C Yn =i i |Y Y …, Y n +1 + C n 0 =0, 1 =i 1, n =i n i |Y 0, Y …, Y =P X n+ 1 =i n+ 1 + C n 0= 1 =i 1, n =i n i =P X n+ 1 =i n+ 1 + C n i |Y =P X n+ 1 =i n+ 1 + C n n =i n |Yn =i = P Yn+1 =i . n+ 1 n 由i k =1, 2, …, n+1的任意性知{Yn , n≥0 } 为马尔可夫链. k, 0. 2 5 0 . 3 7 5 0. 3 7 5 4. 6  P = 0. 3 7 5 0. 2 5 0. 3 7 5 , 0. 3 7 5 0 . 3 7 5 0. 2 5 p ( 3 ) =0. 2 5. 3   4. 7  P ( 1 )= ( 0 . 4 2, 0. 2 6, 0. 3 2 ) ,
T P ( 2 )=( 0. 4 2 6, 0. 2 8 8, 0. 2 8 6 ). T   4. 8  P 0 = T ( 3)

1 5 9 , , 2 42 4

2 1 8

第九 章 习 题解析

P =

(3 )

0. 6

0. 4

0. 6 2 0 . 3 8

P( 3 )= 0. 6 1, 0 . 3 9 .   4. 9 I = 1, 2, …, 9 . 0 1 / 2 0 0 P= 1 0 1 / 2 0 0 1 / 2 0 1 0 0 1 / 2 0 0 0 0 0 1 / 3 0 0 0 1 / 2 0 0 0 1 0 1 / 3 0 1 0 1 / 2 0 1 0 0 0 1 / 3 0 . 0

C 2, 3, 4 ,C 6, 7 , 8, 9 两个闭集. 1 = 1, 2 = 5,   4. 1 0 ( 1 )C 2, 3 , C 5 两个遍历状态闭集. 1 = 1, 2 = 4, ( 2 ) C= 1, 2 , 3 遍历闭集, N= 4 非常返态. ( 3 )C C N= 1 , …, b-1 是非常返集. 1= 0 , 2 = b 是吸收态闭集,


( 1 ) (2 ) ( 3 ) (1 ) ( 2) ( 3 ) 4. 1 1 ( 1 )f / 2, f / 6, f / 9; f / 2 , f / 4, f 1 1 =1 11 =1 1 1 =1 12 =1 1 2 =1 1 2 = (1 ) (2 ) ( 3) ( 1) ( 2 ) (3 ) 2 1 / 8; ( 2 )f f 0, f f f f 11 = p 1, 11 = 1 1 =q 1q 2q 3; 1 2 =q 1, 1 2 =p 1q 1, 12 = p 1q 1.

4. 1 2  N= 1 , 2 非 常返 集, C 4, 5 , C 7 是 正 常返 闭 集.由 1 = 3, 2 = 6, 转移矩阵 0. 6 0. 4 0. 4 0 0 0. 6

0. 2 0. 5 0. 3 解得 C , 0, 1 0 / 2 3, 7 / 1 3, 6 / 2 3, 0, 0 . 1 的平稳分布 0 同理 C 0, 0, 0, 0 , 8 / 1 5, 7 / 1 5 . 2 的平稳分布为 0, 4. 1 3 π j= p 1 …p j-1 π j ≥1, 0, q 1 …q j π 0= 1 p k 1+ 6 7 q k+1 j=1 k =0


∞ j -1

  4. 1 4 {Xn , n≥0 }的转移概率为 2N-i i p P , p , i = 0, 1, …, 2N. i i =0, i, i+ 1 = i, i-1 = 2N 2N

习题四 解析

2 1 9

其平稳分布{ π j =0, 1, …, 2N }满足方程组 j, 1 π π, 0= 2N 1 2N-j + 1 j +1 π +π ,  1≤j ≤ 2N-1, j =π j-1 j+1 2N 2N 1 π π . 2N = 2N 2N -1 解此方程组得


j π j =C 2 Nπ 0.

由条件

π j =1得
2N j 2N 1=π C 06 2 N =2 π 0, j=0 -2N π . 0 =2

故 {X n≥0 }的平稳分布为 n,
j -2 N π , j =0, 1, 2, …, 2N. j =C 2 N2

  4. 1 5 ( 1 ) 1 / 3 2 / 3 0 的, 故 X 为遍历链. n ( 3 ) 由平稳分布满足的方程组 1 2 π π+ π, 0= 3 0 9 1 2 5 2 π π+ π+ π, 1= 3 0 9 1 3 2 2 1 π π+ π, 2= 9 1 3 2 π 0 +π 1 +π 2 =1. 解方程组得: π 0=


n→ ∞

P= 2 / 9 5 / 9 2 / 9 . 2 / 3 1 / 3   ( 2 ) 由于 I = 0, 1, 2 是有限的, I中所有状态是互通的 , 且状态0是非周期

1 3 1 , π= , π= . 5 1 5 2 5
(n ) 1 (n ) 2 n→ ∞ n→ ∞

l i mp 1 / 5, l i mp 3 / 5, l i mp =π / 5. i =π 0= i =π 1= i 2 =1

(n )

  4. 1 6 ( 1 ) 用归纳法.设当 n= m 时 , 对一切 j ∈I , 都有 6 p 则 i j =1,


( m) i∈ I

(m+1 ) i j

i∈ I

i∈ I

p p k j

( m) i k

k∈ I

2 2 0

第九 章 习 题解析

= =

6 6

p k j

k∈ I

( m) p i k

p k j =1.

k∈ I

( 2 ) 由条件知{X ( n ), n≥1 }为 非 周 期不 可 分 马 尔 可夫 链, 且 状态 空 间 有 限, 故{X ( n ), n≥1 }为遍历链, 因此 l i mp i j =π j=


n→ ∞ m m (n ) p i j = (n )

1 >0, j ∈I . μ j

所以    l i m6
n→ ∞

i=1

6 6

(n ) l i mp i j n→ ∞

i=1 m

i=1

1 m = =1, μ μ j j

μ j =1, 2, …, m. j = m, 5 6 9 4 9 2 3 1   4. 1 7 ( 2 )π , π= , π= , π= . 1= 2 7 3 2 2 7 3 3 2 7 3 4 2 7 3 ( 3 )μ 8. 8 (天). 4= 4. 1 8 ( 1 ) 从状态转移图看出, 状态空间可分解为 两个不可 约常返 闭集 C 1 ={ 2 , 3, 4 }和 C 5, 6 }.一个非常返集 N={ 1 }.在 C 2 ={ 1 上对应的转移概率矩阵 为 0 0 其平稳分布满足 π 2 π 1 =0. 2, π 5 π 2 =0. 2 +π 3, π 3 =π 1, π 1. 1 +π 2 +π 3= 解上述方程组得 C 1 / 4, 1 / 2, 1 / 4 ), 故原状态空间对应 于 C 1 上的平稳分布为( 1上 的平稳分布为( 0, 1 / 4, 1 / 2, 1 / 4, 0, 0 ). 类似可得 C ( 0, 0, 0, 0, 1 / 2, 1 / 2 ). 2 上的平稳分布为 ( 2 ) 由 C-K 方程

0 1

1 0

P= 0. 5 0. 5 0 ,

p = 由 ( 1 )知

(n ) 1 4

(n - 1 ) ( n-1) (n - 1 ) ( n- 1 ) p =p +p +p , 1kp k 4 11 p 14 1 2p 2 4 1 3p 3 4

k= 1

l i mp i mp 1 4 =p 1 1l 1 4
n→ ∞ n→ ∞

(n )

( n-1)

+1 / 4 ( p ), 12 + p 13

习题五 解析
(n ) l i mp / 9 . 1 4 =1 n→ ∞

2 2 1

  ( 3 ) 由于2∈ C 5 ∈C C 故 1, 2, 1与 C 2 是基本常返闭集, l i mp . 25 =0


n→ ∞ (n )

习题五解析
5. 1 科尔莫戈罗夫向前方程为 p ′ ( t )=-λ p ( t )+λ t ) ,j ≥i +1, i j j i j j-1 p i, j-1( p ′ ( t )=-λ p ( t ), i i i i 上述微分方程的解由初始条件: p ( 0 )= i i p ( t )=ei , i i p ( t )=e i j
-λt j λt

1, i =j , 得 0, i ≠j

∫e λ
λs j 0

j -1

p ( s ) d s ,j≥ i+1 . i, j -1

  5. 2 科尔莫戈罗夫向前方程为 p ′ ( t )=-p ( t )+ i j i j 由于状态空间 I ={ 1, 2 , 3 }, 故 p ( t ) +p t ) +p t )=1, i j i, j -1( i, j+1( 所以 1 p ′ ( t ) =- p ( t ) + ( 1- p ( t ) ) i j i j i j 2 =- 解上述一阶线性微分方程得


-3/ 2t p ( t )=c e + i j

1 1 p ( t )+ p t ), i, j- 1 i, j+1( 2 2

3 1 p( t )+ . 2 ij 2 1 . 3

由初始条件 p ( 0 ) = i j 确定常数 c , 得 1 1 -3/2t - e , i ≠j , 3 3 1 2 -3/2t + e , i =j . 3 3 1, i =j , 0, i ≠j

p ( t ) = i j 故其平稳分布

2 2 2

第九 章 习 题解析

π l i mp ( t )=1 / 3, j =1, 2, 3. j= i j
t→ ∞

  5. 3 ( 1 ) 由 题 意 知 N( t )是 连 续 时 间 的 马 尔 可 夫 链, 其 状 态 空 间 I= { 0 , 1 , …, M }.设时刻 t有i台车床工作 , 且在( t , t +h ]内又有一台车床开 始工 作, 则 在 不 计 高 阶 无 穷 小 时, 它 应 等 于 原 来 停 止 工 作 的 M -i台 车 床 中 , 在 ( t , t +h ]内恰有一台开始工作.于是 p h )=(M-i ) λ h+o (h ),i =0, 1, …, M-1. i, i+1( 类似地 p h )=i μ h +o ( h ), i =1, 2, …, M, i, i-1( p ( h )=o (h ), | i -j |≥2. i j 显然{N ( t ), t ≥ 0 }是生灭过程.其中 λ )λ h, i =0, 1 , …, M-1. i =(M -i μ μ h, i =1, 2 , …, M. i =i 由 ( 5 . 1 4 )知它的平稳分布为 π 0 = 1+
j    π j =C M

λ μ

- M

μ λ +μ

j π μ 0 λ j μ λ + μ λ+μ
1 0 M- j

=Cj M

, j =1, 2, …, M.
1 0 j

( 2 )P (N ( t )> 5 ) =

j=6

π C j= 6 1 0
j= 6

6 0j 3 0 10- j 9 0 9 0

=0. 7 8 09. 5. 4 由题意知{X ( t ), t ≥0 }是时 间 连 续的 马 尔可 夫 链, 其 状 态 空 间 I= { 0 , 1 , 2, 3 }. -λ Q= μ 0 0 λ -( λ+ μ ) μ 0 0 λ - (λ +μ ) μ 0 0 λ -μ .

由定理5. 7知绝对概率 p ( t )满足科尔莫戈罗夫方程 j p ′ ( t )=-λ p ( t )+μ p t ), 0 0 1( p ′ ( t )=λ p ( t )-( λ+μ ) p t )+ μ p ( t ), 1 0 1( 2 p ′ ( t )=λ p ( t )-( λ+μ ) p t )+ μ p ( t ), 2 1 2( 3 p ′ ( t )=λ p ( t )-μ p t ), 3 2 3( 初始条件: p 0 )=1, p ( 0 )=0, j =1, 2 , 3. 0( j

习题五 解析

2 2 3

  5. 5 ( 1 ) 由题意知 {X ( t ), t ≥0 }是时间 连续 的马尔 可夫 链, 其状态 空间 I = { 0 , 1, …, m }, -m λ Q= m μ … 0 m λ … 0 0 … 0 … … 0 0 … 0 0 … . -m ( λ +μ ) m λ …

m μ -m μ

  ( 2 ) 由定理5. 7知绝对概率满足科尔莫戈罗夫方程 p ′ ( t )=- m λ p t )+ m μ p ( t ), 0 0( 1 p ′ t )= m λ p t )- m ( λ+μ )p ( t )+ m μ p t ),  0 <j < m, j( j-1( j j+1( p ′ t )= m λ pm -1( t )- m μ pm( t ), m( p 0 )=0 . 0(   ( 3 ) 由于l i mp ( t )= p (常数) , 故由( 2 )可解出 p j =0, 1, …, m. j j j,
t→ ∞

5. 6 设服务员的服务时间为 T, 则由题意知 T 服从指数分布, 其概率 密度 为 f ( t )=


-μ t μ e , t >0,

0,

t ≤0.

记在[ 0, t ]内到达的顾客数为 X ( t ), 则 ( λ t ) - λt P (X ( t )=n )= e ,n=0 , 1, 2, … n!   ( 1 ) 在服务员的服务时间内到达顾客的平均数 E E (X ( t ) |T=t ) =

∫ 6
0 ∞ 0

n=0

n ( λ t ) -λ t -μ t n e μ e d t n! -μ t

t ・μ e ∫λ

d t =

λ . μ

( 2 ) 在服务员的服务时间内无顾客到达到的概率为         p 0=

∫e

-λ t

・μ e d t μ d t = . μ +λ 1 - (y2- y1)2/2 e d y 2 2 π 1 - u2/2 e d u 2 π


Φ (α )

-μ t


μ e

-( μ+ λ )t

5. 7  P (B ( 1 )<α , B ( 2 )>0 ) =P (B ( 1 )<α , B ( 2 )>0 |B ( 0 )=0 ) = =

∫ ∫ ∫

-∞ α

1 - y2 e 1/2d y 1 2 π 1 - y2 e 1/2d y 1 2 π


-∞ α

-y 1

Φ ( y dΦ ( y )= 1) 1

-∞


y d y =

1 Φ ( α ) 2. 2

2 2 4

第九 章 习 题解析

习题六解析
6. 1 ( 1 )E X ( t )= 1 o s (ω t +θ ) ・ d θ =0. ∫c 2 π
0 2π 2π

( 2 )R t +τ, t ) =E X ( t +τ )X ( t ) X( = 1 o s (ω t +ω τ +θ ) c o s (ω t +θ ) ・ d θ ∫c 2 π

1 = 4 π


2 π

c o s (ω τ ) +c o s ( 2ω t +ω τ +2 θ )d θ

1 = c o s (ω τ ),  与 t无关. 2 ( 3 ) E |X ( t ) | = RX( 0 )=1 / 2 <∞.


由 ( 1 ), ( 2 ), ( 3 )知{X ( t ) }是平稳过程. 6. 2 ( 1 ) 由于正态随机变量的线性函数仍为正态随机变量, 且 E X ( 1 )= E (- A )=0, D X ( 1 )= D (- A )= D A=σ , E X D X X ( 1 )和 X 1 2 =E A =0, 4 2


2 1 1 σ = D 2A = DA= , 4 2 2 2

1 的概率密度分别为 4 f ( 1; x )= x e x p- 2 , x∈R, 2 σ 2 π σ 1 x e x p - 2 , x∈R. σ π σ


f ( 1 / 4; x )=

  ( 2 )R t +τ, t ) =E A c o s ( π t +π τ ) ・A c o s ( π t ) X(
2 =σ c o s ( π t ) ・ c o s ( π t +π τ ),

即R t +τ , t )与 t有关 , 故{X ( t ) }是非平稳过程. X( 6. 3 由于 A 服从瑞利分布 , 故    E A=


∞ 2 x x x ・ 2e x p- 2 d x 2 σ σ ∞ 2 2 x x x ・ e x p- 2 d- 2 2 σ 2 σ 2 ∞ 0


=-


x =- x ・ e x p - 2 2 σ


x e x p- 2 d x 2 σ

习题六 解析

2 2 5
∞ 2 x e x p - 2 d x 2 σ +∞


= =

1 2

-∞

x e x p- 2 d x 2 σ
+∞ - 2 x. e 2σ d 2 π σ

2 π σ 2

2 x

-∞

由于被积函数是标准正态随机变量的概率密度, 故


所以

+∞

-∞

1 - x2 e 2σ dx =1, 2 π σ

E A= E A= x 令y = 2, 则 2 σ E A =2 σ 故
2 2 2

π σ , 2


x 2 x x・ 2e x p - 2 d x . 2 σ σ


2 0

y e d y =2 σ,

-y

π 2 4-π 2 2 2 2 D A=E A -(E A ) =2 σ- σ= σ. 2 2   ( 1 )E X ( t )= E A c o s (ω t +Θ ) =E A ・E c o s (ω t +Θ )= ・ o s (ω t +θ ) ・ d θ =0. ∫c 2 π


0 2π

π σ 2

2 ( 2 )R t +τ, t ) =E A ・E c o s (ω t +ω τ +Θ ) ・ c o s (ω t +Θ ) X(

1 2 2 = ・ 2 σ ・ c o s (ω τ )=σ c o s (ω τ ), 2 与 t无关.
2 2 ( 3 )E |X ( t ) | = RX( 0 )=σ <∞.

综合( 1 ), ( 2 ), ( 3 ) 知{X ( t ) } 是平稳过程. 6. 4 ( 1 )E X ( t )= 为 T 的连续实函数, 故 E X ( t ) = 为常数. 1 T ( y ) d y ∫f


0 T

( t +θ ) ・ d θ = ∫f ∫ T
0 t

t +T

1 f ( y ) ・ d y , 由于 f (x )是周期 T

2 2 6

第九 章 习 题解析

    RX( t +τ , t )= E X ( t +τ )X ( t ) = ( t +τ +θ ) f ( t +θ ) ・ d θ ∫f T
0 T

= = 与 t无关, 且

1 T 1 T


t 0

t +T

f ( y+τ ) f ( y ) d y

( y+τ ) f ( y ) d y ∫f 1 T

2 E |X ( t ) | =R 0 ) = X(

) d y<∞, ∫ f(y
2 0

因此{X ( t ) }是平稳过程. ( 2 ) 由( 1 )知 RX( τ )= 1 T (y +τ ) f ( y ) d y . ∫f


0 T

  6. 5 由于 X ( t )与 Y ( t )是相互独立平稳过程, 故 E Z ( t )= E [X ( t )Y ( t ) ]= E X ( t ) ・E Y ( t ) = mX・mY ,    R ( t +τ , t )= E X ( t +τ )Y ( t +τ )X ( t )Y ( t ) Z =E X ( t +τ )X ( t ) ・Y ( t +τ )Y ( t ) =E X ( t +τ )X ( t ) ・E Y ( t +τ )Y ( t ) = RX( τ ) ・RY( τ ), 与 t无关.


2 E |Z ( t ) | = RZ( 0 ) = RX( 0 ) ・RY( 0 )<∞,

因此 Z ( t )为平稳过程. 6. 6 ( 1 ) 对给定 T>0和任意 t , 由题意知  D X ( t +T )- X ( t ) =E X ( t +T ) -X ( t ) -(E X ( t +T )- X ( t ))


2 2 =E X ( t +T )+ E X ( t )-2E X ( t +T )X ( t ) -0 2 2

=2RX( 0 )- 2R (T )= 0, X 由契比雪夫不等式, 对P ε >0 P |X ( t +T )- X ( t ) |≥ε ≤ 即对P t , X ( t +T )以概率1等于 X ( t ). ( 2 ) 由于 X ( t )是实平稳过程, 对给定 T 和 P t由( 1 )式得 D [X ( t +T )- X ( t ) ] =0, 2 ε

习题六 解析

2 2 7

 E X ( t +T+τ )- X ( t +τ )2 =D X ( t + T+τ )- X ( t +τ )  +(E X ( t + T+τ )-X ( t +τ )) =0+0 =0, 因此,  |RX( t +T )- RX( t ) | =|E X ( t + T+τ )X ( τ ) -E X ( t +τ )X ( τ )| =|E (X ( t + T+τ )- X ( t +τ ) )X ( τ )| ≤(E X ( t + T+τ )- X ( t +τ ) ・E X( τ ) ) =0, 所以 RX( τ +T )= RX( t ). 6. 7 ( 1 ) EY ( t )= E X ( t +1 )- X ( t ) =E X ( t +1 )- E X ( t ) =α +β ( t +1 )-( α +β t ) =β , 与 t无关. ( 2 )R t +τ , t )=E X ( t +τ +1 )- X ( t +τ ) Y(   ・ X ( t +1 ) -X ( t ) =RX( t +τ + 1, t +1 )- RX( t +τ , t +1 )  - RX( t +τ +1, t )+ RX( t +τ , t ), 由于 B t t )=e X( 1, 2
-λ |t - t | 1 2 2 2 1 / 2 2 2

, 故

     RX( t t ( t t )+ mX( t t 1, 2)= B X 1, 2 1)m X( 2)


- λ|t - t | 1 2 + =e ( α+β t ) ( α +β t 1 2),

因此
|τ | -λ |τ-1| -λ |τ+1 | 2 RY( t +τ , t )=2 e- λ -e -e +β

= RY( τ ) .与 t无关 . ( 3 )E |Y ( t ) | = RY( 0 )=2-2 e +β <+∞. 由 ( 1 ), ( 2 ), ( 3 )知 Y ( t )为平稳过程. 6. 8 ( 1 ) RXY( τ )= E X ( t +τ )Y ( t ) =E X ( t +τ ) ( a X ( t -τ ( t ) ) 1)+ N =a RX( t +τ ( τ ). 1)+ R XN ( 2 )R τ )= E X ( t +τ )N ( t ) =E X ( t +τ ) ・EN ( t )=0 XN( R τ )= a R τ +τ XY( X( 1).
k k 2 -λ 2

6. 9 ( 1 ) EY n =E

a lX n- l =

l= 0

a ・E X 0. l n- l =

l= 0

2 2 8
k k

第九 章 习 题解析

( 2 )R n+ m, n )= E Y(

a lX n+ m - l

l=0

a lX n-l .

l= 0

由条件知 E X D Xn=1 , Xn 相互独立, 故 n =0, E X 珚 X i j= 所以 RY(n+ m, n )=


0, i ≠j , 1, i =j ,

a a m | ≤k, ma 0 +a m+1a 1 +…+ a k k- m , 0≤| 0,


|m |>k .

  ( 3 )E |Yn| = RY(n, n ) =

a i <+∞.

i=0

故由( 1 ), ( 2 ), ( 3 ) 知{Y }是平稳过程. n 6. 1 0 由于 N ( t )是泊松过程, 故 mN( t ) =λ t , RN( s , t )= 所以 E X ( t )= E N ( t +L )- N ( t ) =λ ( t +L )-λ t =λ L, RX( t +τ, t )= E N ( t + L+τ )- N ( t +τ ) N ( t +L )- N ( t ) = RN( t + L+τ , t +L )- RN( t + L+τ, t )  - RN( t +τ , t +L )+ RN( t +τ, t ), 当 τ≥ L 时   RX( t +τ , t )=λ ( t +L )λ ( t + L+τ )+1  -λ tλ ( t +L+τ )+1  -λ ( t +L )λ ( t +τ )+1 +λ tλ ( t +τ )+ 1 =λ L . 同理可得 λ L -λ τ +λ L, 0≤τ < L,
2 2 RX( t +τ , t )= λ L +λ τ +λ L, - L<τ<0, 2 2 2 2

λ s ( λ t +1 ), s ≤t , λ t ( λ s +1 ), s >t .

λL, 所以

τ≤- L.

B ( t +τ , τ )= RX( t +τ, t )-E X ( t +τ ) ・E X ( t ) X = λ (L-| τ | ), | τ |< L, 0, | τ |≥ L.

6. 1 1  X ( t )为维纳过程, 则

习题六 解析
2 mX( t ) =0,   RX( s , t )=σ ( m i n ( s , t ) ), s , t ≥0 .

2 2 9

  ( 1 )E Y ( t )= E


X ( s ) d s=


E X ( s ) d s =0.

( 2 )R t +τ , t )=E Y ( t +τ )Y ( t ) Y( =E = = 当 τ≥0时 RY( t +τ , t )=σ


2 2


0 t +τ t +τ

t +τ

X ( s ) d s ・

( u ) d u ∫X

( s )X (u ) d u d s ∫ ∫ EX
0 0

, u ) d u d s . ∫ ∫ R (s
X 0 0 t t+τ u t t

∫∫

u d sdu+

du d s ∫ ∫s
0 s

=σ

1 3 1 2 t + tτ , 与 t有关 . 3 2

故 {Y ( t ), t ≥ 0 } 是非平稳过程. 6. 1 2 ( 1 ) 不是, 因为 RX( 0 )=6≠σ 5. X = ( 2 ) 不是, 因为 RX( 0 )=0 ≠σ X =5. ( 3 ) 不是, 因为不满足|RXY( 0 ) | ≤|RX( 0 )RY( 0 ) |. ( 4 ) 不是, 因为 RY( 0 )<0 . ( 5 ) 不是, RY( 0 )= l i mRY( τ ) =5≠σ Y.
τ→ 0 2 ( 6 ) 是, RY( 0 )= l i mRY( τ )= 1 0=σ Y . τ→ 0 -|τ | / 2 6. 1 3  BX( t +τ , t )= B ( τ )= RX( τ )=6 e . X 2 2 2

故B τ )为 τ的偶函数 , 所以协方差阵为 X( 6 6 e 6 e   6. 1 4 ( 1 ) 充分性      E X ( t )=E U c o s (λ t )+ V s i n ( λ t ) = c o s ( λ t ) ・E U+ s i n ( λ t ) ・E V= 0, RX( t +τ , τ )= E X ( t +τ )X ( t ) =E U c o s ( λ t +λ τ )+ V s i n ( λ t +λ τ )  ・ U c o s ( λ t )+ V s i n (λ t ) =c o s ( λ t +λ τ ) c o s ( λ t ) ・E U


2 -1 /2 -1 -1 /2 6 e

6 e-1 6 e
-1 / 2

-3 / 2 6 e

6 6 e
-1 /2 -1

6 e 6 e

-1

6 e

6 6 e
-1 / 2

-1 / 2

-3 /2

6 e

2 3 0

第九 章 习 题解析

 + c o s ( λ t +λ τ ) s i n ( λ t )+ s i n ( λ t +λ τ ) c o s ( λ t ) E (UV )
2  +s i n ( λ t +λ τ ) s i n ( λ t ) ・E V 2 =σ c o s ( λ τ ), 与 t无关 .

E |X ( t ) | =R τ , τ )=σ <∞, X( 故知{X ( t ) }为平稳过程. ( 2 ) 必要性  X ( t )是平稳过程. 由E X ( t )=c o s ( λ t ) ・E U+s i n ( λ t ) ・E V=常数, 可知 EU=E V=0.
2   由 RX( t +τ , t )= RX( τ ) , 特别 RX( t , t )=常 数, 可 推得 EV = EU2 , EU V

= 0, 故 U 与 V 是互不相关 、 均值为零且方差相等的随机变量. 6. 1 5 ( 1 ) RXY( τ )= E a c o s (ω t +ω τ +φ ) ・ b s i n (ω t +φ ) = 1 a b Es i n ( 2ω t +ω τ +2φ )- s i n (ω τ ) 2 1 a b s i n (ω τ ) . 2

=-

  ( 2 )R τ )= E b s i n (ω t +ω τ +φ ) ・ a s i n (ω t +φ ) YX( = = 1 a b Es i n ( 2ω t +ω τ+2φ )+ s i n ( ω τ ) 2 1 a b s i n (ω τ ). 2 +E B ( t ) s i nt =0. ( 2 )R ( t +τ , t )= E X ( t +τ )+ Y ( t +τ ) Z X ( t )+ Y ( t ) = RX( t +τ , t )+ RY( t +τ , t )  + RXY( t +τ, t ) +R ( t +τ , t ) YZ = RA( τ ) c o s ( t +τ ) c o st +R τ ) B(  s i n ( t +τ ) s i nt +0+0 = RA( τ ) c o sτ , 只与 τ有关 . ( 3 )E | Z ( t ) |=R ( 0 )= RA( 0 )<∞. Z 由 ( 1 ), ( 2 ), ( 3 )知{ Z ( t ) }是平稳过程. 6. 1 7 ( 1 )E Z ( t )=
2 π 2

  6. 1 6 ( 1 )E Z ( t ) =E X ( t )+ Y ( t ) =E A ( t ) c o st

∫e

i (ω t+θ ) 0

1 ・ d θ 2 π

1 = 2 π


2π

c o s (ω +θ ) + i s i n (ω +θ ) d θ 0t 0t

=0.

习题六 解析

2 3 1

( 2 )R ( t +τ , t )= E Z ( t +τ )Z ( t ) Z =

∫e

2π

i ( ω t+ ω τ + θ ) 0 0

-i (ω t+ θ ) 1 0 e ・ d θ 2 π

∫e
0 i ω τ

2π

iω τ 0

1 ・ d θ 2 π

=e 0 , 与 t无关. ( 3 )E | Z ( t ) |=R ( 0 )=1. Z 由 ( 1 ), ( 2 ), ( 3 )知 Z ( t )为复平稳过程. t +τ ) 6. 1 8 ( 1 ) RZ Z ( t +τ , t )= E X 1(


1 2 2

Y1( t +τ )  +i = RX
X 1 2

X ( t )+i Y ( t ) 2 2
1 Y 2

( t +τ , t )+ RY
Y 1 2

( t +τ, t )
X 1 2

 -i RX ( 2 ) 若所有实过程都互不相关, 则 RX
X 1 2

( t +τ , t )+i R Y ( t +τ , t ) ( t +τ , t )

( t +τ , t ).

( t +τ , t )= RY = RX = RY
1 2

Y 1 2 Y 1 2 X 1 2

( t +τ , t ) =0,

RZ Z ( t +τ , t )=0.
2   6. 1 9  E |Y | =E


a a

a +T

X ( t ) d t
a+ T

=E

( s ) d s ( t ) d t ) ∫ X ∫ (X = s , t ) d s d t , ∫ ∫ R(
a a+ T a+ T X a a ( 2 a+2 T )-| τ |

a+ T

令τ +s , τ -t , 则 1 =t 2 =s
2 E |Y | =

1 2

∫ ∫
-T T -T

2a +| τ | 2

RX( τ ) d τ 2 1 d τ 2

(T-| τ | )RX( τ ) d τ .

6. 2 0 记 Z ( t )= W ( t ) +Y ( t ), 则Z ( t )的相关函数 RZ( t +τ, t )= E Y ( t +τ )+ W( t +τ ) Y ( t )+ W ( t ) = RY( t +τ , t )+ RY W( t +τ , t )  + RW Y( t +τ, t )+ RW( t +τ, t ) 1 = c o s (ω ) ・RX( τ ) 0τ 2

2 3 2

第九 章 习 题解析

1  + c o s (ω -ω ) ・RX( τ ) 0τ 1t 2 1  + c o s (ω +ω +ω ) ・RX( τ ) 0τ 1t 1τ 2 1  + c o s (ω +ω ) ・RX( τ ), 0τ 1τ 2 当 τ=0时, RZ( t , t ) =R 0 ) ・ c o s (ω )+ RX( 0 ), 与 t有关. X( 1t 故 W( t )+ Y ( t )为非平稳过程. 6. 2 1 ( 1 )E X ( t ) =E A ・ s i n ( λ t ) +E B ・ c o s ( λ t )=0. 1   〈X ( t ) 〉= l . i . m T→ ∞ 2 T 1 = l . i . m T→ ∞ 2 T

∫ ∫

X ( t ) d t A s i n ( λ t )+B c o s ( λ t )d t

-T T

-T

1 = l . i . m ×2 T→ ∞ 2 T


B c o s (λ t ) d t

s i n ( λ T ) = l . i . m B, T→ ∞ λ T 由于 B~ N ( 0, σ), 故 l i mE
T→ ∞ 2

s i n ( λ T ) s i n( λ T ) 2 B-0 =l i m 2 2 E B λ T T→ ∞ λT s i n( λ T )2 =l i m 2 2 σ =0 . T→ ∞ λT

s i n ( λ T ) 即 B均方收敛于 0, 故X ( t ) 的均值是各态历经的. λ T ( 2 )E X ( t ) = E As i n( λ t )+Bc o s(λ t )  + 2A B s i n ( λ t ) c o s ( λ t ) =σ , 1 2     〈X ( t ) 〉 = l . i . m T→ ∞ 2 T 1 = l . i . m T T→ ∞ 2 1 = l . i . m T T→ ∞ 2


2 2 2 2 2 2

∫ ∫ ∫

T 2 X ( t ) d t

-T T

As i n( λ t )+ Bc o s( λ t )

-T

 +2A B s i n ( λ t ) c o s ( λ t )d t
T -T 2 2 2 2 A +B B -A + c o s ( 2 λ t ) 2 2

 + A B s i n ( 2 λ t )d t =
2 由条件知 A~ N ( 0, σ ), 故

A +B , 2

A A2 2 2 4 1 ), D 2 =2, D A =2 σ . 2 - χ( σ σ

习题六 解析

2 3 3

E D

1 2 1 2 2 2 2 (A + B) = (E A +E B)=σ , 2 2

1 2 1 2 2 2 4 (A + B) = (D A +D B)=σ ≠0, 2 4

因此 X ( t ) 的均方值 E X ( t ) 非各态历经. ( 3 ) 将 A, B代入( 2 )中得 〈X( t ) 〉 =σ = E X ( t ) , 故E X ( t ) 是各态历经的. 6. 2 2  E X ( t ) = 1 ( t +θ ) ・ d θ ∫f T


0 T 2 2 2 2

1 = T


t +T

f ( y ) d y=

1 T

( θ ) d θ , ∫f

1      〈X ( t ) 〉= l . i . m T T → ∞2 1 1 = l . i . m
T → ∞ 1


T 1 0

T 1

f ( t +Θ ) d t

-T 1

1 T 1

f ( t +Θ ) d t ,

令T T+ T ′ , 0≤ T ′ <T, 则 1 =n 1 〈X ( t ) 〉 = l . i . m n→ ∞ n T+ T ′ n = l . i . m T+ T ′ n→ ∞ n = 1 T
T 0


0 T 0

nT

f ( t +Θ ) d t +

nT+ T ′

f ( t +Θ ) d t

nT

( t +Θ ) d t ∫f

( t +Θ ) d t , ∫f

对 Θ 的任意取值θ ∈[ 0, T ], 由于       1 T 1 ( t +θ ) d t= ∫ ∫f T
0 0 T T+ θ

f ( s ) d s

= 故X ( t )是均值遍历的. 同理

1 T

( s ) d s =E X ( t ), ∫f

1 〈X ( t +τ )X ( t ) 〉= l . i . m T →∞ 2 T 1 1 = l . i . m
T →∞ 1


T 1 0

f ( t +Θ ) f ( t +τ +Θ ) d t f ( t +Θ ) f ( t +τ +Θ ) d t

-T 1

1 T 1

1 T

( t +Θ ) f ( t +τ +Θ ) d t . ∫f

对 Θ 的任意取值θ ∈[ 0, T ], 由于

2 3 4

第九 章 习 题解析

  =

1 T 1 T

( t +θ ) f ( t +τ +θ ) d t ∫f

( s ) f ( t +τ ) d t = R( τ ), ∫f
X 0

故X ( t )相关函数是遍历的.总之, X ( t ) 是遍历过程.

习题七解析
7. 1 由谱密度的性质知: 谱密度 是实的 偶函 数, 对于 有理谱 分母 的次 数大 于分子次数, 且分母无实根. ( 3 ) 分母有 实根, ( 5 ) 不 是 实函 数, 故( 1 ), ( 2 ) , ( 4 ) 是谱密度. 7. 2 s (ω ) = X

∫ ∫

+∞

-a |τ |

e d τ

-iω τ

-∞ +∞ -a |τ | e c o s ( ω τ )- i s i n (ω τ )d τ ∞

-∞ - a τ

=2

∫e

c o s (ω τ ) d τ

2a = 2 2. a +ω 7. 3  RX( τ )= E X ( t +τ )X ( t ) =a = o s (ω t +ω τ +θ ) c o s (ω t +θ ) d θ ∫c 2 π
2 -π 0 0 0 2 π

a c o s (ω ), 0τ 2
+∞ -∞

     s ω ) = X(

∫ ∫

R τ ) e d τ X( a -iωτ c o s (ω ) ・ e d τ 0τ 2

-i ω τ

+∞

-∞

= 7. 4 s (ω ) = X

a πδ (ω+ ω )+δ ( ω-ω ) . 0 0 2


+∞

∫ ∫

RX( τ ) e 4 e
-|τ |

-iω τ

d τ
-iω τ

-∞ +∞

c o s ( π τ ) +c o s ( 3 π τ )e

d τ

-∞

=4

1 1 + 2 2 (ω -π ) +1 (ω+π ) +1

 +π δ (ω- 3 π ) +δ (ω +3 π ) . 7. 5 用复变函数的留数公式可得

习题七 解析

2 3 5

| τ |+1 -|τ| R τ )= e . X( 4   7. 6  E Y ( t )= E X ( t )+ X ( t -T ) = mX( t )+ mX( t -T )=2mX , RY( t +τ , t )= E X ( t +τ )+ X ( t +τ -T ) 故 {Y ( t ) }为平稳过程. s ω )= Y( X ( t )+ X ( t -T ) =2RX( τ )+ RX( τ +T )+ RX( τ -T ),

∫ ∫

+∞ -iω τ R τ ) e d τ Y(

-∞ +∞ -iω τ 2R τ )+ RX( τ +T )+ RX( τ -T )e d τ X( iωT -iωT

-∞

=2 s ω )+s ω ) e +s ω ) e X( X( X( =2 s ω ) 1+c o s (ω T ) . X( 1 7. 7  RX( τ )= 2 π = = 1 π 1 π


+∞ -∞

s ω ) e d ω X( s (ω ) c o s (ω τ ) dω X
2 C c o s ( ω τ ) d ω

iω τ

∫ ∫

+∞

2ω 0 ω 0

2 C s i n ( 2ω )- s i n ( ω ) . = 0τ 0τ π τ

7. 8  RX( τ )= E X ( t +τ )X ( t ) =

∫∫
-∞ 0

+∞

2 π

a c o s (ω t +ω τ+φ ) a c o s ( ω t +φ ) f ( ω, φ ) d φ dω ,

由于 Φ~ U [ 0, 2 π ], Φ 与 Ω 独 立, 若设 Ω 的概 率密 度为f (ω ), ω∈(- ∞, +∞), 则 1 f (ω, φ )= f (ω ) , -∞< ω<+∞, 0< φ<2 π. 2 π a RX( τ ) = 2 π = = = a 2


2 2

∫ ∫ ∫

+∞ -∞ +∞

f (ω ) dω

o s (ω t +ω τ +φ ) c o s (ω t +φ ) d φ ∫c

2π

f (ω ) c o s ( ω τ ) dω f ( ω ) c o s (ω τ ) dω+ i f (ω ) e d ω
i ωτ s (ω ) e d ω, X iω τ

-∞ +∞ -∞

2 a 2 2 a 2

+∞

f (ω ) s i n (ω τ ) dω

-∞

+∞ -∞ +∞

1 = 2 π

-∞

2 3 6

第九 章 习 题解析

由最后一个等式知
2 s ω )=π a f (ω ). X(

7. 9 由 RXY( τ )= RYX(-τ )知      s ω )= XY(

∫ ∫ ∫

+∞

RXY( τ ) e

-iω τ

d τ d τ

-∞

+∞

RYX(-τ ) e
+∞

-iω τ

-∞ i ω(- τ ) RYX( -τ ) e d (-τ )

=- = 所以


+∞ -∞

-∞ -iω s RYX( s ) e d s= S ( ω ) , YX

ω ) =R ω ) , R eS es XY( YX( ω ) =-I ω ) . I m S m S XY( YX(   7. 1 0 ( 1 ) RY( τ ) =E X ( t +a+τ )  - X ( t -a+τ )
+∞

X ( t +a )- X ( t -a )

=2RX( τ )-RX( τ -2 a )- RX( τ +2a ). ( 2 )s ω )= Y(

RY( τ ) e

-i ωτ

d τ
-iω ( τ-2a )

-∞

=2 s ω )- X(  -

+∞ -∞

R ( τ-2 a ) e X
-iω (τ+ 2a )

・ e

-iω 2a

d τ

+∞

RX( τ +2a ) e

・ e d τ

iω 2a

-∞

=2 s ω ) 1- c o s ( 2ω a ) X( =4 s ω ) ( s i nω t ). X( 7. 1 1 ( 1 ) RXY( τ )= E X ( t +τ )Y ( t ) =E X ( t +τ ) ・ EY ( t )= mX mY .      s ω )= XY(


+∞ -iω τ RXY( τ ) e d τ 2


+∞

-∞

=2 πmX mYδ (ω ). RXZ( τ )= E X ( t +τ )Z ( t ) = RX( τ )+RXY( τ ).     s ω )= XZ(

∫ ∫

-iω τ RXZ( τ ) e d τ

-∞ -iω τ RX( τ )+ RXY( τ )e d τ

+∞

-∞

=s (ω )+s ω ). X XY(

习题七 解析

2 3 7

2 2 7. 1 2 设 X ( t )的相关函数为 RX(τ ), 若d s ω ) / dω 是 Y ( t )的 谱密度, X(

则由于 s ω )= X(
2 2

+∞ -i ωτ RX( τ ) e d τ , +∞

-∞

ds ω ) / d ω= X( 由假设知

-τ RX( τ ) e d τ ,

-iω τ

-∞

2 2 d s (ω ) / d ω = X

+∞ -i ω τ RY( τ ) e d τ ,

-∞

故 RY( τ ) =-τ RX( τ ) , RY( 0 )=0. 由 |R ( 0 ) | ≥|R ( τ ) |知 RY( τ )≡0, 矛盾. 7. 1 3  RY( τ )= T-| τ |, | τ |< T, 0 , 其它, s i n
2 s ω )= T Y( 2

ω T 2 ω T 2

e -1 s ω )=- . XY( i ω   7. 1 4 ( 1 )E Z ( t )=c o s (ω )E X ( t ) +s i n (ω )E Y ( t )=0, 0t 0t ( t +τ ) c o s ( ω +ω ) ( 2 )R ( t +τ , t )= E X 0t 0τ Z  + Y ( t +τ ) s i n (ω +ω ) 0t 0τ  ・ X ( t ) c o s (ω )+ Y ( t ) s i n (ω ) 0t 0t = RX( τ ) ・ c o s (ω )- R τ ) s i n (ω ) , 0τ XY( 0τ 与 t无关. ( 3 )E Z ( t ) =R 0 )= RX( 0 )<∞, Z( 由 ( 1 ), ( 2 ), ( 3 )知 Z ( t )是平稳过程.     s ( ω ) = Z

iωT

∫ ∫ ∫

+∞

RZ( τ ) e

-i ωτ

d τ
-iω τ

-∞

+∞ -∞ +∞ -∞

RX( τ ) c o s ( ω ) e 0τ

d τ
-iω τ

 + =


+∞ -∞

RXY( τ ) s i n (ω ) e 0τ e RX( τ )
-iω τ 0 iω τ

d τ

+e 0 -iωτ e d τ 2

2 3 8

第九 章 习 题解析

 + =

+∞ -∞

iω τ -iω τ 0 -e 0 e -iω τ RXY( τ ) e d τ 2 i

1 s ω+ ω ω-ω ) X( 0)+s X( 0 2 i s ω- ω ω +ω XY( 0)-s XY( 0) . 2


2 2

 +

2 β σa 7. 1 5 s ω ) 2 Y( 2 2 2 , ( β + ω) ( b +ω) RY( τ )=


2 2 σ ・ a -b |τ | -β |τ | β e -b e . 2 2 b ( β -b ) 2 2

2 α β ( ω + a) 7. 1 6 s ω ) = 2 Y( 2 2 2 , ( ω +b) (ω +a) β α (a -b) - b|τ| 2 2 RY( τ )= 2 e +( α -a ) e- α|τ| . 2 b a -b


2 2 2 α +ω 2 σ β 7. 1 7 s ω )= Y ( 2 2・ 2 2 , 1 ( 2 α ) +ω β + ω 2 2

α 2 σβ s ω )= Y ( 2 2・ 2 2 , 2 ( 2 α ) +ω β + ω s Y
Y 1 2

(ω )=

2 σβ i ω+α α ・ . 2 2 i ω+2α 2 α - i ω β +ω

7. 1 8 ( 1 )E Y ( t )= E X ( t )- X ( t -1 ) =0. ( 2 )R t +τ , t )=E Y ( t +τ )Y ( t ) Y( =E X ( t +τ )- X ( t +τ -1 )   ・ X ( t )- X ( t -1 ) . 由于 X ( t ) 是正交增量过程, 利用其增量在不重叠的时间区间正交这一性质对 τ 进行讨论. ( i )若 | τ |≥ 1时, 则 RY( t +τ , t )=0. ( i i ) 若0≤τ <1, 则     RY( t +τ, t )= E X ( t +τ )- X ( t )  + X ( t )-X ( t +τ-1 )  ・ (X ( t )-X ( t +τ-1 ) )  +(X ( t +τ -1 )- X ( t -1 ) ) =E X ( t )- X ( t +τ -1 )2= 1-τ . ( i i i ) 若-1<τ <0, 则 RY( t +τ , t )= E [ (X ( t +τ )- X ( t -1 ) )+(X ( t -1 )  - X ( t +τ-1 ) ) ] ・ [ (X ( t )-X ( t +τ ) )  +(X ( t +τ )- X ( t -1 ) ) ]

习题七 解析
2 =E [X ( t +τ )- X ( t -1 ) ] =1+τ .

2 3 9

因此 RY( τ ) =R t +τ, t ) = Y(   ( 3 )E Y ( t ) = RY( 0 )<∞. 故由( 1 ), ( 2 ), ( 3 ) 知 Y ( t )为平稳过程, 其功率谱      s ω ) = Y(


1- | τ |, | τ | <1 , 0, | τ | ≥1 .


+∞ -∞

RY( τ ) e

-iω τ

d τ d τ

1-| τ | ) e ∫(
-1 1 0

-iω τ

=2

1-τ ) c o s (ω τ ) d τ ∫(

2 ( 1-c o sω ) = . 2 ω 7. 1 9 由于{X ( t ) }与{Y ( t ) }是联合平稳, 故 ω ) s (ω )=s ω )+s ω ) +2 R es XY( Z X( Y(    s ω )= X(

∫ ∫

RX( τ ) e d τ 4 e
∞ - |τ |

-i ω τ

-∞ ∞

c o s ( π τ ) e

-iω τ

d τ

-∞ -τ

=8 =4

o s ( π τ ) c o s (ω τ ) d τ ∫e c

∫e

-τ

c o s ( π+ω ) τ+ c o s ( π- ω ) τd τ

=4

1 1 + , 2 2 (ω+π ) +1 (ω-π ) +1
∞ -iω τ RY( τ ) e d τ -∞ ∞

    s ω )= Y(

∫ ∫ ∫
1 2

c o s ( 3 π τ ) e d τ e +e α
∞ i 3πτ -i 3πτ -iω τ e d τ

-iω τ

-∞

-∞


∞ -∞

-i ( ω -3π )τ

+e

-i (ω + 3 π )τ

d τ

-∞

=π δ (ω-3 π )+δ (ω+3 π ) ,     s ω )= XY(


RXY( τ ) e

-iω τ

d τ d τ

1-| τ | ) e ∫(
-1

-iω τ

2 4 0

第九 章 习 题解析

=2 ( 1-τ ) c o sω τ d τ

2 ( 1-c o sω ) = , 2 ω  s (ω )=4 Z 1 1 + 2 2 (ω+π ) +1 (ω-π ) +1

4 ( 1 -c o sω )  +π δ (ω-3 π )+δ (ω+3 π ) + . 2 ω

习题八解析
8. 1 ( 1 )( 1-0. 2B )X t =a t. ( 3 )( 1+0. 7B-0. 5B)X ( 1-0. 4B ) a t= t. ( 5 )( 1-0. 3B )X 1-1. 5B+ B)a t =( t. 8. 2 ( 1 ) 平稳; ( 2 ) 平稳, 可逆; ( 3 ) 可逆; ( 4 ) 可逆; ( 5 ) 平稳. 8. 3 A R ( 1 )有 ρ k >0 ), k =φ 1( φ φ 1 1 A R ( 2 )有 ρ , ρ +φ ρ ( k≥3 ). 1= 2= 2, k =φ 1ρ k - 1 +φ 2ρ k- 2 1 -φ 1 -φ 1 2 1, 0. 5 6 , 1. 5 3 k =0, k =±1,
2 k 2 2

8. 4 ρ k=

-0. 3 , k =±2, 1. 5 3 0, 其它.


|k |

4 5 3 8. 9 ρ k= 3 8 4

7 3 8

1 4

|k |

, k =0, ±1, ±2, ….

8. 1 0 ( 1 ) 近似有 X 0. 5 a t=a t- t-1 , ( 2 ) 近似有 X 5X t -0. t- 1 = a t.

参 考 书 目
[ 1 ] 申鼎煊.随机过程.武汉: 华中理工大学出版社, 1 9 9 0 [ 2 ] 复旦大学.概率论 (第三册).北京: 人民教育出版社, 1 9 8 1 [ 3 ] 王梓坤.随机过程论.北京: 科学出版社, 1 9 6 5 [ 4 ] 浙江大学数学系.概率论与数理统计.北京: 人民教育出版社, 1 9 8 9 [ 5 ] 李漳南, 吴荣.随机过程教程.北京: 高等教育出版社, 1 9 8 7 [ 6 ] A.帕普力斯.概率、 随机变量 与随 机过程.谢国瑞 等译.北 京: 高等 教育 出版社, 1 9 8 3 [ 7 ] 陆大铨.随机过程及其应用.北京: 清华大学出版社, 1 9 8 6 [ 8 ] 闵华玲.随机过程.上海: 同济大学出版社, 1 9 8 7 [ 9 ] 安 鸿志, 陈 兆国, 杜金 观, 潘一 民.时间 序列 的分析 与应 用.北京: 科 学出 版社, 1 9 8 3 [ 1 0 ]  谢衷洁.时间序列分析.北京: 北京大学出版社, 1 9 9 0 [ 1 1 ]  S. M. 劳斯.随机过程.何声武等译.北京: 中国统计出版社, 1 9 9 7 [ 1 2 ] G. E. P. B o x, G. N. J e n k i n s , G. C. R e i n s e l .时 间 序 列 分 析.预 测 与 控制. 顾岗主译.北京: 中国统计出版社, 1 9 9 7 [ 1 3 ] K a n n a n, A nD. I n t r o d u c t i o nt oS t o c h a s t i cP r o c e s s e s , N e wY o r k: N O R T H HO L L AND, 1 9 7 9 [ 1 4 ]  H u n t e rJ. M a t h e m a t i c a lT e c h n i q u e so fA p p l i e dP r o b a b i l i t y, N e wY o r k: A C A D E H I CP R E S S , 1 9 8 3

You might also like