随机过程

清华大学电子系
李刚

gangli@tsinghua.edu.cn
http://oa.ee.tsinghua.edu.cn/~ligang/index.htm

1
概述
随机过程（随机信号分析）
 随机：事物的不确定性，例如：清华一天的游客数目。

 信号：眼神、手势、电压等一切可以写成时间，空间或其他变
量的函数。信号中蕴含信息。

 分析：对信号进行处理以求获取所需要的信息。

本课任务：研究随机信号的特征以及从中提取信息的方法。

2
与其他课程的联系

 信号与系统、DSP：研究对象为确定信号

 概率论：研究对象为随机变量，没有时间变化的概念

或者

 随机过程：研究对象为随机信号

3
本课程应用领域

 信息领域：雷达、通信、图像、语音、电路、光电、网络、计算机、自
动控制、软件测试…
例如：噪声无处不在，分析需要二阶矩、谱分析、高斯过程；
泊松过程、马尔科夫过程对网络、计算机是很重要的…

 其他领域：投资、博彩。电影《决胜21点》：赌神马恺文算牌的故事

本课程相关说明

 教材：陆大䋮、张颢《随机过程及其应用》
 参考书：《概率、随机变量与随机过程》第四版
作者：A·帕普里斯;译者：保铮、冯大政、水鹏朗 4
 课程特点
不适合自学，不适合突击，跟住课堂、课后多练习很重要
ppt仅为纲，应多看书、参考书
建议课后时间：课堂时间 = 3 或 4
和生活中的直观、数学上的直观有较好的对应关系

 课程要求
基本概念清晰。例如：功率谱是非负的…
熟练掌握常用的理论与方法。例如：高斯变量去相关…

5
 考核方式
1、课程成绩组成：40（作业）+ 30（期中）+ 30（期末）= 100 分
2、普通作业按照课程教学内容进行配置，一共分为 5 章（相关（时域），相关
（频域），高斯，泊松，马尔科夫），每一章 20 道题目，包括 12 道基本题和 8
道提高题。每一道题目按照 5 分计算，满分 100 分，折算为等级分（A、B、C、D、
E），对应 8、6、4、2、0 分。因此，每一章作业满分 8 分，所有平时作业共 40
分。如果作业迟交，不再受理，该次作业记为 0 分。如发现抄袭，作业记为 0 分。
3、三位老师的助教（共 6 名）集中工作，负责作业的题目整理（题目素材由教师
提供），布置、收取、批改等任务。
4、助教负责组织习题课，讲解作业题目。习题课的具体形式 （线上、线下）以及时
间待进一步确定。
5、期中考试范围覆盖前三章（相关（时域），相关（频域），高斯），5 道题目，
全部计分，开卷，2 小时。
6、期末考试范围覆盖后两章（泊松，马尔科夫），5 道题目，全部计分，开卷，2
小时。
三个课堂的教师在作业和考试成绩给分上保持完全一致，包括完全相同的作业题，
完全相同的期中和期末考试题，完全相同的评分准则。
概率与随机变量回顾
随机实验
 相同条件下可重复进行
 事先能明确所有可能出现的结果
 每次实验之前不能确定哪种结果会出现

概率
 所有可能出现的实验结果（事件）的集合叫样本空间
 内某个事件发生的可能性的大小用概率来度量
 性质：
非负性
规范性
可加性 （注：为不相交的事件集合）
7
基本概率公式
 条件概率
或者

 统计独立
或者

 全概率
若 ，则

8
 贝叶斯公式
先验概率
后验
最大似然
𝑓𝐴(𝑥|𝐵𝑖)
不同于
概率
𝐵2 B1
最大后验 最大后验：执果索因 似然函数
𝑥

例1-1 XX牌手机市场占有率20%，辐射超标的概率为90%，其他品牌手机
的市场占有率为80%，辐射超标概率为30%；现抽查到一台手机发现辐射
超标，问该手机为XX牌的概率。

解：XX牌的先验概率 ，其他品牌的先验概率
似然函数： （A表示发现辐射超标）

9
XX品牌的后验概率

其他品牌的后验概率

本例可知
 后验概率可用先验知识表示
 后验概率可以度量在获取一定观测结果后，结果来自某种原因的可
能性大小(执果索因：看病、查责任…)
 先验、后验判断结果可能完全不同 10
随机变量
 依照概率取值：取某个值的可能性，取值落在某个小区间的可能性…
 离散随机变量：取值有限个或者可数个
 连续随机变量：取值集合不可数

常见随机变量
 伯努利分布

 高斯分布

多维随机变量联合分布
f X ,Y ( x, y ) xy 表示 落在以 为中心以 为宽度的小区域内
的概率。
11
边缘分布

条件分布（以二维分布为例）
在限制 取值的条件下，求 的分布
f X ,Y ( x, y )
fY ( y | X  x ) 
f X ( x)

或者

12
证明：
f Y ( y | x  X  x  x )   y
P ( y  Y  y  y , x  X  x   x )

P ( x  X  x  x )
f X ,Y ( x, y ) xy

f X ( x ) x
x ,  y  0

全概率

fY ( y )  y   f X ( x)x  fY | X ( y | x)  y
13
贝叶斯
f ( x, y ) f ( y | x) f ( x)
f ( x | y)  
f ( y)  f ( y | x ) f ( x )dx
分布率是描述随机变量最为本质的方法，有时不能或者不必获取随机变
量的分布率，可以用随机变量的一些数字特征表明一些性质。
数字特征
 均值、方差：一个变量分布的中心和分布的离散程度

 相关、协方差：两个变量的相似程度、彼此关联的程度
相关 协方差
注意区分独立、正交、不相关 14
特征函数与母函数：多用于描述多个随机变量之和的分布
特征函数
母函数（多用于非负整数值随机变量）

随机过程的概念与分类
什么是随机过程
 是一个函数， 代表时间，以前学过的函数 为确定值，这
里对不同的 ， 为不同的随机变量。 这样的随机变量族
称为随机过程。

 固定一次实验，例如观察示波器雪花屏幕一分钟。 是 上的一个函
数，每次实验结果称为一个样本或者随机过程的一次实现。

15
实验1 500
对某个固定的时刻 ，
0 为随机变量。
-500
0 2 4 6 8 10
500  随时间变化的函数，每次
实验样本体现为不同的函
实验２

0
数
-500
0 2 4 6 8 10  随时间变化的变量，
500
为不同的随机变量
实验3

0
 时间区间 和样本空间
-500
0 2 t0 4 6 8 10
上的二元函数

16
根据 和 是否离散、连续分类
1. 离散时间、离散分布
伯努利过程： ， 服从伯努利分布

且 与 无关， 、 是
相互独立的随机变量（这是多次统计实验的简单模型）
2. 离散时间、连续分布
自回归过程 满足 且，
对 ， 与 独立（这是离散系统建模的重要模型，如 为噪声）
3. 连续时间、离散分布
泊松过程
它是一个计数过程，且 ；
独立增量特性
任取 ， 相互独立；
17
 增量平稳性
 服从参数为 l 的泊松分布，即

4. 连续时间、连续分布
高斯过程
随机过程 的有限维分布都是正态分布，称这种随机过程为
高斯随机过程或正态过程（噪声的典型模型）
对固定的 ,研究 这个随机变量的本质工具为分布率。
 离散分布型
 连续分布型

18
对不同的时刻 ， 和 的关系
 离散分布型
 连续分布型

有时不能或不必获得分布率，可以用数字特征反映 的性质
 均值

 方差

 自相关

 互相关
19
例1-2 随机过程 ， 求 的均值、方差以及自相关
解：

均值

t
本课研究随机过程的方法
1. 相关理论、分布——矩
时域：二阶矩；频域：谱分析
章节：二阶矩过程；Fourier谱分析；高斯过程
2. 对分布加强约束:Markov方法
某时刻的分布完全依赖于此前若干时刻的分布
章节：泊松过程；离散时间Markov过程
20