非参数统计-课程介绍

王成
http://math.sjtu.edu.cn/faculty/chengwang/

上海交通大学数学系

2015-9-17

1 课程要求
• 作业用Latex和R完成，所有同学都要学会这两个软件，作业通过邮件提
交 chengwang@sjtu.edu.cn。
• 提交的作业拒绝抄袭，布置得多数作业都是开放式问题，没有统一答
案，提交的作业可能会进行交叉比对。
• 课堂积极参与讨论
• 最后成绩： 平时作业+课堂参与+最后考试或者大作业

2 什么是非参数统计
在一个统计问题中，假定总体分布的数学形式已知，仅包括(少数)有限个未知
参数，这个问题就是参数统计问题，否则就是非参数性质的。
统计不是数学，不用完全划清参数和非参数之间的界限。非参数方法当然也
可以用到参数问题中去，例如我们可以用非参数方法去检验正态分布的均值，
反过来非参数方法很多时候本质上又回到参数问题，例如经典的符号检验本质
还是把任意分布转化成了二项分布。
几个非参数统计相关的名词：Distribution-free， Nonparametric， Semi-
parametric等
假定两个变量(X, Y )之间有如下的回归关系：

Y = f (X) + ǫ,

大家知道，统计里关心的就是 f (x)，也就是我们要估计f (x)。从数学角度，我

们知道f (X)的形式有无穷多种，线性，多项式，三角函数等等。我们从线性代
数的基的角度来看：

• f (x) = a， 那么对应的基为 {1}, 可以认为是1维的。估计f (x)也就是在

一维空间里面找一个数值；

1
 • f (x) = a + bx， 那么对应的基为 {1, x}, 可以认为是2维的。估计f (x)也
就是在二维空间里面找一个数值。例如我们的最小二乘不就是在二维平
面上找一个点嘛？
• f (X) = a + bx + cx2 ， 那么对应的基为 {1, x, x2 }, 可以认为是3维的，

• f (X) = a + a1 x + · · · + an xn ， 那么对应的基为 {1, x, . . . , xn }, 可以认为

是(n + 1)维的。

• f (x) = acos(bx)???

由Taylor展开，对于一大类性质良好的函数，我们都可以有 f (X) = a0 + a1 x +
· · · + an xn + . . . ， 估计f (x)也就是找一列 a0 , a1 , . . . 这个角度可以把非参数看
成无穷维的参数问题，这也是Larry Wasserman书中的观点。

3 课程内容
经典非参数内容：

1. 次序统计量
把一组样本X1 , . . . , Xn 按照大小排序后就得到次序统计量X(1) , . . . , X(n) .
这一部分主要介绍次序统计量的一些相关的分布，渐进分布以及一些统
计问题上的应用。
2. U统计量
U统计量是Hoeffding 1948年引入的一类统计量，在非参数的估计和检验
问题中有大量的应用。这一块会介绍这类统计量的定义，分布以及理论
渐进分布等。这一块内容最近几年在高维数据的统计分析，尤其是假设
检验里有大量的应用，我们会介绍一些相关的工作。

3. 秩统计量
各个样本在其大小排序中所占的位次，这其中也有绝对秩和符合秩之分
等等。这一部分要介绍在独立和不同分布结构情况下的秩统计量的分布
等，介绍秩统计量在各种统计问题，估计问题，独立性检验等等

4. 置换检验 稳健估计等

现代非参数部分：

1. 密度函数估计 给定一组iid样本 X1 , . . . , Xn , 估计分布函数 F (x) = P (X1 ≤

x) 和密度函数 f (x) = F ′ (x).

2. 非参数回归 给定样本 (X1 , Y1 ), . . . , (Xn , Yn )， 估计回归函数r(x) =

E(Y |X = x).

3. Bootstrap 及其他

2
4 参考书目
1. 陈希儒 等. 非参数统计, 中国科学技术出版社， 2012.

2. Gibbons, Jean Dickinson, and Subhabrata Chakraborti. Nonparametric

statistical inference. Springer Berlin Heidelberg, 2011. (侧重于经典非参
数统计)

3. Wasserman, Larry. All of Nonparametric Statistics. Springer Science &

Business Media, 2006. （侧重于现代非参数尤其大样本性质）

4. Fan, Jianqing, and Qiwei Yao. Nonlinear time series: nonparametric and
parametric methods. Springer Science & Business Media, 2003.

所有课件会放在 http://math.sjtu.edu.cn/faculty/chengwang/teach.html