2-3 主成分分析1 PDF

中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C 授课教师: C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
赵春晖
C C C C
and Application
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大数据解析与应用导论
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
1
O O O O
O O O O
C C C C
Introduction to Big Data Analytics
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
5.
4.
3.
2.
1.
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
实例应用
数据转换
数据清洗
O O O O
O O O O
C C C C
主成分分析2
主成分分析1
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
第二章数据预处理及特征提取
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
维度高
数据多
信息杂
理的难点
大数据处
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
尽可能保留原
始数据的信息
简化原始数据
（一）主成分分析简介
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
降维
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
保留计算精度
增加计算效率
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
M
M
学
学
（一）主成分分析简介
大
大
国
国
中
中
C
C
O
O
• 主成分分析（Principle Component Analysis, PCA）是一种通过线性
O
O
M
M
学
学
变换，将原始数据的多个变量组合成相互正交的少数几个能充分反映
大
大
国
国
中
中
总体信息的指标，以便于进一步分析。
C
C
O
O
尽可能保留原分析后的变量
O
O
M
M
始数据信息相互独立
学
学
大
大
国
国
中
中
• 理想弹簧运动规律的测定实验。红球连接在弹簧之上，从平衡位置沿x轴拉开一定的距离然后释放，显然理
C
C
O
O
O
O
想情况下，红球的运动只在x轴方向上发生。然而，对于三个相机Camera ABC来说，每个相机都会以自己
M
M
学
学
大
大
作为坐标系原点，收集到一系列二维的图像，则通过所有相机收集到的数据可写作：[( xA , y A ), ( xB , yB ), ( xC , yC )]
国
国
中
中
主成分分析剔除冗余变量
C
C
收集到的
O
O
此例PCA的作用：
O
O
冗余数据 PCA 化归到红球运动的x轴
M
M
学
学
大
大
国
国
中
中
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
（二）主成分分析的几何解释
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
（二）主成分分析的几何解释
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
t1  u11 X 1  u21 X 2 
中中中 t2  u12 X 1  u22 X 2  中中
t p  u1 p X 1  u2 p X 2 
国国国国国
大大大大大
线性组合的公式理解
学学学学学
M M M M M
O O O O
O O O O
C C C C
 u p1 X p
 u p2 X p
 u pp X p
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
（三）主成分分析的数学模型
中中中中中
降维
国国国国国
主成分
大大大大大
线性组合
选择保留
的主成分
原始变量
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
束
M M M M M
O O O O
O O O O
C C C C
保留依据
PCA算法约
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
注：
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C Cov C C
中中中中中
国国国国国
• 主成分分析满足如下的条件：
大大大大大
学学学学学
M M M M M
O O O O
1. 每个主成分的系数平方和为1，即：
O O O O
C C C C
2.主成分之间线性无关，即无重叠的信息。即
中中中中中
3.主成分的方差依次递减，重要性依次递减，即
国国国国国
大大大大大
Var（t1） Var (t2 ) 
学学学学学
M M M M M
O O O O
O O O O
C C C C
u12i  u 22i    u 2pi  1
中中中中中
国国国国国
（ti，t j） 0，i  j，i，j  1， 2，
大大大大大
 Var (t p )
学学学学学
M M M M M
O O O O
O O O O
C C C C
，p
中中中中中
国国国国国
 统计学中，方差越大，包含的信息量越大，降维后的主成分向量应包含尽可能大的方差。
大大大大大
学学学学学
M M M M M
 当主成分变量个数大于１个时，为了避免信息重叠（相关），要求各主成分向量之间不相关。
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
𝑠. 𝑡. ൝ 𝑇
中中中中中
𝑇 = 𝑋𝑈
max 𝑡𝑖𝑇 𝑡𝑖
述的三个约束，形成主成分分析的数学模型：
国国国国国
大大大大大
𝑡𝑖𝑇 𝑡𝑗 = 0
𝑢𝑖 𝑢𝑖 = 1
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
其中，𝑡𝑖 为第i个主元，𝑡𝑗 为第j个主元，𝑢𝑖 为第i个主元对应的权重向量。
O O O O
O O O O
C C C C
留m个主元），则主元矩阵𝐓𝑛×𝑚 （n个样本，m个主元）可由原数据的线性组合得到：
中中中中中
主成分分析的目标：使得每个主元所包含的信息最多（方差最大）。加上之前所
设原数据𝐗 𝑛×𝑝 （n个样本，p个变量），线性变换的负载矩阵𝐔𝑝×𝑚 （p个系数，保
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
PCA
学学学学学
M M M M M
O O O O
主成分分析
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
约束条件
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
（四）主成分分析小结
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
分析基础：变量间具有相关性
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
（3）每个主元方差尽可能大
（1）降维后主元间互不相关
O O O O
O O O O
C C C C
（4）线性组合的系数向量模长为1
分析目的：降维的同时尽可能少地损失原始数据信息
中中中中中
国国国国国
（2）主成分按照方差大小依次降序排列
分析方法：基于约束条件对变量做线性组合进行优化求解
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C

2-3 主成分分析1 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

2-3 主成分分析1 PDF

Uploaded by

Copyright:

Available Formats

中中中中中

u12i  u 22i    u 2pi  1

You might also like

2-3 主成分分析1 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

2-3 主成分分析1 PDF

Uploaded by

Copyright:

Available Formats

中 中 中 中 中

u12i  u 22i    u 2pi  1

You might also like

中中中中中