You are on page 1of 129

分类 号 :

_ IP 2 7
 单位代码 :
1033 5

岔 级 :
— 公 开 学 号 : 2 1532 044

M ^  #


硕 士学位论文

中 文 论文题 目 :
分子振动 光谱 的 新型 智 能 建摁 筧法研 究 及 其

应用

央文 论文题 目 : AN e w I n te l l i
g e n tm o d e l i n ga g o l r i t h mr e s e a rc ha n d

a pp l i cat i o n f o r m o e c u al l r v b r a t o ns p e c t r u m
i i

申 请人姓 名 :


鄢悦 

指 导 教 师 卢 津 刚 教授

 :

专 业 名 称 控 制科学 与 工 稈

 :

研 宄 方 向 工 业数据 分析

 :

所 在 学 院 :

控制科学与 工稈学 院

论文提交 日 期 : 2 0 1 8 年 3 


分子振 动 光 谱 的 新 塑 智 能 建樽覚法研 究 及 其 应 用




论 文 作 者签 名 :

% 
k 

指 导 教 师签名 :




论文评 阅 人 i :
 董辉 4桴 / 淅江工 业大学

评阅人 2 :

  匿 名 

评阅人 3 :  -

 ,


匿名 ?  


评阅人 4

  

评阅人 5 :

 
匿名 

答 辩委 员 会主 席 耿 卫 东

/ 教授 / 浙江 大学计算机 学 院

委员 1 :
陈 金水 / 副教授 / 浙江大 学控制 学 院

委员 2 :
叶 炜 / 副 教授 / 浙江 大 学控制 学 院

委员 3 :
徐 正 国 / 副 教授 / 浙江大 学控制 学 院

委员 4 : 卢 津 刚 / 教授 / 浙江 大 学 控 制 学 院

委员 5 :

 

答辩 日 期 : 20 18 . 03 09
. 

AN e w I nte l l i g e n tM o d e l i n g A g o r t h mR e s e a r c h a n dA p p
l i l i cat i o nF o r

Mo l ec u a l r V b ra t o nS p e ct r u m
i 
 i

 Yu a 

Autho r ss i
gnatu re :





S u p e rv s o r ss g n a t u
i i re 

Ext e r na R ev ew e rs
P
l i :

r of .  Hu i  Dong .  Zh e j
i a n gU n v e i rs i t y  o f  Te c h n o o gy l



A n o n y m o u sR ev i ew 


A n o n y m o u sR ev i e w  ; 


A n o n y m o u sR e v i ew 

Com m i tt e e C h a i r
p e rs o n :

p r Q f Hu i  Dong Zhe i a n g U n v e i rs i t y  o f  Te c h n o o gy l
r  j 

Co m m i tt e e M e m b e rs A s s o c :  i a t eP r of . J i nshu i  Ch e n .  Zh e j
i a n g U n v e i rs i t


Ass o c i a t eP r of .  We i  Ye .  Zhe i i a n e U n i ve rs i ty 



Asso c i a t eP r o f .  Z h e n g g u oX u .  Zhe i i a n e U n v e i rs i ty



P r of a n p a n g L u Zhe a n gU n v e rs t
. J i . 

i i i

y 

D a t eo f o r a  l d e fe n c e : 2 0 18 . 03 09 .




独创性声 明

本人声 明 所呈交 的 学 位论文 是本人在 导师指导 下 进 行 的 研 宄 工 作 及取 得 的 研 宄成




果 。
据我所知 , 除 了 文 中 特 别 加 以标 注和 致 谢的 地方 外 , 论文 中 不 包含其 他人 已经发表 或

撰 写 过 的 研 究成果 , 也不包 含 为获 得 浙 江 大 学 或其 他教育 机构 的 学 位 或证 书而 使用 过



的 材料 与我 同 工 作 的 同 志 对 本研 究 所 做 的 任 何 贡 献均 已 在 论 文 中 作 了 明 确 的 说 明 并 表


示谢 意 

学位论文 作 者签 名 : 签字 日 期 :

&年 M月 ^日

学 位 论文 版 权 使 用 授 权 书

本 学 位 论 文 作 者 完全 了 解 浙江 大学 有关保 留 、 使用 学位 论 文 的 规 定 , 有 权保 留

并 向 国 家 有 关部 门 或 机 构 送 交 论 文 的 复 印 件 和 磁 盘 允 许 论 文 被查 阅 和 借 阅 本 人授 权 浙

 , 。

江 大 学 可 以 将 学 位论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索 , 可 以采用影 印 、 




印 或 扫 描 等 复 制 手 段保 存 、 汇编 学 &论文 

( 保密 的 学位 论 文在 解密 后 适用 本授权 书 

学位论 文 作 者鮮

签字 曰 期 :


象私
w月 丨
^


 日 签 字 日 期 : 呔年 5 月 丨
r日


 

摘 要

进入新世纪 以 来工业生产过程进

步 向 着大型化 、 连 续化 、 综 合化 的 方 向 发展 , 对工

业 生产过程实现实 时 、 准确 的检测要求也越来越严格 。 随着化 学计量 学 的 发展 , 分子振动



光 谱 检测 技术广 泛应 用 于 多 种 不 同 领域 的在 线 实 时检测 

本文针对分 子振 动 光谱 的 特 性 , 提 出 多 种 结合变 量投影重要性 ( VIP ) 系 数 与 粒 子群



算法 的 波长选择算法 , 以 及 提 出 将 C NN 模型 、 基于不 同 相似性 的局部模型 、 局部模型结



合新 波长 选择方 法 等 作 为 定 量 分析模 型 应 用 于 分 子振动 光 谱 。 结果表 明 , 本文提 出 的新波



长 选 择算 法 以 及 定 量 分 析模 型 能 够 有 效 、
快速 、 更 高精度地分析 出 样 品 的属 性值 , 在降低

计算 复 杂 度 方 面 也表现优 秀 。 本文 主 要 内 容可 以概括 为 

提 出 种新的基于 V P 系数的 自 适应 粒 子群算 法 VA P S O 解决 B PS O 等算法的学




1 . I
( ) ,



习 速率难 以 控制 , 粒 于群 收敛快 , 容易陷入局 部最优 点 中 很难跳 出 等缺点 , 能够 寻找到更




优的波长子集 , 并且速 度 更 快 。 
2 .
提出结合 间 隔 偏 最小 二乘 的 i VA P S O 算法 。 先探索最优波长点 区 间 组合 ; 第 二 轮筛

选最优 区 间 组合 中 的优质 波长 点 , 以 减少 迭代 中 粒 子长度 , 以 较少 的 时 间 即 可 达 到 较高 



并 且更稳定 的 预 测 性 能 

3 .
由 于 分 子振 动 光谱 的特 性 , 提 出 将深度学 习 领域常应用 于 图 像领域的 C NN 樸型 

应用 于 维光 谱 定 量 分析 中 从 生物柴油 N R 光谱 的应用 结果得到 当 C NN 应用 于




。 CN N I

合适 数据集 时 , 迭 代 收敛速度快 , 预测精度高 , 相 比较与 PL S , 将 RM S E C 降低 59% , 



R MSEP 降低 19 % , 优 于其他模型 。 若 收集 的 数据 数越 多 ,
C NN 将 会 比 其 他模 型表现更 优 

4 .
探索 基于 欧 氏 距离为相似性 , 基 于 净信 号 为 样本相 似 性度 量 , 和基于光谱信息散

度作为 相似性度量三种局 部模型 , 提 出 局部模 型结合 V I P 自 适 应 粒 子 群算 法 , 同 时筛选波



长 子 集 与 样本 子 集 (
L〇 c -

VA P S O )
。 该 方法耗 时短 , 效果优于局 部模型和 VA P S O 算法 , 在分

子 振 动 光 谱 定 量 分 析 领 域有 着 很 好 的 前 景 

5 .
对于提 出 的 多 种 不 同 的新波长 选择算 法 以 及新定量 分析模 型 , 应用 于检测 生物柴

油调和油的调合 比 。
对 于调 和 油 样本 分别 检测 近 红 外 光 谱 和 拉 曼 光 谱 , 并分别 进行预处理

与 样本划 分 。 将提 出 的新光谱 特征 波 长 筛选 方 法 ( VA P S O 、 i VA P S O ) , 新 的 定 量 分析模



型 ( C NN 模型 、 Lo c PL S-

以及 L o c VA P S O -

方法 ) 应 用 于 生 物柴 油 光 谱 。 实验结果表明 

本文提 出 的特征波长 筛选新方法及新光谱 定量 分析模型 , 在提高 生物柴油调 合 比检测精




 摘 要 

度 、 降低模型复杂度 而言 , 有着 很好 的 应 用 效果 

关键 词 :
分子振动光谱 ; 变量投影重要性系数 ( V I P ) ; 自 适 应 粒子群 ; 局 部 建模 策 略 

卷积神经 网 络 ; 生物柴油

? ?




? 

 ?



_
A b s t ra c 

Ab s t r a c t

i n g  t h e  n e w  c e n t u r y  th e  n d u s t r
E n t er i a l  p r o du c t ,
i i on
 pro c e s s i s  deve l o
p n g o
t iw ard s

ar
ge
c al e
 c o n t i n u o u s  a n d  i n t e g r a t e d  d i r e c t i o n ,  a s  a  r e s u l t  t h e  re q u i re m e n t s  fo r  r e a l m ean d


- -
l s ,
ti

a c c ura te  d e t e c ti o n  o f  i n du s t ri a l
p
ro d u c t i on
 p ro c e s s  i s b e c o m n g  m o r e  a n d  m o re  s t r
i i n g en t .  W i t 

h e  d ev e o p m en t  o f c h e m om e tr
ics, m ol ecu a r  v i b rati o n  s e ctro s c o s wi del
y u s e d  fo r re a l me




py
l l i ti
p 

on n e  d e t e c t i o n  i n nu m e r o u s  d i f fe r e n t  f i e d s

l i  l 

n  t h i s  p ap e r c c or d i n h e  c h a ra c t e r
i s ti c s  o f m o e cu l a r  v i brat i o n  s a  v ar
i et
a gt o p e ctrum yo f


I t  l
, ,

w av e l en
gt h  s e l e cti o na l
g or i t h m s  w h ch  c o m b n e  I m o rt an c e  C o e ff

i i i c i en to f Va r
i ab l e  P ro e c t i o n



V I P )  a n d  P arti c e  S w arm  O p t m i z a t o n  a g o ri thm ( P S O )
l i i l
, 
and C NN  m o de l
, l oc al m o de l b as e don

d ffe r e n t  s m i l a r t h e  c o m b n at o n  o f  o c a l  m o d e l  a n d  w av e e n t h  s e e c t i o n  a r e ro osed

y  g
i i i i l l
p p
i l
, 


pp l i e d  t o  th e  m o l e c u l a r  v i b ra t o n  s p e c t ru m
i .  Th eresu l tss h o w  t h at  t h e  n e w w av e  l en
gth  s e l e c ti o n

a g o r i t hm  a n d q u a n t


i tat i v e  an a y s l i s m o d e  p r op o s e d  i n  t h i s  p ap e r  c a n  e f fe c t v e l y  n o t  o n y


 i

qu i ckl
y  bu
ta l s o  ac c ura t e l
y  an a l y z e
 t he  a t t i b ute  v a u e s  o f
r l  s am
pl e s ,  a n d  a l s o  a c h i e v e  ex c e l l e n t

p e r fo r m a n c e  i n  r e du c i n g  c o m p u t a
ti on a  c o mp l e x i t y  T h e  m ai n  c o n t e n t s  o f  t h
l . i s
p

p e r  c an  b e

su m m a ized
r  a s  fo l l o w s 

 Th s a
p e r p r o p o s e s  a  n e w  a d a p t v e p ar t c l e  s w a r m  o p t m i z at i o n  a l
gor t hm  b as e d  o n  V IP



1 . i i i i i
  

c o e ff
i c i e nt  c a l l e d  ,
VA P S O , 
t o  s o l v e  d i ff
i cu l tc o ntr o l ,  fa s
tc o nv e rg e n c e , 
e as
y  t o  fa l l i n t o  t h e  l o c a l

a d v a n ta
g e s  bu t  u n a b e  t o  j u m p  o u t o r  o t h e r  p r o b l e m s  n  B P S O


i .  R e su l ts h o w s  t h at  VA P S O  c a n

fi n d  a  s u b s e t  o f wa v e e n g t h s  b e t t e r a n d  fa s t e r  l  

2 .  Th e i VA P S O  al
g o r i t hm  i s  p r op o s
e d w hi c h  c om b i n e s  i n t e r v al
,  p
arti a l  l e a s t  s

u a re s .  First y l


w e  e x p o r e  th e  b e s t  w a v e l e n g th  n t e r v a  c o m b n a t o n  A n d  n  s e c o n d  r o u n d  b e s t  w a v e en
gth


l i l i i . i l

p o nt s n
i  th e s e  i n t e rv a l  a re  s e l e c t e d
i . I VA P S O  a l
g o r i t h m  r e du c e s  t h e  p a r t i c l e  l e n g t h  i n  i t e r a t o n i


an d  a c h i e v e  h i
gh e r  a n d m o r e  s t a b

pre
d  l

i cti o n p er
fo r m a n c e  i n  l e s s  t m e

i 

3 .  D u e  t o  th e  c h a r a c t e r
i st i c so f  t h em o l e c ul a r  v i b r a t o n  s i
p e c tru m , 
t h eCN N  m odel , 
wh c h  i i 

alwa s  u s e d  i n  tw o  d i m en s on m a e  do m ain c an  al s o  b e  a e d  i n  o n e  d i m e n s i on u an t at i ve






g i
,  pp l i
 q
i t

an a l
ys i s . F r o m  t h e  r e s u l t s  o f  N I R  s
p e c t r um  o
fb i o di e s e l  ,
i t  i s  fo u n d  t h a t  C N N  s h o w s  gr e a 

p e r fo r m a n c e  w h e n  i t  i t  a p p l i e d  to  s u i ta b l e  d a t a s e t  s u c h  a s  fa s t e r  c o nv e r g e n c e  s e e d  h i h e r

p g 
 ,

pre d c t i o n  a c cu ra c et c  C o m dw i t h P L S h e RM S E C  s  re du c e d  b
y5 0 % an d  t h e  R M S EP


p are


y 

, ,  , 

i s re duc edb


y 9
% 1
? s


er
i or  t h anoth erm o d e l s  . W i t h th e  c o l l e c t i o n  o f d a t a  s e t s ,  th e 

 p
e r fo r m a n c e

of  CNN w  i ll b e  m o r e p ro m n e n t 
i 

4 . T hr e e d i ffe r e n c e  s i m i l a r i t i e s  E u c l ,
i de and i s t an c e ,  E u c l i d e a n  d i s t a n c e  b e t w e e n  t h e  n e t

si
gn a l
,  a n d  t h e  s p e c t r a l  n fo r m a t o n  d v e r g e n c e  a r e  e x p o r e d  n  o c a  P L S  m o d e
i i i

l i l l l . Th en
p
u t

fo r w a r d  t h e  l o c a l  m o d e l  c o m b i n e  w i t h  VA P S O  a l
g o r i t hm  t o  s e e c t  w av e l e n g t h  s u b s e t  a n d

l
Abs t ra ct

s am

l e  su b s e t
(
Loc -

VA P S O )
.  Th i s m e t h o d  c o s t s  s h o r t e r  t m e b u t h a s  b e t t e r p e r fo r m a n c e  t h an  t h e
i   

l o c a m o d e
l l  a n d  VA P S O  a g o r
i t hm  G o o d  pr o s p e c t  n  t h e  f
l .
ie i l do f
q
u an t i t a t i v e  a n a ys i s  o f

 l

mo l e c u l ar  v i b r a t i o n  s p e c t r u m  i s  fo r e s e e ab l e 

5 .  T h e  n ew  w a v e l en
g th  s e l
ecti onal
g o r i t h m s  a n d  q u an t i t a t i v e  a n a l ys i s mo de l s
p
ro
po se d

b e fo r e ,  are  app l i e d  t o  d e t e c t  th e  b l en d i n g  r a t i o  o f  B i o d i e s e l  B l en d e d  O i l .
 T h e  n e a r  n fr ar e d  an d
i 

R a m an  s p e c tr a  w e r e  d e t e c t e d  fo r  t h e  m i x e d  o i l  s am
pl es ,  an d  t h e  p repr o c es si n
g  an d  d e v i s i ono f

e  c arr
i e d  o ut  r e s
s am
p l e w e r p e c t iv e l y  T h e  p r o p o s e d  n ew  sp e ctr a l  c h ara c t er
. i s ti c  w av e l en
g th

s creen i n
g
m eth o d
(
VA P S O ,  i VA P S O )  a n d  th e  n e w  q u a n t i t a t i v e  a n a l y s i s  m o d e l  ( C NN  m o d e l 

L o c P L S  a n d  L o c VA P S O )  w e r e  ap p
- -

li e d  t o b i o d i e s e l  s
p e c t r o s c o py  T h e  e x p e r i m e n t a l  re s u l t s


s h o w  t h at  t h e  n e w  al
g o r i t h m  p r o p o s e d  i n  t h i s  p a p e r  h av e  a  g r e a t  m p r o v e m e n t  i n  t h e  d e t e c ti o n

 i

e du c t i o n  o f c o m f b od e s e l  b l en d n
a c c ur a c
y  an d pu a o n a c o m p ex i y o r ati o
r t t l l t
 i  i i i
g 


K e yw o r d s  M o l e c u l a r  V b r a t i o n  S p e c t r u m  Va r a b l e  P r o i c i en t  ( VIP )
: i
j ;
i e c t i on  Im
p o r t an c e  C o e f 

A d ap ti ve
p
a r t i c l e  s w ar m  a l
g o r i hm

;  Lo ca l M ode li n
g
S trat e
g y  C o nv o u t i o n a l  N e u r a l  N e t w o r k




B i o di e s e l 


 

目 

胃 #■

 

1 - 1
引 言  


1 . 2 分 子振 动 光 谱 分析 原 理介 绍    

1 . 2 . 1 近红 外光 谱 原 理介绍  

1 . 2 2 .
拉曼 光谱分析原理  

1 . 3 国 内 外应 用 及研 究现状    

1 .
3 . 1 近红外光谱 研 究 现状  

1 . 3 2 .

拉曼光谱研究现状    

1 . 4 波长选择意义     

1 . 5 本文主要 内 容 



 

第 二章 分 子振 动 光谱 技术
、 中 化 学计量方法        

2 . 1 引 百  

2 2 .

光谱样本预处 理技术  

2 2 . . 〗 异常样本处理    

2 上2 数据集划 分方法  
   1 

2 2 3 . .
基线校正技术 

 ,  1 

2 2 4 . .
平 滑算 法  :  :   1 1  

2 2 5 . .

标准正态变换   1 

2 . 3 定 量 分析建模 方 法   1 

2 3 . . 1
多 元 线 性 回 归 Mu (
lt i v ari a t e  L i n e a r  R e gr e s s i on , 
ML R) .    “ " 1 

2 3 2
. .
主成分 回 归 (
Pr nc

pa
i l  C o mp o n e n t  R e gre s s i on ,
P CR )  
   1 

2 3 3 . .
偏 最小 二乘 回 归 (
P ar
t i a l  L e a st  S
qu a
re R e gre s s i on ,
P L S R)  1 

2 3 4
. .
最小二乘支持 向量机 (
L e a s t S qu a r e 

Su
pp o r t  Ve c t o r M a c h  i ne ,
L S S VM )  1 

2 3 5. .

局部 建模 策略      , … . …  
 
   1 

2 4 .

波长选择算法      1 

2 4 .
. 1 间 隔 偏最小二乘波长选择 (
i n t erv a l  PL S , i PL S )  

 1 

2 A 2遗 传 算 法 ( g e n et i c  a g o r
l i t hm , 
GA )
   
 1 

2 4 3


竞争 自 适应重 加权采样法 (
Compe ti t i veada

ti ve  rew ei
gh t e
d  s am
p l i ng , 
CARS )    1 

2 4 4
. .

变量 投影重要系数 (
Va r i ab l eI m
por
t a n c e  n  t h e  P r o e c ti o n

j , 
V I P) . 
 1 

2 5 .
基 本粒 子群算 法     

   
 1 


a m



2 6 .
定量模型 的 评价指标  1 

2 7 .

本章小 结  -  1 

第 三 章 基于 粒 子群算 法 的 新 型 光谱 特征 波 长 提取 方 法探 索  1 

3 . 1 引 言  1 

3 2 .
基本二 进制 粒 子群算 法  20

3 . 2 . 1 基本二进制 粒 子群算 法  20

3 2 2
. . BP S O 应 用 效果  2 

3 3 改 进 B P S O B P S O V IP  算 法 24



 
_

3 . 3 . 1 BP S O VIP _
 24

3 . 3 2  RE .

_
BP S O _
VIP  27

3 . 4 V IP 自 适应粒子群算法 (
VA P S O )
 3 

3 4 . . 1  VAP S O 应 用   35

3 4 2 Re
. .

_
VA P S O . .  :   
 ;  
 39

3 5i . VAP S O  算 法         4 1

3 5 .
. 1 基 本  VAP S O i  算法  4 

3 5 2 . .  Re —
i V AP S O  算法      45

3 .
6 与 其他方 法 的 对 比  50

3 6 .
. 1 全光谱偏 最小 二 乘 回 归  
 50

3 6 2间 . .

隔 偏 最小 二 乘 … … :  

 : . . .
. . . .  . . . . . 5 

3 . 6 3  C AR S.  :  52

3 . 6 4 .
遗传算法  
 52

3 . 7 本章小 结  54

第 四 章 深度 学 习 与 局 部 建模应 用 于 光谱 定量 分析  57

4 . 1   57

4 2 .
传统校正方 法    58

4 . 2 . 1 P C R  
 5 8

4 2 2 PLS . .     
 59

4 2 3  L S SVM
. .  59

4 3  C NN .
应 用 于 近红外 光谱 定量 分析  60

4 .
3 .
1 L eN e t >

52 d 情况 


 6 

4 . 3 . 2L eN et 5I d -

 63

4 3 3 . .
 A l e xn e t  I d  情况    64


 

4 4 .
局部 PL S 模型探索   66

4 4 . . 1  EL -

l o c PL S -

 

 67

4 4 2S ID . .

l oc PLS -

   67

4 4 3N A S . .

l o c PL S

 69

4 4 4 .
.  N A S VA P S O -

 
 70

4 5 .
本章小结    73

第 五 章 生 物 柴油 调 和 油 光谱 定 量 分析  75

5 . 1 f l
f    75

5 . 2 分子振动 光谱数据采 集  75

5 . 3 调 和油 近红外光 谱 分析  77

5 . 3 . 1 近红外光谱样本选择与 预处理  77

5 3 . . 1 . 1 异 常样本分析 

 77

5 3 . .
1 .
2 基线校正  

 ,  78

5 :3 . 1 . 3 平滑算 法  
 
 79

5 . 3 . 2 近红 外光谱 定量 分 析模 型    8 

5 .
3 . 2 . 1 PCR  模型  8 

5 3 2 2 .
. . PLS 模型  8 

5 3 2 3 Ls svm

. .
        8 2

5 3 .
2 4  C NN

    


 : :      
 : " ■ ?
? ? ? … … .
82

5 3 . . 2 5 .
局部 建模策略          8 5

5 .
3 .
3 特征波长 点筛选    -    
 
   86

5 3 . . 3 . 1 VA P S O         86

5 3 . 3 .
2 i VA P S O .
   . . . .
8 7

5 J . 3 .
3 局 部 模 型 结 合 V PA S O 寻 找 最 优 波 长 点  8 9

5 3 4 . .
近红外光谱分析小结  9 

5 . 4 调 和 油拉曼光 谱 定量 分析  9 

5 .
4 . 1 拉 曼 光谱 样本选择 与 预处理  92

5 4 . . 1 . 1
样 本 选 择      92

5 . 4 . 1 . 2 基线 校正  93

5 . 4 . 1 . 3 平滑算法  94

5 4 2
. .

模型选择      95

5 . 4 2 . .
1 传统校正 模 型  95


 

5 A .
2 2C
. NN   96

5 . 4 2 3
. .
局 部 建模策 略  
 97

5 . 4 3

波长选择      98

5 .
3 . 4 .
1 VA P S O    98

5 . 4 . 3 .
2  i VA P S O  99

5 . 4 . 3 3  L o c VA P S O -

 1 0 

5 4 4
. .
生 物柴 油 拉曼光谱分析小结  1 03

5 . 5 本章 小 结  1 04

第 六 章 总 结 与 展望  1 05

6 . 1 总 结    1 05

6 2.
展望  1 07

参考文献  1 09

致谢  : . … …   :         :  1 09

攻读 硕 士 学位期 间 主要的研究 成果  : 

. . 1 1 


第 章 绪论

 


章 绪论

1 . 1 引言

20 世纪 以来工业 生产过程 向着大型化 、 连续化 、 综 合化的 方 向 发展 , 形成 了 复杂的



生产过程 , 这对产 品 质 量 控 制 与 成 产 速度 的 要求 也越来 越 严 格 , 推动 了 工业 自 动 化技术的



快速发 展 , 同 时也带来 了 巨 大 的挑战 。 在生产过程 中 , 对工业 生产 过程实现实 时检测 , 



于其过程控制 、 优化 、 调度 、 管理和决策方面有着 重 要 的作用 , 是整 个工业 生 产 过 程 非 常



重要 的组成部分 

在过去 , 传 统 的 检 测 方 法 通 常 需 要 破坏检测 样本 , 而 且分析所需 的 时 间 较长 ; 无损检



测是指 在检测 过 程 中 不损坏被检测样 品 的物质性能 , 通过检测样 品 的 物理原 理 等 , 实现快



速 可靠 的 检测 光 谱 分析 技术就是 种 非 侵入 在线 并 行 分析 的 无损检测技术 


、 。 、 、 。

_ '

子 振 动 光 谱 是 光 谱 分析 技 术 的 重 要 分 支 。 分 子振动 光谱 的 原 理是 , 当 光谱 电磁辐射照射 

透过物质分子时 , 将会产 生 的 不 同 物理现象 , 比如吸收 、 反射或散射 等 , 根据不 同 的 电磁



辐射可 以 分为 : 荧光 光谱 、 红外 光谱 、 拉曼 光谱 和 近红外 光谱 等 [
2 3] ,

。 其 中 , 拉 曼和 近红外

光 谱 是研 究 的 热 点 方 向 

拉曼光谱 由 于 其特 性 , 今年 来 在 多 个 领 域应 用 越 来 越 广 泛 , 如石袖化工 、 食 品 、 高分

子 、 材料 等 , 发挥着 非 常 重要 的作用 。 拉 曼 光 谱 作 为 光谱 分 析技 术 , 它 的特点 是对于非 极



性或极性很小 的基 团 ( C =
N 、
S -

S 、 C C -

、 N N -

、 S C -

) , 以 及物质 中 脂肋族化 合物 C H -



缩振动等 , 会产 生较强 的 特征峰 。 拉曼光谱 作 为


种 无损检测 技术 , 对于样品 的处理简单 



而且检测只 需 要很少 的样 品 , 能 以 很快 的 速度 分析 出 其 性 质 成 分 , 被广 泛应 用 于在 线 实 时

监测 。 但在 某 些 方面拉曼 光谱 也存在 不足W 。 相 比 较 与 近红外 光 谱 , 拉曼光谱 的信号 强度



较弱 , 通 常情况下 只 能 用 于检 测 O . l t no l/L 以 上的 样 品 浓度 。 除此以外 , 由 于拉曼 光谱 是散



射光谱 , 散射强度极弱 , 容易 受荧光 、 温度 、 光程 、 激光功 率 、 固 体颗 粒大小 等 影响 干扰 



强 的荧光干扰 甚 至可 能会覆盖拉曼信号 

近红 外 光谱 主 要检测 含 氢基 团 (

NH 、

CH 、

OH 、

SH 等 ) , 广 泛存在与 多 种物质 当

中 。 随着 N R 仪器的 不 断 改进
I , 化 学 计 量 学 数据处 理 方 法 的 发 展 与 应 用 ,
N IR 在 工 业 应 用

中 的 优势逐渐被人们 认识 , 迅速的被应用 到 多 个领 域的 现场 分析 、 在 线 分析和 快 速 分析 当



为 企业带来 丰厚的效益 但近红外光 谱本 身 也存 在弱 点 如物 质对吸 收 系 数小



中 , 了
[ ]
。 , 




第 章 绪论




灵敏度 低 检测 极 限 般要求 不低于 % 7]


信号 强度弱 谱 图 比较复杂 另外 与拉


( 〇 . 1

) 、 、
, ,

曼光谱 不 同 的是 , 近红外光谱 容易 出 现严 重 的 波峰严 重 现象 、


没有 明 显 的特征峰 , 而导致

解析难度 大 [
5 】
。 近红外 光谱 实 际应 用 中 需 要采 集 足够 多 的校 正 样本 , 才 能得到较高 的 检测

精度 并不适用 于少量样 品 的 检测任务 随着 多 元校正技术 以及化学计量 学技术的发展



6]
, 。 

近红外 光谱 才 开始被 广 泛 的 应 用 [




由 于 分子振 动 光谱分析是 种 间 接分析技术 依赖 于 多 元校正技术的 发展 才使其在




, ,

定量 分析领 域有 了

定的地位 。 以 多 元校正技术 为 核心 的化学计量 学方法 的 发展 , 使得科



学 家 能 够从 复杂 的 难 以 直 接辨 识 的 光谱数据 中 , 提取 出低维的 , 少 干扰 的特征 , 由 此光谱



分析 逐渐 发展成 为 个热 领域 由 于 多 元校正技术的快速发展 使得拉 曼和 近红 外 光谱




门 。 ,

分析技术应用 领域不断拓 宽 [
9 , M 

1 . 2 分 子振动 光 谱 分析 原 理 介 绍


"

近 k 外 光 谱 原 瑝 介 绍

1 . 2 . 1

近红外 光 谱 ( NIR ) 是介于紫外线 可见光 -

( UV V-

i s ) 和 中 红外光 ( M IR ) 之 间 的 电 磁

波 , 其波长 范 围 为 700 ?
2 5 0 0 nm 。 近红外 光谱 主 要 检测 的 是含氢 官 能 团 ( X H -

) 。 分子振

动 的 非谐振性使分 子振动 从基态 向 高 能 级跃迁 时产 生 近 红 外 光谱 主要原理是 当 红外





单色或符合光照射穿 过样 品 时 ,

样 品 中 的 分 子选择性 的 吸 收 辐射 光 中 某 些 频 率 波段 的 光 

引 起分 子 中 化学键 的振动 , 产 生 吸 收 光谱 [
4]
。 因 而 入射光损失 了

部分能量 , 因 此透过 的

光强减弱 这 现象可 由 郎 伯 比 尔 定律描述 该定律表达式如下


, , 

A 

 sL c  ( 1 . 1 

上式 中 ,
d 即 吸光度 ,
s 为摩尔吸收系数 , 同 神 物质 时是

个常数 ,
I 即光程 , c 

待测物质 浓度 。 因 此入射光被 吸 收的 强弱 与 光程和 吸 收物 质 浓度 成 正 比 , 而 与 光强无关 



拉曼 光谱和 近红外光谱 都 与 分子振动 有 关而 产 生 的 光谱 , 统


为 分 子振动 光谱 。 不 

物质 分 子振动 会有 多 种 形 式 , 因 此 需 要 根据实 际物 质 特 性 选 择不 同 的 光谱 分析 方 法 

1 . 2 2 .
拉曼 光谱 分析 原 理

与近红外光谱 不 同 的是 , 近红外光谱是吸 收光谱 , 而拉曼光 谱 为 散射光谱 。 当 物质被




束频率 为 单色 光照射时 , 会 出 现反射 、 透射现 象 , 除此 以 外还有


现象是 光 的散射 

会 向 不 同 方 向 辐射 。 散射光 中 的 大部 分 频 率 和 入射 光相 同 , 称 为 瑞利 散射 ( R ay l ei
gh




第 章 绪论

  

S c att e r
ing 而另 小 部 分强 度 比 瑞利 散射 弱 的 多 频率不 同 于入射 光 的 散射光 就称为


) ;
、 ,

拉 曼散射 即本文研 究 的另 种 分 子振 动 光谱
4]
R a m an c at e r
in 

 S )


g ,


Ray l ei g h F l u o res c en c e

Stokes Ant i St o kes




Exc it e d  E l e c tr o n i c  S ta te  

V i rtu a l  S t a e s二
t 二 二 二 二 二 二 2  31  二 二 = 二 




V i b r a ti o n a l  S t a t e s   ^  H Z IIZ I  j 


Gro u n d E
  ■


 l e ct r o n i c  S t a te
;  ;

G roun d V  i b r a t on a i l S t a te

图1 . 1 St o k e s 、 An ti

S t o ke s 、 Ray l e i

h 、 R am an  和  F l u o res c e n c e  产 生的 能级 图


 .
 ? -

 -

入射光 子 和 物 质分 子 间 发 生 的 非 弹性碰撞 产 生 了 拉曼光谱 。 不 同 的物质分子的化学



鍵 、 转 动 能级或振动 都不相 同 , 由 此决定 了 碰撞过程 中 能量交换 的大小 , 而 与 之相 对应 体



现 出 来 的 就是拉曼位移和 拉曼 强度 。 拉曼 位移 与 入射光频 率 无 关 , 拉曼强度和物 质浓度 与



入射光 强 度有 关 , 关 系 可用 式 ( 1 . 2 ) 表示 



c物 /入 
f ( 1 . 2 

式 中 ,
/ 是拉曼 强度 , 是 物 质 浓度 ,
I ,

. 是入射 光 的 强度 。 & 是 参数 , 通 常 仪器 的 参

数 、 光 学 参数等 会影 响 这个参数 的 大小 。 由 此看出 , 拉曼光谱可用 于定量分析 



1 . 3 国 内 外应 用 及研 究现状

1 . 3 . 1 近红外光 谱 研 究 现状

分子振动光谱 般包含 关于物 质组成或性 质 的 丰 富 信息 但也会受到 嗓声 背景等




了 , 、

无 关信 息 的 干 扰 所 以 用 以 建 立 定量 校正模 型 的 多 元 校正 技 术在 近红外 光 谱 分析 中 直深



受重视 , 是分子振 动光谱分析技术 的 核心 内 容 [



近红外光谱 分析技术是 种无损快速 方便 的 分析 方法 不需要消 耗样 品 与 特殊处理


, 

能够 实现连续分析 与 在线 监测 , 广 泛 地应 用 于 各 种 领域 中 

在石油 领域 王宗 明等 使用 元线性回 归 M LR 和偏最小二乘 等化学计




2]
多 PL S



( ) ( )




第 章 绪论

 

量方法 建立预测模型 用 来 检测 汽 油 的 辛 烷 值 年史 月 华 等 将主成分 回 归 残差




1 3
, , 。 200 1
[ ]

神经 网 络校正算 法用 于 近红外光谱 预 测 汽油 辛烷值 的 模 型 校正 , 该 方法结合 了 主成分 



与 经典 的 线 性校正 方法 及非线性 预测 能力 明 显提 高 褚小立等 4 ]


归 P L S P C R 以 PL S

, , , 。

采 用 支 持 向 量 回 归 的 方 法用 于 建 立 汽 油 标号 校正 模 型 , 并证明 其预测 能 力 优于 对应 的 最小

二 乘法 。 另外 , 文献 [
1 5

中 提 出 建立局 部 最小 二 乘支持 向 量机来 克 服参 数和 光谱数 据 间 的

非线性 , 使模型 的 参数 对 于 不 同 的训 练 样本 具有 自 调整功 能 



在 其他 方 面 ,
Pl e i t ez 等〃 于
6]
20 〗 2 年 通 过分析体 内 和 体外 的组织 液的 近红外光谱 , 

出 了 结 合傅 立 叶 变 换 N R 光 谱 分析和 脉冲 量 子级 激光器 的 无损 血糖 分析 方 法 I 。 W i l l i am s


等 [ ]

通 过 分析农 作物溶液 的 N I R 光谱 , 准确 地 分析 出 农作物 中 氨基酸的组成浓度 ; 孙耀



人 对 于 茶叶 中 的各种 有 效组分浓度 的 浓度 检测 利 用 傅 里 叶 变换 N R 光谱技术


8]
国 等


I 

将 N R 光谱 分成不 同波段 I , 分 别试验 了 相 应 的建模 效果 





' 

拉 曼 光 谱 研 究 现 状


1 . 3 .

由 于 拉曼 光 谱 能 够 比 较有 效 的 检 测 出 物 质 的 振 动 , 相 比 较近红外 光 谱 , 特 征 峰更 加 尖

锐 , 分析灵敏 , 对 于样本 的 要 求 低 , 在许 多 领域 中 也逐渐得到 了 应用 



在石 油相 关产 品 检测 中 , 拉曼光谱有 着很强 的 能力 。 油 产 品 主 要 是各种 复杂 的 烷烃 



环烷烃和 芳香烃 的 混 合物 , 拉曼光谱 对于 这 些 基 团 非 常 灵敏 。 Ph ili


p 等 [
1 ]

运用 拉曼光谱技



术测 定 了 汽 油 的 抗爆指 数 、 M ON 、 RV P 和 R ON 值 。 :
0 & 等 [
2( )

人针 对 汽 油 牌 号 分类 时 , 主 

成 分分析 对样本 重 叠 无 效 的 情 况 提 出 拉 曼光谱 结 合 改进 的 基于 R 权 重 的 偏 最小 二 乘 支 持



 ,

向 量机的 方法来提高 分类精度 。 国 内 近几年研 究 成果 明 显增 多 , 王拓等 人在文献 [


22]
中 利用

最小 二 乘支持 向 量机建模 并开发 套在线拉曼分析 系 统 提 出 该系 统可 以 为 工艺 装置




, 了 ,

的 操作优化提供准确 而 重 要 的 检测 参数 

生物柴油 方面 ,
Gh e st i
等 [
23 ]

人通 过拉 曼光谱 对 于 在大豆 油 和 乙 醇醋 反应 制 备 生 物柴油



过 程 中 的 大豆 油 与 乙 醋 的 混 合 物 进 行 了 定量 分析检测 。 M i r a nd a 等 人通过拉曼 光谱 , 对大

豆生物柴油 中 所含有 多 种 不 同 类型 的酯 , 以 及未知 生 物柴 油 的 组 成进行 分 析 [


24 ]


拉曼 光谱 不止广 泛应用 于石 油 产 业 , 在 生物医药方面 , 拉曼 光谱 能 准确 分析 出 生 物 细



胞或组织 的 结构 信 息 对诊断癌 症等 细胞结构病 变导致 的 疾病有 着重 要 意义 郭萍等





25]
, 。

在 对 比 正 常 人和 不 同 部 位 患 癌 症 的 患 者 血清 的 拉 曼 光 谱 时 发现 , 不 同于正常人 , 癌症患者

的血清在特定波段 其 拉曼 光 谱 会 出 现 特 征 峰 而这 领域的研 究 直 在持续 S c al f


i h app


。 ,

等 研究 不 发展 阶段的 癌 细 胞的 拉曼光谱 发现从拉曼 光 谱 中 能够准确 地检测 出 癌




27
: 了 同
[ ]




第 章 绪论


 

细胞 的 发展 阶段 以 及其物质结构信息 , 拉 曼光 谱 检测 癌 细胞情况 的 灵 敏度 比 传 统 方 法更

高 

1 . 4 波长 选择意 义

在 光谱 定量分析领域 , 随着检测 器精 度 的 不 断 提 高 , 光 谱 仪 能采集 到 的 波长 点 越来越



密集 。

般情况下 , 近红外或拉曼 等 分 子振动 光 谱 的 光谱 波长 点 能达 到 上 百甚 至 上 千个 



以 条谱 图 的 形 式来进行校正 分析 传统观点认 为 全光 谱 作 为 多 元校正模型 的输入会带有




更多 的信息 并且 良好 的 多 元校正 模 型 是 具有 抗 干扰 能 力 全光谱 会有 更好 的预测 性 能



2 8]
, , 

随 着研 究 深入 逐 渐发现存在 些 共性 问 题 比 如拉曼光谱信 号强度 弱 易 受荧 光 嗓声 干




, , 、

扰 、 可能存 在光谱盲 区 、 原 光 谱 谱 带过 宽 等 问 题 非 常 不 适 合全光 谱 建模 ; 而近红外光谱则



存在 吸 收峰严重 重 叠 、

吸 收强度 弱 、 谱 带宽等 问 题 。 因 此对全光谱 进行 波长 选择 , 选 取 适 





合建 模 的 波 长 点 进 行 建 模校 正 是 十 分有 必 琴 的  。

B M ad l er 等 [
2 9]
通过波长选择方法 , 大幅提高 了 C L S R 模型和 PL S R 模 型 的 预测 能 力 

并数学 方法证 明 了 光谱特征波长 点 选择 的 重要性 。 2 ^ ( 等 [


3 2]
以 近红外 光 谱 为 例 , 认为 波长

筛 选在 多 个 方 面 都有 重 要 意义 。 发现泥土 的 漫反射光谱 存 在 高 度 共线性的 问



题 , 通 过有 序 预测 组合波长 筛 选 方 法 进行波长 点 的 筛 选 后 , 发现 筛 选 后 的 波长 子集进行建




模 预 测 效 果 均 优于 全 光 谱 波 长集 的 建模 效果 通常 个好的波长筛选 方法 筛选出优质的


。 ,

波长 子集不仅可 以 提 高 模 型 的预测 精度 , 还 能 降 低模 型 的 复 杂 性 、 提高抗干扰性能 



世界 范 围 内 众 多 学者 已经提 出 很 多 种光谱 波长选择方法 主要分为 两类 类 是根据




, :

数据本身 特 性 得 到 些 评价指标对 光 谱 波长 进 行排序 然后进行波长选 择 另 类是在对






光 谱 数 据 建模 过 程 中 , 根据所建模型输 出 得到 光 谱 波 长 重 要 性评 价指标 , 进行波长选择 



类 包括 相 关 系数法 等 类 包括 遗 传算 法 偏 最小 二 乘
3 4]
第 第 二 GA P L S ) 变量投



3 5
[ - - ]
: :


影重要系数 Va r V IP  竞争 适应 重加权采祥 法


3 6]
( i ab l e  Im
p o r t a n c e  n  t h e  P r oj e c t i o n



, 自

( C om p e t i t v e  a d ap t
i ive  rew e i
g ht e d  s am p l i ng ,
C AR S  )

3 7

和无信息变 量消 除法 ( e l i m i n a ti o n o f

u n i n fo r m a t i v e  v a r
i ab l e , 
UV E 〉

38 】

等 

1 . 5 本文 主 要 内 容

随 着 多 元校正 技 术 的 快速发 展 , 分 子振动光谱广 泛应用 于 多 种领域 当 中 。 但是 由 于光






第 章 绪论

 

谱分析技术是 种 间 接分析技术 依 赖于化学计量 学 的 发展 好 的 模 型 以 及好 的 波长 选择




, ,

算 法 对 于 光 谱 分析 技 术 的 应 用 效果 有 着 非 常 重 要 的 影 响 本 文在研读 前人在这 方面的




。 了

研究成果后 , 结合 V I P 值和 粒子群算 法 , 探索 了 多 种 波长 选择算 法 ; 在 定量 分析模 型 方 面 



研究 了  C NN 应 用 于光谱数据分析 , 以 及 局 部 建模 结 合新 波长 选 择 方 法 等 

在第 章 中 主要介绍 了 分子振动 光谱 的 历史与 发展 包括 近红外 光谱 和 拉 曼 光谱 的




, ,

原理 光谱 分析 作 为 无损 在 线分析技 术 的 广 泛应 用 国 内 外对这 块的研究进展情况



、 , 

分子振动 光谱波长选择算法 的必要性 发展情况 国 内 外对这 技术 的 研 究现状 等


、 ,


在第 二 章节 中 , 主要介绍 了 光谱 分析 中 涉及 到 的 主 流 的 化 学计 量 方 法 。 光谱 分析 的 主

要 步 骤 有 数据预 处 理 、 波长 选 择和 多 元 校正模型 三 个 部 分 》 对光谱样 本 需 要进行祥本选择



以及预处理 。 样本 选择 中 包括异 常 样 本 处理和样本划 分校 正 集 和 测 试集 。 常用 的数据预处



理 方法有 归 化 标准化 中 心化 平 滑算 法 导数算 法和基线校正 等 化学计量学 当 中




、 、 、 、 。

应 用 较 多 的 定 量 回 归 模 型 有 多 元 线 性 回 归 法 MLR ) 主成分 回 归法 偏 最小

( 、 ( PCR ) 、


乘法 最小 二 乘支 持 量机 回 归 L S SV M ) / 局 部建模等 应用 较 多 的波长 筛选 方


( PL S ) 入 向 ( ;

法有 间 隔偏最小 二 乘 、 遗传算 法 、 变 量 投影重要 系 数等 。 同 时 , 还介绍 了 粒 子群 优 化 算 法



的基本原理 。 最后 介绍 了 模 型 的 评 价指标 , 如 RM S E C 、 RM S E C V 、 RM S E P 和 R2 

本文 的 第 三章 主 要研 究 波长 选择新 方 法 。 在第三章 中 , 提出 了 新 的面 向 于分子震 动 光



谱特征波长 点 选择方法 , 结 合了 粒子群算法与 变量投影重要性系 数 V (


I P) , 从基本粒 子群

算法 , 到 结 合 V F 系 数 的 粒 子群算 法 I , 结合 V I P 的 自 适应粒 子群算法 以 及结合 V I P 的 



隔偏最小二乘 自 适应粒子群算 法 , 多 种 算法 层 层 推进 , 适用 于不 同 的 情况 , 并且有着更高



的稳定性 。 首 先 本文将基本 二 进 制 粒 子群算 法 (


BP S O ) 的 细 节 改进 , 并 将其应用 于 近红外光

谱 进行 优 质 波长 点 筛 选 算 法 的 过 程 与 应 用 结 果 。 为 了 更 好地 收敛于 更优 的极值 点 , 设计 用

V P 系数来为 BPSO 算 法指 引 个更好的 方 向 称为 B P S O V IP 算法 不管是 BP S O 还是




I , 。
_

B P S O V IP _
算法 , 结 果都有 较大 的 随 机波长 , 因 此在设计 了

个光谱 波 长 点 表现评分 方案 

用 于在多次重复 B P S O V EP _
算法时 , 根据训 练 集和 验证集 的 误 差 来 评 估 波长 点 的 表现得

分 另 方面 基 本 二 进制 粒 子群算 法 学 习 速 率难 以控制 粒 子群 收敛快 容易 陷入局 部




。 , , ,

最优 点 中 很难跳 出 , 在第三章 中 提 出 基于新的 V I P 值的 自 适 应 粒 子群 算 法 (


VA P S O ) , 该算

法较之前 能够寻找到 更优 的 波长子集 , 并且速度 更快 。 最后 , 提出结合 间 隔偏 最小 二乘 的



i VA P S O 算法 , 通过减少迭 代 中 粒 子长度 , 以较少 的时间 即 可达到较 高 、 并且 更 稳定 的 预



测性能 , 其次 , 也可 以 通过循环评估来筛 选 出 更优的波长 子集 



本文 第 四 章 节 主要探 索 更优的 分 子振动光谱 定量 分析模型 。 在本章 中 , 选取 了 传统的







第 章 绪论




多 元校正模 型 ( P CR 模型 、 PL S 模型 、 L S S VM 模型 ) 、 深度 学 习 领域常应用 于 图像 领域

的 C NN 模型 , 以 及基于不 同 相 似性的局 部模型进 行对 比 。 其 中 C_ 常用 于 图 像分类 、 



像分割 等 技术 中 拥有着 出 众 的 图 像识别 能力 我 们 的 光 谱 数据 虽 然是 维 数据 但也同




, 。 ,

样拥有 类 似 于 图 像 的 性质 。 除此 以外 , 由 于分子振动光 谱数据 常 常用 于训 练 的校正 样本分



布广 泛 , 因 而 导 致对 于 单 个 测 试 样 本 的 预 测 结 果 不 是很 理 想 。 因 此本文尝试 了 基于欧 氏距

离为 相似性 , 基 于 净信号 为 样本 相 似 性度 量 , 和 基 于 光 谱 信 息 散度 作 为 相 似 性度 量 三 种 局

部模型 最后 在 比较三种 不 同 局 部 模型 的结 果后 选取 种相似性 函数 结合 V 




。 , , ,
I P 自

应 粒 子群 算 法 , 进行波长 子集 以 及样本 子集 的 筛选 , 提 出 结合局部模型 的 V IP 自 适应粒子



群算 法 ( Loc -

VA P S O ) 方法 。 该方法耗 时 短 , 效果 比仅用 局 部模型 更加好 , 在 分子振动光



谱 定量 分析领 域有着很好 的 前景 

在第五章 中 ,
主 要研 究 前 文提 出 的 多 种 不 同 的 新 波长 选择 算 法 以 及新 定量 分析模 型 应

用 于 检 测 生 物柴 油 调 和 油 的调 合 比

。 对 于 所 获 得 的 调 和 油 样本 分别 检测 近红外光 谱 和 拉曼

光谱 , 获 得光 谱数据 , 并 分 别 进行 光 谱 数 据 预 处 理 、
光谱定量模型选择 , 以及特征波长 点

筛选 。 然后 , 将第 三章 、 第四章 中 所 提 出 的 多 种 光 谱 特征 波 长 筛 选 方 法 ( VTP 自 适应粒子



群算法 、 结 合 间 隔偏 最小 二乘 的 V I P 自 适应 粒 子群算 法 、
波 长 表现 得 分 评 估 方 法 ) , 新的

定量 分析模 型 ( C NN 模型 、 基于不 同 相似性 的局 部模型 ) , 以及结 合局 部模 型 的 V IP 自



适应 粒 子群算 法应 用 于 处理好 的 分 子 振 动 光 谱 数据 。 实验结果表 明 , 本 文 提 出 点 的 特 征 波 



长 点 筛 选 新 方 法 以 及 新 光 i普 定 量 分 析 模 型 应 用 , 在提高生 物柴油调 合 比检测精度而 言 , 



着很好 的应用 效果 , 提 高检测 精度 、 降 低计算 复杂 度 方 面 也表现优秀 。 该方法相 比较与 前



人关 于 生 物柴 油 调 合 比 的 检测 方 法 , 拥有检测费用 抵 、
快速 筒 便 、 检测 精度 高 , 效果好等

优点 , 拥有 很好的应用 前 景

在第六章 中 , 对于本文提 出 的 多 种算法进行 了 优缺点 总 结 , 并分析 了 未来 的应 用 方 式



以 及 改进 方 向 




第 章 绪论








第二 章 分 子 振动 光谱 技 术 中 化 学 计 量 方 法 

第 二章 分子振动 光谱技术 中 化学计量方法



2 . 1 引 

化 学计 量 学 方法对 于 分 子振动 光谱 定量 和 定性分析 的 广 泛应 用 有 着 非 常 重 要 的 作用 



根据待测 样本 的 性 质 , 不 同 的模 型 适 合 不 同 的 样本 进 行数据 分析 , 选择合适 的 化 学计 量 学



方 法 是 非 常 关 键 的 步 骤w 

分子振动光谱 般包含 关于物质组成或性质 的 丰 富 信 息 但在分子振动 光谱测量过




了 ,

程 中 , 常 常 会 受 到 高斯 噪声 、 散 粒 噪声 、 荧 光 干扰 等各种 噪声 干 扰 。 因此对于样本 光谱进



行预处 理 , 去除 噪声 、 提高信噪 比 , 对 于 之 后 的 光谱 数据建模预测有 着很 重要 的 影响 。 



莸得 系 列 样本之 后 常 见 的 处 理手段 有 异 常样 本 分 析 数据集划 分 标准正 态变 换


: 、 、 


基线 校正 、 平 滑 滤 波等 

光谱 的 波长 范 围 选择也是非 常 重要的 。 常 见 的 波长 选 择 方法 为 相 关 系 数 法 , 能够直观



的给 出 信息 最 丰 富 的 光谱 区 间 ; 其他方法如遗传算法 , 往 往 能 够 得 到 更好 的 校正和 预测 结

果 , 但是其参数 的 选择较 为 复杂 , 计算量 也较大 




除 了 上述光谱 预处理技术与 波长选择 以外 , 定量 分析模 型决定 了 光谱 的 实 际校正 、




' 

测能力 , 在实际选用 时 ,

需 要根据具体 问 题 , 选 择 模 式 识 别 或 机器 学 习 方 法还 是 多 元校正

方法 在选择是 线 性校正 方法 还是非 线性校正方 法 如 L S S VM 等 其 见的 多


4]


PLS ) ( )

。 中 常 

元校正方法包括 :
多 元线性 回 归 、 主成分 回 归 、 偏 最小二乘 回 归 、 支持 向 量 回 归 、 神经 网

络等 ; 而 模 式 识 别 方 法 包 括 聚 类分析 、 相 似度 分析 、 线性判别分析等 

本章 的 主要研究 内 容 即 为 分 子振动 光 谱领 域主 流 的 光谱 预处 理 技 术 、 光谱 范 围 选择 

多 元校正 方法 与模式识别 方 法等化学计量 方法 



2 2

光谱 样本预处理技术

2 2
. . 1 异 常样本处理

当 我 们在测量分子振动光谱数据 时 有 两个重要步骤 其 是样本 数据 的测量 其二




, , ,

是校正样本光谱 的 获取 。 在这 两 方面的操作 中 都可能会 因 为 人为 操作失误 , 或是测量方法



使用 不 当 , 或环境 因 素 等影响 而 产 生异 常样本 。 常 见的异常 样本筛选 方 法有 以 下 几种 







第 二 章 分 子 振动 光 谱 技 术 中 化学 计 量 方 法 

1 、
Co ok 距离

C o ok 距离度量 剔 除样本 对整 个模 型 的 变 化影 响 程度 假如针 对 某 个样本 剔 除 前




了 :

后 进行 建模 , 前 后 建模 的 结 果 以 及模 型 系 数差 异较 大 , 那 么该样本 为 异 常样本 的概率 也较



大 

2 、
马 氏距离

与 C o ok 距离 相 比 , 马 氏距离 比较 筒 便直接 , 其 度量 标准 为 某 样本 的 光谱 数据 与 所有

样本 光 谱 数据平均 值 的 差值 

3 、
依据杠杆值和 学 生 化残差 识别 异 常 样 本

在多 元 回 归模型 分析 中 , 帽 子矩阵的对 角 线 上 的元 素 表示该样 本 的 杠杆值 ( L ev e r a g e ) 



杠杆值 结 合 学 生 化 残差 可 以 综 合评估单 个样本 性 质矩 阵 的 预测 能 力 。 若样本 的 学 生化残差



和 杠杆值都 很大 , 该 样本 即 为 潜 在 异 常 样本 

为 了 防 止对 潜在 异常 样本的 错误判 断 , 通 常 需 要 对判 断 结 杲进 行验证 , 采用 留 一

法交


叉验证 根 据 交 叉验证结 果来 判 断 是否 要 剔 除 该 样 本



2 2 2
. .

数据集划 分方 法

校正 样本 的 采样 要遵 循 以 下 几 个 要 求 是校正 样本 的 样本性 质 是均 匀 分布 的 二 


, ;

如 果 样 本有 多 重 形 式 , 校正集 要囊括所有 形 式 ;
三 是校正 集 中 样本 的 数量 不 能 过少 也 不 能

过多 , 否 则 无 法 精准衡量 模 型 的 预 测 性 能 。 当 采集 的样本 中 待测 目 标数值 分 布 不均 匀 时 



按 比 例 采 样 则 不 够 科 学 , 这 时采用 K -

S 方法 ' 不考虑 待测


目 标值 , 只 考虑 样 本 的光谱数

据 , 根据不 同 样本光谱数据的 欧式距离 进行划 分 



为 了 验证算 法 的 有 效性 , 本文将所获 取 的数据集划 分为 校正集 与 测 试集 。 用 校正 集训



练模型 , 并 应 用 于 测 试集 上 评 估 模 型 泛 化 能 力 。 另 外在训 练 的过程 中 , 将校正 集 以 7 : 3 



比例 划分为 训练集 、 验证集 , 用 于 波 长 选 择 算 法 评 估模 型 的 拟 合 能 力 与 预 测 能 力 



2 2 3
. .

基线校正技术

由 于存在暗光谱 、 荧光 干扰 等 问 题 , 需 要 对光谱进行基线 校正 。 常 用 的基 线校正方法



有 多 项 式 曲 线拟合基 线 校正 、 不对称 最小二乘等 。 基于最小 二乘 的 多 项式迭代 拟合基 线 校



正 比较简 单常用 缺点 是迭代 次数和 项 式 阶 数 需 要 多 次 调 整 参 数 得 出 最 佳 拟 合 效果





[ ]

, 

不 对称 最小二 乘 结合 不 对 称 加 权和 惩 罚 最小 二 乘 方 法 两 者 能 够快速 去 除光谱 背 景


42 ]

, 

但 同 样也存 在 参数设置 问 题 , 容易 出现谱 图 失真 



10



第 二 章 分 子振动光 谱技术 中 化学 计量方 法 

2 2 4
. .
平滑算法

分子振动光谱 的测量过程 中 会 包 含光谱 仪 的 暗 电流和 随机噪声 , 会 对光谱 定量 分析模



型产生 定的 干扰 平 滑 去 嗓算 法 能有 效消 除 噪声 干扰 和 毛刺

。 

常 用 的 信号平滑方 法 包括移动平均平滑 、 S av i tzky -

Go l a
y
( S -

G ) 卷积平滑 。 S -
G 卷积

平 滑方法是 对移动 窗 口 里 的数据进 行 多 项 式 最小 二乘拟合 , 即 对不 同 的 波长 点 赋 予 不 同 



权值然后 统计平滑后 的平均值 。 该 方 法计算速度快 , 但是多 项 式 阶次以 及窗 口 大小 选择不



当 容 易 导 致平 滑 过渡 信号失真 移动 平 均 平滑是在 定宽度 的 窗 口 内 对窗 口 内 的测量




、 。 ,

值取平均值来作 为 窗 口 中 心点平滑后的值 , 代替原测量值 。 因此 同 样也存在 窗 口 大小 的选



取问题 , 窗 口 过 大 会造 成 丢 失 高 频信 息 , 过小则 平滑效果不好 



2 2 5
. .
标准正 态 变 换

标准正 态变 量 变换 SN V 用 于 消 除样本颗粒大小 不 表 面散射 光程变 化等 因


44 ]


)

( , ,

素 对近红外漫反射光谱 产 生 的 影响 。 对 于 光 谱 矩 阵 尤 %  SNV 的 计 算 方 法 扣 下 

 ? 

 _ 

 

( 2 . 1 

s

t d(X )

 t

表示第 / 条 经标准 正 态 变 换 后 的 光 谱 , 而i 和 .


幻 奸抑 分 别 是 第 / 条光谱 x 的 平 均

值和方差 

2 3

定量 分析建模方 法

在 光谱 数据分析 中 化学计量 学 方法是 种 必 需 的 数据 处 理技 术 正确 的定量模型建




, ,

立 , 能够更加准确地预测未知样 本性 质 , 或组成 成分 , 拥 有 更好 的 鲁棒性和 稳健性 。 定量



模型分为 线性 回 归 模型和非线性 回 归模型 , 前 者 包 括 M LR , 要求 自 变 量必须相 互独立 



但是光谱 中 存在

定程度 的 多 重共线性 , 由 此 PCR 、 PL S 得 以 发展 。 非 线性模 型 应 用 广 泛 



包括神经 网 络 ,
S VM ,
L S S VM 等 

常 见 的 光谱 分析技术定 性 或 定 量 分析 的 流程 如 图 2 . 1 所示 

I   i
  [


光 谱数据 输 入 H 预 处 理  特 征 信 息 提 取 —



训 练结 果


L  
J  :  i
 i

 


‘

反馈 优 化参 数

1 1



第 二 章 分 子 振动 光 谱 技 术 中 化 学 计 量 方 法 

图 2 1 . 分 子振 动 光 谱 定性 或 定量 分析流程

2 3
. . 1 多 元 线 性 回 归 Mu (
lt i i at e  L n e a r
v ar i  R e gre s s i on ,
MLR 

ML R 是最 简 单也是最 常 见 的 回 归 模型 求解模 型 的 方 式是最小 二 乘法 当 存在 




, 。

光 谱数据集矩 阵 不 x
p ( n

样本 个数 ;

波长 个数 ) , 以 及 需 要检测 的 目 标变量 y? x / ,
MLR

模 型 的数学表达式如公式 2 3 . 

Y 

 XB + E  ( 2 2 .


其 中 , B 是模型 的 回 归 系 数 , 而 E 是误差 向量 

2 3 2
. .
主成分 回 归 (
P rin c i p a l  C o mp on e n t R e g r e s s  i on , 
P C R)

PCR 实 际是主 成分分析 ( Pr


i nc p a i l C o m p o n en t A n a y s i s P C A  l
,
) 与 M LR 的 结 合 , 求解

过程 中 , 首先对光谱 数据 进 行分解 , 获得最 能代表原 光谱里 大部分信息 , 并且互 相正交 的



少 量 几个主 成分 , 然后建立这些 主 成分和 检测 目 标 向 量 间 的 MLR 模 型 。 光谱 矩 阵 X ? x


p 


PCA 分解后 , 可 以 得 到 如 下 的 表达 式 

X m


T_ P
二+E 

”  ( 2 3 . 

其 中 , 乃# 是 主 成 分矩 阵 , 是载荷 矩 阵 ,
m 是 P CA 分解后 的 主 成 分个数 , 尽% 是残差

矩阵 

PCR 有

个局 限 : 主成分求解过程 中 仅仅只 考 虑 分 解 了 光谱 矩 阵 , 并没有 考 虑 检 测 



标 向量 , 因 而 也无 法 保证分解 得到 的 主 成 分 与 检测 目 标的相 关性 

2 3 3
. .

偏 最小 二 乘 回 归 ( P ar ti a l  L e as t  S q u are  Re gre s s i on ,
P L S R )

PL S 是 S . Wo rd [
44]
提 出的

种 多 元校正技术 , 也是 目 前近红 外光谱 分析 中 应用 最为 普



遍的 种 定量 分析模 型建立 方 法 偏 最 小 二 乘 法 可 以 认 为 是 M LR 以及典型相


45 4 6]
P CA 

[ ,

。 、

关 分析 三种思 想 的 组 合 , 也属 于 因 子分析方法 。 PLS 在 建模 过 程 中 , 与 PCA 方法相 同 



对 光 谱 矩 阵进行 分解 , 提取 出少 数几个互不相 关的 变 量 , 并拥 有 原 光 谱 的 大部 分信 息 , 

之为 潜变 量 , 也可称 为 主 元 个数 。 但是与 PCA 不 同 的是 ,


PLS 不仅提取光谱 矩阵 的 主 成

分 , 还 需 要 提 取检测 目 标的主成分 , 在提取潜 变 量 的 过 程 中 要使提取 出 的 潜变 量 与 检测 



标变量 间 的 协 方差 最 大化 , 这 就保证 了 两 者 提 取 的 主 成 分有 最 大 的 相 关 性 。 PLS 方法是



PCA 方法的进 步 改进 在很多 应用 中 结 果证 明 偏 最小 二 乘 回 归 优于 主 成分 回 归


, , 

PL S 模型建立时 , 要分别 对样 本 的光谱矩阵 和 目 标 向 量 F? x ; 进 行 主 成 分提取 




X 

 TP  +  E ( 2 4 .



Y 
= UQ  + F ( 2 5 .


1 2



第 二 章 分 子 振 动 光谱 技 术 中 化 学 计 量 方 法 

其 中 ,
T 和 P 分别 是光谱矩 阵 尤 x
p 的 得 分矩 阵 和 载 荷 矩 阵 ;
U 和 Q 分别是检测 目 标 向 

的得 分矩 阵和载荷 矩 阵 ;
E 和 F 分别是 和 的 残差 矩 阵 

2 3 4
. _
最小 二 乘 支持 向 量机 (
L e a s t  S qu a r e -

Su
pp o r t
 Ve c t or  M ac h i ne ,
L S S V M )

支持 向量机 ( S VM ) 是由 Vap n i k 等 提 出 的模式 识 别 方 法 , 主要针对 小样本 、 非线性



以 及 高 维数据的分类 、 预测 问 题 , 能 够 很 大 程 度 上 克 服 人 工 神经 网 络 的 收 敛 困 难 和 结 果 不

稳定的 问 题 在此基础上 等
47]
提 出 了L S S VM 用 组线 性 方程 最优化组 问 题代


。 3 17 ^ 1 11 5

替 了  S VM 中 繁琐 的 二次规 划 问 题 , 很大程度 上 降低计 算 复杂 性 , 提高 了 模型泛化能力 



2 3 5
. .
局 部 建模策略

局 部 建模策略 与 线性 回 归 摸型 ( 如 PL S 模型 ) 相 结 合用 以解决 因 样本 间 差 异过 大 而 引

_
起 的非 线性 问 题 局 部 建模 策 略 的 核 心 思 想 是从 众 多 样 本数据 库 选择 与 前的




。 , 中 , 当

待测 样本 最相 似 的 部 分校I样本 , 然 后 由 这组样 本经 过 统计 分析或者 多 元校正方法得 到 结



果 。 根 据 这 些 局 部 校 正 子集 建 立 局 部 的 回 归 模型 , 用 此模 型 来对 预 测 未 知 样 本 [
4 S]
。 


2 4

波长 选择 算 法

近 年来 随 着 光谱 检测 仪器 的 精度 不 断提 高 光 谱 仪 能 够采 集 到 越 来 越 密 集 的 光 谱
, , 图 

在通 常 情况下 ,
近 红 外 光 谱 或 拉 曼 光 谱 数 据 会 有 几 百 至 几 千 个 波长 点 组 成 光 谱 图 。 过 去认

为 全光谱拥有更 多 的信息 而 且 常 见 的 多 元 校 正 模 型 是 具有 定 的抗干扰 能力 此全




28

[ ]

, ,

光 谱 作 为 输 入 会有 更 好 的 预测 性 能 。 但是 随着 研 究 深入 , 逐 渐发现近红外光 谱 存 在 严 重 的

吸 收 峰 重 叠现 象 、 光谱 吸 收强度较弱 、 原 光谱谱 带过 宽等 ;
而 拉曼 光谱信号 强度 更 弱 、 

容 易 受 荧 光噪声 的 干扰 、 同 样存 在谱 带过 宽 等 共性 问 题 。 由 于上述 原 因 , 全光谱 会存在高



度共线性的 问题 , 影 响 模 型 預测 能 力 。 因 此对全光谱进行波长选择 , 剔 除冗余波长 点 , 



择合适 的 波长 子集 进 行 建模校正是 十 分有 必 要 的 

常 见 的波长 选 择过 程见 图 2 2 .

所示 

建旦 分析

 
校正集1
| 
 预 处 理 H  波 长 选 择  h







- -


§| ? 、、

训 练结 果
一 

乂 





获取 光谱
     

r  

预 处 理 波长 选 择 I

预测

图 2 2 .
分子振动光谱定量分析过程

13



第 二 章 分 子 振 动 光 谱技 术 中 化 学 计 量 方 法 

2 4 . . 1 间 隔 偏 最小 二 乘 波长 选 择 (
i n t e rv a l  P L S , 
i PL S


间 隔偏 最小 二 乘 波 长 选择方法 是对波长 区 间 进 行 选 择的 方 法 。 首先将 全光 谱分为 宽度



相等的多个区间 间 隔 , 在每个 区 间 间 隔上都分别 对 区 间 内 的波长 点建立 PL S 模型 , 最后将



表现 最好精 度最 高 的 PL S 模型对应 的 区 间 间 隔 里 的 波长 点 作 为 最终选择的 特 征波长 而 间



 ,

隔组合 波 长 选 择方 法则 是选 择若 干 表现最好 的 间 隔 作 为 最 终选 择 的 特征波长


52
PLS [ ]


2 4 2
. .
遗传算法 ( g ene t i ca l
g ori
t hm , 
G A )

遗传 算 法 受达 尔 文物 竞 天择理论 的 启 发 是 种 随机优化算 法 GA 算法将波长 的 筛




, 。

选抽 象为 优化 问 题 , 是对 光谱 波长特征 点 的 筛选 , 而 不是特征段 的 筛 选 , 主 要步骤分为 初



始化 、 选择 、 遗传 、
交叉 、
变异 [
35 ]
。 基本 方法 为 初始化 一

个种群 , 计 算 每个个 体 的 适应 度

函数 , 采用 轮盘赌转法选 择 , 采 用 交叉产 生 新的 个体 , 采用 变 异防止 陷入局部 最优 。 到迗



最大迭代次数后 , 迭代终止 , 计算每个波长 点 的贡献值 , 排序 后依次剔 除贡献值较小 的 波 



长 点 进行建模 , 直 到 达 到 最 优 模 型为 止 

2 4 _ . 3 竞争 自 适 应 重加 权采样 法 (
C o mp e ti ti v e  a d ap t v e i  r ew e i
ght e d  s
am
p l i ng , 
C AR S )

CAR S 是 以 竞 争 的 机制 , 通过 自 适应 重加权采 样法选择 出 PLS 模型 中 重要的波长点 



以 交 互 验 证 结 果 为 标 准 选 出 RM S E C V 最 低 的 子 集 。 其 中 , 重要波长衡量指标为 PL S 摸型

系 数的绝对值 , 竞 争 的 方式 为 进行 多 次蒙特卡罗 筛选 。 初次筛 选 时 , 从校正集 中 选出固定



比例 样 本 进 行 建 模 第 二轮筛 选时为逐 剔 除评估


3 7
最 后 选择 RM S E C V 最小 的 子 集 为


[ ]

, 。

选择 的 样本 子集 

2 4 4 . .
变 量 投 影 重 要 系 数 Va r
i ab (
l eIm

o r t an c e  i n  t h e  P r o e c t o n


, 
V I P )

Wo 等在 模 型 的 基础 上 首先 提 量投影重 要性
4 4]
S  . l d [
PL S 出 了 变 ( Va r
i ab l eIm
p or
t an c e i 

V P 这 概念 认为 变量的 V P 值 可 以 体现 出 变 量 在对 因 变 量 预测 中

t h e P r 〇j e c t 〇 n i

I ) , 自 I 自 

起到 的作用 , 自 变量的 V I P 值越大 , 说明该 自 变 量 对于 因 变 量 的预测就越重要 , 反映 了 波



长 点 的 重要 性程度 

第 J 户 ( 1 ,
. . .

p ) 个波长 的 变 量投影重 要性系数 ( WP ) 的计算表迗式如下 式 


2 6



V  ’ f =


式中 ,
你? 和 1 分 别 是 模 型 系 数矩 阵 f F 及得分矩 阵 r 的第 a 列 ,
% 是矩 阵 0 的 第 a 个元素 

是第 _ / 个波长在 中 的权重值 , G 是 由 全部 波 长 线 性 组 合 构 成 , 可 用 来对样本性质 矩



阵 : T 进行直接预测 可 以 看 出 第y 个波长是通过前 , J 个潜 变 量对样本性质矩阵 7 进行解释 



14



第二 章 分 子 振动 光谱技术 中 化 学 计 量 方 法 

公式 (
2 7


中 ,
9 J
反映 了6 对样本性 质矩阵 F 的 解释 能力 , 因 此可 以 分析知 , 若 9 乂^ 较

 。

大 , 即此时 4 对样本性 质 矩 阵 7 的预测 重要性较高 , 而若 也较大 , 则反映第 / 个波长



在计算 & 时起 到 较重要 作用 , 表示第 y 个波长对 于模 型进行预测重 要程度高 



由 于所有 波长 点 变 量投影 重 要 性 系 数平方 的均值 为 1 , 有 学者提 出 采用 V I P 值作为 波



长 点 的 重 要 性指标 , 依此筛 选 出 特 征 波长 , 剔 除不 重 要 的 波长

2 5

基本粒 子群算 法

较早 的 时候 根据鸟群飞行行为 , ,
R eyn o l ds 提出 了B o d i
模型 。 受此模 型 启 发 ,
K enn e d y

和 E b erh a rt 发现鸟 群在飞行 中 有规律 的排成 队列 , 例如 , 每只 鸟 不断地改变 自 身 的方 向 



姿态 , 通过 自 身 的 位置和 速 度 与 整个 队 列 进行对 比 , 进而调整 自 己 的 位置和 速度 , 使得个



体保#最优 于 年提 出 了 种新 的群智 能算法 粒 子群优化算 法 PS O


55]

, 1 9 95 

( )  [



在粒 子群算法 中 , 每 一

个粒 子 的 描 述 自 身状态的 .
内 容 包 括 位置和速度 向 量 , 其 中 速度

表示 问 题 的 可行解 , 而运动描述 了 它 在搜 索 空 间 中 的运动 方 向 。 粒子通过 不断的 学 习 它 



发现 的群体 最优解和邻 居 最优 解 , 通 过这样的方式实现全局 搜索 



假设

个 D 维的 目 标搜 索 空 间 , 有

个 由 m 个粒 子组构 成 的群 落 其 。 中 第 矽 =


7 2 , , 
. .


m 

个粒 子的 位置 向 量 尤 通 常 根据 当 前粒子 的位置 向 量来计算该粒 子 的适应度



值 每个粒 子还有 个速度变 量 决定 它们飞翔的 方 向和距离 每个粒 子





。 。

都有 个 身 最优状态 对u f
t es t
e」 称 个体最优位置 或局部 最


自 :
, 为 ,

优位置 

设 f

X 为 我们期望优化的 目 标 函
) 数 , 则粒子 / 的 个 体 最优 位置 更新公 式 为 


, {
冲如 ,

 ( 〇若 f (X ,

/ +  l
))
k / ( /
? 6 e?

( 〇 )

若 f Z々 + 冲呌
冬“+

 1  l S /( 0)
1  ) (  ) ) (
2 7)

( 

设群体 中 的粒 子数为 N , 而所有 粒 子所经 历 过 的 最优 的 位置 为 g


b e s t ( t) , 

g b es t { t ) mm f p b es f p b es f { p b es




{ {



)) ,  {

2 (

)) ,

m ( 〇) }
28

( 

粒子在 飞 行过程 中 , 其速度 与 位置 是 根据个体 的 飞 行经 验 , 以及整个群体的 飞 行经验



来进行动态 调整 , 更新公式如下 

v + =
V 〇+ c r
p b es x ^ c
r
 gb e s t ^ x



- ■ -

t l t t t t

  
( ) ( { ( ) ( )) ( ) )


 l

^ 2 2
2 9)
i , x
j ]

( 

〇 +

x (
/ + l
)

 x ( 
 v (
/ +  l


1 ,

〇)

j J J

( 

其 中 %句 表 示粒子 / 在进化到 f 代时的第 j 维 飞行速度分量 , 表 示 粒 子 差 窗位 置 分 量 



15



第 二章 分 子 振动 光谱 技 术 中 化 学 计量 方 法 

c / C2

为 学 习 因 子 ,
r7 ,
n 是 [
0 ,


之 间 的 随 机数 

粒 子 群算 法是 种 群智 能 优 化 的 全 局 搜 索 算 法 与 其 他进化算 法相 同 粒 子群算 法用


。 ,

于全局 性 、 鲁 棒性 强 、 可并行处理等 优点 。 除此 以外 , 粒 子 群算 法 的 思 想 简 单 易 懂 , 实现

简单 , 目 前 已 广 泛应 用 于优化调 度 、 运输 问 题 、 机器学 习 、 信 号 处理 、 神经 网 络 、 自 适应

控制 等领域 [
5 6]
, 均 有 着 很好 的 应 用 结 果 

2 6

定量模 型 的 评价指标

在分 子振动 光 谱 分析 中 需 要对模 型 的拟合 能 力 和预测 能 力 进行 个标准 的评估 




, ,

方便不 同 算 法之 间 进行 对 比 , 常见模 型 评价指标如下所示 



( 1 ) 校 正标准偏 差 ( Roo t M e an  S q u are E rro r o f    Ca l i b ra t o n i


, RMS EC 



^二 (3

f ac u a l t y i

p re d i ct 

R MSE C ^

 2
  

. 1 1

N
( 


\ 

上式 中 # 为 训 练 集样本数 ,
只 _? 为 / 样本测定值 , 为 模 型 预测 的 属 性值 。 RM S E C 

价 的是模型 在 校正集 的 表现 , 通常情况下 RM S E C 越小越好 , 但是 RM S E C 过 小 的 时候就



要考虑模型 是否 过拟合 , 这是 光谱分析 中 要避免的 问 题 



( 2 ) 交叉验证 校正 标准偏 差 ( R o o M ean t  S



u ar e  E r r o r o f   C r o s s Va l i d at i o n ,
RM S E C V 


. 

X M c tual y i

p r ed i ct  )

R MSE C V ^

'

 (
2 . 1 2)

\  T V -



RM S E C V 是交叉验证过程 中 的均方误差 。 由 于 RM S E C 不涉及模型 的 预测 能力 , 



用 RM S E C V 评 估 模 型 预 测 能 力 在校正 样本 中 逐 取样 作 为 测 试集 其 佘样本作 为 校正


。 ,

集 来 预 测 该 样本 属 性 值 ; 由 此求出 R M S E C V 。

( 3 ) 预测 标准偏差 ( R o o t M e a n  S qu a r e E r r o r   of P re d i cti on ,
R M S E P )

rM


* 



八 a c t ua l y i
, p re d i c t  ) 

R MSEP ^

 1

 2 . 1 3

M
( 


V 

RMS EP 主 要是衡量 训 练得 到 的模 型 在 M 个样本 的 测试集 的 表现 。 越小 的 RM SEP 



代表 了 越优 的模 型预测 能 力 

复相 关系 数 R



( 4 )

1 6



第 二 章 分 子 振 动 光 谱 技 术 中 化学 计 量 方 法 



y i ,

p re d i ct 


只 =
卜 ,
 

 2 1 4

( 

S 
( 兄 . a ct u a l y i

ac i u a i ^


/ 

其 为 校正 集或 测 试集 样 品 属 性 测 定值 的 平均值 用 于 表征模 型 的 变 量对 因 变



中 。 R 自

量 的影响程度 ,


在区 间 ( 〇 ,
1 ) 上 , 越接近 1 , 模型 回 归 效果越优 

本文将 以 RM S E C V 作 为 模型训练 时优化 目 标 , 将 RM S E C 和 R M S EP 用 来 评 估 模 型



对校正 集 的 拟 合 能 力 和 对 测 试集 的 预测 能 力 

2 7

本章小 结

本章学 习 光谱 分析 中 涉及到 的主流 的化学计量方法 。 光 谱 分析 的 主 要 步 骤有数据 集 划



分 、 异 常祥本 分析 、 数据预处理 、 波 长 选 择和 多 元校正模 型 。 在 预处理环 节 包括基 线 校正 



平 滑算 法 、 标准正 态变 换 等 。 在 化 学 计 量学 方 法 中 应用 较多 的定量 回 归模型有 多 元线性 回



归法 、 主成分 回 归法 、 偏 最小二 乘 回 归 、 最小二乘支持 向 量机 回 归 、


局 部建模等 。 波长筛

选方法 方面讲述 了 比较 常见 的 有 间 隔 偏 最小 二乘 、 遗传算 法 竞争 、 自 适应 重加权采样法等 



另外 , 还介绍 了 粒 子群优 化 算 法 的 基本 原 理 , 常见 的模 型评价指标等 。 这 些 方法 是本 文研



究 的基础 

17



第 二章 分子振动 光谱技术 中化学计量方法 



 .  






1 



第 三 章 基 于粒子群算 法 的 新 型 光 谱 特 征波 长 提 取 方 法 探索 

第 三 章 基 于 粒 子群 算 法 的新 型 光 谱 特 征 波 长 提 取 方 法 探 索

3 . 1 引言

在化学计 量 学 方法数据分析 当 中 , 数 据 集 时 常 会存 在 高度 共 线 性 , 不相关等 问 题 , 



些 问 题 会影响 分类 或者 回 归 的 精度 , 因 此需 要进行特征选择 。 特征选 择是 指从输入特征 



选择出少量的 、 具有 代表性 的有 效特征 , 以 降低数据集维度 , 使得系 统的 目 标最优化 , 



高学 算法性能的过程
5 6]
习 [


近 红 外 光谱 或拉曼 光 谱 数据 会有 几 百 至 几 千 个 波长 点 组成 光 谱 图 , 常 常存在

些问

题 , 比 如 而近红外光谱存 在 严 重 的 吸 收 峰重 叠现 在 、 光谱 吸 收 强度较弱 、 原光谱谱 带过宽



等 ;
而拉曼 光谱 信号 强度 更 弱 、 很容易 受 荧 光噪声 的 干扰 、 同 样 存 在谱 带 过 宽等 问 题/ 采  

用 全光 谱 进行建 模 会存 在很 多 问 题 , 全 光 谱 中 存 在 不 相 关 和 共 线 性 的 冗 余 波 长 会 导 致 影 响

模型预测 能力 。 因 此对全光谱进行波长 选择 , 剔 除冗余波长 点 , 选 择 合适 的 波 长 子 集 进 行



建模校正是 十 分有 必 要 的 

世界范 围 众多 学者 已经提 出很多 种 光谱 波长选择方法 包括 相关系 数法 光谱




34
内 , :
[ ]

变 量纯度法 [
5 8]
, 遗传算 法 偏 最小 二 乘 -


GA -

PL S )

3 5

, 变 量 投 影 重 要 系 数 Va r
i ab ( l e Im
p o rt a n q e

i n  t h e P r oj
 e c ti on ,
V I P  )  [
3 6]
, 克争 自 适 应 重加权采样法 ( C d mp et i ti ve ad a

ti e w e i gh t e d
ve r  

C AR S 等
3 7
sam

l i ng ,   )  [ ]


本章提 出 了 新的面 向 于分子振动光谱特征波长点选择方法 , 结合 了 粒子群算 法与 变 量



投影重要性系 数 (
V P I

, 从基本 粒 子群算 法 , 到结合 V I P 系 数 的 粒 子群算 法 , 结合 V I P 

自 适应粒子群算 法 以 及结 合 V IP 的 间 隔 偏 最小 二 乘 自 适应 粒子群 算 法 , 多 种算 法层层推



进 , 适用 于 不 同 的情况 , 并且有 着 更 高的稳定性 



在本章 节 中 ,
3 . 2 小节描述 了 本文 将基本 二 进 制 粒 子 群算 法 (
BP S O) 的细 节 改进 , 并将

其应 用 于 近 红外光谱 进行 优 质 波长 点 筛选 算 法 的 过 程 与 应 用 结 果 。 为 了 更好地 收敛于更优



的极值 点 在 小 节设计用 2 4 4 中 介绍 的 VIP 系 数来 为 BPS O 算 法指引 个更 好的 方





3 . 3 . .

向 , 称为 B P S O V IP _
算法 , 并展 现 其 应 用 效杲 。 但是 由 于不管是 BPS O 还是 B P S O VI P

 _

算法 , 结 果 都有较大 的 随 机波 长 , 因 此在 3 . 3 小节 中 设计 了

个光 谱 波 长 点 表现 评 分方案 

重复 B PS O VIP _
算法多次 , 并记 录各个波长 点 在 每 轮 中 的表现 , 最后得到各个波长 点 总体

得分 根据得分从 大到小逐 筛选波长子集 获得 比 BP S O BP S O V 算法更优 




, , 了 、
_
I P 、

19



第 三 章 基 于 粒 子 群 算法 的 新 型 光 谱 特 征 波 长提 取 方 法 探 索 

稳定的结果 

基本二进制 粒子群算法学 习 速率难 以控制 , 粒 子群 收敛快 , 容 易 陷 入局 部 最优 点 中 




W4
难跳 出 , 因 此本文参考前人 [
6 (

的 自 适应 粒 子群算 法 , 在 3 .
4 小节 中 提 出 基 于新 的 VIP 

的 自 适应粒子群算法 (
VA P S O ) , 该 算 法平衡 了 筛 选波长数及波长 子集建模效果 , 能够搜索

到更优的位置 , 结 果 较 之 前 更加稳定 。 VA P S O 算法只 需 要少 量 循环次数 , 根据波长点 每



轮 中 的 表现 , 可 以获得非常稳定 , 但非 常优质 的 波长 子集 , 用 于建模 



在 3 . 5 小节 中 , 主 要 提 出 VA P S O 算 法 i
, 通过减少 迭代 中 粒子长度 , 以较少 的 时 间 即

可达到 较 高 、 并且更稳定 的预测性能 , 其次 , 也可 以 通过循环评估来筛 选 出 更优的 波长子



集 

本章所用 的数据集来 自 Chr i st e n s e n 等 提供 的 公开标准数 据 集 , 下载地址为 



这是 组杏仁软 糖样本 的近红外 光 谱 数据集 检测 标为 杏仁




htt p : // www m o d e . l s . kv l . d k/ 。 , 目

软 糖 糖分的 含量 共有 个样本 波长 检测 范 围 为 每 条 光 谱 含有


中 .

32 ,
8 5 0 nm 至 2 0 4 & nm ,

将该样本分为 个校正集和 个测 试集


_

600 个波长 点 , 间 隔 2m n 。 24 8 。 本章 节 采 用 偏 最小

二 乘 为 定量 分析模型 , 以 校 正 集 和 测 试集 的精度 来验证 波 长 选 择算 法 的 有 效性 



3 2

基本 二 进制 粒 子群算 法

3 2
. . 1 基本二 进制粒 子群算法 

在 第 二章 中 介绍 的基本粒子群 ( P ar
t i c l e  S w a rm  O

ti m i z at o n i
, 
PSO ) 算法 , 主 要 的 优化

目 标为 连续性 问 题 , 而 离 散 二 进制 粒 子 群算 法 ( B i n ar y

P ar
t i c l e  S w ar m  Op ti m i z at o n i
, 
BP S O 

则 是用 来优化离 散 空 间 问 题 , 现 已经广 泛应 用 到 各种 离 散 优化 问 题 的 计算 当 中 [
59 ]


在 K e nn e d y 和 Eb e rh art 提 出 的 离 散二进制 粒子群算法 中 , 速度更新公式 与 原始的基本



二 进制 粒 子群 算 法基本 思 想 相 同 。 粒子的位置是 一

个 二进制 编 码 , 编码 中 每

位取 0 或 

受公式 3 . 1
产 生速度影响 。 速度将 会被 转 换 成 变 换 的 概率 , 也就是 位 变 量 取 1 的概率 


' '


= + ra n d + ra n d
v w v c x
J p ^ xl 3
- -


' - - -

d L j
O 

j O i ) (
. 1


其 中 外 表 示 粒 子 的 局 部 最优 位置 , 表示 整个粒 子 群 的 全局 最 优位 置 , 为学 习 因子 

r an d
( )
表示产 生 [
0 ,


之 间 的 随机数 

要 得 到 位置 的 取 值 需 要 将速度 的 值 转换 为 ,
二 进制位取 1 的 概率 , 需 要 将 其映射 到 [
0 ,



区 间 , 采用 s i
gm o i d 函 数 

20



第 三章 基于 粒子 群 算法 的 新 型 光谱特征波 长提取方法探索 



v =
3 2)
- -
-  ̄  ̄


L 1 7

( ) ( 

+ ex v

l 
p( ^ 

此处 * s
/V d 表 示/ 位置 :
取 1 的概率 , 该位 的 具体取值见 3 3 .
式 

f Vd

l i

ra n d 〇 < s{
i ))
x =
3 3

( 



〇  o th e rw i s e


此处 式 个 随 机数 从区间 的均 匀 分布 中 随机产 生 为 避免过饱和 的 问 题


mn d ( ) ,

0 ,


, 了 

限 制 速 度 在 V^ mV [
ma x ] 之 间 , 从而 限制 了 位 x i d 取 】
或 0 的概率 


方面 , s i
gm
oi d 函 数将速度 映射到 [
0 ,


之间 , 并不代表 了 某

位概 率 的 概 率 , 

是代表 某 位取 的概率 因 此位发生变化的绝对率为


了 1 ,


^ -
^ 5
^  3 4

1 .

) ) ( )) ( 

当 位速 度 为 0 时 , 位 改变 概率最大 

3 2 2
. . BPSO 应 用 效果

本 /] 、
节 采 用 基本 粒 子群算 法 , 在算法实现方面 , 除 上文 所述 的 原 理外 , 还有 以 下 几个

注意点 

1 .
对于 初始速度 , 采 用 随 机初始 

V j n it 

 m ax  V 

 r an do m

b i rdL e n g t h)  (
3 . 5


其 中 b i r dL e n
gth ) 表示 以 为 均值 为 方差 产生 个长 度 为 b i r d L engt h 的 随机



r an d o m ( 0 ,
1 ,

数组 。 .
 .



在速度 迭 代 过 裎 中 防 止 陷入 局 部 最 优 加入 的 随机 因 子

2 .
, 为 了 , 0 . 1 r an d




) , 

便跳 出局 部最优 点 , 搜索到更优的位置 

〇A 0 (3

V 二
+ c 腦
凡 4 + c ran d
卜 6)
? .

户r
? 一

L i  )

2  (




其 中 mn d 〇 表示产 生 [
0 ,


之 间 的 随机数 , 而 A 经过试验表 明 取 〇 1.
较 合适 

适应 度 函 数采 用 校 正集 的 每个 样本均作 为 测试样本 的 留 交 叉验证 的均 方根误差




3 .

的 平均值 

4 .
由 于该优化算 法具有 随 机性 , 因 此运行 1 0 次 , 取 最优 的 结 果 ,
1 0 次运行过 程 中 

RM S EC 与 RM S EP 波 动 范 围 从 1 .

2 4 .

波动 

根据这样 的方法 训练过程 中 的 些参数波动如下 图 所示


, 

2 1


第 三 章 基 于 粒 子 群 算 法 的 新 型 光谱 特 征 波 长 提 取 方 法 探 索 

t早 构 应3 

v 

粒干 筠 sr
a f E
1  3

1 9
\ S 荦 接饮 粒 子 适





0 3
3 .

g 
3 -

S


\  S




o 

1 
 S




3  6 ;




_


 3 5

\ _
1 





 
? 


L 
^ VWV v
w^ M v / U aJ W


〇  2 〇  40  6Q  8 0  1 0Q  0  20  4  ?  5 8 C  KB

i t e r  r as

 i
i ?r mm


1
a 5 S  v




4 

! 〇 ?




o es
 


 0  80 

 十 
0 1
0 


:  _ uJ Ww AL^ 

 0  20  ?  ?  8 0  1
0 


 ?  iO  80 

〇  2 0 I C O

 t mun 


 细

er

i t :

图 3 . 1 BP S O 算 法波长 点 寻优 中 间 过程

上图 中 , 左

图 表示粒子局 部 最优的 适应 度均值 与 全局 最优粒 子适应度 的 收敛情况 



可 以 看 出 所有 粒 子 局 部 最优 的适 应 度平均 值 已 接近全 局 最优粒 子 的 适应 度值 右 图 表示




某 个 粒 子 向 量 平 均 速 度 的 变 化过 程 , 增 加 的 小 随机项 使得该 粒 子该位跳 出 局 部 最优 点 存在



可能 ; 左二 图 表示迭代过程 中 某个粒子某

位取 1 个概率 , 右 二 图 表示 某个粒子某

位位

变化 的概率 。 虽 然增 加 小 随机项使得粒子 不 会较快 陷 入局 部极值 , 但是位改变 的概率依然



较小 要 跳 出 局 部 极值 点 还 是 有 些 困难




表 3 . 1
为 十次寻优过 程 的 最优 结 杲与 全光谱建模 的 结 果 对 比 , 可 以得到 , 基本二进制

粒 子群算法对于 波长 点 寻优 能够取得

定的效果 , 对于算 法优化结 果令人惊 喜 , 只 是存在



较 多 的 随 机性 , 有 时会 比全光谱性能更差 

表 3 . 1 BP SO 算法筛选波长 点建模结 杲




_

方 法  波 长 点 个 数  RM S E C  RM S E P 
BPSO p
l s  1 3  1 . 6 1 8  1 . 63 7

全 光 谱p i s

600

L 605
 ^
09 5


图 3 . 2 标出 了 该 算 法 所选择 的 波长 点 位于 光谱 的 位置 , 共 1 3 个波长点 , 稀疏的分布



在各个 位置 。 图 3 .
3 为 该算 法寻找波长 点建模 后 的预测值 与 真实值 的 偏 离 情况 

2 2



第 三 章 基 于粒子 群算 法 的 新 型 光谱特征 波长提 取方法探 索 ^






1 pv
: 

0 .
9

 


0 -

f \ 

〇 



0 .
6

80 0  1 000  1 2 00  1 4 0 0  1 60 0  1 8 0 0  2 0 0 0

 波长 (
n m)



_

图 3 . 2B P S O 算 法 波长 点 寻 优选择的 波长 点

70



1

基线



5

 * 涵 試 集 
+ ^


+ 校 正 集 ,










 如
55
y




菡 況

 ,


m 


^ 

r#




35 


_

%

   
 


j ! j j

f (

30 35  初  4 5  50  5 5 60 柘 


真实 值

图 3 . 3B P S O 算法波长 点 寻优预测值与 真实值的偏 离情况



BPSO 算法在光谱特征波长 点 寻优上 , 相 比较 于 全光谱建模 , 有着较好的性 能 与 结果 



但是仍然存在 些局 限性 局 限性总结如下

, 

1 .
B P S O 算法存在随机性 , 即 多 次运行的结 果 相 差 比较大 , 例如运行 1 0 次 ,
R M S EP

23



第 三 章 基 于 粒 子群 算法 的 新 型 光 谱特 征 波 长提 取 方 法探索 

的结果从 1 . 6 至 2 4 .

波动 , 时好 时坏 

2 .

从全局 最优 粒 子 的适应 度 收敛情况 可 以 看 出 ,


BPSO 算 法 过 早 的 收敛至 局 部 极值 点

中 , 难以跳出 

3 .
由 于 过早 收敛 , 因 此 BPSO 算 法 最后 所 收敛 的 局 部 极值 点 , 很容易 受到 其初始值

影响 , 而 本小 节 中 采 用 的 是速度 随机初始化 的 方 式 , 因 此 导致最后 结果波动 较 大 



3 3 .
改进 BPSO —

B P S O V IP _
算法

上节 中 , 基本 二 进制 粒 子群算法 能够取 得不错 的 结 果 , 但是结 果波动 大 , 经 过 检查 发



现 , 由 于 全局 最优 粒 子 过早 陷 入局 部 最优 点 , 且难 以跳出 , 而 初始化采 用 随 机初 始 化 , 

此 初 始 化 的 速度 与 位 置 很 大 程 度 上 决定 了 最后能 得到 的适应度值 , 即 算 法 容易 陷 入到 局 部

最优 。



 V I P 系 数是 S . Wo l dM 等在 PL S 模 型 的 基 础 上提 出 的 全 称 为 变 ,
; f 投 影 重 要 性 Va r
i ab ( l 

I m p ort an c e  i n  t h e P roj e c ti o n

, 
VIP ) 。 VIP 值体现 了 某 个波长 点 对 于构 成 某 个 潜变 量 的 贡献

程度 , 以 及该 潜变 量 对于 因 变 量 的 解释程度 , 当 某个 波长 点 对 于 某个潜 变 量 贡 献 很大 , 

该 潜变 量 对于 因 变 量 的 解释能力 也很强 时 , 该波长点 的 V P I 值 就 会很大 



因 此 首先 为 能够 更好地 寻找更优 的波长 点 降低适 应度值 在 本小 节 的 第 




, , 了 , ,

分 B P 5 〇 VIP 中 _
, 采 用 比 较 能 代 表 各+ 波 长 点 重 要性 的 VI P 系 数 作 为 速度 的 初 值 进 行 初 始

化 ,
V IP 值越 大 , 说 明 该波长 点越重 要 , 那 么该 位速度就 较大 , 被选 中 的概 率 也就 越大 

其次 即 使 使 用 V IP 值 更 容 易 得 到 较好 的 结 果 但是依然会存在 些 不稳定 的 情况

, , 

寻优结 果波动 , 因 此 本小 节 的 第 二 部 分 ,
RE B P S O V P _ _
I 部分 , 采用 多 次启 动 BPSO _
V I 

算法 , 根据 每个 波长 点 在 每轮寻优 过 程 中 的表现 , 评估波长 点 的 重 要性 , 根据重要性排序 



逐 筛选 波长 点 获得相 比较更加稳定的 结 果

, 

3 3 . . 1 B P S O VIP

本小节 中 采用 V P 初始化 BPSO 算法 为粒子们指引 个较好的 波长 点 筛选 的 方 向



I , 

该部分与 3 2 .
中 BPS O 算法的不 同 点在于 

1 . V1P 值 作 为 速度 的 初始化 , 由 于 V I P 值 比 较接 近 1
, 且 分布 的 很集 中 , 因 此采用 

次幂打散 



VIP
;  (
3 .



通过这样的方式 , 使得在 PLS 模型 中 , 更重 要 的 波长 点 能够 以 更大 的概率被取 中 , 




24



第三 章 基于粒子 群算法 的 新型 光谱特征波 长提 取方法探索


V I P 值小 的不那 么 重要的波长 点 , 被取 中 的 可 能性被 削 弱 , 从而指引


个更好地波长点 筛

选的方向 , 降低 B PS O 算法 中 随机初始化 的 随 机 性 

2 .
由 于各个波长 点 的 V I P 值平方和 均值 为 1
, 因 此 s i
gm o d l 函 数采用 以 1
为 中 心 , 即 

s v )=

3 8


( ( )


l +  ex
p ( (
v -


) )

3 .

前文 中 , 由 于 BPS O 算法容易 陷入局 部极值 点 , 加入 了 小 随 机项 , 小随机项 的功



能有 点 类似于增大学 习 率 , 因此 在本小 节 中 去掉速度 更新公式 中 的小 随机项 , 使其 能够 



然 ,
细 密地搜索 极值点 

4 .
由 于 该优 化算 法具有 随 机 性 , 因 此运行 1 0 次 , 取最优 的 结 果 ,
1 0 次运行过程 中 

RM S E C 在 1 . 3 至 1 .
7 范 围 内 波动 ,
RM S E P 波动 范 围 为 1 . 4 至 1 .
9 

4 0 


 1  O  


t邊S汶 值 均隹
子商 gif

全 晃 适 贫 狡子连 应


j

3 . 8 

0 8 




 I 

\ 6


s i   、 r  ?





\
 
0 2
3 2

1 V


3 . 0 .
   


 1 ,

   

〇  5  1 0 1 5  2 0 25 30  0  5  10  15  2 0  2 5  30

迭代次 S  I t CT  ; 1 B 


1 2



2 5 

1 0 .
 

I  0 - 20

\  ?



  \ 
° 8




 l


0 , 5



f!
 \  k 

K   r 
' 。

 
\ 


? r
\ 

0 0

 

〇 ?  

0  5  0 15  2 0 2 5 30

0  5  1 0  1 5  2 0  25  30

cr a us
: 
 i t er  n i
i 

图 3 4B P S
. O V I P 算法波长 点寻优 中 间 过程

上图 中 , 左 一

图表示粒 子局部 最优 的 适应度均值 与 全局 最优粒 子适应度 的 收敛情况 



可 以看 出 所有 粒 子 局 部 最优 的 适 应度 平均 值 已 接近 全局 最优 粒 子 的 适应 度值 ; 右

图 表示

某个粒 子 向 量平均速度的变化过程 ;
左 二 图表示迭代过程 中 某个粒子某

位速度 变 化 , 

二 图 表示 某 个粒 子某 位位变化的概率 与 不 的是 没有 小 随 机 项 粒子的每 



。 3 . 2 , ,

速 度均 勻 速较慢 的 收敛到 极值 点 

BPSO V P I
算法波长点 筛选 的结果如表 3 . 2 

2 5


第 三 章 基 于 粒子 群 算 法 的 新 型 光 谱 特 征 波 长 提 取 方 法 探 索 

表 3 2 B P S
. O V I P 改进算 法筛 选 波长 点 效 果


 方 法  波 长 点 个 数  RM S E C  RM S EP

BPSO VI P 4 2 1 . 4 6 4  1 .
506

全光谱 p
i s 600

L605

2 ^) 9 5


 

增加 V I P 后 , 算 法 能 够寻找 到 更优 的极值 点 位置 , 筛 选 的 波长 点 拥有 更好地预测 结果 , 



于数据集 的 拟合能力 更强 些



图 3 . 5 为 BPSO V I P 算 法筛 选 的 波长 点 位置 与 V I P 值 的对 比情况 , 从图 中 可以看出 



V I P 值越 大 的 波长 点 越容 易 被取 中 , 而 V I P 值小 的波长 点被取 中 的相 对较少 



^ 

近红 外 谱 


工 4 

V I P 值



- - -




/ W  A


1 2

 / i
 M

A/ 、
广 % 一
一 i 
丨  /\
* 



1 






_  I  I 


<
i 〇

 h f


i 

   r
is .

S m /  A 
\ 

 /
I 


f   \ / 


o 8 .

I >

 
s 




/ 1

0 6 .   \
\ 







0 4
 


 — 



1 1

3 0 0  1 0 0 0  1 2 0 0  14 0 0  1 6 0 0  1 8 0 0  2 0 0 0

波K点 n m )

图 3 5BP S
. O V I P 算 法 波长 点 寻 优得到 的 波长 点 位置 及样本 V I P 

取用 42 个波长 点 进行建模预测 , 得到 的预测值与 真实值的偏离 程度如 图 3 . 6 所示 



26



第 三 章 基 于 粒子群 算法 的 新 型 光谱 特征波 长提 取方法探索


7( 3  

基线

^  校正 集  :

 ^ ^


*  灘式 集  


 

60 




55 




霞 沉 

_

45 


_







35 

^
  
  
 

j (
f ]

30  35  ^ 45 50 55 60 65 ^ 

真实 值

图 3 . 6B P S O V I P 算法筛选波长 点 后 预测值 与真实值偏 离 情况

综 合该 部 分 , 可 以得到 

采 用 值作为 粒 子群寻优 的初始情况 为指引 定 比较好的方 向 能够收敛到更




1 .

, 了 ,

加 优质 的局 部极值点 , 获 得更 高 的 精度 

2 .
运行十次的过程 中 ,
RM S E C 在 1 . 3 至 1 . 7 范 围 内 波动 ,
RM S E P 波动范 围 为 1 .
4 

1 .
9 , 依然存在较大 的 波动幅度 

3 .
从 全局 最优 粒 子适 应 度值 的 情况 以 及粒 子 的 平均速度 来看 , 算 法较快 收敛 , 没有

很强的跳 出局 部极值 的 能 力 

3 .
3 . 2R EB P S O V I 

上 一

部 分采用 BP SO V P I
算法 , 能够获得 比 BPSO 更 好 的 效果 , 筛选 出 来 的 波长 点 大

多 也是 V I P 值较 高 的 点 能 够 收敛 到 更低 的适 应度值 校正 集 和 测试集 的 拟合 情况 比 , ,
BPSO

更优 。 但是 BP SO V I P 算法单次运行 时 , 依然存在 结 果 随 机波动 比 较大 的 问 题 , 因 此本 部



分进行 以 下 几 点 修 改 , 以期望 获得更加稳定 的 结果 



] .

将 24 个校正集样本分为 20 个训 练集和 4 个验证集 两 部分 , 即从验证集 中 均 匀 的



抽取 4 个样本 

2 .

采用 BPSO _
V I P 为 基 本 将该算 法无 累 计 的 循环

1 000 次 记录 各个 波长 点 在 这

1 〇〇 〇

次迭代过程 中 的 V P I 值 , 对应 的 训 练集均方误差 (
RM S EC )
和验证集 的 均 方误 差

1 1



第三 章 基 于 粒 子群 算法 的新 型光谱 特征 波 长提 取方法探索 


R M S E Va li d
) 

3 .
每轮循环 时 , 随机划 分训练 集样本 和验证集样本 

适 应 度 函 数从 留 交 叉验证 的 平均 均 方 误 差 修 改 为 训 练 集的 拟 合结 果 与 验证集 的


4 .

预测 结果 的综 合情况 

F it n e ss  =  w
, 

 R MSE C V + w 2  R MSE 

_ 
Va l d

 (
3 . 9)

5 .
每轮粒 子群寻优的 过 程 中 , 将 筛 选 出 的 波 长 点 对 于训 练 集 的 拟 合 能 力 与 对验证集

的预测 能 力 作 为 每轮 波长 点 的表 现得分 

E ( rm s eP i )
=  



+ ex
p( a x 6))

l 

31 〇
( 

其 中 ,
a 为 调 节 参数 ,
b 为 所选 的 验证集 全 光 谱 p i s 模型 下 的均 方误差值 

不 同 的均 方根误差将 会产 生 不 同 的得分 , 取 a

2 b=,
l .
1 1 2 时 , 如图 3 . 7 所示 

X 2S 




1 00

\


伞 X

 Q 75 



^  0 5Q



0 23 


a oo 
i 



L  ^ r
 ̄ ̄


1 0 1 5 2 0 2 5 3 0
. 
 . . . .

鑛糇 误差

图 3 7 . 不 同 的 均 方根 误 差 情 况 下 波 长 点 表 现 得 分 变 化

6 .
将 每 轮 筛 选 出 波 长 点 进 行 建 模 后 计算 的 得 到 的 V I P 值作 为 该波长 点 的 重要性程度 

那 么 每轮波长 点 的表 现得分 归 化后 与 各个波长 点 的 重 要 性得分 相 乘 即 为 该 波长 的 表 现




得分 






SC〇r
e =
( 0 

2五 
( a 



- '

. 1 1
( 

其 中 rv i 表示 某

轮循环 中 验 证 集 的 均 方 误差 

计算得 到各个波长 点 得分后 从最重 要 的 个波长 点 开始 根据 波长 点 得 分逐




7 .

2 ,

加入 , 计算校 正集 波长 子集 的 RMS E C , 验证集 波长 子集 的 R M S E J Va l i d , 校正 集 留 一

交叉

验证平均 均 方 根误 差 (
RM S E C V ) , 并评 估 三 者 最优 情 况 下 的 测 试集精度 , 选择最优 的 子 集

作为 结果 

28



第 三 章 基 于 粒子 群算 法 的 新 型 光谱 特 征 波 长 提 取 方法 探 索


总 体算 法 流程 图 如 图 3 .
8 所示 

建立全光谱 p 模 型 i
s ,
计算各


个波长 点V I P 





i 



随 机 将 校正 集 样 本 划 分 为 训


练 集和验 证 集

y 

用V I P 值 初 始化 粒 子 群 ,
设定
粒子群参数


 : 

 内循 环 粒 子 群 迭 代 1 00

 :

次 寻 找 最 优 训 练集与 验 证
, 

集均 方 根误差加权 和所处位 

逐 添加 波长 点 计算



予 : ,

v  各 波 长 子集 下 校 正集均


^ 方 根 误差 ,
选择最小的


记录 内 循环结 果 : 训 练集 、

 R M S E CV 对芦 子 集 为 最 终





验 证 集 均 方 根 误差 , 选择 波
长点V I P 值 —


 


? I
   …

二 , 

1
—  ^
— — 

计 算 每 轮波 长 点 预 结 合v 丨 p 值计 算 各 个


口 綱 到^认 、


汔 、



臟现得分 .

波长 点 最后得分



一 i  :



 一

, 

图 3 . 8 RE B P S O V_
I P 算法流程 图

获 得 的 结 果如 图 3 . 9 , 可 以看 出 , 波长 点 的得分较 能代表 波长 点 的 重 要性程度 , 在前



半段 测试集 的 均 方根误差 直处 于 个 比较低 的 位置 甚 至有 个 预测 结 果 非 常 好 的 谷




一 一


点 , 此处的 R M S EP =
1 . 1 3 , 随后缓 慢升 高 。 另

方面 , 校正集 、 留

交 叉验 证平 均 误 差 

验证 集 的 均 方根 误差均 先达到 一

个较低 的平坦 区 域 , 随 后随着波长 点 增加缓慢升高 



2 9


第 三 章 基 于 粒子 群 算法 的 新 型 光 谱特征波 长 提 取 方 法探索 

 mEc
— -



%

{  —

關E _
¥al i 

6  


 F MS E P

\  … …


交 叉 验 证 平 均均 方 误 差


5 





4


U  f

 , 





s  

f 

t 、 一 

3 ^ I —

、 





* …

 …
广

. …



 广 ' 1? .


一 
—  一 
一 
?  J   

1
   
  
 

0  1 0 0  2 0 0  3 0 0  4 0 0  50 0  6 0 0

波 长 点 个 数


围 3 . 9 根据 波长 点 得 分排 序 所 得各 波 长 子集 各衡 量 指 标 结 臬

三种不 同 指标作 为 确 定波长 点 个数 的 结 果如 表 3 . 3 所示 , 从表 中 的 结果看来 , 本文选



择校正集 的 均 方 根误差 作 为 确 定波长 子集 的 方 式 



表 3 3 . 不 同 选 择 标准 所 筛 选 的 波长 点 个 数 以 及拟 合预 测 能 力 比 较




 方 法 选 择 标 准 波 长 . 数 R M S E C  R M S E P  RM S E C V  R M S E Va l i J

验 证 集 6 5  1 3 04 1 . 3 97 2 . 03 6 2 . 7 04

留 交叉验
 一

RE  B P S O  V   7 5
I P ,
1 . 2 2 4 1 . 3 99  1 .
926 2 . 99 8

证平 均


- 


校正集 
1 1 5

L115

1 . 3 64

2 . 1 3 8

2 . 73 0

最 后 选择将校正集 RM S E C 作为 评估标准 , 选择 1 1 5 个波长 点 , 在该波长 子集下 , 获得较



好的拟合能力 (
RM S E C 以 ) 及较高的 预测 精度 (
RM S EP )


次循环 后 各个波长 点 得分 结 果可 以 见 图 根据 波长 点 得分逐 筛选波长点




1 000 3 . 1 0 ,

1 1 5 个 , 筛选 的 波长 点 位置也 同 样位于 图 3 . 1 0 中 , 用 这 1 1 5 个 波长 点 俎 成 的 波长 子 集建立



p i s 摸型 , 该模型 的预测 结 果与 真实值偏 离 情况可 以 见 图 3 . 1 1 



3 0



第 三 章 基 于 粒 子 群 算法 的 新 型 光 谱 特 征 波 长 提 取方法 探 索


1 4
   

光谱

 波长 点 得 分




1 0

 

0 6




乂  

0 4
. i

      i i i



8 0 0 1 0 0 0 ;  1 20 0 14 0 0 1 6 0 0 1 8 0 0 2 0 0 0

波长 点 


图 3 . 1 0 RE BPS O _
V I P 循环 中 波长 点 得分及选择 的 1 1 5 个 波长 点 位置

70 

 —





基福 

65
.   * 臟 集  





+ .
校正 集 y
60
 # 验 _



55



園50  z

 -

e
f 


Jr

45
^









40
,

 :4^


3 5

3〇 f
- - 
  
 
 

, ,

( [ ( !

30  3 5 4 0 4 5 5 0 5 5 6 0 6 5 7 0

真实 值

图 3 . 1 1 RE B P S O V _
I P 算法的预测的结 果

以 上 就 是 RE BPSO V I P 算 法 的 实验效果 

3 1



第 三 章 基 于 粒子 群 算 法 的 新 型 光 谱特 征波 长 提取方 法探索 

3 . 2 小节和 3 . 3 小节进行 了 多 种 VI P 结 合粒 子 群 改进实 验 , 这 些 实 验最后 的 效 果 对 比



就如表 3 . 4 所示 

表 3 . 4 多 种粒子 群 改进优化算 法波长选 择效杲对 比



方法 评估标 准 波 长 个数 RM S E C RM S E P


   

全光谱  PL S 校正 集  RM S E C V  60 0  1 .
6 05 2 .
095

BP S O 校 正 集  RM S E C V  1 3  1 . 6 1 8  1 . 63 7

B PS O VI P 校 正 集 RM S E C V 
_

42 1 . 4 6 4 1 . 506

RE B PS O VI P 训 练 集
_ _
、 验证集  RMSE 加权和 
1 1 5

L1 1 5

1 . 3 64

可 以 看 出 , 我 们 的 这 些 改 进 措 施 使 得 RM S E C 降 低 了3 1 %  RM S E P 降 低 了 3 5 %
, , 并且采

用其 中 不到 20% 的波长 点 较大程 度提高 了P L S 模 型 的 预测 能 力 并且每 步 改进 




, , ,

比上 个 改进算 法 的 结 果 更加 稳定 鲁棒性更强

, 

RE B P S O V I P
_
_
虽 然取 得 比较好 的 效果 , 但是 ,
1 000 次重 复 BPSO _
V I P 算法所耗费 的

时 间 过 长 这 也是该 算 法 的 个局 限性/ 亦是我们 后文改进的方 向




 

3 4
. VI P 自 适应 粒 子群算 法 (
VA P S O )

在前 两个小 节 中 , 完成 了 以 下几个工作 :
将 基本 二 进制 粒 子群算 法进行 略微改进 , 

用 至近红外光 谱 数据 , 用 于优 质 特征波长 点 筛 选 ;
B P S O J V IP 算法将 PL S 中 的 V I P 值结合

BP S O 算法 , 指引 了 果好地波长筛选方 向 ; 重 复循环 BP S O _
VIP 算法多次 , 并 将 校 正 集划

分 为 训 练集和 验证集 , 根 据 训 练 集 和 验证 集 的 结 果 来 评 估 每轮循 环 筛 选 出 的 波 长 点 表 现 得



分 , 并结 合 V IP 值计算最终得分 , 来 进行 波长 点筛 选 。 这三种 方 法逐层 推进 , 获得 了 较好



的 效果 , 但是依 然存 在 以 下 几个 问 题 

1 .
最优粒 子适应 度 函 数 收敛过快 , 很快就达到 了 最优 的 位置 , 尽管局部粒子 尚未收

敛 , 但速度 变 化小 , 狠难跳 出 局 部 极值 

2 .
学 习 速率是固 定 的 , 若设置较大 , 则 出 现 收敛太 快 的 问 题 ; 若学 习 速 率设置很小 

粒 子之 间 会变 得更加相 似 , 同 样也难 以跳 出 局部极值 



3 .
由 于筛选 的 波长 点 时好 时坏 , 因 此最后 的 建模结 果 波 动 比 较大 , RE B P S O VIP
_ _


法 需 要循环很多 次来获 得更 多 的波 长 点 的 能 力 , 耗费 时间 大 

筛 选 的 波长 点数并未 加 以 限制 时 多 时少 切 皆 以 降低校 正集 的 均 方误差为


4 . , , 

标 , 在适应 度 函 数 中 并 未均衡 波 长 点 个数 的 问 题 , 不 同 的波长 点个数可 能得到 相似的适 应



度值 

32



第 三 章 基 于 粒 子 群 算 法 的 新 型 光谱 特 征 波 长 提 取方法 探索 

自 从粒 子群算 法 问 世 , 多 种 自 适应粒 子群算法被提 出 , 用 于 改进基 本 粒 子群算 法 的 局



限性

根据上 面 所述 的 基 本 粒 子群 的 缺 点 , 以 及前人 关于 自 适应粒子群算 法 的研 究 的 启



发 , 本小 节 提 出 结 合 V I P 系数的 自 适应 粒子群算法 , 在筛选优质波长 点 的过程 中 , 主要进



行 了 以 下几个方面 的修改 

1 .
速度更新公式


ra n dom >= 0 5
M +  ra nd



  cr .

 ()   ( )
[ . 


  p b e X r a n d

st
()
< 0 5

 .

其 中 

// ,
= 〇

 p b e s t VIPd + 
 c
2

 gb es t VIP  (
3 . 1 3


cr
, 

 ran do m ()

 (

, 

 p b es t VIP
d


2

 gb es t VlP + A )  

3 . 1 4 )

^ 

其 中 

X gb e s tX + p b es X 6  X 


A 

 (


p b es t
r2
)


3 . 1 5)

,  
\   \

其 中 ,
r 表示 当 前时 刻 ,

d? 表 示 当 前 粒子 的 标 号 ,
a m/o m 〇
r 表示 产 生 以 0 为 均值 ,

为 方差

的 高斯 随机数 , 而 表示产 生 [
0 ,


之 间 的 随机数 ,
r2 表 示 在 所有 粒 子 中 随机选 择某 个

粒子的标号 , 为学习 率 , 此处 V I P 指为 当 前 筛 选 得 到 的 波长 点 进 行建模计算 得 到 的 结



果 , 并 非 全 光谱 建模计 算 得 到 的 V I P 值 

在这_的公式下 每 轮迭 代 时 每个粒 子每 个 位置都有 半 的 概率 将产 生 以H


一 一 一

, , ,

为均值 为 方差 的 随 机數 另 半的概率 将 追 随 局 部 最优 粒 子 和 全 局 最 优 粒 子而 去


〇 , , 

向 着更好的 目 标位置 飞 去 

在速度 更 新公式 中 , 引 入 了 自 适应机制 。 随 着 粒 子 的 适 应 度 /阳 去 全 局 最 优 粒 子 适 应



度 值 差值 越 来 越 小 ,
A值 会增大 ,
当 粒 子适应 度值 与 全局 最优 相 等 时 ,
A将 会迗到 最大 

那么此时 也 会达 到 最大 产生 个 比 较大 的 干 扰 使 得粒 子 有 更大 的可能 性取 到
一 


〇 , , 了

个 很不 样的速度 跳 出 局部 最优产 生 可能

, 了 

另外 , 引 入 了 局 部 最 优 VI P 值和全局 最优 VIP 值 的 差值 、 当 前位置与 全局 最优位置差



值 以 及随机 两个粒子 的 位置 的 差值 , 在 不影响 跳 出 局 部 极值 的 能 力 下 , 提高 了 当 前领域 内



的 细 化搜 索 能 力 。 这是 因 为 ,

方面 , 在 两个位置 同 样被取 中 的 情况下 , 位置差值为 〇 



但不 同 的位置组 合会产 生 不 同 的 V P 值 导致 V P 差值是 个 比较小但 非 的值 这个小




I ,
I 0 ,

小 的 差值将 会 在 优 值 附 近 细 微的 搜 索 ; 另

方 面 最 后 达 到 收敛状 态 时 , 所有粒子的 V I P 

和位置相 等 局 部 最优适 应 度与 全局 最优适 应度相 等 所有粒 子将 收敛到 同 个位置 




, , ,

我 们 要 寻 找 的 最优 位置 , 势必有 更 多 的 粒 子将 在 最优 位置 附 近更 加 细 密 的 搜 索 

33



第 三 章 基 于 粒子群 算 法 的 新 型 光 谱 特征波 长 提 取方 法探索 

当 然 , 速度依然有 着 上下 限的 限制 , 避 免过度饱和 


 十 - d
其 他情 况



3 - 1 6



通常 , 可 以将上下限设置 为 [

5 ,




2 .

位置更新公式 




^ =

P

3 - 1 7)


\l

l  i
< r3

其 



s igm o i d V ^
 3 8)
- 
― —


p  .

  ( t
) ( 

l +  ex
p(

F t 


3

 ra n d
 (
min  p m ax p ) ,   (
3 . 1 9


是 的 最小值和 最大值 表示该粒子第 位



m in ;


max ;? p ,
i z 

3 .

局 部 最优 和 全局 最优更新 公 式



.   .
 

当 满足条件 可更新 的 粒 子适应 度值更低 或者相 , , 同 适应度值 情况 下筛 选波长 点 更小 



f X <
f p b es  or f ( X f ( p b es  an d  X > 0) s ze <
p b es X d  > 0 s iz e


t t i t .


( t ) d ) t )  d ) ( l ( )

进 行更新局 部 最 优 或 者 全局 最优 


pb
F 
es X 
d
X t ,

 .

 


\  (
3 . 20


[ p b e s t VIP^ VIP ,
.  

4 .
适应度 函数

在 3 3

小节 中 , 将 原 有 的 适 应 度 函 数修 改 为 训 练 集 均 方 根误 差 和 验证集 均 方 根 误 差 的

加权和 本 章 节 将沿用 这 适应 度值 但是增加 个 波 长 点 个数 的 调 节 作用


一 一

, , 了 


 (
w ?

 R MSE Tr a i n + w R MSE
 

 Va l i d )

 re s t  (
3 2 . 1



,  _  2 _

其 


X f 
>0 )

s/re

b i rd U ns

, h
re s t  =  e 3 22 .

( 

其 中 re s t 部分 , 随着 筛选 波长 点 比例 的 减小 ,
r e st 的 值衰减 , 如图 3 . 1 2 所示 

34



第 三 章 基于粒 子 群算法 的 新 型 光谱特征 波 长 提 取方法探 索 

B 0
- 
3 


. 1




1 5 -

B
乂 . y

 

 广 0   
 ̄  ̄  ̄
 ’

^
 ̄  ̄

 

I ^ F !

0 0  0 2  0 4  0 6  0 8  1 0  0 ;0  0 2  0 4  Q 6  0 8  1 0
. . . 
 , , , . . . . .

波长 点 所 占比 例 浚长 点 斯 占 比 倒

图 3 . 1 2 筛 选 不 同 比 例 波 长 个 数 对适 应 度 函 数 的 贡 献 值 及 其 斜 率

从图 3 . 1 2 中 可 以看 出 , 在波长 点数较多 时 , 优先 以 降低波长数所 占 比 例为主 , 降低



波长 子集所得精度辅之 的 方式来 降低适应 度值 , 而 当 波长 点 数较少 , 所 占 比 例小于 0 2 .




后 , 降低 re s t 部 分对于适应 度 值 的 降低所起 的 作 用 已 经 很微小 了 , 从而 在 波长数较少 的 情




况下 , 主 要 以 降低 波长 子集 对应 的 均 方根谭 差 为 主 要 目 的 , 起到 一

个 自 适 应 调 整筛选 波 长


点 个 数 与 筛 选 出 优 质 波 长 子集 的 目 的 

以 上 就 是 本 文 提 出 的 基 于 V IP 值 的 改 进 的 自 适应 粒 子群算 法 

3 . 4 . 1 VA P S O  应用

将 V IP 自 适应 粒 子群算 法 应 用 于 杏 仁软糖 光谱数据 , 应用 的细节如下 



 1 .
将 c l

c2 设置为 0 2 .



2 .
速度上 下 限设置 为 [

5 5 , ] 

3 .
将校正 集划 分 为 训 练 集和 测 试集

4 .
粒 子数量 为 20 , 寻优过程 中 , 迭代次数为 1 00 次 

实验结 果如 下所示 。 其 中 图 3 . 1 3 是 最优 粒 子适 应 度值 的 降低 情况 , 可以看出 , 不同



于前文 的在

开始就 迖 到 了 收敛 , 本 算 法在迭代 过 程 中 ,

直 在 降 低种 群 的最优适应 度值 

图 显示 迭代过程 中 的 中 间 结果 左 图 是 所有 粒 子局 部 最 优 适 应 度 均值 与 全


3 . 1 4 了 。

局 最 优 适 应 度 值 的 收敛 情 况 局 部 粒子 的适应 度均值最后 向 着 全局适应 度 靠 拢 右 图某





个粒 子 某

个位置 的速度 变 化 , 可以看出在 55 左右 的 时刻 , 粒 子 的速度有 个干扰 , 



大程度 的避免 了 陷 入局 部 极 值 无 法跳 出 的 情况 。 左 二 图 是 某 两 个粒 子 最优 V P 值之 I 差 ; 

二 图是某个粒 子与 最优粒 子 V I P 值差值 的均值 , 这 两 者 最 后 都得 到 了 收敛 



35


第三 章 基于 粒 子 群算法 的 新 型 光谱 特 征 波 长 提 取 方 法探 索 




. 5

4 0


S3 5



银3 0




2 5
m


2 0


1 5


1 0
 — 咖


; 丨

.     


   
 






r 1 I

0  2 0  40  6 0  ?

 8 0 1 0 0

 搜索 
i t e r  n ms

图 3 . 1 3 V I P 自 适应 粒 子群算法的 最优粒子适应 度值变化



t  ―

检 〒 瑪 部 聶 bi i j 

〇



 全贫菝尤 子适H g值

  0 3



!  

H L 





§ ;

\  %  


\  〇,

 ° ° -

^  ̄  "
 ̄ u — —

H   0

i  :

0  20 40  60 8 1 00  〇  2 0  40  6 0  S 0  1 00

搜索 i t er  ma s
 搜索 i 丨
er  i h 

0 4

 .


〇 i


 


0 3


0 2
- .

〇,
■ |


0 .
3  I  ^  ̄  ̄ ■ * *



f  S o,

 、




i  l i

0 5   0 0
、从  

0 6  i _ 
  


_ 
 ̄ 
 





 20 40  60  8 0  10 0  0  2 0  40  60  80  100


搜素 : i i i j r  r a
丨  eS
f i U j r H i s 

图 3 . 1 4 V I P 自 适 应 粒 子群 算 法 中 间 过 程记 录

上述 迭 代 最终选择 的 波长 点 个数与 建模结 果 见表 3 . 5 所示 



3 6



第三章 基于 粒子群算法 的新型 光谱特征波 长提取方法探索 

表 3 . 5 V I P 自 适应 粒 子群算 法 波 长 筛 选 与 建模 结果

方法 波长点个数
 ^  
Bes F t i t


RM SEC

RM S E P

VA P S O

单次最优 9 0 .
8603 1 . 298 1 .
289


  

其 中 所选 的 9 个波长 的位置 见 图 3 . 1 5 。 该算法通过 自 适应速度 更新 、 自 适应适应度 函



数的方式 , 筛选 了 很少 的波长点 , 获得 了 更好 的 拟 合 能 力 和 预测 能 力 

 ̄  ̄ 


0 9 .

 


° 8 .

A 






° 6



      r

 I

I I

8 0 0  10 0 0  1 2 0 0  1 4 0 0  16 0 0  1 8 0 0  2 0 0 0

 狻长 



朋)

图 3 . 1 5 V I P 自 适应粒 子群算 法选择 9 个波 长 点 位置



3 7


第 三 章 基 于 粒 子 群 算 法 的 新 型 光谱 特 征 波 长 提 取方 法 探 索 


7 0n
  
  

71


基浅


S 试 集



65
_

I + 概 集 


6 0

 Z






5 5
^

 


?夤

50 

 ^


_ 


4 5

Y








^


40 





35

 %4

30  

1       i

i i

i  

3 0 3 5 40 4 5

50 5 5 6 0 6 5 7 0

真实 值

图 3 . 1 6 V I P 自 适 应粒 子群算 法预 测 值与 真 实 值 对 比

为 了 验证 算 法 运 行 结 果 是 否 问 題 , 将算法运行 十次 , 十次对 于 测试集 的 预 测 精度 如 图



3 . 1 7 所示 

1 65

 ■

 /\


: :
M /



3 V


0 2  4 6 8

i t e r  aur


图 3 . 1 7 多 次 自 适应粒子群方法在测试集上的 预测精 度

V I P 自 适应粒 子群算法单次运 行 , 通过 自 适应速度更新 、 自 适应适应度 函数的方式 



筛选 了 很少 的波长 点 , 依然 能够 获 得很好的 拟合能力 和 预测 能 力 , 筛 选优 质 波长 点 的 效果



比 3 .
2 小节 ,
3 . 3 小节更优 

38



第三章 基 于粒 子 群算法 的新 型光谱 特征波 长提取方 法探索


3 . 4 2R e
. VA P S O

由 于 V I P 自 适应 粒 子群算法大 多 数情 况 下 能 够 选择更 优 的 粒 子 来 建模 预测 , 因 此不需



要 进行数量 非 常 多 的 循环次数 即可筛 选 批质 量较高 的 波长 点 将 V 适 应 粒 子群算




, 。 I P 自

法循环 5 0 次 , 将这 5 0 次 的各个波长 点 的表现计算 波长 点 表现 的 分 , 并加入全光 谱 建摸精



度和 V I P 值 , 计算最后各个波长 点 总体得分 。 将 得分从大 到 小排 序 , 逐 一

筛选 , 计算 校正

集 、 训 练集 、 验证集 、 测 试集 的均方根误差 , 得到如 图 3 . 1 8 所示 的结果 



6
 ;

MS E C

i  

函S E —
Va l i 

— ?  -

 t 5 S EP
!

5 B 交 叉验证平 均均 方 误 差

 



m



?  I

g3 -

、V I :二

- 一
 一

一 



 1

i k :



2

 I

i  .

一 督1 ,



卜
一 ’



! i
1 1
 ,  #
- ??  

一 ̄



 1
  

    
   


 



1 I


0 10 0  2 0 0 30 0 40 0 50 0 6 0 0

波 长 点 个数 

图 3 . 1 8 R e VA P S O 算法 50 次循环评估筛 选

选择校正集 的 RM S EC 最小 的那 个波长 子集 , 波长 点 个数为 1 26 个 , 结 果见表 3 . 6 



表 3 . 6 R e VA P S O 算 法 波长 筛选建模结 果

 ^ 
波长 点 个数

RM S E C

RM S E P


R e VA P S O 1 26 1 . 079 1 . 23 0





3 9


第 三章 基于粒子 群 算法 的 新 型 光谱特征波长提取方 法探 索 






 7  波长 得 分
- 点 

1 0 .

朱0 8 
/



* §

% 
0 6

Mmm J  


| 


L 


 
 
  



8 0 0 1 0 0 0 .
12 0 0  14 0 0  1 6 0 0  1 8 0 0  2 0 0 0

波长 点

图 3 . 1 9 R e VA P S O
_
算 法 所选 择 波长 点 以 及 各波长 点 得分


 

70




1 i


碁线 


— —


觀則 户 ★





_
*

+  校正 集

V - —  n . . . w

5 5
Z

 y ■



a s

/
W  50 


 -

 z

m 

45
 jf







40






35

    

3 0
 


> 



1 1 !

30 3 5 4 0 45 5 0 5 5 6 0 6 5  7


真实 值

图 3 . 2 0R e VA P S O 算法预测结 果

虽 然最 后获 得 的精 度很好 , 结果 更加稳定 , 但是 出 现 波长 点 个数过 多 , 而且集 中 很密



40


 
第 三 章 基 于 粒子 群 算 法 的 新 型 光谱 特 征 波 长 提 取 方 法 探 索 

集的问题 如何找到 个稳定且寻找更 少 的 波 长 点 个数来建模是接 下 去 想 优化 的 方 向





3 . 2 小节 ,
3 . 3 小节 ,
3 . 4 小节共提 出 了 多 种 粒 子群 改进算 法用 于 光 谱 特征 波长 的 筛选 

表 3 .
7 为 这几种算 法 的 效果 , 以 及 基 本 算 法 效果 对 比 

表 3 7 . V I P 自 适 应粒 子群算 法与 前文算 法对 比

方法 波长 点个数 R M SE C RM S E P


   

全 光 谱  固 定 6 0 0  1 . 605  2 095


BP S O 单 次 最 优 1 3  1 . 6 1 8  1 . 63 7

B P S O VTP  单 次 _
最 优  42 1 . 4 64 1 , 506

RE B P S O V _ _
I P  循 环 1 0 0 0 次 1 1 5  1 . 1 1 5  1 . 3 64

VA P S O  单 次 最 优  9  1 . 298  1 . 2 89

R e  VA P S O 循环 5 0 次 1 26

L Q7 9 1 . 23 0


  

从 中 可以看 出 这些算法 层 层推进 均 比上 种 算 法有 改进提高 但也有 各 的缺 点和局




, , , 自

限性 。 例如 ,
R e VA P S O_
, 虽 然 相 比 较 RE _
BPSO _
V I P , 大大减少 了 循环所 需 的 次数 , 

是依 然需 要 循环 50 次 , 耗费 时间 。 另 外 , 循环 算 法虽 然 比 单次算 法 更 加 稳定 , 但是筛选

得到 的 波长 点数量 也更多

 

3 5i . VA P S O  算法

3 . 5 . 1 基本 i VA P S O 算法

从 小节 中 可 以得到 方面 通 常被选 中 的 优质 的 波长点在 光谱上的位置聚集在




3 4


: ,

起 有 ,

些 区域 内 的 波长 点 几乎很少 会被选 中 ,
这 些 区域通 常都 位于 V I P 值较小 的地方 

但 是 如果 刀 切 的 方 式 直接 去 除 部分 区域 可 能 会 出 现少 数优 质 的 波 长 点 被剔 除 的 情


一 一

况 另外 方面 由 于 波长 点数过 多 而 样本 点 数较少 24 个校正样本 个波长 点


。 , ,
( ,
6 00 ) 

因 此 每轮筛 选 都 会有 较 大 的 波 动 , 波长 点 个数不 固 定 , 所 处 的 位 置 变 化 也 不 没有

定 的规

则 但大 致都 会集 中 在 部分区域中

, 

根据 以上两点 , 在本小节 中 , 提 出 了 间 隔偏 最小 二乘 Vf 自 适应 粒子群算法






l s
_
VAP S O , 简称为 i VA P S O )
, 该 方法结 合 了 间 隔偏最小二乘的 思想 , 以及上文 中 的 V I 

自 适应 粒 子群 算 法 , 将 波长 点 筛 选分 为 两 轮 

在第 轮 中 将全光谱分为 定数 量 的 区 间 间 隔 每个间 隔 定数量 的波长点 粒子




一 一 一

, , ,

群将 以 区 间 间 隔 为 单位 即 个区 间 对应 位置 向 量 中 的 位 若该位被选 中 那 么整个 间


一 一

, , ,

隔被选 中 参与 建模 粒子每 位的 VIP 值为 这个 间 隔 中 各个波长 点 V P 值累积和 在该轮





I 。

中 , 采用 3 .
4 小节 中提出 的 V I P 自 适应 粒 子群模 型 , 寻找 的是最优 的 间 隔组合 。 由 于间 隔

41


第 三 章 基 于粒 子 群 算法 的 新 型 光谱 特征 波 长 提 取方法 探 索 

数相 比较于全光谱 波长数 , 少 了

个数量级 , 因 此每轮迭代 的速度很快 , 通过独立循环 多



次的方式 , 记录每

轮循环 中 选 中 的 间 隔编号 , 将每个 间 隔 被选 中 的 频次作为 第 二 轮速度



的初始值 通过这样的方式 在 开始就给全光谱 个好 的 区 域指 引 方 向






。 ,

在第 轮 用 上 轮各个 区 被选 的频次 来初 始化粒 子 的速度 对于 次都 没有




二 间

中 ,
, ,

被选 中 的间 隔 , 不参与 第二轮的筛选 。 在找到 的这 些 间 隔 中 寻找更 优 的 波长 点 组合 , 来作



为 该算法最后筛选的 结果 

算法 的 整体流程 图 如 图 3 . 2 1
所示 

第 轮



 

!  设置 间 隔 数 和 迭代 次


!  数 :

计 算全 光谱V I P 


 

 




 

Y ;  
   

:  .


随 f 划 分 训 练集和 验 L
 第 二 轮 

证 集  

 


! 
 


 根 据 需 求 选择 结 束搜 索  

!   *  或者 循环 第 二 轮 建立 ,


否 采 用 V 丨

I P 自 适 应 粒 子 群 校
正 模 型 评估 算 法 效 ,



算 法 寻 找 最 优 间 隔 组 果 

 
 :



 合 
  


X 



   



^ ^  —

 1
 

T
r 
: 



: : 

采用 V P 自 适应 粒子群 I



记录 当前 所选 间 隔 编  算 法 在 选择 区间 内 进 '
, 


 
号  行波 长 点 筛 选 
 y

 

:   根 据 各个 区 间 所选 频 

达 到迭 代 次 数 是 ? 次

代 替 V P 值 作 为 :
? '
— 一  ̄

, I ,

r i  i Z  第 二 轮 初 始 化 值 z


 ' ,

. .

 
i    ; L  J

二 、 乂  i 

图 3 2 . 1i VA P S O 算 法流程 

按照上述 的算法流程 , 比较不 同 的 间 隔 数不 同 的 迭代次数的 实验结果 , 来选择最合适



的 间 隔 数 和 迭 代次数 , 见表 3 .
8 

从下 表 可知 采用 个 间 隔 每 个波长 点 为 个间 隔区间 时 所得 到 的 算


3 .
8 , 当 3 0 ,
20 ,

法效果最优 。 图 3 . 22 为 3 0 个 间 隔情况下各个 间 隔 被选频次 。 从图 中 可以看出 ,


V I P 值大

的波长 点被选 中 的频次相对会更大 点




42



第 三 章 基 于 粒 子 群 算 法 的 新 型 光 谱 特征 波 长 提 取 方法探 索


表 3 . 8 不 同 间 隔 与 迭 代 次数 情 况下 算 法 的 预测 结 杲 对 比

第 轮第 轮 循第 轮 选第 轮平均 第 轮 选 取 B



一 一

 RM S E C  RM S E P

e s t F i t 

间 隔 数 环 次 数 取 间 隔 数  R M S E C 波 长 个 数


20  1 〇  1 1  1 - 1 65  5 0 . 7 82  1 . 205  1 .
5 82

3 0  1 〇  1 9 0 . 934  1 6 0 . 8 2 1  1 .
1 5 0  1 .
40 

6〇  1 0  1 8  1 .
0 94  5 0 8 3  3 3 7  4 90
. 1 1 .
1 .

4 〇    2 5 0
1 〇 1 8 1 . 03 7 . 8 26  1 .
1 1 9  1 . 548

3 0  2 0 1 6 0 . 9 1 9  1 0 0 . 8 1 9  1 . 1 57  1 . 3 80

6〇 3 0 3 8 L02 4
1 1 0 8
. 1 8 1 .
1 46 1 .
65 9



 






1 。


g j 

0 8


卜 V 


0 4

■



讕g 

0  1〇 〇  2 0 0  3 0 0  40 0 
500 600

波长 点 以 及 间 隔

图 第 轮 间 隔 循环 次所选 间 隔 频次 及 与 V 值对比


3 . 2 2 3 0 2 0 I P

粒 子群搜 索 迭代 的 中 间 过程不再详细描述 , 第 二 轮全局 最优适应度值的迭代情况如 图



3 .
23 所示 。 所选择 的波长 点见 图 3 24

, 预测结果见 图 3 25



43


第 三 章 基 于粒 子 群 算法 的新 型 光谱特 征 波 长提 取方 法探 索 

2 . 4




2 0 .

 




姻 1

8

 




1 6


S ,4

 







1 0 .

〇 10 2 0 30 40 5 0



第二轮 迭 代 次数

图 3 2 3  f VA P S O

算法 第 二 t变化
轮搜 索全局 最优粒 子适应度 f 




—  



1 . 1 1

0 9 .

 



f j

 \

0 7 .

 

厂W


0 6  s .


8 0 0 1 0 0 0 12 0 0 14 0 0 1 6 0 0 1 8 0 0 2 0 0 0

波长 ( mn )

图 3 24
. i VA P S O 算法第 二 轮所选择波长 点

44



第 三 章 基 于 粒子 群 算 法 的 新 型 光谱 特 征 波 长 提 取 方 法探索 

7 0
-   


基线


 ^ ’吟


55
_  + 校 正 集
 , 冬



 + 测 赌  '


6 0  Z


 



5 5



a Z 

m s o  z

 -

^


4 5



4 0







3 5

3 0
- £
 i
      I

i i i  

3 0 3 5 4 0 4 5 5 0 5 5 6 0 6 5 7 0

真实值

图 3 . 2 5 i VA P S O 所 选 择 波 长 子 集 最 终预测 值与真实值对 比

上 述 为 基 本 的 VA P S O 算 法 i 。 算法最 后 的 效果不如 re
_
VA P S O 算法 , 但是 在 多 轮 迭代

中 减少 了 粒子的长度 , 速度大幅提高 , 最终拟合的 结果 也在接受 范 围 内 



法

VA P S O  算


3 . 5 . 2R e i

即使是确定 间 隔后 , 还是容易 出 现随机 , 不稳定 , 易 过拟合 的现象 , 但是大部 分结果



都 比较好 。 为 了 评估各个波长 点 的 情况 , 由 于第 二轮参与 寻优 的 波长点 数量相 比较与之前



减少 了 至少

半 , 因 此速度 较快 , 因 此将 第 二 轮循环 3 0 次 , 然后 根据 各 个 波长 点 的 表 现 

来选 出 优 质 的波长点 。 根据这 3 0 个结果 , 统计 的 到 每个波长 点 的 表现分 , 根据 表 现分排



序 逐 增加 波长 点 计算误差

, , 

在计算 最 后 总 表现得分 时 , 改进 了3 . 3 小节 的计分公式 , 选用 了 两种计分策略 , 如公



式 3 . 23 、 3 . 24 所示 。 在本小节 中 , 将分别 使用 两 种 计分策略 , 应用于 re


_
i VA P S O 算法 。 

变 计分策略 的原 因 

1 .

筛选 的 波长 点 相 比较与 前文的 方法 , 更加少 , 通 常 都 是个位数或者 十 几个 波长 点 



因 此还进行计分 归 化的话 在 备选次数 少 的 清 况 下 不是很 能体现波长 点 的表现


, , 

2 .

这 些 波长 点 的表现相 比较与 BPS O V P


I 算法 , 拥有 更 好地预测性 能 , 单 靠 验证集

均 方根误 差换算 的得 分 已 无 法 区 分波长 点 之 间 



45


第 三 章 基 于 粒子 群 算 法 的 新 型 光谱 特 征 波长提 取方 法 探 索 

修改的两种策略如下 

E rv VIP

" i ^ 




s c ore /

 


J . zi 


,  ( )

coun t rv >  0 )
( i 

i t er num

TvP i



s c o re
2 (

)
=  — 

 (
3 . 24


c ou n t vi
p >  0 )
 (
f j 

应用 s c ore i 为 计分策略的 子集选择如 图 3 . 26 和 3 . 27 所示 



 ?

mm


9
 

L !
- - -

M S E . 
Va l i 

— * -

m s E ?


8
  !

" ―

交 叉 验逝 平 均 均 方 误差


― 一


J j



i  5


 

#


( 


5  !



 

 4
^ * *

^ 
^ i  i


| : j j


 I 5 1  广
… …

 |
f t
 I

2 齡


1


i     [

f t   i


0  10 0  2 0 0  3 0 0  40 0  50 0  . 600

 波长 点 个 数

图 为 计分策略逐 筛选波长 点 总 体情况




3 2 6s c o re

4 6



第 三章 基 于 粒子群 算 法 的新 型光谱 特征 波长提取方法探索


5 〇 . TT
1
 丨




腿 ec

、 



. —

4 5

4 0


?3 5


5 A


3 0  /

p
. 

2 .
5

 

2 °
广 八,


飞 「 、

 l/ c 一 


1 5

1 - 0

L ,



 ̄ 






0  2 0 40 6 0 8 0 10 0




 波长 点 个 数 

图 3 2 7s c o re

i 为 计分策 略 中 增 加 前 1 00 个波 长 点 校正 集和 测试集 RM S E 改变 情况

从 图 中 可 以得到 选择 RM SEC 刚 开始到 达平坦 区域的那 个点 即 个波长




3 .
27 , ,
48

点 作为 特征波长 子集 刚 好 在 这个 子集 下 测试集 均 方 误 差 也 下 降 个档 次

, , 

应用 S C 〇r
e2 S 计分策 略进行筛选 波长 子集过程 可 以 见 图 3 . 2 8 和 3 . 29 

*  — ■

S 1 S EC  

 Val


f SiS E . 
i 



 1
—  -

r
as E P

 !
— ?


交 叉 验证平均 均方 误 差





^ _
丨  飞



r  !


雪  I

广




4善7

 '



4 1 

繁  一
: 

r  f  u ;


      I

I I


0  1 0 0  2 0 0  3 0 0  40 0  5 0 0  6 0 0

波长 点 个 数

图 3 . 2 8s c o re 2 为 计 分策 略逐 一

筛选波长点总 体情况

47


第 三 章 基 于 粒子 群 算法 的 新 型 光谱 特 征 波 长 提 取 方 法 探 索 

h

K i S EC  

5 0

 i f   ̄  ̄  ̄
 P M S EP

4 5.
-  

4 0.
 


3 5
* *

? 




雎  ?


?  3土 0  
 hH

-


忪 

2 5


2 . 0

1 5 .







h ^£X




1 0 .


   
 






1 !

〇 2 0 40 6 0 8 0 1 0 0

波 长 点 个 数  

图 3 2 9s c 〇 re 2

为 计 分策 略 中 增加 前 1 00 个 波 长 点 校正 集 和 测试集 RM S E 改变 情况

从上两 图 中 看出 , 选择校正集样本 RM S EC 第

个达到 极小 值 的 点 , 即 28 个波长点

的子集 , 此时 RM S E P 也下降 一

个档次 

两 种 策 略使用 效果 对 比见表 3 .
9 

表 3 . 9 两 个 不 同 计 算 波 长 重 要 性 策 略 效 果 对 比 



计 分 方 式  波 长 点 个 数  R M S E C V  RM S E va l i d  RM S E C R M S EP 
S c ore  1  4 8 3 . 5 3 6 2 . 3 09  1 . 3 53  1 .
1 97

S co re2 2 8 3 417
. 1 . 653 1 . 288 1 . 0 85



 
 

最终选择 SC 〇r
e2 作为 计分策略 。 各个 波长 点 得 分 以 及所 选 择 的 波 长 点 位 置见 图 3 .
3 0 , 而该

波长 子集预 测 值 与 真 实 值对 比见 图 3 . 3 1 

48



第 三 章 基 于粒子 群 算 法 的 新 型 光谱特征 波长提 取 方 法探索


光谱


 § 波长 点 得 分

1 0





 波长 点

图 3 3 0 s c o r es

II
8 0 0  1 0 0 0  1 2 0 0  14 0 0  1 6 0 0  1 8 0 0  2 0 0 0

为 计分策 略波长 点 得分 以 及算法所选波 长 点



I 




7 0
- 


基线


 *漏 试 集



_

6 5

+  校正 集

6 0
 ? 輔
/

 




, 

5 5


 ★

a Z


m  50  

m 0





45

^k


0
4 0





3 5
. 




, 4 


30 

 

p      i i
i i
i i 1

3 0  3 5  4 0  4 5  50  5 5  6 0  6 5  7 0

真实值

图 为 计分策略的 VA P S O 算 法 预测 值 与 真 实 值 对 比


3 3
. 1s c o re2 i e i
_

在筛选 出 的 波长点都 表现 的 比较好的情况下 , 采用 第 二 种 算 法 会筛选 出 更优 质 的波长



点 而 若迭 代 过 程 各个表现有 好有 差 的 情 况下 采用 第 种算法 筛选 的波长 点 更优 质


, , , 

重复启 动 re
j VA P S O 算法 , 看算法的 可重复性效果 , 见表 3 . 1 0 

49



第 三章 基于粒子 群 算法 的新 型光谱特征波长提 取 方 法探索 

表 3 . 1 0 重复运行 re
J VA P S O 算 法 得 到 的 结 果 波 动





 重 复 次 数  波 长 点 数  RM S E C RM S E P

1  28  1 . 288  1 . 085

2  48  1 . 3 2 8  1 . 1 5 

3 1 9 1 . 1 20 1 . 2 1 75
 


 

从上表 中 可 以算法 , 该算 法不 需 要 过长 的 时 间 , 但 能 够 筛 选 很少 的 波 长 点 , 并且依然保持



很高的预测性 能 , 偶 尔甚 至能够获得特别好 的效果 



3 6 .
与 其他方法 的 对 比

3 .
6 . 1 全 光谱 偏 最小 二 乘 回 归

PLSR 是集主成分分析 典型 相 关分析和 多 元 线性 回 归 的 优点于 身 的 建模方 法 



广


泛应 用 于 分 子 振 动 光 谱 定量 分析 , 并 且 取 得 不 错 的 成杲 。 采用 交叉验证 的 方 法确 定最佳 的

主 元个数 , 即 潜变 量数 , 见图 3 .
32 

 


6 5 .

\


_



5 5 .

  \


> 

 \


/

 \

1 2 5 .

0 5
V ' 




1 

0 1 

潜变量数

图 3 . 32 全光谱 PL S 潜变量选择

从图 中 得知 最佳潜变 量数为 7 。 建模的结 果如 表 3 . 1 1


所示 

50



第 三 章 基 于 粒子 群 算 法 的 新 型 光 谱 特 征 波 长 提 取方 法探 索 

表 3 . 1 1 全光谱 PLS 算法主 元个数选择



方法 波长数 RM S E C RM S E P 主元个数


  

P L S R 600  1 605 2 .
095  

3 . 6 2 .

间 隔偏最小二乘

仅仅采用 i
p l s 算法 , 设定的 间 隔 个数为 20 , 即分别 在 20 个区 间 建立偏 最小 二乘模型 

得到 的 每个 间 隔 与对应模型 的 R M S E CV 如图 3 . 3 3 所示 

8       I






   I i


0 2 4 6 8 1 0 1 2 1 4 1 6 1 8 2 0

间隔

图 3 3 3
. i PLS 方法不 同 间 隔 的 PL S R 模型 RM S E C V 图

从图 3 . 3 3 中 可以看出 , 第 9 个区间为 RM S E CV 最小 的 区 间 , 这个 间 隔对应 的 波长 区



点 范 包括 为 1 2 80 -

1 3 4 0 nm 。 其次最小 的 两 个 区 间 为 为 第 2 、 3 个区 间 。 因此 , 根据 RM S E C V

从小 到 大 取这 3 个区 间 进行 PL S R 建模 , 得到 的 结果如表 3 . 1 2 所示 

表 3 . 1 2 i PL S 方法 最优 间 隔及最优 间 隔组合 比较

波长数 主元个数


 ^  
RM S E C

RM S E P

P L S R 6 0 0 1 .

605 2 .
095  



]  3 0 1 . 63 5  2 0 .
1 5  


3 ]

 [
9 ]  6 0 1 . 685  1 . 52 6  

654




 [



 [
9]

90

1 .


1 . 667




由 表 3 . 1 1 可 以看 出 , 组合的 i

l s 方法筛选 出 的 波长 点较少 , 在测试集上的表现优于 全光谱

5 1


基于 粒子 群算法 的 新 型 光谱特征波 长提取方法探索
 第 三 章 

的模型 。 取第 3 、 9 个 间 隔 进 行 组 合建 模 , 仅用 到 了6 0 个波长 点 , 大幅 降低 ; RM S E P 



3 . 6 3C

AR S

将 C ARS 算 法应 用 于 杏仁软糖近红外光 谱 数据 , 对于不 同 的 迭 代 次数 , 每种 参数 重 复



1 0 次 , 选 择 最好 的 结 果进 行 对 比 ,
C AR S 得到 的结 果如表 3 . 1 3 所示 

表 3 . 1 3 不 同 迭 代 次数下 CAR S 得到 的结果对 比



迭 代 次数 主 元 个数 选择 波长 个数 RM S E C RM S E P


   

1 00  7  1 3  1 . 65 8 6 2 . 089 8

5 00  7 6 1 . 66 02 1 . 53 77

1 00  1 5  5 1 . 764 1  1 . 7205

500 1 5 6 1 .
82 70 1 . 873 9


    

12
r

 1 . 1 

  、 f /








r m

0 8.

 /







0 7.

 )

' 

0 5
'  '  1  1  1  

8 0 0  1 0 0 0  1 2 0 0  1 4 0 0  1 60 0  1 8 0 0  2 0 00

波长点 ( nm 

图 3 3 4 CA R S

算法筛 选 的 波长 点 位置

3 . 6 . 4 遗传算法

将遗 传 算 法应 用 于 光 谱 波 长 选 择上 。 在每轮迭代 中 计算每个波长 点 的 累 计贡献 率 , 



次剔 除贡献 率 最小 的 波长 点 进行 PLS R 建模 图 为 次遗传运算结束后 的波长 点




, 。 。 3 35

选择频次 图 图 为逐 剔 除后 得 到 的 最优 波长 组 合 点 对应 的 PLS R 模型表现见 表




。 3 36

, ,

3 . 1 4 

52



第 三章 基 于 粒子 群算法 的 新 型光谱特征波长提取 方 法探索


表 3 . 1 4 遗传算法波长选择的结果

 ^ 
波长数 
RM S E C

RM S E P

主 元个数


P L S R 600 2 . 8 9 94 2 . 0947 7

GA 1 7 2 . 1 03 1 1 . 604 8 8
     

1 4  i    i
i i




0 6  

i l

W i l iil
000  1 20 0 

波长
1 40 0



nm 



1 6 00  1 8 00  2 0 00

图 3 3 5 次遗传 运算结束后 的 波长 点 选择频次 图




1 2r

咕0


声、  .


1 . 1
-   / 、 


I J

 \

1   



0 9


A

m 


不 、
 !   !

^ 


0 8 .

  /

o ,  

0 6

0 5
 !  1  1
 1 
1  

8 0 0 1 0 0 0 1 2 0 0 1 4 0 0 1 6 0 0 1 8 0 0 2 0 0 0

波长点 (
n m )

图 3 3 6

谱 线 与 最优波长组合点

5 3



第 三 章 基 于 粒 子 群 算 法 的 新 型 光谱 特 征 波 长 提 取 方 法 探索 

可以看 出 , 遗传算法在寻优 的 过程 中 执行变 异 , 能 够有 效地避 免算 法 陷 入局 部 最优 



得 出 最优模 型 及最优 波长 组 合 , 与 全 光 谱 相 比 RM S E C 及 RM S EP 都 有 大 幅 降 低 

3 7 .
本章 小 结

本 章 针对粒 子群优化 算 法 应 用 于 近红 外 光谱 特征 波长 点 筛 选 的 问 题 , 提出 了 多种 基于

变量投影重要性系数 V (
I P 系 数 和 粒 子群算 法 的 新 型 光 谱 特征 波 长 子 集 筛 选算 法

。 本章从

基 本 粒 子群 算 法 出 发 , 结合 V I P 系 数 提 出 BPS O V _
I P 算法 , 基于 VIP 自 适应 粒 子群算 法


VA P S O 以 ) 及结合 V IP 的 间 隔偏 最小 二 乘 自 适 应 粒 子 群 算 法 VA P S O (


, 多 种算法层层推

进 , 适用 于不 同 的情况 , 并且有 着 更高 的 稳定性 



在本章 中 , 先将基本 二 进 制 粒 子群算 法 (


BPSO) 的 细 节 改进 , 并将其应 用 于 近 红 外 光谱

进行优 质 波长 点 筛 选算 法 的 过程与 应用 结 果 。
为 了 更 好 地 收敛 于更优 的 极值 点 , 在 3 3



节 设计 用 2 4 4
. .
中 介绍 的 .
V IP 系 数来 为 BPSO 算法指引

个更好 的 方 向 , 称为 B P S O VI 

 _

算法 。 但是 由 于不管是 BPSO 还是 BP SO _
VI P 算法 , 结 果都有 较大 的 随机波长 , 因 此在

3 3 .

小节 中 设计 了

个光 谱 波 长 点 表 现 评 分方案 , 重复 B P S O VI P _
算法多次 , 并记 录各个

波长 点 在 每轮 的表现 最后得到 各个波长 点 总 体得 分 根据 得 分从大 到 小 逐 筛选波长




中 , ,

子集 获得 比 BP SO m SO V IP 算法更优 更稳定的结果

, 了 、
_
、 

由 于基本 二进制 ^子群算法 学 习


_

速 率难 以 控 制 , 粒子 群 收敛快 , 容 易 陷 入 局 部 最 优 点 


中 很难跳 出 , 因 此本文参考 前 人 [
的 自 适应粒子群算法 在 , 3 . 4 小 节 中 提 出 基于新的 V I 

值的 自 适应粒 子群算 法 (
VA P S O ) , 该 算 法 平衡 了 筛 选 波 长 数 及 波 长 子 集 建模效 果 , 能够搜

索 到 更优 的 位置 , 结果较之前更加稳定 。 VA P S O 算 法 只 需 要少 量 循环次数 , 根据 波 长 点

每轮 中 的 表现 , 可 以获得非 常稳定 , 但非 常优 质 的波长 子集 , 用 于建模 



在 3 . 5 小节 中 , 主 要 提 出 VA P S O 算 法 i
, 通过减少迭代 中 粒子长度 , 以 较少 的 时 间 

可达到较高 、 并且 更 稳 定 的 预 测 性 能 , 其次 , 也可 以 通 过 循环评估来筛选 出 更优 的波长 子



集 

本章提 出 的 多 种算 法与 传 统算法 的 结 果 比较见表 3 . 1 5 所示 



本章提 出 的 B P S O VIP _
算法 , 稳 定情况下 RM S E C 下降 3 0 . 5 % ,
RM S EP 下降 3 4 9%



而 自 适应 粒 子群算法 , 循环评估情况下 RM S E C 降低 0 328


. %  RM S EP 降 低

4 1 . 3 % , 最后

i VA P S O 算法 , 本 身 单 次 运 行 效 果 可 能 不 如 之 前 的 VA P S O , 但是 它 的优势在于 以 更少 的 时

间 , 进行循环评 估 , 在循环评估 中 选择更少 的波长 点 , 获得很好 的 结 杲 



54



第 三 章 基 于 粒子 群算 法 的 新 型 光 谱 特征波 长 提 取 方法探索


表 3 1 5

本章 多 种 基于粒 子群 与 V I P 值 的 波 长选择 方法 对 比

 ^ 
稳定情况 
波长数

RM S E C

RM S E P

全光谱 PL S  固 定 结 果 6 0 0  1 . 60 5 2 . 095

I PL S  固 定 结 果 6 0  1 .
68 5  1 .
5 26

CA R S  单 次 最 优 6  1 . 6 6 0 1 .
53 8

GA  单 次 最 优 1 7 2 . 1 03  1 . 605

BP S O 单 次 最 优 1 3  1 . 6 1 8  1 . 63 

4 2


64 



14

B P S O VIP till
循环 评 估

1 1 5 1 . 1 1 5 1 . 3 64

VA p s 〇  单 次 最 优 9 1 . 298 1 - 2 89

循 环 评 估 1 26 1 . 0 7 9 1 . 23 

单 次 最 优 1 0  11 57 1 - 380




循环 评 估 
28

088

1 . 085

VIP 值对于 自 适应粒 子群算 法 而言 , 在


开始指 引 了

个好 的搜 索 方 向 , 在搜索过程

中 使得搜 索 更 加 细 化 避免 步长过大的 问 题 另 方面过滤 不 重要 的波长 点 使得搜




了 了

, , ,

索朝着更加 有 效 的 方 向 出 发 这 两 者 的 结 合 对 于 粒子 群 算 法 的 波 长 寻 优 能 力 提 高 明 显

, 

55



第 三 章 基 于 粒子 群 算 法 的 新 型 光谱特 征波长提取方 法探素 


 




 

 .



56



第 四 章 深度学 习 与局 部 建模应用 于光谱定量 分析 

第 四 章 深度 学 习 与 局 部建模应 用 于 光谱定 量分析



4 . 1 引言

上文 中 使用 PL S 模 型 来检验本文 提 出 的基于 V I P 系 数和 粒子群算 法寻找 最优波长组



合来提高模型 预测精度的效果 。 目 前分 子振动 光 谱 分析技术应 用 广 泛 , 但 是 光 谱 分析 依 赖



于 多 元 校 正 技 术建 立 定 量 分 析模 型 因 此对于模 型 的 研 究 直是分 子振 动光谱 分析技术


, 

的热点 。 本章 主要探 索 不 同 模 型 对 于 光谱数据预测性 能 的应 用 效果 , 将采用 不 同 的方 法来



训 练 光 谱 数据并预测 其 性 质 , 评 估 最 优 的 定 量 分析 模 型 , 结 合第 三 章 提 出 的 波长选择技术 

形成 套完 整 的 新 型 分子振动 光谱 校正 技术



偏 最 小 二 乘 算 法 是 近红外光 谱 定 量 分析 中 应 用 最为 广 泛的 多 元校正技术 , 作 为 线性建



模方法 通过 变 量 与 因 变 量之 间 的 线 性模 型 进 行定量 分析 般 情 况 下 都 能 够 取 得 很 好



, 自 ,

的 效果 。 但 是在 某 些 场 合 下 , 采集 的 校 正样本数 据 充 足 且 校正 样 本 分布广 泛 ,
PLS 就会 

于 样本 之 间 差 异过 大 而 导致非 线 性 问 题 

本章 节选取 了 深度 学 习 领域常应 用 于 图 像领域的 C NN 模型 , 基于不 同 相似性的局部



模型 , 与 传统 的 分 子振 动 光 谱 分析模 型 主 成 分 回 归 、 偏最小 二 乘 回 归 模型 进行对 比 。 其 




 C NN 常 用 于 图 像分类 图像分割等 技术 中 拥有 着 出 众的 图 像识 别 能 力 我们 的光谱数




、 , 。

据虽 然是 维数据 但也 同 样拥有类似于 图 像的性 质 除此 以 外 由 于分子振动 光谱数据




, 。 ,

常 常 用 于训 练 的校正 样本 分布广 泛 , 因 而导致对于单个测试样本 的 预测 结 果 不是很理 想 



因 此本文尝试 了 基于欧 氏距离 为 相 似性 , 基 于 净 信 号 为 样 本 相 似 性度 量 , 和 基于 光谱信息



散度 作 为 相 似 性度 量 三 种 局 部 模 型 

由 于本章 目 的 是 分析模 型 对 于 数 据 的 分析 能 力 , 因 此期望 选 择 一

数据集 , 拥 有充足 的

样本数量 , 且 波 长 点 的 筛 选 对 于 模 型 本身 的 预 测 能 力 影 响 较 小 。 本章 采用 的数据集是



公开 的 小 麦 的近红外光谱数据集 , 检测 的 目 标是小 麦里 的蛋 白 质 含量 (
wt % ) , 每条光谱有

1 00 个波长 点 , 检测范 围是 8 5 0 nm 到 1 0 5 0 nm , 相 邻波长 点 间 隔 2 nm 。 该标准数据集有 5 1 



个样本 , 获取 时 已经被划分为 4 1 5 个样本 的 校正集和


组 1 08 个样 本 的 测试集 。 该 数 据集

下载 网址为 : h tp : // w ww m o d e l s
. . l i fe ku d k /w h e a t
. . k em e l s 

小 麦 祥本近 红 外 光 谱数据 如 图 4 . 1 所示 

57



第 四 章 深度 学 习 与 局 部建模应用 于光谱 定 量分析 

3 6 


1   1


 ' 
1  ' 

2 4 .

8 5 0 9 0 0 9 5 0 1 0 0 0 1 0 5 0

波长点 (
n m 

图 4 . 1 小 麦样本 近红外光谱数据

4 2 .
传 统校正方法

4 2
. .
1 P CR

将 主 成 分 分析 应 用 于 本 章 的 小 麦 近红 外 光 谱 数 据集 , 首 先需 要进行 主 成分数确 定 , 

图 所示 通过评价不 同 主 成分数下校正集 的交叉验证的 RM S E C V 值 来确定 个主




4 . 1
, ,


成分数 。 从图 中 可以看 出 , 选取主成分数为 1 4 。

1 8

2
 
 


^  ■


1 . —  -  



基线


1 6 + 测 试 集 / ;
+

\ ^
0 8


I : 

〇 6 .

 8 
fm



^


H = =

0 4
 '  ^  




 ' '

0 5 1 0 1 5 5 1 0 1 

主 成 分 数 真 实 值

图 4 2P C R

主 成 分 数确 定 及模 型 预 测 值 与 真 实 值 对 比

表 4 . 〗 PC R 模型 结果

主 成 分数 RM S E P
 ^  
RM SEC
 

P CR 1 4 0 53

1 2 0 72

1 5
    

58



第 四 章 深 度 学 习 与 局 部 建 模 应 用 于 光谱 定 量 分 析 

4 2 2P L S


 .

同 样 PLS 也需要确定主元个数 , 又称潜变 量数 , 评估主元个数 的标准为校正集 的



RM S E CV 值 。 图 4 3 .
给 出 了 主 元 个 数 与 校 正 集 交 叉 验 证 R M S E CV 的 关 系 

2  8
      






1 . 1

( > 0^ 


? 基线
y

V  + 测 试 集 



 I  |

l 4   ^

 \ r
° 6 -

 8


0 4.
 '  ' 
 ^ 6
— '  ■ 

0 5 1 0 1 5  5 1 0 1 5

潜 变 量 数 真 实 值

图 4 3 P L S 确 定 主 元 个数 及 模 型 预 测 值 与 真 实 值 对 比


表 4 2 . PL S 模 S 预测 结 果

主 成 分数 RM S E C RM S E P

   

P L S 1 1  0 5 . 1 1 1  0 7 03 7

 .

4 2 3L S S
. . VM

采用 径 向基 ( RB F ) 作为核函数 , 采 用 小 麦近红 外光谱数据 的 主 成 分分析 结 果 作为 模



型 输入 。 选取前 1 1
个主元作为 输入 , 随 后通过 网格搜索来确定 cy 和丫的 值 , 搜索 中 记录交

叉验证 的 RM S E C V 值作 为 评估标准 如 图 ,
4 5 .

所示 采用 最优组 合参数建立 ,
LS S VM 模型 

得到模 型 的预测结果见表 4 3



8   
7


- ■ *  ■ ■  ■  *


+ 基线
z


1 6 !

| 
测 试集

 1 4

 X ;+ + 


 讀 : 


4
-    
! ' '  ' '


\ <


  2
6 8 1 0 1 2 1 4 1 6 1 8


咖 2 °
咖

 真实值

图 4 4 .
小麦 样 本 网 格搜索 确 定 LS SVM 参数 以 及建模 结果

5 9



第 四 章 深度 学 习 与 局 部建 模 应 用 于 光 谱 定 量 分析 

表 4 3
. LS SV M 建模 结 果

模型 

 ^ 
RM S E C

RM S EP


s s vm 0 〇 0 7 3 08 0 975 5



l 1 1 . .

   

L S S VM 方法最大的 问 题在于 , 需 要 对 参数进行 寻优 , 而 寻找 参数最优 组 合 的 过 程需



要大 量 的 时 间 , 而 且 对 于小麦 近红外样本 的 拟 合程 度 并 不是 很好 

4 3  C NN

应 用 于 近红 外 光 谱 定量 分析

卷积神经 网 络 由 于 其在 图 像上 的 非 常 突 出 的应用 成 果 , 以 及近年来 随着计算硬件条件



的发展 ( GP U 等广 泛应 用 ) , 已 成 为 当 前不仅仅是 图 像识别 领域的 研 究 热 点 。 卷 积 神经



网 络有 很 多 优 点 , 比 如 它 类似 于 生 物神 经 网 络 的 权值 共 享 网 络 结 构 , 避免 了 神经 网 络模型

参数计算 的 复杂度 , 减少 了 权值 的 数量 , 大 大提高 了 计算效率 。 普 通 的 神经 网 络 , 若直接



输 入 图 像数据 包 括 图 像各个 通道 的 数据 会 出 现计算 量 过大 的 题 卷积神经 络在这




, , 问 , 网

方面非 常有优势性 它 通过 多 个重 复 的卷积 层 与池化层 可 以 不 断提取 网 络 中 图 像不


, , 

的 特征 , 比如紋理特征 、 图 像拓 扑 结 构 等 等 。
而 卷积神经 网 络 由 于对 于平移 、 比例缩放 

倾 斜等 具有 高 度 不 变 性 , 避免 了 传 统识别 算 法 中 复杂 的 特 征提取和数据 重 建 过 程 

 分 子振动 光 谱 数据 虽 然是 个 维 的数据 但 是从谱 图 中 可以看 出 光谱数据在 




一 一 一


, ,

方 而 上 也是类似于 图 像 的形 式 波长 点 与 波长 点 之 间 并未完 全 不 相 关 存在 定的关系


, , 

近红外光谱是样 品 分 子选择性的 吸 收辐射光 中 某 些频段的光 , 引 起化 学 键针对 , 产生的吸



收光谱 , 针对 不 同 的基团 , 会产 生不 一

样的谱 图 , 甚至不 同 温 度 的 样本都 会 产 生 谱 带 位移 



拉曼光谱针对不 同 的 基团 会有 不 样 的 特征 峰 正是 由 于这些不 同 的谱 图 使得 C NN


, 。 ,

应用 于分 子 振 动 光谱 进 行定 量 分 析 成 为 可 能 

C NN 网 络通 常 包含输入层 、 卷积 层 、 激活函数 、 池化层 、 全连接 层 , 其 中 最核心 的



部 分 为 卷积 层和 池 化层 

1 .
卷积 层 

卷积核 , 又可 以 称 为 权值矩阵 , 或者称 为 滤 波器 , 它 在整 个训 练 中 是权值共 享 的 。 



果权值 矩 阵 一

次移动

个像素 , 我们 称其步长 ( st ide


r ) 为 1 。 而 边界 , 在输入图像 四周填

的部分 卷积 后 的 图 与 原 始 图 像尺 寸 保 持

充 致 称 为 如图 所示

’ ’

am e ding 4 5
p ad
0 , ,
s ,



60



第 四 章 深度学 习 与 局 部建模应用 于光谱定 量 分析


2 5 1  79 2  4 1 2  64 0  7 3 2  S5 6


丫 6 3 3  65 3  85 1  75 1  S 1 3  S5 1

v
? ) 89 1 3 71 3 6 5 7





图 4 5

卷积层 以 及步长 、 边 界 示 意 图 图 4 . 6 池化 层 示例

卷积 层 通 常 用 来进 行 局 部 特 征 提 取 ,

个卷积 核就 代 表 了

种相似性 , 卷积核在 图 像

上 的 卷积 结 果就是 图 像 该 区 域 与 当 前卷积 核相 似 程度 , 卷积核在 图 像上栘动 的 过 程 就 是探



索这种局 部特征 。 例如 , 当 卷 积 核 ^乍 用 在 不 同 的 样本上 , 即探索 不 同 输入 图 像 的局部 相似



性 , 即不 同 样本数据都有 这 样 的 局 部特 征 , 那 么 探 索 的 是样本数据共有 的局 部特征 。 当 



积核作用 在 同

样本的不 同 位置上 , 由 于

个卷积核在整张 图 上权值共享 , 如果探索 的是



同 张 图上的不 同 位置 那 么探索 的是这 两 个不 位置共有 的局 部特征 从这 方面来说



, 。 

卷 积 核 探 索 的 局 部 特 征 具 有 平 移 不庚 性 [
66



2 .

池化层 

通 常 卷积 神经 网 络训 练 的 图 像数据尺 寸 很大 , 池化层设计 的 目 的 就是 降低 图 像尺寸 



从而 降低神经 网 络的计算参数量 , 它通 常与 卷积层组合 , 多 个卷积 层 与 池化 层 重 复 的 被 引



入网络 中 。 最 常 见 形 式 是最大池化 。 池化层 主要 的功 能 :


方 面 对 图 像 进 行压 缩 , 简化网

络计算 的 复杂度 ; 另

方面 , 提 取 出 主 要 的 特征 

4 .
3 . 1 Le Ne t

52 d 情况

Yar
nL e C u n 在 1 998 年提 出 的 L eN e t



6 7]
是早期 最具有 代表性 的 卷积神经 网 络之 一



最初设计用 于 识 别 手写 数字 识 别 , 具有 非 常 高 的识别 精度 。 L en N et -

5 共有 7 层 ( 不 包括输

入层 ) , 每 层 都 包含不 同 数量 的训练参数 , 模型结构如 图 4 7 .

所示 

6 



第 四 章 深度 学 习 与 局部 建 模应 用 于 光 谱定 量 分析 

C3 :  f  . m a ps1 6 @ 1 0x 1 

f N p
l ,  f T C 1 :  f e a u r e  m a p s  S4

:  f  m a ps1 6 @ 5 x 5
32 x 3 2 奪 8 x2 8
 S2 m a p s C5 a
ye
F a 


〇 UTP
e O

: .

pUut

^  8
%
: l ,

6  l
, a 





@ 1 4 x 1 4

M C o nvo l ut on s
i  S ubsa mp

图 4 7 Ya n n .

i i ng


 Convo

998 年介绍的
l ut onsi

L eNe
^
Su bs a m p


5 网
l i ng

络的结构


F ^
 Fu
con n ec t

l l
i on


 Ga u ss
co n n e c t o n

 i

a nco n n e c t i on 

为 将 Le N e 应用到 我们的 维光谱数据 将 每条光 谱数据进行分段组合 组成


一 

了 5

t , ,

个二维的矩阵的形式 , 模型 的 结 构 以 及 参数见 图 4 .
8 所示 

I NPUT


 (
? ,
5 ,
2 0 :
1 

i  Co nv  1  i
r   / i
 Co nv  2  / F ;
l a tt e n  1


 ;

Output


{
? ,
1 , 1 00 8 ,
4
}   O /

ut p ut :

{
?, 5 A 〇A 6


 
} /
/I



\ n

〇 Ut
pu t



4〇°

16

Str i de :

[ 1 ,
1 , U ]
 :
st r i de :
U  3 — 


M ax _

oo l 1   M I i


ax _ _
poo l  2  d I r o p o ut

/   P oo Ls i
z r ^ t

, 
1 ^ ,
1 ]  /


/  

X 2A

Str d e \ s \ i e =

l .



 St r \ de _
s \ ze -


1 , 1 , Z/ 1 \ / d r o p o u t=0 B

 .
_

O utp u t :
[
? 5 , ,
l 〇 8 , ] / Ou t
p ut :
t
? 5 , 3 ,
16 }
y

d e ns e
  

i n
p u t

40 0

o u tp u t= l

图 4 8 L e
. Ne t

5 应用 于 二 维小麦光谱模型 结 果

为 将 光谱 数据重组 为 不 同 尺寸 的 二 维数据 , 在不 同 参数下获得的 最优 结 果见表 4 4





表 4 4L e
. Ne t

5 应用 于 分段重组后 二 维小 麦样本数据结 果

运 行 次数 图 片 尺寸 迭 代 次数 RM S E C RM S E P


   


1  5 20  1 00  1 . 1 4 5 1 . 234


2 5 20  3 0 0 1 . ] 3 4 1 .
28 8


3  5 2 0  5 0 0 1 . 1 45  1 . 22

4 5

20  1 000  1 . 1 9  1 . 23 6


5  1 0 1 0  1 0 0 1 . 1 4 4 1 .
225


6  1 0 1 0 3 0 0  1 . 1 3  1 . 23 


7  1 0 1 0  5 0 0 1 . 1 4 1 . 22 8


8 1 0 1 0 1 000 \ A V J 1 . 252


    _ _

62



第 四 章 深度 学 习 与 局 部 建模应用 于光 谱 定 量分 析


上表 中 可以看出 ,
L eN e t

5 应 用 于分段 重组 的 光谱 数据 , 预 测 性 能 并不 是很好 。 相 比

较而 言 *
的尺寸 比

的尺寸 更优 点


5 20 1 0 1 0 

4 3 2L eN et
. .

5I d

上 小节 中 我 们 将 光 谱 数据分段 重 组 为 二 维 数据 来适应 C NN 模型 但是效果并




, , 。

不是很理想 C NN 应用 于 光谱数据的优势在于 光谱 也存在 定的类似于 图像的特征


。 , 

可 以 通过卷积核来挖掘局 部 的特征 进 行分类 或 预测 因此 可 以将 条 维的光谱数据




一 一


。 ,

看做 个高为 的图像 来进行处理 图 是直接将光谱数据 当 做高为 的 图 像进 行处





, ,
4 .
9 1

理的 LeN et -

5 模 型 以 及参数 。 该 模 型 的使用 效果 , 在不 同 的参数下 , 如表 4 5 .

所示 

I N P UT



? ,
1 ,
1 00 1 , 

 ^ 

Co nv 1 / Co n v 2


   
 / 
F l a tt e n1


W :
 (
1 40 1, 8 , , )  / W :
( 1 ,
10 8, 1 ,
6)

^   / i n p ut= l

1 0

1 


O utp ut :

(
? ,
1 1 00 8
 O u t
put :

I ^O I S )
 二

, , } ( ^


/ / 

St r i
de :
[
1 ,
1 ,
1 ,
1 ]
/ st r i de :
[ 1 ,
1 ,


1 1 

M ax _
p oo l 1  M / ax _
p oo i 2  d / r opo ut

 



Po o l

_
s 丨 z e =

l, 1 ,
10 ,
1 ]
/ Po o l
_
s i z e= [
l , 
1 ,
5 ,
1 ] /

St r i de _
s i z e= [
l ; 
1 5 , ,
1 ]   / St r d e i

_
s i ze= [
l , 
1 /
2 ,

  )
/ d r o p out= 0 5

 ,

Output :
[ H 20 ,
8 ]

乂  O ut p u t :
[
? ,
1 4〇 ,
1 6 ]


de n s e


l n p ut= 1 2 B

o ut p u t^ l

图 4 9L eN et 5 应用 于 维小麦光谱数据 的模型 参数




表 L eN e 应用于 维小麦样本不 同 参数下结果




4 5

. t t

运行次数 Le am i ng _
ra t e 迭代次数 RM S E C RM S EP


   

1  0 0 . 1  1 00  1 . 2 08  1 . 04 8

2  0 0 . 1  3 00  1 . 1 5 9  1 .
04 7

3  0 . 0 1  500 1 . 1 08  1 . 046

4 0 .
0 1  1 000  1 .
1 4 7  1 .
05 8

5  0 0 05 .
559 (
earl
ys op p n g ) t i
 1 . 00 1  1 . 1 24

6 0 0 5 276( ea rl
y s t o n g) 0 9957 2 6


pp
. 1 1 i . 1 . 1

    

上表 中 , 前 4 组数据均采 用 的是 固 定迭代次数的方式 , 多 次重复取最优的 结果 。 而 5 、 



两组数据采用 的是 策略 即在迭代 中 若损失 函数迗到 定的 阈值 就停




e ar l

s t o
pp
mg , , ,

止迭代 , 用 当 时 的 参 数进 行建模预测 。 第 6 组数据 比 第 5 组更大的学 习 率 的情况下更慢停



63



第 四 章 深度学 习 与 局部建模应 用 于光谱 定 量 分祈 

止迭代 是 由 于学 率过大 而导致 直在极值 附近 震 荡 直接应用 于 维数据 比强行




一 一

, 习 , 。 ,

将光谱数据分段重组为 二 维效果 更优 , 但效果还是有 点 差 强 人 意 



4 .

3 . 3 A l e x ne tI d 情况

得益于 GPU 的 广 泛 应 用 以 及计 算 硬件条 件 的 发 展 A ,


l ex n e t 于 20 1 2 年的 I m a g eN e t2 0 1 

图像识别 挑战 比赛 中 , 由 Kr i zh ev s k
y 等 [
68

人提 出 。 他们 实现 了 包含 cud a

c o nvn et 的 8 层卷

积神经 网 络 , 以 非 常大 的优势赢得 比 赛 。 A l ex n et 网 络与 L eN e t 结构非常相似 , 但是它 包



含 层变换 其 中 有五个是卷积层 两层 的 全连 接 层 以及 个输 出 层 A 第
一 

了 8 , , , 。 l exn et

层 中 的 卷积核大 小是 1 1
x 1 1 , 第 二 层是 5 x 5 , 之后重 复三层 3 x 3 的卷积层 。 A l ex ne t 验证 

CNN 在 复杂模型下 的 有效性 , 另 外 , 实现 的 可 以 运行在 GPU 上 的 深度卷积 网 络 成 为 近年



来深度 学 领域的 重大突破


5 8
习 t ]


另 外 ,
A l ex n et 取得 巨 大 成 功 还有 以 下几个原 因 

1 .

采用 了 非 线性激活 函数 : R e LU 

2 .

防止过拟合的 方法 : D r op o u t
, D a t a  au
gm entat o n i


3 .

大数据训练 :
百万级 I m a geN e t 图 像数据 

L o c a R e sp o n c e N orm a 归 化层 的使用 等

4 . l   l i z at i o n 


. P UT
 ̄  ̄  ̄


? ,
1 ,
1 00 1 } ,



i r '





C o n v1
 / 
Conv 2
 /  ̄  ̄

Conv 3 



F l a tt e n1


W :

 (
1 ,
40 ,
1 ,
8 )
W :
 ( 1 ,
20 8 , ,
16 )


 /
W :
 (
1 A 16 ,
24 )

 / n D u t

i n〇

64


 O  

O u t p ut :
 (
? ,
l, l〇 〇 B) ,
/ ut p ut :
 (
? 4 ,
10 0 4 6} / Ou t
pu t :
 (
? 4 2 0 24 , , )


〇u t

z 


St r d e i :
 {
1 ,
1 ,
1 4 1  st r i de :
 [
1 ,
1 ,
1 4 ]  str i de :

 [
1 .
1, 1 4 ]

j 了

M ax _
p oo l  1  Max _
poo l  2
 
Conv 4 

" " " "  d r o p out

Poo i

_
s i z e =

l ,
l ,
l〇 4 }  Poo /

_
s i ze


l, 1, 5  ,
1 ]  W / :
 (
1 ,
4 ,
2 4 ,
32 )
    

St r i de 一
s i z e =





1 ,



/ St r i d e

s i z e=【 l ,
l S ,


]  /  Ou t p ut :
 (
7, 1 ,
20 ,
32 ) d r o po u t

0 5
.

O ut p ut :
[
? ,
l ,
l 〇〇 8 , ] /O utpu t :
l
? ,


20 46 ] / st r i de :

[
1 1 , ,
1 ,
1 

Conv 5  d e n s 



 

W :


2 ,
64 )

 >  l np ut =
25 6

st r i de :

[
1 ,
1 /
1 4 1  I … — J ? 二  

Max _
po o
l  5  

Po o i
_
s i ze


l , 
1 4 1 / , ]  


St r l de _
s i ze

l , 
1 ,
2, 1 

Out p ut : ? 1 1 0 64



 { , , , ]

图 4 . 1 0 A l ex n e t 应用 于小麦祥 本数据的模型 参数

64



第 四 章 深度学 习 与 局部建模应用 于 光谱定量 分析


本节将 A l ex net 应 用 于小 麦 近红外 光谱数据 , 共 4 1 5 训练祥本和 1 08 测试祥本 。 具体



的模型参数见 图 4 . 1 0 。 对于上述模 型 , 实 验 时将所有 样本 进 行 打 乱 , 取 乃%训 练样本 25 




测试样本 , 设置 dro
p out

0 5 .
, 得到 的结果图标 4 6 .

所示 

表 4 . 6 A l e xn et 应 用 于 小麦样本数据的 不 同 参数的结 果对 比

运 行次数 L e am n


_
ra t e 迭 代 次数 RM S E C RM S EP





1  00 1
 1 00  1 . 2 02  1 .
026

2 0 0 1  3 0 0  1 . 1 8 7  1 . 02 5

3 0 .
0 1  5 0 0  1 . 1 63  1 .


4 0 0 1  1 000  1 . 1 77  1 .
02 9

5 0  005 827 (
e a rl
ys t o p p n g ) i
 1 .
0 1 9 0 . 9 8 8

6 0 . 0 03 63 7 (
e a rl
ys t o
p p n g) i
0 . 942 0 . 8 87

0 00 72

】 5 ear s o n 02 0 988
y t

pp g) 


i 1



 _


其 中 , 第 4 、 5 、 6 组 的 阈值设置为 0 3 5 .
。 可以看出 , 在学 习 率 以 及 阈 值设定合理 的 时候 

C NN 在小麦 样本上 可 以 获 得较 理 想 的 结果 , 效果优于 LS S VM 的模型 , 经过 实验 , 同 样 



于 大 多 数非舞 性模 型 , 例 如 A NN  S V M  G B D T 等 , , 。 但是 由 于 小 麦 样 本 数 据集 的 波 长 点

取得并不是非 常有代表性 , 波长点 共 1 00 个 , 数量过少 , 样本之 间 区 分度不 大 , 因 此精度



不如 PLS 主 元个数调优 后所取得的 效果 。 第 6 组实验 的 损失 函 数在迭代 中 逐渐被 降低 , 



图 4 . 1 1
, 该模 型 的 预测值 与 真实值 比较见 图 4 . 1 2 

3 0
- 

 —
. 1 

- 



2 . 5



2 .
0




g1 5





1 .

〇 〇.

 I    I








〇 10 0 2 0 0 30 0 40 0 5 0 0
60 0

迭代 轮 数

图 4 . 1 〗  A l exn et 迭代过程 中 损失 函数

65


第 四 章 深度学 习 与 局部建模应用 于光谱定量分析 


基线
 


1 6
_
+  潇试 集






14







12

々A





| :





+ 

8 









6  8  1 0  1 2  14  1 6

真实 值

图 4 . 1 2 A l e xn e t 模型 预测值 与 真 实 值对 比

总体来说 ,
C NN 应 用 于 光 谱 数据 定量 分析有 着 较好 的 前 景 。 对 于该小 麦 近红外 光谱

数据而 言 , 虽 然样本数量较 多 , 但是所选取 的波段 比较窄 , 波长 点数少 , 且 近红外 光谱 之



间 由 于 区分度很小 , 因 此仅靠 这 一

段光谱 , 较难 区分开来 。 尤 其是 C NN 模型 , 依赖于提



取 多 种 局 部特征 , 来进行 区 分 不 同 浓度 的 样 本 , 当 波长 点 数较少 的 时候 , 能够提取 的 局 部



特征有 限 , 因 此 在 小 麦样本上应 用 效果并 不 是特 别 出 彩 。 但是在实 际工业应用 当 中 ,


工业

数据数量 充足 ,
且可 以 人 为 选择更 多 波段 的 数 据 , 使得 每条样本特征 充足 , 可 以预想到 

此时 C NN 将会发挥 出 更 出彩的应用 效果 

4 4 .
局部 PL S 模型探索

PLS 用 于 光谱 定量 分析 , 应用 广 泛 ,

直 是研 究 的 热 点 。 但是在某 些 情况下 , 由 于校

正样本之 间 差异较小 , 导 致分 子振 动 光 谱 的 响 应 与 检 测 目 标之 间 存在 严 重 的 非线性 问 




69 ]

, 往往效果 不是很理想 , 甚 至 无 法 满 足精 度 要 求 

局 部建模策 略的 核心 思 想 , 是从众 多 校正样本集 中 , 选择与 当 前 的待测样本最相 似 的



部 分校正样本 , 组成 局 部校正子集 。 根据 这 些 局 部 校正 子集建立 局 部 的 回 归 模型 , 用 此模



型 来 对 预 测 未知 祥 本 通 常 采用 样本光谱 间 或祥本光谱 主 成分 间 的 欧式距离 作 为 相 似




48 49
[ 】 [ ]

判据 [
48 ]

。 由 于近红外 光谱往往 包含噪 南 , 在很 多 情况下 , 欧 式距离 不 能真实体现样本 间 的




66



第 四 章 深度 学 习 与 局 部 建 模应 用 于 光 谱 定 量 分 析


相似性 。 另

方面 , 由 于线性 回 归 模 型 无 法 克 服校正 样本 集 光 谱 数 据 中 的 非线性而无法获



得足够 的 精度 , 因 此有 学者提 出 了 局 部 建模策 略 与 线性 回 归 模型 (


如 PLS 模型 ) 相 结 合用

以解 决 因 样本 间 差异过大而引 起的 非 线性 问 题 ? 7 2

[ ]


4 4 EL oc PLS



. . 1 l

样本 间 的距离 常 常用 欧 式距 离 来度 量 。 在基于样本 间 欧 氏距离 的局 部建模策略 中 , 



于 未知 待测 的样本 , 首先根据公式 4 . ]
求 出 待 测 样本 与 所有 已 知 样本 间 的欧 氏距离 , 如公

式 所示 , 根据距 离 的 大 小 进 行 从小 到 大 排序 , 选 择 部 分样本 子集 作 为 局 部 校 正 自 己 , 建立

PLS 模型 , 利 用 该局 部 模 型对未知样本进行预测 



ED 
X X
Z X


( , es , 
^ 

j
)
 J 
( ^s ,

k ) (
. 1




V A 

公式 中 j 表示第 j
个 已知样本 ,
p 表示样本光谱 中 的波长数 

图 4 .
1 3 是 以 欧 氏距离 为样本 间 相似性 , 样本数从小 到 大 , 针对 不 同 的 样本数得 到 的

校正集均 方根误 差 RM S E C V 。 以 RM S E CV 为 依 据 , 选择前 224 个样本 作 为 校正 样 本数 



1 . 1  I     1
1 1 I






全 局 模 型 R M S EC V


局 部 模 型 R M S E CV


, 


_



1 




0 9 .

丨  


I 
〇 8

3
_



LU  

C 0 

^ 

Q:  0 7 
 



0 6  \



乂 : : ::二





 、

0 5 


 

〇 4

 i  1
 i
 

 i  i 

0 5 0 1 0 0 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0

选取巅近样本个数

图 4 . 1 3 EL -

I oc

PL S 方法 进行样本 子集 个数 选 择

4 4 2S I D
. .

l oc P L S

-

在文章 提 出 将 常用 于 高 光谱 领域的 光谱信息散度


72
[ ]

中 ,
引 入局 部建模策 略 中 , 作为样

本 间 的相 似性度量 

67


第 四 章 深 度 学 习 与 局部 建 模 应 用 于 光谱 定 量 分 析 

光谱信 息散度 ( s

e c t r a l  n fo r m a i ti o nd v e rg en c e i
, S D I ) 可用 于表征不 同 样本 光谱 间 

越小 这 两 个样本 的 相 似度越高 对于光谱


似性 不 样本光谱 的 S ID x 尸 (x Xu x
( )


[ ]


。 i i , , , i /



。 ,

和 光谱 x 尸 (x 2 1 ,
x2 i . .


x2 〇 , 其 中 可 以 得到 两 条光谱 的 概率 向 量分别 是 9

( 叫的 ,

办 )



根据 光 谱 信 息 理论风 可 以得


7 3


中 1 =

到 X 1 * X2 的 自 信息 为 

x = o






( 1
)

4 2)


x =
og p



( 2 ) ,


4 . 3


可 以得到 心 关于 x; 的相对熵 



i )

 2 ^ -

1 t
f 
1 〇
§(

)  (
4 4 -



P

/ 1
_



两 者散度 的计 算公 式如 下 

S1D { x



2 )

 D (

x H

^ 
+ DCx  j

 | | 


)  (
4 . 5


将 SID 作 为 近红外光 谱 局 部 建 模 算 法 中 的样本相似性判据 , 定义如 公式 (



) 所示 

S m i i l ar
i ty ( t e s t , 
cal
^ 

 SID {
X t es J

X ca k l )  (
4 6 .



其 中 尤& 是 未 知 样 本 的 光 谱 , 不心 是 第 〖 个校正样本 的 光谱 , 散度如 公式 ( 3 ) 所定义 , 



示 未知样本和 第 个校正 样本 的 光谱 信息散度


z 间 

以 SID 作 为 相 似性判 据 进行 局 部 样本数量 选择 , 见图 4 . 1 4 , 选择样本数 1 44 



  

 
 







1 1 1


全 局 模 型 R M S E CV


局 部 模 型 R M S E CV








 I









0 9

> 

O 




_

给 。 8
_

^ 

Q 



0 7




 ' 

_

\
- 一

0 6 .

_ _
_






 ̄  —   ̄  ̄
 —   ̄


—  —  —  —
 —  - —  —  — 

—  —  —  —
—  —  —  —  —  :
_ _  —  

、 ,

 ̄ 




-  ̄


1  1  1 


' 
> 
 1 
 1

I 

〇 5

〇 5 0 1 0 0 1 5 0 2 0 0 2 5 0  3 0 0 3 5 0 4 0 0 4 5 0

选取最 近样木个数

图 4 . 1 4S I D -

l oc -

PL S 方法进 行 样本子集个数选择

68


第 四 章 深度学 习 与 局 部 建模应用 于光谱 定 量分 析 


4 4 3N A S


l oc -

PLS

L o b er 与 年提 出 净信号
75
是样本近红外光 谱 中 最有用 的 部分 并且正交于样


98 6
[ ]
1 , ,

本光谱 其他的干扰信息 本文采用 提 出 的 净信号技术方法 净信号分析方




74 75
中 [ ]
。 Lo rb e r t ]

法 , 通 常是通 过从近红 外 光 谱 中 , 除 去所获 得 的 包 含所有 噪声 、


背景等 干扰 信号 的 干扰 子

空 间 , 从而 得到 与 样本检测 目 标最有 效 的 信 息 。 相 比 较 与 直 接 使用 光 谱 波 长 数据进行 求距



离 来 表征相似性 , 采用 样本净信号 间 的 欧 氏距 离 可 以 去除干扰 , 更 能够表征不 同 样本 间 的



相似性 。 局 部建模策略过程如下 

1 .

对 校 正 样 本 集进行 净信 号分析 , 得 到 所 有 样 本 净 信 号 矩 阵 NA S a
r l 和 映射矩 阵 H 

2 .

对于未知样本 , 根据 H 计 算 其 净 信 号 NA S , es t


针对 毎 个未知 样本 计算 其 与 已 知 校 正样本 间 的 相 似性判据


3 .




S i m i l a r i ty { x t es ?

ca l ) 
=  ̄

 NA S ca i ,
i f  (
4 7 -





4 .

根据相 似性 进行排 序 , 剩 余思 路 与 EL -

l oc

PLS 相 同 

基 于 净 信 号 欧 氏 距离 为 样本 相 似 性 的 局 部建模 策 略 样本 子集 选 择如 图 4 . 1 5 , 选 择样本

数为 24 5 

1  I        I
I J I I I 

I 

全 局 模 型 R M S E CV


!  — —

局 部 模型 R M S E CV

0 9 .

 | 






0 8 .






^〇


_

7


 



0 6
 \


\



\ 
、 

_

一 

〇 5 

^ 一
^

* ^

〇 4
1 1  '   1   


   1 i

0 5 0 1 0 0 1 5 0 2 0 0 2 5 0 3 0 0 3 5 0 4 0 0 4 5 0

选取最近 样 本 个 数

图 4 . 1 5 NAS -

l oc

PLS 方法进行祥 本 子 集 个数选择



以 上三种 局 部建模策 略 , 应用 于小麦近红外样本 的 结果见表 



6 9



第 四 章 深度 学 习 与 局 部 建 模 应 用 于 光 谱 定 量 分 析 

表 4 . 7 三种局部 模型 与 全局 PL S 模型对 比

模型 潜 变 量 个 数 L o c nu m

RM S E C V

RM S E C

RM S E P


P L S 1 1 4 1 5 0 .
5 528 0 .
5 1 1 1 0 .
703 7

EL -

l oc -

PL S 1 1  2 2 4 0 .
4 8 99 0 . 4 245 0 .
63 63

SID -

l o c

PL S 1 1  1 44 0 .
5 3 4 6 0 43 .
1 1 0 . 69 1 

NA S l oc

PLS 1 1 245 0 4 83
. 1 0 4 238
. 0 . 6 1 1 


  
 

从表 中 可 以得到 , 针对小麦近红外样本而 言 选择 ,
NAS -

l oc -

PLS 模 型 作 为 本章 的探 索模型 

该模 型 的预测 结 果与 真 实 结 果见 图 4 . 1 6 

1 8 I      I ! I 1


基线
,


+ 测 试集

/



X


1 4

、
: - 

i l 2 

1 。

+





_ 
|  | 

 i
 i 
i 



6 8 1 0 1 2 1 4 1 6 1 8

真 实值

图 4 . 1 6 NAS -

l oc

PL S 模型 的预测 值与 真实值对 比

4 4 4N A S
. .

VA P S O

上文 中 , 从三种 光谱相似性 中 得 到 NAS 对 于 小 麦 祥 本 来 说 效 果 最 好 , 因 此采用 净信



号距离 作为 小麦样本 的 相似性度 量 。 因 此本节采用 净信号 , 结合第三章 中 的 VI P 自 适应粒



子群算法 , 进行 波 长 子 集 以 及样本 子 集 采集 建模 。 表 4 .
8 为 该 方 法建模的 结 果 , 以及与 前

文方法效果的对 比 

表 4 8
. NAS -

l oc


s o 方 法 筛 选 波长 子集 与 样 本 子 集建模 结 果

模型 
波长 点 个数 潜 变 量 个 数 L o c num  R M S E C V  R M S E C  RM S E P

全光谱 P L S 1 00  1 1 4 1 5 0 . 5 5 2 8 0 . 5 1 1 1 0 . 703 7

NAS -

l oc -

P L S 1 0 0 1 1  2 4 5 0 . 483 1 0 . 4 2 3 8 0 6 . 1 1 

N A S VA P S O -

1 2 1 1 245 0 . 492 1 0 4594


. 0 5 . 1 68



    

70



第 四 章 深度 学 习 与 局 部建 模应 用 于 光谱 定量 分 析 

从上表 中 可以看出 ,
NA S 结 合 V I P 自 适应 粒 子群算 法进 行波长 子集筛选 , 相 比较与

局 部模型 , 使用 很少 的 波 长 点 , 又有 着 更好地 预测 性 能 。 图 4 . 1 7 是 N A S VA P S O -

模型在进

行 波 长选 择 时全局 最 优 粒 子 的 适 应 度 下 降 情 况 , 筛选的波长 点见 图 4 . 1 8 , 分布于 光谱 的各



个位置 , 而该模型 的预测值 与 真实值对 比见 图 4 . 1 9 , 相 比较 与 全光谱全局 PLS 模型 



NA S VA P S O

模型下 ,
RM S E C 虽然只 下降 了 1 0% , 但 RM SE P 下降 了2 7 % , 耗 时短 , 

果 出 众 , 应 用 前景广 

1 8


1 6


1 4







催 

m
铤

1 2


1 0

S

0 8

 
. 

^^
 

0  2 0  4 0  6 0  8 0  10 0

雜 次数


图 4 . 1 7 N A S VA P S O

算法 全局 最优适应 度 值

7 


第 四 章 深度 学 习 与 局 部建模应 用 于 光谱 定 量 分析 

,45 -

 


3 40







| \


' 

3 3 0

\


85 0 8 7 5 90 0  9 2 5  9 5 0  9 7 5  10 0 0  1 0 2 5  1 0 5 0




 波长 ( r 犯)

图 4 . 1 8 N A S VA P S O

算法筛选波长 点位置

 


-  

1 8 I

基线 


+ 测 試 集 

Z



n
+ 





+


14

 Z




#



°

 ,4實
8 






 ,  ,  ,
 ,  ,




6  8  1 0  1 2  14  1 6  1 8

真实 值

图 4 . 1 9 N A S VA P S O

模 型 预测 值 与 真 实 值对 比

7 2



第 四 章 深 度 学 习 与 局 部 建 模应 用 于 光 谱 定 量 分 析 

4 5 .
本章 小 结

本章 主 要探 索 不 同 模型 对 于 光谱数据预测性 能 的应 用 效果 , 将采用 不 同 的 方法来 训练



光谱 数 据并预测 其 性 质 , 评估 最优 的 定 量 分析模型 。 本章主要探索 两个方 向 :


是将卷积

神经 网 络应 用 于 分 子 振 动 光 谱 数据分析 ;
二 是探 索局 部模 型 , 解 决 校正 样本差 距 过 大 情 况

下的非线性 问题 , 并与 V IP 自 适应 粒 子群算法相 结 合 , 提出 L o c VA P S O

算法 

在 C NN 应用 于分 子振动 光谱 定量 分析 , 本章实验 了 将 光谱 数据分段 重组成 为 二 维图



像 、 直 接将 每 条 光谱 样本 看 做 高 为 ] 的 图像两种方式 , 应用 L en et -

5 模型和 A l e x n et 模型 

实验结果表 明 A l ex n e t 在小 麦样本 中 有着 较好的 预测 结果 , 效果 优 于 L S S VM , 且 收敛速



度 , 但 由 于小 麦样本 波 长 点 较 少 , 特征提取不足 , 因 此预测效果 不如传统 的 多 元校正模型 



C NN 在 分 子 振 动 光 谱 定 量 分析 领域有 着 较 好 的研 究 前 景 , 但是如何更好地应用 , 是需要



改进 的地方 



另 方面 局 部建模策 略的探 索 中 沿着前人 的路 实验 欧 氏距离 净信号 欧 氏距



, , ,

了 、

离和 光谱信息散度三种相似性 判 据 , 根 据 校 正 集 交 叉验证 RM S E C V 确 定样本 子集数量 



最 后 选 择 NA S 作 为 相 似 性 度 量 。 之 后 将 NA S 结 合 V I P 自 适 应 粒 子群算 法进行波 长 子集筛



选 , 相 比较与局部模型 , 使用 很少 的 波长 点 , 又有 着 更 好 地 预 测 性 能 。 相 比较与 全光谱 全



局 PL S 模型 ,
N A S VA P S O -

将 RM S E C 下降 了1 0 % , 将 RM S E P 下降 了 2 7 % 。 该方 法耗 时




短 , 效果 比仅用 局 部模 型 更加好 , 在分 子 振 动 光 谱 定 量 分 析 领 域 有 着 很 好 的 前 景 。 
表 4 9 .
分 子振 动 光谱 定量 分析 模 型 研 究 各模 型 效果对 比

RM S E C RM S E P
   

PCR 0 53 . 1 2 0 7 2 . 1 

PL S 0 . 5 1 1 1  0 70 3 7

.

L s sv m  0 7308 .  0 9755

 .

l en e t

52 d  1 . 1 45 1 .
22

l en et

5I d  1 . 1 08  1 .
04 6

A l exnetI d 0 94 . 1 7  0 .
8 8 72

EL -

l oc -

PL S  0 . 4 8 9 9 0 6 3 6 3

 .

SID -

l oc -

PL S 0 .
5 34 6  0 69. 1 

N A S EL PL S -

0 423 8
.  0 6 . 1 1 

N A S VA P S O -

0 4 5 94
. 0 5 . 1 68
   

73



第 四 章 深度 学 习 与 局 部建 模应 用 于 光谱 定 量分析 

74



第 五章 生 物柴 油 调 和 油 光谱 定 量分析 

第五章 生物柴油调和 油光谱 定量分析



5 . 1 引 

现 阶段 , 由 于 柴 油 价格便 宜 ,
且动力 大 , 大 部 分 大 型 车 辆 的 主 要 动 力 燃 料 来 源 依 然是

柴油 。 我 国 的社会主 义发展 的 初 级 阶段决定 了 目 前我 国 对柴油 的 需 求量 很大 。 但是从环保



角 度考虑 , 柴油燃烧 的效率较低 , 而且对 空 气污染严 重 , 我 国 大量使用 柴油 会导致空 气质



量变差 , 雾霾 问 题 对人们 的 生 活 已 经产 生 了 困扰 。 为 了 解决柴油 的 尾 气污染 以 及雾霾 等 较



严 重 的环境 问 题 , 如 燃料酒精替代 汽 油 等 其他 可 代替柴油 的 能源


直在被研 究 中 。 1 9 84

年美 国和德 国 等 国 科学家 , 研究过程 中 , 发 现 采 用 脂 肪酸 甲 酯或 乙 酯 可 以 代替柴 油 燃 烧 



对环境危害 较小 , 称之为 生物柴油 。 与 传 统 石 油 系 的 柴 油相 比 , 生 物柴 油 具有 以 下优 点 



 生物柴油是 以 可再 生 的动 物及植 物脂肪酸单 脂为 原料 可缓解对于进 口 石 油 的迫 切




( 1 ) ,

需求 生 物 柴 油 对环境友好 不用 换发动机 我 国 对生物柴油 的 研 究起步较




7 6]

( 2 ) ;
( 3 )

晚 , 对 生物柴油 的应用 还 多 为 与 石化柴油 的调和 油 。 在 生 产 过程 中 能 够 快速的 分析 出 调 和



比例 , 对于 快速 的 将 生物柴油 广 泛应 用 , 有着非 常重要的 意义 



本章研 究 分子振 动光谱应 用 于快速 检测 生物柴油 调和 油 的调合 比 , 以第三# 、 第 四 






对 于 调 和 油

中 所提 出 的 多 种 光谱特征波长 筛选 方 法 以 及 局 部模 型 结 合特 征 波 长 筛 选 方 法 ,

样本 分别 检测近红 外 光谱 和 拉曼光 谱 , 获 得 光谱 数 据 , 并分 别 进行 光谱数 据预 处理 、 光谱



定量模型 选择 , 以及特征波长点 筛选 。 实验 结 果表 明 , 本文提 出 点 的特征波长 点 筛 选新方



法 以 及新光 谱 定 量 分析模 型应 用 , 在 提 高 生 物 柴 油 调 合 比 检测 精度 而 言 , 有 着 很好的应 用



效果 , 提 高检测精度 、 降低计算 复杂 度 方 面 也表现优 秀 。 该方 法相 比 较 与 前人 关 于 生 物 柴



油调 合 比 的检测 方法 , 拥有检测 费用 抵 、 快速 筒 便 、 检测 精度 高 , 效果好 等优 点 , 拥有很



好 的应用 前景 

5 2

分 子振动 光 谱 数据采集

近红 外光谱仪与 拉曼光谱 仪均来 自 美 国 O c ea nOp t i cs 公 司 , 因 此数据采集软件采 用 该



公 司 的 O c e anV i ew 软件 。 而 其他相 关 配件 , 选用 了 北京星达公 司 的 2PB -

0 24 0 系 列 平流泵 

7 8 5 nm 半 导体激光器 , 另 外 还 有 恒温浴 , 拉曼 探 头 和 工控机 等 。 系 统结 构 如 图 



75



第 五 章 生物柴油 调 和 油 光谱定量分析 

[ '




图 5 . 1 拉曼光谱 和近红外光谱在线 收集 系 统实物 



近红外 探头


拉曼探头
y

 母

a mt






恒 温 浴 平 流 泵

图 5 2 . 拉曼 光谱 和近红外 光谱 在 线 收集 系 统 图 解

图 5 .
2 中 的 实 验流 程 可 以 同 时 检 测 到 调 和 油 的 近 红 外 光 谱 与 拉曼 光 谱 。 生物柴油调合

油样 品 由 平流泵输送 到 恒温浴 中 , 在此过 程 中 经过近 红外探头 , 产 生近红 外信 号 。 到 达恒



温浴 后 , 激光器发 出激光 , 通过激发光纤 传 输到拉曼探头 , 照 射 恒 温浴 中 的 样 品 而 产 生 拉



曼信号 。 信号 由 1 6 位 A D 转换器 传输到 工控机


/ ,
工 控机处 理 后 显 示 出 完 整光 谱 , 将两种

光谱 收集后 进行处理 

配置调 和 燃料用 的 生 物 柴油 来 自 浙 江 某 能 源有 限 公 司 , 符合 国 家调和 用 生物柴油标准



BD 1 00 ; 柴油为 中 石化的 04 柴油 。 为 便于样 品 调配 , 以 生物柴油 的 质 量 含量表 征调 和 比 



按质 量 比配置 了 总个数 为 62 的调 合油 样本 , 其 中 生物柴油的浓度变化范 围从 0 %至 1 00 % 



对于近红外光谱采集 , 设定积分时 间 为 65m s , 每个 样 品 光谱 的 平 均次数 为 1 6 次 ; 在拉曼



光谱采集过程 中 , 设定激光器 所 发射 激光 的 中 心 波长 为 7 8 5 mn , 设定积分 时 间 为 3 s , 平均



次数 为 1
次 

7 6



第 五 章 生 物柴 油 调 和 油 光 谱 定 量 分 析 

5 3 .
调 和 油 近红外光 谱 分析

5 . 3 . 1 近红外光谱样 本选择与预处理

最终获得 62 个样本 的近红外光谱 如 图 5 3 .

所示 , 波长 范 围 为 900

2 1 00nm ; 可以看

出 原 始谱 图 中 存在 明 显的基线漂移 重叠且复杂 需要进 步 的预处理操作


, , 

0 8    

I I

0 6

  I

 '  1  1 

〇2

1 7 0 0 1 8 0 0 1 9 0 0 2 0 0 0 2 1 0 0 2 2 0 0

波长点 ( nm 

图 5 3 .
生 物 柴油 调 和 油 近 红外 光 谱 图

根据 K -

S 理论 , 将 62 组样 本划分为 校正集 与 预测集 。 其 中 校正集样 本个数为 46 , 



测集样 本个数为 1 6 

表 5 . 1 校正 集 与 测试 集 的分布 情况


样本个数 
M AX

M IN

MEAN

标准差


校 正 集 4 6  1 .
0 0 .
0 0 . 3 970 0 .
3 037

测试集 
1 6

0 9702


0 0203

0 3 9 54
. 0 3 047



 

5 .
3 . 1 . 1
异 常 样 本分析

在样本的采集过程 中 , 由 于环境 因 素 变化 、 仪器使用 不 当 或者人为 操作失误等原 因 



会导致产 生 异 常 样本数据 。 本小节分别研 究 了 用 于识别 异 常 样本 的 马 氏 距 离 、 学 生化残差



和杠杆值 方 法 

77



第 五 章 生物柴 油 调 和 油 光谱 定量分 析 

 4

 



' ' 


邾 






4
議 

 '  '
 ' 

'  '

6

1 


' 

〇

0 2 0 4 0 6 0 8 0 0 0 . 2 0 4 0 6 0 8 1


 . .

样 本 序 号 杠 杆 值

图 5 . 4 近红外光谱异 常 样本分析

从上 图 中 可 以看 出 ,
3 4 、 49 、 50 的马 氏距离都 比较大 , 而 这 两 个样本在杠杆值 、 

生 化残差 的 图 中 , 距离 中 心 都 比较远 , 因 而 这 三 者 可 能是异 常 样本 。 为 防止误判 ,


对于初

步 判 断 的 结果进行二 审判 别 。 分别 提 出 者 三个可疑样本 , 建模并对 比模 型 结 果对 比 来确 定



三者 的可疑程度 , 得 出 结果如表 5 .
2 

表 5 2 .
剔 除疑似样 本后模 型 结 果




RM S E C  RM S E P  主 元 个 数
全 部 样 本 0 .
0 1 65  0 03 26
.  

只剔除 3 4 0 . 0 1 89  ■

0 027 8

 

只剔除  49 0 . 0 1 7 1  0 03 3 3

 

只剔 除 5 0 0 .
02 ) 8  0 023 8

 

剔除 3 4 、 5 0

0 0
. 1 80

0 03 34





根据表格 内 容可得 出 看 出 ,
3 4 和 5 0 号样 本 在被提 出 后 , 对于 模 型 的预测 精度 君都较

大程度的提出 , 因 此予 以剔 除 。 最终 确 定的 校正集 为 45 个样本 , 测试集 为 1 5 个 



5 . 3 . 1 . 2 基线校正

基线校正 的算法 中 本文选择 阶 多 项式 共迭代 次 基线校正后的调合油拉曼




, ,
300 ,

光谱如 图 5 .
5 所示 

78



第 五 章 生 物柴油 调 和油 光谱 定量分析


校正前


    
I ! I 1 \

  |
1 I
  

0 6


 S

1 7 0 01 7 5 01 8 0 01 8 5 01 9 0 01 9 5 02 0 0 02 0 5 02 1 0 02 1 5 02 2 0 0

波数 ( 1 / n m 

校 正后


        


i i 1 I I
i ] I
i i

6

 |

S〇 + 2

 




 i  [  |  i
 
i   i
 i 

1 7 0 01 7 5 01 8 0 01 8 5 01 9 0 01 9 5 02 0 0 02 0 5 0 2 1 0 0 2 1 5 0 2 2 0 0



波数 ( 1 / n m 

图 5 5

扣 除基线 前后 的近红外光谱 比较

对 基 线 校 正 后 的 调 合油 近红 外 光谱 建 立 模 型 , 模 型 的 各个评价指 标模 如 表 5 . 2 所示 

由 表 5 2 .

可 以 看 出 经 过 基 线 校正 后模 型 拟合 能力 显著提 高 ,
RM S E C 和 RM S E P 下 降显著 

生 物柴 油 近红外 光 谱 经 过 基 线 校 正 后 , 模 型 的拟合能力 以 及预测性 能 都得到 了 提高 , 同 



也证 明 了 基线校正 的 重 要性 

表 5 3 .
基线校正 后模型效杲与 原始光谱模 型效果 对 


RM S E C RM S E P 主 元 个数


 

原 始 光 谱 0 . 0 1 8 0 0 . 03 3 4  4 0 .
9 8 80

基 线 校正后 
0 . 0 1 76 0 0246
. 4 0 . 993 5



 

5 . 3 . 1 .
3 平滑算 法

在上 小节 中 通过基线校正消 除 近红外 光谱 的 噪声 干扰 但通过光谱仪获得的光




, 了 ,

谱数据通 常 都 会有 暗 电流 引 起 的 毛 刺 和 噪声 , 要 去 除 这 些 毛 剌 和 噪声 需 要 需 要 对 光谱 数据

进行平滑 。 光谱 分析 中 最 常用 的 数据平 滑方法有移动 平均和 S -

G 卷积 平滑 

移动 平均平滑算 法 中 , 由 于窗 口 宽度 的大小确定对平滑结果非 常 重要 , 因 此对调 合 油



近红外 光 谱 的 平 滑分别 采 用 了 窗 口 宽度为 3 、 5 、 9 , 建模 结 果如 表 5 . 4 所示 。 从表 中 数据



可以看 出 , 过大会 ( 如取 9 ) , 导致 中 心 点数据失真 , 建模效果变差 ; 宽度过小时 (


如取

79



第五章 生物柴油 调 和 油 光谱 定量分析 

3 ) 时 , 平 滑效果 不 明 显 

S -

G 卷积 平滑算 法 中 , 同 样需要确定窗 口 宽度 , 另 外还 需 要考虑 多 项式 阶次 的选择 



对 比不 同 的 参 数 的 建模结 果 , 如表 5 .
5 所示 。 总 体建模效 果对 于 模 型 的 改善 影 响 相 比较 与

移动 平滑窗 口 而言较小 

综 合对 比 两种 平 滑算 法 , 选择 S G 平滑算法 , 窗 口 宽度 为 1 3 , 多 项式 阶次为 2 

表 5 4

移动 平滑窗 口 宽度对模型 的影响

宽度 RM S E C RM S E P 主元个数 Rr




 

3 0 .
0 1 99 0 .
024 8  4 0 .
9934

5 0 . 0205 0 . 0247  4 0 . 9935



9 0 02.
1 1 0 0252
. 4 0 . 9 93 2




  

表 5 5S . G 平滑 中 窗 口 宽度 、 阶次 对 模 型 的 影响

宽度 阶次 RM S E C RM S E P 主 元个数




   ^ 


9 、 2
] 0 .
02 0 1 0 . 024 7  4 0 . 9934


1 3 、 2

0 . 02 06 0 . 0246  4 0 . 9 93 5


1 5 , 2 ] 0 .
02 07  0 024 8
:  4 0 . 9934

1 3 、 3 0 02 0 6. 0 0 24 6
. 4 0 .
993 5


[ ]
 
 

平滑前

  ̄ 

J          1 J t I 1
! I
! I

 J


0 6

i |  i  i 
i  !




 j


I  

1 7 0 0 1 7 5 01 8 0 01 8 5 01 9 0 01 9 5 0 2 0 0 02 0 5 02 1 0 0 2 1 5 02 2 0 0



波数 (
1 / cm 

平滑后

 

I          | [ [ I ! I I

〇 2


! I
! i  !   


|    
  l i

1 7 0 01 7 5 0 1 8 0 0 1 8 5 0  1 9 0 0 1 9 5 0  2 0 0 0 2 0 5 0  2 1 0 02 1 5 02 2 0 0



波数 (
1 / cm 

图 5 6S .

G 卷积 平 滑前后 效杲 对 比

平滑效果见 图 5 .
6 , 可 以看 出 , 经过 S -

G 平滑 , 去棹 了 部 分毛躁 

80



第 五 章 生 物柴 油 调 和 油 光 谱 定 量分 析 

5 .
3 . 2 近红 外 光 谱 定 量 分析模 型

5 . 3 . 2 . 1 PCR 模型

由 图 5 . 5 可得 , 当 主 成分个数为 6 时 ,
RM S E C V 值 最小 且 达 到 稳定水平 , 模 型 的预测

情况指标如 图 5 7 .
右 图 所示 , 模型精度 见表 5 6







0 0 6

二 基线



 

 U— /


\

0 05

>

I
0 04

\  I
。 5

 .

 〇^
 '


0 02
 '  ■ —

0 5 1 0  〇 0 .
5 

主 成 分 数 真 实 值

图 5 7
. PCR 选 择 主元 个 数 以 及 预测 偉 与 真 实 值 对 比

表 5 6
. R CR 糢型 结果

模型 RM S E C RM S EP 主 元 个数

   

P CR 0 02 3 5
. 0 02 5 9. 6 0 993 2

 .

   

5 .
3 . 2 2P L S

模型

在应用 PL S 时 , 同 样 需 要 使 用 交 叉验 证 的 方 法 得 到 最 佳 的 主 元 个数 ,
本研究应 用 了 留



交 叉验证 的 方 法 得 到 模 型 指 标 RM S E C V 确 定模 型 的 最佳i 元个数 图 给出 主元


, ,
5 . 7 了

个数与模型指标 RM S E C V 的关系 

0 05 '  '



r ? 1
- —

m .

7


+测试集 I

y 


0 5

 0
— ' 

0 0 2
   '   

0 5  1 0 1 5 0 0 5 .


潜 变 量 数 真 实 值

图 5 8 PL S
. 潜变量个数选择 以及预测结果与 真实值对 

表 5 7 PLS

模型结果

模型 RM S E C RM S E P 主元个数 R =

    

PL S R 0 02 0 6
. 0 024 6

4 0 . 993 5


   

81


第 五 章 生物柴油 调 和 油 光谱 定量分析 


5 .
3 . 2 3L s . sv 

本研 究 中 LS SVM 模 型核 函 数采用 径 向 基 ( RB F ) 核函数 , 采 用 主 成 分分析 后 近红外



光谱数据的前 个 主 成分作 为 模型 输入 径 向 基核宽度和 正规化参数 的确 定 采取 留 




6 。 ,

叉验证法进行优选 , 评估指标为 RM S E C V 值 , 表 5 .
8 为 L S S VM 的 参数选 择 与 建模结 果 

' 

〇 3 .

 0 .



|  X 


] 

〇 2

姻0

6



6 4 Z
〇 I  


. 


 0 0 . 2 0 4 0 6 0 8 1


 . .

g ( Y )
 l
q ( a

)  真实值

图 5 . 9 L S S VM 参数选择 以 及该 参数下 建模 的预测值与 真 实值对 比



表 5 . 8L S S VM 模型 结果





模 型  g  RM S E C  RM S E P  R


L S SVM

1 〇 1 〇 0 0034

0 03 3 0

0 9 8 9 . 


 
 

由 L S S VM 的 建摸结 果 可 以 看 出 , 模型在训练集上的 RM S E C 值很小 , 但 RM S EP 



升高较多 模型预测效果不理想




5 3 . . 

2 4  C NN

在第 四 章 中 , 分 别 试验 了 L e N e t

5 应 用 小 麦近红外光谱数 据 的 2d 、
I d 情况 , 最后使

用 A l exn et 网 络训 练 小 麦 数据 , 获得 了 比 L S SVM 更 好 的效果 , 但精度微弱于 PLS 。 本章



依然采用 了A l ex ne t 网 络训 练数据 , 网 络结果如 图 5 . 1 0 所示 , 运行效果见表 5 .


9 

82



第 五 章 生物柴 油 调 和 油光谱 定 量分析 

I N P UT



? 4 ,
5 1 2 ,
1 


 ̄ "
C o m/ 1
 / 
C o n v2
 / 
C o n v3
   /
 ̄ "
F l a tt e n1



 ̄  ̄  ̄

w T u iX s t )




W :

(
1 ,
8 84 6
, )
W :
( l ,
2 ,
1 6 24 , }

n Du t

r 〇 *
64
  

Ou t
p ut :
 (
?, 1 ,
5 12 ,
8} / Ou t
put :
 {
? 丄 64 ,
1 6) Ou t
p ut :

{ ? , 
1 ,
1 6 24 , )



S t r i d e :

 [
1 ,
1 , U ]  /
s t ide
r :

[ 1 ,
1 44 ]  s t r i de :

[ U ,
1 ,
1]  

M ax _
poo l  1  M / ax _ poo i 



  ̄
Co n v4
 d j
r op out

^  
— 



To o ! s i z e


l , U6 ,
l ]


Poo
Ls i z e^ f
l ,
! ! ]
/ W :
 (
1 ,
2 ,
243 2 )
   

St r i
de _
s ? 2e


l /
1 ,
8 1 / ] 

/  S t r d e^ s 2 e
i i


l ,
l Al )

/
Ou t
pu t :
 (
? 446 ,
32 ) d r opo ut =
0 5

 .

Ou tp ut :
[
7 ,
1 ,
64 8 , ] / O u t
put :  / st r i de :

 [
1 ,
1 ,
1 , 1 

^ _
y i  

^en s e
C o n v5
  ̄  
一 

W :

{
1 2, 32 64 n =
5 12


pu
, , }
l t

Ou t
p ut :

 (
?, 1 ,
1 6 ,
64 

〇u p u


t t 


st i de
r :

[
1 ,
1 4 ,
1 ]

M ax po o !  5  

Po o l

_
si ze

[ l / l 4, l / ]  

St r j de s ze= i

l, l, 2 ,
l ]

^


_

O utp u t :

[ ?, l /
8 ,
64] i

图 5 . 1 0 A l ex n et 应用 于 生 物柴 油近红外 光谱 网 络结 构 与 参数

表 5 9. A l exn e t 应用 于 生物柴油近红外光谱预测结果



运 行 次 数 L e am i ng _
ra t e 阈 值 设 置 
迭 代次数

RM SEC

R M S EP

1 0 . 000 ] 0 . 00 06  1 5 6 8 0 . 00 7 1 0 . 02 1 

2 0 . 000 1 0 . 0009  1 1 1 7 0 .

Q089 0 . 02 6 

3  8e -

5 0 . 0008  1 7 1 8 0 . 0 0 84 0 . 0 1 99

4( 不做增强 )

8e -



Q . 0008

1 554

0 0094


0 . 02 63

第 4 组数据 中 , 训练集仅为 45 个校正集 样本 , 测试集 为 1 5 个测试集祥本 。 而前 3 



采用 了 数据增 强 ( Da t a Au gm en t at i on ) , 即将校正集数据进行人为 扩增 ( 45 个校正集 重 复



后变为 90 个 ) , 作 为 训 练 集数 据 , 而 测试集数据不 变 , 依然是划 分的 1 5 个样本 。 可以看



出 , 增加训练集 能够提高训练模型 的拟合能力 。 第 四 组 的过 程 与 结果见 图 5 . 1 1 、 图 5 . 1 2 



83



第 五 章 生 物柴 油 调 和 油 光谱 定 量 分 析 

10



0 8

 

0 6

 

VI  

J  

a2

0 0 ,
I -  

 
        — —

0  2 5 0  5 0 0  75 0  1 0 0 0  1 2 5 0  1 5 0 0  1 7 5 0


 :

 逯^ 轮 數   



图 第 四 组 CN N 迭 代 中 损 失 函 数 收 敛 情 况

5 . 1 1

X < ! 3
 [ 
— 




+ 顏试集 丨


 知

’




0 8

 一 车

 ,

祕 -

z


域 


霧 





〇 4 . 

y



0 2 .
^




0 0.
- ^


I I  !  I  \  

0 0 0 2 0 4 0 6 0 8 1 0
. 
 . , . . .

真鎌

图 5 . 1 2C NN 模型 第 四 组运行预测值与 真实值对 比



从第 3 组数 据 中 可以看 出 ,
C NN 在 生物柴油近红外 光 谱 上预测精 度 比 PCR 模型 、 PL S

模型 、 L S SVM 模型都要好 相 比较与 ,


PL S 模型 ,
C NN 使得 RM S E C 降低 59 % , 使得 RM SE P

84



第五章 生物柴油 调 和油 光谱定量分析 

降低 1 9% , 预测精度 高 , 而 且 随着数据量 的 提 高 , 预计将会获得 比 PL S 更好 的效果 ,


C NN

应用 于 维近 红 外 光 谱 数 据有 着 很好 的 前 景



5 3 2 5
. . .
局 部 建模策 略

在第 四章 中 , 分别讨论 了 基于光谱 欧 氏 距离 为 光谱 相似性的 EL -

l oc

PL S 模型 、 基于

光谱信息散度为 相似性 的 S ID -

l oc -

PL S 模型 , 以 及基 于 净信号的 欧 氏距离 相似性的



NA S -

l oc

PL S 模型 。 在本章 节 中 , 依 旧 使用 这 三 个模 型 寻找 最适 合 生 物 柴 油 近红外 光 谱 的

相似性模型 , 作为后续的 L o c VA P S O

算法的局 部模型 。 三种局 部模 型 中 , 以 当 前局部样



本 , 寻找使得局 部样本拟合 的局部校正模型 RM S E C 最小 的 主 元 个数建模 。 所获得的的最



优结果如表 5 . 1 0 所示 

表 5 10 . 基于 三 种 相 似 性 的 局 部建模 策 略 建 模 结 果

相 似 性 主 元 个 歌  选 择 枰 本 数  RM S E C V  RM S E C  RM S E P R 2

EL  3  3 4 0 . 0 22 8 0 0 . 1 98 0 . 0 24 2  0 9 9 3 7

 .

S I D  3  3 3  0 0 2 32  0 0 . . 1 99 0 0 23 6 0 9 94 0

 . .

NA S 7 3 5 0 0267

0 02 0
. 1 0 023 4
. 0 9 94
. 

     

其 中 , 选择光谱信息散度 ( S ID ) 作 为 最适 合 生 物柴油 的 局 部 模型 , 它相 比较与 PL S , 



时降低 了 RM SE C 和 RM S EP 提高 拥 有很好 的 拟合能 力 和 预测 能 力 三种 模型 的





, 了R , 。

参数选择 以 及 S ID -

l oc

PL S 预测值 与 真实值对 比 见 图 5 . 1 3 

0 035 .  0 0 35
.

O0 0 31 “  a  〇0 . 0 3 


^  r \
, \




V 0 02 5 .


1
广

| 
 \



0 02 5
\  _


| 

0

0 02
' '  1  ' '  ' ' 

0 2
—  '   '    
— '  ' ' 

. .

1 52 0 2 53 03 54 04 5 1 5  2 0  2 5  3 0  35  4 0  4 5



EL选 择 样 本 数  S D 4 择样
I J 本数

 
 ̄ 

0 035 1

〇  /\ r
^ V  ^ + 测 试 集

 .

/\

議 〇 5

 .


 0
1  1

0 02 5 
I  

  '  1   1


2 0 3 0 4 0 0 0 . 2 0 4 0 6 0 8 1
.
 . .

NA S 选 择样 本 数  真实 值

图 5 . 1 3  EL 、 SID 、 NAS 局 部 模型 参数选 择 以及 SID -

l oc -

PLS 预测值与 真实值对 比



85



第 五 章 生物 柴油 调 和 油 光谱 定 量分析 


5 . 3 . 3 特征波长 点筛选

基本二 进制 粒 子群算 法 的 收敛位置 受初始化影 响 比较大 , 因 此在第 三章 中 本文提 出 



基于 V 的 改进粒 子 群算 法 V IP 值对于 BP SO 算法 能够指引 个好的方 向 但是




I P 。 , 。

B P S O VI P _
算 法依然存在 随机性大 , 结 杲 时好 时坏 , 过早 收敛的 问 题 , 因 此提出 了 基于

V I P 的 自 适应粒 子群算 法 。 为 了 获 得稳 定 的 结 果 , 对 VA P S O 算 法 进 行 重 复 50 轮 , 获得很



好的稳定的 结 果 。 但是 由 于重复耗 时 比较久 , 由 此提 出 减少 粒子位数的 间 隔偏 最小 二乘结



合 V I P 自 适应 粒 子群算 法 

第 四 章 主 要 讨论 定量 分析模型 , 但 是在 讨论局 部 建模策略 的 同 时 , 将局部模型 结 合第



三 章 的 VIP 自 适应粒子群算 法 , 获得 了 很好的 效果 



在本章 中 , 主要实验 V PA S O 、 i VA P S O 以 及稳定 的 re


_
i VA P S O 模型 , 第 四章 中 的局

部模型 V I P 自 适应 粒 子群算 法算 法 

5 3 . 3 . 1 VA P S O


V I P 自 适应 粒 子群算 法应 用 于 生物 柴油 近红外 光谱 , 做 了

下的调整 

1 .

在初始化步 骤 , 将 初 始 的 全 局 最优 粒 子 设 为 全光 谱 情 况 时 的 适 应 度值 以 及粒 子 位

置 , 速度设置 为 vm ax 

2 .
适应 度 函数 中 , 将 设置为 0 2

,  w2 设置 为 1 , 削 弱训练集的影响 , 否 则容易 出 现

过 拟 合 的 情 况 



3 .
由 于 最优 粒 子 为 全 光 谱 的 情 况 , 所 以对于学 习 率 , 将 c l

c2 从 0 2 .

调整为 0 5 .
, 调高

最优粒子的指引 能力 

V IP 自 适应 粒子群 算 法 的 迭 代 效果见 表 5 . 1 1 所示 

表 5 1 1V
. AP SO 算 法 寻 找 最 优 波 长 子 集 结 

方 法  迭 代 次 数  波 长 个 数  主 元 个 数  RM S E C  RM S E P R2


VA P S O 1 00 1 0 7 0 0 . 1 90 0 02 0 8
. 0 9 954
. 

     

可 以看出 V I P 自 适应 粒 子群算 法筛 选 了 较好 的 波 长 子集 进 行 建模 相 比较全 光 谱 ,


PL S

模型而言 , 使得 RM S E C 降低 了  8 %  RM S E P , 降低 了 1 5 % , 并且选择很少 的 波长 点数 , 

使

得模型 更加 筒 化 。 其 中 筛 选 波 长 点 位置见 图 5 .
1 4 

86



第五 章 生物 柴油 调 和 油 光 谱 定 量分 析 

0 S




0 5





0 4





桊 修 


 

0 0 .
^  * V

1 7 00 19 0 0  2 0 00  2 1 0 0  2 2 0 0
 ;  18 00  -


 讖长 細 








 ?

 .

图 5 . 1 4  VA P S O 算 法 选 择最优 波长 点 位置

5 3
. .
3 2i
. VA P S O

将 VA P S O 算 法 应 用 于 生 物 柴 油 近 红 外 光 谱
i , 其 中 V IP 自 适应粒 子群算 法采用 5 3 3
. . . 

中 略微修 改 的粒 子群算 法 , 即 最优粒子初始化为 全光谱 的 情况 。 i VA P S O 算法总共分为 



轮 在第 轮 中 筛选最诜 间 隔组合 来 降 低训 练 集 和 验证集 的 精度 并且 重 复 多 次 




, , , , ,

获 得各个 间 隔 的被选频次 , 作为第 二 轮筛选 的 初 始化值 。 在第二轮 中 , 采用 V I P 自 适应 粒



子群 算 法 来 筛 选 最优 波 长 子 集 。 该方 法应 用 的结杲如表 5 . 1 2 所示 

表 VA P S O 算法第 轮筛 选 结果


5 . 1 2i

第 轮 间 隔 长 度 循 环 次 数 选 择 间 隔 数 平 均 RM SE C


32 20 1 6 0 0 . 1 48
    

表 为第 轮 间 隔的筛选结果 各个 间 隔被选频次见 图 在第 轮循环 




一 一

5 . 1 2 。 5 . 1 5 。 20

的过程 中 , 每轮校正 集 的 RM S E C 平均值 为 0 0


. 1 48 , 对校正集拟合能力 提高 。 在这样的基

础上 , 第 二 轮的筛选结果如表 5 . 1 3 所示 , 是 十 次运行 取 最优 的 结 果 

表 5 . 1 3  i VA P S O 算法第 二 轮 筛 选 结果

筛 选 波 长 个 数 主 元 个 数 b e s tF i t RM S E C RM S EP R2


   

1 1 5 0 02
. 1 4 0 0
. 1 93 0 0 . 1 94 0 99 60
. 

   

87


第五 章 生物柴油 调 和 油 光谱 定 量分析 

V P 值

 I
4 0
_



i a
r 被选 雛




3 . 5

0


3 .

S ? 
s







缉

^ 

『:
 kf



0  10 0  2 0 0  3 0 0  4 0 0  5 0 0


幽 a 


玻长 点 以 及 间 隔

图 VA P S O 算法第 轮筛 选 间 隔


5 . 1 5 i

VA P S O 方法与 VA P S O 方法 的 区别 在于 前者 第 二轮只 迭代 次 而后者在第 




i re i
, ,

轮 中 多 次重复 , 评估 每轮波长 子集 的 表 现得分 , 根据得分从高 到 低筛选 波长子集 



re i VA P S O 方法能够获得更加稳定的结果 。 实验过程 中 , 在第 二 轮重复 3 0 次 , 采用 S c〇 re 2



来评 估 波 长 点 表现 , 波长数选择见 图 5 .
1 6 , 实验 的 结 果见表 5 . 1 4 

— ? 

0 0 3 0

 A
 RM S E P
' -  ̄  -



( 、 

0 0 2 6  I

. 
 1

M  !



?

 

g 
° 0 2 4



S
 \







0 0 2 2



l 

h  


I
^ "   





“ -  ̄




I I
 




0 0 2 0

 A

 \ i /
一,

/  一





? 崎
 — c  

_

0 0 1 8 .

 
 


   r
  , ,



0 10 2 0 30 40

波长 点 个 数

图 5 . 1 6 re
_
i VA P S O 方法波长 子集确定

88



第五章 生 物柴油 调 和油 光谱 定量分 析 

表 5 . 1 4r e
_
i VA P S O 算 法筛选波长点 结果

指标 波长个数 主元个数 RM S E C RM S E P R2



  

S c ore2 44 4 0 . 0208 0 .
0 1 93 0 99 60
.


   

从表 5 . 1 4 中 看出 ,
re
_
i VA P S O 算 法筛 选 波长数较少 相 比较 与 全光谱 ,
PL S 而言 ,
RM S EC

持平 , 但 RM S EP 降低 2 1 . 5 % 。 虽然 RM SEC 相 比 较 VA P S O 方 法 更 高 i
, 但是结果稳 定 

筛选的 44 个波长 的位置 , 以 及 各个 波 长 点 得分如 图 5 . 1 7 所示 



2 6H .  

1 4

 I

波 长 点得 分

 1 2.




4  
^ I



S  


] 

m   t



? i



0 8 






y v |     

1 7 0 0 1 8 0 0 1 9 0 0  2 0 0 0 2 1 0 0 2 2 0 0



ji

I I




波长 点

图 5 . 1 7 各波 长 点 表现 得分及选 择波长 点 位置

5 . 3 . 3 .
3 局 部 摸 型 结 合 V PA S O 寻 找 最 优 波 长 点

在 5 . 3 . 2 5 .
中 , 得到 S I D 作为 光谱相似性 , 最适 合 生 物柴 油近红外光谱 进行 建模 。 因此

本小节选取 S ID 作为相似性 建立V ,


I P 自 适应 粒 子群 局 部建模 版本进行波 长 点 寻优 并建模 

得到结果如表 5 . 1 5 所示 

表 5 . 1 5 基于 SID 的 V I P 自 适 应粒 子群 算法 建摸 结 果

模 型  选 择 波 长 数  主 元 个 数  选 择 祥 本 数  R M S E C V  R M S E C  R M S E P  R 2
S I D VA P S O

25 3 3 3 0 02 25
. 0 .
0 1 93 0 . 0 1 94 0 .
9960



  

从表 中 可以看出 , 局 部建模策 略 加上 V I P 自 适应 粒 子群 算 法筛选 波长 子集 , 获得较好的结



杲 , 将 RM S EC 降低 3 % , 将 RM S E P 降低 1 8 .
5 % 。 该 方 法应 用 于 生 物柴 油 近红 外光 谱 就 

速度 较快 , 获得的结果更 优 , 拥有很好的应用 前景 。 筛选 的 波长 点 见 图 5 . 】 8 , 该波长 子集



的 预测 结 杲见 图 5 . 1 9 

89


第 五 章 生 物 柴 油 调 和 油 光谱 定量 分 析 

0 6 




0 5




0 4


m 


来 0 3 

, 


1 


 ,  

?  


  

1 7 00  1 8 0 0 1 9 0 0 2 0 0 0 2 1 0 0 2 2 0 0

波长 ( nm)

图 5 . 1 8 S I D VA P S O

算法筛选最优 波长 点 位置

L0 — "  ̄ — 

1  

基线
夤 校正 集  

+ ? 试 集 ★



夤令

0 6





S ., 4

稼 1 > 





0 4
X


〇 2




^




jmr




0 0 . W - 







0 0 0 2 0 4 0 6 0 8 1 0


 . , , .

真实 值

图 5 . 1 9 SI D VA P S O

算 法预测值与 真实值对 比

90



第 五章 生物柴油 调 和 油 光谱 定量 分析 

5 3 4
. .
近 红外光 谱 分析小 结

本小 节 研 究 生 物柴 油 近 红外 光谱 快速检测 调 合 比 的 问 题 , 在获 取 样 本 后 , 分别进行异

常 样本检测 、 基 线 校正 与 平滑滤 波 。 这 些 预处 理 技术提 高 了 模型 的预测精度 , 见表 5 . 1 6 



表 5 . 1 6 生 物柴油近红外光谱新校正模 型 结 果对 比

模型与 方法 主 元 个数 RM S E C RM S E P
   

原 始光谱  PLS 5  0 0 . 1 65  0 03 2 6

 .

处理后  PL S R  4  0 02 0 6
.  0 02 4 6

 .

P CR  6 0 02 3 .
5 0 . 02 5 9

L S SVM  无 0 003
. 4 0 0 3 . 3 0

CN N 无 0 0 0 84
. 0 . 0 1 99

S ID -

l oc

PL S 3 0 0 . 1 99 0 02 3 6.

   

对 于 生 物柴油近红 外 光谱 的 定量 分析模 型选择 , 参考 第 四 章 的 内 容 , 本节 对 比 了P C R



: 模型 、 PL S 模型 、 L S S VM 模型 、 C NN 模型 以 及三种 局 部校正模 型 。 表 5 . 1 6 的实验结 果表



明 ,

在 生 物柴油 近红外 光 谱 数据集上 ?

, CNN 模型有 着最好 的拟合能力 和预测 能力 ,


\ 效果

远 优 于 其 他 的 定 量 分析模 型 。 相 比较与 PL S 模型 , 将 RM S E C 降低 了5 9 %  RM S EP


, 降低

了1 9 % 

表 S . 1 7 生 物 柴 油 近 红 外 光 谱 波 长 选 择算 法 结 果 对 比

波长选择 方法 波长 点数 RM S E C RM S E P



 

I PL S 76  0 02 3 2

 0 023 5


C AR S  1 6  0 0 . 1 62 0 . 02 5 6

GA 1 25  0 02 4 9
. 0 .
02 59

VA P S O  1 0  0 0 . 1 90 0 . 02 0 8

l VA P S O  1 1  0 0 . 1 9 3 0 0 . 1 94

R eJ VA P S O  44 0 02 0 8 0 0 .
. 1 93

S ID -

VA P S O 25 0 0 .
1 93 0 0
. 1 94
   

当 采用 PL S 模型 时 , 需 要进 行特征波长 点 筛 选 。 参考第 三章 的 内 容 , 本节实验 了V I P



自 适 应 粒 子群算 法 、 间 隔偏最小二 乘 V I P 自 适 应 粒 子群算 法 以 及基 于 光谱 信 息 散 度 的 局 部



模型特征 波长筛 选算法 。 实 验 结 果见表 5 . 1 7 , 可以看 出 , 与 前人 的 波长选择算 法 对 比 , 



文提 出 的 多 种算法在生物柴油 N R I 光 谱 上都 有 着 较好 的 效果 

5 4

调 和 油 拉 曼 光 谱 定 量 分析

前文 中 , 不 管 是定量分析模型 亦或是特征波长 点 筛选 方法 , 都是 在近红外 光 谱 上进 行



91



第 五 章 生 物 柴油 调 和 油 光谱 定 量 分 析 

了 实验效果对 比 。 但 本文提 出 的 方 法不仅适用 于 近红 外 光谱 , 同 样适用 于拉 曼 光谱 。 本小



节 将前文所提方法应用 于 生物柴油拉曼光谱 , 与 5 . 3 节相 同 , 同 祥从预处理 、 定量模 型选



择 、 特征波长 筛 选 三个 方面入手 

5 . 4 .
1 拉曼光谱样本选择与预处理

5 . 4 . 1 . 1
样本选 择

同 样采集 了 6 2 个样本拉曼光谱 , 如 图所示 , 经过 线 性插值处 理 后 选择拉曼位移 范 



SeO -

l S O O c nr

这 一

段 光谱 进行分析 , 同 样拉曼光谱也需 要进行基线校正处理 



3 5 0 0   ! I
i     I I

3 0 0 0   I


 I


2 5 0 0


  
l 


|  |

Q

 | |

4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 0 1 4 0 0 1 6 0 0 1 8 0 0

波数 (
1 / c m )

图 5 20

生 物柴 油 调 合 油 拉曼光谱

采 用 K e nn a rd

S to ne 划 分校正样 本 , 划分 46 个校正祥本 ,
1 6 个预测样 本 。 划分的数

据集 中 生物柴 油 调 合 油 浓度 分布 情 况如 下表所示 

表 5 . 1 8 生物柴油 调 合油 数据集 划 分情况






数 据 集  数 量  最 大 值  最 小 值 平 均 值  标 准 差 
校 正 集 4 6 1  0 0 .
4066 0 .
3 066

测试集 
1 6

0 94 . 1 3

0 . 02 0 3

0 388 8


0 2 94
. 

采用 马 氏距离 、
学 生 化残差 和 杠杆值方 法 来 判 断 样本 中 异常样本 。 如图 4 4

给出 了6 2

个样本 的 马 氏距离 和 杠杆值 以 及学 生化残差 关 系 图 



92



第 五 章 生 物柴油 调 和油 光谱 定量 分析 

 3
    

  


' '

3 5



来5 8



3〇  .
62
 2





^ ⑶
4 ^
25



 1


来3
布 1


! ! , 頌
綱 奶
I
2〇
s

U^ 



: 〇

m 

2




5 

0  -



〇  2 0 4 0 6 0 0 0 . 1 0 . 2 0 3 0 4 0 5
. 
 . .

样 本 序 号 杠 杆 值

图 5 2 . 1
采用 马 氏距离 、 学 生 化 残差 和 杠杆值进 行 异 常 样本 分析

可以直观的看 出 , 由 于 3 1 、 3 4 、
1 、 62 样本马 氏距离较大 , 但是 1
号和 62 号样本位

于样本 集 两 端 , 而 3 1 、 3 4 样本杠杆值依 然很大 , 因 此确 定样本序号 为 3 1


和 34 的 样本为

可 疑样本 。 为 了 防止误判 的 可 能 , 采用 偏小 二乘 回 归 方法建模 , 进行 第 二轮 的 判 断 。 由 于



拉 曼光谱 建模 的 R M S EC 过小 , 灵敏性 比 较强 , 故采用 RM S ECV 来 进行判断 



表 5 . 1 9 剔 除 疑似 样本 后 模 型 结 果


R M S E C V  RM S E P  潜变量数


全 部 样 本 0 0 2 8 2 0 0 2 6 4 3
. 
 .

只剔 除 3 1 0 .
0273  0 . 0266  

只剔除 
34  0 . 0279  0 . 0262  

剔 除3 1

3 4
 
0 0282


0 02 64





从表 中 可 以判断出 3 4 号样 本是异 常样本 , 将 其剔 除 , 最终剩 下 的 校正集 为 46 个样 本 , 



试集 为 1 5 个样本 

5 4
. . 1 .
2 基 线校正

基线校正后 的调 合油拉曼光谱如下 图 所示 。
从表 中 可 以 看 出 , 基线校正 降低 

R M S E CV 和 RM S E P , 提高 了 光谱 的预测性能 , 使得 模 型 能 够 更 好地 拟 合数据 。 由 于拉曼



光谱所携带的信息充足 , 众 多 的波 长 点建模的 RM S EC 过小 , 故采用 R M S ECV 来进行判



断 

93


生物柴油 调 和 油 光谱 定量分析
 第 五 章 

    

3 0 0 0


I 

1 i
I I



2 5 0 0
 

2 0 0 0   1


辑 

 
1 5 0 0



_

4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 0 1 4 0 0 1 6 00 1 8 0 0

波数 ( 1 / n m 

图 5 2 2 .
扣除基线后的调合油拉曼光谱

表 5 20.
基线 校正 后 模型效果 与 原 始光谱 模型 效 果对 比

RM S E C V RM S E P

潜变 量 数 





_

原 始 光 谱 0 02 7 9

  0 0262

 「


基 线 校 正 后 
0 0250

 
0 . 02 60




5 4
. . 1 . 3 平滑算 法

本 小 节 仍 使用 这 两 种 算 法对 生 物柴 油 调 合 油 拉 曼 光 谱 数据 进 行 平 滑处 理 。 由 于拉曼光

谱 建模 的 RM S E C 过小 , 故采用 RM S E CV 来进行判 断 

表 5 2
. 1 移动 平 滑 窗 口 宽度 对模型 的影响

RM S E C V RM S EP 潜变 量数 




 

未 平 滑 0 . 025 0  0 0260 .  

3  0 025 0

 0 0 2 60.
 

1 1  0 0 249
. 0 . 02 2 1  

1 5 0 025 0

0 0 2 60.






 

表 5 . 2 2S G 平滑 中 窗 口 宽度 、 阶次 对 模 型 的 影响

[ 宽度 、
阶次 ]
RM S E C V RM S E P

潜变量数 



5 , 2 ]  0 025 0 .
0 .
0260  


9 、 2
] 0 . 02 5 0  0 0260 .
 


9 、 3
] 0 .
025 0  0 0260 .
 

1 3 、 5 0 025 0 .
0 02 60 .

[ ]





 

从两表 中 可 以 看 出 , 移动平滑算法降低 了RM SEC 和 RM S T EP , 而 S -

G 算法平滑对于模型 的

预测 能力 没有 改变 。 因 此拉曼光谱 采用 移动平滑算法 。 图 5 . 23 为 平滑前后 的对 比 



94



第五章 生 物柴油 调 和 油 光谱 定量分 析 

平滑前


3 00 0 I       I
i I I



漏 
2 。 。 。

  I

4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 0 1 4 0 0 1 6 0 0 1 8 0 0

波数 (
1 / cm 

平滑后


3 0 0 0      i i i i
i  



20 0 0

 I

 V ^i




4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 0 1 4 0 0 1 6 0 0 1 8 0 0

波数 (
1 / cm 

图 5 23

平滑处理前 后 的调 合油 拉 曼光谱 全局 对 比

上文 中 对拉曼 光 谱 进 行 了 异常样本筛选 , 划 分 为 校正集和 测试集 , 并对光谱进行基线



校正 与 平 滑 经过这 系 列 的处理 拉曼光谱 的 PLS 模 型 的 预测 精度 较 之 前 提 高 显著


。 , 

5 . 4 2 .

模型选择

5 . 4 2 . . 1 传统校正模 型

本文主 要 与 PCR 模型 、 PLS 模型 以及 LS S VM 模型进行对 比 ,


三种模型应用 于生物柴

油拉曼 光谱 的效果如表 5 23.

所示 

表 5 23
. 三种 传统校正 模型 效杲对 比

模型 模型 参数 主 元 个数 RM S E C RM S E P R2


  
 

P CR  无  3 0 . 023 2 0 . 02 6 2 0 . 992 7

P L S 无 7 0 0 0 4 5 0 0 2 2 . . 1 0 . 9 945

L S S VM 1 0

、 1 0

 无 0 . 0 1 3 5 0 .
02 3 6 0 .
9 94 

三种模型 中 ,
LS SV M 在参数选择后获得 了 较好的效果 , 但是 参数选 择 的 时 间 耗 时过

长 。 相 比较三种模型 ,
PL S 模 型 在校正集 的 表现上 非 常好 , 测 试集 上 的 精度 偏 高 , 但是依

然比另 外两者要好 , 因 此 对 于拉曼 光 谱 ,


PL S 模型 比较适 合 。 其 中 PLS 模 型 的 参数选择 以


95



第 五 章 生 物柴油 调 和 油 光谱 定 量分析 

及 预测 结 果如 图 5 . 24 

 
  
  

0 0 8
■ 


7F



基线


+ 测 试 集


〇 





K0 .
1 
04 \ \ ,
k ? ^ ^e^ ? ? ? ? &? ? ^ >

- - -

 〇^
  ■ 

〇 〇2
 

0 5 1 0 1 5 0 0 5 . 

潜 变 量 数 真 实 值

图 5 2 4P
. LS 的 主 元 个数选择 以 及 预测 值 与 真 实 值对 比

5 .
4 2 2  C NN


 .

C NN 应用 于 生物柴油拉曼 光谱 , 依然采用 A l e x n e tI d 模型 , 模 型 的 结构 参数见 图 5 25


. 

所示 

 ̄  ̄


? ,
1 ,
154 1 ,
1}






C o n v1

 ;

f
 —
c 〇 n v2

—  Co nv — "
 3
— —








W :
(
1 ,
1 00 1 8 , , )
W :

(
1 ,
25 ,
8 ,
1 6 )

/
W :
(
1 6 1 6 24
, , , )

. 
 O


O utp u t :

!? 1 , ,
154 1 ,
8 ) / ut p u t :
(
? ,
1 ,
193 ,
16 )
 /
Output :
 (
7, 1 ,
49 24 , )
 

°


PU


Str d e i :  :

s t r i de :
[ 1 ,
1 ,
1, 1]  s t r i de :
[
1 ,
1, 1 , 1 ]

i  I  1
:  

M ax _
poo l  1  Max /
_
po o l 2
 
 ̄
Co n v4
 ̄  d r opo u t





U5 W 6 243 2



— 


Po o i ¥ i 2 e =

l ,
l >
l 〇〇 ,
l ] / Poo l


s i ze [
l ,


: I


(
1 , , )


S tr i de _
s i 2 e =

l /
l #
8 l] i   / St r i d e > _
s i ze =

l , 
1 4 , ,
1 ]

 J O u t
p ut :
 (
? , 
1 ,
49 3 2 , ) d ro
p〇 ut

0 5

 .

Out p u t :

? l ,
19 3 8] ; / O utp u t :
[ ?, 1 4 9 , ;1 6 ) / st i r de :
[l AA 1 

|  



Co n v5 d e ns e
    

W :
(
1 A 32 ;
64)
 i npu t

1024


O u tp ut ? 4 4 9 64 )






 ( , ,

。 卿 咖 1
str i de :

[
1 ,
1, 1 4 ]
1 L

Max — poo l  5  

Po o l
_
s i z e =

l , 1, 4 ,
1 ]  


St r i de s i z : e [
l ,
l ,
2 ,
l ]


y
_

O ut p u t :

 P ,
l ,
25 ,
64] 

y

图 5 . 2 5C NN 应 用 于 拉曼 光 谱 模 型 结 构 与 参数

以 上 的 C NN 模型 , 对于不 同 的 学 习 率和 e arl

st o
pp
i ng 阈值 , 得到 的 不 同 的 模型精度 

见表 24 所示 其 中 第 组 运 行 的 掼 失 函 数如 图 所示

5 .
。 5 . 26 

9 6



第 五 章 生 物 柴油 调 和 油 光 谱 定 量 分 析 

表 5 2 4C
. NN 应 用 于 生 物柴油拉曼光谱不 同 参数所获得结果

运 行 次 数 L e am i n
g _
ra t e 阈 值 设 置 迭代次数 RM S E C RM S E P



 

1 0 . 0005 0 . 00 1  3 04 0 . 0095 0 . 03 0 



2 0 .
000 1 0 .
00 1  6 2 9 0 .
0 0 94 0 .
03 1 

3 0 . 0005 0 . 0005 37 0 1 .


0065 0 .
03 67

4( 不做增强 )

0 0005


( K00 1


332

0 . 0090

0 . 03 63

3 0
-  ̄ 


. 1



2 . 5

2 . 0

! /5


1 5


L 〇

 

0 5

0 0J
  — - —   

. r r r

0  50  10 0  1 5 0  2 0 0  2 5 0  3 0 0

迭代轮 数

图 5 2 6C
. NN 模型 应用 拉曼光谱 损失 函 数 收敛情况

可以看出 , 在 当 前的 A l ex n e t 模 型 以 及 这 几组参数条件 下 ,
C NN 对于 生 物柴油 拉曼光

谱 的拟合 能力 并不是非 常 的好 。 在校正集上拟合不如 PLS 的结杲 , 但是优于 PCR 模型和



L S SVM 模型 , 其预测 能 力 微弱 于 传 统校正模型 。 初 步 分析是 由 于光谱特征波长 点过 多 而



导 致参数过 多 , 但是样本数却很少 , 由 此训练量不够 , 这 两 者 差距过大导致训 练 的模 型 表



达能力 不够导致 

5 4 2
. . J 局 部建模策略

对于 生物柴油 的拉曼光谱 , 同 样应用 三种 局部模型 , 效果对 比见表 5 .


25 

表 5 25 . 三种局部 模型应用 于 生物柴油拉 曼光谱效果 对 比



相 似 性  主 元 个 数  选 择 样 本 数 R M S E C V R M S E C  R M S E P  R 2

全样本  P L S 7 4 5 0 0 249

0 .
0 0 4 5 0 0 2 2 .
1 0 .
9945

E L 7  3 3 0 . 0240 0 . 0 0 2 6 0 0 . 1 83 0 . 99 62

S I D 7  3 3  0 .
0227 0 .
0 0 2 3 0 0 2 0 2 .
0 .
9954

N A S 7 3 3 0 . 023 8 0 . 002 5 0 . 0 1 88 0 . 9960



97



第 五 章 生 物柴油 调 和 油 光谱定量分析 

 

0 0 3  〇〇 3

' 


 —

全 局 模 型 R M S E C V


全 局 模 型 R M S E CV


局 部 模 型 R M S E C V 局 部模 型 R M S E CV

、 



 




〇〇 2 8

八 ^ \
LL  /  \



 / 

c/3

w〇 〇 2 6 .

A

 \ 「  華


广

 :

1 0 026 .

厂 一

V J 1  卜

0 0 2 4 .

\ 、 广



  _ _  _

^ J 


0 0 2 4.
— 

 0 0 2 2

—   ̄  ̄

2 5 3 0 3 5 4 0 4 5  2 5 3 0 3 5 4 0 4 5

EL 样 本 数 选 择 S D样I
本 数选 择

全 局 模 型 R M S E C V
0 0 24 .

 全 局 模 型 卜
八



、  1 \广

局 部 模 型 R M S E C V 

局 部模型   /



x
h

 L〇 〇 2 2 一

 

026 :
〇 0

^ 



I  户 1  -



   

I 0 .
024 1 V I 0 02 .


/ \ /


0 0 2 2

— ' 
' '  '  J  0 0 . 1 8

' 

 '
 

2 5 3 0 3 5 4 0 4 5  2 53 0 3 54 04 5




 N A S 样 本 数 选 择 N A S 样 本 个 数  

图 5 27. 三 种 局 部 模 型 确 定 样 本子集 数 及 局 部 模 型 预测 效 果

图 5 . 27 展现 了 三种局 部模型样本 子集数 目 的确定 , 其 中 RM S ECV 为 校正集的均方根



误差 。 对 于 NA S , 由 于在这

段存在三个谷 点 , 因 此测试 了3 个谷 点 时 的 模 型 效果 , 



后 选择 3 3 个 局 部 样本数 

对 于 上述 的 三 种 局 部 模 型 , 可 以看 出 , 针对 生物柴 油 拉曼 光谱 , 欧 氏 距离 以及净信 号

的 欧 氏距离 都有 比较好的 能 力 其 中 在图 中 最后 张图为 NA S 作为相似性时 




。 5 . 27 , ,

着 样本数 的增 加 , 模 型 的 测试集 上 的 精度 先 下 降 后 上升 , 在很大范 围 内 都 低 于 全样本 子集



情况下 的精度 , 验证 了 局 部建模策略 的有 效性 



5 .
4 . 3 波长选择

如 同 5 3 .

小节 , 在拉 曼光谱 中 , 实 验 VA P S O 、 i VA P S O 以 及稳定的 re
_ j VA P S O 模型 

局部模型 V I P 自 适 应 粒 子群算 法算 法 

5 .
3 . 4 . 1  VA P S O

对于 V P 自 I 适应 粒子群算 法 的 微改如 同 5 . 3 .
3 . 1
所示 。 经过调 整粒 子 参数 , 以及将初

始化修改 为 全 光谱 PL S 模型 的 情况 , 十 次运行 取 最优 , 获得的结果如表 5 . 26 所示 



表 5 . 2 6 VA P S O 算 法 筛 选 波长 点 效果




方 法  迭 代 次 数  波 长 点 个 数  主 元 个 数  RM S E C  RM S E P  R2 
VA P S O 50 1 05 1 5 0 .
0007 0 . 0 1 93 0 .
9 958



    

98



第五 章 生 物柴油 调 和 油 光谱 定量分 析 

从表 5 . 26 中 可 以 看 出 相 比较全光谱 ,
PL S 模型 通过波长选 择 使得 , ,
RM SEC 和 RM S E P

均 降低较 多 , 选 出 的 波 长 点 建立 的模 型 有 着 很好 的 你 和 能 力 和 预测 能 力 

筛选的 1 05 个波长 点 位置见 图 5 . 28 , 由 于 拉曼 光 谱 共 1 5 4 1


个波长点 , 因 此筛选出其

中 6 8 . %的 波长 点 作 为 波长 子集 , 相 比 较前文 来说 , 波长 点数很少 

2 5 0 0

 

I 

2 0 0 0





150 0


 




〇


_

2 0 0 4 0 0 6 0 0 8 0 0 10 0 0 1 2 0 0 14 0 0 1 6 0 0 1 8 0 0

波长 < nm)

图 5 2 8 V
. APSO 算法筛选 生物柴油拉曼光谱 波长 子集 f 立置

5 4
. 3 . 2 i VA P S O

拉曼光 谱 使用 间 隔 偏 最小 二 乘结合的 V I P 自 适应粒子群算法进行波长 点 筛选 



表 VA P S O 第 轮重复情况


5 . 2 7 i

第 轮 间 隔 长 度 循 环 次 数 第 轮选取 间 隔 数 第 轮平均 RMSEC




一 一 一

70 20 22 0 0068

    

表 5 . 2 8 i VA P S O 算法第 二 轮迭 代 情 况

循 环 次 数波 长 个 数 B es t F i t  R M S E C R M S E P 主 元个数 
R2

1 00 5 0 0 022.
1 0 0 . 1 65 0 . 0 1 8 1 5 0 .
9963


   
 

从上述 2 表可 以看 出 ,
i VA P S O 算法平衡 了 R M S EC 和 R M S EP 两 个 精 度 , 没有 出 现

VA P S O 方法 中 出 现 的 较 大 的 过拟合情况 , 模型精度 高 , 获得较好 的 效果 



为 了 获得更好的稳定性 , 对 i VA P S O 算法重复 3 0 次 , 并根据 各个 波长 点 的表现来评



估波长 点 重要 性 , 即采用 re
_
i VA P S O 算法 , 得到 的结果见表 5 . 29 , 各个 间 隔 的被选频次 见

图 5 . 29 , 波长 子集个数选择 见 图 5 3 0 .

, 筛 选 波长 点 位置见 图 5 .
3 1


99



第 五 章 生物柴油 调 和 油 光谱 定 量分析 

表 5 2 9r e
. i VA P S O 算法进行波长 子集筛选结 果


 ̄  ̄

波 长 得 分 评 估  波 长 点 个 数  主 元 个 数  RM S E C  RM S E P  R 2 
S c o re 2 3 7 5 1 3 0 003
. 1 0 0220
. 0 9 94 5
. 

  
 


3 °


1 

2 5




m2 ° 

m






k l  u i

| J 

0  2 0 0  4 0 0  6 0 0  8 0 0  1 0 0 0  12 0 0  1 4 0 0

波长 点 以 及 间 隔

图 VA P S O 第 轮进行 间 隔 筛选结果


5 29
. i

° ° 4 0



?S E C

 

\ %

R MS E Va l

i d  !


赞
° 0 3 5

- —  -

 WS EP
I 

1   留 交 叉 验 证 乎 均 均 方谟 差
■ 一

* "

 \


0 0 3 0

a〇25

 t i   rw 


#H
i i _____

氧^ ,
c 
 0 0 1 5

1 A 




0 0 1 0


 1
U 一
"—

0 0 0 5


I        r

 ! ! !


0  2 0 0  4 0 0  6 0 0  8 0 0  1 0 0 0  1 2 0 0  14 0 0  1 6 0 0

波铁 点个 数

图 5 30 . re
_
i VA P S O 算法选择波长点数

1 00



第 五 章 生 物柴油 调 和 油 光 谱 定 量分 析 

2 5 0 0






2 0 0 0

 

1 5 0 0

 



严 


    


  

       

1 I I
I I




I I

2 0 0  4 0 0  6 0 0  8 0 0  10 0 0  1 2 0 0  14 0 0  1 6 0 0  1 8 0 0

 浚长

( mu )

图 5 3 . 1r e i VA P S O 算法 筛 选波长 点位置



Re VA P S O 方法不如 VA P S O 方法效果好 效果 略微 比 全光谱 PL S 模型好 些 




i i


_

体来说 , 在拉 曼 光谱 中 ,
i VA P S O 并不稳定 , 结 果波动较大 , 采用 S c e2
〇r 评分效果 较差 

于 光 谱 波长数过 多 每 个 间 隔 建模 效果相 差 不 大 因此第 轮筛 选 并 没有 很好 地 区 分





, ,

开各个 同 隔 的效果 , 这种情况下 , 将被选 频次 作 为 第 二 轮的 初始化值 , 并 没有 指 引 很好地



方 向 

5 4

. 3 .
3L o c

VA P S O

在前文 中 进行 了 局 部建模策 略应 用 于 生物柴 油拉曼光 谱 实验 , 实验结 果显示 , 欧 氏距



离作为 光谱相似性 , 以及 净信号 的 欧 氏 距离作为 光谱相似性 , 应用 于拉曼光谱 , 都有 不错



的 预测精度 。 本节将采用 这两种相似性 , 结合 V I P 自 适应 粒 子群方法进行波长 选 择 , 参数



选择 5 A2 . 3 中 最后采用 的参数 。 最后模 型 的结果如表 5 . 3 0 所示 



表 5 30.
两种 局部模 型 结合波长 选择算 法结 果 对 比

相 似 性 主 元 个 数 选 择 样 本 数 选 择 波 长 数  RM S E C V  R M S E C  R M S E P  R 2

EL -

VA P S O  7  3 3  8 4  0 .
0 1 8 7 0 .
0 0 5 7 0 0 . 1 8 0 0 . 9 9 63

N A S VA P S O  7  3 3  7  0

1 .
0 1 92 0 .

005 6 0 .
0 1 7 1 0 .
9967

从表 中 可 以 看 出 , 两种模型 取得的 效果都很好 , 相 比较而言 , 这 两组结果对 比 



N A S VA P S O 方 法略优 点 选取 的波长 点数少 且预测 效果更好 相 比较全 光谱 PLS 




, , 。

1 0 1



第 五章 生物柴油 调 和 油 光谱定量分析 

型 ,
E L VA P S O

使得 RM S E C V 降低 2 5 % ,
RM S E C 略微升高 ,
RM S E P 降低 1 9 % , 

% R M S E C 略 微 升 高 降低 筛选


°
N A S VA P S O

方 法 使得 RM S EC V 降低 23 , ,
RM S E P 2 3 /。 。

的这 72 个波长点见 图 5 . 3 2 , 而 预 测 值 的 偏 离 情 况见 图 5 . 3 3 

2 5 0 0 





2 0 0 0






°
150 0

h        I I 1 J
1 I I 

2 00  40 0 6 0 0 8 0 0 10 0 0 1 2 0 0 14 0 0 16 0 0 18 0 0

波长 ( 酿》

图 S . 3 2N A S VA P S O

筛选波长 点

1 0

 

71

 q 

基线

 —



+ 灘忒 集


 ^


0 8

0 6

a z 

m Z





隱  ,

0 4






0 2 .







o o4 .
^ 







0 0 0 2 0 4 0 6 0 8 1 0


 . . . . .

真实 值

图 S 3 3 M
. I A S VA

PS O 方法预测 值与 真实值对 比

102



第五 章 生物柴油 调 和油 光谱定量分 析 

5 . 4 4 .

生 物柴 油 拉 曼光 谱 分析小 结

本小 节研 究 生物柴油调和 油拉曼光谱 快速检测调合 比 的实 际 问 题 。 与 近红外光谱类



似 , 同 样对拉曼光谱进 行异 常样本检测 、 基线校正 与 平滑滤 波 



在定量分析模型 选择 方 面 , 本节对 比 了 P C R 模型 、 PLS 模型 、 L S S VM 模型 、 C NN 



型 以 及三种 局 部 校正模 型 。 表 5 3 . 1 的实验结果表明 , 在 生物柴油 近拉曼 光谱数据集上 



C NN 模型预测效果不如 传统方法 。 而基于 欧 氏距离和净信号 欧 氏距离 两种光谱相 似性判



据 的局 部建模策略取得 了 成功 获得 , 了 比较好 的 结果 相 比较 ,
PL S , 将 RM S E C V 降低 4 4%



RM S E C 降 低 了44 %  RM S E P降 低 
°

1 5 /〇 

在特征波长 点 筛 选 方面 , 本节实验 了 与 近红外光谱 相 同 , 实验结果见 表 5 32 .


。 可 以看

出 , 与 前人 的 波长选择算 法对 比 , 本 文 提 出 的 多 种 算 法 在 生 物柴 油 拉 曼 光 谱 上有 着 较好 的

效杲 。 其 中 VA P S O 算 法 筛选 的 波长 点 所建立 的 模 型 , 使得 RM S E C 降低 84 % ,
RM S E P

降低 1 3 % , 有 着很好 的 拟合能力 和 预测 能力 ;
N A S VA P S O

方法选取 了 其 中 4 6% .
的 波长 点

建 立 波长 子集 73 %的 样本 子集 在保持 RM SE C 相差不大 的 情况 下降低 了 RM S E C V 和




, ,

RM S EP  

表 5 3
. 1 生 物柴 油 拉曼 光谱 定 量 分析 模 型 选 择 结 果对 比

主 元个数 RM S E P
 ^  
RM S E C
 

原始光谱  P L S 3 0 0 07 0 0 0 2 64

 . .

预处理 后

 PL S  7  0 0 04 5
.  0 . 022 

P C R 3  0 0 2 3 2  0 02 6 2
. 
 .

L S S VM  无 0 0
. 1 3 5 0 . 023 6

C NN  无 0 0 09 5

0 . 03 0 

EL -

l oc -

PL S 7  0 0 02 6 0 0
. . 1 83

NA S -

l oc PLS -

7 0 002 5
. 0 0
. 1 88
   

表 5 32

生物柴油 拉曼 光谱 特征波长 子集 筛 选 方 法结 果 对 比

波长点数 RM S E C RM S E P
    

C AR S  80  0 0 0 44
. 0 . 02 60

I P L S 4 4 0 023 5
. 0 . 03 1 

GA  1 9 1  0 0 0 9 4 0 02 5 9


 .

VA P S O  1 0 5 0 0 0 0 7 0 0 . . 1 93

i VA P S O  50  0 0 . 1 65  0 0 .
1 8 

Re i VA P S O  3 75  0 003
. 1  0 022 0
.

N A S VA P S O -

7 1 0 0056
. 0 0 . 1 7 1

   

1 03



第五章 生物柴油 调 和 油光谱定量分析 

5 5 .
本章小 结

本章研 究 分 子振动光谱 应 用 于快速检测 生物柴油调 和 油 的调 合 比 , 以 第 三章 、 第 四章



中 所提 出 的 多 种 光谱 特征 波长筛 选方 法 以 及局 部模 型 结 合特征 波长 筛 选 方 法 , 对于调和油



样本分别 检测 近红外光谱 和拉曼光谱 , 获得光谱数据 , 并 分别 进行 光 谱 数 据预 处理 、 光谱



定量模型选择 , 以 及特征波长 点 筛 选 

针 对 生 物柴 油 近红外光谱 快速检 测 调 合 比 的 问 题 , 分别 进行异常 样本 检测 、 基线 校正



与 平 滑滤 波 。 对比 了P C R 模型 、 PL S 模型 、 L S S VM 模型 、 CNN 模型 以 及 三 种 局 部 校正

模型 。 在 生 物柴油 近红外 光谱 数据集 上 ,


CNN 模型和 SID -

l oc -

PLS 模型 均有 着 比 较好 的 拟

合能 力 和 预测 能力 ,
C NN 的 效果 最优 。 特征波长 点 筛选 问 题 , 对比 了  VA P S O 、 i VA P S O 

re
j VA P S O 以 及 S ID -

VA P S O 算法 , 与 传统波长选择算 法对 比 , 均有 很好 的提高 

前 文 均 为 新 型 定量 分 析 模 型 以 及 新 型 波 长 选 择 方 法应 用 于 近 红 外 光 谱 的 实 验 结 果 , 

章 还讨论 新方法应用 于 生物柴油拉曼光谱 样进行 异 常 样本检 测 基线校正 与 平滑滤




了 , 同 、

波 , 对 比 定 量 分析 模 型 , 局 部 建模 策 略 在 该 数据 集 上 比 全局 建 模表 现更 优 。 波长选择方面 

N A S VA P S O

方法选取 了 其 中 4 6%.
的 波长 点建立波长子集 ,
73 % 的 样本 子集 , 使得

RM S E C V 降低 23 % ,
RM S E C 相差不大的 情况下 ,
RM S E P 降低 23 % 

本 文 提 出 点 的 特 征 波 长 点 筛 选新 方 法 以 及新 光 谱 定 量 分析模 型 应 用 , 在提高 生物柴油




调 合 比 检测 精 度而 言 , 有 着 很好 的 应 用 效果 , 提高 检测精度 、 .

降 低计 算 复 杂 度 方面 也表 现

优秀 。 该 方 法相 比较 与 前 人关 于 生 物柴油 调 合 比 的检测 方法 , 拥有检测费用 低 、 快速 简 便 



检测 精 度 高 , 效 果好等优 点 , 拥 有 很好 的 应用 前景 

1 04



第 六章 总 结 与 展望 

第六章 总结与展望

6 . 1 总结

本文首先仔细调研分子振动 光谱 的 历史 与 发展 , 近红外光 谱 和 拉曼 光谱 的 原 理 , 以及

在国 内 外 光 谱 分析 作 为 无损 在 线 分析技术 的 广 泛应 用 阐述 其作为 种 检测 技术的




, 、 , 了

在现代 发挥 的 重要 的作用 。 另 外 还 调 研 分析 分子 振 动 光 谱 波 长 选 择 算 法 的 必 要 性 、 发展情



况 国 内 外对这 技术的研 究现状等





其次 , 本文介绍光谱分析 中 涉及 到 的主流 的化学计量方法 。 光 谱 分析 的 主 要 步 骤 有 数



据集划分 、 异 常 样本 分析 、 数据预处理 、 波 长 选 择和 多 元校 正模 型 。 在化学计量 学方法 




应 用 较 多 的定量 回 归模型有 多 元线性 回 归法 、 主成分 回 归法 、 偏 最小 二乘 法 、 最小二乘支



持 向 量机 回 归 局部建 模 等 应 用 较 多 的 波 长 筛 选 方 法有 间 隔 偏最小 二 乘 遗传算法 变




、 、 、

量投影 重要系 数等 。 同 时 , 还 了 解粒子群优化算 法 的基 本 原 理 , 常见 的模型 评价指标等 



在学 习 研究 前人在 分 子振动 光谱 的研究进展后 , 本 文针对分 子振 动 光 谱 的 特性 , 提出



了 多 种结 合 VIP 系 数 与 粒 子 群 算 法 的波长选择算 法 , 提出将 CN N 模型 、 基于不 同 相 似性



的 局 部 建模策 略 、 局 部 模 型 结 合 新 波 长 选 择 方 法 等 模 型 应 用 于 ¥ 子振 动 光 谱 定 量 分 析 。 

果表 明 , 本 文提 出 的 新 波长选择算 法 以 及定量 分析模型 能够有效 、 快速 、 更 高 精 度 地 分 析 



出 样 品 的属性值 , 在提 高检测 精度 、 降 低计算 复 杂 度 方 面 也表现优 秀 



本文的研究 内 容及创 新 点 主 要有 以 下 几个方 面 



1 .
提出 了 新的面 向 于分 子震 动 光谱 特征波长 点 选择方 法 , 结合 了 粒子群算法与 变 量

投影重 要性 系 数 (
V EP ) 的 自 适应 二 进 制 粒 子 群算 法 ( VA P S O ) , 并且 设计

套波长 点 表现

得 分评 估 方案 , 用 于 重 复 筒 单 算 法 来 获 得 更 加稳 定 、 更高精度的结果 ( R e VA P S O_
) 。 

探索初期 首先设计用 VIP 系 数来为 BP S O 算 法指引 个 更好 的 收敛方 向 称 为 B P S O VI P




, ,

算法 为 获得更好地稳定 效果 设计 套 光谱 波长 点 表现评 分 方案 用 于在 多 次重 复基


。 了 , ,

本算法时 , 根据训 练 集 和 验证集 的误 差 来 评 估 波长 点 的表 现得分 。 由 于基本 二 进制 粒 子群



算法学 习 速 率难 以控制 粒 子群 收敛快 容易 陷入局 部 最优 点 中 很难跳 出 提出 种新的




, , ,

基于 V I P 值的 自 适应粒 子群算法 (
VA P S O )
。 该算 法较 B P S O VIP 算法 , 能够寻找到 更优 的

波长 子集 并且 速 度 更 快 在 杏 仁 软糖 标准数据集上 相 比 较 全光 谱 算 法 该 方 法将
, 。 , , RM S E C

降低 1 9 % , 将 RM S E P 降低 3 8 % 。 重 复 VA P S O 算 法 来 评 估 波 长 点 得 分 , 能够获得更加稳


1 05



第六章 总 结与展望 

定 、 优秀的结果 , 然而耗 时 比较久 



2 .
由 于 VA P S O 算 法 在 特 征 波 长 点 很 多 的 情 况 下 重 复 时 速 度 较 慢 , 提 出 结 合间 隔偏最

小二乘的 VA P S O 算法 在第 轮 中 将光谱 分 为 多 个 区 间 以 毎个 区 间 为 单位进行最优




i 。 , ,

的 区 间 组合选择 ; 第 二轮 以之前获得 的 区 间 被选 频次作为 初始化 , 筛 选少 量 波长 子集 中 



波长 点 。 通 过 这 种 方式 减少 迭 代 中 粒子长度 , 以 较少 的 时 间 即 可达到较 高 、
并且更稳 定 的

预测 性 能 。 同 时 , 通过 更少 次数的 循环 评估来筛 选 出 更优 的 波长 子集 。 在杏仁软糖标准数



据集上 , 相 比较全光谱算法 , 该方法将 RM S E C 降低 20% , 将 RM S E P 降低 48 % 



由 于 分 子振动 光谱 数据是 维 的谱 图 可 以从 中 挖掘 出 维谱 图 的 局 部 特征用 于




一 一

3 .

预测 样 本性 质 因 此本 文提 出 将深度学 习 领域常应用 于 图像领域的 CNN 模型 应用 于




, ,

维 光谱 定 量分析 中 。 C NN 模 型 常用 于 图像分类 、 图像分割 等技术 中 , 拥有着 出 众的 图像



识别能力 。 C NN 模 型 在 生 物 柴油 近 红 外 标准数据 集 中 , 迭 代速度快 , 预测精度 高 , 对数






据 的 拟合优异 , 获得 了 很好 的 效果 。 在 生 物柴 油 N IR 光谱 中 , 相 比较 PLS 模型 , 该方法

将 RM S E C  降 低
 5 9 % , 将  RM S E P降 低1 9 % 。


4 .
针对分子振动 光谱数据常 常 用 于 训 练 的 校正 样本分布广 泛 , 因 而 导致对于 单个测

试样本 的 预测 结 果 不是很理 想 的 问 题 , 本文探 索 了 基于欧 氏距离 为相似性 , 基于净信号为



样本相 似性度量 , 和 基 于 光 谱 信 息 散度 作 为 相 似 性度 量 三 种 局 部 模 型 , 提 出 局 部 模 型结 合

V IP 自 适应 粒 子群算法 , 进行 波长 f集 以 及样 本 子集 的 筛选 的 方 法 (
L o c VA P S O )

。 该方法

耗时短 , 效果 比 仅用 局 部模 型 更加 好 , 在分子振动光 谱 定 董 分析领域有 着 很好 的 前 景 



5 .
针对 上文 所提 出 的多 种 不 同 的新波长选 择算法 以 及新定量分 析 模型 应用 于检测 生

物柴 油 调 和 油 的 调 合 比 。 对 于 所获 得 的 调 和 油 样 本 分 别 检 测 近红 外 光 谱 和 拉 曼 光 谱 , 获得

光 谱数据 , 并分别 进行光谱数据预处理 、 光谱 定量模型 选 择 , 以 及特征波长 点 筛 选 。 然后 



将 提 出 的 新光谱特 征波 长 筛 选方 法 ( VA P S O 、 i VA P S O ) , 新 的 定 量分析模型 ( C NN 模型 

Lo c -


l s 以及 L o c VA P S O

方法 ) 。 实验结果表 明 , 本 文 提 出 点 的 特征波长 点 筛选新 方 法 以



及新 光谱 定 量 分析模 型 应 用 , 在提高 生物柴油调 合 比 检测 精度而言 有 着 很好 的应用 效果 , 



提高检测 精度 、 降低计 算复 杂度 方 面 也表现优 秀 



1 06



第六 章 总结 与 展 望 

6 . 2 展望

本研 究 中 提出 的多种结合 v ip 系 数和 粒 子 群 算 法 的 波 长 选 择 算 法 ,
多 种不 同 的定量 

析模 型 应 用 于 光 谱 数据分析 , 在 食 品 领域 以 及新 能 源领域获 得 了 很好 的 结 果 。 但这

研究

还有待进 步 深度 挖掘 本文提 出 的 新方 法 的 不足之处 以 及 改进 方 向 如下


, 

在波长选择算法 方面 , 各 个算 法都有 自 己 的优缺点 与 适用 情况 



VA P S O 算法存在 定 的 随机性 筛 选 的 波长 点建模预 测 结 果 有 好有坏 虽然波动




1 .

, ,

相 比较与 基本 粒 子群算法而言 , 有着很大 的提 高 , 但 是 结 果 的 波 动导 致 实 际 应 用 时 如 何 选




组 最好的结 果存在 问 题 。 而 由 此引 出 的 re
_
VA P S O 方 法虽 然 结果更加 稳 定 , 波动小 

但是需要多 次 重 复 模型 , 来评 估各个波长 点 的 表现结果 , 耗费 时 同 相 比较较长 。 本文提 



的基于 V I P 的 自 适 应 粒 子群算 法适 用 性很广 , 若 能 改进结果波动 的 问 题 , 将会有非 常好 的



应用 前景 。 未来 期 望 改进 的 方 向 是 改进适应 度 函 数 , 以增强该算法结果的稳定性 

法加快 单次运行 时 的运行效 率 但是 于 筛选 的 是 区 组合 会 导 致




 2  VA P S O 方 . i

了 , 由 间 ,

 






 .

些 优 异 的 波长 点 被 漏选 在第 轮 中 若不进行重 复 运行 会导 致筛 选 出 很少 的 区 间
一 一

。 , , 

最终 会导 致最 后 的 结 果 不 如其 他波长 选择 方法 。 通过少 量 的重 复 , 提高 了 预测精度 , 增加



了 稳定性 , 同 样也增加 了 时间 开销 。 如何选 择更 好的 区 间 , 来进行第 二轮 的 波 长 点 筛选 



这是未来 的 个 改进 方 向



. 在 定 量 分 析 模 型 方 面 , 本文有 以 下几个未来 的 故进方 向 :  



1 .
从 生 物柴油 的近红外光谱 实验结 果 中 可 以看到 ,
C NN 应用 于 合适 的 光 谱 数据 , 

有 这超 出 其他方法 的 更好 的表现 , 迭 代 收敛速 度快 , 预测精度 高 , 尤 其是 当 收集 的 数据集



数越 多 ,
C NN 优 于 其 他 模 型 的 表 现 将 会更 加 突 出 。 这是 CNN 的优 点 。 然而 , 这个优 点 有

个前提条件 即 合适 的 光 谱 数 据 例如 本文 拉曼光谱有 个波长 点 而只有


, 。 中 ,
1 54 1 ,
45

个训 练样本 。 因 此 CN N 模 型 将 会有 众 多 的 参数 需 要 训 练 , 但是样 本 量 少 导 致 欠拟 合 的 情

况 。 本文只 尝试 了A l e x n et 网 络 , 未来可 以 尝试其他更 复 杂 的模 型 , 更宽 、 更深的模型 C NN



模 型 或许会有较好 的 效果 , 但是都 建立在 足够 的 训 练 样本 的 条件 下 。 在样本量充足的 情况



下 , 选 中 CNN 更加合适 。 如何将 CNN 应用 于光谱过长 , 训 练 样本 过 少 的 问 题 , 是未 来 的



研究方 向 。 研究的方 向 可 以 参考 D e ep U n s u p e r v

i s e d Ex e mp l ar  L e arn in
g 等方法 [
8 (>]


2 .

在 L o c VA P S O

算法 中 , 局 部 模 型 的 主 元 个数 和 选 择 的 样 本 个数 经 过 优 化 之 后 就 固

定不变 。 倘 若 将 主 元个数 与 祥本个数都 进 入适 应 度 函 数 , 针对不 同 的 样本 子集进行重新选



择 , 会导致 优化的 时 间 过长 。 如何简 化这


过程是 以 后 的研究 方 向 

1 07



第六章 总结 与 展 望 

108



参考 文 献 

参考文献




]  P ed e r s en D  B a ,
l l i ng
 En g e l s en S  M on . i t i n g  i n d u s t r i a l  fo o d  p r o c e s s e s  u s i n g  s p e c t ro s c o
or
py
a nd

c h em o m etr
ics J N ewFo o d 2 00 4 2 9 3

. 1 :  1 

[ ]  3 , ( )



] M i ll er F A  .  Th eh i s t or
yo f  s
p e c t ro s c op y  as  i l u s t r a t e d  o n  s t a m p s f J ]
l .  A pp l i e dS
p e c t ro s co py  1 9 8 3 , , 3 7 ( 3 )


2 1 9 22 5 -





] M i l l erF A .  Th e  h i stor
yo f  s
p e c t ro s c o p y  a s  i l l us t r a t e d  o n  st a m
ps [J ] .  App l i e dS
p e c tr o s c op y 1 9 ,
8 3 3 7 3
( ,



2 1 9 225 -






褚小 立 .
化 学 计 量 学 方法 与 分 子 光 谱 分析技术 M [ ]

化学 工业 出 版社 ,
20 1 1 




陆婉贞 .
现代近红 外光谱 分析技术 [
M ]

中 国 石化 出 版社 ,
2007 



]  Ta n  C ,
Wa n g 

, Q i nX ,
e t  a l  E n s emb l e  . Mu lti i a te  C a
v ar li a t on  B a se d o n M u tu a
br i l  I n fo r m a t i o n  fo r  F o o d

A na l
y s i s Us i ng 
N e ar _

I nf
r are d  S
p e c tro s c o
py [ J

.  An a l
y ti c a l  L e t e rs , 
2 0 1 0 ,
43( 1 6) :  2 640 2 6 5 -

1  


7] 尼珍 ,
胡 昌勤 ,
冯芳 .
近 红 外 光 谱分析 中 光 谱预 处 理 方 法 的 作 用 及 其 发展 [



药物分析杂志 ,
200 8 


5 : 8 24 -

8 29 



]  H u an g 
Z , 
Ta o W F a n g 
, 


, 
eta l .  Mu l t i v ar
i atec a l i b rat o n  o f o n
i 

l i neenr i c h m en t n e ar -

i n fr a r e d  ( N R I
)


e c tr a

an d  d ete rm i n a t i o n  o f  t ra c e  l e a d  i n  w a t e r  [J .  Ch em o m etr i c s  &  I n t e l l i
g e n  L a b o r a t or y  S ys t em s  2 0 0 9

] , 

98 95 2 00

: 1 . 


( )



] K l i ngs p o m JM , 
J i an
gN , P
ozziE A s 
e t  a l  I ntr a m o l e cu l a r  I n s i

gh t  i n t o  A d s o rb a t e

S u b s tra t e  I n t e r a c t i o n s

vi a  L o w Te mp e r a t u r e U ah
gh
Va c u u m  T Enh a n c e d  R a m a n  S p e c ro sc o  J o urn a  o f  he


p y [ J]
- - -

tr i t l t

l i .

Am er i c an Ch e m i ca l  S o c et
y i
, 
20 1 4 , 1 3 6 (
1 0) :  3 88 1

3 887 


1 0
] 
Ka l kan i s  S  N , 
Ka s R E R o t 
, 
s en b l um  M  L , 
etal .
 Ra m a n  s
p e c tr o s c o p y  t o  d i s t i n gu i sh
g
re
y  m at t e r , 
n e c ro s i s ,

an d ob as t o m a  m u fo r m e  i n  fr o z e n  t i s s u e  s e c t i o n s J  J ourn a  o f  n e u r o -

o n c o o gy  2 0 4  6(3
g l i l l t i
f ]

l l



1 1



47 7 4 8 5 -




1 1
]
C o op erJB , 
W i s e KL ,  G ro v e s  J ,  e t  al .  De t e r m i n a t i o n  o f  o c t an e  num b e r s  a n d  Re i dva

or
 pre s s
ur e  o f

c o mm erc i al
p e tr o l e um  f ue l s  u s in
g  FT

R a m a n  sp e c tr o s c op y  a n d
p art i a l  l ea st s -

q u a re s
 re g r e s s on

 i

anal ys s i



.  Ana l
yt i c al Che m i s tr
y , 
1 9 9 5 ,6 7 (22

:  4096 4 -

1 00 


1 2

王宗明 , 华伟英 ,
程桂珍 等 ,

近红外光谱法测 定汽油 辛 烷值和 辛 烷值仪 的研制 [
c] .
分 子光谱 学进


展 . 1 9 96 22 :

27 


1 3
] 史月 华 .
主成 分 回 归 残差 神经 网 络 校正算法用 于近红外 光谱 快速测 定汽油 辛 烷 值 [ J ] .
分析化学


研 究 筒报 ,
2 00 1 ,
2 9( 1 )  : 8 7 -

9 1 


1 4] 褚小立 3 许育鹏 ,
陆婉珍 .

支持 向 量 回 归建立成 品 汽油通 用 近红外校正模 型 的 研 究 [




分析测试学


报 ,
2008 ,
27(6


: 6 1 9 -

622 .


1 3

包鑫 ,
戴连奎 ,
B a oX i n ,
等 .
基于局部最小 二 乘支持 向 量机 的 光谱 定量


分析 [



分析化学 ,
2008 ,
3 6



: 75

78 


1 5
]
K i m M N oh , 
J
, 
C h un g  H .  C o mp ar
is o n o f  n ear -

i n f r a re d  a n d  R a m a n  s
pe
c t ro s c o
p y
fo r  t h e  d e t e r m i n a t i o n  o f

t h ede n s i t
y  o f p o y e th y 
l l en e
 p
e l l ets



.  An a l
yt i c ac h i m i caa c t a
, 
2009 , 
63 2( 1

:  1 2 2 -

1 27 


1 6
]
P e l i te z M Vo n L H M a n ; 

, 
t e l e W . I n fr a r e d  s p e c t r o s c o p c  an a y s i s  o f h u m a n  n t e r s t i l  i i ti a  fl ui d  n  v
l i i tr o an din

v vous n gFT
i i

I Rs p ec t rosc o p y  a n d p u l s e d q u a n tu m  c a s c a d e  a s e rs  (
 

Q C L) : E s tab l i sh n i

g
an ew 往
pp
r o ac h

t o  n o n  in v a s i v e
g l u c o s e  m e a s u rem e n t J ]

. Spe c t ro c h i m i c a Ac t a  P a rt  A M o l e cu l a r & B i o m o e cu ar

 l l

S ec t ro s c o
py 2 0 2 85 6 65



l : I 

,  ,  ( )


1 7
] 
W i l l i am s PC Pre st on ,
K R , 
No r
is K H r 
, etal  . D e t er m i n a t on  o f
i 
Am i n o Ac i d s  n  W h e at  a n d  B a r e

y  by

 l

1 09



参考 文 献 

Near nf
rar e d R ef e ctanc eS Fo o d S c i en c e 9 84, 4 9 (

p e c tr o s c o p y [ J ] J ourn a of 7 20

 I  1
 l . l 
, 1 l

: 


1 8] 孙耀 国 ,
林敏 ,
吕 进 等 ,

近红外光谱 法测定绿茶 中 氨基酸 、 咖 啡碱和茶 多 酚的含量m .
光谱实验 室 

2 0 〇4? 2 5 94 0 943

1 : 

( )


1 9 ]  C erv e r a p a dr e l l  A E N 

i e l s en  J  P 3 
P e d ers e n  M  J , 
e tal  . Mon i t o r i n g  a n d  C o n tr o l o f a C on ti nu ou s Gr g n ar d

 i

Re a c t i o n  fo r  t h e  S y n th e s i s  o f  a n  A c t v e  P h a rm a c e u t i c a i l  I n gr e d i en t  In t e r m e d i ate Us i n gI n l i n eN IR




p e c t ro s c o p y [


.  Org an i c  P ro c e s s  R e s e a rc h & D e v e   l op m e n t , 
20 1 2 , 
1 6( 1 6

: 90 1

9 1 4 


2 0 ]  Li S D ai LK s
. C l i c a t i o n  o f  g a s o l i n e  b ran d  an d  o r
as s i f i gi n  b y  R am an sp e c tr osc o
py 
an d  a  n o v e l

R -

w e i gh t e d  L S S V M  a l g o r i t hm [ J ] .  Fu e l
, 
20 1 2 , 9
6( 1

: 1 46 -

1 52 


2 1

田 高友 .

拉曼 光谱技术在石 油 化工领域应 用 进展 [



现 代 科 学 仪器 ,
2009 , (


: 1 3 0

1 3 4 


22] 王拓 ,
戴连 等 .
重整汽油 在 线拉曼分析 系 统开 发与 工业应 用 [



仪 器 仪表 学 报 ,
20 1 5 

3 6 (
6) : 1 20 1

1 20 6 


23 ] 
Ghes ti GF s  M ac e doJL D 
,  Re s c k I S , eta l F T .

R a m an  Sp e c tr o s cop
y  Q u a nt i f i c a ti o n  o f  B i o di e s e lina

P ro gr e s s v e  S o y b e an  O i i l  Tr a n s e st e ri f
i c at i o n  R e a ct i o n  a n d  I t s  C o r r e a t o n  w i th  1 l i H  N M R  S p e c t r o s c o py

M e th o d s f


.  E n e r gy & Fu e 
 l s , 
2 00 7 , 
2 1

5) : 2 4 75 -

24 8 0 


24 ] M i ra n d a  A M 
, 
C as ti l ho -

A l m e daE W i
, 
Fe r r e i ra EH M , e
t al .
 L i n esh ap ean a ys l i so f  t h e  R a m an  s
p e c tra

r om
f p ur e a n d  m ix e d  b i of
t i e l s  e s t e rs  c o m p o u n d s [ J ] F uel 20 4 6 25


 . 


1 1 5( 1 : 1 1 8

1 -

, ,


25

许以明 .
拉曼光谱及其在缔构 生物 学 中 的 应用 M [ ]

化学 工业 出 版社教材 出 版 中 心 ,
2 〇 〇5 


26

郭 萍 ,
易 光辉 , 熊 平 , 等 .
癌 症 患 者 血 清 的 激 光 拉 曼 光 谱 [



光 谱 学 与 光 谱 分 析 ,
2 00 0 

2 0 ( 6 ) 8 44 8 4 6

: 


2 7]S cal f
ih a pp 
C , 
J au s s  A , 
Ho l l ri ch e r  O , 
etal ,
 C o n fo c a l  R am a n  M i c ro s c o
p y  fo r  I n v e s t g a t o n 
i of i  t h e  L ev el  o f

D i ffe r e n t i a t i o n  i n  l i v i n
g ,
N eur o b l a s t o m a  Tum o r  C e l l s

C ]
//  E u r o p e a n  C o n fe re n c e  o n  B i o me d i c al Op ti cs 

Int e rn at i o n a l  S o c i et
y  fo r  Op ti c s  an d  Ph o ton i c s , 
2 0 07 : : e l 74 6 9 

2 8 ]  N as s  T I s a
ks s o n  T  L oca ll
y  w e i gh t e
dre
gr
e s s i o n  i n  d i f fu s e  n e a r -

i nf
r a r e d  t r a n s m i t t an c e  s p e c t r o s c o J
py  [



[ ,

App l i e dS

e c tr o s c o
py , 
1 992 , 
46( 1

: 3 4 43-




29 ] N ad l er  B  C o i fm an  ,
R R  Th e  p r e d
 . i c t i o n  e rr or  i n  C L S  an dPL S : th e i m
p or a n e 
t c o f fe a t u r e  s e  l e cti o n  p r i or

t o  mul t iv a r
i at e  c a l b r a t o n J i i
[ ]
. J o urn a l  o f  C h e m o m et r i cs ,2 0 1 0 1 9 ( 2)

: 1 07 -

1 1 8 


3 0
]


i e
ge m an
l CH s 
M c sh an e  M  J ,  Goe t z MJ , et a l
.  Th e o r e t i c a l  Ju s ti f i c at i o no f  Wa v e l en
gth  S e e c t o n  i n

 l i

PL SC a li b r a t i on  D e v e l o :

p m ento f a   N ew A  l
gor i thm .




.  An a y l ti c a l  C h e m i s tr
y , 1 998 , 
70 (


: 3 5

44 


3 1
]
S w e r en g a a  H 


Gr o o t aPJ D ,  We j e rb  A  P  D i .  I m p r o v e m e n t  o f  P L S  m o d e  t r a n s fe r a b l i l i t
y  b y  r o b u s t

w av e l en
g th  s e e c t i o n [ J ]
l .  Ch e m o m e t ri c s  &  I nte l l i

ent L a b o rato r y 

ys tems , 
1 998 ,
4 1

2) 2 3 7 2 4 8



3 2 ] X a o b o  Z  J i e w e n  Z  P ov e y  MJ  e t  a l  Va r
i ab l e s  s e l e c t i o n  m e t h o d s  i n  n e a r n fr a r e d  s p e c t r o s c o py [ J ]

i . i 

[ , , ,

An a l
yt c
i a  Ch i m i c a  Ac t a , 
20 1 0 , 
667


2) : 1 4 


3 3
] 
S ara t h

it hM C , 
D a s B  S Wa n 
, 
i SP ,  e ta l .  Va r
i ab l e  i n d i c a t o r s  fo r  o
p t m u m w av e
i  l en
gth 
s e l e c ti o n  i n  d i i
f i se

re f e c t a n c e  s


e c tro s c o
py
of  soi l s



.  G e o de rm a , 
20 1 6 , 
267 : 1

9 


3 4] 陈斌 ,
王豪 ,
林松 ,
et a l .
基 于 相 关 系 数 法 与 遗 传 算 法 的 啤 酒 酒精 度 近红 外 光 谱 分析 [



农 业工程学

报 ,
2005 , 
2 1

7) : 9 9

1 02 


3 5
] 
B an g a l ore A  S , 
S h a f fe r  R E 
, 
Sm a l l  G W 
, 
eta l .  G en e ti ca l

o ri t h m -

b a s e d  m e t h o d  fo r  s e l e c t n
g
w a v e e n th s
g 
 i l

a n d  m o d e l  s i z e  fo r u s e  w q u a r e s  re g r
o n  t o  n e ar n fr a r e d  s

p ar al e a st s e s s on a c at
p e c tro s co py[ J]


ti
pp
 i l i : l i i i 

Ana l
yt i c al C h em i s tr
y , 1 9 9 6 6 8 (2 3 ) ,
: 42 0 0 40 -

1 2 


3 6 ]C h on
gI

G , 
J unC -

H .  P e r fo r m a n c e  o f  s o m evar
i ab l e  s e l e c t i o n  m e th o d s  w h e n  m u l t c o l i l i n e ar i t
y i s
 p r e s e n t

1 10



参考文献 





.  C h em o m e tr i c s  an d  I n t e l l i
ge n t  L a b o r at o r y S ys t e m s  , 
2 0 0 5 ,7 8 (


: 1 03 -

1 1 2 


3 7 ]LiH , 
L i an
g 
Y XuQ ,  , 
et  a l .  Key 
w ave l en

t h s  s c r e en n g u s n g  c o m p e t i t i v e  a d a p t v e  r e w e i g h t e d  s a m p l n g

 
 i i i

m e t h o d fo r m u   l ti v a r a t e  c a l i b rat i o n [ J ]
i ,  An a y l t i c ach i m c aa c ta i
s 
2 0 09 , 
64 8 ( 1

: 7 7 -

84 


3 8
]
C e n tn e r  V  M a s s a r t  D L ,

, de N o o rd  O  E , e ta l . El i m n at o n  o f un n fo r m a t v e  v a r


i i  i i i ab l e s  fo r  m u l t i v ar i a t e

cal i br at o n  [ J] i .  An a l
yt
i c a l  c h em i s t r
y , 
1 9 96 , 
68(2 1

: 3 85 1

3 858 


39
]
K e n n a rd  R  W  S ,
t on eLA .  C o m p ut e r  a i i m e n t s [ J ]  Te c h n o m e t r i c s
d e d  d e s gn  o f  e x p e r i .

,  1 969 ,  1 1





1 37

1 48 


40
]
L i eber CA ,  M a h a d e v an -

J a n s en  A .  Au t o m a t e d  m e t h o d  fo r  s u b t r a c t o n  o f  f l u o r e s c e n c e  fr o m  b o o g c a l i i l i

R am a n s
p e c tra [


,  App l i e ds
p e c t r o s c op y  2 0 0 3 , , 
5 7( 1 1

: 1 3 6 3 -

1 3 67 


4 1
] 
Ei l e rs  P H ,  B o e en s  H  F  B a s e l n e  c o r r e c t i o n  w
l . i i t h  a s ym m e tr i c  l e a s t  s
qu a r e s  s m o o t h n g [ ]
i J L e i de n

 .

U n i v e r s i t y  M e d i c a l  C en t r e  R e p or t , 
2 005 


4 2 ]  C o o l ey  J  W  Tu k e y  J  W  A n  a

. l
g o r i t h m  fo r  t h e  m a c h n e  c a i l cu l a ti ono fc o m
p l i er  s e r
ex  F ou r ies f




Ma t h em a t c s  o f i  c om
p uta t o n i
, 
1 9 65 , 
1 9(9 0

:  297 30 -




43 ]B am esR ? 
D h an o a M L 
, 
i s t er  S  J  S t a n d ar d  n o rm a l  v a . i a t e  t r a n s fo r m a t i o n  a n d  d e
r -

tr en d in
go
f n ear 

i n frare d

d ff u s e  r e f e c t a n c e  s
i l
p e c tra[ J]

 A pp li e ds

e c tr o s co
py , 1 989 , 
43( 5

: 7 72

777 


44
] 
Wo l d S , Ru h eA , 
Wo l dH , 
e t  a l  Th e  c o l l in e ar

it y  p ro b l e m  i n  l i n e a r  re
g re
ssi o n  Th e .

p
art i a  e a s t  s q u a re s
l l


P L S )  ap

r o a ch t o
 g e n er a l i z e d  i n v e rs es
[



SI AM 
J ou r i f i c  a n d  S t a t i s t i c al  C o m
n a l  o n  S c i e nt
p ut
i ng ,
1 9 84 





: 735

74 3 


45
] 
N i uX S h enF , ,  Yu Y  e 

t al .  An a l
ys i s  o f  su
g ar s  n  C h n e s e  r i i i cewin eb
y  F o u r i e r  tr a n s fo r m  n e a r

i n fr a r e d


p ec t ro s c opy  w
i t h  pa r
ti a l l ea s t


q u a re s  r

g re s s o n  [ ]
J i . J oumaJofa
g r c u t u ra
l i l  a n d  fo o d  c h e m i s t r
y ,
2008 

56( 1 6) : 7 27 1

72 7 8 


4 6 ]  S t e n un d  H  J o h a n s s o n  E  G o t t f
l ri e s  J  e t  a , , ,
l .  Un l o c ki n
g  n t erp r e t at o n  n  n e a r  n fr are d  m u
i i i i l ti v ari a t e

c a l i b ra t i o n s b y o r th o o n a
g 

 p a rti
all ea sts
q u ar e s  [


.  A na y l t i c a l  ch e m i str
y , 
2008 , 
8 1



:  2 03 -

209 


4 7 ]  S uyk e n s  J  A  K ? 
Van d e w a l l eJ Le as tS .

qu
ar e s  S u
p p o rt
 Ve c t o r  M a c h i n e  C as s f
i e rs [M ] l i .  K l uw e r  A c a d e m i 

Pu b l i sh ers  1 9 9 9 ,



4 8

石雪 ,
蔡文生 ,
邵学广 .

局 部建糢方 法用 于 烟 草样 品 的 近红外 光谱 定 量 分析 [



光谱 学 与 光谱分


析 ,
2008 , 
28( 1 1
》 2 5 6 1 2 5 64




4 9 ]  C e ntn e r  V ,  M as s ar t D L O .

pt m z
i at o n  n  l o c a i i i l l
y  w e gh t e d  r e g re s s i o n  [ J ]
i ,  A na y l ti c al  c h e m i s t r
y ,
1 998 

70( 1 9

:  42 0 6 42 -

1 1 


50
] 
Ch an g  C -

I .  S p e c t r al  n fo r m a i ti o n  d i v er
gen c e
 fo r  h
y p e r sp e c t r a l  i m a g e  a n a l y s i s  [ C J P r o c e e d i n g s  o f  t h e

 .

G eo s c R em o te  S e n s n g  S ym p os um  1 9 9 9  I G A R S S 9 9  P r o c e e d n g s  I E E E  1 9 9 9  I n t e r n a t i o n a

i e n c e  an d  i i i l



I EEE , 1 99 9 : 5 09 5 -

1 1 

T h o m a s  E dw a r d  V  a n d  D a v d  M  H a a an d  C o m p ar
, f

5 1 i l i s o no fmu l ti v a ri atec al i b ra t o n  m e t h o d s  fo r


i 


. .


[ ] ,

q u a n ti t a t v e  sp e c tr a i l  a n al y s i s .  Ana y l ti c a l  Ch e mi s tr
y6 2 . 1 0( 1 99 0) : 1 09 1

1 099 


52
] 
Jian
g
J H 3  B e r r y  R  J  S e s e r  H  W  e t  a l  Wa v e e n g t h  n t e r v a  s e e c t o n  n  m u l t c o m p o n e n t  s p e c t r a

i l

. l i l l i i i 

an a l
ys i s  b y  m ov n g  w nd o w  p a r i i ti a l  l e a st -

s r s s i o n  w i th  a
qu are s  r e g e p p l i c at i o n s  t o  m i d

i n fr a r e d  a n d

n ea r -

i n fra r e d  s

e c t ro s c o
p i c  d a ta .





 Ana l
yt i ca l  Ch em i s tr
y , 
2 0 02 , 7
4( 1 4) 3555 : 


53
] 
Wo l dS , J
o h a n s s on  E ,  Coc ch M i  .  PL S —

p ar
t a i l l e asts

u a re s  p r o e c ti o n s  t o  l a te n t  s tru c t u r e s J
j [ ]

3 D  Q S AR

i n  d ru g  d e s gn i
,  1 993  ,
1 ; 5 23

5 5 0 


54 ] A fan a d o r N  L 
, 
Tr a n  T  N .  Bu yde n s LM C .  Us eo f t h e  b o ots t ra
p
an d
p
e mi u t a t o n  m e t h o d s  fo r  a  m o r e
i 

i l l



参考 文献 

robu stv a i ab
r l ei mp or
t an c e  n  t h e  p r oj e c t o n  m e t r
i c  fo r  p a r
t i a  e a s t  s qu a r e s  r e gr e s s o n
i i l l i J

.  A n a l yt c a

 i

c h i m c aa cta,2 0
i 1 3 7 6 8 ,
:  49 5 6 -




55

钱锋 .

粒 子群算 法 及 其 工 业应 用 [
M ]

科学 出 版社 ,
20 1 3 


56

杨华 .
基于 粒 子 群算 法 的特征基 因 选 择方 法研 究 [
D ]

湖南大学 ,
20 1 0 


5 7

褚小立 ,
袁洪福 ,
王艳斌 等 ,

遗 传 算 法用 于 偏 最 小 二 乘 方 法 建模 中 的 变 量筛 选 [


分析化学 ,
200 1


2 9 (4 : 4 3 7 44 2 -




5 8

张明锦 .
基于特征选 择 的 多 变 量数据分析 方法及其在谱 学 研 究 中 的应用 [
D ] ;
华东理工大学 ,
20 1 1 


59

刘 建 华 ,
杨荣华 ,
孙水华 .
离 散 二 进制粒 子群算 法分析 [



南 京 大 学 学 报 (
自 然科 学 ) ,
20 1 1


47 5 5 04 5 4

: 1 

( )


60

张顶学 , 关治洪 , 刘 新芝 .

种 动态改变 惯性权重 的 自 适应粒子群算法 [





控制 与 决策 ,
200 8 

23 1 1 : 1 25 3 -

1 25 7 

( )


6 1

高哲 , 廖 晓钟 .
基于平均速度 的混合 自 适应 粒子群算 法 [



控制 与 决策 ,
20 1 2 ,
27




1 52 -

1 55 

段 晓东 高红 霞 刘 向 东 等 种基于种群熵 的 自 适应 粒 子群算 法 计算机 工 程


62] ? J . 2 00 7
[ , , , [ ] , 

33 8 2 22 223

1 :






63 ] 李策 , 王保云 ,
高浩 .
基于 自 适 应 粒 子群 算 法 的 特 征选 择 [ l
f .
计 算 机技 术与 发 展 ,
20 1 7, 27 (
4) : 89

93 


64 ] 邓 爱 # ,
王 会芳 .

动 态 改 变 惯 性 权 重 的 自 适应 粒 子群 算法 [ 习 .
计 算机 工 程 与 设计 ,
20 1 0 

■ 

3 1

1 3

: 3 0 62

S0 6 5 . 


65 ] 张 丽 新 王 家钦 赵雁 南 等 机器学 , , ,

习 中 的特征算法 [



计算机科学 ,
2 0 04 , 3 1

1 1

: 1 80 -

1 84


66
] 李 振 华 .
卷 积 神 经 网 络 工 作 原 理 的 直 观 解 释 [
DB O L /



h tp s : // ww w 2 h hu . i . e o m/

u e s t i o n / 3 9 0 2 2 8 5 8 / a n s w e r/2 1 82Q5 8 8 5 , 20 1 7

1 2 -

27 


6 7 ]  S a n a th  丁 i N ,
t i n  M  C  P  C O N V O L U T I O N A L  N E U RA L  N E T W O R K S 、
S a n  M ar . US20 1 602 83 84 1

P ]


20 1 6 


6 8 ] Kr i z h ev s k
y , 
A l e x  S q t s k e v er
, , 
I l
ya , 
H i nto n ,  Geof f re
yE . Ima
g eN e t  c a s s
l i f i c a t i on  w i t h  d e e
p  c o n v o l u t o n a l

n e u r a l  n e t w o rk s



.  C o mm x mi c at i o n s  o f th e   Acm , 
20 1 2 , 
60 (2) 20 : 1 2 


69
]  Ch enD ,
Hu  B 5 Sh aoX etal An ew h ybr
i d  s t r a t e gy  fo r  c o n s t r u c t i n g  a  r o b u s t  c a l b r a t o n  m o d e l  for

. 
 i i

n e ar -
i n f ra r e d  s

e c tra l  a n a l
ys i s



.  An a l
yt c a i l  & B  i o an a l
yt i ca l  C h em i s tr
y , 
2005 , 
3 8 1



: 795

805 


70

石雪 , 蔡文生 ,
邵学广 .
基于小 波 系 数 的近红外光谱 局 部 建模方 法 与 应 用 研 究 [



分析化学 ,
200 8 

3 6( 8 ) : 1 09 3 -

1 096 


7 1
] 侯振雨 3
王伟 ,
蔡文 生 等 ,

基 于独 立 成 分 的 局 部 建 模 方 法 及 其 在 近红 外 光 谱 分析 中 的 应用 研究 [




计算 机 与 应 用 化学 ,
2 0 06 , 
2 3 ( 3 ) 0 0 02 2 4 2 2 6 :




72
] 
L o rb e r  A  E r r o r  p r o p a g a t .
i o n  an d  fi
gur
e so fm e i  fo r  q u a n
r t t i i c a t o n  b y  s o v n g  m a tr x  e q u a t o n s [ J ]
f i l i i i 

Ana l
y ti c al Ch em i slr
y , 
1 986 , 
5 8

6) : 1 1 67

1 1 72 

第 作者 基于光谱 信 息 散度 的 近红外 光 谱 局 部偏 最 小 二 乘建模方 法m 计算机与应用 化学



73 ]



20 1 7 34( 5 35 : 1 : 3 55





7 4 ]  L o rb e r  A  A n d  K  F  , ,
Kow a l s ki  B  R  N e t  A n a l yt e  S i gn a  C a . l l cu l a ti oni n Mu l ti v ari at e  C a l i b r at on i





An a l
yt i c a l  C h e m i st r
y , 
1 997 ,  6 9 ( 8) :  1 620 -

1 626 

v a n  d e r  M e e r  F  T h e  e ffe c t v e n e s s  o f  s
75
p e c tr al  s m a r i t y  m e a s u r e s  fo r  t h e  a n a l y s i s  o f  h yp e r s
p e c tra
. i i i l 


[ ] 

m a ge ry  [ J ] I n t e r n a t i on a o urn a  o f a p l e d  e a rth  o b s e rv a t o n  a n d n i at o n
e o n fo r i 2006 8 3

1 7
p g
i .
l l i i i 1 :

 


,  ( )
 j , 


76] 谭天伟 ,
王芳 ,
邓立 等 ,

生物柴油 的 生产和应用 卩 ]

现代化工 ,
2 002 ,
22(2

: 4 6 -



112



参考文献 


77

段敏伟 ,
王佰华 ,
黄宏星 等 3

近红外 光谱法快速测定 生 物柴油调和 比及理化指标 [



分析化学 

20 1 2 
40 (2 : 2 63 -

267 

, )


78

刘 雨聪 .
基于 近红 外光 谱 与 拉曼 光谱 的 生 物柴 油 调 和 比 检 测 [
D ]

浙江大学 ,
20 1 5 


79

刘彤 .
基于蚁 群 算 法 的 分 子 光谱 波长 选 择新 方 法 与 应用 基础研 究 [
D ]

浙江大学 ,
20 1 7 


80
] 
B au t i s ta  MA 3  S an a k o y e u  A  S u t t e r  E  e t  a l  C l i q u e C N N  D e e p  U n s u p e r v i s e d  E x e m p l a r  L e a m i n g [ J ]
, ,
. : 

20 1 6 

1 13



参 考 文献 

 

 ?

 . 

 

1 14


  

致谢

时光荏苒 岁月 如梭 转 眼研 究 生 生涯只 剩 下短短 的 个月 当 我 结束这 篇 论文 的




, ,
3 。

时候 , 内 心充满 复杂 的情形 , 有感动 , 有释怀 , 有遗憾 , 有不舍 。 千 言万语 , 汇成数不清



的 感谢 送给每 位帮 助过 我 的人




首先 我要感谢 我 的导 师卢建刚 教授 , 感谢卢 老 师三 年里对 我 的 悉心 指 导和 关 怀 。 卢老



师是 名 勤 恳敬业 严谨治学 同 时又和 蔼 可 亲 爱 护 学 生 的 好老 师 老 师认 真 工 作 的 态




、 , 、 ,

度和诚信宽厚 的 为 人处世信 念给我 留 下 了 难 以磨灭 的 印 象 , 也为 我今后 的工作树立 了 优秀



的榜样 。 本文 的 研 究 工作 是 在卢 老 师 的深切 教诲下 完 成 的 , 从论文 的选 题 、 研究计划 的指



定 、 技术路线 的 选 择 到 实 验 的 设 计等 各 个 方 面 都 离 不开 卢 老 师 热 情 耐心 的 帮 助和 教导 。 




次我 遇到 问 题 卢 老 师 都 能 及时的 回 复 邮 件 的举动给 我 留 下 深深的感动 


一 :

, 了 。

感 谢 已 毕 业 的 张红光 、 杨 静 文 ,刘 彤 等 师 兄 师 姐 , 他们 所 留下 的 科 研成 果 , 对于 我论

文 的选题 、 研究有着很多 启 发 以 及指 导作 用 , 对于 我 多 次 的 远程 求助 , 都 不 厌其烦 的 指 导 



感谢 同

课题组 的卢 宇鹏 、
胡碧霞 、 朱正威 、 方玉 发 、 盛 珉敏 、 许嘉蓉 、 孙 国 庆 、 

炳锋等 以 及课题组 其他 的 师弟 师妹们 和你们的每 次 的 讨论 交 流都 会 让 我 有 所 启 发


, , 

对我 的研 究帮助很大 .



感谢 曾 经的 1 5 04 班的 同 学 。 过去两年 中 , 我们时常

起举办活动 , 交流学 习 经验 

交流科研心得 起备战 考试 起 熬夜 写 论 文 点 滴 都 融入 我 的 生 命 里 相信多 年





一 一 一

, , 。 ,

以 后也不会忘怀 

感谢我 三年研究 生 生涯遇 到 的每 个人 没有 你 们 就 没有 今天 的 我 己


, 自 

最后要特别 感谢我 的父母 , 你 们 在 精神 上 的 鼓励 、 鞭策 以 及经济上 的 全力 支 持 , 让我



安心的完成学业 , 朝着 自 己 的 梦 想 前进 

1 1 


 
致谢 

1 16



科研 成果 

攻读硕 士 学位期 间 主要 的研 究成果



核心期刊 论文 

第 作者 基 于 光 谱 信 息 散 度 的 近 红 外 光 谱 局 部 偏 最小 二 乘 建模 方 法 m 计算机与应



用 化学 ,
20 1 7 3 4( 5 ) 3 5

: 1 : 355 

参与项 目 




国 家 自 然科学基金重大项 目 课题 ,
6 1 5 9092 5 , 炼 油 生 产 过 程 全局 优化运 行 的 实 验平 台


与 应用 验证 ,
20 1 6/ 0 1

2 0 2 0/ 1 2




国家 自 然科 学基 金联合基金重 点 项 目 ,
U 1 5 092 1 1 , 造纸 生 产 过程 的分布式 协 同 控制 与


智 能优化 ,
20 1 6/0 1

20 1 9/ 1 




国 家 自 然 科 学 基金 联 合基 金 重 点 项 目 ,
U 1 6092 1 2 , 燃煤烟 气 污染物超低排放 的智 慧 优


化控制 方法 与 关键技术 ,
20 1 7/ 0 1

2 0 2 0/ 1 2 

1 17

You might also like