5 7 线性二次型最优控制

5.7
• 线 性 二 次 型 最 优 控 制 问 题 ， 一 般 也 称 做 LQ或
Q或 LQR
Q
（Linear Quadratic Regulator）问题，在最优控制理
论与方法体系中具有非常重要的地位。
论与方法体系中具有非常重要的地位
• 线性二次型最优控制问题的重要性在于其具有如下特
点：
① 对于用线性微分或线性差分方程描述的动态系统，最优控制
指标具有非常明确、实际的物理意义；
② 在系统设计技术上做到规范化，具有统一的解析解形式；
③ 构成反馈控制形式，可以得到线性反馈控制的最优解；
④ 在工程实现上使实时控制计算工作大为简化。
实 实 算 作
• LQR方法因此成为应用最为广泛的一种最优控制算法 。
5.7.1 线性二次型最优控制问题
线性 次 最优控制问题
(1) 问题提法
给定线性时变系统的状态方程和输出方程
x ( t )  A( t ) x( t )  B( t )u( t )
y( t )  C ( t ) x( t )
其中 x( t )  R , u( t )  R , y( t )  R ，A(t)、B(t)、C(t)分别是n ╳ n、n
n m l

╳ m和l ╳ n维时变系统矩阵、增益矩阵和输出矩阵。

假定0≤l≤m≤n，且控制变量u(t)不受限制。用yr(t)表示期望输出向
量 yr ( tt))  R ，有误差向量
l
量， 有误差向量
e( t )  y r ( t )  y ( t )

二次型最优控制要解决的问题是，选择最优控制u*(t)，使二次型 ()
性能指标
1 T 1 tf T
J ( u)  e ( t f )Fe( t f )   [e ( t )Q( t )e( t )  u T ( t ) R( t )u( t )]dt
2 2 t0
最小。这就是LQR问题。
二次型性能指标
1 T 1 tf T
J ( u)  e ( t f )Fe( t f )   [e ( t )Q( t )e( t )  u T ( t ) R( t )u( t )]dt
2 2 t0
中，F、Q、R为加权矩阵，其中：
F为 l ╳ l 维非负定（半正定）常数矩阵，
Q(t)为l ╳ l 维非负定（半正定）矩阵，
维非负定（半正定）矩阵
R(t)为m ╳ m维正定矩阵。

• 矩阵正定与非负定（半正定）的定义分别为：
矩阵 定与非负定 半 定 的定义分别为

正定矩阵：如果对n╳n维方阵A，任意n╳1维列向量x，均有二
次型 x Ax  0 ，则A为正定矩阵；
T

非负定（半正定）矩阵：如果对n ╳ n维方阵A，任意n ╳ 1维
列向量x，均有二次型 x Ax  0 ，则 A为非负定（半正定）矩
T

阵。
(2) 性能指标的物理意义
将性能指标表示为
1 1 tf
J ( u)  e T ( t f )Fe( t f )   [ Le  Lu ]dt
2 2 t0
其中
Le  e T ( t )Q( t )e( t ) 为衡量系统控制误差大小的代价函数，当系统
为单输出，即e(t)为数量函数时，1 tf
e 2 ( tt))dt 即为经典控制中的动态误
2
t0
差平方积分；

Lu  u T ( t ) R ( t ) u( t )为衡量控制功率
为衡量控制功率（积分后即为能量）大小的
积分后即为能量 大小的
代价函数，若u(t)表示电流或电压时，则u2(t)正比于电功率；

e T ( t f )Fe( t f ) 是要使末值时刻误差最小。
• 二次型性能指标的物理意义：用尽可能小的控制能量，来保持尽量小
的输出误差，以达到控制能量和输出误差综合最优的目的。
(3) 加权矩阵F、Q、R的选取
• F、Q、R的选取对二次型性能指标的取值、特别是对各个误差分量
和控制分量的影响至关重要，一般遵循下列原则：

 一般取为对角线矩阵，其对角线元素的大小由各个分量的重要性
决定。对重要性高的分量，其对应系数矩阵对角线元素的取值相
对较大；反之 则取较小值
对较大；反之，则取较小值。
 若要减少各分量间的关联耦合作用，加权矩阵可不为对角线矩阵，
只需将对应关联分量位置的元素取为非零的正数，其大小也依对
消除各分量间关联的重视程度而定 即最优性能指标也可以用于
消除各分量间关联的重视程度而定，即最优性能指标也可以用于
解耦控制设计。
 Q Q( ) ()
当Q、R取为时变矩阵Q(t)和R(t)时，可以反映不同时间阶段的系
统控制要求。如当t = t0时e(t)可能很大，但此时并不反映系统的控
制性能，可以将Q(t)取得较小；当t → tf、e(t)减小时，为保证控制
系统性能，可以将Q(t)逐渐取大。
• 二次型性能指标中系数矩阵F、Q、R的选取在最优
控制理论中是受人为因素影响最大的步骤。
• 对同样的二次型最优控制问题，选取不同的F、Q、
R，则所得到的最优控制规律也将不
则所得到的最优控制规律也将不一样。
样。
• 控制规律设计（控制器综合）中人为因素总是客观
存在的
存在的。
(4) 线性二次型最优控制问题的三种类型
• 状态调节器问题
此时有C( ) = I 为单位矩阵，y
此时有C(t) 为单位矩阵 r(t)
( ) = 0，即有
0 即有
x(t) = -e(t)
• 输出调节器问题
此时有yr(t) = 0，即有
y(t) = -e(t)
• 跟踪问题
此时yr(t) ≠ 0， e(t) = yr(t) - y(t)
• 三种类型中，状态调节器问题是最基本的线性二次
型最优控制问题，输出调节器和跟踪问题均可视为
状态调节器问题的扩展。
状态调节器问题的扩展
5.7.2 状态调节器问题—Riccati方程
(1) 问题描述
• 设线性时变系统的状态方程为
x ( t )  A( t ) x( t )  B( t )u( t ) (1)
其中，x( t )  R n , u( t )  R m，A(t)和B(t)分别是系统矩阵和
增益矩阵 x(t0)= x0已知，且控制变量u(t)不受约束。
增益矩阵，x(t 已知 且控制变量u(t)不受约束
状态调节器问题是要求最优控制u*(t)，使二次型性
能指标
1 T 1 tf T
J ( u)  x ( t f )Fx( t f )   [ x ( t )Q( t ) x( t )  u T ( t ) R( t )u( t )]dt
2 2 t0
(2)
最小。式中，满足F、Q(t)半正定，R(t)正定条件。
• 性能指标的含义：以尽量小的能量代价，使状态保持
在零值附近。
在零值附近
首先将条件极值问题转化为无条件极值问题
1 T 1 tf T
J ( u)  x ( t f )Fx( t f )   [ x ( t )Q( t ) x( t )  u T ( t ) R( t )u( t )]dt
2 2 t0

 12  x T Q ( t ) x  u T R ( t ) u  
tf   dt
J (u )  1
x T ( t f ) Fx ( t f )    T 
    A ( t ) x  B ( t ) u  x 
2 t0

  H ( x , u ,  , t )   x d t
tf
 1
2 x T ( t f ) Fx ( t f )  T
t0

tf d T  T 
 1
2 x ( t f ) Fx ( t f )     H ( x , u ,  , t ) 
T
 x   x  d t
t0
 dt 
 1
2 x T ( t f ) Fx ( t f )   T ( t f ) x ( t f )   T ( t 0 ) x ( t 0 )

  x  d t
tf
       T
H ( x , u , , t ) 
t0

据变分法知，J(u)取极小值的必要条件为  J(u*)  0
引入Hamilton函数
1 T 1
H x ( t )Q( t ) x( t )  u T ( t ) R( t )u( t )  T [ A( t ) x( t )  B( t )u( t )]
2 2 (3)
H
因u(t)不受约束，所以沿最优轨线有  0，
H
H u( t )
即  R( t )u( t )  B ( t ) ( t )  0
T
(4)
u( t )
由此可得
u( t )   R 1 ( t ) B T ( t ) ( t ) (5)

这里，因为R (t)对所有t∈[t0，tf ]正定，所以R-1 (t)对所

2H
有t∈[t0，tf ]存在。又由 2  R( t )  0，所以
u ( t )
u( t )   R 1 ( t ) B T ( t ) ( t ) 是H最小控制。
 要将 ( ) 表示为
• 要将u(t) ( )的反馈控制形式 需求出 ( )与 ( )
表示为x(t)的反馈控制形式，需求出λ(t)与x(t)
的关系式。
考虑规范方程组
H
 ( t )    Q( t ) x( t )  AT ( t ) ( t ) (6)
x ( t )
H
x ( t )   A( t ) x ( t )  B( t )u( t )
 ( t ) (7)
 A( t ) x ( t )  B( t ) R 1 ( t ) B T ( t ) ( t )
定义矩阵
S ( t )  B ( t ) R 1 ( t ) B T ( t ) (8)
显然，S (t)为n╳n维对称矩阵。
由(6)和(7)式并将S (t)代入有
 x ( t )  A( t )  S ( t )   x( t )
    (9)
  ( t )    Q ( t )  A T
( t )   ( t ) 
( )
(9)式为2n个线性齐次微分方程，x(t
( 0))= x0提供n个边界条件，
另外n个则要由横截条件提供，即由λ(t)的终值λ(tf)提供。

由横截条件
 1 T
 (t f )  [ x ( t f )Fx( t f )]  Fx( t f ) (10)
x ( t f ) 2
用Ω(t，t0)表示方程组(9)的2n╳2n维转移矩阵，用λ(t0)表示待
定的协态变量初值，则方程组(9)的解可以表示为
 x( t )  x( t 0 )
  ( t )   ( t , t 0 )   ( t ) (11)
   0 
在终端时刻有
 x( t f )  x( t )
   ( t f , t )   (12)
 ( t
 f  )   ( t ) 
将Ω(tf ，t)划分为4个n╳n维子矩阵，即
 11 ( t f , t )  12 ( t f , t ) 
( t f , t )    (13)
 (
 21 f t , t )  22 ( t f , t ) 
则(12）式可写为
x ( t f )   11 ( t f , t ) x ( t )   12 ( t f , t ) ( t ) (14)
 ( t f )   21 ( t f , t ) x( t )   22 ( t f , t ) ( t ) (15)

将 (10)式 λ(tf))=Fx(t Fx(tf)代入(15)式，并联立(14) 式消去x(tf)可

得
 ( t )  [ 22 ( t f , t )  F 12 ( t f , t )]1 [ F 11 ( t f , t )   21 ( t f , t )] x ( t )
(16)
表明λ(t)与x(t)之间存在线性关系。
令
 ( t )  P ( t ) x( t ) (17)
考虑Ω(tf ，tf)=I2n 2n，即 ╳

Ω11(t
( f ，tf)=Ω ) Ω22(t ( f ，tf)=I) In n ，Ω
╳ Ω12(t
( f ，tf)=Ω
) Ω21(t
( f ，tf)=0
) 0
可求得
P（tf） ）= F (18)
为避免求逆运算，对(17）式求导，有
( t )  P ( t ) x( t )  P ( t ) x ( t ) (19)
将系统状态方程
x ( t )  A( t ) x ( t )  B( t )u( t )  A( t ) x ( t )  S ( t ) ( t )
 A( t ) x ( t )  S ( t ) P ( t ) x ( t ) (20）
代入(19）式，有
 ( t )  [ P ( t )  P ( t ) A( t )  P ( t ) S ( t ) P ( t )]x( t ) (21）
由协态方程( )式及( )式 又有
由协态方程(6)式及(17)式，又有
(t )  [Q( t )  AT (t ) P ( t )]x( t ) (22)
综合上两式，并考虑 x(t) 任意，有
P ( t )  P ( t ) A( t )  P ( t ) S ( t ) P ( t )  AT ( t ) P ( t )  Q( t )  0

1
(23)
将 S ( t )  B( t ) R ( t ) B ( t )代
T
代入，整理得
得
P ( t )   P ( t ) A( t )  P ( t ) B( t ) R 1 ( t ) B T ( t ) P ( t )  AT ( t ) P ( t )  Q( t )
(24)
此式即为解二次型最优控制问题著名的黎卡提(Riccati)
型矩阵微分方程，一般简称为黎卡提(Riccati)方程。
结合(5)和(17)式即可得到最优控制的状态反馈形式
u* ( t )   R 1 ( t ) B Τ ( t ) P ( t ) x ( t )   K ( t ) x ( t ) (25)
其中 K ( t )  R 1 ( t ) B Τ ( t ) P ( t ) 为反馈增益矩阵。
为反馈增益矩阵
• 可以证明(25)式是状态调节器问题最优控制的充分必要并
且是唯一的条件。
# 充分条件的证明：
考虑二次型 x T ( t ) P ( t ) x( t ) ，将其对 t 求导得
d T
[ x ( t ) P ( t ) x( t )]  x T ( t ) P ( t ) x( t )  x T ( t ) P ( t ) x( t )  x T ( t ) P ( t ) x ( t )
dt (26)
将状态方程(1)式和黎卡提方程(24)式代入，经配方整理可得
将状态方程(1)式和黎卡提方程(24)式代入 经配方整理可得
d T
[ x ( t ) P ( t ) x ( t )]  [ x T ( t )Q ( t ) x ( t )  u T ( t ) R( t )u( t )]
dt
 [u( t )  R -1 ( t ) B T ( t ) P ( t ) x ( t )]T R( t )[u( t )  R -1 ( t ) B T ( t ) P ( t ) x ( t )]
(27)
对上式两边由t0到tf 积分，经整理得
tf
x ( t f )Fx ( t f )   [ x T ( t )Q( t ) x ( t )  u T ( t ) R( t )u( t )]  x T ( t 0 ) P ( t 0 ) x ( t 0 )
T
t0
tf
  {[u( t )  R -1 ( t ) B T ( t ) P ( t ) x ( t )]T R( t )[u( t )  R -1 ( t ) B T ( t ) P ( t ) x ( t )]}dt
t0
((28))
上式左边乘以1/2即为性能指标(2)式的右边 也即有
上式左边乘以1/2即为性能指标(2)式的右边，也即有
1 T
J ( u) x ( t 0 ) P ( t 0 ) x( t 0 )
2
1 tf
  {[u( t )  R -1 ( t ) B T ( t ) P ( t ) x( t )]T R( t )[u( t )  R -1 ( t ) B T ( t ) P ( t ) x( t )]}dt
2 t0
(29)
1
当 u( t )   R ( t ) B ( t ) P ( t ) x( t )   K ( t ) x( t ) 时，J(u)取极小值
T
时 J(u)取极小值
1
J * ( u)  x T ( t 0 ) P ( t 0 ) x ( t 0 ) (30)
2
因而充分条件得证。#

由此可得状态调节器问题最优性能指标的一般结论，即：从任一x(t)
开始考虑最优控制问题，均有
1
J * ( u)  V [ x , t ]  x T ( t ) P ( t ) x ( t ) (31)
2
将状态方程、最优控制规律以及协态变量与状态变量关
系综合，可给出如图所示状态调节器问题最优控制的闭
环系统框图。
u(t) x(t)
(t)
 R 1 ( t ) B T ( t ) x ( t )  A( t ) x( t )  B( t )u( t )

λ(t)
P(t)

状态调节器最优控制闭环系统
(3) 有关求解黎卡提方程的若干问题
I. 所求解的黎卡提方程及边界条件分别为(24）式和(18）；
II 有限时域二次型最优控制问题的黎卡提方程为非线性
II.
微分方程，一般难于得到解析解，多通过计算机数值
迭代算法求近似解；
III. 黎卡提方程的解P(t)为n╳n维对称正定矩阵，这是由于
黎卡提方程本身的对称性决定的（前提为Q(t)和R(t)均
为对称矩阵），所以只需求解n(n+1)/2个独立微分方程；
IV. P(t)与状态x(t)无关，可以离线计算；
V. 当tf有限时，即使A、B、Q、R均为常数矩阵，黎卡提
方程的解P(t)也是时变的。
5 7 3 无限时域线性定常系统状态调节器问题
5.7.3
• 前面给出的状态调节器问题考虑的是有限时域、即 tf有
限时的黎卡提方程求解问题。存在以下问题：
 即使是一个非常简单的二阶定常系统，所得到的黎
卡提方程也是非线性微分方程 很难求得解析解
卡提方程也是非线性微分方程，很难求得解析解；
 在实际应用中，特别是定值过程控制场合，控制系
统在 续 行时要将时域划分为有限 间再去确定
统在连续运行时要将时域划分为有限区间再去确定
最优控制参数也是十分困难的；
 时变的黎卡提方程解P(t)在工程实现上也极不方便。
• 针对上述问题，无限时域状态调节器是一种有效的解
针对上述问题 无 时域状态 节 是 种有效的解
决方案。
(1) 无限时域线性定常系统状态调节器
给定线性定常系统状态方程
x ( t )  Ax( t )  Bu( t ), x( t 0 )  x0 (1)
其中， x( t )  R n , u( t )  R m，A和B分别是n╳n和n╳m维常数系统矩阵
和增益矩阵，控制变量u(t)不受约束。

考虑无限时域二次型性能指标
1  T
J   [ x ( t )Qx( t )  u T ( t ) Ru( t )]dt (2)
2 0
t

其中加权矩阵满足Q半正定 R正定条件 且均为常数矩阵

其中加权矩阵满足Q半正定，R正定条件，且均为常数矩阵。

上式也可表示为有限时域性能指标取极限的形式，即
1 tf T
J  lim  [ x ( t )Qx( t )  u T ( t ) Ru( t )]dt  lim J t f
t f  2 t0 t f 
(3）
所以可以直接应用有限时域性能指标状态调节器结果。
由于在(3)式中使 J t f 取极小值的最优控制为
u * ( t )   R 1 B T P ( t ) x ( t )
(4)
其中P(t)为黎卡提微分方程
P ( t )   P ( t ) A  P ( t ) BR 1 B T P ( t )  AT P ( t )  Q (5)
的正定对称解。
可以证明，当系统(1)完全可控时，存在常数阵 P ，使
lim P ( t )  P , 0  t  t f 成立。 而当t <<∞时，P ( t )  0 ，即 P ( t )  0
t f 

因此 当 t f   时，黎卡提微分方程转化为黎卡提代数方程，即有
因此，当 时 黎卡提微分方程转化为黎卡提代数方程 即有
P A  P BR 1 B T P  AT P  Q  0 (8)

P 为上式的对称正定解。此时，最优控制存在且唯一，为
为上式的对称正定解 此时 最优控制存在且唯一 为
u * ( t )   R 1 B T P x ( t ) (9)

而最优状态 *( )则为下列线性定常齐次方程的解
而最优状态x*(t)则为下列线性定常齐次方程的解
x * ( t )  [ A  BR 1 B T P ] x( t )  Ac x( t ), x ( t 0 )  x0 (10)
 (2) 有关讨论
• 无限时域线性定常系统状态调节器与有限时域一般线性系统状态
调节器相比的区别在于：
 要求系统(1)完全可控，从而可以保证使每一个状态都趋于零，
从而保证当tf →∞时性能指标有限；
 最优控制系统是稳定系统，亦即(10）式中矩阵Ac的所有特征
根都必须具有负实部。否则，不具有负实部的特征根所对应的
状态将不趋于零，因而性能指标将趋于无穷大；
 要求F = 0，因为所关心的只是在有限时域内的响应，对 tf →∞
的终端代价无实际意义。
5.7.4 输出调节器问题
以状态调节器这一最基本的线性二次型最优控制问题为基础讨论
输出调节器问题。
(1) 输出调节器问题
考虑线性定常系统的状态方程和输出方程
x (t )  Ax(t )  Bu(t ) (1)
y ( t )  Cx ( t ) (2)
及二次型性能指标
1 T 1 tf T
J  y ( t f )Fy ( t f )   [ y ( t )Qy( t )  u T ( t ) Ru( t )]dt (3)
2 2 t0
其中，A、B、C分别是n╳n、n╳m和l╳n维常数系统矩阵、增益矩
阵和输出矩阵 控制变量 ( )不受约束 F Q非负定（半正定）
阵和输出矩阵，控制变量u(t)不受约束；F、Q非负定（半正定），
R正定。
假定系统完全可观，要求最优控制u (t)，使J最小。
假定系统完全可观，要求最优控制u*(t)，使J最小。
 将 y ( t )  Cx
C ( t ) 代入J，有
代入J 有
1 T 1 tf
J x ( t f )C T FCx ( t f )   [ x T ( t )C T QCx ( t )  u T ( t ) Ru( t )]dt
2 2 t0
(4）
）

• 可以证明，若系统可观，F、Q都为半正定时，则CTFC和CTQC也都
为半正定。
• 这样，输出调节器问题即可转化为等效的状态调节器问题，可以应
这样 输出调节器问题即可转化为等效的状态调节器问题 可以应
用状态调节器问题的解法求解输出调节器问题。
(2) 有限时域输出调节器问题
此时，tf有限，F、Q半正定，R正定。
与有限时域状态调节器问题类似有 u * ( t )   R 1 B T P ( t ) x( t ) 存在且
唯一。
其中n╳n维矩阵P(t)为黎卡提矩阵微分方程
P ( t )   P ( t ) A  P ( t ) BR 1 B T P ( t )  AT P ( t )  C T QC
P ( t f )  C T FC
的对称正定解。
注意：u*(t)是x(t)的函数而不是y(t)的函数，系统不可观则无法实现反
注意：u*(t)是x(t)的函数而不是y(t)的函数 系统不可观则无法实现反
馈最优控制！
u(t)
R B 1 T
x ( t )  Ax ( t )  Bu( t ) C
y(t)
x(t)
λ(t)
P(t) 状态观测器
xˆ ( t )
输出调节器最优控制闭环系统
(3) 无限时域输出调节器问题

此时tf→∞，且F
且F = 0，系统完全可控可观，
0 系统完全可控可观 Q半正定，R正定。
Q半正定 R正定

类似于无限时域状态调节器，有
u * ( t )   R 1 B T P x ( t )
存在且唯一。

其中n╳n维矩阵 P 为黎卡提矩阵代数方程
 P A  P BR 1 B T P  AT P  C T QC  0
的对称正定解。
5 7 5 跟踪问题（伺服(servo)问题）
5.7.5
(1) 问题描述
考虑线性可观系统
x (t )  Ax(t )  Bu(t ), x(t0 )  x0 (1)
y ( t )  Cx ( t ) ， yr (t ) 为预期输出 (2)
及二次型性能指标
次 性能指标
1 tf
J   {[ yr ( t )  y( t )]T Q[ yr ( t )  y( t )]  u T ( t ) Ru( t )}dt
2 t0 (3）

其中，A、B、C分别是n╳n、n╳m和l ╳n维常数系统矩阵增益矩阵
和输出矩阵，控制变量u(t)不受约束； Q非负定（半正定），R正
定；系统完全可观。
定；系统完全可观
要求u*(t)，使J达最小值
(2) 问题求解
考虑Hamilton函数
1
H  {[ yr ( t )  y( t )]T Q[ yr ( t )  y( t )]  u T ( t ) Ru( t )}
2
 T ( t ) Ax( t )  T ( t ) Bu( t ) (4)
由于u(t)不受约束，有
H (5)
 Ru( t )  B T  ( t )  0
u
则 u * (t )   R B  (t )
1 T
(6)
 2
又由于 H2  R  0，所以u*(t)是使H和J达到最小值的最优控
u
制
制。
由输出方程及H，可得协态方程为
H
 ( t )     C TQ[Cx ( t )  y r ( t )]  AT  ( t ) (7)
x
由于无终端性能指标及约束，即x(tf)自由，所以有

 (t f )  0 (8)
x ( t f )
将(6)式代入状态方程(1)式，并结合(7)和(8)式，则规范方程组可
表示为
x ( t )  Ax ( t )  BR 1 B T  ( t ), x( t 0 )  x0 (9)
(t )  C TQCx
QC (t )  A (t )  C TQy )  (t f )  0
Q r (t ), (10)
与状态调节器问题的规范方程组相比，(10)式中多了一项反映预
T
期输出的 C Qyr ((t ) 而成为非齐次微分方程。假设其解为
 (t )  P (t ) x(t )   (t ) (11)
其中P(t)为待定的n╳n维矩阵、ζ(t)为待定的 n维向量。
对上式两边求导得
( t )  P ( t ) x( t )  P ( t ) x ( t )   ( t ) (12)
结合前面有关各式，消去  ( t ),  ( t ), x ( t ) 后整理得

T
[ P ( t )  P ( t ) A  A P ( t )  P ( t ) BR 1 B P ( t )  C QC ] x( t )

T
  ( t )  A ( t )  P ( t ) BR 1 B  ( t )  C Qy ( t ) (13)
r

时间函数与 (t)的乘积 右端单纯为 时间函数

上式左端为一时间函数与x(t)的乘积，右端单纯为一时间函数，
上式左端为
要使其对任意x(t)成立，应满足，
T

T
 P ( t )  P ( t ) A  A P ( t )  P ( t ) BR 1 B P ( t )  C Q
QC  0 (14)
T

T
  ( t )  A ( t )  P ( t ) BR 1 B  ( t )  C Qy r ( t )  0 (15)
或表示为
T

T
P ( t )   P ( t ) A  A P ( t )  P ( t ) BR 1 B P ( t )  C QC (16)
T

 ( t )   A ( t )  P ( t ) BR 1 B  ( t )  C Qy ( t ) r
(17)
由于  ( t f )  P ( t f ) x ( t f )   ( t f )  0 ，且x(tf)任意，所以有
P ( t f )  0,  ( t f )  0 (18）
求方程组(16)、(17)满足边界条件(18)的解， 即可得最优控制为

u * ( t )   R 1 B T [ P ( t ) x( t )   ( t )] (19)
  R  1 B T P ( t ) x ( t )  R  1 B T ( t )

即u (t)包括两项， 项为x(t)的线性函数，另 项为受控于 yr (t )

即u*(t)包括两项，一项为x(t)的线性函数，另一项为受控于
的 (t ) 的线性函数，代表由被跟踪变量引起的驱动作用。
(3) 无限时域跟踪问题
此时tf→∞，并假设系统(1)、(2)完全可控可观。与无限时域状态调
节器问题相似，当t << tf时，有
节器问题相似，当
P ( t )  0, P ( t )  P
其中P 为常数矩阵。并有
u * ( t )   R 1 B T P x( t )  R 1 B T ( t )
其中 P 和  (t )分别为方程
T

T
P A  A P  P BR 1 B P  C Q QC  0 (20)
T

T
 ( t )  [ P BR 1 B  A] ( t )  C Qy ( t ) r
(21)
的解。
5 7 6 具有指定稳定度的最优调节器问题
5.7.6
(1) 渐近稳定性概念
个系统 x ( t )  Ax( t )  Bu( t ) 是渐近稳定的，是指微分方程
一个系统 是渐近稳定的 是指微分方程
x ( t )  Ax( t ), x( t 0 )  x0 , t  t 0
的解 x(t) 对于任意的 x0 都有 lim x ( t )  0 。
t 

前面讨论的无限时间调节器都是渐近稳定的，但均未考虑 x(t)→0的
速度，即衰减速度问题。衰减速度越快，则稳定性越好。
。
(2)具有指定稳定度的最优调节器
首先给 稳定度含义
首先给出稳定度含义：对于一个渐近稳定系统，稳定度
个 稳定 稳定度α>0，是表
示 x(t)→0 的衰减速度不低于 e t 的数量级。

以下以无限时域状态调节器为例进行讨论。
考虑系统状态方程为
x ( t )  Ax( t )  Bu( t )
(1)
x ( t 0 )  x0
其中 x ( t )  R n , u( t )  R m ，A和B分别是 n╳n 和 n╳m 维常数系统
其中，
矩阵和增益矩阵，系统完全可控，且控制变量u(t)不受约束。
考虑指定的稳定度α>0，性能指标为 性能指标为
1  2 t T
J   e [ x ( t )Qx( t )  u T ( t ) Ru( t )]dt (2)
2 t0
其中Q半正定，
半正定 R正定。要求最优控制
正定 要求最优控制u*(t)，使
使J达最小值。此问题
达最小值 此问题
也称为改进的最优状态调节器问题。
令 x~ ( t )  e  t x( t )
~ ( t )  e  t u( t ) (3)
u
则有 x( t )  e  t x~ ( t ) (4)
~(t )
u( t )  e  t u
并有
x ( t )  e  t x~ ( t )  e  t x~ ( t ) (5)
将(4)、 (5)式代入状态方程(1)式，可得
x~ ( t )  ( A  I ) x~ ( t )  Bu
~(t )
(6)
将(4)式代入性能指标，得
1  ~T
J   [ x ( t )Qx~(t )  u
~ T ( t ) Ru
~( t )]dt (7)
2 t0
(6)和(7)为规范的最优状态调节器问题。
如果（A，B）完全可控，则（
可以证明，如果（
可以证明 ）完全可控 则（A+αI，B）完全可控。因此，
）完全可控 因此
对于系统(6)，使性能指标(7)达到最小值的最优控制作用为
~ * ( t )   R 1 B T P x~ ( t )
u  (8)
其中 P 为黎卡提代数方程
( A  I )T P  P ( A  I )  P BR 1 B T P  Q  0 (9)
的对称正定解。
 由(3)、(4)式可知，对于原系统，最优控制为
~ * ( t )   R 1 B T P e  t x~ ( t )   R 1 B T P x( t )
u * ( t )  e  t u (10)
 

最优轨线为
x * ( t )  e  t x~ * ( t )
由于 lim x~ * ( t )  0 ，而 lim x * ( t )  lim e  t x~ * ( t )
t  t  t 

所以 x* (t ) 比 x ~* (t
(t ) 衰减更快，即在最优控制(10)的作用下，闭环控制
1 T
系统 x ( t )  [ A  R B P ] x( t ) 具有指定的稳定度α >0。

例 给定单输入单输出系统 y( t )  au( t ), a0

要求确定最优控制u*(t)，使性能指标
1  2t 2
J   e [ y ( t )  u 2 ( t )]dt
2 t0
达到最小值。
5.7.7 离散线性二次型最优状态调节器问题
与连续系统线性二次型最优状态调节器问题类似，离散系统线性
二次型最优状态调节器具有符合实际应用需求的多种特点，得到广
泛重视。
泛重视
给定线性离散系统状态方程
x ( k  1)  F ( k ) x ( k )  G ( k )u( k ), k=0,1，…, N-1 (1)
初始状态
x ( 0)  x 0 (2)
及二次型性能指标
1 T 1 N 11 T

J  x ( N ) Sx( N )   x ( k )Q( k ) x( k )  u T ( k ) R( k )u( k )
2 2 k 0
 (3)

其中S为半正定对称常数阵，Q(k)为半正定对称时变阵，R(k)为正定
对称时变阵
对称时变阵。
要求最优控制序列 u* (k ), k=0,1,···, N-1，使J达最小值。
利用离散极大值原理求解
利用离散极大值原理求解：
Hamilton函数
H (k ) 
2

1 T

x ( k )Q( k ) x( k )  u T ( k ) R( k )u( k )  T ( k  1)F ( k ) x( k )  G ( k )u( k )
(4)
协态方程
H ( k ) (6)
 (k )   Q ( k ) x ( k )  F T ( k ) ( k  1)
x ( k )
因终态无约束，所以
 ( N )  Sx ( N ) (7)
由控制方程
H ( k ) (8)
 R( k )u( k )  G T ( k ) ( k  1)  0
u( k )
有
u( k )   R 1 (k )G T ( k ) ( k  1) (9)
代入((1))式得两点边值问题(规范方程组)
 x ( k  1)  F ( k ) x ( k )  G ( k ) R 1 ( k )G T ( k ) ( k  1)

 ( k )  Q( k ) x( k )  F T ( k ) ( k  1)
 (10)
 x ( 0)  x 0
 ( N )  Sx ( N )

假设  ( k )  P ( k ) x ( k ) (11)
代入规范方程组得
x( k  1)  F ( k ) x( k )  G( k ) R 1 ( k )G T ( k ) P ( k  1) x( k  1) (12)
P ( k ) x( k )  Q( k ) x( k )  F T ( k ) P ( k  1) x( k  1) (13)
消去其中x(k＋1)，得
 1

P ( k ) x ( k )  Q ( k ) x ( k )  F T ( k ) P ( k  1) I  G ( k ) R 1 ( k )G T ( k ) P ( k  1) F ( k ) x ( k )
((14))
此式对任意x(k)成立，因此得离散黎卡提方程：

P ( k )  Q ( k )  F T ( k ) P ( k  1) I  G ( k ) R 1 ( k )G T ( k ) P ( k  1)  1
F (k )

 Q ( k )  F T ( k ) P 1 ( k  1)  G ( k ) R 1 ( k )G T ( k ) 
1
F (k ) (15)
及其终值条件
P( N )  S (16)
若F 1 (k
( k ) 存在（事实上可以放宽，但要使用动态规划求解），则由协
存在（事实上可以放宽 但要使用动态规划求解） 则由协
态方程
 ( k )  P (k ) x( k )  Q(k ) x(k )  F T ( k ) ( k  1) (17)
有
 ( k  1)  F  T ( k )P ( k )  Q( k )x( k ) (18)
则最优控制为
u* ( k )   R 1 ( k )G T ( k )F  T ( k )P ( k )  Q( k )x( k )   K ( k ) x( k ) (19)
为状态反馈控制，其中
K ( k )  R 1 ( k )G T ( k )F  T ( k )P ( k )  Q( k ) (20)
为反馈增益矩阵。
 由以上结果，离散线性二次型最优状态调节器状态反馈的闭环系
由以上结果 离散线性二次型最优状态调节器状态反馈的闭环系
统构成可表示为
u(k) +
x(k+1) x(k)
G(k) z -11I
+

F(k)

-R -1(k)GT(k) F -T(k)[ P(k)- Q(k)]

与连续系统二次型最优控制相似，如果 N   , F ( k ) = F 和
G ( k ) = G 均为常数矩阵，系统完全可控，则也应有黎卡提方程的
均为常数矩阵 系统完全可控 则也应有黎卡提方程的
解 P ( k )  P （当k<<N时）为常数矩阵。

以离散线性二次型最优状态调节器为基础，同样可以得到离散线
性二次型最优输出调节器和跟踪问题的解。