You are on page 1of 25

aft

Equation Matricielle Algébrique de Riccati


Résolution par l’algorithme de Vaughan

Jean-Paul K. Tsasa Vangu

DrLaboratoire d’analyse-recherche en économie quantitative

Décembre 29, 2014

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 1 / 25
Présentation Laréq

Sommaire

aft
1 Présentation Laréq

2 Exposé du problème

3 Approximation LQ Dr
4 Résolution de l’équation de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 2 / 25
Présentation Laréq

Introduction

aft
Cette présentation s’inscrit dans le cadre de la rubrique “DIVERS” des réunions
LAREQ

L’objectif de cette rubrique est :

d’une part, de faire le parallélisme entre les aspirations exprimées par des cher-
cheurs non-économistes, sur l’orientation des théories économiques

et de l’autre, de motiver les chercheurs-L à converger vers la frontière de re-


Dr
cherche

Pour plus de détails, cf. : http://www.lareq.com

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 3 / 25
Exposé du problème

Sommaire

aft
1 Présentation Laréq

2 Exposé du problème

3 Approximation LQ Dr
4 Résolution de l’équation de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 4 / 25
Exposé du problème

Exposé du problème
Illustrons comment l’algorithme de Vaughan peut être utilisé dans l’analyse

aft
macroéconomique moderne
Une classe importante de modèles RBC ou DSGE peuvent s’écrire comme des
équations matricielles algébriques de Riccati
L’algorithme de Vaughan en constitue une méthode directe de résolution
Dans la pratique, la méthode de Vaughan est généralement beaucoup plus
rapide que la méthode d’itération sur l’équation de Bellman
Dr
Principale référence :
VAUGHAN David R., 1970, “A Nonrecursive Algebraic Solution for the Discrete
Riccati Equation”, Institute of Electrical and Electronics Engineers Transactions
on Automatic Control, AC - 15 (5) : 597–599.

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 5 / 25
Approximation LQ

Sommaire

aft
1 Présentation Laréq

2 Exposé du problème

3 Approximation LQ Dr
4 Résolution de l’équation de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 6 / 25
Approximation LQ

Problème linéaire quadratique

Considérons un modèle du planificateur social (cf. RBC ou DSGE models),

aft
exprimé comme un problème de contrôle optimal linéaire quadratique (LQ),
tel que :

X
max

β t {xt0 Rxt + ut0 Qut } (1)
{ut }t=0
t=0

sujet à la loi de transition :


Dr xt+1 = Axt + But ,

où x0 est donné ; xt un vecteur des variables d’état de format n × 1 ; ut un


vecteur des variables de contrôle de format k × 1 ; R une matrice symétrique
(2)

semi-définie négative ; Q est une matrice symétrique définie positive ; A une


matrice de format n × n et B une matrice de format n × k

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 7 / 25
Approximation LQ

Equation de Bellman
Guess and Verify :

aft
Conjecturons que la fonction valeur est quadratique :

V (xt ) = xt0 Pxt , (3)

où P est une matrice symétrique sémi-définie positive

Dès lors, l’équation de Bellman s’écrit :

V (xt ) = max {xt0 Rxt + ut0 Qut + βV (xt+1 )}


Dr (4)
= max xt0 Rxt + ut0 Qut + βxt+1
0

Pxt+1

En servant de la loi de transition, il vient que :

V (xt ) = max {xt0 Rxt + ut0 Qut + β[Axt + But ]0 P[Axt + But ]} (5)
ut

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 8 / 25
Approximation LQ

Conditions du premier ordre

En notation récursive, et après réaménagement, l’équation de Bellman peut

aft
donc finalement s’écrire comme suit :

V (x) = max x 0 Rx + u 0 Qu + β[x 0 A0 PAx + x 0 A0 PBu + u 0 B 0 PAx + u 0 B 0 PBu]


u

Puisque :

∂x 0 Ax
= (A + A0 )x
Dr ∂x
∂y 0 Bz
= Bz (6)
∂y
∂y 0 Bz
= B0y
∂z

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 9 / 25
Approximation LQ

Conditions du premier ordre

Ainsi, la CPO implique :

aft
(Q + Q 0 )u + β[B 0 P 0 Ax + B 0 PAx + (B 0 PB + B 0 P 0 B)u] = 0 (7)

Q et P étant symétriques, il suit que :

2Qu + 2β[B 0 PBu + B 0 PAx] = 0


(8)
=⇒ [Q + βB 0 PB]u = −βB 0 PAx
Dr
Dès lors, la fonction politique (règle de décision) s’écrit :

u = −Fx, (9)

avec F = β[Q + βB 0 PB]−1 B 0 PA

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 10 / 25
Approximation LQ

Equation matricielle algébrique de Riccati


Guess and Verify :

aft
Vérifions à présent que la fonction valeur est quadratique

Substituons la fonction politique dans la fonction valeur :

V (x) = x 0 Rx + [−Fx]0 Q[−Fx] + βx 0 A0 PAx + βx 0 A0 PB[−Fx]


(10)
+ β[−Fx]0 B 0 PAx + β[−Fx]0 B 0 PB[−Fx]

Nous nous servirons des propriétés matricielles suivantes :


Dr [A0 ]0 = A
[A + B]0 = A0 + B 0
[AB]0 = B 0 A0 (11)
−1
AA =I
−1 0
[A ] = [A0 ]−1

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 11 / 25
Approximation LQ

Equation matricielle algébrique de Riccati


Sachant que P, Q et R sont symétriques, il vient que :

aft
V (x) = x 0 Rx + x 0 F 0 QFx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ βx 0 F 0 B 0 PBFx
= x 0 Rx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ x 0 F 0 (Q + βB 0 PB)Fx
(12)
= x 0 Rx + βx 0 A0 PAx − βx 0 A0 PBFx − βx 0 F 0 B 0 PAx
+ x 0 F 0 (Q + βB 0 PB)β(Q + βB 0 PB)−1 B 0 PAx
= x Rx + β[x 0 A0 PAx − x 0 A0 PBFx − x 0 F 0 B 0 PAx + xF 0 B 0 PAx]
0
Dr
= x 0 Rx + β[x 0 A0 PAx − x 0 A0 PBFx]

Il ressort que la fonction valeur est bien “quadratique” :

V (x) = x 0 [R + β(A0 PA − A0 PBF )]x (13)

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 12 / 25
Approximation LQ

Equation matricielle algébrique de Riccati


Au regard de la conjecture, cf. Equation (3), il suit que

aft
P = R + βA0 PA − βA0 PBF
(14)
= R + βA0 PA − β 2 A0 PB[Q + βB 0 PB]−1 B 0 PA

La relation (14) est appelée équation matricielle algébrique de Riccati

L’équation matricielle algébrique de Riccati exprime la matrice P comme une


fonction implicite des matrices exogènes R, Q, A et B
Dr
Cette équation peut être résolue analytiquement, si P est d’ordre 2 × 2

Dans le cas contraire, i.e. pour un P d’ordre supérieur à 2, la résolution doit


être faite numériquement (par ordinateur)

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 13 / 25
Approximation LQ

Riccati versus Bellman


L’équation matricielle algébrique de Riccati est une équation de Belmman

aft
Il suffit de considérer que :
P est la fonction valeur V , pouvant également s’écrire :

Pj+1 = R + βA0 Pj A − β 2 A0 Pj B[Q + βB 0 Pj B]−1 B 0 Pj A (15)

et F , la fonction politique (règle de décision) :

Ft+1 = β[Q + βB 0 Pj B]−1 B 0 Pj A (16)


Dr
Dès lors, il est possible d’appliquer les méthodes numériques généralement
utilisées pour résoudre l’équation de Bellman
Plutôt que de recourir la méthode d’itération de la fonction valeur, comme
illustrée précédemment (cf. Vidéo-Laréq sur MatLab), nous allons appliquer la
méthode des vecteurs propres de Vaughan

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 14 / 25
Résolution de l’équation de Riccati

Sommaire

aft
1 Présentation Laréq

2 Exposé du problème

3 Approximation LQ Dr
4 Résolution de l’équation de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 15 / 25
Résolution de l’équation de Riccati

Algorithme de Vaughan
L’algorithme de Vaughan permet de résoudre directement l’équation de Riccati

aft
et d’en extraire une solution algébrique non récursive, i.e sans passer par les
itérations sur la fonction valeur

Sa mise en oeuvre nécessite la formalisation du problème de contrôle optimal


comme un Lagrangien

Exprimer la matrice des multiplicateurs de Lagrange en termes de dérivée de


la fonction valeur
Dr
Ensuite, dériver les restrictions linéaires que la stabilité impose à travers les
multiplicateurs et le vecteur d’état

In fine, exploiter ces restrictions pour calculer la matrice P, i.e. résoudre


l’équation de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 16 / 25
Résolution de l’équation de Riccati

Algorithme de Vaughan
Considérons le Lagrangien du modèle défini par (1 - 2) :

aft

X
β t xt0 Rxt + ut0 Qut − λ0t+1 (xt+1 − Axt − But )

J = (17)
t=0

CPOs {ut ; xt+1 ; λt+1 }, pour tout t ≥ 0 :

2Qut + B 0 λt+1 = 0 (18)


Dr 2βRxt+1 − λt+1 + βA0 λt+2 = 0

xt+1 − Axt − But = 0,


(19)

(20)
où {λt }∞
t=0 une séquence de matrices des multiplicateurs de Lagrange

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 17 / 25
Résolution de l’équation de Riccati

Algorithme de Vaughan
(18) dans (20) implique :

aft
xt+1 = Axt − BQ −1 B 0 µt+1
(21)
=⇒ xt = A−1 xt+1 + A−1 BQ −1 B 0 µt+1 ,

où µt = 21 λt

(21) dans (19) :

λt = 2βRxt + βA0 λt+1


Dr
=⇒ µt = βR[A−1 xt+1 + A−1 BQ −1 B 0 µt+1 ] + βA0 µt+1 (22)
−1 −1 −1 0 0
= βRA xt+1 + β[RA BQ B + A ]µt+1

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 18 / 25
Résolution de l’équation de Riccati

Algorithme de Vaughan
En empilant (21) et (22), il vient que :

aft
   
xt x
= H t+1 (23)
µt µt+1

où H est une matrice symplectique composée des coefficients, telle que :
 −1
A−1 BQ −1 B 0

A
H= (24)
βRA−1 β(RA−1 BQ −1 B 0 + A0 )

Cette dernière matrice peut directement être décomposée pour obtenir la ma-
Dr
trice P de Riccati, et ensuite la solution au problème LQ :

H=

V11 V12

Λ 0

V11 V12
−1
, (25)
V21 V22 0 Λ−1 V21 V22

où Λ est un vecteur des valeurs propres de H

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 19 / 25
Résolution de l’équation de Riccati

Algorithme de Vaughan
Note 1 : la matrice H étant symplectique, les valeurs propres sont telles que

aft
la réciproque de chaque valeur propre est aussi une valeur propre (réciproques
paires)
Cette propriété est importante, car impliquant une solution unique stable, i.e.
une solution qui satisfait la condition de transversalité et qui assure que la
fonction retour (utilité) est bornée

Note 2 : les valeurs propres du vecteur Λ sont toutes supposées distinctes et


situées à l’extérieur du cercle unité
Dr
Cette dernière propriété garantit l’existence d’une matrice non singulière des
matrices caractéristiques V telles que : ∆ = V −1 HV , et donc :
H = V ∆V −1 , (26)
 
Λ 0
avec ∆ = , la matrice diagonale des vecteurs propres de H
0 Λ−1

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 20 / 25
Résolution de l’équation de Riccati

Dérivation de l’équation de Vaughan


Exploitons à présent, le fait que le multiplicateur de Lagrange est la dérivée de

aft
la fonction valeur, i.e. µt = Pxt

L’objectif des manipulation qui suivent est, d’obtenir un système dynamique


stationnaire pour x tel que :

xt+1 = [V11 Λ−1 (W11 + W12 )P + V12 Λ(W21 + W22 )P]xt (27)

où W = V −1


Dr
Pré-multiplions (23) par H−1 :

xt+1
µt+1

=V
 −1
Λ
0

0 W11 xt + W12 µt
Λ W21 xt + W22 µt

(28)

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 21 / 25
Résolution de l’équation de Riccati

Dérivation de l’équation de Vaughan


Après j itérations sur (28), il suit que :

aft
   −j  
xt+j Λ 0 W11 xt + W12 µt
=V (29)
µt+j 0 Λj W21 xt + W22 µt

Résolvons l’équation (29) telle qu’on ait toujours xt → 0 lorsque t → ∞, quel


que soit xt0 initial

Puisque chaque composante de Λ est extérieure au cercle unité, afin de garantir


que xt → 0 lorsque t → ∞, il suffit d’imposer que les composantes de la
Dr
solution de l’équation (29) multipliant Λj soient nulles, d’où :

W21 xt + W22 µt = 0 (30)

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 22 / 25
Résolution de l’équation de Riccati

Dérivation de l’équation de Vaughan


De (30), il vient que :

aft
le multiplicateur de Lagrange µt (shadow price) doit satisfaire la relation :
−1
µt = −W22 W21 xt (31)

L’équation (31) établit que le shadow price est une fonction temporellement
invariante de xt , que l’on peut noter :

µt = Pxt (32)
−1
où P = W22 W21
Dr
l’équation (29) s’écrit dès lors :

xt+j
 
V11 Λ−j (W11 xt + W12 µt

= (33)
µt+j V21 Λ−j (W11 xt + W12 µt

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 23 / 25
Résolution de l’équation de Riccati

Dérivation de l’équation de Vaughan


Au regard de (32), l’équation (33) peut être réécrite comme suit :

aft
PV11 Λ−j (W11 xt + W12 µt
   
Pxt+j
= , (34)
µt+j V21 Λ−j (W11 xt + W12 µt

ce qui implique que PV11 = V21 , d’où :


−1
P = V21 V11 (35)

Dr
Cette dernière équation, appelée équation de Vaughan, caractérise la solution
de l’équation matricielle algébrique de Riccati

Jean-Paul K. Tsasa (LAREQ) Equation Matricielle Algébrique de Riccati Décembre 29, 2014 24 / 25
aft
Dr
Jacopo F Riccati