You are on page 1of 22

Estimation ARMA

Un processus ARMA est la solution stationnaire de l’´equation r´ecurrente :
Xt =

p
X
k=1

φk Xt−k +

q
X

θk Zt−k + Zt

k=1

Pp
o`
u Zt ∼ BB(0, σ 2 ) et o`
u φ(z) = 1 + k=1 φk z k 6= 0 pour |z| = 1.
ª
©
2
Param`etre `a estimer : {φk }1≤k≤p , {θk }1≤k≤q , σ .
• Identifiabilit´e `a partir des propri´et´es du second ordre
˜ X
˜ Z˜t ont
˜ t d´efini par φ(z)
˜ t = θ(z)
Xt d´efini par φ(z)Xt = θ(z)Zt et X
les mˆemes f.a.c.

1

1

Estimation AR

Un processus AR causal est la solution stationnaire de l’´equation r´ecurrente :
Xt =

p
X

φk Xt−k + Zt

k=1

o`
u Zt ∼ BB(0, σ 2 ) et o`
u φ(z) 6= 0 pour |z| ≤ 1. Elle s’´ecrit :
Xt =

+∞
X

ψk Zt−k

k=0

o`
u 1/φ(z) =

P+∞
k=0

ψk z k .

2

 et ρ =  ..m Xt−1 + · · · + φm.m = X ˆ t.  ρ(m − 1) .m | = σ 2 et E |Xt − X φm = φ1 · · · φp 0 · · · 0 3 .m Xt−m sont donn´ h i ³ ´ ˆ t..1 Eqs de Yule-Walker (rappels) Les coefficients du pr´edicteur optimal ˆ t.m ) = φ1.m = (Xt |HX X es par : t−1..p et On rappelle que pour un AR-p causal on a. X h iT h i 2 ˆ t.1...m |2 = γ(0) 1 − ρT φ C m φm = ρ et E |Xt − X m o` u  Cm ρ(0)    ρ(1) = . pour tout m ≥ p. .m ρ(m) ρ(0) ˆ t.    m       φm.     . (1)      ρ(m − 1)  φ1.. .   . φ =  ..m ρ(1)       .

4 .La r´esolution des Eqs de Yule-Walker `a l’ordre m ≥ p fournit pour un AR-p les coefficients de sa repr´esentation causale.

cad rˆn →P r. 5 . :     σ2 γ(0)  ←→ λ =   S:r= φp ρ La m´ethode des moments consiste `a remplacer dans λ = S(r). les moments r par une suite consistante d’estimateurs.a. les ´equations (1) d´efinissent une bijection entre les (p + 1) param`etres du mod`ele et la suite des (p + 1) premi`eres valeurs de la f.2 M´ ethode des moments Pour m = p.1.c.

m φ ρ n.n (z) 6= 0 pour |z| ≤ 1.On remplace γ(h) par : n−|h| 1 X γˆn (h) = (Xt+|h| − µ ˆn )(Xt − µ ˆn ) n t=1 puis on fait pour m ≥ p : −1 ˆ ˆ ˆ φ = C ρ n.m ´ On a vu que si γˆn (0) 6= 0 : ˆ 1.m ³ et σ ˆn2 = γˆn (0) 1 − ˆ ˆ Tn. C est positive de rang plein.m n.m n. φˆm. n.m 2. 6 .

· · · . il existe toujours un processus AR-p causal ayant cette suite pour (p + 1) premiers coefficients de covariance. γˆ (p).c en 0 et 1 ces deux valeurs 7 . Alors il n’existe pas de processus MA-1 ayant pour f. γˆ (0) = 1 et γˆ (1) = 0. Pour un MA cette propri´et´e ne tient pas. Consid´erons en effet une suite d’observations donnant pour m = 1.Une cons´equence imm´ediate est que. partant de la suite γˆ (0) 6= 0.a.7.

m 1 DT D nˆ γn (0) o` u D est une matrice de dimension (n + m − 1) × m construite ` a partir des donn´ees Xtc = Xt − µ ˆn .m 8 . Montrer que la matrice C s’´ecrit : n. On suppose que le nombre de valeurs de Xt non nulles est sup´erieur ` a m.ˆ Exercice 1 1. D` n. En d´eduire que C est de rang plein. Montrer que D est de rang plein (indication : on note t0 la plus petite valeur de t telle que Xt 6= 0 et on consid`ere la matrice carr´ee extraite de ˆ a partir du rang t0 .).m ˆ = C n. 2.

35 0.Taches solaires (Sunspots) 1750 0 0 1850 0.05 0. spectre moyenn´e en fr´equence . spectre de l’AR2. Milieu : en bleu.15 0.5 250 Fig.25 0.1 50 0.2 100 1950 0. Bas : innovation estim´ee sous l’hypoth`ese AR2. 1 – haut : relev´e annuel moyen du nombre de taches solaires entre 1750 et 2000.3 150 0.45 0. en rouge.4 200 2000 0. 9 .

σ Γm ) d m.n et un ´echantillon {X1 .m φ σ ˆn2 = γˆn (0) 1 − ρ . On note φm.1. On suppose m > p.n m σ ˆn2 →P σ 2 h o` u φm = φ1 · · · φp 0 · · · de dimension m × m de Xt .n = C m.n ρ ³ ´ T ˆ ˆ n. iT 0 et o` u Γm est la matrice de corr´elation 10 . . . Xn } de taille n. σ 2 ) et soit −1 ˆ ˆ ˆ m. .m  √n(φ ˆ 2 −1 − φ ) → N (0. . Alors quand n → ∞ : n.3 Comportement asymptotique Th´ eor` eme 1 Soit Xt un processus AR(p) causal o` u Zt ∼ IID(0.

0401 r h i ˆ − U )2 .0816 0.6000 0.72z 4 .1z 2 − 0.6z + 0.0840 0. σ2 φ1 φ2 φ3 φ4 vraies valeurs 1 −0.0416 0. ect = E (U 11 .0164 ect estim´e 0.0482 0. La s´equence est de longueur 300 et les moyennes sont effectu´ees sur L = 1000 simulations.0401 0.0482 0.1000 −0.7200 biais estim´e 0.0061 0.0408 ect asymtotique 0.0070 −0.0003 0.Simulation (Monte Carlo) AR(4) causal avec σ 2 = 1 et φ(z) = 1 − 0.0503 0.3800 0.38z 3 + 0.0486 0.0013 0.

Alors : √ n(g(Xn ) − g(µ)) →d N (0. ∂gµ Σ∂gµT ) Exercice 2 On consid`ere un processus AR(p).Propri´ et´ e 1 (continuit´ e) Soit Xn une suite de vecteurs al´eatoires ` a valeurs dans Rk asymptotiquement normale de moyenne µ et de covariance Σ : √ n(Xn − µ) →d N (0. pour m ≥ p. de diff´erentielle ∂gµ (de dimension m × k) au point µ telle que ∂gµ Σ 6= 0. Montrer par r´ecurrence que. En utilisant le th´eor`eme 1 et la propri´et´e de continuit´e. En d´eduire un test d’ordre pour un mod`ele AR.m v´erifie : √ n kˆn (m) →d N (0. det(C m+1 ) = 1. 2. 12 . 1) (2) 3. montrer que le m-`eme coefficient de r´eflexion kˆn (m) = φˆm. 1. Σ) Soit g : Rk → Rm une fonction diff´erentiable au point x = µ.

2 – Suites.6.1.4 Test d’ordre 1 0. φ2 = −0.5 −1 m 1 2 3 4 5 6 7 8 9 10 Fig. 13 . obtenues au cours de 7 simulations. pour un ´echantillon de longueur n = 500 d’un processus AR(2) d´efini par φ1 = 1. des coefficients de r´eflexion en fonction de m.9 et σ 2 = 1.5 0 −0.

σ 2 ) gaussien log pXp+1 . ... . θ) = o` u X = [xp+1 ... x2 ··· xn−p        L’estimateur du maximum de vraisemblance est φˆM V = (X T X )−1 X T X. .Xp (x1 .1...Xn |X1 . .. − n−p 1 log(2πσ 2 ) − 2 kX − X φk2 2 2σ xn ]T et :  x  p   xp+1 X =    xn−1  ··· x1 ··· . xn . La stabilit´e n’est pas assur´ee... 14 .5 M´ ethode du maximum de vraisemblance Consid´erons un AR(p) causal o` u Zt ∼ IID(0... .

Partant de l’expression des  2 2  σ (1 + θ )  1  γ(h) = σ 2 θ1    0 moments : pour h = 0 pour h = ±1 pour |h| ≥ 2 Contrairement au cas de l’AR. σ ) et θ(z) = 1 + k=1 θk z k 6= 0 pour |z| < 1.1 M´ ethode des moments Exemple q = 1.2 Estimation MA Xt = Zt + θ1 Zt−1 + · · · + θq Zt−q Pq 2 o` u Zt ∼ BB(0. 2. 15 . prendre un nombre de covariances empiriques fixe ind´ependant de n ne conduit pas au meilleur estimateur.

q. t. 16 .2. ∀p ≥ p0 k k=1 ˜ t = Zt + X p X ψk Xt−k k=1 h i 2 ˜ t | →p→∞ 0. d´efinit un AR(p) causal et on a E |Xt − X D’o` u l’id´ee d’“approcher” un processus MA inversible par un AR causal suffisamment long. Alors : +∞ X 1 ψ(z) = =1− ψk z k θ(z) k=1 Propri´ et´ e 2 On note ψp (z) = 1 − l’´equation r´ecurrente : Pp k ψ z . Alors il existe p0 .2 M´ ethode de Durbin (1) Soit Xt = θ(B)Zt un processus MA(q) o` u θ(z) 6= 0 pour |z| ≤ 1.

ψˆp . . . . θ(z)ψ(z) = 1. θˆq en fonction de ψˆ1 . 17 . .M´ ethode de Durbin (2) On choisit p suffisamment grand de telle fa¸con que les observations puissent ˆetre consid´er´ees comme celles d’un AR(p). On en estime les coefficients ψˆ1 . . . ψˆp . Partant de l’identit´e. . on calcule θˆ1 . o` uα T −1 ˆ T ˆ ˆ ˆ ˆ θ = −(Ψ Ψ) Ψ ψ La solution co¨ıncide avec celle de l’estimation d’un processus AR d’ordre q dont les “observations” seraient constitu´ees par les valeurs de la suite ψk . . Il vient : ˆ = −Ψ ˆ+² ˆ θ ψ ˆ La m´ethode des moindres carr´es donne : ˆ = −θ. . . . .

. . . ψp . −ψp .M´ ethode de Durbin (3) En conclusion – on choisit p d’autant plus grand que les racines de θ(z) sont proches du cercle unit´e (vall´ees profondes). – on estime les q coefficients du pr´edicteur lin´eaire optimal obtenu `a partir des “donn´ees” : 1 − ψ1 . – on estime les p coefficients ψ1 . . . . 18 . remarque : on estime ainsi la solution `a phase minimale. . . du pr´edicteur lin´eaire optimal.

0082 0.0841 −0. On observe que.0108 0.0009 0.0863 −0. tandis que la moyenne et le risque passent par un minimum.0087 0.0840 −0.M´ ethode de Durbin (4) Le tableau donne la moyenne.95 selon la m´ethode de Durbin pour un ´echantillon de longueur 300 d’un processus MA(1) o` u θ1 = 0.0106 L’estimateur est biais´e car un polynˆome de degr´e fini ne peut pas ˆetre ´egal `a l’inverse d’un autre polynˆome. 19 . la variance et le risque. estim´es empiriquement `a partir de 200 r´ealisations.95 et σ 2 = 1 et pour diff´erentes valeurs de p. la variance augmente.0007 0. p 20 40 70 120 250 biais −0.0012 0.0939 variance 0. quand p augmente. de l’estimateur de θ1 = 0.0016 0.1008 −0.0083 0.0018 risque 0.

 ' L(θ)  .     .3 Maximum de vraisemblance approch´ e Xt = Zt + θ1 Zt−1 + · · · + θq Zt−q o` u Zt ∼ BB(0.Xn (x1 ..  . .m=1 ckm (θ)Xk Xm et σ 1 n Pn ˆ k..  + L0 (θ)    .. . On a :         X Z Z0 Z  1  1    1 . xn . .   .2.  = L(θ)  ..m=1 ckm (θ n )Xk Xm Ce qui revient `a tronquer le d´eveloppement de 1/θ(z) pour ensuite engendrer une estim´ee de l’innovation Zt . σ 2 ) ≈ − n 1 log(2πσ 2 ) − 2 xT L−T (θ) L−1 (θ)x 2 2σ | {z } zˆ{t=1:n} La maximisation donne : ˆ n = arg minθ∈Θ Pn θ ˆn2 = k.  ...         Xn Zn Z−(q−1) Zn Dans le cas gaussien on a : log pX1 . 20 . . θ.. σ 2 ) gaussien..

q) : Xt = Zt + q X k=1 θk Zt−k + p X φk Xt−k k=1 un processus ARMA(p. 21 . Zt par l’innovation partielle d´eduite de la pr´ediction lin´eaire.m | −→m→∞ 0. On note ²t. i 2 – E |Zt − ²t. L’id´ee est d’approcher. q) causal et inversible. soit Zt = Xt − (Xt |Ht−1 ).4 M´ ethode d’estimation de l’innovation Propri´ et´ e 3 Soit le processus ARMA(p.m ) l’innovation partielle.m = Xt − (Xt |Ht−1.2. Alors on a : – Zth est l’innovation de Xt . pour m suffisamment grand. cad φ(z) 6= 0 et θ(z) 6= 0 pour |z| ≤ 1.

– on minimise par la m´ethode des moindres carr´es l’´ecart entre Xt et Pq ²t. On en d´eduit par filtrage (r´eponse impulsionnelle finie) une estimation ²ˆt.m du processus de pr´ediction.m .m + k=1 θk ²t−k. – on estime les m coefficients de pr´ediction (algorithme de Levinson).M´ ethode d’estimation de l’innovation (2) – on choisit m. 22 .