You are on page 1of 44

Rappels de probas

Estimation linéaire
Quelques remarques

L’estimation statistique linéaire pour les nuls

30 mai 2007

GT MOISE, 30 mai 2007


Rappels de probas
Estimation linéaire
Quelques remarques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Définition
Variable aléatoire : résultat d’une épreuve aléatoire

v.a. discrète X à valeurs dans {x1 , . . . xn } :


X n
P(X = xi ) = pi avec pi = 1
i=1

v.a. continue X à valeurs dans [a, b] : P(x ≤ X ≤ x + dx) = f (x) dx


Z b
où f (x) dx = 1
a

Définition
Deux v.a.r. X et Y sont indépendantes ssi
P ((X ∈ I) ∩ (Y ∈ J)) = P(X ∈ I).P(Y ∈ J) ∀I, J ⊂ R
I

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Moments d’une variable aléatoire

Définition
 n
 X


 xi pi si X discrète
Espérance : E(X ) = Zi=1b

x f (x) dx si X continue



a

La v.a.r. X est centrée ssi E(X ) = 0.

Définition
h i
2
Variance : Var (X ) = E (X − E(X ))
p
Ecart-type : σ(X ) = Var (X )

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Covariance
Définitions
Soient X et Y deux v.a.r.
Covariance : Cov (X , Y ) = E(XY ) − E(X )E(Y )
= E [(X − E(X )) (Y − E(Y ))]

Cov (X , X ) = Var (X )
Cov (X , Y )
Coefficient de corrélation : ρ(X , Y ) =
σX σY

Propriété
X et Y indépendantes =⇒ Cov (X , Y ) = 0

La réciproque est fausse en général.


GT MOISE, 30 mai 2007
Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Vecteur aléatoire

Définition
 
X1
Vecteur aléatoire : X =  ...  où chaque Xi est une v.a.r.
 

Xn

Définitions
Matrice de covariance C = (Cov (Xi , Xj ))1≤i,j≤n (Cii = σ 2 (Xi ) )

Matrice de corrélation (ρ(Xi , Xj ))1≤i,j≤n (1 sur la diagonale)

Propriété
Toute matrice de covariance est symétrique semi-définie positive.
(définie si les v.a.r. forment une famille libre)

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

Définition
N (m, σ 2 ) : loi normale de moyenne m et de variance σ 2

1 (x−m)2
f (x) = √ e− 2σ 2
2π σ

Propriétés

Si X1 ,→ N (m1 , σ12 ) et X2 ,→ N (m2 , σ22 ) sont indépendantes,


alors X1 + X2 ,→ N (m1 + m2 , σ12 + σ22 )
Si X ,→ N (m, σ 2 ) et λ ∈ R
I , alors λX ,→ N (λm, λ2 σ 2 )

GT MOISE, 30 mai 2007


Rappels de probas
Variables et vecteurs aléatoires
Estimation linéaire
Loi normale
Quelques remarques

L’importance de cette loi provient du (des) théorème(s)


central-limite, i.e. toute proposition qui indique que, sous certaines
conditions, la somme de v.a.r. individuellement petites converge vers
une v.a.r. de loi normale lorsque le nombre de termes croît.

Conséquence : si l’issue d’une expérience aléatoire dépend d’un


grand nombre de facteurs aléatoires, chacun d’eux ayant une petite
influence, le résultat peut être bien approximé par une loi normale.
Exemple : taille des arbres pour une espèce donnée dans une zone
donnée

C’est pour cette raison que beaucoup d’erreurs aléatoires sont


modélisées par des lois gaussiennes.

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Position du problème
On dispose de 2 mesures différentes pour une même quantité.
Comment trouver une bonne estimation de la vraie valeur ?
Exemple : 2 obs y1 = 1 et y2 = 2 d’une quantité x inconnue.

3
Min (x − 1)2 + (x − 2)2 −→ x̂ =
2
Problèmes :
Sensibilité au changement d’unité :
1 obs y1 = 1 de x, et 1 obs y2 = 4 de 2x
9
Min (x − 1)2 + (2x − 4)2 −→ x̂ =
5
Pas de sensibilité à la précision de la mesure :
même estimation si y1 est plus précise que y2
GT MOISE, 30 mai 2007
Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Position du problème
On dispose de 2 mesures différentes pour une même quantité.
Comment trouver une bonne estimation de la vraie valeur ?
Exemple : 2 obs y1 = 1 et y2 = 2 d’une quantité x inconnue.

3
Min (x − 1)2 + (x − 2)2 −→ x̂ =
2
Problèmes :
Sensibilité au changement d’unité :
1 obs y1 = 1 de x, et 1 obs y2 = 4 de 2x
9
Min (x − 1)2 + (2x − 4)2 −→ x̂ =
5
Pas de sensibilité à la précision de la mesure :
même estimation si y1 est plus précise que y2
GT MOISE, 30 mai 2007
Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

On reformule dans un cadre probabiliste :

yi est une réalisation d’une v.a.r. Yi .

On cherche un estimateur (i.e. une v.a.r.) X̂


linéaire : X̂ = α1 Y1 + α2 Y2 (pour que ce soit simple)
sans biais : E(X̂ ) = x (c’est la moindre des choses)
de variance minimale : Var (X̂ ) minimale (précision optimale)

BLUE : Best Linear Unbiased Estimator

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

On pose : Yi = x + εi avec

Hypothèses :
E(εi ) = 0 (i = 1, 2) appareils de mesure sans biais
Var (εi ) = σi2 (i = 1, 2) de précisions connues
Cov (ε1 , ε2 ) = 0 i.e. E(ε1 ε2 ) = 0 mesures indépendantes

Alors :
E(X̂ ) = (α1 + α2 )x + E(ε1 ) + E(ε2 ) =⇒ α1 + α2 = 1
h i
Var (X̂ ) = E (X̂ − x)2 = E (α1 ε1 + α2 ε2 )2
 

= α12 E(ε21 ) + α22 E(ε22 ) + 2α1 α2 E(ε1 ε2 )


= α12 σ12 + (1 − α1 )2 σ22

∂ σ2
= 0 =⇒ α1 = 2 2 2
∂α1 σ 1 + σ2

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

BLUE
1 1
Y1 + Y2
σ12 σ22
X̂ =
1 1
+
σ12 σ22

σ12 σ22 1 1 1
Et on a : Var (X̂ ) = , soit : = + 2
σ12 + σ22 Var (X̂ ) 2
σ1 σ2

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Equivalence variationnelle
C’est équivalent au problème :

(x − y1 )2 (x − y2 )2
 
1
Minimiser J(x) = +
2 σ12 σ22

Remarques :
Ca résout les pbs de sensibilité aux unités et d’insensibilité à la
précision
Ca rationalise le choix de la norme pour J
1 1 1 concavité de J ≡ précision
J 00 (x) = + 2 =
σ12 σ2 Var (X̂ ) de l’estimation

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Formulation en ébauche + observation

σ22 Y1 + σ12 Y2 σ12


On a : X̂ = = Y1 + (Y2 − Y1 )
σ12 + σ22 σ12 + σ22

Si on considère que Y1 est en fait une première estimation (ébauche,


background) Xb de x, et Y2 = Y une obs indépendante, alors :

σb2
X̂ = Xb + (Y − Xb )
σb2 + σo2 | {z }
| {z } innovation
gain

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Et si les hypothèses ne sont pas satisfaites ?

Hypothèses :
E(εi ) = bi 6= 0 appareil de mesure biaisé
Cov (ε1 , ε2 ) = c 6= 0 mesures dépendantes

Pas de difficulté particulière : X̂ = α1 Y1 + α2 Y2

x(x + bi )σj2 − xc(x + bj )


avec αi =
(x + b2 )2 σ12 + (x + b1 )2 σ22 − 2c(x + b1 )(x + b2 )

Mais il faut donc connaître les valeurs de b1 , b2 et c !

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Théorème fondamental de l’estimation linéaire


Quand on a compris ce qui précède, on a (presque) tout compris.

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Généralisation à m observations y1 , . . . , ym
On pose : Yi = x + εi avec

Hypothèses :
E(εi ) = 0 (i = 1, . . . , m) appareils de mesure sans biais
Var (εi ) = σi2 (i = 1, . . . , m) de précisions connues
Cov (εi , εj ) = 0 i.e. E(εi εj ) = 0 (i 6= j) mesures indpdtes
m
X 1
Y
2 i m
σ
i=1 i 1 X 1
BLUE X̂ = m
avec = 2
X 1 Var (X̂ ) σ
i=1 i
σ 2
i=1 i
m
1 X (x − yi )2 1
Equivaut à minimiser J(x) = 2
, et on a J 00 (x) =
2 σ i Var (X̂ )
i=1

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Généralisation au cas vectoriel


 
x1
A estimer : x =  ...  ∈ R
I n
 

xn
 
y1
Observations : y =  ...  ∈ RI m
 

ym

Hypothèse
On suppose que le mapping entre x et y est linéaire : y ≡ Hx, avec
H(m, n) matrice d’observation.

Exemple : 2 obs y1 , y2 de x1 , 1 obs y3 de x2


   
y1 1 0  
 y2  ≡  1 0  x1
x2
y3 0 1
GT MOISE, 30 mai 2007
Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

On pose : Y = Hx + e I m
avec e vecteur aléatoire de R

Hypothèses :
E(e) = 0 appareils de mesure sans biais
T
Cov (e) = E(ee ) = Σ précisions et covariances connues

Attention : On ne suppose plus les observations indépendantes

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

BLUE :
linéaire : X̂ = AY avec A(n, m)
sans biais : AH = In
 
car E(X̂) = E(AHx + Ae) = AHx + AE(e) = AHx = x

Remarque : AH = In =⇒ ker H = {0} =⇒ rang H = n


=⇒ n ≤ m : plus d’obs que de valeurs à estimer
n
X
variance minimale : variance totale = Var(X̂i ) = Tr(Cov (X̂))
i=1
Or Cov (X̂) = AE(eeT )AT = AΣAT . D’où finalement :
Trouver A qui minimise Tr(AΣAT ) sous la contrainte AH = In

Théorème de Gauss-Markov
A = (HT Σ−1 H)−1 HT Σ−1 et Cov (X̂) = (HT Σ−1 H)−1

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Lien avec l’inverse de Moore-Penrose

Définition
Soit M une matrice de taille (m, n). On appelle inverse généralisée ou
pseudo-inverse ou inverse de Moore-Penrose de M l’unique matrice
M+ de taille (n, m) qui vérifie :

MM+ M = M
M+ MM+ = M+
(MM+ )T = MM+
(M+ M)T = M+ M

Propriétés

Si M est inversible, M+ = M−1


Si M est de rang n, alors M+ = (MT M)−1 MT

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Moindres carrés

La solution de minn kMx − bk2 est x̂ = M+ b = (MT M)−1 MT b


x∈R
I
La solution de minn kMx − bk2N , avec kxk2N = xT Nx, est
x∈R
I

x̂ = (MT NM)−1 MT N b

On identifie avec le th de Gauss-Markov : X̂ = (HT Σ−1 H)−1 HT Σ−1 Y

Théorème (équivalence variationnelle)


Le calcul du BLUE est équivalent à minimiser

1 1
J(x) = kHx − yk2Σ−1 = (Hx − y)T Σ−1 (Hx − y)
2 2

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Remarques
On retrouve le fait que :
la vision "estimation statistique" rationalise le choix de la norme
de minimisation
concavité de J ≡ précision de l’estimation :
h i−1
Hess(J) = HT Σ−1 H = Cov (X̂)

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

On a souvent une première idée (ébauche) xb de la valeur de x


Il faut m ≥ n : il peut être nécessaire de rajouter de l’information
aux observations disponibles
 
Xb ←− ébauche
On écrit : Y =
Z ←− nouvelles obs

On pose : Xb = x + eb et Z = Ho x + eo

Hypothèses :
E(eb ) = 0 ébauche sans biais
E(eo ) = 0 appareils de mesure sans biais
Cov (eb , eo ) = 0 erreurs d’ébauche et de mesure indépendantes
Cov (eb ) = B et Cov (eo ) = R précisions et covariances connues

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

On retrouve le cadre général, avec


       
Xb In eb B 0
Y= = x+ et Σ =
Z Ho eo 0 R

Analyse

X̂ = Xa = Xb + (B−1 + HTo R−1 Ho )−1 HTo R−1 (Z − Ho Xb )


| {z }| {z }
gain innovation
avec Cov (X̂) = Pa = (B−1 + HTo R−1 Ho )−1

Remarque : La matrice de gain s’écrit aussi BHTo (Ho BHTo + R)−1

GT MOISE, 30 mai 2007


Rappels de probas Cas d’école
Estimation linéaire Généralisation
Quelques remarques Avec le formalisme de l’assimilation de données

Equivalence variationnelle (3D-Var)


C’est équivalent à minimiser

1 1
J(x) = (x − xb )T B−1 (x − xb ) + (Ho x − z)T R−1 (Ho x − z)
|2 {z } |2 {z }
Jb Jo
h i−1
et on a : Hess(J) = B−1 + HTo R−1 Ho = Cov (X̂)

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

On ajoute la variable temporelle : système dynamique + observations


à différents instants t1 , t2 , . . ..
xt (tk +1 ) = M(tk , tk +1 )xt (tk ) + e(tk )

xt (tk ) état vrai à l’instant tk


M(tk , tk +1 ) modèle supposé linéaire entre tk et tk +1
e(tk ) erreur-modèle à l’instant tk
On dispose à chaque instant d’observation tk d’une donnée yk et
d’une prévision du modèle xf (tk ). On peut donc appliquer le BLUE :

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Filtre de Kalman (Kalman and Bucy, 1961)


Initialisation :
xa (t0 ) = x0
Pa (t0 ) = P0
où x0 est un état initial approché et P0 est sa matrice de covariance
d’erreur.

Etape k (prévision - correction) :

xf (tk +1 ) = M(tk , tk +1 )xa (tk ) Prévision


Pf (tk +1 ) = M(tk , tk +1 )Pa (tk )MT (tk , tk +1 ) + Qk

xa (tk +1 ) = xf (tk +1 ) + Kk +1 yk +1 − Hk +1 xf (tk +1 )


 
BLUE
−1
Kk +1 = Pf (tk +1 )HTk+1 Hk +1 Pf (tk +1 )HTk+1 + Rk +1


Pa (tk +1 ) = Pf (tk +1 ) − Kk +1 Hk +1 Pf (tk +1 )

où les exposants f et a signifient respectivement forecast et analysis.


GT MOISE, 30 mai 2007
Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Hypothèses
e(tk ) est sans biais et de matrice de covariance connue Qk
e(tk ) et e(tl ) sont indépendantes pour k 6= l
Obs yk sans biais, de matrice de covariance d’erreur connue Rk
e(tk ) et erreur d’analyse xa (tk ) − xt (tk ) sont indépendantes

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Equivalence variationnelle (4D-Var)


On a encore une certaine équivalence avec la minimisation de

1
J(x) = (x − x0 )T P−1
0 (x − x0 )
2
N
1 X
+ (Hk M(t0 , tk )x − yk )T R−1
k (Hk M(t0 , tk )x − yk )
2
k =0

au sens où, s’il n’y a pas d’erreur modèle, on obtient dans les 2 cas la
même solution à t = tN .

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Il n’y a aucune hypothèse de “gaussianité” dans tout ce qui précède.


Que se passe-t-il si on rajoute une hypothèse sur la loi de probabilité
des observations ?

Exemple : n observations y1 , . . . , yn d’un état vrai x inconnu.

Hypothèses :

Yi ,→ N (x, σi2 ) sans biais, précision connue, + loi connue


Cov (Yi , Yj ) = 0 (i 6= j) mesures indépendantes

Fonction de vraisemblance :

L(x) = dP(Y1 = y1 et Y2 = y2 et . . . et Yn = yn )

On cherche :
x̂ = Argmax L(x) estimateur du max. de vraisemblance

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

n n (yi −x)2
Y Y 1 −
2σ 2
Ici : L(x) = dP(Yi = yi ) = √ e i

i=1 i=1
2π σi
m
X 1
yi
σ2
i=1 i
D’où : x̂ = m
On retrouve le BLUE
X 1
σ2
i=1 i

Théorème
Si les statistiques d’erreurs sont gaussiennes, le BLUE est aussi
l’estimateur du maximum de vraisemblance.

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

C’est bien plus qu’anecdotique. Cela fournit en fait une réponse à la


question :

Connaissant la loi de probabilité des informations (ébauche + obs),


quelle est la loi de probabilité de (l’estimation de) l’état ?
 !−1 
m
X 1
Pour l’exemple précédent : X̂ ,→ N x, 2

σ
i=1 i

C’est l’approche bayesienne de l’estimation, car fondée sur le calcul :

Fn de vraisemblance a priori
z }| { z }| {
dP(Y = y |X = x) dP(X = x)
dP(X = x|Y = y ) =
dP(Y = y )

P(B|A)P(A)
(th de Bayes : P(A|B) = )
P(B)
GT MOISE, 30 mai 2007
Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Remarque
Si les statistiques ne sont pas gaussiennes, l’approche bayesienne
est toujours valide. Simplement, on ne sait pas forcément mener les
calculs au bout, et elle ne redonne pas forcément le BLUE.

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

Plan
1 Rappels de probas
Variables et vecteurs aléatoires
Loi normale

2 Estimation linéaire
Cas d’école
Généralisation
Avec le formalisme de l’assimilation de données

3 Quelques remarques
Filtrage de Kalman
Et la loi normale dans tout ça ?
Difficultés pratiques

GT MOISE, 30 mai 2007


Rappels de probas Filtrage de Kalman
Estimation linéaire Et la loi normale dans tout ça ?
Quelques remarques Difficultés pratiques

C’est comme d’habitude :

Taille : m et n peuvent être très grands : stockage/manipulation


des matrices difficiles ou impossibles. Développer des
approches de rang réduit.
Méconnaissance des stats d’erreur : B et R jouent un rôle
fondamental.

X̂ = Xa = Xb + BHTo (Ho BHTo + R)−1 (Z − Ho Xb )

En pratique, on ne les connaît pas bien. Leur approximation est


un aspect très important.
Non-linéarités : H (et M) sont en général non-linéaires.
- Il faut adapter la méthode statistique (linéarisation : Kalman
étendu)
- La méthode variationnelle peut rester la même. Mais difficulté
de minimisation.
Dans tous les cas, on perd le critère d’optimalité statistique
GT MOISE, 30 mai 2007