You are on page 1of 32

D.

TOUIJAR 15/03/2016

2015-16

Méthodes Econométries
Module M2:
-Econométrie I

Parcours :
Economie et Gestion

S6 -Section B-
Vol. Horaire : 50h = 34 C + 12.5 Td +3.5 éval
TOUIJAR 1 TOUIJAR 2

La naissance de l'économétrie moderne


La naissance de l'économétrie moderne

L'économétrie moderne est née à la fin des années 30 et


En simplifiant de façon sans doute abusive l'on peut
pendant les années 40. Elle est la résultante de trois
phénomènes : le développement de la théorie de l'inférence distinguer deux grandes périodes de la recherche
statistique à la fin du XIX ème siècle ; la théorie macro- économétrique moderne . Jusqu'à la fin des années
économique et la comptabilité nationale qui offrent des 70 l'économétrie va étudier la spécification et la
agrégats objectivement mesurables ( contrairement à la solvabilité de modèles macroéconomiques à
microéconomie fondée sur l'utilité subjective ) ; enfin, et surtout équations simultanées . Puis à la suite de ce que l'on
, la forte demande de travaux économétriques, soit de la part
a appelé la révolution des anticipations rationnelles et
d'organismes publics de prévision et de planification , soit de la
part d’entreprises qui ont de plus en plus besoin de modéliser de la critique de Lucas, la recherche se tournera
la demande et leur environnement économique général. A davantage vers la microéconomie et l'analyse des
partir des années 60, l'introduction de l'informatique et des séries temporelles .
logiciels standardisés va rendre presque routinière l'utilisation
de l'économétrie . TOUIJAR 3 TOUIJAR 4

Introduction générale Introduction générale


L’économétrie est la branche des sciences économiques
qui traite des modèles et des méthodes mathématiques Les modèles utilisés ne permettent pas de
appliquées aux grandeurs et variations économiques.
prévoir, au sens strict, l’évolution des
Le calcul infinitésimal, les probabilités, la statistique, et phénomènes économiques, mais davantage de
la théorie des jeux, ainsi que d’autres domaines des
construire des hypothèses et d’extrapoler des
mathématiques, sont utilisés pour analyser, interpréter
et prévoir divers phénomènes économiques tels que les tendances futures à partir d’éléments actuels.
variations de prix sur le marché, l’évolution des coûts
de production, le taux de croissance, le niveau du
chômage, les variations du taux de change, les grandes
tendances de l’économie à court et moyen terme qui
permettent d’orienter la conduite d’une politique
économique. TOUIJAR 5 TOUIJAR 6

1
D.TOUIJAR 15/03/2016

PROGRAMME DE CE SEMESTRE BIBLIOGRAPHIE

Titre Auteurs Code


Chapitre 0: Rappel sur les Tests ECONOMETRIE
William Greene
d’Hypothèses et moments conditionnels
ECONOMETRIE : Théorie et M.Cohen-
techniques de base- exercices J.Pradel
Chapitre 1: Introduction au modèle ECONOMETRIE : manuel et exercices
corrigés R.Bourbonnais
de régression linéaire simple
Probabilités-Analyse des données et
G.Saporta
statistique
Chapitre 2: Le modèle ECONOMETRIE : Le modèle linéaire
F.B. doucouré Econ:46
de régression linéaire multiple
TOUIJAR 7 général
TOUIJAR
8

CH 0 Introduction
 Soit X1, X2, …, Xn un échantillon aléatoire
θ), où θ ∈ Θ
Rappels relatif à la V.A. parente X de loi L (θ
est un paramètre réel inconnu.
I  Le semestre précédent, on cherchait à estimer
θ. Mais il arrive qu’on ait une idée préconçue sur
LES TESTS sa valeur: θ = θ 0
 On désire alors tester la validité de cette
STATISTIQUES hypothèse, en la confrontant à une hypothèse
alternative.
TOUIJAR 9 TOUIJAR 10

 Cette dernière exprime une


tendance différente au sujet du
Méthodologie du
paramètre. test d’hypothèse
Exemple :
On suppose que Θ est partitionné en Θ0
Est-ce que le taux de
et Θ1:
chômage au Maroc est p 0 ? Θ = Θ 0 ∪ Θ1 et Θ 0 ∩ Θ1 = Ø
Est-ce que l’espérance de vie
au Maroc est µ0 ?...ou a  Exprimons le fait que θ ∈ Θ 0 par
augmenté ?
TOUIJAR 11
l’hypothèse H0 et le fait que θ ∈ Θ1 par H1
TOUIJAR 12

2
D.TOUIJAR 15/03/2016

 H0 : s’appelle l’hypothèse nulle.


 H0 : « θ ∈ Θ0 »
H1 : s’appelle l’hypothèse
H1 : « θ ∈ Θ1 » alternative.

Si Θ0 se réduit au seul point θ0: Θ 0 = {θ 0 }

H0 devient H0 : « θ = θ 0 » et sera
appelée l’hypothèse simple.

TOUIJAR 13 TOUIJAR 14

Soit l’hypothèse simple H0 : « θ = θ 0 »  Si H1 est telle que H1: « θ < θ 0 » ;


alors on dit que le test est unilatéral à
gauche:
 Si H1 est telle que H1: « θ > θ0
»;
alors on dit que le test est unilatéral à
droite: H0 :"θ =θ0"
H0 :"θ =θ0" 
 T.U.G. #
T.U.D. # H :"θ <θ "
H :"θ >θ "  1 0
 1 TOUIJAR
0 15 TOUIJAR 16

 Si H1 est telle que H1: « θ ≠ θ0» ; • Définition: Un test d’hypothèse, est


une règle de décision permettant, au vu
alors on dit que le test est bilatéral : de la réalisation ( x1, x2, …, xn ) de l’E.A., de
répondre à la question « dans lequel des

H0 :"θ = θ0" deux sous ensemble se trouve θ ? »


T.B. # • Cette règle de décision peut
conduire à deux types d’erreurs:
H :"θ ≠ θ "
 1 0
TOUIJAR 17 TOUIJAR 18

3
D.TOUIJAR 15/03/2016

• On rejette H0 alors que H0 est vraie: • 1)-


RH0/H0vraie
• On l’appelle « erreur de première
α = P(RH 0 H 0Vraie ) = P0 (RH 0 )
espèce »
• C’est le risque de première espèce.
• On ne rejette pas H0 alors que H1 est
vraie: • 2)-
NRH0/H1vraie;
β = P (NRH 0 H1Vraie ) = P1 ( NRH 0 )
• c’est « l’erreur de seconde espèce ».
• On définit alors la probabilité de
commettre l’une ou l’autre erreur: • C’est le risque de seconde espèce.
TOUIJAR 19 TOUIJAR 20

• Voici un tableau résumant toutes les situations Procédure à suivre


1- définir le paramètre θ à tester
Décision 2- Formuler les deux hypothèses H0 et H1
Réalité RH0 NRH0 3- Préciser le Genre du test
4- Choisir la Statistique du test (bon estimateur de θ)
H0 Vraie Erreur de 1ère Bonne Décision
espèce 5- Préciser la loi de la statistique sous H0
6- Ecrire la règle de Décision
H1 Vraie Bonne Décision Erreur de 2ème
7- Faire l’application numérique et décider
espèce
8- Conclure
TOUIJAR 21 TOUIJAR 22

I- Tests Relatifs à Une Proportion


Procédure à suivre
1Test Unilatéral à gauche pour la proportion
•i) Formulation des hypothèses 1- paramètre p=θ à tester
2- Formulation des deux hypothèses
3- TUG pour la proportion
 H 0 :" p = p 0 " 4- F est un bon estimateur de p
 5- si le T.C.L. est vérifié sous H0 alors
T .U .G . #
 H 1 :" p < p 0 " F − p0
Z= ↝ 0 , 1
p 0q 0
n
TOUIJAR 23 TOUIJAR 24

4
D.TOUIJAR 15/03/2016

I- Tests Relatifs à Une Proportion Courbe de densité où


de la loi normale P ( Z > +z α ) = α
1Test Unilatéral à gauche pour la proportion centrée réduite 1 et
F − p0 2π où z α = −z 1−α
R.D Z=
 p 0q 0
p0 q0
Si f < cα = p0 − zα on rejette H 0 n
n

Si f ≥ c = p − z p0 q0
 α 0 α on ne rejette pas H 0 1- α
n α
En effet :

0 TOUIJAR +zα Z
- Notation : TOUIJAR 25 26

Loi de Loi de
F sous α F sous
H1 H0
zα p0 q0
n
R0
cα p 0 R0 p1 cα p0 F
 
 F−p c − p0 
α = P0 (RH 0 ) = P0 (F < cα ) = P0  0
< α  β
 p q
0 0 p0 q0 
 n n 
cα − p0
⇒ = − zα ⇒ cα = p0 − zα p0 q0
p0 q0 n
TOUIJAR 27 TOUIJAR 28
n p1 cα p0

• Remarque : Les logiciels utilisent souvent


le niveau de signification α0 ( p-value)
d’une réalisation f de F : c’est le plus
petit α à partir du quel on ne peut plus α0 P-value Interpretation

P0 (F < f ) = α 0
rejeter H0 :
α0 < 0,01 very strong evidence against H0

0,01 ≤ α0 < 0,05 moderate evidence against H0


Si dans notre exemple on suppose que n=100, p0=0.75 f = 0,65
Alors : α 0 = P0 (F < f ) 0,05 ≤ α0 < 0,10 suggestive evidence against H0

= P0 (Z < −2,309) = 1% 0,10 ≤ α0 little or no real evidence against H0


Signe de la région de Rejet
Le test est donc significatif
TOUIJAR à 5% 29 TOUIJAR 30

5
D.TOUIJAR 15/03/2016

• 2- Test Unilatéral à droite pour la En effet :


proportion
 H 0 :" p = p0 "
• i)-F.H.  zα p0 q0
T .U .D.# n
F
 H 1 :" p > p0 "
R0 p0 cα
R0
• ii) si le T.C.L. est vérifié sous H0 alors la  
règle de décision devient :  F − p0 c − p0 
α = P0 ( RH 0 ) = P0 ( F > cα ) = P0  > α 
 p 0q 0 p 0q 0
R.D
 
p0 q0  n n 
Si f > cα = p0 + zα on rejette H 0
n cα − p 0
 ⇒ = + z α ⇒ cα = p 0 + z α p 0q 0
Si f ≤ c = p + z p0 q0 on ne rejette pas H p 0q 0 n
α αTOUIJAR
 0
n
0 31
n TOUIJAR 32

• Remarque : La p-value ici vaut : 3- Test Bilatéral pour la proportion


F.H

α 0 = P0 (F > f ) H0 :" p = p0"



T.B.#
Si on teste p = 0,75 # p > 0,75 et si n=100 f = 0,65
H1 :"p ≠ p0"
Alors : • Si T.C.L. On adopte la Règle de
α 0 = P0 (F > f ) décision suivante :
= P0 (Z > −2,309) = 99%
R.D
Si f ∉ [c1 ; c2 ] on rejette H 0

Le test n’est donc pas significatif à 5% ni à Si f ∈ [c1 ; c2 ] on ne rejette pas H 0
95% TOUIJAR 33 TOUIJAR 34

• D’où:
R0 R0 • R.D
c1 p0 c2  p0q0
Si f − p0 > zα / 2 on rejette H0
n
R0 
Si f − p ≤ z p0 q0
or f ∈ [c1 , c2 ] ⇔ f ∈ [ p0 − c , p0 + c ] ⇔ f − p0 ≤ c  0 α/2 on ne rejette pas H0
n
d ' où f ∉ [c1 , c2 ] ⇔ f − p0 > c
• Ou
 
 F−p  Si z > zα /2 on rejette H 0
α = P0 (RH 0 ) = P0 ( F − p0 > c ) = P0 
c 
0
> 
Si z ≤ zα /2 on ne rejette pas H 0
 p0 q0 p0 q0 
 n n 
• avec f − p0
c p0 q0 z =
⇒ = zα ⇒ c = zα p 0q 0
p0 q0 2 2
TOUIJAR
n 35 TOUIJAR 36
n n

6
D.TOUIJAR 15/03/2016

Remarque Si on teste p = 0,75 # p ≠ 0,75 II- Tests Relatifs à Une


et si F vaut f = 0,65 , alors la p-value Moyenne
vaut ici : • 1- Test Unilatéral à droite pour la
  moyenne
 F − p f − 0, 75 
α0 = P0  0
> 
 p 0q 0 0, 75 × 0, 25 
  • Question : est-ce que l’espérance de vie
 n 100 
des marocains a augmenté depuis le
= P0 (Z > + 2 , 3 0 9 ) = 2 × P0 ( Z > + 2 , 3 0 9 ) dernier recensement ?
= 2 × 1% = 2%
• Pour répondre à cette question, on doit
Le test est donc significatif à 5% et même
confronter 2 hypothèses:
à 2,5% TOUIJAR 37 TOUIJAR 38

•i)-
 H 0 :" µ = µ 0 " • 1)- Détermination de c en fonction du
 risque α :
T .U .D.#
 H 1 :" µ > µ 0 "
a)Si σ est connu et (X est normale ou n ≥ 30 )
•ii)-On adopte ensuite une Règle de
décision basée sur la statistique X et qui
c − µ0 
α = P0 (RH 0 ) = P0 ( X > c ) = P0  Z > n ×
répondra à la question: à partir de quelle 

réalisation de X décidera-t-on du rejet de  σ 
H0 pour un risque α ?

Si x > c on rejette H 0 ⇒


c − µ0
× n = zα ⇒ c = µ 0 + zα
σ
Si x ≤ c on ne rejette pas H σ
 TOUIJAR
0 39 TOUIJAR n 40

b)Si σ est inconnu et X est normale; on a


D’où la règle de décision : la règle de décision :
 s
Si x > cα = µ 0 + t n −1;α on rejette H 0
 n
 s
Si x ≤ cα = µ 0 + t n −1;α on ne rejette pas H 0
 σ 
Si x > cα = µ0 + zα n on rejette H0
n
c)Si σ est inconnu et n ≥ 50 ; on a la
 σ règle de décision :
Si x ≤ cα = µ0 + zα on ne rejette pas H0
 n  s
Si x > cα = µ 0 + zα n on rejette H 0
 s
Si x ≤ cα = µ 0 + zα on ne rejette pas H 0
TOUIJAR 41  n
TOUIJAR 42

7
D.TOUIJAR 15/03/2016

II- Tests Relatifs à Une •ii)-On adopte ensuite une Règle de


Moyenne décision basée sur la statistique X et qui
• 2- Test Unilatéral à gauche pour répondra à la question: à partir de quelle
la moyenne réalisation de X décidera-t-on du rejet de
H0 ?
On doit confronter les deux hypothèses
Si x < c on rejette H 0
suivantes Si x ≥ c on ne rejette pas H

 H 0 :" µ = µ 0 "
0
i)- 
T .U .G.# •De la même façon que précédemment, on
 H1 :" µ < µ 0 " a les règles de décision selon les cas :
TOUIJAR 43 TOUIJAR 44

a)Si σ est connu et (X est normale ou n ≥ 30) c)Si σ est inconnu et n ≥ 50 ; on a la


règle de décision :
 σ
Si x < cα = µ0 − zα
 s
Si x < cα = µ 0 − zα n on rejette H 0
on rejette H0
n
 σ  s
Si x ≥ cα = µ0 − zα on ne rejette pas H0 Si x ≥ cα = µ 0 − zα on ne rejette pas H 0
 n  n
b)Si σ est inconnu et X est normale; on a II- Tests Relatifs à Une Moyenne
la règle de décision : 3- Test Bilatéral pour la moyenne
 s
Si x < cα = µ 0 − t n −1;α on rejette H 0

i)- H0 :"µ = µ0"

n 
s T.B.#
Si x ≥ cα = µ 0 − t n −1;α on ne rejette pas H 0
 TOUIJAR
n 45 H1 :"µ ≠ µ0"
TOUIJAR 46

ii)-On adopte la Règle de décision


suivante : x ∈ [c1 ; c2 ] ⇔ c1 ≤ x ≤ c2 ⇔ µ0 − c ≤ x ≤ µ0 + c
⇔ −c ≤ x − µ 0 ≤ + c ⇔ x − µ 0 ≤ c
Si x ∉ [c1 ; c2 ] on rejette H 0

Si x ∈ [c1 ; c2 ] on ne rejette pas H 0 D’où la règle de décision suivante

 Si x − µ0 > c on rejette H0

R0 R0

c1 µ0 c2 Si x − µ0 ≤ c on ne rejette pas H0
TOUIJAR 47 TOUIJAR 48
R0

8
D.TOUIJAR 15/03/2016

b)Si σ est inconnu et X est normale


On a les règles de décision selon les
 s
cas : Si x − µ0 > t n−1;α / 2 n
on rejette H0
 s
a)Si σ est connu et (X est normale ou n ≥ 30 ) Si x − µ0 ≤ t n−1;α / 2 on ne rejette pas H0
 n
 σ
 Si x − µ0 > zα / 2 n
on rejette H0 c)Si σ est inconnu et n ≥ 50 ; on a
  s
Si x − µ0 > zα / 2
 on rejette H0
 σ n
Si x − µ0 ≤ zα / 2 on ne rejette pas H0 
 n s
Si x − µ0 ≤ zα / 2 on ne rejette pas H0
TOUIJAR 49
 n
TOUIJAR 50

RD. 
III- Tests Relatifs à Une Si s 2 > cα on rejette H 0

Si s ≤ cα
2
on ne rejette pas H 0
Variance
• Dans ce paragraphe on supposera la χ2 (n-1)
normalité de la population

• 1- Test Unilatéral à droite pour la α


variance
 H 0 :"σ = σ 0 "
2 2
χ 2n−−1;α Y

T .U .D.# Y = ( n − 1)
S2 χ2 (n-1) sous H0
σ 02
 H1 :"σ 2 > σ 02 " σ 02 σ2
 α = P0 (Y > χ 2 ) = P S
 2
>

χ 2 α  ⇒ cα = 0 χ522
TOUIJAR 51 n −1;α 0

TOUIJAR
n −1 
n −1;
n −1 n −1;α

2- Test Unilatéral à gauche pour la


De la même façon que précédemment, on variance
a les règles de décision selon les cas :  H 0 :"σ 2 = σ 02 "

T .U .G.#
a)Si µ est inconnue
 H1 :"σ 2 < σ 02 "
La statistique utilisée est S2; d’où la R.D. 
est :
 σ 02 R.D. (pour µ inconnue)
Si s > χ n −1;α  σ 02
2 2
on rejette H 0
n −1 Si s < χ n −1;1−α
2 2
on rejette H 0
 n −1
Si s 2 ≤ χ n2−1;α σ 2
0

σ 02
on ne rejette pas H 0 Si s 2 ≥ χ n2−1;1−α
 n −1 
on ne rejette pas H 0
TOUIJAR 53
n −1 TOUIJAR 54

9
D.TOUIJAR 15/03/2016

3- Test Bilatéral pour la Si µ est inconnue


variance
  2 σ 02 σ 02 
 Si s 2
∉ χ
 n −1;1−α / 2 ; χ n2−1;α / 2 
 n −1 n − 1
H0 :"σ = σ " 2 2 
 0
on rejette H
T .B.# 
0

Si s 2 ∈  χ 2 σ 02 σ 02 
H1 :"σ 2 ≠ σ 02 "  n −1;1−α / 2 ; χ n2−1;α / 2 
   n −1 n − 1

on ne rejette pas H 0
TOUIJAR 55 TOUIJAR 56

Cas où µ est inconnue


• 1- Test Bilatéral de • Rapport critique (sous H0):
comparaison de 2 Variances : S2
Rc = 12 Si s12 > s22  σ 22
• On suppose la normalité des 2 S2 H 0 : =1
S 22 σ 12
populations Sinon R c = 2 et F.H. devient alors 
H1 : σ 2 2 ≠ 1
2
S1
 σ 12 = 1  σ1
• F.H.  H :
H 0 : σ 12 = σ 22
0
σ 22 • Loi de Rc sous H0 :

 
# ⇔ #
Rc ↝ ℱ
1 ,
2 
H : σ 2 ≠ σ 2 
 1 1 2
 σ 12
H 1 : ≠1
 σ 22
TOUIJAR 57 TOUIJAR 58

2- Test Bilatéral de comparaison de 2


• R.D. moyennes
H0 : µ1 = µ2 H0 : µ1 − µ2 = 0
[
Si Rc ∉ F1−α / 2 (ν 1 ;ν 2 ) ; Fα / 2 (ν 1 ;ν 2 ) ] 
#

⇔ #

on rejette H 0 H1 : µ1 ≠ µ2 H1 : µ1 − µ2 ≠ 0

[
Si Rc ∈ F1−α / 2 (ν 1 ;ν 2 ) ; Fα / 2 (ν 1 ;ν 2 ) ] 
• On propose X 1 − X 2 comme estimateur
on ne rejette pas H 0 de µ1−µ2 :
où ν i = ni − 1
a)Si σ1 et σ2 connus et (X1 normale ou n1 ≥ 30 )
TOUIJAR 59
n2 ≥ 30
et (X2 normale ou TOUIJAR ) 60

10
D.TOUIJAR 15/03/2016

R.D. b)Si σ1 et σ2 inconnus mais égales et X1 et


X2 normales, alors la R.D. est la suivante
 σ 12 σ 22 :
 Si x1 − x2 > zα / 2 + on rejette H0  1 1
 n1 n2  Si x1 − x2 > tα / 2;n1 +n2 −2 sˆ +
  n1 n 2

  on rejette H
 σ12 σ 22 
0
Si x1 − x2 ≤ zα / 2 + on ne rejette
Si x − x ≤ t 1 1
 n1 n2 α / 2;n1 + n2 −2 sˆ +
pas H  1 2
n1 n 2
 0

TOUIJAR 61  on ne rejette pas H0 TOUIJAR 62

•Où

S =
ˆ 2 (n1 − 1)S12 + (n2 − 1)S 22 
 Si x1 − x2 > zα / 2
s12 s22
+ on rejette H0
(n1 − 1) + (n2 − 1)  n1 n 2



 s12 s22
•c)Si σ1 et σ2 inconnus et n1 ≥ 50 , n2 ≥ 50 Si x1 − x2 ≤ zα / 2 + on ne rejette
alors la R.D. est la suivante :  n1 n 2
pas H
 0
TOUIJAR 63 TOUIJAR 64

• RAPPELS
• Moments Conditionnels :
• On suppose que Y est une V.A.R. mais que X
CH 0 peut être qualitative;

Rappels • L’Espérance conditionnelle :


II • On appelle espérance de Y sachant X=x;
notée E (Y X = x ) ; la quantité définie par
Moments E (Y X = x ) = ∑ y P (Y = y / X = x )
Conditionnels y
• Rem : E(Y/X=x)=ϕ(x) est une fonction de x
appelée fonction de régression de Y en X
TOUIJAR 66
TOUIJAR 65

11
D.TOUIJAR 15/03/2016

• Définition : • La Variance conditionnelle :


• On appelle espérance conditionnelle de Y • Définition :
sachant X; notée E (Y X ) ; la variable • On appelle Variance conditionnelle de Y
aléatoire définie par : sachant X=x; notée V (Y X = x ) ; la quantité
E(Y/X)=ϕ(X)
V (Y X = x ) = E (Y − E (Y X = x ) ) / X = x 
2

 
• Propriétés : • De là on peut définir la V.A. variance
conditionnelle :
• 1) Linéarité: E (Y 1 + Y 2 X ) = E (Y 1 X ) + E (Y 2 X ) V (Y X ) = E (Y − E (Y X ))
2
/X 
 
• 2) Théorème de l’espérance Totale :
• Théorème de la variance Totale :
E  E (Y TOUIJAR
X )  = E (Y ) 67 V (Y ) = E V (Y
TOUIJAR / X )  +V  E (Y X ) 68

• Approche géométrique : • Approche géométrique :


• Soit le produit scalaire de 2 V.A. X et Y, noté • Soit maintenant l’espace Lx des V.A.
<X , Y>, définie comme suit fonctions de X (i.e. du type ϕ(X)); alors
<X , Y>= E(XY) E(Y/X) est la projection orthogonale de Y sur
Et soit ||.|| la norme associée à ce produit Lx (les propriétés d’un projecteur orthogonale sont
vérifiées grâce aux propriétés de l’espérance
X ,X = E (X )
scalaire :
X = 2
conditionnelle).D’où E[(Y-ϕ(X))2] minimale si
ϕ(X)=E(Y/X)
• Si Y et X sont deux variables centrées, alors Y W
<X,Y>=E(XY)=cov(X,Y) et X = E X 2 = σX ( ) θ
E(Y/X)

• E(X) est la projection orthogonale de X sur O D


E(Y)
la droite D des V.A. constantes : X
X
E[(X-a)2] minimale si a=E(X)
TOUIJAR 69 Lx TOUIJAR 70
O E(X)
D
a

Introduction :
• La RLS (régression linéaire simple)
permet d’étudier la liaison (supposée
linéaire) entre deux variables quantitatives
X et Y; où Y (variable endogène) sera
expliquée par X (variable exogène).
• Autrement, on cherche à prévoir le
comportement moyen de Y en fonction de
la V.A. X : Y= ϕ (X) tel que cet estimateur
soit sans biais : E(Y)=E(Y), et à mesurer
TOUIJAR 71 l’erreur de prévision : V(Y-Y)
TOUIJAR 72

12
D.TOUIJAR 15/03/2016

• Nous allons nous intéressé à l’aspect • Modèle théorique de la régression simple


inférentiel de cette régression. • On mesure la qualité de cette approximation
• On supposera, dorénavant, que la par le rapport
fonction ϕ de la V.A. X est linéaire
(Régression Linéaire) et on traitera alors η
2
=
( ( X )) = V ariance exp liquée = Cos
V E Y
2
(θ )
Y
X V (Y ) V arianceTotale
cette régression sous deux volets; le
volet théorique ensuite le volet où on ne • La fonction qui à x ֏ E (Y / X = x ) est appelé
travaillera qu’avec les réalisations de X fonction de régression, dont la représentation
et Y sur un échantillon. graphique s’appelle courbe de régression de Y
en X : on écrit Y = E (Y / X ) +W . Or puisque

E (Y ) = E  E (Y / X )  + E (W ) ⇒ E (W ) = 0

TOUIJAR 73 = E (Y ) TOUIJAR 74

et d’après le graphique ci-dessus W est non • Cas où la régression est Linéaire


corrélée ni avec X ni avec E(Y/X) (car ) d’où • C’est le cas où E(Y/X)=α0+α1X ; on a alors
Y = α 0 + α1X +W
V (Y ) =V  E (Y / X )  +V (W ) E Y( X )=α 0 + α 1X
E (Y ) = α 0 + α 1E ( X )
V (Y ) −V (W ) V (W )
⇒η Y =
2
= 1− ⇒Y − E (Y ) = α 1 ( X − E ( X ) ) +W
X V (Y ) V (Y )
⇒ E  (Y − E (Y )) ( X − E (X ) )  = α 1E  ( X − E (X )) 
2

⇒V (W ) = σ (W ) = 1 −η Y V (Y )
2
2 
 X  + E W ( X − E ( X ) ) 

=0

Cov ( X ,Y ) = ρ σY
⇒ Cov ( X ,Y ) = α 1V ( X )TOUIJAR
⇒ α1 =
TOUIJAR 75
V (X ) σ X76

• Cas où la régression est Linéaire et simple • Modèle de la régression linéaire avec


• L’équation de la droite s’écrit alors données Expérimentales
Cov ( X ,Y ) • Il y a trois types différents de données :
(
E Y
X ) − E (Y )= V (X )
(X − E (X ))
Données en coupes instantanées ( ou transversales :
σ
⇒ Y = E (Y ) + ρ Y ( X − E ( X ) ) +W
Cross-sections)
σX
σY 2 • Exemple : Si on prend le modèle keynésien classique:
⇒ V (Y ) = ρ2 V ( X ) +V (W )
σX 2 C i = α0 + α1Ri +W i ∀i = 1,… , n
= ρ 2V (Y ) +V (W )
⇒ ρ 2 =η Y
2 • Ci et Ri observés pour i = 1, ...,n
X • i =individu, ménage, entreprise,... et n = nombre total
d’observations
TOUIJAR 77 TOUIJAR 78

13
D.TOUIJAR 15/03/2016

• Modèle de la régression linéaire avec • Modèle de la régression linéaire avec


données Expérimentales données Expérimentales

• Séries chronologiques (ou séries temporelles :Time


series) • Données de panel : Panel data (ou données individuelles-
temporelles)
• Exemple : • Exemple :

Ct = α0 + α1Rt +W t ∀t = 1,… ,T Ci t = α0 + α1Ri t +Wi t ∀t = 1,…,T ∀i = 1,…, n


• Ct et Rt observés pour t = 1, ...,T
• Cit et Rit observés pour i = 1, ...,n ; t = 1, ...,T
• T = année, trimestre, mois,... et T = nombre total
d’observations TOUIJAR 79 TOUIJAR 80

• Modèle de la régression linéaire avec


données Expérimentales : 1er type
• Soient les données (xi , yi) un échantillon de
taille n , relatif à (X ,Y).
• Régression linéaire ⇒ E Y ( )
= α 0 + α 1X
X
• Le modèle s’écrit alors :

y i = α0 + α1x i +w i ∀i = 1,…, n

• Où wi sont des réalisations indépendantes de W


d’espérance nulle et de variance σ 2 constante ∀x i
• On l’appelle modèle linéaire
TOUIJAR 81 TOUIJAR 82

• Exemples de Modèles linéaires et non


Linéaires:
1)- Soit la fonction keynésienne :
• Les coefficients(paramètres) α0 et α1 du
Ct = α0 + α1Rt +W t ∀t = 1,… , n
modèle, ainsi que σ 2 (W ) seront estimés
Où C : consommation
R : le revenu
puis testés à partir des données (xi ,yi ) de α1: propension marginale à consommer
α0: consommation incompressible.
l’échantillon. w : l’erreur (bruit)

C’est un modèle linéaire :MRLS


TOUIJAR 83 TOUIJAR 84

14
D.TOUIJAR 15/03/2016

• Exemples de Modèles linéaires et non • Exemples de Modèles linéaires et non


Linéaires: Linéaires:

• 2)- y =α x β un modèle non-linéaire mais • 3)- y = α exp ( β x )


un modèle non-linéaire
qu’on peut rendre linéaire en composant par le mais qu’on peut linéariser en posant :
logarithme :
y ′ = Ln ( y ) ⇒ y ′ = α ′ + β x
Ln ( y ) = Ln (α ) + β Ln ( x )
• Modèle à croissance exponentielle
• Modèle très utilisé en économétrie (élasticité
constante de y/x ; où β est le coefficient
d’élasticité

TOUIJAR 85 TOUIJAR 86

• Exemples de Modèles linéaires et non • Exemples de Modèles linéaires et non


Linéaires: Linéaires:
exp (α + β x )
• 4)- y = un modèle non-linéaire • 5)- y = α + exp ( β x )
1 + exp (α + β x )
est un modèle non-linéarisable
mais qu’on peut rendre linéaire en posant :
 y 
y ′ = Ln   ⇒ y ′ = α + βx
 1− y  • 6)- y = α + β x + γ x est un modèle linéaire
2
• Modèle logistique qui étudie les variations d’un mais pas simple : à 2 variables explicatives.
taux de réponse y en fonction d’une excitation
x

TOUIJAR 87 TOUIJAR 88

• Estimations des paramètres α , β et σ 2: Année PNB: X La Demande : Y


1969 50 6
• Exemple Introductif 1970 52 8
1971 55 9
1972 60 12
Le tableau ci-dessous représente le produit
1973 57 8
national brute ( PNB) et la demande des biens de
1974 58 10
première nécessité obtenus pour la période
1975 62 12
1969-1980 dans un certain pays.
1976 65 9
Nous cherchons à estimer la demande des biens 1977 68 11
de première nécessité en fonction du PNB suivant le
1978 69 10
modèle linéaire simple: TOUIJAR
1979 70 11
yi = α0 + α1x i +w i ;
TOUIJAR i = 1,…, n 89
1980 78 14 90

15
D.TOUIJAR 15/03/2016

• Estimations des paramètres α , β et σ 2: Hypothèses


• Exemple Introductif • H1: Le modèle est linéaire en X

• H2: Exogénéité de la Variable indépendante:


Pour effectuer une telle étude, on doit
préciser certaines conditions d’application E(Wi /X)=0
(hypothèses fondamentales)
• H3: Homoscédasticité et absence d’autocorrélation:
- σ2 = V(W i ) est constante quelque soit i
- Cov(Wi , Wj)=0 pour i≠j

• H4: Les Wi sont de même loi normale :


TOUIJAR 91
Wi N (0,σTOUIJAR
2) 92

f (Y/X)
Remarques
σ
Y
• 1)- La normalité des erreurs W i entraîne celle x1
des Yi ; en effet σ
x2
σ
• Wi N (0,σ2) Y
⇒ i
X i = xi N (α0 +α1xi ; σ2 ) x3

X
• Graphiquement : E (Y / X = x ) = α0 + α1x
TOUIJAR 93 TOUIJAR 94

Remarques I- Estimation des paramètres du MRLS

• 2)- E(Wi /X)=0  E(Wi)=0 et cov(Wi ,X)=0


•1- La méthode des MCO
• 3)- La normalité des erreurs W i n’est pas –On détermine la droite passant, le plus
nécessaire pour l’estimation des paramètres α0 proche, de tous les points du nuage (xi,y i)
et α1 par la méthode des moindres carrés. E(Y /X=x) = α0+ α1 x
Y
• 4)- Il suffit d’avoir la non corrélation des erreurs yi
y ei y = α0+ α1 x
et leur normalité pour avoir leur indépendance y (xi )
yi
• 5)- On pourra ajouter une autre hypothèse : Les
Xi sont certaines (non aléatoires); ceci nous
évitera d’utiliser les espérances
TOUIJAR conditionnelles
95 xi
TOUIJAR
x X 96

16
D.TOUIJAR 15/03/2016

∂F (α0 , α1 ) n
• Notons par l’équation de la = 0 ⇔ −2∑ ( y i − α0 − α1x i ) = 0 (1)
droite de régression recherchée
∂α0 i =1

⇔ y = α0 + α1x
• Et la valeur résiduelle. • Donc la droite passe par le point moyen G ( x ; y )
∂F (α0 , α1 ) n
= 0 ⇔ −2∑ x i ( y i − α0 − α1x i ) = 0 ( 2)
• On désire calculer les valeurs qui ∂α1 i =1
n n n
minimisent la somme des carrés des résidus :
n n
⇔ ∑ x i y i − α0 ∑ x i − α1 ∑ x i2 = 0
∑e = ∑ ( y − αˆ0 − αˆ1x i ) = F (αˆ0 , αˆ1 )
2 2 i =1 i =1 i =1
i i
i =1 i =1 ⇔ xy − α0 x − α1 x = 0 2

• On notera désormais α0 et α1 à la place deαˆ0 et αˆ1


xy − x y Cov ( x , y )
TOUIJAR par rapport à α et 97
α1: ⇔ α1 =TOUIJAR =
• En annulant les dérivées 0 x2 −x2 V (x ) 98

• (1) et (2) nous donnent les équations :


n n Les Données centrées
∑ ei = 0 et
i =1
∑ x i ei = 0
i =1 • En utilisant les données centrées:

• Et d’autre part : 0 = −   0 =  − 
(xi )( y i − y )
αˆ1 = ∑
−x
et αˆ0 = y − αˆ1x d’où A1 s’écrit
∑(xi − x )
2
∑ =1  0 0 
1 =
• α̂ 1 s’écrit aussi ∑ =1 0
2
n (x y ) − x
αˆ1 = ∑ i i 2 ∑ i ∑2 i
y
TOUIJAR
n ∑ (xi ) − (∑ xi ) 99 TOUIJAR 100

X Y X0 X02 Y0 X0 Y0 Y^ ei ei xi ei2

50 6 -12 144 -4 48 7,511 -1,511 -75,532 2,282


52 8 -10 100 -2 20 7,926 0,074 3,872 0,006
55 9 -7 49 -1 7 8,548 0,452 24,867 0,204

60 12 -2 4 2 -4 9,585 2,415 144,894 5,832


57 8 -5 25 -2 10 8,963 -0,963 -54,878 0,927
58 10 -4 16 0 0 9,170 0,830 48,128 0,689
62 12 0 0 2 0 10,000 2,000 124,000 4,000
65 9 3 9 -1 -3 10,622 -1,622 -105,452 2,632
68 11 6 36 1 6 11,245 -0,245 -16,638 0,060
69 10 7 49 0 0 11,452 -1,452 -100,197 2,109
70 11 8 64 1 8 11,660 -0,660 -46,170 0,435
78 14 16 256 4 64 13,319 0,681 53,106 0,464
744 120 0 752 0 156 120,000 0,000 0,000 19,638
α^1 = α^0 =
62 10 0 0 10 0,2074 -2,862

17
D.TOUIJAR 15/03/2016

• Exemple: la droite de régression empirique • Théorème 1:


ˆ sont des estimateurs sans Biais de α , α et de E x (Y
A0 , A1 et Y )
dans notre cas, a pour équation : 0 1

• Elle permet d’obtenir une estimation de la


A1 =
∑ ( X − X )(Y − Y )
i i

∑(X − X )
2
demande moyenne des biens de 1ère nécessité
i
pour un PNB x.
• Rem : 1)- si x (PNB)=0 alors valeur Où E x (Y ) désignera E (Y X =x)
qui n’a aucune signification concrète.
• 2) si x’=x+1, alors ; une augθ de 1 • Remarque :

du PNB entraine une augθ de la demande


αˆ0 , αˆ1 et yˆ sont des réalisations de A0 , A1 et Y
ˆ
moyenne de 0,21. TOUIJAR 103 TOUIJAR 104

• Dem : on doit montrer que E ( A1 ) = α1 • De même puisque :


Pour ce on doit montrer E xi
(A ) = α
1 1
αˆ0 = y − αˆ1x , αˆ0 étant une réalisation de A0 ;on a :
En effet E E ( ( A )) = E ( A ) = α
xi
1 1 1
E x i ( A0 ) = E x i ( Y ) − x 1 E x i ( A1 )

E x i ( A1 ) =
∑(x i −x )E xi
((Y i − Y) )  
α1

∑(x −x ) = α0 + α1x − x 1α1 = α0


2
i

Or E x i (Y i ) = α0 + α1x i
(
⇒ E E x i ( A0 ) = E ( A0 ) = α0)
d’où
E x i ( Y ) = α0 + α1x ⇒ E x i (Y i − Y ) = α1 ( x i − x )
⇒ E x i ( A1 ) = α1 TOUIJAR 105 TOUIJAR 106

• Pour la troisième estimation : • En utilisant les données centrées:


E (Y
x
) = α0 + α1x ⇒ αˆ0 + αˆ1x = yˆ
x 0i = x i − x et Y 0 i =Y i − Y d’où A1 s’écrit
est une estimation sans Biais de α0 + α1x = E (Y x
) ∑ x Y = ∑ x Y = ∑ ωY x 0i
A1 = 0i 0i 0i i
où ωi =
∑(x ) ∑(x ) ∑(x )
i i
⇒ Ŷ = A0 + A1X est un estimateur sans
2 2 2
0i 0i 0i

Biais de E x (Y ) D’où Cov ( A , Y ) = Cov ( ∑ ω Y


xi
1
xi
i i , Y)
 1 
= ∑ ωi Cov x i (Y i , Y ) = ∑ ωi Cov x i Y i , ∑Y j 
• On montre de plus que A1 et Y sont non
corrélés; pour ce, on commence par  n 
σ2
montrer qu’elles le sont = ∑ i
n
ω =0
=0
conditionnellementTOUIJAR
à xi : 107 Par conséquent elles sont non corrélées marginalement
TOUIJAR 108

18
D.TOUIJAR 15/03/2016

Pour la linéarité, on a déjà vu que :


Propriétés et Distributions des
x 0i
Estimateurs A1 et A0 A1 = ∑ ωiY i où ωi =
∑(x )
2
0i
• Théorème 2 (GAUSS-MARKOV) :
Reste à montrer que la variance est minimale;
A0 et A1 sont des estimateurs BLUE de α0 et α1 pour ce supposons qu’il existe un autre
estimateur A’ linéaire et sans Biais (où on
notera E à la place de Exi et V au lieu de Vxi ) :
Dém : on a déjà montré qu’ ils sont sans biais. A ′ = ∑ k iY i et E ( A ′ ) = α1 ⇒ ∑ k i E (Y i ) = α1
De plus
σ ⇒ ∑ k i (α0 + α1x i ) = α1
2
V xi
( A ) = ∑ ω V (Y ) = σ ∑ ω 2 xi 2 2
=
∑(x )
1 i i i 2
0i ⇒ α0 ∑ k i + α1 ∑ k i x i = α1
car
⇒ ∑ k i = 0 et ∑k x =1
V xi
(Y i ) =V (α0 + α1X i W i X i = x i ) =V (W i ) =
+TOUIJAR 109σ
2 i i
TOUIJAR 110

Or De même pour A0; on a vu que :


V ( A ′ ) = ∑ k i2V (Y i ) = σ 2 ∑ k i2 1 ∑ X (Y − Y)
A0 = Y − XA1 = ∑Y −X
0i i

=σ ∑ ( k − ω + ω ) = σ ∑ ( k − ω ) + σ ∑ (ω )
i
∑X
2 2 2 2 2 2 2
i i i i i i N 0i

+ 2σ ∑ ω ( k − ω )
2
i i i ∑ X 0iY i − Y∑X 0i

= σ ∑ ( k − ω ) + σ ∑ (ω ) − 2σ ∑ (ω ) 1  1 
∑Y i − X = ∑  − X Ωi Y i
2 2 2
= =0
2 2 2

∑ X 0i 2
i i i i

+ 2σ ∑ ω k 2 N N 
i i
une réalisation de A0 est :
2σ 2 2σ 2
= σ 2 ∑ ( k i − ωi ) − σ 2 ∑ (ωi ) + 2 ∑ i i
 ∑ x 02i ∑
2 2
x k − x k
 ∑ x 0i   i  1 
V ( A1 )  =1 =0 αˆ0 = ∑  − x ωi  yi
2V ( A1 ) N 
= σ 2 ∑ ( k i − ωi ) + 2V ( A1 ) −V ( A1 )
2
On vient de voir que A0; est une
combinaison linéaire des Yi et qu’il est sans
= σ ∑ ( k i − ωi ) +V ( A1 ) ≥V ( A1 )
2 2

 TOUIJAR 111


Biais de α0 reste à montrer
TOUIJAR
qu’il est de variance
112
≥0
minimale :

On calcule maintenant la variance de A0: • Considérons un autre estimateur linéaire sans biais
(désormais, on travaille avec les xi fixées et V au lieu de Vxi) A’ de α0, d’où
2 2
 1   1 
V ( A 0 ) = ∑  − x ωi  V (Y i ) = σ 2 ∑  − x ωi 
N  N  A ′ = ∑ k iY i et E ( A ′ ) = α0 ⇒ ∑ k i E (Y i ) = α0
 
 2
 ⇒ ∑ k i (α0 + α1x i ) = α0
= σ 2∑ 2 + x 2 
1 x 0i x
− 2 ω
N  N
2
2
N
i 
⇒ α0 ∑ k i + α1 ∑ k i x i = α0

 ∑ xoi  

  i =1   ⇒ ∑ k i = 1 et ∑k x i i =0

 ∑ x0i   

2 1 1 x   =σ  +1 x 2

=σ +x 2
−2 =0 2

N  N
2 N N
2  N  N
2
  ∑ x 0i  ∑ x 0i    ∑ x 0i  
  i =1  i =1
TOUIJAR    i =1 113  TOUIJAR 114

19
D.TOUIJAR 15/03/2016

1
• Or posons f i = − x ωi • Théorème 3 :
N n
V ( A ′ ) = ∑ k i V (Y i ) = σ 2 ∑ k i2 ∑( y − yˆi )
2 2
i
σˆ =
2 i =1 est une estimation sans Biais de σ2
= σ 2 ∑ (ki − f i + f i ) = σ 2 ∑ (ki − f i ) + σ 2 ∑ (f i )
2 2 2
n −2
+ 2σ 2 ∑ f i ( k i − f i )
= σ 2 ∑ ( k i − f i ) −V ( A0 ) + 2σ 2 ∑ f i k i
2
Dém : en injectant Y dans la différence, on a :
2σ 2 2σ 2
=σ ∑(k − fi ) −V ( A0 ) + ∑ x ∑ xi ki
2
ki −
∑ (Y ) = ∑ (Y )
2 n n
2 2
N ∑ x 02i  −Y
ˆ −Y+Y−Y
ˆ ;
i
  i i i i
=1 =0 i =1 i =1
2σ 2 x 2
= σ 2 ∑ ( k i − f i ) −V ( A0 ) + 2V ( A0 ) et puisque Y = Y
ˆ d'où :
2
+
∑ 0i
x 2

( ) ( )
n n n
= ∑ (Y i − Y ) + ∑ Y ˆ − 2∑ (Y − Y ) Y
2
2
ˆ −Y ˆ −Y
ˆ
= σ 2 ∑ ( k i − f i ) +V ( A0 ) ≥V ( A0 )
2 i i i
i =1   i =1 
  i =1 
  (1)
≥0
TOUIJAR 115 ( 2) TOUIJAR (3) 116

Dém : (suite) Dém : (suite)


( ) ( )
n 2 n 2
∑ Y i − Yˆi = ∑ Y i − Y + Y − Yˆi
i =1 i =1
D’où :
n n n

∑ (Y − Y ) = ∑ (W i − W ) + α12 ∑ ( x i − x )
2 2

) )
2

( (
n n n
= ∑ (Y i − Y ) + ∑ Y ˆ − 2∑ (Y − Y ) Y
2
2 i
ˆ −Y ˆ −Y
ˆ i =1 i =1 i =1
i i i
i =1   i =1 
  i =1 

+2 ∑ (W i − W ) ( x i − x
n
() ( 2) (3)
)
1

i =1
D’autre part : pour calculer (1), on a :
⇒ ∑ E  (Y i − Y )  = ∑ E  (W i − W )  + α12 ∑ ( x 0 i
n n n
)
2 2 2

i =1
  i =1   i =1

y i = α0 + α1x i +w i n
+2 ∑ ( x i − x ) E (W i − W )
⇒ y i − y = (w i −w ) + α1 ( x i − x ) 
y = α0 + α1x +w i =1
=0
n n n
= ∑ E W i 2  + n E  W 2  − 2 ∑ E W i W  + α12 ∑ ( x 0 i )
2

TOUIJAR 117 i =1 TOUIJAR 118 i =1 i =1

Dém : (suite) Dém : (suite) Pour ce qui est de (2) :

∑ (Yˆ − Yˆ ) = ∑ (Yˆ − Yˆ )
σ2 n  1  n n n n
− 2∑ E W i W i + ∑W j   + α12 ∑ ( x 0i ) = A12 ∑ ( xi − x )
2 2
= nσ 2 + n
2 2
i i
n i =1  n  j ≠i   i =1 i =1 i =1 i =1

2 n 

 


 n
 i =1
2  n
  i =1
(2
⇒ E  ∑ Yˆi − Yˆ  =  ∑ (xi − x )  E A12

) ( )
= nσ 2 + σ 2 − ∑  E W i 2  + E  ∑W iW j  
n i =1  

 =σ 2


j ≠i
  

 n 2
=  ∑ (x0i )  × V A1 + α12 (( ) )
=0  i =1 
n
+α12 ∑ ( x 0i )  
2
 
 n 2  σ2  n 2
i =1
n n
( )
=  ∑ x0i  × n

+ α1 = σ 2 + α12  ∑ ( x0i ) 
2

 ∑ ( x0 i )
= nσ 2 + σ 2 − 2σ 2 + α12 ∑ ( x 0i ) = ( n − 1) σ 2 + α12 ∑ ( x 0i )
2 2  i =1  2  i =1 

i =1 TOUIJAR i =1 119  i =1 TOUIJAR 120

20
D.TOUIJAR 15/03/2016

Dém : (suite) Pour ce qui est de (3) : Dém : (suite)


Pour ce qui est de (1)+(2)-2*(3) :

∑ (Y − Y )(Yˆ − Yˆ ) = ∑ Y (Yˆ − Yˆ )− Y ∑ (Yˆ − Yˆ )


n n n

∑( )
 n 2
E Yi − Yˆi  = ( n − 2)σ 2
i i i i i
i =1 i =1 i =1
 
n n
 i =1 
= A1 ∑ Yi ( xi − x ) − A1 Y ∑ ( xi − x )
i =1
 
= ∑ ( x0 i ) ∑ ωi Yi
n 2
i =1
 
=0
  1 n
n−2∑ i
⇒ E Y − Yˆi( )2  = σ 2
i =1
 i =1 
 n
 i =1


(   n
  i =1
)2
⇒ E  ∑ (Yi − Y ) Yˆi − Yˆ  = E  A1  ∑ ( x0i )  A1




CQFD
On pose donc :
 n 2
(( )  n 2
=  ∑ (x0i )  × V A1 + α12 = σ 2 + α12  ∑ ( x0i )  ) 1
 i =1  TOUIJAR
 i =1  121
Sσ2 =
n−2
∑ ei2 ESB de σ 2
TOUIJAR 122

Distributions des estimateurs ˆ


A0 , A1 et Y • Remarques :
Puisque Wi est normale, on a • 1- Les lois des estimateurs vont nous servir

Yi/Xi=xi N (α 1 xi + α 0 , σ2) pour la construction des intervalles de


ˆ suivent aussi, pour des x confiance et pour les Tests.
Par conséquent A0 , A1 et Y i
fixées, des lois Normales : • 2- On démontre que :
A1 N ( α1 , σ 2

∑(x ) 0i
2
)
( n − 2 ) S σ2 = ∑ e i2 χ 2 ( n − 2)
 1  σ2 σ2
A0 N (α 0 , σ 
2
+
x2
 )
N ∑ ( x 0i ) 
2
  est indépendante de A 0 , A1 et Y
 1 
Ŷi N (α α
1 xi + 0 ,TOUIJAR
σ2  +
x 02i
 N ∑ ( x )2 
 )
123 TOUIJAR 124
 0i 

II- Tests sur les coefficients du MRLS i)- Formulation des Hypothèses :
H 0 : α1 = 0

• 1- Test sur la régression #
H : α1 ≠ 0
• On veut tester si la régression de Y sur X est
 1

significative ?

ii)- Statistique utilisée et sa loi :


• Sous l’hypothèse α1 = 0 le modèle s’écrit :

Yi = α 0 + Wi ∀i = 1,…, n On Propose alors A1 estimateur sans biais de α1


et Y ne dépend plus alors de X.
TOUIJAR 125 TOUIJAR 126

21
D.TOUIJAR 15/03/2016

A1
N (0 , 1 ) sous H0 σˆ 2 =
1
∑ ( yi − αˆ 0 − αˆ1 xi )2 = 1 ∑ ei2
σ n−2 n−2
∑x 0i
2
• Le n-2 vient du nombre de paramètres estimés
• D’où, la statistique du test sera, sous H0
• Or σ est inconnu, on doit l’estimer;
• Si α 0 et α 1étaient connus, la meilleure
TA1 =
A1
; où sA1 =
σˆ
=
∑e
i
2

estimation de σ2 est : S A1
∑(x ) n − 2 ∑(x )
2 2
0i 0i
1 1
∑w i2 = ∑ ( y i − α0 − α1 x i )
2
qui suit une loi de student à n-2 d.d.l.
n n • Sous H0, T devient :
A1
• Sinon, En remplaçant α0 et α1 par A 0 et A1, on T A1 = tn −2
obtient une bonne estimation
TOUIJAR de σ2 : 127 TOUIJAR
S A1 128

iii)- R.D. • Solution :


: α = 0
Si t A > t n − 2 ;α /2 on rejette H0 F.H.  H 0 1

 1
#
H
  : α ≠ 0
Si t A1 ≤ t n −2 ; α /2 on ne rejette pas H0
1 1

A1
Estimateur et sa loi TA1 = t(10)
S A1
Exercice : R.D.
Si tαˆ > t10 ;0,025 on rejette H0
Pour l’exemple du PNB,  1

Si tαˆ1 ≤ t10 ; 0,025 on ne rejette pas H0
Tester si la régression est significative à 5% ?
TOUIJAR 129 TOUIJAR 130

•A.N. • 2- Intervalle de confiance de α1


αˆ1 n − 2 ∑(x )
2
αˆ1 • D’après ce qui précède, on a :
tαˆ1 = =
0i

∑e I C (α1 ) = [αˆ1 − t n − 2;α / 2 sαˆ1 ; αˆ1 + t n − 2;α / 2 sαˆ1 ]


sαˆ1 i
2

0, 2074 10 752
= ≈ 4, 06 et t10;0,025 = 2, 23
19, 638 • A.N. 19, 638
t10;0,025 = 2, 23 αˆ1 = 0, 2074 sαˆ1 = 10 = 0, 05
752
•On a t calculé supérieur au t tabulé donc
I C (α1 ) = [ 0, 2074 − 2, 23 × 0, 05 ; 0, 2074 + 2, 23 × 0, 05]
on RH0 la régression est donc significative
= [ 0,096 ; 0,319]
TOUIJAR 131 TOUIJAR 132

22
D.TOUIJAR 15/03/2016

• Remarque : III- Tests et Tableau d’Analyse de la


α1 = 0 ∉ I C (α1 ) = [ 0, 096; 0,319] Variance (ANOVA) d’un MRLS
⇒ RH 0
• 1- Équation fondamentale de l’ ANOVA:
• Interprétation: à 95% de confiance, • La notion de liaison entre Y et X, signifie
l’augmentation de la demande moyenne se
q’une variation de x implique celle de Y.
situe entre 0,1 et 0,32 pour une augmentation
de 1 du PNB La formule de décomposition de la
• Pour α0 on a : variance permet de connaître la part de
variation de Y expliquée par celle de X :
I C (α 0 ) = αˆ 0 − t n − 2;α / 2 s αˆ 0 ; αˆ 0 + t n − 2;α / 2 s αˆ 0 
1 x2 

 ∑ i (Yˆ−Y) + ∑
(Y − Y ) =  2
(Y − Yˆ )
 i
2
i i
2

= [ − 9, 979 ; 4, 255 ] où s α2ˆ 0 = S σ2  +  = 3,194 ^ 2


TOUIJAR  n
 ∑ x 02i  133
SCT SCE
TOUIJAR SCR = ∑ 2
e134
i

en effet : • La variabilité totale(SCT)est égale à la


∑ (Y − Y) = ∑ Y − Y( )
2 2
ˆ +Y
ˆ −Y
i i i
variabilité expliquée(SCE) augmentée de la
( ) + ∑ ( Yˆ − Y ) + 2∑ (Y − Yˆ )( Yˆ − Y )
2 2
= ∑ Y −Y
ˆ
i i i i
variabilité résiduelle(SCR).
• Cette décomposition va nous permettre de
= ∑ (Y ˆ ) + (Y
∑ ˆ − Y ) + 2∑ e ( Yˆ − Y )
2 2
−Y i i i i décider de la qualité de l’ajustement du modèle.
= ∑ (Y ˆ ) + ∑(Y
−Y i
2
i ( ˆ − Yˆ )
ˆ − Y ) + 2∑ e Y
2
i i
• Remarque : si la variance expliquée tend
vers la variance totale (SCR faible), la
= ∑ (Y ˆ ) + ∑(Y ˆ − Y ) + 2A ∑ e ( x − x )
2 2
−Y i i 1 i i qualité de l’ajustement tend à être
  meilleure.
( ) + ∑ ( Yˆ − Y ) + 2A  ∑
2 2
= ∑ Y −Y
ˆ
i i e x − x ∑e 
1 i i i • Ceci nous donne une idée de tester,
 
 =0 =0 
 d’une autre façon, la signification de la
=0
régression: un test équivalent au T-test
=∑ (Y −Y
ˆ
i ) + ∑(
2
ˆ −Y
TOUIJAR
Yi )
2
135
sur 1 α TOUIJAR 136

• La variabilité expliquée SCE n’est autre qu’un • D’où


H : α1 = 0
estimateur de E(SCE/1) et SCR estimateur de 
0

# ⇔
E(SCR/n-2); on a : H
 1 : α1 ≠ 0
 SCE
E
 1


( 2
)
 = E A1 ∑ x 0 i = σ + α1 ∑ x 0i
2 2 2 2
H
 0 : E (S C E 1 ) = E ( S C R n − 2 ) ( ré g n o n s ig n .)

 SCR   ∑ e i2  #

E  = E   = σ
2

n −2  n −2
H
 1 : E (S C E 1 ) > E (S C R n − 2 ) ( ré g s ig n .)

•De là, on peut affirmer que si la régression est • La statistique utilisée est SCE
SCR
significative(α 1 ≠ 0 ) alors:E(SCE /1) > E(SCR/n-2) • Sa loi sous H0?
•Par contre, si la régression n’est pas significative On montre que

(α 1 = 0) alors: E(SCE/1) = E(SCR/n-2) σ2


SCE/σ χ2(1)
TOUIJAR 137
σ2
SCR/σ TOUIJAR
χ 2(n-2) 138

23
D.TOUIJAR 15/03/2016

• D’où sous H0 Tableau de l’ ANOVA


SCE Source Somme Carrés
d.d.l Fisher
•F=
1
Y (1 ; n − 2) de varθ des carrés moyens
SCR
n−2 x SCE= ∑ Yˆi − Y ( )2
1 SCE/1F=
SCE/
• R.D.
 Si F > Y α (1N n − 2 ) on rejette H 0 Résidu SCR= ∑e 2
i n-2 SCR/(n-2) (SCR/(n-2))

 Si F ≤ Y α (1N n − 2 ) on ne rejette pas H 0
SCT=∑ (Yi − Y )
2
Totale n-1
• Remarque :on a vu Y (1;n-2) = [t(n-2)]2
• En effet : A 
2

(T ) •Exercice: on reprend l’exo. Précédent. A l’aide


2
=  1  = SCE =F
A1
 SA  SCR n − 2 de l’ANOVA, tester si la régression est significative
 1
TOUIJAR 139 TOUIJAR 140

• Solution : sous H0 • Une troisième façon de tester la


régression est de tester le coefficient de
• F=
SCE
SCR
Y (1 N n − 2) corrélation théorique ρ :
• R.D. n−2
Si F > F0, 05 (1;10 ) on rejette H 0 F.H. H 0 : ρ = 0

 #
Si F ≤ F0, 05 (1;10 ) on ne rejette pas H 0 H : ρ ≠ 0
 1

OrF = SCE ×10 = αˆ1 ∑ x 0i ×10 = 0, 2074 × 752 = 16, 472


2 2 2
• Soit R le coefficient de corrélation simple
SCR 2
∑ ei 1,9638
entre X et Y estimateur de ρ; R 2 est
Y0,05(1;10) = 4,96 d’où F > Y0,05(1;10) donc on RH0 appelé le coefficient de détermination
la régression est donc significative SCE SCR
R2 = =1−
Remarque :F = [T]2=(4,06)2=16,484
141 TOUIJAR 142
SCT SCT

• En effet, cov( x, Y ) ∑x Y Or on a vu que :


R= =
0i 0i
SCE
σ Xσ Y
∑ x ∑Y 2
0i
2
0i F=
SCR
1 =
R 2 SCT
SCR
=
SCR
R2
=
R2
1− R2 ( )
⇒ R2 =
(∑ x Y ) 0i 0i
2

= αˆ12
∑x 2
0i
n−2 n−2 SCT
n−2
n−2

∑ x ∑Y 2
0i
2
0i ∑Y 2
0i Et sous H0
R n−2
αˆ12 ∑ x02i SCE F = Tαˆ21 ⇒ Tαˆ 1 = tα / 2 (n − 2 )
=
SCT
=
SCT R.D. (1 − R ) 2

• Car

( )
Si r > rα / 2;n − 2 on rejette H 0
( ) 
2
SCE = ∑ = ∑ Yˆi − Yˆ
2
Yˆi − Y 
Si r ≤ rα / 2;n − 2 on ne rejette pas H 0
= ∑ (αˆ1 ( xi − x )) = αˆ12 ∑ x02i
2
TOUIJAR 143 r α/
α/22; n-2 se trouve sur la tableTOUIJAR
du coefficient de corrélation144

24
D.TOUIJAR 15/03/2016

• A.N. : SCE 32, 347


r2 = = = 0, 622 ⇒ r = 0, 789 IV- PREVISION Sur Un MRLS
SCT 52
• Or r = 0,789 > r0,025;10 ≈ 0,576 on rejette H 0 • On sait que Ŷi est un estimateur de la
moyenne des (Yi) donc de E(Y):
• Remarques: Yt = Ŷt + et = αˆ 0 + αˆ 1 xt + et ∀t = 1,⋯ , n
• - On peut tester H0 en utilisant le rapport
R n − 2 • À l’instant k=n+1, on a :
critique T = , on lit alors t dans la
(1 − )
Ŷk = αˆ 0 + αˆ 1 x k = Y + αˆ 1 ( x k − x )
2
R
table de student à n-2 ddl
• le r-test sur le coefficient de corrélation ρ est
équivalent au T-test sur la pente(α 1 ) équivalent Intervalle de confiance autour de E(Y)
au F-test sur les variances.
TOUIJAR 145 TOUIJAR 146

• Propriétés de Ŷk : la loi de Ŷk est normale  on a alors :


car combinaison des Yi Yˆk − E (Y k )
TYˆ = tα /2 ( n − 2 )
( )
E Yˆk = E (Y ) + (x k − x ) E (αˆ1 )
k
1
σˆ  +
( xk − x ) 
2


 n ∑ ( x − x )2 
= (α 0 + α 1 x ) + (x k − x )α 1 = E (Yk )  i 

( )
V Yˆk = V(Y ) + (xk − x ) V(αˆ1 ) =
2 D’où

 + (x k − x )
1 2 
σ 2
σ 2  1 ( x − x )2  I C (E (Yk )) = Ŷk − σˆ tα / 2 (n − 2 ) ;
+ ( xk − x ) 2
= σ 2 + k 2 
n
  n ∑ ( x − x )2



∑x ∑ x0i  
2 i
n 0i 
1 (x k − x )2 
• Or σ2est inconnue, on l’estime par
σ̂ 2
=
∑e 2
i Ŷk + σˆ tα / 2 (n − 2 )  +
(xi − x )2
 n ∑TOUIJAR


TOUIJAR
n−2
147
  148

Si n → ∞ : Intervalle de confiance pour E(Yk)


 + (xk − x )
1 2 
I C (E (Yk )) = Ŷk − σˆ zα / 2 ;
  n ∑ ( x − x )2  y
  i 
b.sup Ŷ = A0 + A1X

 + (xk − x )
1 2

Ŷk + σˆ zα / 2 
 n ∑ ( x − x )2 
 i 
b.inf

TOUIJAR 149
x
TOUIJAR
X
150

25
D.TOUIJAR 15/03/2016

Exercice: on reprend toujours le même exo.


• Estimer à l’aide d’un intervalle de confiance la
moyenne des Y pour un x = 78.
Solution : on a d’abord Yˆ78 = −2,862 + 0, 2074 × 78 = 13,319

  1 ( 78 − 62 )2 
I C ( E (Y 78 ) ) = 13,319 − 2, 23 1,964  + ;
  10 752 
  

 1 ( 78 − 62 )2  
13,319 + 2, 23 1,964  + 
 10 752 
 
= [11, 287 ;15,352] TOUIJAR 152

Régression de Y par X (R²=0,622)


18

V- PREVISION Sur Un MRLS


16

Intervalle de prévision autour de Y k


14

12
Soit xk une valeur non observée de X (exple k=n+1)
10
alors la prévision naturelle de Yk est
Y

8
Yˆk = A0 + A1 xk
6
Or Yk =(Y/X=xk ) N (α1 xk + α 0 , σ2)
Vu que les 2 V.A. Yk(ne dépend que de εk) et Ŷk
4

(ne dépend que des valeurs précédentes(ε1,…, εn)


2
50 55 60 65 70 75 80

TOUIJAR
X
153 TOUIJAR 154
Actives Modèle Int. de conf. (Moyenne 95%) Int. de conf. (Obs. 95%) on a :

IV- PREVISION Sur Un MRLS IV- PREVISION Sur Un MRLS


Intervalle de prévision autour de Y k (p )
Intervalle de prévision autour de Y k (p )
Yk ( p ) = Yˆk + e k ⇒ e k = Yk ( p ) − Yˆ

1 + + ( xk − x )  ;
 1 2 

⇒ V (e k ) = V (Yk ( p ) ) + V Yˆ = σ 2  1 + +
1
() (x k − x ) 2 
 ( )
I p Yk ( p ) = Yˆk − σˆ tα / 2 (n − 2)

 n ∑ (xi − x )2 



 n
 ∑ (xi − x )2 
⇒ σˆ (e k ) = S σ

1 + 1 + (x k − x )2   1
Yˆk + σˆ tα / 2 (n − 2 ) 1 + +
(xk − x )2  

∑ (xi − x ) 
2

∑ (xi − x )2  
 n  n

− Yˆ
I p (Y 78 ) = [9,568 ;17, 07 ]
Yk ( p )
⇒ ֏ tα / 2 (n − 2 ) )


1 + 1 + (x k − x )2 

 n ∑ (xi − x )2  TOUIJAR 155 TOUIJAR 156

26
D.TOUIJAR 15/03/2016

IV- PREVISION Sur Un MRLS


Chapitre 2
Remarque :
Cet intervalle de prévision permet de
détecter les points aberrants( ou
extrêmes) afin de les écarter pour refaire
une nouvelle régression sans leurs Régression Multiple
influence.

TOUIJAR 157 TOUIJAR 158

Introduction : Le modèle :

• Le but premier de ce deuxième chapitre est la


modélisation (l’explication) dans un but • Le modèle de régression linéaire multiple
prédictif, d’une variable quantitative Y par est une généralisation de la régression
plusieurs variables quantitatives X1, X2, …, Xp . simple.
Ces dernières sont liées linéairement avec Y.
Il s’agit là de ce qu’on appelle : • C’est un outil statistique mis en œuvre
la régression linéaire multiple. pour l’étude de données
multidimensionnelles.
TOUIJAR 159 TOUIJAR 160

Le modèle : Objectifs Le modèle : (aspect empirique)


• Une variable quantitative Y (V. à expliquer ou
• Estimer les paramètres du modèle α 0 ;α1 ; α 2 ;⋯ ;α p endogène) est mise en relation avec p variables
Avec des estimateurs de meilleur qualité. quantitatives X1, X2, …, Xp (V. explicatives , exogènes
ou régresseurs).
• Mesurer le pouvoir explicatif global du modèle.
• On mesure sur n individus ces p+1 variables
• Faire de la prévision en construisant des intervalles de
représentées par des vecteurs de Rn: y, x1, x2, …, xp
prévision.
(où n > p+1).
• Ce dernier point nous permettra de repérer les points
aberrants et de les supprimer.
• L’écriture du modèle linéaire est alors comme suit :

y i = α 0 + α1x i 1 + α 2 x i 2 + ⋯ + α p x ip + w i 1≤ i ≤ n
TOUIJAR 161 TOUIJAR 162

27
D.TOUIJAR 15/03/2016

Le modèle : Ecriture matricielle Le modèle : Les Hypothèses


 y 1   1 x 11 x 12 ⋯ x 1 p   α 0   w 1 
On supposera vrai les hypothèses suivantes :
   
x 2 p   α1   w 2  H1- Linéarité : y i = α 0 + α1x i 1 + α 2 x i 2 + ⋯ + α p x ip + w i 1 ≤ i ≤ n
 y 2   1 x 21 x 22 ⋯  
 ⋮  ⋮ ⋮ ⋮ ⋮ ⋮  ⋮   ⋮  La relation entre y et x1, . . . ,xp est linéaire.
 =   + 
 y i   1 x i 1 x i 2 ⋯ x ip   α i   w i 
H2: Plein rang : La matrice X’X est inversible; autrement
det(X’X)≠ 0. On peut l’exprimer par le fait que les Xi
⋮  ⋮ ⋮ ⋮ ⋮ ⋮  ⋮  ⋮  sont indépendantes linéairement (pas statistiquement).
      
y n   1 x n 1 x n 2 ⋯ x np   α p  w n 

Cette hyp. est nécessaire pour l’estimation des paramètres.

Y ( n ,1) X ( n , p +1) α ( p +1,1) W ( n ,1) H3: Exogénéité des variables indépendantes : Les W i
sont des termes d’erreur d’espérance conditionnelle
aux réalisations des xi est nulle : E(W i | x1, . . . ,xp) =0.
α +W
Y = XTOUIJAR 163 Les xi n’interviennent pas dans la prédiction de W i
TOUIJAR 164

Le modèle : Les Hypothèses (suite)

H4: Homoscédasticité et absence d’autocorrélation:


V(W i) = σ2; où σ2 est cste et wi n’est pas corrélé avec
wj pour i ≠ j : cov(wi ,wj)=0

H5: Génération des données: Les Xi qu’elle soient


aléatoires ou déterministes (facteurs contrôlés) ne
changent en rien les résultats.

H6: Distribution Normale : Les W sont distribués selon la


loi Normale.
TOUIJAR 165 166

Le modèle : Méthode des Le modèle : Méthode des


Moindres Carrés Moindres Carrés
• Comme on a vu dans le chapitre 1, il s’agit , afin • Autrement :
n
d’estimer α, de minimiser la somme des carrées des F (α ) =
résidus (ei) (voir graphique du chapitre 1) :
∑e
i =1
i
2
= e ′e

∑ (y )
2

n
= i − α 0 − α 1 x i 1 − α 2 x i 2 + ⋯ − α p x ip

min ∑ e i2 = (Y − X α )′ (Y − X α ) = Y ′Y − 2α' X ′Y + α ' X ′X α


i =1

ˆ = Y − X αˆ
où e = Y − Y ∂F
= 0 ⇔ − 2 X ′Y + 2 X ′X α = 0
∂α
⇔ α = ( X ′X ) X ′Y
TOUIJAR 167 −1 168

28
D.TOUIJAR 15/03/2016

Le modèle : Méthode des Le modèle : Méthode des Moindres Carrés


Moindres Carrés • Exemple : (Modèle avec constante)

• Où: 
 n ∑ x i1 ∑ x i 2 ⋯ ∑ x ip  1
X =
1 1.5
 Y =   ⇒ 2observations :(1,1.5) et ( 2,2)
 ∑ x i1 ∑ x i 1 ∑ x i 1 x i 2 ⋯ ∑ x i 1 x ip  1
2 2 2
X ′X =  ⋮ ⋮   3.5  2 3  5 −3
 ⇒ ( X′X ) = 
⋮ ⋮ ⋮ −1
  X′Y =   X′X =  
 ∑ x ip ∑ x ip x i 1 ⋯ ∑ x ip 
2  5.5  3 5  −3 2 
   1
        αˆ = ( X′X ) X′Y =  
−1
ˆ = X αˆ = 1.5 
          Y  
( p + 1, p + 1 )  
0.5
  2
yˆi =1+0.5x i
 ∑ yi 
  1.5 1.5  0 
X ′Y = 
∑ x i1y i  e =   −  =  
 2   2   0
 ⋮ 
  • e=0R2 : signifie que la droite estimée passe par les
 ∑ ip y i
x  TOUIJAR 169 TOUIJAR
deux points (1 , 1.5) et (2 , 2).
170

Le modèle : Méthode des Moindres Carrés PROPRIETES ET DISTRIBUTION DE


• Exemple : (Modèle sans constante)
L’ESTIMATEUR
 1 1.5 • Théorème (GAUSS-MARKOV) :
X =   Y =   ⇒ 2observations :(1,1.5) et ( 2,2)
 2 2
αˆ est BLUE de α
1
X′Y = 5.5 X′X = 5 ⇒ ( X′X ) =
−1

5 • Remarque :
5.5
αˆ = ( X′X ) X′Y = = 1.1 Y
−1
ˆ = X αˆ =  1.1   αˆ ; αˆ ; αˆ ;⋯ ; αˆ sont des fonctions linéaires des Y

   2.2  0 1 2 p i
5 yˆi =1.1x i  
 La matrice Var-Cov (variance-covariance) de αˆ ,
1.5  1.1   0.4 
e =   −  =  
notée Ωαˆ , s'écrit : Ωαˆ =σ 2 ( X′X )
−1
 2   2.2   −0.2 
n

• On remarque que ∑ e i ≠ 0 car le modèle est sans cste.


i =1

TOUIJAR 171 TOUIJAR 172

• Quelques éléments de démonstration :


PROPRIETES ET DISTRIBUTION DE
L’ESTIMATEUR
 Puisque, αˆ = ( X′X ) X′Y et en posant k = ( X′X ) X′ ;
−1 −1

• Matrice de Var-Cov de W et son estimateur


on obtient l’écriture : αˆ = k Y combinaison des Yi
 E (W12 ) E (WW 1 2 ) ⋯ E (WW 1 n)

 
E (αˆ ) = kE (Y ) = k ( X α ) = (
X′X ) X′X α = α
−1

E (W2 )
  E (WW2 1)
  2 
 ′ 
ΩW =Ω= E WW = 
Ωαˆ = kV (Y ) k ′ = k (σ 2 I n ) k ′ = σ 2 kk ′
I
    ⋮ ⋱ 
 
= σ 2 ( X′X )
−1
X′  X ( X′X )
−1
  E (WnW1 )
 E (Wn ) 
2

 
 E (W12 ) 0 
= σ 2 ( X′X ) [ X′X ] ( X′X ) = σ 2 ( X′X ) ⋯
−1 −1 −1 0
 
 0 E (W2 )
2 
 Rem : on peut utiliser la définition : =  =σ 2I n
 ⋮ ⋱ 

Ωαˆ = E (α − αˆ )(α − αˆ )  
 0

E (Wn ) 
2
  173

TOUIJAR 174

29
D.TOUIJAR 15/03/2016

PROPRIETES ET DISTRIBUTION DE PROPRIETES ET DISTRIBUTION DE


L’ESTIMATEUR L’ESTIMATEUR
• Matrice de Var-Cov de W et son estimateur
e = Y − Yˆ = ( X α + W ) − ( X αˆ ) • Estimation de la Matrice de Var-Cov de α̂ :
= X α +W − X (α + ( X X′ )−1 X W′ )
  • On a déjà vu que :
=  I − X (X X ′ ) X ′ W ( où Γ est symétrique et idempotente )
−1

   
 Γ 
⇒ ∑ e i2 = e ' e = W ' Γ W ⇒ E (e ' e ) = σ 2T r ( Γ ) (à développer )
Ωαˆ =σ 2 ( X′X ) ˆ ˆ =σˆ 2 ( X′X )
−1 −1
E (e ' e ) ∑e 2 ⇒Ω α
= σ 2 ( n − ( p + 1) ) ⇒ σ 2 = ⇒ σˆ 2 = i

n − p −1 n − p −1
S CR
= est donc un estimateur san s Biais de σ 2
n − p −1 TOUIJAR 175 TOUIJAR 176

Tableau d’Analyse de la Variance Tableau de l’ ANOVA


(ANOVA) d’un MRLM Source Somme
d.d.l
Carrés
Fisher
de varθ des carrés moyens
• Équation fondamentale de l’ ANOVA: x (
SCE=∑ Yˆi − Y )
2
p SCE/p F=
(SCE/ p)/
– La formule de décomposition de la variance Résidu SCR= ∑e 2
i n-p-1 SCR/(n-p-1) (SCR/(n-p-1))
permet de connaître la part de variation de Y
Totale SCT=∑ (Yi − Y )
expliquée par celle des Xi : 2
n-1

∑ (Y − Y ) = ∑ (Yˆ − Y ) + ∑ (Y − Yˆ )
2 2 2
i i i i
  
SCT SCE
TOUIJAR SCR = ∑ ei2
177 TOUIJAR 178

• Mesure de la Qualité de l’ajustement Tests et Intervalles de Confiance des


Coefficients du Modèle
• L’évaluation globale de la régression est
donnée parR 2 le coefficient de • Test de Significativité Globale de la
détermination, qui exprime la part de variabilité Régression
totale expliquée par le modèle: • On vient d’évaluer la qualité d’un ajustement
SCE SCR par le calcul de R2 (où R est appelé coefficient
R2 = =1−
SCT SCT de corrélation multiple), mais sur un
• Remarque:
• R2 doit être utilisé avec précaution.
échantillon; pour que ça soit sur toute la
population; on doit procéder à une inférence
• On ne peut utiliser R2 dans un modèle sans constante.
statistique sur le ρ2 paramètre théorique:
• Si p augmente, R2 augmente aussi, même s’il y a des
variables qui n’ont rien à voir avec le phénomène; pour H 0 : ρ 2
= 0
ce on corrige R2 : SCR • C’est un F-Test : 
( n − 1) 1 − R 2 = 1 − n − p −1 #
R 2 =1−
( n − p − 1)
( ) <R2 TOUIJAR
H 1 : ρ ≠ 0
TOUIJAR SCT 179 2 180
n −1

30
D.TOUIJAR 15/03/2016

• 1- Test de Significativité Globale de la • 1- Test de Significativité Globale de la


Régression Régression
• D’une façon analogue au MRLS, a statistique du
test est , sous H0 • Le F-Test précédent est équivalent au F-Test
SCE R2 sur le vecteur coefficient α :
p p
F=
SCR
=
1− R 2 Y ( p ; n − p − 1)
n − p −1 n − p −1
• F.H.
H 0 : α1 = α 2 = ⋯ = α p = 0
• R.D. si F>Fα(p;n-p-1), On Rejette H0 
# ∀α 0
 H : ∃ j tq α ≠ 0
 1 j

TOUIJAR 181 TOUIJAR 182

2- Test de Significativité individuel des • Calcul de σˆαˆ : i

coefficients On a vu que


 σˆ α2ˆ 
Est-ce que la Variable Xi joue significativement  0

 σˆ 2

 = σˆ ( X ′X )
αˆ 1 −1
dans l’explication de Y ? On effectue alors un Ωˆ αˆ = 2

T-test  ⋱ 
F.H.  H 0 : α i = 0  σˆ α2ˆ 
 p 

#
=
∑e i
2

( X ′X )
−1
H : α ≠ 0 n − p −1
 1 i

( X ′X )
−1
• S.U. si o n p o se d ii le s é lé m e n t d ia g o n a u x d e
αˆi
• Tαˆi = t(n-p-1) a lo rs : σˆ α2ˆ i =
∑e i
2

× d ii
σˆαˆ
i
TOUIJAR 183 n − p −1 TOUIJAR 184

Tests et Intervalles de Confiance des PREVISION ET INTERVALLE DE


Coefficients du Modèle PREVISION
• Si on ajoute une observation k =n+1 pour
chacune des variables explicatives, on obtient
• Test Modèle réduit VS Modèle Complet une prévision ponctuelle :
yˆ k = αˆ 0 + αˆ1x k 1 + αˆ 2 x k 2 + ⋯ + αˆ p x kp
= X k αˆ ; où X k = (1 x k 1 ⋯ x kp )
• Et on montre que :
VOIR TD σˆe2 = σˆ 2 1 + X k ( X′X )
−1
X k′ 
k  
ek yˆ − y k
• ⇒ = k t(n-p-1)
TOUIJAR 185
σˆek σˆe k TOUIJAR 186

31
D.TOUIJAR 15/03/2016

• INTERVALLE DE PREVISION de yk

I p ( y k ) = yˆk −tn−p−1;α/2σˆek ; yˆk +tn−p−1;α/2σˆek 

TOUIJAR 187

32

You might also like