P. 1
régression

régression

|Views: 26|Likes:
Published by Wave Power

More info:

Published by: Wave Power on Jun 11, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

09/30/2013

pdf

text

original

Séance 2 Le modèle de régression simple

Emmanuel Flachaire

Économétrie Appliquée

Le modèle de régression

Le modèle de régression est l'outil principal de l'économètre Qu'est ce que l'analyse de régression ? L'analyse de régression est l'étude de la relation entre une variable dépendante ( ) et une ou plusieurs autres variables
k

y explicatives (x1 , x2 , ..., x

)

Dans le cas d'une régression simple, nous nous limitons au cas d'une seule variable explicative ( ). Il est alors possible de représenter graphiquement le nuage de points des données observées.

x

Emmanuel Flachaire

Économétrie Appliquée

Le modèle de régression : un exemple

La relation entre les 2 variables peut être exprimée par une droite

Emmanuel Flachaire

Économétrie Appliquée

tous les points ne passent pas par cette droite On introduit un terme d'erreur dans la relation : y =α+βx +ε ε est un terme aléatoire ayant des propriétés statistiques La relation n'est plus déterministe. l'équation d'une droite permet d'exprimer la relation entre les deux variables : y =α+βx Néanmoins. elle devient stochastique.Le modèle de régression : un exemple Dans cet exemple. les coecients α et β ne sont plus calculés. ils sont estimés Emmanuel Flachaire Économétrie Appliquée .

Le modèle de régression : problématique Soit le modèle de régression linéaire y =α+βx +ε L'analyse de régression comporte deux aspects essentiels : Estimation : l'estimation consiste à trouver les valeurs des paramètres α et β de telle sorte que la droite passe au mieux dans le nuage de points Inférence : l'inférence consiste à déterminer dans quelle mesure les valeurs estimées de adéquat α et β sont des approximations plus ou moins précises des vraies valeurs et à tester si le modèle est Emmanuel Flachaire Économétrie Appliquée .

les distances des points à la droite soient minimisées Emmanuel Flachaire Économétrie Appliquée .Estimation des paramètres Comment choisir les valeurs de α et β ? On veut la droite qui passe au mieux dans le nuage de points →α ˆ et ˆ β t.q.

La méthode des MCO consiste à minimiser la somme de ces distances Notation: yi est la i ème observation de la variable dépendante yi est la valeur ajustée/prédite de yi sur la droite de régression i ˆ ε ˆ est le résidu. yi ˆ −y i Emmanuel Flachaire Économétrie Appliquée . que l'on élève au carré pour obtenir une distance.Estimation des paramètres: les MCO La méthode des Moindres Carrés Ordinaires (MCO) est la plus couramment employées pour trouver la droite qui passe au mieux dans un nuage de points On mesure les écarts de chaque points à la droite (en vertical).

Estimation des paramètres Emmanuel Flachaire Économétrie Appliquée .

ˆ1 ˆ2 ˆ3 ˆ4 ˆ5 ˆ n n observations. on minimise donc ou encore n i ˆ2 =1 εi .Estimation des paramètres : principe Pour un échantillon de ε2 + ε2 + ε2 + ε 2 + ε2 + · · · + ε2 . la ˆ y somme des carrés des résidus (SCR) y Qu'est ce que i ε ˆ i ? C'est la diérence entre le valeur observée i et sa valeur correspondante sur la droite de régression Autrement dit: Minimiser est équivalent à Minimiser ou encore Minimiser SCR par rapport à n i n i =1 (ˆi y − y )2 i ˆ = 1 εi 2 α et β Emmanuel Flachaire Économétrie Appliquée .

on pose la dérivée de cette fonction p/r à α β égale à 0 égale à 0 4. notés α ˆ et ˆ β.Estimation des paramètres : calculs On cherche les valeurs de α et β qui minimisent la SCR : 1. on écrit SCR en fonction des paramètres α et β 2. on résoud ce système de 2 équations à 2 inconnues Les valeurs qui résolvent ce système de 2 équations à 2 inconnues. sont appelés les paramètres estimées des MCO Emmanuel Flachaire Économétrie Appliquée . on pose la dérivée de cette fonction p/r à 3.

n = i (y − α − β x )2 ˆ ˆ i i =1 La dérivée de SCR par rapport à α ˆ est égale à : ∂ SCR = −2 ∂α ˆ 3. Sachant que y i ˆ =y +ε =α+βx +ε .Estimation des paramètres : calculs 1. ˆ ˆ ˆ ˆ i i i i on a : SCR 2. n (y − α − β x ) = 0 ˆ ˆ i i i =1 La dérivée de SCR par rapport à ˆ β est égale à : ∂ SCR = −2 ˆ ∂β n x (y i i −α−βx )=0 ˆ ˆ i i =1 Emmanuel Flachaire Économétrie Appliquée .

En la réarrangeant. on peut identier ˆ β en fonction des seules valeurs observées de y et x.Estimation des paramètres : calculs 4. la 1ère équation se réécrit: ¯ ˆ ˆ¯ y −α−βx =0 On peut ensuite remplacer ⇐⇒ α=y −βx ˆ ¯ ˆ¯ ¯ ˆ¯ y −βx : α ˆ dans la 2ème équation par xy i i − (¯ − β x ) nx − β y ˆ¯ ¯ ˆ x2 = 0 i C'est une équation à une seule inconnue. Emmanuel Flachaire Économétrie Appliquée . On résoud le système de 2 équations à 2 inconnues suivant : ∂ SCR /∂ α = 0 ˆ ˆ ∂ SCR /∂ β = 0 Comme ⇐⇒ et ˆ y − αn − β ˆ x y −α x ˆ i i i x i =0 i ˆ −β x2 = 0 i y i ¯ = ny x i ¯ = nx .

1 Par conséquent. y )/Var (x ) P P 2 P P 1 ¯ 2 ( ¯ ¯2 P x 2 − 2x ¯ x + nx 2 = ¯ P nVar (x ) = (x − x ) = 2x − 2x x + x ) = P 2 ¯ ¯ ¯ x − nx et nCov (x . y ) = [(x − x )(y − y )] = ¯ ¯ P x − 2x nx + nx = P¯ P [x y − x y − y x + x y ] = ¯ ¯ ¯¯ x y − nx y − ny x + nx y = x y − ny x ¯¯ ¯¯ ¯¯ ¯¯ Emmanuel Flachaire Économétrie Appliquée i i i i i i i i i i i i i i i i i . on a : ˆ β [nVar (x )] = nCov (x .Estimation des paramètres : calculs 4. (suite) xy i i − (¯ − β x ) nx − β y ˆ¯ ¯ ˆ ˆ ¯¯ ˆ ¯ − ny x + β nx 2 − β i i x2 = 0 i xy i i x2 = 0 i ˆ β On montre i ¯ x 2 − nx 2 = xy i ¯¯ − ny x i ¯ x 2 − nx = nVar (x ) et xy i ¯¯ − ny x = nCov (x . y ) ˆ β = Cov (x . y ).

Estimation des paramètres : MCO Soit le modèle de régression linéaire : y =α+βx +ε Les estimateurs MCO des paramètres sont : ˆ β= Cov (x . y ) Var (x ) et α=y −βx ˆ ¯ ˆ¯ (1) Sur la base d'un échantillon de valeurs observées. les paramètres estimés par MCO de la droite de régression sont obtenus en appliquant ces formules. Emmanuel Flachaire Économétrie Appliquée .

ˆ y Emmanuel Flachaire Économétrie Appliquée . Le coecient unité. Le coecient est égal à est l'ordonnée à l'origine : si est égal à 0.Estimation des paramètres : interprétation Soit le modèle de régression y =α+βx +ε L'estimation par MCO fournit les résultats suivants : ˆ ˆ ˆ y =α+βx 1. ˆ ˆ y augmente de β unités α ˆ α ˆ ˆ β est la pente de la droite : si x x augmente de 1 2.

Estimation des paramètres : interprétation La valeur ajustée ˆ y est une estimation de la moyenne de y sachant x . on a : ˆ E (y |x ) = α + β x = y ˆ ˆ Emmanuel Flachaire Économétrie Appliquée . notée E (y |x ). c'est-à-dire de la moyenne de y conditionnelle à x . on a : E (y |x ) = E (α + β x + ε|x ) = α + β x + E (ε|x ) Si E (ε|x ) = 0. la régression linéaire (2) est équivalente à : E (y |x ) = α + β x (3) Pour des valeurs estimées des paramètres. Soit le modèle de régression linéaire : y =α+βx +ε Si on applique une espérance conditionnelle à (2) x aux 2 termes.

la valeur moyenne de ˆ y est égale à α ⇐⇒ ˆ y est estimée à α ˆ Emmanuel Flachaire Économétrie Appliquée . Si x x est égal à zéro. Si ⇔ E (y |x ) = α + β x E (y |x ) = α + β x ˆ ˆ L'estimation par MCO fournit les résultats suivants : ⇔ ˆ ˆ x augmente de 1 unité.Estimation des paramètres : interprétation Soit le modèle de régression y =α+βx +ε ˆ ˆ ˆ y =α+βx 1. y augmente de β unités ⇐⇒ ˆ Si x augmente de 1 unité. y augmente en moyenne de β unités ˆ Si x augmente de 1 unité. l'augmentation esperée de y est β Si 2. la valeur de est égal à zéro.

Le modèle de régression : interprétation Attention : mieux vaut ne pas interpréter de x α ˆ s'il n'y a pas de valeurs proches de 0 dans l'échantillon Emmanuel Flachaire Économétrie Appliquée .

74 + 1.25 x 1. le salaire horaire augmente en moyenne de 1. : le salaire horaire moyen des individus ayant juste le bac est estimé à 9.25 euros 2. ˆ β α ˆ : pour 1 année d'étude supplémentaire.Estimation des paramètres : exemple 1 Soit un échantillon sur le salaire horaire en euros ( ) et le nombre d'année d'études au delà du baccalauréat ( ) d'un grand nombre de personnes ayant le bac. Les résultats de l'estimation par MCO d'un modèle de régression linéaire sont les suivants : x y ˆ y = 9.74 euros Emmanuel Flachaire Économétrie Appliquée .

ˆ β : lorsque le taux de rendement excédentaire du CAC40 augmente de 1 unités.8% plus élevé (=100*[1.64*0. Si un analyste nancier s'attend à ce que l'an prochain le marché donne un rendement 20% plus élevé que pour un placement sans risque. c'est la diérence entre le taux de rendement du titre IBM et celui obtenu avec un placement sans risque Emmanuel Flachaire Économétrie Appliquée 2 . vous pouvez lui dire que le rendement espéré du titre IBM serait pour sa part 32.64 x 1.24.Estimation des paramètres : exemple 2 Soit un échantillon sur les taux de rendement excédentaires du titre IBM 2 ( ) et du CAC40 ( ). celui du titre IBM augmente en moyenne de 1.24 + 1. celui du titre IBM est en moyenne de -0.2]) . pour lequel on obtient les résultats y x suivants : ˆ y = −0. α ˆ : lorsque le taux de rendement excédentaire du CAC40 est nul.64 unités 2.

Question: α ˆ et ˆ β sont des estimations de α0 et β0 dans quelle mesure α ˆ et ˆ β sont-elles de bonnes approximations des vraies valeurs α0 et β0 ? Emmanuel Flachaire Économétrie Appliquée . Avec un échantillon.Modèle de régression et PGD Lorsqu'on considère le modèle de régression linéaire suivant : y =α+βx +ε On suppose que le processus qui a généré les données (PGD) est y = α0 + β0 x + ε où α0 et β0 sont des valeurs inconnues. on obtient une estimation du modèle : y =α+βx +ε ˆ ˆ ˆ Autrement dit.

Qualité des estimateurs MCO Question: dans quelle mesure α ˆ et ˆ β sont-elles de bonnes approximations des vraies valeurs α0 et β0 ? Pour répondre à cette question. laabilité des estimateurs MCO → théorème de → écarts-type → inférence statistique Emmanuel Flachaire Économétrie Appliquée . il faut étudier 1. la précision des estimateurs MCO 3. les propriétés des estimateurs MCO Gauss-Markov 2.

x ) = 0 : pas de relation entre l'erreur et le régresseur3 i i i j i i 3 Cette hypothèse est vériée si x est supposé non-stochastique. déterministe Emmanuel Flachaire Économétrie Appliquée . Les hypothèses classiques sur le terme d'erreur du modèle sont : 1. 3. ε ) = 0 : les erreurs sont satistiquement indépendantes Cov (ε . 4. 2.Propriétes des estimateurs : les hypothèses du modèle Soit le modèle de régression y Le terme d'erreur i =α+βx +ε i i ε i est aléatoire et a des propriétés statistiques. E (ε ) = 0 : la moyenne des erreurs est nulle Var (ε ) = σ : la variance des erreurs est constante Cov (ε .

Emmanuel Flachaire Économétrie Appliquée . il n'existe pas d'autres estimateurs sans biais qui soient plus précis que ceux des MCO → ce sont les meilleurs.Propriétes des estimateurs : Théorème de Gauss-Markov Théorème de Gauss-Markov : sous les hypothèses classiques du modèle de régression. parmi la classe des estimateurs sans biais Linear : ils sont linéaires par rapport à Unbiased : en moyenne. les estimateurs α ˆ et meilleurs estimateurs linéaires sans biais ˆ β des MCO sont → ils sont BLUE. les Best : ce sont les estimateurs qui ont la plus petite variance. les valeurs de vraies valeurs Estimator : et y α ˆ et ˆ β sont égales à leurs α0 et β0 ˆ α et β sont des ˆ approximations des vraies valeurs α0 β0 Autrement dit.

Ecients : un estimateur est ecient s'il est sans biais et de variance minimale estimée ˆ β = β0 . Convergents : les valeurs estimées se rapprochent des vraies valeurs lorsque n augmente à l'inni lim Pr n →∞ ˆ |β − β 0 | > δ = 0 ∀δ > 0 C'est une hypothèse de validité.Propriétes des estimateurs 1. Sans biais : convergence 3. sinon l'estimateur est inutile 2. c'est une hypothèse plus forte que la → la probabilité d'obtenir une valeur ˆ β éloignée de la vraie valeur β0 est minimisée Emmanuel Flachaire Économétrie Appliquée .

Les valeurs estimées α ˆ et ˆ β sont spéciques à un échantillon : avec un échantillon diérent on obtient des valeurs diérentes 2. en moyenne. la distance entre les valeurs estimées ˆ β et la vraie valeur β0 Emmanuel Flachaire Économétrie Appliquée . La précision d'une valeur estimée est donnée par son écart-type 4.Précision des estimateurs : les écarts-types 1. Une mesure de leur précision est indispensable : sans elle. aucune conclusion ne peut etre tirée 3. L'écart-type indique quelle est.

Il faut le remplacer par une valeur estimée pour pouvoir utiliser ces mesures en pratique.Précision des estimateurs : les écarts-types Soit le modèle de régression y =α+βx +ε Cov (x . σ 2 ) Les estimateurs MCO des paramètres sont : ˆ β= et α=y −βx ˆ ¯ ˆ¯ Leurs variances sont égales à : 2 σβ = σ 2 ˆ et 2 σα = σ 2 ˆ nVar (x ) 1 σ2 est un paramètre inconnu. y ) Var (x ) x2 n2 Var (x ) i ε ∼ IID (0. Emmanuel Flachaire Économétrie Appliquée .

Un estimateur sans biais est : σ2 = ˆ 4 n−2 i ε2 = ˆ i ε est un estimateur convergent de ε qui lui. est inobservable ˆ Emmanuel Flachaire Économétrie Appliquée i . La variance du terme d'erreur est égale à σ 2 = Var (ε) = E (ε − E (ε))2 = E ε2 Elle peut etre estimée par la moyenne des ε2 i 2. La moyenne des carrés des résidus est un estimateur convergent de cette variance : 4 σ2 = ˆ n 1 1 ε2 = ˆ i SCR n SCR n−2 mais il est biaisé.Précision des estimateurs : les écarts-types 1.

σ 2 ) (4) Sous les hypothèses classiques.Précision des estimateurs : les écarts-types Soit le modèle de régression y =α+βx +ε paramètres sont ε ∼ IID (0. y ) Var (x ) x2 n2 Var (x ) i et α=y −βx ˆ ¯ ˆ¯ Leurs écarts-types sont : σβ = σ ˆˆ ˆ et σα = σ ˆˆ ˆ nVar (x ) 1 Emmanuel Flachaire Économétrie Appliquée . les estimateurs MCO des ˆ β= Cov (x .

2. n est grand → la taille de l'échantillon est élevée Var (x ) est grand → les valeurs de x σ ˆ est petit sont dispersées → les résidus sont peu dispersés Emmanuel Flachaire Économétrie Appliquée .Précision des estimateurs : Commentaires Les écarts-types sont : σβ = σ ˆˆ ˆ x2 n2 Var (x ) i et σα = σ ˆˆ ˆ nVar (x ) 1 Ces estimateurs sont d'autant plus précis que : 1. 3.

sont dispersées Emmanuel Flachaire Économétrie Appliquée .Précision des estimateurs : Commentaires L'estimateur est d'autant plus précis que autrement dit les valeurs de x Var (x ) est grand.

autrement dit Emmanuel Flachaire Économétrie Appliquée .Précision des estimateurs : Commentaires L'estimateur est d'autant plus précis que les résidus sont peu dispersées σ ˆ est petit.

5912 + (0.5912 + (0.35 x +ε ˆ Les écarts-type sont indiqués entre parenthèses.011) 0.Précision des estimateurs : Commentaires Les résultats de l'estimation d'un modèle de régression linéaire y =α+βx +ε sont habituellement présentés comme suit : ˆ y = −0.034) (0.011) 0.35 x y = −0.034) ou encore (0. Emmanuel Flachaire Économétrie Appliquée .

L'inférence statistique Voir les transparents de Brooks à partir de : An Introduction to Statistical Inference Emmanuel Flachaire Économétrie Appliquée .

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->