Welcome to Scribd. Sign in or start your free trial to enjoy unlimited e-books, audiobooks & documents.Find out more
Download
Standard view
Full view
of .
Look up keyword
Like this
1Activity
0 of .
Results for:
No results containing your search query
P. 1
Ch1 géométries Moindres Carrés

Ch1 géométries Moindres Carrés

Ratings:
(0)
|Views: 77|Likes:
Published by api-3737025

More info:

Published by: api-3737025 on Oct 15, 2008
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

03/18/2014

pdf

text

original

Chapitre Premier
La G\u00b4eom\u00b4etrie des Moindres Carr\u00b4es
1.1 Introduction

La m\u00b4ethode d\u2019estimation la plus commun\u00b4ement utilis\u00b4ee en \u00b4econom\u00b4etrie, et `a bien des \u00b4egards la plus importante, est celle desmoindres carr\u00b4es. Il est utile de distinguer deux vari\u00b4et\u00b4es de moindres carr\u00b4es,les moindres carr\u00b4es or-

dinaires, ou OLS, et les moindres carr\u00b4es non lin\u00b4eaires, ouNLS. Dans le cas

des OLS, l\u2019\u00b4equation de la r\u00b4egression qui doit \u02c6etre estim\u00b4ee est lin\u00b4eaire en tous les param`etres, alors que dans le cas des NLS, elle est non lin\u00b4eaire en au moins un des param`etres. Les estimations par OLS peuvent \u02c6etre obtenues par un calcul direct de plusieurs mani`eres (consulter la Section 1.5), alors que les estimations par NLS r\u00b4eclament l\u2019utilisation de proc\u00b4edures it\u00b4eratives (consulter le Chapitre 6). Dans ce chapitre, nous traiterons exclusivement des OLS, puisque la compr\u00b4ehension de la r\u00b4egression lin\u00b4eaire est essentielle `a la compr\u00b4ehension de tout ce qui suit dans le livre.

Il faut faire une distinction importante entre les propri\u00b4et\u00b4es num\u00b4eriques et les propri\u00b4et\u00b4es statistiques des estimations obtenues par l\u2019utilisation des OLS. Lespropri\u00b4et\u00b4es num\u00b4eriques sont celles qui apparaissent comme une cons\u00b4equence de l\u2019utilisation des OLS, sans se soucier de la fa\u00b8con dont les donn\u00b4ees ont \u00b4et\u00b4e g\u00b4en\u00b4er\u00b4ees. Comme ces propri\u00b4et\u00b4es sont num\u00b4eriques, elles peu- vent toujours \u02c6etre v\u00b4eri\ufb01\u00b4ees par un calcul direct. Un exemple bien connu est que la somme des r\u00b4esidus des OLS est nulle lorsque les r\u00b4egresseurs contiennent un terme constant. D\u2019autre part, lespropri\u00b4et\u00b4es statistiques sont celles qui ne subsistent que sous certaines hypoth`eses sur la fa\u00b8con dont les donn\u00b4ees ont \u00b4et\u00b4e g\u00b4en\u00b4er\u00b4ees. Celles-ci ne peuvent jamais \u02c6etre v\u00b4eri\ufb01\u00b4ees avec exactitude, bien que dans certains cas elles puissent \u02c6etre test\u00b4ees. Un exemple est la proposition bien connue que les estimations par OLS sont non biais\u00b4ees, dans certaines circonstances.

La distinction entre des propri\u00b4et\u00b4es qui sont exactes num\u00b4eriquement et des propri\u00b4et\u00b4es statistiques est `a l\u2019\u00b4evidence fondamentale. Dans le but d\u2019illustrer cette distinction le plus clairement possible, nous ne discuterons dans ce pr\u00b4esent chapitre que des premi`eres. Nous n\u2019\u00b4etudierons les OLS que comme un syst`eme d\u2019estimation, sans introduire formellement un quelconque mod`ele statistique (bien que nous aurons l\u2019occasion de discuter de plusieurs mod`eles qui sont surtout int\u00b4eressants dans le contexte des mod`eles de r\u00b4egression

3
4
La G\u00b4
eom\u00b4
etrie des Moindres Carr\u00b4
es
lin\u00b4eaire). Aucun mod`ele statistique ne sera introduit avant le Chapitre 2,
o`
u nous entamerons une discussion sur lesmod`eles de r\u00b4egression non lin\u00b4eaire,
dont lesmod`eles de r\u00b4egression lin\u00b4eaire ne sont bien s\u02c6
ur que des cas partic-
uliers.

En annon\u00b8cant que nous \u00b4etudierions les OLS en tant que syst`eme d\u2019estima- tion, nous ne pr\u00b4etendions pas discuter des algorithmes informatiques pour le calcul des estimations par OLS (toutefois, nous en discuterons dans la Sec- tion 1.5). Au contraire, nous voulions dire par l`a que nous discuterions des propri\u00b4et\u00b4es num\u00b4eriques des moindres carr\u00b4es ordinaires, et en particulier de l\u2019interpr\u00b4etation g\u00b4eom\u00b4etrique de celles-ci. Toutes les propri\u00b4et\u00b4es num\u00b4eriques des OLS peuvent \u02c6etre interpr\u00b4et\u00b4ees `a l\u2019aide de la g\u00b4eom\u00b4etrie Euclidienne. Cette in- terpr\u00b4etation g\u00b4eom\u00b4etrique se r\u00b4ev`ele souvent \u02c6etre remarquablement \u00b4el\u00b4ementaire, impliquant `a peine plus que le Th\u00b4eor`eme de Pythagore et la trigonom\u00b4etrie enseign\u00b4ee au lyc\u00b4ee, dans un contexte d\u2019espaces vectoriels `a dimension \ufb01nie. Pourtant, l\u2019aper\u00b8cu qu\u2019o\ufb00re cette approche est tr`es appr\u00b4eciable. Une fois que l\u2019on a acquis une connaissance profonde de la g\u00b4eom\u00b4etrie en cause dans les moindres carr\u00b4es ordinaires, il est possible de s\u2019\u00b4epargner plusieurs lignes fas- tidieuses d\u2019alg`ebre par l\u2019utilisation d\u2019un argument g\u00b4eom\u00b4etrique. De plus, comme nous esp\u00b4erons que le reste du livre l\u2019illustrera, comprendre les pro- pri\u00b4et\u00b4es g\u00b4eom\u00b4etriques des OLS est fondamental autant pour comprendre les mod`eles non lin\u00b4eaires de tous types, que pour comprendre les mod`eles de r\u00b4egression lin\u00b4eaire.

1.2 La G\u00b4
eom\u00b4
etrie des Moindres Carr\u00b4
es

Les \u00b4el\u00b4ements essentiels d\u2019une r\u00b4egression lin\u00b4eaire sont lar\u00b4egressandey et une matrice der\u00b4egresseursX\u2261 [x1... xk]. La r\u00b4egressandey est un vecteur de dimensionn, et la matrice des r\u00b4egresseursX est une matrice de dimension

n\u00d7 k, dont chaque colonnexi est un vecteur de dimension n. La r\u00b4egressande
yet chaque r\u00b4egresseur, de x1`a xk, peuvent \u02c6etre interpr\u00b4et\u00b4es comme des points

dans unespace Euclidien de dimensionn,En. Lesk r\u00b4egresseurs, pourvu qu\u2019ils soient lin\u00b4eairement ind\u00b4ependants,engendrent unsous-espace de dimensionk deEn. Nous d\u00b4esignerons ce sous-espace parS(X).1

Le sous-espaceS(X) est constitu\u00b4e par tous les pointsz appartenant `a
Entels quez =X\u03b3 pour\u03b3 donn\u00b4e, o`

u\u03b3 est un vecteur de dimensionk. A proprement parler, nous devrions nous r\u00b4ef\u00b4erer `aS(X) en tant que sous-espace engendr\u00b4e par les colonnes deX, mais de mani`ere moins formelle, nous nous y r\u00b4ef\u00b4ererons en tant que sous-espace engendr\u00b4e parX. La dimension deS(X) est toujours \u00b4egale `a\u03c1(X), lerang deX (c\u2019est-`a-dire le nombre de colonnes deX

1La notationS(X ) n\u2019est pas une notation classique, et il n\u2019y a pas de notation

classique avec laquelle nous nous sentons `a l\u2019aise. Nous croyons que cette notation a de nombreuses qualit\u00b4es, aussi la recommandons nous et l\u2019utiliserons d`es `a pr\u00b4esent.

1.2 La G\u00b4
eom\u00b4
etrie des Moindres Carr\u00b4
es
5

qui sont lin\u00b4eairement ind\u00b4ependantes. Nous supposerons quek est strictement inf\u00b4erieur `an, ce qu\u2019il est raisonnable de faire dans presque tous les cas concrets. Sin \u00b4etait plus petit quek, alorsX ne pourrait pas \u02c6etre de plein rangk.

Un espace Euclidien n\u2019est pas d\u00b4e\ufb01ni tant que l\u2019on a pas sp\u00b4eci\ufb01\u00b4e unproduit
int\u00b4erieur. Dans le cas pr\u00b4ecis qui nous int\u00b4eresse, le produit int\u00b4erieur est ainsi
appel\u00b4eproduit int\u00b4erieur naturel. Le produit int\u00b4erieur naturel de deux points
quelconques deEn, disonszi etzj , peut \u02c6etre not\u00b4e\ue001zi, zj\ue002, et il est d\u00b4e\ufb01ni par
\ue001zi, zj \ue002\u2261
n
\ue007
t=1
zitzjt\u2261zi\ue003zj\u2261zj\ue003zi.

Remarquons que le produit int\u00b4erieur naturel n\u2019est pas le seul qui soit `a notre disposition; on pourrait par exemple choisir d\u2019attribuer une pond\u00b4eration po- sitive di\ufb00\u00b4erente `a chaque \u00b4el\u00b4ement de la somme, comme dans

n
\ue007
t=1
wtzitzjt.

Ainsi que nous le verrons dans le Chapitre 9, ex\u00b4ecuter une r\u00b4egression lin\u00b4eaire par l\u2019interm\u00b4ediaire de ce produit int\u00b4erieur reviendrait `a utiliser une forme particuli`ere des moindres carr\u00b4es g\u00b4en\u00b4eralis\u00b4es. Pour la suite du livre, et `a moins que l\u2019on sp\u00b4eci\ufb01e le contraire, c\u2019est au produit int\u00b4erieur Euclidien auquel nous ferons r\u00b4ef\u00b4erence lorsque nous parlerons de produit int\u00b4erieur.

Si un pointz (qui est bien entendu un vecteur `an composantes) ap- partient `aS(X), il est toujours possible d\u2019\u00b4ecrirez comme une combinaison lin\u00b4eaire des colonnes deX, de telle sorte que:

z=
k
\ue007
i=1
\u03b3ixi=X\u03b3 ,
o`

u\u03b31,\u03b32, ...,\u03b3k sont des scalaires, et\u03b3 est un vecteur `ak composantes dont l\u2019\u00b4el\u00b4ement type est\u03b3i. Ainsi un vecteur dek coe\ufb03cients comme\u03b3 iden- ti\ufb01e n\u2019importe quel point dansS(X). Pourvu que les colonnes deX soient

lin\u00b4eairement ind\u00b4ependantes, il le fait de mani`ere unique. Les vecteursx1,x2,
...,xk sont lin\u00b4eairement ind\u00b4ependants s\u2019il est impossible d\u2019\u00b4ecrire l\u2019un d\u2019entre
eux comme une combinaison lin\u00b4eaire des autres.
Si lesk r\u00b4egresseurs ne sont pas lin\u00b4eairement ind\u00b4ependants, alors ils en-
gendreront un sous-espace de dimensionk\ue002 (aveck\ue002 plus petit quek), o`

uk\ue002 est le nombre maximum de colonnes deX qui sont lin\u00b4eairement ind\u00b4ependantes entre elles, c\u2019est-`a-dire\u03c1(X). Dans ce cas de \ufb01gure,S(X) sera identique `a

S(X\ue002), o`
uX\ue002 est une matrice de dimensionn\u00d7 k\ue002 constitu\u00b4ee desk\ue002 colonnes
deX lin\u00b4eairement ind\u00b4ependantes. Par exemple, consid\u00b4erons la matriceX

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->