MODELUL DE REGRESIE CLASIC

Ipotezele modelului de regresie liniară

Facultatea de CSIE,
Specializarea Informatică Economică
Curs 5, 6 – 2, 9 noiembrie 2009

Conf.univ.dr. Cristina BOBOC

 IV. Ipotezele modelului de regresie liniară
 Pentru obţinerea unor estimatori de calitate ai parametrilor de
regresie se fac, de obicei, şase presupuneri (ipoteze) standard:
 1. Forma funcţională liniară: yi = + xi + i, i=1,n
 2. Media zero a erorilor: μ(i)=0 i
 
3. Homoscedasticitatea: σ (i)= 
2
2
constantă i
 4. Non autocorelarea erorilor: Cov(i,j)=0 ij
 5. Normalitatea erorilor: i sunt repartizate normal
Ipoteza 1: Forma funcţională
Forma generală:
f(yi)= +g(xi)+i
Ipoteza 1: Forma funcţională
Ipoteza 1: Forma funcţională
 Ipoteza 1: Forma funcţională

 Ipoteza de linearitate a modelului include şi aditivitatea erorilor:

y =  + x + ,

 Exemplu: y  Ax  e  ln(y)=ln(A)+ln(x)+

y  Ax    Nu poate fi transformat
în model liniar
 Ipoteza 2: media erorilor este zero

 Eroarea  este văzută ca suma efectelor individuale, cu semne

diferite.

 Dacă media erorilor este diferită de zero, ea poate fi considerată ca

o parte sistematică a regresiei:
μ()=   + x +  = (+) + x + (-)

 Această presupunere indică faptul că media valorilor Y, condiţionat

de X:
 (Y/X = Xi) =  + Xi
adică nu există variabile omise asociate cu regresia în populaţie.
Ipoteza 3 : Homoscedasticitatea erorilor
Definire

Homoscedasticitatea:
 2
σ (i)=  constantă i
2

a) Erori homoscedastic b) Erori heteroscedastice

 Ipoteza 3 : Homoscedasticitatea erorilor
Definire

Densitatea Densitatea

Y Y

1 + 2 Xi 1 + 2 Xi
X X
 Ipoteza 3 : Homoscedasticitatea erorilor
Cauze de apariţie a heteroscedasticităţii

 1. Modelele de învăţare din erori

 2. Pe măsura creşterii veniturilor, cresc posibilităţile de alegere în
distribuirea acestora
 3. Erorile de măsură
 4. Strategiile de eşantionare
 5. Transformarea incorectă a datelor
 6. Specificarea eronată a formei funcţionale:
 Ipoteza 3 : Homoscedasticitatea erorilor
Consecinţele heteroscedasticităţii

 Consecinţele heteroscedasticităţii asupra estimatorilor

obţinuţi prin metoda celor mai mici pătrate
 Utilizarea metodei celor mai mici pătrate în condiţiile în care
ipoteza homoscedasticităţii nu este verificată conduce la estimatori
deplasaţi ai variaţiei coeficienţilor modelului liniar de regresie şi
estimatori ne-eficienţi ai coeficienţilor modelului liniar de regresie,
existând alţi estimatori cu varianţa mai mică.
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Depistarea heteroscedasticităţii
Pentru depistarea heteroscedasticităţii pot fi folosite
metode empirice, formale sau informale:
 metoda grafică
 testul White
 testul Goldfeld-Quandt
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Metoda grafică
 Se reprezintă grafic ei2 în funcţie de xi şi se observă dacă există o

legătură sistematică între acestea.

ei 2

xi
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Testul White
 Etapa 1. Se estimează parametrii modelului de regresie
multifactorial: Y=X prin metoda celor mai mici pătrate şi se
obţine seria reziduurilor (ei)i=1,n
 Etapa 2. Se explicitează seria (ei2)i=1,n în raport cu una sau mai
multe variabile exogene, astfel:
k k

1. e   a j x ji   b j x ji  vi
2 2

i
j 1 j 1

 2. ei2  a1 x1i  a 2 x 2i  b1 x12i  b2 x 22i  c1 x1i x 2i  vi

 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Etapa 3. Ipotezele testului:

H0: a1=...=ak=b1=...=bk=0  model homoscedastic
H1: ai  0 sau bj  0  model heteroscedastic

 Se demonstrează că în cazul ipotezei nule, nR2 este repartizată 2r,

unde r este numărul de parametri din modelul erorilor folosit.
Deci, statistica testului este:
LM=nR2 2r
unde:
 n este numărul observaţiilor folosite pentru estimarea parametrilor şi
erorilor
 R2 este raportul de determinare evaluat pentru unul din modelele erorilor
 r este numărul de parametri din modelele erorilor
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Etapa 4. Pentru r grade de libertate şi o probabilitate de

garantare a rezultatelor de 95% se determină valoarea
2,r .
 Dacă LM>2,r  atunci se respinge H0, deci modelul este
heteroscedastic.
 Dacă LM<2,r  atunci se acceptă H0, deci modelul este
homoscedastic.
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii

 Observaţii:
 O creştere a lui r conduce la diminuarea puterii testului.
 Când sunt un număr mare de variabile exogene se recomandă
utilizarea modelului 1.
 Când sunt un număr moderat de variabile exogene se recomandă
utilizarea modelului 2.
 Ipoteza 3 : Homoscedasticitatea erorilor
Depistarea heteroscedasticităţii
 Exemplul 2: Se consideră modelul de regresie ce descrie legătura, presupusă liniară,
între valoarea investiţiilor realizate şi rata dobânzii, înregistrate în perioada 1995-2004.

An 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
Investiţii (mld. lei) 15424,9 24998,5 53540,1 67919,9 96630,4 151947,2 241153,6 322836 422535,1 526555,8
Rata dobânzii (%) 36,5 38,1 51,6 38,3 45,4 32,4 26,2 18,4 10,8 11,3
 Etapa 1 : Se estimează parametrii modelului liniar de regresie :

 yˆ i erorile
Etapa 2 : Se calculează 554842 ,3  1173101
ei=yi-  xi acestea se estimează modelul :
iar pentru
ŷi
şi se obţine: ei2  b0 xi  b1 xi2   i
cu R2=0,568
 eˆi2 statistica
Etapa 3: Se calculează 788264420  xi  1842359
testului
2
White :  xi

 Decise
>LM. LM  0,568 ipoteza
10acceptă 5,68 H0, modelul fiind homoscedastic.
 02,05; 2  5,99
 Ipoteza 3 : Homoscedasticitatea erorilor
Măsuri corective ale heteroscedasticităţii

 i2 cunoscut
 Metoda celor mai mici pătrate ponderată

yi x x u
  0 0i   1 i  i unde x0i=1 pentru orice i.
i i i i

y i*   0* x0*i  1* xi*  u i* Var (ui* )  1, i  1, n

 Ipoteza 3 : Homoscedasticitatea erorilor
Măsuri corective ale heteroscedasticităţii

  i2   2 xi2 deci variaţia erorii este proporţională cu pătratul

variabilei explicative, modelul se transformă astfel:

yi x u
  0 0 i  1  i unde x0i=1 pentru orice i.
xi xi xi

yi*   0 xi*  1  ui*

ui  2 xi2
Var (u )  Var ( )  2   2 , i  1, n
*
i
xi xi
 Ipoteza 3 : Homoscedasticitatea erorilor
Măsuri corective ale heteroscedasticităţii

  i2   2 xi deci variaţia erorii este proporţională cu variabila

explicativă, modelul se transformă astfel:

yi x u
  0 0i  1 xi  i unde x0i=1 pentru orice i.
xi xi xi

yi*   0 x0*i  1 xi*  ui*

ui  2 xi
Var (u )  Var (
*
i )   2 , i  1, n
xi xi
 Ipoteza 3 : Homoscedasticitatea erorilor
Măsuri corective ale heteroscedasticităţii

 Transformarea logaritmică este adesea folosită pentru

înlăturarea heteroscedasticităţii, deoarece reduce dispersia
variabilelor iniţiale. Astfel se estimează prin metoda celor mai mici
pătrate modelul:

ln y i  1   2 ln x i  u i
 Ipoteza 4: Non autocorelarea erorilor
Definire

 Variabilele aleatoare εi sunt statistic independente una de alta, adică

cov i ,  j   0 i j (non-autocorelarea reziduurilor).

Dacă există i ≠ j astfel încât cov(εi, εj) ≠ 0, spunem că erorile sunt

autocorelate.
 Ipoteza 4: Non autocorelarea erorilor
Definire

u u
u

timp timp
timp
 Ipoteza 4: Non autocorelarea erorilor
Cauzele apariţiei autocorelării erorilor

 Absenţa uneia sau mai multor variabile explicative importante

 Modelul de regresie nu este corect specificat
 Modele autoregresive
 Transformarea datelor
 Ipoteza 4: Non autocorelarea erorilor
Consecinţele autocorelării erorilor

 Utilizarea metodei celor mai mici pătrate în condiţiile în

care erorile sunt autocorelate, conduce estimatori
nedeplasaţi şi consistenţi, dar nu şi eficienţi, ai
coeficienţilor modelului liniar de regresie, existând alţi
estimatori cu varianţa mai mică.
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

 Metoda grafică
 Testul Durbin Watson
 Testul Goldfeld-Quandt
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

 Metoda grafică
 Valorile erorilor observate pot fi reprezentate printr-o cronogramă.
În cazul în care evoluţia temporală a variabilei reziduale urmează
anumite pattern-uri, sugerează faptul că erorile sunt autocorelate.
 Pentru identificarea unei autocorelaţii de ordinul 1 pentru erori, se
pot reprezenta grafic printr-o corelogramă valorile observate
pentru ut şi ut-1.
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

 Testul Durbin Watson

 detectează doar autocorelarea de ordin 1 şi se bazează pe câteva
ipoteze restrictive:
 modelul de regresie trebuie să cuprindă termen liber: în cazul în care
modelul nu are termen liber trebuie să se revină şi să se transforme
datele pentru obţinerea unui model de regresie cu termen liber;
 matricea X trebuie să fie nestochastică;
 erorile sunt determinate printr-un proces autoregresiv de ordin 1 : ;
 erorile sunt presupuse a fi distribuite normal;
 modelul de regresie nu cuprinde ca variabilă explicativă, variabila
endogenă cu decalaj
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

 Etapa 1. Se estimează parametrii modelului de regresie

prin metoda celor mai mici pătrate şi se obţine seria
reziduurilor (ei)i=1,n. Ipotezele ce trebuie testate sunt:
 H0:  = 0 şi
 H1:  ≠ 0
unde  este coeficientul de autocorelare a erorilor de ordin 1.
 Etapa 2. Se calculează statistica Durbin Watson :
n

 (e t  et 1 ) 2
DW  t 2
n

e
t 1
t
2
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

 Etapa 3. Se determină valorile critice ale statisticii Durbin

Watson, d1 şi d2, în funcţie de numărul de variabile exogene
incluse în modelul de regresie (p), de numărul de observaţii
(n) şi de pragul de semnificaţie ales ().
 Etapa 4. Se compară statistica Durbin Watson cu valorile
critice ale statisticii şi rezultă următoarele zone de decizie:
 0<DW<d1 : erorile sunt autocorelate pozitiv;
 d1<DW<d2 : nu se poate spune dacă erorile sunt corelate pozitiv;
 d2<DW<4-d2 : erorile nu sunt autocorelate;
 4-d2<DW<4-d1: nu se poate spune dacă erorile sunt corelate negativ;
 4-d1<DW<4 : erorile sunt autocorelate negativ.
 Ipoteza 4: Non autocorelarea erorilor
Depistarea autocorelaţiei erorilor

Testul Durbin-Watson pentru α= 5 %.

n k=1 k=2 k=3 k=4 k=5
d1 d2 d1 d2 d1 d2 d1 d2 d1 d2
15 1,08 1,36 0,95 1,54 0,82 1,75 0,69 1,97 0,56 2,21
20 1,20 1,41 1,10 1,94 1,00 1,68 0,90 1,83 0,79 1,99
30 1,35 1,49 1,28 1,57 1,21 1,65 1,14 1,74 1,07 1,83
40 1,44 1,54 1,39 1,60 1,34 1,66 1,29 1,72 1,23 1,79
50 1,50 1,59 1,46 1, 1,42 1,67 1,38 1,72 1,34 1,77
63
100 1,65 1,69 1,63 1,72 1,61 1,74 1,59 1,76 1,37 1,78
 Ipoteza 4: Non autocorelarea erorilor
Exemplu
 Se consideră modelul de regresie ce descrie legătura, presupusă liniară,
între rata de solvabilitate bancară şi totalul sumelor datorate către bănci
în miliarde lei. Se doreşte testarea autocorelării erorilor folosind testul
Durbin Watson.
Luna Rata solvabilitate Total sume datorate Luna Rata solvabilitate Total sume datorate
ian.02 28,18 166599 iun.03 22,82 296198
feb.02 27,5 172543 iul.03 22,48 296029
mar.02 27,24 184806 aug.03 21,88 314975
apr.02 26,11 196550 sep.03 21,36 321995
mai.02 27,47 201206 oct.03 20,72 336362
iun.02 27,09 206722 nov.03 20,62 341096
iul.02 27,26 208508 dec.03 21,09 364528
aug.02 26,73 215573 ian.04 21,24 354209
sep.02 26,22 220474 feb.04 20,99 370735
oct.02 25,77 227831 mar.04 20,46 386328
nov.02 24,86 241042 apr.04 20,06 397065
dec.02 25,04 252625 mai.04 20,1 407180
ian.03 24,97 257288 iun.04 20,34 435333
feb.03 24,36 260337 iul.04 19,86 458771
mar.03 25,02 268130 aug.04 19,57 467051
apr.03 23,42 278585 sep.04 19,74 484288
mai.03 23,26 286370
 Ipoteza 4: Non autocorelarea erorilor
Măsuri corective ale autocorelării erorilor

 Dacă în urma aplicării unui test de diagnostic al autocorelaţiei erorilor,

a rezultat prezenţa acesteia, se decide dacă aceasta nu este rezultatul
unei erori de specificare a modelului. În acest caz dacă:
 forma funcţionalei este necorespunzătoare, se alege o nouă funcţie de
regresie;
 au fost omise variabile importante pentru descrierea modelului, acestea
sunt incluse în model;
 variabilele necesită transformări suplimentare, acestea sunt realizate.

 În cazul autocorelaţiei pure, se poate aplica metoda celor mai mici

pătrate generalizată descrisă în continuare.
 Ipoteza 4: Non autocorelarea erorilor
Măsuri corective ale autocorelării erorilor
p
 Se consideră modelul de regresie : yt   0    j x jt  ut
j 1

 Se presupune că seria erorilor (ui)i=1,n, urmează un proces autoregresiv de

ordinul întâi:
ut  ut 1   t
 Atunci: p p
yt   0    j x jt  ut 
j 1
yt    y t 1   0 (1   )  
j 1
j ( x jt  x jt 1 )  ut  ut 1
 Notând:
 y t*  yt  yt 1 p
 *
 x jt  x jt  x jt 1  yt*   0    j x *jt   t
 j 1
 0   0 (1   )
  u  u
 t t t 1
 Ipoteza 5: normalitatea erorilor
 Se presupune că variabila aleatoare i este normal distribuită :

Distribuţia de probabilitate pentru i