ECONOMETRIE

IAI
- 2013-
CURS 2

- note de curs -
Tematic C2: REGRESIA LINIAR SIMPL (1)
- Prezentarea modelului
- Estimarea punctual i prin interval de ncredere a parametrilor
- Estimarea indicatorilor de corelaie (coeficient, raport)
- Probleme specifice utilizand SPSS
Modelul regresiei simple
1. Scurt istoric al regresiei
2. Noiuni
3. Funcia de regresie liniar parametric (populaie), funcia de
regresie liniar estimator (eantion)
4. Restriciile variabilei eroare n modelul de regresie
5. Exemple de modele liniare simple n teoria economic
6. Estimarea punctual a parametrilor ecuaiei de regresie
liniar simpl prin metoda celor mai mici ptrate(MCMMP)
7. Estimarea prin interval de ncredere a parametrilor ecuaiei
de regresie liniar
8. Testarea parametrilor modelului de regresie
9. Indicatori ai intensitii legturii dintre dou variabile:
coeficientul de corelaie, raportul de corelaie, raportul de
determinaie
10. Estimarea punctual i testarea semnificaiei indicatorilor
de corelaie (parametru)
1.Scurt istoric al regresiei
1885 - Francis Galton, Presidential address, Section H,
Anthropology. (Galton utilizeaz termenul de "regresie" n
lucrrile sale, n care abordeaz problema nlimii
oamenilor)
1886 - Francis Galton,. "Regression Towards Mediocrity
in Hereditary Stature," Journal of the Anthropological
Institute, nr. 15, pp. 246-263. (Facsimile at: [2])
1897 - G. U. Yule, "On the Theory of Correlation",
Journal of the Royal Statistical Society , pp. 812-54.
1903 - Karl Pearson, G. U. Yule, Norman Blanchard, and
Alice Lee. "The Law of Ancestral Heredity", Biometrika
1922 - R.A. Fisher, "The goodness of fit of regression
formulae, and the distribution of regression coefficients",
Journal of the Royal Statistical Society, pp. 85, 597-612
1925 - R.A. Fisher, Statistical Methods for Research
Workers
2. Noiuni (1)
Regresia este o legtur statistic ntre dou sau mai multe variabile
statistice.
n legturile statistice utilizm variabile aleatoare (stohastice), ceea
ce nseamn c variabilelor le corespund distribuii de probabilitate (v.
fig. 1, 2).

x
i
Y: =>M(Yx
i
) = f(x
i
)

X variabil independent - variabil nestohastic
Y variabil dependent variabil stohastic (prezint distribuii pentru
fiecare valoare a lui X)

n legturile de tip funcional unei valori i se asociaz o alt valoare i
nu o distribuie de probabilitate.
x
i
y
i
=> f(x
i
)=y
i


Analiza de regresie studiaz forma legturii dintre una sau mai multe
variabile => Model de regresie
Analiza de corelaie Studiaz intensitatea legturii dintre una sau
mai multe variabile legate printr-un model de regresie.
);
n
y
...
...
n
y
...
...
n
y
(
m
m
j
j
i
1
2. Noiuni (2) - Fig.1
2. Noiuni (3) Fig.2
Cheltuielile cu nevoile personale ale populaiei n
f u n c i e d e P I B
0
10
20
30
40
50
60
70
80
90
100
110
120
130
140
150
160
170
180
190
200
100 200 300 400 500 600 700 800 900 1000
Produsul Intern Brut (mld. EUR)
C
h
e
l
t
u
i
e
l
i
l
e

c
u


n
e
v
o
i
l
e

p
e
r
s
o
n
a
l
e

(
m
i
i

E
U
R
)
i
y

= 0.163
i
x
- 0.8552
3. Modelul econometric de regresie liniar simpl -
parametric (1)
Funcia de regresie liniar simpl parametric (populaie)
se aplic la nivelul populaiei de volum N i are forma [D. N.
Gujarati, p. 38]:
M(YX=x
i
) = f(x
i
)
Pentru o regresie liniar forma pe care o ia f(x
i
) va fi liniar:
M(YX=x
i
) = f(x
i
) =
0
+
1
x
i

unde:
M(YX=x
i
) media, corespunztoare variabilei stohastice Y,
condiionat de X = x
i

0
= f(0) parametrul intersecia dreptei de regresie liniar cu axa
OY (engl. intercept)

1
parametrul panta a dreptei care reprezint variaia absolut a
variabilei Y atunci cnd variabila X crete cu o unitate (
1
=Y/ X)

1
>0: legtur direct ntre variabile, Y variaz n acelai
sens cu X

1
<0: legtur invers ntre variabile, Y nu variaz n acelai
sens cu X
3. Modelul econometric de regresie liniar simpl -
parametric (2)
In realitate valorile reale ale lui Y difer de fapt de valoarea
ateptat M(YX=x
i
).

Aceasta determin introducerea n ecuaia modelului a
variabilei eroare stohastic, , ale crei valori vor reprezenta
abaterile valorilor reale ale lui Y fa de o valoarea ateptat
M(YX=x
i
).

y
i
= M(YX=x
i
) +
i
=
0
+
1
x
i
+
i
unde
i
= y
i
- M(YX=x
i
)
3. Modelul econometric de regresie liniar simpl -
estimator
Funcia de regresie estimator (eantion) se aplic la nivelul
eantionului de volum n i are forma [D. N. Gujarati, p. 42]:

sau
unde:

- estimatorul mediei condiionate M(YX=x
i
), numit i
variabil teoretic
- estimatorul parametrului
- estimatorul parametrului panta dreptei
- estimatorul erorii stohastice
i




i i i
x y c | |


1 0
+ + =
i i i
y y c

+ =
0
|
1
|
i
c
1

|
i
y
0

|
4. Interpretarea parametrilor modelului de regresie liniar
4. Ipoteze clasice ale modelului de regresie
Ipotezele modelului de regresie vizeaz variabila rezidual i
variabila independent.
Cele mai importante ipoteze cu privire la eroarea stohastic
(eroare de modelare) sunt:
- media erorilor de modelare este nul: M(
i
)=0
- normalitatea erorilor: , adic variabila
rezidual urmeaz o lege de repartiie normal de medie zero i
varian
2
;
- homoscedasticitate: ,adic variana erorii
este constant la nivelul distribuiilor condiionate de tipul
;
- necorelarea erorilor: ,adic
erorile nu se influeneaz reciproc;
- lipsa corelaiei dintre variabila independent i variabila
eroare: .
) , 0 ( N ~
2
i
o c
2 2
i i
) ( M ) ( V o c c = =
i i
x X Y =
n
j i
, 1 j i, j; i , 0 ) , cov( = = = c c
0 ) x , cov(
i i
= c
5. Exemple de modele liniare simple n teoria economic
Funcia de consum
cererea sau consumul populaiei n funcie de venit:
, unde parametrul |
1
arat cu ct crete
consumul unui anumit produs ( ) la o cretere cu o unitate a
venitului i este de regul pozitiv.

Legea cererii
cererea populaiei n funcie de preul acestor produse:
, unde parametrul |
1
este de regul negativ i
arat cu ct scade cererea la o cretere a preului cu o unitate.
i i i
V C c | | + + =
1 0
i
C
i i i
P C c | | + + =
1 0
MCMMP (engl. Method of Ordinary Least Sqares - OLS)
Fie:




Estimatorul variabilei reziduu de modelare poate fi obinut
prin scderea relaiilor:



6. Estimarea punctual parametrilor modelului de regresie
i i
x y
1 0

| | + =
i i i
x y c | |


1 0
+ + =
( )
i i i i i i i
x y x y y y
1 0 1 0


| | | | c = + = =
7. Proprietile estimatorilor parametrilor modelului de
regresie
Estimatorii parametrilor modelului de regresie sunt variabile de
selecie care:

- urmeaz o distribuie normal: ~ , ~

- sunt nedeplasai:

- convergeni:

- eficieni: dintre toi estimatorii posibili pentru , are
variana cea mai mic
0

|
( )
2
0
0
,
|
o | N
1

|
( )
2
1
1
,
|
o | N
( ) ( )
1 1 0 0

,

| | | | = = M M
( ) ( )
1 1 0 0

,

| | | |
e e N n N n
1
|
1

|
8. Metoda celor mai mici ptrate(MCMMP) (1)
La nivelul unui eantion avem:





Criteriul este cel mai des utilizat n practic i
servete pentru estimarea parametrilor modelului liniar. Metoda
care utilizeaz acest criteriu n estimarea parametrilor modelului
poart denumirea de Metoda Celor Mai Mici Ptrate (MCMMP).
( )
n
2
i
i 1
e - minim
=

( ) ( ) ( )

= = = =
= + = =
n
1 i
n
1 i
n
1 i
n
1 i
i 1 0 i i 1 0 i i i i
x b b y ) x b b ( y y y e

Notm

Rezolvarea acestei probleme de minim presupune ndeplinirea a dou
condiii:
1. Anularea derivatelor pariale de ordinul I ale lui S n raport cu b
0
i b
1
:









2. Matricea derivatelor pariale de ordinul doi s fie pozitiv definit:




Este pozitiv definit deoarece
8. Metoda celor mai mici ptrate(MCMMP) (2)
( )
2
2 2 2
i i
n x x n 0 o = >

( )

= =
= =
n
i
n
i
i i i
x b b y e S
1 1
2
1 0
2

( )( )
( )( )


= = = =
= = =
= + = =
c
c
= + = =
c
c
n
i
n
i
i i i
n
i
i
n
i
i i i
n
i
n
i
i i
n
i
i i
x y x b x b x x b b y
b
S
y x b nb x b b y
b
S
1 1
2
1
1
0
1
1 0
1
1 1
1 0
1
1 0
0
0 2
0 1 2
( ) ( )

=
A
A
=

=
A
A
=
2
2
1
1
2
2
2
0
0
,
i i
i i i i
i i
i i i i i
x x n
y x y x n
b
b
x x n
y x x x y
b
b
|
|
.
|

\
|
=
c c
c
=
c
c
=
c
c



= =
2
1 1
1 0
2
2
1
2
2
0
2
2
2 ; 2 ; 2
i i
i
n
i
n
i
i i
x x
x n
x
b b
S
x
b
S
b
S
9. Estimarea prin interval de ncredere a parametrilor
modelului de regresie liniar i testarea acestora (1)
7.1 Estimarea prin interval de ncredere a parametrilor
modelului de regresie liniar (1)


Att pentru , ct i pentru , intervalele de ncredere se vor
construi astfel:



La nivelul eantionului, relaiile de mai sus devin:




unde k = numrul parametrilor estimai din model (pentru modelul liniar
k=2)


0

|
1

|
]

[
0
, 2 / 0 0
|
o
o | |
k n
t

e
]

[
1
, 2 / 1 1
|
o
o | |
k n
t

e
| |
0 0
, 2 / 0 , 2 / 0 0
,
|
o
|
o
| s t b s t b
k n k n
+ e | |
1 1
, 2 / 1 , 2 / 1 1
,
|
o
|
o
| s t b s t b
k n k n
+ e
Abaterile standard ale estimatorilor i estimaiile acestora se
determin dup relaiile:

, respectiv


, respectiv ,

unde este estimatorul varianei erorii de modelare, iar s
2
este
estimaia acestuia:

, respectiv



7. Estimarea prin interval de ncredere a
parametrilor modelului de regresie liniar (2)
( )
|
|
|
.
|

\
|

+ = =

| |
i
2
i
2
2 2

x x
x
n
1
s s s
0 0

=

= =
n
i
i
x x
s
s s
1
2
2
2

) (
1 1
| |

=

= =
n
i
i
x x
1
2
2
2

) (

1
1
o
o o
|
|
2

o
( )
|
|
|
.
|

\
|

+ o = o = o

|
|
i
2
i
2
2 2

x x
x
n
1

0
0
2
)

(
2

2
1 0
2
2

=

n
x y
n
i i i
| | c
o
2
) (
2
2
1 0
2
2

=

n
x b b y
n
e
s
i i i
EXEMPLU
Se consider datele cu privire la Valoarea
vnzrilor i Cheltuielile cu publicitatea pentru
un eantion de 4 firme. Datele sunt prezentate
n tabelul urmtor.
x
i
y
i

10
20
50
100
2500
4100
5000
2500
180 14100
ANOVA
164.135 1 164.135 .069 .817
4735.865 2 2367.933
4900.000 3
Regressi on
Resi dual
Total
Sum of
Squares df Mean Square F Si g.
The i ndependent variabl e i s Vanz.
Coefficients
-.006 .023 -.183 -.263 .817
66.039 83.534 .791 .512
Vanz
(Constant)
B Std. Error
Unstandardi zed
Coeffi ci ents
Beta
Standardi zed
Coeffi ci ents
t Si g.
Model Summary
.183 .033 -.450 48.661
R R Square
Adj usted
R Square
Std. Error of
the Esti mate
The i ndependent vari abl e i s Vanz.