Analiza e regresionit te

shumefishte
y = b 0 + b 1 x1 + b 2 x2 + . . . b k xk + u

2. Inferenca

1
Supozimet e Modelit Linear
Klasik (CLM)
Deri tani dime se nen supozimet Gauss-
Markov, OLS eshte BLUE,
Ne menyre qe te kryejme testimin e
hipotezave duhet te shtojme nje supozim
tjeter (vec supozimeve Gauss-Markov)
Supozoni se u eshte i pavarur nga x1, x2,…,
xk dhe u ka shperndarje normale me
mesatare zero dhe variance s2:
u ~ Normal(0,s2)
2
Supozimet CLM (vazhdim)
Nen CLM, OLS jo vetem eshte BLUE, por
eshte edhe vleresuesi i pazhvendosur me
variance minimale
Mund te permbledhim supozimet e
popullates te CLM si me poshte:
y|x ~ Normal(b0 + b1x1 +…+ bkxk, s2)
Mund te supozojme normalitetin per
momentin, edhe pse eshte e qarte qe kjo nuk
eshte gjithnje e vertete
Zgjedhjet e medha lejojne te heqim dore
nga supozimi i normalitetit 3
Shperndarja normale homoskedastike me
nje variabel te vetem shpjegues
y
f(y|x)

. E(y|x) = b + b x
.
0 1

Normal
distributions

x1 x2
4
Shperndarjet Normale te Zgjedhjes
Nen supozimet CLM, me kusht vlerat
e zgjedhjes se variablave te pavarur
j [
bˆ ~ Normal b ,Var bˆ , praj ( )]
j

(bˆ -bj ) ( )
( )
j
~ Normal 0,1
sd bˆ j
bˆ j eshte normalisht i shperndare sepse ai eshte
nje kombinim linear i gabimeve
5
Testi t

Nen supozimet CLM

( )
bˆ j - b j
( )
ˆ
se b
~ t n - k -1
j

Vini re se kjo eshte nje shperndarje t (vs normal)

sepse duhet te vleresojme s 2 me sˆ 2
Shkallet e lirise jane : n - k - 1

6
Testi t (vazhdim)
Njohja e shperndarjes se zgjedhjes se
vleresuesve te standartizuar lejon kryerjen e
testimit te hipotezave
Fillohet me nje hipoteze zero
Per shembull, H0: bj=0
Nese pranohet hipoteza zero, atehere
pranohet se xj nuk ka efekt mbi y, kur
kontrollohet per x-e te tjere.
7
Testi t (vazhdim)

Per te kryer testin se pari duhet te formojme

bˆ
statistiken t per bˆ j : t bˆ º j
j ( )se bˆ
j

Me pas, do te perdorim kete statistike t

bashke me nje rregull te hedhjes se saj poshte
per te percaktuar nese pranohet hipoteza zero, H 0

8
Testi t : Alternativat e njeanshme
Pervec hipotezes zero, H0, na duhet nje
hipoteze alternative, H1, dhe nje nivel
rendesie
H1 mund te jete i njeanshem, ose i dyanshem
H1: bj > 0 dhe H1: bj < 0 jane te njeanshem
H1: bj ¹ 0 eshte nje alternative e dyanshme
Nese duam te kemi nje probabilitet prej
vetem 5% per hedhjen poshte te H0 nese ajo
eshte e vertete, themi se niveli i rendesise
eshte 5%
9
Alternativat e njeanshme (vazhdim)
Pasi kemi zgjedhur nje nivel rendesie, a,
shohim percentilin e (1 – a)-te ne nje
shperndarje t me n – k – 1 shkalle lirie (df)
dhe e shenojme kete me c, vlere kritike
Mund te hedhim poshte hipotezen zero
nese statistika t eshte me e madhe se vlera
kritike
Nese statistika t eshte me e vogel se vlera
kritike atehere nuk mund te hedhim poshte
hipotezen zero. 10
Alternativat e njeanshme (vazhdim)
yi = b0 + b1xi1 + … + bkxik + ui

H0: bj = 0 H1: bj > 0

Nuk hidhet poshte

Hidhet poshte
(1 - a) a
0 c
11
Alternativat e njeanshme vs te
dyanshme
Meqe shperndarja t eshte simetrike, testimi
i H1: bj < 0 eshte i drejtperdrejte. Vlera
kritike eshte thjesht vlera negative e numrit
te marre me lart
Mund te hedhim poshte nese hipoteza zero
eshte statistika t < –c, dhe nese statistika
t > –c atehere nuk mund te hedhim poshte
hipotezen zero
Per nje test te dyanshem, vendosim vleren
kritike bazuar ne a/2 dhe hedhim poshte H1:
bj ¹ 0 nese vlera absolute e statistikes t > c 12
Alternativat e dyanshme
yi = b0 + b1Xi1 + … + bkXik + ui
H0: bj = 0 H1: bj > 0
Nuk hidhet poshte

Hidhet poshte Hidhet poshte

a/2 (1 - a) a/2
-c 0 c
13
Permbledhje per H0: bj = 0
Nese nuk eshte formuluar, hipoteza
alternative supozohet te jete e dyanshme
Nese hedhim poshte hipotezen zero,
zakonisht themi se “xj eshte statistikisht i
rendesishem ne nivelin a %”
Nese nuk hedhim poshte hipotezen zero,
zakonisht themi se “xj eshte statistikisht i
parendesishem ne nivelin a %”
14
Testimi i hipotezave te tjera
Nje forme me e pergjithshme e statistikes t
nenkupton se mund te duam te testojme
dicka te tille si H0: bj = aj
Ne kete rast, statistika t e duhur eshte

(bˆ - aj )
t=
( )
j
, ku
se bˆ j
a j = 0 per testin standart

15
Intervalet e besimit
Nje menyre tjeter per te perdorur testimin
statistikor klasik eshte te ndertohet nje interval
besimi duke perdorur te njejten vlere kritike qe
perdorem per alternativen e dyanshme
Nje interval besimi (1 - a) % perkufizohet si
( )
bˆ j ± c • se bˆ j , ku c eshte
æ aö
percentili i ç1 - ÷ ne nje shperndarje t n - k -1
è 2ø

16
Llogaritja e vlerave p per testet t
Nje alternative ndaj menyres klasike eshte
te pyesim, “cili eshte niveli me i vogel i
cilesise per te cilin hipoteza zero do te
mund te hidhej poshte?”
Keshtu, llogaritim statistiken t, dhe me pas
shohim ne cfare percentili eshte ajo ne
shperndarjen e duhur t– kjo eshte vlera p
Vlera p eshte probabiliteti qe te marrim nje
statistike t sa ajo qe kemi marre aktualisht,
nese hipoteza zero eshte e vertete 17
Stata dhe vlerat p, testet t, etj.
Shume prej paketave kompjuterike
llogaritin vleren p, perkundrejt alternatives
se dyanshme
Nese duhet te testoni nje alternative te
njeanshme, thjesht pjesetoni vleren e p per
alternativen e dyanshme me 2
Stata dhe SPSS japin statistiken t, vleren p,
dhe intervalin e besimit 95% per H0: bj = 0,
ne kolonat me etiketa “t”, “P > |t|” dhe
“[95% Conf. Interval]”, respektivisht 18
Testimi i Kombinimeve Lineare
Supozoni se ne vend te testimit nese b1 eshte e
barabarte me nje konstante, doni te testoni nese ai
eshte i barabarte me nje parameter tjeter, pra H0 :
b1 = b2
Perdorim te njejten procedure baze si per
formimin e statistikes t

bˆ1 - bˆ 2
t=
(
se bˆ1 - bˆ 2 ) 19
Testimi i Kombinimeve Lineare
(vazhdim)
Meqe
( ) ( )
se bˆ1 - bˆ2 = Var bˆ1 - bˆ2 , atehere
Var (bˆ - bˆ ) = Var (bˆ ) + Var (bˆ ) - 2Cov (bˆ , bˆ )
1 2 1 2 1 2

se(bˆ - bˆ ) = {[se(bˆ )] + [se(bˆ )] - 2 s }

1
2 2 2
1 2 1 2 12

ku s eshte nje vleresues i Cov (bˆ , bˆ )

12 1 2

20
Testimi i Kombinimeve Lineare
(vazhdim)
Ne kete menyre, per te perdorur formulen,
duhet s12, te cilin nuk e marrin nga outputi
standart i paketave kompjuterike
Shume paketa tashme e kane shtuar kete
opsion, ose ato vete mund ta kryejne kete
test per ju
Per shembull, ne Stata, pas reg y x1 x2 …
xk mund te shkruani test x1 = x2 per te
marre vleren e p per testin
Ne pergjithesi, problemi mund te
reformulohet per te marre rezultatet qe doni 21
Shembull:
Supozoni se jeni te interesuar per efektin e
shpenzimeve te fushates mbi rezultatin
Modeli eshte voteA = b0 + b1log(expendA)
+ b2log(expendB) + b3prtystrA + u
H0: b1 = - b2, ose H0: q1 = b1 + b2 = 0
b1 = q1 – b2, dhe zevendesoni dhe
rregulloni ekuacionin Þ voteA = b0 +
q1log(expendA) + b2(log(expendB) –
log(expendA))+ b3prtystrA + u 22
Shembull (vazhdim):
Ky eshte nje model i njejte me origjinalin,
por tashme merret nje gabim standart per
b1 – b2 = q1 ne menyre direkte nga
regresioni baze
Cdo kombinim linear i parametrave do te
mund te testohej ne nje menyre te ngjashme
Shembuj te tjere te hipotezave rreth nje
kombinimi te vetem linear te parametrave:
n b1 = 1 + b2 ; b1 = 5b2 ; b1 = -1/2b2 ; etj.
23
Kufizimet Lineare te Shumefishta
Gjithcka kemi pare deri tani ka patur te
beje me testimin e nje kufizimi te vetem
linear, (p.sh. b1 = 0 ose b1 = b2 )
Gjithsesi, ne mund te duam te testojme
hipoteza te perbashketa te shumefishta rreth
parametrave tane
Nje shembull i zakonshem eshte testimi i
“kufizimeve perjashtuese” – duam te dime
nese nje grup parametrash jane te gjithe te
barabarte me zero 24
Testimi i kufizimeve perjashtuese
Tashme hipoteza zero mund te jete dicka si
H0: bk-q+1 = 0, ... , bk = 0
Alternativja eshte thjesht H1: H0 nuk eshte
e vertete
Nuk mundemi qe thjesht te shohim cdo
statistike t ne vecanti, sepse duam te dime
nese q parametrat jane se bashku te
rendesishem ne nje nivel te dhene – eshte e
mundur qe asnje prej tyre te mos jete
individualisht i rendesishem ne ate nivel
25
Kufizimet perjashtuese (vazhdim)
Per te kryer testin duhet te vleresojme modelin
me kufizime/restriksione pa perfshire xk-q+1,, …, xk,
si dhe modelin pa restriksione me te gjithe x-et e
perfshire
Intuitivisht, duam te dime nese ndryshimi ne SSR
eshte mjaftueshem i madh is per te garantuar
perfshirjen e xk-q+1,, …, xk

Fº
(SSRr - SSRur ) q
, ku
SSRur (n - k - 1)
r tregon kufizime dhe ur pa kufizime 26
Statistika F
Statistika F eshte gjithnje pozitive, meqe
SSR nga modeli me kufizime nuk mund te
jete me e vogel se SSR nga modeli pa
restriksione
Statistika F mat rritjen relative ne SSR kur
kalojme nga modeli pa kufizime tek ai me
kufizime
q = numri i kufizimeve, or dfr – dfur
n – k – 1 = dfur
27
Statistika F (vazhdim)
Per te percaktuar nese rritja ne SSR kur
kalojme ne nje model me kufizime eshte
“mjaftueshem e madhe” per te hedhur
poshte kufizimet/perjashtimet, duhet te
dime rreth shperndarjes se zgjedhjes se
statistikes F
F ~ Fq,n-k-1, ku q i referohet shkalleve te
lirise se numeruesit dhe n – k – 1 si shkallet
e lirise se emeruesit
28
Statistika F (vazhdim)
f(F) Hidhet poshte H0
Nuk hidhet poshte ne nivelin e
rendesise a nese
F>c
Hidhet poshte
(1 - a) a
0 c F
29
Forma me R2 e statistikes F
Meqe SSR-te mund te jene te medha, nje forme
alternative e formules eshte me e perdorshme
Per kete perdoret fakti se SSR = SST(1 – R2) per
cdo regresion, keshtu qe mund ta zevendesojme
tek SSRu dhe SSRur

Fº
(R
-R q
2
ur
2
r )
, ku perseri
( )
1 - R (n - k - 1)
2
ur

r tregon me kufizime dhe ur pa kufizime

30
Rendesia e pergjithshme
Nje rast i vecante i kufizimeve perjashtuese eshte
te testohet H0: b1 = b2 =…= bk = 0
Meqe R2 nga nje model vetem me nje konstante
do te jete zero, statistika F eshte thjesht

2
R k
F=
(
1 - R (n - k - 1)
2
)
31
Kufizimet e pergjithshme lineare

Forma baze e statistikes F do te funksionoje

per cdo bashkesi kufizimesh lineare
Se pari, vleresojme modelin pa restriksione
dhe me pas vleresojme modelin me
restriksione
Ne secilin rast, ruajme SSR
Venia e kushteve mund te jete problematike –
ka gjasa te duhet te riperkufizohen variablat
32
Shembull:
Perdorim te njejtin model votimi si me pare
Modeli eshte voteA = b0 + b1log(expendA) +
b2log(expendB) + b3prtystrA + u
Tashme hipoteza zero eshte H0: b1 = 1, b3 = 0
Zevendesimi i kufizimeve: voteA = b0 +
log(expendA) + b2log(expendB) + u, keshtu qe
Perdorim voteA - log(expendA) = b0 +
b2log(expendB) + u si model me kufizime

33
Permbledhje e statistikes F
Ashtu si me statistikat t, mund te llogariten
vlerat p duke pare percentilin ne
shperndarjen e duhur F
Stata e ben kete me sintaksen:
display fprob(q, n – k – 1, F), ku perdoren
vlerat perkatese te F, q, dhe n – k – 1
Nese testohet vetem vetem nje kufizim
perjashtues, atehere F = t2, dhe vlerat p do
te jene te njejta
34