Podsetnik iz Multivarijantne statistike

Regresija
Autor: Ana Jovančević

U okviru regresione analize imate više varijanti i opcija.

Regresija u kojoj imate jedan prediktor se zove samo linearna regresija.

Regresija u kojoj imate više prediktora se zove multipla regresija.

Postupak u regresiji se razlikuje zavisno od toga koji metod želite da koristite.

Bez obzira koji metod koristite regresiji pristupate na sledeći način:

Idete, dakle na ANALYZE pa na REGRESSION pa na LINEAR...

Kad to uradite pojaviće vam se sledeći prozor:

U DEPENDENT ubacujete ZAVISNE ODNOSNO KRITERIJUMSKE VARIJABLE.

U INDEPENDENT(S) ubacujete NEZAVISNE ODNOSNO PREDIKTORSKE VARIJABLE.

Kad ste ubacili varijable onda otvarate prozor STATISTICS...koji izgleda ovako:

Čekirajte iste opcije koje su čekirane i na ovom prozoru. Objasnićemo u output-u šta koja znači.
Posle toga idete na CONTINUE pa na OK.

Dalje birate opciju PLOTS... kad kliknete na nju otvoriće vam se sledeći prozor:

Iz levog prozora u prozočić Y ubacujete varijablu ZPRED a u prozorčić X ubaujete varijablu

ZRESID.

Ovo radite kako biste dobili podatke o rezidualima i predviĎenoj varijansi.

Čekirajte opciju NORMAL PROBABILITY PLOTS. Onda idete na CONTINUE.

Onda odabere opciju OPTIONS...i pojaviće vam se sledeći prozorčić:

Ovde ostavite sva podešavanja kakva jesu, ali je bitno da ih proverite. Uokvirena opcija nam
služi za odreĎene metode kod kojih se prediktori izbacuju/ubacuju na osnovu toga da li su
značajni. Kad ovo uradite kliknite na CONTINUE.

Željenu metodu birate na sledeći način:

Kad ubacite prediktore kliknete na padajući meni pored opcije METHOD i birate željenu
metodu.

Kad ste sve ovo uradili kliknete na OK.

SVE OVO VAŽI I ZA METOD ENTER I ZA DRUGE METODE.

U nastavku ćemo predstaviti output za ENTER metod a onda ćemo prikazati kako se druge
metode razlikuju od ENTER metode.

METOD ENTER

Dakle, u output-u gledate sledeće tabele:

Prvo gledate tabelu CORRELATIONS:

U uokvirenom delu tabele imate visinu i značajnosti korelacije. Jedan od preduslova za regresiju
jeste da korelacije između prediktorskih varijabli treba da budu manje od 0.7 a korelacije
između prediktora i kriterijuma veće od 0.3.

Ako su ovi uslovi ispunjeni onda može da se radi regresija. Ovaj uslov se zove
multikolinearnost.

NAPOMENA: Vi ćete raditi regresiju i kada ovi uslovi nisu ispunjeni, radi vežbe.
 Ovo je procenat
objašnjene Ovo je procenat objašnjene
varijanse varijanse kriterijuma
kriterijuma. prilagoĎen veličini uzoka.
Posle ovoga gledate sledeće tabele:

Ovo je
korelacija
izmeĎu
prediktora i
kriterijuma

SUM OF
Ovde vidimo da li je model
SQUARES se
statistički značajan.
ovde dobija kad
se SUM OF
SQUARES
REGRESSION
podeli sa
RESIDUAL.

To dalje delimo
sa DF da bi
dobili MEAN
Ovo je objašnjena varijansa.
SQUARE. Ovo je rezidual.

Posle ove gledate sledeću tabelu: „Puna“ korelacija. Parcijalna Semi-parcijalna

korelacija. korelacija.

Ovo su nam prediktori. Ovo su nam Ovo su nam Ovo je statistička

nestandardizovani standardizovani značajnost
koeficijenti. koeficijenti. pojedinih
prediktora.
Ostaje nam još jedna tabela:

Iz prethodne tabele nam treba uokviren red a iz njega STD. DEVIATION. Iz ovoga vidimo onaj
deo varijanse kriterijuma koji nije objašnjen prediktorima.

METOD FORWARD

Podešavanja su za ovaj metod ista kao i za prethodni, razlikuju se neki podaci u output-u. To su
sledeće tabele:

Kao što vidite, ovde je ostao samo jedan prediktor jer se on pokazao kao značajan. Imate i
dodatnu tabelu EXCLUDED VARIABLES u kojoj vidite koju su prediktori izbačeni iz
modela.
METOD BACKWARD

Podešavanja su za ovaj metod ista kao i za prethodni, razlikuju se neki podaci u output-u. To su
sledeće tabele:

U ovoj tabeli vidite koji su prediktor izbačeni u kom koraku, izbacuju se dakle jedan po jedan.

Ovde vidite 5 modela, prvi model sa svih 5 prediktora, drugi sa 4, treći sa tri, četvrti sa 2 i na
kraju vidite poslednji, peti model sa samo jednim prediktorom. To je i krajnji model gde su
izbačeni svi prediktori koji nisu značajni.
U ovoj tabeli vidite koji je prediktor izbačen u kom koraku.

METOD STEPWISE

Podešavanja su za ovaj metod ista kao i za prethodni, razlikuju se neki podaci u output-u. To su
sledeće tabele:
Kao što vidite, ovde je ostao samo jedan prediktor jer se on pokazao kao značajan. Imate i
dodatnu tabelu EXCLUDED VARIABLES u kojoj vidite koju su prediktori izbačeni iz
modela.

METOD HIJERARHIJSKE REGRESIJE

Kod ovog metoda nisu ni sva podešavanja ista.

Razlikuje se sledeće:
Kad ubacite prediktorske varijable u INDEPENDENTS(S) kliknete na opciju NEXT i pojaviće
se novi prazan pozorčić INDEPEDENTS(S) u koji ubacujete prediktore koje želite da imate u
drugom koraku:

Možete da ubacujete koliko god koraka želite.

Kad to uradite idete na opciju STATISTICS...

Pored svih opcija koje smo čekirali malopre čekirate i dodatnu ovu uokvirenu R SQUARED
CHANGE da bi videli da se se procenat objašnjene varijanse menja kada ubacimo prediktore u
drugi korak.

Kad ste to sve uradili kliknete na CONTINUE pa na OK.

U outputu će vam se pojaviti ovakve tabele:

Pre svega imate jednu veću tabelu sa korelacijama, ali je tumačenje isto kao i kod prethodnih
metoda.

Dalje:

Imate dva modela, po jedan za svaki set prediktora a u ovoj tabeli vidite koji su vam prediktori u
kom modelu.
Dalje:

Imate sve iste podatke kao malopre samo su dupli, dakle dva puta R dva puta R2... tumačenja
ostaju ista.

Ono što je novo je R SQARE CHANGE i SIG F CHANGE.

R SQUARE CHANGE (OVAJ UOKVIREN) nam govori koji je procenat, ukupnom procentu
objašnjene varijanse kriterijuma, dodat kada su ubačeni prediktori u drugi korak.

SIG F CHANGE (ovaj uokviren) nam govori da li je procenat objašnjene varijanse dodat od
strane prediktora u drugom koraku statistički značajan.

Dalje:

Svi ovi podaci se tumače kao malopre samo ih sada imate za dva modela. Ispod tabele imate i
koji su vam prediktori u kom modelu (uokvireno je).

Prediktori u prvom modelu su oni bez onih koje ste ubacili u drugi korak ali su vam u drugom
koraku dva seta prediktora I ONI KOJE STE UBACILI U PRVOM KORAKU I ONI KOJE STE
UBACILI U DRUGOM.
Na kraju imate i ovu tabelu:

Svi statistici se tumače isto kao malopre. Samo sada možete da zaključujete i o potencijalnoj
medijaciji (o tome više na nekom od narednih časova). Ali ukratko: medijacija znači da prediktor
ima efekat na kriterijum a da se taj efekat ne ostvaruje direktno nego preko neke druge varijable.
O medijaciji zaključujete ako se statistička značajnost ili BETA vrednosti prediktora iz jednog
koraka promene u drugom koraku u kome ste dodali druge prediktore.

Za kraj:

Kod svakog od ovih postupaka dobijate i sledeći grafik:

Ako izmeĎu varijabli postoji linearan odnos onda će odnos varijabli izgledati kao na ovom
grafiku, svi slučajevi će biti organizovani oko jedne prave linije.
Ako želite da iz varijanse jedne varijable odstranite deo varijanse koja je objašnjena nekom
drugom varijablom na početnom prozorčiću za regresiju biramo opciju SAVE...

Otvoriće nam se sledeći prozor:

Čekirajte uokvirene opcije UNSTANDARDIZED i STANDARDIZED.

Dalje kliknite na CONTINUE pa na OK.

Skroz na kraju baze podataka će vam se pojaviti dve nove varijable koje predstavljaju varijansu
varijable R koja nije objašnjena prediktorskim varijablama koje ste ubacili u regresioni model.