Prosta linearna regresija

Prost regresioni model je matematiki model koji ima samo dve promenjive: zavisnu i nezavisnu. Zavisna promenjiva j eona ije varijacije treba objasniti na osnovu nezavisne promenljive. Prost linearni regresioni model je regresioni model kojim se opisuju inearna veya iymedju zavisne i nezavisne promenljive.

Dijagram rasprenosti
Pprvi korak u analizi zavisnosti dve pojave je grafiko prikazivanje emirijske serije podataka. Na istim elementima skupa ili uzorka posmatramo dva obeleja. Utecemo primer 20 firmi kod kojih demo posmatrati trokove reklame i obim prodaje. Ako na apsisu nanesemo vrednosti nezavisne promenljive X a na ordinatu zavisno promenljive Y dobidemo grafiki prikaz koji se naziva dijagram rasprenosti.

Prost linearni regresioni model

Linearna jednaina ili jednaina veze u ovom sluaju je Y=a+bx X je nezavisno promenljiva Y je zavisno promenljiva A je konstanta u linearnoj jednaini otseak na y osi B je kojeficijent nagiba prave

Cilj regresije je predvideti vrednosti y za pojedine vrednosti x.

Kako je re o stohastikim vezama izmeu x I y ne moe se tano predvideti vrednost y za odreenu vrednost x. Zato se kao mogue reenje trai regresiona prava (kriva) koja e najmanje odstupati od empirijskih podataka. Odreivanje koeficijenata te linearne jednaine omoguuje nam da vrimo traeno predvianje. Takvo predvianje nee biti egzaktno jer se mora uzeti u obzir I greka zbog stohastike prirode veze. Model proste linearne regresije u optem obliku: Yi=0+1xi+i i=1,2,,N gde su Yi i-ta zavisna promenljiva Xi i-ta vrednost nezavisna promenljiva 0 i 1 nepoznate konstante,regresioni parametri

stohastiki lan ili sluajna greka N veliina osnovnog skupa Nezavisno promenljiva X se naziva objanjavajuo mpromenljivom je rpomou nje pokuavamo da objasnimo varijacije promenljive Y.

Metod najmanjih kvadrata

Na osnovu dijagrama rasprenosti odabira se tip krive koja najvie odgovara empirijskim podacima. Tek tada na osnovu dijagrama, ako on ukazuje na linearnu vezu dveju pojava, prelazimo na drugu etapu regresione analize ocenjivanje nepoznatih parametara: slobodnog lama 0 i koeficijenta nagiba 1.
Sluajnom grekom u stohastikom regesionom modelu obuhvaene su: 1. Nedostajue ili izostavljene promenljive (efekti promenljivih koje nisu direktno

ukljuene u model) 2. Sluajne varijacije (domainstvo moe u jednom mesecu da organizuje vie zabava i potroi vie na hranu, a sledeeg meseca zbog deje ekskurzije ili kupovine nametaja pritedee na hrani) U regresionom modelu su 0 i 1 parametri osnovnog skupa. Meutim, kako nisu poznati svi podaci o
osnovnom skupu, regresioni model osnovnog skupa ocenjujemo na osnovu podataka iz uzroka. Ocene nepoznatih parametara, odseka 0 i koeficijenata nagiba 1 se oznaavaju sa b0 i b1. Cilj je da se na osnovu uzorka doe do najboljih moguih ocean b0 i b1 I time postavi ocenjeni model (linija regresije u uzorku):

=b0+b1x

Gde je ona vrednost Y koja se tano nalazi na najbolje prilagodjenoj liniji regresije, pa se naziva prilagoena ii predviena Y. Stvarne vrednosti promenljive Y nazivaju se empirijske vrednosti. Razlika izmeu stvarne i ocekivane vrednosti (prosene vrednosti) Y u osnovnom skupu predstavlja sluajnu greku . Npr. To je rzlikaizmeu iznosa koje je domainstvojednog meseca stvarno potroilo na hranu i prosene vrednosti dobijene na osnovu regresione prave osnovnog skupa. Razlika izmeu stvarne i ocenjene vrednosti Y u uzorku naziva se rezidual i oznaava se sa e. Rezidual predstavlja ocenu sluajne greke .

e= Y-
gde je Y stvarna vrednost a ocenjena vrednost Y.

Kojeficijenti regresione prave uzroka odnosno ocene po metodu najmanjih kvadrata glase:

Gde SK i SP oznaavaju odgovarajuu sumu kvadrata i sumu proizvoda.

Testiranje znaajnosti regresione veze

Da bi primen aregresione linije uzorka pripredvianju vrednosti zavisne promenljive Y bila opravdana, neophodno je prethodno ispitati da li uopte postoj ilinearno slaganje izmeu varijacija posmatrane dve promenljive u osnovnom skupu. Prilikom testiranja hipoteze o regresionom parametru 1 testiramo nultu hipotezu da je parameter 1=0 to je ekvivalentno hipotezi da promenljiva X ne utie na promenljivu Y.

Nulte I alternativna hipoteza o regresionom parametru 1: H0:1=0 (Izmeu varijacija posmatranih pojava ne postoji linearna veza, odnosno X ne utie na Y) H1:10 (Izmeu varijacija posmatranih pojava postoji linearna veza, odnosno X utiena Y) Statistika t testa za testiranje hipoteze o 1 glasi:

Bro jstepen islobode je df=n-2. Testiranje se sprovodi na isti nain kao kod aritmetike sredine skupa.

Prosta linearna korelacija

Cilj korelacione analize je da se utvrdi da li izmeu varijacija posmatranih pojava postoji kvantitativno slaganje (korelaciona veza) I ako postoji u kom stepenu. Ako se posmatraju dve pojave re je o prostoj korelaciji, a ako je re o vie pojava onda o viestrukoj korelaciji. Takoe mogue je ispitati da li je re o linearnoj ili krivolinijskoj vezi. Mi emo govoriti o prostoj linearnoj korelaciji.

Zarazlikuodregresioneanalizeukorelacionojanaliziseobeposmatranepojavetretirajukaosluajnepro menljive.Ovdenemarazlikeizmeuzavisneinezavisnepromenljive.Svejednojekojuemopojavuozn aitisaXakojusaY,jeresedobitiidentinirezultati. Zadatakprostelinearnekorelacijejestedapokaedaizmeuvarijacijadvepojavepostojiprostapravolini jskaveza.

Koeficijent proste linearne korelacije

Koeficijent korelacije predstavlja pokazatelj stepena kvantitativnog slaganja izmeu promenljivih. Koeficijen tproste linearne korelacije u osnovnom skupu obeleava se sa ,a u uzorku sa r I moe uzeti vrednosti samo u interval -1 I 1, tj. -11 I -1r1 Ako je r=1 izmeu dve promenljive postoji perfektna pozitivna linearna korelacija, tj. Sve take dijagrama rasprenosti se nalaze na rastuoj pravoj. Ako je r=-1 izmeu dve promenljive postoji perfektna negativna linearna korelacija, tj.sve take dijagrama rasprenosti se nalaze na opadajuoj pravoj.

Akosuempirijsketakerasprenesvudapodijagramutadaizmeudvepromenljive nepostojili nearnakorelacijaitadaje r0. KoeficijentprostelinearnekorelacijeizmeudvepromenljiveuuzorkuiliPirsonovkoeficijentkorelacije ,r,seizraunavakao:

FormulajesimetrinauodnosunapromenljiveXiY,pajesvejednokojusmopromenljivukakooznaili.