Prof.

Dr Miroslav Radovanovi

INENJERSKE METODE

REGRESIONA JEDNAINA

Regresiona jednaina
U matematici postoje dva oblika zavisnosti:
- funkcionalna zavisnost izraena pomou matematikih
jednaina, tako da svakoj kombinaciji vrednosti nezavisno
promenljivih x1, x2, ..., xk tano odgovara vrednost za y, i
- stohastika ili statistika zavisnost, koja se na osnovu
eksperimentalnih podataka, moe izraziti pomou oekivane
zavisnosti ili regresione jednaine (aproksimativne krive), tako da
svakoj merenoj kombinaciji vrednosti nezavisno promenljivih x1,
x2, ..., xk odgovara raunska vrednost za y i greka eksperimenta
(regresije) , od ije veliine zavisi preciznost predvianja
regresione jednaine.

Regresiona jednaina
Kao rezultat regresione analize dobija se regresiona zavisnost,
koja se esto naziva matematiki model procesa/objekta
istraivanja y =f(x1, x2, ..., xk) i standardna greka regresije .

Ako za svaku eksperimentalnu taku za merene vrednosti x1,

x2, ..., xk izmerenoj vrednosti y, na osnovu regresione jednaine,
tano odgovara raunska vrednost , tj. =0, kae se da se
eksperimentalni podaci izjednaavaju s funkcionalnom
zavisnou.

Izbor regresione jednaine

Regresiona zavisnost, odn. matematika funkcija, se bira tako
da ista omogui da linija regresije ili aproksimativna kriva bude
najbolje prilagoena eksperimentalnim podacima na dijagramu
rasipanja, odn. najbolje aproksimira eksperimentalne podatke. Pri
tome treba voditi rauna da se izabere to prostija regresiona
zavisnost izmeu promenljivih koja uslovno reeno na najbolji
nain odraava zavisnost.
Regresione jednaine mogu biti:
- linearne, odn. regresiona prava, ako eksperimentalne take
lee priblino na pravoj liniji, ili
- nelinearne ili krivolinijske, odn. regresiona kriva (stepena,
eksponencijalna, logaritamska, polinom m-tog stepena ili sline
nelinearne jednaine), ako eksperimentalne take lee priblino
na krivoj liniji.

Izbor regresione jednaine

Linearna regresiona jednaina: y b 0 b1 x
Nelinearne ili krivolinijske regresione jednaine:

y=aebx
y=a+blnx
y=abx
Regresiona analiza odreuje oblik krive
koja najbolje opisuje zadatu zavisnost izmeu
izlazne i ulazne promenljive.
Kod regresione analize se zna ta je uzrok a
ta posledica (zavisna, nezavisna promenljiva).
Osnovni problem ove metode je odrediti
koeficijente regresije.

Izbor regresione jednaine

Izbor ili pretpostavka regresione jednaine, odn. matematikog
modela, predstavlja najvaniji i najtei deo svakog
eksperimentalnog istraivanja. Ako je oblik regresione jednaine
pravilno odabran, regresiona i korelaciona analiza je samo stvar
rutine.
Izbor regresione jednaine se ne moe vriti na osnovu
formalne matematike analize. Znaajnu ulogu moe da ima
iskustvo i poznavanje ponaanja objekta istraivanja.
Najee greke pri izboru regresione jednaine su:
- pogreno izabran matematiki oblik pojedinih regresionih
jednaina;
- ogranienja u saznanjima istraivaa o faktorima koji opisuju
konkretni problem;
- isputanje pojedinih faktora iz regresione jednaine;
- isputanje grupe faktora koje opisuju neki problem i sl.

Regresiona jednaina
Prema broju promenljivih za koje se ispituje zavisnost
razlikuju se metode:
- jednostruke regresije, kod kojih se ispituje zavisnost samo
dve promenljive, tj. ponaanje zavisno promenljive y zavisi od
jedne nezavisno promenljive x (jednofaktorni eksperiment) i
- viestruke regresije, kod kojih se ispituje zavisnost vie
promenljivih, kod kojih se ispituje zavisnost vie promenljivih, tj.
ponaanje zavisno promenljive y zavisi od vie nezavisno
promenljivih x1, x2, ..., xk (viefaktorni eksperiment).

Regresiona jednaina
Jednofaktorna regresiona, odn. matematika, zavisnost izmeu
promenljivih x i y moe se izraziti pomou odgovarajue formule ili
aproksimativnog izraza u obliku regresione jednaine eksplicitnog
oblika:

y f(x)
Na poetku se kod jednofaktornog eksperimenta, najee,
pretpostavlja, ako se unapred ne zna, da se proces moe opisati
linearnom regresijom oblika:

y b 0 b1 x
gde su b0 i b1 - parametri linearne regresije.

Linearna regresiona jednaina

Grafiki prikaz linearne regresije za razliite vrednosti parametra b0 i b1

Odreivanje parametara regresije

Metoda najmanjih kvadrata
Najbolji poloaj prave linije u odnosu na eksperimentalne take u
dijagramu rasipanja je onaj pri kojem je zbir kvadrata svih greaka
pojedinanih eksperimentalnih taaka najmanji.

2 n 2
S (y i - y i ) i min
2

i 1

i 1

Metod najmanjih kvadrata omoguava da se najtanije odrede

parametri regresije.
Primena ovog metoda znatno je olakana primenom raunara.

Primenjujui metodu najmanjih kvadrata, mogu se odrediti parametri b0

i b1 linearne regresije. Najbolji oblik aproksimativne prave skupa
eksperimentalnih taaka sa koordinatama (x, y) je onaj za koji zbir kvadrata
odstupanja ordinata, ima minimalnu vrednost:
n

S2 (y i - y i ) 2 (yi - b 0 - b1 x i ) 2 min
i 1

i 1

Minimum funkcije S2 se nalazi samo u nulama prvih parcijalnih izvoda

te funkcije po parametrima b0 i b1.
n
n
S2
S2
- 2 (y i - b 0 - b1 x i ) 0
- 2 x i (y i - b 0 - b1 x i ) 0
b 0
b1
i 1
i 1
Dobija se sistem od dve linearne algebarske jednaine:
b 0 n b1 x i y i

b 0 x i b1 x i2 x i y i
Reavanjem sistema linearnih algebarskih jednaina po parametrima b0
i b1 dobija se da je:
n x i y i - x i y i
x i2 y i - x i x i y i
b

b0
1
n x i2 - (x i ) 2
n x i2 - (x i ) 2

Varijacije u regresiji

Varijacije u regresiji

SST = Ukupna suma kvadrata

(ukupna varijacija)
- Mera za varijaciju vrednosti y oko njihove srednje
vrednosti.
- Ukupna varijacija oko regresione prave jednaka je
sumi kvadrata razlika izmenu vrednosti y u svakom
paru i srednje vrednosti y .
- Odgovara ukupnoj sumi kvadrata u ANOVI.
n

SST (y i - y) 2
i 1

Varijacije u regresiji

SSR = Regresiona suma kvadrata

(Varijacija za koju postoji objanjenje)
- Mera za varijaciju vezanu za relaciju izmeu x i y.
- Objanjiva varijacija jednaka je sumi kvadrata razlika
y
izmeu svake izraunate (iz jednaine) vrednosti i
srednje vrednosti y
- Odgovara sumi kvadrata izmeu grupa u ANOVI.
n

SSR (y i - y)
i 1

Varijacije u regresiji

SSE = Suma kvadrata greke

(Varijacija za koju ne postoji objanjenje)
- Mera za varijaciju koja potie od drugih faktora
- Varijacija za koju ne postoji objanjenje
- Neobjanjiva varijacija jednaka je sumi kvadrata
razlika izmenu vrednosti y u svakom paru i
odgovarajue izraunate (iz jednaine) vrednosti y
- Odgovara sumi kvadrata unutar grupa u ANOVI
n

SSE (y i - y i ) 2
i 1

Signifikantnost
F-test (Fierov kriterijum )

SSR
F
SSE /(n 2)

Treba izabrati potrebni nivo pouzdanosti (naprimer 95%) i oitati

Ft iz Fierove tabele.
tablinu -vrednost
Izraunati odnos varijacija treba biti vei od tabline.

F Ft

Koeficijent determinacije
Koeficijent determinacije omoguava ocenu koliko dobro
regresiona jednaina aproksimira eksperimentalne podatke i izbor
regresione jednaine.
n

SSR regresiona suma kvadrata

R

SST
ukupna suma kvadrata
2

(
y
y
)
i
i 1
n

2
(y
y
)
i
i 1

Interval predikcije i pouzdanosti

SSE
S yx
n-2
Interval pouzdanosti za y je ui od intervala predikcije za y za
istu datu vrednost x, jer je manja greka u predvianju prosene
vrednosti od greke u predvianju jedne vrednosti.

Interval predikcije i pouzdanosti

Kvadratna regresiona jednaina

Kvadratna regresija (parabola) ili regresija

u obliku polinoma 2-og stepena (m=2) izmeu
dve promenljive je oblika:

y P2 (x) b 0 b 1 x b 2 x 2

Najbolji oblik aproksimativne krive je onaj

za koji zbir kvadrata odstupanja ordinata, ima
minimalnu vrednost.
2 n
S (y i - y i ) (y i - b 0 - b 1 x i - b 2 x i2 ) 2 min
2

iParcijalnim
1
i 1
diferenciranjem

funkcije S2 u

odnosu na parametre b0, b1 i b2 i

izjednaavanjem dobijenih parcijalnih izvoda
sa nulom dobija se sistem linearnih algebarskih
jednaina za odreivanje parametara b 0, b1 i b2 .
b 0 n b 1 x i b 2 x i2 y i
b 0 x i b 1 x i2 b 2 x i3 x i y i
b 0 x i2 b 1 x i3 b 2 x 4i x i2 y i

Kubna regresiona jednaina

Kubna regresija ili regresija u obliku polinoma 3-eg stepena (m=3) izmeu dve
promenljive je oblika:

y P3 (x) b 0 b1 x b 2 x 2 b 3 x 3
Najbolji oblik aproksimativne krive je onaj za koji zbir kvadrata odstupanja
ordinata, ima minimalnu vrednost.
2 n
S (y i - y i ) (y i - b 0 - b1 xi - b 2 x i2 - b 3 xi3 )2 min
2

i 1

i 1

Parcijalnim diferenciranjem funkcije S2 u odnosu na parametre b0, b1, b2 i b3 i

izjednaavanjem dobijenih parcijalnih izvoda sa nulom dobija se sistem linearnih
algebarskih jednaina za odreivanje parametara b 0, b1, b2 i b3
b 0 n b 1 x i b 2 x i2 b 3 x i3 y i
b 0 x i b 1 x i2 b 2 x i3 b 3 x 4i x i y i
b 0 x i2 b 1 x i3 b 2 x 4i b 3 x 5i x i2 y i
b 0 x i3 b 1 x 4i b 2 x 5i b 3 x 6i x i3 y i

Stepena regresiona jednaina

Stepena regresija izmeu dve promenljive izraena je funkcijom oblika:

y ax

b1

Da bi se metodom najmanjih kvadrata odredili parametri stepene regresije vri

se linearizacija logaritmovanjem.
Ako se uvedu smene:

lny lna b1 lnx

Y lny
X lnx i
b 0 lna

jednaina dobija linearni oblik, ali u logaritamskom (i po x i po y-osi)

koordinatnom sistemu.

Y b 0 b1 X lny lna b1 lnx

Parametar a stepene regresije dobija se iz jednaine:

a eb 0

Polinomna regresiona jednaina

Pri analizi eksperimentalnih podataka dosta esto se koristi i
regresiona jednaina u obliku polinoma m-tog stepena:
m

y Pm (x) b 0 b1 x b 2 x 2 b 3 x 3 ... b m x m b 0 b i x i
i 1

U naunim istraivanjima, meutim, regresija iznad 4-og stepena

nema primenu, dok se kvadratna (m=2) i kubna (m=3) regresija dosta
esto koriste.
Bilo koji eksperimentalni podaci mogu se aproksimirati
polinomom m-tog (3-eg, 4-og, 5-og ili vieg) stepena.

Ostale nelinearne regresije izmeu dve promenljive

Osim navedenih regresija veliku primenu u

istraivanjima imaju sledee nelinearne regresije:
- racionalne regresije;
- logistike regresije;
- korene regresije;
- specijalne regresije;
- trigonometrijske regresije;
- arkusne ili ciklometrijske regresije;
- hiperbolike regresije;
- inverzno hiperbolike regresije itd.
Pomou grafika osnovnih linearnih i nelinearnih funkcija
moe se konstruisati veliki broj tzv. sloenih funkcija.

Linearizacija regresione jednaine

Kod viestruke regresije se za nelinearne regresione jednaine
koriste razni oblici transformacije, odn. linearizacije, najee na
osnovu logaritmovanja, jedne ili svih promenljivih kako bi se sveli na
odgovarajui linearni oblik.
Tako npr., stepena regresiona jednaina oblika:

y a x x ... x
b1
1

b2
2

bk
k

moe se linarizovati logaritmovanjem:

lny lna b1 lnx1 b 2 lnx 2 ... b k lnx k

Na osnovu smene X1=lnx1, X2=lnx2, ..., Xk=lnxk i Y=lny
jednaina dobija linearni oblik:

Y b 0 b1 X1 b 2 X 2 ... b k X k

HVALA NA PANJI !