Metoda najmanjih kvadrata

Sadraj
Uvod
Linearna regresija
Metoda najmanjih kvadrata
Nepouzdanost
Primjena na razliite funkcije
Primjer u Excel-u
Literatura

Uvod
Osnove statistike analize danas su nuna znanja i za one koji se ne bave egzaktnim
znanostima. Svijest o bitnosti pravilne analize podataka uvela je statistiku i u kolegije
veine drutvenih fakulteta, dok je u trgovini i ekonomiji postala dio standardne
svakodnevne prakse. esto prouavamo rezultate mjerenja ili statistikog istraivanja
usporeujui dvije skupine podataka X i Y. U fizikalnim problemima, kao to je na
primjer slobodni pad, parovi varijabli koje se pojavljuju u opisu problema
deterministiki su povezani. Kod slobodnog su pada to proteklo vrijeme i prevaljeni
put kamena koji pada.

No u svakom eksperimentu postoje i dodatni utjecaji koje ne moemo kontrolirati ili

koje ne moemo dovoljno precizno odrediti; kod kamena koji pada teko je precizno
uraunati utjecaj vjetra...

Dio statistike koji se bavi istraivanjem odnosa izmeu dvije ili vie varijabli
povezanih na nedeterministiki nain zovemo regresijska analiza i o takvim
varijablama bit e rije u ovom seminaru.

Natrag na vrh

Linearna regresija
Najjednostavniji odnos dviju deterministiki povezanih varijabli jest linearan
odnos: y = ax + b.

No, ako dvije varijable nisu deterministiki povezane, onda e za fiksiranu

vrijednost xi varijable X, varijabla Yi biti sluajna. Openito, varijabla iju vrijednost
odreuje izvoa pokusa oznaava se s X te naziva nezavisnom varijablom. Za
odreeni xi, sluajna varijabla Yi naziva se zavisnom i poprima neku vrijednost yi. U
praksi se za nezavisnu varijablu uzima uvijek ona veliina koja je tonije mjerena.

Neka su x1, x2,...., xn vrijednosti nezavisne varijable za koje se ine opaanja, a

s Yi i yi oznaimo sluajnu varijablu i opaenu vrijednost pridruenu xi-u. Skup
opaenih podataka sastoji se od n parova (x1, y1), (x2, y2),....., (xn, yn). Takve podatke
najprije ucrtamo u graf.

Promatranjem grafa procjenjujemo moe li se dobivena ovisnost aproksimirati

linearnom. Kada bi varijable X i Y bile deterministiki linearno povezane, za svaki par
(xi, yi) vrijedila bi relacija yi = axi + b i parametri a i b bili bi jedinstveni za sve parove.
Budui da su Yi sluajne varijable ne postoje jedinstveni koeficijenti koji bi
zadovoljavali gornju relaciju za svaki par. Stoga pokuavamo pronai takve a i b koji
su najvjerojatniji parametri linearne ovisnosti koju smo pretpostavili. Metoda koja
nam to omoguuje zove se Metoda najmanjih kvadrata.

Natrag na vrh

Metoda najmanjih kvadrata

Pretpostavljamo:
Postoje parametri a i b takvi da za svaku vrijednost x nezavisne varijable X, zavisnu
varijablu Y moemo pisati kao:

Koje je znaenje pretpostavke? Pretpostavili smo da postoji jedan pravi (ispravan)

pravac regresije koji za poznati xi odreuje oekivanu vrijednost E(Yi), a da su
odstupanja vrijednosti yi od oekivanja E(Yi) sluajne pogreke raspodijeljene prema
Gaussu i jednako vjerojatne u cijelom podruju.

Za izmjerene (opaene) parove vrijedi:

Princip najmanjih kvadrata

Od svih pravaca y = ax + b, najvjerojatniji pravac regresije je onaj za koji je suma

kvadrata odstupanja

minimalna. Suma kvadrata odstupanja je minimalna kada istodobno vrijedi

Uz te uvjete dobivamo sustav dvije jednadbe s dvije nepoznanice

koji kada rijeimo daje izraze za najvjerojatnije vrijednosti koeficijenata a i b:

Odsjeak b na y-osi moemo jednostavnije pisati:

Napomene:

Prije raunanja pravca regresije treba u grafu provjeriti ima li smisla linearna regresija
i jesu li podaci podjednako raspreni.

Rezultate sumiranja ne smije se zaokruivati jer pogreka zaokruivanja bitno utjee

na razliku velikih slinih brojeva.

Natrag na vrh

Nepouzdanost parametara a i b
Moe se pokazati da se nepouzdanosti parametara a i b daju prikazati sljedeim
redacijama:
Saetak formula za linearnu regresiju prikazan je dolje:

Natrag na vrh

Primjena metode najmanjih kvadrata na razliite funkcije

U primjeni linerane regresije za obradu podataka nekog eksperimenta, esto razliite
funkcije koje nisu linearne uz malo transformacija dovodimo u oblik pogodan za
raunanje metodom najmanjih kvadrata pokazanom gore. Trik je da promatranu
funkciju svedemo na linearnu ovisnost. Slijede neki primjeri uz kratka uputstva za
primjenu linearne regresije, a uz svaki je primjer dan i shametski crte koji pojanjava
kako transformirati osi da bi se kompliciranija nelinearna ovisnost mogla opisati
jednadbom pravca pogodnom za regresijsku analizu.
Primjer 1.

Funkcije oblika:

Vrimo suspstituciju koja e eliminirati lan s eksponentom.

Primjer 2.

Funkcije oblika:

Vrimo suspstituciju y-a.

Primjer 3.

Funkcije oblika:

Vrimo suspstituciju y-a i x-a.

Primjer 4.
Potencijska funkcija:

Logaritmiramo izraz te dobivamo log - log graf.

Primjer 5.

Eksponencijalna funkcija:

ili

Logaritmiramo izraz te dobivamo log - X graf, gdje X ovisi o tipu eksponencijalne

funkcije koju promatramo.
Izgled grafa u ovom sluaju:

Natrag na vrh

Raunanje pravca regresije preko programskih alata - Excel

U prvom dijelu seminara objasnili smo u kojim sluajevima se linearna regresija
primjenjuje u svrhu pronalaenja ovisnosti izmeu nedeterministikih varijabli.
Formule koje su dane omoguuju nam da pronaemo graf meusobne ovisnosti
varijabli kada imamo eksperimentalno izmjerene podatke koje trebamo pretoiti u
graf. Pomou tih formula to je mogue napraviti, meutim u realnim situacijama to
esto nije praktino kako eksperimentalnih podataka obino ima jako mnogo. U tim
situacijima koristimo se raunalom i raznim programskim alatima koji su to u stanju
mnogo bre uiniti od ovjeka. Jedan od takvih programskih alata je i Microsoft
Excel.

Promotrit emo jedan hipotetski eksperiment i pomou podataka koje smo "izmjerili"
probati nacrtati graf.

Uzmimo da se neka fizikalana zakonitost moe opisati sljedeom jednadbom:

Iz jednadbe odmah vidimo da je varijabla s proporcionalna sa kvadratom varijable t,

a te su varijable u jednadbi povezane nekom konstantom. U ovom trenutku moemo
primjetiti da ako nazovemo varijablu s put, a varijablu t vrijeme, one se zaista u
sluaju jednoliko ubrzanog gibanja odnose kako je dano jednadbom. Radi lakeg
pribliavanja problema uzmimo da to su to zaista vrijeme i put, te da elimo
eksperimentalno provjeriti jesu li te dvije varijable zaista u kvadratinoj ovisnisti.
Zamislimo da smo u eksperimentu koji izvodimo u stanju mjeriti put mnogo
preciznije od vremena. Vrijeme emo tada promatrati kao zavisnu varijablu u odnosu
na put koji postavljamo kao nezavisnu varijablu.

Kako bi nam u rjeavanju naeg problema mogla pomoi linearna regresija i metoda
najmanjih kvadrata?

Da bi odgovorili na to pitanje, prvo emo na jednadbi koja nam je zadana obaviti

neke jednostavne transformacije.
Logaritmiranjem dane jednadbe, dobili smo linerani oblik od prvotnog potencijskog.
(Moemo primjetiti da smo taj primjer obradili neposredno prije u seminaru kao
primjer 4). U tom obliku zapravo imamo jednadbu y = ax + b, gdje nam je
parametar a zadan i iznosi 2. Transformirajui jednadbu kako je prikazano gore
pripremamo se na eksperimentalnu provjeru kvadratinog zakona. Pokuat emo iz
podataka dobivenih mjerenjem linearnom regresijom pokazati da je eksponent
vremena u jednadbi stvarno broj 2. Ovaj puta u tu svrhu koristit emo raunalo i
programski alat MS Excel. Prvi korak je da u tablicu upiemo izmjerene podatke, te ih
logaritmiramo.

U stupce A i B postavli smo razultate mjerenja varijabli s i t, a u stupce C i D pripadne

logaritme stupaca A i B. Kako mi elimo na graf nanijeti logaritamske rezultate
odaberemo stupce C i D i odabremo opciju Umetanje grafikona. Da bi nakon toga
dobili graf log s - log t, prvi korak je da odaberemo rasprnu vrstu grafikona (slika
dolje lijevo).

Nakon odabira opcije dalje i zavri prikazuje nam se grafikon sa rasporedom toaka
(slika gore desno).

Slijedei korak je da odaberemo jednu od toaka i sa desnom tipkom mia

odaberemo Dodaj crtu trenda (slika gore lijevo). Za vrstu trenda/regresije
odaberemolinearna (slika gore desno).
Nakon toga na naem grafikonu je provuen pravac dobiven linernom regresijom. Ako
elimo vidjeti iznos parametara a i b odaberemo opciju oblikovanja crte trenda i na
odrednicama obiljeimo da jednadba bude prikazana na grafikonu.

Na grafikonu je sada ispisana jednadba pravca te je sada moemo usporediti s naom

pretpostavkom da e koeficijent pravaca biti jednak 2. Raunajui parametre pomou
raunala zaista smo dobili rezultat vrlo blizak onom koji smo oekivali, te smo
potvrdili da se nae varijable odnose sa kvadratinom ovisnou.

Natrag na vrh

Literatura

Miroslav Poek, Predavanja

Ivo Pavli, Statistika teorija i primjena, Tehnika knjiga, Zagreb, 1988

Vladimir Vrani, Vjerojatnost i statistika, Tehnika knjiga, Zagreb, 1965

Programski alati

Microsoft Excel

IrfanView

Natrag na vrh

Uredio: Kreimir Vurnek