Matrike Metoda najmanjših kvadratov

Metoda najmanjših kvadratov

Naj bodo u1 , . . . , un linearno neodvisni vektorji v vektorskem

prostoru V in v ∈ V poljuben vektor. Iščemo tak vektor u iz
Matematika II (FKKT – Kemijsko inženirstvo) množice U = L (u1 , . . . , un ), ki najbolje aproksimira v, torej tak
vektor, da bo
ku − vk = min kw − vk.
w ∈U
Matjaž Željko
Ker je u ∈ L (u1 , . . . , un ), lahko pišemo
FKKT – Kemijsko inženirstvo
n

15. teden
u= ∑ αi ui .
i=1
(Zadnja sprememba: 23. maj 2013)

1 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo) 2 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo)

Matrike Metoda najmanjših kvadratov Matrike Metoda najmanjših kvadratov

Torej iščemo minimum funkcije F , podane s predpisom Do enake rešitve pridemo tudi z geometrijskim razmislekom.
Iščemo torej najkrajši vektor, ki povezuje v in podprosor U. Če
n
je vektor u tak, da je v − u pravokoten na vsak vektor w ∈ U, je
F (α1 , . . . , αn ) = v − ∑ αi ui .
i=1
to iskani vektor. Res: za poljuben vektor w ∈ U je

Iz teorije funkcij več spremenljivk bi izvedeli, da dobimo v − w = |v {z

− u} + u
|−{zw} .
minimum kot rešitev normalnega sistema enačb. ⊥U ∈U

Torej sta vektorja v − u in u − w med seboj pravokotna in velja

∂F
(α1 , . . . , αn ) = 0 za i = 1, 2, . . . , n. Pitagorov izrek
∂ αi
kv − w k2 = kv − uk2 + ku − w k2 ≥ kv − uk2 .
Opomba. Naziv metoda najmanjših kvadratov izvira iz
geometrijske interpretacije norme v Rn , tj. je kxk2 = ∑ni=1 xi2 . Ker je tako
kv − w k ≥ kv − uk,
sledi od tod, da je res
kv − uk = min kv − w k.
w ∈U

3 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo) 4 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo)
 Matrike Metoda najmanjših kvadratov Matrike Metoda najmanjših kvadratov

Torej mora biti Gornji sistem lahko zapišemo v matrični obliki kot Aα = β , kjer
n
je
hv − ∑ αi ui , uj i = 0  
hu1 , u1 i hu2 , u1 i . . . hun , u1 i
i=1
 hu1 , u2 i hu2 , u2 i . . . hun , u2 i 
za vsak indeks j, kar zapišemo kot sistem enačb  
A= .. .. .. 
 . . . 
n
hu1 , un i hu2 , un i . . . hun , un i
∑ αi hui , u1i = hv, u1 i,
i=1 in    
n α1 hv, u1 i
∑ αi hui , u2i = hv, u2 i, 
 α2 


 hv, u2 i 

i=1 α = .. , β = .. .
..  .   . 
. αn hv, un i
n
∑ αi hui , un i = hv, un i. Matrika A se imenuje Gramova matrika in dokazati je možno,
i=1 da je det(A) 6= 0 natanko tedaj, ko so vektorji u1 , . . . , un linearno
neodvisni.
Torej je gornji sistem enačb enolično rešljiv.

5 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo) 6 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo)

Matrike Metoda najmanjših kvadratov Matrike Metoda najmanjših kvadratov

Zgled
Poišči tisti vektor z ravnine, napete na vektorja u1 = (1, 2, −1) in
u2 = (−1, 2, −1), ki najbolje aproksimira vektor v = (3, −1, 1).

7 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo) 8 Matjaž Željko Matematika II (FKKT – Kemijsko inženirstvo)