Dekomposisi Matriks

Maw © 2007
Pengantar

Istilah

Dekomposisi :

Singular Value (SVD)

QR

Cholesky

Schur

Least Square
Pengantar

Kurang kerjaan.
Mungkin itulah kata yang tepat jika anda bertanya kepada saya mengapa makalah
ini dibuat. Ya, sembari menunggu nilai-nilai ujian akhir yang tidak kunjung terpampang
di papan nilai ujian, ditambah saya yang kurang kerjaan, apa boleh buat!

Saya tidak bermaksud menyombongkan diri melalui makalah ini. Makalah ini
dibuat semata-mata sebagai jejak peninggalan kami yang telah sukses menempuh
matakuliah Aljabar Linear Numerik yang pada masa kami diasuh oleh Pak Sutopo.
Mengapa kami? Karena saya tidak menggunakan referensi pribadi saja dalam
penyusunan makalah ini namun juga menggunakan makalah-makalah hasil presentasi
teman-teman saya, terutama Noorma, Adhisti, Pipit, Ruth, dan Yoa.

Makalah ini ditujukan kepada mereka yang ingin mempelajari tentang

dekomposisi suatu matriks, suatu teknik memfaktorkan matriks. Bila anda suatu saat
terbentur oleh matakuliah Aljabar Linear Numerik, silakan saja gunakan makalah ini
sebagai bahan belajar anda. Memang pada intinya, makalah ini dimaksudkan untuk
mencerdaskan para pembacanya.

Selamat menikmati!
Istilah

Bilangan kompleks , adalah produk cartesian bilangan real yaitu :

× → : {a + bi | a, b ∈ }

Sekawan kompleks suatu bilangan komples z = a + bi adalah z = a − bi . Dimana

zz = a 2 + b 2 .

Suatu matriks A∈ mxn . Matriks tersebut entri-entrinya adalah bilangan kompleks dan
memiliki baris sejumlah m buah dan kolom sejumlah n buah. Sifat serupa berlaku untuk
B ∈ mxn , yang entri-entrinya adalah bilangan real dan memiliki baris sejumlah m buah
dan kolom sejumlah n buah.

Suatu matriks A∈ mxn atau B ∈ mxn dengan m ≥ n dikatakan fullrank, jika dan hanya
jika A atau B memetakan vektor yang berbeda ke vektor yang berbeda pula. Matriks
fullrank memiliki Rank = min {m, n} .

Suatu matriks A∈ mxm dikatakan definit positif jika dan hanya jika untuk sebarang
vektor x ∈ m , x * Ax > 0 . Nilai determinan setiap submatriks utama matriks definit
positif selalu bernilai positif.

⎡ z1 ⎤
Diberikan vektor kompleks x = ⎢⎢ ⎥⎥ ∈ m .
⎢⎣ zn ⎥⎦
Konjugat Transpose dari vektor ini adalah x* = [ z1 ... z2 ] .

Matriks A∈ mxn disebut matriks Hermitian jika A = A * . Untuk matriks B ∈ mxn ,

disebut matriks Simetri jika B = BT .
Matriks A∈ mxn disebut matriks Unitary jika A−1 = A * . Untuk matriks B ∈ mxn , disebut
matriks Ortogonal jika B −1 = BT . Akibatnya AA* = A * A = I dan BT B = BBT = I .

Vektor u, v dikatakan saling ortogonal jika u v = 0 .

Vektor v dikatakan vektor normal jika v = 1 .
Himpunan vektor {v1 , v2 , v3 ,..., vn } dikatakan himpunan vektor Ortonormal jika vi = 1 ,
untuk i = 1, 2,3,..., n serta vi v j = 0 untuk i ≠ j .
Singular Value Decomposition

Setiap proses dekomposisi akan memfaktorkan sebuah matriks menjadi lebih dari
satu matriks. Singular Value Decomposition atau yang lebih dikenal sebagai SVD adalah
salah satu teknik dekomposisi yang cukup populer. SVD berkaitan erat dengan Singular
Value atau nilai singular dari sebuah matriks yang merupakan salah satu karakteristik
matriks.

Definisi
mxn
Diberikan matriks A∈ yang memiliki rank = r, nilai eigen dari matriks AT A adalah:

λ1 ≥ λ2 ≥ ... ≥ λr > λr +1 = ... = λn = 0

σ i = 2 λi , dengan i=1,2,3,…,n disebut singular value dari matriks A

Teorema 1
mxn
Diberikan matriks A∈ yang memiliki rank = r. Maka tepat terdapat sejumlah r
singular value tak nol.

Bukti
Misalkan nilai eigen dari matriks A adalah λ1 ≥ λ2 ≥ ... ≥ λn , berarti terdapat sejumlah n
vektor eigen xi , i = 1, 2,3,..., n yang bersesuaian dengan nilai-nilai eigen tersebut.
Himpunan vektor eigen { x1 , x2 ,..., xn } membentuk basis ortogonal untuk n
.
Normalisasikan basis ortogonal ini sehingga diperolehlah basis ortonormal { P1 , P2 ,..., Pn }
n
untuk .

Perhatikan nilai Pi , Pj ! Untuk i ≠ j , nilai Pi , Pj = 0 , namun untuk i = j , nilai

Pi , Pj = 1 . Akibatnya APi , APi = ( APi ) ( APi ) = Pi AAT Pi = λi Pi , akibatnya λi > 0 .
T 2

Menurut definisi singular value, berlaku σ i 2 = λi = APi , untuk setiap i.

2

Rank matriks A sama saja dengan dimensi ruang kolomnya yaitu dim Ax | x ∈ { m
}.
Karena diketahui rank (A) = r, maka AP1 = AP2 = ... = APr ≠ 0 , dan
APr +1 = APr + 2 = ... = APn = 0 . Jadi diperoleh σ i ≠ 0 , untuk i = 1, 2,3,..., r .
 Lebih lanjut, karakteristik matriks juga menentukan karakteristik dari sebuah
matriks transformasi linear. Bagaimana hubungan antara prapeta dan petanya, semua itu
ditentukan oleh karakteristik matriks transformasi linear. Ingat kembali bahwa
transformasi linear adalah sebuah pemetaan !

Ilustrasi diatas menunjukkan bagaimana hubungan antara prapeta {v1 , v2 } ketika

ditransformasikan menggunakan matriks A∈ mxn
, dengan petanya {σ 1u1 , σ 2u2 } . Vektor
u, v masing-masing adalah vektor unit, sehingga dengan demikian :

Av j = σ j u j , 1 ≤ j ≤ n

Dalam notasi matriks

⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎡σ 1 ⎤
⎢ A ⎥ ⎢ v v ... v ⎥ = ⎢u u ... u ⎥ ⎢ ⎥
⎢ ⎥⎢ 1 2 n⎥ ⎢ 1 2 n⎥⎢ ⎥
⎢⎣ ⎥⎦ ⎢⎣ ⎥⎦ ⎢⎣ ⎥⎦ ⎢⎣ σ n ⎥⎦

Hubungan ini dapat pula ditulis sebagai

AV = U ∑

Karena V adalah matriks unitary, maka dengan mengkalikannya dengan V *

diperoleh :

A = U ∑V *

Dengan U , matriks unitary yang dibentuk oleh vektor eigen normal matriks AAT .
Dengan V , matriks unitary yang dibentuk oleh vektor eigen normal matriks AT A .
Dengan ∑ , matriks diagonal yang entri-entrinya adalah nilai singular matriks A.

Bentuk diatas disebut dengan bentuk dekomposisi SVD.

 Diberikan matriks A∈ mxn dengan rank (A) = r. Bentuk matriks A * A , matriks
ini akan berwujud matriks hermitian sehingga vektor-vektor eigennya saling ortonormal,
yaitu A * Av j = λ j v j

Sehingga :
vi * A * Av j = vi * λ j v j = λ j vi , v j

Namun karena karena vektor v adalah vektor normal, maka vi , v j sama saja
dengan bentuk kronecker delta yakni :

⎧0 i ≠ j
vi , v j = δ ij = ⎨
⎩1 i = j

Untuk nilai positif λ j dengan j = 1, 2,..., r , kita definisikan σ j = λ j dan

⎛ Av ⎞ Av j vi * A * Av j λ j vi * v j
*
Av j
uj = . Perhatikan bahwa ui , u j =⎜ i ⎟ = =
σj ⎝ σi ⎠ σ j σ iσ j σ iσ j

λi vi * vi
Untuk i ≠ j , ui , u j = 0 , sedangkan untuk i = j , ui , ui = = 1 . Sehingga ui , u j
σ i2
Av j
juga dapat diubah menjadi bentuk kronecker delta δ ij . Akibatnya u j = , juga
σj
merupakan basis ortonormal. Bentuk matriks unitary U, dan V yang masing-masing
dibangun oleh vektor-vektor eigen u dan v. Maka :

⎧ 0 j>r
(U * AV )ij = ui * Av j = ⎪⎨
⎪⎩σ j ui , u j = σ jδ ij j≤r

Sehingga U * AV = ∑ atau dengan kata lain A = U ∑ V *

Contoh
⎡1 1 ⎤
Tentukan SVD dari matriks A = ⎢⎢0 1 ⎥⎥
⎣⎢1 0 ⎥⎦

⎡2 1⎤
Bentuk matriks AT A = ⎢ ⎥ . Nilai eigen dari matriks ini adalah λ1 = 1, λ2 = 3 . Nilai –
⎣1 2⎦
nilai eigen λ1 = 1, λ2 = 3 masing-masing berkorespondensi dengan vektor eigen
⎡ 2 ⎤ ⎡ 2 ⎤
⎢ 2⎥ ⎢ 2 ⎥ . Himpunan vektor-vektor eigen tersebut ortonormal
v1 = ⎢ ⎥ dan v2 = ⎢ ⎥
⎢⎣ 2 2 ⎥⎦ ⎢⎣ − 2 2 ⎥⎦
sehingga dapat dibentuk matriks unitary V :

⎡ 2 2 ⎤
⎢ 2 2 ⎥
V = [ v1 v2 ] = ⎢ ⎥
⎢⎣ 2 2 − 2 ⎥
2⎦

Kemudian untuk matriks U yang dibentuk dari vektor eigen ui = σ i −1 Avi , diperoleh :
⎡ 6 ⎤ ⎡ 0 ⎤
⎢ 3⎥ ⎢ ⎥
⎢ ⎥ ⎢− 2 ⎥
u1 = ⎢ 6 ⎥ dan u2 = ⎢ . Kemudian dibentuk matriks unitary U :
⎢ 6⎥ 2⎥
⎢ ⎥
⎢ 6 ⎥ ⎢ 2 ⎥
⎢⎣ 6 ⎥⎦ ⎣ 2 ⎦
⎡ 6 0 ⎤
⎢ 3 ⎥
⎢ ⎥
U = [u1 u2 ] = ⎢ 6 2 ⎥
⎢ 6 2 ⎥
⎢ 6 − 2 ⎥
⎣⎢ 6 2 ⎦⎥
⎡ 3 0⎤
Tentunya kita dapat dengan mudah menentukan matriks singular ∑ = ⎢ ⎥
⎣ 0 1⎦
Sehingga bentuk SVD dari matriks A adalah :

⎡ 6 0 ⎤
⎡1 1 ⎤ ⎢⎢ 3 ⎥ ⎡
⎥ ⎡ 3 0⎤ ⎢ 2 2 2⎤
2 ⎥
A = ⎢⎢0 1 ⎥⎥ = ⎢ 6 2 ⎥
6 2 ⎥ ⎢ 0 1⎥ ⎢ 2 ⎥
⎢⎣1 0 ⎥⎦ ⎢⎢ ⎣ ⎦⎢
⎣ 2
− 2 ⎥
2⎦
6 − 2 ⎥ ˆ
∑
⎢⎣ 6 2 ⎦⎥ V*

Uˆ

Perhatikan matriks unitary U ∈ 3 x 2 ! Agar matriks unitary U ini menjadi matriks persegi
berukuran 3x3 harus ditambah satu kolom lagi. Namun vektor yang menyusun kolom
tambahan tersebut haruslah ortonormal dengan vektor kolom lainnya. Karena itu dipilih
sebarang vektor yang memenuhi syarat tersebut.
⎡ 3 ⎤ ⎡ 6 0 3 ⎤
⎢ 3 ⎥ ⎢ 3 3 ⎥
⎢ ⎥ ⎢ ⎥
Ambil u3 = ⎢ 3 ⎥ , sehingga menjadikan matriks U = ⎢ 6 2 3 ⎥.
⎢ 3 ⎥ ⎢ 6 2 3 ⎥
⎢− 3 ⎥ ⎢ 6 − 2 − 3 ⎥
⎣⎢ 3 ⎦⎥ ⎣⎢ 6 2 3 ⎦⎥

Namun akibatnya matriks singular ∑ harus menambah jumlah baris agar mengimbangi
jumlah kolom tambahan pada matriks unitary U. Karena baris tambahan pada matriks
ˆ sama seperti ketika matriks
singular ∑ harus tetap menjadikan hasil perkalian Û ∑
unitary U belum bertambah jumlah kolomnya, maka baris tambahan pada matriks
singular ∑ harus dibentuk oleh vektor 0. Sehingga :

⎡ 6 0 3 ⎤
⎡1 1 ⎤ ⎢⎢ 3 3 ⎥ ⎡ 3 0⎤ ⎡
⎥⎢ 2 2⎤
⎥ ⎢ 2 ⎥
A = ⎢⎢0 1 ⎥⎥ = ⎢ 6 2 3 2
⎥ 0 1⎥ ⎢
6 2 3 ⎥⎢ ⎥
⎢⎣1 0 ⎥⎦ ⎢⎢ ⎢ 0 0⎥ ⎢ 2 − 2 ⎥
6 − 2 − 3 ⎥ ⎣ ⎦⎣ 2 2⎦
⎢⎣ 6 2 3 ⎥⎦ ∑ V*

Bentuk ini dinamakan bentuk SVD penuh karena matriks unitary U dan V masing-
masing berupa matriks persegi. Sedangkan bentuk SVD sebelumnya dinamakan bentuk
SVD tereduksi.

ˆ .
Bila diperhatikan ada perbedaan notasi “bertopi” yakni U & ∑ serta Uˆ & ∑
Notasi topi digunakan untuk menandai matriks dekomposisi dalam bentuk tereduksi.
Notasi ini akan tetap digunakan saat pembahasan dekomposisi QR.
Teorema 2
Range (A) = span {u1 , u2 ,..., ur } , dan Null (A) = span {vr +1 , vr + 2 ,..., vn } .
Dengan rank (A) = r.

Bukti
U * AV = ∑ ⇔ AV = U ∑

Karena bila Rank (A) = r berarti tepat terdapat sejumlah r nilai singular tak nol. Range
(A) tidak lain adalah U ∑ .

⎡σ 1 ⎤
U ∑ = [u1 u2 ... un ] ⎢ ⎢ ⎥ = u σ u σ ... u σ
⎥ [ 1 1 2 2 n n]

⎢⎣ σ n ⎥⎦
Bila terdapat n nilai singular maka σ r +1 = ... = σ n = 0 , berakibat ur +1σ r +1 = ... = unσ n = 0 .
Sehingga U ∑ = [u1σ 1 ... urσ r 0 ... 0] .
Hal ini berarti Range (A) = span {u1 , u2 ,..., ur } .

Sebaliknya bagi matriks AV , karena Range (A) = span {u1 , u2 ,..., ur } berakibat
AV = A [ v1 v2 ... vn ] = [ Av1 ... Avr Avr +1 ... Avn ] = [u1σ 1 ... urσ r 0 ... 0]
Hal ini berarti Avi = 0 , untuk i = r + 1,..., n .
Sehingga dapat ditarik kesimpulan bahwa Null (A) = span {vr +1 , vr + 2 ,..., vn } .

Teorema 3
Nilai singular tak nol dari matriks A, adalah akar pangkat dua ( 2 ) dari nilai eigen
matriks A * A atau A * A (nilai eigen dari kedua matriks ini sama).

Bukti
Diketahui A = U ∑ V * . Sehingga :
A * A = (U ∑ V *) * (U ∑ V *) = V ∑ *U *U ∑ V * = V ( ∑ * ∑ ) V *

Karena matriks V adalah matriks unitary dan menurut teorema diagonalisasi berakibat
bahwa matriks A * A dan ∑ * ∑ similar. Akibatnya matriks A * A dan ∑ * ∑ memiliki
persamaan karakteristik yakni nilai eigen yang sama.
Nilai eigen matriks tak nol matriks ∑ * ∑ tidak lain adalah σ 12 , σ 2 2 ,..., σ p 2 , dengan
n − p adalah nilai eigen tambahan yang bernilai nol, jika n > p .

Hal serupa berlaku pula untuk

AA* = (U ∑ V *)(U ∑ V *) * = U ∑ V *V ∑ *U * = U ( ∑ ∑ *)U *
Teorema 4
Jika A = A * (Hermitian), maka nilai singular matriks A adalah harga mutlak nilai eigen
dari matriks A.

Bukti
Diketahui bahwa matriks hermitian memiliki vektor-vektor eigen yang ortonormal.
Dengan demikian matriks A dapat difaktorkan menjadi :

A = Q ΛQ *

Dengan matriks Q adalah matriks unitary yang dibentuk dari vektor-vektor eigen matriks
A. Serta matriks Λ yang merupakan matriks diagonal persegi dengan entri-entrinya nilai
eigen dari matriks A. Namun nilai eigen matriks A tersebut bisa saja positif maupun
negatif sehingga

A = Q Λ ( sign(Λ ) ) Q *

Matriks sign(Λ) adalah matriks diagonal persegi yang entri-entrinya adalah 1 atau -1,
tergantung dari entri matriks Λ yang bersesuaian dengannya. Bila dibentuk matriks
( sign(Λ) ) Q * , matriks ini akan tetap bersifat unitary sehingga menjamin terbentuknya
SVD. Dengan demikian nilai singular matriks A adalah entri-entri matriks Λ .

Teorema 5
Untuk matriks persegi A ∈ mxm
, nilai det( A) adalah perkalian semua nilai singular
matriks A.

Bukti
Ingat kembali untuk matriks unitary U, UU * = I , sehingga
det(UU *) = det(U ) det(U *) = det( I ) = 1

Sehingga
det( A) = det(U ∑ V *) = det(U ) det(Σ) det(V *) = det(Σ)

Diketahui bahwa determinan matriks diagonal persegi adalah perkalian semua entri
diagonal utamanya. Sehingga nilai det(Σ) tidak lain adalah perkalian nilai-nilai singular
matriks A.
Teorema 6
Untuk matriks A ∈ mxn
fullrank, SVD dari matriks A adalah unik.

Bukti
Perhatikan bahwa bila matriks A fullrank maka setiap nilai singularnya akan bernilai
positif. Sebaliknya bila matriks A tidak fullrank maka salah satu nilai singularnya akan
bernilai nol. Hal tersebut berkaitan dengan determinan A * A ataupun AA * yang bernilai
nol jika matriks A tidak fullrank.

Akibatnya apabila matriks A tidak fullrank maka saat pembentukan matriks unitary U,
Av j
vektor u j = (untuk suatu nilai j) tidak akan terdefinisi karena σ j bernilai 0.
σj
Karenanya dipilih sebarang vektor yang ortonormal dengan vektor u yang lain,
mengakibatkan matriks unitary U tidaklah unik. Berbeda jika matriks A fullrank maka
Av j
setiap vektor u j = , akan selalu terdefinisi, sehingga matriks U unik. Akibatnya
σj
SVD dari matriks A unik.
QR Decomposition

Ruang kolom dari sebuah matriks dapat menjadi langkah awal dari penyusunan
sebuah dekomposisi. Untuk memulai, pandanglah sebuah matriks A yang disusun oleh
kolom-kolom seperti ini :

A = [ a1 a2 ... an ]

m
Dengan ai berwujud vektor . Sehingga dimensi dari matriks A tersebut adalah
mxn .

Vektor a1 bisa jadi adalah kombinasi linear dari sebarang vektor bukan ?
Begitupun juga dengan vektor a2 , a3 , a4 ,..., an yang dapat dibentuk dari kombinasi linear
sebarang vektor. Sebarang kombinasi linear biasa tidak menarik minat kita, kita akan
menelaah suatu kombinasi linear khusus yang disebut dengan basis.

Basis adalah sekumpulan vektor-vektor yang bebas linear serta merentang ruang
vektor. Apa yang dimaksud dengan kombinasi linear khusus itu tidak lain adalah sifat
bebas linear. Penerapannya, jika Q = {q1 , q2 ,..., qn } adalah himpunan basis untuk sebuah
ruang vektor V dimana a1 , a2 ,..., an ∈ V , maka a1 , a2 ,..., an dapat dibangun oleh Q.

Lebih khusus lagi jika vektor ai dibangun oleh kombinasi linear vektor-vektor
q1 , q2 ,..., qi maka kita dapat membentuk sebuah vektor ri sehingga ai = ri ( q1 , q2 ,..., qi ) .
Perhatikan persamaan ini :

a1 = r11q1
a2 = r12 q1 + r22 q2
a3 = r13 q1 + r23q2 + r33 q3

an = r1n q1 + r2 n q2 + ... + rnn qn

Dengan ini, maka ri = ( r1i , r2i , r3i ,..., rii )

Sehingga dapat dibentuk matriks :

⎡ r11 r1n ⎤
A = [ a1 a2 ... an ] = [ q1 q2 ... qn ] ⎢⎢ ⎥
⎥
⎢⎣ rnn ⎥⎦
Q

R
Dengan kata lain :
A=QR
 Permasalahannya bagaimana cara menentukan himpunan vektor-vektor
Q = {q1 , q2 ,..., qn } agar dapat menjadi basis untuk vektor a1 , a2 ,..., an . Salah satu cara yang
cukup populer (bahkan sampai tidak ada yang membahas cara lain selain cara ini) adalah
dengan menggunakan proses ortogonalisasi Gram-Schmidt.

Kita tahu bahwa jika Q = {q1 , q2 ,..., qn } adalah himpunan vektor-vektor yang
ortonormal maka himpunan vektor q1 , q2 ,..., qn merupakan basis untuk ruang vektor yang
direntangnya. Maka dari itu kita akan membentuk vektor q1 , q2 ,..., qn dari vektor
a1 , a2 ,..., an dengan menggunakan proses ortogonalisasi Gram-Schmidt.

Yaitu :

a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1

qj =
a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1

Ini akan membentuk vektor-vektor q1 , q2 ,..., qn yang digunakan untuk membentuk

matriks Q. Lalu bagaimana dengan matriks R ? Matriks tersebut dibentuk oleh entri rij
dengan :

⎧ < qi , a j > i< j

⎪
rij = ⎨ a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1 i= j
⎪
⎩ 0 i> j

Akibatnya matriks Q adalah matriks unitary sedangkan matriks R berwujud

matriks segitiga atas.

Untuk setiap matriks A ∈ mxn

dengan m ≥ n , dapat didekomposisi ke bentuk :

A = QR

Dengan Q , matriks unitary

Dengan R , matriks segitiga atas
Contoh
⎡1 1 0⎤
⎢ −1 0 1 ⎥⎥
Tentukan dekomposisi QR dari matriks A = ⎢
⎢0 1 1⎥
⎢ ⎥
⎣0 0 1⎦

Matriks A dapat dinyatakan ke dalam bentuk matriks kolom A = [ a1 a2 a3 ] , dengan

⎛1⎞ ⎛1⎞ ⎛0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ −1 ⎟ ⎜ 0⎟ 1
a1 = , a2 = , a3 = ⎜ ⎟
⎜0⎟ ⎜1⎟ ⎜1⎟
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎝0⎠ ⎝0⎠ ⎝1⎠

Kita kemudian akan mentrasformasikan {a1 , a2 , a3 } menjadi basis ortonormal melalui

proses ortogonalisasi Gram-Schmidt.

⎛1⎞
⎜ ⎟
1 ⎜ −1⎟
Untuk vektor a1 , q1 = a1 a1 =
2⎜ 0 ⎟
⎜ ⎟
⎝0⎠
⎛1⎞
⎜ ⎟
a2 − < q1 , a2 > q1 1 ⎜1⎟
Untuk vektor a2 , q2 = =
a2 − < q1 , a2 > q1 6 ⎜ 2⎟
⎜ ⎟
⎝0⎠
⎛0⎞
⎜ ⎟
a3 − < q2 , a3 > q2 − < q1 , a3 > q1 ⎜ 0 ⎟
Terakhir untuk vektor a3 , q3 = =
a3 − < q2 , a3 > q2 − < q1 , a3 > q1 ⎜ 0 ⎟
⎜ ⎟
⎝1⎠

⎡ 3 1 0 ⎤
⎢ ⎥
1 ⎢− 3 1 0 ⎥
Sehingga matriks Q = [ q1 q2 q3 ] =
6 ⎢⎢ 0 2 0 ⎥⎥
⎢ 0 6 ⎥⎦
⎣ 0

⎡ q1 a2 , q 1 a3 , q 1 ⎤ ⎡ 2 1 −1 ⎤
⎥ ⎢ ⎥
2 2
⎢
Sedangkan untuk matriks R = ⎢ 0 q2 a3 , q 2 ⎥=⎢ 0
6
2
3
6⎥
⎢⎣ 0 0 q3 ⎥⎦ ⎢ 0 0 1 ⎥⎦
⎣
Sehingga diperoleh bentuk dekomposisi QR dari matriks A :

⎡1 1 0⎤ ⎡ 3 1 0 ⎤
⎢ −1 ⎢ ⎥⎡ 2 −1 ⎤
1 ⎥⎥ 1 ⎢ − 3
1
0 ⎥⎢ ⎥
2 2
⎢ 0 1
= ⎢ 0
6 3
6⎥
⎢0 1⎥ 6 ⎢⎢ 0 0 ⎥⎥ ⎢
2
1 2
⎢ ⎥ ⎣ 0 0 1 ⎥⎦
⎣0 0 1⎦ ⎢ 0 6 ⎥⎦
A
⎣ 0 Rˆ
Qˆ

Bentuk dekomposisi diatas disebut bentuk QR tereduksi.

Yaitu jika matriks A ∈ mxn ( m ≥ n ), dengan matriks Qˆ ∈ mxn
dan Rˆ ∈ nxn
.

Atau

⎡1 1 0⎤ ⎡ 3 1 0 − 2⎤ ⎡ 2 1 −1 ⎤
⎢ −1 ⎢ ⎥⎢ ⎥
0 1 ⎥⎥ 1 ⎢ − 3
2 2

⎢ 1 0 − 2⎥ ⎢ 0 6 3
6⎥
= ⎢ ⎥
2
⎢0 1 1⎥ 6⎢ 0 2 0 2 ⎥⎢ 0 0 1 ⎥
⎢ ⎥ ⎢ ⎥
⎢ ⎥
⎣0 0 1⎦
A ⎣ 0 0 6 0 ⎦ ⎢⎣ 0 0 0 ⎥⎦
R
Q

Bentuk dekomposisi diatas disebut bentuk QR penuh.

Yaitu jika matriks A ∈ mxn ( m ≥ n ), dengan matriks Q ∈ mxm dan R ∈ mxn .
Agar matriks Q ∈ mxm tetap berwujud matriks unitary maka ditambahkan kolom-
kolom tambahan dengan kolom tambahannya harus ortonormal dengan kolom yang lain.
Konsekuensinya pada matriks R ditambahkan baris-baris tambahan namun entri baris-
baris tambahan ini adalah nol.
Teorema 1
Setiap matriks A ∈ mxn ( m ≥ n ) memiliki dekomposisi QR penuh, karena merupakan
dekomposisi QR yang tereduksi.

Bukti
Pertama diasumsikan bahwa matriks A fullrank. Dengan melakukan proses
Ortogonalisasi Gram-Schmidt untuk membentuk dekomposisi QR pada akhirnya akan
berujung kepada bentuk tereduksi. Proses ortogonalisasi Gram-Schmidt akan gagal ketika
pada suatu langkah ke-j, vektor a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1
adalah vektor nol sehingga tidak dapat dinormalisasi. Namun itu berarti mengingkari
asumsi bahwa matriks A fullrank.

Jika matriks A tidak fullrank maka pada suatu langkah ke-j,

a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1 adalah vektor nol.
Karena itu diambil sebarang vektor yang ortonormal dengan vektor q1 , q2 ,..., q j −1 untuk
melanjutkan kembali proses ortogonalisasi Gram-Schmidt. Pada intinya adalah untuk
tetap mempertahankan matriks Q sebagai matriks unitary dan matriks R agar berwujud
segitiga atas.

Teorema 2
Setiap matriks A ∈ mxn ( m ≥ n ) yang non-singular memiliki dekomposisi QR tereduksi
yang unik. Serta diagonal utamanya merupakan bilangan positif.

Bukti
Keunikan bentuk tereduksi itu jelas. Karena matriks A fullrank maka setiap kolomnya
bukan merupakan kombinasi linear dari kolom-kolom yang lain. Sehingga kasus vektor
a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1 bernilai nol tidak akan dijumpai.
Sehingga tidak ada pengambilan sebarang vektor yang ortonormal. Karena itu bentuk QR
tereduksinya adalah unik. Terkahir, jelas diagonal utama dari matriks R adalah bilangan
positif. Sebab diagonal utama matriks R adalah nilai
a j − < q1 , a j > q1 − < q2 , a j > q2 − ...− < q j −1 , a j > q j −1 , dimana nilainya akan selalu positif.
Cholesky Decomposition

Jika matriks A ∈ mxm berwujud matriks hermitian definit positif, maka matriks A
dapat didekomposisi menjadi :

A = R*R

Dengan R ∈ mxm
, matriks segitiga atas.

Berbeda dengan dekomposisi lainnya, dekomposisi pada matriks ini akan

menghasilkan dua buah matriks yang saling transpose. Sehingga sebenarnya matriks hasil
dekomposisi hanya satu buah saja.

Untuk melakukan dekomposisi Cholesky, digunakanlah eliminasi Gauss. Yakni

eliminasi baris/kolom yang mendasari operasi baris/kolom elementer. Jika matriks A
berwujud seperti ini :

⎡α z *⎤
A=⎢
⎣z K ⎥⎦

Dengan α adalah entri baris ke-1 kolom ke-1

z adalah vektor kolom
K adalah submatriks ukuran ( m − 1) x( m − 1) dari sudut kanan bawah

Maka matriks A dapat difaktorkan menjadi :

⎡ α 0 ⎤ ⎡1 0 ⎤ ⎡α z */α ⎤
A=⎢ ⎥ ⎢ 2⎥⎢
= R1 * A1 R1
⎣z /α I ⎦ ⎣0 K − zz * / α ⎦ ⎣ 0 I ⎥⎦

Proses faktorisasi tidak berhenti sampai disini. Jika matriks A1 dapat difaktorisasi
dengan proses yang serupa maka matriks A1 harus difaktorisasi sehingga menghasilkan
matriks A2 . Jika matriks A2 juga dapat difaktorisasi maka lakukan lagi faktorisasi, proses
ini dilakukan terus-menerus sampai muncul matriks hasil faktorisasi An = I . Proses-
proses tersebut selain menghasilkan matriks

A = R1 * R2 *...Rn * I Rn ...R2 R1

Dengan mengambil matriks R* = R1 * R2 *...Rn * dan matriks R = Rn ...R2 R1

Diperolehlah :

A = R*R
Contoh

⎡ 1 −1 0 ⎤
Bentuklah dekomposisi Cholesky dari matriks A = ⎢⎢ −1 2 −1⎥⎥
⎣⎢ 0 −1 3 ⎥⎦
1 −1 0
1 −1
Matriks ini adalah definit positif karena 1 > 0 , > 0 , serta −1 2 −1 > 0
−1 2
0 −1 3

⎡ 1 −1 0 ⎤
⎢ ⎥ ⎡α 2 z* ⎤
A = ⎢ −1 2 −1⎥ = ⎢ ⎥
K 2x2 ⎦
⎢⎣ 0 −1 3 ⎥⎦ ⎣
z

⎡ −1⎤ ⎡ 2 −1⎤
Diperoleh α = 1 = 1 , z = ⎢ ⎥ , dan K = ⎢ ⎥ sehingga :
⎣0⎦ ⎣ −1 3 ⎦

⎡ 1 −1 0 ⎤
⎢ −1 2 −1⎥ = ⎡ α 0 ⎤ ⎡1 0 ⎤ ⎡α z * /α ⎤
= R1 * A1 R1
⎢ ⎥ ⎢z /α ⎥ ⎢ 2⎥⎢
I ⎦ ⎣ 0 K − zz * / α ⎦ ⎣ 0
2x2
I 2 x 2 ⎦⎥
⎢⎣ 0 −1 3 ⎥⎦ ⎣

⎡ 1 0 0 ⎤ ⎡1 0 0 ⎤ ⎡1 −1 0 ⎤
= ⎢⎢ −1 1 0 ⎥⎥ ⎢⎢ 0 1 −1⎥⎥ ⎢⎢ 0 1 0 ⎥⎥
⎢⎣ 0 0 1 ⎥⎦ ⎢⎣ 0 −1 3 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦
R1 * A1 R1

Untuk matriks A1 :
⎡1 0 0 ⎤ ⎡1 0 0 ⎤
⎢ 0 1 −1⎥ = ⎢ 0 α 2 z * ⎥⎥
⎢ ⎥ ⎢
⎢⎣ 0 −1 3 ⎥⎦ ⎢⎣ 0 z K 1x1 ⎥⎦

Diperoleh α = 1 = 1 , z = [ −1] , dan K = [3] sehingga :

⎡1 0 0 ⎤ ⎡1 0 0⎤ ⎡1 0 0 ⎤ ⎡1 0 0 ⎤
⎢ 0 1 −1⎥ = ⎢0 α ⎥ ⎢
0⎥ ⎢0 1 0 ⎥ ⎢0 α z * / α ⎥⎥ = R2 * A2 R2
⎢ ⎥ ⎢ ⎥⎢
⎢⎣ 0 −1 3 ⎥⎦ ⎢⎣0 z / α 1 ⎥⎦ ⎢⎣ 0 0 K − zz * / α 2 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦
 ⎡1 0 0 ⎤ ⎡ 1 0 0 ⎤ ⎡ 1 0 0 ⎤
= ⎢⎢0 1 0 ⎥⎥ ⎢⎢ 0 1 0 ⎥⎥ ⎢⎢ 0 1 −1⎥⎥
⎢⎣0 −1 0 ⎥⎦ ⎢⎣ 0 0 2 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦
R2 * A2 R2 *

Untuk matriks A2 difaktorkan kembali menggunakan cara yang serupa. Namun matriks
ini sudah jelas bentuk faktorisasi segitiganya yaitu :

⎡1 0 0 ⎤ ⎡1 0 0 ⎤ ⎡1 0 0 ⎤ ⎡1 0 0 ⎤
⎢0 1 0 ⎥ = ⎢0 1 ⎥ ⎢
0 ⎥ ⎢⎢ 0 1 0 ⎥⎥ ⎢ 0 1
⎥
⎢ ⎥ ⎢ 0 ⎥
⎢⎣ 0 0 2 ⎥⎦ ⎢0 0 2 ⎥⎦ ⎢⎣0 0 1 ⎥⎦ ⎢⎣ 0 0 2 ⎥⎦
⎣ A
R3 * 3 R3 *

Karena A3 = I , maka proses faktorisasi selesai, sehingga didapat matriks :

⎡1 −1 0 ⎤ ⎡1 0 0 ⎤ ⎡1 0 0 ⎤
⎢ ⎥
R1 = ⎢⎢0 1 0 ⎥⎥ , R2 = ⎢⎢0 1 −1⎥⎥ , dan R3 = ⎢0 1 0 ⎥
⎢⎣0 0 1 ⎥⎦ ⎢⎣0 0 1 ⎥⎦ ⎢0 0 2 ⎥⎦
⎣

Coba kita kalikan tiga buah matriks R tersebut :

⎡1 0 0 ⎤ ⎡1 −1 0 ⎤
⎢ ⎥ ⎢ ⎥
R3 R2 = ⎢0 1 −1 ⎥ , R3 R2 R1 = ⎢0 1 −1 ⎥ = R
⎢0 0 2 ⎥⎦ ⎢0 0 2 ⎥⎦
⎣ ⎣

Hal yang sama berlaku pula untuk R3 *, R2 *, R1 * , sehingga diperoleh :

⎡ 1 −1 0 ⎤ ⎡ 1 0 0 ⎤ ⎡1 −1 0 ⎤
⎢ −1 2 −1⎥ = ⎢ −1 1 ⎥⎢
0 ⎥ ⎢0 1 −1 ⎥
⎥
⎢ ⎥ ⎢
⎢⎣ 0 −1 3 ⎥⎦ ⎢ 0 −1 2 ⎥⎦ ⎢⎣0 0 2 ⎥⎦
A
⎣
R* R
 Mengapa syarat sebuah matriks A ∈ mxm agar dapat didekomposisi cholesky
haruslah berwujud hermitian positif definite ?

Pertama, matriks A haruslah berwujud matriks hermitian. Karena jika tidak

operasi baris elementer dan operasi kolom elementernya tidak akan serupa. Misal bila
baris pertama adalah dua kalinya baris kedua, maka kolom kedua adalah dua kalinya
kolom pertama. Akibatnya matriks-matriks elementer yang dihasilkan dari operasi baris
elementer dan operasi kolom elementer akan saling transpose sehingga memungkinkan,
terbentuknya faktorisasi A = R * R .

Kedua, sifat definit positif memberikan jaminan bahwa setiap nilai α yaitu entri
baris ke-1 dan kolom ke-1 dari setiap matriks An adalah bilangan positif. Akibatnya α =
a11 akan selalu berwujud bilangan real positif.

Syarat matriks A haruslah berwujud matriks hermitian menimbulkan pertanyaan.

Bagaimana jika entri-entrinya merupakan bilangan kompleks? Akankah dapat dilakukan
dekomposisi cholesky ? Cukup ingat saja bahwa entri diagonal dari matriks Hermitian
adalah bilangan real.

Akibat
m×m
Setiap matriks hermitian definit positif matriks A ∈ memiliki dekomposisi Cholesky
yang unik.

Bukti
Seperti yang telah dijelaskan diatas bahwa nilai α yang terlibat bernilai positif. Mengapa
harus positif? Karena jika negatif maka α = a11 tidak terdefinisi sehingga proses
dekomposisi akan terhenti. Sehingga dapat dipastikan akar dari bilangan real positif tidak
ada yang berbeda mengakibatkan dekomposisi Cholesky tiap matriks hermitian definit
positif adalah unik.
Schur Decomposition

Masih ingat dengan digonalisasi matriks? Sebuah matriks dapat diubah menjadi
matriks diagonal dengan tetap mempertahankan karakterisitik (eigen) matriks asalnya.
Hanya saja, diagonalisasi yang selama ini kita kenal (sebatas pada matakuliah Aljabar
Linear Elementer) mensyaratkan bahwa matriks yang akan didiagonalisasi harus
berbentuk matriks hermitian.

Bagaimana bila tidak berwujud matriks hermitian? Proses diagonalisasi masih

bisa terjadi asalkan matriks asalnya berwujud matriks persegi. Namun hasil akhirnya
tidak menghasilkan matriks diagonal akan tetapi menghasilkan matriks segitiga atas.
Tentunya walaupun berbentuk matriks segitiga atas, matriks ini masih mempertahankan
karakteristik matriks asalnya. Proses diagonalisasi khusus ini dikenal dengan nama
dekomposisi Schur.

Setiap matriks persegi A ∈ mxm

dapat diubah menjadi matriks segitiga atas,
yakni :

A = U * TU

Dengan U ∈ mxm
matriks unitary, dan T ∈ mxm
matriks segitiga atas

Untuk melakukan proses dekomposisi, pertama-tama dicari dahulu nilai-nilai

eigen dari matriks A. Karena matriks A berukuran mxm, pastilah terdapat sejumlah m nilai
eigen beserta m vektor eigen bukan? Pilih salah satu dari m vektor eigen tersebut sebut
saja vλ yang bersesuaian dengan nilai eigen λ1 . Jika vektor eigen vλ belum normal maka
v
normalisasikanlah, yakni vλ ' = λ . Penormalisasian vektor eigen tidak akan
vλ
berpengaruh terhadap nilai eigen yang bersesuaian dengannya karena pada dasarnya
hanya mengalikan vektor eigen tersebut dengan skalar saja.

Setelahnya bentuk himpunan ortonormal U = {vλ ', v1 , v2 ,..., vm −1} . Apabila

dibentuk matriks yang kolom-kolomnya adalah anggota U maka matriks tersebut akan
berwujud matriks unitary. Karenanya bentuk matriks :

U λ = [ vλ ' v1 ... vm −1 ]

Sehingga dapat dibentuk U λ AU λ * = T1 atau A = U λ * TU

1 λ

⎡λ x⎤
Bentuk matriks T1 ini tidak lain adalah ⎢ 1
⎣0 K1 ⎥⎦
 Jikalau submatriks K1 belum berbentuk matriks segitiga atas, maka lakukanlah
proses dekomposisi yang serupa. Mengambil sebuah sebarang vektor eigen kemudian
menormalisasikannya lantas membuat matriks unitary dst. Proses ini dilakukan terus
menerus sampai menemui matriks Tn yang memiliki submatriks K n yang berbentuk
matriks segitiga atas. Pada akhirnya akan terbentuk matriks :

A = U λ1 *U λ 2 *...U λ n * T U λ n ...U λ 2U λ1

Dengan mengambil matriks U * = U λ1 *U λ 2 *...U λ n * serta U = U λ n ...U λ 2U λ1

diperolehlah dekomposisi

A = U * TU

Mungkin pernah terpikir, mengapa setelah mengambil vektor eigen lantas

dibentuk himpunan ortonormal dengan vektor eigen tersebut sebagai salah satu
anggotanya? Perhatikan teorema berikut :

Teorema
Diberikan matriks A ∈ mxm dengan Ax = λ x dan matriks non-singular S dengan kolom
ke-i nya adalah vektor x. Jika vektor x ≠ 0 maka kolom ke-i dari matriks S −1 AS adalah
λ ei .

Bukti
Misalkan S = [ s1 s2 … si −1 x si +1 … sm ] . Karena S −1S = I maka
S −1S = S −1 [ s1 s2 … si −1 x si +1 … sm ]
= ⎡⎣ S −1s1 S −1s2 … S −1si −1 S −1 x S −1si +1 … S −1sm ⎤⎦ = I

Akibatnya S −1 x = ei . Bila diterapkan pada S −1 AS , menjadi :

S −1 AS = S −1 [ As1 As2 … Asi −1 Ax Asi +1 … Asm ]
= S −1 [ As1 As2 … Asi −1 λ x Asi +1 … Asm ] … karena Ax=λx
= ⎡⎣ S −1 As1 S −1 As2 … S −1 Asi −1 λ S −1 x S −1 Asi +1 … S −1 Asm ⎤⎦

Sehingga diperoleh λ S −1 x = λ ei .

Perlu diperhatikan, karena adanya pemilihan vektor eigen beserta pembentukan

himpunan ortonormal yang elemen-elemennya hanya bersyaratkan vektor ortonormal,
maka dekomposisi Schur tidaklah unik !
Contoh

⎡2 1 1⎤
Bentuklah dekomposisi Schur dari matriks A = ⎢⎢1 1 0 ⎥⎥
⎢⎣1 0 1 ⎥⎦

Nilai eigen matriks A ada 3 yaitu λ1 = 0, λ2 = 1 dan λ3 = 3 . Bila diambil nilai

⎡0⎤
1 ⎢ ⎥
eigen λ = 1 maka vektor eigen ortonormal yang bersesuaian adalah v1 = 1 .
2⎢ ⎥
⎢⎣ −1⎥⎦
⎡1 ⎤ ⎡0⎤
⎢ ⎥
Kemudian cari lagi sebarang 2 vektor ortonormal yakni w2 = ⎢0 ⎥ , dan w3 =
1 ⎢ ⎥
1 .
2⎢ ⎥
⎢⎣0 ⎥⎦ ⎢⎣1 ⎥⎦
Sehingga {v1 , w2 , w3 } adalah himpunan ortonormal. Bentuk matriks unitary
⎡0 2 0⎤
1 ⎢ ⎥
V1 = [ v1 w2 w3 ] = ⎢1 0 1⎥ .
2⎢
⎣ −1 0 1 ⎥⎦

⎡1 0 0 ⎤
⎢ ⎥ ⎡ 2 2⎤
Bentuk V1 * AV1 = ⎢0 2 2 ⎥ , diperoleh submatriks K1 = ⎢ ⎥ . Nilai –
⎢0 1 ⎥⎦ ⎣⎢ 2 1 ⎦⎥
⎣ 2
nilai eigen dari submatriks ini adalah λ1 = 0, λ2 = 3 . Diambil nilai eigen λ = 0 , maka
1 ⎡ 1 ⎤
didapat vektor eigen ortonormal yang bersesuaian adalah v2 = ⎢ ⎥ . Kemudian
3 ⎣− 2 ⎦
1 ⎡ 2⎤
ambil sebarang vektor ortonormal w4 = ⎢ ⎥ , sehingga {v2 , w4 } adalah himpunan
3⎣ 1 ⎦
1 ⎡ 1 2⎤
ortonormal. Bentuk matriks unitary V2 = [ v2 w4 ] = ⎢ ⎥.
3 ⎣⎢ − 2 1 ⎦⎥

⎡0 0⎤
Bentuk kembali V2 * K1V2 = ⎢ ⎥ . Karena didapat hasil berupa matriks segitiga
⎣0 3⎦
atas maka proses dekomposisi usai.
Matriks unitary V2 dapat diubah menjadi berukuran 3x3 dengan tetap mempertahankan
sifat unitary nya yakni :

⎡1 0 0 ⎤
1 ⎢ ⎥
V2 = ⎢0 1 2⎥
3⎢
⎣0 − 2 1 ⎥⎦

Sehingga dapat diperoleh :

A = V2 *V1 * T V1V2

⎡ 0 3 − 3⎤
1 ⎢ ⎥
Dengan mengambil matriks U * = V1 *V2 * = ⎢ 2 − 2 − 2⎥
6⎢
2 1 1 ⎥⎥
⎣⎢ ⎦

Sehingga diperolehlah dekomposisi Schur A = U * TU , yaitu :

⎛ ⎡ 0 2 ⎤ ⎞ ⎡1 0 0⎤ ⎛ ⎡ 0 − 3⎤⎞
⎡2 1 1⎤ ⎜ 2 3
⎢1 1 0⎥ = ⎜ 1 ⎢ ⎥⎟⎢ ⎜ 1 ⎢ ⎥⎟
⎢ ⎥ ⎜ 6⎢ 3 − 2 1 ⎥ ⎟ ⎢0 0 0 ⎥⎥ ⎜ ⎢ 2 − 2 − 2⎥⎟
⎢⎣ 1 0 1 ⎥⎦ ⎜ ⎢ ⎥ ⎟ ⎢0 0 3⎥ ⎜ 6 ⎢ 2 ⎟
1 ⎥⎥ ⎟
⎣⎢ − 3 − 2 1 ⎦⎥ ⎟ ⎣ ⎦⎜ ⎣⎢
1
⎦⎠
A ⎝ ⎠ T ⎝
U U*

Perhatikanlah bahwa entri diagonal utama matriks T adalah nilai-nilai eigen dari matriks
A.
Least Square

Seringkali permasalahan semacam Ax = b tidak memiliki solusi eksak. Hal ini

disebabkan karena vektor b bukan termasuk elemen dari Range (A). Permasalahan ini
dikarenakan sistem persamaan memiliki jumlah persamaan yang lebih banyak dari
jumlah peubah.

Seperti halnya pada kasus :

⎡ 1 1⎤ ⎡7⎤
⎢ −1 1 ⎥ ⎡ x ⎤ = ⎢ 0 ⎥
⎢ ⎥ ⎢ y⎥ ⎢ ⎥
⎢⎣ −1 2 ⎥⎦ ⎣ ⎦ ⎢⎣ −7 ⎥⎦

Tidak ada solusi eksak untuk sistem persamaan tersebut ! Lalu bagaimana cara
menemukan solusi untuk permasalahan tersbeut? Memang tidak ada solusi eksak, namun
kita dapat mencari vektor x elemen Range (A) yang jaraknya dengan vektor b paling
pendek (minimal) dibandingkan vektor-vektor lain dalam Range (A). Itulah inti dari
metode Least Square.

Bentuk vektor residual r = b − Ax , akan dicari vektor x elemen Range (A)

sehingga norma vektor r minimal. Agar norma vektor r minimal, vektor r = b − Ax harus
ortogonal terhadap Range (A), yaitu :

A, r = 0
⇔ A* r = 0
⇔ A *(b − Ax) = 0
⇔ A * b = A * Ax

Sistem permasalahan A * Ax = A * b disebut sebagai persamaan normal dari

masalah Least Square.

Sebagai tambahan saja bahwa sistem permasalahan normal dapat diubah bentuk
menjadi x = ( A * A ) A * b . Matriks ( A * A ) A * disebut dengan pseudoinverse (invers
−1 −1

semu) dari matriks A.

Contoh

⎡ 1 1⎤ ⎡7⎤
⎢ ⎥ ⎡ x⎤ ⎢ ⎥
Carilah penyelesaian sistem persamaan ⎢ −1 1 ⎥ ⎢ ⎥ = ⎢ 0 ⎥
⎣ y ⎦ ⎢ −7 ⎥
⎣⎢ −1 2 ⎥⎦ x ⎣ ⎦
A b
menggunakan metode Least Square!

⎡ 3 −2 ⎤
Menggunakan persamaan normal, dibentuk matriks A * A = ⎢ ⎥
⎣ −2 6 ⎦
⎡14 ⎤
Kemudian bentuk matriks A * b = ⎢ ⎥
⎣7⎦
Sehingga persamaan normal A * Ax = A * b akan menjadi

⎡ 3 −2 ⎤ ⎡ x ⎤ ⎡14 ⎤
⎢ −2 6 ⎥ ⎢ y ⎥ = ⎢ 7 ⎥
⎣ ⎦⎣ ⎦ ⎣ ⎦

Sistem persamaan ini dengan mudah dapat diselesaikan bukan ? Diperolehlah

⎡x⎤ ⎡ 5 ⎤
⎢ y⎥ = ⎢ 1 ⎥
⎣ ⎦ ⎣⎢ 2 ⎦⎥

Sedangkan elemen dari Range (A) yang memiliki jarak terpendek dengan vektor b
adalah :

⎡ 11 ⎤
⎡ 1 1⎤ 5 ⎢ 2⎥
⎢ −1 1 ⎥ ⎡ ⎤ = ⎢ −9 ⎥
⎢ ⎥ ⎢ 1 ⎥ ⎢ 2⎥
⎢⎣ −1 2 ⎥⎦ ⎢⎣ 2 ⎥⎦ ⎢ −4 ⎥
⎣ ⎦