Regresi Linier Dengan Metode Kuadrat Terkecil2 PDF

Seri Matematika Terapan untuk S2
Intellectual Propertyof DR. Ir. Setijo Bismo, DEA., TGP-FTUI Modul 3 - Regresi Linier dengan Metode Kuadrat Terkecil (1/1)

Modul 3:

Regresi Linier dengan Metode Kuadrat Terkecil

A. Pendahuluan Metode Kuadrat Terkecil

Metode kuadrat terkecil, yang lebih dikenal dengan nama
Least-Squares Method, adalah salah satu metode
pendekatan yang paling penting dalam dunia keteknikan
untuk: (a). regresi ataupun pembentukan persamaan dari titik-
titik data diskretnya (dalam pemodelan), dan (b). analisis
sesatan pengukuran (dalam validasi model).
Metode kuadrat terkecil termasuk dalam keluarga metode-
metode pendekatan sesatan terdistribusi (distributed error
approximation methods), berdasarkan karakterisik kerjanya
yang melakukan pengurangan sesatan menyeluruh (global
error) yang terukur berdasarkan interval pendekatan
keseluruhan (whole approximation interval) sesuai dengan
order pendekatan yang meningkat. Metode ini berbeda dengan
metode-metode asimptotis, khususnya yang dikembangkan
melalui pendekatan melalui deret Taylor, karena metode
asimptotis memiliki karakteristik kerja yang memperkecil
sesatan pada beberapa titik tertentu, sesuai dengan order
pendekatan yang meningkat.
Metode kuadrat terkecil ini juga memainkan peranan penting
dalam teori statistik, karena metode ini seringkali digunakan
dalam penyelesaian problem-problem yang melibatkan
kumpulan data yang tersusun secara acak, seperti dalam
sesatan-sesatan percobaan. Namun demikian, hal-hal yang
berhubungan dengan teori statistik tidak akan dibahas secara
khusus dalam modul ini.


B. Persamaan dan Model sebagai obyek regresi

Seperti telah dijelaskan di atas, dalam dunia keteknikan metode
kuadrat terkecil ini digunakan untuk melakukan regresi dan atau
pencocokan kurva yang diharapkan dapat membentuk
persamaan matematis tertentu. Secara empiris, persamaan-
persamaan matematis tertentu yang sering digunakan di
antaranya adalah:
(a). Persamaan garis lurus (linier): b x a y +
(b). Persamaan parabolis (kuadratis): r x q x p y + +
2

(c). Persamaan polinomial (secara umum):
1
1
1 1 2
3 2 1
+ + + + + +
k
k
k
n
n
k
k
x c
x c x c x c x c c y L L

(d). Persamaan eksponensial:
d x c x b
e a y
+ +
2

(e). Persamaan asimptotis:
d x c
x b x a
y
+
+
2

C. Regresi Sederhana untuk Persamaan Linier

Bentuk umum dari persamaan linier, dapat dituliskan sebagai
berikut:
b x a y +
dengan:
a = kelandaian (slope) kurva garis lurus
b = perpotongan (intercept) kurva dengan ordinat
atau sumbu tegak

Regresi yang dimaksudkan disini adalah: pencarian harga-
harga tetapan a dan b berdasarkan deretan data yang ada
(jumlah atau pasangan data x-y sebanyak N buah).
Sebagai contoh, di bawah ini diberikan 1 set data (x-y)
sebanyak 7 buah:

Tabel 1. Set data regresi linier.
x y
-3 -0.22
-2 0.67
-1 1.55
0 1.99
1 2.55
2 3.25
3 4.11

Hasil pengaluran kurva (plotting) titik-titik tersebut di atas dapat
dilihat pada Gb. 1 di bawah ini.

-0.22
0.67
1.55
1.99
2.55
3.25
4.11
y = 0.6841x + 1.9850
-1
0
1
2
3
4
5
-5 -4 -3 -2 -1 0 1 2 3 4 5
intercept
slope

Gambar 1. Kurva regresi linier, dengan N = 7.

Persamaan sebaran (S atau distribusi) yang menyatakan
sesatan terdistribusi dari persamaan linier tersebut dinyatakan
sebagai:

( )

2
b x a y S
Persyaratan yang harus dipenuhi untuk dapat menghitung a
dan b adalah minimisasi turunan persamaan di atas terhadap
tetapan a dan b (dalam hal ini, a dan b dianggap sebagai
variabel-variabel semu), sehingga membentuk persamaan-
persamaan berikut:
. 0
d
d
). b (
dan ; 0
d
d
). a (
b
S
a
S

Untuk lebih jelasnya, kronologis penurunan kedua persamaan
di atas adalah sebagai berikut:
(a). ( ) [ ] 0
d
d
2
b x a y
a
, sehingga akan terbentuk
persamaan berikut:
( ) 0 ) (
x b x a y , atau

+ y x x b x a
2
(A)
(b). ( ) [ ] 0
d
d
2
b x a y
b
, sehingga kemudian
terbentuk persamaan berikut:
( ) 0 ) 1 (
b x a y , atau

+ y b N x a (B)
Kedua persamaan (A) dan (B) seperti di atas adalah suatu
sistem persamaan aljabar linier (SPAL), bila disusun-ulang

sebagai berikut:
1
]
1
1
]
1
1
]
1

y
y x
b
a
N x
x x
2
(C)
yang identik dengan persamaan matriks [ ] [ ] [ ] b x A . Solusi
SPAL tersebut relatif sangat mudah dilakukan dengan metode
analitis.
Dengan menggunakan aturan Cramer, solusi konstanta-
konstanta a dan b adalah:
1
]
1

1
]
1
N x
x x
N y
x y x
a
2
det
det
; dan
1
]
1

1
]
1
N x
x x
y x
y x x
b
2
2
det
det

Karena hanya membentuk persamaan matriks berorder 2, maka
determinan-determinan matriks di atas dapat langsung dihitung,
dengan rincian sebagai berikut:
( ) [ ]
2 2
2
det

1
1
]
1

x N x
N x
x x

[ ]

1
]
1

y x N y x
N y
x y x
det

dan
[ ]
1
]
1

y x x y x
y x
y x x
2
2
det
sehingga, diperoleh solusi harga-harga a dan b:
[ ]
( ) [ ]
2 2
x N x
y x N y x
a = 0,684143; dan

[ ]
( ) [ ]
2 2
2
x N x
y x x y x
b = 1,985000
Tugas di rumah:
Coba buat program dalam FORTRAN untuk mencari harga-
harga a dan b dari satu set data berikut:
No.
x y
1 -1.0 5.00
2 1.0 9.00
3 3.0 13.00
4 5.0 17.00
5 7.0 21.00
6 9.0 25.00
7 11.0 29.00

D. Regresi Persamaan Parabola

Persamaan Parabola atau Persamaan Kuadrat mempunyai
bentuk umum yang dapat dituliskan sebagai berikut:
r x q x p y + +
2

harga tetapan p, q dan r berdasarkan set data yang diberikan
(ingat: jumlah atau pasangan data x-y sebanyak N buah !).

Persamaan sebaran (S) yang menyatakan sesatan terdistribusi
dari persamaan linier tersebut dinyatakan sebagai:
( )

2
2
r x q x p y S
Persyaratan yang harus dipenuhi untuk dapat menghitung p, q
dan r adalah minimisasi turunan persamaan di atas terhadap
tetapan p q dan r (dalam hal ini, p, q dan r dianggap sebagai
persamaan minimisasi berikut:
. 0
d
d
). c (
dan ; 0
d
d
). b (
; 0
d
d
). a (
r
S
q
S
p
S

Tahapan penurunan ketiga persamaan-persamaan di atas
terhadap p, q, dan r adalah sebagai berikut:
(a). ( ) 0
d
d
2
2
1
]
1
r x q x p y
p
, yang membentuk
persamaan berikut:
( ) 0 ) (
2 2

x r x q x p y , atau

+ + y x x r x q x p
2 2 3 4
(E)
(b). ( ) 0
d
d
2
2
1
]
1
r x q x p y
q
, yang membentuk:
( ) 0 ) (
2

x r x q x p y , atau

+ + y x x r x q x p
2 3
(F)
(c). ( ) 0
d
d
2
2
1
]
1
r x q x p y
r
, dan dihasilkan
( ) 0 ) 1 (
2

r x q x p y , atau

+ + y N r x q x p
2
(G)

Seperti halnya pada regresi persamaan linier, ketiga
persamaan (E), (F), dan (G) di atas juga membentuk suatu
sistem persamaan aljabar linier (SPAL) dengan oreder 3, bila
disusun-ulang sebagai berikut:
1
1
1
1
]
1
1
1
1
]
1
1
1
1
1
]
1

y
y x
y x
r
q
p
N x x
x x x
x x x
2
2
2 3
2 3 4
(H)
Solusi SPAL di atas dapat dilakukan melalui 2 cara, yaitu: (a).
analitis (aljabar) dan (b). numeris. Berbagai solusi SPAL
(dengan menggunakan metode numeris) telah dijelaskan pada
modul-modul pelajaran terdahulu. Sebagai catatan, determinan
dari matriks bujur-sangkar dengan rank 3 dapat dihitung
sebagai berikut:
12 21 33 11 23 32 13 22 31
32 21 13 31 23 12 33 22 11
33 32 31
23 22 21
13 12 11
det
a a a a a a a a a
a a a a a a a a a
a a a
a a a
a a a

+ +
1
1
1
]
1

Dengan menggunakan metode analitis, sebenarnya SPAL di
atas masih relatif mudah diselesaikan, yaitu dengan
menggunakan aturan Cramer untuk mencari solusi konstanta
atau parameter-parameter p, q dan r.

1
1
1
]
1

1
1
1
]
1
N x x
x x x
x x x
N x y
x x y x
x x y x
p
2
2 3
2 3 4
2
2 3 2
det
det
;
1
1
1
]
1

1
1
1
]
1
N x x
x x x
x x x
N y x
x y x x
x y x x
q
2
2 3
2 3 4
2
3
2 2 4
det
det
; dan
1
1
1
]
1

1
1
1
]
1
N x x
x x x
x x x
y x x
y x x x
y x x x
r
2
2 3
2 3 4
2
2 3
2 3 4
det
det

Berdasarkan catatan tentang determinan matriks berorder 3
seperti di atas, maka determinan-determinan matriks di atas
berturut-turut adalah sebagai berikut:
( )
( ) ( )
2
3 4 2
3
2 3 2
2 3 2 4
2
2 3
2 3 4
det

+ +
1
1
1
1
]
1

x N x x
x x x x
x x x N x x
N x x
x x x
x x x


( )
( )

+ +
1
1
1
1
]
1

3 2 2
2
2 2
3 2 2
2
2 3 2
det
x y x N y x x
y x x y x x
y x x N x y x
N x y
x x y x
x x y x

( )

+ +
1
1
1
1
]
1

y x x N y x x
y x x y x x
x x y x N y x x
N y x
x y x x
x y x x
2 3 4
2
2 3 2
2 2 4
2
3
2 2 4
det
dan
( )
( )

+ +
1
1
1
1
]
1

y x y x x x
y x x y x x x
y x x x y x x
y x x
y x x x
y x x x
2
3 4
2
2
2 2 3
3 2 2 4
2
2 3
2 3 4
det
Tugas di rumah:
Coba buat program dalam FORTRAN untuk mencari harga-
harga p, q dan r berdasarkan kurva di bawah ini:
-6.00
-4.00
-2.00
0.00
2.00
4.00
6.00
-4.0 -2.0 0.0 2.0 4.0

Pasangan data (x-y) dari kurva di atas dapat diberikan
seperti pada tabel berikut:

No.
x y
1 -3.0 4.00
2 -2.2 -0.16
3 -0.9 -4.19
4 -0.1 -4.99
5 1.2 -3.56
6 2.5 1.25

E. Regresi Persamaan Kubus (polinomial order 3)

Persamaan Kubus atau Persamaan polinomial order 3
mempunyai bentuk umum yang dapat dituliskan sebagai
berikut:
0 1
2
2
3
3
c x c x c x c y + + +
harga parameter c
0
sampai dengan c
3
berdasarkan set data
yang diberikan (ingat: pasangan data x-y selalu berjumlah N
buah !).
dari persamaan linier tersebut dinyatakan sebagai:
( )

2
0 1
2
2
3
3
c x c x c x c y S

Persyaratan yang harus dipenuhi untuk dapat menghitung
parameter-parameter c
0
sampai dengan c
3
adalah minimisasi
turunan persamaan di atas, masing-masing terhadap setiap
parameter (dalam hal ini, c
0
sampai dengan c
3
dianggap
sebagai variabel-variabel semu), sehingga membentuk
persamaan-persamaan minimisasi berikut:

0
d
d
(d).
dan ; 0
d
d
). c (
; 0
d
d
). b (
; 0
d
d
). a (
3
2
1
0
c
S
c
S
c
S
c
S

Tahapan penurunan ketiga persamaan-persamaan di atas
terhadap c
0
sampai dengan c
3
adalah sebagai berikut:
(a). ( ) 0
d
d
2
0 1
2
2
3
3
3

1
]
1
c x c x c x c y
c
,
membentuk persamaan berikut:
( ) 0 ) (
3
0 1
2
2
3
3

x c x c x c x c y , atau

+ + y x x c x c x c x c
3 3
0
4
1
5
2
6
3
(I)
(b). ( ) 0
d
d
2
0 1
2
2
3
3
2

1
]
1
c x c x c x c y
c
,
membentuk:
( ) 0 ) (
2
0 1
2
2
3
3


2 2
0
3
1
4
2
5
3
(J)
(c). ( ) 0
d
d
2
0 1
2
2
3
3
1

1
]
1
c x c x c x c y
c
,
dihasilkan:

( ) 0 ) (
0 1
2
2
3
3


0
2
1
3
2
4
3
(K)
(d). ( ) 0
d
d
2
0 1
2
2
3
3
0

1
]
1
c x c x c x c y
c
,
dihasilkan:
( ) 0 ) 1 (
0 1
2
2
3
3

c x c x c x c y , atau

+
+ + y N c x c x c x c
0 1
2
2
3
3
(L)

Sistem Persamaan Aljabar Linier (SPAL) yang terbentuk dari
persamaan-persamaan (I), (J), (K), dan (L) adalah sebagai
berikut:
1
1
1
1
1
]
1
1
1
1
1
]
1
1
1
1
1
1
]
1

y
y x
y x
y x
c
c
c
c
N x x x
x x x x
x x x x
x x x x
2
3
0
1
2
3
2 3
2 3 4
2 3 4 5
3 4 5 6
(M)

Tugas Kelompok:
Buat program dalam FORTRAN untuk mencari harga-harga
konstanta dari c
0
sampai c
n
dari suatu persamaan
polinomial, dari order 3 (n = 3) sampai dengan order 7 (n =
7). Artinya, program tersebut dapat menangani sembarang
polinomial dari order 3 sampai 7 bahkan lebih tinggi lagi.
Gunakan subroutine EGAUSS untuk solusi SPAL yang
terbentuk, dan buat program yang membaca data dari file
ASCII (text file, dengan ekstensi *.dta).

F. Regresi Multilinier

Beberapa persamaan aljabar dapat membentuk suatu relasi
linier atau yang sejenisnya, antara beberapa variabel bebas
(independent variables) dengan sebuah variabel terikat
(dependent variable). Relasi tersebut seringkali dijumpai dalam
dunia keteknikan, termasuk hasil logaritmik dari persamaan-
persamaan analisis adimensional ataupun relasi analogi
bilangan-bilangan tak berdimensi.
Bentuk umum dari persamaan multilinier seperti di atas dapat
disederhanakan dalam relasi fungsi matematis berikut:
w k v k u c w v u y
3 2 1
) , , ( + +
Bila persamaan multilinier tersebut memiliki jumlah variabel
bebas yang lebih besar lagi, maka secara sistematis dapat
dituliskan sebagai berikut:
n n n
x c x c x c x c x x x y + + + + L L
3 3 2 2 1 1 2 1
) , , , (
dari persamaan multilinier tersebut dapat dinyatakan sebagai:
( )

2
3 3 2 2 1 1 n n
x c x c x c x c y S L
Menarik untuk dicatat, bahwa jumlah konstanta atau parameter
(c
1
sampai dengan c
n
) yang dimiliki suatu persamaan multilinier
sekurang-kurangnya sama dengan jumlah variabel bebasnya.
Seperti biasanya, persyaratan yang harus dipenuhi untuk dapat
menghitung konstanta-konstanta c
1
sampai dengan c
n
, adalah
minimisasi turunan persamaan di atas terhadap masing-masing
konstanta (dalam hal ini, semua konstanta dianggap sebagai
persamaan berikut:

0
d
d
(d).
; 0
d
d
). c (
; 0
d
d
). b (
; 0
d
d
). a (
3
2
1
n
c
S
c
S
c
S
c
S
M

Tahapan diferensiasi persamaan-persamaan di atas terhadap
masing-masing parameternya (dari c
1
sampai dengan c
n
) dapat
disajikan sebagai berikut:
(a). ( ) [ ] 0
d
d
2
3 3 2 2 1 1
1

n n
x c x c x c x c y
c
L ,
( ) ( ) 0
1 3 3 2 2 1 1
x x c x c x c x c y
n n
L
dan, setelah disusun-ulang menjadi:
+ + + + y x x x c x x c x x c x c
n n 1 1 3 1 3 2 1 2
2
1
1
L (O)
(b). ( ) [ ] 0
d
d
2
3 3 2 2 1 1
2

n n
x c x c x c x c y
c
L ,
( ) ( ) 0
2 3 3 2 2 1 1
x x c x c x c x c y
n n
L

+
+ + + y x x x c x x c x c x x c
n n 2 2 3 2 3
2
2
2 2 1 1
L (P)

(c). ( ) [ ] 0
d
d
2
3 3 2 2 1 1
3

n n
x c x c x c x c y
c
L ,
( ) ( ) 0
3 3 3 2 2 1 1
x x c x c x c x c y
n n
L

+
+ + + y x x x c x c x x c x x c
n n 3 3
2
3
3 3 2 2 3 1 1
L (Q)
M
(d). ( ) [ ] 0
d
d
2
3 3 2 2 1 1

n n
n
x c x c x c x c y
c
L ,
( ) ( ) 0
3 3 2 2 1 1

n n n
x x c x c x c x c y L
+ + + + y x x c x x c x x c x x c
n n n n n n
2
3 3 2 2 1 1
L (R)

Sistem Persamaan Aljabar Linier (SPAL) yang terbentuk dari
persamaan-persamaan (O), (P), (Q), dan (R) adalah sebagai
berikut:
1
1
1
1
1
1
]
1
1
1
1
1
1
1
]
1
1
1
1
1
1
1
1
]
1

y x
y x
y x
y x
c
c
c
c
x x x x x x x
x x x x x x x
x x x x x x x
x x x x x x x
n n
n n n n
n
n
n
M M
L
M O M M M
L
L
L
3
2
1
3
2
1
2
3 2 1
3
2
3
3 2 3 1
2 3 2
2
2
2 1
1 3 1 2 1
2
1
(S)

G. Soal-soal Latihan

1. Vargaftik (1975) memperkenalkan suatu data kapasitas

panas untuk metilsikloheksana, sebagai berikut (T adalah
suhu absolut dalam K; dan C
p
adalah kapasitas panas zat
yang dinyatakan dalam kJ/kgK):
T C
p

150 1,426
160 1,447
170 1,469
180 1,492
190 1,516
200 1,541
210 1,567
220 1,596
230 1,627
240 1,661
250 1,696
260 1,732
270 1,770
280 1,808
290 1,848
300 1,888

Lakukanlah pencocokan kurva (curve fitting), bila diinginkan
persamaan C
p
(T) sebagai fungsi dari temperatur dalam
persamaan kuadrat: ( )
2
T c T b a T C
p
+ + !
2. Suatu model yang paling umum untuk pengungkapan laju
reaksi kimia order satu tak-berdimensi adalah C k dt dC
dengan 1 ) 0 ( t C . Bentuk terintegrasi dari model tersebut
adalah ) exp( t k C , yang sebenarnya nonlinier pada
parameter k. Dengan data yang diberikan di bawah ini,
tentukan nilai terbaik untuk k. Kembangkan juga prosedur
hitungan saudara untuk nilai nonlinier dari k.!
t (detik) 0,2 0,5 1,0 1,5 2,0
C (mol/L.detik) 0,75 0,55 0,21 0,13 0,04
Data tentang laju reaksi pada berbagai konsentrasi (C) dan

suhu reaksi (T) diberikan pada tabel di bawah ini:

Laju reaksi C T
0,0360 0,8 300
1,01 0,8 400
7,45 0,8 500
0,0231 0,4
300
0,649 0,4 400
4,79 0,4 500
0,0135 0,2
300
0,378 0,2 400
2,80 0,2 500
3. Dari tabel data laju reaksi seperti disajikan di atas, diinginkan
untuk melakukan validasi data menjadi persamaan model
nonlinier:
T a
e
C
C
K reaksi Laju
/
3 , 0 1

+

dengan cara menghitung harga-harga parameter K dan a.
Coba Anda fikirkan dengan baik, kemudian berikan
pendapat Anda tentang bagaimana caranya melakukan
pencocokan data seperti di atas ?
4. Gilliland dan Sherwood (1934) mendapatkan data tentang
perpindahan massa untuk berbagai cairan yang jatuh bebas
pada dinding kolom terbasahi (wetted-wall column). Data
tersebut dapat dilihat pada tabel data yang diberikan di
bawah ini sehingga dapat digunakan untuk melakukan
validasi model nonlinier berikut:
3 2
Re
1
B B
Sc B Sh
Dari persamaan yang nonlinier seperti di atas, fikirkanlah
dengan baik dan kemudian carilah cara yang paling mudah
untuk melakukan pencocokan data seperti di atas
(maksudnya: menghitung parameter-parameter B
1
sampai
B
3
sedemikian rupa sehingga didapat korelasi yang sesuai)?

Jika dari hasil-hasil penelitian Gilliland dan Sherwood di atas
diperoleh suatu korelasi empiris berikut:
436 , 0 789 , 0
Re 0336 , 0 Sc Sh
Cobalah lakukan suatu perbandingan, mana yang terbaik
antara hasil penelitian (experiment) dan hasil perhitungan
(prediction) jika deviasi baku didefinisikan seperti di bawah ?
[ ]
2
1
1
2
exp
3
dev. std.
'

N
Sh Sh
n
i
i
pred

Tabel Data Perpindahan Massa dari Gilliland dan Sherwood.
Sh Re Sc
43,7 10,800 0,60
21,5 5,290 0,60
24,2 3,120 1,80
88,0 14,400
1,80
51,6 6,620 1,875
50,7 8,700 1,875
32,3 4,250
1,86
56,0 8,570 1,86
26,1 2,900 2,16
41,3 4,950 2,16
92,8 14,800 2,17
54,2 7,480 2,17
65,5 9,170 2,26
38,2 4,720 2,26
93,0 16,300 1,83
70,6 13,000 1,83
42,9 7,700 1,61
19,8 2,330 1,61

H. Daftar Pustaka

Atkinson, Kendal E., An Introduction to Numerical Analysis, John
Wiley & Sons, Toronto, pp. 44-48, 1978.
Atkinson, L.V., Harley, P.J., An Introduction to Numerical
Methods with Pascal, Addison-Wesley Publishing Co., Tokyo,
pp. 49-51, 1983.
Hanna, O.T., Sandall, O.C., Computational Methods in Chemical
Engineering, Prentice-Hall International Inc., Englewood Cliffs,
New Jersey, pp. 121-149, 1995.
Press, W.H., Flannery, B.P., Teukolsky, S.A., dan Vetterling, W.T.,
Numerical Recipes, Cambridge Univ. Press, 1986.

Regresi Linier Dengan Metode Kuadrat Terkecil2 PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Regresi Linier Dengan Metode Kuadrat Terkecil2 PDF

Uploaded by

Copyright:

Available Formats

Seri Matematika Terapan untuk S2

You might also like