Least Square atau Kuadrat Terkecil

Metode Least Square atau Metode Kuadrat Terkecil

digunakan untuk mendapatkan penaksir koefi-
sien regresi linier. Model regresi linier sederha-
na dinyatakan dengan persamaan :
Y = 0 + 1X + , model umum
Yi = 0 + 1Xi + i , model setiap pengamatan
Model dugaan dinyatakan oleh :
X Y
1 0

+ atau
Y

b0 ! b1 " , model umum

i i
X Y
1 0

+ atau
i
Y

b0 ! b1 Xi , model
setiap
pengamatan
#idapatkan eror, yaitu atau i se$agai $erikut :
Y Y

X b b Y
1 0

atau :
i i i i i
X b b Y Y Y
1 0

Secara geometrik, titik%titik hasil eksperimen, model
dan error digam$arkan pada gra&ik $erikut ini :
X
Y
45 40 35 30 25 20 15 10
10
9
8
7
6
5
4
3
S 1,32081
R-Sq 65,4%
R-Sq(adj) 58,5%
Fitted Line Plot
Y= 2,046 + 0,1705 X
Titik%titik merah adalah nilai hasil eksperimen, di%
notasikan Yi , yang diduga mem$entuk garis lurus
$er'arna $iru. (aris inilah model yang akan di%
taksir, dengan cara menaksir koe&isiennya, yaitu b0
dan b1, sehingga ter$entuk persamaan
i
Y

b0 ! b1
Xi.
(aris tegak lurus sum$u horisontal yang menghu%
$ungkan titik eksperimen dengan garis lurus dugaan
dinamai error.
Metode least square $ertu)uan mendapatkan penak%
sir koe&isien regresi, yaitu $0 dan $1, yang men)adi%
kan )umlah kuadrat error, yaitu

n
i
i
1
*
sekecil
mungkin. +rosedur metode kuadrat terkecil adalah
se$agai $erikut :
i. Mem$entuk

n
i
i
1
*
se$agai &ungsi b0 dan b1,
S f,b0,b1-

n
i
i
1
*
( )

n
i
i i
X b b Y
1
*
1 0
ii. Mendi&erensialkan S terhadap b0 dan b1, kemudi%
an hasil di&erensialnya, yaitu
0
b
S

dan
1
b
S

disa%
makan dengan 0.

0
b
S
( )

n
i
i i
X b b Y
1
1 0
0 - 1 , *

( )
- 1 , ......... ......
0
0
0
1 1
1 0
1 1
1 0
1 1 1
1 0
1
1 0

+



n
i
i
n
i
i
n
i
n
i
i i
n
i
n
i
n
i
i i
n
i
i i
Y X b b n
X b b n Y
X b b Y
X b b Y

1
b
S
( )

n
i
i i i
X X b b Y
1
1 0
0 - , *
( )

n
i
i i i
X X b b Y
1
1 0
0 - ,




n
i
n
i
n
i
i i i i
X b X b X Y
1 1 1
*
1 0
0




n
i
n
i
i
n
i
i i i
X b X b Y X
1 1
*
1
1
0
0



+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
*
1
1
0
........ ,*-
+ersamaan ,1- dan ,*- dinamai persamaan normal.
iii. Menghitung b0 dan b1 $erdasarkan dua persama%
an yang ter$entuk. #ari persamaan ,1- didapat%
kan &ormula b0,


+
n
i
i
n
i
i
Y X b b n
1 1
1 0
b0 X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1

,
_

.ormula $0 ini kemudian disu$stitusikan ke
persamaan ,*-,



+
n
i
i i
n
i
i
n
i
i
Y X X b X b
1 1
*
1
1
0

( )







,
_

+
+
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
n
i
i
n
i
i
X Y Y X X X X b
Y X X b X X b X Y
Y X X b X X b Y
1 1 1 1
*
1
1 1
*
1
1
1
1
1 1
*
1
1
1
1

XX
XY
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
S
S
X n X
Y X n Y X
X X X
X Y Y X
b

*
1
*
1
1 1
*
1 1
1
Model regresi linier multiple dinyatakan dengan
persamaan $erikut :
Yi = 0 + 1X1i + ... + kXki + i,
dengan model dugaan s$$,

i
Y

b0 ! b1 X1i ! ... ! bk Xki

Langkah perhitungan penaksir koe&isien regresi :
S f,b0,b1-

n
i
i
1
*


( )

n
i
ki k i i
X b X b b Y
1
*
1 1 0
. . . ,
kemudian dide&erensialkan terhadap b0, b1, ... bk,
dan hasilnya disamakan dengan nol,

0
b
S
0,

1
b
S
0, . . . ,

k
b
S
0,
Persamaan normal menjadi :


+ + +
n
i
i
n
i
ki k
n
i
i
Y X b X b b n
1 1 1
1 1 0
. . .


+ + + +
n
i
i i
n
i
ki i k
n
i
i i
n
i
i
n
i
i
Y X X X b X X b X b X b
1
1
1
1
1
* 1 *
1
*
1 1
1
1 0
...
.
.
.


+ + + +
n
i
i ki
n
i
ki k
n
i
ki i
n
i
ki i
n
i
ki
Y X X b X X b X X b X b
1 1
*
1
* *
1
1 1
1
0
...
/ntuk mempermudah menghitung penaksir koe&isi%
en regresi maka persamaan normal diu$ah ke $en%
tuk matrik,
1
1
1
1
1
1
1
1
]
1

1
1
1
1
]
1

1
1
1
1
1
1
1
1
]
1

n
i
i ki
n
i
i i
n
i
i
k
n
i
ki k
n
i
i
n
i
ki
k
n
i
i
n
i
i
n
i
i
n
i
ki
n
i
i
Y X
Y X
Y
b
b
b
X X X X
X X X X
X X n
1
1
1
1
1
0
1
*
1
1
1
1
1
1
1
1
*
1
1
1
1 1
1

- 1 , - 1 , + + k k
A
1 - 1 , + k
b

1 - 1 , + k
g


+ada satu matrik dan dua 0ektor di atas, masing%ma%
sing dinamai : matrik 1 ,$erukuran ,k!1-,k!1--,
0ektor b ,$erukuran ,k!1-1-, dan 0ektor g ,)uga
$erukuran ,k!1-1-, sehingga persamaan normal
men)adi :
A b g,
dan didapatkan penaksir koe&isien regresi, yaitu b :
b A
-1
g
dengan b ,b0 , b1 , ... , bk-
T
Latihan 1
2uktikan persamaan $erikut :
1. - ,

1
X X b Y Y +
*. 2uktikan titik - , , Y X terletak pada garis
regresi.
3.

n
i
i
Y n Y
1
4

Perhitungan Taksiran Simpangan

Baku Penaksir Koefisien Regresi
Simpangan $aku penaksir koe&isien regresi adalah
akar 0ariansi penaksir koe&isien regresi, sehingga
taksiran simpangan $aku merupakan akar taksiran
0ariansi. 2erikut ini adalah penurunan 0ariansi b 1 :
XX
XY
n
i
i
n
i
i i
n
i
i
n
i
i
n
i
i
n
i
i i
S
S
X n X
Y X n Y X
X X X
X Y Y X
b

*
1
*
1
1 1
*
1 1
1
.ormula b1 terdiri dari 0aria$el &i5ed yaitu " dan
0aria$el random, yaitu 6, sedangkan yang mempu%
nyai 0ariansi hanyalah 0aria$el random. /ntuk itu
&ormula b1 diupayakan agar antara " dan 6 )elas
dan mudah $entuk hu$ungannya, dan yang akan
diolah hanyalah pem$ilang, karena pem$ilanglah
yang memuat 6.
( )( )
( )( ) ( )( ) ( )
( )( ) ( )( )
( )( )
( )( ) ( )( ) ( )( )
n n
n
i
i i
n
i
i
n
i
i i
n
i
i i i
n
i
i i
n
i
i i
Y X X Y X X Y X X
Y X X
Y X X Y X X
Y X X Y X X
Y Y X X Y X n Y X
+ + +

. . .
* * 1 1
1
1 1
1
1 1
.ormula 0ariansi b1 men)adi se$agai $erikut :

,
_

,
_

,
_

Y X n Y X
X n X
X n X
Y X n Y X
n
i
i i
n
i
i
n
i
i
n
i
i i
1
*
*
1
*
*
1
*
1
0ar
1
0ar

,
_

Y X n Y X
n
i
i i
1
0ar
( )( ) ( )( ) ( )( ) ( )
n n
Y X X Y X X Y X X + + + . . . 0ar
* * 1 1

*
( ) ( ) ( ) ( ) ( ) ( )
n n
Y X X Y X X Y X X 0ar . . . 0ar 0ar
*
*
*
* 1
*
1
+ + +

( ) ( ) ( )
*
*
*
*
*
*
*
1
. . . X X X X X X
n
+ + +

( )

n
i
i
X X
1
*
*

( )

,
_

,
_

n
i
i
n
i
i
n
i
i
n
i
i i
X X
X n X
X n X
Y X n Y X
1
*
*
*
*
1
*
*
1
*
1
1
0ar
( )
*
* 1
*
* * 1
*
1
1
*
*
1
* * *
*
1 1
* * *
1 1 1
1
0ar
, -
, -

0ar, - 7 , : 0ar, -
, - , - , -
n
i i n
i
i n
n
i
i
i
i
i
n
i
i
n n n
i i i
i i i
X Y nXY
X X
X nX
X X
X X
s
b bila tidak diketahui maka menjadi b
X X X X X X

,
,

+enaksir Simpangan 2aku ,b1-
14 *
*
1
, -
n
i
i
s
X X

_



_

, ,

s
*
)umlah kuadrat error4n%*
Selan)utnya diuraikan penurunan 0ariansi b0,
b0 X b Y X b Y
n
n
i
i
n
i
i 1
1
1
1
1

,
_

0ar,$0- - 0ar, - 0ar, - 0ar,
1
*
1
b X Y X b Y +

+
n
i
n
i
i
i
X X
X Y
n
1 *
1
*
*
- ,
-
1
0ar,

+
n
i
n
i
i
i
X X
X Y
n
1 *
1
*
*
*
- ,
- 0ar,
1


( )
*
1
*
* * * *
*
- ,
...
1
X X
X
n
n
i
i

+ + + +

*
1
*
* *
*
- ,
- ,
1
X X
X n
n
n
i
i

+

Setelah ke dua suku disamakan penye$utnya, dan

*
diganti dengan s
*
, didapatkan penaksir 0ar,b0- se$agai
$erikut :
*
1
1
* *
*
1
* *
1
*
0
- , - ,
- ,
- r, a 0
X X n
X s
X X n
X n X X s
b
n
i
i
n
i
i
n
i
i
n
i
i

,
_

3
+enaksir simpangan $aku ,b0-
* 4 1
*
1
1
* *
- ,

,
_

X X n
X s
n
i
i
n
i
i
Penaksir Kovariansi Koefisien Regresi
Revie Rumus !
1. 8,"-
"
, 8,a"- a 8,"- a
"
*. 0ar,"- 8," 9 8,"--
*
8," 9
"
-
*
3. 0ar," ! 6- 0ar,"- ! 0ar,6- ! *co0,",6-
:. co0,",6- 8;,"9
"
-,69
6
-<
=. co0,a",$6- 8,a"9 a
"
-,$69 $
6
- 8,a$,"9
"
-,69
6
-- a$ 8,"9
"
-,69
6
-
a$ co0,",6-
>. co0,
1
!
1
"
i
,
*
!
*
"
)
-
1

*
co0,"
i
,"
)
-, $uktikan?
#iketahui : Y
i
0aria$el random saling independen dan identik, dengan 0ar,Y
i
-
*
, i 1, *, ... , n.
1kan dilakukan penurunan co0,ab-, a dan b masing%masing &ungsi 0aria$el random 6
i.
, s$$ :
a
n n i
n
i
i
Y a Y a Y a Y a + + +

. . .
* * 1 1
1
, b
n n i
n
i
i
Y b Y b Y b Y b + + +

. . .
* * 1 1
1
a
i
dan $
i
masing%masing konstanta.
co0,ab- co0,
-- . . . , -, . . . ,
* * 1 1 * * 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + +
Le"ih mudah melalui var#a $ b%&
0ar,a ! b- 0ar,a- ! 0ar,$- ! * co0,ab-, atau * co0,ab- 0ar,a ! b- 0ar,a- 0ar,$-
0ar,a ! b- 0ar
-- . . . , - . . . ,,
* * 1 1 * * 1 1 n n n n
Y b Y b Y b Y a Y a Y a + + + + + + +
0ar,,a
1
! $
1
-6
1
! ,a
*
! $
*
-6
*
! . . . ! ,a
n
! $
n
-6
n
-
,a
1
! $
1
-
*
0ar,6
1
- ! ,a
*
! $
*
-
*
0ar,6
*
- ! ... ! ,a
n
! $
n
-
*
0ar,6
n
-
,a
1
! $
1
-
*

*
! ,a
*
! $
*
-
*

*
! ... ! ,a
n
! $
n
-
*

*

*

+
n
i
i i
b a
1
*
- ,
0ar,a- 0ar
- . . . ,
* * 1 1 n n
Y a Y a Y a + + +
0ar,,a
1
-6
1
! ,a
*
-6
*
! . . . ! ,a
n
-6
n
-
,a
1
-
*
0ar,6
1
- ! ,a
*
-
*
0ar,6
*
- ! ... ! ,a
n
-
*
0ar,6
n
-
,a
1
-
*

*
! ,a
*
-
*

*
! ... ! ,a
n
-
*

*

*

n
i
i
a
1
*
0ar,b- 0ar
- . . . ,
* * 1 1 n n
Y b Y b Y b + + +
0ar,$
1
-6
1
! ,$
*
-6
*
! . . . ! ,$
n
-6
n
-
,$
1
-
*
0ar,6
1
- ! ,$
*
-
*
0ar,6
*
- ! ... ! ,$
n
-
*
0ar,6
n
-
,$
1
-
*

*
! ,$
*
-
*

*
! ... ! ,$
n
-
*

*

*

n
i
i
b
1
*
:
* co0,ab- 0ar,a ! b- 0ar,a- 0ar,$-

*

+
n
i
i i
b a
1
*
- ,

*

n
i
i
a
1
*

*

n
i
i
b
1
*

*

+ +
n
i
i i i i
b a b a
1
* *
- * ,

*

n
i
i
a
1
*

*

n
i
i
b
1
*

*

n
i
i i
b a
1
*
co0,ab-
*

n
i
i i
b a
1
Penurunan co0,$
0
,$
1
-
'ara Pertama&
co0,$
0
,$
1
- co0
1 1 1 1
,, -, - co0, , - Y b X b Y Xb b , digunakan re0ie' rumus >, dengan
1

Y
,

1

X
,
*
0, dan
*
1.
co0,
1 1 1
co0, , -- 0ar, - X b b X b
*
*
1
, -
n
i
i
X
X X

'ara Kedua&
Menggunakan logika penurunan co0,ab-. @ara ini le$ih pan)ang, tetapi merupakan latihan pemahaman
operasi 0aria$el random yang sangat $aik. Aaria$el random b
0
dan b
1
masing%masing merupakan &ungsi
0aria$el random 6
i
.
Logika penurunan ini kemudian digunakan untuk mendapatkan co0,$
0
,$
1
-7 keduanya merupakan &ungsi
0aria$el random 6
i.
.
co0,b
0
,b
1
-
1 1 1
* * 1
1 1
, - , -
co0 ,
, - , -
n n
i i i i n
i i
i n n n
i
i i
i i
X X Y X X Y
Y X
X X X X

_






,

*
1
, -
n
i
i
X X

tidak memuat 0aria$el random, dan hasilnya sudah tertentu, sehingga dapat dianggap
konstanta, dinotasikan k. 2egitu pula dengan
X
, )uga konstanta, $oleh dikeluarkan dari sigma.
co0,b
0
,b
1
-
1 1 1
1
, - , -
co0 ,
n n
i i i i n
i i
i n
i
X X X Y X X Y
Y
k k

_





,

co0
1
1 1 1
, - , -
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k k

_





,


co0
1
1 1 1
, - , -
,
n n n
i i i i i n
i i i
kY X X X Y X X Y
k k

_





,


co0
1
1 1
1 1 1
, - , -- , , -
n n
i i i i n
i i
k X X X Y X X Y
k k k

_ _ _


, , ,

=

*
1
1
1 1 1
, - , - , -
n
i i n
i
k X X X X X
k k k

_ _ _


, , ,

* *
1
* *
1
1 1
, - , -
n
i i n
i
k X X X X X
k k

_


,

* *
1
* *
1 1
1 1
, - , -
n n
i i n
i i
k X X X X X
k k

_


,


* *
1
* *
1 1
1 1
, - , -
n n
i i n
i i
k X X X X X
k k

_


,

dapat diturunkan $ah'a
1
, - 0
n
i
i
X X

* *
*
1
1
, -
n
i
i
X X X
k

_


,

pada a'al penurunan dise$utkan k

*
1
, -
n
i
i
X X

*
*
1
, -
n
i
i
X
X X

*
*
1
, -
n
i
i
X
X X

co0,b
0
,b
1
-
*
*
1
, -
n
i
i
X
X X

Penaksir (ilai Respon&

Y
Setelah didapatkan penaksir koe&isien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu

Y

se$agai $erikut :

Y
b0 ! b1" ,model umum- atau
0 1

i i
Y b b X + ,model setiap pengamatan-.
1pa$ila diketahui atau ditentukan nilai 0aria$el $e$as se$esar X0 , maka didapatkan penaksir atau dugaan nilai
respon,
0

Y se$esar :
0 1

i i
Y b b X + .
Selan)utnya dihitung 0ar,
0

Y -,
0ar,
0

Y - 0ar,
0 1 0 1 1 0 1 0
- 0ar, - 0ar, , -- b b X Y b X b X Y b X X + + +

1 0 1 0
0ar, - 0ar, , - *co0, , , -- Y b X X Y b X X + +
1 0
co0, , , -- Y b X X
0 1
co0, , , - - Y X X b co0
0
1 1
* 1
1
, - , -
,
, -
n
i i n
i
i n n
i
i
i
X X X X Y
Y
X X

>

0
* 1 1
* 1
1
, - , -
, -
, -
n
i n
i
n n
i
i
i
X X X X
X X

0, karena
1
, - 0
n
i
i
X X

0ar,
0

Y -
1 0
0ar, - 0ar, , - 0 Y b X X + +
* * * *
* 0
0 1
*
1
, -
, - 0ar, -
, -
n
i
i
X X
X X b
n n
X X

+ +

+enduga 0ar,
0

Y -
* * *
0
*
1
, -
, -
n
i
i
X X s s
n
X X

*
* 0
*
1
, - 1
, -
n
i
i
X X
s
n
X X

+enduga simpangan $aku
0

Y
14 *
*
0
*
1
, - 1
, -
n
i
i
X X
s
n
X X