Regresi Komponen Utama

(Principal Component Regression)

Latar Belakang
Asumsi-asumsi dalam analisis regresi:
(1) c
i
~ N(0, o
2
)
(2) Tidak terdapat multikolinearitas di
antara peubah bebas.

Multikolinearitas menyebabkan:
Koefisien-koefisien regresi dugaan memiliki ragam yang
sangat besar
Implikasinya, statistik t menjadi lebih kecil yang
berakibat pada pengujian koefisien akan cenderung
untuk menerima H
o
sehingga koefien-koefisien regresi
tidak nyata
Pada akhirnya seringkali persamaan regresi yang
dihasilkan menjadi misleading


Mendeteksi Multikolinear
Matriks korelasi antar peubah bebas X
VIF (Variance Inflation Factor) yaitu kenaikan ragam
koefisien regresi karena korelasi.


R
i
2
adalah koefisien determinasi dari regresi peubah
bebas ke-i dengan semua peubah bebas lainnya.
VIF > 10, indikasi adanya multikolinear

2
1
1
i
R
VIF

=
Mengatasi multikolinear
Membuang peubah bebas yang mempunyai
multikolinearitas tinggi terhadap peubah bebas
lainnya
Menambah data pengamatan/contoh
Melakukan transformasi terhadap peubah-peubah
bebas yang mempunyai kolinearitas
Ridge Regression
Partial Least Square Regression
Principal Component Regression (Regresi
Komponen Utama)
Analisis Komponen Utama
Analisis komponen utama pada dasarnya bertujuan
untuk menyederhanakan peubah-peubah yang diamati
dengan cara mereduksi dimensinya. Hal ini dilakukan
dengan menghilangkan korelasi di antara peubah melalui
transformasi peubah asal ke peubah baru (komponen
utama) yang tidak berkorelasi.
Analisis komponen Utama (lanjutan)
R
pxp
, simetrik dan non singular

direduksi

V` R V = D, v matriks orthogonal

1
,
2
, ,
p
> 0 adalah akarciri-akarciri dari matriks R
yang merupakan unsur-unsur diagonal matriks D
|R I|= 0
Matriks V yaitu v
1
, v
2
, ..., v
p
adalah vektorciri-vektorciri
dari matriks R.
(R I)v
j
= 0
Analisis Komponen Utama (Lanjutan)

Persamaan Regresi Linier Berganda:
Y = X| + c
X
dibakukan
Z
Karena V orthogonal VV`= I
Persamaan regresi awal dapat dituliskan:
Y = |
0
1 + ZVV` | + c
Y = |
0
1 + Wo + c
dengan W = ZV dan o = V`|
Komponen utama W
j
dapat dinyatakan dalam bentuk persamaan
berikut:
W
j
= v
1j
Z
1
+ v
2j
Z
2
+ ... + v
pj
Z
p

s
X X
Z
j
) (
=
Pemilihan Komponen Utama
Menggunakan akar ciri yang lebih besar dari 1
Dipilih k penyumbang keragaman terbesar, di
mana



r = rank matriks korelasi non singular
75 . 0
1
>

=
r
k
j
j

Tahapan Analisis Regresi Komponen Utama

1. Membakukan peubah bebas asal yaitu X
menjadi Z
2. Mencari akar ciri dan vektor ciri dari matriks R
3. Menentukan persamaan komponen utama dari
vektor ciri
4. Meregresikan peubah respon Y terhadap skor
komponen utama W
5. Transformasi balik
Secara teori atau fakta menyatakan bahwa pengaruh keempat
peubah bebas tersebut adalah positif artinya keempat peubah
bebas akan menambah pendapatan per kapita yang ingin
dicari model hubungannya.
Contoh 1:

Y = Pendapatan per kapita (dalam puluh ribu rupiah)
X
1
= Kontribusi industri manufaktur dalam produk domestik
regional bruto (dalam %)
X
2
= Banyaknya tenaga kerja dalam sektor industri
manufaktur (dalam %, persentase dari total tenaga kerja di
daerah itu
X
3
= Produktifitas tenaga kerja industri manufaktur (dalam
satuan juta rupiah per tenaga kerja, nilai tambah industri
manufaktur per tenaga kerja)
X
4
= Investasi dalam industri manufaktur per tenaga kerja
(jumlah investasi dalam industri manufaktur dibagi dengan
banyaknya tenaga kerja industri manufaktur)
Contoh 1 (lanjutan)

Tabel 1 adalah data tentang proses industrialisasi yang terjadi di 15 kabupaten di
suatu propinsi, data diambil dari Gasperz (1992) dalam Simatupang (2002).
Tabel 1. Data proses industrialisasi di 15 kabupaten

No. Y X
1
X
2
X
3
X
4

1 67.5 9.75 6.5 1.61 0.65
2 68.9 10.5 10.25 2 0.75
3 70.65 11.25 11.9 2.5 0.9
4 73.6 12.6 11.75 2.7 1.15
5 71.89 11.9 11 2.25 0.95
6 84.5 15.2 13.5 3.25 1.75
7 72.34 12.25 12 2.9 1.05
8 77.65 12.9 12.6 3 1
9 80.25 14.3 13.2 3.1 1.7
10 79.87 13.25 12.9 3.05 1.25
11 86.75 15.3 14 3.25 1.8
12 65.75 8.9 9.25 1.9 0.6
13 70.2 10.6 10.5 1.95 0.5
14 89.25 17.25 15 3.5 2
15 85 16.9 14.9 3.4 1.95
Contoh 1 (lanjutan)
Tabel 2. Koefisien-koefisien regresi dan ANOVA untuk X
1
, X
2
, X
3
, X
4


Regression Analysis: Y versus X1, X2, X3, X4
The regression equation is
Y = 41.7 + 2.35 X1 - 0.248 X2 + 2.05 X3 + 1.57 X4
Predictor Coef SE Coef T P VIF
Constant 41.658 6.345 6.57 0.000
X1 2.347 1.066 2.20 0.052 24.7
X2 -0.2483 0.8428 -0.29 0.774 12.2
X3 2.052 3.526 0.58 0.573 16.0
X4 1.569 4.492 0.35 0.734 18.1
S = 2.02669 R-Sq = 94.9% R-Sq(adj) = 92.9%

Analysis of Variance
Source DF SS MS F P
Regression 4 763.97 190.99 46.50 0.000
Residual Error 10 41.07 4.11
Total 14 805.05
Contoh 1 (Lanjutan)


Tabel 3. Korelasi antar peubah bebas
X
1
X
2
X
3
X
4

X
1
1.000 0.909 0.933 0.969
X
2
0.909 1.000 0.952 0.864
X
3
0.933 0.952 1.000 0.911
X
4
0.969 0.864 0.911 1.000
Contoh 1 (Lanjutan)


Tabel 4. Hasil pembakuan peubah-peubah X

Z
1
Z
2
Z
3
Z
4

-1.23053 -2.42986 -1.76149 -1.07131
-0.93346 -0.75794 -1.12579 -0.87652
-0.63639 -0.02229 -0.31079 -0.58435
-0.10166 -0.08917 0.01521 -0.09739
-0.37893 -0.42355 -0.71829 -0.48696
0.92818 0.69106 0.91171 1.07131
-0.2403 0.02229 0.34121 -0.29217
0.01716 0.2898 0.50421 -0.38957
0.5717 0.55731 0.66721 0.97391
0.1558 0.42355 0.58571 0.09739
0.96779 0.91398 0.91171 1.1687
-1.56721 -1.20379 -1.28879 -1.1687
-0.89385 -0.64648 -1.20729 -1.36348
1.74017 1.35983 1.31921 1.55826
1.60154 1.31525 1.15621 1.46087
Contoh 1 (Lanjutan)

Tabel 5. Akar ciri dan vektor ciri

Principal Component Analysis: X1, X2, X3, X4
Eigenanalysis of the Correlation Matrix
Eigenvalue 3.7694 0.1625 0.0442 0.0239
Proportion 0.942 0.041 0.011 0.006
Cumulative 0.942 0.983 0.994 1.000

Variable PC1 PC2 PC3 PC4
Z1 -0.506 0.340 0.357 -0.708
Z2 -0.494 -0.639 0.507 0.301
Z3 -0.504 -0.318 -0.781 -0.187
Z4 -0.497 0.612 -0.075 0.611
komponen utama pertama dapat dinyatakan dalam:
W
1
= 0.506 Z
1
0.494 Z
2
0.504 Z
3
0.497 Z
4

Contoh 1 (Lanjutan)


Tabel 6. Skor Komponen Utama
W
1
W
2
W
3
W
4

3.24323 1.03882 -0.21517 -0.18534
1.84978 -0.01149 0.227459 0.107717
0.78008 -0.46092 0.048057 0.144935
0.13623 -0.04203 -0.08608 -0.01721
1.00501 0.07221 0.247484 -0.02242
-1.80299 0.23971 -0.11067 0.034936
0.08382 -0.38326 -0.31906 -0.06549
-0.21236 -0.5781 -0.21152 -0.25724
-1.3849 0.22212 -0.10749 0.233282
-0.63167 -0.34433 -0.19439 -0.03284
-1.98156 0.17033 0.00919 0.133498
2.61807 -0.06904 -0.07562 0.274175
2.05777 -0.34134 0.398283 -0.16907
-2.99162 0.25687 0.1635 -0.11733
-2.7689 0.23046 0.226011 -0.06162
Contoh 1 (Lanjutan)


Tabel 7. Koefisien Regresi dan ANOVA untuk W
1

Regression Analysis: Y versus W1
Y = 76.3 - 3.75 W1
Predictor Coef SE Coef T P
Constant 76.2733 0.5588 136.50 0.000
W1 -3.7532 0.2978 -12.60 0.000
S = 2.16418 R-Sq = 92.4% R-Sq(adj) = 91.9%

Analysis of Variance
Source DF SS MS F P
Regression 1 744.16 744.16 158.88 0.000
Residual Error 13 60.89 4.68
Total 14 805.05
Contoh 1 (Lanjutan)



Y = 76.3 3.75 W
1


Selanjutnya dilakukan transformasi W menjadi Z, sehingga
diperoleh persamaan regresi dalam peubah baku sebagai berikut:
Y = 76.3 3.75 (0.506 Z
1
0.494 Z
2
0.504 Z
3
0.497 Z
4
)
Y= 76.3 + 1.897 Z
1
+ 1.852 Z
2
+ 1.890 Z
3
+ 1.864 Z
4


Untuk memperoleh persamaan penduga pendapatan perkapita
dengan menggunakan peubah asli, maka persamaan di atas
ditransformasi ke peubah asalnya menjadi:

Y = 44.0187 + 0.7528 X
1
+0.8268 X
2
+ 3.0984 X
3
+ 3.6549 X
4






Contoh 2:

Data disajikan pada tabel 9, diambil dari (Myers, 1990):

Tabel 9. Data untuk contoh 2

No. Y X
1
X
2
X
3
X
4

1 17.6 8.8 2589 83.1 158.2
2 10.9 8.5 1186 24.2 96.2
3 9.2 7.7 291 4.5 31.8
4 16.2 4.9 1276 9.1 95.0
5 10.1 9.6 6633 158.2 407.2
6 11.7 10.0 12125 132.2 404.6
7 17.9 11.5 36717 501.5 1180.6
8 21.1 11.6 43319 904.0 1807.5
9 14.7 11.2 10530 227.6 470.0
10 7.7 10.7 3931 66.6 151.4
11 8.4 10.0 1536 43.4 93.8
12 32.8 6.8 61400 1253.0 3293.4
Contoh 2 (Lanjutan)


Tabel 10. Koefisien-koefisien regresi dan ANOVA untuk X
1
, X
2
, X
3
, X
4

Regression Analysis: Y versus X1, X2, X3, X4
The regression equation is
Y = 22.0 - 1.28 X1 + 0.000150 X2 + 0.0155 X3 - 0.00285 X4
Predictor Coef SE Coef T P VIF
Constant 21.972 5.846 3.76 0.007
X1 -1.2776 0.6400 -2.00 0.086 2.1
X2 0.0001503 0.0002616 0.57 0.584 34.7
X3 0.01553 0.02004 0.78 0.464 79.2
X4 -0.002854 0.008578 -0.33 0.749 86.0
S = 3.00412 R-Sq = 88.6% R-Sq(adj) = 82.0%

Analysis of Variance
Source DF SS MS F P
Regression 4 489.54 122.38 13.56 0.002
Residual Error 7 63.17 9.02
Total 11 552.71


Contoh 2 (Lanjutan)



Tabel 11. Korelasi antar peubah bebas

X
1
X
2
X
3
X
4

X
1
1.000 0.131 0.080 -0.015
X
2
0.131 1.000 0.982 0.974
X
3
0.080 0.982 1.000 0.989
X
4
-0.015 0.974 0.989 1.000
Contoh 2 (Lanjutan)


Tabel 12. Hasil pembakuan peubah-peubah X

Z
1
Z
2
Z
3
Z
4

-0.23273 -0.61463 -0.49938 -0.53548
-0.37972 -0.68340 -0.64582 -0.59880
-0.77168 -0.72727 -0.69480 -0.66458
-2.14356 -0.67899 -0.68337 -0.60003
0.15924 -0.41640 -0.31266 -0.28116
0.35522 -0.14719 -0.37730 -0.28381
1.09015 1.05827 0.54090 0.50877
1.13915 1.38189 1.54165 1.14907
0.94317 -0.22537 -0.14010 -0.21702
0.69819 -0.54885 -0.54040 -0.54242
0.35522 -0.66625 -0.59809 -0.60125
-1.21264 2.26819 2.40937 2.66672
Contoh 2 (Lanjutan)


Tabel 13. Akar ciri dan vektor ciri

Principal Component Analysis: X1, X2, X3, X4
Eigenanalysis of the Correlation Matrix
Eigenvalue 2.9692 1.0046 0.0194 0.0067
Proportion 0.742 0.251 0.005 0.002
Cumulative 0.742 0.993 0.998 1.000

Variable PC1 PC2 PC3 PC4
X1 -0.058 -0.993 0.077 0.073
X2 -0.576 -0.034 -0.815 -0.056
X3 -0.578 0.019 0.455 -0.677
X4 -0.575 0.114 0.352 0.730
Komponen utama pertama W
1
dan komponen utama kedua W
2
dapat dinyatakan dalam:
W
1
= 0.508 Z
1
0.576 Z
2
0.578 Z
3
0.575 Z
4

W
2
= 0.993 Z
1
0.034 Z
2
+ 0.019 Z
3
+ 0.114 Z
4


Contoh 2 (Lanjutan)


Tabel 14. Skor Komponen Utama

W
1
W
2
W
3
W
4

0.96409 0.18109 0.067378 -0.035276
1.13326 0.31928 0.023193 0.010821
1.24727 0.70140 -0.016775 -0.030106
1.25486 2.06917 -0.134289 -0.093302
0.57312 -0.18207 0.110522 0.041373
0.44560 -0.38734 -0.123961 0.082431
-1.27784 -1.04960 -0.353011 0.025275
-2.41376 -1.01671 0.067272 -0.199589
0.28121 -0.95609 0.116521 0.017727
0.90020 -0.74683 0.064677 0.051530
1.05480 -0.41021 0.086885 0.029245
-4.16282 1.47792 0.091587 0.099872
Contoh 2 (Lanjutan)


Tabel 15. Koefisien Regresi dan ANOVA W1 dan W2 terhadap Y

Regression Analysis: Y versus W1, W2
The regression equation is
Y = 14.9 - 3.62 W1 + 2.29 W2
Predictor Coef SE Coef T P VIF
Constant 14.8583 0.7851 18.93 0.000
W1 -3.6218 0.4759 -7.61 0.000 1.0
W2 2.2852 0.8181 2.79 0.021 1.0
S = 2.71966 R-Sq = 88.0% R-Sq(adj) = 85.3%

Analysis of Variance
Source DF SS MS F P
Regression 2 486.14 243.07 32.86 0.000
Residual Error 9 66.57 7.40
Total 11 552.71

Contoh 2 (Lanjutan)



Y = 14.9 3.62 W
1
+ 2.29 W
2

Selanjutnya dilakukan transformasi W menjadi Z, sehingga diperoleh
persamaan regresi dalam peubah baku sebagai berikut:

Y= 14.9 2.064 Z
1
+ 2.008 Z
2
+ 2.137 Z
3
+ 2.342 Z
4



Untuk memperoleh persamaan penduga maka persamaan di atas ditransformasi
ke peubah asalnya menjadi:

Y= 19.6493 1.0113 X
1
+ 0.0001 X
2
+ 0.0053 X
3
+ 0.0024 X
4