MULTIPLE REGRESSION

ANALYSIS
Multivariate for Business
MANAJEMEN
Semester Ganjil 2022/2023
MULTIPLE REGRESSION
ANALYSIS
1. Introduction
2. Multiple Regression Analysis with Ms. Excel
a. Evaluating a Multiple Regression Equation
b.Inferences in Multiple Linear Regression
c. Evaluating the Assumptions of Multiple Regression
d.Qualitative Independent Variables
e. Regression Models with Interaction
3. Multiple Regression Analysis with SPSS
Introduction
• In multiple linear correlation and regression, we use
additional independent variables (denoted x1, x2, . . . , and so
on) that help us better explain or predict the dependent
variable (y).
• Almost all of the ideas we saw in simple linear correlation
and regression extend to this more general situation.
Multiple Regression Analysis
The general multiple regression with k independent variables
is given by:

The least squares criterion is used to develop this equation.

Because determining b1, b2, etc. is very tedious, a software
package such as Excel or SPSS is recommended.
Multiple Regression Analysis
For two independent variables, the general form of the
multiple regression equation is:

• X1 and X2 are the independent variables.

• a is the Y-intercept
• b1 is the net change in Y for each unit change in X1 holding X2
constant. It is called a partial regression coefficient, a net
regression coefficient, or just a regression coefficient.
Regression Plane for a 2-Independent
Variable Linear Regression Equation
Multiple Linear Regression -
Example
• Salsberry Realty sells homes along the east coast of
the United States.
• One of the questions most frequently asked by
prospective buyers is: If we purchase this home, how
much can we expect to pay to heat it during the
winter?
• The research department at Salsberry has been
asked to develop some guidelines regarding heating
costs for single-family homes.
• Three variables are thought to relate to the heating
costs: (1) the mean daily outside temperature, (2) the
number of inches of insulation in the attic, and (3)
the age in years of the furnace.
• To investigate, Salsberry’s research department
selected a random sample of 20 recently sold homes.
It determined the cost to heat each home last
January, as well
Multiple Linear Regression -
Example
Multiple Regression Analysis with
SPSS
1. Persiapan Data
2. Pengujian Asumsi Klasik
3. Estimasi Model Regresi Linier Berganda
4. Uji Kelayakan Model (Goodness of Fit Model)
a. Uji F
b. Uji t
5. Interpretasi Model Regresi Linier Berganda
PERSIAPAN DATA
PERSIAPAN DATA
PENGUJIAN ASUMSI KLASIK
• Multikolinearitas
• Heterokedastisitas
• Autokorelasi
• Normalitas Residual
MULTIKOLINEARITAS

• Uji multikolinearitas bertujuan untuk menguji apakah dalam model

regresi ditemukan adanya korelasi yang tinggi atau sempurna antar
variabel independent.
• Jika antar variabel independent terjadi multikolinearitas sempurna,
maka koefisien regresi variabel indepneden tidak dapat ditentukan dan
nilai standard error menjadi tak terhingga.
• Jika multikolinearitas antar variabel independent tinggi, maka koefisien
regresi variabel independen dapat ditentukan, tetapi memiliki nilai
standard error tinggi, sehingga nilai koefisien regrei tidak dapat
diestimasi dengan tepat.
UJI MULTIKOLINEARITAS

1) Klik ANALYZE  REGRESSION  LINEAR

2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT, ATTIC, AGE
dipindahkan ke kotak INDEPENDENT. Pada kotak METHOD, pilih ENTER,
abaikan yang lain dan klik OK.
3) Pilih STATISTICS  pilih ESTIMATES (untuk memunculkan koefisien
regresi), pilih COVARIANCE MATRIX (untuk memunculkan matriks
korelasi antar variabel independent), pilih MODEL FIT (untuk
memunculkan koefisien determinasi R2), pilih PART and PARTIAL
CORRELATION (untuk memunculkan korelasi parsial), dan pilih
COLLINEARITY DIAGNOSTICS (untuk memunculkan nilai Tolerance and
VIF)  CONTINUE  OK
Step 1
Step 2
Step 3
HASIL UJI MULTIKOLINEARITAS

• Hasil uji multikolinieritas, dapat dilihat pada tabel

Coefficients dua kolom terakhir.
• Nilai VIF untuk ketiga variabel independent LEBIH KECIL dari
10, maka dapat dikatkan tidak terjadi multikolinearitas pada
ketida variabel independen tersebut.
UJI HETEROKEDASTISITAS

• Asumsi klasik berikutnya adalah memiliki varian yang sama

(homokedastisitas)
• Ada 2 cara pendeteksian ada tidaknya heterokedastisitas,
yaitu dengan metode grafik dan metode statistik.
• Metode grafik biasanya dilakukan dengan melihat grafik plot
antara nilai prediksi variabel dependen dengan residualnya.
• Sedangkan metode statistik dapat dilakukan dengan uji
Glejser.
UJI HETEROKEDASTISITAS:
Scatter Plot
1) Klik ANALYZE  REGRESSION  LINEAR
2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT,
ATTIC, AGE dipindahkan ke kotak INDEPENDENT. Pada kotak
METHOD, pilih ENTER.
3) Klik PLOTS  muncul kotak dialog LINEAR REGRESSION
PLOTS, masukkan variabel SRESID pada kotak Y dan variabel
ZPRED pada kotak X  CONTINUE  OK
Step 1
Step 2
Step 3
HASIL UJI HETEROKEDASTISITAS:
Scatter Plot
HASIL UJI HETEROKEDASTISITAS:
Scatter Plot
• Terlihat pada tampilan grafik scatter plots bahwa titik-titik
menyebar secara acak baik di atas maupun di bawah angka
0 pada sumbu Y.
• Hal ini dapat disimpulkan bahwa tidak terjadi
heterokedastisitas pada model regresi.
• Analisis dengan grafik plots memiliki kelemahan yang cukup
signifikan oleh karena jumlah pengamatan mempengaruhi
hasil plotting.
• Semakin sedikit jumlah pengamatan, maka semakin sulit
menginterpretasikan hasil grafik plots.
UJI HETEROKEDASTISITAS: Uji
Glejser
1) Klik ANALYZE  REGRESSION  LINEAR
2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT,
ATTIC, AGE dipindahkan ke kotak INDEPENDENT. Pada kotak
METHOD, pilih ENTER.
3) Munculkan variabel RESIDUAL dengan cara menekan
tombol SAVE pada kotak dialog LINEAR REGRESSION dan
aktifkan UNSTANDARDIZED RESIDUALS  CONTINUE 
OK.
4) Pada tampilan SPSS Data Editor akan muncul satu variabel
baru bernama RES_1.
UJI HETEROKEDASTISITAS: Uji
Glejser
5) Absolutkan nilai RES_1 dengan cara:
• Pilih TRANSFORM  COMPUTE VARIABLE  muncul kotak dialog
COMPUTE VARIABLE. Pada kotak TARGET VARIABLE diisikan nama
baru ABS_RES_1
• Pada kotak FUNCTION GROUP pilih ALL.
• Pada kotak Functions and Special Variables pilih ABS
• Kemudian tekan tombol panah ke atas.
• Dari kotak variabel, pilih UNSTANDARDIZED RESIDUAL (RES_1), lalu
tekan tombol bergambar panah ke kanan
• Klik OK
6) Muncul variabel baru bernama ABS_RES_1
7) Regresikan variabel ABS_RES_1 sebagai variabel dependen dan
variabel OUT, ATTIC, AGE sebagai variabel independen.
Step 1
Step 2
Step 3
Step 4
Step 5
Step 6
Step 7
HASIL UJI HETEROKEDASTISITAS:
Uji Glejser
• Hasil tampilan Output SPSS dengan jelas menunjukkan
variabel HEAT, OUT, ATTIC, AGE memiliki nilai signifikansi
lebih besar dari 0.05.
• Berarti tidak terdapat heterokedastisitas dalam model ini,
dengan kata lain semua variabel independent yang terdapat
dalam model ini memiliki sebaran varian yang
sama/homogen.
AUTOKORELASI

• Uji autokorelasi bertujuan menguji apakah dalam suatu model regresi

linier terdapat korelasi antar kesalahan pengganggu (residual) pada
periode t dengan kesalahan pada periode t-1 (sebelumnya).
• Jika terjadi korelasi, maka dinamakan terdapat permasalahan
autokorelasi.
• Autokorelasi muncul karena observasi yang berurutan sepanjang waktu
berkaitan satu sama lain. Masalah ini timbul karena residual tidak bebas
dari satu amatan ke amatan yang lain. Hal ini sering ditemukan pada
data time series.
• Model regresi yang baik adalah regresi yang bebas dari autokorelasi.
UJI DURBIN WATSON

• Salah satu cara yang umum digunakan untuk mendeteksi

adanya autokorelasi dalam regresi linier berganda adalah Uji
Durbin Watson.
• Suatu model regresi dinyatakan tidak terdapat
permasalahan autokorelasi apabila:
du < d < 4 – d u
d = nilai Durbin Watson hitung
du = nilai batas atas/upper Durbin Watson tabel
UJI AUTOKORELASI: UJI DURBIN
WATSON
1) Klik ANALYZE  REGRESSION  LINEAR
2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT,
ATTIC, AGE dipindahkan ke kotak INDEPENDENT. Pada kotak
METHOD, pilih ENTER.
3) Tekan tombol STATISTICS  muncul kotak dialog LINEAR
REGRESSION: STATISTICS  pilih DURBIN-WATSON pada
bagian RESIDUALS
Step 1
Step 2
Step 3
HASIL UJI AUTOKORELASI: UJI
DURBIN WATSON
UJI AUTOKORELASI: Run Test

• Run test sebagai bagian dari statistik nonparametric dapat

pula digunakan untuk menguji apakah antar residual
terdapat korelasi yang tinggi.
• Jika antar residual tidak terdapat hubungan korelasi, maka
dikatakan bahwa residual adalah acak atau random.
• Run test digunakan untuk melihat apakah data residual
terjadi secara random atau tidak.
UJI AUTOKORELASI: Run Test

• ANALYZE  Nonparametric Tests  Legacy Dialogs  Runs

• Kotak dialog Run Test  isikan variabel RES_1 pada kotak
TEST VARIABLE LIST. Pada bagian CUT POINT aktifkan
MEDIAN. Abaikan lainnya  OK
Step 1
Step 2
HASIL UJI AUTOKORELASI: Run
Test
Hasil output SPSS menunjukkan nilai test dengan probabilitas
0.491 tidak signifikan yang berarti bahwa residual bersifat
random atau tidak terjadi autokorelasi antar nilai residual.
NORMALITAS RESIDUAL

• Uji normalitas bertujuan untuk menguji apakah dalam model

regresi, residual mempunyai distribusi normal.
• Uji t dan F mengasumsikan nilai residual mengikuti distribusi
normal.
• Jika terjadi pelanggaran asumsi ini, maka uji statistik menjadi
tidak valid untuk jumlah sampel kecil.
• Ada dua cara mendeteksi apakah residual memiliki distribusi
normal atau tidak, yaitu dengan analisis grafik dan uji statistik.
• Model regresi dikatakan memenuhi asumsi normalitas apabila
data menyebar di sekitar garis diagonal atau grafik
histogramnya.
UJI NORMALITAS: Analisis Grafik

1) Klik ANALYZE  REGRESSION  LINEAR

2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT,
ATTIC, AGE dipindahkan ke kotak INDEPENDENT. Pada kotak
METHOD, pilih ENTER.
3) Klik PLOTS  aktifkan HISTOGRAM dan NORMAL
PROBABILITY PLOT pada bagian STANDARDIZED RESIDUAL
PLOTS. Abaikan yang lain  CONTINUE  OK.
Step 1
Step 2
Step 3
HISTOGRAM
NORMAL P-P Plot
HASIL UJI NORMALITAS: Analisis
Grafik
• Dengan melihat tampilan grafik histogram, dapat dikatakan bahwa grafik
histogram memberikan pola distribusi yang normal.
• Sedangkan pada grafik normal plot terlihat titik-titik menyebar dekat di
sekitar garis diagonal, serta pnyebarannya mengikuti arah garis
diagonal.
• Kedua grafik di atas menunjukkan bahwa model regresi layak dipakai
karena memenuhi asumsi normalitas.
• Namun demikian uji normalitas residual dengan grafik dapat
menyesatkan jika tidak berhati-hati. Secara visual tampak normal,
padahal secara statistik bisa sebaliknya.
• Oleh karena itu, di samping menggunakan uji grafik, sebaiknya
dilengkapi dengan uji statistik.
UJI NORMALITAS: Uji Kolmogorov
Smirnov (KS)
1. ANALYZE  Nonparametric Tests  Legacy Dialogs  1
Sample KS
2. Muncul kotak dialog ONE-SAMPLE KOLMOGOROV-
SMIRNOV  pada kotak TEST VARIABLE LIST isikan variabel
RES_1  pada kotak TEST DISTRIBUTION aktifkan normal,
abaikan yang lain  CONTINUE  OK
Step 1
Step 2
HASIL UJI NORMALITAS: Uji
Kolmogorov Smirnov (KS)
• Besar nilai uji KS dengan
tingkat signifikansi jauh di
atas 0.05, yaitu 0.2.
• Dengan demikian, nilai uji
KS tidak signifikan, maka
residual terdistribusi
normal.
Estimasi Model Regresi Linier
Berganda
1) Klik ANALYZE  REGRESSION  LINIER
2) Pindahkan HEAT ke kotak DEPENDENT, sedangkan OUT,
ATTIC, AGE dipindahkan ke kotak INDEPENDENT. Pada kotak
METHOD, pilih ENTER, abaikan yang lain dan klik OK.
3) Akan muncul 3 table:
a) Model Summary
b) ANOVA
c) Coefficients
Step 1
Step 2
Step 3: KOEFISIEN DETERMINASI
Step 3: KOEFISIEN DETERMINASI

• Adjusted R squared sebesar 0.767, hal ini berarti 76.7%

variasi Heating Cost dapat dijelaskan oleh variasi dari tiga
variabel independent OUT, ATTIC, dan AGE.
• Sedangkan sisanya 23.3% dijelaskna oleh sebab-sebab yang
lain di luar model.
• Standard error of estimate (SEE) sebesar 51.049, makin kecil
nilai SEE akan membuat model regresi semakin tepat dalam
memprediksi variabel dependen
UJI SIGNIFIKANSI SIMULTAN
(Uji Statistik F)
UJI SIGNIFIKANSI SIMULTAN
(Uji Statistik F)
• Berdasarkan tabel ANOVA atau F test, diperoleh nilai hitung
F dengan nilai signifikansi lebih kecil dari 0.05, maka dapat
disimpulkan bahwa koefisien regresi OUT, ATTIC, dan AGE
tidak sama dengan nol, atau bahwa ketiga variabel
independen ini secara simultan berpengaruh terhadap
Heating Cost.
• Hal ini juga berarti nilai koefisien determinasi R2 signifikan.
UJI SIGNIFIKANSI PARAMETER
INDIVIDUAL (Uji Statistik t)
UJI SIGNIFIKANSI PARAMETER
INDIVIDUAL (Uji Statistik t)
• Untuk menginterpretasikan koefisien parameter variabel independent
dapat menggunakan UNSTANDARDIZED COEFFICIENTS maupun
STANDARDIZED COEFFICIENTS.
• Unstandardized Beta Coefficients
• Dari ketiga variabel independent yang dimasukkan ke dalam model
ternyata hanya dua variabel (OUT dan ATTIC) yang signifikan pada
alpha 0.05.
• Hal ini terlihat dari nilai probabilitas siginifikansi OUT dan ATTIC lebih
kecil dari 0.05.
• Jadi persamaan matematis:
• HEAT = 427.194 – 4.583(OUT) – 14.831(ATTIC) + 6.101(AGE)
• Perlu dilakukan regresi ulang tanpa memasukkan faktor AGE
UJI SIGNIFIKANSI PARAMETER
INDIVIDUAL (Uji Statistik t)
• Standardized Beta Coefficients
• Keuntungan menggunakan standardized beta adalah mampu
mengeliminasi perbedaan unit ukuran pada variabel independen.
• Jika ukuran variabel independen tidak sama (misalkan: Rupiah, Dollar,
jam, hari, rasio, dsb) dan ingin membandingkan kontribusi antar
variabel independen, maka sebaiknya interpretasi persamaan regresi
menggunakan standardized beta.
• Koefisien beta digunakan untuk melihat pentingnya masing-masing
variabel independent secara relative dan tidak ada multikolinearitas
antar variabel independen
• Jadi persamaan matematis:
• HEAT = -0.754(OUT) – 0.347(ATTIC) + 0.193(AGE)
INTERPRETASI MODEL REGRESI
LINEAR BERGANDA
• Setelah estimasi model regresi linier berganda dan diuji
pemenuhan syaratnya (uji asumsi klasik) serta kelayakan
modelnya, maka tahap terakhir adalah
menginterpretasikannya.
• Interpretasi yang dilakukan terhadap koefisien regresi
meliputi 2 hal, yaitu tanda dan besaran.
TANDA
• Tanda menunjukkan arah hubungan. Tanda dapat bernilai positif
atau negative. Positif menunjukkan pengaruh yang searah antara
variabel dependen terhadap variabel independent, sedangkan
negative menunjukkan pengaruh yang berlawanan arah.
• Searah maksudnya adalah apabila variabel independent
mengalami peningkatan/bertambah, maka variabel dependen
akan mengalami hal yang sama, dan juga sebaliknya.
• Berlawanan arah maksudnya apabila variabel dependen
mengalami peningkatan/bertambah, maka variabel independent
akan mengalami hal yang sebaliknya, yaitu penurunan/berkurang.
BESARAN

• Besaran menjelaskan nominal slope persamaan regresi.

• Sebagai contoh:
• HEAT = 427.194 – 4.583(OUT) – 14.831(ATTIC) + 6.101(AGE)
• Koefisien OUT bernilai negatif, maka kenaikan temperature
luar sebesar 1 oF akan menurunkan Heating Cost sebesar
$4.583.
• Koefisien ATTIC bernilai negative, maka penambahan
lapisan insulasi sebesar 1 inch juga akan mengurangi
Heating Cost sebesar $14.831
Stepwise Regression
Output SPSS for Stepwise
Regression (1)
Output SPSS for Stepwise
Regression (2)
Output SPSS for Stepwise
Regression (3)
Output SPSS for Stepwise
Regression (4)