1

IMPLEMENTASI DAN ANALISIS VPN PROTOCOL IPSec (INTERNET

PROTOCOL SECURITY) BESERTA VPN PROTOKOL SSL (SECURE SOCKET
LAYER)
Ruri Ramadhan Aprinaldi
1
, Setyorini, ST., MT.
2
, Vera Suryani, ST., MT.
3

1
Fakultas Informatika,
2,3
Fakultas Informatika Institut Teknologi Telkom
1
ruri.ramadhan@gmail.com,
2
srn@ittelkom.ac.id,
3
vra@ittelkom.ac.id


Abstrak
Untuk mengatasi masalah keamanan dalam komunikasi data pada jaringan umum (internet) maka
lahirlah Virtual Private Network (VPN). Didalam VPN terdapat perpaduan teknologi tunneling dan
enkripsi yang membuat VPN menjadi teknologi yang handal untuk mengatasi permasalahan keamanan
jaringan. Selain keamanan jaringan, dilakukan pula pengujian Quality of Service(QoS) sebagai suatu
pengukuran tentang seberapa baik jaringan VPN tersebut. Protokol IPSec (I nternet Protocol Security)
digunakan sebagai protokol yang dirancang pada implementasi site-to-site VPN. Sedangkan Protokol SSL
(Secure Socket Layer) digunakan sebagai protokol yang dirancang pada implementasi remote access VPN.
Berdasarkan hasil analisis QoS, VPN IPSec sangat ideal untuk organisasi yang memiliki jumlah remote
user yang relatif kecil dan juga organisasi dapat mengontrol tiap user. Untuk kondisi sebaliknya, maka
VPN SSL menjadi solusi yang lebih baik. Sedangkan hasil keamanan jaringan, baik VPN IPSec maupun
VPN SSL memiliki tingkat keamanan jaringan yang baik karena didukung teknologi tunneling dan
enkripsi yang sama baiknya.

Kata kunci : virtual private network, keamanan jaringan, quality of service, internet protocol security, secure
socket layer

Abstract
To solve the security issues in data communication on public network (Internet) is born a Virtual Private
Network (VPN). Inside there is a combination of technology VPN tunneling and encryption to create a
VPN to be a reliable technology to solve network security problems. In addition to network security, also
conducted testing of Quality of Service (QoS) as a measure of how well the network VPN. Protocols of
IPSec (I nternet Protocol Security) is used as the implementation of protocols designed site-to-site VPN.
While the SSL protocol (Secure Socket Layer) protocol is used as designed in the implementation of
remote access VPN. Based on the analysis of QoS, IPSec VPN is ideal for organizations that have a
number of remote users that are relatively small and can control each user organization. To the opposite,
then the SSL VPN to be a better solution. While the results of network security, both IPSec VPN and SSL
VPN has a good level of network security for tunneling and encryption technology supported equally well.

Keywords: virtual private network, network security, quality of service, internet protocol security, secure
socket layer

1. Pendahuluan
Internet merupakan sebuah jaringan global dan
terbuka, dimana setiap pengguna dapat saling
berkomunikasi dan bertukar informasi. Seiring
dengan maraknya penggunaan Internet, banyak
perusahaan yang kemudian beralih menggunakan
internet sebagai bagian dari jaringan mereka untuk
menghemat biaya. Akan tetapi permasalahan
keamanan masih menjadi faktor utama.
Untuk mengatasi masalah keamanan dalam
komunikasi data pada jaringan umum maka lahirlah
Virtual Private Network. Secara umum VPN
merupakan suatu jaringan komunikasi lokal yang
terhubung melalui media jaringan publik. Didalam
VPN terdapat perpaduan teknologi tunneling dan
enkripsi yang membuat VPN menjadi teknologi
yang handal untuk mengatasi permasalahan
keamanan didalam jaringan.
Pada VPN terdapat beberapa protokol yang
paling umum digunakan, yaitu Point to Point
Tunneling Protocol (PPTP), Secure Socket
Layer/Transport Layer Security (SSL/TLS), Layer 2
Tunneling Protocol (L2TP), Cryptographic IP
Encapsulation (CIPE), Generic Routing
Encapsulation (GRE), dan Internet Protocol Security
(IPSec). Protokol-protokol tersebut memiliki
karakteristik yang berbeda-beda.
2. Landasan Teori
2.1 Virtual Private Network (VPN)
Virtual Private Network (VPN) adalah sebuah
teknologi komunikasi yang memungkinkan
pengguna untuk dapat terkoneksi ke jaringan publik
2
dan menggunakannya untuk dapat bergabung
dengan jaringan local [2]. VPN dapat dibentuk
dengan menggunakan teknologi tunneling dan
enkripsi. Konkesi VPN juga dapat terjadi pada
semual layer pada protocol OSI, sehingga
komunikasi menggunakan VPN dapat digunakan
untuk berbagai keperluan.
2.2 Internet Protocol Security
Arsitektur IPSec menggunakan dua protokol
untuk menyediakan keamanan, yaitu AH
(Authentication Header) dan ESP (Encapsulating
Security Payload) [2]. AH menyediakan servis data
integrity dan origin authentication tanpa data
confidentiality, sedangkan ESP menyediakan
layanan data confidentiality dan layanan lainnya
namun hanya bersifat opsional. AH dan ESP
mendukung dua mode yang dapat digunakan, yaitu:
mode transport dan mode tunnel. Mode transport
menyediakan pengamanan terutama untuk protokol
layer yang lebih tinggi, sedangkan mode tunnel
mengamankan keseluruhan datagram IP.
2.3 Secure Socket Layer
Secure Socket Layer (SSL) adalah protokol
yang digunakan untuk berkomunikasi lewat internet
secara aman. Teknologi SSL menggunakan konsep
teknologi kriptografi kunci publik untuk bisa
mencapai komunikasi yang aman antar server dan
client [8]. Kedua pihak yang berkomunikasi ini
(server dan client) saling mengirimkan data yang
disamarkan dan untuk membacanya digunakan sandi
dan kunci yang dimiliki kedua pihak yang
berkomunikasi tersebut.
2.4 Arsitektur Gateway-to-Gateway
Pada arsitektur ini, traffic antara dua jaringan
yang membutuhkan keamanan melalui koneksi VPN
yang telah dibangun antara dua gateway VPN.
Gateway VPN adalah sebuah device yang
melakukan fungsi VPN, atau bagian dari device lain
dari jaringan seperti firewall atau router. [6]

Gambar 2.1 Arsitektur Gateway-to-Gateway [6]
2.5 Arsitektur Host-to-Gateway
Model arsitektur ini paing banyak digunakan
untuk remote access yang aman. Masing-masing
user remote membangun sebuah koneksi VPN antara
komputer lokal dengan gateway VPN. [6]

Gambar 2.2 Arsitektur Host-to-Gateway [6]
2.6 Arsitektur Host-to-Host
Arsitektur host-to-host merupakan arsitektur
VPN yng paling jarang digunakan. Biasanya
digunakan hanya untuk keperluan tertentu seperti
administrator sistem yang akan melakukan
manajemen remote dari sebuah server. [6]

Gambar 2.3 Arsitektur Host-to-Host [6]

3. Perancangan Sistem
3.1 Arsitektur Simulasi Site-to-Site VPN IPSec
Dalam simulasi sistem site-to-site VPN IPSec
akan dilakukan melalui jaringan LAN, dan adapun
desain arsitektur jaringan yang digunakan adalah
sebagai berikut:

Gambar 3.1 Desain Arsitektur Simulasi Site-to-Site
VPN IPSec
Terdapat pembagian alokasi IP address yang
akan digunakan pada saat simulasi. Pada server VPN
telah dilakukan konfigurasi DHCP, sehingga IP
Address client akan bersifat dinamis.
Tabel 3.1 Alokasi IP Address Untuk Router
Device IP Address Interface
10.5.26.1 Lokal
10.14.211.121 Publik
Laptop Sebagai VPN Client 172.16.64.XXX Lokal
PC Sebagai VPN Router

Tabel 3.2 Alokasi IP Address Untuk Server VPN
dan File Server
Device IP Address Interface
10.5.25.1 Lokal
10.14.211.120 Publik
Laptop Sebagai FTP Server dan Web Server 172.16.64.50 Lokal
PC Sebagai VPN Server+Router

3.2 Konfigurasi Sistem Site-to-Site VPN IPSec
Konfigurasi VPN server, router, dan client
adalah tahap dimana dilakukannya pengaturan-
pengaturan parameter yang terdapat pada sebuah
perangkat lunak. Adapun parameter-parameter yang
akan kita setting pada komputer server, router, dan
client adalah :
1. Komputer yang digunakan sebagai server VPN
dan router.
Tahapan konfigurasi yang harus di lakukan
dalam tahap perancangan server adalah:
a. Tahap Instalasi mikrotik, mikrotik diinstal
melalui VirtualBox.
b. Tahap konfigurasi IP Pool.
c. Tahap konfigurasi PPP sebagai server VPN.
d. Tahap konfigurasi DHCP server.
e. Tahap konfigurasi firewall NAT Masquerade
dan NAT bypass.
f. Tahap konfigurasi IP Security.
2. Komputer yang digunakan sebagai router.
Tahapan konfigurasi yang harus di lakukan
dalam tahap perancangan server adalah:
3
a. Tahap Instalasi mikrotik, mikrotik diinstal
melalui VirtualBox.
b. Tahap konfigurasi IP Pool.
c. Tahap konfigurasi DHCP server.
d. Tahap konfigurasi firewall NAT Masquerade
dan NAT bypass.
e. Tahap konfigurasi IP security.
3. Komputer client VPN
Dalam membuat setting Mikrotik VPN Client,
tahapan-tahapan yang akan kita lakukan yaitu :
a. Tahap konfigurasi akses VPN.
b. Tahap Connecting VPN.
3.3 Arsitektur Simulasi Remote Access VPN
SSL
Dalam simulasi sistem remote access VPN
SSL akan dilakukan melalui jaringan LAN, dan
adapun desain arsitektur jaringan yang digunakan
adalah sebagai berikut:

Gambar 3.2 Desain Arsitektur Simulasi Remote
Access VPN SSL
Pada VPN server akan diberikan alamat IP
10.5.25.1, sedangkan client akan dialokasikan
alamat IP 172.16.64.XXX, sehingga akan
menghasilkan alamat IP lengkap sebagai berikut:
Tabel 3.3 Alokasi IP Address VPN SSL
Device IP Address Interface
10.5.25.1 Lokal
10.14.211.120 Publik
Server 172.16.64.50 Lokal
Client 172.16.64.XXX Lokal
VPN Server

3.4 Konfigurasi Sistem Remote Access VPN
SSL
Konfigurasi VPN server dan client adalah
tahap dimana dilakukannya pengaturan-pengaturan
parameter yang terdapat pada sebuah perangkat
lunak. Adapun langkah-langkah yang akan kita
setting pada komputer server dan client adalah :
1. Komputer yang digunakan sebagai server VPN
dan router.
Tahapan konfigurasi yang harus di lakukan
dalam tahap perancangan server adalah:
a. Tahap Instalasi mikrotik, mikrotik diinstal
melalui VirtualBox.
b. Tahap konfigurasi IP Pool.
c. Tahap konfigurasi PPP sebagai server
VPN.
d. Tahap konfigurasi DHCP server.
e. Tahap konfigurasi firewall NAT
Masquerade dan NAT bypass.
f. Tahap konfigurasi SSL.
2. Komputer client VPN
Dalam membuat setting Mikrotik VPN Client,
tahapan-tahapan yang akan kita lakukan yaitu :
a. Tahap konfigurasi akses VPN.
b. Tahap Connecting VPN.
4. Analisis Pengujian
4.1 Perbandingan Kinerja VPN IPSec Dengan
VPN SSL
Dibawah ini akan diberikan tabel yang akan
memperlihatkan perbandingan kinerja antara VPN
IPSec dan VPN SSL dengan parameter bandwidth,
jitter, dan packet loss.
Tabel 4.1 Perbandingan Kinerja VPN IPSec Dengan
VPN SSL
Jenis Kondisi Jumlah Rata-rata Rata-rata Rata-rata
Implementasi Pengujian Client Bandwidth Jiiter Packet Loss
VPN (Mbits/sec) (ms) (%)
Pertama 2 Client 8,95 2,63 0,12
Kedua 10 Client 7,12 4,72 1,44
Pertama 2 Client 9,93 2,608 0,037
Kedua 10 Client 9,81 2,614 0,078
No.
1.
2.
Site-to-Site VPN IPSec
Remote Access VPN SSL

Berdasarkan tabel, dapat kita lihat hasil
perbandingan antara VPN IPSec dengan VPN SSL
pada kondisi 2 client. Nilai bandwidth pada VPN
SSL sebesar 9,93 Mbits/sec lebih besar
dibandingkan VPN IPSec. Nilai jitter pada VPN
IPSec sebesar 2,63 ms lebih besar dibandingkan
VPN SSL. Nilai packet loss pada VPN IPSec
sebesar 0,12% lebih besar dibandingkan VPN SSL.
Berdasarkan tabel, dapat kita lihat hasil
perbandingan antara VPN Ipsec dengan VPN SSL
pada kondisi 10 client. Nilai bandwidth pada VPN
SSL sebesar 9,81 Mbits/sec lebih besar
dibandingkan VPN IPSec. Nilai jitter pada VPN
IPSec sebesar 4,72 ms lebih besar dibandingkan
VPN SSL. Nilai packet loss pada VPN IPSec
sebesar 1,44% lebih besar dibandingkan VPN SSL.
Bila dibandingkan dengan VPN IPSec, pada
VPN SSL baik kondisi dengan 2 buah user client
ataupun dengan kondisi 10 buah user client memiliki
kualitas yang lebih stabil pada hasil parameter uji
kinerja. Bisa kita lihat tidak ada peningkatan trafik
yang menyebabkan penyempitan bandwidth dan
tidak adanya peningkatan jumlah data lost yang
terjadi ditiap kondisinya. Tiap-tiap user client
mendapatkan kualitas jaringan yang baik dan stabil
meskipun ada penambahan user client.
4.2 Perbandingan PPP VPN IPSec Dengan VPN
SSL
Dibawah ini merupakan tabel perbandingan
proses handshake time pada jaringan VPN yang
menggunakan PPP dengan jaringan VPN yang tidak
menggunakan PPP.
Tabel 4.2 Perbandingan Handshake Time
Mode Handshake Total Waktu
Time Tranfer Data
(ms) (ms)
VPN IPSec tanpa PPP 98 198
VPN IPSec menggunakan PPP 171 371
VPN SSL tanpa PPP 45 145
VPN SSL menggunakan PPP 79 179

4
Dari hasil tabel diatas dapat dianalisa bahwa
terdapat perbedaan lamanya waktu dalam tiap proses
handshake dan proses transfer data. Baik VPN IPSec
maupun VPN SSL yang tanpa PPP memiliki waktu
proses yang lebih cepat dibandingkan VPN IPSec
dan VPN SSL. Hal ini tentu saja dikarenakan VPN
yang menggunakan PPP memiliki tahap-tahap cara
kerja dan proses yang tidak terjadi pada VPN tanpa
PPP. Peningkatan handshake time antara VPN IPSec
yang tanpa PPP dengan yang menggunakan PPP
sebesar 75%. Begitu pula pada handshake time
antara VPN SSL yang tanpa PPP dengan yang
menggunakan PPP peningkatannya adalah sebesar
75%.
Meskipun VPN yang menggunakan PPP
memiliki proses waktu yang lebih lama, namun VPN
ini memiliki keunggulan dari segi keamanan data
yang ditransferkan. Hal ini dikarenakan PPP
memiliki tahap-tahap cara kerja yaitu, notifikasi
alamat IP address, lalu password authentication
protokol, dan link pemeriksaan operasi agar data
yang ditransferkan berjalan dengan benar. Dengan
hal itu semua dapat disimpulkan VPN dengan tahap
konfigurasi PPP relatif lebih aman dalam segi
keamanan data.
4.3 Perbandingan Overhead Size VPN IPSec
Dengan VPN SSL
Dibawah ini merupakan tabel perbandingan
nilai overhead size pada IPSec dengan SSL.
Tabel 4.3 Perbandingan Overhead Size
Ukuran Byte Total Byte Keseluruhan Data
(bytes) (Kbytes)
IPSec 45 1170,111
SSL 22 1170,088
Protokol

Dari hasil tabel diatas dapat dianalisa bahwa
terdapat perbedaan nilai byte overhead size antara
protokol IPSec dengan protokol SSL. Nilai overhead
size IPSec adalah 45 bytes sedangkan SSL adalah 22
bytes. Itu berarti perbedaan overhead size antara
IPSec dengan SSL adalah sebesar 100%.
Nilai 1170,111 Kbytes pada IPSec dan
1170,088 Kbytes pada SSL merupakan total nilai
keseluruhan data setelah ditambah dengan nilai
overhead size, nilai padding bytes, dan panjang pad.
Dengan hal itu semua dapat disimpulkan bahwa
protokol SSL membutuhkan dan memiliki nilai
overhead size yang lebih sedikit dan lebih kecil
dibandingkan protokol IPSec.
5. Penutup
5.1 Kesimpulan
1. Konektivitas dan akses web server dalam
pengujian fungsionalitas beserta throughput,
bandwidth, jitter, dan packet loss dalam
pengujian kinerja menjadi karakteristik dan
parameter dalam pengujian VPN IPSec dan
VPN SSL.
2. VPN IPSec sangat ideal untuk organisasi yang
memiliki jumlah remote user yang relatif kecil
dan juga organisasi dapat mengontrol masing-
masing user. Sedangkan untuk kondisi
sebaliknya, maka VPN SSL menjadi solusi
yang lebih baik.
3. Service-service seperti Web Server, FTP
Server, DNS Server, dan server-server lainnya,
dapat berjalan dengan baik dalam lingkungan
remote access VPN SSL maupun site-to-site
VPN IPSec.
5.2 Saran
1. Untuk manajemen user sebaiknya digunakan
Server Radius.
2. VPN IPSec server dan VPN SSL server yang
digunakan sebaiknya menggunakan mikrotik
RouterOS versi terbaru.
3. Untuk pengembangan lebih lanjut, perlu
dilakukan analisis detail terhadap mekanisme
pengujian keamanan remote access VPN, serta
perbandingan protokol keamanan yang
digunakan dalam lingkungan VPN.
Referensi
[1] Alshamsi, Abdel Nasir. & Saito, Takamichi.
2000. A Technical Comparison of IPSec and
SSL. Japan: Tokyo University of Technology.
[2] Doraswamy, Naganand. & Harkins, Dan. 2003.
IPSec: The New Security Standard for the
Internet, Intranets, and Virtual Private
Networks, Second Edition. United State
America: Prentice-Hall, Inc.
[3] Ferguson, Niels. & Schneier, Bruce. 2000. A
Cryptographic Evaliation of IPSec.
Counterpane Internet Security.
[4] Frankel, Sheila. & Hoffman, Paul. & Orebaugh,
Angela. & Park, Richard. 2008. Guide to SSL
VPNs. United State America: National Institute
of Standars and Technology.
[5] Frankel, Sheila. & Kent, Karen. & Lewkowski,
Ryan. & Orebaugh, Angela. Ritcheu, Ronald. &
Sharma, Steven. 2005. Guide to IPSec VPNs.
United State America: National Institute of
Standars and Technology.
[6] Majid, Nurkholis. 2005. Perbandingan SSL
(Secure Socket Layer) Dan IPSec (Internet
Protocol Security) Pada VPN (Virtual Private
Network). Bandung: Institut Teknologi
Bandung.
[7] Peterson. Larry L. & Davie, Bruce S. 2003.
Computer Networks, 3e. United State America:
Morgan Kaufmann Publishers.
[8] Scott, Charlie. & Wolfe, Paul. & Erwin, Mike.
1999. Virtual Private Networks, 2e. United
State America: OReilly & Associates, Inc.
[9] Steinberg, Joseph. & Speed, Timothy. 2005.
SSL VPN: Understanding, evaluating, and
planning secure, web-based remote access.
United Kingdom: Packt Publishing Ltd.
[10] Wang, Zheng. 2001. Internet QoS:
Architectures and Mechanisms. United State
America: Morgan Kaufmann Publishers.