Data ware house     Pangkalan data adalah sekumpulan data mengenai sesuatu topic atau tujuan tertentu yang

memeyai hubungan logical diantara satu sama lain. Ia disimpan sebagai satu system simpanan data yang tersusun dalam bentuk elektronik bai memudahkan proses capaian oleh satu atau lebih cara penggunaan Contoh : system record pelajar – menyimpan sekumpulan data pribadi seterti nama, id, dll. Data warehouse merupakan summaray tapi ada juga yangmenginginkan DWH sebagai backup data organisasi

Sistem berasaskan file tradisional (SFT)    Merupakan distem yang dilaksanakan secara manual atau tradisi. Data dan maklumat disimpan di dalam dile-file kertas yang kemudian disimpan dalam cabinet-kabinet File yang disimpan adalah mengikuti urutan abjad dan nomor rujukan supaya pencarian file dapat diklakukan dengan sempurna Kaedah penyimpanan dinana data disimpan dalam file yang disimpan dalam disket dan segala aplikasi perlu ditulis. Pengelompokan data dapat dikelola secara elektronik, namun belum bias diakses oleh banyak user (tidak relational

Kelemahan SFT    Data tidak bersifat relational Format file yang berbeda-beda tidak boleh digabung atau dibandingkan dengan mudah. Contoh : file word dan excel Data duplikat file yang mempunyai data yang sama disimpan diperbagai tempat menyebabkan kesukaran mencari dan penggunaan storan yang banyak. Contoh : data di prodi tidak langsung bias diupdate ke pusat.

Kelebihan pangkalan data     Mengurangi berulangnya data yang tersimpan di tuang setoran, tenaga dan cost serta mengurangi data yang sama Relasi data – membenarkan berbagai pengguna mencapai kumpulan data yang dikehendaki dalam satu waktu yang sama. Mengamankan penggunaan pangkalan data kepada pengguna yang hanya diberikan otoritas (membatasi user  tidak serta merta setiap pengguna dapat hak akses yang sama) Sistem pengisian yang memperbolehkan pengguna mencari, menyaring, mengelola, mencipta dan menyelenggara pangkalan data.

Ukuran DBMS sangat besar dan memerlukan storan (media penyimpan) yang besar 3. Pengumpulan dan analisis keperluan data dalam rangka Reka bentuk pangkalan data Pemilihan system pengurusan pangkalan data Reka bentuk aplikasi Implementasi Penukaran dan pemuatan data/ konversi data Pengujian Pengelolaan Data Warehouse   Adalah relasional database yang didesain utnuk proses query dan analisa Meliputi : Extraction. Kelebihan menggunakan DBMS   Kumpulan data yang dikehendaki boleh dicapai dengan lebih pantas dan tepat Meminimumkan lempahan data. Didesain utnuk proses analisa data. 6. meningkatkan konsistensi data. transportation. Contoh :  Data warehouse vs OLTP (online transaction processing) . Aplikasi Pangkalan data Satu program yang berinteraksi dengan pangkalan data pada waktu eksekusi. online analytical processing (OLAP). 5. 4. Langkah-langkat dalam merancang pangkalan data 1. transformation. SPPD turut mengamankan pengambilan terhadap data dalam pangkalan data ada previllege. Biaya peralahan dan operasional sama ada dari system manual atau system file biasa kepada system pangkalan data agak tinggi. loading solution. 7. 8. 3. client analysis tools (bagaimana client menggunakan perangkat analisis utnuk data yang ada) dan aplikasi lain yang mengatur proses pegumpulan data dan mengirimkan ke business user. pengintegrasian dan pengkongsian dan mengurangkan penyelenggaraan program Keburukan menggunakan DBMS 1. 2. Semakin kompleks proses pembangunan akan member kesan kepada prestasi system 2.

Arsitektur data warehouse . (ratusah bahkan milyaran) cobtoh : total penjualan semua customer pada akhir bulan Menyimpan data sebagai history Typical operation Hanya mengakses record tertentu contoh: mencari data order utnuk customer tertentu Menyimpan data hanya beberapa minggu atau bulan Historical data Salah satu perbedaan utama adalah data warehouse tidak selalu dalam bentuk normal ketiga (3NF). sedangkan OLTP biasanya dalam bentuk normal ketiga (3NF).Item Workload Data Modification Schema Design OLTP Comples data strcture 3NF databases Hanya mendukung operasi tertentu User melakukan proses update secara rutin dan langsung Ternormalisasi penuh untuk meningkatkan proses udate/insert/delete dan meningkatkan konsistensi data DWH Multidimensional data structure Didesain untuk menampung query dalam jumlah yang besar Diupdate secara reguler Ternormalisasi secara sebagian bahkan dalam keadaan tidak ternormalisasi Contoh : data disimpan dalam satu tabel yang flat terdiri dari banyak filed dari banyak departemen untuk mempermudah pembuatan laporan. akan menyebabkan proses query. Kalau innerjoin terlalu dalam bahkan sampai tiga tingkat atau lebih. Menjalankan query yang memproses banyak baris.

Pada proses transfirm bisa berupa simple copy. Aplikasi Research Management dan lainlain maka DWH akan menyinpan data-data transaksi yang dibutuhkan dari aplikasi-aplikasi tersebut biasanya ke dalam satu database. Contoh : data yang ditentuka . Extracting data Proses ini membaca struktur data dan isinya dari sumber data. data staging harus disesuaikan. aplikasi sistem akademik. Load Merupakan proses terakhir yang melakukan penyimpanan data ke dalam target DWH. XML dan file delimiter Sumber data tidak hanya dari satu vendor database server. filter dan lain. Permasalahan yang ditemui    Sumber data yang akan diproses memiliki data ribuan bahkan jutaan record Smber data tidak hanya dari database.Misal : pada suatu universitas terdapat aplikasi Human Resource Manageent Information System (HRMIS). banyak cama yang berasal dari SMA yang tidak begitu bonafit. namun ada beberapa sumber data dari flat file seperti Excel. Tugas : Mencari ETL Tool kemudian Transform Menyesuaikan apa-apa saja yang akan di-load ke dalam target. aplikasi Asset Management. Contoh pada saat penerimaan mahasiswa. Dotnet. Pengelompokan data dari aplikasi-aplikasi tersebut dalam DWH disebut DATA MART   Perhatikan lokasi backup data – sehingga pada saat ada bencana data tetap aman Dipikirkan bentuk pencarian kembali Pemanfaatan DWH Pengolahan lebih lanjut DWH bisa untuk bussiness inteligence. Mysql. yang selanjutnya akan didefinisikan ke dalam sebuah skema ETL tool. dll. misalkan ada yang dari SQL server. Postgresql. sehingga perlu dicurigai kebenaran data masuknya Pengembangan DWH ETL Tool merupakan sebuah tool yang umum digunakan dalam pembuatan DWH. melakukan join dari sumber data lain. mengontrol Quality Data atau mencari Suspect Data dari transaksi yang dicurigai. melakukan agregasi. DLL. Java. sorting. hanya migrasi data ke dalam target yang mempyenyai skema sama dengan sumber data. sybase. Pengembangan aplikasi DWh : PHP.

Sehingga keakuratannya berbeda. semakin kompleks data akan semakin baik.  Mendukung pengolahan data seperti simple copy. filter. Untuk melihat kendala-kendala yang cukup bisa diperhatikan dalam mengelola data antar aplikasi Yang diperhatikanv : bagaimana proses ekstraksi dilakukan. Kalau bisa mewakili aplikasi yang cukup real sehingga permasalahanpermasalahan yang ditimbulkan juga agak real. Namun ada kendala perbedaan standar antara linux dan microsoft sehingga pada saat extraksi terjadi kesalahan  Dukungan GUI untuk membuat skema ETL  Beberaoa ETL disertakan dengan JOB Scheduler untuk proses otomatis.com Tugas : Membangun data ware house min. jika ada data yang bermasalah akan diflag/ditandai dan akan dilakukan updating data. Target tidak hanya menyimpan ke dalam suatu data base. filterm sorter.com  recommended by dosen Talend Open Studio for data Integration www. Kita ingin tahu sejauh mana aplikasi dapat dimanfaatkan untuk proses ETL.  sebagai integer. Dukungan yang dimiliki oleh ETL Tools  Mempunyai banyak dukungan terhadap sumber data.pentaho. bahkan  Dukungan target penyimpanan hampir sama pada dukungan terhadap sumber data. Diharapkan bisa dilakukan secara otomatis. bisa saja di format data base lain sebagai byte. sorting dan join. DWH berusaha menjembatani hal ini sehingga bisa mengambil data dari vendor database apapun. Aplikasi ETL Clover ETL (http://www. tapi harus melaui agregasi.  Selain database dapat juga mendukng pembacaan sumber data dari flat file seperti Excel.apatar. Selama ini masih dilakukan oleh seseorang. Minggu depan dipresentasikan. agregasi. Diinginkan sumber dan tujuan ada persis sama (kalau bisa) namun tentunya tidak semua bisa seperti yang diinginkan. . join. Lakukan uji coba salah satu aplikasi ETL tool tersebut dan terapkan ke salah satu kasus tertentu yang saudara inginkan Data base bisa dicreate data fiktif (kita bisa buat sendiri).talend.com Pentahi data integration kettle.cloveretl. namun akan juga membuat file XML juga untuk backup. hampir semu ETL Tool mendukung vendor2 database pupuler.com) Apatar www. Proses integrasi data tidak hanya melakukan simple copy. 3 tabel dengan jumlah record minimial 500 record dari data base organisasi dan flat file (ct : excel) .

Cara kedua. Dengan perkembangan data yang terus menerus. Antara sember data yang berbeda. on-line transaction records  Menerapkan pembersihan data dan teknik integrasi data  Memastikan konsistensi dalam konvensi penamaan. Secara explicit dengan unsur waktu dalam hari. . Unsur waktu akan tetap ada secara implisit di dalam data tersebut. Cara yng paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu. dsb. misalnya antara 5 s/d 10 tahun ke depan. ukuran atribut.  Ketika data tersebut akan dipindahkan ke gudang. bukan pada oerasional sehari-hari atau transaksi pemrosesan Menyediakan view sederhana dan ringkas dari permasalahan utama/tertentu dengan mengesualikan data yang tidak berguna dalam poses pendukung keputusan Bagaimana aplikasi menyajikan aplikasi cukup bermakna/bermanfaat. Jadi sangat tergantung pada orientasi pimpinan (subjek) atas kebutuhan data. penjualan   Berfokus pada pemodelan dan analisis data untuk pembuat keputusan. Teritegrasi / terpadu  Dibangun dengan mengintegrasikan beberapa sumber data heterogen. atau pertiga bulan. relational databases. suatu data bisa dikatakan tidak begitu stabil. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir bulan. mata uang. Snapshot merupakan tampilan dari sebagian data terentu sesuai keinginan pemaai dari keseluruhan data yang ada bersifat read-only. dengan menggunakan variasi/ perbedaan waktu yang disajikan dalam data warehouse baik implicit maupun explicit. bulan. produk. 3. namun tidak melaporkannnya sehingga tidak masuk ke sistem dan data statistik sistem juga tidak akan akurat. Cara ketiga. 2. Contoh : hotel price. Karena yang diinginkan adalah keseragaman. Untuk melihat keakuratan pada DWh. Time Variant Seluruh data pada warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. pajak.Ciri-ciri DWH Sebuah gudang data adalah sebuah koleksi data yang berorientasi subjek. flat files. variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. penyandian struktur. terintegrasi Sifat berorientasi subjek  Diorganisir sesuai dengan permasalahan utama. akan diubah. minggu. dapat digunakan beberapa cara yaitu : 1. sarapan tertutup. seperti pelanggan. Contoh di unud ada kasus bahwa ada dosen yang naik pangkat. dll. dsb. Di satu sisi mungkin ada beberapa hal yang tidak perlu diperhatikan atau dimunculkan.

Jadi ada pervalue yang diubah. Loading) meupakan aplikasi yang terpisah dari data Extraction      Data mentah yang berasal dari sistem informasi operasional/sistem Sumber biasanya ditulis/di-copy langsung ke dalam media penyimpanan /staging area dengan restrukturisasi seminimal mungkin. kemudian secara incremental disatukan dengan data sebelumnya (akumulasi).  Data yang baru selalu ditambahkan sebagai suplemen dari data base itu sendiri dari pada sebagai sebuah perubahan. Karena tidak ada balasan dari ATM bahwa uang sudah keluar. maksudnya data pada data warehouse tidak di-update secara real time tetapi di-refresh dari sistem operasional secara reguler. Misalnya melakukan proses seleksi dari data yang mengandung nilai null. Beberapa hal penting yang sering dilakukan dalam transformasi ini dan menjamin data yang akan dioleh sudah bersih dari data yang dianggap sampah atau tidak perlu adalah cleaning dan conforming. Adakalanya sistem sumber yang berbasis struktur seperti pada mesin-mesin dbms ditulis dalam bentuk flat file atau dalam tabel relational pada staging area-nya Hal ini memungkinkan extraction mejadi sesederhana dan secepat mungkin utntuk diolah Disamping juga untuk flexibilitas yang bagus utnuk melakukan restart jika terjadi gangguan pada saat ekstraksi berlangsung. pihak bank sudah tahu bahwa ada kegagalan transaksi di titik n (ada layar pantaunya). Di perbankan. semua ada log-nya. tiba-tiba jaringan putus. transformation. Kemudian proses menterjemakan kode seperti pada data mentah ditulis jenis kelamin 1 akan diubah menjadi laki2 dan 2 diubah menjadi perempuan. Begitu kita masukkan kartu ke atm dam memasukkan pin. Jika data ditemukan nilai null. Atau ketika kita cek saldo. 2004)  . Transformation  Perubahan sekecil apapun yang dilakukan pada data mentah hasil ekstraksi adalah transformasi. Dia bisa berubah secara terus menerus. Kedua proses ini merupakan proses penting yang wajib dilakukan jika data dianggap belum bersih (Kimball. maka data akan dihapus.NON Volatile  Karakteristik ke-empat dari data warehouse adalah non-volatile. Database tersebut secara kontinyu menyerap data baru ini. maka data bisa dikembalikan. dan kita ambil data. sehingga sistemnya cukup stabil. Ada kalanya waktu setor tunai dan gagal. hampir setiap transaksi itu dipantau. ETL dalam data warehouse ETL (extraction.

tingkat kualitas data pada sistem-sistem sumber berbeda-beda Kualitas data sistem sumber ini juga berbeda dengan kualitas data yang dibutuhkan pada dwh itu sendiri. perusahaan tidak menganggap data itu adalah data penting. Bertolaj dari hal tersebut maka pengolahan data dapat melibatkan banyak proses2 terpisah antara lain memeriksa nilai2 yang valid. membuang duplikasi atau redundansi dari data. Keranjang belanja merupakan tabel dummy yang dibuat yang hanya akan mengakses tabel master (besar) pada saat transaksi benar-benar berhasil dilakukan (sehingga tidak langsung mengakses tabel – sismtem akan berrat diakses jutaan orang scr onlie) dan akan mempermudah proses cleaning) Conforming Data yang telah bersih akan dicek lagi sebelum dilakukan proses berikutnya Proses loading      Dikenal juga sebagai proses dilivering dimana data asil transformasi siap utnuk dimasukkan ke dalam data warehouse itu sendiri. maka kita diminta untuk memasukkan data order ke keranjang belanja. Pembentukan struktur tabel dari data yang akan di-loading merupakan tugas dari designer dari dwh itu sendiri.Cleaning    Dalam kebanyakan kasus. Contoh lg pada saat membeli sesuatu secara online. Loading merupakan langkah akhir dan penting dalam menjamin ketersediaan data dalam dwh Data hasil proses loading ini siap di-query. memastikan konsistensi dari nilai2 tersebut. dan koneksi tiba-tiba putus. toh order belum tentu konfirm dan user akan mengulang order lagi. . Order sebelumnya akan menjadi sampah. Contoh pada saat transaksi online pemesanan tiket pesawat. Diharapkan skema yang diunakan bisa secara signifikan mengurangi waktu query dan dapat menyederhanakan dalam pembangunan aplikasi.

Sign up to vote on this title
UsefulNot useful