Mengenal RapidMiner

Bowo Prasetyo
http://www.scribd.com/prazjp http://www.slideshare.net/bowoprasetyo

Tool Open Source untuk Data Mining

Rabu, 2 Agustus 2011

RapidMiner

Sebuah lingkungan untuk machine learning, data mining, text mining dan predictive analytics. Machine learning

Algoritma di mana perilaku komputer ber-evolusi berdasarkan data empiris, seperti sensor atau database. Proses mengekstrak pola-pola dari data set yang besar dengan mengombinasikan metoda statistika, kecerdasan buatan dan database.

Data mining

RapidMiner

Text mining

Mirip dengan text analytics, yaitu proses untuk mendapatkan informasi bermutu tinggi dari teks. Teknik-teknik statistika yang menganalisa fakta masa kini dan masa lalu untuk memprediksi kejadian di masa depan.

Predictive analytics

RapidMiner

Open source berlisensi AGPL (GNU Affero General Public License) versi 3. Dimulai pada 2001 oleh Ralf Klinkenberg, Ingo Mierswa, dan Simon Fischer di Artificial Intelligence Unit dari University of Dortmund. Di-host oleh SourceForge sejak 2004. Peringkat satu sebagai tool data mining untuk proyek nyata pada poll oleh KDnuggets, sebuah koran data-mining, pada 2010-2011.

RapidMiner

Menyediakan prosedur data mining dan machine learning termasuk: ETL (extraction, transformation, loading), data preprocessing, visualisasi, modelling dan evaluasi. Proses data mining tersusun atas operatoroperator yang nestable, dideskripsikan dengan XML, dan dibuat dengan GUI. Ditulis dalam bahasa pemrograman Java. Mengintegrasikan proyek data mining Weka dan statistika R.

Instalasi

Sistem Microsoft Windows

Download file installer rapidminer-XXX-install.exe di http://rapid-i.com/content/view/26/84/. Double-click file installer dan ikuti instruksinya. Install Java versi 1.5 atau lebih. Download dan ekstrak arsip zip Java binary. Definisikan RAPIDMINER_HOME. Run dengan scripts/RapidMinerGUI.

Sistem lain

Terminologi Dasar

Atribut dan atribut target

Atribut: karakteristik atau fitur dari data yang menggambarkan sebuah proses atau situasi.

ID, atribut biasa.

Atribut target: atribut yang menjadi tujuan untuk diisi oleh proses data mining.

Label, cluster, weight.

Peran atribut (attribute role)

Label, cluster, weight, ID, biasa

Terminologi Dasar

Tipe nilai (value type)

nominal: nilai secara kategori numeric: nilai numerik secara umum integer: bilangan bulat real: bilangan nyata text: teks bebas tanpa struktur binominal: nominal dua nilai polynominal: nominal lebih dari dua nilai date_time: tanggal dan waktu date: hanya tanggal time: hanya waktu

Terminologi Dasar

Data dan metadata

Data menyebutkan obyek-obyek dari sebuah konsep.

Ditunjukkan sebagai baris dari tabel.

Metadata menggambarkan karakteristik dari konsep tersebut.

Ditunjukkan sebagai kolom dari tabel.

Modelling

Penggunaan metoda data mining terhadap data. Hasilnya disebut model.

Desain Proses Analisa

Fleksibilitas dan fungsionalitas

Sangat fleksibel untuk mendefinisikan proses analisa secara visual dengan GUI. Meliputi lebih dari 500 fungsionalitas data mining dalam bentuk operator-operator. Mulai versi 4.6 ~ .. fokus utama pada skalabilitas untuk data ukuran besar. Konsep view untuk data mirip seperti database. Transformasi data on-the-fly tanpa copy. 100 juta data set bukanlah data yang besar.

Skalabilitas

Desain Proses Analisa

Format data

Terhubung sangat baik dengan berbagai sumber data: Oracle, IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, Ingres, Excel, Access, SPSS, CSV files dan berbagai format lain. Bersama-sama dengan operator-operator untuk data preprocessing, bisa digunakan juga sebagai tool ETL (extraction, transformation, loading) dengan hasil yang menakjubkan.

Repositori Pertama

Menjalankan RapidMiner untuk pertama kali, akan menanyakan pembuatan repositori baru.

Repositori ini berfungsi sebagai lokasi penyimpanan terpusat untuk data dan proses analisa kita.

Perspektif dan View

Sebuah perspektif berisi pilihan elemen-elemen GUI, yang disebut view, yang dapat dikonfigurasi secara bebas.

Elemen-elemen ini dapat diatur bagaimanapun juga sesuka kita. Perspektif selamat datang (welcome perspective). Perspektif desain (design perspective). Perspektif hasil (result perspective).

Tiga perspektif:

Perspektif dan View

Perspektif Desain

Perspektif pusat di mana semua proses analisa dibuat dan dimanage. Pindah ke perspektif desain dengan:

Klik tombol paling kiri. Atau gunakan menu View Perspectives Design. Operators, Repositories, Process, Parameters, Help, Comment, Overview, Problems, Log

View:

Perspektif Desain

View Operator

Semua tahapan kerja (operator) ditampilkan di sini secara berkelompok, dan bisa diikutsertakan di dalam proses analisa.

View Operator

Process control

Untuk mengontrol aliran proses, seperti loop atau conditional branch. Untuk mengelompokkan subprocess, juga macro dan logger. Untuk membaca dan menulis repositori.

Utility

Repository Access

View Operator

Import

Untuk membaca data dari berbagai format eksternal. Untuk menulis data ke berbagai format eksternal. Untuk transformasi data dan metadata.

Export

Data Transformation

View Operator

Modelling

Untuk proses data mining yang sesungguhnya seperti klasifikasi, regresi, clustering, aturan asosiasi dll. Untuk menghitung kualitas dari modelling.

Evaluation

View Operator

View Repositori

Komponen pusat yang menyediakan servis untuk manajemen dan pen-strukturan proses analisa, baik data, metadata, proses maupun hasil.

View Proses

Menampilkan tahap-tahap individual operator di dalam proses analisa dan juga interkoneksi di antara mereka.

View Proses

View Parameter

Operator-operator mungkin memerlukan parameter untuk bisa berfungsi. Setelah sebuah operator dipilih di view Proses, parameternya ditampilkan di view ini.

View Parameter

View Help dan Comment

View Help menampilkan deskripsi dari operator. View Comment menampilkan komentar yang dapat diedit terhadap operator.

View Help dan Comment

View Overview

Menampilkan seluruh area kerja dan menyorot seksi yang ditampilkan saat ini dengan sebuah kotak kecil.

View Overview

View Problem

Menampilkan setiap pesan warning dan error.

View Log

Menampilkan pesan log selama melakukan desain dan eksekusi proses.

View Problem dan Log

Operator dan Proses

Proses data mining pada dasarnya adalah mendefinisikan proses analisa dengan menyatakan urutan tahap kerja individual. Komponen dari proses ini disebut operator, yang didefinisikan dengan:

Deskripsi input. Deskripsi output. Aksi yang dilakukan. Parameter yang diperlukan.

Operator dan Proses

Sebuah operator bisa disambungkan melalui port masukan (kiri) dan port keluaran (kanan). Indikator status dari operator:

Lampu status: merah (tak tersambung), kuning (lengkap tetapi belum dijalankan), hijau (sudah behasil dijalankan). Segitiga warning: bila ada pesan status. Breakpoint: bila ada breakpoint sebelum/sesudahnya. Comment: bila ada komentar. Subprocess: bila mempunyai subprocess.

Operator dan Proses

Sebuah proses analisa yang terdiri dari beberapa operator.

Warna aliran data menunjukkan tipe obyek yang dilewatkan.

Membuat Proses Baru

Pilih menu File New

Pilih repositori dan lokasi, lalu beri nama.

Struktur Repositori

Repositori terstruktur ke dalam proyek-proyek. Masing-masing proyek terstruktur lagi ke dalam data, processes, dan results.

Proses Analisa Pertama

Proses Analisa Pertama

Generate Sales Data proses sangat sederhana, yang hanya men-generate data.

Transformasi Metadata

Metadata dari terminal output.

Transformasi Metadata

Generate Attributes men-generate atribut baru.

Transformasi Metadata

Parameter dari operator Generate Attributes.

Transformasi Metadata

Menghitung atribut baru total price sebagai perkalian dari amount dan single price.

Transformasi Metadata

Transformasi Metadata

Select Attributes untuk memilih subset dari atribut.

Transformasi Metadata

Parameter untuk operator Select Attributes.

Transformasi Metadata

Atribut individu maupun subset bisa dipilih atau dihapus.

Menjalankan Proses

Proses dapat dijalankan dengan:

Menekan tombol Play. Memilih menu Process Run. Menekan kunci F11.

Melihat Hasil

Referensi

Wikipedia, http://en.wikipedia.org/wiki/RapidMiner RapidMiner Installation Guide, http://rapid-i.com/content/view/17/40/ RapidMiner 5.0 Manual, Rapid-I, 2010, http://www.rapid-i.com