Pembangunan Sistem Pakar

ES vs SE Siklus Hidup Sistem Pakar berbasis Web

ES vs SE
ES untuk persoalan dunia nyata Kebutuhan: ES berkualitas sesuai standar SW konvensional SE: metodologi standar pengembangan SW untuk komersial, industri, pemerintah Beda ES dan SE (consumer product):
Efektifitas, efisiensi, dan satisfaction Critical application (performansi pakar)

Produk SE
On-time Cost-effective Validated-verified, and tested Well documented Easily maintanable and enhanceable

SW Quality Metrics

Ukuran Kualitas ES
Input benar output benar, output lengkap Input beberapa kali output konsisten Reliable, accurate, precise Usable and user friendly Maintainable and enhanceable Validated to user needs Verified knowledge base Tested for correctness and completeness Cost effective Code: reusable, understanable, portable Explanation facility

Tahapan Proses Pembangunan SW

Dunia nyata

Model konseptual

Model dunia nyata SE: DFD, DBS: CDM, KBS: model pengetahuan

Model struktur SW

DBS: Logical data model, KBS: struktur basis pengetahuan

Model Implementasi

SE: kode program, DBS: PDM KBS: kode pengetahuan

Tahapan Umum Pembangunan ES (high level view)

Studi kelayakan Rapid prototype - test - test Sistem Kualitas Maintenance & Evolusi

ES Dev.: Spiral Model

ES Dev.: Linear Model

Planning Source identification and selection Knowledge acquisition, analysis, and extraction Definition Detailed Design Work plan Knowledge Definition Knowledge Design Knowledge Verification
(1) Feasibility assessment (2) Resource management (3) Task phasing (4) Schedules (5) Preliminary functional layout (what: high level functions) (6) High level requirements (how) 1. 2. 3. 4. 5. 6. 7. 8. Acquisition strategy Knowledge element identification Knowledge classification system Detailed functional layout Preliminary control flow Preliminary users manual Requirements specifications Knowledge baseline: correct, adequate

Knowledge review
1. 2. 3. 4. 5. Knowledge representation Detailed control structure Internal fact structure Preliminary user interface Initial test plan

Code and checkout Formal Test Test Analysis

KBS design review Test readiness review

1. 2. 3. 4. 5.

Design knowledge structure Implementation strategy Detailed user interface Design specifications and report Detailed test plan

Test audit review System evaluation Final review

1. 2. 3. 4.

Testing results evaluation Recommendations Validation to user needs and requirements Final report

Tahapan Tugas IF5031

Studi kelayakan: evaluasi domain Akuisisi pengetahuan: spesifikasi kebutuhan, elisitasi pengetahuan laporan 18 Maret 2008 Desain pengetahuan: representasi, struktur kontrol CLIPS, UI laporan 22 April 2008 Coding & test Evaluasi sistem presentasi 6 Mei 2008

Studi Kelayakan
Masalah dan resources solusi=SBP? Efektif ? Masalah:
Ada masalah perlu solusi? Sistem pakar cocok ? Sistem pakar dibutuhkan ?
Solusi terbaik ? Tersedia biaya besar ?

Resources
Tersedia good expert Dukungan manajemen

Good Expert
Cooperative
if an expert think that ES will put his job at risk, he will be uncooperative

Competent
KE difficult to judge if an expert is competent incompetent expert leads to non-optimal ES group of experts: may have different views

articulate (explainable)
able to explain how he solves problems

close/accessible

Tahap Spesifikasi Kebutuhan

Tahap spesifikasi kebutuhan secara umum (SE):
Menjelaskan objektif proyek dan cara mencapainya

Tahap spesifikasi kebutuhan untuk sistem pakar:

Masalah Output solusi what ES will do why ES is necessary Tujuan dan batasan Harapan pengguna Skenario pengujian sistem: kelengkapan

Mengapa Perlu Dokumen Spesifikasi ?

Deskripsi yang tepat dari masalah dan tujuan Dapat digunakan untuk mengecek apakah sistem pakar sudah lengkap
Di akhir tahap pengembangan, KE dapat mengecek apakah semua tujuan sudah tercapai

Dokumen Spesifikasi
Kompleksitas spesifikasi sangat bervariasi (tergantung masalahnya) Struktur umum dokumen spesifikasi:
introduction ES functions constraints miscellaneous issues

Struktur Dokumen Spesifikasi

1. Introduction
problem overview (pemahaman masalah dan pentingnya masalah diselesaikan) user profile (pengguna sistem dan interaksi yg dilakukan) project goals (bagian masalah mana yang akan diselesaikan)

2. ES functions
system outputs (detil dan format), system inputs (format, reliability, preprocessing data yang dibutuhkan), auxiliary features (explanation, NLP), implementation priorities

Struktur Dokumen Spesifikasi (2)

3.

Constraints
Hardware, external interfaces, compatibility with previous products, speed of execution, reliability (akurasi dan efek kesalahan), maintainability (periode updating), Security (user bisa mengubah basis pengetahuan), error identification (penanganan)

4.

miscellaneous issues
Metode verifikasi dan validasi, dokumentasi (siapa pembacanya), dan isu relevan lainnya

Tim Pengembang
Tahap Planning

Anggota Tim Pengembang

Expert / knowledge provider
Narasumber pengetahuan

Team leader/ project manager Knowledge engineer / analyst Knowledge system developer / analyst KE
Mengimplementasi SBP pada platform tertentu

Knowledge manager
Monitoring tujuan organisasi dalam pengembangan sistem dan aset pengetahuan

Knowledge user ?
Narasumber kebutuhan

Project Manager
Manajemen aktivitas
Planning, scheduling, monitoring, analisis

Manajemen konfigurasi produk

Manajemen produk (versi produk) Manajemen perubahan
Perubahan dan evaluasi impact lakukan perubahan install produk versi baru

Manajemen resources

Pemilihan Perekayasa Pengetahuan

kompeten Berpikir terstruktur sabar bersahabat good inter-personal communication skills Tertarik belajar suatu domain baru Percaya diri dgn kemampuannya KE lebih baik yang tidak mengerti dengan problem domain should avoid becoming an "expert"

Interaksi dalam Tim Pengembang

knowledge manager defines knowledge strategy initiates knowledge development projects facilitates knowledge distribution

knowledge provider/ specialist

elicits knowledge from elicits requirements from

knowledge engineer/ analyst manages project manager

validates

delivers analysis models to KS manages

uses knowledge user

designs & implements

knowledge system developer

Pengembangan ES Kecil
small/simple systems
100~200 rules, PC Pengetahuan mudah didapat dari pakar dan dari printed material Tim pengembang (alternatif):
Pakar sendiri Pakar + 1 KE

Waktu pengembangan: 6 bulan

Pengembangan ES Medium
250~1000 rules Kompleksitas masalah sedang Pengetahuan dari printed material tidak cukup/lengkap perlu pakar Tim pengembang:
Pakar Team leader: senior KE, interview pakar Junior KE: hadir dlm interview, dokumentasi Analis sistem: interface ES dgn sw/hw lain

Waktu pengembangan: 1~ 2 tahun

Pengembangan ES Besar
>1000 rules Kompleksitas masalah tinggi Perlu interfacing dgn h/w lain Masalah dibagi menjadi beberapa komponen, dan dikerjakan oleh tim berbeda Tim pengembang:
Project manager Beberapa pakar Beberapa team leaders Beberapa junior KE

Akuisisi Pengetahuan
Akuisisi Pengetahuan Model driven KA Model of Expertise

Akuisisi Pengetahuan
transfer and transform of problem solving expertise from a knowledge source Knowledge elicitation:
Akuisisi pengetahuan dengan pakar sbg sumber pengetahuan. several techniques are used for this purpose, e.g., interviews, protocol analysis, and concept sorting.

Model driven Knowledge Acquisition

Knowledge modeling:
building a model of KBS

Model instantiation:
filling the model with domain knowledge

Model validation:
validating the developed KB Validasi model, validasi pengetahuan

Knowledge Modeling
Data driven modeling
Model dibuat dari awal berbasis data hasil elisitasi pengetahuan (1st generation ES) Tidak menggunakan predefined models

Select and modify

Pilih model yang sudah ada (general problem solving) Adaptasi untuk kebutuhan aplikasi

Compositional modeling from library element

2nd generation ES expertise model is constructed in an incremental fashion from available generic components

Instansiasi Model
KA: proses mengisi model Model menentukan pengetahuan yang dibutuhkan Ada beberapa model yang memiliki tools KA.

Tipe Pengetahuan
Declarative knowledge:
represents surface level of information that experts can verbalize. useful in the initial stages of KA, less value in later stages.

Procedure knowledge:
includes the skills an individual knows how to perform.

Meta-knowledge:
knowledge about how to use the knowledge that we have knowledge used to help domain experts to retrieve their knowledge.

Model of Expertise (MoE)

Domain knowledge
Domain specific concepts, atribut dan hubungannya Domain specific heuristics for problem solving concepts factual knowledge about the application domain

Inference knowledge
knowledge about how the domain knowledge can be applied in the reasoning process Functional behavior of problem solving concepts

Task knowledge
knowledge about the control of the reasoning process such that a solution can be found in an effective and efficient way Goals of task, control knowledge

Contoh MoE

Tahapan Akuisisi Pengetahuan

Identification
Identifikasi karakteristik masalah

Conceptualization
Menemukan konsep2 untuk merepresentasikan pengetahuan

Formalization
Design struktur untuk mengorganisasikan pengetahuan

Implementation
Formulasi pengetahuan ke bentuk runnable program

Testing
Validasi pengetahuan

KA Bottleneck
Knowledge elicitation: mahal dan lambat
hanya 2~5 rules per hari

Mengapa lambat ?
Konsep2 dalam domain sulit dijelaskan kepada PP Pengetahuan pakar itu compiled (seperti compiled program fast dan efisien, tapi unreadable)

KA Bottleneck: Mengapa lambat ?

Fakta2 dan konsep tidak cukup, dibutuhkan juga pengetahuan strategik, pengalaman, pengetahuan relevan lainnya.
Pengetahuan pakar: domain-related facts & principles; problem-solving strategies; meta-knowledge - for instance, knowledge about when to use a particular piece of knowledge; explanations and justifications.

Kepakaran domain dapat diaplikasikan lebih luas: common-sense knowledge

The Two Faces of the Coin

knowledge engineers often consider
an expert is a resource to be exploited knowledge is the property of the company, not the expert it is the best of mankind to record all expertise experts desire ES in order to concentrate on more interesting problems

experts think that

the above arguments are not convincing the biggest impact on their profession is in the redistribution of power

Teknik Akuisisi
Manual:
1. Interview 2. Observasi 3. Intuitive

Otomatis:
Menggunakan tools untuk memfasilitasi akuisisi

1. Interview
Pihak yang terlibat: PP, pakar, end-user Persiapan PP:
Mengetahui dengan jelas tujuan interview Merencanakan interview: jadwal (waktu dan tempat), agenda, alat perekam (tape, notes) Meminta pakar membawa materi yang relevan Mempersiapkan content: background reading

Kick-off interview diikuti interview terstruktur/tidak

Kick-off Interview
Tujuan:
Membangun friendly relationship antara pakar dan PP Memberitahukan tujuan SBP

Masalah yang mungkin muncul dari pakar:

Terancam, sinis, high-priest (agung, memandang rendah PP, menyepelekan SBP), paternalistic (paling tahu yang terbaik, discuss the more unusual and difficult areas), uncommunicative, uncaring, pseudoAI-literate (sok tahu tentang SBP sistem internal)

Kick-off Interview (2)

Antisipasi masalah oleh PP
Menyatakan pentingnya keterlibatan pakar Memperkirakan effort yang dibutuhkan Menyatakan perubahan yang diinginkan (tujuan SBP)

Agenda:
Perkenalan pakar dan PP, penjelasan singkat tentang SBP, sosialisasi pentingnya proyek, harapan PP, harapan pakar, diskusi tentang background reading (overview domain), menyusun pertemuan selanjutnya

Teknik Questioning
Pertanyaan langsung (direct):
Untuk mendapatkan informasi yang spesifik Apa yang dimaksud dengan ? Apakah benar .?

Pertanyaan tidak langsung (indirect):

Untuk mendapatkan informasi tambahan Isu apa yang berkaitan dengan ?

Probes/Investigasi:
Untuk mendapatkan informasi pada isu tertentu Tolong jelaskan tentang ?

Prompts:
(re)direct interview to different area Tolong jelaskan kembali tentang ?

Penggunaan Teknik Questioning

beginning of topic prompts / indirect probes direct end of topic

Interview Terstruktur
Dipandu oleh PP Pakar diminta fokus pada satu isu pada satu saat
Gunakan teknik probe atau pertanyaan langsung

+: Info yang didapatkan fokus pada isu tertentu: konsep2 yang berhubungan dan mempermudah menstrukturkan pengetahuan -: PP butuh pengetahuan domain yang lebih dalam (menyusun pertanyaan, menghindari pengalihan fokus)

Interview Tidak Terstruktur

Dipandu oleh pakar Topik diskusi diserahkan ke pakar: lebih relevan +: pemahaman umum tentang problem/domain, fokus tentang konsep2 dan metode2 penting -: Pengetahuan dangkal, terpotong2, sedikit fakta, konsep, atau strategi

2. Observasi
quiet on-site observation
Pakar bekerja tanpa interrupt atau gangguan Pakar berpikir sambil bicara ketika memecahkan masalah

on-site observation with discussion

PP dapat meng-interrupt ketika pakar memecahkan masalah

exercising the expert

Pakar diberikan kasus untuk diselesaikan PP dapat membuat kasus yang lebih sulit

Problem description and analysis

Menggunakan buku untuk mendapatkan fitur2 domain Pakar menjelaskan fitur2 penting dalam domain

3. Intuitive
Tukar peran PP dan pakar Pakar mengobservasi dan bertanya kepada PP ketika PP memecahkan masalah

Teknik Akuisisi

Web-based Expert System

Web-based Expert System

Web based expert system development project:
1. Expert System Development Subproject 2. Web Site/Application Development Subproject

Expert System Developing Process

Knowledge representation

Web Site/ Application Developing Process

Web-based ES Dev. Project

MIKE
Model based and incremental KE

Proses dengan MIKE

Pustaka
Giarratano, Riley, (1994) Expert Systems, 2nd edition. Sabrina Sestito, Tharam S. Dillon, (1994) Automated knowledge acquisition, Prentice Hall Ioannis M. Dokas (2005) Developing Web Sites For Web Based Expert Systems: A Web Engineering Approach, ITEE'2005