Pembelajaran Induktif Model Bayesian

Pembelajaran Induktif Model Bayesian
(Ringkasan teori kecerdasan tiruan dalam format slide)
Oleh
Dr. Ir.Saludin, M Kom
ii
Kata Pengantar
Ide untuk menyajikan dalam bentuk format slide yang enak dibaca dan mudah dipahami muncul ketika penulis
temukan topik bahan Bayesian ini di arsip, dimana topik bahan ini merupakan bagian dari metode pembelajaran
mesin cerdas atau bagian dari bahan pengetahuan kecerdasan tiruan yang menjadi trend aplikasi di masa depan.
Penulis berusaha menyajikan dalam bentuk bahasa sederhana mungkin agar pembaca terutama dari kalangan pelajar
dapat menangkap esensinya dengan cepat.
Semoga bahan ringkasan dalam bentuk slide ini bermanfaat bagi pembaca baik dari kalangan adik-adik
pelajar maupun praktisi yang berkecimpung dalam bidang pembelajaran kecerdasan tiruan. Tentu, bentuk ringkasan
yang memudahkan dapat menjadi sebuah kekurangan karena tidak berupa teks buku yang menerangkan secara
panjang lebar, karena itu perbaikan yang terus dilakukan untuk melengkapi apa yang dirasakan masih kurang
merupakan jalan bijak menuju kepada kepuasan yang diharapkan pembaca. Hanya dengan itulah sesuatu yang
disajikan dapat dijadikan lebih baik dari waktu ke waktu. Untuk itu saran dan kritik pembaca, sangat diharapkan
untuk perbaikan buku ini.
Pada kesempatan ini, dari lubuk hati penulis terdalam, penulis mengucapkan terima kasih setulusnya kepada
6 orang yang berperan besar dan merubah perjalanan hidup penulis, yaitu Ibu Saini (Alm), T. Oh Huan (Alm),
Albert Ray J, Alexander Rex., Ibu Maria Dwi K ,dan Ibu RajaniTjandra.
iii
Daftar Isi
Kata Pengantar........................................................................................................................................
.ii
Daftar Isi.................................................................................................................................................
iii
Pendahuluan ........................................................................................................................................... v
Bab 1
Pengantar : Pembelajaran Induktif Model Bayesian ...............................................................
Bab 2
Pembelajaran Kasus Dasar 1 : Melempar Koin ....................................................................... 7
Bab 3
Pembelajaran Kasus Dasar 2 : Aturan-Aturan Dan Kesamaan ...............................................
19
Bab 4
Pembelajaran Kasus Lanjutan 1 : Kausalitas ..........................................................................
29
Bab 5
Pembelajaran kasus Lanjutan 2 : Ciri / Sifat ..........................................................................
47
Lampiran ...............................................................................................................................................
67
Daftar Perpustakaan ..............................................................................................................................
76
iv
Pengantar: Pembelajaran Induktif Model Bayesian
BAB 1
PENGANTAR :
PEMBELAJARAN INDUKTIF
MODEL BAYESIAN
Teknik Akuisisi Target dan Penjejakan Obyek (Aplikasi Kecerdasan Tiruan)
Model Bayesian dalam pengetahuan

kognitif
Pembelajaran Induktif
Model Bayesian
Visi
Kontrol Motor
Memori
Bahasa
Pembelajaran Induktif and pemikiran.
Apa yang diharapkan
Lompatan induktif tiap hari

Konsep pembelajaran dan contoh kata-kata
Apa yang anda peroleh dari bahan ini :

Tinjauan umum apa yang model Bayesian tawarkan untuk
pengetahuan kognitif
horse
Contoh mendalam model sederhana dan lanjutan :
bagaimana matematis bekerja dan mengesankan kamu

Beberapa contoh pendekatan lain
horse
horse
5
Konsep pembelajaran dan kata-kata

tufa
tufa
tufa
Pengantar
Dapatkah kamu memilih tufas?
Tantangan :
Pemikiran induktif
Bagaimana kita generalisasi secara berhasil dari data
sangat terbatas ?
Masukan:
Sapi bisa kena penyakit A.
Monyet bisa kena penyakit A.
Hanya satu atau sedikit sampel

Sering hanya sampel-sampel positif
(premis)
Filosofis :
Induksi adalah sebuah problem, teka teki, paradok,
skandal, or mitos.
(kesimpulan)
Semua mamalia bisa kena penyakit A.
Mesin pembelajaran dan statistik :

Fokus pada generalisasi dari banyak sampel, baik positif dan
Tugas: Menilai seberapa mungkin kesimpulan

menjadi benar, jika diberikan premis
benar
Menyimpulkan hubungan sebab

akibat
negatif.
10
Kesimpulan Rasional secara statistik

(Bayes, Laplace)
Masukan :
Hari 1
Hari 2
Hari 3
Hari 4
...
Minum vitamin B23
Sakit kepala
ya
ya
tidak
ya
...
tidak
ya
ya
tidak
...
Probabilitas
sesudah
p(h | d )
Apakah vitamin B23 menyebabkan sakit kepala ?
Tugas: Menilai kemungkinan kaitan kausal,

bila diberikan beberapa pengamatan
terkait /berhubungan.
kemungkinan
Probabilitas
sebelum
p(d | h) p(h)
p(d | h) p(h)
hH
Jumlah semua ruang
hipotesis
11
Model Bayesian pembelajaran induktif :

beberapa acuan terbaru
Lompatan induktif tiap hari

Bagaimana kita dapat belajar banyak mengenai.
Sifat-sifat jenis alamiah
Shepard (1987)
Analysis of one-shot stimulus generalization, to explain
the universal exponential law.
Makna kata-kata
Hasil mendatang dari proses dinamik
Sifat-sifat kausal tersembunyi sebuah obyek
Anderson (1990)
Models of categorization and causal induction.
Penyebab asli seseorang (keyakinan, tujuan)

Hukum kausal mengendalikan sebuah domain
Oaksford & Chater (1994)

Model of conditional reasoning (Wason selection task).
. . . dari data terbatas demikian ?
Heit (1998)
Framework for category-based inductive reasoning.
9
12
Struktur dan statistik
Teori- Model Dasar Bayesian

Penyimpulan statistik secara rasional (Bayes):
Kerangka untuk memahami bagaimana pengetahuan
terstruktur dan kesimpulan secara statistik berinteraksi
p ( d | h) p ( h)
p( h | d )
p(d | h) p(h)
Bagaimana pengetahuan terstruktur menuntun kesimpulan secara
statistik, dan memperoleh dirinya melalui pembelajaran statistik

order lebih tinggi.
Hirarki Bayes.
hH
Bagaimana kesederhanaan pertukaran yang cocok untuk data dalam
Teori domain pembelajar menghasilkan ruang hipotesis mereka
mengevaluasi hipotesis struktural.
H dan p(h) sebelumnya.
Pisau cukur Occam Bayesian.
Sangat cocok untuk struktur dunia nyata/alamiah.

Dapat dipelajari dari data terbatas.
Kesimpulan mudah dikerjakan secara komputasi.
13
Bagaimana kompliksitas struktur meningkat dapat tumbuh
sebanding dibutuhkan data baru, dari pada dispesifikasikan

sebelumnya /awal.
bukan-parametrik Bayes.
16
Pendekatan alternatif untuk generalisasi

induktif
Apa teori itu ?

Definisi kerja
Sebuah ontologi dan sistem prinsip abstrak yang
Pembelajaran asosiatif
menghasilkan sebuah ruang hipotesis pada kandidat

struktur- struktur dunia sepanjang probabilitas- probabilitas
relatif mereka.
Jaringan koneksionis
Kesamaan contoh-contoh
Analogi terhadap tatabahasa dalam bahasa.
Peralatan heuristik sederhana
Contoh : Hukum Newton
Pembatas kepuasan
Analogis pemetaan
14
17
Analisis 3 level Marr
Komputasi :
terstruktur dan kesimpulan secara statistik berinteraksi.
Apa tujuan komputasi, kenapa ini pantas /sesuai, dan apa

logika strategi dengan mana ia dapat dikerjakan ?

order lebih tinggi.
Representasi dan algoritma :
Psikologi kognitif
mengevaluasi hipotesis struktural.
Implementasi :
Neurobiologi

sebelumnya /awal.
15
18
Kenapa Bayes?
Kerangka untuk menyelesaikan kognitif.
Bagaimana orang dapat belajar benar dari data terbatas.
Kenapa model proses bekerja dengan cara yang mereka lakukan.
Model kuantitatif kuat dengan minimal asumsi ad hoc.
terstruktur dan kesimpulan secara statistik berinteraksi


order lebih tinggi.
mengevaluasi hipotesis struktural. (pisau cukur Occam).
sebelumnya /awal.
19
Pembelajaran Kasus Dasar 1: Melempar Koin
BAB 2
PEMBELAJARAN KASUS DASAR 1:
MELEMPAR KOIN
Aturan Bayes
Untuk data D dan hipotesis H, kita punya :
Pembelajaran Kasus Dasar 1
P( H | D )
P ( H ) P( D | H )
P(D)
Probabilitas sesudah:
P( H | D)
P(H )
P( D | H )
Probabilitas sebelum:
kemungkinan:
4
Asal aturan Bayes

Konsekuensi sederhana menggunakan probabilitas
Melempar Koin
untuk representasi derajat kepercayaan

Untuk tiap 2 variabel acak :
p( A & B ) p ( A) p ( B | A)
p( A & B ) p ( B ) p ( A | B )
p ( B) p ( A | B) p ( A) p ( B | A)
p( A | B )
2
p( A) p ( B | A)
p( B)
Kenapa representasi derajat kepercayaan

dengan probabilitas?
Melempar koin
Statistik yang baik

konsistensi, dan batasan kasus kesalahan terburuk.
HHTHT
HHHHH
Aksioma Cox
perlu berpadu dengan logika umum
Buku Dutch + kelangsungan hidup uji layak

jika kepercayaan kamu tidak sesuai dengan hukum
probabilitas, maka kamu dapat selalu kalah berjudi

dengan seseorang yang memiliki kepercayaan sesuai.
Memberikan sebuah teori pembelajaran
Satu hal berlaku umum adalah untuk menggabungkan
pengetahuan sebelumnya dan pelajaran dari pengalaman.
Proses apa menghasilkan urutan ini ?

3
Hipotesis dalam pelemparan koin
Aturan Bayes
Untuk data D dan hipotesis H, kita punya :
P( H | D )
Probabilitas sesudah:
Menggambarkan proses dengan mana D dapat

dihasilkan
D = HHTHT
P ( H ) P( D | H )
P(D)
Koin wajar, P(H) = 0.5

Koin dengan P(H) = p
P( H | D)
Model Markov
Probabilitas sebelum:
Kemungkinan:
P(H )
P( D | H )
Model
generatif
Model Hidden Markov

...
10
Representasi model generatif
Hipotesis pada kesimpulan Bayesian

Hipotesis H mengacu pada proses yang telah
Notasi model grafik
menghasilkan data D
Pearl (1988), Jordan (1998)
Kesimpulan Bayesian memberikan sebuah distribusi
Variabel adalah simpul, tepi
atas hipotesis ini, diberikan D

P(D|H) adalah probabilitas pada D dihasilkan oleh
proses diidentifikasi oleh H
Hipothesis H adalah eksklusif mutualis : hanya satu
proses dapat telah menghasilkan D
menunjukkan ketergantungan
d1
d2
d3
d4
Koin wajar , P(H) = 0.5
Tepi langsung memperlihatkan
proses kausal pembangkitan data
d1
d2
d3
d4
Model Markov
HHTHT
d1 d2 d3 d4 d5
11
Hipotesis dalam pelemparan koin
Model dengan struktur tersembunyi
Menggambarkan proses dengan mana D dapat

dihasilkan
Tidak semua simpul dalam

sebuah model grafik perlu
diamati
Beberapa variabel mencerminkan struktur tersembunyi, digunakan dalam
menghasilkan D tapi tidak
teramati
D = HHTHT
Koin dengan P(H) = p
Model Markov
Model
statistik
Model Hidden Markov
HHTHT
...
d1 d2 d3 d4 d5
9
12
p
d1
d2
d3
d4
P(H) = p
s1
s2
s3
s4
d1
d2
d3
d4
Model Hidden Markov
10
Aturan Bayes dalam bentuk ganjil
Pelemparan koin
Membandingkan 2 hipotesis sederhana
P(H1|D)
P(H2|D)
P(H) = 0.5 vs. P(H) = 1.0
Membandingkan hipotesis sederhana dan kompleks

P(H) = 0.5 vs. P(H) = p
D:
H1, H2:
P(H1|D):
P(D|H1):
P(H1):
Membandingkan banyak hipotesis tak terbatas

P(H) = p
Psikologis: Kerepresentatifan
13
P(D|H1)
P(D|H2)
P(H1)
x P(H )
2
data
model
probabilitas sesudah H1 hasilkan data
kemungkinan data dibawah model H1
probabilitas sebelum H1 hasilkan data
16
Pelemparan koin
Pelemparan koin
P(H) = 0.5 vs. P(H) = 1.0
HHTHT
HHHHH

P(H) = 0.5 vs. P(H) = p

P(H) = p
Proses apa menghasilkan urutan ini ?

17
14
Membandingkan 2 hipotesis
sederhana
sederhana
P(H1|D)
P(H2|D)
Hipotesis sederhana kontras:

H1: koin wajar, P(H) = 0.5
H2:selalu sisi muka, P(H) = 1.0
P(D|H1)
P(D|H2)
x P(H1)
P(H2)
D:
HHTHT
H1, H2:
koin wajar, selalu muka
P(D|H1) = 1/25
P(H1) =
999/1000
P(D|H2) = 0
P(H2) =
1/1000
Aturan Bayes :
P( H | D )
P ( H ) P( D | H )
P(D)
Dengan 2 hipotesis, gunakan bentuk ganjil
P(H1|D) / P(H2|D) = tidak terbatas

15
18
11
sederhana
P(H1|D)
P(H2|D)
P(D|H1)
P(D|H2)
Pelemparan koin
P(H1)
x P(H2)
P(H) = 0.5 vs. P(H) = 1.0
D:
HHHHH
H1, H2:
P(D|H1) = 1/25
P(H1) =
999/1000
P(D|H2) = 1
P(H2) =
1/1000
P(H) = 0.5 vs. P(H) = p

P(H) = p
P(H1|D) / P(H2|D) 30
19
22
sederhana
P(H1|D)
P(H2|D)
P(D|H1)
P(D|H2)
Membandingkan hipotesis sederhana dan

kompleks
P(H1)
x P(H2)
d1
D:
HHHHHHHHHH
H1, H2:
P(D|H1) = 1/210
P(H1) =
999/1000
P(D|H2) = 1
P(H2) =
1/1000
d4
vs.
d1
d2
d3
d4
P(H) = p
Yang memberikan sebuah akun data lebih baik :
hipotesis sederhana pada koin wajar, atau hipotesis

kompleks bahwa P(H) = p ?
23
sederhana

kompleks
Aturan Bayes mengatakan bagaimana untuk
P(H) = p adalah lebih kompleks dari pada P(H) = 0.5
menggabungkan kepercayaan sebelum dengan data

baru
dalam 2 cara :
Pengaruh-pengaruh top-down and bottom-up
untuk tiap urutan teramatan X, kita dapat memilih p
P(H) = 0.5 adalah kasus khusus dari P(H) = p
sedemikian sehingga X adalah lebih mungkin dari jika

P(H) = 0.5
Sebagai sebuah model kesimpulan manusia

prediksi penarikan kesimpulan dari data
identifikasi titik pada mana kepercayaan sebelum
dibanjiri oleh pengalaman-pengalaman

Tetapi kasus-kasus lebih kompleks ?
21
d3
P(H1|D) / P(H2|D) 1
20
d2
24
12

kompleks

kompleks
P(H) = p lebih kompleks dari P(H) = 0.5 dalam 2 hal :
P(H) = 0.5 adalah kasus khusus dari P(H) = p
Untuk tiap urutan X teramati, kita dapat pilih p sedemikian
sehingga X lebih mungkin dari pada jika P(H) = 0.5

Bagaimana kita dapat lakukan ini?
Paling sering : pengujian hipotesis
informasi teoritikus: deskripsi panjang minimum
Bayesian: hanya menggunakan teori probabilitas !
25
28

kompleks

kompleks
P(H1|D)
P(H2|D)
P(D|H1)
P(H1)
= P(D|H2) x P(H2)
Hitung P(D|H1) adalah mudah:
P(D|H1) = 1/2N
HHHHH
p = 1.0
26
Hitung P(D|H2) dengan merata-rata atas p :
29

kompleks

kompleks
HHTHT p = 0.6
27
Distribusi adalah rata-rata atas semua nilai p
30
13

kompleks
Membandingkan banyak hipotesis secara

tak terbatas
Anggap data dihasilkan dari sebuah model:
p
d1
d2
d3
d4
P(H) = p
Apa nilai pada p ?
tiap nilai p adalah sebuah hipotesis H
Memerlukan kesimpulan atas banyak hipotesis secara tak
terbatas
31
34

kompleks

tak terbatas
Lempar sebuah koin 10 kali dan lihat 5 muka/H, 5 ekor/T.
Hipotesis sederhana dan kompleks dapat dibandingkan
secara langsung menggunakan aturan Bayes
P(H) pada lemparan berikut ? 50%
Memerlukan penjumlahan atas variabel tersembunyi
Kenapa ? 50% = 5 / (5+5) = 5/10.
Hipotesis kompleks dihukum untuk fleksibilitas mereka
Berikut akan seperti sebelumnya.
yang lebih besar : pisau cukur Occam Bayesian

Prinsip ini digunakan pada model metode seleksi dalam
psikologi.
Diduga kita telah melihat 4 muka dan 6 ekor.
P(H) pada lemparan berikut ? Dekat ke 50% dari pada
40%.
Kenapa ? Pengetahuan terdahulu /sebelumnya.
32
35
Integrasi pengetahuan sebelum dan

data
Pelemparan koin
P( H | D )
P(H) = 0.5 vs. P(H) = 1.0

P(H) = 0.5 vs. P(H) = p
P ( H ) P( D | H )
P(D)
P(p | D) P(D | p) P(p)

P(H) = p
Distribusi sesudahnya P(p | D) adalah sebuah probabilitas
kerapatan atas p = P(H)
Perlu untuk meninggalkan kemungkinan P(D | p) dan
menspesifikasi distribusi sebelumnya P(p)
33
36
14
Kemungkinan dan sebelumnya
Konjugat sebelum
Kemungkinan :
Terdapat pada banyak distribusi standar
P(D | p) =
pNH
formula untuk rumpun konjugat eksponensial
(1-p)NT
Definisikan sebelum untuk pengamatan kayalan

Beta adalah konjugat untuk Bernoulli (lemparan koin)
NH: banyaknya muka /H

NT: banyaknya ekor /T
Sebelum :
FH = FT = 1
FH = FT = 3
FH = FT = 1000
P(p) pFH-1 (1-p)FT-1
37
40
Metode sederhana dalam menspesifikasi

sebelum
Kemungkinan dan sebelum

Kemungkinan :
P(D | p) = pNH (1-p)NT
Bayangkan beberapa percobaan kayalan,
mencerminkan himpunan pengalaman sebelumnya

Strategi sering digunakan dengan jaringan syaraf
NH: banyaknya muka
contoh, F ={1000 muka, 1000 ekor} ~ ekspektasi kuat
NT: banyaknya ekor
bahwa tiap koin baru akan bersifat wajar.
Sebelumnya :

Kenyataan, ini adalah sebuah ide statistik sensitif .......
FH: pengamatan kayalan untuk muka
FT: pengamatan kayalan untuk ekor
38
41

tak terbatas
Kemungkinan dan sebelum

Kemungkinan :
P(D | p) = pNH (1-p)NT
P(p | D) P(D | p) P(p) = pNH+FH-1 (1-p)NT+FT-1
NH: banyaknya muka
Sesudah adalah Beta(NH+FH,NT+FT)
NT: banyaknya ekor
bentuk sama seperti konjugat sebelum
Sebelumnya :
Sesudah berarti :
Beta(FH,FT)
Prediktif distribusi sesudah:
FH: pengamatan kayal untuk muka

FT: pengamatan kayal untuk ekor
39
42
15
Problem dengan empirisme

sederhana
Beberapa contoh
Contoh, F ={1000 muka, 1000 ekor} ~ ekspektasi kuat
bahwa tiap koin baru akan bersifat wajar
Tidak benar-benar melihat 2000 lemparan koin , atau tiap
lemparan paku payung
Cetelah lihat 4 muka, 6 ekor, P(H) pada lemparan
Pengetahuan sebelum lebih kuat dari penilaian pengalaman mentah

Tidak melihat secara tepat jumlah sama muka dan ekor
Pengetahuan sebelum lebih halus dari pada penilaian pengalaman
mentah
Harusnya ada perbedaan antara mengamati 2000
berikut = 1004 / (1004+1006) = 49.95%

Contoh, F ={3 muka, 3 ekor} ~ ekpektasi lemah
bahwa tiap koin baru akan bersifat wajar
Setelah lihat 4 muka, 6 ekor, P(H) pada lemparan
berikut = 7 / (7+9) = 43.75%
Pengetahuan terdahulu/
sebelum terlalu lemah
43
lemparan pada koin tunggal terhadap pengamatan tiap10

lemparan untuk 200 koin, atau tiap1 lemparan untik
2000 koin
Pengetahuan sebelum lebih terstruktur dari pengalaman mentah
46
Teori sederhana
Tetapi lemparan paku payung
Koin dibuat dengan prosedur terstandarkan yang efektif
contoh, F ={4 muka, 3 ekor} ~ ekpektasi lemah bahwa
paku agak bias ke arah muka/kepala

Setelah lihat 2 muka, 0 ekor, P(H) lemparan berikut = 6 /
(6+3) = 67%
tetapi tidak sempurna.
Beberapa pengetahuan sebelum selalu perlu untuk
Menjelaskan kenapa melihat tiap 10 lemparan untuk 200
Menilai generalisasi dari koin sebelum terhadap koin
sekarang.
Menilai lebih halus dan lebih kuat sebelum dari pada
pengalaman mentah tersendiri.
menghindari loncat ke kesimpulan terburu-buru...
koins adalah lebih berharga dari pada melihat 2000

lemparan dari satu koin.
Misalkan F = { }: Setelah lihat 2 muka, 0 ekor, P(H)
pada lemparan berikut = 2 / (2+0) = 100%
Paku adalah tidak simetris, dan dibuat kurang benar-
benar standar.
44
47
Asal pengetahuan sebelum
Pembatasan :
Jawaban menggoda : pengalaman sebelumnya
Dapatkah semua domain pengetahuan
Semestinya kamu telah melihat sebelumnya 2000
direpresentasikan sangat sederhana, dalam hal

banyaknya ekivalen pada pengamatan kayalan ?
Diduga kamu melempar sebuah koin 25 kali dan
didapat semua muka.
sesuatu yang lucu sedang terjadi
Tetapi dengan F ={1000 muka, 1000 ekor}, P(H) pada
lemparan berikut = 1025 / (1025+1000) = 50.6%.
tampaknya tidak ada yang tidak wajar
lemparan koin: 1000 muka, 1000 ekor

Dengan asumsi semua koin (dan lemparan) adalah
sama, pengamatan ini pada koin lain sebaik

pengamatan pada koin sekarang.
45
48
16
Lebih banyak untuk hirarki sebelum
Hirarki sebelum
Pengetahuan fisik
Hipotesis order lebih tinggi : apakah
koin ini wajar atau tidak ?
FH,FT
fair
Contoh probabilitas:
P(wajar) = 0.99
P(p|wajar) adalah Beta(1000,1000)
P(p|tak wajar) adalah Beta(1,1)
25 muka pada baris merambat naik,
d1
pengaruhi p dan maka P(wajar|D)
d2
p
d3
d1
d4
d2
p
d3
d4
d1
d2
p
d3
d4
d1
d2
d3
d4
Kepercayaan diskrit (contoh, simetri) dapat pengaruhi
estimasi pada sifat-sifat kontinu (contoh. FH, FT)

49
52

tak terbatas
P(wajar|25 muka)
P(25 muka|wajar)
P(wajar)
= 9 x 10-5
=
P(tak wajar|25 muka) P(25 muka|tak wajar) P(tak wajar)
Menerapkan aturan Bayes untuk memperoleh
probabilitas kerapatan sesudah

Memerlukan sebelum atas semua hipotesis
komputasi disederhanakan oleh konjugat sebelum
struktur lebih kaya dengan hirarki sebelum
Hirarki sebelum menunjukkan bagaimana teori
sederhana dapat menerangkan kesimpulan secara

statistik
satu langkah ke struktur dan statistik
50
53
Lebih banyak untuk hirarki sebelum
Pelemparan koin
Struktur tersembunyi dapat menangkap variabilitas koin
Koin 1
Koin 2

P(H) = 0.5 vs. P(H) = p
...
P(H) = 0.5 vs. P(H) = 1.0
p ~ Beta(FH,FT)
FH,FT
p Koin 200

P(H) = p
d1
d2
d3
d4
d1
d2
d3
d4
d1
d2
d3
d4
10 lemparan dari 200 koin lebih baik dari 2000 lemparan dari
koin tunggal: memungkinkan estimasi FH, FT

51
54
17
Penilaian kerepresentatifan
Psikologi: Kerepresentatifan
Yang mana urutan lebih mungkin dari sebuah koin wajar ?
HHTHT
HHHHH
55
58
Hasil-hasil
Apa maksud kerepresentatifan?
Akun kerepresentatifan data baik, dengan 3 pseudo-
Bukti untuk sebuah proses pembangkitan acak

P(H1|D)
P(H2|D)
P(D|H1)
=
P(D|H2)
bebas parameter, = 0.91

selalu berubah berarti 99% dari waktu
P(H1)
x
P(H2)
umumnya muka berarti P(H) = 0.85

selalu muka berarti P(H) = 0.99
rasio kemungkinan
Dengan menskala parameter, r = 0.95
H1: proses acak (koin wajar)

H2: alternatif proses
56
59
Peran teori-teori
Ruang hipotesis dibatasi
Kenyataan bahwa HHTHT melihat representatif

sebuah koin wajar dan HHHHH tidak mencerminkan
teori implisit kita mengenai bagaimana dunia bekerja.
4 hipotesis:
57
h1
koin wajar
h2
selalu berubah
h3
umumnya muka
h4
selalu muka
HHTHTTTH
HTHTHTHT
HHTHTHHH
HHHHHHHH
Mudah membayangkan bagaimana sebuah tipuan semua
koin muka dapat bekerja /terjadi : probabilitas sebelum

tinggi.
Sulit membayangkan bagaimana sebuah tipuan koin
HHTHT dapat bekerja/terjadi : probabilitas sebelum
rendah.
60
18
Ringkasan
3 jenis kesimpulan Bayesian
bandingkan 2 hipotesis sederhana
bandingkan hipotesis sederhana dan kompleks
Bandingkan jumlah tak terbatas hipotesis
Notasi kritis :
Model generatif, model grafis
Pisau cukur Occam Bayesian
Sebelum : konjugat, hirarki (teori-teori)
61
Pembelajaran Kasus Dasar 2: Aturan-aturan dan Kesamaan
BAB 3
PEMBELAJARAN KASUS DASAR 2:
ATURAN-ATURAN DAN KESAMAAN
19
20
Metafora yang lebih baik
Pembelajaran Kasus Dasar 2
Metafora yang lebih baik

Aturan-Aturan dan Kesamaan
Struktur dibandingkan statistik

Aturan-aturan
Logika
Simbol-simbol
Statistik
Kesamaan
Tipikalitas
Statistik
Kesamaan
Tipikalitas
Aturan-aturan
Logika
Simbol-simbol
3
21
Game nomer
Bab 2 : Pelemparan koin

Pembelajaran dan pemikiran dengan model-model
statistik terstruktur.
Contoh nomer
ya
Penilaian
generalisasi (N = 20)
Bab 3 : Aturan-aturan dan kesamaan

Pembelajaran statistik dengan representasi terstruktur .
60
Kesamaan difusi
10
Game nomer
Game nomer
Contoh nomer
ya
Penilaian
generalisasi (n = 20)
60
Kesamaan difusi
Program masukan : nomer antara 1 dan

100
Program keluaran: ya atau tidak
8
60 80 10 30
Aturan :
kelipatan 10
11
Game nomer
Game nomer
Contoh nomer
ya
Penilaian
60
Kesamaan difusi
Tugas pembelajaran :
Mengamati satu atau lebih contoh positif (ya).
Menilai apakah nomer lain adalah ya atau
tidak.
9
60 80 10 30
Aturan:
kelipatan 10
60 52 57 55
Fokus kesamaan :
nomer dekat 50-60
12
22
Pembagian ke sub sistem aturan dan

kesamaan
Game nomer
contoh-contoh
Contoh nomer
ya
Pembelajaran kategori
Penilaian
Nosofsky, Palmeri : RULEX

Erickson & Kruschke : ATRIUM
16
Pemrosesan bahasa
Kesamaan difusi
16 8 2 64
Pinker, Marcus : morpologi kalimat waktu lampau
Pemikiran
Aturan :
pangkat 2
Sloman
Rips
16 23 19 20
Fokus kesamaan :
nomer dekat 20
13
Nisbett, Smith.
16
Game nomer
Aturan/kesamaan model campuran
60
Kesamaan difusi
60 80 10 30
Aturan :
kelipatan 10
60 52 57 55
Fokus kesamaan :
nomer dekat 50-60
Kenapa 2 modul?
Kenapa modul-modul ini bekerja berdasarkan cara mereka melakukan
Fenomena dasar menjelaskan:
14
Generalisasi dapat timbul baik dasar kesamaan

(tingkatan) atau dasar aturan (semua-atau-tidak).
Pembelajaran hanya dari sedikit contoh positif.
dan berinteraksi sebagaimana mereka melakukan?

Bagaimana orang menyimpulkan sebuah aturan atau kesamaan metrik
dari sedikit contoh positif ?

17
Aturan/kesamaan model campuran

Pembelajaran kategori
Model Bayesian
H: Ruang hipotesis pada konsep yang mungkin :
Nosofsky, Palmeri : RULEX

Erickson & Kruschke : ATRIUM
h1 = {2, 4, 6, 8, 10, 12, , 96, 98, 100} (nomer genap)

h2 = {10, 20, 30, 40, , 90, 100} (kelipatan 10)
h3 = {2, 4, 8, 16, 32, 64} (pangkat 2)
h4 = {50, 51, 52, , 59, 60} (nomer antara 50 dan 60)
...
Representasional interpretasi untuk H:

Kandidat aturan-aturan
Fitur/ciri untuk kesamaan
Konsekuensial subset (Shepard, 1987)
15
18
Menyimpulkan hipotesis dari penilaian

kesamaan
23
Ruang hipotesis dan teori

Kenapa sebuah ruang hipotesis seperti sebuah domain
Aditif pengelompokan (Shepard & Arabie, 1977) :

: kesamaan rangsangan i, j
teori:
: bobot kelompok k
Merepresentasi satu cara khusus dalam klasifikasi entitas pada
sebuah domain.
: anggota perangsang i dalam kelompok k
Tidak hanya sebuah koleksi biasa dari hipotesis, tetapi sebuah
( 1 jika perangsang i dalam kelompok k, 0 untuk lainnya)
sistem terprinsip.
Apa yang hilang ?
Representasi eksplisit prinsip
Ruang hipotesis (dan sebelum) dihasilkan oleh teori-
Ekivalen dengan kesamaan sebagai jumlah terbobot pada fitur/ciri umum

(Tversky, 1977)
sij wk f ik f jk
teori. Beberapa analogi:
sij
wk
f ik
Tatabahasa menghasilkan bahasa (dan mendahului semua
deskripsi struktural)
Pemodelan hirarki Bayesian
22
19
Aditif pengelompokan untuk bilangan bulat 0-9:
Model Bayesian
H: Ruang hipotesis dari konsep yang mungkin:
sij wk f ik f jk
Sifat-sifat matematis: genap, ganjil, persegi, prima, . . . .

Besaran pendekatan: {1-10}, {10-20}, {20-30}, . . . .
Besaran baris: semua interval antara 1 dan 100.
k
Tingkat
Bobot
Rangsangan dalam kelompok
Interpretasi
0 1 2 3 4 5 6 7 8 9
1
.444
.345
* * *
.331
.291
.255
.216
.214
* * * *
.172
X = {x1, . . . , xn}: n contoh konsep C.

Evaluasi hipotesis diberi data :
pangkat 2
nomer kecil
* * * *
p( h | X )
nomer besar
nomer sedang
* * * * *
*
kelipatan 3
* * * * *
p ( X | h ) p (h )
p( X )
nomer ganjil
nomer agak kecil
nomer lebih besar
23
20
3 sub ruang hipotesis untuk konsep

nomer
p(h) [sebelum]: domain pengetahuan, bias terdapat pada awal

p(X|h) [kemungkinan]: informasi statistik pada contoh.
p(h|X) [sesudah]: derajat kepercayaan bahwa h perluasan nyata dari C.
Model Bayesian
H: Ruang hipothesis dari konsep yang mungkin :
Sifat-sifat mathematis: genap, ganjil, persegi, prima, . . . .
Besaran pendekatan : {1-10}, {10-20}, {20-30}, . . . .
Besaran baris : semua interval antara 1 dan 100.
Sifat-sifat matematis (24 hipotesis):

Ganjil, genap, persegi, kubus, bilangan prima
Kelipatan bilangan bulat kecil
X = {x1, . . . , xn}: n contoh konsep C.

Evaluasi hipotesis diberi data:
Pangkat bilangan bulat kecil
Besaran baris (5050 hipotesis):

Semua interval pada bilangan bulat dengan titik ujung
antara 1 dan 100.
p (h | X )
Besaran pendekatan (10 hipotesis):
hH
Dekade (1-10, 10-20, 20-30, )
21
p ( X | h) p ( h)
p( X | h) p(h)
24
p(h) [sebelum]: domain pengetahuan, bias terdapat pada awal

p(X|h) [kemungkinan]: informasi statistik pada contoh .
p(h|X) [sesudah]: derajat kepercayaan bahwa h perluasan nyata dari C.
24
Ilustrasi prinsip besaran
Kemungkinan : p(X|h)
Prinsip ukuran : Hipotesis lebih kecil menerima
kemungkinan lebih besar, dan secara eksponensial lebih
sebanding n meningkat.
h1
1
p ( X | h)
jika x1 , , x n
size(h)
0 jika tiap x i h
Mengikuti dari asumsi pada contoh cuplikan secara acak.
2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
h2
Menangkap intuisi dari sampel representatif.

Data jauh lebih kejadian yang kebetulan dalam h1
25
28

2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
h2
M1
Hukum
Kepercayaan
konservatif
P
pd()
=
D
h1
M2
Semua himpunan data mungkin d
Untuk tiap model M,
26
29

h1
2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
p (D d | M ) 1

kompleks
h2
Data agak lebih kejadian yang kebetulan dalam h1
27
semua d D
30
25
Sebelum : p(h)
Sesudah :
Memilih ruang hipotesis mengandung sebuah sebelum

yang kuat: secara efektif, p(h) ~ 0 untuk banyak
mungkin secara logika tetapi secara konseptual hipotesis
tidak alamiah.
p( h | X )
p ( X | h) p ( h)
p( X | h) p(h)
hH
X = {60, 80, 10, 30}
Mencegah cocok berlebihan dengan spesifik tinggi tetapi

hipotesis jadi tidak alamiah, contoh. kelipatan 10
kecuali 50 dan 70.
Kenapa lebih menyukai kelipatan 10 dari nomer
genap ? p(X|h).
Kenapa lebih menyukai kelipatan 10 dari kelipatan
10 kecuali 50 dan 20 ? p(h).

Kenapa sebuah generalisasi baik perlu sebelum tinggi
dan kemungkinan tinggi ? p(h|X) ~ p(X|h) p(h)

31
34
Sebelum : p(h)
Memilih ruang hipotesis yang mengandung sebuah sebelum kuat :

secara efektif, p(h) ~ 0 untuk banyak mungkin secara logika tetapi
hipotesis tidak alamiah secara konseptual.
Probabilitas memberikan sebuah kejadian umum

untuk menyeimbangkan kekompleksitas model
sesuai dengan data.
Mencegah cocok berlebihan dengan spesifik tinggi tetapi hipotesis

jadi tidak alamiah, contoh kelipatan 10 kecuali 50 dan 70.
p(h) menyandi bobot relatif teori-teori alternatif
H: Total ruang hipotesis
p(H1) = 1/5
p(H2) = 3/5
H1: Sifat matematis (24)

nomer genap
pangkat 2
kelipatan 3
.
32
p(h) = p(H1) / 24
H2: Besarqn baris (5050)

10-15
20-32
37-54
. p(h) = p(H2) / 5050
p(H3) = 1/5
H3: Besaran pendekatan (10)

10-20
20-30
30-40
.
p(h) = p(H3) / 10
35
Pendekatan lebih kompleks untuk

sebelum /priors
Generalisasi ke obyek baru

Diberi p(h|X), bagaimana kita hitung p( y C | X ) ,
probabilitas bahwa C berlaku ke beberapa
rangsangan baru y ?
Mulai dengan himpunan dasar keteraturan R dan kombinasi operator
C.
Ruang hipotesis = klosur R dalam C.
C = {dan, atau}: H = kesatuan dan intersepsi keteraturan pada R (contoh
kelipatan 10 antara 30 dan 70).

C = {dan- bukan}: H = keteraturan pada R dengan perkecualian (contoh
kelipatan 10 kecuali 50 dan 70).

2 secara kualitatif serupa dengan sebelum :
Deskripsi panjang : banyaknya kombinasi dalam C yang dibutuhkan untuk
menghasilkan hipotesis dari R.

Pisau cukur Occam Bayesian, dengan model kelas-kelas didefinisikan oleh
banyaknya kombinasi: lebih banyak kombinasi

lebih rendah sebelum/prior.
33
lebih banyak hipotesis

36
26
Generalisasi ke obyek baru

Hipotesis meratakan :
Hitung probabilitas bahwa C berlaku ke beberapa
obyek baru y dengan meratakan prediksi semua
hipotesis h, diboboti oleh p(h|X):
p( y C | X )
y C | h) p ( h | X )
p(
hH
1 jika yh
0 jika yh
p( h | X )
h { y, X }
37
Contoh:
16
8
2
64
40
Contoh:
16
Contoh:
16
23
19
20
41
38
Model sesuai/cocok
Koneksi ke kesamaan berdasarkan fitur

Model Aditif pengelompokan pada kesamaan :
sij wk f ik f jk
Contoh nomer
ya
k
Hipotesis Bayesian meratakan :
p( y C | X )
60
p ( X | h) p ( h)
h { y , X }
p (h | X )
60 80 10 30
h { y , X }
Ekivalen jika kita identifikasi fitur fk dengan hipotesis h,
39
dan bobot wk dengan p( h | X )
60 52 57 55
42
Penilaian
Model Bayesian
(r = 0.96)
Model-model alternatif
Model sesuai/cocok
contoh
ya nomer
Penilaian
Jaringan syaraf
Model Bayesian
(r = 0.93)
16
genap
kelipatan kelipatan
10
3
pangkat
2
60
80
10
30
16 8 2 64
16 23 19 20
43
46
Ringkasan model Bayesian
Jaringan syaraf
Hipotesis peringkat dan eliminasi
Bagaimana statistik pada sampel berinteraksi
dengan pengetahuan sebelum untuk menuntut

generalisasi ?
Hipotesis
peringkat:
sesudah kemungkinan sebelum
kelipatan
10
kelipatan
3
pangkat
2
60
80
10
30
atau berdasarkan kesamaan ?

hipotesis meratakan prinsip ukuran
lebar p(h|X): kesamaan gradien

sempit p(h|X): semua-atau-tidak ada aturan
1
genap
Kenapa generalisasi muncul berdasarkan aturan
44
27
47
Ringkasan model Bayesian
Jaringan syaraf
Bagaimana statistik pada sampel berinteraksi
Kesamaan tipe /jenis
dengan pengetahuan sebelum untuk menuntut

generalisasi ?
Rata-rata kesamaan :
p( y C | X )
sesudah kemungkinan sebelum
1
sim( y, x j )
| X | x X
j
60
Kenapa generalisasi muncul berdasarkan aturan
atau berdasarkan kesamaan ?
60 80 10 30
hipotesis meratakan prinsip ukuran
45
Banyak h pada kesamaan ukuran: lebar p(h|X)

Satu h jauh lebih kecil : sempit p(h|X)
60 52 57 55
48
Data
Model (r = 0.80)
28
Ringkasan
Generalisasi dari data terbatas mungkin melalui interaksi
Jaringan syaraf
pada pengetahuan terstruktur dan statistik.
Pengetahuan terstruktur : ruang kandidat aturan-aturan, teori- teori
yang membangkitkan ruang hipotesis (misal hirarki sebelum)
Kesamaan tipe/jenis
Statistik: pisau cukur Occam Bayesian (Bayesian Occams razor).
Maks kesamaan :
Pemahaman interaksi lebih baik antara konsep berlawanan
p( y C | X ) max sim ( y , x j )
secara tradisional:
x j X
Aturan-aturan dan statistik

Aturan-aturan dan kesamaan
60
Menjelaskan kenapa pusat tetapi konsep-konsep level
pemrosesan terkenal licin bekerja dengan cara mereka

lakukan.
60 80 10 30
Kesamaan
Kerepresentatifan
60 52 57 55
- Aturan-aturan dan kerepresentatifan

49
Data
Model (r = 0.64)
52
Kenapa Bayes ?
Kerangka untuk menjelaskan kognitif.
Bagaimana orang belajar banyak dari data terbatas demikian.
Kenapa model-model level proses bekerja dengan cara mereka
lakukan.
Model kuantitatif kuat dengan minimal asumsi ad hoc.
Jaringan syaraf
Kesamaan tipe /jenis
Rata-rata kesamaan
Maks kesamaan
Fleksibel kesamaan ?
terstruktur dan kesimpulan statistik berinteraksi.
Bayes.
Bagaimana pengetahuan terstruktur menuntun kesimpulan statistik,
dan dirinya diperoleh melalui pembelajaran statistik order lebih

tinggi.
Bagaimana kesederhanaan bertukar dengan kecocokan data dalam
mengevaluasi struktural-struktural hipotesis (Occams razor).

Bagaimana kompleksitas struktur meningkat dapat tumbuh
sebanding dibutuhkan data baru, dari pada didefinisikan lebih awal/

sebelum.
50
53
Model-model teori berdasarkan

Bayesian
Jaringan syaraf
Kesimpulan statistik rasional (Bayes):

Kesamaan tipe / jenis
p( h | d )
Peralatan heuristik sederhana
p( d | h) p( h)
p(d | h) p(h)
hH
60: kesamaan umum

60 80 10 30: paling umum aturan spesifik (subset prinsip).
Teori domain pembelajaran menghasilkan ruang hipotesis
60 52 57 55: kesamaan dalam besaran
mereka H dan p(h) sebelumnya.

Kecocokan baik terhadap struktur dalam dunia nyata/alamiah.
Kenapa heuristik ini? Kapan gunakan heuristik yang mana?

Bayes.
51
Kesimpulan yang mudah dikerjakan secara komputasional.

54
Pembelajaran Kasus Lanjutan 1: Kausalitas
BAB 4
PEMBELAJARAN KASUS LANJUTAN 1:
KAUSALITAS
29
30
Bekerja pada level komputasional

statistik
Apa problem komputasional ?

masukan: data
keluaran: solusi
Pembelajaran Kasus Lanjutan 1
Bekerja pada level komputasional

statistik
Apa Problem komputasional ?
Pengantar Kausalitas
masukan : data
keluaran: solusi
Apakah pengetahuan ini tersedia bagi pembelajar ?

Dari mana pengetahuan ini berasal ?
Model-Model Teori Berdasarkan

Bayesian
Analisis 3 Level
Komputasi:
Apa tujuan komputasi, kenapa itu sesuai, dan apa logika

strategi dengan mana itu dapat dikerjakan?
p( h | d )
Representasi dan algoritma :
p( d | h) p( h)
p(d | h) p(h)
hH
Psikologi kognitif
Implementasi:
Teori domain pembelajar menghasilkan ruang hipotesis H
Neurobiologi
mereka dan p(h) sebelum.

Cocok baik terhadap struktur dunia nyata.
Mampu belajar dari data terbatas.
Kesimpulan mudah dengan komputasional.
31
Jaringan Bayes dan diluar ...

Apa jaringan Bayes ?
Kausalitas
model model grafik

model-model grafik kausal
Contoh : induksi kausal elemental

Diluar jaringan Bayes
pengetahuan lain dalam induksi kausal
Formalisasi teori-teori kausal
10
Model-model grafik
Ekspresi struktur ketergantungan probabilistik di
Dengan meningkatnya populer pendekatan untuk
antara sebuah himpunan variabel (Pearl, 1988)
mempelajari kesimpulan kausal manusia
Terdiri dari
(misal, Glymour, 2001; Gopnik, 2004)
sebuah himpunan simpul, sesuai dengan variabel-variabel
3 reaksi :
sebuah himpunan tepi-tepi, menunjukkan
ketergantungan
Jaringan Bayes adalah solusi !
sebuah himpunan fungsi grafik terdefinisi yang
Jaringan Bayes adalah hal hilang, tidak yakin kenapa
mendefinisikan sebuah distribusi probabilitas
11
Model-model grafik tidak langsung

model model grafik
X3
X1
X2
X4
X5
Terdiri dari
sebuah himpunan simpul
sebuah himpunan tepi-tepi

sebuah potensial untuk tiap kumpulan, dikalikan bersama untuk
menghasilkan distribusi atas variabel-variabel

Contoh
statistik fisik : model Ising, spinglasses
jaringan syaraf tahap awal (misal, mesin Boltzmann)
9
12
32
Model-model grafik langsung
Representasi efisien dan kesimpulan
X3
X1
X2
3 variabel biner : Cavity, Toothache, Catch
X4
X5
Terdiri dari
sebuah himpunan simpul
sebuah himpunan tepi
distribusi probabilitas kondisional untuk tiap simpul, kondisikan
pada induknya, dikalikan bersama untuk menghasilkan distribusi

atas variabel-variabel
Dibatasi untuk directed acyclic graphs (DAG)
AKA: jaringan Bayesian, jaringan Bayes
13
16
Jaringan Bayesian dan Bayes

3 variabel biner : Cavity, Toothache, Catch
2 problem beda
Statistik Bayesian adalah sebuah metode kesimpulan
Spesifikasi P(Cavity, Toothache, Catch) butuh 7
Jaringan Bayesian adalah sebuah bentuk representasi
parameter (1 untuk tiap himpunan nilai, minus 1

karena distribusi probabilitasnya)
Tidak ada koneksi perlu

Banyak pemakai jaringan Bayesian bersandar pada ahli
metode statistik (contoh. Glymour)
Dengan n variabel, kita perlu 2n -1 parameter
Banyak kesimpulan Bayesian tidak dapat dengan mudah di
Disini n=3. Secara realistik, lebih banyak : X-ray,
representasikan menggunakan jaringan Bayesian
14
diet, oral hygiene, personality, . . . .

17
Independensi kondisional
Sifat-sifat jaringan Bayesian
Semua 3variabel adalah tergantung, tetapi Toothache
dan Catch adalah tak tergantung diberikan pada

sekarang atau tidak ada Cavity
Pada suku probabilistik:

mengeksplorasi ketergantungan struktur membuatnya
mudah untuk merepresentasi dan menghitung dengan

probabilitas
P(ache catch | cav) P (ache | cav) P (catch | cav )

P(ache catch | cav) P (ache | cav) P (catch | cav)
Penjelasan jauh
1 P(ache | cav)P(catch | cav )
pola karakteristik pemikiran probabilistik pada jaringan
Dengan n variabel kejadian, x1, , xn, kita perlu 2 n
Bayesian, terutama awal pemakaian pada AI
15
probabilitas kondisional :
18
P( xi | cav), P ( xi | cav)
33
Sistem lebih kompleks
Jaringan Bayesian sederhana
Battery
Representasi grafik relasi antara sebuah himpunan
Radio
variabel acak :
Ignition
Starts
Cavity
Toothache
Gas
On time to work
Catch
Distribusi bersama memadai untuk tiap kesimpulan :
Interpretasi probabilistik : faktorkan suku kompleks
P( A, B, C )
P( B , R, I , G, S , O) P ( B ) P( R | B ) P( I | B ) P(G ) P (S | I , G ) P(O | S )
P (V | parents[V ])
Algoritma kesimpulan umum : pesan lokal melewati
V { A, B,C }
(perambatan kepercayaan; Pearl, 1988)

Efisiensi tergantung pada kekurangan struktur grafik
P( Ache, Catch, Cav ) P ( Ache, Catch | Cav ) P (Cav )

P( Ache | Cav) P (Catch | Cav ) P (Cav )
19
22
Penjelasan jauh
Battery
Radio
Ignition
Rain
Gas
Sprinkler
Grass Wet
Starts
P( R, S , W ) P ( R )P ( S ) P (W | S , R )
On time to work
Anggap grass/rumput akan wet/basah jika dan hanya
jika rained/hujan tadi malam, atau jika

sprinkler/siraman tertinggal :
P( B , R, I , G, S , O) P( B ) P ( R | B ) P ( I | B) P (G ) P( S | I , G ) P(O | S )
P( B) P( R | B) P( I | B) P(G) P(S | I , G ) P(O | S )

P(O, G) B , R , I , S
P(O | G )
P (G)
P (G)
20
P(W w | S , R ) 1 jika S s atau R r
0 jika R r dan S s.
23
Penjelasan jauh
Battery
Radio
Ignition
Rain
Gas
Sprinkler
Grass Wet
Starts
P( R, S , W ) P ( R )P ( S ) P (W | S , R )
On time to work
0 jika R r dan S s.
P( B , R, I , G, S , O) P( B ) P ( R | B ) P ( I | B) P (G ) P( S | I , G ) P(O | S )
Hitung probabilitas
hujan tadi malam,
diberikan bahwa rumput
basah
P (O, G)
P(O | G )
P( B ) P ( I | B ) P (S | I , G) P(O | S )
P (G )
S B,I
21
24
P(r | w)
P ( w | r ) P( r )
P( w)
34
Penjelasan jauh
Penjelasan jauh
Rain
Rain
Sprinkler
Grass Wet
Grass Wet
P( R, S , W ) P ( R )P ( S ) P (W | S , R )
P( R, S , W ) P ( R )P ( S ) P (W | S , R )

0 jika R r dan S s.
0 jika R r dan S s.
Hitung probabilitas
hujan tadi malam,
basah
P( r | w )
Hitung probabilitas
hujan tadi malam,
basah
P ( w | r ) P( r )
P(w | r, s) P(r , s)
r , s
25
P( r | w )
P( r )
P ( r ) P ( r ) P ( s )
Antara 1 dan P(s)
28
Penjelasan jauh
Rain
Penjelasan jauh
Sprinkler
Rain
Grass Wet
P( R, S , W ) P ( R )P ( S ) P (W | S , R )

0 jika R r dan S s.
Hitung probabilitas
hujan tadi malam,
basah
P( r | w )
Sprinkler
Grass Wet
P( R, S , W ) P ( R )P ( S ) P (W | S , R )

0 jika R r dan S s.
Hitung probabilitas
hujan tadi malam,
P( w | r , s ) P ( r | s )
diberikan bahwa rumput P(r | w, s )
P( w | s )
basah dan siraman
Kedua suku = 1
tertinggal
P( r )
P (r , s ) P (r , s ) P (r , s )
26
29
Penjelasan jauh
Rain
Penjelasan jauh
Sprinkler
Rain
Grass Wet
P( R , S , W ) P( R ) P (S ) P(W | S , R )

0 jika R r dan S s.
Hitung probabilitas
hujan tadi malam,
basah
P(r | w)
Sprinkler
Grass Wet
P( R, S , W ) P ( R )P ( S ) P (W | S , R )
27
Sprinkler

0 jika R r dan S s.
Hitung probabilitas
hujan tadi malam,
diberikan bahwa rumput P(r | w, s) P (r | s ) P(r )
basah dan siraman
tertinggal
P( r )
P ( r ) P ( r , s )
30
P(r )
35
Penjelasan jauh
Kontras dengan menyebar aktiva
Rain
Sprinkler
Rain
Grass Wet
Grass Wet
Kaitan rangsang: Rain
P( R, S , W ) P ( R )P ( S ) P (W | S , R )
Kaiatan hambat: Rain
P( r )
P ( r ) P ( r ) P ( s )
P(r | w, s) P (r | s ) P (r )
P (r )
mendiskontokan
Probabilitas sebelum.
31
Wet
34
Kontras dengan sistem produksi

Rain

Rain
Sprinkler
Grass Wet
Formula aturan IF-THEN (jika-maka) :

IF Rain THEN Wet
IF Wet THEN Rain
Tiap variabel baru memerlukan lebih banyak

koneksi hambat.
Interaksi antara variabel adalah tidak kausal.
Tidak modular.
IF Wet AND NOT Sprinkler

THEN Rain
Aturan tidak membedakan arah kesimpulan

Memerlukan letupan kombinatorial aturan-aturan
32
35

Rain
Burst pipe
Sprinkler
Grass Wet
Apakah sebuah koneksi terdapat tergantung pada apa

yang koneksi lain ada, pada cara tidak-transparansi.
Problem besar holisme.
Letupan kombinatorial .
Model-model grafik
Sprinkler
Menangkap ketergantungan struktur dalam distribusi
Grass Wet
Memberi sebuah alat efisien representasi dan pemikiran
dengan probabilitas
Kaitan rangsang : Rain
Wet, Sprinkler
Wet
Amati rain, Wet menjadi lebih aktif.
Amati grass wet/rumput basah, Rain/hujan dan
Sprinkler/siraman menjadi lebih aktif.
Amati grass wet dan sprinkler, Rain tidak dapat
menjadi kurang aktif. Tidak menjelaskan jauh !
33
Wet, Sprinkler
Sprinkler
Amati grass wet/rumput basah, Rain dan Sprinkler

menjadi lebih aktif
Amati grass wet dan sprinkler, Rain menjadi kurang
aktif : menjelaskan jauh.
0 jika R r dan S s.
P( r | w )
Sprinkler
Memungkinan jenis-jenis kesimpulan yang adalah
problematik untuk representasi lain: menjelaskan jauh.

sulit menangkap sebuah sistem produksi
sulit menangkap dengan penyebaran aktivasi
36
36
Pengamatan dan intervensi
Battery
Radio
model model grafik
Ignition
Gas
Starts
On time to work

Model grafik :
P(Radio|Ignition)
Model grafik kausal :
P(Radio|do(Ignition))
grafik pembedahan menghasilkan grafik kompong

40
37
Model-model grafik kausal
Menilai intervensi
Model-model grafik merepresentasikan ketergantungan
Menghitung P(Y|do(X=x)), hapus semua tepi-tepi datang
statistik di antara variabel-variabel (yaitu korelasi)
ke X dan alasan dengan hasil jaringan Bayesian (do

calculus; Pearl, 2000)
dapat menjawab pertanyaan mengenai pengamatan
Model-model grafik kausal merepresentasikan
ketergantungan kausal di antara variabe-variabel
Memungkinkan sebuah struktur tunggal untuk membuat
mengekspresikan pentingnya struktur kausal
prediksi mengenai pengamatan dan intervensi
dapat menjawab pertanyaan mengenai baik pengamatan dan
intervensi (aksi-aksi atas sebuah variabel)
38
41
Kausalitas menyederhanakan
kesimpulan
Pengamatan dan intervensi

Battery
Radio
Ignition
Menggunakan representasi pada mana arah kausalitas dengan benar
Gas
menghasilkan grafik jarang /tersebar disana sini

Mestinya kita mendapat arah kausalitas salah, berpikir bahwa
Starts
gejala menyebabkan penyakit:
On time to work
Tidak menangkap korelasi antara gejala-gejala : percaya palsu
P(Ache, Catch) = P(Ache) P(Catch).
Model grafik :
P(Radio|Ignition)
Model grafik kausal :
P(Radio|do(Ignition))
Ache
Catch
Cavity
39
42
37
kesimpulan
Struktur kausal vs. kekuatan kausal
Menggunakan representasi pada mana arah kausalitas
dengan benar menghasilkan grafik jarang /tersebar

disana sini
Mestinya kita mendapat arah kausalitas salah,
berpikir bahwa gejala menyebabkan penyakit:
Ache
Catch
Cavity
Menyisip sebuah panah baru yang memungkinkan
Kekuatan : seberapa kuat sebuah hubungan ?
kita menangkap korelasi ini.

Model ini terlalu kompleks: tidak percaya bahwa
43
P( Ache, Catch | Cav ) P ( Ache | Cav) P (Catch | Cav)
46
kesimpulan
Menggunakan representasi pada mana arah kausalitas
dengan benar menghasilkan grafik jarang /tersebar

disana sini
Mestinya kita mendapat arah kausalitas salah,
berpikir bahwa gejala menyebabkan penyakit:
Ache
w1
w0
B
w0
X-ray
Catch
Cavity
kekuatan: seberapa kuat sebuah hubungan ?

menuntut definisi alamiah hubungan
Gejala-gejala baru memerlukan sebuah proliferasi

44
/penyebaran kombinatorial panah baru. Ini

mereduksi efisiensi kesimpulan.
Pembelajaran model-model grafik

kausal
C
47
Parameterisasi
Struktur:
h0 =
Parameterisasi:
C B
Struktur: apakah sebuah hubungan terdapat?
48
0
1
0
1
0
0
1
1
Kekuatan: seberapa kuat sebuah hubungan?
45
h1 = B
Generik
h1: P(E = 1 | C, B)
p00
p10
p01
p11
h0: P(E = 1| C, B)
p0
p0
p1
p1
38
Parameterisasi
h1 =
Struktur :
B
w0
h0 =
B
w0
w1
w0, w1: kekuatan parameter untuk B, C

Parameterisasi:
C B
49
0
1
0
1
h1: P(E = 1 | C, B)
0
0
1
1
h0: P(E = 1| C, B)
0
w1
w0
w1+ w0
Struktur: apakah sebuah hubungan terdapat ?
0
0
w0
w0
52
Parameterisasi
h1 =
Struktur :
Linear
Pendekatan ke struktur pembelajaran

B
w0
w1
h0 =
Dasar-pembatasan
w0
deduksi struktur dari ketergantungan
tergantungan dari uji statistik (contoh, 2)
w0, w1: kekuatan parameters untuk B, C

Parameterisasi:
C B
50
0
1
0
1
0
0
1
1
(Pearl, 2000; Spirtes., 1993)
Noisy-OR
h1: P(E = 1 | C, B)
h0: P(E = 1| C, B)
0
w1
w0
w1+ w0 w1 w0
0
0
w0
w0
53
Pengestimasian parameter
Pengestimasian kemungkinan maksimum :
Dasar-pembatasan :
ketergantungan dari uji statistik (contoh, 2)

maximize i P(bi,ci,ei; w0, w1)
E
Metode Bayesian : seperti pada membandingkan
hipotesis banyak tak terbatas contoh ..
51
54
39

Dasar pembatasan :
Model-model grafik kausal

Model-model perluasan grafik untuk menangani
intervensi maupun pengamatan
Berkenaan dengan hasil arah kausalitas dalam
representasi efisien dan kesimpulan

2 langkah pada model-model pembalajaran kausal
pengestimasian parameter
struktur pembelajaran
58
55

Dasar-pembatasan :

model model grafik



Berusaha untuk reduksi problem induktif ke problem

deduktif
56
59

Dasar pembatasan :
Elemen induksi kausal
ketergantungan dari uji statistik(eg. 2)
C ada
C tidak ada
E ada
E tidak ada
E
Bayesian:
Hitung probabilitas
struktur sesudah,
diberi data teramati
57
P(S|data) P(data|S) P(S)
P(S1|data)
P(S0|data)
(Heckerman, 1998; Friedman, 1999)
Kepada perluasan apa C menyebabkan E?

60
40
Buehner dan Cheng (1997)
w1
w0
B
w0
E
Kekuatan : seberapa kuat hubungan ?
Struktur: apaka hubungan terdapat ?
64
61
Kekuatan kausal
Asumsi struktur :
Pentingnya parameterisasi
B
w0
w1
mekanisme asumsi gabungan Noisy-OR :

generativitas: sebab-sebab meningkatkan probabilitas efek
tiap sebab adalah memadai menghasilkan efek
sebab-sebab bertindak melalui mekanismse independen
(Cheng, 1997)
Model-model penting (DP dan daya kausal) adalah
Meninjau model-mode lain:
estimasi kemungkinan maksimum pada kekuatan

parameter w1, dalam parameterisasi beda untuk
P(E|B,C):
ketergantungan statistik : uji 2

parameterisasi generik (Anderson, computer science)
linear DP, Noisy-OR daya kausal

62
65
catatan : noise-or = derau - atau
Struktur kausal
Hipotesis:
h1 = B
h0 =
Kesimpulan kausal Bayesian :

2
support =
1 1
P(data | h1)
0 0
P(data | w0 , w1) p( w0 , w1 | h1) dw0 dw1
P (data | h0 ) P(data | w0 ) p ( w0 | h0 ) dw0

0
63
66
41
Generativitas adalah esensi

P(e+|c+)
P(e+|c-)
8/8
8/8
6/8
6/8
4/8
4/8
100
50
0
kimia
gen
2/8
2/8
0/8
0/8
Clofibrate
Wyeth 14,643
Gemfibrozil
Phenobarbital
Support
Hasil prediksi dari ceiling effect

ceiling effects hanya satu-satunya jika kamu percaya sebuah
Carnitine Palmitoyl Transferase 1
p450 2B1
sebab meningkatkan probabilitas sebuah efek
Hamadeh . (2002) Toxicological sciences.
70
67
Kimia X
kimia
gen

model model grafik
peroxisome proliferators
Clofibrate
Wyeth 14,643
Gemfibrozil
Phenobarbital

formalisasi teori-teori kausal
p450 2B1
68
71
kimia
gen
Hamadeh et al. (2002) Toxicological sciences.
Menggunakan model-model grafik

kausal
3 pertanyaan (biasanya diselesaikan oleh periset)
Clofibrate
Wyeth 14,643
Gemfibrozil
variabel-variabel apa?
Phenobarbital
struktur apa yang masuk akal ?

bagaimana variabel-variabel berinteraksi ?
Bagaimana pertanyaan ini dijawab jika model-model
grafik kausal digunakan dalam kognitif ?

p450 2B1
69

Hamadeh . (2002) Toxicological sciences.
72
42
Penghalangan /Blocking

model model grafik
Trial 1
Trials 3, 4
Trial 2
2 obyek : A dan B

Coba 1: A pada detektor detektor aktif
formalisasi teori-teori kausal
Coba 2: B pada detektor detektor tak aktif

Coba 3,4: A B pada detektor detektor aktif
3, 4-tahun umur (anak) menilai apakah tiap obyek adalah
sebuah blicket
A: sebuah blicket
B: bukan sebuah blicket
73
76
Kesimpulan deduktif ?
Teori-dasar induksi kausal
Hukum kausal : detektor mengaktifkan jika dan hanya
jika satu atau lebih obyek pada atasnya adalah blicket.
Toeri kausal
P(h|data) P(data|h) P(h)
Ontologi
Relasi masuk akal
Bentuk fungsional
Evaluasi dengan kesimpulan statistik

P(h1) = r
h1:
Premis:
X
B
Coba 2: B pada detektor detektor tak aktif

Coba 3,4: A B pada detektor detektor aktif
P(h0) =1 r
h0:
X
B
Kesimpulan dideduksi dari premis-premis dan hukum
kausal :
A: sebuah blicket
menghasilkan
74
B: bukan sebuah blicket
Ruang hipotesis model-model grafik causal
77
Penghalangan arah balik

Detektor Blicket
(Sobel, Tenenbaum & Gopnik, 2004)
(Gopnik, Sobel, dan kolega)
A
Lihat ini ? Ini sebuah Letakkan ini pada
mesin blicket .
mesin.
Blicket membuatnya jalan.
Trial 1
Trial 2
2 obyek: A dan B
Oooh, ini sebuah

blicket!
Coba 1: A B pada detektor detektor aktif

4-tahun umur menilai apakah tiap obyek adalah sebuah
blicket
A: sebuah blicket (100% penilaian)
B: mungkin bukan sebuah blicket (66% penilaian)
75
78
43
Teori
Teori
Ontologi
Tipe-tipe: Block/halang, Detector/ detektor, Trial/coba
Prediksi :
cause =sebab
Contact(Block, Detector, Trial)
Active(Detector, Trial)
Pembatasan pada relasi-relasi kausal

Untuk tiap Block b dan Detector d, dengan probabilitas
sebelum q : Cause(Contact(b,d,t), Active(d,t))
contact=kontak
active =aktif
Pembatasan pada relasi-relasi kausal

Untuk tiap Block b dan Detector d, dengan probabilitas
sebelum q : Cause(Contact(b,d,t), Active(d,t))
Bentuk fungsional relasi-relasi kausal
Sebab-sebab pada Active(d,t) adalah mekanisme
independen, dengan kekuatan kausal wi. Latar belakang
sebab mempunyai kekuatan w0. Asumsikan sebuah
mekanisme dekat-deterministik : wi ~ 1, w0 ~ 0.
79
P(h00) = (1 q)2
h00 :
tidak ada hipotesis

dengan
E
B, E A,
A
B, dst-nya.
P(h10) = q(1 q)
h10 :
P(h11) = q2
P(h01) = (1 q) q
= A adalah blicket
h01 :
h11 :
82
Teori
Teori
Bentuk fungsional relasi-relasi kausal

Sebab-sebab padaActive(d,t) adalah mekanisme
independen, dengan kekuatan kausal wb. Latar belakang
sebab mempunyai kekuatan w0. Asumsikan sebuah
mekanisme dekat-deterministik : wb ~ 1, w0 ~ 0.
Ontologi
Types: Block, Detector, Trial
Prediksi :
P(h00) = (1 q)2
P(E=1 | A=0, B=0):

P(E=1 | A=1, B=0):
P(E=1 | A=0, B=1):
P(E=1 | A=1, B=1):
83
80
Teori

P(h01) = (1 q) q
A
P(h10) = q(1 q)
A
P(h11) = q2
A
0
0
0
0
0
0
1
1
0
1
0
1
0
1
1
1
Hukum aktivasi: E=1 jika dan hanya jika A=1 atau B=1.
Kesimpulan Bayesian
Ontologi
Tipe-tipe : Block, Detector, Trial
Prediksi :
Mengevaluasi model-model kausal dalam data ringan:
P(d | hi ) P (hi )
P( d | h j ) P( h j )
P( hi | d )
h H
j
Menyimpulkan sebuah relasi kausal khusus :
A = 1 jika Contact(block A, detector, trial), lain 0

B = 1 jika Contact(block B, detector, trial), lain 0
E = 1 jika Active(detector, trial), lain 0
81
P( A E | d )
P( A E | h j ) P( h j | d )
h H
j
84
44
Memodelkan penghalangan
arah balik
P(h00) = (1 q)2
A
P(E=1 | A=0, B=0):

P(E=1 | A=1, B=0):
P(E=1 | A=0, B=1):
P(E=1 | A=1, B=1):
P(h01) = (1 q) q
A
P(h10) = q(1 q)
A
Memanipulasi sebelum
I. Fase pelatihan awal : Blicket adalah jarang . . . .
P(h11) = q2
0
0
0
0
0
0
1
1
0
1
0
1
0
1
1
1
II. Fase penghalangan arah balik :
P ( B E | d ) P ( h01 ) P ( h11 )
q
P( B
E | d ) P( h00 ) P ( h10 ) 1 q
85
88
arah balik
P(h00) = (1 q)2
A
P(E=1 | A=1, B=1):
P(h01) = (1 q) q
A
P(h10) = q(1 q)
A
Kondisi langka: Pertama amati 12 obyek pada
detektor, dimana 2 menonaktifkannya.
P(h11) = q2
P ( B E | d ) P (h01 ) P (h11 )
1
P( B
E | d)
P (h10 )
1 q
86
89
arah balik
P(h01) = (1 q) q
A
P(h10) = q(1 q)
A
Batas dasar
setelah AB coba
setelah A coba
Kondisi umum : Pertama mengamati 12 obyek pada
detektor, dimana 10 menonaktifkannya.
P(h11) = q2
A
P(E=1 | A=1, B=0):
P(E=1 | A=1, B=1):
87
Trial 2
A
B
Trial 1
Setelah tiap coba, orang dewasa menilai probabilitas bahwa tiap
obyek adalah sebuah blicket.
P ( B E | d ) P (h11 )
q
P( B
E | d ) P (h10 ) 1 q
90
Batas dasar
setelah AB coba
setelah A coba
45
Peran mekanisme pengetahuan

kausal
Kesimpulan dari data menyangsikan

I. Fase pelatihan awal : Blicket adalah jarang . . . .
Apa mekanisme pengetahuan perlu ?

Pembelajaran berdasarkan pembatasan menggunakan uji 2
pada independensi kondisional .
II. 2 coba: A B
detektor, B C
detektor
Seberapa penting bentuk fungsional deterministik relasi
kausal ?
Bayes dengan teori sebab-sebab cukup derau /noisy
(misal, teori daya kausal dari Cheng).

A
91
Trial 2
Trial 1
Setelah tiap kali coba, orang dewasa menilai probabilitas bahwa

tiap obyek adalah sebuah blicket.
Teori domain sama membangkitkan ruang

hipotesis untuk 3 obyek :
A
Hipotesis :
h000 =
E
A
h010 =
E
A
h110 =
h100 =
h001 =
h101 =
E
C
h111 A=
Bayes dengan teori sebab-sebab cukup derau :
kemungkinan: P(E=1| A, B, C; h) = 1 jika A = 1 dan A
atau B = 1 dan B
atau C = 1 dan C
lain 0.
92
Bayes dengan teori sesuai:
h011 =
E
94
E ada,
E ada,
E ada,
95
Kondisi langka : pertama amati 12 obyek pada
Teori-berdasarkan induksi kausal
detektor, dimana 2 dinonaktifkan.
Menjelaskan satu kali kesimpulan kausal mengenai
sistem fisik: detektor-detektor blicket

Menangkap spektrum kesimpulan :
data tidak mendua arti: orang dewasa dan anak-anak
membuat semua atau sama sekali tidak ada kesimpulan

data mendua arti/ragu: orang dewasa dan anak-anak
membuat lebih banyak tingkatan kesimpulan

Memperluas ke kasus-kasus lebih kompleks dengan
variabel-variabel tersembunyi, sistem dinamik :datang ke

jalan saya!
93
96
46
Ringkasan
Model garfik kausal memberikan sebuah bahasa untuk
mempertanyakan mengenai kausalitas

Isu-isu kunci pada pemodelan induksi kausal :
apa yang kita maksud dengan induksi kausal ?
bagaimana pengetahuan dan statistik berinteraksi?
Pendekatan Bayesian memungkinkan eksplorasi
jawaban-jawaban beda untuk pertanyaan- pertanyaan

ini
97
Pembelajaran Kasus Lanjutan 2: Ciri/ Sifat
BAB 5
PEMBELAJARAN KASUS LANJUTAN 2:
CIRI/ SIFAT
47
48
Pertanyaan besar
Bagaimana kita dapat generalisasi konsep baru handal
dari satu atau beberapa contoh ?

Mempelajari makna kata
Pembelajaran Kasus Lanjutan 2
horse
horse
horse
Pertanyaan besar
Ciri / Sifat
dari hanya satu atau beberapa contoh ?

Mempelajari makna kata, relasi-relasi kausal, aturan
sosial, .
Sifat induksi
Gorillas punyai T4 sel.

Squirrels punyai T4 sel.
Gorillas punya T4 sel.

Chimps punya T4 sel.
Semua mamalia punya T4 sel.
Semua mamalia punya T4 sel.
Contoh lebih tersebar

2
Apakah kesimpulan rasional adalah

jawaban?
Pertanyaan besar
Setiap hari induksi sering muncul mengikuti prinsip
kesimpulan ilmu pengetahuan rasional.
dari hanya satu atau beberapa contoh ?
Dapatkah itu menjelaskan keberhasilannya ?
Mempelajari makna kata, relasi-relasi kausal, aturan
sosial, .
Tujuan pembahasan ini: sebuah model komputasi rasional
Sifat induksi
pada generalisasi induktif manusia.
Gorillas punyai T4 sel.

Squirrels punyai T4 sel.
Menjelaskan pendekatan penilaian terhadap kesimpulan
optimal pada lingkungan alamiah/nyata.
Semua mamalia punyai T4 sel.
Dekat sesuai kuantitatif terhadap penilaian orang dengan
sebuah minimum yang bebas parameter atau asumsi.
Seberapa mungkin kesimpulan (target) diberikan premis premis (contoh-contoh)?

4
generalisasi lebih kuat
49
Sebuah percobaan
Teori- dasar model Bayesian
(Osherson, dkk, 1990)
p( h | d )
20 subyek merangking 45 argumen:
p( d | h) p( h)
p(d | h) p(h)
X1 punya sifat P.
X2 punya sifat P.
X3 punya sifat P.
hH
semua mamalia punya sifat P.
Teori domain pembelajar menghasilkan ruang hipotesis

40 subyek beda merangking kesamaan semua
H mereka dan p(h) sebelum.
pasangan 10 mamalia.
Sangat cocok terhadap struktur dunia nyata/alamiah.

Kesimpulan mudah dengan komputasional.
7
10
Model-model dasar kesamaan (Osherson,
Rencana pembahasan
dkk.)
Model-model berdasarkan kesamaan

Teori-berdasarkan model
strength(semua mamalia | X )
Model-model Bayesian
sim(i, X )
imamalia
Empiricist Bayes
Teori-berdasarkan Bayes, dengan teori-teori beda
Model-model koneksionis (PDP)
Teori lanjutan berdasarkan Bayes

Pembelajaran dengan teori domain banyak
Pembelajaran teori-teori domian
Mamalia:
Contoh :
11
Rencana pembahasan
dkk.)

Empiricist Bayes

sim(i, X )
imamalia
12
Mamalia:
Contoh :
50
dkk.)
dkk.)
sim(i, X )
imamalia
sim(i, X )
imamalia
Max-Kesamaan:
x
sim(i, X ) max sim(i, j )
Mamalia:
Contoh :
13
j X
Mamalia:
Contoh :
x
16
dkk.)
dkk.)
sim(i, X )
imamalia
sim(i, X )
imamalia
Max-Kesamaan :
x
Mamalia:
Contoh :
Mamalia:
Contoh :
14
17
dkk.)
dkk.)
sim(i, X )
imamalia
sim(i, X )
sim(i, j )
sim(i, X )
imamalia
Max-Kesamaan :
Jumlah-Kesamaan :
x

j X
jX
x
x
Mamalia :
Contoh : x
15
j X
18
Mamalia:
Contoh :
51
Data vs. model-model
dkk.)
sim(i, X )
imamalia
Max-Kesamaan :
j X
Model
Mamalia:
Contoh :
19
Tiap merepresentasi satu argumen:
22
X1 punya sifat P.
X2 punya sifat P.
X3 punya sifat P.
Semua mamalia punya sifat P.
3 himpunan data

dkk.)
sim(i, X )
Max-sim
imamalia
Max-Kesamaan :
Sum-sim
j X
Kesimpulan
jenis:
Mamalia:
Contoh :
20
23
Banyaknya
contoh :
horses
semua mamalia
horses
1, 2, atau 3
Fitur /ciri peringkat data
Sum-sim vs Max-sim
(Osherson dan Wilkie)
2 model muncul secara fungsional serupa :
Orang diberi 48 binatang, 85 fitur/ciri, dan diminta
Kedua meningkat secara monotonik sebanding contoh
merangking apakah tiap binatang mempunyai tiap ciri .
baru diamati.
Alasan lebih menyukai Sum-sim:
Contoh, elephant:
Bentuk standar model contoh kategorisasi, memori, dan
pengenalan obyek.
Analogi pada teknik estimasi kerapatan kernel dalam
statistik pengenalan pola.
Alasan lebih menyukai Max-sim:
Cocok untuk generalisasi penilaian . . . .
21
24
'gray' 'hairless' 'toughskin'

'big' 'bulbous' 'longleg'
'tail' 'chewteeth' 'tusks'
'smelly' 'walks' 'slow'
'strong' 'muscle 'quadrapedal'
'inactive' 'vegetation' 'grazer'
'oldworld' 'bush' 'jungle'
'ground' 'timid' 'smart'
'group'
52
Analisis 3 level Marr

Komputasi:
Jenis 1
Jenis 2
Jenis 3
Jenis 4
Jenis 5
Jenis 6
Jenis 7
Jenis 8
Jenis 9
Jenis 10
Representasi dan algoritma:
Max-sim, Sum-sim
Implementasi:
Sifat baru
Ciri
25
Apa tujuan komputasi, kenapa itu sesuai, dan apa logika

strategi yang dapat dikerjakan?
?
?
?
?
?
?
?
Hitung kesamaan berdasarkan jarak

Hamming, A B A B atau cosinus.
Generalisasi berdasarkan Max-sim atau
Sum-sim.
Neurobiologi
28
3 himpunan data
r = 0.77
r = 0.75
Rencana pembahasan
r = 0.94

Max-Sim
r = 0.21
r = 0.63
Empiricist Bayes
r = 0.19
Sum-Sim

Kesimpulan
jenis :
26
Banyaknya
contoh:

semua mamalia
horses
horses
1, 2, atau 3
Problem untuk pendekatan berdasarkan

sim
29
Teori-berdasarkan induksi
Tidak ada penjelasan dasar untuk kenapa Max-Sim
Ilmu pengetahuan biologi: jenis dihasilkan oleh sebuah
evolusionir percabangan proses.
bekerja baik pada tugas ini, dan Sum-Sim sangat buruk,

bila Sum-Sim adalah standar pada model-model dasar
kesamaan lain.
Bebas parameter campur kesamaan dan suku tercakup,
dan mungkin suku-suku Max-Sim dan Sum-Sim.
Tidak perluas ke induksi dengan sifat-sifat jenis lain,
misal, dari Smith dkk., 1993:
Cabang pohon - jenis taksonomi terstruktur.
Dobermanns dapat menggigit melalui kawat;.

German shepherds dapat menggigit melalui kawat.
Poodles dapat menggigit melalui kawat.
27
German shepherds dapat menggigit melalui kawat.
Taksonomi juga pusat dalam masyarakat biologi (Atran).

30
53
Teori-dasar induksi
Dimulai dengan merekonstruksi intuitif taksonomi dari
penilaian kesamaan :
herbivora besar
pengelompokan
34
31
Cows punya sifat P.

Dolphins punya sifat P.
Squirrels punya sifat P.
Cows punya sifat P.

Horses punya sifat P.
Rhinos punya sifat P.
Strong: 0.76 [max = 0.82])
Weak: 0.17 [min = 0.14]
Bagaimana taksonomi membatasi

induksi
semua mamalia
Atran (1998): Fundamental principle of systematic
induction (Warburton 1967, Bock 1973)

Diberikan sebuah sifat yang ditemukan diantara anggota
pada 2 spesies/jenis, hipotesis awal terbaik adalah bahwa

sifat juga hadir diantara semua spesis yang terkandung
dalam taxon order lebih tinggi terkecil yang mengandung
pasangan sepesis asal.
32
35
Cows punyai sifat P.

Seals punya sifat P.

Strong: 0.76 [max = 0.82]
Weak: 0.30 [min = 0.14]
semua mamalia
Jarak
taksonomi
Max-sim
Sum-sim
Cows punya sifat P.
33
Strong (0.76 [max = 0.82])
Kesimpulan
Jenis :
36
Banyaknya
contoh:
semua mamalia
horses
horses
1, 2, atau 3
54
Pendekatan Bayesian
Tantangan
Dapatkah kita bangun model-model terbaik dari kedua
pendekatan tradisional?
Secara kuantitatif akurat prediksi.
Dasar rasional kuat.
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Akankah membutuhkan cara-cara novel dalam
mengintegrasi pengetahuan terstruktur dengan kesimpulan

statistik.
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
40
37
Rencana pembahasan
Sifat baru
Pendekatan Bayesian

Empiricist Bayes
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10

?
?
?
?
?
?
?
?
Ciri-ciri
38
41
Pendekatan Bayesian
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Catatan : spesis= jenis
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
?
?
?
?
?
?
?
?
Ciri-ciri
Sifat baru
Pendekatan Bayesian
?
39
Generalisasi
Hipotesis
Sifat baru
?
?
?
?
?
?
?
?
Ciri-ciri
42
Generalisasi
Hipotesis
Sifat baru
55
Pendekatan Bayesian
Pendekatan Bayesian
p(h)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
43
p(d |h)
Sifat baru
?
?
?
?
?
?
?
?
Ciri-ciri
Aturan Bayes: p(h | d )
Sifat baru
Generalisasi
Hipotesis
46
Pendekatan Bayesian
p( d | h) p( h)
p(d | h) p(h)
hH
p(h)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
44
p(d |h)
Sifat baru
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
47
Probabilitas bahwa sifat Q berlaku

untuk spesies x :
p (Q ( x ) | d )
Pendekatan Bayesian
Sifat baru
p (h | d )
h konsisten
dengan Q ( x )
p(h)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
45
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
p(d |h)
Sifat baru
?
?
?
?
?
?
?
?
Ciri-ciri
48
Generalisasi
Hipotesis
Sifat baru
56
Prinsip ukuran:
|h | = # pada contoh
positif dari h
p (d | h)
1
h
Prinsip Ukuran
jika d
konsisten
dengan h
lainnya
p(h)
h1
bilangan genap
p(d |h)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
d
?
?
?
?
?
?
?
2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
h2
kelipatan 10
Ciri-ciri
Generalisasi
Hipotesis
49
Data jauh lebih terjadi bersamaan dalam h1
Sifat baru
52
Prinsip Ukuran
h1
bilangan genap
2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
Ilustrasi prinsip ukuran

h2
Argumen mana lebih kuat ?
kelipatan 10
Grizzly bears punya sifat P.
bukan-monotonik
Grizzly bears punya sifat P.
Brown bears punya sifat P.
Polar bears punya sifat P.
50
53
Probabilitas bahwa sifat Q berlaku untuk

spesis x:
p(Q( x ) | d )
p(h) / h p(h) / h
Prinsip Ukuran
h1
bilangan genap
2
12
22
32
42
52
62
72
82
92
4
14
24
34
44
54
64
74
84
94
6
16
26
36
46
56
66
76
86
96
8 10
18 20
28 30
38 40
48 50
58 60
68 70
78 80
88 90
98 100
h konsisten
dengan Q ( x ), d
h2
p(h)
kelipatan 10
p(Q(x)|d)
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Data agak lebih terjadi bersamaan dalam h1

51
h konsisten
dengan d
54
p(d |h)
d
?
?
?
?
?
?
?
...
Generalisasi
Hipotesis
Sifat baru
57
Probabilitas bahw sifat Q berlaku untuk

spesis x:
p(Q( x ) | d )
p(h) / h p(h) / h
h konsisten
dengan Q ( x ), d
Hasil
h konsisten
dengan d
p(h)
p(d |h)
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
d
?
?
?
?
?
?
?
r = 0.38
r = 0.16
r = 0.79
r = 0.77
r = 0.75
r = 0.94
Empiricist
Bayes
Max-Sim
Ciri-ciri
Generalisasi
Hipothesis
55
Sifat baru
58
Kenapa Empiricist
Bayes tidak bekerja ?
Menspesifikasi p(h) sebelum

Sebuah sebelum yang baik harus fokus pada sebuah
subset kecil semua 2n hipotesis mungkin, supaya :

Dengan bukan bias struktural, memerlukan terlalu
Cocok dengan distribusi sifat-sifat dunia.

Efisien secara komputasional.
banyak ciri-ciri untuk estimasi sebelum yang handal.

Sebuah analogi: Mengestimasi sebuah fungsi kerapatan
probabilitas halus dengan interpolasi lokal.
Kita pertimbangkan 2 pendekatan :

Empiricist Bayes: berdasarkan sebelum tidak
terstruktur secara langsung pada ciri-ciri yang diketahui.

Dasar teori Bayes: sebelum terstruktur didasarkan pada
teori domain rasional, menala untuk mengetahui ciri-ciri.
56
59
Empiricist
Bayes:
(Heit, 1998)
N = 100
N = 500
h1 h2 h3 h4 h5 h6 h7 h8 h9 h10 h11 h12
Kenapa Empiricist
Bayes tidak bekerja ?
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
p(h) =
Dengan bukan bias struktural, memerlukan terlalu

1
15
1 2
15 15
1 3
15 15
1 1
15 15
1
15
1 1
15 15
1
15
banyak ciri-ciri untuk estimasi sebelum yang handal.
1
15
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
57
N=5
Sebuah analogi: Mengestimasi sebuah fungsi kerapatan
probabilitas halus dengan interpolasi lokal.
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
Sifat baru
60
N=5
N=5
Mengasumsi sebuah bentuk

terstruktur secara cocok
untuk kerapatan (misal
Gaussian) mengarah pada
generalisasi lebih baik
dari data jarang.
58
Teori dasar Bayes
Sampel-sampel dari sebelum

Melabel yang memotong data sepanjang percabangan
Teori : 2 prinsip berdasarkan struktur spesis dan sifat-sifat

dalam dunia nyata.
lebih sedikit adalah lebih mungkin :
1. Spesis dihasilkan oleh sebuah evolusionir percabangan

proses.
Cabang- taksonomi terstruktur spesis (Atran, 1998).
>
2. Fitur/ciri-ciri dihasilkan oleh proses mutasi stochastic dan

diteruskan ke keturunan.
Ciri-ciri novel dapat muncul dimana saja dalam cabang,
tetapi beberapa distribusi lebih mirip dari yang lainnya.
monophyletic
polyphyletic
64
61
Proses mutasi menghasilkan p(h|T):

Memilih label untuk akar.
Sampel-sampel dari sebelum
Probabilitas bahwa label memutasi
sepanjang cabang b :
l = laju mutasi
|b| = panjang cabang b
1 e 2 b
2
Melabel yang memotong data sepanjang percabangan
p(h|T)
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
>
?
?
?
?
?
?
?
lebih khusus
Ciri-ciri
62
Generalisasi
Hipotesis
Sifat baru
65
menghasilkan p(h|T).
Memilih label untuk akar.

Pesan-pesan melalui cabang T
x
x
1 e 2 b
2
secara efisien jumlah semua h.

Bagaimana kita tahu cabang T
mana digunakan?
T
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Generalisasi
Hipotesis
Sifat baru
p(h|T)
d
?
?
?
?
?
?
?
Ciri-ciri
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
p(h|T)
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
63
kurang khusus
Proses mutasi atas cabang T
l = laju mutasi
lebih sedikit adalah lebih mungkin :
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
66
d
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
Sifat baru
Proses mutasi sama menghasilkan

p(ciri-ciri|T):
Dasar teori
Bayes
Asumsi tiap ciri dihasilkan secara
independen atas cabang.

Gunakan MCMC untuk simpulkan
paling mungkin cabang T dan laju
mutasi l diberikan ciri-ciri teramati.
Tidak ada parameter bebas !
59
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
Max-sim
p(h|T)
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
Sum-sim
?
?
?
?
?
?
?
Kesimpulan
jenis:
semua mamalia
horses
horses
Ciri-ciri
67
Generalisasi
Hipotesis
Sifat baru
70
Hasil
r = 0.91
r = 0.95
Banyaknya
contoh:
1, 2, atau 3
Menjelaskan kesamaan
r = 0.91
Kenapa Max-sim sangat cocok ?
Dasar teori
Bayes
Sebuah efisiensi dan pendekatan akurat pada model
dasar teori Bayesian.
r = 0.38
r = 0.16
Korelasi dengan
Bayes terhadap 3argumen umum
premis, atas 100
cabang disimulasi :
r = 0.79
Empiricist
Bayes
r = 0.77
r = 0.75
Mean r = 0.94
Korelasi (r)
r = 0.94
Teorema. Klasifikasi tetangga terdekat mendekati
Max-Sim
evolusionir Bayes pada batas laju tinggi mutasi, jika

domain adalah cabang terstruktur.
71
68
Larangan pada kesamaan
Alternatif model-model dasar ciri
Rekonstruksi intuitif taksonomi dari penilaian-penilaian

kesamaan:
Taksonomi Bayes (hipotesis taksonomi secara
langsung, dengan tanpa proses mutasi)
>
pengelompokan
monophyletic
69
72
polyphyletic
60
Prinsip mutasi vs murni pisau cukur

Occam
Alternatif model-model dasar ciri

Taksonomi Bayes (hipotesis taksonomi secara
Prinsip mutasi memberikan sebuah versi pisau cukur
langsung, dengan tanpa proses mutasi)
Occam, dengan menyukai hipotesis yang merentang

lebih sedikit kelompok-kelompok urai.
Dapatkah kita gunakan lebih banyak pisau cukur
Occam Bayesian generik, tanpa motivasi biologis
permutasian ?
Jaringan PDP (Rogers and McClelland)
Spesis
73
76
Ciri-ciri
Hasil
r = 0.91
r = 0.95

r = 0.91
Memilih label ukur akar.
Bias
tepat
benar!
Dasar teori
Bayes
r = 0.51
r = 0.53
1 e 2 b
2
l = laju mutasi
r = 0.85
Bias
terlalu
kuat
Taksonomi
Bayes
r = 0.41
r = 0.62
74
p(h|T)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
r = 0.71
Jaringan PDP
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
Bias
terlalu
lemah
?
?
?
?
?
?
?
?
Ciri-ciri
77
Generalisasi
Hipotesis
Sifat baru

Catatan :
Memilih label ukur akar.

Grafik PDP diejek, korelasi tidak masalah.
Grafik Tax Bayes tidak masalah, tidak yakin mengenai

korelasi.
l = laju mutasi
s1 s2 s3 s4 s5 s6 s7 s8 s9 s10
p(h|T)
h
Spesis 1
Spesis 2
Spesis 3
Spesis 4
Spesis 5
Spesis 6
Spesis 7
Spesis 8
Spesis 9
Spesis 10
75
78
d
?
?
?
?
?
?
?
?
Ciri-ciri
Generalisasi
Hipotesis
Sifat baru
Bayes
(taksonomi+
mutasi)
61
Induksi dalam Biologi: ringkasan
Ketipikalan efek premis (Rips,

1975; Osherson dkk., 1990):
Kesimpulan dasar-teori Bayesian menjelaskan pemikiran
induktif taksonomi pada kalangan biologi.
Kuat:
Bayes
(taksonomi+
Occam)
Wawasan akun level pemrosesan.
Horses punya sifat P.
Kenapa Max-sim diatas Sum-sim dalam domain ini ?
Bagaimana representasi hirarki kompatibel dengan
ketipikalan efek-efek & perkecualian-perkecualian ?
Max-sim
Lemah:
kesimpulan
jenis: semua mamalia
79
Banyaknya
contoh :
Mengungkapkan prinsip esensi teori domain
Seals punya sifat P.
Kategori struktur: cabang taksonomi.
Fitur/ciri distribusi: proses mutasi stochastic + warisan .
82
Ketipikalan sesuai hirarki
Rencana pembahasan
Collins dan Quillian: semantik memori terstruktur
secara hirarki
Empiricist Bayes

Cerita tradisional : Struktur hirarki sederhana tidak
nyaman dengan ketipikalan efek & perkecualian.

Cerita baru : ketipikalan & perkecualian kompatibel
80
dengan kesimpulan statistik rasional atas hirarki.
83
Tipe sifat
Esensi generik
Intuitif vs Teori keilmuan biologi
Teori Struktur
Cabang taksonomi
Struktur sama untuk bagaimana spesis terhubung.

Cabang-terstruktur taksonomi.
Lion
Cheetah
Model probabilistik sama untuk ciri-ciri/sifat
Hyena
Probabilitas kecil terjadi sepanjang tiap cabang pada tiap
Giraffe
waktu, tambah warisan.
Gazelle
Ciri-ciri beda
Gorilla
Ilmuwan: gen-gen
Monkey
Masyarakat : anatomi dan perilaku kasar

...
81
84
Lion
Cheetah
Hyena
Giraffe
Gazelle
Gorilla
Monkey
62
Tipe sifat
Esensi generik
Teori Struktur
Cabang taksonomi
Ukuran terkait
Makanan terkait
Dimensi
Jaringan langsung
Acyclic
Giraffe
Lion
Model Sesuai jaringan makanan

(Shafto dkk.)
P
S
Giraffe
Cheetah
Hyena
Lion
Gorilla
Giraffe
Hyena
Gazelle
Gazelle
Cheetah
Monkey
Monkey
Gorilla
Gorilla
Monkey
Lion
Cheetah
Hyena
Giraffe
Gazelle
Gorilla
85
Monkey
Lion
Gazelle
Hyena
r = 0.82
r = -0.35
r = -0.05
Cheetah
...
...
r = 0.77
...
88
Mamalia
Pulau
Model Sesuai jaringan makanan
Satu-dimensional memprediksi
(Shafto dkk.)
Q = punya kulit yang tahan terhadap penetrasi dari
kebanyakan serat sintesis.
Sifat relevan tidak diketahui: kekerasan kulit
Model pengaruh pada sifat diketahui melalui probabilitas
penilaian sebelum bahwa tiap spesis punya Q.
r = -0.12
r = 0.16
r = 0.81
r = 0.62
ambang untuk Q
Kekerasan kulit
86
House cat
Camel Elephant
Rhino
89
Satu-dimensional memprediksi
Mamalia
Pulau
Rencana pembahasan
Bayes
(taksonomi+
mutasi)
Empiricist Bayes
Max-sim
Bayes
(1D model)
kulit
87
Sekolah 1P
Sekolah 2P
visual
90
Teori
63
Spesis diorganisir dalam cabang struktur taksonomi

Ciri-ciri i dihasilkan oleh proses mutasi dengan laju li
Dari mana teori domain datang ?
p(S|T)
Asli/bawaan.
F9
F8
Domain
Struktur
F7 F11
Atran (1998): The tendency to group living kinds into
F14
F13
F6
F14
F12
F3
F1
F10
F2
hierarchies reflects an innately determined cognitive

structure (kecenderungan jenis hidup berkelompok dalam hirarki
F10
F4
F10
F5
S3 S4 S1 S2 S9 S10 S5 S6 S7 S8
mencerminkan secara bawaan menentukan sebuah struktur

kognitif).
p(D|S)
Data
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
Emerges (only approximately) through learning in
unstructured connectionist networks ( muncul melalui

pembelajaran jaringan ahli koneksi tidak terstruktur)
McClelland and Rogers (2003).
l10 tinggi ~ bobot rendah
91
Teori
94

Kesimpulan Bayesian ke teori-teori
p(S|T)
F9
Tantangan kepada dikotomi nativist-empiricist.
F8
Domain
Struktur
F7 F11
F14
Kita benar-benar mempunyai teori-teori domain
F13
F6
F12
F3
F1
F10
F14
F2
F10
F4
F10
terstruktur.
F5
Kita benar-benar mempelajari mereka.
S3 S4 S1 S2 S9 S10 S5 S6 S7 S8
p(D|S)
Data
92
Teori
Kerangka kerja Bayesian berlaku atas level banyak :
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
Spesis X
Diberi ruang hipotesis + data, simpulkan konsep-konsep.

Diberikan teori + data, simpulkan ruang hipotesis.
Diberikan X + data, simpulkan teori.
? ?
95

Kesimpulan Bayesian ke teori-teori
p(S|T)
Teori-teori kandidat untuk spesis biologis dan ciri-ciri
F9
mereka :
F8
Domain
Struktur
F7 F11
F14
T0: Ciri-ciri dihasilkan secara independen untuk tiap spesis.

(misalnya. naive Bayes, model rasional Anderson.)
F13
F6
F14
F12
F3
F1
F10
F2
F4
F10
F10
F5
T1: Ciri-ciri dihasilkan oleh mutasi dalam cabang-terstruktur
S3 S4 S1 S2 S9 S10 S5 S6 S7 S8
p(D|S)
Data
93
taksonomi spesis.
SX
T2: Ciri-ciri dihasilkan oleh mutasi dalam saru-dimensional
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
Spesis X
rantai spesis.
Teori-teori skor oleh kemungkinan terhadap matrik ciri-
obyek :
p( D | T ) p( D | S , T ) p( S | T )
S
max p ( D | S , T ) p ( S | T )
96
64
untuk: p(Data|T1) ~ 1.83 x 10-41

Tidak ada struktur organisasional
untuk spesis.
Ciri-ciri terdistribusi secara
independen atas spesis.
Untuk :
untuk spesis.
F1
F2
F5
F8
F9
F1
F2
F3
F2 F5 F2
F4 F7 F4 F1
F6 F8 F7 F5
F7 F10 F9 F7
F9 F12 F12 F13
F14 F13 F14 F14
S1 S2
S3 S4
Data
T1: p(Data|T2) ~ 2.42 x 10-32

Spesis diorganisir dalam
struktur cabang taksonomi.
Ciri-ciri terdistribusi melalui
proses mutasi stochastic.
F9
F1
F2
F6 F2
F4
F7 F4 F2 F1 F8
F8 F5 F3 F6 F9
F9 F12 F6 F8 F10
F10 F13 F11 F9 F11
F13 F14 F13 F12 F14
S5 S6
F1
F6
F7
F8
F9
F11
S7 S8 S9 S10
F1 F3 F3
F6 F7 F7
F7 F8 F8
F8 F9 F9
F9 F11 F11 F4
F10 F12 F12 F8
F11 F14 F14 F9
S1 S2
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
S3 S4
Data
97
F8
F4
F8
F9
S5 S6
F2
F5 F5 F6
F9 F9 F7
F10 F10 F8
F13 F13 F9
F14 F14 F11
S7
Untuk :
untuk spesis.
F13
F3
F1 F3 F3
F6 F7 F7
F7 F8 F8
F8 F9 F9
F9 F11 F11 F4
F10 F12 F12 F8
F11 F14 F14 F9
S1 S2
S3 S4
Data
F4
F8
F9
S5 S6
F2
F5 F5 F6
F9 F9 F7
F10 F10 F8
F13 F13 F9
F14 F14 F11
S7
F1
F2
F5
F8
F9
S8 S9 S10
Untuk :
untuk spesis.
T1:
S1 S2
S3 S4
Data
99
F8
F4
F8
F9
S5 S6
F2
F5 F5 F6
F9 F9 F7
F10 F10 F8
F13 F13 F9
F14 F14 F11
S7
S3 S4
F7 F11
F2
F6
F7
F8
F9
F11
F14
F13
F12
F3
S8 S9 S10
F6
F1
F10
F2
F14
F10
F4
F5
S3 S4 S1 S2 S9 S10 S5 S6 S7 S8
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
F1
F2
F5
F8
F9
F6
S7 S8 S9 S10
F2
F12 F12
F5
F1
F5 F7 F13
F12
F13 F10
F8 F9
F11 F13
F13 F10 F11
F9 F6
F8 F3
F10
F8
F12 F7
F5
F2 F6 F6
F2
F3
F14
S2 S4 S7 S10 S8 S1 S9 S6 S3 S5
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
F1
F2
F3
F2 F5 F2
F4 F7 F4 F1
F6 F8 F7 F5
F7 F10 F9 F7
F9 F12 F12 F13
F14 F13 F14 F14
S1 S2
102
F5
Ciri-ciri
S3 S4
Data
Ciri-ciri
S5 S6
F9
F7
T0: p(Data|T1) ~ 2.29 x 10-42

untuk spesis.
F9
F1 F3 F3
F6 F7 F7
F7 F8 F8
F8 F9 F9
F9 F11 F11 F4
F10 F12 F12 F8
F11 F14 F14 F9
F10
F4
T1:
F4
F14
F1
F2
F6 F2
F4
F7 F4 F2 F1 F8
F8 F5 F3 F6 F9
F9 F12 F6 F8 F10
F10 F13 F11 F9 F11
F13 F14 F13 F12 F14
101
Ciri-ciri
F1
F6
F7
F8
F9
F11
F3
F2 F5 F2
F4 F7 F4 F1
F6 F8 F7 F5
F7 F10 F9 F7
F9 F12 F12 F13
F14 F13 F14 F14
Data
98
F14
Ciri-ciri
S1 S2
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
F2
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
Untuk :
untuk spesis.
F2
F6
F7
F8
F9
F11
F1
F10
S3 S4 S1 S2 S9 S10 S5 S6 S7 S8
F1
F2
F1
F6
F7
F8
F9
F11
F14
F6
F12
S8 S9 S10
100
Ciri-ciri
F7 F11
F2
F6
F7
F8
F9
F11
F4
F14
F1
F2
F6 F2
F4
F7 F4 F2 F1 F8
F8 F5 F3 F6 F9
F9 F12 F6 F8 F10
F10 F13 F11 F9 F11
F13 F14 F13 F12 F14
S5 S6
T1: p(Data|T2) ~ 4.38 x 10-53

F9
F7
F6
S7 S8 S9 S10
F2
F12 F12
F5
F1
F5 F7 F13
F12
F13 F10
F8 F9
F11 F13
F13 F10 F11
F9 F6
F8 F3
F10
F8
F12 F7
F5
F2 F6 F6
F2
F3
F14
S2 S4 S7 S10 S8 S1 S9 S6 S3 S5
Species 1
Species 2
Species 3
Species 4
Species 5
Species 6
Species 7
Species 8
Species 9
Species 10
Ciri-ciri
Uji-uji empiris
Data sintetik: 32 obyek, 120 ciri
model generatif cabang-terstruktur
Model generatif rantai linear
Tidak terbatasi (cri-ciri independen).
Real data
Penilaian-penilaian ciri binatang 48 spesis, 85 ciri.
Keputusan US Supreme Court, 1981-1985: 9 orang, 637
kasus.
103
Hasil
Lebih suka
Model
Null
Tree
Linear
Tree
Linear
Tabel 1 algoritma faktor Bayes untuk 3 sintetik dan 2
himpunan data dunia nyata.
104
Teori akuisisi: ringkasan

Sejauh ini, hanya sebuah konsep pembuktian
komputasional.
Kerja di masa mendatang :
Study secara percobaan pada teori akuisisi dalam
laboratorium, dengan orang dewasa dan anak-anak sebagai

subyek.
Pemodelan pembangunan atau projeksi historis pada teori
perubahan.
Sumber hipotesis untuk teori-teori kandidat :
Apa asli /bawaan?
Peran analogi?
105
65
66
Lampiran
67
LAMPIRAN
68
Model generatif untuk bahasa

Topik Lanjutan
Struktur tersembunyi
Data diamati
Model generatif untuk bahasa
Pemodelan bahasa statistik

topik model-model
makna
Pengkategorian relasional
atribut dan relasi
kalimat
Topik model-model
Variasi pendekatan untuk pemodelan bahasa statistik
Tiap dokumen merupakan campuran topik-topik
digunakan dalam ilmu pengetahuan kognitif
Tiap kata dipilih dari sebuah topik tunggal
misalnya. LSA (Landauer & Dumais, 1997)

pengelompokan distribusional (Redington, Chater, & Finch,
1998)
Model-model generatif mempunyai kelebihan unik
mengidentifikasi struktur bahasa kausal yang diasumsikan
memanfaatkan peralatan standar statistik Bayesian
Diperkenalkan oleh Blei, Ng, dan Jordan (2001), di
dengan mudah diperluas untuk mencakup struktur lebih
interpretasi ulang pada PLSI (Hofmann, 1999)
kompleks
3
Ide pada topik probabilistik secara luas digunakan

6
(misal. Bigi , 1997; Iyer & Ostendorf, 1996; Ueda & Saito, 2003)
Lampiran
69
Menghasilkan sebuah dokumen
Seleksi topik-topik (dari 500)
Distribusi atas topik-topik
q
z
penugasan topik
kata-kata teramati
THEORY
SCIENTISTS
EXPERIMENT
OBSERVATIONS
SCIENTIFIC
EXPERIMENTS
HYPOTHESIS
EXPLAIN
SCIENTIST
OBSERVED
EXPLANATION
BASED
OBSERVATION
IDEA
EVIDENCE
THEORIES
BELIEVED
DISCOVERED
OBSERVE
FACTS
SPACE
EARTH
MOON
PLANET
ROCKET
MARS
ORBIT
ASTRONAUTS
FIRST
SPACECRAFT
JUPITER
SATELLITE
SATELLITES
ATMOSPHERE
SPACESHIP
SURFACE
SCIENTISTS
ASTRONAUT
SATURN
MILES
ART
STUDENTS
PAINT
TEACHER
ARTIST
STUDENT
PAINTING
TEACHERS
PAINTED
TEACHING
ARTISTS
CLASS
MUSEUM
CLASSROOM
WORK
SCHOOL
PAINTINGS
LEARNING
STYLE
PUPILS
PICTURES
CONTENT
WORKS
INSTRUCTION
OWN
TAUGHT
SCULPTURE
GROUP
PAINTER
GRADE
ARTS
SHOULD
BEAUTIFUL
GRADES
DESIGNS
CLASSES
PORTRAIT
PUPIL
PAINTERS
GIVEN
BRAIN
NERVE
SENSE
SENSES
ARE
NERVOUS
NERVES
BODY
SMELL
TASTE
TOUCH
MESSAGES
IMPULSES
CORD
ORGANS
SPINAL
FIBERS
SENSORY
PAIN
IS
CURRENT
ELECTRICITY
ELECTRIC
CIRCUIT
IS
ELECTRICAL
VOLTAGE
FLOW
BATTERY
WIRE
WIRES
SWITCH
CONNECTED
ELECTRONS
RESISTANCE
POWER
CONDUCTORS
CIRCUITS
TUBE
NEGATIVE
NATURE
WORLD
HUMAN
PHILOSOPHY
MORAL
KNOWLEDGE
THOUGHT
REASON
SENSE
OUR
TRUTH
NATURAL
EXISTENCE
BEING
LIFE
MIND
ARISTOTLE
BELIEVED
EXPERIENCE
REALITY
THIRD
FIRST
SECOND
THREE
FOURTH
FOUR
GRADE
TWO
FIFTH
SEVENTH
SIXTH
EIGHTH
HALF
SEVEN
SIX
SINGLE
NINTH
END
TENTH
ANOTHER
10

P(w|z = 1) = f (1)
HEART
LOVE
SOUL
TEARS
JOY
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
topik 1
0.2
0.2
0.2
0.2
0.2
0.0
0.0
0.0
0.0
0.0
P(w|z = 2) = f (2)
HEART
LOVE
SOUL
TEARS
JOY
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.0
0.0
0.0
0.0
0.0
0.2
0.2
0.2
0.2
0.2
topik 2
JOB
SCIENCE
BALL
FIELD
MIND
STORY
DISEASE
WATER
WORK
STUDY
GAME
MAGNETIC
STORIES
WORLD
BACTERIA
FISH
JOBS
SCIENTISTS
TEAM
MAGNET
DREAM
TELL
DISEASES
SEA
CAREER
SCIENTIFIC
FOOTBALL
WIRE
CHARACTER
GERMS
DREAMS
SWIM
KNOWLEDGE BASEBALL EXPERIENCE
NEEDLE
THOUGHT CHARACTERS
FEVER
SWIMMING
EMPLOYMENT
WORK
PLAYERS
CURRENT
AUTHOR
CAUSE
IMAGINATION
POOL
OPPORTUNITIES
RESEARCH
PLAY
COIL
READ
MOMENT
CAUSED
LIKE
WORKING
CHEMISTRY
FIELD
POLES
THOUGHTS
TOLD
SPREAD
SHELL
TRAINING
TECHNOLOGY PLAYER
IRON
SETTING
VIRUSES
OWN
SHARK
SKILLS
MANY
BASKETBALL
COMPASS
REAL
TALES
INFECTION
TANK
CAREERS
MATHEMATICS COACH
LINES
PLOT
VIRUS
LIFE
SHELLS
POSITIONS
BIOLOGY
PLAYED
CORE
TELLING
IMAGINE
MICROORGANISMS SHARKS
FIND
FIELD
PLAYING
ELECTRIC
SENSE
SHORT
PERSON
DIVING
POSITION
PHYSICS
HIT
DIRECTION
INFECTIOUS
DOLPHINS CONSCIOUSNESS FICTION
FIELD
LABORATORY TENNIS
FORCE
STRANGE
ACTION
COMMON
SWAM
OCCUPATIONS
STUDIES
TEAMS
MAGNETS
TRUE
CAUSING
FEELING
LONG
REQUIRE
WORLD
GAMES
BE
WHOLE
EVENTS
SMALLPOX
SEAL
OPPORTUNITY
SPORTS
MAGNETISM SCIENTIST
BEING
TELLS
BODY
DIVE
EARN
STUDYING
BAT
POLE
TALE
INFECTIONS
MIGHT
DOLPHIN
ABLE
SCIENCES
TERRY
INDUCED
HOPE
NOVEL
CERTAIN
UNDERWATER
11
Memilih campuran bobot untuk tiap dokumen, menghasilkan

tas kata-kata /bag of words
q = {P(z = 1), P(z = 2)}
{0, 1}
{0.25, 0.75}
MATHEMATICS KNOWLEDGE RESEARCH WORK MATHEMATICS

RESEARCH WORK SCIENTIFIC MATHEMATICS WORK
SCIENTIFIC KNOWLEDGE MATHEMATICS SCIENTIFIC
HEART LOVE TEARS KNOWLEDGE HEART
{0.5, 0.5}
MATHEMATICS HEART RESEARCH LOVE MATHEMATICS

WORK TEARS SOUL KNOWLEDGE HEART
{0.75, 0.25}
WORK JOY SOUL TEARS MATHEMATICS

TEARS LOVE LOVE LOVE SOUL
{1, 0}
TEARS LOVE JOY SOUL LOVE TEARS SOUL SOUL TEARS JOY
JOB
SCIENCE
BALL
FIELD
MIND
STORY
DISEASE
WATER
WORK
STUDY
GAME
MAGNETIC
STORIES
WORLD
BACTERIA
FISH
JOBS
SCIENTISTS
TEAM
MAGNET
DREAM
TELL
DISEASES
SEA
CAREER
SCIENTIFIC FOOTBALL
WIRE
CHARACTER
GERMS
DREAMS
SWIM
KNOWLEDGE BASEBALL EXPERIENCE
NEEDLE
THOUGHT CHARACTERS
FEVER
SWIMMING
EMPLOYMENT
WORK
PLAYERS
CURRENT
AUTHOR
CAUSE
IMAGINATION
POOL
OPPORTUNITIES
RESEARCH
PLAY
COIL
READ
MOMENT
CAUSED
LIKE
WORKING
CHEMISTRY
FIELD
POLES
THOUGHTS
TOLD
SPREAD
SHELL
TRAINING
TECHNOLOGY PLAYER
IRON
SETTING
VIRUSES
OWN
SHARK
SKILLS
MANY
BASKETBALL
COMPASS
REAL
TALES
INFECTION
TANK
CAREERS
MATHEMATICS
COACH
LINES
PLOT
VIRUS
LIFE
SHELLS
POSITIONS
BIOLOGY
PLAYED
CORE
TELLING
IMAGINE
MICROORGANISMS SHARKS
FIND
FIELD
PLAYING
ELECTRIC
SENSE
SHORT
PERSON
DIVING
POSITION
PHYSICS
HIT
DIRECTION
INFECTIOUS
DOLPHINS CONSCIOUSNESS FICTION
FIELD
LABORATORY TENNIS
FORCE
STRANGE
ACTION
COMMON
SWAM
OCCUPATIONS
STUDIES
TEAMS
MAGNETS
TRUE
CAUSING
FEELING
LONG
REQUIRE
WORLD
GAMES
BE
WHOLE
EVENTS
SMALLPOX
SEAL
OPPORTUNITY
SPORTS
MAGNETISM SCIENTIST
BEING
TELLS
BODY
DIVE
EARN
STUDYING
BA
T
POLE
TALE
INFECTIONS
MIGHT
DOLPHIN
ABLE
SCIENCES
TERRY
INDUCED
HOPE
NOVEL
CERTAIN
UNDERWATER
12
70
Hirarki Pembelajaran topik
x=2
x=1
z = 1 0.4
HEART
LOVE
SOUL
TEARS
JOY
0.2
0.2
0.2
0.2
0.2
OF
0.6
FOR
0.3
BETWEEN 0.1
0.8
z = 2 0.6
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.2
0.2
0.2
0.2
0.2
0.7
0.1
0.3
0.2
x=3
THE
0.6
A
0.3
MANY 0.1
0.9
THE
(Blei, Griffiths, Jordan, & Tenenbaum, 2004)
13
16
Sintaks dan semantik dari statistik
x=2
x=1
Faktorisasi bahasa berdasarkan

semantik: probabilistas topik-topik
pola-pola ketergantungan statistik:
q
Jangkauan-panjang, dokumen
spesifik, ketergantungan
z
z
z
Jangkauan-pendek ketergantungan
konstan melintasi semua documen
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.2
0.2
0.2
0.2
0.2
0.7
x=3
THE
0.6
A
0.3
MANY 0.1
0.9
THE LOVE
17
(Griffiths, Steyvers, Blei, & Tenenbaum, diusulkan)
x=2
x=1
z = 1 0.4
HEART
LOVE
SOUL
TEARS
JOY
0.2
0.2
0.2
0.2
0.2
z = 2 0.6
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.2
0.2
0.2
0.2
0.2
x=2
OF
0.6
FOR
0.3
BETWEEN 0.1
0.8
x=1
z = 1 0.4
HEART
LOVE
SOUL
TEARS
JOY
0.7
0.1
0.3
0.2
0.9
0.2
0.2
0.2
0.2
0.2
OF
0.6
FOR
0.3
BETWEEN 0.1
0.8
z = 2 0.6
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.2
0.2
0.2
0.2
0.2
0.7
x=3
THE
0.6
A
0.3
MANY 0.1
0.9
18
0.1
0.3
0.2
THE LOVE OF
15
0.1
0.3
0.2
sintaks: probabilistas tatabahasa biasa

14
0.2
0.2
0.2
0.2
0.2
0.8
z = 2 0.6
z = 1 0.4
HEART
LOVE
SOUL
TEARS
JOY
OF
0.6
FOR
0.3
BETWEEN 0.1
x=3
THE
0.6
A
0.3
MANY 0.1
Lampiran
71
x=2
x=1
0.2
0.2
0.2
0.2
0.2
0.8
z = 2 0.6
z = 1 0.4
HEART
LOVE
SOUL
TEARS
JOY
OF
0.6
FOR
0.3
BETWEEN 0.1
SCIENTIFIC
KNOWLEDGE
WORK
RESEARCH
MATHEMATICS
0.2
0.2
0.2
0.2
0.2
Model-model generatif memberikan

transparansi asumsi mengenai proses kausal
0.7
0.2
0.9
kesempatan menggabungkan dan model-model diperluas
0.1
0.3
Model-model generatif lebih kaya...

x=3
probabilistik tatabahasa bebas-konteks

paragraf atau ketergantungan level kalimat
THE
0.6
A
0.3
MANY 0.1
Semantik lebih kompleks
THE LOVE OF RESEARCH

19
22
Kategori semantik

MAP
FOOD
NORTH
FOODS
EARTH
BODY
SOUTH
NUTRIENTS
POLE
DIET
MAPS
FAT
EQUATOR
SUGAR
WEST
ENERGY
LINES
MILK
EAST
EATING
AUSTRALIA
FRUITS
GLOBE
VEGETABLES
POLES
WEIGHT
HEMISPHERE
FATS
LATITUDE
NEEDS
CARBOHYDRATES PLACES
LAND
VITAMINS
WORLD
CALORIES
COMPASS
PROTEIN
CONTINENTS
MINERALS
GOLD
CELLS
DOCTOR
BOOK
BEHAVIOR
IRON
SELF
CELL
PATIENT
BOOKS
SILVER
INDIVIDUAL
ORGANISMS
HEALTH
READING
ALGAE
PERSONALITY
HOSPITAL
INFORMATION COPPER
METAL
RESPONSE
BACTERIA
MEDICAL
LIBRARY
METALS
MICROSCOPE
SOCIAL
CARE
REPORT
STEEL
EMOTIONAL
MEMBRANE
PATIENTS
PAGE
CLAY
LEARNING
ORGANISM
NURSE
TITLE
LEAD
FOOD
FEELINGS
DOCTORS
SUBJECT
ADAM
PSYCHOLOGISTS
LIVING
MEDICINE
PAGES
ORE
FUNGI
INDIVIDUALS
NURSING
GUIDE
ALUMINUM
PSYCHOLOGICAL
MOLD
TREATMENT
WORDS
MINERAL
EXPERIENCES MATERIALS
NURSES
MATERIAL
MINE
ENVIRONMENT
NUCLEUS
PHYSICIAN
ARTICLE
STONE
HUMAN
CELLED
HOSPITALS
ARTICLES
MINERALS
STRUCTURES
RESPONSES
DR
WORD
POT
BEHAVIORS
MATERIAL
SICK
FACTS
MINING
ATTITUDES
STRUCTURE
ASSISTANT
AUTHOR
MINERS
PSYCHOLOGY
GREEN
EMERGENCY REFERENCE
TIN
PERSON
MOLDS
PRACTICE
NOTE
topik model-model
PLANTS
PLANT
LEAVES
SEEDS
SOIL
ROOTS
FLOWERS
WATER
FOOD
GREEN
SEED
STEMS
FLOWER
STEM
LEAF
ANIMALS
ROOT
POLLEN
GROWING
GROW
20
Pengkategorian relational
atribut dan relasi
23
Kategori Sintatik
SAID
ASKED
THOUGHT
TOLD
SAYS
MEANS
CALLED
CRIED
SHOWS
ANSWERED
TELLS
REPLIED
SHOUTED
EXPLAINED
LAUGHED
MEANT
WROTE
SHOWED
BELIEVED
WHISPERED
THE
HIS
THEIR
YOUR
HER
ITS
MY
OUR
THIS
THESE
A
AN
THAT
NEW
THOSE
EACH
MR
ANY
MRS
ALL
MORE
SUCH
LESS
MUCH
KNOWN
JUST
BETTER
RATHER
GREATER
HIGHER
LARGER
LONGER
FASTER
EXACTLY
SMALLER
SOMETHING
BIGGER
FEWER
LOWER
ALMOST
ON
AT
INTO
FROM
WITH
THROUGH
OVER
AROUND
AGAINST
ACROSS
UPON
TOWARD
UNDER
ALONG
NEAR
BEHIND
OFF
ABOVE
DOWN
BEFORE
Pengkategorian relasional
GOOD
SMALL
NEW
IMPORTANT
GREAT
LITTLE
LARGE
*
BIG
LONG
HIGH
DIFFERENT
SPECIAL
OLD
STRONG
YOUNG
COMMON
WHITE
SINGLE
CERTAIN
ONE
SOME
MANY
TWO
EACH
ALL
MOST
ANY
THREE
THIS
EVERY
SEVERAL
FOUR
FIVE
BOTH
TEN
SIX
MUCH
TWENTY
EIGHT
HE
YOU
THEY
I
SHE
WE
IT
PEOPLE
EVERYONE
OTHERS
SCIENTISTS
SOMEONE
WHO
NOBODY
ONE
SOMETHING
ANYONE
EVERYBODY
SOME
THEN
Kebanyakan pendekatan untuk kategori dalam
BE
MAKE
GET
HAVE
GO
TAKE
DO
FIND
USE
SEE
HELP
KEEP
GIVE
LOOK
COME
WORK
MOVE
LIVE
EAT
BECOME
psikologi dan mesin pembelajaran fokus pada atribut

sifat sifat obyek
kata-kata pada judul-judul poster CogSci
Tetapi porsi pengetahuan signifikan diorganisir
dalam hal relasi

ko-pengarang pada poster-poster
Siapa bicara kepada siapa
(Kemp, Griffiths, & Tenenbaum, 2004)

21
24
72
Mengelompokan kata-kata
Atribut dan Relasi

Model
Data
Data relasional: norma asosiasi kata
objects
(Nelson, McEvoy, & Schreiber, 1998)
P(X) = ik z P(xik|zi) i P(zi)
model campuran (c.f. Anderson, 1990)
oa
5018 x 5018 matrik pada asosiasi
simetris
Semua kata-kata dengan < 50 dan > 10 asosiasi
2513 simpul, 34716 tautan
objects
P(Y) = ij z P(yij|zi) i P(zi)
model blok stochastic
28
25
Model blok Stochastic
Untuk tiap pasangan obyek, (i,j), probabilitas relasi
ditentukan oleh kelas-kelas, (zi, zj)

Ke tipe j
Dari
tipe i
l11
l12
l13
l21
l22
l23
l31
l32
l33
=L
Tiap entitas mempunyai

sebuah tipe = Z
P(Z,L|Y) P(Y|Z,L)P(Z)P(L)
Memungkinkan tipe-tipe obyek dan probabilitas kelas-
kelas dipelajari dari data
29
26
Model blok Stochastic

A
27
A B C
A
B
30
Lampiran
73
Mengelompokan kata-kata
BAND
INSTRUMENT
BLOW
HORN
FLUTE
BRASS
GUITAR
PIANO
TUBA
TRUMPET
TIE
COAT
SHOES
ROPE
LEATHER
SHOE
HAT
PANTS
WEDDING
STRING
SEW
MATERIAL
WOOL
YARN
WEAR
TEAR
FRAY
JEANS
COTTON
CARPET
WASH
LIQUID
BATHROOM
SINK
CLEANER
STAIN
DRAIN
DISHES
TUB
SCRUB
31
34
Mengelompokan aktor-aktor
Mengelompokan aktor-aktor
Internet Movie Database (IMDB) data, dari awal
sinema sampai 1960 (Jeremy Kubica)

Data relasional: kolaborasi
Albert Lieven
Karel Stepanek
Walter Rilla
Anton Walbrook
5000 x 5000 matriks pada kebanyakan aktor-aktor
produktif
semua aktors dengan < 400 dan > 1 kolaborator
2275 simpul, 204761 tautan
Germany UK
32
Moore Marriott
Laurence Hanray
Gus McNaughton
Gordon Harker
Helen Haye
Alfred Goddard
Morland Graham
Margaret Lockwood
Hal Gordon
Bromley Davenport
Gino Cervi
Nadia Gray
Enrico Glori
Paolo Stoppa
Bernardi Nerio
Amedeo Nazzari
Gina Lollobrigida
Aldo Silvani
Franco Interlenghi
Guido Celano
Archie Ricks
Helen Gibson
Oscar Gahan
Buck Moulton
Buck Connors
Clyde McClary
Barney Beasley
Buck Morgan
Tex Phelps
George Sowards
Italian
US Westerns
British comedy
35

Pendekatan Bayesian memungkinkan kita
menspesifikasi model-model probabilistik terstruktur

Representasi eksplorasi novel dan domain-domain
topik-topik untuk representasi semantik
pengkategorian relasional
Menggunakan metode kuat untuk kesimpulan,
dikembangkan dalam statistik dan mesin pembelajaran
33
36
74
Pembelajaran induktif model Bayesian
Metode lain dan peralatan...
Lompatan induktif dapat dijelaskan dengan hirarki
Algoritma kesimpulan
teori dasar model Bayesian :
perambatan kepercayaan
pemograman dinamik
algoritma EM dan metode-metode variasional
Markov merantaikan Monte Carlo
Model-model lebih kompleks

Proses-proses Dirichlet dan Bayesian bukan-parametrik
D D D
D D D
Proses-proses Gaussian dan metode-metode kernel
37
sumber http://www.bayesiancognition.com
D D
...
D ...
40

Lompatan induktif dapat dijelaskan dengan hirarki teori
dasar model Bayesian
Ambil Stok
Menawarkan pendekatan apa :

Model quantitatif kuat pada perilaku generalisasi.
Fleksibilitas terhadap model pola beda pemikiran yang
beda tugas-tugas dan domain-domain, menggunakan

secara beda teori terstruktur, tetapi mesin Bayesian
maksud umum yang sama.
Kerangka kerja menjelaskan kenapa generalisasi induktif
bekerja, dimana pengetahahuan datang dari sebanding
bagaimana ia digunakan.
38
41
teori dasar model Bayesian :
teori dasar model Bayesian.

Tantangan :
Teori-teori adalah sulit.
Teori Domain
Model
Generatif
Probabilistik
Hipotesis Struktural
Kesimpulan
Bayesian
Data
39
42
Lampiran

Lompatan induktif dapat dijelaskan dengan hirarki teori
dasar model Bayesian :

Interaksi antara struktur dan statistik adalah krusial.
Bagaimana pengetahuan terstruktur mendukung
pembelajaran statistik, dengan membatasi ruang- ruang

hipotesis.
Bagimana statistik mendukung pemikiran dengan dan
pembelajaran pengetahuan terstruktur.
Bagaimana struktur kompleks dapat tumbuh dari data, dari
pada secara penuh di spesifikan lebih awal.
43
75
76
Daftar Pustaka
1.
Fausett, Laurene ; Fundamentals of Neural Networks; 1994 ; Printice-Hall, Inc
2.
Freeman, James A; Simulating Neural Networks; 1994 ; John Wiley & Sons.
3.
Haykin, Simon; Neural Networks; 1994 ; Macmillan Publishing Campany, Inc.
4.
http://www.bayesiancognition.com
5.
Lau, Clifford; Sanchez, Edgar ; Artificial Neural Networks ; 1992 ; IEEE Press.
6.
Lau, Clifford; Neural Networks; 1991 ; IEEE Press.
7.
Li, Min Fu; Neural Networks in Computer Intelligence; 1994; McGraw-Hill, Inc.
8.
Lugger, George F; Stubblefield, William A; Artificial Intelligence, and The Design of Expert Systems ;
1989; The Benjamin Cummings Publishing Company, Inc.
9.
Lugger, George F; Stubblefield, William A; Artificial Intelligence, Structure and Strategies for Complex
Problem Solving; 1993; The Benjamin Cummings Publishing Company, Inc.
10. Russell, Stuart; Norvig, Peter; Artificial Intelligence, A Modern Approach; 2003; Printice-Hall, Inc.
11. Rich, Elaine; Knight, Kevin; Artificial Intelligence; 1991; McGraw-Hill, Inc.
12. Turban, Efraim; Expert Systems and Applied Artificial Intelligence; 1992 ; Macmillan Pusblishing
Company, Inc.
13. Zurada, Jacek M ; Introduction to Artificial Neural Systems; 2002; Jaico Publishing House.
14. Smith, Eric P; Nadler, Morton; Pattern Recognition Engineering; 1993; John Welley & Sons, Inc.
Catatan : sebagian bacaan acuan telah langsung tercantum pada pembahasan pada bab-bab utama diatas.

Pembelajaran Induktif Model Bayesian

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Pembelajaran Induktif Model Bayesian

Uploaded by

Copyright:

Available Formats

Pembelajaran Induktif Model Bayesian

(Ringkasan teori kecerdasan tiruan dalam format slide)

Dr. Ir.Saludin, M Kom

Pengantar : Pembelajaran Induktif Model Bayesian ...............................................................

Pembelajaran Kasus Dasar 1 : Melempar Koin ....................................................................... 7

Pembelajaran Kasus Dasar 2 : Aturan-Aturan Dan Kesamaan ...............................................

Pembelajaran Kasus Lanjutan 1 : Kausalitas ..........................................................................

Pembelajaran kasus Lanjutan 2 : Ciri / Sifat ..........................................................................

Daftar Perpustakaan ..............................................................................................................................

Pengantar: Pembelajaran Induktif Model Bayesian

Teknik Akuisisi Target dan Penjejakan Obyek (Aplikasi Kecerdasan Tiruan)

Model Bayesian dalam pengetahuan

Apa yang diharapkan

Lompatan induktif tiap hari

Apa yang anda peroleh dari bahan ini :

Contoh mendalam model sederhana dan lanjutan :

bagaimana matematis bekerja dan mengesankan kamu

Konsep pembelajaran dan kata-kata

Dapatkah kamu memilih tufas?

Pengantar: Pembelajaran Induktif Model Bayesian

Bagaimana kita generalisasi secara berhasil dari data

Hanya satu atau sedikit sampel

Semua mamalia bisa kena penyakit A.

Mesin pembelajaran dan statistik :

Tugas: Menilai seberapa mungkin kesimpulan

Menyimpulkan hubungan sebab

Kesimpulan Rasional secara statistik

Minum vitamin B23

Apakah vitamin B23 menyebabkan sakit kepala ?

Tugas: Menilai kemungkinan kaitan kausal,

Model Bayesian pembelajaran induktif :

Lompatan induktif tiap hari

Penyebab asli seseorang (keyakinan, tujuan)

Oaksford & Chater (1994)

. . . dari data terbatas demikian ?

Teknik Akuisisi Target dan Penjejakan Obyek (Aplikasi Kecerdasan Tiruan)

Struktur dan statistik

Teori- Model Dasar Bayesian

Kerangka untuk memahami bagaimana pengetahuan

terstruktur dan kesimpulan secara statistik berinteraksi

Bagaimana pengetahuan terstruktur menuntun kesimpulan secara

statistik, dan memperoleh dirinya melalui pembelajaran statistik

Bagaimana kesederhanaan pertukaran yang cocok untuk data dalam

Teori domain pembelajar menghasilkan ruang hipotesis mereka

mengevaluasi hipotesis struktural.

H dan p(h) sebelumnya.

Pisau cukur Occam Bayesian.

Sangat cocok untuk struktur dunia nyata/alamiah.

Bagaimana kompliksitas struktur meningkat dapat tumbuh

sebanding dibutuhkan data baru, dari pada dispesifikasikan

Pendekatan alternatif untuk generalisasi

Apa teori itu ?

menghasilkan sebuah ruang hipotesis pada kandidat

Analogi terhadap tatabahasa dalam bahasa.

Peralatan heuristik sederhana

Contoh : Hukum Newton

Struktur dan statistik

Analisis 3 level Marr

Kerangka untuk memahami bagaimana pengetahuan

terstruktur dan kesimpulan secara statistik berinteraksi.

Apa tujuan komputasi, kenapa ini pantas /sesuai, dan apa

Bagaimana pengetahuan terstruktur menuntun kesimpulan secara

statistik, dan memperoleh dirinya melalui pembelajaran statistik

Representasi dan algoritma :