TUGAS III

INFERENSI LIKELIHOOD

CHAPTER 2.1-2.4

KELOMPOK 1
CITRA FARAHDIBA ISNANDAR
ANDI HARY MULYADI

H121 13 022
H121 13 303

PRODI STATISTIKA
JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS HASANUDDIN

2016

Unsur-Unsur Inferensi Likelihood

2.1 Definisi Klasik

Tujuan

dari

fungsi

kemungkinan

adalah

untuk

menyampaikan informasi tentang tidak diketahui kuantitas.

Dengan

mengingat

pertama

modus

standar

pemikiran

matematika deduktif , diberikan model dan parameter nilai

probabilistik kita memperoleh deskripsi Data. Dalam mode
deduktif kita memperoleh konsekuensi dari asumsi tertentu.
Sebagai contoh, jika kita melakukan percobaan binomial dengan
=

parameter n = 10 dan

jumlah kepercayaan, maka

jika

kita

mengulangi

1
3 , dan menunjukkan X menjadi

(X = 0) = 0,0282 . Hal ini berarti

percobaan

10.000

kali,

maka

nilai

harapannya sekitar 282 dari percobaan akan tidak menghasilkan

keberhasilan.
Sekarang anggaplah kita melemparkan sebuah koin 10 kali
dan mengamati X = 8 kepala. Berdasarkan informasi ini saja,
berapa probabilitas kepala

, maka dihasilkan dengan asumsi

yang diketahui tentang hal itu sebelum percobaan.

tentang

tidak lengkap, sehingga akan ada beberapa

ketidakpastian. Sekarang
tidak

Informasi

mungkin

untuk

tidak dapat menjadi nol dan sangat

menjadi

sangat

kecil.

Kita

dapat

mengatakan ini, karena, deduktif kita tahu P2 (X = 8) adalah nol

atau sangat kecil. Sebaliknya,

= 0,6 atau

= 0,7

mungkin, karena

(X = 8) = 0,1209 atau 0,2335. Demikian

telah ditemukan cara deduktif membandingkan berbeda

membandingkan probabilitas data diamati di bawah nilai yang

berbeda dari

Sebagai fungsi dari parameter yang tidak

diketahui
L( )=

(X = 8)

disebut fungsi likelihood. Menunjukkan plot

tidak mungkin

menjadi kurang dari 0,5 atau lebih besar dari 0,95, tetapi lebih
cenderung di antara.

Model Diskrit
Tidak ada ambiguitas tentang kemungkinan data yang
diamati dalam model diskrit, karena jumlah nol yang terdefinisi
dengan baik. Untuk binomial, fungsi kemungkinan adalah :

ditunjukkan empat fungsi kemungkinan dihitung dari empat

binomial eksperimen dengan n = 10 dan x = 0,2,5, 10. Misalnya,

ketika x = 0 kemungkinan terkonsentrasi dekat nol, menunjukkan

bukti kuat bahwa

sangat mungkin mendekati nol.

Fungsi likelihood probabilitas kepercayaan

dalam

empat binomial eksperimen dengan n = 10 dan x = 0,2,5,10.

Fungsi dinormalisasi untuk memiliki unit maksimum.
Model kontinyu
Masalah teknis sedikit muncul ketika berhadapan dengan
hasil yang terus-menerus, karena teoritis probabilitas dari setiap
nilai titik x adalah nol. Kita dapat mengatasi masalah ini dengan
mengakui bahwa dalam kehidupan nyata hanya ada presisi yang
terbatas:

di mana

adalah batas presisi .

Untuk tujuan membandingkan

dalam model

(x)

kemungkinan adalah hanya bermakna hingga konstan sewenangwenang, sehingga kita bisa mengabaikan e.
Konvensi Matematika
Variabel acak diskrit atau kontinu sedikit berbeda di teori
probabilitas,

dan

istilah

'kepadatan

probabilitas'

atau

'probabilitas' akan diterapkan untuk menutupi kedua model

diskrit dan kontinu. Dalam kebanyakan kasus kemungkinan
adalah

densitas

probabilitas

dilihat

sebagai

fungsi

dari

parameter. Definisi asli adalah penting ketika data keduanya

diskrit dan terus menerus, atau ketika kita membandingkan
model terpisah. Ketika kita mengatakan kita 'mengintegrasikan'
kepadatan ini berarti (i) integrasi biasa ketika kita berhadapan
dengan variabel acak kontinu:

h ( x ) dx
atau (ii) penjumlahan ketika berhadapan dengan orang yang
diskrit

h ( x)
x

dimana h(x) adalah beberapa fungsi kepadatan. Ketika kita

membahas contoh tertentu, kita mungkin menggunakan baik
integrasi atau penjumlahan, tergantung pada konteks, tetapi
harus

dipahami

bahwa

ide

yang

sedang

dipertimbangkan

biasanya mencakup kedua kasus kontinyu dan diskrit.

2.2 Contoh
Contoh 2.1 :

Misalkan 100 biji ditanam dan diketahui hanya itu x 10

benih berkecambah. Jumlah pasti berkecambah benih tidak
diketahui. Kemudian informasi tentang

diberikan oleh fungsi

likelihood

Gambar 2.3(a) membandingkan likelihood ini dengan likelihood

yang berdasarkan x=5

Gambar 2.3
a) fungsi Kemungkinan dari dua percobaan binomial: n = 100
dan x <11, dan n = 100 dan x= 5.
b) Kemungkinan jumlah dari luak.

c) Kemungkinan prevalensi genotipe tertentu.

d) Kemungkinan mean normal berdasarkan mengamati 0,9
<x <4 (padat line), x = 2,45 (garis putus-putus), dan X
maksimum (5) = 3,5 (garis putus-putus).Semua likelihood
ditetapkan untuk memiliki unit maksimum.
Contoh 2.2 :
Sebuah teknik yang berguna untuk menghitung populasi
adalah

untuk

menandai

subset

dari

populasi,

kemudian

mengambil sampel acak dari campuran ditandai dan individu

ditandai. Teknik capture-recapture ini digunakan. misalnya, untuk
menghitung jumlah hewan liar. Dalam aplikasi sensus Survei
pasca-pencacahan

dilakukan

dan

salah

satu

menganggap

dihitung sebelumnya individu sebagai 'ditandai' dan yang baru

sebagai 'ditandai', proporsi baru individu dalam survei akan
memberikan

perkiraan

mengurangi

hitungan

selama

sensus. Untuk memperkirakan jumlah orang yang menghadiri reli

yang besar dapat pertama mendistribusikan topi berwarna-warni,
kemudian

nanti

mengambil sampel

acak

dari

kerumunan.

Sebagai contoh spesifik, untuk memperkirakan jumlah luak (N)

dalam tertentu daerah, Departemen Pertanian tag N1 = 25 dari
mereka. Kemudian ia menangkap n = 60 luak, dan menemukan
n2 = 55 untagged dan nl = 5 yang ditandai. Dengan asumsi
teledu tertangkap secara acak, kemungkinan N dapat dihitung
berdasarkan pada probabilitas hipergeometrik:

Gambar 2.3(b) menunjukkan fungsi likelihood untuk range N

Contoh 2.3
Sebuah
kelaziman

kelompok

genotype

genetikus

langka,

yang

sedang

menginvestigasi

membuat

penampilan

pertamanya pada 53 subjek dianalisis. Asumsikan subjek adalah

independent, likelihood dari probabilitas kelaziman

diberikan

dengan
L ( )=(1)52
Saintis telah merencanakan untuk berhenti jika mereka
menemukan 5 subjek dengan genotype yang diinginkan, yang
mana point yang mereka analisis 552 subjek. Likelihood

sekarang diberikan dengan probabilitas binomial negative

L ( )= 5521 5 (1)5525
51
Gambar 2.3 (c) menunjukkan masing-masing likelihood di garis utuh dan garis
titik-titik

Contoh 2.4
Misalkan x adalah sampel berdistribusi

N ( , 1) ; fungsi likelihood dari

adalah
L ( )= ( x )

1
e
2

1
( x) 2
2

Kurva putus-putus pada gambar 2.3(d) adalah likelihood berdasarkan pengamatan

x=2.45.
Misalkan diketahui hanya 0.9 < x < 0.4; lalu likelihood dari adalah

L ( )=P ( 0.9< X <0.4 )= ( 4 ) ( 9 ) ,

(z )

dimana

adalah fungsi distribusi normal standar. Likelihoodnya

ditunjukkan pada garis utuh di gambar 2.3(d).

x1 , , xn
hanya

adalah sampel identic dan independen berdistribusi

xn

maksimum

ketika yang lainnya

dari

xn

N ( , 1) , dan

yang dilaporkan,

hilang. Fungsi distribusi

adalah

Jadi, likelihood berdasarkan pengamatan

L ( )= p ( x (n) ) =n {( x( n)) }

n1

x(n)

adalah

( x ( n) ) .

Gambar 2.3(d) menunjukkan likelihood pada garis titik-titik untuk n=5 dan
x (n)=3.5
Terdapat heuristis umum yang menangani statistic terurut untuk sample
identik dan independen dari densitas kontinu

p (x) . Asumsikan presisi terbatas

dan partisi garis utuh ke kotak yang lebarnya

and independent distributed)

x1 , , xn

. Ambil sampel iid(identic

seperti menunjukkan eksperimen

multinomial; lempar n bola ke sel dengan probabilitas

p( x) dan catat dimana

mereka

untuk

mendarat.

x(1) , , x (n )

sekitar

Sebagai

contoh,

probabilitas

statistic

terurut

n ! n p ( x (i) ) .

Diketahui hanya maksimum

x(n)

x(1)

dan

dibawah ini. Jika hanya

, hasil argument dari likelihood diberikan

x(n)

yang diberikan, maka likelihood dari

adalah
n2

L ( )=n( n1) p ( x (1) ) p (x ( n)) { F ( x ( n) ) F (x ( 1)) }

dimana

F (x ) adalah fungsi distribusi.

Contoh 2.5
Mari kita ketahui pertukaran paradox pada Contoh 1.3 menggunakan likelihood.
Perlakukan jumlah uang sebagai parameter yang tidak diketahui
Dengan

melihat

amplop, likelihood

dan

2 .

jumlah x dalam
adalah

dan

yang mana mean dari data x tidak bias memberitahukan kita pilihan apapun atas
dua nilai yang mungkin dari
lain antara x/2 atau 2x (jika

. Jumlah (yang tidak diketahui) di amplop yang

=x ) dengan likelihood yang sama, bukan

probabilitas, dan kita harus stop disana. Analisis likelihood menyatakan bahwa,
diberikan x sendiri dan tidak ada informasi lain, tidak adan jalan rasional untuk

lebih memilih satu amplop atas yang lainnya. Paradox dihindari karena kita tidak
bias mengambil rata-rata menggunakan nilai likelihood atas beratnya.

2.3 Menggabungkan likelihood

Definisi kemungkinan segera memberikan aturan sederhana
untuk menggabungkan likelihood dari dataset yang berbeda. Jika
X1 dan X2 adalah dataset independen dengan probabilitas P1,9
(X1) dan P2,9 (X2) yang berbagi parameter umum 0, maka
kemungkinan dari data gabungan

di mana L1 ( ) dan L2 ( ) adalah likelihood dari dataset

individu. Di login skala properti ini adalah properti aditif
sederhana
logL ( )=log L1 ( ) +log L2 ( ) ,
memberikan sangat nyaman formula untuk menggabungkan
informasi dari independen percobaan, hanya menambahkan loglikelihood. Untuk analisis dan tujuan komputasi biasanya lebih
nyaman untuk bekerja di loglikelihood yang skala. Ternyata
bahwa sebagian besar (frequentist) sifat fungsi kemungkinan
berhubungan dengan log-kemungkinan dan jumlah berasal dari
itu. Kasus yang paling sederhana terjadi jika Xl dan X2 adalah
sampel iid dari yang sama density P (X), sehingga :
L ( )= p ( x1 ) p ( x 2) ,
atau

logL ( )=log p ( x 1 ) +log p ( x 2)

sampel independent dari

. Jadi, jika

x1 , , xn

p (x) , kita mempunyai

adalah

L ( )= p ( x i )
i=1

atau

logL ( )= log p ( x i ) .
i=1

Contoh 2.6 :
2

Biarkan X1, ,..Xn menjadi sampel iid dari N( ,

Li ( ) =

2 2

exp

(x i)
2

total log-likelihood adalah

Contoh 2.7 :
Misalkan kita memiliki dua sampel independen diambil dari
N ( , 1). Dari sampel pertama dilaporkan bahwa ukuran
sampel adalah n1 = 5, dan maksimum: x( ) = 3,5. Sampel kedua
memiliki ukuran n2 = 3, dan hanya sampel rata-ratanya =4 .
4

L1 ( ) =5 {( x (5 )) } ( x (5 ) ) ,

Dan selama

berdistribusi
L2 ( ) =

( 31 ) ,

N ,

1
3
exp
( y )2 .
2
2 /3

Log-likelihood dari data gabungan

logL ( )=log L1 ( ) +log L2 ( )

Gambar 2.4 Likelihood berdasarkan maksimum x(5) dari contoh

pertama (garis putus-putus), mean y = 4 untuk contoh kedua
(garis titik-titik) dan kombinasi data (garis utuh)
Kemungkinan

berdasarkan

maksimum

X(s)

dari

sampel

pertama (garis putus-putus), pada sampel berarti fi = 4 dari

sampel kedua (dotted line), dan pada data gabungan (garis
utuh).
Koneksi dengan pendekatan Bayesian *
Ingat bahwa dalam perhitungan Bayesian kita mulai dengan
terlebih dahulu f ( ) dan menghitung posterior,

di

mana,

untuk

menggunakan f (xl

mengikuti
)=

(x).

pemikiran

Bayesian,

kita

2.4 Likelihood Ratio (rasio)

Bagaimana kita harus membandingkan kemungkinan nilai
yang berbeda dari parameter, mengatakan L (

) vs L (

)?

Misalkan y adalah transformasi satu-ke-satu dari diamati Xi data

jika X kontinu,

| xy |,

p ( y ) =p ( x ( y ) )

sehingga kemungkinan berdasarkan data baru y adalah

| xy |

L ( ; y )= L( ; x )

Jelas x dan y harus membawa informasi yang sama dari

sehingga

untuk

membandingkan

harus

membandingkan

kemungkinan nilai yang berbeda dari parameter, mengatakan

dan

hanya rasio kemungkinan relevan karena invarian

dengan hormat untuk transformasi:

L( 2 ; y ) L( 2 ; x)
=
L( 1 ; y ) L( 1 ; x)
P

Karena hanya rasio penting, dalam model

(x), kemungkinan Fungsi ini hanya bermakna sampai

konstan perkalian. Ini berarti, misalnya, dalam menyiapkan

kemungkinan kita bisa mengabaikan hal yang tidak melibatkan
parameter. Likelihood proporsional setara sejauh bukti tentang

yang bersangkutan dan kita kadang-kadang merujuk kepada

mereka sebagai yang sama kemungkinan. Untuk membuatnya

unik, terutama untuk merencanakan, adalah kebiasaan untuk

menormalkan

fungsi

kemungkinan

untuk

memiliki

unit

maksimum, yaitu kita membagi fungsi dengan maksimal. Mulai

sekarang

jika

kita

melaporkan

nilai

kemungkinan

sebagai

persentase itu dipahami sebagai nilai normalisasi. Atau, kita

dapat mengatur log-kemungkinan untuk memiliki nol maksimal.
Ini mungkin tergoda untuk menormalkan kemungkinan
sehingga terintegrasi untuk satu, tetapi ada alasan untuk tidak
melakukan hal itu. Secara khusus akan ada masalah invarian
ketika kita berurusan dengan transformasi parameter .
Contoh 2.8:
Misalkan x adalah contoh dari hinomial (n, 8), di mana n
adalah dikenal. Kami telah, mengabaikan hal yang tidak relevan,
L ( )= x (1)nx ,
atau

log L ( )=xlog+ ( nx ) log ( 1) .

Hal

ini

dinyatakan

sebelumnya

bahwa

kemungkinan

memberi kita ukuran rasional keyakinan atau preferensi relatif.

Bagaimana

kita

menafsirkan

nilai-nilai

aktual

fungsi

kemungkinan atau rasio kemungkinan? Pada contoh binomial

dengan n = 10 dan hasil itu = 8, bagaimana seharusnya kita
bereaksi terhadap pernyataan
L(=0.8)
209 N ? Apakah ada cara untuk mengkalibrasi nilai
L(=0.3)
ini

numerik

dengan

sesuatu

yang

obyektif?

Jawabannya adalah ya, tapi untuk saat ini kami akan mencoba
untuk menjawab lebih subyektif dengan analogi. Bayangkan
mengambil kartu secara acak dari setumpuk kartu N
mempertimbangkan dua hipotesis berikut:

dan

Ho

: dek mengandung N kartu yang berbeda dicap sebagai 1

N.
H2

: dek mengandung N kartu serupa berlabel, katakanlah, 2.

Misalkan kita mendapatkan kartu dengan label 2,

rasio

kemungkinan dua hipotesis adalah :

L( H 2)
=N ;
L( H 0)
yaitu, H2 adalah N = 209 kali lebih mungkin dibandingkan Ho. Itu
adalah bagaimana kita bisa mengukur 'keyakinan rasional' kami
sekitar = 0,8 vs = 0.3 berdasarkan pengamatan itu x= 8.
Interpretasi seperti ini, sayangnya, tidak dapat menahan hati
pengawasan

teoritis

(Bagian

2.6),

itulah

menyebutnya hanya subjektif interpretasi.

3.3

sebabnya

kami