Teorema 1.1 katakan X adalah sebuah random variable dan misalkan a, b, dan c adalah konstanta.

Kemudian untuk beberapa fungsi gi(x) dan g2(x) yang ekspektasinya ada(expectation exist)

a. E [ a g1 ( X ) +b g2 ( X ) +c ]=aE g 1 ( X )+ bE g 2 ( X )+ c

b. Jika g1 ( x ) ≥ 0 untuk semua x , maka Eg1 ( X ) ≥ 0

c. Jika g1 ( x ) ≥ g 2 ( x ) untuk semua x , maka Eg1 ( X ) ≥ Eg2 ( X )

d. Jika a ≤ g1 ( x ) ≤b untuk semua x , maka a ≤ Eg1 ( X ) ≤ b

Moments dan moment generating function

Definisi 1.1 Untuk setiap n integer, moment ke-n dari X (atau f X ( x )), μnI, adalah

μnI=E [ X n ]

Moment sentral ke-n dari X , μn, adalah

n
μn=E [ X−μ ]

dimana μ=μ I1=E [ X ]

Teorema 1.2 variance dari sebuah random variable X adalah moment sentral kedua (second central
2
moment), Var [ X ] =E [ X −E [ X ] ] . Akar kuadrat dari Var [ X ] adalah standar deviasi dari X.

Teorema 1.3 Jika X adalah random variable dengan varians tertentu, maka untuk konstanta a dan b

2
Var [ aX +b ]=a Var [ X ]

Varians dapat dihitung menggunakan

2 2
Var [ X ] =E [ X ] −( E [ X ] )

Sedangkan moment sentral ke tiga (3rd central moment) diketahui sebagai skewness dari sebuah distribusi
dan digunakan sebagai ukuran asimetris (measure of asymmetry). Jika sebuah distribusi adalah simetris

meannya ( f ( μ−x )=f ( μ+ x ) ). Skewness akan bernilai 0. Jika nilai skewness tidak nol (non-zero),
distribusinya asimetris.

1
Moment sentral ke empat (4th central moment) adalah kurtosis. Digunakan sebagai ukuran dari
sebagaimana bobot ekor dari sebuah distribusi. Kurtosis dari distribusi normal adalah 3 σ 4.

Moment generating function (mgf), seperti yang digambarkan oleh namanya, mgf dapat digunakan
untuk membangkitkan moments (generate moments). Pada prakteknya, hal ini lebih mudah dibeberapa
persoalan untuk menghitung moment secara langsung daripada menggunakan mgf. Bagaimanapun
kegunaan utama dari mgf adalah bukan untuk membangkitkan moments (generate moments), tetapi
untuk membantu dalam mengelompokkan sebuah distribusi. Sifat dari mgf ini dapat menuntun kepada
extremely powerful results jika digunakan dengan tepat.

The probability density function (variabel kontinyu) atau probability mass function (variable diskrit) dari
sebuah random variabel X berisi semua informasi tentang variabel ini. Therefore, it seems that it should
always be possible: Oleh karena itu, ini terlihat bahwa harus selalu mungkin:

 Untuk menghitung mean, varians, dan order moments yang lebih tinggi dari X dari pdfnya (atau
dari pmfnya untuk yang diskrit)
 Untuk menghitung distribusi dari, katakan penjumlahan dari dua random variable independent
X dan Y yang distribusinya diketahui

Namun, pada prakteknya, ternyata bahwa perhitungan dari prinsip-prinsip pertama sering sulit. Mgf
kemudian dapat digunakan untuk membantu

Sebelum kita menggambarkan MGF, suatu penyimpangan kecil adalah dalam susunan. The difficulty we
just mentioned is not specific to Probability Theory. Kesulitan kita hanya disebutkan tidak khusus untuk
Teori Probabilitas. In fact, just about any disciplin in Physics or Mathematics will run into the same
problem sooner or later:  a certain property of a function f is needed, the equations are there, but
cannot be solved in a closed form. Bahkan, hampir semua disiplin dalam Fisika atau Matematika akan
berjalan ke dalam masalah yang sama cepat atau lambat yaitu sebuah sifat tertentu dari fungsi f
diperlukan, persamaan ada di sana, tetapi tidak dapat diselesaikan dalam bentuk tertutup.

Sebuah ide yang kuat dan sangat umum, yang ada di bawah banyak samaran, terdiri kemudian dalam
perubahan fungsi asli f menjadi sebuah fungsi g terpilih secara tepat dan baru,sedemikian rupa
termasuk penghitungan sederhana pada g akan membangun hasil yang diinginkan.

2
Kendalanya diolehkarenakan menghindar pada mengorbankan perubahan fungsi asli f (original function)
yang tepat. Cara ini digambarkan pada ilustrasi di bawah ini

The obstacle is therefore circumvented, at the expense of appropriately transforming the original

function f .

Gambar di sebelah kanan menggambarkan secara eksplisit dasar dari perubahan sebuah fungsi
(transformation of a function) yaitu:

→
 Pertama, hitung g (function f transformation function g)

3
  Kemudian lakukan penghitungan yang tepat pada g untuk menghasilkan quantity Q yang
diinginkan

Mgf dihasilkan dari sebuah transformasi dari pdf (atau pmf). Perubahan ini didefinisikan sebagai berikut:

Muncul sebuah parameter baru t

Terbentuk Random variabel e tX

E [ e tX ] . Ekspektasi dari e tX dihitung. Sebagai contoh, jika X radom variabel berdistribusi kontinyu

E [ e tX ]=∫ etx f ( x ) dx

Dan untuk variable berdistribusi diskrit

Dimana f ( x ) adalah pdf dari random variabel X

Pengintegralan dilakukan terhadap x, oleh karena itu x tidak ditemukan pada hasil akhir, yang ada hanya
fungsi dari t. sedangkan pada variabel diskrit, indeks berjalan untuk x, sehingga variable x juga tidak akan
ditemukan pada penghitungn ekspektasi itu, yang ada hanya fungsi dari t.

Jadi definisi dari moment generating function (mgf) dari variabel X atau dari pdf f ( x ) akan dinotasikan

dengan M X ( t ) atau M (t ) adalah

M X ( t )=E [ e tX ]

Dengan syarat ekspektasi dari t ada (exist) disekitar 0. Yaitu dimana h untuk semua t pada

−h< t<h , E [ e tX ] ada (exist). Jika ekspektasinya tidak ada (does not exist) di sekitar 0, kita dapat
katakana bahwa moment generating functionnya tidak ada (does not exist).

Teorema 1.4 Jika X mempunyai MGF M X ( t ), maka

E [ X n ]=M nX ( 0 )

Dimana didefinisikan

4
 dn
M X(n) ( 0 )=
dt
n
M X (t )|t =0

Yaitu moment ke-n adalah sama dengan turunan ke-n dari M X ( t ) pada saat t=0

Bukti, asumsikan bahwa kita dapat menurunkan dibawah integral, kita dapatkan

∞
d d
M ( t )= ∫ e tx f X ( x ) dx
dt X dt −∞

∞
¿∫
−∞
( dtd e ) f
tx
X ( x ) dx

∞
¿ ∫ ( x e tx ) f X ( x ) dx
−∞

¿ E [ X e tX ]

Jadi,

d
|
M ( t ) = E [ X etX ]|t=0 =E [ X ]
dt X t =0

Maka,

dn
dt n |
M X ( t ) = E [ X n etX ]|t=0 =E [ X n ]
t =0

Teorema 1.5 misalkan F X ( x ) dan F Y ( y ) adalah cdf yang mgfnya ada (exist)

a. Jika X dan Y mempunyai bounded support, maka F X ( u )=F Y ( u ) untuk semua u jika dan hanya

jika E [ X r ] =E [ Y r ] untuk semua integer r =0 ,1 , 2 , ….

b. Jika mgf ada (exist) dan M X ( t )=M Y ( t ) untuk semua t disekitar 0, maka F X ( u )=F Y ( u ) untuk
semua u.

Teorema 1.5 (convergence of mgfs) misalan { X i , i=1 , 2, … } adalah sebuah urutan dari random variable,

dengan mgfnya masing-masing M X ( t ) . Dapat dikatakan bahwa

i

5
 lim M X ( t )=M X ( t ), untuk semua t disekitar 0
i
t→∞

Dan M X ( t ) adalah sebuah mgf, maka ada sebuah cdf yang unik F X yang momentnya dihasilkan oleh

M X ( t ) untuk semua x dimana F X ( x ) adalah kontinyu, kita dapatkan

lim F X ( x )=¿ F X ( x ) ¿
i
t→∞

Yaitu konvergen untuk |t |<h , dari mgfs kepada sebuah mgf menyatakan convergen of cdf

Teorema 1.6 untuk a dan b konstan, mgf dari random variable aX =b adalah sebagai berikut

M aX +b ( t ) =e bt M X ( at )

Bukti

M aX +b ( t ) =E [ e( aX +B ) t ]

¿ e bt E [ e( at ) X ]

¿ e bt M X ( at )

2. Differentiating under an integral sign

Maksud dari bagian ini adalah untuk menggolongkan kondisi di bawah operator logic. Kita juga akan
membicarakan mengenai pertukaran order dari penurunan dan penjumlahan. Banyak dari kondisi ini
dapat dibuat menggunakan teorema standar dari kalkulus.

Teorema 2.1 (leibrut’s rule) jika f ( x ; θ ) , a (θ ) , b ( θ ) adalah turunan terhadap θ maka

b ( θ) ❑
d d d d
∫ f ( x , θ ) dx=f ( b (θ ) , θ ) b (θ )−f ( a ( θ ) ,θ ) a ( θ ) +∫ f ( x , θ ) dx
dθ a ( θ) dθ dθ ❑ dθ

Jika a ( θ ) dan b ( θ ) adalah konstanta, formula leibnitz’s rule menjadi

b b
d d
∫ f ( x , θ ) dx=∫ f ( x , θ ) dx
dθ a a dθ

6
Jadi secara umum jika kita mempunyai integral dari sebuah fungsi turunan terhadap sebuah rank
tertentu, jika range dari integral adalah terbatas , bagaimanapun, permasalahan dapat muncul.

Pertanyaannya adalah apakah penggantian dari order dari differentiation dan pengintegralan
dibenarkan merupakan pertanyaan apakah limit dan pengintegralan dapat saling mengganti, karena
sebuah turunana merupakan sebuah jenis limit yang mungkin. Katakana bahwa jika f ( x ,θ ) dapat
diturunkan (differentiable), maka

∂ f ( x , θ+δ )−f ( x ,θ )
f ( x ,θ )=lim
∂θ δ →0 δ
jadi kita dapatkan

∞ ∞
∂ f ( x ,θ+ δ )−f ( x , θ )
∫ f ( x , θ ) dx=∫ lim dx
−∞ ∂θ −∞ δ → 0 δ

Sedangkan

∞ ∞
d f ( x , θ+δ )−f ( x ,θ )
∫
dθ −∞
f ( x ,θ ) dx=lim ∫
δ → 0 −∞
( δ
dx )
Semua teorema berikutnya berhubungan dengan dengan lebesgue’s dominated convergence theorem.

Teorema 2.2 misalkan fungsi h ( x , y ) adalah pada y 0 untuk setiap x, dan ada sebuah fungsi g ( x ) yang
memenuhi

i.|h ( x , y )|≤ g ( x ) untuk semua x dan y

∞
ii . ∫ g ( x ) dx < ∞.
−∞

Maka

∞ ∞
lim ∫ h ( x , y ) dx= ∫ ylim h ( x , y ) dx
y → y0 −∞ −∞ →y 0

Kondisi kunci pada teorema ini adalah keberadaan dari fungsi g ( x ), dengan sebuah integral tertentu,
yang meyakinkan bahwa integralnya tidak berlaku buruk.

7
Teorema 2.3 misalkan f ( x ,θ ) dapat diturunkan pada θ=θ0 yaitu

f ( x , θ+δ )−f ( x ,θ ) ∂
lim
δ →0 δ
=
∂θ |
f ( x , θ)
θ=θ 0

Ada untuk setiap x , dan disana ada sebuah fungsi g ( x ,θ0 ) dan sebuah konstanta δ 0 >0 yaitu

i.

f ( x ,θ+ δ ) −f ( x , θ )
| δ |≤ g ( x ,θ 0 ) ,untuk semua x dan|δ|≤ δ 0 ,

ii

∫ g ( x ,θ 0 ) dx< ∞ .
−∞

Maka

∞ ∞
d ∂
∫
dθ −∞
f ( x ,θ ) dx|θ=θ =∫
−∞ ∂ θ
0 [
f ( x , θ )|θ=θ dx . 0 ]
Penting untuk menyadari bahwa walaupun kita terlihat memperlakukan θ sebagai sebuah variable,
pernyataan dari teorema itu adalah untuk suatu nilai dari θ . Yaitu, untuk setiap nilai θ0 yang mana

f ( x ,θ ) dapat diturunkan (differentiable) pada θ=θ0 dan memenuhi kondisi ( i ) dan ( ii ) , urutan dari
integral dan turunan dapat saling mengganti.

Formula di atas dapat juga ditulis

∞ ∞
d ∂
∫ f ( x ,θ ) dx=∫ f ( x , θ ) dx
dθ −∞ −∞ ∂ θ

Mgf dari beberapa distribusi

MGF Distribusi Binomial

Mx(t) = E(etx)

8
 n
=∑e
x=0
tx
(nx) p (1−p)
x n− x

n
= ∑ n ¿¿
x=0
(x )
=¿

MGF Distribusi Bernoulli

Mx(t) = E(etx)

1
tx
= ∑ e f (x)
x=0

1
tx x 1−x
= ∑ e p (1− p)
x=0

1
= ∑ ¿¿
x=0

= [(¿+ [(¿

= q+ pe t

Distribusi poisson

e−μ μx
F(x)= x=0,1,...
x!

Mx(t)=E(e tx)

n
e− μ μ x
=∑ etx
x=0 x!

n
( μe¿¿ t) x
=e− μ ∑ ¿
x=0 x!

=e− μ e μ e

9
 t

=e μ (e −1)

Distribusi Uniform→UNIF(a,b)

1
F(x)= b−a a<x<b

Mx(t)= E(e tx)

= ∫ etx F (x)
−∞

∞
1
= ∫ etx dx
−∞ b−a

∞
1
= ∫ e tx dx
b−a −∞

b
1
= ∫ e tx dx
b−a a

1 1 tx
= b−a t e |ba

1 1 t (b −a)
= b−a t e

1 t (b−a)
= t( b−a) e

Distribusi geometrik→GEO(p)

F(x)=pq x−1 x=1,2,...

Mx(t)= E(e tx)

n
=∑ etx pq x−1
x=1

10
 n
p
= ∑ e tx q x
q x=1

p
=q ¿

p q et
=q t
(1−q e )

p et
= t
(1−q e )

Negative Binomial→ NB ( k , p )

x−1 k x−k
[ ]
F(x)= k −1 p q x=k,k=1,...

Mx(t)= E(e tx)

k +n

=∑ x−1 p ( 1− p ) ( 1−p ) e
k x −k tx

x=k
( k−1)
k+n x−1 x
p ¿ ¿k ( q etx ) ¿
( )
=(
q
∑ k −1
x=k
¿

p k
=( q ¿ ¿ ¿)

p k
=( q ¿ ¿ ¿

x
pk ( q et )
= k
q (1−q e t )−k

k
p et
= (
1−q et )
MGF Distribusi Gamma

11
Mx(t) = E(etx)

∞ −x
tx 1 α −1 β
=∫e α
x e dx
0 τ (α ) β

∞ 1
1 α−1
−( −t )x
= α∫
x e β dx
τ (α) β 0

1 τ (α)
α α
= τ (α) β 1
( −t )
β

1 τ ( α ) βα
=
τ ( α ) β α (1−βt ) α

=¿

12
Fungsi karakteristik

Diberikan sebuah subset A dari sebuah set yang besar, fungsi karakteristik X A didefinisikan identik satu
pada pada A dan nol untuk lainnya. Fungsi karakteristik kadang-kadang dinotasikan dengan
menggunakan yang dinamakan Iverson bracket, dan dapat berguna untuk descriptive devices karena hal
itu akan mudah untuk diucapkan, contohya, “characteristic function of the primes” lebih baik dari pada
mengulang sebuah definisi yang telah diberikan. Sebuah fungsi karakteristik adalah kasus khusus dari
simple function.

Istilah fungsi karaktristik digunakan dengan cara berbeda di peluang, dimana dinotasikan dengan ϕ ( t )
dan didefinisikan sebagai fourier transformation dari pdf menggunakan fourier transform parameters
( a , b )=( 1 ,1 )

ϕ ( t )=F X [ P ( x ) ] ( t )

∞
¿ ∫ eitx P ( x ) dx
−∞

∞ ∞ ∞
1
¿ ∫ P ( x ) dx+ it ∫ xP ( x ) dx + ( it )2 ∫ x 2 P ( x ) dx +…
−∞ −∞ 2 −∞

∞
( it )k '
¿∑ μ
k=0 k! k

1 1 1
¿ 1+it μ '1− t 2 μ'2− i t 3 μ '3+ t 4 μ'4+ …
2 3! 4!

Dimana (kadang dinotaasikan dengan v π ) adalah moment ke n disekitar 0 dan (Abramowitz

and Stegun 1972, p. 928; Morrison 1995).

Sebuah distribusi statistic tidak di golongkan secara unik oleh momentnya, tetapi adalah oleh fungsi
karakteristiknya jika semua momentnya terhingga dan series untuk fungsi karakteristiknya secara
absolute konvergen didekat origin (Papoulis 1991, p. 116). Pada kasus ini pdfnya diberikan sebagai
berikut

13
(Papoulis 1991, p. 116).

Fungsi karakteristik dapat juga digunakan untuk mengenerate raw moments,

Atau cumulants .

14