Μαθηματική Στατιστική

Εκτιμητική-Κάτω φράγμα Cramer − Rao

1 / 36
Συνθήκες Ομαλότητας
΄Εστω X ένα τυχαίο δείγμα από κατανομή με άγνωστη παράμετρο θ ∈ Θ ⊂ R και
συνάρτηση πυκνότητας ( ή μάζας) πιθανότητας f (x; θ). Θεωρούμε ότι ισχύουν τα
παρακάτω:
(i) Ο παραμετρικός χώρος Θ είναι ανοικτό υποσύνολο του R.
n
Z στήριγμα S := {x ∈ R
(ii) Το Z : f (x; θ) > 0} είναι ένα ανοικτό υποσύνολο του R.
∂ ∂
(iii) T (x) f (x; θ) = T (x)f (x; θ) < ∞, ∀ x ∈ Rn , ∀ θ ∈ Θ.
RS ∂ ∂θ ∂θ S
∂
R
(iv ) S ∂θ f (x; θ)dx = ∂θ S f (x; θ)dx = 0, ∀ θ ∈ Θ.
(v ) Ισχύει IX (θ) ∈ (0, ∞), για κάθε θ ∈ Θ, όπου
" 2 #
∂
IX (θ) = Eθ log f (x; θ)
∂θ
καλείται η πληροφορία κατά Fischer του δείγματος X για την άγνωστη
παράμετρο θ.
2 / 36
Κάτω φράγμα Cramer -Rao

΄Εστω X ένα τυχαίο δείγμα για το οποίο ικανοποιούνται οι συνθήκες ομαλότητας

i-v και T μία α.ε της παραμετρικής συνάρτησης g (θ). Τότε ισχύει η παρακάτω
ανισότητα:

g ′ (θ)2
V(T ) ≥ .
IX (θ)

3 / 36
Κάτω φράγμα Cramer -Rao

΄Εστω X ένα τυχαίο δείγμα για το οποίο ικανοποιούνται οι συνθήκες ομαλότητας

i-v και T μία α.ε της παραμετρικής συνάρτησης g (θ). Τότε ισχύει η παρακάτω
ανισότητα:

g ′ (θ)2
V(T ) ≥ .
IX (θ)
Επιπλέον, αν g (θ) = θ τότε
1
V(T ) ≥ .
IX (θ)

3 / 36
Η κατανομή του δείγματος X = (X1 , . . . , Xn ) με άγνωστη παράμετρο θ και
συνάρτηση πιθανότητας ( ή πυκνότητας) f (x; θ) ανήκει στη μονοπαραμετρικη
Ε.Ο.Κ όταν:
α. Το στήριγμα της είναι ανεξάρτητο του θ
β. Η συνάρτηση πυκνότητας (ή πιθανότητας) μπορεί να γραφεί στην παρακάτω
μορφή

f (x; θ) = exp {A(θ) + B(x) + C (θ) D(x)}, x ∈ S,

όπου οι συναρτήσεις A(◦), D(◦), B(◦) είναι πραγματικές συναρτήσεις.

4 / 36
Παράδειγμα
(i) ΄Εστω X ∼ Exp(θ), θ ∈ (0, +∞). Η συνάρτηση πυκνότητας γράφεται

1 x x
f (x; θ) = e − θ = e −log (θ)− θ , x ∈ S = (0, +∞).
θ
Παρατηρούμε ότι το στήριγμα είναι ανεξάρτητο του θ, ενώ η f αναλύεται στη
ζητούμενη μορφη. Πράγματι, για C (θ) = − 1θ , B(x) = 0, D(X ) = X και
A(θ) = −log (θ) βλέπουμε ότι η f γράφεται στη ζητούμενη μορφή. Επομένως η
εκθετική κατανομή ανήκει στην ΕΟΚ.
(ii) Η κλάση των ομοιόμορφων κατανομών δεν ανήκουν στην ΕΟΚ. Για
παράδειγμα, μία τυχαία μεταβλητή από την κατανομή U(0, θ) έχει ως στήριγμα
το διάστημα (0, θ) το οποίο εξαρτάται από την άγνωστη παράμετρο θ.

5 / 36
Παράδειγμα
θεωρούμε μία τυχαία μεταβλητή από Binomial(N, p), με Ν γνωστό και p άγνωστο.
Δηλαδή,  
N x
f (x; p) = p (1 − p)N−x , x = 0, 1, . . . , N
x
Το στήριγμα της X είναι ανεξάρητο της παραμέτρου p ενώ η (σπ) της γράφεται στη
μορφή:

f (x; p) =

6 / 36
Παράδειγμα
θεωρούμε μία τυχαία μεταβλητή από Binomial(N, p), με Ν γνωστό και p άγνωστο.
Δηλαδή,  
N x
f (x; p) = p (1 − p)N−x , x = 0, 1, . . . , N
x
Το στήριγμα της X είναι ανεξάρητο της παραμέτρου p ενώ η (σπ) της γράφεται στη
μορφή:
 
N x
f (x; p) = p (1 − p)N−x =
x

6 / 36
Παράδειγμα
θεωρούμε μία τυχαία μεταβλητή από Binomial(N, p), με Ν γνωστό και p άγνωστο.
Δηλαδή,  
N x
f (x; p) = p (1 − p)N−x , x = 0, 1, . . . , N
x
Το στήριγμα της X είναι ανεξάρητο της παραμέτρου p ενώ η (σπ) της γράφεται στη
μορφή:
   
N x N−x N x log p (N−x) log (1−p)
f (x; p) = p (1 − p) = e e
x x

6 / 36
Παράδειγμα
θεωρούμε μία τυχαία μεταβλητή από Binomial(N, p), με Ν γνωστό και p άγνωστο.
Δηλαδή,  
N x
f (x; p) = p (1 − p)N−x , x = 0, 1, . . . , N
x
Το στήριγμα της X είναι ανεξάρητο της παραμέτρου p ενώ η (σπ) της γράφεται στη
μορφή:
   
N x N−x N x log p (N−x) log (1−p)
f (x; p) = p (1 − p) = e e
x x
N p
= e log (( x )) e
x log ( 1−p ) N log(1−p)
e
=

6 / 36
Παράδειγμα
θεωρούμε μία τυχαία μεταβλητή από Binomial(N, p), με Ν γνωστό και p άγνωστο.
Δηλαδή,  
N x
f (x; p) = p (1 − p)N−x , x = 0, 1, . . . , N
x
Το στήριγμα της X είναι ανεξάρητο της παραμέτρου p ενώ η (σπ) της γράφεται στη
μορφή:
   
N x N−x N x log p (N−x) log (1−p)
f (x; p) = p (1 − p) = e e
x x
N p
= e log (( x ))
x log ( 1−p ) N log(1−p)
 e e
   
N p
= exp N log (1 − p) + log + x log
x 1−p

6 / 36
Παράδειγμα 1

΄Αρα η κατανομή της τυχαίας μεταβλητής X ανήκει στην εκθετική οικογένεια

κατανομών, όπου:
   
p N
A(p) = N log(1 − p), D(X ) = X , C (p) = log , B(x) = log
1−p x

7 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n
Y
f (x; θ) = f (xi ; θ)
i=1

8 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n n
Y Y θxi e −θ
f (x; θ) = f (xi ; θ) =
xi !
i=1 i=1

8 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n n Pn
Y Y θxi e −θ θ i=1 xi e −nθ
f (x; θ) = f (xi ; θ) = = Qn
xi ! i=1 xi !
i=1 i=1

8 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n n Pn Pn
Y Y θxi e −θ θ e −nθ
i=1 xi e log(θ) i=1 xi e −nθ
f (x; θ) = f (xi ; θ) = = Qn = Qn
xi ! i=1 xi ! i=1 xi !
i=1 i=1

8 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n n Pn Pn
Y Y θxi e −θ θ e −nθ
i=1 xi e log(θ) i=1 xi e −nθ
f (x; θ) = f (xi ; θ) = = Qn = Qn
xi ! i=1 xi ! i=1 xi !
i=1 i=1
Pn
e log(θ) i=1 xi −nθ
= Qn
i=1 xi !

8 / 36
Παράδειγμα 2
Θεωρούμε ένα τυχαίο δείγμα (X1 , . . . , Xn ) το οποίο προέρχεται από κατανομή
Poisson(θ) η οποία έχει την παρκάτω συνάρτηση πιθανότητας:

θx e −θ
f (x; θ) = , x ∈ N.
x!
Το στήριγμα της X είναι το Nn και είναι ανεξάρτητο του θ. Μας μένει να ελέγξουμε
αν η συνάρτηση πιθανότητας των παρατηρήσεων γράφεται στη ζητούμενη μορφή.
n n Pn Pn
Y Y θxi e −θ θ e −nθ
i=1 xi e log(θ) i=1 xi e −nθ
f (x; θ) = f (xi ; θ) = = Qn = Qn
xi ! i=1 xi ! i=1 xi !
i=1 i=1
n n
Pn ( )
e log(θ) i=1 xi −nθ X X
= Qn = exp −nθ + log (Xi !) + log (θ) · Xi
i=1 xi ! i=1 i=1

8 / 36
Πρόταση:
Αν X = (X1 , . . . , Xn ) είναι ένα τδ από κατανομή με σππ f1 (x; θ) που ανήκει στη
μονοπαραμετρική ΕΟΚ, τότε και η οικογένεια κατανομών του X ανήκει στη
μονοπαραμετρική ΕΟΚ.

9 / 36
Πρόταση
Αν το δείγμα X = (X1 , . . . , Xn ) έχει κατανομή με σππ fX (x; θ) που ανήκει στη
μονοπαραμετρική ΕΟΚ και η C (θ) έχει συνεχή και μη μηδενική πρώτη παράγωγο
για κάθε θ ∈ Θ τότε ισχύουν οι συνθήκες (Ι2), (Ι3) και (Ι4) του θεωρήματος
Cramer − Rao και η Ι4 ισχύει για κάθε σσ T = T (X ).

10 / 36
Αποδοτικός εκτιμητής
Ο εκτιμητής T = T (X ) του g (θ) ονομάζεται αποδοτικός, όταν:
• E[T ] = g (θ), για κάθε θ ∈ Θ,
• Ικανοποιούνται όλες οι συνθήκες (i) − (v ) του Cramer − Rao,
[g ′ (θ)]2
• V[T ] = IX (θ) , για κάθε θ ∈ Θ.

11 / 36
Εύρεση αποδοτικού εκτιμητή
Αν για το δείγμα X ισχύουν τα παρακάτω:
• Ισχύουν οι ιδιότητες I1 − I5
• E [D(X )] = g (θ),
Τότε κάθε κάθε εκτιμητής α · D(X ) + β είναι αποδοτικός εκτιμητής για την
παραμετρική συνάρτηση α · g (θ) + β, με α ̸= 0 και β ∈ R και ανεξάρτητες του θ.

12 / 36
Πληροφορία του Fisher

• Εναλλακτικός τρόπος υπολογισμού (πιο ευέλικτος):

h ∂2 i
IX (θ) = −E logf (X ; θ)
∂θ2
• Αν X1 , . . . , Xn ανεξάρτητες, τότε IX (θ)= ni=1 IXi (θ), όπου IXi είναι η
P
πληφορορία του Fisher που δίνει το δείγμα με μόνη παρατήρηση την Xi .
• Αν Υποθέσουμε ότι είναι και ισόνομες, τότε IX (θ)= nIX1 (θ).

13 / 36
΄Ασκηση 1
Θεωρούμε το τδ X1 , . . . , Xn από Ε(θ2 ), με θ > 0. Να υπολογιστεί το κάτω φράγμα
Cramer -Rao, για τη διασπορα των αμερόληπτων εκτιμητριών των θ και θ2 . Για
ποιες παραμετρικές συναρτήσεις, μπορούμε να βρουμε αποδοτικούς εκτίμηση με τη
χρήση της ανισότητας Cramer -Rao;

14 / 36
Αρχικά, αν X ∼ E (θ2 ) παίρνουμε άμεσα ότι:

E[X ] = θ2 , και V[X ] = θ4 .

15 / 36
Αρχικά, αν X ∼ E (θ2 ) παίρνουμε άμεσα ότι:

E[X ] = θ2 , και V[X ] = θ4 .

Επίσης, η επαγόμενη (σππ) είναι η παρακάτω:

1 n xo
f (x; θ2 ) = · exp − 2 , x > 0.
θ2 θ

15 / 36
Αρχικά, αν X ∼ E (θ2 ) παίρνουμε άμεσα ότι:

E[X ] = θ2 , και V[X ] = θ4 .

Επίσης, η επαγόμενη (σππ) είναι η παρακάτω:

1 n xo
f (x; θ2 ) = · exp − 2 , x > 0.
θ2 θ
Θα δειξουμε, οτι ικανοποιούνται οι ιδιότητες I1 -I5 που απαιτούνται για την ύπαρξη
του ΚΦ.

15 / 36
Αρχικά, αν X ∼ E (θ2 ) παίρνουμε άμεσα ότι:

E[X ] = θ2 , και V[X ] = θ4 .

Επίσης, η επαγόμενη (σππ) είναι η παρακάτω:

1 n xo
f (x; θ2 ) = · exp − 2 , x > 0.
θ2 θ
Θα δειξουμε, οτι ικανοποιούνται οι ιδιότητες I1 -I5 που απαιτούνται για την ύπαρξη
του ΚΦ.
I1 : ο παραμετρικός χώρος για το θ είναι το (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R.

15 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι
SX = {x : f (x; θ2 ) > 0} = (0, +∞)n ,
το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου.

16 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι
SX = {x : f (x; θ2 ) > 0} = (0, +∞)n ,
το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)
μπορεί να δωθεί με τον ακόλουθο τρόπο:
n  Pn 
1 i=1 xi
n x o
i
Y
2 −2n
f (x; θ ) = · exp − 2 = (θ) exp −
θ2 θ θ2
i=1

16 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι
SX = {x : f (x; θ2 ) > 0} = (0, +∞)n ,
το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)
μπορεί να δωθεί με τον ακόλουθο τρόπο:
n  Pn 
1 i=1 xi
n x o
i
Y
2 −2n
f (x; θ ) = · exp − 2 = (θ) exp −
θ2 θ θ2
i=1
 P n 
n o xi
= exp log (θ(−2n) exp − i=1 2
θ

16 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι
SX = {x : f (x; θ2 ) > 0} = (0, +∞)n ,
το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)
μπορεί να δωθεί με τον ακόλουθο τρόπο:
n  Pn 
1 i=1 xi
n x o
i
Y
2 −2n
f (x; θ ) = · exp − 2 = (θ) exp −
θ2 θ θ2
i=1
 P n 
n o xi
= exp log (θ(−2n) exp − i=1 2
θ
 Pn 
xi
= exp −2n · log θ − i=1 2
.
θ

16 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι
SX = {x : f (x; θ2 ) > 0} = (0, +∞)n ,
το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)
μπορεί να δωθεί με τον ακόλουθο τρόπο:
n  Pn 
1 i=1 xi
n x o
i
Y
2 −2n
f (x; θ ) = · exp − 2 = (θ) exp −
θ2 θ θ2
i=1
 P n 
n o xi
= exp log (θ(−2n) exp − i=1 2
θ
 Pn 
xi
= exp −2n · log θ − i=1 2
.
θ
n
X
΄Αρα θέτοντας A(θ) = −2n · log θ, B(X ) = 0, C (θ) = − θ12 και D(X ) = Xi ,
i=1
έχουμε το ζητούμενο τδ ανήκει στη μονοπαραμετρική ΕΟΚ.
16 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
θ

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
Pn θ
2n xi
l ′ (θ) = − + 2 · i=1 3
,
θ θ

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
Pn θ
2n xi
l ′ (θ) = − + 2 · i=1 3
,
θ Pn θ
4n xi
l ′′ (θ) = 2
− 6 · i=1
4
,
θ θ

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = 2
θ3
που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
Pn θ
2n xi
l ′ (θ) = − + 2 · i=1 3
,
θ Pn θ
4n xi
l ′′ (θ) = 2
− 6 · i=1
4
,
θ θ Pn
′′ 4n E[Xi ]
Ix (θ) = −E[l (θ)] = − 3 + 6 · i=1 4 =
θ θ

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = θ23 που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
Pn θ
2n xi
l ′ (θ) = − + 2 · i=1 3
,
θ Pn θ
4n xi
l ′′ (θ) = 2
− 6 · i=1
4
,
θ θ Pn Pn 2
′′ 4n i=1 E[Xi ] 4n i=1 θ
Ix (θ) = −E[l (θ)] = − 3 + 6 · = − + 6 ·
θ θ4 θ2 θ4

17 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = − θ12 έχει παραάγωγο την C ′ (θ) = θ23 που
είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = θ23 ̸= 0
I5 : ΄Εχουμε
Pn
xi
l(θ) = −2n · log θ − i=1 2
,
Pn θ
2n xi
l ′ (θ) = − + 2 · i=1 3
,
θ Pn θ
4n xi
l ′′ (θ) = 2
− 6 · i=1 4
,
θ θ Pn Pn 2
′′ 4n i=1 E[Xi ] 4n i=1 θ
Ix (θ) = −E[l (θ)] = − 3 + 6 · = − + 6 ·
θ θ4 θ2 θ4
4n 6n · θ 2 2n
= − 2 + 4
= 2 ∈ (0, +∞).
θ θ θ
17 / 36
Επομένως ικανοποιούνται οι απαιτούμενες ιδιότητες για το ΚΦ Cramer -Rao και
παιρνουμε, ότι
• Αν T (X ) είναι α.ε της g (θ) = θ τότε g (θ) = 1 και

12 θ2
V [T (x)] ≥ 2n
= . (1)
θ2
2n

18 / 36
Επομένως ικανοποιούνται οι απαιτούμενες ιδιότητες για το ΚΦ Cramer -Rao και
παιρνουμε, ότι
• Αν T (X ) είναι α.ε της g (θ) = θ τότε g (θ) = 1 και

12 θ2
V [T (x)] ≥ 2n
= . (1)
θ2
2n

• Αν T (X ) είναι α.ε της g (θ) = θ2 τότε g (θ) = 2 · θ και

(2θ)2 (2θ)4 2θ6

V [T (x)] ≥ 2n
== 2n
= . (2)
θ2 θ2
n

18 / 36
΄Ασκηση 3
΄Εστω X = (X1 , . . . , Xn ), n ≥ 2 ένα τυχαίο δείγμα με συνάρτηση πυκνότητας
f (x; θ) = θx θ−1 , x ∈ (0, 1) και θ > 0. Να βρεθεί αποδοτικός εκτιμητής της
παραμετρικής συνάρτησης g (θ) = θ+1 θ .

19 / 36
Θα χρησιμοποιήσουμε τη μέθοδο εύρεσης αποδοτικού εκτιμητή.
Θα δειξουμε, οτι ικανοποιούνται οι ιδιότητες I1 -I5 που απαιτούνται για την ύπαρξη
του ΚΦ.

20 / 36
Θα χρησιμοποιήσουμε τη μέθοδο εύρεσης αποδοτικού εκτιμητή.
Θα δειξουμε, οτι ικανοποιούνται οι ιδιότητες I1 -I5 που απαιτούνται για την ύπαρξη
του ΚΦ.
I1 : ο παραμετρικός χώρος για το θ είναι το (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R.

20 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι

SX = {x : f (x; θ) > 0} = (0, 1)n ,

το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου.

21 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι

SX = {x : f (x; θ) > 0} = (0, 1)n ,

το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)

μπορεί να δωθεί με τον ακόλουθο τρόπο:
n
Y n
Y
f (x; θ2 ) = θ · xiθ−1 = (θ)n xiθ−1
i=1 i=1

21 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι

SX = {x : f (x; θ) > 0} = (0, 1)n ,

το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)

μπορεί να δωθεί με τον ακόλουθο τρόπο:
n
Y n
Y
f (x; θ2 ) = θ · xiθ−1 = (θ)n xiθ−1
i=1 i=1
n
( )
X
= exp n · log θ + (θ − 1) log (xi )
i=1

21 / 36
I2 : Για το στήριγμα της κατανομής ισχύει ότι

SX = {x : f (x; θ) > 0} = (0, 1)n ,

το οποίο ειναι ανεξάρτητο της άγνωστης παραμέτρου. Η από κοινού (σππ)

μπορεί να δωθεί με τον ακόλουθο τρόπο:
n
Y n
Y
f (x; θ2 ) = θ · xiθ−1 = (θ)n xiθ−1
i=1 i=1
n
( )
X
= exp n · log θ + (θ − 1) log (xi )
i=1

n
X
΄Αρα θέτοντας A(θ) = n · log θ, B(X ) = 0, C (θ) = θ − 1 και D(X ) = log (Xi ),
i=1
έχουμε το ζητούμενο τδ ανήκει στη μονοπαραμετρική ΕΟΚ.
21 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0
I5 : ΄Εχουμε

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0
I5 : ΄Εχουμε
n
X
l(θ) = n · log θ + (θ − 1) log (xi ) ,
i=1

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0
I5 : ΄Εχουμε
n
X
l(θ) = n · log θ + (θ − 1) log (xi ) ,
i=1
n
′ n X
l (θ) = + log (xi ) ,
θ
i=1

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0
I5 : ΄Εχουμε
n
X
l(θ) = n · log θ + (θ − 1) log (xi ) ,
i=1
n
′ n X
l (θ) = + log (xi ) ,
θ
i=1
n
l ′′ (θ) = − 2 ,
θ

22 / 36
I3 : ΄Εχουμε ότι η συνάρτηση C (θ) = θ-1 έχει παράγωγο τη συνάρτησηη C ′ (θ) = 10
που είναι συνεχής συνάρτηση του θ.
I4 : Παίρνουμε C ′ (θ) = 1 ̸= 0
I5 : ΄Εχουμε
n
X
l(θ) = n · log θ + (θ − 1) log (xi ) ,
i=1
n
′ n X
l (θ) = + log (xi ) ,
θ
i=1
n
l ′′ (θ) = − 2 ,
θ
n
Ix (θ) = −E[l ′′ (θ)] = 2 ∈ (0, +∞).
θ

22 / 36
Επομένως, ικανοποιούνται οι απαιτούμενες ιδιότητες και θα ελέγξουμε τη δεύτερη
ιδιότητα για την εύρεση του αποδοτικού εκτιμητή. Αρχικά, θα βρούμε την κατανομή
της τμ Y := −lnX . Η συγκεκριμένη κατανομή λαμβάνει τιμές στο (0, +∞).

23 / 36
Επομένως, ικανοποιούνται οι απαιτούμενες ιδιότητες και θα ελέγξουμε τη δεύτερη
ιδιότητα για την εύρεση του αποδοτικού εκτιμητή. Αρχικά, θα βρούμε την κατανομή
της τμ Y := −lnX . Η συγκεκριμένη κατανομή λαμβάνει τιμές στο (0, +∞). Τότε
για y ∈ (0, +∞), έχουμε:

FY (y ) = P(Y ≤ y ) = P(−lnX ≤ y ) = P(lnX ≥ −y ) = P(X ≥ e −y )

Z 1
0<e −y <1
= θx θ−1 dx
e −y
= [x θ ]1e ( −y ) = 1 − e −θy .

23 / 36
Επομένως, ικανοποιούνται οι απαιτούμενες ιδιότητες και θα ελέγξουμε τη δεύτερη
ιδιότητα για την εύρεση του αποδοτικού εκτιμητή. Αρχικά, θα βρούμε την κατανομή
της τμ Y := −lnX . Η συγκεκριμένη κατανομή λαμβάνει τιμές στο (0, +∞). Τότε
για y ∈ (0, +∞), έχουμε:

FY (y ) = P(Y ≤ y ) = P(−lnX ≤ y ) = P(lnX ≥ −y ) = P(X ≥ e −y )

Z 1
0<e −y <1
= θx θ−1 dx
e −y
= [x θ ]1e ( −y ) = 1 − e −θy .

΄Αρα, η (σππ) της −lnX θα είναι:

fY (y ) = (1 − e −θy )′ = θ · e −θy ,

από το οποίο λαμβάνουμε ότι Y ∼ E ( 1θ )

23 / 36
Αυτό σημαίνει ότι: E[−lnX ] = 1θ και τότε παίρνουμε
" n #    
X n D(X ) 1 D(X ) 1 1+θ
E − lnXi = =⇒ E − = =⇒ E − +1 = +1=
θ n θ n θ θ
i=1

και η ζητούμενη εκτιμήτρια βρέθηκε.

24 / 36
Αυτό σημαίνει ότι: E[−lnX ] = 1θ και τότε παίρνουμε
" n #    
X n D(X ) 1 D(X ) 1 1+θ
E − lnXi = =⇒ E − = =⇒ E − +1 = +1=
θ n θ n θ θ
i=1

και η ζητούμενη εκτιμήτρια βρέθηκε.

Σημείωση: Η άσκηση 7 είναι ίδιας λογικής. Η διαφορά έγκειται στο ότι θα δείξουμε
ότι Y := ln(X ) ακολουθεί την E ( 1θ ).

24 / 36
΄Ασκηση 9
΄Εστω X = (X1 , . . . , Xn ), n ≥ 2 ένα τυχαίο δείγμα με συνάρτηση πυκνότητας
N (θ, θ), και θ > 0. Να βρεθεί αποδοτικός εκτιμητής της παραμετρικής συνάρτησης
g (θ) = θ2 + θ.

25 / 36
Η (σππ) της κανονικής N (θ, θ), είναι:
(x − θ)2
 2
x − 2xθ + θ2
  
1 − 12 − 12
f (x; θ) = √ exp − = (2π) θ exp − , x ∈ R.
2πθ 2θ 2θ
Μπορούμε να δούμε ότι ικανοποιούνται οι ζητούμενες ιδιότητες:
I1 : το στήριγμα είναι το Rn και είναι ανεξάρτητο του θ, ενώ η από κοινού (σππ)
γράφεται

26 / 36
Η (σππ) της κανονικής N (θ, θ), είναι:
(x − θ)2
 2
x − 2xθ + θ2
  
1 − 12 − 12
f (x; θ) = √ exp − = (2π) θ exp − , x ∈ R.
2πθ 2θ 2θ
Μπορούμε να δούμε ότι ικανοποιούνται οι ζητούμενες ιδιότητες:
I1 : το στήριγμα είναι το Rn και είναι ανεξάρτητο του θ, ενώ η από κοινού (σππ)
γράφεται
n n  2 !
Y
− n2 − n2
X xi − 2xi θ + θ2
f (x; θ) = f (xi ; θ) = (2π) θ exp −
2θ
i=1 i=1

26 / 36
Η (σππ) της κανονικής N (θ, θ), είναι:
(x − θ)2
 2
x − 2xθ + θ2
  
1 − 12 − 12
f (x; θ) = √ exp − = (2π) θ exp − , x ∈ R.
2πθ 2θ 2θ
Μπορούμε να δούμε ότι ικανοποιούνται οι ζητούμενες ιδιότητες:
I1 : το στήριγμα είναι το Rn και είναι ανεξάρτητο του θ, ενώ η από κοινού (σππ)
γράφεται
n n  2 !
Y
− n2 − n2
X xi − 2xi θ + θ2
f (x; θ) = f (xi ; θ) = (2π) θ exp −
2θ
i=1 i=1
n n
!
− n2 − n2 1 X 2 X 2 n
= (2π) θ exp − xi + xi − θ
2θ 2
i=1 i=1

26 / 36
Η (σππ) της κανονικής N (θ, θ), είναι:
(x − θ)2
 2
x − 2xθ + θ2
  
1 − 12 − 12
f (x; θ) = √ exp − = (2π) θ exp − , x ∈ R.
2πθ 2θ 2θ
Μπορούμε να δούμε ότι ικανοποιούνται οι ζητούμενες ιδιότητες:
I1 : το στήριγμα είναι το Rn και είναι ανεξάρτητο του θ, ενώ η από κοινού (σππ)
γράφεται
n n  2 !
Y
− n2 − n2
X xi − 2xi θ + θ2
f (x; θ) = f (xi ; θ) = (2π) θ exp −
2θ
i=1 i=1
n n
!
− n2 − n2 1 X 2 X 2 n
= (2π) θ exp − xi + xi − θ
2θ 2
i=1 i=1
" n # n
!
hn n i X n 1 X 2
= exp − θ + log (θ) + xi − log (2π) − xi
2 2 2 2θ
i=1 i=1

26 / 36
I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.

27 / 36
 I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.
1
I3 − I4 : Η συνάρτηση C (θ) = − 2θ έχει παράγωγο τη συνεχή συνάρτηση
′ 1
C (θ) = 2θ2 ̸= 0.

27 / 36
 I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.
1
I3 − I4 : Η συνάρτηση C (θ) = − 2θ έχει παράγωγο τη συνεχή συνάρτηση
′ 1
C (θ) = 2θ2 ̸= 0.
I5 :

27 / 36
 I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.
1
I3 − I4 : Η συνάρτηση C (θ) = − 2θ έχει παράγωγο τη συνεχή συνάρτηση
′ 1
C (θ) = 2θ2 ̸= 0.
I5 :
" n # n
hn n i X n 1 X 2
l(θ) = − θ + log (θ) + xi − log (2π) − xi ,
2 2 2 2θ
i=1 i=1

27 / 36
 I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.
1
I3 − I4 : Η συνάρτηση C (θ) = − 2θ έχει παράγωγο τη συνεχή συνάρτηση
′ 1
C (θ) = 2θ2 ̸= 0.
I5 :
" n # n
hn n i X n 1 X 2
l(θ) = − θ + log (θ) + xi − log (2π) − xi ,
2 2 2 2θ
i=1 i=1
n
′ n n 1 X 2
l (θ) = − − + xi ,
2 2θ 2θ2
i=1

27 / 36
 I2 : Παίρνουμε ότι η από κοινού (σππ) γράφεται στην απαιτούμενη P μορφή της
μονοπαραμετρικής εοκ με A(θ) = − n2 θ − n2 log (θ), B(X ) = ni=1 xi − n2 log (2π),
1
C (θ) = − 2θ και D(X ). ΄Αρα το δείγμα ανήκει στη μονοπαραμετρική ΕΟΚ.
1
I3 − I4 : Η συνάρτηση C (θ) = − 2θ έχει παράγωγο τη συνεχή συνάρτηση
′ 1
C (θ) = 2θ2 ̸= 0.
I5 :
" n # n
hn n i X n 1 X 2
l(θ) = − θ + log (θ) + xi − log (2π) − xi ,
2 2 2 2θ
i=1 i=1
n
′ n n 1 X 2
l (θ) = − − + xi ,
2 2θ 2θ2
i=1
n
n 1 X 2
l ′′ (θ) = − xi ,
2θ2 θ3
i=1

27 / 36
I5 :
n
n 1 X
IX (θ) = − + E[Xi2 ]
2θ2 θ3
i=1

28 / 36
I5 :
n n
n 1 X 2 n 1 X
IX (θ) = − + E[Xi ] = − + (θ + θ2 )
2θ2 θ3 2θ2 θ3
i=1 i=1

28 / 36
I5 :
n n
n 1 X 2 n 1 X
IX (θ) = − + E[X i ] = − + (θ + θ2 )
2θ2 θ3 2θ2 θ3
i=1 i=1
n n
= − 2 + 3 (θ + θ2 )
2θ θ

28 / 36
I5 :
n n
n 1 X 2 n 1 X
IX (θ) = − + E[X i ] = − + (θ + θ2 )
2θ2 θ3 2θ2 θ3
i=1 i=1
n n
= − 2 + 3 (θ + θ2 )
2θ θ
n n n
= − 2+ 2+
2θ θ θ

28 / 36
I5 :
n n
n 1 X 2 n 1 X
IX (θ) = − + E[Xi ] = − + (θ + θ2 )
2θ2 θ3 2θ2 θ3
i=1 i=1
n n
= − 2 + 3 (θ + θ2 )
2θ θ
n n n
= − 2+ 2+
2θ θ θ
n n
= + ∈ (0, +∞).
2θ2 θ
΄Αρα ικανοποιούνται οι ζητούμενες υποθέσεις I 1-I 5 και επομένως μπορούμε να
βρούμε αποδοτικό εκτιμητή.

28 / 36
Χρησιμοποιώντας τη συνάρτηση D(X ) = ni=1 Xi2 παίρνουμε:
P

" n # n n
X X   X
E [D(X )] = E Xi2 = E Xi2 = (θ + θ2 ) = n(θ + θ2 ),
i=1 i=1 i=1

29 / 36
Χρησιμοποιώντας τη συνάρτηση D(X ) = ni=1 Xi2 παίρνουμε:
P

" n # n n
X X   X
E [D(X )] = E Xi2 = E Xi2 = (θ + θ2 ) = n(θ + θ2 ),
i=1 i=1 i=1
 
D(X )
E = θ + θ2 .
n

29 / 36
Χρησιμοποιώντας τη συνάρτηση D(X ) = ni=1 Xi2 παίρνουμε:
P

" n # n n
X X   X
E [D(X )] = E Xi2 = E Xi2 = (θ + θ2 ) = n(θ + θ2 ),
i=1 i=1 i=1
 
D(X )
E = θ + θ2 .
n
D(X )
΄Αρα για c1 = n1 και c2 = 0 έχουμε ότι η n είναι αποδοτικός εκτιμητής της
συνάρτησης g (θ).

29 / 36
Ασκήσεις

΄Εστω X μία παρατήρηση με συνάρτηση πυκνότητας πιθανότητας

θ
f (x; θ) = e −θ|x| , x ∈ R
2
Να βρείτε την αοεδ του 1θ .

(Υπόδειξη: Χρησιμοποιήστε το γεγονός ότι η | x | e −θ|x| είναι άρτια συνάρτηση.)

30 / 36
Λύση

Αρχικά ο παραμετρικός χώρος είναι το διάστημα (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R. Επίσης, το στήριγμα της κατανομής είναι το R και είναι
ανεξάρτητο της άγνωστης παραμέτρου.
Η σππ γράφεται:
θ
f (x; θ) = exp {−θ|x|}
2

31 / 36
Λύση

Αρχικά ο παραμετρικός χώρος είναι το διάστημα (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R. Επίσης, το στήριγμα της κατανομής είναι το R και είναι
ανεξάρτητο της άγνωστης παραμέτρου.
Η σππ γράφεται:
θ
f (x; θ) = exp {−θ|x|} = exp {log (θ) − log (2)} exp {−θ|x|}
2

31 / 36
Λύση

Αρχικά ο παραμετρικός χώρος είναι το διάστημα (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R. Επίσης, το στήριγμα της κατανομής είναι το R και είναι
ανεξάρτητο της άγνωστης παραμέτρου.
Η σππ γράφεται:
θ
f (x; θ) = exp {−θ|x|} = exp {log (θ) − log (2)} exp {−θ|x|}
2
= exp {log (θ) − log (2) − θ|x|}

31 / 36
Λύση

Αρχικά ο παραμετρικός χώρος είναι το διάστημα (0, +∞) το οποίο είναι ανοιχτό
υποσύνολο του R. Επίσης, το στήριγμα της κατανομής είναι το R και είναι
ανεξάρτητο της άγνωστης παραμέτρου.
Η σππ γράφεται:
θ
f (x; θ) = exp {−θ|x|} = exp {log (θ) − log (2)} exp {−θ|x|}
2
= exp {log (θ) − log (2) − θ|x|}

και ικανοποιεί την απαιτούμενη μορφή της ΕΟΚ με A(θ) = log (θ), B(X ) = −log (2),
C (θ) = −θ και D(X ) = |X |.

31 / 36
Λϋση

΄Εχουμε, ότι η συνάρτηση C (θ) = −θ έχει παράγωγο C ′ (θ) = −1 η οποία είναι

συνεχής και μη μηδενική.

32 / 36
Λύση
Η σππ της X είναι μία άρτια συνάρτηση. Για κάθε ολοκληρώσιμη άρτια συνάρτηση,
έχουμε: Z +∞ Z +∞
f (x) dx = 2 f (x) dx (3)
−∞ 0
Τότε η αναμενόμενη τιμή της | X | είναι:
Z +∞ Z +∞ Z +∞
θ (3)
E(|X |) = |x|f (x; θ)dx = |x| e −θ|x| dx = xθe −θx dx
−∞ −∞ 2 0
Z +∞ Z +∞
+∞
= −xe −θx 0 + e −θx dx = e −θx dx

0 0
e −θx 0
=
θ +∞

1
=
θ
33 / 36
Λύση
Επομένως η |X | είναι αμερόληπτη εκτιμήτρια του 1θ . Επίσης, έχουμε:

Z +∞ Z +∞
2 θ −θ|x|
2
E(X ) = x e x 2 θe −θx
dx =
−∞ 2 0
Z +∞
2 −θx +∞
xθe −θx dx

= −x e 0
+2
0
2xe −θx +∞
Z +∞ −θx
e
= − 0
+2 dx
θ 0 θ
e −θx +∞
= −2 2 0
θ
2
=
θ2
34 / 36
Λύση
Επομένως η διασπορά της |X | είναι :
2 1 1
Var (|X |) = E(X 2 ) − E2 (|X |) = 2
− 2 = 2
θ θ θ
Για να ελέγξουμε ότι η |X | είναι αοεδ του 1θ θα χρειαστούμε να δείξουμε ότι αυτή
πιάνει το ελάχιστο φράγμα Cramer − Rao.
΄Εχουμε,
 1 ′ 1
g ′ (θ) = ) =− 2
θ θ
l(θ) = log f (x; θ) = − log 2 + log(θ) − θ|X |
1
l ′ (θ) = − |X |
θ
1
l ′′ (θ) = − 2
θ
35 / 36
΄Αρα η πληροφορία του Fischer είναι θ12 ενώ το ελάχιστο φράγμα Cramer − Rao θα
είναι:
1
g ′ (θ)2 4 1
CR = = θ1 = 2 = Var (|X |)
IX (θ) θ2
θ

36 / 36
΄Αρα η πληροφορία του Fischer είναι θ12 ενώ το ελάχιστο φράγμα Cramer − Rao θα
είναι:
1
g ′ (θ)2 4 1
CR = = θ1 = 2 = Var (|X |)
IX (θ) θ2
θ
Επομένως, η |X | πιάνει το ελάχιστο φράγμα Cramer − Rao, άρα είναι αοεδ.

36 / 36