ΕΘΝΊΚΌ ΚΆΊ ΚΆπΌ∆ΊΣΤΡΊΆΚΌ ΠΆΝΈπΊΣΤΉµΊΌ

ΑΘΉΝΩΝ

Μαθηματική Στατιστική
Συλλογή Ασκήσεων (με λύσεις)

ΣΆµΉΣ ΤΡΈΒΈΖΆΣ

Σχολή Θετικών Επιστημών

Τμήμα Μαθηματικών
4 Φεβρουαρίου 2021

2
Πρόλογος

Η παρούσα συλλογή ασκήσεων ανταποκρίνεται στο περιεχόμενο του μαθήματος και τη

δομή των διαλέξεων του χειμερινού εξαμήνου του ακαδημαϊκού έτους 2020-21. Σκοπό
έχει να προσφέρει στους φοιτητές που παρακολουθούν μία πλούσια συλλογή ασκήσεων
που ανταποκρίνεται στο πνεύμα της διδασκαλίας αυτής της περιόδου. Οι λύσεις που
προτείνονται είναι ενδεικτικές λύσεις του διδάσκοντα και συνοδεύονται πολλές φορές από
σχόλια, αλλά και από ερωτήματα για περαιτέρω διερεύνηση.

Το εγχείρημα αυτό θα ήταν αδύνατο χωρίς τη συμβολή 5 προπτυχιακών φοιτητών που

πραγματοποιούν καθημερινά με μεγάλη όρεξη το μεγαλύτερο μέρος της δακτυλογράφησης
σε LaTeX. Θέλω λοιπόν να ευχαριστήσω θερμά τους Ανδρέα Αβουκάτο, Θανάση Αγάκο,
Βαγγέλη Βουρκουτιώτη, Μάριο Βωβό και Μαρία Μπακάμη.

1
 2η διάλεξη - 7 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , X2 , . . . , Xn ένα τυχαίο δείγμα από κατανομή:

(i) Poisson P(λ), όπου λ > 0 είναι άγνωστο,
(ii) Εκθετική Exp(θ), όπου θ > 0 είναι άγνωστη παράμετρος ρυθμού,
(iii) Διωνυμική Bin(N, p), όπου N είναι γνωστός φυσικός και 0 < p < 1 είναι άγνωστη
παράμετρος.
Να βρεθούν εμπειρικές εκτιμήτριες των παραμέτρων σε κάθε περίπτωση.

Ας υποθέσουμε τώρα ότι στο (iii), εκτός από το p, και η πρώτη παράμετρος N της
διωνυμικής είναι άγνωστη. Μπορειτε να προτείνετε εμπειρικές εκτιμήτριες και των
δύο παραμέτρων σε αυτήν την περίπτωση;

Άσκηση 2 Έστω X1 , . . . , Xn ένα τυχαίο δείγμα από κατανομή Bernoulli Be(p) όπου
0 < p < 1 είναι άγνωστο.
Προτάθηκε στο μάθημα μία εμπειρική εκιμήτρια pb του p που αντιστοιχεί στο δειγμα-
τικό μέσο X n .
Ένας φοιτητής δυσανασχετεί που αυτή η εκτιμήτρια δεν μπορει να μοντελοποιήσει
την αρχική αβεβαιότητα για την τιμή της παραμέτρου χωρίς καθόλου δεδομένα, και
προτείνει την τιμή 1/2 για n = 0. Στη συνέχεια, μέχρι να υπάρξουν αρκετά δεδομένα,
σκέφτεται ότι η εμπειρική εκτιμήτρια θα ήταν καλύτερο να σταθμίζεται με την αρχική
τιμή 1/2 έτσι ώστε η μετάβαση σε αυτήν να γίνεται ομαλά καθώς μεγαλώνει το μέγεθος
του δείγματος. Προτείνετε τρόπους να γίνει αυτή η στάθμιση.

Άσκηση 3 Έστω X1 , . . . , Xn ένα τυχαίο δείγμα από κατανομή Bernoulli Be(p), όπου
0 < p < 1 είναι άγνωστο.
Προτάθηκε στο μάθημα μία εμπειρική εκτιμήτρια pe του p που αντιστοιχεί στο δειγ-
ματικό μέσο X n .
Επιπλέον, έγινε γνωστό ότι ένας φοιτητής έκανε μια ωραία σκέψη, να μη βασιστεί
αποκλειστικά στον εμπειρικό μέσο για την εκτίμηση της παραμέτρου, αλλά να ακο-
λουθήσει τη διαδικασία που υποδεικνύεται στην Άσκηση 2. Εμπνεύστηκε από αυτή
τη σκέψη, και προτείνει έναν καινούριο τρόπο στάθμισης.
Συγκεκριμένα, υποθέτει ότι το θ = p που αναζητάμε, θα μπορούσε να είναι η πραγ-
ματοποίηση μιας τυχαίας μεταβλητής, και μάλιστα προτείνει την αρχική αβεβαιότητα
να την εκφράσει μέσα από μια ομοιόμορφη κατανομή. Υποθέτει λοιπόν ότι αρχικά
Θ ∼ U(0, 1) κι όταν τα δεδομένα έρχονται, πρέπει να βελτιώνουμε τη γνώση μας για
το θ μέσα από τον υπολογισμό της δεσμευμένης κατανομής της Θ δεδομένου των
X1 , . . . , X n .
Με αυτό το σκεπτικό, το αρχικό μοντέλο των Bernoulli Be(θ) αφορά την κοινή δεσμευ-
μένη κατανομή των Xi δεδομένου ότι Θ = θ, οι οποίες είναι δεσμευμένα ανεξάρτητες
και όχι ανεξάρτητες όπως πριν.
Για να προτείνει μια συγκεκριμένη εκτιμήτρια προτείνει τη δεσμευμένη μέση τιμή
E(Θ|X1 , . . . , Xn ) που είναι συνάρτηση του τυχαίου δείγματος και άρα πράγματι εκτι-
μήτρια με τιμές στο (0, 1).
Αποκαλύψτε λοιπόν την καινούρια εκτιμήτρια υπολογίζοντας την

E(Θ|X1 = x1 , . . . , Xn = xn )

και στη συνέχεια αντικαταστείστε την έκφραση αυτή με τυχαίες μεταβλητές για να
προκύψει η εκτιμήτρια.

2
 Λύσεις

Άσκηση 1

b=X
(i) λ = Eλ (X1 ) ⇒ λ

1 1
(ii) θ = ⇒ θb =
Eθ (X1 ) X

Ep (X1 ) X
(iii) Ep (X1 ) = N p ⇒ p = ⇒ pb =
N N
Το πιο ενδιαφέρον είναι και για N άγνωστο, παρατηρούμε ότι:

N = max{x ∈ N : PN,p (X1 = x) > 0}

b = max{x ∈ N : P(X ∗ = x) > 0}
Άρα, N
= max{X1 , . . . , Xn } = X(n) , η οποία παίρνει τιμές φυσικούς

Επιπλέον,
Ep (X1 ) X
p= , άρα pb =
max{x ∈ N : PN,p (X1 = x)} X(n)
Σχόλια
(1) Το δειγματικό μέγιστο X(n) είναι 0 ⇔ X1 = X2 = . . . = Xn = 0
Για να είμαστε ΟΚ, αν συμβαίνει αυτό τότε N b = 0, pb = 0 και
Bin(N, p) = Bin(0, 0) ≡ 0 [όλα 0, ακόμα και το ενδιαφέρον για αυτήν την περίπτωση!]

X
(2) η pb είναι πράγματι εκτιμήτρια, αφού X ⩽ X(n) κι άρα 0 ⩽ ⩽ 1.
X(n)

Άσκηση 2

Μία ιδέα είναι να σταθμίσουμε το 12 με το X n που είναι ο δειγματικός μέσος. Η στάθμιση

αντιπροσωπεύει την εισαγωγή μίας συνάρτησης βάρους.
Έστω wn το βάρος που θέλουμε να βάλουμε στο 21 στη n-οστή παρατήρηση. Είναι λογικό
να θέλουμε wn → 0, καθώς n → ∞, για να “μιλήσουν” τελικά τα δεδομένα και να μην γίνει
“εμπόδιο” η αρχική μας σκέψη για το 12 . Άρα

θbn = wn · 21 + (1 − wn )X n

• Η επιλογή του wn θα μπορούσε να είναι περισσότερο ή λιγότερο συντηρητική, ανάλογα

με το αν φθίνει πιο αργά ή πιο γρήγορα στο 0 αντίστοιχα,
1
π.χ. αν wn = n+1 , τότε

1 
n Sn 2Sn + 1
θbn = + · = .
2(n + 1) n + 1 n 2n + 2

Με αυτήν την επιλογή, ειδικά για την αρχή έχουμε

 


1
 , n = 0,
b 2
θn ∈


 1 3
,
4 4
, n = 1.
3
 • Στην Άσκηση 3, θα δείξουμε ότι η μπεϋζιανή εκτιμήτρια με Θ ∼ Unif(0, 1), δίνει
 


1
 , n = 0,
b 2
θn ∈


 1 2
,
3 3
, n = 1.

Είναι φανερό ότι

1 Sn 2 1 n
θe = + = · + · Xn ⇒
n+2 n+2 n+2 2 n+2
1 2
θen = w
en · + (1 − w en =
en ) X n , με w .
2 n+2

Άσκηση 3

Έχουμε ένα τυχαίο δείγμα το οποίο ακολουθεί μια Bernoulli με παράμετρο θ

X1 , X2 , . . . , Xn ∼ Be(θ), με θ σταθερό, θ ∈ (0, 1). Μία εκτιμήτρια του θ είναι ο δειγματικός
μέσος,
X1 + X2 + . . . + Xn Sn
θb = = .
n n
Θα μπορούσαμε να πούμε ότι μια τ.μ. Θ ∼ U (0, 1) και

[Xi | Θ = θ] ∼ Be(θ),

όπου θ είναι μια πραγματοποίηση κάποιας τ.μ. Θ και οι Xi για 1 ≤ i ≤ n δοθείσης της
Θ = θ είναι δεσμευμένα ανεξάρτητες τ.μ..

Μπορούμε να τα εκμεταλλευτούμε για να βγάλουμε μια εκτίμηση για το θ;

Αυτό μπορούμε να το κάνουμε υπολογίζοντας τη

E[Θ| X1 , X2 , . . . , Xn ] = συνάρτ. του τ.δ. ⇒ εκτιμήτρια του θ.

| {z }
τ.μ.

Μπορούμε να ξεκινήσουμε για ευκολία από την περίπτωση που είχαμε μόνο ένα δεδομένο.
Έχουμε την τ.μ. Θ και τη [Xi | Θ = θ]

Τώρα λοιπόν το πρόβλημα ανάγεται σε

θα είναι πιο εύκολο πως το αντιμετωπίζουμε;

E [Θ|X1 ] → E [Θ|X1 = x1 ] (Θ, X1 ) , όπου Θ συνεχής και X1 διακριτή.

Εμείς γνωρίζουμε ότι για ένα ζέυγος (X, Y ) έχουμε f (x, y) = f (x)f (y|x) αν και οι δύο είναι
συνεχείς ή και οι δύο διακριτές. Η λογική αυτή επεκτείνεται και για ζεύγος συνεχούς με
διακριτή (το παίρνουμε ως δεδομένο).

Χρειαζόμαστε την “πυκνότητα” της f (θ, x1 ). Έχουμε λοιπόν

f (θ, x1 ) = f (θ)f (x1 |θ) = 1 · θx1 · (1 − θ)1−x1 ,

όπου f (θ) αντιστοιχεί στη σ.π.π. της Unif(0, 1) και f (x1 |θ) αντιστοιχεί στη σ.π. της Be(θ)

4
για 0 < θ < 1 και x1 = 0, 1.
βασική μεταβλητή το θ
f (θ, x1 ) θ
f (θ|x1 ) = ∝ θx1 (1 − θ)1−x1
f (x1 )
για θ → x έχουμε την xα−1 (1 − x)β−1
τα x και (x − 1) υψωμένα σε κατάλληλες δυνάμεις

Αυτό δε μας ενδιαφέρει να το κάνουμε μόνο για την πρώτη παρατήρηση, μας ενδιαφέρει
να το κάνουμε με όλα τα δεδομένα μαζί. Ακολουθώντας την ίδια λογική

+ δεσμ. ανεξ.
f (θ, x1 , . . . , xn ) = f (θ)f (x1 |θ)f (x2 |θ) . . . f (xn |θ)
= 1 · θx1 (1 − θ)1−x1 θx2 (1 − θ)1−x2 . . . θxn (1 − θ)1−xn
= θx1 +x2 +...+xn (1 − θ)n−(x1 +x2 +...+xn )
= θsn (1 − θ)n−sn .

Τελικά,
θ
f (θ|x1 , . . . , xn ) ∝ f (θ, x1 , . . . , xn ) = θsn (1 − θ)n−sn ,
| {z }
Beta(sn +1,,n−sn +1)

αν sn = α − 1 και n − sn = β − 1.

Άρα τελικά,
[Θ|X1 = x1 , . . . , Xn = xn ] ∼ Beta(sn + 1, n − sn + 1),
| {z } | {z }
=α =β

και αντικαθιστώντας με τυχαίες μεταβλητές καταλήγουμε στο ότι

Sn + 1
E[Θ|X1 , . . . , Xn ] = ,
| {z } n+2
α
α+β

που είναι η ζητούμενη εκτιμήτρια. Μπορεί επίσης κάποιος να παρατηρήσει ότι για n = 0
έχουμε πάλι E(Θ) = 1/2, ενώ για n = 1 οι δυνατές τιμές είναι {1/3, 2/3}. Ο τρόπος με τον
οποίο μπορεί να προκύψει η εκτιμήτρια αυτή μέσω κατάλληλης συνάρτησης βάρους του
1/2 και του δειγματικού μέσου δίνεται στην Άσκηση 2.

5
 3η Διάλεξη - 9 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , X2 , . . . , Xn ένα τ.δ. από:

(i) Bin(N, p) με το p άγνωστο.

(ii) Bin(N, p) με τα N και p άγνωστα.

(iii) NegBin(N, p) με το p άγνωστο.

(iv) NegBin(N, p) με τα N και p άγνωστα.

Να βρεθούν οι εκτιμήτριες ροπών στις παραπάνω περιπτώσεις. Προσέξτε, οι εκτιμή-
τριες να παίρνουν τιμές εκεί που πρέπει.

Άσκηση 2 Δίνεται τ.μ. Y με σ.π.π. της μορφής

1 ∗
f (y) ∝ 3, y ∈ Z
|y|
και f (0) = f (−1) + f (1).
(i) Να εξεταστεί ότι η f πράγματι ορίζει μια σ.π.π..

(ii) Να βρεθεί η E(Y ).

(iii) Θέτουμε X = Y + θ, όπου θ ∈ Z είναι μια άγνωστη παράμετρος.

Έστω X1 , X2 , . . . , Xn ένα τ.δ. από την προκύπτουσα παραμετρική οικογένεια
κατανομών. Να βρεθεί μια εκτιμήτρια ροπών του θ.

Άσκηση 3 Ισχύουν όλες οι προϋποθέσεις που περιγράφονται στην Άσκηση 2, αλλά

τώρα:
1
f (y) ∝ 2 , y ∈ Z∗
y
και f (0) = f (−1) + f (1).
(i) Δείξτε ότι η f πράγματι ορίζει μια σ.π.π..

(ii) Τι μπορούμε να πούμε για την E(Y );

(iii) Θέτουμε X = Y + θ, όπου θ ∈ Z είναι μια άγνωστη παράμετρος. Προτείνετε

κατάλληλη εκτιμήτρια για το θ, όταν διαθέτουμε τ.δ. X1 , X2 , . . . , Xn .

Άσκηση 4 Έστω X1 , X2 , . . . , Xn ένα τ.δ. από:

(i) G (a, θ), όπου θ άγνωστο.

(ii) G (a, θ), όπου a άγνωστο.

(iii) G (a, θ), όπου a, θ άγνωστο.

(iv) B (a, b), όπου b άγνωστο.

(v) B (a, b), όπου a, b άγνωστο.

Να βρεθούν εκτιμήτριες ροπών στις παραπάνω περιπτώσεις.

6
 Άσκηση 5 Έστω Y ∼ Cauchy (0, 1) με σ.π.π.

1
fY (y) ∝ , y∈R
1 + y2

(i) Να βρεθεί η σ.π.π. της Cauchy (0, 1).

(ii) Θέτουμε X = Y + µ, όπου µ ∈ R είναι μια άγνωστη παράμετρος. Προτείνετε

κατάλληλη εκτιμήτρια για το µ, όταν διαθέτουμε ένα τ.δ. X1 , X2 , . . . , Xn από
αυτήν την παραμετρική οικογένεια.

Λύσεις

Άσκηση 1

Xn
(i) Ep (X1 ) = X n ⇒ N p = X n ⇒ p = .
N

Προσοχή! Το n αντιστοιχεί στο μέγεθος του δείγματος και το N στην πρώτη παρά-
μετρο της Διωνυμικής.

Παρατηρούμε ότι:

Xn
0≤p≤1 ⇔ 0≤ ≤1 ⇔ X n ≤ N,
N
που ισχύει, αφού
0 ≤ Xi ≤ N,
για κάθε 1 ≤ i ≤ n.

(ii) (Λυμένη σε προηγούμενες σημειώσεις π.χ. μαθ. 5, Σημειώσεις 2017)

N (1 − p) N N
(iii) Ep (X1 ) = ⇒X= −N ⇒ p=
p p X +N

0 < p ≤ 1 ⇔ X ≥ 0, που ισχύει.

Μάλιστα αν X = 0, τότε Xi = 0, 1 ≤ i ≤ n και έτσι περιμένουμε ότι p = 1, αφού

έχουμε σταθερά 0 αποτυχίες μέχρι τη N -επιτυχία.

Εξάσκηση!
Άσκηση 6: Βρείτε την ε.ρ. για την NegBin∗ (N, p), δηλαδή αυτή που εκφράζει το
πλήθος των δοκιμών μέχρι τη N -επιτυχία, όταν έχουμε ένα τ.δ. X1 , X2 , . . . , Xn
από αυτήν. Η κατανομή αυτή λέγεται και Pascal.

7
(iv) Κατ’αρχήν λύνουμε χωρίς να εστιάζουμε στους περιορισμούς.
N (1 − p)
EN,p (X1 ) = X =X
p
⇔ N (1 − p)
VN,p (X1 ) = M2 2
= M2
p

X
Διαιρώντας κατά μέλη έχουμε p = .
M2

Επιπλέον
2
X X
N= = .
1/p − 1 M2 − X
Παρατηρήσεις:
(1) Πρέπει M2 ̸= 0 και αυτό ισοδυναμεί με τις {Xi }1≤i≤n να μην είναι όλες ίσες μεταξύ
τους.
(2) 0 < p ≤ 1 ⇔ X > 0 και X < M2 .

Από το (1) έχουμε X > 0 και άρα το πρώτο σκέλος ικανοποιείται. Όμως η σχέση
X < M2 δεν ικανοποιείται πάντα και πρέπει να προστεθεί ως περιορισμός.
Είναι συμβατός με το θεωρητικό περιορισμό

EN,p (X1 ) < VN,p (X1 )

που ισχύει για μια Αρνητική Διωνυμική. Αναμένουμε ότι για επαρκώς μεγάλο
μέγεθος δείγματος θα ικανοποιηθεί. Επιπλέον, η εκτιμήρια N που δίνεται πα-
ραπάνω χρειάζεται στρογγύλευση στον πλησιέστερο ακέραιο.

Άσκηση 2
(i) Έχουμε ότι για y ̸= 0,
1
f (y) = c · , c>0
|y|3
Επιπλέον
f (0) = f (−1) + f (1) = 2c
Προφανώς f (y) ≥ 0 και θέλουμε X
f (y) = 1
y∈Z

Έχουμε !
X X
+∞
1
f (y) = 2c 1 + = 2c(1 + α)
y∈Z y=1
y3

όπου
X
+∞
1
α=
n=1
n3
είναι η γνωστή ως σταθερά του Apéry. Είναι ενδιαφέρον το ότι δεν υπάρχει μία απλή
μορφή να εκφράσουμε τη σταθερά αυτή, όπως π.χ. ότι
X
+∞
1 π2
=
n=1
n2 6
8
 Η προσεγγιστική τιμή του α ∼
= 1, 202. Τελικά
1
2c(1 + α) = 1 ⇔ c =
2(1 + α)

(ii) Παρατηρούμε ότι f (y) = f (−y), ∀y ∈ Z∗ , και άρα η f είναι άρτια.

Συμπαιρένουμε ότι η κατανομή της Y είναι συμμετρική και άρα E(Y ) = 0, εφόσον

X
+∞
y · f (y) < +∞ (γιατί;)
y=1

Εξάσκηση!
Άσκηση 7: Υπολογίστε τη διασπορά V(Y ). Τι παρατηρείτε;

(iii) Αν X1 , . . . , Xn είναι ένα τ.δ. από την fθ , τότε

Eθ (X1 ) = X

αφού
Eθ (X1 ) = Eθ (Y1 + θ) = θ
Επειδή θ ∈ Z, έχουμε τυπικά ότι

θ = round(X)

δηλαδή κάνουμε προσέγγιση στον πλησιέστερο ακέραιο.

Άσκηση 3

(i) Εδώ εύκολα βλέπουμε ότι  

X π2
f (y) = 2c 1 +
y∈Z
6

και άρα
1
c= 2
2 + π3
Άρα η f είναι πράγματι συνάρτηση πιθανότητας.

(ii) Ορμώμενος από την Άσκ. 2 θα μπορούσε κάποιος να ισχυριστεί ότι η E(Y ) = 0, αφού
η Y έχει συμμετρική κατανομή. Όμως αν y + = max(0, y) είναι το θετικό μέρος της Y ,
τότε εύκολα βλέπουμε ότι E(Y + ) = +∞, άρα και E(Y − ) = +∞

Εξάσκηση!
Άσκηση 8: βρείτε τη σ.π. της Y + και υπολογίστε τη μέση τιμή E(Y + ) .

Παρατήρηση: Για τη μη ύπαρξη της E(Y ), αρκεί να παρατηρήσετε ότι

X
+∞
y · f (y) = +∞
y=1

9
(iii) Λόγω συμμετρίας και τη μη ύπαρξη της μέσης τιμής, το 0 είναι η διάμεσος της X.
Συμπεραίνουμε ότι το θ είναι η διάμεσος της Y και άρα μία λογική εκτιμήτρια θα είναι
η δειγματική διάμεσος των X1 , . . . , Xn . Τελικά


 X n+1 , αν n-περιττός

 ( 2 )
θb =

 X n + X( n )+1

 (2) 2
, αν n-άρτιος
2

Άσκηση 4
α α α
(i) Eθ (X1 ) = . Άρα θέτουμε X = και έχουμε θ = .
θ θ X
α α
(ii) Eα (X1 ) = . Θέτουμε X = και έχουμε α = θ · X.
θ θ
(iii)

 

  X
α 
 

Eα,θ (X1 ) = 
 α 

θ=
θ X= M2
⇒ θ ⇒

 


 α 

α 
 M2 = 
Vα,θ (X1 ) =  θ2 (X)2
θ2 α=
M2

α α 1−X
(iv) Eβ (X1 ) = ⇒X= ⇒β =α·
α+β α+β X
(v) 


α 

Eα,β (X1 ) = 
 α
α+β 
 X=
α+β
⇒



 αβ
αβ 
 M2 =
Vα,β (X1 ) = 
 (α + β)2 (α + β + 1)
2
(α + β) (α + β + 1)

α β
Έχουμε X = και άρα 1 − X = .
α+β α+β
X(1 − X)
Αντικαθιστώντας στη 2η εξίσωση του M2 έχουμε α + β = − 1.
M2
Τελικά από την 1η εξίσωση

(X)2 (1 − X) X(1 − X)2

α= − X, β= − (1 − X).
M2 M2
2
Πρέπει α, β > 0 και προκύπτει X < X που ισχύει για παρατηρήσεις στο (0, 1).

10
 Άσκηση 5
Z +∞
c
(i) Ψάχνουμε c ∈ R ώστε η fY (y) = να είναι σ.π.π. δηλ. να ισχύει fY (y)dy = 1.
1 + y2 −∞
Διαδοχικά: Z +∞ Z +∞ Z +∞
c 1
fY (y)dy = 2
dy = c 2
dy =
−∞ −∞ 1 + y −∞ 1 + y
 
= c lim arctan(x) − lim arctan(x) =
x→+∞ x→−∞
 π  π 
=c − − = cπ
2 2
1 1
Επομένως, cπ = 1 ⇔ c = και άρα fY (y) = , y ∈ R.
π π (1 + y 2 )
1
(ii) Από τη σχέση fX (x) = fY (x − µ), έχουμε ότι fX (x; µ) = , ∀x ∈ R.
1 + (x − µ)2
Η σ.π.π. της X είναι συμμετρική γύρω από την ευθεία x = µ (αποτελεί μετατόπιση
κατά µ συμμετρικής γύρω από το 0). Συμπεραίνουμε ότι αν m είναι η διάμεσος της
κατανομής της X, δηλαδή m = FX−1 (0.5) = µ, δηλαδή η παράμετρος συμπίπτει με τη
διάμεσο. Άρα παίρνοντας την αντίστοιχη εμπειρική εκτιμήτρια έχουμε

X( n2 ) + X( n2 )+1
  
 , αν n άρτιος.
1 2
µb = FX−1⋆ =
2 

 X n+1 , αν n περιττός.
( 2
)

δηλ. η δειγματική διάμεσος.

11
 4η διάλεξη - 12 Οκτωβρίου 2020

Άσκηση 1 Για μια διακριτή τ.μ., είναι συχνά πιο πρακτικό να υπολογίζουμε τη
διασπορά από τη σχέση

V(X) = E[X(X − 1)] − E2 (X) + E(X)

Έστω µ3 = E(X − µ)3 και µ4 = E(X − µ)4 , οι κεντρικές ροπές τρίτης και τέταρτης
τάξης αντίστοιχα.

(i) Υπολογίστε τις ποσότητες E[X(X − 1)(X − 2)] και E[X(X − 1)(X − 2)(X − 3),
όταν X ∼ P(λ), λ > 0

(ii) Με τη βοήθεια των παραπάνω, υπολογίστε την E(X 3 ) και E(X 4 ), όταν X ∼ P(λ)

(iii) Υπολογίστε τα µ3 , µ4 όταν X ∼ P(λ)

(iv) Δύο α.ε. του λ, όταν διαθέτουμε ένα τ.δ. X1 , X2 , . . . , Xn από P(λ) είναι οι
θ1 = X n και θ2 = S 2 . Συγκρίνετε τα ΜΤΣ των δύο εκτιμητριών.

Άσκηση 2 Έστω X1 , X2 , . . . , Xn ένα τ.δ. από U[θ, 0], όπου θ < 0.

Είναι φανερό ότι το θ = inf {x ∈ R : F (x) > 0}, όπου F η σ.κ. της U[θ, 0].
b
(i) Βρείτε μια εμπειρική εκτιμήτρια του θ, έστω θ.

(ii) Υπολογίστε τη μεροληψία και το ΜΤΣ.

(Υπόδειξη: για μια γρήγορη λύση, σκεφτείτε τη σύνδεση με την U[0, θ], θ > 0.

Άσκηση 3 Έστω X1 , X2 , . . . , Xn ένα τ.δ. από N (µ, σ 2 ), όπου µ, σ 2 άγνωστα.

Είδαμε ότι η S 2 είναι α.ε. του σ 2 .
Υπολογίστε τη μεροληψία και τα ΜΤΣ των εκτιμητριών

1 X
n
σb12 = S 2 , σb22 = M2 , σb32 = · (Xi − X)2 .
n + 1 i=1

Φτιάξτε κι ένα πινακάκι με τη μεροληψία τους και το ΜΤΣ. Τι παρατηρείτε;

2
{Δεν μπορείτε να χρησιμοποιήσετε ότι (n−1)S
σ2
∼ χ2n−1 , το οποίο θα δούμε αργότερα.}

Άσκηση 4 Υπολογίσαμε το V(S 2 ) όταν μια τ.μ. έχει ροπές μέχρι και 4ης τάξης
(βλ. Διάλεξη 4). Υποτέθηκε ότι το n ≥ 4.
Εξετάστε και για τις τιμές n = 1, n = 2, n = 3. Για ποιες τιμές έχει νόημα;
Για αυτές που έχει, υπολογίστε το V(S 2 ) και δείτε αν μπορούν να ενσωματωθούν
στον τύπο που έχουμε.

Άσκηση 5 Αν X1 , X2 , X3 ανεξ. τ.μ., τότε υπολογίστε τα

 
(i) V (X1 − X2 )2 , και
 
(ii) C (X1 − X2 )2 , (X1 − X3 )2

12
 Λύσεις

Άσκηση 1
(i) Γενικότερα, θα υπολογίσουμε τις παραγοντικές ροπές
E ([X]k ) = E [X(X − 1) · · · (X − k + 1)]

Έστω k ≥ 1. Κάνουμε τις πράξεις,

X
∞
λn
E ([X]k ) = n(n − 1) · · · (n − k + 1) exp{−λ}
n=k
n!
X∞
λn−k
k
= λ exp{−λ}
n=k
(n − k)!
X
∞
λn
= λk exp{−λ}
n=0
n!
= λk

k=3 k=4
Έτσι, παίρνουμε ότι E [X(X − 1)(X − 2)] = λ3 , και E(X(X − 1)(X − 2)( − 3)) = λ4

(ii) Από τη σχέση E[X(X − 1)(X − 2)] = λ3 , συμπεραίνουμε ότι E(X 3 − 3X 2 + 2X) = λ3 , κι
άρα, αφού E(X) = λ και E[X 2 ] = λ2 + λ, έχουμε ότι:
   
E X 3 = λ3 + 3E X 2 − 2E[X]
= λ3 + 3(λ2 + λ) − 2λ
= λ3 + 3λ2 + λ

Αντίστοιχα, από τη σχέση E[X(X − 1)(X − 2)(X − 3)] = λ4 παίρνουμε ότι

E [X(X − 1)(X − 2)(X − 3)] = λ4
 
⇒ E (X 2 − X)(X 2 − 5X + 6) = λ4
 
⇒ E X 4 − 5X 3 + 6X 2 − X 3 + 5X 2 − 6X = λ4

κι άρα,
     
E X 4 = λ4 + 6E X 3 − 11E X 2 + 6E[X]
= λ4 + 6(λ3 + 3λ2 λ) − 11(λ2 + λ) + 6λ
= λ4 + 6λ3 + 7λ2 + λ

(iii) Υπολογίζουμε:
 
µ3 = E (X − λ)3
   
= E X 3 − 3λE X 2 + 3λ2 E[X] − λ3
= (λ3 + 3λ2 + λ) − 3λ(λ2 + λ) + 3λ3 − λ3
= λ
 
µ4 = E (X − λ)4
     
= E X 4 − 4λE X 3 + 6λ2 E X 2 − 4λ3 E [X] + λ4



= λ4 + 6λ3 + 7λ2 + λ − 4 · λ3 + 3λ2 + λ · λ + 6 λ2 + λ λ2 − 4λ4 + λ4
= 3λ2 + λ
13
(iv) Εφόσον η λ1 και η λ2 είναι α.ε. του σ 2 , έχουμε

ΜΤΣ(λ1 ) = V(λ1 )
ΜΤΣ(λ2 ) = V(λ2 )

Για την πρώτη,

V(X1 ) λ
V(λ1 ) = V(X n ) = =
n n
Από την άλλη μεριά,

µ4 n−3
2
V(λ2 ) = V S 2 = − · σ2
n n(n − 1)
2
3λ + λ n−3
= − · λ2
n n(n − 1)
3(n − 1)λ2 + (n − 1)λ − (n − 3)λ2
=
n(n − 1)
2nλ2 + (n − 1)λ λ 2
= = + λ2
n(n − 1) n n−1
= V(λ1 ) + 2
n−1
λ2 > V(λ1 )

Συνάγουμε λοιπόν, ότι η λ1 είναι καλύτερη από τη λ2 .

Άσκηση 2

(i) Είναι φανερό ότι θb = inf {x ∈ R : F ⋆ (x) > 0} = min {X1 , · · · , Xn } = X(1)

(ii) Αν Xi ∼ U [θ, 0], θ < 0, τότε Yi = −Xi ∼ U [0, −θ], (−θ) > 0 = U[0, λ], λ > 0
λ 2λ2
Έχουμε δείξει ότι bY(n) (λ) = − και ΜΤΣY(n) (λ) = .
n+1 (n + 1)(n + 2)
Εδώ, X(1) = min {X1 , . . . , Xn } = − max {−X1 , . . . , −Xn } = − max {Y1 , . . . , Yn } = −Y(n)
n n
Άρα, E(X(1) ) = −E(Y(n) ) = − ·λ= · θ, και
n+1 n+1
θ
bX(1) (θ) = E(X(1) ) − θ = − > 0,
n+1

Παρατηρήστε πως εδώ υπερεκτιμούμε την παράμετρο. Επιπλέον,

ΜΤΣX(1) (θ) = b2X(1) (θ) + Vθ (X(1) )

= b2Y(n) (λ) + Vλ (Y(n) ) = ΜΤΣY(n) (λ)
2θ2
= , αφού λ = −θ
(n + 1)(n + 2)

14
 Άσκηση 3

n − 1 2 b2 n − 1 2
Έχουμε σb12 = S 2 , σb22 = S , σ3 = S .
n n+1
µ4 n−3 4
Όμως, E(S 2 ) = σ 2 και ΜΤΣ(S 2 ) = V(S 2 ) = − σ .
n n(n − 1)
 4
X −µ X −µ
Για X ∼ N (µ, σ ) έχουμε
2
∼ N (0, 1), και άρα E = 3 (η κύρτωση της
σ σ
N (0, 1)).
Το παραπάνω μπορεί να δειχθεί εύκολα.
Τελικά,
3σ 4 n−3 4 2
µ4 = E(X − µ)4 = 3σ 4 και άρα V(S 2 ) = − σ = σ4.
n n(n − 1) n−1
σ2 2σ 2
Συμπεραίνουμε ότι bσc2 (σ 2 ) = − , bσc2 (σ 2 ) = − και
2 n 3 n+1
σ 4 (n − 1)2 2 2 1
ΜΤΣσc2 (σ 2 ) = + σ 4 = ( − 2 )σ 4
2 n 2 n 2 n−1 n n

4σ 4 (n − 1)2 2 2
ΜΤΣσc2 (σ 2 ) = + σ4 = σ4.
3 (n + 1) 2 (n + 1) n − 1
2 n+1
     
b2 2 1 b2 1 b2 1
Εκτιμήτρια σ1 = S c= σ2 = M2 c = σ3 c =
n−1 n n+1
σ2 2σ 2
Απόλυτη Μεροληψία 0
n n+1
 
2 2 1 2
ΜΤΣ · σ4 − 2 · σ4 · σ4
n−1 n n n+1

Παρατηρήστε πως η απόλυτη μεροληψία αυξάνεται, ενώ το ΜΤΣ ελαττώνεται από την
πρώτη μέχρι την τρίτη εκτιμήτρια.
Εξάσκηση!
P
n
Άσκηση 6: Βρείτε την εκτιμήτρια της μορφής Tn = c · (Xi − X)2 που πετυχαίνει το
i=1
ελάχιστο ΜΤΣ, όταν c > 0.

Άσκηση 4

Είναι φανερό ότι για n = 1, S 2 = 0 και εδώ δεν έχει νόημα η εκτίμηση του σ 2 . Θέλουμε
λοιπόν n ≥ 2.
Για n = 3, βλέπουμε από την απόδειξη που έγινε ότι συμπεριλαμβάνεται επίσης, απλά δεν
υπάρχουν ασυσχέτιστοι όροι.
Για n = 2 μένει μόνο το μέρος
 

V (X1 − X2 )2 = 2 µ4 + σ 4
και μηδενίζεται ο όρος  
4n (n − 2) C (X1 − X2 )2 , (X1 − X3 )2 ,
άρα πάλι ισχύει η σχέση.
Τελικά η ισχύς του είναι για n ≥ 2.
15
 Άσκηση 5

(i) Υπολογίζουμε:


V (X1 − X2 )2 = C X12 + X22 − 2X1 X2 , X12 + X22 − 2X1 X2
Xi ⊥Xj



= C X12 , X12 − 4C X12 , X1 X2 − 4C X22 , X1 X2 + 4C (X1 X2 , X1 X2 )
i̸=j

Όμως




C X12 , X1 X2 = E X13 X2 − E X12 E (X1 X2 )



= E X13 E (X2 ) − E X12 E (X1 )E (X2 ) = 0.
=0 =0 =0

Όμοια,

C X12 , X1 X2 = 0,
και



C (X1 X2 , X1 X2 ) = E X12 E X22 = V (X1 ) V (X2 ) = σ 4 .

Τελικά,





V (X1 − X2 )2 = 2V X12 + 4σ 4 = 2 E X14 − E2 X12 + 4σ 4



= 2 µ4 − σ 4 + 4σ 4 = 2 µ4 + σ 4 .

(ii)



C (X1 − X2 )2 , (X1 − X3 )2 = C X12 + X22 − 2X1 X2 , X12 + X32 − 2X1 X3


= V X12
= µ4 − σ 4 , καθώς τα υπόλοιπα μηδενίζονται

16
 5η διάλεξη - 14 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , X2 , . . . , Xn τ.δ. από Be(p).

Η διασπορά της Be(p) είναι σ 2 (p) = p(1 − p).
Μας ενδιαφέρει η εκτίμηση της διασπορας σ 2 .
Μια λογική εκτιμήτρια είναι η σb12 = M2 που είναι η δειγματική διασπορά.
Μια άλλη, είναι η σb22 = S 2 που είναι η αμερόληπτη δειγματική διασπορά.
Χρησιμοποιώντας τώρα την ε.ρ. του p, που είναι η p = X, μπορούμε να εκτιμήσουμε
μέσω plug-in, και έτσι προτείνεται και η σb32 = p(1 − p) = X(1 − X).
Να διερευνήσετε όλες αυτές τις εκτιμήτριες ως προς τη μεροληψία τους και το ΜΤΣ
και να φτιάξετε ένα πινακάκι με τα αποτελέσματά σας.

Άσκηση 2 Έστω X1 , X2 δύο ανεξάρτητες παρατηρήσεις από Be(p).

Να βρείτε όλες τις δυνατές α.ε. του σ 2 = p(1 − p).

Άσκηση 3 Έστω X μια μόνο παρατήρηση από U(0, θ), θ > 0.

Η ε.ρ. θ = 2X, ενώ μια άλλη είναι η θb = X.

(i) Υπολογίστε το ΜΤΣ των εκτιμητριών της μορφής cX, c > 0. Μπορούμε να
πετύχουμε καλύτερη εκτιμήτρια ως προς το ΜΤΣ από τη X και 2X; Ποια είναι
η βέλτιστη;

(ii) Να υπολογιστεί το ΜΑΣ (Μέσο Απόλυτο Σφάλμα) των cX, και να συγκριθούν
ως προς αυτό το κριτήριο.

Λύσεις

Άσκηση 1

Έχουμε
1X
2
n
σb12 = M2 =
2
Xi − X n = X 2 − X .
n i=1
Όμως αν Xi ∼ Be(p), τότε Xi2 = Xi .

Συμπεραίνουμε ότι X 2 = X και άρα

σb12 = X − X 2 = X(1 − X) = σb32 .

Τελικά οι μόνες εκτιμήτριες που πρέπει να συγκριθούν είναι σb12 = M2 και η αμερόληπτη
δειγμ. διασπορά σb22 = S 2 .

Ξέρουμε ήδη (έχει δειχθεί σε προηγ. άσκηση) ότι

µ4 n−3 4
ΜΤΣS 2 (σ 2 ) = − σ , n ≥ 2.
n n(n − 1)
Εδώ σ 2 = p(1 − p) και
µ4 = Ep (X − p)4 = Pp (X = 0)p4 + Pp (X = 1)(1 − p)4
= (1 − p)p4 + p(1 − p)4
= p(1 − p)(p3 + 1 − 3p + 3p2 − p3 )
= p(1 − p)(3p2 − 3p + 1).
17
Επιπλέον, ισχύει ότι

2
σ4 = σ2 = p2 (1 − p)2 ,
και άρα μετά από πράξεις
   
p(1 − p) 2
ΜΤΣS 2 (p) = 1− 4− p(1 − p) .
n n−1

Για να συγκριθούν τα ΜΤΣ της M2 και S 2 παρατηρούμε γενικά ότι

 2
n−1 2 σ 4 (n − 1)2
ΜΤΣM2 (σ ) = Eσ2
2
S −σ 2
= 2+ 2
ΜΤΣS 2 (σ 2 ).
n n n

Αντικαθιστώντας το σ 2 = p(1 − p) στην έκφραση του ΜΤΣ της αμερόληπτης δειγματικής

διασποράς έχουμε και άρα μετά από πράξεις
   
σ2 2
2
ΜΤΣS 2 (σ ) = 1− 4− σ2 .
n n−1
Είναι τώρα εύκολο να εξεταστεί αν υπερτερεί καθολικά κάποια από τις δύο εκτιμήτριες
ως προς το ΜΤΣ. Συγεκεκριμένα με πράξεις έχουμε ότι
2 − 1/n
ΜΤΣM2 (σ 2 ) ≤ ΜΤΣS 2 (σ 2 ) ⇐⇒ σ2 ≤ .
9 − 8/(n − 1) + 6/[n(n − 1)]
Επειδή η μέγιστη τιμή της διασποράς είναι 1/4 για p = 1/2 και 2/9 < 1/4 (2/9 είναι το όριο
του δεξί μέλους της ανισότητας καθώς n → ∞) είναι φανερό ότι γενικά δεν θα υπερτε-
ρεί η M2 καθολικά (όπως για τυχαίο δείγμα από κανονική). Αυτό θα συμβαίνει μόνο για
n = 2, 3, 4, ενώ για n = 5 και μεγαλύτερο θα υπάρχει ένα διάστημα γύρω από το p = 1/2
που θα υπερτερεί η S 2 .

Άσκηση 2

Έστω U = f (X1 , X2 ) μία α.ε. του σ 2 = p(1 − p). Θέτουμε fx1 ,x2 = f (x1 , x2 ) και επειδή
X1 , X2 ∈ {0, 1}, έχουμε ότι f0,0 , f0,1 , f1,0 , f1,1 είναι οι δυνατές τιμές της f . Λόγω αμεροληψίας
της U θα πρέπει να ισχύει ότι

Ep (U ) = σ 2 = p(1 − p), ∀p ∈ (0, 1).

’Ομως,

Ep (U ) = Pp (X1 = 0, X2 = 0)f0,0 + Pp (X1 = 0, X2 = 1)f0,1 + Pp (X1 = 1, X2 = 0)f1,0

+ Pp (X1 = 1, X2 = 1)f1,1 .

Άρα ∀p ∈ (0, 1),

(1 − 2p + p2 )f0,0 + (p − p2 )(f0,1 + f1,0 ) + p2 f1,1 = p − p2 ⇔

[f0,0 − (f0,1 + f1,0 ) + f1,1 + 1]p2 + (f0,1 + f1,0 − 2f0,0 − 1)p + f0,0 = 0

Συμπεραίνουμε ότι

f0,0 = 0
f0,1 + f1,0 = 1
f1,1 = 0.

18
 (X2 − X1 )2
Γνωρίζουμε ότι η (X1 − X)2 + (X2 − X)2 = (είναι η S 2 , για n = 2) είναι α.ε. του σ 2 ,
2
και ικανοποιεί το παραπάνω σύστημα εξισώσεων αφού f0,1 = f1,0 = 12 . Παρατηρήστε όμως
(X2 − X1 )2
ότι ∈ {0, 12 } και τυπικά δεν έιναι “εκτιμήτρια” του σ 2 , αφού σ 2 = p(1 − p) ≤ 14
2
που πετυχαίνεται για p = 21 . Εφ’ όσον θα έπρεπε f0,1 , f1,0 ≥ 0 και f0,1 , f1,0 ≤ 14 τυπικά
καμία στατιστική συνάρτηση που ικανοποιεί την απαίτηση της μεροληψίας δε θα έβγαινε
εκτιμήτρια του σ 2 .

Άσκηση 3

(i) Έστω T = cX.

Τότε
θ
Eθ (T ) = c · Eθ (X) = c · .
2
Άρα c 
c
bT (θ) = θ − θ = − 1 θ, θ > 0.
2 2
c2 θ 2
Vθ (T ) = c2 Vθ (X) = .
12
Τελικά c 2 c2 c2 − 3c + 3 2
ΜΤΣT (θ) = − 1 θ2 + θ2 = θ .
2 12 3

Παρατηρούμε ότι για c = 1 και c = 2, έχουμε

θ2
ΜΤΣX (θ) = ΜΤΣ2X (θ) = , ∀ θ > 0.
3
Η εκτημήτρια με το ελάχιστο ΜΤΣ πετυχαίνεται ελαχιστοποιώντας την f (c) = c2 −3c+3
για c > 0.
3
Έχουμε f ′ (c) = 2c − 3 και άρα για c∗ = , το δευτεροβάθμιο πολυώνυμο f (c) ελαχι-
2
στοποιείται με
9 9 9 3
min f (c) = f (c∗ ) = − + 3 = − + 3 = .
c>0 4 2 4 4
3 θ2
Τελικά η βέλτιστη εκτιμήτρια είναι η c∗ = X και ΜΤΣ 3 X (θ) = , ∀ θ > 0.
2 2 4
(ii) Κάνουμε τώρα διερεύνηση των εκτιμητριών cX ως προς το Μέσο Απόλυτο Σφάλμα.
Έχουμε ΜΑΣcX (θ) = Eθ |cX − θ|.
Παρατηρούμε ότι X = θU , όπου U ∼ U (0, 1), άρα

ΜΑΣcX (θ) = θ Eθ |c · U − 1| = θ Eθ |Uc − 1|,

όπου Uc ∼ U (0, c).

 c
• Αν c ≤ 1, τότε ΜΑΣcX (θ) = θ Eθ (1 − Uc ) = θ 1 − .
2
• Αν c > 1, τότε
Z 1 Z c 
1 1
ΜΑΣcX (θ) = θ (1 − u) du + (u − 1) du .
0 c 1 c
19
Τελικά  1  c !
θ u2 u2 θ  
ΜΑΣcX (θ) = u− + −u = (c − 1)2 + 1
c 2 0 2 1 2c
θ
Παρατηρούμε ότι ΜΑΣX (θ) = ΜΑΣ2X (θ) = .
2
Επίσης ΜΑΣcX ↓ για 0 < c ≤ 1, και έτσι το βέλτιστο ΜΑΣ επιτυγχάνεται ελαχι-√
στοποιώντας ως προς c για c > 1 για να πάρουμε τελικά ότι το βέλτιστο c∗∗ = 2
(επαληθεύστε το) με
√ 
√
ΜΑΣc∗∗ X (θ) = ΜΑΣ 2X (θ) = 2 − 1 θ.

20
 6η διάλεξη - 16 Οκτωβρίου 2020

Άσκηση 1⋆ Δείξτε με τη χρήση ροπογεννητριών ότι η

X
n
n 1
X= Zi 2 ∼ G( , ),
i=1
2 2

όταν {Zi }1≤i≤n ανεξ. N (0, 1) και συμπεράνετε ότι χ2n ≡ G( n2 , 12 ).

Άσκηση 2 Έστω X1 , . . . , Xn τ.δ. από N (µ, σ 2 ), όπου µ γνωστό και σ 2 άγνωστο.

Θέτουμε
P
n P
n
(Xi − µ)2 (Xi − X)2 X
n
c2 = i=1 i=1 1
σ M2,n = και Sn2 = · (Xi − X)2 .
n
n n n − 1 i=1

Να εξεταστούν οι ιδιότητες αμεροληψία, ασυμπτωτική αμεροληψία, L2 -συνέπεια, συ-

νέπεια και ισχυρή συνέπεια. Συγκρίνετε και το M SE αυτών των εκτιμητριών του σ 2 .

Άσκηση 3 Σε ένα τ.δ. από U[0, θ] να δείξετε ότι οι θbn = X(n) και θen = n+1
n
· X(n) είναι
ισχυρά συνεπείς εκτιμήτριες του θ.
Υπόδειξη: ν.δ.ο.
X

∀ϵ > 0, P U(n) < 1 − ϵ < +∞
n≥1

Δεχόμαστε το εξής κριτήριο ισχυρής συνέπειας: αν για μια εκτιμήτρια θbn του θ ισχύει
P b
P(|θn − θ| > ϵ) < +∞, ∀θ ∈ Θ, τότε θbn → θ, ∀θ ∈ Θ. [θα σχολιαστεί στο μάθημα]
a.s.
ότι
n

Λύσεις

Άσκηση 1

Έχουμε διαδοχικά οτι:

  Z ∞ Z ∞
tZi2 1 − zi2 tzi2
tzi2 1 −(1−2t)zi2
MZi2 (t) = E e = e √ e e dzi = √
2 e 2 dzi
−∞ 2π 2π −∞
√ 1
Θέτουμε y 2 = (1 − 2t) zi2 ⇒ y = 1 − 2tzi , t < και άρα zi = (1 − 2t)− 2 , dzi = (1 − 2t)− 2 dy.
1 1

2
Επομένως:
Z ∞
− 12 1 y2 1
e− 2 dy = (1 − 2t)− 2 , t <
1
MZi2 (t) = (1 − 2t) √
2π −∞ 2

Αυτή είναι η ροπογεννήτρια της χ21 .

Άρα, αφού Z ∼ N (0, 1) τότε Z 2 ∼ χ21 . Τελικά

Y
n Y
n
1
(1 − 2t)− 2 = (1 − 2t)− 2 , t <
1 n
MX (t) = MZi2 (t) =
i=1 i=1
2

21
Αυτή είναι η ροπογεννήτρια της χ2n κατανομής και άρα
 
n 1
χn ≡ G
2
,
2 2

Άσκηση 2

Εδώ είμαστε στην περίπτωση που το µ είναι γνωστό και μόνο το σ 2 είναι άγνωστο.
Διαισθητικά περιμένουμε ότι η πρώτη εκτιμήτρια θα συμπεριφέρεται καλύτερα από τις
άλλες δύο, οι οπόιες “εκτιμάνε” το µ ενώ είναι γνωστό.
Επειδή X1 , . . . , Xn είναι τ.δ από N (µ, σ 2 ) χρησιμοποιούμε ιδιότητες που συνδέονται με
τη χ2n -κατανομή.
c2 X n  2 X n
nσ Xi − µ
n
= = Zi2 ∼ χ2n , αφού
σ2 i=1
σ i=1

Z1 , . . . , Zn ∼ N (0, 1) και είναι και ανεξάρτητες.

Συμπεραίνουμε ότι
2
c2 ∼ σ χ2 ,
σ n
n n
και άρα
  σ2
Eσ σc2 = · n = σ2 , ∀ σ2 > 0 (1)
n
n
και   σ4
c2 = 2σ 4
Vσ σ n 2
· 2n = , ∀ σ2 > 0 (2)
n n
όπου χρησιμοποιήσαμε ότι E (Xn ) = n , V (Xn ) = 2n.
2 2

Σημειώνουμε ότι η σ c2 είναι α.ε. του σ 2 , και άρα είναι και α.α.ε.. Επιπλέον από τη
n
σχέση (2) και την αμεροληψία, έχουμε ότι


ΜΤΣσc2 σ 2 −−−→ 0 , και
n n→∞

άρα είναι L2 -συνεπής και άρα είναι και συνεπής.

Είναι όμως και ισχυρά συνεπής, αφού
P
n
(Xi − µ)2
c2 =
σ i=1 a.s.
= (X − µ)2 −−−→ Eσ2 (X1 − µ)2 = σ 2 , ∀ σ 2 > 0 ,
n
n n→∞

όπου η παραπάνω ισχυρή σύγκλιση έπεται από τον Ι.Ν.Μ.Α. για την ακολουθία των α.ι.τ.μ.

{(Xn − µ)2 }n≥1 , με Eσ2 (X1 − µ)2 = Vσ2 (X1 ) = σ 2 < +∞.

Στη συνέχεια, για να κάνουμε τη σύνδεση μεταξύ των διαφορετικών εκτιμητριών παρατη-
ρούμε ότι
P
n
(Xi − µ)2

2
c2 =
σ i=1
= E (X ∗ − µ)2 = E2 (X ∗ − µ) + V (X ∗ ) = X n − µ + M2,n , (3)
n
n
όπου η X ∗ ∼ discr.Unif ({X1 , X2 , . . . , Xn }) . Γνωρίζουμε ότι

(n − 1) Sn2
∼ χ2n−1
σ2

22
και άρα η Sn2 είναι α.ε. του σ 2 , (άρα και α.α.ε.) με


2 (n − 1) σ 4 2
ΜΤΣ 2
Sn σ 2
=V Sn2 = = σ4 (4)
(n − 1)2
n−1

Άρα είναι και L2 -συνεπής και τελικά και συνεπής.

n−1 2 σ2
Επειδή M2,n = Sn , παίρνουμε bM2,n (σ ) = −
2
, ∀ σ2 > 0
n n
Επιπλέον είναι α.α.ε και L2 -συνεπής, και επομένως και συνεπής.
Από τη σχέση (3) συμπεραίνουμε ότι

2
c2 − X n − µ
M2,n = σ .
n

c2 και το γεγονός ότι

Από την ισχυρή συνέπεια της σn

a.s.
X n −→ µ , ∀ σ 2 > 0 (το µ είναι γνωστό)

κάνοντας εφαρμογή του Θ.Σ.Α., έχουμε

2 a.s.
Xn − µ −→ 0 , ∀ σ 2 > 0

και τελικά η M2,n είναι ισχυρά συνεπής εκτιμήτρια του σ 2 , και άρα και η Sn2 .
Τέλος, μένει να συγκριθούν τα ΜΤΣ των 3 εκτιμητριών. Λόγω της αμεροληψίας των δύο
εξ’ αυτών έχουμε:
4
c2 ) = 2σ ,
ΜΤΣσc2 (σ 2 ) = Vσ2 (σn
n n
2σ 4
ΜΤΣSn2 (σ 2 ) = Vσ2 (Sn2 ) = ,
n−1
c2 είναι καλύτερη α.ε. της S 2 (υπερτερεί καθολικά).
και άρα η σn n
Από την άλλη μεριά είναι ενδιαφέρον ότι (μετά από πράξεις)
 
2 1
2
ΜΤΣM2 (σ ) = − σ4,
n n2

και άρα υπερτερεί των άλλων δύο ως προς το ΜΤΣ.

Παρ’ όλα αυτά η διαφορά από τη σc2 είναι της τάξης του 1 , ενώ τα ΜΤΣ συγκλίνουν
n
n2
c2 .
γραμμικά στο 0. Έτσι θα προτιμούσαμε την α.ε. σ n

Άσκηση 3

Είναι φανερό ότι αρκεί ν.δ.ο. η θbn είναι ισχυρά συνεπής. Πράγματι, τότε η θen θα είναι και
αυτή ισχυρά συνεπής,
n+1
αφού → 1, καθώς n → +∞
n
και άρα η ισχυρή σύγκλιση μεταφέρεται στο γινόμενο δυο ισχυρά συγκλινουσών ακολουθιών.
Έχουμε επίσης δείξει ότι
θbn = θ · U(n) ,
όπου U(n) = max {U1 , U2 , . . . , Un }, δηλαδή το μέγιστο n-διατεταγμένων ομοιόμορφων στο
[0, 1]. Αν δείξουμε ότι ∀ϵ > 0 X
P(U(n) < 1 − ϵ) < +∞, (⋆)
n≥1
23
τότε θα έχουμε ότι ∀ϵ > 0 X  
P(U(n) − 1 > ϵ) < +∞,
n≥1
 
αφού U(n) − 1 = 1 − U(n) , και άρα από γνωστό κριτήριο σύγκλισης θα έχουμε ότι U(n) −→ 1.
a.s.

Έτσι,
θbn = θ · U(n) −→ θ, ∀θ > 0
a.s.

και από αυτό έπεται η ισχυρή συνέπεια της θbn . Αποδεικνύουμε τώρα τη σχέση (⋆).

Y
n
P(U(n) < 1 − ϵ) = P(Ui < 1 − ϵ) = (1 − ϵ)n ,
i=1

για 0 < ϵ < 1 (αρκεί για ϵ επαρκώς μικρό). Συμπεραίνουμε ότι

X X 1−ϵ
P(U(n) < 1 − ϵ) = (1 − ϵ)n = < +∞,
n≥1 n≥1
ϵ

δηλαδή πράγματι ισχύει η σχέση (⋆).

24
 7η διάλεξη - 19 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , X2 , . . . , Xn τ.δ από Exp(θ), θ > 0, όπου θ παράμετρος ρυθμού.

1
Εξετάστηκαν στο μάθημα οι ιδιότητες της θn = .
Xn
(i) Εκτιμήστε μέσω plug-in τη μέση τιμή µ = µ(θ) και τη διασπορά σ 2 = σ 2 (θ) της
Exp(θ).
c2 που
bn και σ
(ii) Εξετάστε τις ιδιότητες που έχουμε δει για τις plug-in εκτιμήτριες µ n
φτιάξατε παραπάνω.

Άσκηση 2 Έστω X1 , X2 , . . . , Xn τ.δ. από Exp(θ), θ > 0, όπου θ παράμετρος ρυθμού.

Εκτιμάμε το θ μέσω της θbn = X n .
Στη συνέχεια μας ενδιαφέρει η εκτίμηση της πιθανότητας ενός σπάνιου ενδεχομένου
{X > a}, για a > 0 μεγάλο. Θέτουμε p = Pθ (X > a).
P
n
1{Xi >a}
i=1
(i) Αν pen = , τότε να αιτιολογηθεί η χρήση της ως λογικής εκτιμήτριας
n
του p.

(ii) Εξετάστε τις ιδιότητες που έχουμε δει για τη pen .

(iii) Έστω pbn η plug-in εκτιμήτρια του p = p(θ). Εξετάστε πάλι τις ιδιότητές της και
συγκρίνετε τα αποτελέσματα με αυτά της pen .

Λύσεις

Άσκηση 2
(i) Η pen είναι η εμπειρική εκτιμήτρια του p = P(X1 > a).
Πράγματι,
p = Eθ 1{X1 >a} ,

και άρα η αντίστοιχη εμπειρική θα δίνεται από τη σχέση

P
n
1{Xi >a}
i=1
pen = E1{X ∗ >a} = .
n

(ii) Έχουμε pen = Y n , όπου Yi = 1{Xi >a} ∼ Be(p), και άρα

Eθ (e
pn ) = E(Y n ) = p (∀θ > 0).

Συμπεραίνουμε ότι η pen είναι α.ε. του p και άρα α.α.ε.

Επιπλέον, ως α.ε.
p(1 − p)
pn ) = Vθ (Y n ) =
ΜΤΣθ (e −−−→ 0, ∀θ > 0
n n→∞

και άρα είναι L2 −συνεπής εκτιμήτρια του p, και άρα συνεπής.

25
 Είναι μάλιστα ισχυρά συνεπής, αφόυ
a.s.
pen = Y n −→ Pθ (X1 > a) = p, ∀θ > 0.

(iii) Έχουμε
p = Pθ (X1 > a) = 1 − Pθ (X1 ≤ a) = 1 − Fθ (a) = e−aθ .
Άρα
a
−
pbn = e X n

Κατ’ αρχήν παρατηρούμε ότι η συνάρτηση

g(x) = e− x ,
α
x>0

είναι γνήσια κυρτή (ως σύνθεση γνήσια κυρτών) και άρα αφού και ο δ.μ. X n δεν είναι
εκφυλισμένη τ.μ., έχουμε από την “ενισχυμένη” ανισότητα Jensen ότι.
 α   
−     1
Eθ (b
pn ) = Eθ e X n = Eθ g(X n ) > g Eθ (X n ) = g = p,
θ

και άρα η pbn είναι θετικά μεροληπτική εκτιμήτρια του p.

Τώρα αναζητάμε έναν τρόπο υπολογισμού της μέσης τιμής της. Έχουμε,
 α   nα 

−
Eθ e X n = Eθ e− Sn = Eθ e−nαTn = MTn (−nα), (1)

όπου
X
n
1
Sn = Xi ∼ G(n, θ), Tn = ∼ IG(n, θ),
i=1
Sn
όπου IG(ν, θ) συμβολίζουμε την αντίστροφη Γάμμα (Inverse Gamma) και MTn τη ρο-
πογεννήτρια της Tn .
Χρησιμοποιώντας τη σχέση από τον τύπο αλλαγής μεταβλητής
 
1 1
fTn (x) = fSn · 2 , ∀x > 0,
x x
1
με Tn = (που είναι “1-1”), καταλήγουμε ότι
Sn
θn −n−1 −θ· 1
fTn (x) = x e x, x > 0.
Γ(n)

Από την σχέση (1) έχουμε

 a 
− n Z +∞
θ
Eθ e Xn  = e−nax x−n−1 e−θ x dx.
1
(2)
Γ(n) 0

Ακολουθεί ο υπολογισμός του τελευταίου ολοκληρώματος.

I = I1 + I2 (3)
26
όπου
Z √ θ
na
e−nax x−n−1 e−θ x dx,
1
I1 =
0

Z +∞
e−nax x−n−1 e−θ x dx.
1
I2 = √
θ
na

q
θ
Κάνοντας την αλλαγή μεταβλητής x = na
t, το I1 γίνεται
r Z +∞ √ r !−n−1
θ −t θ √
e− naθe e(n+1)t e− naθe e−t dt
t
I1 =
na 0 na
r !−n Z +∞
θ √ −t
e− naθ(e +e ) ent dt,
t
=
na 0

q
θ t
ενώ κάνοντας την αλλαγή μεταβλητής x = na
e, το I2 γίνεται
r Z +∞ √ r !−n−1
θ θ √ −t
e− naθe e−(n+1)t e− naθe et dt
t
I2 =
na 0 na
r !−n Z +∞
θ √ −t
e− naθ(e +e ) e−nt dt.
t
=
na 0

Από την (3) και τα παραπάνω έχουμε

r !−n Z +∞
θ √ −t

e− naθ(e +e ) ent + e−nt dt
t
I=
na 0
r !−n Z +∞
θ √ t
− 4naθ· e +e
−t ent + e−nt
=2 e 2 · dt
na 0 2
r !−n Z +∞
θ √
=2 e− 4naθ·cosh t · cosh(nt)dt,
na 0

et + e−t
όπου cosh t = είναι το υπερβολικό συνημίτονο.
2
Η τελευταία σχέση γράφεται στη μορφή
r !−n
θ √
I=2 Kn ( 4nαθ), (4)
nα

όπου
Z+∞
Kn (s) = e−s·cosh t · cosh(nt)dt,
0

και λέγεται τροποποιημένη συνάρτηση Bessel 2ου είδους (δείτε και Διαφορικές Εξι-
σώσεις Bessel).
27
Τελικά από τις (2) και (4) έχουμε
 α  θn √
−
θ− 2 (nα) 2 · Kn ( 4nαθ)
n n
Eθ e X n = 2
(n − 1)!
2 n √
= (nαθ) 2 Kn ( 4nαθ),
(n − 1)!

• Υπολογίστε και το ΜΤΣ και κάντε μια γραφική αναπαράσταση της μεροληψίας
και του ΜΤΣ για κάποιες τιμές του n (για n = 1, υπολογίστε ακριβώς), συγκρί-
νοντας τα αποτελέσματα με αυτά της εμπειρικής εκτιμήτριας.

Είναι φανερό ότι η σύγκριση είναι ευκολότερη για τα αντίστοιχα ασυμπτωτικά απο-
τελέσματα (επόμενη διάλεξη). Κατ’ αρχήν παρατηρούμε ότι
− α
→ e−αθ = p,
a.s.
pbn = e Xn ∀θ > 0,

αφού η g(x) = e− x , x > 0 είναι συνεχής (Θ.Σ.Α.) και ο δ.μ. X n είναι ισχυρά συνεπής
α

1
εκτιμήτρια του , από τον Ι.Ν.Μ.Α.
θ
Συμπεραίνουμε λοιπόν ότι η pbn είναι ισχυρά συνεπής εκτιμήτρια του p, άρα και συ-
νεπής.

28
 8η διάλεξη - 21 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , . . . , Xn ένα τ.δ. από κατανομή με συνάρτηση κατανομής F και

συνάρτηση πυκνότητας πιθανότητας f . Υπενθυμίζουμε ότι η σ.κ. F(n) του δειγματικού
μεγίστου X(n) = max{X1 , . . . , Xn } δίνεται από τη σχέση F(n) = F n και η σ.π.π. f(n) =
nF n−1 f . Η σύνδεση αυτή στηρίζεται στην ανισότητα x(n) ≤ x αν και μόνο αν xi ≤ x για
όλα τα 1 ≤ i ≤ n. Ας υποθέσουμε τώρα ότι μας ενδιαφέρει η κατανομή του ελαχίστου
X(1) = min{X1 , . . . , Xn }.

(i) Βρείτε κατάλληλη ανισότητα που θα βοηθήσει στην εύρεση της κατανομής του
ελαχίστου.

(ii) Υπολογίστε τη συνάρτηση κατανομής F(1) του ελαχίστου ως συνάρτηση της F

και την αντίστοιχη συνάρτηση πυκνότητας f(1) ως συνάρτηση της F και της f .

(iii) Με τη βοήθεια των τυχαίων μεταβλητών Yi = −Xi και των αποτελεσμάτων που
είναι ήδη γνωστά για την F(n) συμπεράνετε τη σ.κ. της F(1) χωρίς να χρησιμο-
ποιήσετε την παραπάνω ανάλυση.

Άσκηση 2 Έστω X1 , . . . , Xn ένα τ.δ. από U[θ1 , θ2 ], με θ1 , θ2 ∈ R και θ1 < θ2 .

(i) Χρησιμοποιήστε τη μέθοδο των ροπών για να βρείτε εκτιμήτριες των θ1 και θ2 .

(ii) Προτείνετε καταλληλότερες εμπειρικές εκτιμήτριες των θ1 και θ2 .

(iii) Εξετάστε όλες τις ιδιότητες που έχουν διδαχθεί για τις εκτιμήτριες που προκύ-
πτουν από το (ii).

(iv) Θέλουμε να εκτιμήσουμε το εύρος r = θ2 −θ1 της U[θ1 , θ2 ]. Προτείνετε κατάλληλη

εκτιμήτρια Rn κι εξετάστε τις ιδιότητές της.

Άσκηση 3 Σε ένα σύστημα εξυπηρέτησης, π.χ. μια τράπεζα, μία καντίνα, ένα σημείο
πώλησης εισητηρίων, μας ενδιαφέρει το ποσοστό του χρόνου π που το σύστημα δεν
εξυπηρετεί καθόλου, δηλ. είναι άδειο. Υποθέτουμε πρώτα ότι εξυπηρετεί μόνο ένα
ταμείο και ανά 5 λεπτά, καταγράφεται το πλήθος των πελατών που έχουν εξυπηρε-
τηθεί. Δεν υπάρχει άλλη πληροφορία και μία πρώτη προσέγγιση είναι να εκτιμηθεί
το ζητούμενο ποσοστό π μέσα από την P (X = 0), όπου X η τ.μ. που εκφράζει το
πλήθος των αφίξεων ανά 5 λεπτά.

(i) Αν διαθέτουμε ένα “τυχαίο δείγμα” X1 , . . . , Xn να εκτιμηθεί εμπειρικά αυτή η

πιθανότητα, και να εξεταστούν οι ιδιότητες αμεροληψία, ΜΤΣ, συνέπεια, ισχυρή
συνέπεια της προκύπτουσας εκτιμήτριας π en .

(ii) Να
√ εξεταστεί αν συγκλίνει κατά κατανομή η ακολουθία των τυχαίων μεταβλητών
πn − π) και να προσδιοριστεί η οριακή κατανομή.
n(e

(iii) Υποθέτουμε τώρα ότι οι X1 , . . . , Xn προέρχονται από P(λ), όπου λ > 0 άγνωστη
παράμετρος. Να εκτιμηθεί η παράμετρος λ και στη συνέχεια το ποσοστό π,
μέσω μιας εκτιμήτριας plug-in π bn .

bn .
(iv) Εξετάστε τις ιδιότητες που αναφέρονται στο (i) για την εκτιμήτρια π

bn .
(v) Απαντήστε στο (ii) για την εκτιμήτρια π

29
 (vi) Υποθέτοντας ότι το τυχαίο δείγμα είναι πράγματι από P(λ), να συγκριθούν
√ οι
ασυμπτωτικές
√ διασπορές των οριακών κατανομών των ακολουθιών n(e πn − π)
πn − π).
και n(b

(vii) Σκεφτείτε ποια είναι η σχέση του π με την P (X = 0), και συμπεράνετε αν
οι εκτιμήτριες που προτάθηκαν μεροληπτούν υπέρ ή κατά του πραγματικού
χρόνου που το σύστημα παραμένει άδειο.

Άσκηση 4 Να δείξετε ότι αν Xn ∼ N (µn , σn2 ) όπου µn → µ και σn2 → 0, τότε

 
p d
Xn → µ ⇔ Xn → µ

Λύσεις

Άσκηση 3
(i) Έστω X = #αφίξεων ανά 5λεπτο. Θεωρούμε ότι διατέθουμε ένα τυχαίο δείγμα
X1 , X2 , . . . , Xn από την κατανομή της X και θέτουμε π = P(X = 0).
Η παράμετρος π ερμηνεύεται ως η θεωρητική συχνότητα των 5-λέπτων που το σύ-
στημα θα παραμένει εξ’ολοκλήρου άδειο. Θα μπορούσε να είναι από μόνο του ένα
χαρακτηριστικό ενδιαφέροντος του συστήματος. Στο τελευταίο ερώτημα δίνεται μία
εξήγηση που το διαφοροποιεί από το θεωρητικό ποσοστό του χρόνου που το σύ-
στημα παραμένει άδειο. Συνεχίζουμε με την υπόθεση ότι το π είναι η παράμετρος
που θέλουμε να εκτιμήσουμε. Η εμπειρική εκτίμηση του π = P(X = 0), οδηγεί στην
εκτιμήτρια
en = P(X ⋆ = 0), με X ⋆ ∼ discr.Unif({X1 , X2 , . . . , Xn }).
π
Επομένως,
P
n
1{Xi =0}
#{Xi : Xi = x} i=1
P(X = x) =
⋆
⇒ P(X ⋆ = 0) = en .
=π
n n
en = Y n , όπου Yi = 1{Xi =0} , i ≥ 1, α.ι.τ.μ. ∼ Be(π), διότι π = P(X = 0).
Έχουμε π
* αμεροληψία

E(e
πn ) = E(Y n ) = E(Be(π)) = π ⇒ π
en α.ε. του π.

* ΜΤΣ
α.ε. V(Be(π)) π(1 − π)
ΜΤΣπen = E(e
πn − π)2 = V(e
πn ) = = ,
n n
V(Y1 )
en = Y n και ξέρουμε ότι V(Y n ) =
διότι π .
n
* συνέπεια
Από την παραπάνω σχέση του ΜΤΣ έχουμε ότι

ΜΤΣπen −→ 0 =⇒ en είναι L2 − συνεπής

π
n→∞

Από την L2 -συνέπεια συμπεραίνουμε τη συνέπεια της εκτιμήτριας.

30
 * ισχυρή συνέπεια
Έχουμε
a.s.
en = Y n −→ E(Y1 ) = π, ∀ δυνατή κατανομή της X.
π
Τελικά η πen είναι ισχυρά συνεπής. [Υπενθύμιση: Y1 = 1{X1 =0} ∈ {0, 1} ⇒ Y1 ∼
Be(π), διότι P(Y1 = 1) = P(X1 = 0) = π.]

(ii) Η (Yn )n≥1 είναι ακολουθία α.ι.τ.μ. (αφού Yn είναι συνάρτηση της Xn που είναι με τη
σειρά της ακολουθία α.ι.τ.μ.), και επιπλέον V(Y1 ) < +∞. Άρα ισχύουν οι προϋποθέ-
σεις του Κ.Ο.Θ. και έχουμε ότι
√ √ d
πn − π) =
n(e n(Y n − E(Y1 )) −→ N (0, V(Y1 )) = N (0, π(1 − π)) .
n→∞

Αυτή είναι η οριακή κατανομή για κάθε δυνατή κατανομή της X.

(iii) Υποθέτουμε τώρα ότι X1 , X2 , . . . , Xn είναι ένα τυχαίο δείγμα από P(λ), λ > 0. Έχουμε

bn = X n (εκτιμήτρια ροπών)
λ = Eλ (X1 ), άρα λ

και
π = P(X = 0) = e−λ = g(λ)
που προκύπτει αντικαθιστώντας με x = 0 στη συνάρτηση πιθανότητας της Poisson:
λx
P(X = x) = e−λ . Θέτουμε λοιπόν
x!
bn ) = g(X n ) = e−X n ,
bn = g(λ
π

που είναι η plug-in εκτιμήτρια του π = g(λ).

(iv) (Αμεροληψία;)
Απαντάμε σε αυτό το ερώτημα πρώτα ποιοτικά. Έχουμε
(e−x )′ = −e−x , (e−x )′′ = e−x > 0 και άρα η g(λ) = e−λ είναι γνήσια κυρτή στο (0, +∞).
Από την ανισότητα Jensen έχουμε

Jensen

Eλ (b
πn ) = Eλ g(X n ) ≥ g E(X n ) = e−λ = π

και μάλιστα έχουμε ότι Eλ (b

πn ) > π, διότι X n δεν είναι εκφυλισμένη τ.μ. και η g δεν
είναι αφφινική (aλ + b). Συμπεραίνουμε ότι η Π b n είναι θετικά μεροληπτική. Μπορεί
να υπολογιστεί η μεροληψία; Χρειαζόμαστε τον υπολογισμό της μέσης τιμής

Eλ (e−X n ) = ?
1 Pn
Παρατηρούμε ότι X n = Sn , όπου Sn = Xi και Xi ∼ P(λ) ⇒ Sn ∼ P(nλ) (άθροισμα
n i=1
n ανεξάρτητων P(λ)). Ο παραπάνω υπολογισμός συσχετίζεται με τη γνώση της ρο-
πογεννήτριας της

Poisson. Αν MX (t) είναι η ροπογεννήτρια κάποιας τ.μ. X, τότε
MX (t) = E e . Στην περίπτωση της Poisson, μπορεί να δειχθεί ότι αν X ∼ P(λ),
tX

τότε
MX (t) = eλ(e −1) , ∀t ∈ R.
t

Προσοχή γενικά και στο πεδίο σύγκλισης μιας ροπογεννήτριας, διότι αυτό δεν είναι
πάντα το R. Είναι φανερό λοιπόν ότι
 1   
−X n − n Sn 1
Eλ (b
πn ) = Eλ (e )=E e = MSn − .
n
31
 Εφόσον Sn ∼ P(nλ), αντικαθιστώντας στη ροπογεννήτριά της, συμπεραίνουμε ότι
1
−n 1
−n 1−e−1/n
Eλ (b
πn ) = enλ(e −1)
= e−nλ(1−e )
= e−λ 1/n ,

και άρα η μεροληψία της προκύπτει αφαιρώντας το λ. Συνεχίστε τώρα την άσκηση
υπολογίζοντας ακριβή τιμή για το ΜΤΣ.

Για να δειχθεί η ισχυρή συνέπεια παρατηρούμε πρώτα από τον I.N.M.A. ότι
a.s.
X n −→ λ, ∀λ > 0.

Όμως
bn = e−X n = g(X n ) −→ g(λ) = e−λ , ∀λ > 0,
a.s.
π
από το Θ.Σ.Α., αφού η g(λ) = e−λ είναι συνεχής.

(v) Από το Κ.Ο.Θ. (ισχύουν οι προϋποθέσεις) έχουμε ότι

√ √ d
n(X n − λ) = n(X n − Eλ (X1 )) −
→ N (0, Vλ (X1 )) = N (0, λ).

Άρα επειδή η g είναι και παραγωγίσιμη με g ′ (λ) = −e−λ για κάθε λ > 0, με μία
εφαρμογή της μεθόδου δέλτα, έχουμε ότι
√ √ √
d

πn − π) =
n(b n(e−X n − e−λ ) = n g(X n ) − g(λ) −−−→ N 0, e−2λ · λ
n→∞

Λόγω της σχέσης π = e−λ , αντικαθιστώντας όπου λ = − log π, παίρνουμε τελικά ότι
√ d
πn − π) −−−→ N (0, π 2 log(1/π)).
n(b
n→∞

Συνεχίστε την άσκηση συγκρίνοντας τις ασυμπτωτικές διασπορές της εμπειρικής με-
θόδου και αυτής για την οποία υποθέσαμε ότι έχουμε τυχαίο δείγμα από Poisson.

Άσκηση 4

Xn ∼ N (µn , σn2 ) ⇒ Xn = µn + σn · En , όπου En ∼ N (0, 1)

↓ ↓ ↓d
µ 0 Z ∼ N (0, 1)

Slutsky d p
====⇒ Xn → µ + 0 · Z = µ ή ισοδύναμα Xn → µ

32
 9η διάλεξη - 23 Οκτωβρίου 2020

Άσκηση 1 Έστω ένα n-τυχαίο δείγμα από Γεωμετρική κατανομή Geo(p) στο
{1, 2, . . .}.

(i) Βρείτε την ασυμπτωτική κατανομή του δειγματικού μέσου X n .

(ii) Προσδιορίστε την ασυμπτωτική κατανομή της εκτιμήτριας ροπών του p.

(iii) Προτείνετε μία εκτιμήτρια της διασποράς της Γεωμετρικής κατανομής και προσ-
διορίστε την ασυμπτωτική της κατανομή.

Άσκηση 2 Θέλουμε να ελέγξουμε την ακρίβεια εκτίμησης της διασποράς μιας κανο-
νικής κατανομής N (µ, σ 2 ).

(i) Μέσω ποιάς ιδιότητας εκτιμήτριας μπορούμε να έχουμε εγγυήσεις ότι για αρκού-
ντως μεγάλο δείγμα μπορούμε να εξασφαλίσουμε μία οσοδήποτε μεγάλη σχετική
ακρίβεια, με οσοδήποτε μεγάλη πιθανότητα θέλουμε ?

(ii) Αν υποθέσουμε αρχικά ότι η μέση τιμή µ είναι γνωστή, να προταθεί κατάλληλη
εκτιμήτρια και να προσδιοριστεί η διαδικασία εύρεσης του ελάχιστου μεγέθους
δείγματος nϵ,δ ώστε να έχουμε σχετική ακρίβεια ϵ με πιθανότητα τουλάχιστον
1 − δ. Στη συνέχεια δώστε μία λύση κάνοντας ασυμπτωτική προσέγγιση με τη
βοήθεια της κανονικής κατανομής.

(iii) Αν υποθέσουμε τώρα ότι η μέση τιμή µ είναι άγνωστη, απαντήστε στο προη-
γούμενο υποερώτημα και κάντε πάλι κατάλληλη ασυμπτωτική προσέγγιση.

(iv) (αριθμητική εφαρμογή) Συγκρίνετε τα ελάχιστα μεγέθη δείγματος για ϵ ∈

{0.05, 0.01} και δ ∈ {0.05, 0.01} (4 δυνατοί συνδυασμοί) για τις δύο περιπτώσεις (µ
γνωστό και µ άγνωστο), όταν χρησιμοποιηθούν οι ασυμπτωτικές προσεγγίσεις.

(v) (συνέχεια αριθμητικής εφαρμογής) Βρείτε τις ακριβείς λύσεις της προηγούμενης
εφαρμογής (θα χρειαστεί κατάλληλη αριθμητική διερεύνηση) και συγκρίνετε τις
τιμές με τις ασυμπτωτικές προσεγγίσεις.

Άσκηση 3 Μία εταιρεία παρουσιάζει ημερήσια προσημασμένα κέρδη (αρνητικά ση-

μαίνει ζημία) που ακολουθούν κοινή κατανομή N (µ, σ 2 ), όπου µ, σ 2 άγνωστες παρά-
μετροι υπό εκτίμηση. Υποθέτουμε επίσης ότι το κέρδος κάθε μέρας δεν επηρεάζεται
από τις υπόλοιπες. Αμερόληπτες εκτιμήτριες των µ και σ 2 , στη βάση κάποιου τυχαί-
ου δείγματος είναι ο δειγματικός μέσος X n και η αμερόληπτη δειγματική διασπορά
Sn2 αντίστοιχα.

(i) Να γίνει υπενθύμιση της κατανομής που ακολουθούν ο δειγματικός μέσος X n

και η αμερόληπτη δειγματική διασπορά Sn2 .

(ii) Υποθέτουμε τώρα ότι µ = 1 και σ 2 = 0.32 είναι οι τιμές που χαρακτηρίζουν την
κατανομή του ημερήσιου προσημασμένου κέρδους μιας εταιρείας, αλλά δεν τις
γνωρίζουμε και πρέπει να εκτιμηθούν. Να προσομοιωθούν στην R, 100 τιμές
από την N (1, 0.32 ), οι οποίες υποθέτουμε ότι αντιστοιχούν σε πραγματικά δεδο-
μένα προσημασμένων κερδών 100 διαδοχικών ημερών λειτουργίας της εταιρείας.
Βάλτε set.seed(100), προσομοιώστε και εκτιμήστε τις παραμέτρους.

33
(iii) Θέτουμε xn και s2n τις εκτιμήσεις που παίρνουμε στο συγκεκριμένο δείγμα. Υ-
πολογίστε το σφάλμα, το απόλυτο σφάλμα και το τετραγωνικό σφάλμα (αυτά
που αντιστοιχούν στο συγκεκριμένο δείγμα με γνωστές τις παραμέτρους).
(iv) Προσομοιώστε τώρα 500 φορές από 100 παρατηρήσεις και σε κάθε προσο-
μοιωμένο δείγμα εκτιμήστε τις παραμέτρους και υπολογίστε τα σφάλματα του
προηγούμενου υποερωτήματος.
(v) Κάντε ένα ιστόγραμμα των τιμών για κάθε χαρακτηριστικό ενδιαφέροντος και
προσαρμόστε κατάλληλη κατανομή που περιγράφει την κατανομή των υπό με-
λέτη χαρακτηριστικών.
(vi) Υπολογίστε τη μεροληψία, το μέσο απόλυτο σφάλμα και το μέσο τετραγωνι-
κό σφάλμα των εκτιμητριών X n και Sn2 για µ = 1 και σ 2 = 0.32 . Στη συνέχεια
εκτιμήστε αυτά τα χαρακτηριστικά ενδιαφέροντος (προσποιούμενοι ότι δεν τα
γνωρίζετε) με τη βοήθεια των προσομοιωμένων δειγμάτων {x(i)
n }i=1 και {sn }i=1 .
500 2,(i) 500

Η διαδικασία αυτή εκτίμησης κάποιων ποσοτήτων ενδιαφέροντος που εκφράζο-

νται ή μπορούν να εκφραστούν με τη βοήθεια κάποιας μέσης τιμής είναι γνωστή
με το όνομα Monte Carlo και έχει πολυάριθμες εφαρμογές.
(vii) Στα προηγούμενα υποερωτήματα προσομοιώσαμε και υπολογίσαμε διάφορες
ποσότητες ενδιαφέροντος θεωρώντας ότι τα µ και σ 2 είναι γνωστά. Για τους
στατιστικούς μας σκοπούς αυτά είναι άγνωστα. Προσομοιώστε τώρα 500 φο-
ρές από 100 παρατηρήσεις, όχι από τις πραγματικές τιμές των µ και σ 2 , αλλά
από αυτές που εκτιμήσαμε από τα πραγματικά δεδομένα [αυτά που πήραμε ως
εκτιμήσεις, όταν θέσαμε set.seed(100)]. Επαναλάβετε τις εκτιμήσεις της μερολη-
ψίας, του μέσου απόλυτου σφάλματος και του μέσου τετραγωνικού σφάλματος,
θεωρώντας ότι οι πραγματικές τιμές των µ και σ 2 είναι αυτές που εκτιμήσα-
με από τα πραγματικά δεδομένα. Συγκρίνετε τα αποτελέσματα που παίρνετε
με τα πραγματικά, αλλά και με τις εκτιμήσεις που πήρατε από τις προηγού-
μενες προσομοιώσεις. Η υπολογιστική αυτή μέθοδος εκτίμησης στατιστικών
χαρακτηριστικών ενδιαφέροντος, όπως μεροληψία, μέσο απόλυτο σφάλμα, μέσο
τετραγωνικό σφάλμα και άλλα, λέγεται παραμετρικό Bootstrap.

Άσκηση 4 Σε τυχαίο δείγμα από U[0, θ], να βρεθεί η ασυμπτωτική κατανομή

του X(n)

Άσκηση 5 Έστω X1 , X2 , . . . Xn τυχαίο δείγμα Exp (θ)

(i) Να δείξετε ότι X(1) ∼ Exp (nθ)
1
(ii) Ορίζουμε . Να δείξετε ότι η θbn δεν είναι συνεπής εκτιμήτρια του θ
nX(1)

Άσκηση 6 Έστω X1 , X2 , . . . Xn τυχαίο δείγμα U (θ, β), με θ < β και β γνωστό

(i) Να δείξετε ότι η θbn = X(1) είναι συνεπής εκτιμήτρια του θ
 ′ 
α τρόπος: απ’ ευθείας (με ιδιότητες minimum)
β′ τρόπος: με μετασχηματισμό δεδομένων

υπόδειξη: θέστε Yi = β − Xi , ∀1 ≤ i ≤ n


(ii) Να βρεθεί η ασυμπτωτική κατανομή της θbn με δύο τρόπους όπως το (i)

34
 Λύσεις

Άσκηση 4

(Εκφώνηση, ως υπενθύμιση:) Έστω τυχαίο δείγμα από U[0, θ], να βρεθεί η ασυμπτωτική
κατανομή του X(n)

Y
n Y
n
x  x n
FX(n) (x) = P (X(n) < x) = P (X1 < x, X2 < x, . . . , Xn < x) = P (Xi < x) = =
i=1 i=1
θ θ

Για να βρούμε την ασυμπτωτική κατανομή της X(n) , θεωρούμε την ποσότητα Tn = n·(X(n) −θ)
και υπολογίζουμε:
   
t t
P (Tn < t) = P (n · (X(n) − θ) < t) = P X(n) − θ < = P X(n) < θ +
n n
 n
!n
t
θ + nt
= = 1+ θ
θ n

!n
t
 d
Έτσι, βλέπουμε ότι limn→∞ 1 + = exp θt , κι άρα n · (X(n) − θ) → X, όπου Χ τ.μ. με
θ
n

συνάρτηση κατανομής FX (x) = exp xθ . Η X ακολουθεί κατανομή αντίστροφης εκθετικής
με λ = 1θ , δηλαδή X = Y1 με Y ∼ Exp(λ0 ), όπου λ0 = − 1θ

Άσκηση 5

(i) Θέλουμε FX(1) (x) , ∀x ∈ R

Xi > 0, ∀1 ≤ i ≤ n (αφού Xi ∼ Exp (θ) ⇒ X(1) > 0)

Έστω x > 0


X(1) > x = {X1 > x, X2 > x, . . . , Xn > x} X(1) > x ⇔ Xi > x ∀1 ≤ i ≤ n

Άρα


P X(1) > x = P (X1 > x, X2 > x, . . . , Xn > x) Xi ανεξάρτητες
= P (X1 > x) · P (X2 > x) · . . . · P (Xn > x) Xi ισόνομες
= [P (X1 > x)]n (γενικό για τυχαίο δείγμα)


Όμως P (X1 > x) = e−θx , x > 0 αφού X1 ∼ Exp (θ)


 
−θx n −nθx
Άρα P X(1) > x = e =e που είναι η συνάρτηση επιβίωσης της Exp (θ)

Άρα X(1) ∼ Exp (nθ)

35
 1
(ii) θbn =
n · X(1)
 
nθ
X(1) ∼ Exp(nθ) ⇒ n · X(1) ∼ Exp = Exp(θ)
n
1
Άρα θbn = , όπου Y ∼ Exp(θ).
Y
d 1

Άρα προφανώς θbn → ∼ IExp(θ) και IExp(θ) ≡ IG(1, θ) .
Y | {z }
αντίστροφη εκθετικής
d 1
Άρα θbn ↛ θ, γιατί αν θbn → θ ⇒ θbn → θ, άτοπο διότι προφανώς θ ̸= .
P P d
Y

Άσκηση 6

(i) 

 0 , x<θ




 x−θ
FX1 (x) = , θ≤x<β (1)

 β−θ




 1 , x≥β
α′ τρόπος

Έστω ε > 0.
 
X(1) >θ

P X(1) − θ > ε = P X(1) > θ + ε = P (X1 > θ + ε, . . . , Xn > θ + ε)
ανεξ. Y
n
= P (Xi > θ + ε)
i=1
ισόν.
n

= FXc 1 (θ + ε) , FXc 1 (x) = 1 − FX1 (x)

όπου λόγω (1),

 

 1 , x<θ 
 1 , x<θ

 


 

 x−θ β−x 
FXc 1 (x) = 1− , θ≤x<β = , θ≤x<β

 β−θ 
 β−θ

 


 

 0 , x≥β  0 , x≥β

Τελικά, για ε < β − θ

 n  
 
β − θε ε
P X(1) − θ > ε = = 1− −−−→ 0
β−θ β−θ n→∞

Συμπεραίνουμε ότι X(1) → θ ∀θ, και άρα θbn = X(1) συνεπής.

P

36
 β′ τρόπος

Xi ∼ U(θ,β) ⇒ Yi = β − Xi ∼ U(0,β−θ) ∀ 1 ≤ i ≤ n (επαληθεύεται άμεσα)

Επιπλέον X1 , X2 , . . . , Xn ανεξ. τ. μ. ⇒ Yi = β − Xi ανεξ. τ. μ.

Άρα Y1 , Y2 , . . . , Yn τ. δ. από U(0, β − θ) = U(0, λ), λ = β − θ > 0

P P
Έχουμε δείξει Y(n) → λ, ∀λ > 0 ⇒ (β − X)(n) → β − θ

P
β − X(1) → β − θ

P
X(1) → θ, ∀θ < β

(ii) α′ τρόπος

Θα δείξουμε ότι  

d 1
n X(1) − θ → Exp , θ<β
β−θ
 

1
Έστω x > 0, Fn η σ. κ. της n X(1) − θ , και F η σ. κ. της Exp
β−θ


 x
Fn (x) = P n X(1) − θ ≤ x = P X(1) − θ ≤
n
 x  x
= P X(1) ≤ θ + = 1 − P X(1) > θ +
n n
 x n
 x  β − θ −
= 1 − P n X1 > θ + =1− n
n β−θ

 x n
 β−θ
−−−−→ 1 − e− β−θ ·x
1
= 1 − 1 − 
n n→+∞

= F (x)

Επειδή λοιπόν lim Fn (x) = F (x), ∀x > 0 

n→∞
⇒

και προφανώς lim Fn (x) = 0 = F (x), ∀x ≤ 0 
n→∞

 

d 1
η n X(1) − θ → Exp , ∀θ < β
β−θ

β′ τρόπος

Όπως πριν, Y1 , Y2 , . . . , Yn με Yi = β − Xi , 1 ≤ i ≤ n είναι τ. δ. από

U(0, β − θ) = U(0, λ), με λ = β − θ > 0.

37
Έχουμε δείξει ότι
 

d 1
n Y(n) − λ → −Exp
λ
 

d 1
⇒ n β − X(1) − (β − θ) → −Exp
β−θ
 

d 1
⇒ n − n X(1) − θ → −Exp
β−θ
 

d 1
⇒ n X(1) − θ → Exp , ∀θ < β
β−θ

38
 10η διάλεξη - 26 Οκτωβρίου 2020

Άσκηση 1 [Γνωριμία με την κατανομή Cauchy] Μία χρήσιμη κατανομή για τη μο-
ντελοποίηση των log-αποδόσεων στους χρηματιστηριακούς δείκτες είδαμε ότι είναι
η κατανομή Cauchy. Θέτουμε C ∼ Cauchy(0, 1) με συνάρτηση πυκνότητας πιθα-
νότητας f0,1 που έχει προσδιοριστεί σε προηγούμενη άσκηση και έχει τη μορφή
f0,1 (z) = π −1 · (1 + z 2 )−1 για κάθε z ∈ R. Θεωρούμε τώρα την οικογένεια θέσης-
κλίμακας που προκύπτει από τη σχέση X = a + bC, όπου a ∈ R και b > 0. Λέμε τότε
ότι η X ∼ Cauchy(a, b) με παράμετρο θέσης a και παράμετρο κλίμακας b.

(i) Προσδιορίστε τη συνάρτηση πυκνότητας πιθανότητας fa,b και τη συνάρτηση

κατανομής της X ∼ Cauchy(a, b).

(ii) Προσδιορίστε με τη βοήθεια χαρακτηριστικών συναρτήσεων την κατανομή του

αθρoίσματος δύο ανεξάρτητων Cauchy. Συμπεράνετε την κατανομή που ακο-
λουθεί ο δειγματικός μέσος X n ενός τυχαίου δείγματος Cauchy(a, b).

(iii) Η συνάρτηση πυκνότητας πιθανότητας του αθροίσματος X = Z + W δύο ανε-

ξάρτητων τ.μ. Z και W δίνεται από τη σχέση
Z +∞
fX (x) = fZ (z)fW (x − z)dz.
−∞

H fX προκύπτει λοιπόν από τη συνέλιξη των fZ και fW και γράφουμε fX =

fZ ∗ fW . Να σποδείξετε το συμπέρασμα του προηγούμενου υποερωτήματος με
τον απευθείας υπολογισμό της σ.π.π. του αθροίσματος Z + W με βάση την
παραπάνω σχέση.

(iv) Έστω U ∼ U(−π/2, π/2) και C = tan U . Να δείξετε ότι C ∼ Cauchy(0, 1). Συ-
μπεραίνουμε ότι η τυπική Cauchy προκύπτει ως η κατανομή της εφαπτομένης
μιας ομοιόμορφα κατανεμημένης γωνίας στο (−π/2, π/2) ή ισοδύναμα του μήκος
τόξου που αντιστοιχεί σε ένα τυχαία επιλεγμένο σημείο πάνω στο δεξί ημικύκλιο
του τριγωνομετρικού κύκλου.

(v) Έστω Z1 , Z2 δύο ανεξάρτητες τ.μ. που ακολουθούν την τυπική κανονική. Να
δείξετε ότι η C = Z1 /Z2 ακολουθεί την τυπική Cauchy. Συμπεραίνουμε ότι η
τυπική Cauchy προκύπτει ως η κατανομή του λόγου δύο ανεξάρτητων τυπικών
κανονικών τυχαίων μεταβλητών.

39
 11η διάλεξη - 30 Οκτωβρίου 2020

Άσκηση 1 Έστω X1 , X2 , . . . , Xn ένα τυχαίο δείγμα από την κατανομή Γάμμα G(a, θ),
όπου το a > 0 είναι γνωστό και το θ άγνωστη θετική παράμετρος.

(i) Βρείτε την εκτιμήτρια μέγιστης πιθανοφάνειας (ε.μ.π.) της παραμέτρου θ, όταν
το θ είναι η παράμετρος ρυθμού.

(ii) Βρείτε την ε.μ.π. του θ, όταν το θ > 0 είναι παράμετρος κλίμακας. Τί παρατηρείτε
?

Άσκηση 2 Θεωρούμε την εξής ακολουθία πειραμάτων τύχης. Ρίχνουμε τόσες φορές
ένα νόμισμα, που έχει πιθανότητα p να εμφανίσει γράμματα σε 1 ρίψη, όσες χρειάζεται
μέχρι να εμφανιστούν τα γράμματα για πρώτη φορά. Στη συνέχεια επαναλαμβάνουμε
αυτή τη διαδικασία n-φορές, όπου n ≥ 1. Έστω Xi η τυχαία μεταβλητή που εκφράζει
το πλήθος των δοκιμών που χρειάστηκαν στην i-επανάληψη του πειράματος τύχης
μέχρι να εμαφανιστούν τα γράμματα.

(i) Αιτιολογήστε τον ισχυρισμό ότι οι {Xi }ni=1 αποτελούν ένα τυχαίο δείγμα από τη
Γεωμετρική κατανομή Geo(p) στο N∗ .

(ii) Βρείτε την ε.μ.π. του p. Υπάρχει κάποιος συνδυασμός αποτελεσμάτων που
θα μας έκανε να αναθεωρήσουμε τον αρχικό προσδιορισμό του παραμετρικού
χώρου του μοντέλου ?

(iii) Θα άλλαζε κάτι στην εκτίμηση του p αν μετράγαμε το πλήθος των αποτυχιών
μέχρι την πρώτη επιτυχία ?

(iv) Στο παραπάνω πείραμα τύχης το πλήθος των ρίψεων που θα χρειαστεί μέχρι
να φέρουμε n-φορές γράμματα είναι βέβαια άγνωστο και προσδιορίζεται πλήρως
μόλις αποκτήσουμε πρόσβαση στις τιμές των Xi , 1 ≤ i ≤ n. Ισχυρίζεται κάποιος
ότι η ε.μ.π. του 0 < p < 1 μπορεί να βρεθεί αν θεωρήσουμε ένα τυχαίο δείγμα
Yi από κατανομή Bernoulli Be(p) με μέγεθος δείγματος Sn = X1 + X2 + . . . + Xn ,
όπου Yi = 1, αν i = Sk , για κάποιο 1 ≤ k ≤ n και 0 διαφορετικά. Είναι σωστός
αυτός ο ισχυρισμός ?

Λύσεις

Άσκηση 1
θa a−1 −θx
(i) G(a, θ), η σ.π.π. της είναι η f (x ; a, θ) = x e
Γ(a)

Αρχικά υπολογίζουμε τη συνάρτηση πιθανοφάνειας

n    a n !a−1 P
Y θa a−1 −θxi θ Y
n
−θ
n
xi
L(θ) = xi e = xi e i=1 (1)
i=1
Γ(a) Γ(a) i=1

40
 Στη συνέχεια υπολογίζουμε τη συνάρτηση λογαριθμοπιθανοφάνειας

Yn  !
θa a−1 −θxi
ℓ(θ) = log L(θ) = log xi e
Γ(a)
 i=1
!a−1 
 a n Y n P
n
θ −θ xi
= log  xi e i=1  (2)
Γ(a) i=1

X
n X
n
= na log θ − n log (Γ(a)) + (a − 1) log(xi ) − θ xi
i=1 i=1

Τώρα θα υπολογίσουμε τη λύση της εξίσωσης λογαριθμοπιθανοφάνειας

ℓ′ (θ) = 0 (3)

Η παράγωγος είναι η
na X
n
′
ℓ (θ) = − xi (4)
θ i=1

και η λύση της η

na X
n
′ na
ℓ (θ) = 0 ⇔ = xi ⇔ θ = P
n
θ i=1 xi
i=1
(5)
na/n a
⇔θ= P
n ⇔θ=
x
xi /n
i=1

a
(5)
⇒ θ∗ = (6)
x
είναι στάσιμο σημείο και θα κάνουμε διερεύνηση ως προς τη φύση του, υπολογίζοντας
τη δεύτερη παράγωγο. Παραγωγίζοντας την (4) έχουμε
na
ℓ′′ (θ) = − <0 (7)
θ2
Άρα η ℓ είναι γνήσια κοίλη, άρα το στάσιμο σημείο είναι κατ’ ανάγκη ολικό μέγιστο.

Τελικά η
a
θb = θ(X)
b = (8)
X
είναι η εκτιμήτρια μέγιστης πιθανοφάνειας του θ.

(ii) Τώρα θα ακολουθήσουμε τα ίδια βήματα με το ερώτημα (i) θεωρώντας το θ παράμετρο

1
κλίμακας. Αυτό σημαίνει ότι στις παραπάνω πράξεις θα έχουμε όπου θ το οπότε
θ
πηγαίνοντας στην (2) και κάνοντας της πράξεις θα έχουμε
P
n
  Xn xi
1 i=1
ℓ = −na log θ − n log (Γ(a)) + (a − 1) log(xi ) − (9)
θ i=1
θ

και
P
n
xi
′1 na i=1
ℓ( )=− + 2 (10)
θ θ θ
41
 επομένως
Pn Pn
  xi xi
′ 1 na i=1 i=1
ℓ =0⇔ = 2 ⇔θ=
θ θ θ na
(11)
Pn
xi /n
i=1 x
⇔θ= ⇔θ=
na/n a

(11)x ∗
⇒ (θ′ ) = (12)
a
είναι στάσιμο σημείο και θα κάνουμε διερεύνηση ως προς τη φύση του, υπολογίζοντας
τη δεύτερη παράγωγο. Παραγωγίζοντας την (10) έχουμε
Pn
  xi
′′ 1 na i=1
ℓ = 2 −2 3 (13)
θ θ θ
Εδώ η παράγωγος δεν είναι γνήσια μικρότερη του μηδενός αλλά το (θ′ )∗ είναι το μοναδικό
στάσιμο σημείο και αντικαθιστώντας στην (13) τη τιμή της (12) έχουμε

(12) na nx na3 na3 na3

(13) −−→
− 2
= − 2 = − <0 (14)
x 2 x 3 x2 x2 x2
a a

άρα είναι τοπικό μέγιστο και άρα ως μοναδικό στάσιμο σημείο θα είναι και ολικό.
Τελικά η
X
θb′ = θb′ (X) = (15)
a
είναι η εκτιμήτρια μέγιστης πιθανοφάνειας του θ′ .
Αυτό που παρατηρούμε είναι ότι οι δύο αυτές εκτιμήτριες θ και θ′ είναι αντίστροφες.

42
 12η διάλεξη - 2 Νοεμβρίου 2020
θ3
Άσκηση 1 Έστω τ.δ. από κατανομή με F (x; θ) = 1 − , x ≥ θ, θ > 0.
x3
(i) Ν.δ.ο. η X(1) είναι ε.μ.π. του θ και να βρεθεί η κατανομή της.

(ii) Να κάνετε διόρθωση μεροληψίας της X(1) κα να δείξετε ότι είναι συνεπής εκτι-
μήτρια του θ.

Λύσεις

Άσκηση 1
(i) Έχουμε ότι
θ3
F (x; θ) = 1 −
x3
άρα η σ.π.π. θα είναι
θ3 2
f (x; θ) = 6 3x 1[θ,+∞] (x)
x
3θ3
= 4 1[θ,+∞] (x)
x
Βρίσκουμε την συνάρτηση πιθανοφάνειας ως εξής

Y
n
3θ3
L(θ) = 1[θ,+∞] (xi )
i=1
x4i
Y
n Y
n
=3θ 2
x−4
i 1[θ,+∞] (xi )
i=1 i=1
Y
n
=3θ2 x−4
i 1[0,X(1) ] (θ)
i=1

αφού Xi ≥ θ, ∀i ⇔ X(1) ≥ θ.
Για να βρούμε το max(L(θ)) αρκεί να σκεφτούμε ότι όταν θ ↑ ⇒ 3θ2 ↑.
Οπότε
θb = X(1) .
Για την κατανομή της θb έχουμε
F(1) (x) =P(X(1) ≤ x)
=1 − P(X(1) ≥ x)
=1 − P (X1 ≥ x, X2 ≥ x, . . . , Xn ≥ x)
| {z }
Xi ανεξάρτητες

=1 − P(X1 ≥ x)P(X2 ≥ x) . . . P(Xn ≥ x)

| {z }
ισόνομες

=1 − (1 − F (x)) n

  n
θ3
=1 − 1 − 1 − 3
x
θ3n
=1 − .
x3n
43
 Τελικά, η κατανομή της X(1) είναι

θ3n
F(1) (x) = 1 − , x ≥ θ.
x3n

θ3n
(ii) Παραγωγίζοντας την F(1) (x) = 1 − , έχουμε
x3n
′ θ3n
F(1) (x) = f1 (x) = 3n 1[θ,+∞] (x).
x3n+1
Θα εξετάσουμε αν η θb = X(1) είναι αμερόληπτη εκτιμήτρια του θ.
Έχουμε
Z
b = E(X(1) ) =
E(θ) xf(1) (x)dx

Z+∞
θ3n
= x3n 3n+1 dx
x
θ

Z+∞
θ3n
= 3n 3n dx
x
θ
+∞
3nθ3n x1−3n 
=
1 − 3n θ
3nθ3n θ1−3n
=0 −
1 − 3n
3n
= θ.
3n − 1
Αυτό μας δείχνει ότι η X(1) δεν είναι αμερόληπτη εκτιμήτρια του θ.
Κάνοντας διόρθωση μεροληψίας έχουμε
3n − 1 b 3n − 1
θe = θ= X(1)
3n 3n
και πλέον η θe είναι αμερόληπτη εκτιμήτρια του θ.
Τώρα θα δείξουμε ότι η X(1) είναι συνεπής. Αρκεί να δείξουμε ότι
 

P X(1) − θ > ϵ −−−−→ 0, ∀ϵ > 0.
n→+∞

Έχουμε
 
X(1) >θ
P X(1) − θ > ϵ = P(X(1) − θ > ϵ)


=P X(1) > ϵ + θ
=P (X1 > ϵ + θ, X2 > ϵ + θ, . . . , Xn > ϵ + θ)
=Pn (X1 > ϵ + θ) −−−−→ 0
n→+∞

αφού 0 < P (X1 > ϵ + θ) < 1.

Άρα η X(1) είναι συνεπής εκτιμήτρια του θ.
44
 15η διάλεξη - 9 Νοεμβρίου 2020

 ε.μ.π. του σ στο N (µ, σ ), όπου µ γνωστό,

2 2
Άσκηση 1 Βρείτε την  μέσω της αναπα-
1 1
ραμέτρησης θ = 2 πρώτα αναπαραμέτρηση και μετά σb2 = .
σ θb

Άσκηση 2 Έστω X1 , X2 , . . . Xn τυχαίο δείγμα από log N (µ, σ 2 ), όπου µ ∈ R καισ 2 > 0
είναι άγνωστες παράμετροι. Να βρεθεί η εκτιμήτρια μέγιστης πιθανοφάνειας µ b, σb2
του (µ, σ 2 )

Υπόδειξη: Κάντε μετασχηματισμό δεδομένων

log Xi ∼ N (µ, σ 2 ) τυχαίο δείγμα

Λύσεις

Άσκηση 1

Η σ.π.π. της N (µ, σ 2 ) είναι

f (x; σ 2 ) = (2πσ 2 )− 2 e− 2σ2 (x−µ) .

1 1 2

1
Με θ = > 0, έχουμε
σ2
P
n
− 21 θ (Xi −µ)2
−n n
L(θ) = (2π) 2 θ 2 e i=1 ⇒

1 X
n
n n
l(θ) = − log(2π) + log θ − θ (Xi − µ)2 ⇒
2 2 2 i=1

1X
n
n
l′ (θ) = − (Xi − µ)2 .
2θ 2 i=1

Άρα
1
l′ (θ) = 0 ⇔ θ∗ = P
n (μοναδικό στάσιμο σημείο).
(Xi −µ)2
i=1
n

n
Επιπλέον l′′ (θ) = − < 0, ∀θ > 0 ⇒ l(θ) γνήσια κοίλη συνάρτηση, και έτσι
2θ2
 n −1
P
 i=1(Xi − µ) 
2

b
θ=  .
 n 

1 1 από αναλλοίωτο
Επειδή σ 2 = και σb2 = =⇒
θ θb
P
n
(Xi − µ)2
σb2 = i=1
.
n

45
 Άσκηση 2

Έχουμε δείξει ότι αν Y1 , . . . , Yn είναι ένα τ.δ. από N (µ, σ 2 ), τότε

Pn
(Yi − Y )2
b = Y , και σ = i=1
µ 2
n
Η συνάρτηση πιθανοφάνειας του αρχικού τ.δ. είναι

Y
n
2
L(µ, σ ) = fxi (xi ; µ, σ 2 ), όπου Xi ∼ logN (µ, σ),
i=1

οπότε θα μπορούσαμε να υπολογίσουμε τη σ.π.π. των Xi και να λύσουμε το πρόβλημα.

Παρατηρούμε, όμως, ότι Xi ∼ logN (µ, σ 2 ) ⇒ logXi ∼ N (µ, σ 2 ) κι άρα Yi = logXi ⇒ Xi =
eYi , ∀i ∈ 1, . . . , n, με {Yi }1≤i≤n να είναι τ.δ. από N (µ, σ 2 ), για το οποίο η λύση ε.μ.π. δίνεται
από την εκτιμήτρια (b µ, σb2 ) παραπάνω.  
−1 −1 2  dg −1 
Έχουμε X = g(Y ) = e ⇔ Y = g (X) = logX, άρα fX (x; µ, σ ) = fY (g (x); µ, σ )  dx (x) =
Y 2

fY (logx; µ, σ 2 ) · 1/x. Αντικαθιστόντας στη συνάρτηση πιθανοφάνειας, παίρνουμε:

!−1 !−1
Y
n Y
n Y
n
LX (µ, σ 2 ) = xi · fYi (logxi ; µ, σ 2 ) = xi LlogX (µ, σ 2 )
i=1 i=1 i=1

Έτσι, βλέπουμε ότι το πρόβλημα της μεγιστοποίησης της LX (µ, σ 2 ), με δεδομένα τα Xi ,

ισοδυναμει με το πρόβλημα της μεγιστοποίησης της LlogX (µ, σ 2 ), με δεδομένα τα logXi . Άρα,
παίρνουμε ότι:  Pn 
i=1 (logXi − logX)
2
(b b2
µ, σ ) = logX,
n

46
 18η διάλεξη - 16 Νοεμβρίου 2020

Άσκηση 1 Ν.δ.ο. σε τ.δ. από N (µ, σ 2 ) με σ 2 γνωστό, το “καλύτερο” (1 − α)-Δ.Ε.

της μορφής  
σ σ
X − c1 √ , X + c2 √
n n
∗ σ
είναι το I1−α (X) = X ± Z α2 √ .
n

Άσκηση 2

(i) Να βρεθούν (1 − α)-Δ.Ε. για τις παραμέτρους θ και σ 2 στο μοντέλο γραμμικής
παλινδρόμησης Yi = θXi + ϵi , ϵi ∼ N (0, σ 2 ).

(ii) Να καθοριστούν τα (1 − α)-Δ.Ε. για το θ και το σ 2 , στα δεδομένα του Hubble,

για α ∈ {0.1, 0.05, 0.01}.

Άσκηση 3 Να συγκριθούν τα ασυμπτωτικά Δ.Ε. Ie1−α i

, i = 1, 2, 3 μεταξύ τους, αλλά
και σε σύγκριση με το ακριβές (μπορείτε να πάρετε λόγους μηκών).

Άσκηση 4

(i) Να βρείτε ασυμπτωτικά (1 − α)-Δ.Ε. για τ.δ. από P(λ), Be(p).

(ii) (*) Μπορείτε να βγάλετε ασυμπτωτικά Δ.Ε. με μετασχηματισμό σταθεροποίησης

της διασποράς;

47