Στοχαστικές Διαδικασίες ΙΙ Ιανουάριος 2020

Διαδικασίες Markov σε Συνεχή Χρόνο Μ. Ζαζάνης

Παράδοση: 24-2-20

Πρόβλημα 1. Θεωρούμε ένα σύστημα M/M/1/N το οποίο έχει έναν υπηρέτει που εξυπηρετεί
πελάτες με ρυθμό µ, αφίξεις Poisson με ρυθμό λ και το οποίο έχει N θέσεις συνολικά, μια για
τον πελάτη που εξυπηρετείται και N − 1 θέσεις αναμονής. ΄Ενας πελάτης που φθάνει στο σύστημα
και δεν βρισκει διαθέσιμη θέση αναμονής φεύγει και δεν επιστρέφει. Θεωρούμε επιπλέον ότι, ανε-
ξάρτητα από τις υπόλοιπες διαδικασίες το σύστημα υπόκειται σε βλάβες που συμβαίνουν σύμφωνα
με μια διαδικασία Poisson με ρυθμό δ. ΄Οταν συμβαίνει μια βλάβη τότε όλοι οι παρόντες πελάτες,
συμπεριλαμβανομένου και εκείνου που εξυπηρετείται, απομακρύνονται άμεσα από το σύστημα. Το
διάγραμμα πιθανοτήτων μετάβασης δίδεται από το σχήμα 1

α) Να διατυπώσετε τις εξισώσεις που δίνουν την στάσιμη κατανομή του συστήματος.

β) Να λύσετε τις εξισώσεις προκειμένου να βρείτε την στάσιμη κατανομή. Ποιος είναι ο μέσος
αριθμός πελατών στο σύστημα;

γ) Να βρείτε το ποσοστό των πελατών οι οποίοι βρίσκουν N πελάτες στο σύστημα και φεύγουν
χωρίς να εξυπηρετηθούν.

γ) Να βρείτε το ποσοστό των πελατών οι οποίοι εισέρχονται στο σύστημα αλλά λόγω βλάβης
του συστήματος, δεν εξυπηρετούνται.

Σχήμα 1: Διάγραμμα Μετάβασης

Πρόβλημα 2. Κάθε άτομο ενός πληθυσμού γεννά σε εκθετικούς χρόνους με ρυθμό λ νέους ορ-
γανισμούς, ίδιους με τον αρχικό και πεθαίνει με εκθετικό ρυθμό µ. Επιπλέον, υπάρχει και μια
διαδικασία μετανάστευσης νέων οργανισμών η οποία είναι Poisson με ρυθμό θ. Η διαδικασία αυτή
είναι ενεργή μόνο όταν ο αριθμός των οργανισμών στο σύστημα είνα μικρότερος ή ίσος του N .

α) Να περιγράψετε το σύστημα ως μια διαδικασία γεννήσεων-θανάτων. Να βρείτε τον χώρο

καταστάσεων, τον γεννήτορα της διαδικασίας, και να σχεδιάσετε το διάγραμμα ρυθμών με-
τάβασης.

β) Να διατυπώσετε την συνθήκη που πρέπει να ισχύει έτσι ώστε να υπάρχει στάσιμη κατανομή
και να την υπολογίσετε.
 γ) Ειναι η στάσιμη διαδικασία χρονικά αντιστρέψιμη;

δ) Να υπολογίσετε τον μέσο μέγεθος του πληθυσμού της στάσιμης διαδικασίας.

Πρόβλημα 3. Θεωρούμε μια διαδικασία Markov {Xt ; t ≥ 0} με χώρο καταστάσεων S := {(i, j), i, j ∈
{0, 1, 2, . . . , 4} } και γεννήτορα

q(i,j),(i+1,j) = λ για 0 ≤ i ≤ 3, 0 ≤ j ≤ 4,
q(i,j),(i,j+1) = λ για 0 ≤ i ≤ 4, 0 ≤ j ≤ 3,
q(i,j),(i,j) = −2λ για 0 ≤ i ≤ 3, 0 ≤ j ≤ 3,
q(i,N ),(i,N ) = q(N,j),(N,j) = −λ για 0 ≤ i ≤ 3, 0 ≤ j ≤ 3,
q(i,j),(k,l) = 0, σε κάθε άλλη περίπτωση.

Το διάγραμμα ρυθμών μετάβασης δίδεται στο σχήμα 3. ΄Εστω T(4,4) ο μέσος χρόνος μετάβασης

Σχήμα 2: Διάγραμμα Ρυθμών Μετάβασης

της διαδικασίας από την κατάσταση (0, 0) στην κατάσταση (4, 4).

α) Να βρείτε την μέση τιμή του χρόνου μετάβασης ET(4,4) .

β) Να υπολογίσετε τον μετασχηματισμό Laplace E[e−sT(4,4) ].

Πρόβλημα 4. ΄Εστω μια διαδικασία Markov {Xt ; t ≥ 0} με χώρο καταστάσεων S := {(i, j), i, j ∈
N0 }, και γεννήτορα
q(i,j),(i+1,j) = λ για i, j ∈ N0 ,
q(i,j),(i,j+1) = λ για i, j ∈ N0 ,
q(i,j),(0,0) = δ για (i, j) ∈ N0 × N0 \ {(0, 0)},
q(i,j),(i,j) = −(2λ + δ) για (i, j) ∈ N0 × N0 \ {(0, 0)},
q(0,0),(0,0) = −2λ,
q(i,j),(k,l) = 0, σε κάθε άλλη περίπτωση.

α) Να διατυπώσετε τις εξισώσεις ισορροπίας που ικανοποιεί η στάσιμη κατανομή π(i, j) της
διαδικασίας {X(t); t ≥ 0}.
P∞ P∞ i j
β) Να δείξετε ότι η από κοινού πιθανογεννήτρια δίνεται από την Π(z1 , z2 ) := i=0 j=0 π(i, j)z1 z2 =
δ
δ+2λ−λz1 −λz2 .

γ) Να βρείτε την κατανομή π(i, j) από την πιθανογεννήτρια Π(z1 , z2 ).

Πρόβλημα 5. ΄Εστω {Xt ; t ≥ 0} μια μαρκοβιανή διαδικασία με χώρο καταστάσεων {0, 1} και
γεννήτορα  
−λ λ
.
µ −µ
΄Εστω ότι P (X0 = +1) = 1.

α) Να υπολογίσετε την πιθανότητα P (Xt = 1|X0 = 0) καθώς και την P (Xt = 0|X0 = 1).
Rt
β) Να υπολογίσετε την μέση τιμή E[ 0 Xs ds|X0 = 0] χρησιμοποιώντας το γεγονός ότι είναι
Rt
ίση με το 0 E[Xs |X0 = 0]ds.
γ) Αν u < s να υπολογίσετε την E[Xu Xs |X0 = 0].
δ) Χρησιμοποιώντας την σχέση
Z t 2 Z tZ t Z t Z s
E Xs ds = E Xs Xu dsdu = 2 E[Xs Xu ]duds
0 0 0 s=0 u=0
R 
t
να υπολογίσετε την διασπορά Var 0 Xs ds (δεδομένου ότι X0 = 0.)

Πρόβλημα 6. ΄Εστω {Xt ; t ≥ 0} μια μαρκοβιανή διαδικασία με χώρο καταστάσεων {0, 1, 2, 3, 4, 5}

και γεννήτορα
−λ
 
λ
 µ −(λ + µ) λ 
 
 µ
 −(λ + µ) λ 

 µ
 −(λ + µ) λ 

 µ −(λ + µ) λ 
µ −µ
 α) Να υπολογίσετε την στάσιμη κατανομή της διαδικασίας.

β) Είναι η διαδικασία χρονικά αντιστρέψιμη;

γ) Να βρείτε τον μέσο χρόνο μετάβασης από την κατάσταση 0 στην κατάσταση 5.

Πρόβλημα 7. ΄Εστω {Xt ; t ≥ 0} μια διαδικασία Markov με χώρο καταστάσεων {0, 1, 2, 3} και
γεννήτορα  
0 0 0 0
 1 −2 1 0 
 
 2 0 −3 1 
1 0 0 −1
΄Εστω T := inf{t > 0 : Xt = 0}.

α) Αν X0 = 1 να υπολογίσετε την μέσο χρόνο μετάβασης στην κατάσταση 0.

β) Να εξηγήσετε γιατί P (T > t|X0 = i) = P (Xt = 0|X0 = i).

γ) Να υπολογίσετε την P (Xt = 3|X0 = i), i = 1, 2, 3.

Πρόβλημα 8. ΄Εστω {Yn }, n = 0, 1, 2, . . ., μια διαδικασία Markov με διακριτό χώρο καταστάσεων

{0, 1, 2} και διακριτό χρόνο. ΄Εστω
 
1/2 1/2 0
K =  0 1/2 1/2 
1/2 0 1/2

ο πίνακας πιθανοτήτων μετάβασης της διαδικασίας {Yn }. ΄Εστω επίσης {N (t); t ≥ 0} μια διαδικασία
Poisson με ρυθμό λ, ανεξάρτητη από την {Yn }. Θέτουμε ότι X(t) := YN (t) .

α) Να δείξετε ότι η διαδικασία {X(t); t ≥ 0} είναι διαδικασία Markov σε συνεχή χρόνο και να
υπολογίσετε τον γεννήτορα Q αυτής της διαδικασίας.

β) Να βρείτε τις πιθανότητες μετάβασης Pij (t) := P (X(t) = j|X(0) = i), i, j ∈ {0, 1, 2}.
Rt
γ) Να υπολογίσετε την μέση τιμή E[ 0 X(s)ds|X(0) = 0]. (Χρησιμοποιήστε το γενογός ότι
Rt
αυτή η μέση τιμή είναι 0 E[X(s)|X(0) = 0]ds.)
Πρόβλημα 9. ΄Εστω {Xn }, n = 0, 1, 2, . . ., μια διαδικασία Markov με διακριτό χώρο καταστάσεων
S = {0, 1, 2, . . . , 7} και διακριτό χρόνο. ΄Εστω
 
1/3 2/3
 1/3 2/3 
 

 1/2 1/2 

 1 
P = 
 
 1/3 1/3 1/6 1/6 

 1/4 1/2 1/8 1/8 
 
 1/3 2/3 
1

Η συνάρτηση αμοιβών για τις καταστάσεις της αλυσίδας δίδεται από το διάνυσμα f = (1, 2, 1, 4, 3, 2, 5, 5).
Η συνάρτηση αξίας ορίζεται ως v(i) := supT Ei [f (XT )] όπου το supremum υπολογίζεται ως προς
όλους τους χρόνους στάσης T . Να βρείτε την συνάρτηση αξίας v για κάθε κατάσταση i καθώς
και το σύνολο A των καταστάσεων για τις οποίες η βέλτιστη πολιτική είναι να σταματήσουμε.