8.

Queueing systems

lect08.ppt S-38.145 – Introduction to Teletraffic Theory – Spring 2005 1

8. Queueing systems

Contents

• Ôn l i: Mô hình lưu lư ng đơn gi n

• Queueing discipline
• M/M/1 (1 server, ∞ waiting vplaces)
• ng d ng trong mô hình hóa lưu lư ng d li u m c packet
• M/M/n (n servers, ∞ waiting places)

2
8. Queueing systems

Simple teletraffic model

• Customers arrive at rate λ (customers per time unit) – 1/λ

= th i gian trung bình gi a các l n t i
• Khách hàng đư c ph c v b i n servers song song
• Khi b n, m t server ph c v v i t c đ µ (khách hàng/đơn v th i gian)
– 1/µ = th i gian ph c v trung bình c a m t khách hàng
• Có n + m v trí c a khách hàng trong h th ng
– Có ít nh t n v trí ph c v và nhi u nh t m v trí đ i
• Gi thi t là khách hàng b ch n (đ n vào th i đi m h th ng đ y) b m t

µ1
λ µ
n+m µ
µ
n 3
8. Queueing systems

Pure queueing system

• S servers h u h n (n < ∞), n v trí ph c v , s v trí đ i vô h n

( m = ∞)
– N u t t c n servers b chi m khi có m t khách hàng
t i, s có m t v trí đ i b chi m
– Không có khách hàng nào b m t nhưng m t s ph i đ i trư c khi đư c
ph c v
• Trên quan đi m c a khách hàng, c n bi t, vd
– Xác su t ph i “đ i quá lâu” b ng bao nhiêu?

µ1
λ ∞ µ
µ
µ
n 4
8. Queueing systems

Contents

• Ôn l i: Mô hình lưu lư ng đơn gi n

• Queueing discipline
• M/M/1 (1 server, ∞ waiting places)
• ng d ng trong mô hình hóa lưu lư ng d li u m c packet
• M/M/n (n servers, ∞ waiting places)

5
8. Queueing systems

Queueing discipline

• Xét m t h th ng queueing đơn server (n = 1)

• Queueing discipline xác đ nh phương th c server ph c v customers
– Quy t c queueing cho bi t
• customers đư c ph c v l n lư t hay đ ng th i
– Hơn n a, n u customers đư c ph c v l n lư t, nó còn cho bi t
• trình t ph c v
– Còn n u customers đư c ph c v đ ng th i, nó cho bi t
• dung lư ng ph c v đư c chia s như th nào
• Chú ý: Trong các h th ng computer khái ni m tương ng là scheduling
• Queueing discipline đư c g i là work-conserving n u customers đư c
ph c v v i full service rate µ m i khi h th ng non-empty

6
8. Queueing systems

Work-conserving queueing disciplines

• First In First Out (FIFO) = First Come First Served (FCFS)

– quy t c x p hàng thông thư ng (“queue”)
• arrival order = service order
– customers đư c ph c v l n lư t (with full service rate µ)
– luôn ph c v customer đã ch lâu nh t – queueing discipline s d ng
trong bài gi ng này
• Last In First Out (LIFO) = Last Come First Served (LCFS)
– quy t c x p hàng ngư c chi u (“stack”)
– customers đư c ph c v l n lư t (with full service rate µ)
– luôn ph c v customer ch ng n nh t
• Processor Sharing (PS)
– “fair queueing”
– customers đư c ph c v đ ng th i
– khi i customers trong h th ng, mooixi customer đư c ph c v v i t c đ
7
như nhau µ/i
– see Lecture 9. Sharing systems
8. Queueing systems

Contents

• Ôn l i: Mô hình lưu lư ng đơn gi n

• Queueing discipline
• M/M/1 (1 server, ∞ waiting places)
• ng d ng trong mô hình hóa lưu lư ng d li u m c packet
• M/M/n (n servers, ∞ waiting places)

8
8. Queueing systems

M/M/1 queue

• Xét mô hình lưu lư ng đơn gi n sau đây:

– S customer đ c l p vô h n (k = ∞)
– Th i gian gi a các l n t i là IID và phân b theo hàm mũ v i k v ng 1/λ
• customers t i theo Poisson process v i cư ng đ λ
– One server (n = 1)
– Th i gian ph c v là IID và phân b theo hàm mũ v i k v ng 1/µ
– S v trí đ i b ng vô cùng (m = ∞)
– Default queueing discipline: FIFO
• S d ng Kendall’s notation, đây là M/M/1 queue
– chính xác hơn là: M/M/1-FIFO queue
• Notation:
– ρ = λ/µ = traffic load

9
8. Queueing systems

Các bi n ng u nhiên liên quan

• X = s customers trong h th ng t i m t th i đi m b t k =
queue length in equilibrium
• X* = s customers trong h th ng t i m t th i gian t i = queue length
seen by an arriving customer
• W = th i gian đ i c a m t customer
• S = th i gian ph c v c a m t customer
• D = W + S = t ng th i gian trong h th ng c a m t customer = delay

10
8. Queueing systems

State transition diagram

• Đ t X(t) là s customers trong h th ng t i th i đi m t

– Gi thi t là X(t) = i t i th i đi m t, và
xét kho ng th i gian ng n (t, t+h]:
• v i xác su t λh + o(h),
có m t customer m i t i (chuy n tr ng thái i → i+1)
• n u i > 0, thì, v i xác su t µh + o(h),
có m t customer r i h th ng (chuy n tr ng thái i → i−1)
• Quá trình X(t) rõ ràng là m t Markov process v i state transition diagram
λ λ λ
0 1 2
µ µ µ

• Process X(t) là m t irreducible birth-death process v i infinite

state space S = {0,1,2,...}
11
8. Queueing systems

Equilibrium distribution (1)

• Local balance equations (LBE):

π i λ = π i +1µ (LBE)
⇒ π i +1 = λ π i = ρπ i
µ

⇒ π i = ρ iπ 0 , i = 0,1,2, K
• Normalizing condition (N):
∞ ∞
∑π i = π 0 ∑ ρ i = 1 (N)
i =0 i =0
−1
 ∞
i
⇒ π 0 =  ∑ ρ 
 i =0 

= ( )
1 −1
1− ρ
= 1 − ρ , if ρ < 1
12
8. Queueing systems

Equilibrium distribution (2)

• Vì v y, v i m t h th ng stable (ρ < 1), t n t i equilibrium distribu-

tion và là m t geometric distribution:
ρ < 1 ⇒ X ∼ Geom( ρ )
P{ X = i} = π i = (1 − ρ ) ρ i , i = 0,1,2, K
ρ 2 ρ
E[ X ] = 1− ρ , D [X ] =
(1− ρ ) 2
• Ghi chú:
– K t qu này đúng cho b t k work-conserving queueing discipline nào
(FIFO, LIFO, PS, ...)
– K t qu này không insensitive v i service time distribution cho FIFO
• ngay c đ dài hàng ch trung bình E[X] cũng ph thu c vào phân b
– Tuy nhiên, k t qu , th c t l i insensitive v i phân b th i gian ph c v cho
13
b t k symmetric queueing discipline nào (như LIFO hay PS)
8. Queueing systems

Mean queue length E[X] vs. traffic load ρ

6
5
4

E[X] 3
2
1
0
0.2 0.4 0.6 0.8 1

Traffic load ρ

14
8. Queueing systems

Mean delay

• Cho D ký hi u t ng th i gian tr (delay) trong h th ng c a m t

customer
– bao g m c waiting time W và service time S: D = W + S
• Little’s formula: E[X] = λ⋅E[D]. Thus,
E[ X ] ρ
E[ D ] = λ = λ1 ⋅ 1− ρ = µ1 ⋅ 1−1ρ = µ 1− λ

• Ghi chú:
– Th i gian tr trung bình là như nhau cho t t c các work-conserving
queueing disciplines (FIFO, LIFO, PS, …)
– Nhưng variance và các moments thì khác nhau!

15
8. Queueing systems

Mean delay E[D] vs. traffic load ρ

6
5

E[D] 3

1
0
0.2 0.4 0.6 0.8 1

Traffic load ρ

16
8. Queueing systems

Mean waiting time

• Cho W ký hi u waiting time c a m t (typical) customer

• Do W = D − S, chúng ta có

ρ
E[W ] = E[ D ] − E[ S ] = µ1 ⋅ 1−1ρ − µ1 = µ1 ⋅ 1− ρ

17
8. Queueing systems

Waiting time distribution (1)

• Ký hi u W là waiting time cu m t (typical) customer

• Ký hi u X* là s customers trong h th ng t i th i đi m t i
• PASTA: P{X* = i} = P{X = i} = πi.
• Gi thi t, X* = i
– Th i gian ph c v S2,…,Si c a các waiting customers là IID và ∼ Exp(µ)
– Do tính ch t memoryless c a exponential distribution,
th i gian remaining service time S1* c a customer đang service
cũng tuân theo
Exp(µ)-distribution (và independent of everything else)
– Do FIFO queueing discipline, W = S1* + S2 + … + Si
– Xây d ng m t Poisson (point) process τn b ng cách đ nh nghĩa τ1 = S1*
and
τn = S1* + S2S+1*… +S2Sn, nS≥3 2. Now (since
Si−1
X* = i): WSi > t ⇔ τi > t
τ1 τ2 τ3 τi−1 τi 18
0 t
8. Queueing systems

Waiting time distribution (2)

• Since W = 0 ⇔ X* = 0 , we have
P{W = 0} = P{ X * = 0} = π 0 = 1 − ρ
∞
P{W > t} = ∑ P{W > t | X * = i}P{ X * = i}
i =1
∞ ∞
= ∑ P{τ i > t}π i = ∑ P{τ i > t}(1 − ρ ) ρ i
i =1 i =1
• Ký hi u A(t) là m t Poisson (counter) process tương ng v i τn
– Suy ra: τi > t ⇔ A(t) ≤ i−1
– M t khác, chúng ta bi t r ng A(t) ∼ Poisson (µt). Vì v y,
i −1 ( µt ) j
− µt
P{τ i > t} = P{ A(t ) ≤ i − 1} = ∑ j!
e 19
j =0
8. Queueing systems

Waiting time distribution (3)

• K t h p v i công th c trư c, chúng ta có

∞
P{W > t} = ∑ P{τ i > t}(1 − ρ ) ρ i
i =1
∞ i −1 ( µt ) j
= ∑ ∑ j! e − µt (1 − ρ ) ρ i
i =1 j = 0
∞ ( µtρ ) j ∞
− µt i − ( j +1)
=ρ ∑ j!
e (1 − ρ ) ∑ ρ
j =0 i = j +1
∞ ( µtρ ) j
− µt µtρ − µt − µ (1− ρ )t
=ρ ∑ j!
e =ρ e e = ρ e
j =0
20
8. Queueing systems

Waiting time distribution (4)

• Waiting time W có th bi u di n b i tích W = JD c a hai bi n ng u

nhiên đ c l p J ∼ Bernoulli(ρ) và D ∼ Exp(µ(1−ρ)):

P{W = 0} = P{J = 0} = 1 − ρ
P{W > t} = P{J = 1, D > t} = ρ ⋅ e − µ (1− ρ )t , t > 0
1 1 ρ
E[W ] = E[ J ]E[ D ] = ρ ⋅ µ (1− ρ ) = µ ⋅ 1− ρ

E[W 2 ] = P{J = 1}E[ D 2 ] = ρ ⋅ 2 = 1 ⋅ 2ρ

µ 2 (1− ρ ) 2 µ 2 (1− ρ ) 2
ρ (2 − ρ )
D 2 [W ] = E[W 2 ] − E[W ]2 = 12 ⋅ 2
µ (1− ρ )
21
8. Queueing systems

Contents

• Ôn l i: Mô hình lưu lư ng đơn gi n

• Queueing discipline
• M/M/1 (1 server, ∞ waiting places)
• ng d ng trong mô hình hóa lưu lư ng d li u m c packet
• M/M/n (n servers, ∞ waiting places)

22
8. Queueing systems

ng d ng trong mô hình hóa lưu lương packet level

• Mô hình M/M/1 có th áp d ng ( m c đ nh t đ nh) cho vi c mô hình

hóa lưu lư ng d li u packet level
– customer = IP packet
– λ = packet arrival rate (packets per time unit)
– 1/µ = average packet transmission time (aikayks.)
– ρ = λ/µ = traffic load
• QoS đư c ch n là packet delay
– Pz = xác xu t m t packet ph i đ i “quá lâu”, t c là, lâu hơn m t giá tr
tham chi u cho trư c z

Pz = P{W > z} = ρe − µ (1− ρ ) z

23
8. Queueing systems

Multiplexing gain

• We determine load ρ so that prob. Pz < 1% for z = 1 (time units)

• Multiplexing gain is described by the traffic load ρ as a function of the
service rate µ
1

0.8

0.6
load ρ
0.4

0.2

20 40 60 80 100

service rate µ
24
8. Queueing systems

Contents

• Refresher: Simple teletraffic model

• Queueing discipline
• M/M/1 (1 server, ∞ waiting places)
• Application to packet level modelling of data traffic
• M/M/n (n servers, ∞ waiting places)

25
8. Queueing systems

M/M/n queue

• S customer đ c l p vô h n (k = ∞)
– Th i gian gi a các l n t i là IID và phân b theo hàm mũ v i k v ng
1/λ
• customers t i theo Poisson process v i cư ng đ λ
– S servers là h u h n (n < ∞)
– Th i gian ph c v là IID và phân b theo hàm mũ v i k v ng 1/µ
– S v trí đ i b ng vô cùng (m = ∞)
– Default queueing discipline: FCFS
• S d ng Kendall’s notation, đây là M/M/n queue
– chính xác hơn: M/M/n-FCFS queue
• Notation:
– ρ = λ/(nµ) = traffic load

26
8. Queueing systems

State transition diagram

• Ký hi u X(t) là s customers trong h th ng t i th i đi m t

– Gi thi t X(t) = i t i th i đi m t, và
xét kho ng th i gian ng n (t, t+h]:
• v i xác su t λh + o(h),
có m t customer m i t i (chuy n tr ng thái i → i+1)
• n u i > 0, thì, v i xác su t min{i,n}⋅µh + o(h),
có m t customer r i h th ng (chuy n tr ng thái i → i−1)
• Quá trình X(t) rõ ràng là m t Markov process v i state transition diagram
λ λ λ λ λ
0 1 n n+1
µ 2µ nµ nµ nµ

• Process X(t) là m t irreducible birth-death process v i infinite

state space S = {0,1,2,...}
27
8. Queueing systems

Equilibrium distribution (1)

• Local balance equations (LBE) for i < n:

π i λ = π i +1 (i + 1) µ (LBE)
nρ
⇒ π i +1 = ( +λ1) µ π i = i +1π i
i
( nρ )i
⇒ π i = i! π 0 , i = 0,1,K , n
• Local balance equations (LBE) for i ≥ n:

π i λ = π i +1nµ (LBE)
⇒ π i +1 = nλµ π i = ρπ i
n nn ρ i
i−n i − n ( nρ )
⇒ πi = ρ πn = ρ n!
π0 = n!
π 0, i = n, n + 1, K 28
8. Queueing systems

Equilibrium distribution (2)

• Normalizing condition (N):

∞  n −1 ( nρ )i ∞ n n ρ i 
∑ π i = π 0  ∑ i! + ∑ n!  = 1 (N)
i =0  i =0 i =n 
−1
 n −1 (nρ ) i ( nρ ) n ∞ i − n 
⇒ π 0 =  ∑ i! + n! ∑ ρ 
 i =0 i =n 
−1
 n −1 ( nρ )i 
( nρ ) n 1
=  ∑ i! + n!(1− ρ )  = , if ρ < 1
 i =0  α +β
n −1 ( nρ ) i ( nρ ) n
Notation : α = ∑ i!
, β= n!(1− ρ )
i =0 29
8. Queueing systems

Equilibrium distribution (3)

• Vì v y, v i h th ng stable (ρ < 1, t c là: λ < nµ), t n t i equi-

librium distribution và cho b i:

ρ <1 ⇒
 ( nρ )i 1
 i! ⋅ α + β , i = 0,1, K, n
P{ X = i} = π i =  n i
 n ρ ⋅ 1 , i = n, n + 1, K
 n! α + β
ρ
n = 1 : α = 1, β = 1− ρ , π 0 = α +1 β = 1 − ρ

2ρ 2 1− ρ
n = 2 : α = 1+ 2ρ, β = 1− ρ
, π 0 = α +1 β = 1+ ρ
30
8. Queueing systems

Probability of waiting

• Ký hi u pW là xác su t m t customer t i ph i đ i
• Ký hi u X* là s customers trong h th ng t i m t th i đi m t i
• M t customer ph i đ i m i khi t t c các servers đ u b chi m khi
customer t i. Vì v y,

pW = P{ X * ≥ n}
• PASTA: P{X* = i} = P{X = i} = πi. Vì v y,
∞ ∞ nn ρ i ( nρ ) n β
pW = P{ X * ≥ n} = ∑ π i = ∑ π 0 ⋅ n! = π 0 ⋅ n!(1− ρ ) = α + β
i=n i=n

n = 1 : pW = ρ
2ρ 2
n = 2 : pW = 31
1+ ρ
8. Queueing systems

Mean number of waiting customers

• Ký hi u XW là s waiting customers in equilibrium

• Thì
∞ ( nρ ) n ∞
E[ X W ] = ∑ (i − n)π i = π 0 n!(1− ρ ) ∑ (i − n) ⋅ (1 − ρ ) ρ i − n
i =n i=n
ρ
= pW ⋅ 1− ρ

ρ ρ2
n = 1 : E[ X W ] = pW ⋅ 1− ρ = 1− ρ

ρ 2ρ 2 ρ 2ρ 3
n = 2 : E[ X W ] = pW ⋅ 1− ρ = 1+ ρ ⋅ 1− ρ =
1− ρ 2
32
8. Queueing systems

Mean waiting time

• Ký hi u W là waiting time cu m t (typical) customer

• Little’s formula: E[XW] = λ⋅E[W]. Thus,

E[ X W ] 1 ρ 1 ⋅ pW
E[W ] = λ
= λ ⋅ pW ⋅ 1− ρ = µ n(1− ρ )
= pW ⋅ nµ1− λ

n = 1 : E[W ] = 1 ⋅ pW ρ
= µ1 ⋅ 1− ρ
µ 1− ρ

1 ⋅ pW ρ2
n = 2 : E[W ] = µ 2(1− ρ )
= µ1 ⋅
1− ρ 2

33
8. Queueing systems

Mean delay

• Ký hi u D là t ng th i gian (delay) trong h th ng c a m t (typical)

customer
– bao g m c waiting time W và service time S: D = W + S
• Then,
p
E[ D ] = E[W ] + E[ S ] = 1 ⋅  W + 1 = p ⋅ 1 + 1
 n(1− ρ )  W nµ − λ
µ   µ


p

(ρ
)
n = 1 : E[ D ] = µ1 ⋅  1−Wρ + 1 = µ1 ⋅ 1− ρ + 1 = µ1 ⋅ 1−1ρ

1 pW 1  ρ2  1 1
n = 2 : E[ D] = µ ⋅ 2(1− ρ ) = µ ⋅  2
+ 1=µ⋅
 1− ρ  1− ρ 2

34
8. Queueing systems

Mean queue length

• Ký hi u X là s customers trong h th ng (queue length) in equilibrium

• Little’s formula: E[X] = λ⋅E[D]. Thus,

ρ
E[ X ] = λ ⋅ E[ D ] = pW ⋅ nµλ− λ + µλ = pW ⋅ 1− ρ + nρ

ρ ρ ρ
n = 1 : E[ X ] = pW ⋅ 1− ρ + ρ = ρ ⋅ 1− ρ + ρ = 1− ρ

ρ 2ρ 2 ρ 2ρ
n = 2 : E[ X ] = pW ⋅ 1− ρ + 2ρ = 1+ ρ ⋅ 1− ρ + 2ρ =
1− ρ 2

35
8. Queueing systems

Waiting time distribution (1)

• Ký hi u W là waiting time c a m t (typical) customer

• Ký hi u X* là s customers trong h th ng t i th i đi m t i
• Customer ph i đ i ch khi X* ≥ n. Đi u này x y ra v i xác su t pW.
• S d ng gi thi t X* = i ≥ n, h th ng, tuy nhiên, gi ng như m t M/M/1
queue thông thư ng v i t c đ t i λ và t c đ ph c v nµ.
– Ký hi u W’ là waiting time c a m t (typical) customer trong hàng đ i M/M/1
này
– Ký hi u X*’ là s customers trong h th ng t i th i đi m t i
• It follows that
P{W = 0} = 1 − pW
P{W > t} = P{ X * ≥ n}P{W > t | X * ≥ n}
= pW ⋅ P{W ' > t | X *' ≥ 1} = pW ⋅ e − nµ (1− ρ )t , t > 0
36
8. Queueing systems

Waiting time distribution (2)

• Waiting time W có th bi u di n b i tích W = JD’ c a hai bi n ng u

nhiên đ c l p J ∼ Bernoulli(pW) và D’ ∼ Exp(nµ(1−ρ)):

P{W = 0} = P{J = 0} = 1 − pW
P{W > t} = P{J = 1, D ' > t} = pW ⋅ e − nµ (1− ρ )t , t > 0
p
E[W ] = E[ J ]E[ D ' ] = pW ⋅ nµ (11− ρ ) = µ1 ⋅ n(1W
−ρ)
2 2 2 1 2 pW
E[W ] = P{J = 1}E[ D ' ] = pW ⋅ 2 2 2
= 2⋅ 2
n µ (1− ρ ) µ n (1− ρ ) 2
2 2 1 pW ( 2 − pW )
2
D [W ] = E[W ] − E[W ] = 2 ⋅ 2
µ n (1− ρ ) 2
37
8. Queueing systems

Example (1)

• Bài toán chia s máy printer

– Xét hai c u hình khác nhau dư i đây:
• M t rapid printer (IID printing times ∼ Exp(2µ))
• Hai slower printers song song (IID printing times ∼ Exp(µ))
– Tiêu chí: minimize mean delay E[D]
• M t rapid printer (M/M/1 model with ρ = λ/(2µ)):

E[D1 ] = 21µ ⋅ 1−1ρ

• Hai slower printers (M/M/2 model with ρ = λ/(2µ)):

E[ D2 ] = µ1 ⋅ 1 2 = 21µ ⋅ (1− ρ )(21+ ρ ) = E[ D1 ] ⋅ 1+2ρ > E[ D1 ]

1− ρ

38
8. Queueing systems

Example (2)

0.8

0.6
E[D1]/E[D2]
0.4

0.2

0
0.2 0.4 0.6 0.8 1

Traffic load ρ

39
8. Queueing systems

THE END

40