NI VSM Lec 02 Slides

Náhodné veličiny
Přednášející:
doc. Ing. Pavel Hrabák, Ph.D.
Katedra aplikované matematiky

Fakulta informačních technologií
České vysoké učení technické v Praze
© 2011–2024 Rudolf B. Blažek, Jitka Hrabáková, Pavel Hrabák, Roman Kotecký, Petr Novák, Daniel Vašata
Vybrané statistické metody

NI-VSM, LS 2023/24, Přednáška 2
Hrabák, Novák, Vašata (FIT ČVUT) Vybrané statistické metody NI-VSM, LS 2023/24, Přednáška 2 1 / 28
Obsah přednášek
• Opakování základních pojmů pravděpodobnosti

• Náhodné vektory a jejich sdružené charakteristiky, vícerozměrné normální rozdělení
• Entropie, využití v teorii kódování
• Opakování základních pojmů statistiky, testování hypotéz, p-hodnota, t-testy
• Testy dobré shody, testy nezávislosti, kontingenční tabulky
• Odhady rozdělení, jádrové odhady, Gaussovské směsi
• Základní pojmy teorie náhodných procesů
• Markovské řetězce s diskrétním časem, klasifikace stavů, stacionarita
• Poissonův process
• Markovské řetězce se spojitým časem, skokové intenzity, stacionarita
• Systémy hromadné obsluhy, Littleho věta, M/M/1, M/M/n, M/G/∞
Náhodné veličiny Definice náhodné veličiny, distribuční funkce
Náhodná veličina
Výsledkem náhodného experimentu ω ∈ Ω často nebývá číslo. Abychom mohli takové

experimenty matematicky zpracovávat, je vhodné každému výsledku ω číslo přiřadit.
Vhodným přiřazením vybereme tu část informace, která je z našeho pohledu zajímavá.
Takové přiřazení lze provést mnoha způsoby. Budeme jej nazývat náhodnou veličinou
a značit X , Y apod.
Ω
ω1 X
ω2
ω4
ω3 R
Náhodná veličina a její rozdělení

Definice
Náhodná veličina X na pravděpodobnostním prostoru (Ω, F, P) je zobrazení
X : Ω → R, tj. každému výsledku experimentu ω ∈ Ω přiřadí hodnotu X(ω) ∈ R, pro
které platí podmínka měřitelnosti:
{X ≤ x} ∈ F, ∀x ∈ R.
Poznámky:
• {X ≤ x} ≡ {X ∈ (−∞, x]} ≡ X −1 ((−∞, x]) = {ω ∈ Ω | X(ω) ∈ (−∞, x]}
• Podmínka měřitelnosti říká, že {X ≤ x} je náhodný jev, a proto jsme schopni počítat
pravděpodobnost P(X ≤ x) ≡ P({X ≤ x}).
• Bez této podmínky se neobejdeme, avšak v praxi ji obvykle nepotřebujeme ověřovat.
Definice
Distribuční funkce náhodné veličiny X je funkce F : R → [0, 1] definovaná vztahem
FX (x) = P(X ≤ x), ∀x ∈ R.
Distribuční funkce jednoznačně určuje pravděpodobnostní rozdělení náhodné veličiny.

Vlastnosti distribuční funkce

Věta
Distribuční funkce F náhodné veličiny X má následující vlastnosti:
i) F je rostoucí: když x < y , pak F (x) ≤ F (y).
ii) F „začíná v 0 a končí v 1“: lim F (x) = 0 a lim F (x) = 1.
x→−∞ x→∞
iii) F je spojitá zprava: lim F (y) = F (x).
y→x+
Distribučnı́ funkce
1
FX (x)
0
x
Využití distribuční funkce

Z vlastností σ -algebry F dále plyne, že
• {X > x} = {X ≤ x}c ,
∞
[
• {X < x} =

X ≤ x − 1/i ,
i=1
• {X = x} = {X ≤ x} \ {X < x},
• {X ∈ (x, y]} = {X ≤ y} \ {X ≤ x},
jsou pro každé x, y ∈ R, x < y, náhodné jevy a můžeme jim přiřadit pravděpodobnost.
Lemma
Pro každé x ∈ R
i) P(X > x) = 1 − F (x),
ii) P(X < x) = lim F (y),
y→x−
iii) P(X = x) = F (x) − lim F (y),
y→x−
iv) P(X ∈ (x, y]) = P(x < X ≤ y) = F (y) − F (x).
Funkce, která každému x ∈ R přiřadí P(X > x), se nazývá funkce přežití náhodné
veličiny X .
Náhodné veličiny Typy náhodných veličin
Typy náhodných veličin
Rozlišujeme mezi různými typy náhodných veličin.
• Některé mohou nabývat jen izolovaných hodnot (např. 0 nebo 1 pro hlavu a orla při
hodu mincí, hodnoty 1,...,6 při hodu kostkou).
• Některé mohou nabývat hodnot na spojité škále (např. váha novorozence, doba
čekání na autobus,...).
Takto dělíme náhodné veličiny na diskrétní a spojité.
U diskrétních náhodných veličin nás zajímají pravděpodobnosti jednotlivých hodnot, u

spojitých se zajímáme o pravděpodobnosti intervalů.
Nehledě na typ, distribuční funkce nám dá úplný popis chování náhodné veličiny.
Náhodné veličiny Typy náhodných veličin
Typy náhodných veličin a jejich distribuční funkce
Diskrétnı́ náhodná veličina Spojitá náhodná veličina

1 1
FX (x) FX (x)
0 0
x x
Smı́šená náhodná veličina

1
FX (x)
0
x
Náhodné veličiny Diskrétní náhodné veličiny
Diskrétní náhodná veličina

Definice
Náhodná veličina X se nazývá diskrétní, jestliže existuje nejvýše spočetná množina
X = {x1 , x2 , . . . } taková, že platí
X
P(X = x) = 1.
x∈X
• Výše uvedená podmínka na součet pravděpodobností se nazývá normalizační.

• Náhodná veličina tedy s nenulovými pravděpodobnostmi nabývá pouze hodnot z X .
• Pravděpodobnost P(X = x) lze chápat jako funkci x ∈ R, kterou pak nazýváme
pravděpodobnostní funkcí nebo diskrétní hustotou náhodné veličiny X .
Distribuční funkce diskrétní náhodné veličiny X má tvar

X
FX (x) = P(X ≤ x) = P(X = u).
{u∈X |u≤x}
FX (x) má skoky v bodech z X a mezi nimi je konstantní. V u ∈ X má FX hodnotu již „na

vyšší části skoku“ (spojitost zprava). Velikost skoku v bodě u je P(X = u).
Náhodné veličiny Spojité náhodné veličiny, hustota
Spojitá náhodná veličina - motivace
V některých případech nabývá náhodná veličina nespočetně mnoha možných

hodnot. Tato situace nastává při práci se spojitými modely - měření času, vzdále-
nosti, souřadnic apod.
Nemůžeme přiřadit kladnou pravděpodobnost P(X = x) každé hodnotě, protože

by se nespočetné množství takových pravděpodobností nasčítalo na nekonečno.
Ukazuje se, že každá izolovaná hodnota má nulovou pravděpodobnost (intuitivně

je např. nekonečně málo pravděpodobné, že naměříme hmotnost člověka přesně
80.0̄ kg).
Místo konkrétních hodnot se tedy určují pravděpodobnosti, že náhodná veličina
padne do určitých intervalů.
Tímto způsobem jsme schopni zavést i nerovnoměrná rozdělení hodnot.
Spojitá náhodná veličina – definice

Definice
Náhodná veličina X se nazývá (absolutně) spojitá, jestliže existuje nezáporná funkce fX
taková, že pro každé x ∈ R můžeme hodnotu distribuční funkce v bodě x vyjádřit jako
Z x
FX (x) = fX (u) du.
−∞
Funkci fX v takovém případě nazýváme hustotou pravděpodobnosti náhodné

veličiny X .
FX (x) = P(X ≤ x)
fX
Distribuční funkce spojité náhodné veličiny je spojitá.

Vlastnosti spojitých náhodných veličin

Věta
Pro hustotu fX spojité náhodné veličiny X platí:
Z +∞
i) fX (x) dx = 1 (normalizační podmínka),
−∞
ii) P(X = x) = 0 pro všechna x ∈ R,
dFX
iii) fX (x) = (x) v bodech, kde má FX derivaci,
dx
Z b
iv) P(a < X ≤ b) = fX (x) dx = FX (b) − FX (a),
a
Z
v) P(X ∈ B) = fX (x) dx pro všechny B v Borelovské σ -algebře na R, tj. pro
B
všechny „běžné“ množiny.
Důsledky:
• P(X ≤ x) = P(X < x) - z ii)
• fX (x) dx ≈ P(x ≤ X < x + dx) pro dx ≪ 1 - z iv)
Vztah hustoty a pravděpodobnosti

Zopakujme a ilustrujme důležitou vlastnost hustoty (spojité náhodné veličiny):
P(a < X ≤ b)
fX
a b
Z b h ib
P(a < X ≤ b) = fX (u) du = FX (x) = FX (b) − FX (a).
a a
Všimněte si, že u spojitých náhodných veličin nezáleží, jestli jsou nerovnosti ostré nebo
neostré:
P(a < X ≤ b) = P(a ≤ X ≤ b) = P(a ≤ X < b) = P(a < X < b).
Náhodné veličiny Transformace náhodných veličin
Transformace náhodné veličiny

Lemma ( Funkce obecné náhodné veličiny.)
Mějme funkci g : R → R a libovolnou náhodnou veličinu X na (Ω, F, P).
Pokud funkce g je měřitelná, pak Y = g(X) je také náhodná veličina na (Ω, F, P).
Funkce g je měřitelná, pokud pro každé y ∈ R patří {g(x) ≤ y} ≡ {x ∈ R | g(x) ≤ y}

do Borelovské σ -algebry na R.
Poznámky:
• Pokud je X diskrétní, pak Y = g(X) je také diskrétní náhodná veličina a
X
P(Y = y) = P(g(X) = y) = P(X = x).
{x∈X : g(x)=y}
• Obecně (tj. i pro spojitou X ) musíme určit distribuční funkci

FY (y) = P(Y ≤ y) = P(g(X) ≤ y) = P {ω ∈ Ω | g(X(ω)) ≤ y} .
• Pokud je výsledná veličina Y spojitá, pak fY dostaneme derivováním FY .

Náhodné veličiny Charakteristiky náhodných veličin
Střední hodnota
U náhodné veličiny nás zajímají střed, šířka a další podobné charakteristiky jejího
rozdělení. Jednou ze základních charakteristik náhodné veličiny je její střední hodnota.
Definice
Střední hodnota (expectation) diskrétní náhodné veličiny X , nabývající hodnot z množiny
X = {x1 , x2 , . . . }, je definována vztahem
X
EX = x P(X = x).
x∈X
Střední hodnota spojité náhodné veličiny X s hustotou fX je určena vztahem
Z ∞
EX = xfX (x) dx.
−∞
Nutnou podmínkou je, že uvedená suma resp. integrál absolutně konverguje. Jinak říkáme,
že střední hodnota náhodné veličiny X neexistuje (nebo je ±∞).
• V obou případech se jedná o vážený průměr možných hodnot náhodné veličiny X .

• Popisuje „střed“ rozdělení a odpovídá fyzikálně jeho „těžišti“.
Střední hodnota funkce náhodné veličiny

Střední hodnotu funkce náhodné veličiny můžeme spočíst dvěma způsoby:
• Určíme rozdělení náhodné veličiny Y = g(X). Pak spočteme E Y pomocí definice
a pravděpodobností P(Y = y) či hustoty fY .
• Spočteme E g(X) přímo pomocí funkce g a rozdělení veličiny X (čili P(X = x) či
fX ).
Věta
Předpokládejme, že g je měřitelná funkce a že X a Y = g(X) jsou náhodné veličiny.
i) Má-li X diskrétní rozdělení, pak
X
E Y = E g(X) ≡ g(x) P(X = x).
x∈X
Z ∞
ii) Má-li X spojité rozdělení, pak E Y = E g(X) ≡ g(x)fX (x) dx.
−∞
Suma resp. integrál musí absolutně konvergovat, jinak E Y neexistuje (nebo je ±∞).
Vlastnosti střední hodnoty

Pro praktické výpočty jsou důležité následující vlastnosti střední hodnoty. Všimněme si, že
pro střední hodnotu diskrétní i spojité náhodné veličiny platí stejné vlastnosti.
Věta
Střední hodnota náhodné veličiny X splňuje následující vlastnosti:
i) Je-li X ≥ 0, pak E(X) ≥ 0.
ii) Je-li a, b ∈ R, pak E(aX + b) = a E(X) + b (pokud X má konečnou E X ).
iii) Konstantní náhodná veličina X = c ∈ R má E(X) = c.
Poznámky:
• Tato věta platí nejen pro diskrétní a spojité, ale i pro smíšené náhodné veličiny.
• Až se budeme zabývat sdruženým rozdělením náhodných proměnných, uvidíme, že
pro dvojici náhodných veličin X a Y s konečnými středními hodnotami navíc platí
E(aX + bY ) = a E X + b E Y, ∀a, b ∈ R.
• Předchozí vlastnost se nazývá linearita střední hodnoty.
Rozptyl
Definice
Rozptyl (variance) náhodné veličiny X je definován vztahem
var X = E(X − E X)2 .
Směrodatná odchylka náhodné veličiny X je definována jako
√
sd X = var X.
Rozptyl se také značí σ 2 a představuje míru „odchylování“ od střední hodnoty. Směrodatná
odchylka, též označovaná jako σ , má stejné jednotky jako X .
Věta
Rozptyl splňuje následující vlastnosti:
i) Pro všechna a, b ∈ R a náhodnou veličinu X platí
var(aX + b) = a2 var X.
ii) Náhodná veličina konstantně rovná c ∈ R má rozptyl var c = 0.
Z linearity střední hodnoty dále plyne známý vztah:

var X = E X 2 − (E X)2 .
Další charakteristiky
• k -tý moment
µk = E X k
• k -tý centrovaný moment
σk = E(X − E X)k
• Koeficient šikmosti (míra asymetrie)
σ3 E(X − E X)3
γ1 = =
σ3 (var X)3/2
• Koeficient špičatosti (porovnání s normálním rozdělením)
σ4 E(X − E X)4
γ2 = − 3 = −3
σ4 (var X)2
• α-kvantil
qα = inf x ∈ R | FX (x) ≥ α

• q0.25 – dolní kvartil, q0.5 – medián, q0.75 – horní kvartil

• α-kritická hodnota (kritická hodnota na hladině α)
cα = q1−α = inf x ∈ R | P(X > x) ≤ α

Náhodné veličiny Příklady rozdělení
Opakování důležitých diskrétních rozdělení

• Bernoulliho (Alternativní) rozdělení s parametrem p ∈ [0, 1], X ∼ Be(p) nebo
X ∼ Alt(p): (Jeden hod „falešnou“ mincí.)
P(X = 1) = p, P(X = 0) = 1 − p, E X = p, var X = p(1 − p).
• Binomické rozdělení s parametrem p, 0 ≤ p ≤ 1, X ∼ Binom(n, p):
(Počet hlav v n hodech „falešnou“ mincí.)

n k
P(X = k) = p (1−p)n−k , k = 0, . . . , n, E X = np, var x = np(1−p).
k
• Geometrické rozdělení s parametrem p ∈ [0, 1], X ∼ Geom(p):
(Počet hodů „falešnou“ mincí než padne první hlava.)

k−1 1 1 1
P(X = k) = (1 − p) p, k = 1, 2, . . . , E X = , var X = −1 .
p p p
• Poissonovo rozdělení s parametrem λ > 0, X ∼ Poisson(λ):
(V jistém smyslu limita binomického pro n → ∞.)
λk −λ
P(X = k) = e , k = 0, 1, 2, . . . , E X = var X = λ.
k!
Opakování důležitých spojitých rozdělení

• Rovnoměrné rozdělení na intervalu [a, b], X ∼ Unif(a, b):
 1

pro x ∈ [a, b] a+b (b − a)2
fX (x) = b − a , EX = , var X = .

0 jinde
2 12
• Exponenciální rozdělení s parametrem λ > 0, X ∼ Exp(λ):


λe−λx pro x ∈ [0, ∞) 1 1
fX (x) = , E X = , var X = 2 .
0 jinde λ λ
• Normální (Gaussovo) rozdělení s parametry µ a σ > 0, X ∼ N(µ, σ 2 ):
1 (x−µ)2
fX (x) = √ e− 2σ2 , E X = µ, var X = σ 2 .
σ 2π
Gamma funkce
Abychom mohli elegantně definovat další spojitá rozdělení, zaved’me si speciální funkci.
Definice
Gamma funkce Γ je pro každé p > 0 definována vztahem
Z +∞
Γ(p) = xp−1 e−x dx.
0
10
Γ(x)
8
6
4
2
0
0 1 2 3 4 x
Mezi její základní vlastnosti patří pro každé p > 0 a n ∈ N:
√
Γ(p + 1) = pΓ(p), Γ(1) = 1, Γ(1/2) = π a Γ(n) = (n − 1)!
Gamma funkce tedy představuje interpolaci faktoriálu pro neceločíselné hodnoty parametru.
Gamma rozdělení
Definice
Nezáporná náhodná veličina X má gamma rozdělení s parametry a > 0, p > 0, píšeme
X ∼ Ga(a, p), jestliže má spojité rozdělení s hustotou
ap −ax p−1
fX (x) = e x
Γ(p)
pro x > 0 a fX (x) = 0 pro x ≤ 0.
Vlastnosti:
• Střední hodnota p
EX = .
a
• Rozptyl p
var X = 2 .
a
• Pro a = λ a p = 1 dostáváme exponenciální rozdělení.
• Pro a = λ a p = n dostáváme součet n nezávislých exponenciálních rozdělení
nazývaný Erlangovo rozdělení.
• Pro a = 1/2 a p = n/2 dostáváme χ2 rozdělení s n stupni volnosti.
Gamma rozdělení - vizualizace

fX (x) a = 0.5, p = 1
0.5
a = 1, p = 3
a = 1, p = 5
0.4 a = 3, p = 12
0.3
0.2
0.1
0
0 1 2 3 4 5 6 7 8 9 10 11 x
Parametr p ovlivňuje tvar a parametr a škálování.

χ2 rozdělení
Definice
Nezáporná náhodná veličina X má rozdělení χ2 nebo chí kvadrát s n ∈ N stupni volnosti,
píšeme X ∼ χ2n , jestliže má spojité rozdělení s hustotou
1 n x
fX (x) = n n
x 2 −1 e− 2
2 Γ2
2
pro x > 0 a fX (x) = 0 pro x ≤ 0.
Vlastnosti:
• Střední hodnota
E X = n.
• Rozptyl
var X = 2n.
χ2 rozdělení se nejčastěji objevuje jako součet kvadrátů nezávislých standardních

normálních rozdělení.
χ2 rozdělení - vizualizace
n=1
0.5
n=2
fX (x) n=3
0.4 n=4
n=6
0.3
0.2
0.1
0
0 1 2 3 4 5 6 7 8 9 10 11 x
Studentovo rozdělení
Definice
Bud’ n ∈ N. Náhodná veličina X má Studentovo rozdělení nebo t rozdělení o n stupních
volnosti, píšeme X ∼ tn , jestliže má spojité rozdělení s hustotou
− n+1
Γ n+1

2 x2 2
fX (x) = n
√ 1 + pro každé x ∈ R.
Γ 2 πn n
Vlastnosti:
• Střední hodnota je definována pro n > 1 a platí
E X = 0.
• Rozptyl je definován a konečný pro n > 2, přičemž
var X = n/(n − 2).
Studentovo rozdělení často vzniká z podílu standardního normálního rozdělení a χ2

rozdělení.
Studentovo rozdělení - vizualizace

0.4 n=2
n=4
fX (x) n = 10
N(0, 1)
0.2
−3 −2 −1 0 1 2 3 x
Poznámky:
• Pro n → +∞ konverguje studentovo rozdělení ke standardnímu normálnímu
rozdělení (ve slabém smyslu nebo také v distribuci).
• To znamená, že pro každé x ∈ R platí
lim Fn (x) = Φ(x),
n→+∞
kde Fn je distribuční funkce náhodné veličiny s rozdělením tn a Φ je distribuční

funkce náhodné veličiny s rozdělením N(0, 1).

NI VSM Lec 02 Slides

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

NI VSM Lec 02 Slides

Uploaded by

Copyright:

Available Formats

Náhodné veličiny

Katedra aplikované matematiky

Vybrané statistické metody

• Opakování základních pojmů pravděpodobnosti

Výsledkem náhodného experimentu ω ∈ Ω často nebývá číslo. Abychom mohli takové

Náhodná veličina a její rozdělení

Distribuční funkce jednoznačně určuje pravděpodobnostní rozdělení náhodné veličiny.

Vlastnosti distribuční funkce

Využití distribuční funkce

Typy náhodných veličin

Rozlišujeme mezi různými typy náhodných veličin.

Takto dělíme náhodné veličiny na diskrétní a spojité.

U diskrétních náhodných veličin nás zajímají pravděpodobnosti jednotlivých hodnot, u

Typy náhodných veličin a jejich distribuční funkce

Diskrétnı́ náhodná veličina Spojitá náhodná veličina

Smı́šená náhodná veličina

Diskrétní náhodná veličina

• Výše uvedená podmínka na součet pravděpodobností se nazývá normalizační.

Distribuční funkce diskrétní náhodné veličiny X má tvar

FX (x) má skoky v bodech z X a mezi nimi je konstantní. V u ∈ X má FX hodnotu již „na

Spojitá náhodná veličina - motivace

V některých případech nabývá náhodná veličina nespočetně mnoha možných

Nemůžeme přiřadit kladnou pravděpodobnost P(X = x) každé hodnotě, protože

Ukazuje se, že každá izolovaná hodnota má nulovou pravděpodobnost (intuitivně

Tímto způsobem jsme schopni zavést i nerovnoměrná rozdělení hodnot.

Spojitá náhodná veličina – definice

Funkci fX v takovém případě nazýváme hustotou pravděpodobnosti náhodné

Distribuční funkce spojité náhodné veličiny je spojitá.

Vlastnosti spojitých náhodných veličin

Vztah hustoty a pravděpodobnosti

Transformace náhodné veličiny

Funkce g je měřitelná, pokud pro každé y ∈ R patří {g(x) ≤ y} ≡ {x ∈ R | g(x) ≤ y}

• Obecně (tj. i pro spojitou X ) musíme určit distribuční funkci

• Pokud je výsledná veličina Y spojitá, pak fY dostaneme derivováním FY .

• V obou případech se jedná o vážený průměr možných hodnot náhodné veličiny X .

Střední hodnota funkce náhodné veličiny

Vlastnosti střední hodnoty

Z linearity střední hodnoty dále plyne známý vztah:

• q0.25 – dolní kvartil, q0.5 – medián, q0.75 – horní kvartil

Opakování důležitých diskrétních rozdělení

Opakování důležitých spojitých rozdělení

• Exponenciální rozdělení s parametrem λ > 0, X ∼ Exp(λ):

• Normální (Gaussovo) rozdělení s parametry µ a σ > 0, X ∼ N(µ, σ 2 ):

Gamma rozdělení - vizualizace

Parametr p ovlivňuje tvar a parametr a škálování.

pro x > 0 a fX (x) = 0 pro x ≤ 0.

χ2 rozdělení se nejčastěji objevuje jako součet kvadrátů nezávislých standardních

var X = n/(n − 2).

Studentovo rozdělení často vzniká z podílu standardního normálního rozdělení a χ2

Studentovo rozdělení - vizualizace

kde Fn je distribuční funkce náhodné veličiny s rozdělením tn a Φ je distribuční

You might also like