NI VSM Lec 01 Slides

Základní pojmy pravděpodobnosti
Přednášející:
doc. Ing. Pavel Hrabák, Ph.D.
Katedra aplikované matematiky

Fakulta informačních technologií
České vysoké učení technické v Praze
© 2011–2024 Rudolf B. Blažek, Jitka Hrabáková, Pavel Hrabák, Roman Kotecký, Petr Novák, Daniel Vašata
Vybrané statistické metody

NI-VSM, LS 2023/24, Přednáška 1
Hrabák, Novák, Vašata (FIT ČVUT) Vybrané statistické metody NI-VSM, LS 2023/24, Přednáška 1 1 / 22
Organizace předmětu Podmínky absolvování
Podmínky úspěšného absolvování

• Zápočet:
▶ Na Marastu budou otevřeny 4 kvízy po 4 bodech – až 16 bodů.
▶ Budou zadány 4 domácí úlohy po 6 bodech – až 24 bodů.
▶ K zápočtu je nutno získat alespoň 20 bodů z možných 40.
▶ Předmět není možné absolvovat bez získání zápočtu.
• Zkouška:
▶ Je povinná a probíhá písemnou formou.
▶ Pro úspěšné absolvování zkoušky je nutné získat alespoň 30 bodů ze 60 možných.
▶ Zkouška bude typu closed-book z teorie a praktických příkladů.
▶ Studenti, kteří uspěli v písemné zkoušce mohou získat až 5 bodů navíc v rámci nepovinné
ústní zkoušky z teorie.
▶ Výsledná známka bude stanovena podle standardních klasifikační tabulky aplikované na
součet bodů ze semestru a písemné zkoušky.
• Předtermíny:
▶ Super-předtermín 7.-8. týden semestru.
▶ Klasický předtermín 13. týden semestru.
Pro podrobnější informace a aktuality sledujte oficiální stránky předmětu.

Organizace předmětu Podmínky absolvování
Obsah přednášek
• Opakování základních pojmů pravděpodobnosti

• Náhodné vektory a jejich sdružené charakteristiky, vícerozměrné normální rozdělení
• Entropie, využití v teorii kódování
• Opakování základních pojmů statistiky, testování hypotéz, p-hodnota, t-testy
• Testy dobré shody, testy nezávislosti, kontingenční tabulky
• Odhady rozdělení, jádrové odhady, Gaussovské směsi
• Základní pojmy teorie náhodných procesů
• Markovské řetězce s diskrétním časem, klasifikace stavů, stacionarita
• Poissonův process
• Markovské řetězce se spojitým časem, skokové intenzity, stacionarita
• Systémy hromadné obsluhy, Littleho věta, M/M/1, M/M/n, M/G/∞
Základy pravděpodobnosti Motivace
Motivace
Chceme porozumět fungování světa v situacích, kde hraje roli náhoda.
Co myslíme pojmem náhoda?
V běžném životě se často setkáváme s procesy (experimenty, testy, přírodními

jevy,...), u kterých nejsme schopni předem s jistotou určit, jaký z možných výsledků
nastane.
Přesná predikce není často možná, protože je studovaný jev bud’to příliš kom-
plexní, nebo nemáme k dispozici všechny potřebné informace.
Říkáme potom, že výsledek je nepředvídatelný a určuje ho náhoda.
Teorie pravděpodobnosti × matematická statistika
Teorie pravděpodobnosti se snaží kvantifikovat náhodu matematicky.

• Výsledkům pokusu přiřazujeme jejich pravděpodobnost, udávající ideální podíl
případů, kdy daný výsledek nastane.
• Na základě jednoduchých modelů dokážeme řešit složité problémy.
• Např. pokud máme k dispozici vyváženou minci, můžeme spočítat, jaká je šance, že
nám z 1000 hodů padne 100 orlů.
Matematická statistika odhaduje náhodnost pomocí experimentálních dat.

• Na základě výsledků opakovaného pokusu navrhujeme a ověřujeme
pravděpodobnostní modely.
• Např. z 1000 hodů mincí můžeme zkusit odhadnout, jak často padá hlava nebo orel.
• Pokud nám padne orel jen 100 krát, znamená to, že mince není vyvážená?
Aplikace nejen na FITu
Výsledky teorie pravděpodobnosti a matematické statistiky se využívají v mnoha

dalších předmětech na FITu a v řadě aplikací v praxi.
Porozumění prezentovaným konceptům otevírá dveře pro následné porozumění je-

jich aplikacím!
Namátkou uved’me některé:

• Modely znalostního inženýrství (NI-PDD) jsou povětšinou pravděpodobnostní
a jejich aplikace stojí na využití metody maximální věrohodnosti, korelační
analýzy, testování hypotéz, lineární regrese atd.
• Teorie informace a kódování (NI-KOD) stojí na pojmu entropie.
• Teorie spolehlivosti (NI-TSP) a systémy hromadné obsluhy mají za svůj
základ Markovské řetězce se spojitým časem a teorii front.
Teorie pravděpodobnosti – doporučená literatura
České tituly:
• Tomáš Hobza: Matematická statistika, FJFI (online)
• Jiří Pavlík: Aplikovaná statistika, skripta VŠCHT (online)
• Jiří Anděl: Základy matematické statistiky, matfyzpress (2007) (pokročilejší)
Anglické tituly:
• G. R. Grimmett & D. R. Stirzaker: Probability and Random Processes, Oxford
University Press (2001)
• D. P. Bertsekas & J. N. Tsitsiklis: Introduction to Probability, Athena Scientific, MIT
(2008)
• Ch. M. Grinstead & J. L. Snell: Introduction to Probability, AMS (1997) - (online)
(Více viz Course Pages)
Klasická definice pravděpodobnosti
Klasická definice pravděpodobnosti (Laplace 1749-1829)

• Konečný počet n vzájemně různých výsledků nějakého pokusu (např. hod kostkou).
• Předpokládáme, že všechny výsledky jsou stejně pravděpodobné.
• Jestliže právě m z těchto výsledků odpovídá realizaci jevu A (např. padlo sudé číslo),
potom definujeme pravděpodobnost jevu A jako
m počet příznivých výsledků

P(A) = = .
n počet všech možných výsledků
Nedokonalost této definice:

• Myšlenkový experiment. Často hod mincí či kostkou, výběr kuličky z krabičky, atp.
• Co když je kostka „ nevyvážená “?
• Co když máme nekonečně nebo dokonce nespočetně mnoho možností?
Geometrická definice pravděpodobnosti

Geometrická definice pravděpodobnosti
Pokud
• výsledky nastávají v nějakém geometrickém objektu či množině Ω konečné „velikosti“
(délky, plochy, objemu)
• a každý výsledek (např. bod) je stejně pravděpodobný
(anebo každá oblast stejné „velikosti“ je stejně pravděpodobná),
pak pravděpodobnost jevu A definujeme jako „ relativní velikost “ množiny A
„velikost“ množiny příznivých výsledků „velikost“ A

P(A) = = .
„velikost“ množiny všech možných výsledků „velikost“ Ω
Mluvíme pak o rovnoměrném rozložení (rozdělení) výsledků experimentu.
Nedokonalost této definice:

• Jak zavést nerovnoměrnost?
• Co s nekonečně velkými objekty?
Základy pravděpodobnosti Pravděpodobnostní prostor
Pravděpodobnostní prostor
Abychom se mohli zabývat obecnou definicí pravděpodobnosti, musíme si nejdříve zavést

potřebnou matematickou formalizaci.
Ústředním pojmem v teorii pravděpodobnosti je pravděpodobnostní prostor neboli

experiment.
Formálně se jedná o uspořádanou trojici
E = (Ω, F, P),
kde
• prostor elementárních jevů Ω zahrnuje všechny výsledky experimentu,
• podmnožiny Ω tvořící kolekci F jsou náhodné jevy,
• P je pravděpodobnost, kterou můžeme náhodným jevům přiřadit.
Prostor elementárních jevů
Prvním krokem je analýza možných výsledků nazývaných elementární jevy.

Elementární jevy by měly být vzájemně exkluzivní a ve svém souhrnu vyčerpávající.
• Vzájemně exkluzivní: nesmí se stát, že konkrétní výsledek experimentu odpovídá
více elementárním jevům.
• Ve svém souhrnu vyčerpávající: každý výsledek experimentu je možno interpretovat
jako některý elementární jev.
Definice
Množinu všech možných výsledků daného experimentu značíme Ω a nazýváme ji prostor
elementárních jevů nebo také výběrový prostor (sample space).
Libovolný možný výsledek ω ∈ Ω nazýváme elementární jev (outcome).
Prostor elementárních jevů by měl být dostatečně detailní, aby rozlišil výsledky, které
vnímáme jako odlišné, měl by však pominout nepodstatné detaily.
Náhodné jevy
Náhodným jevem A budeme rozumět množinu elementárních jevů (tj. A ⊂ Ω), které
můžeme přiřadit pravděpodobnost.
Ukazuje se, že je nepotřebné nebo i nemožné přiřadit pravděpodobnosti všem možným

podmnožinám Ω. Tj. ne všechny možné podmnožiny Ω mohou být jevy.
Vždy je však třeba uvažovat náhodné jevy jako prvky nějaké σ -algebry F :
Definice
Kolekci F podmnožin prostoru Ω nazýváme σ -algebrou (angl. též σ -field) jestliže jsou
splněny následující podmínky:
i) ∅ ∈ F – obsahuje nemožný jev
ii) když A ∈ F , tak Ac ∈ F – obsahuje opačný jev
S∞
iii) když A1 , A2 , . . . ∈ F , tak i=1 Ai ∈ F – obsahuje spočetné sjednocení.
Dvojici (Ω, F) nazýváme měřitelný prostor.
Zadání F nám říká, jaké jevy můžeme „ pozorovat “ a následně měřit jejich
pravděpodobnost.
Operace s náhodnými jevy
Z předchozí definice plyne, že vždy Ω ∈ F . Dále platí, že i všechny výsledky klasických

množinových operací jsou opět náhodné jevy.
V teorii pravděpodobnosti se používá speciální terminologie:

• Ac doplněk jevu A - opačný jev
• A ∩ B průnik jevů A a B - nastává současně A a B
• A ∪ B sjednocení A a B - bud’ A nebo B (i oba)
• A \ B rozdíl A a B - A, ale ne B
• ∅ prázdná množina - nemožný jev
• Ω výběrový prostor - jistý jev
Příklady množin náhodných jevů

Příklady (možných σ -algeber F )
• F = {∅, Ω} je σ -algebra.
• Pro libovolné A ⊂ Ω je F = {∅, A, Ac , Ω} σ -algebra.
• F = 2Ω – všechny podmnožiny tvoří σ -algebru.
Obvyklá volba pro konečnou nebo spočetnou Ω.
• Borelovská σ -algebra B(Ω) – nejmenší σ -algebra obsahující všechny otevřené
intervaly (resp. jejich průniky s Ω).
Obvyklá volba pro nespočetnou Ω ⊂ Rd .
Poznámky:
• Nejmenší σ -algebra obsahující kolekci X ⊂ 2Ω , značíme σ(X ), je definována jako
průnik všech σ -algeber obsahujících X .
• Borelovská σ -algebra obsahuje všechny „představitelné“ podmnožiny Ω.
• Např. pro Ω = R obsahuje B(R) také všechny polootevřené i uzavřené intervaly a
všechny konečně prvkové množiny. Nikoli však libovolné množiny – viz. P. Halmos:
Measure Theory, Springer (1976).
Pravděpodobnostní míra
Definice
Pravděpodobnostní míra na měřitelném prostoru (Ω, F) je zobrazení P : F → R
splňující:
i) nezápornost: pro každé A ∈ F platí P(A) ≥ 0,
ii) normalizace: P(Ω) = 1,
iii) σ−aditivita: když jsou A1 , A2 , . . . ∈ F vzájemně disjunktní jevy
(Ai ∩ Aj = ∅ pro ∀i, j : i ̸= j ), tak
∞ ∞
!
[ X
P Ai = P(Ai ).
i=1 i=1
Trojici E = (Ω, F, P) potom nazýváme pravděpodobnostní prostor nebo experiment.
Pravděpodobnost se také uvádí v procentech, tedy 0% až 100%.
Volba P určuje, co si v daném případě představujeme pod pojmem „ náhodný “. Vágní

zadání však může vést k „ paradoxům “.
Definice rovnoměrné pravděpodobnosti
Definice pravděpodobnosti pro rovnoměrné rozdělení konečného počtu možností:
Pokud Ω je konečná a realizace jsou stejně pravděpodobné:
#A počet příznivých výsledků

P(A) = = .
#Ω počet všech výsledků
Geometrická definice rovnoměrné pravděpodobnosti:
Bud’ Ω libovolný prostor s konečnou mírou µ, tj. umíme měřit velikosti (délku, plochu,
objem, hmotnost, čas, apod.). Pro náhodný jev A ∈ B(Ω) definujeme:
µ(A) velikost A
P(A) = = .
µ(Ω) velikost Ω
Základy pravděpodobnosti Vlastnosti pravděpodobnosti
Vlastnosti pravděpodobnosti
Věta
Necht’ A a B jsou náhodné jevy na pravděpodobnostním prostoru s mírou P. Potom platí:
i) P(∅) = 0,
ii) jestliže A a B jsou vzájemně disjunktní, pak P(A ∪ B) = P(A) + P(B),
iii) P(Ac ) = 1 − P(A),
iv) P(A ∪ B) = P(A) + P(B) − P(A ∩ B),
v) pokud A ⊂ B , tak P(A) ≤ P(B) - monotonie.
Důsledky:
• 0 ≤ P(A) ≤ 1 - z v)
• P(A ∪ B) ≤ P(A) + P(B) - z iv)
Základy pravděpodobnosti Podmíněná pravděpodobnost
Podmíněná pravděpodobnost
Jak se změní pravděpodobnost ve chvíli, kdy máme částečnou informaci o výsledku
experimentu?
Příklad
Když hodíme vyváženou kostkou, bez další informace víme, že P(prvočíslo) = 1/2.
Pokud navíc víme, že padlo sudé číslo, je jasné, že P(prvočíslo|sudé) = 1/3.
Definice
Bud’te A a B náhodné jevy, kde P(B) > 0. Podmíněnou pravděpodobnost jevu A za
podmínky, že nastal jev B , definujeme jako
P(A ∩ B)
P(A|B) = .
P(B)
P(A|B) čteme jako: „ pravděpodobnost A dáno B “, nebo

„ pravděpodobnost A za podmínky B “.
Vlastnosti podmíněné pravděpodobnosti

Lemma
Necht’ pro jev B platí P(B) > 0. Podmíněná pravděpodobnost P( · |B) je
pravděpodobnostní mírou, tj. P( · |B) splňuje axiomy pravděpodobnosti.
Podmíněná pravděpodobnost splňuje též všechny odvozené vlastnosti pravděpodobnosti.

Např.:
• Jestliže A a C jsou vzájemně disjunktní, pak P(A ∪ C|B) = P(A|B) + P(C|B).
• P(A ∪ C|B) = P(A|B) + P(C|B) − P(A ∩ C|B)
• P(Ac |B) = 1 − P(A|B)
Jestliže P(A ∩ B) > 0, platí dále
P(A ∩ B) = P(A|B) P(B) = P(B|A) P(A).
Lemma (Řetězové pravidlo)

Uvažujme náhodné jevy A1 , . . . , An tak, že P(A1 ∩ . . . ∩ An ) > 0. Potom platí
P(A1 ∩ . . . ∩ An ) = P(An |A1 ∩ . . . ∩ An−1 ) . . . P(A2 |A1 ) P(A1 ).
Rozklad pravděpodobnosti a Bayesova věta

Soubor vzájemně disjunktních náhodných jevů B1 , B2 , . . . Bn se nazývá rozkladem
n
[
množiny Ω, jestliže Ω = Bi .
i=1
Věta (o úplném rozkladu pravděpodobnosti)

Necht’ B1 , B2 , . . . , Bn je rozklad Ω takový, že ∀i : P(Bi ) > 0. Potom pro každý jev A
platí
n
X
P(A) = P(A|Bi ) P(Bi ).
i=1
Věta (Bayesova)
Necht’ B1 , B2 , . . . , Bn je rozklad Ω takový, že ∀i : P(Bi ) > 0 a necht’ A je náhodný jev
kde P(A) > 0. Potom platí
P(A|Bj ) P(Bj )
P(Bj |A) = Pn .
i=1 P(A|Bi ) P(Bi )
Lze dokázat i pro n = ∞.

Základy pravděpodobnosti Nezávislost náhodných jevů
Nezávislost náhodných jevů
Definice
Náhodné jevy A a B se nazývají nezávislé, pokud
P(A ∩ B) = P(A) P(B).
Obecně, soubor jevů {Ai : i ∈ I} se nazývá nezávislý, jestliže

!
\ Y
P Ai = P(Ai )
i∈J i∈J
pro všechny neprázdné konečné podmnožiny J indexové množiny I .
Upozornění: Zatímco neslučitelnost (prázdný průnik) je množinový pojem, nezávislost je

pojem pravděpodobnostní. Tyto pojmy spolu obecně nesouvisí.
Základy pravděpodobnosti Nezávislost náhodných jevů
Vztah nezávislosti a podmíněné pravděpodobnosti
Necht’ A a B jsou nezávislé a P(B) > 0. Potom zřejmě
P(A ∩ B) P(A) P(B)

P(A|B) = = = P(A).
P(B) P(B)
Pro A a B nezávislé nám znalost B nepřinese žádnou informaci o A.
Věta
Jsou-li jevy A a B nezávislé, pak i A a B c (Ac a B ; Ac a B c ) jsou nezávislé.

NI VSM Lec 01 Slides

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

NI VSM Lec 01 Slides

Uploaded by

Copyright:

Available Formats

Základní pojmy pravděpodobnosti

Katedra aplikované matematiky

Vybrané statistické metody

Podmínky úspěšného absolvování

Pro podrobnější informace a aktuality sledujte oficiální stránky předmětu.

• Opakování základních pojmů pravděpodobnosti

Chceme porozumět fungování světa v situacích, kde hraje roli náhoda.

Co myslíme pojmem náhoda?

V běžném životě se často setkáváme s procesy (experimenty, testy, přírodními

Říkáme potom, že výsledek je nepředvídatelný a určuje ho náhoda.

Teorie pravděpodobnosti × matematická statistika

Teorie pravděpodobnosti se snaží kvantifikovat náhodu matematicky.

Matematická statistika odhaduje náhodnost pomocí experimentálních dat.

Aplikace nejen na FITu

Výsledky teorie pravděpodobnosti a matematické statistiky se využívají v mnoha

Porozumění prezentovaným konceptům otevírá dveře pro následné porozumění je-

Namátkou uved’me některé:

Teorie pravděpodobnosti – doporučená literatura

(Více viz Course Pages)

Klasická definice pravděpodobnosti

Klasická definice pravděpodobnosti (Laplace 1749-1829)

m počet příznivých výsledků

Nedokonalost této definice:

Geometrická definice pravděpodobnosti

pak pravděpodobnost jevu A definujeme jako „ relativní velikost “ množiny A

„velikost“ množiny příznivých výsledků „velikost“ A

Mluvíme pak o rovnoměrném rozložení (rozdělení) výsledků experimentu.

Nedokonalost této definice:

Abychom se mohli zabývat obecnou definicí pravděpodobnosti, musíme si nejdříve zavést

Ústředním pojmem v teorii pravděpodobnosti je pravděpodobnostní prostor neboli

Formálně se jedná o uspořádanou trojici

Prostor elementárních jevů

Prvním krokem je analýza možných výsledků nazývaných elementární jevy.

Libovolný možný výsledek ω ∈ Ω nazýváme elementární jev (outcome).

Ukazuje se, že je nepotřebné nebo i nemožné přiřadit pravděpodobnosti všem možným

Operace s náhodnými jevy

Z předchozí definice plyne, že vždy Ω ∈ F . Dále platí, že i všechny výsledky klasických

V teorii pravděpodobnosti se používá speciální terminologie:

Příklady množin náhodných jevů

Trojici E = (Ω, F, P) potom nazýváme pravděpodobnostní prostor nebo experiment.

Pravděpodobnost se také uvádí v procentech, tedy 0% až 100%.

Volba P určuje, co si v daném případě představujeme pod pojmem „ náhodný “. Vágní

Definice rovnoměrné pravděpodobnosti

Definice pravděpodobnosti pro rovnoměrné rozdělení konečného počtu možností:

Pokud Ω je konečná a realizace jsou stejně pravděpodobné:

#A počet příznivých výsledků

Geometrická definice rovnoměrné pravděpodobnosti:

P(A|B) čteme jako: „ pravděpodobnost A dáno B “, nebo

Vlastnosti podmíněné pravděpodobnosti

Podmíněná pravděpodobnost splňuje též všechny odvozené vlastnosti pravděpodobnosti.

Jestliže P(A ∩ B) > 0, platí dále

P(A ∩ B) = P(A|B) P(B) = P(B|A) P(A).

Lemma (Řetězové pravidlo)

Rozklad pravděpodobnosti a Bayesova věta

Věta (o úplném rozkladu pravděpodobnosti)

Lze dokázat i pro n = ∞.

Nezávislost náhodných jevů

P(A ∩ B) = P(A) P(B).

Obecně, soubor jevů {Ai : i ∈ I} se nazývá nezávislý, jestliže

pro všechny neprázdné konečné podmnožiny J indexové množiny I .

Upozornění: Zatímco neslučitelnost (prázdný průnik) je množinový pojem, nezávislost je

Vztah nezávislosti a podmíněné pravděpodobnosti

Necht’ A a B jsou nezávislé a P(B) > 0. Potom zřejmě

P(A ∩ B) P(A) P(B)