lec02 dịch

Machine Translated by Google
Lý thuyết thông tin

Lý thuyết xác suất
TS. Lê Nguyên
Khôi Trường Đại học Công nghệ, ĐHQGHN
Nội dung
Không gian xác

suất Xác suất có điều kiện và tính độc
lập Định lý Bayes Biến ngẫu nhiên
Kỳ vọng và sự thay đổi

Phân phối có điều kiện và phân phối chung
Ước lượng xác suất Phân phối chuẩn
1
Lê Nguyên Khôi Lý thuyết thông tin
Xác suất
Trong cuộc sống không có gì là chắc chắn cả.
Trong mọi việc chúng tôi

làm, chúng tôi đo lường
cơ hội thành công, từ
kinh doanh đến thuốc men
cho đến thời tiết.
Xác suất là nghiên cứu chính
thức về các quy luật may rủi
Lê Nguyên Khôi Lý thuyết thông tin 2

Xác suất - Các khái niệm cơ bản
Thử nghiệm: thử nghiệm hoặc quan sát
Kết quả cơ bản: tất cả các kết quả có thể có của

một thử nghiệm
Không gian mẫu: tập hợp các kết quả cơ bản
Sự kiện: một tập hợp con của không gian mẫu

Xác suất - Ví dụ
Thử nghiệm: tung đồng xu một lần
Kết quả cơ bản: Đầu (H) - Đuôi (T)

Không gian mẫu: Ω = {,}
Thử nghiệm: tung đồng xu hai lần
Không gian mẫu: Ω = { , , , }

Thử nghiệm: tung xúc xắc một lần Kết
quả cơ bản: ……… Không gian mẫu: Ω =
{1,2,3,4,5,6}
Thử nghiệm: tung một con xúc xắc
hai lần Thử nghiệm: tung 2 con xúc xắc một lần

Sự kiện - Đặt hoạt động
Thay vì sử dụng các kết quả cơ bản, các sự kiện được ưu
tiên hơn vì các sự kiện có thể được kết hợp để tạo ra các
sự kiện khác bằng cách sử dụng các phép toán tập hợp
Ω là sự kiện nhất định, ᴓ là sự kiện rỗng

là kích thước của Ω
Số lượng tất cả các sự kiện có thể xảy ra là 2

Sự kiện - Đặt hoạt động
= {: hoặc }
sự kiện hoặc sự kiện xảy ra
∩ = {: và }:
sự kiện và sự kiện đều xảy ra
\ = {: và }:
Sự kiện xảy ra nhưng không xảy ra sự kiện B
= {: }:
sự kiện A không xảy ra

Sự kiện - Ví dụ
Không gian mẫu của thử nghiệm tung một cặp xúc xắc

số 8
Mô tả sự kiện Kết quả cơ bản của sự kiện

A: cả hai xúc xắc cộng thành 3 1,2, 2,1
B: cả hai con xúc xắc cộng thành 6 1,5, 2,4, 3,3, 4,2, 5,1
C: xúc xắc trắng hiển thị 1 1,1, 1,2, 1,3, 1,4, 1,5, 1,6
D: chương trình xúc xắc đen 1 1,1, 2,1, 3,1, 4,1, 5,1, 6,1
= {………………}
∩ = {………………}

= {………………}
∩ = {………………}

Sự kiện - Xác suất
Giả sử đó là một sự kiện của một thử nghiệm nào đó:
(), tồn tại một cách tự nhiên, cho thấy cơ hội

đang xảy ra.
Số này bằng 1 nếu là sự kiện nhất định, bằng 0 nếu
là sự kiện rỗng
11
Sự kiện - Xác suất
2,…,quả cơ,…
Giả sử Ω =, mọi 1,kết bản được
gán một “trọng số” = () thỏa mãn:
0 ≤ ≤ 1 cho mọi ≥ 1
= 1
Sau đó:
=
:

Định nghĩa cổ điển về xác suất
Trong trường hợp tất cả các kết quả cơ

bản có cùng xác suất: = 1 / cho mọi.
Sau đó, chúng tôi có:
= = =
Ω
:

B: cả hai con xúc xắc cộng thành 6 1,5, 2,4, 3,3, 4,2, 5,1
D: chương trình xúc xắc đen 1 1,1, 2,1, 3,1, 4,1, 5,1, 6,1

Một số tính chất của xác suất
ᴓ = 0, Ω = 1, 0 ≤ () ≤ 1
= + - (∩)
Nếu và rời rạc, = = +
1 - ()

Một hộp chứa N viên bi được đánh số từ 1 đến N.
Chọn ngẫu nhiên một quả bóng, sau đó trả lại

và lặp lại n lần. Tính xác suất của biến cố:
A = {n quả bóng khác cặp}
Không gian mẫu: Ω = = 1, 2,…, : 1 ≤ ≤
trong đó Ω =
= - 1… (- + 1)
Do đó:
= = - 1… (- + 1)
Ω
Xác suất có điều kiện




Xác suất có điều kiện của sự kiện A cho trước B có thể

được tính toán bởi:
= nếu > 0
Xác suất khớp:

= =
nếu 0
Bằng cách sử dụng quy nạp, có thể dễ dàng suy ra xác
suất chung của n sự kiện.

Xác suất có điều kiện - Ví dụ
Cho một hộp chứa các quả bóng màu trắng và

bóng đen. Lấy ngẫu nhiên lần lượt hai bi
mà không trở lại.
Tính xác suất của biến cố: chỉ có quả cầu
thứ hai là màu trắng.
Giả sử đại diện cho sự kiện “quả bóng duy nhất

là màu trắng”, = 1, 2,…
Sử dụng công thức xác suất chung:
1 2 = 1 2 1 = ×
+ + - 1

Công thức Bayes
= () = ()
() ()
Nếu ()> 0 và là một hệ thống đầy đủ các

1, 2,…,
,
sự kiện (= Ω, ()> 0 cho tất cả
∩ = cho ), thì:
= (|) = (|)
() = 1 (|)

Công thức Bayes - Ví dụ
Cho một hộp chứa các quả bóng màu trắng và

bóng đen. Lấy ngẫu nhiên lần lượt hai bi mà
không trở lại. Tính xác suất của biến cố: Quả
bóng thứ nhất màu trắng cho quả bóng thứ 2 cũng
màu trắng.
“
Cho đại diện cho sự kiện = -bóng thứ có màu trắng ”,
1, 2,…
Sử dụng công thức Bayes:
= 1 ( 2 | 1) = (- 1)
1 2
( 2) - 1 +

Sự độc lập

Sự độc lập
Hai sự kiện A và B là độc lập nếu:

=
Nếu> 0, rõ ràng A và B là độc lập nếu và chỉ
khi:
=
Ví dụ: kết quả của việc tung con xúc xắc đầu tiên
không ảnh hưởng đến kết quả của con xúc xắc thứ hai

Biến ngẫu nhiên
Một biến ngẫu nhiên được định nghĩa là số
kết quả của một thử nghiệm

Nói chung, biến ngẫu nhiên là một hàm:
: Ω
Hàm khối lượng xác suất (pmf) hoặc xác suất
phân bổ:
= = = () trong đó = { Ω: =}
= = Ω = 1

Biến ngẫu nhiên
Tung hai đồng xu, ghi lại số đầu: 0, 1 hoặc 2
Kí hiệu! Biến được viết hoa.

Chữ thường đại diện cho một giá trị duy nhất của.
Ví dụ = 2 nếu đầu xuất hiện hai lần.
Hàm khối lượng xác suất:

Trung bình và Phương sai
Giá trị trung bình (hoặc giá trị kỳ vọng) của một
biến được định nghĩa là:
= ()
Phương sai của một biến ngẫu nhiên X là khoảng
cách bình phương kỳ vọng so với giá trị trung bình:

2 2 - 2
= -
= ( )

Trung bình và Phương sai
Tung một con xúc xắc và ghi lại số chấm:

6
1 6
21 1
= () = 6 = = 3
= 1 = 1 6 2
91 49 35
= 2 - 2 = - =
6 4 12
2 , nó có thể hữu ích khi sử dụng
Lưu ý: Để tính +1
(2 +1)
2
= 1 = 6

Phân phối có điều kiện và
Phân phối chung
pmf chung của 2 biến ngẫu nhiên rời rạc = (= =) , :

, ,
Chức năng có điều kiện:
,
= để thỏa mãn > 0
|
Quy tắc sản phẩm:
, , , = , , ,

Phân phối cận biên
Đưa ra một pmf chung, = (= , =):
= (,)
= (,)

Phân phối nhị thức
Kết quả của một loạt các thử nghiệm chỉ có 2 kết quả,
mỗi thử nghiệm độc lập với tất cả các thử nghiệm khác.
Liên tục tung một đồng xu (có thể không công bằng) là
ví dụ về thứ có phân phối nhị thức.
Họ của phân phối nhị thức:
; , = (1 -) - là
số lần thử nghiệm thành công giữa các lần thử
nghiệm.
Ứng dụng: mô hình ngram, kiểm tra giả thuyết, v.v.

Tổng quát hóa: phân phối đa thức

Phân phối nhị thức

Phân phối bình thường
Đây là một phân phối liên tục:
1 - - 2 / (2 2)
; , =
2
đâu là giá trị trung bình và đâu là độ lệch chuẩn
Ứng dụng: mô hình hóa chiều cao con

người, IQ, mô hình học máy, v.v.
Tên khác: Gaussians

Phân phối bình thường
Lưu ý: các đường cong, rời rạc và liên tục,

khá giống nhau

Tập thể dục
Chơi trò
chơi: Tung đồng xu 5 lần
Thắng trò chơi nếu chuỗi HTH xuất hiện
Xác suất thắng trò chơi là bao nhiêu

Bài tập - Xác suất có điều kiện
Có sự khác biệt nào giữa việc tung một con xúc xắc hai
lần và tung hai con xúc xắc một lần không?
Xác suất để có tổng 3 sau khi tung hai con súc sắc
một lần là bao nhiêu?

Điều gì sẽ xảy ra nếu con xúc xắc đầu tiên là 2
Xác suất của lần tung thứ nhất là 1 sau hai lần tung xúc
xắc?
Điều gì sẽ xảy ra nếu tổng của hai cuộn không lớn hơn 3

Bài tập - Xác suất có điều kiện
Lăn xúc xắc hai lần

1
Xúc xắc: = [1; 2; 3; 4; 5; 6], = [ 1 6 ; 1 6 ; 1 6 ; 1 6 ; 1 6 ; 6]
: giá trị của cuộn đầu tiên là 1

= 6
= {1,1, 1,2, 1,3, 1,4, 1,5, 1,6} 36
: tổng của hai cuộn không lớn hơn 3
= {1,1, 1,2, 2,1} = 3

36
và cả hai đều xảy ra

= 2
∩ = {1,1, 1,2} 36
Nếu xảy ra, xác suất là

2
2
= = 36 =
3 3
36

Tập thể dục - Sự kiện Độc lập

Nếu cuộn thứ nhất là 2 thì xác suất của cuộn thứ hai là bao nhiêu
cuộn là 1
Hàm khối lượng xác suất pmf, các của hai ngẫu nhiên
biến được cho
, như sau:
0 0 1 1
0 1 0 1
, 0,32 0,08 0,48 0,12
Biến ngẫu nhiên có và độc lập

Gợi ý: Xác định và so sánh
= 1 , = 0 ,
= 1 , = 0 ,

lec02 dịch

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

lec02 dịch

Uploaded by

Copyright:

Available Formats

Machine Translated by Google

Lý thuyết thông tin

Không gian xác

Kỳ vọng và sự thay đổi

Trong cuộc sống không có gì là chắc chắn cả.

Trong mọi việc chúng tôi

Xác suất là nghiên cứu chính

thức về các quy luật may rủi

Lê Nguyên Khôi Lý thuyết thông tin 2

Xác suất - Các khái niệm cơ bản

Thử nghiệm: thử nghiệm hoặc quan sát

Kết quả cơ bản: tất cả các kết quả có thể có của

Không gian mẫu: tập hợp các kết quả cơ bản

Sự kiện: một tập hợp con của không gian mẫu

Lê Nguyên Khôi Lý thuyết thông tin 3

Thử nghiệm: tung đồng xu một lần

Kết quả cơ bản: Đầu (H) - Đuôi (T)

Thử nghiệm: tung đồng xu hai lần

Không gian mẫu: Ω = { , , , }

Lê Nguyên Khôi Lý thuyết thông tin 4

Thử nghiệm: tung xúc xắc một lần Kết

quả cơ bản: ……… Không gian mẫu: Ω =

Thử nghiệm: tung một con xúc xắc

Lê Nguyên Khôi Lý thuyết thông tin 5

Sự kiện - Đặt hoạt động

Thay vì sử dụng các kết quả cơ bản, các sự kiện được ưu

Ω là sự kiện nhất định, ᴓ là sự kiện rỗng

Số lượng tất cả các sự kiện có thể xảy ra là 2

Lê Nguyên Khôi Lý thuyết thông tin 6

Sự kiện - Đặt hoạt động

Lê Nguyên Khôi Lý thuyết thông tin 7

Lê Nguyên Khôi Lý thuyết thông tin

Mô tả sự kiện Kết quả cơ bản của sự kiện

Lê Nguyên Khôi Lý thuyết thông tin 9

Lê Nguyên Khôi Lý thuyết thông tin 10

Sự kiện - Xác suất

Giả sử đó là một sự kiện của một thử nghiệm nào đó:

(), tồn tại một cách tự nhiên, cho thấy cơ hội

Số này bằng 1 nếu là sự kiện nhất định, bằng 0 nếu

Sự kiện - Xác suất

Lê Nguyên Khôi Lý thuyết thông tin 12

Định nghĩa cổ điển về xác suất

Trong trường hợp tất cả các kết quả cơ

Mô tả sự kiện Kết quả cơ bản của sự kiện

Lê Nguyên Khôi Lý thuyết thông tin 13

Một số tính chất của xác suất

Lê Nguyên Khôi Lý thuyết thông tin 14

Một hộp chứa N viên bi được đánh số từ 1 đến N.

Chọn ngẫu nhiên một quả bóng, sau đó trả lại

Xác suất có điều kiện

Mô tả sự kiện Kết quả cơ bản của sự kiện

Lê Nguyên Khôi Lý thuyết thông tin 16

Xác suất có điều kiện

Lê Nguyên Khôi Lý thuyết thông tin 17

Xác suất có điều kiện

Lê Nguyên Khôi Lý thuyết thông tin 18

Xác suất có điều kiện

Xác suất có điều kiện của sự kiện A cho trước B có thể

Xác suất khớp:

Lê Nguyên Khôi Lý thuyết thông tin 19

Xác suất có điều kiện - Ví dụ

Cho một hộp chứa các quả bóng màu trắng và

Giả sử đại diện cho sự kiện “quả bóng duy nhất