Machine Translated by Google

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

XỬ LÝ ẢNH TRỌNG CƠ ĐIỆN TỬ

Thị giác máy

Giảng viên: TS. Nguyễn Thành Hùng

Đơn vị: Bộ môn Điện tử, Viện Cơ khí

Hà Nội, 2021 1
Machine Translated by Google

Chương 6. Phân đoạn hình ảnh

1. Nguyên tắc cơ bản

2. Phát hiện điểm, đường và cạnh

3. Ngưỡng

4. Phân đoạn hình ảnh bằng Deep Learning

2
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

1. Nguyên tắc cơ bản

Gọi R là toàn bộ vùng không gian chứa ảnh. Chúng tôi có thể xem

phân đoạn hình ảnh là một quá trình phân vùng R thành n tiểu vùng, R1 , R2 , …, Rn , sao cho:

trong đó Q(Rk ) là vị từ logic được xác định trên các điểm trong tập Rk và là null
bộ.

3
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

1. Nguyên tắc cơ bản

Hai miền Ri và Rj được gọi là liền kề nếu hợp của chúng tạo thành một liên thông
bộ.

Các miền được gọi là rời nhau nếu tập hợp được hình thành bởi sự hợp của hai miền là
không kết nối.

Vấn đề cơ bản trong phân đoạn là phân chia hình ảnh thành các vùng thỏa mãn các điều
kiện trước đó.

Các thuật toán phân đoạn ảnh đơn sắc nhìn chung dựa trên một trong hai loại cơ bản
liên quan đến tính chất của các giá trị cường độ: tính gián đoạn
và sự tương đồng.

Phân đoạn dựa trên cạnh

Phân khúc theo vùng

4
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

1. Nguyên tắc cơ bản

(a) Hình ảnh của vùng cường độ không đổi. (b) Ranh giới dựa trên sự không liên tục về cường độ. (c) Kết
quả của phân đoạn. (d) Hình ảnh của vùng kết cấu. (e) Kết quả tính toán cường độ không liên tục (lưu
ý số lượng lớn các cạnh nhỏ). (f) Kết quả phân đoạn dựa trên đặc tính vùng.
5
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

1. Nguyên tắc cơ bản

Kỹ thuật phân đoạn ảnh truyền thống

6
Machine Translated by Google

Chương 6. Phân đoạn hình ảnh

1. Nguyên tắc cơ bản

2. Phát hiện điểm, đường và cạnh

3. Ngưỡng

4. Phân đoạn hình ảnh bằng Deep Learning

7
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện những thay đổi cục bộ, rõ rệt về cường độ

Ba loại đặc điểm ảnh: điểm, đường và cạnh biệt lập

Điểm ảnh cạnh: cường độ hình ảnh thay đổi đột ngột

Các cạnh (hoặc các đoạn cạnh): tập hợp các pixel cạnh được kết nối

Bộ dò biên: các công cụ xử lý ảnh cục bộ được thiết kế để phát hiện các điểm ảnh biên

số 8

Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Một dòng:

một đoạn cạnh mỏng (thường)

cường độ của nền ở hai bên đường thẳng cao hơn hoặc thấp hơn nhiều so với
cường độ của các pixel đường thẳng.

“mép mái”

Điểm biệt lập: điểm ảnh nền trước (nền) được bao quanh bởi nền
(tiền cảnh) pixel.

9
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

xấp xỉ đạo hàm cấp một tại một điểm x tùy ý của hàm một chiều f(x)

x = 1 cho mẫu trước x và x = -1 cho mẫu sau x.

10
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

xấp xỉ đạo hàm cấp một tại một điểm x tùy ý của hàm một chiều f(x)

11
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

Chênh lệch kỳ hạn

Sự khác biệt lạc hậu

12
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

Sự khác biệt trung tâm

Đạo hàm bậc hai dựa trên sai phân trung tâm

13
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

14
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

Đối với hai biến

15
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

16
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Bối cảnh

Hạt nhân lọc không gian

Trong đó zk là cường độ của pixel có vị trí không gian

tương ứng với vị trí của hệ số hạt nhân thứ k.

Một hạt nhân lọc không gian 3x3

chung. W là các hệ số hạt nhân (trọng số).
17
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện các điểm biệt lập

Tiếng Laplacian

Điểm được phát hiện

18
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện các điểm biệt lập

Ví dụ

(a) Hạt nhân Laplacian được sử dụng để phát hiện điểm. (b) Ảnh X-quang của cánh tuabin có độ xốp được biểu hiện bằng
một điểm ảnh màu đen. (c) Kết quả của việc kết hợp hạt nhân với hình ảnh. ( d ) Kết quả của việc sử dụng phương
trình. (10-15) là một điểm duy nhất (được phóng to ở đầu mũi tên).
19
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện dòng

VÍ DỤ: Sử dụng Laplacian để phát hiện dòng.

(a) Ảnh gốc. (b) Hình ảnh Laplacian; phần được phóng to cho thấy đặc tính hiệu ứng đường đôi dương/âm của
Laplacian. (c) Giá trị tuyệt đối của Laplacian. (d) Giá trị dương của Laplacian.

20
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện dòng

VÍ DỤ: Phát hiện các đường theo hướng xác định.

Hạt nhân phát hiện dòng. Các góc phát hiện tương ứng với hệ trục trong hình trên, với các
góc dương được đo ngược chiều kim đồng hồ so với trục x (dọc).
21
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện dòng

VÍ DỤ: Phát hiện các đường theo hướng xác định.

22
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Mô hình cạnh

Cạnh bậc thang Cạnh đoạn đường nối Mép mái

23
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Mô hình cạnh

Hình ảnh có kích thước 1508x1970 hiển thị các

mặt cắt đoạn đường nối (phía dưới, bên

trái), bậc thang (trên cùng, bên phải)

thực tế (phóng to) và cạnh mái. Các đường

nét từ tối đến sáng, trong các khu vực được bao

quanh bởi các vòng tròn nhỏ. Cấu hình đoạn đường

nối và bậc thang lần lượt có kích thước 9 pixel

và 2 pixel. Nền của cạnh mái là 3 pixel.

24
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Mô hình biên

(a) Hai vùng có

cường độ không đổi
được ngăn cách bởi một
cạnh dốc lý tưởng. (b)
Chi tiết gần rìa, hiển
thị cấu hình cường độ
ngang và các đạo hàm
thứ nhất và thứ hai của nó.

25
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Hành vi của đạo hàm bậc nhất và đạo hàm bậc hai trong vùng nhiễu
bờ rìa.

26
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Hành vi của đạo hàm bậc nhất và đạo hàm bậc hai trong vùng nhiễu
bờ rìa.

27
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh

Ba bước được thực hiện điển hình để phát hiện cạnh là:

Làm mịn ảnh để giảm nhiễu.

Phát hiện các điểm biên.

Bản địa hóa cạnh.

28
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Chuyển màu hình ảnh và các thuộc tính của nó

Kích cỡ:

Hướng của vectơ gradient:

29
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

VÍ DỤ: Tính gradient.

Sử dụng gradient để xác định cường độ cạnh và hướng tại một điểm. Lưu ý rằng hướng của cạnh
vuông góc với hướng của vectơ độ dốc tại điểm tính độ dốc. Mỗi ô vuông đại diện cho một
pixel.

30
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Toán tử chuyển màu

31
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Toán tử chuyển màu

32
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Hạt la bàn Kirsch

Hạt nhân la bàn Kirsch. Hướng cạnh của phản ứng mạnh nhất của mỗi hạt nhân được dán nhãn bên dưới nó.

33
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Minh họa độ lớn và góc gradient 2-D.

Đáp ứng giá trị tuyệt đối Sobel của hai thành phần gradient
34
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Minh họa độ lớn và góc gradient 2-D.

Hình ảnh góc dốc

35
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Minh họa độ lớn và góc gradient 2-D.

Hình ảnh gốc được làm mịn bằng hạt nhân trung bình 5x5 trước khi phát hiện cạnh.
36
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Minh họa độ lớn và góc gradient 2-D.

Phát hiện cạnh chéo. (a) Kết quả của việc sử dụng hạt nhân Kirsch trong Hình 10.15(c) . (b)

Kết quả sử dụng kernel ở Hình 10.15(d). Hình ảnh đầu vào trong cả hai trường hợp là
Hình 10.18(a).

37
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Kết hợp Dải màu với Ngưỡng

(a) Kết quả của việc đặt ngưỡng Hình 10.16(d), độ dốc của ảnh gốc. (b)
Kết quả của việc đặt ngưỡng Hình 10.18(d), độ dốc của ảnh được làm mịn.

38
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Canny Edge Detector: ba mục tiêu cơ bản

Tỷ lệ lỗi thấp

Các điểm biên cần được định vị tốt

Đáp ứng điểm cạnh đơn

39
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Canny Edge Detector: ba mục tiêu cơ bản

Hàm Gaussian:

tích chập f và G:

40
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Máy dò cạnh Canny:

(a) Hai hướng có thể có của (b) Phạm vi giá trị (được tô (c) Phạm vi góc của các pháp
cạnh ngang (được tô bóng) bóng) của , góc hướng pháp tuyến tuyến cạnh cho bốn loại hướng cạnh
trong vùng lân cận 3x3. của cạnh đối với cạnh nằm ngang. trong vùng lân cận 3x3.

41
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Máy dò cạnh Canny:

Ngăn chặn không tối đa: tìm pixel có giá trị lớn nhất trong một
bờ rìa

r = αb + (1 α)a

Ngăn chặn không tối đa bằng phép nội suy Không nội suy
42
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Máy dò cạnh Canny:

Ngưỡng kép

43
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Máy dò cạnh Canny:

Phân tích kết nối

44
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Thuật toán phát hiện biên Canny gồm các bước sau:

Làm mịn ảnh đầu vào bằng bộ lọc Gaussian.

Tính toán độ lớn gradient và góc ảnh.

Áp dụng triệt tiêu không cực đại cho ảnh cường độ gradient.

Sử dụng ngưỡng kép và phân tích kết nối để phát hiện và liên kết các cạnh.

45
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

(a) Ảnh gốc có kích thước

834x1114 pixel, với các giá trị
cường độ được chia tỷ lệ theo
phạm vi [0, 1]. (b) Độ dốc
ngưỡng của hình ảnh được làm mịn. (
Hình ảnh thu được bằng
thuật toán Marr-Hildreth. (d)
Hình ảnh thu được bằng
thuật toán Canny. Lưu ý sự
cải thiện đáng kể của hình ảnh
Canny so với hai hình ảnh
còn lại.

46
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện cạnh cơ bản

Phát hiện đường thẳng bằng phép biến đổi Hough

(a) mặt phẳng xy. (b) Không gian tham số.

47
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

Phát hiện đường thẳng bằng phép biến đổi Hough

48
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Một số tính chất cơ bản của biến đổi Hough.

(a) Ảnh có kích thước 101x101

pixel, chứa năm điểm trắng (bốn ở (b) Không gian tham số tương ứng.
góc và một ở giữa).
49
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

2. Phát hiện điểm, đường và cạnh

VÍ DỤ: Biến đổi Hough phát hiện đường thẳng.

(a) Hình ảnh chụp từ trên không của

một sân bay có kích thước 502x564.
(b) Bản đồ cạnh thu được bằng thuật toán
Canny. (c) Không gian tham số
Hough (các hộp đánh dấu các điểm liên
quan đến các đường thẳng đứng dài). (d)
Các đường trong mặt phẳng ảnh tương
ứng với các điểm được đánh dấu bằng các hộp. (
Các dòng chồng lên ảnh gốc .

50
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

Chương 6. Phân đoạn hình ảnh

1. Nguyên tắc cơ bản

2. Phát hiện điểm, đường và cạnh

3. Ngưỡng

4. Phân đoạn hình ảnh bằng Deep Learning

51
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Cơ bản về Ngưỡng cường độ

Ngưỡng đơn

Nhiều ngưỡng

52
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Cơ bản về Ngưỡng cường độ

Biểu đồ cường độ có thể được phân chia (a) theo một ngưỡng duy nhất và (b) theo ngưỡng kép.

53
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Vai trò của nhiễu trong việc xác định ngưỡng ảnh

(a) Hình ảnh 8 bit không

nhiễu. (b) Hình ảnh có
nhiễu Gaussian cộng có giá
trị trung bình là 0 và độ

lệch chuẩn là 10 mức cường độ. (c)

Hình ảnh có nhiễu
Gaussian bổ sung có giá trị
trung bình là 0 và độ lệch

chuẩn là 50 mức cường

độ. (d) đến (f) Biểu đồ
tương ứng.

54
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Vai trò của độ sáng và độ phản xạ trong việc xác định ngưỡng ảnh

(a) Hình ảnh nhiễu. (b)

Độ dốc cường độ trong phạm
vi [0,2, 0,6]. (c) Tích của
(a) và (b). (d) đến (f)
Biểu đồ tương ứng.

55
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Ngưỡng toàn cầu cơ bản

Thuật toán lặp

Chọn ước tính ban đầu cho ngưỡng toàn cầu, T.

Phân đoạn hình ảnh sử dụng T trong biểu thức. (1). Điều này sẽ tạo ra hai nhóm pixel: G1 , bao gồm
các pixel có giá trị cường độ > T và G2 , bao gồm các pixel có giá trị T.

Tính giá trị cường độ trung bình (trung bình) m1 và m2 cho các pixel trong G1 và G2
tương ứng.

Tính giá trị ngưỡng mới ở giữa m1 và m2 :

Lặp lại các bước từ 2 đến 4 cho đến khi chênh lệch giữa các giá trị của T trong các lần lặp liên tiếp là
nhỏ hơn giá trị được xác định trước, T

56
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

VÍ DỤ: Ngưỡng toàn cục

(a) Dấu vân tay ồn ào. ( b ) Biểu đồ. (c) Kết quả được phân đoạn sử dụng ngưỡng
chung (đường viền hình ảnh mỏng được thêm vào để rõ ràng).
57
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Ngưỡng toàn cầu tối ưu sử dụng phương pháp của Otsu

58
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Ngưỡng toàn cầu tối ưu sử dụng phương pháp của Otsu

(a) Ảnh gốc. (b) Biểu đồ (các đỉnh cao được cắt

bớt để làm nổi bật các chi tiết ở giá trị thấp hơn).

(c) Kết quả phân đoạn bằng thuật toán tổng thể cơ bản.

(d)

Kết quả sử dụng phương pháp của Otsu.

59
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Sử dụng tính năng Làm mịn Hình ảnh để Cải thiện Ngưỡng Toàn cầu

(a) Ảnh nhiễu và (b) biểu

đồ của nó. (c) Kết quả thu được
bằng phương pháp của Otsu. (d)
Ảnh nhiễu được làm mịn bằng
hạt nhân trung bình 5x5 và
(e) biểu đồ của nó. (f)
Kết quả phân ngưỡng theo
phương pháp Otsu.

60
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Sử dụng tính năng Làm mịn Hình ảnh để Cải thiện Ngưỡng Toàn cầu

(a) Ảnh nhiễu và (b) biểu đồ

của nó. (c) Kết quả thu được bằng
phương pháp của Otsu. (d) Ảnh
nhiễu được làm mịn bằng hạt
nhân trung bình 5x5 và (e)
biểu đồ của nó. (f) Kết
quả phân ngưỡng theo phương
pháp Otsu. Ngưỡng không thành
công trong cả hai trường

hợp để trích xuất đối tượng quan tâm.

61
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

Sử dụng các cạnh để cải thiện ngưỡng toàn cầu

(a) Ảnh nhiễu và (b) biểu
đồ của nó. (c) Ảnh mặt nạ
được tạo thành dưới
dạng ảnh cường độ gradient
ngưỡng ở mức 99,7 phần

trăm. (d) Ảnh tạo

thành từ tích của (a) và (c).
(e) Biểu đồ của các pixel
khác 0 trong ảnh ở (d).
(f) Kết quả phân đoạn ảnh
(a) với ngưỡng Otsu dựa
trên biểu đồ trong (e).

Ngưỡng là 134, nằm ở khoảng

giữa các đỉnh trong biểu đồ
này.

62
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

VÍ DỤ: Sử dụng thông tin biên dựa trên Laplacian để cải thiện toàn cầu
ngưỡng.

(a) Hình ảnh của tế bào nấm men. (b) Biểu đồ

của (a). (c) Phân đoạn (a) bằng phương pháp
của Otsu bằng biểu đồ trong (b). (d) Ảnh
mặt nạ được hình thành bằng cách tạo ngưỡng cho
ảnh Laplacian tuyệt đối. (e) Biểu đồ của các
pixel khác 0 trong tích của (a) và (d). (f)
Ảnh gốc được ngưỡng bằng phương pháp của Otsu
dựa trên biểu đồ trong (e).

63
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

3. Ngưỡng

VÍ DỤ: Nhiều ngưỡng toàn cục

(a) Hình ảnh của một tảng băng trôi. ( b ) Biểu đồ. (c) Hình ảnh được phân chia thành
ba vùng sử dụng ngưỡng Otsu kép.

64
Rafael C. Gonzalez, Richard E. Woods, “Xử lý hình ảnh kỹ thuật số,” Pearson (2018).
Machine Translated by Google

Chương 6. Phân đoạn hình ảnh

1. Nguyên tắc cơ bản

2. Phát hiện điểm, đường và cạnh

3. Ngưỡng

4. Phân đoạn hình ảnh bằng Deep Learning

65
https://viso.ai/deep-learning/image-segmentation-USE-deep-learning/. Truy cập ngày 20 tháng 10 năm 2021.
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Các loại tác vụ Phân đoạn ảnh

Phân đoạn ngữ nghĩa: phân loại các pixel trong ảnh thành các phân đoạn ngữ nghĩa
các lớp học

Phân đoạn trường hợp: phân loại pixel thành các danh mục trên cơ sở “các trường
hợp” hơn là các lớp

Phân đoạn toàn cảnh: sự kết hợp giữa phân đoạn theo ngữ nghĩa và phân đoạn thực thể
trong đó mỗi phiên bản của một đối tượng trong ảnh được tách biệt và dự đoán danh tính
của đối tượng

66
Giới thiệu nhẹ nhàng về Phân đoạn hình ảnh cho Machine Learning (v7labs.com)
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Các loại tác vụ Phân đoạn ảnh

67
Giới thiệu nhẹ nhàng về Phân đoạn hình ảnh cho Machine Learning (v7labs.com)
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Phương pháp dựa trên Deep Learning

Các mô hình phân đoạn theo ngữ nghĩa cung cấp bản đồ phân đoạn dưới dạng đầu ra tương ứng với
đầu vào mà chúng được cung cấp.

68
Giới thiệu nhẹ nhàng về Phân đoạn hình ảnh cho Machine Learning (v7labs.com)
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Phương pháp dựa trên Deep Learning

Giống như hầu hết các ứng dụng khác, việc sử dụng CNN để phân đoạn ngữ nghĩa là
sự lựa chọn hiển nhiên.

Khi sử dụng CNN để phân đoạn theo ngữ nghĩa, đầu ra cũng là một hình ảnh chứ không
phải là một vectơ có độ dài cố định.

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
69
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Mạng nơ ron tích chập để phân đoạn

Kiến trúc của mô hình bao gồm một số lớp tích chập, kích hoạt phi tuyến tính ,
chuẩn hóa hàng loạt và các lớp gộp

Các lớp đầu tiên học các khái niệm cấp thấp như cạnh và màu sắc

Các lớp cấp độ sau học các khái niệm cấp độ cao hơn như các đối tượng khác nhau

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
70
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Mạng nơ ron tích chập để phân đoạn

Tensor không gian được lấy mẫu xuống và chuyển thành vectơ
71
Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Mạng nơ ron tích chập để phân đoạn

Kiến trúc mã hóa-giải mã

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
72
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Bỏ qua kết nối

Bộ mã hóa-Giải mã có bỏ qua kết nối

73
Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Chuyển tiếp học tập

Chuyển giao học tập cho phân khúc

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
74
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Hàm mất mát

Mỗi pixel của đầu ra của mạng được so sánh với pixel tương ứng trong ảnh phân
đoạn thực tế mặt đất. Chúng tôi áp dụng tính năng mất entropy chéo tiêu chuẩn
trên từng pixel.

Trong phân loại nhị phân, trong đó số lớp M bằng 2, entropy chéo
có thể được tính như sau:

Nếu M>2 (tức là phân loại nhiều lớp), chúng tôi tính toán tổn
thất riêng cho từng nhãn lớp cho mỗi quan sát và tính tổng kết quả.

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
75
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Tập dữ liệu: Bước đầu tiên trong quá trình huấn luyện mô hình phân đoạn của chúng ta là chuẩn bị
tập dữ liệu.

Tăng cường dữ liệu:

Ví dụ về tăng cường hình ảnh để phân đoạn

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
76
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Xây dựng mô hình: xác định mô hình phân đoạn của chúng tôi với các kết nối bỏ qua

Lựa chọn mô hình:

Lựa chọn mô hình cơ sở: chọn mạng cơ sở phù hợp ResNet, VGG-
16, MobileNet, CNN tùy chỉnh, …

Lựa chọn kiến trúc phân đoạn: FCN, SegNet, UNet, PSPNet, …

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
77
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Kiến trúc của FCN32

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
78
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Kiến trúc của SegNet

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
79
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Kiến trúc của UNet

Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
80
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Kiến trúc của PSPNet

81
Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Chọn kích thước đầu vào: Nếu trong ảnh có số lượng lớn đối tượng thì kích thước
đầu vào sẽ lớn hơn. Kích thước đầu vào tiêu chuẩn nằm trong khoảng từ 200x200
đến 600x600.

Huấn luyện: đầu ra là trọng số của mô hình

Kiểm tra: lấy dự đoán từ mô hình đã lưu

82
Hướng dẫn dành cho người mới bắt đầu về Phân đoạn ngữ nghĩa dựa trên Deep Learning bằng Keras | Divam Gupta
Machine Translated by Google

4. Phân đoạn hình ảnh bằng Deep Learning

Thực hiện

Kết quả phân đoạn ảnh của

DeepLabV3 trên ảnh mẫu.
Nguồn ảnh:
https://arxiv.org/pdf/2001.05566.
pdf

83