Thông tin về học phần

IT4O90 1. Tên học phần:

XỬ LÝ ẢNH (Image Processing)
Xử lý ảnh 2. Mã số: IT4090
3. Khối lượng: 2(2-1-0-4)
(Digital Image Processing) – Lý thuyết: 30 tiết
– Bài tập lớn: 15 tiết
Viện CNTT&TT - ĐHBK Hà Nội – Thí nghiệm : 0

GV: PGS. TS Nguyễn Thị Hoàng Lan

Email: lannth@soict.hust.edu.vn
lan.nguyenthihoang@hust.edu.vn
N.T. Hoàng Lan - ĐHBK HN 1 2

1 2

Nội dung học phần Sách tham khảo chính

• Giới thiệu chung về xử lý ảnh.
• Tạo thành ảnh, cảm nhận ảnh và biểu diễn ảnh số
• Thu nhận ảnh và số hoá ảnh
• Các phép xử lý cơ sở ảnh số
• Cải thiện, tăng cường ảnh
• Phát hiện, tách biên và trích chọn đặc trưng ảnh
• Phân vùng ảnh
• Tổng quan về thị giác máy (option *)
1. A.K. Jain, “Fundamental of Digital Image Processing ”, Prentice
Hall, Englewood Cliffs, 1989-2002
2. W.K. Pratt “Digital Image Processing”, 4th Edition, John Wiley &
Sons, NewYork 2007
3. L.T Young et all, “Fundamental of Digital Image Processing”,
Delft University of Technology, Netherlands, 1998.
4. Rafael C Gonzalez & R.E. Woods, “Digital Image Processing”,
4th Edition, Prentice Hall 2002.
5. B. Janhne “Digital Image Processing”, Springer, NewYork 1995 -
2002
6. Richard Szeliski “Computer Vision: Algorithms and Applications”.
Springer 2011.http://szeliski.org/Book/

3 N.T. Hoàng Lan - ĐHBK HN 4

3 4
 Các khái niệm
Chương 1
 Ảnh: Thông tin về vật thể hay quang cảnh được chiếu sáng mà con người
Giới thiệu chung về xử lý ảnh quan sát và cảm nhận được bằng mắt và hệ thống thần kinh thị giác.
 Nguồn gốc ảnh: Ảnh chụp (Natural Image), Ảnh vẽ (Tranh,ảnh đồ họa)
(Digital Image Processing)
 Xử lý ảnh số: Các phương pháp xử lý dữ liệu ảnh số được thực hiện bằng
• Một số khái niệm phần mềm máy tính, tạo ra hệ thống máy tính ứng dụng có khả năng quan sát,
• Liên quan giữa Xử lý ảnh và Thị giác máy xử lý và hiểu được ảnh, giúp cho con người có thể “nhìn” ở những nơi mà con
người không tới được hoặc xử lý thay đổi ảnh theo yêu cầu. Dữ liệu ảnh chụp
• Tổng quan hệ thống xử lý ảnh số có nguồn gốc từ tín hiệu ảnh, đặc trưng bởi biên độ và dải tần số. Có sự phân
biệt giữa mục đích của lý ảnh với đồ họa (graphic). Mục đích của đồ họa là vẽ
• Các vấn đề xử lý ảnh và xử lý ảnh động ảnh bằng máy tính, đối tượng xử lý của đồ họa là ảnh vẽ - ảnh nhân tạo.
• Các lĩnh vực ứng dụng của xử lý ảnh và  Hệ thống xử lý ảnh: Thu nhận (capture) cảnh hoặc ảnh ở đầu vào, thực hiện
video các phép xử lý để tạo ra một ảnh ở đầu ra thỏa mãn các yêu cầu về cảm thụ
(hiệu chỉnh sửa chữa, cải thiện) và thực hiện quá trình phân tích rút ra các đặc
trưng của ảnh để cho phép hiểu được nội dung khung cảnh ảnh.
N.T. Hoàng Lan - ĐHBK HN 5 N.T. Hoàng Lan - ĐHBK HN 6

5 6

Khái niệm về ảnh số Ảnh tĩnh (Still Image), ảnh động (Motion
Ma trận các phần tử ảnh (pixels) Image) – chuỗi ảnh, video
Ảnh tĩnh (Image): biểu diễn Chuỗi ảnh (Sequence Image):
bởi hàm độ chói của các biến Hàm độ chói của các biến
tọa độ trong mặt phẳng ảnh tọa độ mặt phẳng và biến
y thời gian I(x,y,t)
I(x,y)
Gray level
y y
x t
pixel
Original picture Digital image
f(x, y) I[i, j] or I[x, y]
x x

N.T. Hoàng Lan - ĐHBK HN 7 N.T. Hoàng Lan - ĐHBK HN 8

7 8
 Ảnh số, các phép xử lý số Ảnh số (Digital image)
x
¶nh sè • For an image I(x,y)
– Index (0,0): Top left corner
BiÓu diÔn : ma trËn sè liÖu
– I(x,y): intensity of pixel at
- ¶nh nhÞ ph©n : 1 bit/pixel the position (x,y) y
- ¶nh x¸m : 8 bits/pixel
- ¶nh mµu : 16, 24 bits/pixel
RGB, YUV, HSL, YCbCr …
Xö lý : HiÓn thÞ so¹n th¶o (Editing), c¸c phÐp to¸n ®iÓm ¶nh
(Point operations), c¸c lo¹i bé läc (Filtering), ph©n vïng ¶nh
(segmentation), xö lý h×nh häc, (Geometric transform)

N.T. Hoàng Lan - ĐHBK HN 9 10

9 10

Khái niệm ảnh động, chuỗi ảnh Liên quan giữa Xử lý ảnh và
(Motion image – video) Thị giác máy
• Video : chuçi c¸c frame ¶nh
(khung h×nh), quan hÖ thêi gian gi÷a
c¸c frame biÓu diÔn ¶nh ®éng
• TÇn sè vµ ®é ph©n gi¶i
- NTSC ( US, Japon):
525 lines, 60 frames/s, 30 images/s
- PAL (EU):
625 lines, 50 frames/s, 25 images/s
time
- SECAM (France): 625 lines, 50 frames/s, 25 images/s
- Film : 24 images/s

N.T. Hoàng Lan - ĐHBK HN 11 Digital Image Processing 12

Nguyen Thi Hoang Lan ĐHBK HN

11 12
 Liên quan giữa Xử lý ảnh và Thị giác máy
• Thị giác máy tính (Computer Vision): Thị giác máy có thể được định nghĩa
Tổng quan hệ thống xử lý ảnh số
bao gồm lý thuyết và công nghệ để xây dựng hệ thống nhìn nhân tạo có khả
năng quan sát thu nhận thông tin từ quang cảnh, nhận diện các đối tượng, Sơ đồ khối chức năng hệ thống xử lý ảnh
hiểu được khung cảnh trong thế giới thực như hệ thống thị giác con người
(Human Vision)
K h un g c¶ nh ,
• Hệ thống thị giác máy : Hệ thống là sự kết hợp nhiều lĩnh vực, nhiều môn ®èi t­în g, T Ýn h iÖu D ÷ liÖu ¶nh
¶n h q u an g h äc B é c¶m ¶n h ¶n h X ö lý ®· x ö lý
học trong đó có xử lý ảnh, xử lý dữ liệu đa chiều, nhận dạng, học máy, AI… b iÕn
S è h ãa
¶n h ph ©n tÝch
(ca m era) ¶ nh M iªu t¶ ¶nh ,
“Obviously, with an interdisciplinary nature, this area involves fundamental ¶ nh sè ¶n h ®«i t­în g ¶n h,
Q u an g häc liªn tôc
®Æc tr­ ng ¶n h .
research in image processing, computer vision, computer graphics, machine
learning, pattern recognition, biomechanics and even psychology”
• Hệ thống thị giác máy bao gồm thiết bị quan sát (camera) thu nhận thông tịn
dữ liệu ảnh, cảnh và hệ thống xử lý dữ liệu ảnh, video bao gồm nhiều mô đun N Ðn, l­ u tr÷
chức năng tùy theo mục đích ứng dụng, các mức xử lý gồm: vµ tru yÒn ¶nh

 Image Formation
 Low-level Image Processing: Low-level Vision .
13
 Middle-level Vision
 High-level Vision
Digital Image Processing N.T. Hoàng Lan - ĐHBK HN 14
Nguyen Thi Hoang Lan ĐHBK HN

13 14

Phân tích ảnh và thị giác máy

Các vấn đề của xử lý ảnh số
• Thu nhận ảnh, chụp ảnh và số hóa ảnh
- Hệ thống chụp ảnh (camera) và tín hiệu ảnh
- Hệ thống số hóa ảnh: lấy mẫu, lượng tử hóa
• Phân tích ảnh và thị giác máy
- Cải thiên nâng cấp ảnh, khôi phục ảnh
- Phân tách đặc trưng : tách biên, phân vùng ảnh
- Biểu diễn và xử lý đặc trưng hình dạng đối tượng ảnh
- Phát hiện, nhận dạng đối tượng ảnh, phân tích ảnh, cảnh
và hiểu ảnh, thị giác máy..
• Mã hóa, nén ảnh
Các phương pháp mã hóa nén dữ liệu ảnh, các chuẩn nén
N.T. Hoàng Lan - ĐHBK HN
• Cải thiện, nâng cấp ảnh
- Cải thiện tăng cường độ cảm thụ: Thay đổi độ tương phản, màu sắc,
hiệu chỉnh, sửa chữa ảnh, phục chế ảnh
- Cải thiện nâng cao chất lượng ảnh: Lọc nhiễu, lọc tăng độ nét
• Xử lý phân tích và thị giác máy
- Phát hiện và tách cạch, biên đối tượng ảnh
- Phân vùng ảnh
- Nhận dạng đối tượng ảnh và phân tích cảnh
• Biểu diễn đối tượng ảnh nhị phân và xử lý ảnh nhị phân
- Biểu diễn và mã hoá ảnh nhị phân
- Các phép xử lý hình thể, biến hình
- Các phương pháp phát hiện xương ảnh và tìm xương ảnh
- Các biểu diễn tham số hình dạng
15 N.T. Hoàng Lan - ĐHBK HN 16

15 16
 Xử lý ảnh động, video số Các vấn đề xử lý video (ảnh động)

a)
I1 I2
VIDEO VIDEO FRAMESTORE VIDEO VIDEO
IN OUT détection estimation segmentation
INPUT MEMORY OUTPUT

1
2

b) c) d)

• Phát hiện và đánh giá chuyển động (Motion Detection, Estimation)

COMPUTER • Phân vùng chuyển động, phân tách chuyển động (Segmentation)
INTERFACE Phân tích ảnh động (chuỗi ảnh), phân tích cảnh động và hiểu cảnh.
• Mã hóa nén ảnh video.
N.T. Hoàng Lan - ĐHBK HN 17 N.T. Hoàng Lan - ĐHBK HN 18

17 18

Các ví dụ biểu diễn ảnh số

Biểu diễn ảnh số
Ảnh số: Tín hiệu số 2D
Dữ liệu ảnh: Giá trị pixel, mẫu tín hiệu
pixel
or
pel

Video số: Tín hiệu ảnh số 3D

colors:
y combination
t of RGB

x
N.T. Hoàng Lan - ĐHBK HN 19 N.T. Hoàng Lan - ĐHBK HN 20

19 20
 Các lĩnh vực ứng dụng của Các ứng dụng của xử lý ảnh động,
xử lý ảnh video
• Thông tin ảnh, truyền thông ảnh
• Nén video, truyền thông video, truyền hình số.
• Xử lý ảnh vệ tinh, viễn thám
• Thiên văn, nghiên cứu không gian, vũ trụ, • Giám sát theo dõi phát hiện chuyển động,
• Địa chất thăm dò • Điều khiển lưu lượng chuyển động,
• Ngươời máy, tự động hoá
• Máy thông minh, thị giác máy nhân tạo • Xử lý ảnh vệ tinh, ảnh viễn thám,
• Sinh học, • Người máy chuyển động,
• Y học
• Quốc phòng an ninh,
• Vật lý, Hoá học
• Giám sát kiểm soát, Quân sự • Y sinh học
• Xử lý ảnh theo yêu cầu phục vụ cuộc sống • Vật lý …
N.T. Hoàng Lan - ĐHBK HN 21 N.T. Hoàng Lan - ĐHBK HN 22

21 22

Ví dụ: Phát hiện và tách biên, trích chọn đặc

Các ứng dụng xử lý ảnh và thị giác máy trưng, nhận dạng đối tượng

• Công cụ biên tập ảnh, sửa ảnh (thêm, bớt, sửa, xóa), nâng
cấp ảnh theo yêu cầu
• Công cụ lọc nhiễu, làm trơn, cải thiện ảnh
• Nhận dạng đối tượng (Object Recognition)
• Nhận dạng ký tự (Optical character recognition - OCR)
• Nhận diện khuôn mặt (Face Detection):
• Hệ thống xác thực vân tay (Fingerprint Verification)
• Hệ thống xác thực chữ ký viết tay
• Phát hiện và theo dõi đối tượng chuyển động trong video
• Phát hiện và theo dõi người chuyển động ….
Digital Image Processing 23 Digital Image Processing 24
Nguyen Thi Hoang Lan ĐHBK HN Nguyen Thi Hoang Lan ĐHBK HN

23 24
 Ví dụ: Phát hiện khuôn mặt trong ảnh Ví dụ: Nhận dạng ký tự
(Face Detection) Optical character recognition (OCR)

License plate readers

Digit recognition,(AT&T labs) http://en.wikipedia.org/wiki/Automatic_number_pl
ate_recognition

Source: from S. Seitz

Source: from S. Seitz
25 26

25 26

Các ví dụ: An ninh sinh trắc học Lập trình xử lý ảnh

Các yêu cầu cho bài tập lập trình:
– Biometrics iris, fingerprint, face recognition
1. Tìm hiểu và cài đặt môi trường lập trình công cụ XLA :
– Surveillance-detecting certain suspicious OpenCV, Python, Matlab (tùy chọn công cụ)
activities or behaviors
2. Tìm hiểu tổng quan các hàm xử lý ảnh/ các tool PM về XLA,
–… CV của OpenCV, Python, Matlab
3. Tìm hiểu về định dạng ảnh, màu săc, cấu trúc dữ liệu ảnh hiển
thị, định dạng file dữ liệu ảnh
4. Áp dụng các hàm, các gói công cụ PM thực hiện triển khai
các nhiệm vụ của bài tập lập trình XLA (theo yêu cầu của các
Face recognition systems đề bài tập)
Fingerprint scanners
Source: from S. Seitz
27 N.T. Hoàng Lan - ĐHBK HN 28

27 28