ĐẠI HỌC QUỐC GIA TP.

HCM
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ SINH VIÊN NĂM 2022

Tên đề tài tiếng Việt:

NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO
DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

Tên đề tài tiếng Anh:

ADVANCED VIDEO CODING BASED ON H.264
COMPRESSION STANDARD INTEGRATED ON SMART CAMERA SYSTEM

Khoa/ Bộ môn: Kỹ thuật máy tính

Thời gian thực hiện: 12/7/2022 – 12/12/2022
Cán bộ hướng dẫn: TS. Nguyễn Minh Sơn
Tham gia thực hiện
Chịu trách
TT Họ và tên, MSSV Điện thoại Email
nhiệm
1. Phan Công Duy Khiêm Chủ nhiệm 0925212443 19520627@gm.uit.ed
u.vn
2. Bùi Đăng Huy Tham gia 0392211585 21520039@gm.uit.ed
u.vn

Thành phố Hồ Chí Minh – Tháng ...... /20..

 Ngày nhận hồ sơ
ĐẠI HỌC QUỐC GIA TP. HCM
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Mã số đề tài

(Do CQ quản lý ghi)

BÁO CÁO TỔNG KẾT

Tên đề tài tiếng Việt:

NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO
DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

Tên đề tài tiếng Anh:

ADVANCED VIDEO CODING BASED ON H.264
COMPRESSION STANDARD INTEGRATED ON SMART CAMERA SYSTEM

Ngày ... tháng ...... năm .... Ngày ... tháng ...... năm ....
Cán bộ hướng dẫn Sinh viên chủ nhiệm đề tài
(Họ tên và chữ ký) (Họ tên và chữ ký)
 THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1. Thông tin chung:

- Tên đề tài: Nghiên cứu tích hợp thuật toán mã hóa video dựa trên chuẩn
h.264 trên hệ thống smart camera
- Chủ nhiệm: Phan Công Duy Khiêm
- Thành viên tham gia: Bùi Đăng Huy
- Cơ quan chủ trì: Trường Đại học Công nghệ Thông tin.
- Thời gian thực hiện: 12/7/2022 – 12/12/2022
2. Mục tiêu:
Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264 từ đó
tích hợp để cải tiến quá trình streaming trên hệ thống smart camera cho phép
stream với độ trễ thấp hơn và chất lượng cao hơn. Gstreamer framework sẽ được
sử dụng như kênh tích hợp bộ giải mã H.264 trước khi stream nội dung lên
server , nội dung nghiên cứu có thể tóm tắt theo các mục bên dưới:
- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera trên
board Ultra96v2.
- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA.
- Nghiên cứu tối ưu tốc độ streaming lên local server.
3. Tính mới và sáng tạo:
Chuẩn nén video H.264 hoặc MPEG-4 Part 10 hỗ trợ cải thiện tốc độ
streaming bằng việc nén các file video với dung lượng cao thành các file có dung
lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của việc
giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho video. Chuẩn
mã hóa video này có thể nâng cao hiệu suất streaming video so với các công
nghệ truyền thống (MPEG-2, H.263,...). Việc tích hợp chuẩn nén H.264 vào hệ
thống smart camera không làm tăng sự phức tạp của thiết kế, không tốn kém
thêm chi phí vận hành nhưng đảm bảo đáp ứng đầy đủ các tiêu chí cho một hệ
thống giám sát: cung cấp sự linh hoạt cần thiết để triển khai hệ thống trên các hạ
tầng mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ nguyên
độ phân giải video, tối ưu quá trình streaming, giảm dung lượng lưu trữ, tương
thích tốt với giao thức RTP/IP.
4. Tóm tắt kết quả nghiên cứu:
Nhóm đã nghiên cứu và áp dụng kết quả vào nghiên cứu xây dựng bộ giải mã/
mã hóa H.264 trên board Xilinx Zynq 7000. Toàn bộ quá trình xây dựng được
thực hiện bằng công cụ Vivado Vivado HLS.

6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:
7. Hình ảnh, sơ đồ minh họa chính
5. Tên sản phẩm:

IP tích hợp Encoder/Decoder H.264 cho Xilinx Zynq7000 FPGA.

6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp
dụng:
Thiết kế dựa trên ngôn ngữ RTL được đóng gói thành một Custom IP với
các ngõ vào và ngõ ra tương ứng, phù hợp để triển khai các hệ thống sử dụng bộ
giải mã H.264 được thiết kế dựa trên Zynq7000 FPGA. IP có thể được thêm vào
dự án qua tính năng IP Integrator được tích hợp sẵn trên công cụ Vivado. Điều
này góp phần tiết kiệm thời gian cũng như chi phí thiết kế cho các hệ thống thị
giác có ứng dụng chuẩn nén hình ảnh H.264.
7. Hình ảnh, sơ đồ minh họa chính :
Hình 3: sơ đồ khối thiết kế IP H.264

Hình 4: quy trình xử lý IP H.264

 Hình 5: quy trình xử lý IP H.264

Cơ quan Chủ trì Chủ nhiệm đề tài

(ký, họ và tên, đóng dấu) (ký, họ và tên)
 THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1. Thông tin chung:

- Tên đề tài: Nghiên cứu tích hợp thuật toán mã hóa video dựa trên chuẩn
h.264 trên hệ thống smart camera
- Chủ nhiệm: Phan Công Duy Khiêm
- Thành viên tham gia: Bùi Đăng Huy
- Cơ quan chủ trì: Trường Đại học Công nghệ Thông tin.
- Thời gian thực hiện: 12/7/2022 – 12/12/2022
2. Mục tiêu:
Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264 từ đó
tích hợp để cải tiến quá trình streaming trên hệ thống smart camera cho phép
stream với độ trễ thấp hơn và chất lượng cao hơn. Gstreamer framework sẽ được
sử dụng như kênh tích hợp bộ giải mã H.264 trước khi stream nội dung lên
server , nội dung nghiên cứu có thể tóm tắt theo các mục bên dưới:
- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera trên
board Ultra96v2.
- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA.
- Nghiên cứu tối ưu tốc độ streaming lên local server.
3. Tính mới và sáng tạo:
Chuẩn nén video H.264 hoặc MPEG-4 Part 10 hỗ trợ cải thiện tốc độ
streaming bằng việc nén các file video với dung lượng cao thành các file có
dung lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của
việc giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho video.
Chuẩn mã hóa video này có thể nâng cao hiệu suất streaming video so với các
công nghệ truyền thống (MPEG-2, H.263,...). Việc tích hợp chuẩn nén H.264
vào hệ thống smart camera không làm tăng sự phức tạp của thiết kế, không tốn
kém thêm chi phí vận hành nhưng đảm bảo đáp ứng đầy đủ các tiêu chí cho một
hệ thống giám sát: cung cấp sự linh hoạt cần thiết để triển khai hệ thống trên các
hạ tầng mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ
nguyên độ phân giải video, tối ưu quá trình streaming, giảm dung lượng lưu trữ,
tương thích tốt với giao thức RTP/IP.
4. Tóm tắt kết quả nghiên cứu:
Nhóm đã nghiên cứu và áp dụng kết quả vào nghiên cứu xây dựng bộ giải mã/
mã hóa H.264 trên board Xilinx Zynq 7000. Toàn bộ quá trình xây dựng được
thực hiện bằng công cụ Vivado Vivado HLS.

6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:
7. Hình ảnh, sơ đồ minh họa chính
5. Tên sản phẩm:

IP tích hợp Encoder/Decoder H.264 cho Xilinx Zynq7000 FPGA.

6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp
dụng:
Thiết kế dựa trên ngôn ngữ RTL được đóng gói thành một Custom IP với
các ngõ vào và ngõ ra tương ứng, phù hợp để triển khai các hệ thống sử dụng bộ
giải mã H.264 được thiết kế dựa trên Zynq7000 FPGA. IP có thể được thêm vào
dự án qua tính năng IP Integrator được tích hợp sẵn trên công cụ Vivado. Điều
này góp phần tiết kiệm thời gian cũng như chi phí thiết kế cho các hệ thống thị
giác có ứng dụng chuẩn nén hình ảnh H.264.
7. Hình ảnh, sơ đồ minh họa chính :
Hình 3: sơ đồ khối thiết kế IP H.264

Hình 4: quy trình xử lý IP H.264

 Hình 5: quy trình xử lý IP H.264

Cơ quan Chủ trì Chủ nhiệm đề tài

(ký, họ và tên, đóng dấu) (ký, họ và tên)
 ĐẠI HỌC QUỐC GIA TP. HCM Ngày nhận hồ sơ
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

(Do CQ quản lý ghi)

THUYẾT MINH
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP SINH VIÊN
2021

A. THÔNG TIN CHUNG

A1. Tên đề tài

- Tên tiếng Việt (IN HOA): NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN
MÃ HÓA VIDEO DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG
SMART CAMERA
- Tên tiếng Anh (IN HOA): ADVANCED VIDEO CODING BASED ON
H.264 COMPRESSION STANDARD INTEGRATED ON SMART
CAMERA SYSTEM.
-
A2. Thời gian thực hiện
..06.. tháng (kể từ khi được duyệt).

A3. Tổng kinh phí

(Lưu ý tính nhất quán giữa mục này và mục B8. Tổng hợp kinh phí đề nghị cấp)

Tổng kinh phí: …6.. triệu đồng, gồm

● Kinh phí từ Trường Đại học Công nghệ Thông tin: ..6.. triệu đồng

A4. Chủ nhiệm

Họ và tên: Phan Công Duy Khiêm .
Ngày, tháng, năm sinh: 13/07/2001 . Giới tính (Nam/Nữ): Nam.
Số CMND: 026118335 ; Ngày cấp: 25/9/2015 ; Nơi cấp: TP Hồ Chí
Minh .
Mã số sinh viên: 19520627 .
Số điện thoại liên lạc: 0925212443 .
Đơn vị (Khoa): Kỹ thuật máy tính .
Số tài khoản: 17412697 Ngân hàng: Á Châu
(ACB)
A5. Thành viên đề tài
TT Họ tên MSSV Khoa
1 Phan Công Duy Khiêm 19520627 Kỹ thuật máy tính
2 Bùi Đăng Huy 21520039 Kỹ thuật máy tính
B. MÔ TẢ NGHIÊN CỨU

B1. Giới thiệu về đề tài

(Ghi các ý về tổng quan tình hình nghiên cứu liên quan đến đề tài, lí do thực hiện đề tài, các
thách thức)
Các hệ thống giám sát từ xa đang là một lĩnh vực phát triển một
cách nhanh chóng và ngày càng trở thành một chủ đề quan trọng trong
các cộng đồng nghiên cứu. Trong đó, các hệ thống giám sát tự động bằng
hình ảnh được thực hiện thông qua hệ thống camera thông minh có chức
năng tự động nhận diện vật thể và truyền tải hình ảnh trực tiếp lên server
theo thời gian thực được ứng dụng rộng rãi trong mọi lĩnh vực. Tuy
nhiên, các hệ thống có tích hợp chức năng stream video thường yêu cầu
độ chính xác cao cũng như một độ trễ thấp. Để hoàn thiện hệ thống cần
khắc phục những nhược điểm nêu trên trong khi vẫn duy trì chất lượng
video gốc. Nhóm đề xuất nghiên cứu tích hợp bộ mã hóa / giải mã dựa
trên chuẩn mã hóa H.264. Dựa trên ý tưởng cải thiện tốc độ streaming
bằng việc nén các file video với dung lượng cao thành các file có dung
lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của
việc giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho
video. Chuẩn mã hóa video này có thể nâng cao hiệu suất streaming video
so với các công nghệ truyền thống (MPEG-2, H.263,...).
Chuẩn nén video H.264 hoặc MPEG-4 Part 10 , là một tiêu chuẩn
dựa trên việc bù trừ chuyển động ( motion-compensation ) trên từng khối
(block). Cho đến nay, đây là định dạng được sử dụng phổ biến nhất để
ghi, nén và phân phối nội dung video, được 91% nhà phát triển ngành
công nghiệp video sử dụng. Nó hỗ trợ độ phân giải lên đến 8K UHD.
Mục đích của việc lựa chọn chuẩn H.264 cho video streaming trong hệ
thống smart camera dựa trên những điểm mạnh mà nó cung cấp:
 o Chất lượng video tốt ở mức dung lượng thấp hơn đáng kể so với
các tiêu chuẩn trước đó (ví dụ: một nửa hoặc ít hơn tỉ lệ bit của MPEG-2,
H.263, hoặc MPEG-4 Part 2).
o Không làm tăng sự phức tạp của thiết kế, không tốn kém thêm chi
phí. o Đáp ứng đầy đủ các tiêu chí cho một hệ thống giám sát: cung
cấp sự linh hoạt cần thiết để triển khai hệ thống trên các hạ tầng
mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ
nguyên độ phân giải video, tối ưu quá trình streaming, giảm dung
lượng
lưu trữ, tương thích tốt với giao thức RTP/IP.
Ở đề tài này nhóm đề ra mục tiêu tìm hiểu và tích hợp chuẩn nén
video H.264 với những tính năng ưu việt hơn so với các chuẩn truyền
thống nhằm tối ưu quá trình streaming video trong hệ thống camera thông
minh, cùng với đó là sử dụng Ultra96v2 FPGA tích hợp phần cứng hỗ trợ
H.264 codec để thực hiện xử lý và mã hóa video, sau đó truyền lên máy
chủ thông qua Gstreamer framework được tích hợp bộ giải mã H.264.

B2. Mục tiêu, nội dung, kế hoạch nghiên cứu

B2.1 Mục tiêu
Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264
từ đó tích hợp để cải tiến quá trình streaming trên hệ thống smart camera
cho phép stream với độ trễ thấp hơn và chất lượng cao hơn. Gstreamer
framework sẽ được sử dụng như kênh tích hợp bộ giải mã H.264 trước khi
stream nội dung lên server , nội dung nghiên cứu có thể tóm tắt theo các
mục bên dưới:
- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera
trên board Ultra96v2.
- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA.
- Nghiên cứu tối ưu tốc độ streaming lên local server.
B2.2 Nội dung và phương pháp nghiên cứu

Nội dung 1: Tìm hiểu tổng quan đề tài

- Phương pháp thực hiện:

o Tìm hiểu cơ sở lý thuyết về lập trình socket, P2P, xây dựng local server.

o Tìm hiểu về Gstreamer framework và các hàm tích hợp xử lý H.264.

o Tìm hiểu về FPGA: khả năng và các mặt hạn chế.

- Kết quả dự kiến:

o Tìm hiểu cơ sở lý thuyết về lập trình socket, P2P protocol, local server.

o Tìm hiểu về Gstreamer tích hợp H.264.

o Tìm hiểu về khả năng và các mặt hạn chế FPGA.

Nội dung 2: Thiết kế kiến trúc streaming video trên FPGA

- Phương pháp thực hiện:

o Tham khảo các công trình nghiên cứu khác về streaming video bằng
Ultra96v2.

o Thiết kế, thử nghiệm và điều chỉnh quá trình streaming và thuật toán liên
quan của mô hình.

o Cải thiện tốc độ streaming của hệ thống tiệm cận thời gian thực nhằm thu
được dữ liệu cần thiết.

- Kết quả dự kiến:

o Cải tiến được thuật toán streaming video trên smart camera .

o Chạy thử nghiệm giải quyết nhiệm vụ về cải thiện hiệu suất và tốc độ trên
luồng streaming.

o Đề xuất kiến trúc hệ thống dựa trên FPGA.

Nội dung 3: Thiết kế tích hợp H.264 thông qua GStreamer vào FPGA

- Phương pháp thực hiện:

o Thiết kế luồng streaming trên FPGA.

o Chạy mô phỏng hệ thống cho kiến trúc đã thiết kế.

 o So sánh kết quả với hệ thống tương đương áp dụng các công nghệ cơ bản.

- Kết quả dự kiến:

o Thiết kế được hệ thống streaming ứng dụng H.264.

o Kết quả mô phỏng đạt được các mục tiêu đã đặt ra.

o Có được số liệu cơ bản về hệ thống streaming áp dụng H.264 .

Nội dung 4: Xây dựng hệ thống và kiểm chứng mô hình

- Phương pháp thực hiện:

o Xây dựng hệ thống nhúng FPGA và nạp môi trường nhiệm vụ để kiểm
chứng mô hình.

- Kết quả dự kiến:

o Đạt được kết quả ứng với mục tiêu đã đặt ra.

B3. Kết quả dự kiến

- Thiết kế hệ thống ứng dụng tích hợp H.264 lên FPGA và đạt được các yêu cầu sau:
o Thiết kế mô hình với kiến trúc pipeline.
o Tần số hoạt động trên 200MHz.
o Tốc độ truyền tải khung hình >= 10FPS
- Hoàn thành bản báo cáo nghiên cứu khoa học.
B4. Tài liệu tham khảo
1. T. Kryjak, M. Komorkiewicz, M. Gorgon. “Real-time hardware–software
embedded vision system for ITS smart camera implemented in Zynq SoC”,
pringerlink.com, 2016.

2. S. Thörnqvist M. Lindfeldt. “Real-time video streaming with html5. Master’s

thesis”,Lunds Tekniska Högskola, Lund, Sweden, 2014.

3. Bailey, D.G. “Design for Embedded Image Processing on FPGAs”. Wiley (Asia)
Pte Ltd, Singapore, 2011

4. P. Bui, H. Le, “Design on FPGA Ultra96-v2 for smart camera”, TPHCM, 2021

5. T. Han, G.W. Liu,H. Cai, B. Wang “The face detection and location system based
on Zynq”. 11th International Conference, 2014

Ngày __ tháng __ năm 20_ Ngày __ tháng __ năm 20_

Giảng viên hướng dẫn Chủ nhiệm đề tài
(Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên)