ĐẠI HỌC QUỐC GIA TP.

HCM
Ngày nhận hồ sơ
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
(Do CQ quản lý ghi)

THUYẾT MINH
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP SINH VIÊN 2023

A. THÔNG TIN CHUNG

A1. Tên đề tài
− Tên tiếng Việt: THUẬT TOÁN TỰ ĐỘNG PHÂN ĐOẠN TÍN HIỆU KHÔNG DÂY
CHO BÀI TOÁN PHÂN BIỆT VỊ TRÍ VÀ HÀNH ĐỘNG SONG SONG.
− Tên tiếng Anh: AUTOMATIC WIRELESS SIGNAL SEGMENTATION
ALGORITHM FOR JOINT HUMAN ACTIVITY RECOGNITION AND
LOCALIZATION.

A2. Thời gian thực hiện

06 tháng (kể từ khi được duyệt).
A3. Tổng kinh phí
Tổng kinh phí: 6 triệu đồng, gồm

● Kinh phí từ Trường Đại học Công nghệ Thông tin: 6 triệu đồng
A4. Chủ nhiệm
Họ và tên: Võ Lê Thành Phát
Ngày, tháng, năm sinh: 02/01/2003 Giới tính (Nam/Nữ): Nam
Số CMND:056203001102; Ngày cấp:05/04/2021; Nơi cấp:Cục Cảnh sát quản lý hành chính
về trật tự xã hội
Mã số sinh viên: 21522452
Số điện thoại liên lạc: 0935834507
Đơn vị (Khoa): Mạng máy tính và Truyền thông
Số tài khoản: 4705205416427 Ngân hàng: Agribank
A5. Thành viên đề tài
TT Họ tên MSSV Khoa
1 Võ Lê Thành Phát 21522452 MMT&TT
2 Trần Hoàng Quý 21522531 MMT&TT

1
B. MÔ TẢ NGHIÊN CỨU
B1. Giới thiệu về đề tài

Đi kèm với sự phát triển của các môi trường thông minh như smart-home và smart-
building thì việc phát triển các ứng dụng nhận diện hành động của con người trong một không
gian là một trong những ưu tiên hàng đầu. Các ứng dụng này giúp tăng cường khả năng giám sát,
nhận diện con người hoặc vật thể một cách tự động.
Hiện nay, để nhận diện hành động của con người, các hướng giải quyết đều tập trung vào
việc thu thập dữ liệu về không gian và thời gian của con người (vị trí, cử chỉ, thao tác,..). Hướng
tiếp cận chính của các mô hình truyền thống để thu thập dữ liệu yêu cầu một môi trường được
thiết kế sẵn cho việc phát hiện con người như sử dụng camera, ánh sáng, tia hồng ngoại,.. để
nhận diện hành động con người trong vùng quan sát [1]. Tuy nhiên, hướng tiếp cận này lại có
một số hạn chế như sau:
− Sử dụng các thiết bị truyền thống như camera đặt ra các vấn đề về quyền riêng tư và
gặp khó khăn trong các môi trường khác nhau [2], như đối với camera bị giới hạn bởi
tầm nhìn (line of sight), điều kiện ánh sáng, dữ liệu nêu lên vấn đề về quyền riêng tư.
− Sử dụng cảm biến ánh sáng, hồng ngoại… bị giới hạn bởi các yếu tố:

+ Các thiết bị ứng dụng cụ thể cho việc nhận diện hành động con người đều
cần phải được triển khai trước khi đưa vào sử dụng, từ đó cần phải sản xuất và
thiết kế riêng, gây tốn chi phí [1].
+ Phạm vi của các thiết bị thấp, bị gián đoạn mạnh khi đi qua các vật cản
(tường, cửa, khói…), đồng thời gây ảnh hưởng tới mắt con người khi sử dụng
với cường độ lớn.

Hình 1: Phạm vi của thiết bị chịu ảnh hưởng bởi vật cản

Với các hạn chế đã nêu trên thì trước đó nhóm nghiên cứu đã tiến hành với hướng tiếp
cận sử dụng sóng điện từ (radio frequency signal) bởi mang lại các thuận lợi như:
− Các thiết bị phát sóng điện từ (WiFi, LTE, LoRa…) là có sẵn, từ đó rút gọn chi phí
và áp dụng được trong nhiều cơ sở hạ tầng sử dụng các công nghệ có sẵn [1-2].

2
 − Quyền riêng tư của các đối tượng được nhận diện không bị ảnh hưởng như hướng
tiếp cận bằng các thiết bị truyền thống [2].
Cho tới thời điểm hiện tại, nhóm nghiên cứu đã xây dựng mô hình nhận diện hành động
con người dựa trên tín hiệu WiFi và đã nhận diện được 5 hành động khác nhau với độ chính
xác trên 97%. Kết quả đã được công bố ở hội nghị Khoa học trẻ và NCS trường ĐH CNTT năm
2022.
Vài nghiên cứu gần đây đã chỉ ra rằng hành động và vị trí của con người có thể được
phân biệt đồng thời thông qua tín hiệu WiFi thu được từ phía phát [3-4]. Do đó, trong nghiên
cứu này, nhóm đề xuất mở rộng thêm tập dataset thu được cho 4 vị trí khác nhau, nhằm mở
rộng thêm tính đa dạng và tính ứng dụng của cho bài toán đã nêu. Ngoài ra, nhận thấy rằng một
trong những đặc điểm của môi trường thông minh là sự tích hợp của đa dạng các thiết bị IoTs
trong cùng một không gian. Điều đó đặt ra một số vấn đề chẳng hạn như cùng một hành động
nhưng được nhận diện tại các vị trí khác nhau sẽ dẫn đến sự tương tác với các thiết bị khác nhau
[11].

Hình 2: Cùng thực hiện hành động vỗ tay tại hai vị trí A và B

Vị trí A: tắt TV Vị trí B: tắt tiếng

Ngoài ra, việc nhận diện hành động con người bằng tín hiệu không dây cũng gặp nhiều
vấn đề [1]:
− Sự biến đổi của tín hiệu về biên độ và pha phức tạp, tùy thuộc vào môi trường.

− Đặc điểm nhận dạng của con người trong sóng nhận được tồn tại ở nhiều dạng, khó
trình bày bằng các phương pháp toán học thông thường.
− Nhiều hướng phân tích tín hiệu khác nhau dẫn đến ít mô hình thống nhất về cách xử
lý bài toán.
Để giải quyết các vấn đề trên, các mô hình máy học đã được đưa vào sử dụng, đặc biệt
là các mô hình học sâu [1]. Đã có nhiều nghiên cứu sử dụng thông tin về trạng thái kênh truyền
(Channel State Information - CSI) của tín hiệu WiFi để phân biệt các hành động khác nhau của
con người [5-6].
Đối với bài toán sử dụng tín hiệu WiFi để phát hiện đồng thời hành động và vị trí, kỹ
thuật tự động phân đoạn tín hiệu (Automatic Signal Segmentation) đóng vai trò quan trọng với
việc triển khai mô hình trong thời gian thực. Kỹ thuật này cho phép xác định một cách chính xác
thời điểm bắt đầu và kết thúc của một hành động dựa trên sự biến đổi của tín hiệu. Sau đó, tín

3
hiệu được phân đoạn (segmented) và gửi đến các giai đoạn tiếp theo để xử lý. Hiện nay, việc
phân đoạn tín hiệu thường được tiến hành bằng cách sử dụng các thuật toán xử lý tín hiệu truyền
thống [9-12]. Cách tiếp cận này có thể làm cho các thuật toán xử lý tín hiệu truyền thống bị phụ
thuộc vào tập dữ liệu. Vì vậy, để giải quyết vấn đề đã nêu, trong nghiên cứu này nhóm đề xuất
sử dụng các mô hình Deep Learning để phân đoạn tự động (DL-based automatic signal
segmentation) tín hiệu thu được. Điều này giúp cung cấp một thuật toán phân đoạn
(segmentation algorithm) có thể bao quát cho tất cả tín hiệu thu được từ việc nhận diện hành
động con người.

Với những lý do đã nêu trên, nhóm mong muốn thực hiện:

− Xây dựng mô hình nhận diện hành động của con người dựa trên tín hiệu WiFi
với khả năng nhận diện đồng thời đa vị trí và hành động.
− Cung cấp bộ DataSet chứa các thông tin về CSI của sóng WiFi đối với các hành
động và vị trí khác nhau của con người.
− Kết hợp ứng dụng công nghệ Deep Learning, đặc biệt là ngoại trừ sử dụng mô hình
Deep Learning và xứ lý tín hiệu hiệu quả (bù xoay pha do lệch đồng bộ, điều chỉnh
cường độ tín hiệu, …) thì còn đề xuất xử dụng thêm một mô hình Deep Learning
thích hợp để tiến hành phân đoạn tự động (DL-based automatic signal
segmentation) tín hiệu, để cải thiện mô hình so với các nghiên cứu hiện đang tồn tại.
− Triển khai mô hình trên các thiết bị software defined radio (SDR) có sẵn của phòng
lab của Khoa, từ đó nghiên cứu và phát triển mô hình để có thể ứng dụng trong học
tập và ứng dụng thực tiễn.
B2. Mục tiêu, nội dung, kế hoạch nghiên cứu
B2.1 Mục tiêu
Xây dựng và cải tiến mô hình nhận diện hành động của con người dựa trên tín hiệu
WiFi với khả năng nhận diện đồng thời đa vị trí và hành động. Mô hình sẽ tận dụng các
ưu điểm của công nghệ học sâu hiện đại để xây dựng 2 mô hình Deep Learning áp dụng cho
nghiên cứu. Một mô hình Deep Learning sử dụng trong kỹ thuật mới là Automatic
Segmentation với hướng tiếp cận sử dụng mô hình Deep Learning để phân đoạn tín hiệu
WiFi, kết hợp với tiền xử lý tín hiệu WiFi bị biến dạng do các hành động khác nhau của con
người khi đứng trong vùng phủ sóng. Mô hình Deep Learning còn lại được sử dụng để giải
quyết bài toán nhận diện hành động con người.
B2.2 Nội dung và phương pháp nghiên cứu
Nội dung 1: Tìm hiểu về các kỹ thuật và công nghệ được ứng dụng trong đề tài:
Phương pháp: Tìm hiểu và nghiên cứu các tài liệu về:
− Cách sử dụng các phần mềm để trích xuất các tham số của tín hiệu WiFi dùng để
phân loại hành động (CSI,RSSI,…) [1] từ phần cứng SDR.
− Lý thuyết về các thuật toán, mô hình Deep Learning thích hợp để xử lý và phân đoạn
tín hiệu. Phân tích các nghiên cứu khoa học đã được thực hiện cùng chủ đề.
− Các mô hình Deep Learning thích hợp để tìm đặc điểm từ bộ dữ liệu tín hiệu.

4
Nội dung 2: Xây dựng bộ dữ liệu cho bài toán nhận diện hành động con người:
Phương pháp: Sử dụng các phần mềm trích xuất các tham số của tín hiệu WiFi như CSI,
RSSI,… để tự xây dựng bộ dữ liệu cho bài toán: Bộ dữ liệu bao gồm các vector đặc trưng cho
tham số của tín hiệu thu được như RSSI, CSI... đối với các ngữ cảnh khác nhau, sau đó đề xuất
thuật toán tiền xử lý (preprocessing) tín hiệu WiFi bị biến dạng do các hành động khác nhau của
con người khi đứng giữa máy phát và máy thu tín hiệu, đồng thời sử dụng mô hình Deep
Learning thích hợp để phân đoạn tự động tìm ra điểm bắt đầu và kết thúc của tín hiệu thu được.
Sử dụng phần mềm GNU Radio và setup các bài đo thực nghiệm.
Nội dung 3: Xây dựng mô hình Deep Learning để giải quyết bài toán nhận diện hành động con
người:
Phương pháp: Xây dựng các mô hình Deep Learning để giải quyết vấn đề:
– Phân loại các vector đặc trưng của tín hiệu.

– So sánh kết quả và hiệu suất của các mô hình với các kết quả từ các nghiên cứu hiện tại [1]
và tương lai.
– Mở rộng các mô hình có kết quả tốt vào giải quyết các bài toán khác liên quan đến nhận diện
hành động con người.
B2.3 Kế hoạch nghiên cứu.
1. Tạo bộ dữ liệu (dataset) cho mô hình học sâu.
Set up bài đo thực nghiệm, nhóm sinh viên thực hiện những công việc sau:

− Triển khai giao thức WiFi trên thiết bị SDR thu phát.

− Lựa chọn một số hành động thường được sử dụng để tương tác với nhà thông minh
(smart Internet-of-Things home)[7] cụ thể là 6 hành động: giơ tay lên, hạ tay xuống,
đưa tay sang trái, đưa tay sang phải, vòng tay, chéo tay (Hình 1). Các hành động trên
sẽ được một tình nguyện viên đứng trong vùng thu phát của thiết bị SDR thực hiện
với mục đích thu thập dữ liệu (dataset) cũng là những hành động mà mô hình phải
phân loại.

Hình 1: Các hành động thường được sử dụng để tương tác với nhà thông minh (smart Internet-
of-Things home)

− Ghi nhận tín hiệu của các hành động sau đó sử dụng phần mềm GNU Radio [8]
để trích xuất thông tin về trạng thái kênh truyền (Channel State Information -

5
 CSI) từ đó xây dựng bộ dữ liệu (dataset) chứa các thông tin về CSI của sóng WiFi
đối với các hành động khác nhau (6 hành động trên) của con người.
− Mở rộng tập dataset thu được cho 4 vị trí khác nhau.
2. Đề xuất thuật toán tiền xử lý.
Với bộ dữ liệu (dataset) đã xây dựng ở trên, nhóm sinh viên nghiên cứu và đề xuất 1
thuật toán để xử lý do tín hiệu WiFi có thể bị biến dạng bởi các hành động khác nhau của
người khi đứng trước máy thu và phát. Ngoài ra, đề xuất sử dụng các mô hình Deep
Learning để phân đoạn tự động (DL-based automatic signal segmentation) tín hiệu thu
được.
3. Đề xuất mô hình học sâu.
Sau khi có bộ dữ liệu (dataset) đã được tiền xử lý, nhóm sinh viên thực hiện các công
việc sau:
− Nghiên cứu để sử dụng thành thạo Google Colab và thư viện TensorFlow để xây
dựng mô hình học sâu.
− Tìm hiểu về các mô hình học sâu:

⮚ Học có giám sát: Convolutional Neural Networks (CNNs), Multilayer Perceptron

(MLP), Adversarial Networks (ANs)…
⮚ Học không giám sát: Restricted Boltzmann Machines (RBMs), Autoencoders (AEs)
…
− Tìm hiểu cách kết hợp các mô hình để tạo thành hybrid model nhằm tăng hiệu quả
của phương pháp học sâu.
4. Nhận diện hành động của con người tại đa vị trí dựa trên tín hiệu WiFi.
Sau khi có bộ dữ liệu và mô hình học sâu hoàn chỉnh, nhóm sinh viên thực hiện ứng dụng
vào bài toán nhận diện song song hành động và vị trí của con người.
Để đạt được kết quả mong đợi, nhóm sẽ so sánh kết quả nhận được với các nghiên cứu
khác về nhận diện hành động con người, từ đó có các điều chỉnh thích hợp để nâng cao
kết quả.
B3. Kết quả dự kiến
Hoàn thành xây dựng mô hình để giải quyết vấn đề nhận diện song song hành động và vị
trí của con người dựa trên tín hiệu WiFi sử dụng học máy và các kỹ thuật xử lý tín hiệu.
Cung cấp bộ DataSet chứa các thông tin về CSI của sóng WiFi đối với các hành động khác
nhau của con người.

B4. Tài liệu tham khảo

[1] I. Nirmal, A. Khamis, M. Hassan, W. Hu and X. Zhu, "Deep Learning for Radio-Based
Human Sensing: Recent Advances and Future Directions," in IEEE Communications Surveys &
Tutorials, vol. 23, no. 2, pp. 995-1019, Second quarter 2021, doi:
10.1109/COMST.2021.3058333.

6
[2] Oliver Holland; Hanna Bogucka; Arturas Medeisis, "The Universal Software Radio
Peripheral (USRP) Family of Low‐Cost SDRs," in Opportunistic Spectrum Sharing and White
Space Access: The Practical Reality , Wiley, 2015, pp.3-23, doi: 10.1002/9781119057246.ch1.
[3] Guo, L., Wang, L., Lin, C., Liu, J., Lu, B., Fang, J., ... & Guo, S. (2019). Wiar: A public
dataset for wifi-based activity recognition. IEEE Access, 7, 154935-154945.
[4] Jieming Yang, Yanming Liu, Zhiying Liu, Yun Wu, Tianyang Li, Yuehua Yang, "A
Framework for Human Activity Recognition Based on WiFi CSI Signal Enhancement",
International Journal of Antennas and Propagation, vol. 2021, Article ID 6654752, 18 pages,
2021.
[5] H. Abdelnasser, M. Youssef, and K. A. Harras, ‘‘WiGest: A ubiquitous WiFi-based gesture
recognition system,’’ in Proc. IEEE INFOCOM, Apr./May 2015, pp. 1472–1480.
[6] X. Zheng, J. Wang, L. Shangguan, Z. Zhou, and Y. Liu, ‘‘Smokey: Ubiquitous smoking
detection with commercial WiFi infrastructures,’’ in Proc. Int. Conf. Comput. Commun.
(INFOCOM), Apr. 2016, pp. 1–9.
[7] Wang, F., Feng, J., Zhao, Y., Zhang, X., Zhang, S., & Han, J. (2019). Joint activity
recognition and indoor localization with WiFi fingerprints. IEEE Access, 7, 80058-80068.
[8] Jiang, Z., Luan, T. H., Ren, X., Lv, D., Hao, H., Wang, J., ... & Li, R. (2020). Eliminating
the Barriers: Demystifying Wi-Fi Baseband Design and Introducing the PicoScenes Wi-Fi
Sensing Platform. arXiv e-prints, arXiv-2010.
[9] J. Yang, Y. Liu, Z. Liu, Y. Wu, T. Li, and Y. Yang, “A framework for human activity
recognition based on WiFi CSI signal enhancement.” International Journal of Antennas and
Propagation, vol 2021, p.6654752, Feb, 2021.
[10] M. B. Khan, X. Yang, A. Ren, M. A. M. Al-Hababi, N. Zhao, L. Guan, D. Fan, and S. A.
Shash, “Design of software defined radios based plat-form for activity recognition,” IEEE
Access, vol. 7. DOI 10.1109/AC-CESS.2019.2902267, pp. 31 083-31088, 2019.
[11] Fei Wang; Jianwei Feng; Yinliang Zhao; Shiyuan Zhang; Jinsong Han, “Joint Activity
Recognition and Indoor Localization With WiFi Fingerprints”, IEEE Access, vol. 7, DOI
10.1109/ACCESS.2019.2923743.pp.80058-80068,2019.
[12] J. Liu, H. Liu, Y. Chen, Y. Wang, and C. Wang “Wireless sensing for human activity: A
survey.” IEEE Communications Surveys Tutorials, vol. 22. DOI
10.1109/COMST.2019.2934489.no. 3, pp. 1629-2645,2020.
[13] Palipana S, Rojas D, Agrawal P, Pesch D (2019) FallDeFi: ubiquitous fall detection using
commodity Wi-Fi devices. In: Proceedings of ACM IMWUT

Ngày 15 tháng 04 năm 2023 Ngày 15 tháng 04 năm 2023

Giảng viên hướng dẫn Chủ nhiệm đề tài
(Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên)

TS. Nguyễn Tấn Hoàng Phước

Võ Lê Thành Phát