Professional Documents
Culture Documents
Đề tài:
Đề tài:
Trong bài báo cáo này, những thông tin về chủ đề hệ thống nhúng, trong đó bao
gồm thiết kế và phát triển các hệ thống nhúng như máy tính nhúng, điều khiển nhúng và
các hệ thống giám sát đã được phân tích và tổng hợp. Trước đó, trong số những tài liệu
mà em đã tìm được, để thực hiện báo cáo, em chọn ra 3 tài liệu để phân tích chi tiết. Mặc
dù còn nhiều thiếu sót trong quá trình thực hiện, em rất mong nhận được những đánh giá
và đóng góp từ thầy Nguyễn Tiến Hoà.
Để hoàn thiện bài báo cáo này, em xin được gửi lời cảm ơn chân thành tới Thầy
Nguyễn Tiến Hoà và chị Bùi Vân Anh vì đã giúp em tiếp cận đến template vô cùng tuyệt
vời này! Đây quả là một template mang tính tiêu chuẩn cho những bản báo cáo, đồ án
được sử dụng trong Đại học Bách khoa Hà Nội. Khi có cơ hội, em sẽ giới thiệu template
này dành cho các bạn sinh viên có nhu cầu sử dụng.
Tôi tên là CAO THANH TÙNG, mã số sinh viên 20203779, sinh viên lớp Điện tử
02, khóa 65. Người hướng dẫn là TS. NGUYỄN TIẾN HÒA. Tôi xin cam đoan toàn bộ
nội dung được trình bày đều được thực hiện bởi chính bản thân tôi, không sao chép từ
bất kỳ sinh viên nào. Mọi thông tin trích dẫn đều tuân thủ các quy định về sở hữu trí
tuệ; các tài liệu tham khảo được liệt kê rõ ràng. Tôi xin chịu hoàn toàn trách nhiệm với
những nội dung được viết trong báo cáo này.
KẾT LUẬN 13
Hình 2.1 Dữ liệu nhiệt được nghiên cứu trong bài báo . . . . . . . . . . . . 3
Hình 2.2 Cấu trúc mô hình tích hợp. . . . . . . . . . . . . . . . . . . . . . 4
Hình 2.3 Phân tích độ nhạy của mô hình cấu trúc. . . . . . . . . . . . . . . 5
Hình 2.4 Dự đoán của LTSM. . . . . . . . . . . . . . . . . . . . . . . . . . 6
Hình 2.5 Những nguồn âm phổ biến. . . . . . . . . . . . . . . . . . . . . . 6
Hình 2.6 Một bộ phân loại SVM đơn giản với siêu phẳng phân tách hai lớp. 7
Hình 2.7 Biểu đồ âm thanh rõ và ồn biểu diễn trên MATLAB. . . . . . . . 8
Hình 2.8 Lược đồ phân vùng PBG cho đồ thị lớn. . . . . . . . . . . . . . . 9
Hình 2.9 Sơ đồ khối của các mô-đun được sử dụng cho chế độ phân tán của
PBG. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Hình 2.10 Hiệu suất của PBG, DeepWalk và MILE trên bộ dữ liệu LiveJour-
nal và bộ dữ liệu YouTube. . . . . . . . . . . . . . . . . . . . . . . . . 11
i
CHƯƠNG 1. CHƯƠNG MỞ ĐẦU
Nội dung chính của bài báo cáo phân tích tập trung vào ba tài liệu sau đây:
• Zhang2020 [1].
• Balaji2020 [2].
• Adam2019 [3].
1
CHƯƠNG 2. NỘI DUNG CHÍNH
2.1 Zhang2020: Dự đoán lỗi trong hệ thống nhúng bằng cách sử dụng suy
luận ngắn hạn – dài hạn
Trong tài liệu, nhóm tác giả đã đánh giá hiệu quả của công cụ dự đoán để dự đoán
sự biến thiên nhiệt độ trên hệ thống trên chip di động và đề xuất triển khai phần cứng có
thể thực hiện được cho các trường hợp sử dụng.
Nhóm tác giả định hướng triển khai có thể thực hiện được trong phần cứng trên các
hệ thống nhúng công suất thấp. Những đóng góp cụ thể như sau:
• Đề xuất một phương pháp dự đoán nguy cơ phần cứng được gọi là Mô hình Dự
đoán Ngắn hạn Dài hạn.
• Đề xuất triển khai kiến trúc và phần cứng của công cụ dự đoán không xâm phạm
dựa trên Mô hình Dự đoán Ngắn hạn Dài hạn để dự đoán sự biến thiên nhiệt độ
trong các hệ thống nhúng.
• Đánh giá bộ dự đoán bằng cách sử dụng dữ liệu nhiệt độ đo được từ ODROID XU-3.
Trong phần này, nhóm tác giả mô tả cách cấu tạo bộ dự đoán của chúng tôi bằng
cách nghiên cứu trường hợp sử dụng: dự đoán hành vi nhiệt độ thời gian chạy trên một
hệ thống nhúng trên chip. Mục tiêu của họ là dự đoán sự biến thiên nhiệt độ sao cho
có thể phát hiện trước và tránh được các kịch bản nhiệt không mong muốn, với một giải
pháp có thể được tích hợp khả thi trong một hệ thống chip nhúng.
Trong mục Model Training, nhóm tác giả phân tích tại giá trị nhiệt độ 85 độ, sử
dụng dữ liệu để nghiên cứu và đưa ra những công thức. Từ việc phân tích dữ liệu đo
2
nhiệt lấy từ ODROID-XU3 trong hình, xử lý những dữ liệu và qua các phương pháp cụ
thể, tiêu biểu là phương pháp lấy mẫu dữ liệu cục bộ và sử dụng chuẩn hoá tối thiểu –
tối đa để làm giá trị tiêu biểu.
Họ tăng cường hàm mất entropy chéo nhị phân cổ điển bằng các trọng số để tăng
độ nhạy của mô hình đối với các mẫu bình thường. y là giá trị dự đoán và Y là giá trị
thực tế. Hệ số trọng số alpha được xác định theo kinh nghiệm dựa trên tỷ lệ mẫu lỗi
trong dữ liệu huấn luyện.
Trong 2.1, Figure 1 thể hiện biểu đồ dữ liệu nhiệt từ ODROID XU3. Figure 2 biểu diễn
Hình 2.1 Dữ liệu nhiệt được nghiên cứu trong bài báo
3
phân tích công thức minh hoạ cấu trúc bên trong LTSM. Điều đó được thể hiện rất rõ
trong 2.2
Các cấu trúc được chia sẻ giữa mô hình nhị phân ngắn hạn và cấu trúc hồi quy dài
hạn, tùy thuộc vào cấu trúc nào đang hoạt động. Chức năng và cấu trúc dành riêng cho
mô hình nhị phân ngắn hạn có màu xanh lam và dành riêng cho mô hình hồi quy dài hạn
có màu đỏ
• Đầu vào: nhiệt độ, công suất, mức sử dụng mỗi lõi.
Về Model Training, họ quan sát sự thay đổi nhiệt độ nói chung do thay đổi về tần
suất sử dụng lõi và hoạt động, phân loại khối lượng đào tạo như sau: đơn lõi, đa lõi và
chuyển đổi; thực hiện kết hợp các điểm chuẩn tổng hợp để tổng hợp khối lượng công
việc.
4
Về cấu trúc, LSTM có bản chất lưu trữ bộ nhớ dài hạn nên được sử dụng để xử lý
các trường hợp dài hạn
5
Hình 2.4 Dự đoán của LTSM
Figure 5 thể hiện sự phân tích độ nhạt của cấu trúc mô hình bằng cách so sánh số
lớp, số bước thời gian, số lượng tế bào thần kinh và độ chính xác sử dụng trong mô hình.
Trong khi đó Figure 6 biểu diễn độ chính xác của dự đoán LSTM đối với dự đoán 64
bước (320 ms), so với hành vi đo được
2.2 Balaji2020: Kết hợp các mô hình thống kê bằng phương pháp biến đổi
trừ phổ cho hệ thống nhúng
Trong xử lý tín hiệu âm thanh, việc cải thiện chất lượng cảm nhận tín hiệu giọng
nói được nhóm tác giả chú trọng và nghiên cứu. Họ đã kết hợp các mô hình thống kê
cùng với các thuật toán để cải thiện kết quả, từ đó dẫn đến khả năng giao tiếp mạnh mẽ.
Các tác giả nghiên cứu và thử nghiệm trên cơ sở dữ liệu AURORA 2 và đã có những kết
quả được cải thiện hiệu quả. Phần giới thiệu tài liệu là những ví dụ và cách thức hoạt
động của mô hình.
Figure 1 mô tả những nguyền tiếng ồn phổ biến và quy trình từ nguồn âm đến máy
thu. Từ đó, họ đưa ra những hạn chế trong quá trình xử lý tín hiệu cũng như lý thuyết cơ
bản trong việc xử lý. Sau đó, họ đã kết luận rằng, để khắc phục những hạn chế này, đề
6
xuất sử dụng các mô hình thống kê cùng với kỹ thuật học sâu dựa trên các máy vectơ hỗ
trợ để truyền thông mạnh mẽ chính là chìa khoá mà họ cần giải quyết.
Những công việc liên quan mà các tác giả nghiên cứu cho thấy, họ đã đề xuất sử
dụng các mạng đối nghịch chung để loại bỏ tiếng ồn và tăng cường đầu ra lời nói trong
công việc này. Các đánh giá khách quan và chủ quan khẳng định tính hiệu quả của
phương pháp đề xuất. Các tác giả đã thực hiện một nghiên cứu so sánh về các thuật toán
loại trừ khác nhau và các chỉ số như SNR/PESQ được sử dụng để đánh giá. Họ đề cập
đến những quá trình cần thiết để đạt được mục tiêu rồi thảo luận chi tiết về các phương
pháp được đề xuất khác nhau để cải thiện âm thanh.
Trong những phương pháp đó, họ nhấn mạnh rằng họ sẽ sử dụng phương pháp non
- Machine Learning (non-ML) trước khi tiếp tục với Machine Learming. Tại đây, nhóm
tác giả mô tả hai phương pháp tăng cường giọng nói nói chung là bộ lọc tuyến tính đặc
biệt và phương pháp trừ phổ biến đổi. Phương pháp đầu tiên là phương pháp sử dụng bộ
lọc tuyến tính đặc biệt, tín hiệu giọng nói đầu vào bị nhiễu được tăng cường bằng cách
giảm hoặc triệt tiêu các điểm tần số thời gian chứa phần lớn nhiễu. Tín hiệu ước tính
hiện được mong đợi sẽ chứa tín hiệu tiếng nói tốt hơn. Để cải thiện kết quả hơn nữa,
phương pháp trừ quang phổ được phối hợp với Machine learning để tạo và nâng cao hệ
thống âm thanh. Ngoài ra, họ đề xuất sử dụng phép trừ quang phổ một cách độc lập
trong từng dải thay vì phép trừ hoàn toàn giúp cải thiện kết quả cuối cùng.
Để hoàn thiện nghiên cứu, họ kết hợp các mô hình thống kê với các máy vectơ hỗ
trợ để có hiệu suất tốt nhất. Họ sử dụng SVM để đào tạo trong công việc của mình. Mục
tiêu của SVM là thiết kế một siêu phẳng phân loại tất cả các vectơ huấn luyện thành hai
lớp như Hình 2.6 (Figure 7)
Hình 2.6 Một bộ phân loại SVM đơn giản với siêu phẳng phân tách hai lớp.
Bằng việc thay thế quy tắc Bayes truyền thống bằng SVM để đưa ra quyết định
mềm toàn cầu để đơn giản hóa không gian đầu vào hoặc vectơ đầu vào, các hàm kernel
được giới thiệu thay vì kernel tuyến tính, với mục đích đào tạo, họ phân tách tín hiệu
7
tiếng nói và tiếng ồn, sau đó sử dụng tín hiệu tiếng ồn để thử nghiệm thành các phần
không chồng chéo. Tín hiệu giọng nói nâng cao cuối cùng được tái tạo bằng cách sử
dụng các phần tín hiệu nhiễu ít bị hỏng hơn. Trong phần này, họ sử dụng các kỹ thuật
lọc và trừ quang phổ cho mục đích phân tích này. Các phần thu được trong miền thời
gian thông qua dạng chuyển đổi Fourier thời gian ngắn nghịch đảo.
Công thức tính đầu ra:
M
F(x) = ∑ a∗i Zi Q(xi∗ .x) + b∗ (2.2)
i=1
Cuối cùng, phần kết luận của tài liệu là thử nghiệm thực tế đề tài bằng hai cách tiếp
cận phi ML, cụ thể là phương pháp lọc và phương pháp trừ phổ để tăng cường giọng nói,
sau đó là thuật toán SVM để phân loại tiếng ồn và tăng cường giọng nói. Với sự trợ giúp
của MATLAB để lập trình các phương pháp được đề xuất, đặc biệt là các máy vectơ hỗ
trợ rất dễ lập trình với công cụ như MATLAB, tín hiệu âm thanh rõ ràng và âm thanh ồn
được thể hiện lại trong Hình 2.7 (Figure 9).
8
Nhìn chung, tất cả các kết quả thu được đều rất đáng khích lệ và hỗ trợ trong việc
lựa chọn kỹ thuật tăng cường giọng nói một kênh để giảm nhiễu dựa trên ứng dụng thực
tế. Trong tương lai, các tác giả muốn khám phá thêm về thuật toán tăng cường đa kênh
với các phương pháp tạo chùm tia, khử tiếng vọng và cũng bao gồm điểm số MOS để
đánh giá chất lượng chủ quan của tín hiệu tăng cường giọng nói; và cũng muốn làm việc
để giảm độ phức tạp tính toán của kỹ thuật ML độc đáo để có hiệu suất thậm chí còn tốt
hơn với khả năng giao tiếp mạnh mẽ.
Theo Hình 2.8, PBG được thiết kế để hoạt động trên các biểu đồ lớn tùy ý chạy
trên một máy đơn lẻ hoặc có thể được phân phối trên nhiều máy. Trong cả hai trường
hợp, quá trình đào tạo diễn ra trên một số luồng CPU bằng với số lõi máy.
9
PBG tối ưu hóa mục tiêu xếp hạng dựa trên lề giữa mỗi cạnh e trong dữ liệu huấn
luyện và một tập hợp các cạnh e được xây dựng bằng cách làm hỏng e bằng nút nguồn
hoặc nút đích được lấy mẫu (nhưng không phải cả hai)
′
L= ∑ ′∑ ′ max( f (e) − f (e ) + λ , 0)) (2.3)
e∈G e ∈G
PBG sử dụng sơ đồ phân vùng để hỗ trợ các mô hình quá lớn để vừa với bộ nhớ
trên một máy. Phân vùng này cũng cho phép đào tạo mô hình phân tán.
Hình 2.9 Sơ đồ khối của các mô-đun được sử dụng cho chế độ phân tán của PBG.
Trong sơ đồ song song hóa này, được minh họa trong Hình 2.9, các phần nhúng
được phân vùng được khóa bởi các máy để đào tạo. Nhiều nhóm cạnh có thể được đào
tạo song song miễn là chúng hoạt động trên các tập hợp phân vùng rời rạc, như trong
Hình. Mũi tên minh họa các giao tiếp mà người training Hạng 2 thực hiện để huấn luyện
một thùng. Đầu tiên, huấn luyện viên yêu cầu một nhóm từ máy chủ khóa ở Hạng 1,
máy chủ này sẽ khóa các phân vùng của nhóm đó. Sau đó, trình huấn luyện sẽ lưu bất kỳ
phân vùng nào mà nó không còn sử dụng nữa và tải các phân vùng mới mà nó cần đến
và từ các máy chủ phân vùng đã phân đoạn, tại thời điểm đó, nó có thể giải phóng các
phân vùng cũ của mình trên máy chủ khóa. Các cạnh sau đó được tải từ một hệ thống
tệp được chia sẻ và quá trình đào tạo diễn ra trên nhiều luồng mà không cần đồng bộ hóa
giữa các luồng. Trong một chuỗi riêng biệt, một số lượng nhỏ các tham số được chia sẻ
10
liên tục được đồng bộ hóa với một máy chủ tham số được phân đoạn. Các điểm kiểm tra
mô hình đôi khi được ghi vào hệ thống tệp được chia sẻ từ các nhà nghiên cứu.
Để tăng hiệu quả bộ nhớ trên các biểu đồ lớn, chúng tôi quan sát thấy rằng có thể
sử dụng lại một lô các nút nguồn hoặc đích được lấy mẫu Bn để xây dựng nhiều mẫu âm.
Trong các đồ thị đa quan hệ với một số lượng nhỏ các quan hệ, chúng ta xây dựng các lô
cạnh có chung kiểu quan hệ r.
Trong phần thí nghiệm, các tác giả đánh giá PBG trên hai loại biểu đồ phổ biến
trong cả tài liệu học thuật và ứng dụng thực tế. Họ xem xét hai loại nhiệm vụ: dự đoán
liên kết trong biểu đồ và sử dụng biểu đồ nhúng các vectơ để dự đoán các thuộc tính khác
của các nút. Họ thấy rằng PBG nhanh hơn và có khả năng mở rộng hơn nhiều so với các
phương pháp hiện có trong khi vẫn đạt được hiệu suất tương đương. Thứ hai, phân vùng
phân tán không ảnh hưởng đến chất lượng của các phép nhúng đã học trên các biểu đồ
lớn. Thứ ba, PBG cho phép thực thi song song và do đó có thể giảm thời gian đào tạo
đồng hồ treo tường tỷ lệ thuận với số lượng phân vùng. Việc sử dụng PBG để nhúng
biểu đồ biên kiến thức Freebase cũng được xem xét . Sơ đồ tri thức có cấu trúc rất khác
so với mạng xã hội và sự hiện diện của nhiều loại quan hệ cho phép chúng ta nghiên cứu
tác động của việc sử dụng các toán tử quan hệ khác nhau từ tài liệu. Sau đó, họ so sánh
hiệu suất nhúng PBG với MILE, hiệu suất này cũng có thể mở rộng thành các biểu đồ
lớn, đồng thời so sánh hiệu suất của nhúng PBG với nhúng MILE và nhúng DeepWalk
bằng cách áp dụng các nhúng đó làm tính năng để thực hiện phân loại người dùng đa
nhãn để đưa ra kết luận PBG hoạt động tương đối (tốt hơn một chút) so với các phương
pháp cạnh tranh với dữ liệu trong Hình 2.10.
Hình 2.10 Hiệu suất của PBG, DeepWalk và MILE trên bộ dữ liệu LiveJournal và bộ dữ
liệu YouTube.
Bên trái: Đánh giá dự đoán liên kết và mức sử dụng bộ nhớ tối đa cho các nhúng
được đào tạo của bộ dữ liệu LiveJournal và bộ dữ liệu YouTube. Số liệu xếp hạng trên
tập kiểm tra thu được bằng cách xếp hạng các cạnh dương trong số các cạnh bị hỏng
được lấy mẫu ngẫu nhiên. Đúng: Micro-f1 và Macro-f1 trong nhiệm vụ dự đoán danh
mục người dùng của bộ dữ liệu YouTube khi sử dụng các tính năng nhúng đã học làm
tính năng.
11
Cuối cùng, họ kết luận PBG hỗ trợ các biểu đồ đa thực thể, đa quan hệ với cấu hình
theo mỗi quan hệ như trọng số cạnh và lựa chọn toán tử quan hệ. Để tiết kiệm sử dụng
bộ nhớ và cho phép song song hóa, PBG thực hiện phân tách khối vị trí của ma trận kề
thành N nhóm, đào tạo trên các cạnh từ một nhóm tại một thời điểm cho thấy rằng chất
lượng của các nhúng được đào tạo bằng PBG tương đương với các hệ thống nhúng hiện
có và cần ít thời gian hơn để đào tạo. Họ trình bày hiệu suất của PBG trên bộ dữ liệu
đồ thị có sẵn công khai lớn nhất mà chúng tôi biết. Tuy nhiên, lợi ích lớn nhất của kiến
trúc PBG đến từ các biểu đồ lớn hơn các biểu đồ này 1 - 2 bậc độ lớn, trong đó cần phân
vùng chi tiết hơn và tạo ra tính song song hơn. Ngoài ra các tác giả hy vọng rằng công
việc này và việc phát hành PBG mã nguồn mở sẽ giúp thúc đẩy việc phát hành các bộ
dữ liệu biểu đồ lớn hơn và tăng cường nghiên cứu và báo cáo kết quả trên các biểu đồ
lớn hơn.
12
KẾT LUẬN
13
TÀI LIỆU THAM KHẢO
14