Học sâu được biết đến để giải quyết các vấn đề có thể khó hiểu trong tầm nhìn

máy
tính và xử lý ngôn ngữ tự nhiên, nhưng nó thường làm như vậy bằng cách sử dụng tài
nguyên CPU và GPU khổng lồ. Các kỹ thuật học tập sâu truyền thống không phù hợp
để giải quyết những thách thức của các ứng dụng Internet of Things (IoT), tuy nhiên,
vì chúng không thể áp dụng cùng một mức tài nguyên tính toán.
Khi chạy phân tích học sâu trên thiết bị di động, nhà phát triển phải thích nghi với
nền tảng hạn chế về tài nguyên hơn. Phân tích hình ảnh trên nền tảng hạn chế tài
nguyên có thể tiêu thụ tài nguyên bộ nhớ và tính toán đáng kể. Ví dụ, ứng dụng
SpotGarbage sử dụng các mạng nơ-ron tích chập để phát hiện rác trong các hình ảnh
nhưng tiêu thụ 83% CPU và mất hơn năm giây để ra quyết định. May mắn thay,
những tiến bộ gần đây về nén mạng, tính toán gần đúng và bộ tăng tốc đang cho phép
học sâu về các thiết bị IoT bị hạn chế về tài nguyên.
Để hiểu những thách thức của việc áp dụng học tập sâu vào dữ liệu IoT, nó giúp
đánh giá các đặc điểm liên quan của các ứng dụng IoT. Các hệ thống này bao gồm
một số lượng lớn các thiết bị phân tán liên tục tạo ra một khối lượng lớn dữ liệu . Các
loại thiết bị khác nhau tạo ra các loại dữ liệu khác nhau, dẫn đến tập hợp dữ liệu
không đồng nhất, nhưng dữ liệu thường bao gồm tem thời gian và thông tin vị trí.
Cuối cùng, các ứng dụng IoT phải được thiết kế để chịu đựng nhiễu trong dữ liệu do
lỗi truyền tải và chuyển đổi. Những đặc tính này đòi hỏi sức mạnh tính toán đáng kể,
có thể là một nguồn lực hạn chế trên nhiều thiết bị IoT. Các nhà nghiên cứu đã xác
định ba cách để triển khai việc học sâu vào các thiết bị hạn chế tài nguyên trong khi
giảm nhu cầu về CPU, bộ nhớ và sức mạnh.
Nén mạng là quá trình chuyển đổi mạng nơron được kết nối mật độ thành mạng được
kết nối thưa thớt. Kỹ thuật này không hoạt động với tất cả các mạng học tập sâu
nhưng khi áp dụng, nó có thể giảm cả dung lượng lưu trữ và tính toán.
Bằng cách cắt xén các kết nối dự phòng một cách thông minh, tải tính toán có thể
được giảm xuống theo hệ số 10 mà không ảnh hưởng xấu đến độ chính xác. Một
nghiên cứu tìm thấy một lợi thế quan trọng khác của các mô hình mạng thưa thớt: các
mô hình nén này có thể chạy trên các nền tảng IoT thường được sử dụng, bao gồm cả
các nền tảng của Qualcomm, Intel và NVidia.
Một cách tiếp cận khác để giảm tải tính toán là tính toán gần đúng, thay vì tính toán
chính xác, các giá trị của các nút có ít ảnh hưởng nhất đến độ chính xác của mô hình.
Ví dụ, trong một nghiên cứu về thiết kế tiêu thụ năng lượng thấp, các nhà nghiên cứu
đã tạo ra kết quả gần đúng bằng cách giảm số bit trên mỗi nút 33% xuống còn 75%
bit trong các nơron tác động thấp. Sự thay đổi này không làm giảm độ chính xác.
Trong khi thích hợp cho nhiều ứng dụng, tính toán gần đúng không phù hợp với các
ứng dụng đòi hỏi độ chính xác cao.
Cách tiếp cận thứ ba để cho phép học sâu về các thiết bị IoT là triển khai phần cứng
bộ tăng tốc chuyên dụng. Ví dụ, bộ tăng tốc Eyeriss được thiết kế để tối ưu hóa cho
việc tiêu thụ năng lượng bởi các mạng nơ-ron tích chập (Convolutional Neural
Network). Nền tảng DianNao được thiết kế cho cả hai mạng nơ-ron tích chập và sâu
và tối ưu hóa việc sử dụng bộ nhớ cũng như tiêu thụ năng lượng.
Điểm bất lợi của phương pháp này là nó đòi hỏi phần cứng chuyên dụng. Các bộ tăng
tốc dựa trên phần cứng phù hợp nhất với các ứng dụng có giá trị cao đòi hỏi tiêu thụ
điện năng thấp và tính toán nhanh.
Học sâu không nằm ngoài tầm với của các thiết bị IoT. Tính năng nén mạng, tính toán
gần đúng và bộ tăng tốc phần cứng đều cho phép tạo mô hình lưới thần kinh sâu trên
các thiết bị có CPU, bộ nhớ và sức mạnh hạn chế. Như với bất kỳ phương pháp tiếp
cận chuyên biệt, có những hạn chế và bất lợi.
Tính năng nén mạng và tính toán gần đúng phù hợp với các ứng dụng không cần đồ
chính xác cao. Cả hai kỹ thuật có thể được kết hợp với bộ tăng tốc để cải thiện hiệu
suất hơn nữa nhưng với chi phí sử dụng phần cứng chuyên dụng. Tính năng nén
mạng và tính toán gần đúng đều làm giảm dữ liệu được sử dụng trong tính toán và
nên được sử dụng thận trọng.
Kiến thức của chúng tôi về việc học sâu về các thiết bị IoT bị hạn chế và chúng ta nên
thận trọng trong một số lĩnh vực. Phân tích dữ liệu trực tuyến với các mạng nén
không được hiểu rõ, đặc biệt là liên quan đến các mô hình phải thích nghi với các
mẫu thay đổi trong luồng dữ liệu. Hầu hết các nghiên cứu về học sâu về IoT đều sử
dụng CNN. Các mạng này thường được áp dụng cho phân tích hình ảnh nhưng các
mạng bộ nhớ ngắn hạn (LSTM) dài được sử dụng rộng rãi để phân tích các tập dữ
liệu tuyến tính tuyến tính. Nó không rõ ràng nếu các kỹ thuật nén mạng hoạt động tốt
với CNN sẽ có hiệu quả khi áp dụng cho LSTM. Khi sử dụng tính toán gần đúng và
nén mạng sẽ có một điểm giảm dần. Giảm hơn nữa về kích thước mạng hoặc nút có
thể tạo ra độ chính xác và độ chính xác giảm đáng kể. Học tập sâu là giải pháp tốt
nhất cho một số vấn đề phân tích và phát hiện. Khi được sử dụng với một mắt để bảo
tồn tính toán, bộ nhớ và tài nguyên năng lượng, học tập sâu có thể mang lại trí thông
minh cho các thiết bị IoT.