Machine Translated by Google

Học liên kết trong mạng Edge di động: A

Khảo sát toàn diện
Wei Yang Bryan Lim, Nguyen Cong Luong, Dinh Thai Hoang, Yutao Jiao, Ying-Chang Liang, Fellow, IEEE,
Qiang Yang, Fellow, IEEE, Dusit Niyato, Fellow, IEEE và Chunyan Miao

Tóm tắt — Trong những năm gần đây, các thiết bị di động được trang I. GIỚI THIỆU
bị khả năng cảm biến và tính toán ngày càng tiên tiến. Cam kết với
những tiến bộ trong Học sâu (DL), điều này mở ra vô số khả năng cho Hiện tại, có gần 7 tỷ thiết bị Internet vạn vật (IoT) được kết nối
các ứng dụng có ý nghĩa, ví dụ: cho các mục đích y tế và trong các
[1] và 3 tỷ điện thoại thông minh trên khắp thế giới. Các thiết bị này
mạng xe cộ. Phương pháp tiếp cận Máy học dựa trên đám mây (ML)
được trang bị cảm biến, khả năng tính toán và giao tiếp ngày càng tiên
truyền thống yêu cầu dữ liệu phải được tập trung trong một máy chủ
đám mây hoặc trung tâm dữ liệu. Tuy nhiên, điều này dẫn đến các vấn tiến. Do đó, chúng có thể được triển khai cho các nhiệm vụ thu hút đám
đề quan trọng liên quan đến độ trễ không thể chấp nhận được và tính đông khác nhau, ví dụ, cho mục đích y tế [2] và giám sát chất lượng
kém hiệu quả của thông báo. Để đạt được mục tiêu này, Mobile Edge không khí [3]. Cùng với sự phát triển của Học tập sâu (DL) [4], sự
Computing (MEC) đã được đề xuất để đưa trí thông minh đến gần biên
phong phú của dữ liệu được thu thập bởi các thiết bị đầu cuối mở ra vô
hơn, nơi dữ liệu được sản xuất. Tuy nhiên, các công nghệ kích hoạt
số khả năng cho các nghiên cứu và ứng dụng có ý nghĩa.
thông thường cho ML tại các mạng biên di động vẫn yêu cầu dữ liệu cá
nhân được chia sẻ với các bên bên ngoài, ví dụ như các máy chủ
biên. Gần đây, trước các luật lệ về quyền riêng tư dữ liệu ngày Trong cách tiếp cận lấy đám mây truyền thống làm trung tâm, dữ liệu
càng nghiêm ngặt và những lo ngại về quyền riêng tư ngày càng tăng,
do thiết bị di động thu thập được tải lên và xử lý tập trung trong một
khái niệm Học liên kết (FL) đã được đưa ra. Trong FL, các thiết bị
máy chủ hoặc trung tâm dữ liệu dựa trên đám mây. Đặc biệt, dữ liệu
đầu cuối sử dụng dữ liệu cục bộ của chúng để đào tạo mô hình ML do
máy chủ yêu cầu. Sau đó, các thiết bị cuối sẽ gửi các bản cập nhật được thu thập bởi các thiết bị IoT và điện thoại thông minh như phép

mô hình thay vì dữ liệu thô tới máy chủ để tổng hợp. FL có thể đóng
vai trò là một công nghệ hỗ trợ trong các mạng cạnh di động vì nó
cho phép đào tạo hợp tác mô hình ML và cũng cho phép DL để tối ưu
hóa mạng cạnh di động. Tuy nhiên, trong một mạng biên di động quy mô
lớn và phức tạp, có liên quan đến các thiết bị không đồng nhất với
các ràng buộc khác nhau. Điều này làm nảy sinh những thách thức về
đo [5], ảnh [6], video [7], và thông tin vị trí [8] được tổng hợp tại
trung tâm dữ liệu [9]. Sau đó, dữ liệu được sử dụng để cung cấp thông
tin chi tiết hoặc tạo ra các mô hình suy luận hiệu quả. Tuy nhiên, cách
làm này không còn bền vững vì những lý do sau. Thứ nhất, chủ sở hữu dữ
liệu ngày càng nhạy cảm với quyền riêng tư. Sau những lo ngại về quyền

chi phí liên lạc, phân bổ nguồn lực, quyền riêng tư và bảo mật trong
việc thực hiện FL trên quy mô lớn. Trong cuộc khảo sát này, chúng tôi
bắt đầu bằng phần giới thiệu về nền tảng và các nguyên tắc cơ bản
của FL. Sau đó, chúng tôi nêu bật những thách thức nói trên của việc
thực hiện FL và xem xét các giải pháp hiện có. Hơn nữa, chúng tôi
trình bày các ứng dụng của FL để tối ưu hóa mạng cạnh di động. Cuối
riêng tư của người tiêu dùng trong thời đại dữ liệu lớn, các nhà quản
lý chính sách đã phản hồi bằng việc thực hiện các luật về quyền riêng
tư của dữ liệu như Quy định chung về bảo vệ dữ liệu của Ủy ban Châu
Âu (GDPR) [10] và Dự luật Quyền riêng tư của Người tiêu dùng ở Hoa Kỳ
[11 ]. Đặc biệt, sự đồng ý (Điều 6 GDPR) và nguyên tắc tối thiểu hóa

cùng, chúng tôi thảo luận về những thách thức quan trọng và hướng nghiêndữcứu
liệu (Điều
trong 5 GDPR)
tương laichỉ giới hạn việc thu thập và lưu trữ dữ liệu ở
ở FL.
những gì được người tiêu dùng đồng ý và thực sự cần thiết để xử lý.
Điều khoản chỉ mục — Học tập liên kết, mạng cạnh di động, phân bổ
lại nguồn, chi phí liên lạc, quyền riêng tư dữ liệu, bảo mật dữ liệu Thứ hai, cách tiếp cận lấy đám mây làm trung tâm liên quan đến độ trễ

lan truyền kéo dài và gây ra độ trễ không thể chấp nhận được [12] đối

với các ứng dụng phải đưa ra quyết định theo thời gian thực, ví dụ

như trong hệ thống xe tự lái [13]. Thứ ba, việc chuyển dữ liệu lên đám

mây để xử lý tạo gánh nặng cho các mạng xương sống, đặc biệt là trong

các nhiệm vụ liên quan đến dữ liệu phi cấu trúc, ví dụ, trong phân tích
WYB Lim thuộc Tập đoàn Alibaba và Viện nghiên cứu chung Alibaba-NTU, Đại
học Công nghệ Nanyang, Singapore. Email: limw0201@e.ntu.edu.sg. video [14]. Điều này càng trở nên trầm trọng hơn bởi thực tế là đào

tạo lấy đám mây làm trung tâm tương đối phụ thuộc vào truyền thông
NC Luong đến từ Khoa Công nghệ Thông tin, Đại học PHENIKAA, Hà Nội 12116,
không dây [15]. Do đó, điều này có thể cản trở sự phát triển của các
Việt Nam, và làm việc cho Viện Nghiên cứu và Công nghệ PHENIKAA (PRATI), A&A
Green Phoenix Group JSC, No.167 Hoàng Ngân, Trung Hòa, Cầu Giấy, Hà Nội công nghệ mới.
11313, Việt Nam. Email: luong.nguyencong@phenikaa-uni.edu.vn.
Với các nguồn dữ liệu chủ yếu nằm bên ngoài đám mây ngày nay [16],

DT Hoàng hiện đang học tại Trường Kỹ thuật Điện và Dữ liệu, Đại học Công
nghệ Sydney, Australia. E-mail: hoang.dinh@uts.edu.au.
Y. Jiao, D. Niyato và C. Miao đang làm việc tại Trường Kỹ thuật và Khoa
học Máy tính, Đại học Công nghệ Nanyang, Singapore. Email:
yjiao001@e.ntu.edu.sg, dniyato@ntu.edu.sg, ascymiao@ntu.edu.sg.
Y C. Liang làm việc với Trung tâm Mạng Thông minh và Các cation Giao tiếp
(CINC), Đại học Khoa học và Công nghệ Điện tử Trung Quốc (UESTC), Thành Đô
611731, Trung Quốc. E-mail: liangyc@ieee.org.
Q. Yang đang theo học tại Đại học Khoa học và Công nghệ Hồng Kông, Hồng
Kông, Trung Quốc. Email: qyang@cse.ust.hk.
Mobile Edge Computing (MEC) đương nhiên đã được đề xuất như một giải
pháp trong đó khả năng tính toán và lưu trữ [12] của các thiết bị cuối
và máy chủ biên được tận dụng để đưa việc đào tạo mô hình đến gần hơn
đến nơi dữ liệu được tạo ra [17]. Như được định nghĩa trong [15],
mạng lưới điện toán đám mây cạnh cuối bao gồm: (i) thiết bị cuối, (ii)
nút biên và (iii) máy chủ đám mây. Đối với đào tạo mô hình theo cách
tiếp cận MEC thông thường, một mô hình hợp tác đã được đề xuất trong
đó đào tạo
Machine Translated by Google
Hình 1: Phương pháp Edge AI đưa quá trình xử lý AI đến gần hơn với nơi
dữ liệu được tạo ra. Đặc biệt, FL cho phép đào tạo trên các thiết bị nơi
dữ liệu được sản xuất.
dữ liệu lần đầu tiên được gửi đến các máy chủ biên để đào tạo mô hình lên
đến các lớp DNN cấp thấp hơn, trước khi các tác vụ tính toán chuyên sâu
hơn được tải lên đám mây [18], [19] (Hình 1). Tuy nhiên, sự sắp xếp này
phát sinh chi phí liên lạc đáng kể và không phù hợp, đặc biệt đối với các
ứng dụng đòi hỏi đào tạo bền bỉ [15]. Ngoài ra, việc giảm tải tính toán và
xử lý dữ liệu tại các máy chủ biên vẫn liên quan đến việc truyền dữ liệu cá
nhân nhạy cảm. Điều này có thể không khuyến khích những người tiêu dùng
nhạy cảm về quyền riêng tư tham gia đào tạo người mẫu, hoặc thậm chí vi
phạm luật bảo mật ngày càng nghiêm ngặt [10]. Mặc dù các phương pháp bảo
vệ quyền riêng tư khác nhau, chẳng hạn như quyền riêng tư khác biệt (DP)
[20], đã được đề xuất, một số người dùng vẫn không sẵn sàng để lộ dữ liệu
riêng tư của họ vì sợ rằng dữ liệu của họ có thể bị máy chủ bên ngoài kiểm
tra. Về lâu dài, điều này không khuyến khích sự phát triển của các công nghệ
cũng như các ứng dụng mới.
Để đảm bảo rằng dữ liệu đào tạo vẫn còn trên các thiết bị cá nhân và để
tạo điều kiện cho việc học máy hợp tác các mô hình phức tạp giữa các thiết
bị phân tán, một phương pháp ML ap phi tập trung được gọi là Học liên kết
(FL) được giới thiệu trong [21]. Trong FL, các thiết bị di động sử dụng dữ
liệu cục bộ của chúng để hợp tác đào tạo mô hình ML do máy chủ FL yêu cầu.
Sau đó, họ gửi các bản cập nhật mô hình, tức là trọng số của mô hình, đến
máy chủ FL để tổng hợp. Các bước được lặp lại trong nhiều vòng cho đến khi
2
đạt được độ chính xác mong muốn. Điều này ngụ ý rằng FL có thể là một công
nghệ cho phép đào tạo mô hình ML tại các mạng cạnh di động. So với các cách
tiếp cận đào tạo mô hình ML lấy đám mây làm trung tâm thông thường, việc
triển khai FL để đào tạo mô hình tại các mạng cạnh di động có những ưu điểm
sau.
• Sử dụng băng thông mạng hiệu quả cao: Yêu cầu ít thông tin hơn
để truyền lên đám mây. Ví dụ: thay vì gửi dữ liệu thô cho quá
trình nhập, các thiết bị tham gia chỉ gửi các tham số mô hình
được cập nhật để tổng hợp. Kết quả là, điều này làm giảm đáng
kể chi phí truyền thông dữ liệu và giảm gánh nặng cho các mạng
đường trục.
• Quyền riêng tư: Theo điểm trên, dữ liệu thô của người dùng
không cần phải được gửi lên đám mây. Theo giả định rằng những
người tham gia và máy chủ FL không phải là độc hại, điều này
giúp tăng cường quyền riêng tư của người dùng và giảm xác
suất bị nghe trộm ở một mức độ nhất định. Trên thực tế, với
quyền riêng tư được nâng cao, nhiều người dùng sẽ sẵn sàng
tham gia vào khóa đào tạo mô hình thí nghiệm và do đó, các mô
hình suy luận tốt hơn có thể được xây dựng. • Độ trễ thấp:
Với FL, các mô hình ML có thể được đào tạo và cập nhật một cách
nhất quán. Trong khi đó, trong mô hình MEC, các quyết định thời
gian thực, ví dụ, phát hiện sự kiện [22], có thể được thực
hiện cục bộ tại các nút biên hoặc thiết bị cuối. Do đó, độ trễ
thấp hơn nhiều so với khi các quyết định được đưa ra trên đám
mây trước khi truyền chúng đến các thiết bị cuối. Điều này rất
quan trọng đối với các ứng dụng quan trọng về thời gian như hệ
thống ô tô tự lái, trong đó sự chậm trễ nhỏ nhất có thể đe dọa
tính mạng [13].
Với những ưu điểm nói trên, FL đã đạt được những thành công gần đây
trong một số ứng dụng. Ví dụ: thuật toán Trung bình liên kết (FedAvg) được
đề xuất trong [23] đã được đưa vào Gboard của Google [24] để cải thiện các
mô hình dự đoán từ tiếp theo. Ngoài ra, một số nghiên cứu cũng đã khám phá
việc sử dụng FL trong một số tình huống trong đó dữ liệu có tính chất nhạy
cảm, ví dụ, để phát triển các mô hình dự đoán cho chẩn đoán trong AI y tế
[25] và thúc đẩy sự hợp tác giữa nhiều bệnh viện [26] và Các cơ quan chính
phủ [27].
Bên cạnh việc là một công nghệ cho phép đào tạo mô hình ML tại các mạng
biên di động, FL cũng ngày càng được ứng dụng như một công nghệ cho phép
tối ưu hoá mạng biên di động. Do các hạn chế về tính toán và lưu trữ của
các mạng biên di động ngày càng phức tạp, các phương pháp tối ưu hóa mạng
thông thường được xây dựng trên các mô hình tĩnh có giá trị tương đối kém
trong việc lập mô hình mạng động [15]. Do đó, cách tiếp cận dựa trên Học
tập sâu (DL) theo hướng dữ liệu [28] để tối ưu hóa phân bổ tài nguyên đang
ngày càng phổ biến. Ví dụ: DL có thể được sử dụng để học biểu diễn các điều
kiện làm việc ròng [29] trong khi Học tăng cường sâu (DRL) có thể tối ưu
hóa việc ra quyết định thông qua các tương tác với môi trường động [30].
Tuy nhiên, các phương pháp tiếp cận nói trên yêu cầu dữ liệu người dùng
làm đầu vào và những dữ liệu này có thể nhạy cảm hoặc không thể truy cập
được về bản chất do các ràng buộc về quy định.
Do đó, trong cuộc khảo sát này, chúng tôi cũng xem xét tiềm năng của FL để
phục vụ như một công nghệ cho phép tối ưu hóa mạng cạnh di động, ví dụ:
trong liên kết ô [31], giảm tải tính toán
Machine Translated by Google
[32] và mạng xe cộ [33].
Tuy nhiên, có một số thách thức cần giải quyết trước khi FL có thể
được thực hiện trên quy mô lớn. Thứ nhất, mặc dù dữ liệu thô không
còn cần phải được gửi đến các máy chủ đám mây, chi phí truyền thông
vẫn là một vấn đề do kích thước cao của các bản cập nhật mô hình và
băng tần giao tiếp hạn chế của các thiết bị di động tham gia. Đặc
biệt, chương trình đào tạo mô hình DNN hiện đại có thể liên quan đến
việc giao tiếp hàng triệu tham số để tổng hợp. Thứ hai, trong một
mạng biên di động lớn và phức tạp, sự không đồng nhất của các thiết
bị tham gia về chất lượng dữ liệu, khả năng tính toán và sự sẵn sàng
tham gia phải được quản lý tốt từ quan điểm phân bổ tài nguyên. Thứ
ba, FL không đảm bảo quyền riêng tư khi có sự hiện diện của những
người tham gia độc hại hoặc các máy chủ tổng hợp. Đặc biệt, các công
trình nghiên cứu gần đây đã chỉ ra rõ ràng rằng một người tham gia
độc hại có thể tồn tại trong FL và có thể suy ra thông tin của những
người tham gia khác chỉ từ các thông số được chia sẻ một mình.
Do đó, các vấn đề về quyền riêng tư và bảo mật trong FL vẫn cần được
xem xét.
Mặc dù có các cuộc khảo sát về MEC và FL, nhưng các nghiên cứu
hiện có thường xử lý hai chủ đề này một cách riêng biệt. Đối với các
khảo sát hiện có về FL, các tác giả trong [34] tập trung nhiều hơn
vào việc thảo luận về kiến trúc và phân loại các cài đặt FL khác nhau
sẽ được sử dụng cho các phân phối khác nhau của dữ liệu đào tạo.
Các tác giả trong [35] nêu bật các ứng dụng của FL trong truyền thông
không dây nhưng không thảo luận về các vấn đề liên quan đến việc
triển khai FL. Ngoài ra, trọng tâm của [35] là kiến trúc mạng di động
hơn là các mạng biên di động. Ngược lại, các tác giả trong [36] cung
cấp một hướng dẫn ngắn gọn về FL và những thách thức liên quan đến
việc triển khai nó, nhưng không xem xét vấn đề phân bổ tài nguyên
trong FL, hoặc các ứng dụng tiềm năng của FL để tối ưu hóa mạng cạnh
di động. Mặt khác, đối với các cuộc khảo sát trong MEC tập trung vào
việc triển khai đào tạo mô hình ML tại các mạng biên, phương pháp
tiếp cận vĩ mô thường được áp dụng trong đó FL được đề cập ngắn gọn
như một trong những công nghệ cho phép trong mô hình MEC, nhưng
không có chi tiết liên quan đến việc thực hiện nó hoặc những thách
thức liên quan. Đặc biệt, các tác giả trong [14], [37], và [38] nghiên
cứu kiến trúc và quá trình đào tạo và suy luận tại các mạng biên mà
không xem xét các thách thức đối với việc thực hiện FL. Ngoài ra, các
cuộc khảo sát nghiên cứu sự phù hợp của DL để tối ưu hóa mạng cạnh
di động hầu hết không tập trung vào FL như một giải pháp tiềm năng
để bảo vệ quyền riêng tư của dữ liệu. Ví dụ, các tác giả trong [12],
[19], [39] - [42] thảo luận về các chiến lược để tối ưu hóa bộ nhớ
đệm và giảm tải tính toán cho các mạng biên di động, nhưng không xem
xét việc sử dụng các phương pháp tiếp cận liên kết bảo vệ quyền
riêng tư trong các nghiên cứu của họ.
Tương tự, [30] xem xét việc sử dụng DRL trong truyền thông và mạng
nhưng không bao gồm các cách tiếp cận DRL liên kết.
Tóm lại, hầu hết các khảo sát hiện có về FL không xem xét các ứng
dụng của FL trong bối cảnh của mạng cạnh di động, trong khi các khảo
sát hiện có trên MEC không xem xét cơ hội để triển khai FL hoặc tiềm
năng của FL được áp dụng trong mạng cạnh di động tối ưu hóa. Điều
này thúc đẩy chúng tôi thực hiện một cuộc khảo sát toàn diện có những
đóng góp sau:
• Chúng tôi thúc đẩy tầm quan trọng của FL như một sự thay đổi mô
hình quan trọng hướng tới việc kích hoạt mô hình ML hợp tác
3
tập huấn. Sau đó, chúng tôi cung cấp một hướng dẫn ngắn gọn về
triển khai FL và giới thiệu cho người đọc danh sách các khuôn
khổ nguồn mở hữu ích mở đường cho các nghiên cứu trong tương
lai về FL và các ứng dụng của nó. • Chúng tôi thảo luận về các
tính năng độc đáo của FL so với cách tiếp cận ML được truyền tải
từ cen và những thách thức khi triển khai kết quả. Đối với mỗi
thách thức này, chúng tôi trình bày với độc giả một cuộc thảo
luận toàn diện về các giải pháp và cách tiếp cận hiện có được
khám phá trong tài liệu FL. • Chúng tôi thảo luận FL như một
công nghệ cho phép tối ưu hóa mạng cạnh di động. Đặc biệt, chúng
tôi thảo luận về các ứng dụng hiện tại và tiềm năng của FL như
một cách tiếp cận bảo vệ quyền riêng tư cho các ứng dụng trong
điện toán biên. • Chúng tôi thảo luận về những thách thức và
hướng nghiên cứu trong tương lai
của FL.
Để thuận tiện cho người đọc, chúng tôi phân loại các nghiên cứu
liên quan sẽ được thảo luận trong cuộc khảo sát này trong Hình 2.
Việc phân loại dựa trên (i) FL tại mạng cạnh di động, tức là các
nghiên cứu tập trung vào giải quyết các thách thức và vấn đề liên
quan đến việc thực hiện đào tạo hợp tác các mô hình ML trên thiết bị
đầu cuối, và (ii) FL cho mạng cạnh di động, tức là các nghiên cứu
khám phá cụ thể ứng dụng FL để tối ưu hóa mạng cạnh di động. Trong
khi nhóm nghiên cứu trước đây làm việc để giải quyết các vấn đề cơ
bản của FL, nhóm sau sử dụng FL như một công cụ ứng dụng để giải
quyết các vấn đề trong tính toán biên. Chúng tôi cũng trình bày danh
sách các từ viết tắt phổ biến để tham khảo trong Bảng II.
Phần còn lại của bài báo này được tổ chức như sau. Phần II giới
thiệu nền tảng và các nguyên tắc cơ bản của FL. Phần III xem xét các
giải pháp được cung cấp để giảm chi phí thông tin liên lạc.
Phần IV thảo luận về các cách tiếp cận phân bổ tài nguyên trong FL.
Phần V thảo luận về các vấn đề riêng tư và bảo mật. Phần VI thảo luận
về các ứng dụng của FL để tối ưu hóa mạng cạnh di động. Phần VII thảo
luận về những thách thức và hướng nghiên cứu trong tương lai ở FL.
Phần VIII kết luận bài báo.
II. BỐI CẢNH VÀ CƠ SỞ CƠ BẢN CỦA LIÊN BANG
HỌC TẬP
Trí tuệ nhân tạo (AI) đã trở thành một phần thiết yếu trong cuộc
sống của chúng ta ngày nay, sau những thành công và tiến bộ gần đây
của DL trong một số lĩnh vực, chẳng hạn như Thị giác máy tính (CV)
[43] và Xử lý ngôn ngữ tự nhiên (NLP) [44]. Trong đào tạo truyền thống
về Mạng thần kinh sâu (DNN), phương pháp tiếp cận dựa trên đám mây
được áp dụng theo đó dữ liệu được tập trung và đào tạo mô hình diễn
ra trong các máy chủ đám mây mạnh mẽ. Tuy nhiên, với sự phổ biến của
các thiết bị di động được trang bị khả năng cảm biến và tính toán
ngày càng tiên tiến, xu hướng di chuyển trí thông minh từ đám mây
sang vùng biên, tức là trong mô hình MEC, đã phát sinh một cách tự
nhiên. Ngoài ra, trong bối cảnh các mối quan tâm về quyền riêng tư
ngày càng gia tăng, khái niệm FL đã được đề xuất.
FL liên quan đến việc đào tạo hợp tác các mô hình DNN trên các
thiết bị đầu cuối. Nhìn chung, có hai bước trong quy trình đào tạo
FL là (i) đào tạo mô hình cục bộ trên các thiết bị đầu cuối và (ii)
tổng hợp toàn cầu các thông số cập nhật trong máy chủ FL.
Trong phần này, trước tiên chúng tôi giới thiệu ngắn gọn về đào tạo
mô hình DNN, khái quát về đào tạo mô hình địa phương trong FL. Lưu
ý rằng mặc dù FL có thể được áp dụng cho việc đào tạo
Machine Translated by Google
4

BẢNG I: Tổng quan về các khảo sát được chọn trong FL và MEC

Tham Đóng góp chủ đề

khảo [34] Hướng dẫn giới thiệu về phân loại các cài đặt FL khác nhau, ví dụ: FL dọc, FL ngang và Học chuyển giao liên kết
[35] FL FL trong việc tối ưu hóa việc phân bổ tài nguyên cho các mạng không dây trong khi vẫn bảo vệ quyền riêng tư của dữ liệu

[36] Hướng dẫn về FL và thảo luận về các thách thức thực hiện trong FL
[14] Chiến lược giảm tải tính toán để tối ưu hóa hiệu suất DL trong tính toán biên
[37] Khảo sát về các kiến trúc và khuôn khổ cho trí tuệ nhân tạo
[38] ML để quản lý IoT, ví dụ: quản lý và bảo mật mạng
[19] Khảo sát về giảm tải tính toán trong MEC
[30] Khảo sát về các phương pháp tiếp cận DRL để giải quyết các vấn đề trong truyền thông và mạng
MEC
[39] Khảo sát về các kỹ thuật tính toán giảm tải
[40] Khảo sát về kiến trúc và ứng dụng của MEC
[41] Khảo sát về các vấn đề máy tính, bộ nhớ đệm và truyền thông tại các mạng cạnh di động
[42] Khảo sát về các giai đoạn của bộ nhớ đệm và so sánh giữa các sơ đồ bộ nhớ đệm khác nhau
[12] Khảo sát về điện toán di động chung và quản lý tài nguyên truyền thông không dây trong MEC

Hình 2: Phân loại các nghiên cứu liên quan sẽ được thảo luận trong cuộc khảo sát này.

Mô hình ML nói chung, chúng tôi tập trung đặc biệt vào mô hình DNN

đào tạo về phần này như một phần lớn các bài báo mà chúng tôi

BẢNG II: Danh sách các từ viết tắt thông dụng. sau đó xem xét nghiên cứu việc đào tạo liên hiệp của DNN

các mô hình. Ngoài ra, các mô hình DNN dễ dàng được tổng hợp
Mô tả Viết tắt
BAA và vượt trội hơn các kỹ thuật ML thông thường, đặc biệt là khi
Tổng hợp tương tự băng thông rộng
CNN Mạng thần kinh hợp hiến dữ liệu lớn. Do đó, việc triển khai FL tại các công trình mạng cạnh di
CV Tầm nhìn máy tính động có thể thúc đẩy một cách tự nhiên sự gia tăng tính toán
DDQN Double Deep Q-Network
sức mạnh và sự giàu có của dữ liệu được thu thập bởi các thiết bị đầu cuối được phân phối,
DL Học kĩ càng
DNN cả hai đều là động lực góp phần vào sự phát triển của
Mạng thần kinh sâu
DP Quyền riêng tư khác biệt ĐL [45]. Như vậy, phần giới thiệu ngắn gọn về mô hình DNN chung
DQL Học hỏi sâu đào tạo sẽ hữu ích cho các phần tiếp theo. Sau đó,
DRL Học tập củng cố sâu
chúng tôi tiến hành cung cấp một hướng dẫn về quy trình đào tạo FL
FedAvg Trung bình liên kết
FL Học tập liên kết kết hợp cả tập hợp toàn cầu và đào tạo địa phương.
GAN Mạng lưới đối thủ chung Ngoài ra, chúng tôi cũng nêu bật những thách thức thống kê của
Độc lập và giống nhau
IID Đào tạo mô hình FL và trình bày các giao thức và mã nguồn mở
Được phân phối
các khuôn khổ của FL.
IOT Internet of Things
IoV Internet xe cộ
LSTM Bộ nhớ ngắn hạn dài hạn
A. Học sâu
MEC Điện toán cạnh di động
ML Học máy Các thuật toán ML thông thường dựa vào các máy trích ly fea ture
MLP Perceptron nhiều lớp được thiết kế thủ công để xử lý dữ liệu thô [46]. Như vậy, miền
NLP Xử lý ngôn ngữ tự nhiên
chuyên môn thường là điều kiện tiên quyết để xây dựng một ML hiệu quả
Phân chia tần số trực giao
OFDMA
Nhiều quyền truy cập
người mẫu. Ngoài ra, lựa chọn tính năng phải được tùy chỉnh và

QoE Chất lượng trải nghiệm khởi động lại cho mỗi vấn đề mới. Mặt khác, DNNs
RNN Mạng thần kinh định kỳ
là dựa trên việc học đại diện, tức là, các DNN có thể tự động
SGD Stochastic Gradient Descent
SMPC khám phá và tìm hiểu các tính năng này từ dữ liệu thô [4] và do đó
Tính toán đa bên an toàn
SNR Tỷ lệ tín hiệu trên nhiễu thường hoạt động tốt hơn các thuật toán ML thông thường, đặc biệt là khi
SVM Máy vector hỗ trợ có rất nhiều dữ liệu.
TFF TensorFlow được liên kết
DL nằm trong miền của máy tính lấy cảm hứng từ não bộ
UE Thiết bị người dùng
URLLC Giao tiếp độ trễ thấp cực kỳ đáng tin cậy mô hình, trong đó mạng nơ-ron là một phần quan trọng

trong tổng số [47]. Nói chung, thiết kế mạng nơ-ron mô phỏng điều đó

của một tế bào thần kinh [48]. Nó bao gồm ba lớp: (i) lớp đầu vào,

(ii) lớp ẩn, và (iii) lớp đầu ra. Trong một quy ước
Machine Translated by Google
mạng nơ-ron truyền thẳng, giá trị đầu vào có trọng số và
được hiệu chỉnh thiên vị được chuyển qua một hàm kích hoạt
phi tuyến tính để lấy ra một đầu ra [49] (Hình 3). Một số
chức năng kích hoạt bao gồm chức năng ReLu và softmax [44].
Một DNN điển hình bao gồm nhiều lớp ẩn ánh xạ đầu vào đến
đầu ra. Ví dụ, mục tiêu của một DNN được đào tạo để phân
loại hình ảnh [50] là tạo ra một vectơ điểm làm đầu ra,
trong đó chỉ số vị trí của điểm cao nhất tương ứng với lớp
mà hình ảnh đầu vào được phân loại. Do đó, mục tiêu của việc
huấn luyện DNN là tối ưu hóa các trọng số của mạng sao cho
giảm thiểu sự khác biệt giữa giá trị trung thực cơ bản và
kết quả đầu ra của mô hình.
Hình 3: Trong chuyển tiếp, một đầu ra được tính từ trọng lượng và
đầu vào. Trong nhân giống ngược, gradient đầu vào e được sử dụng để
hiệu chỉnh trọng số của mô hình DNN.
Trước khi đào tạo, tập dữ liệu đầu tiên được tách thành
tập dữ liệu đào tạo và kiểm tra. Sau đó, tập dữ liệu huấn
luyện được sử dụng làm dữ liệu đầu vào để tối ưu hóa trọng
số trong DNN. Các trọng số được hiệu chuẩn thông qua giảm độ
dốc ngẫu nhiên (SGD), trong đó các trọng số được cập nhật
bằng tích của (i) tốc độ học lr, tức là kích thước bước của
giảm độ dốc trong mỗi lần lặp, và (ii) đạo hàm riêng của giảm
hàm L đối với trọng lượng w. Công thức SGD như sau:
L sở hữu dữ liệu trung thực, có nghĩa là họ sử dụng dữ liệu cá
W = W - lr W
(1)
l nhân thực của mình để thực hiện đào tạo và gửi các mô hình cục
L 1 (i)
≈ (2)
W m X W
tôi B
Lưu ý rằng công thức SGD được trình bày trong (1) là công thức của
GD lô nhỏ. Đặc biệt, phương trình (2) được suy ra là giá trị trung bình
5
ma trận gradient trên ma trận gradient của lô B, trong đó
mỗi lô là một tập hợp con ngẫu nhiên bao gồm m mẫu huấn
luyện. Điều này được ưu tiên hơn so với GD theo lô đầy đủ,
tức là, toàn bộ tập huấn luyện được đưa vào tính toán đạo
hàm riêng, vì GD theo lô đầy đủ có thể dẫn đến huấn luyện
chậm và ghi nhớ theo lô [51]. Ma trận gradient được suy ra
thông qua sự lan truyền ngược từ gradient đầu vào e (Hình
3) [48].
Các lần lặp lại huấn luyện sau đó được lặp lại trong nhiều kỷ
nguyên, tức là, các lần vượt qua toàn bộ tập huấn luyện, để giảm
thiểu tổn thất. Một DNN được đào tạo tốt sẽ khái quát hóa tốt,
tức là đạt được độ chính xác suy luận cao khi áp dụng cho dữ liệu
mà nó chưa từng thấy trước đây, ví dụ: tập thử nghiệm. Có những
lựa chọn thay thế khác cho học có giám sát, ví dụ như học bán
giám sát [52], học không giám sát [53] và học tăng cường [54].
Ngoài ra, cũng tồn tại một số mạng DNN và kiến trúc được điều
chỉnh để xử lý các bản chất khác nhau của dữ liệu đầu vào, ví dụ:
Multilayer Perceptron (MLP) [55], Mạng nơ ron Convolutions (CNN)
[56] thường cho các tác vụ CV và Mạng nơ ron tái diễn (RNN) [57]
thường dành cho các tác vụ tuần tự. Tuy nhiên, một cuộc thảo luận
chuyên sâu nằm ngoài phạm vi của bài báo này. Chúng tôi giới thiệu
độc giả quan tâm đến [58] - [63] để có các cuộc thảo luận toàn
diện về cấu trúc DNN và chiến lược đào tạo. Tiếp theo, chúng tôi
tập trung vào FL, một sự thay đổi mô hình quan trọng theo hướng
cho phép bảo vệ quyền riêng tư và đào tạo mô hình DL hợp tác.
B. Học tập liên kết Được
thúc đẩy bởi mối quan tâm về quyền riêng tư giữa các chủ sở hữu dữ
liệu, khái niệm FL được giới thiệu trong [21]. FL cho phép người dùng
hợp tác đào tạo mô hình chia sẻ trong khi vẫn giữ dữ liệu cá nhân trên
thiết bị của họ, do đó giảm bớt mối lo ngại về quyền riêng tư của họ.
Do đó, FL có thể đóng vai trò như một công nghệ hỗ trợ đào tạo mô
hình ML tại các mạng cạnh di động. Để có phần giới thiệu về cách
phân loại các cài đặt FL khác nhau, ví dụ như FL theo chiều dọc
và ngang, chúng tôi giới thiệu những độc giả quan tâm đến [34].
Nói chung, có hai thực thể chính trong hệ thống FL, tức là
chủ sở hữu dữ liệu (viz. Người tham gia) và chủ sở hữu mô hình
(máy chủ viz. FL). Cho N = {1 ,. . . , N} biểu thị tập N chủ sở
hữu dữ liệu, mỗi chủ sở hữu có một tập dữ liệu riêng Di N Mỗi
.
chủ sở hữu dữ liệu tôi sử dụng tập dữ liệu Di của nó để đào tạo một
mô hình cục bộ wi và chỉ gửi các tham số mô hình cục bộ đến máy chủ FL.
Sau đó, tất cả các mô hình cục bộ đã thu thập được tổng hợp w =
i N wi để tạo ra một mô hình toàn cục wG. Điều này khác với
đào tạo tập trung truyền thống sử dụng D = i N Di để đào tạo
mô hình wT , tức là dữ liệu từ mỗi nguồn riêng lẻ được tổng hợp
trước khi đào tạo mô hình diễn ra tập trung.
Quy trình đào tạo và kiến trúc điển hình của hệ thống FL được
thể hiện trong Hình 4. Trong hệ thống này, chủ sở hữu dữ liệu
đóng vai trò là những người tham gia FL cộng tác đào tạo mô hình
ML do một máy chủ tổng hợp yêu cầu. Một giả định cơ bản là chủ
bộ thực sự đến máy chủ FL. Tất nhiên, giả định này có thể không
phải lúc nào cũng thực tế [64] và chúng tôi thảo luận về các
giải pháp được đề xuất sau đó trong Phần IV và V.
Nhìn chung, quy trình đào tạo FL bao gồm ba bước sau.
Lưu ý: mô hình địa phương đề cập đến mô hình được đào tạo
Machine Translated by Google
6

các nhãn dữ liệu tương ứng1 y = {y1 , . . . , yn}. Ngoài ra,

đặt yˆj = f (xj ; w) biểu thị kết quả dự đoán từ mô hình w được
cập nhật / huấn luyện bởi vectơ dữ liệu xjBảng III tóm tắt
. một số hàm mất mát
của các mô hình ML thông dụng [67].

BẢNG III: Các hàm mất mát của các mô hình ML phổ biến

Người mẫu
Hàm mất mát L (wt )
1
tôi

Mạng nơron N Pn j = 1 (yi - f (xj ; w)) 2

(Có nghĩa là lỗi bình phương)
Hồi quy 2
1
tuyến tính 2 yj - wT xj
P kxj
(xj- ;f w)
(xj
là; trọng
w) k j (f
tâm
K-có nghĩa là
của tất cả các đối tượng được gán cho lớp của
xj ) max (0, 1 - yj (wT xj - bias))]
1
[ Pn j =
N
2
bình phương-SVM 1 + λ wT (thiên vị là tham số thiên vị và λ
là hằng số.)

Hình 4: Quy trình đào tạo FL chung với N người tham gia.
Tổng hợp mô hình toàn cầu là một phần không thể thiếu của
FL. Một thuật toán đơn giản và cổ điển để tổng hợp các mô
hình cục bộ là thuật toán FedAvg được đề xuất trong [23],
tương tự như thuật toán SGD cục bộ [68]. Mã giả cho FedAvg
được đưa ra trong Thuật toán 1. Như được mô tả trong Bước 1 ở trên,

Thuật toán 1 Thuật toán tính trung bình liên kết [23]

tại mỗi thiết bị tham gia, trong khi mô hình toàn cầu đề cập Yêu cầu: Kích thước nhóm nhỏ cục bộ B, số người tham gia m mỗi lần lặp, số kỷ nguyên
địa phương E và tốc độ học tập η.
đến mô hình được máy chủ FL tổng hợp. • Bước 1 (Khởi tạo tác Đảm bảo: Mô hình toàn cầu wG.
1: [Người tham gia tôi]
vụ): Máy chủ quyết định nhiệm vụ đào tạo, tức là ứng dụng
2: LocalTraining (i, w):
đích và các yêu cầu dữ liệu tương ứng. Máy chủ cũng chỉ 3: Tách tập dữ liệu cục bộ Di thành các lô nhỏ có kích thước B được đưa vào tập Bi.
4: với mỗi kỷ nguyên cục bộ j từ 1 đến E thực hiện 5: với mỗi b Bi do 6: w w -
định các thước đo hyperpa của mô hình toàn cầu và quá η L (w; b) của L trên b.) 7: end for 8: end for 9: 10: [Máy chủ]
trình đào tạo, ví dụ: tốc độ học tập. Sau đó, máy chủ (η là tốc độ học và L là gradient

truyền phát mô hình toàn cầu đã được ized ban đầu và nhiệm
vụ cho những người tham
G và
giacập
được
nhật
chọn.
mô hình
• Bước
cục 2bộ):
(ĐàoDựa
tạo
trên mô hình toàn cục wt trong đó t biểu thị chỉ số lặp hiện
tại, mỗi người tham
G, và
giathiết
tươngbị ứng
của sử
mình
dụng
để dữ
cậpliệu
nhậtcục
cácbộ 11: Khởi tạo w0
12: cho mỗi lần lặp t từ 1 đến T do
tham số mô hình cục bộ wt Mục tiêu của người tham gia i 13: 14: Chọn
15: 16:
ngẫu end for
nhiên một17:
tậpwt
hợpG con
18: gồm m người tham gia từ N
trong lần lặp t là để tìm các tham số tối ưu wt giảm
hàm thiểu
tổn tôi .
end for cho mỗi người tham gia i St song song làm wt + 1
LocalTraining (i, wt G)
thất L (wt ), tức là,
= Câm (Tổng hợp trung bình)
tôi tôi

wt tôi
= arg min).L (wt tôi
(3)
máy chủ khởi tạo tác vụ đầu tiên (dòng 11-16). Sau đó, ở
Các tham số mô hình cục bộ được cập nhật sau đó sẽ Bước 2, người tham gia tôi thực hiện đào tạo cục bộ và
được gửi đến máy chủ. tối ưu hóa mục tiêu ở (3) trên các lô nhỏ từ tập dữ liệu
• Bước 3 (Tổng hợp và cập nhật mô hình toàn cầu): Máy chủ tổng hợp cục bộ ban đầu (dòng 2-8). Lưu ý rằng một minibatch đề cập đến một
tập hợp con ngẫu nhiên của tập dữ liệu của mỗi người tham gia.
thứ tự

các mô hình cục bộ từ những người tham gia và

t + 1
sau đó gửi lại các tham số mô hình toàn cầu đã cập nhật G Tại lần lặp t (dòng 17), máy chủ giảm thiểu tổn thất toàn cục trong
w cho chủ sở hữu dữ liệu. (4) bằng cách tổng hợp trung bình được định nghĩa chính thức là

Máy chủ muốn giảm thiểu hàm mất mát toàn cục L (wt G), 1
N
= Câm (5)
tức là wt G
X
P Bởi i N
tôi .

N
1 i = 1

L (wt G) = (4)
N XL (trọng lượng ).
tôi
Quá trình huấn luyện FL được lặp lại cho đến khi hội tụ hàm mất
i = 1
mát toàn cục hoặc đạt được độ chính xác mong muốn.
Các bước 2-3 được lặp lại cho đến khi hàm mất mát toàn cục hội
tụ hoặc đạt được độ chính xác đào tạo mong muốn. C. Những thách thức thống kê của FL
Lưu ý rằng quá trình đào tạo FL có thể được sử dụng cho
Tiếp theo sự trình bày chi tiết về quy trình đào tạo FL trong phần
các mô hình ML khác nhau về cơ bản sử dụng phương pháp SGD
trước, bây giờ chúng ta tiến hành thảo luận về những thách thức
như Máy vectơ hỗ trợ (SVM) [65], mạng nơ-ron và hồi quy
thống kê phải đối mặt trong FL.
tuyến tính [66]. Một tập dữ liệu huấn luyện thường chứa một
1
tập hợp n vectơ đặc trưng dữ liệu x = {x1 , . . . , xn} và một tập Trong
hợp trường hợp học không có giám sát, không có nhãn dữ liệu.
Machine Translated by Google
7

Trong ML phân tán truyền thống, máy chủ trung tâm có quyền truy cập về điều kiện mạng và trạng thái CPU của các thiết bị tham gia. Tuy nhiên,

vào toàn bộ tập dữ liệu đào tạo. Như vậy, máy chủ có thể chia tập dữ MOCHA không thể được áp dụng cho các mô hình DL không lồi.
liệu thành các tập con tuân theo các bản phân phối tương tự. Các tập

hợp con sau đó được gửi đến các nút tham gia để đào tạo phân tán. Tuy Tương tự, các tác giả trong [78] cũng mượn các khái niệm từ học đa

nhiên, cách tiếp cận này không thực tế đối với FL vì chỉ chủ sở hữu dữ nhiệm vụ để đối phó với sự không đồng nhất thống kê trong FL. Phương

liệu mới có thể truy cập được tập dữ liệu cục bộ. pháp FEDPER được đề xuất trong đó tất cả những người tham gia FL chia

Trong cài đặt FL, những người tham gia có thể có bộ dữ liệu cục bộ sẻ một tập hợp các lớp cơ sở được đào tạo bằng cách sử dụng thuật toán

tuân theo các bản phân phối khác nhau, tức là, bộ dữ liệu của các ipants FedAvg. Sau đó, mỗi người tham gia đào tạo riêng một tập hợp các lớp cá

cụ thể không phải là IID. Trong khi các tác giả trong [23] chỉ ra rằng nhân hóa khác bằng cách sử dụng dữ liệu cục bộ của riêng mình. Đặc biệt,

thuật toán FedAvg nói trên có thể đạt được độ chính xác mong muốn ngay cách tiếp cận này phù hợp để xây dựng hệ thống tư vấn dựa trên sở thích

cả khi dữ liệu không phải là IID giữa những người tham gia, các tác giả đa dạng của những người tham gia. Các tác giả cho thấy theo kinh nghiệm

trong [69] lại thấy khác. Ví dụ, độ chính xác của mô hình CNN do FedAvg khi sử dụng tập dữ liệu Flickr-AES [79] rằng phương pháp FEDPER hoạt

đào tạo có độ chính xác thấp hơn 51% so với mô hình CNN được đào tạo động tốt hơn phương pháp FedAvg thuần túy vì lớp cá nhân hóa có thể

tập trung cho CIFAR-10 [70]. Sự suy giảm độ chính xác này còn được thể thể hiện sự tôn sùng cá nhân của người tham gia FL. Tuy nhiên, cần lưu

hiện bằng khoảng cách của người di chuyển trên mặt đất (EMD) [71], tức ý rằng việc đào tạo cộng tác của các lớp cơ sở vẫn rất quan trọng để đạt
là sự khác biệt trong phân phối dữ liệu của người tham gia FL so với được độ chính xác kiểm tra cao, vì mỗi người tham gia không có đủ mẫu

phân bố dân số. Do đó, khi dữ liệu không phải là IID và có độ lệch cao, dữ liệu cục bộ để đào tạo mô hình được cá nhân hóa thuần túy.

chia sẻ dữ liệu được đề xuất trong đó một tập dữ liệu được chia sẻ với

phân phối đồng nhất trên tất cả các lớp được máy chủ FL gửi đến từng

người tham gia FL. Sau đó, người tham gia đào tạo mô hình cục bộ của Ngoài sự không đồng nhất về dữ liệu, sự hội tụ của một thuật toán

mình trên dữ liệu riêng tư cùng với dữ liệu nhận được. Kết quả mô phỏng học tập không đồng nhất luôn là một mối quan tâm. Tỷ lệ kết hợp cao hơn

cho thấy độ chính xác có thể tăng lên 30% với 5% dữ liệu được chia sẻ do giúp tiết kiệm một lượng lớn thời gian và nguồn lực cho những người

EMD giảm. Tuy nhiên, một tập dữ liệu chung có thể không phải lúc nào cũng tham gia FL, và cũng giảm đáng kể tỷ lệ thành công của khóa đào tạo liên
có sẵn để máy chủ FL chia sẻ. Một giải pháp thay thế để thu thập các đoàn vì ít vòng giao tiếp hơn đồng nghĩa với việc người tham gia bỏ học

thông tin đóng góp nhằm xây dựng tập dữ liệu chung sau đó sẽ được thảo sẽ giảm đáng kể. Để đảm bảo sự hội tụ, nghiên cứu trong [80] đề xuất

luận trong phần IV. FedProx, điều chỉnh hàm mất mát để cũng bao gồm một tham số có thể điều

chỉnh để hạn chế mức độ cập nhật cục bộ có thể ảnh hưởng đến các tham số

mô hình phổ biến. Thuật toán FedProx có thể được điều chỉnh một cách

Các tác giả trong [72] cũng nhận thấy rằng sự mất cân bằng toàn cầu, thích ứng, ví dụ: khi mất mát trong quá trình huấn luyện ngày càng tăng,
tức là, tình huống thu thập dữ liệu được tổ chức trên tất cả những người các bản cập nhật mô hình có thể được điều chỉnh để ảnh hưởng ít hơn

tham gia FL bị mất cân bằng về lớp, dẫn đến sự suy giảm độ chính xác của đến các tham số hiện tại. Tương tự, các tác giả trong [81] cũng đề xuất

mô hình. Như vậy, khung Astraea được đề xuất. thuật toán LoAdaBoost FedAvg để bổ sung cho cách tiếp cận chia sẻ dữ liệu

Khi khởi tạo, những người tham gia FL trước tiên gửi phân phối dữ liệu [69] nói trên trong ML về dữ liệu y tế. Trong LoAdaBoost FedAvg, những

của họ đến máy chủ FL. Một bước tái cân bằng được thực hiện trước khi người tham gia đào tạo mô hình trên dữ liệu cục bộ của họ và so sánh tổn

bắt đầu đào tạo, trong đó mỗi người tham gia thực hiện tăng dữ liệu [73] thất entropy chéo với tổn thất trung bình từ vòng đào tạo trước. Nếu tổn

về các lớp thiểu số, ví dụ, thông qua các lần luân chuyển và thay đổi thất chéo entropy hiện tại cao hơn, mô hình sẽ được đào tạo lại trước

dom đã chạy. Sau khi đào tạo về dữ liệu tăng cường, một bộ trung gian khi tổng hợp toàn cầu để tăng hiệu quả học tập. Kết quả mô phỏng cho thấy

được tạo để điều phối tổng hợp trung gian, tức là trước khi gửi các kết quả là đạt được sự hội tụ nhanh hơn.

tham số cập nhật đến máy chủ FL để tổng hợp toàn cầu. Người hòa giải

chọn những người tham gia có phân phối dữ liệu góp phần tốt nhất vào
việc phân phối đồng nhất khi được tổng hợp. Điều này được thực hiện Trên thực tế, những thách thức thống kê của FL cùng tồn tại với các
thông qua cách tiếp cận thuật toán tham lam để giảm thiểu Phân kỳ Kullback- vấn đề khác mà chúng ta sẽ khám phá trong các phần tiếp theo. Ví dụ, chi

Leibler [74] giữa dữ liệu cục bộ và phân phối đồng nhất. Quá trình mô phí liên lạc phát sinh trong FL có thể được giảm bớt bằng cách hội tụ
phỏng kết thúc cho thấy sự cải thiện độ chính xác khi được kiểm tra trên nhanh hơn. Tương tự, các chính sách phân bổ nguồn lực cũng có thể được
các tập dữ liệu không cân bằng. thiết kế để giải quyết sự không đồng nhất về mặt thống kê. Do đó, chúng

tôi sẽ xem xét lại các khái niệm này một cách chi tiết hơn sau đó.
Do sự phân bố dữ liệu không đồng nhất giữa các thiết bị, ngày càng có

nhiều nghiên cứu mượn các khái niệm từ học đa tác vụ [75] để tìm hiểu
D. Các giao thức và khuôn khổ FL Để cải
các mô hình riêng biệt nhưng có liên quan đến cấu trúc cho từng người

tham gia. Thay vì tối thiểu hóa hàm tổn thất thông thường được trình thiện khả năng mở rộng, một giao thức FL đã được đề xuất trong [82]

bày trước đó trong Bảng III, hàm tổn thất được sửa đổi để cũng mô hình từ cấp hệ thống. Giao thức này giải quyết các vấn đề liên quan đến kết

hóa mối quan hệ giữa các nguyên công [76]. Sau đó, thuật toán MOCHA được nối thiết bị không ổn định và bảo mật thông tin liên lạc, v.v.

đề xuất trong đó một cách tiếp cận tối ưu hóa xen kẽ [77] được sử dụng

để giải quyết gần đúng bài toán tối thiểu hóa. Giao thức FL (Hình 5) bao gồm ba giai đoạn trong mỗi vòng đào tạo: 1)

Lựa chọn: Trong giai đoạn lựa chọn người tham gia, máy chủ FL chọn một

Điều thú vị là MOCHA cũng có thể được hiệu chỉnh dựa trên các hạn chế tập hợp con của các thiết bị được kết nối để thi đấu trong một vòng

về tài nguyên của một thiết bị tham gia. Ví dụ: chất lượng của phép gần đào tạo. Các tiêu chí lựa chọn có thể

đúng có thể được điều chỉnh một cách thích ứng dựa trên
Machine Translated by Google
sau đó được hiệu chỉnh theo nhu cầu của máy chủ, ví dụ, hiệu
quả đào tạo [83]. Trong Phần IV, chúng tôi sẽ nhấn mạnh thêm về
các phương pháp lựa chọn người tham gia được đề xuất.
2) Cấu hình: Máy chủ được cấu hình phù hợp với cơ chế tổng hợp
được ưu tiên, ví dụ tập hợp đơn giản hoặc an toàn [84]. Sau
đó, máy chủ sẽ gửi lịch đào tạo và mô hình toàn cầu cho từng
người tham gia.
3) Báo cáo: Máy chủ nhận được các bản cập nhật từ quần cụ thể.
Sau đó, các bản cập nhật có thể được tổng hợp, ví dụ: sử dụng
thuật toán FedAvg.
Ngoài ra, để quản lý các kết nối thiết bị phù hợp với quy mô dân số
FL khác nhau, tính năng điều khiển tốc độ cũng được đề xuất. Chỉ đạo
Pace quản lý thích ứng khoảng thời gian tối ưu để người tham gia kết
nối lại với máy chủ FL [82].
Ví dụ: khi dân số FL nhỏ, điều khiển tốc độ được sử dụng để đảm bảo
rằng có đủ số lượng thiết bị tham gia kết nối đồng thời với máy chủ.
Ngược lại, khi có một lượng lớn dân số, điều khiển tốc độ sẽ chọn
ngẫu nhiên các thiết bị tham gia để tránh trường hợp có quá nhiều
thiết bị tham gia được kết nối tại một thời điểm.
Ngoài hiệu quả giao tiếp, sự khó khăn trong giao tiếp trong quá
trình truyền tải các bản cập nhật cục bộ là một vấn đề khác cần được
giải quyết. Cụ thể, có hai khía cạnh chủ yếu trong bảo mật thông tin
liên lạc: 1) Tổng hợp an toàn: Để ngăn các cập nhật cục bộ bị truy tìm
và sử dụng để suy ra danh tính của người tham gia FL, một máy chủ
ảo và đáng tin cậy của bên thứ ba được triển khai để tổng hợp
mô hình cục bộ [84] . Cơ chế Chia sẻ Bí mật [85] cũng được sử
dụng để truyền các bản cập nhật cục bộ với mã hóa đã được xác
thực.
2) Quyền riêng tư khác biệt: Tương tự như tổng hợp an toàn,
quyền riêng tư khác biệt (DP) ngăn máy chủ FL xác định chủ sở
hữu của bản cập nhật cục bộ. Sự khác biệt là để đạt được mục
tiêu bảo vệ quyền riêng tư, DP trong FL [86] bổ sung một mức
độ nhiễu nhất định trong bản cập nhật cục bộ ban đầu trong khi
cung cấp các đảm bảo lý thuyết về chất lượng mô hình.
Các khái niệm về quyền riêng tư và bảo mật này được trình bày chi
tiết trong Phần V. Gần đây, một số khuôn khổ nguồn mở cho FL đã được
phát triển như sau: 1) TensorFlow Federated (TFF): TFF [87] là một
khuôn khổ dựa trên Tensorflow do Google phát triển cho ML phân tán
phi lý và các phép tính phân tán khác. TFF bao gồm hai lớp (i)
FL và (ii) Lõi liên kết (FC).
Lớp FL là một giao diện cấp cao cho phép triển khai FL cho các
mô hình TF hiện có mà người dùng không cần phải áp dụng các
thuật toán FL một cách cá nhân. Lớp FC kết hợp TF với các toán
tử truyền thông để cho phép người dùng thử nghiệm với các thuật
toán FL được thiết kế mới và tùy chỉnh.
2) PySyft: PySyft [88] là một khuôn khổ dựa trên PyTorch để thực
hiện DL được mã hóa, bảo vệ quyền riêng tư và triển khai các
kỹ thuật liên quan, chẳng hạn như Tính toán nhiều bên an toàn
(SMPC) và DP, trong môi trường không đáng tin cậy đồng thời
bảo vệ dữ liệu. Pysyft được phát triển để nó giữ lại giao diện
Torch gốc, tức là
số 8
các cách để thực hiện tất cả các hoạt động tensor vẫn không
thay đổi so với Pytorch. Khi SyftTensor được tạo, LocalTensor
sẽ tự động được tạo để áp dụng lệnh đầu vào cho tensor Pytorch
gốc. Để mô phỏng FL, những người tham gia được tạo dưới dạng
Nhân viên ảo. Dữ liệu, tức là, trong cấu trúc của tensor, có
thể được phân chia và phân phối cho Virtual Worker như một mô
phỏng của cài đặt FL thực tế. Sau đó, PointerTensor được tạo
để chỉ định chủ sở hữu dữ liệu và vị trí lưu trữ. Ngoài ra,
các bản cập nhật mô hình có thể được tìm nạp từ Virtual worker
để tổng hợp toàn cầu.
3) LEAF: Một khung mã nguồn mở [89] gồm các tập dữ liệu có thể được
sử dụng làm điểm chuẩn trong FL, ví dụ: Federated Extended
MNIST (FEMNIST), một tập dữ liệu MNIST [90] được phân vùng dựa
trên tác giả của từng ký tự và Sen timent140 [91 ], một tập dữ
liệu được phân vùng dựa trên những người dùng khác nhau. Trong
các tập dữ liệu này, người viết hoặc người dùng được giả định
là người tham gia FL và dữ liệu tương ứng của họ được coi là
dữ liệu cục bộ được lưu giữ trong các thiết bị cá nhân của họ.
Việc triển khai các thuật toán mới được thiết kế trên các bộ
dữ liệu điểm chuẩn này cho phép so sánh đáng tin cậy giữa các
nghiên cứu.
4) FATE: Federated AI Technology Enabler (FATE) là một khuôn khổ mã
nguồn mở của WeBank [92] hỗ trợ việc triển khai liên kết và an
toàn của một số mô hình ML.
E. Các đặc điểm và vấn đề độc đáo của FL
Bên cạnh những thách thức thống kê mà chúng tôi trình bày trong Phần
II-C, FL có một số đặc điểm và tính năng độc đáo [93] so với các
phương pháp tiếp cận ML phân tán khác:
1) Truyền thông chậm và không ổn định: Trong đào tạo phân tán
truyền thống trong trung tâm dữ liệu, môi trường truyền thông
có thể được coi là hoàn hảo khi tốc độ truyền thông tin rất
cao và không có mất gói. Tuy nhiên, những giả định này không áp
dụng cho môi trường FL nơi có các thiết bị không đồng nhất
tham gia vào quá trình đào tạo. Ví dụ, tốc độ tải lên Internet
thường chậm hơn nhiều so với tốc độ tải xuống [94]. Ngoài ra,
một số người tham gia có kênh liên lạc không dây không ổn định
có thể bỏ học do ngắt kết nối Internet.
2) Các thiết bị không đồng nhất: Ngoài các hạn chế về băng thông,
FL liên quan đến các thiết bị không đồng nhất với các hạn chế
tài nguyên khác nhau. Ví dụ, các thiết bị có thể có các khả
năng tính toán khác nhau, tức là trạng thái CPU và mức pin. Các
thiết bị cũng có thể có các mức độ sẵn sàng tham gia khác nhau,
tức là, đào tạo FL tiêu tốn tài nguyên và với tính chất phân
tán của đào tạo trên nhiều thiết bị, có khả năng có người lái
miễn phí.
3) Mối quan tâm về quyền riêng tư và bảo mật: Như chúng ta đã thảo luận
trước đây, chủ sở hữu dữ liệu ngày càng nhạy cảm với quyền riêng tư.
Tuy nhiên, như sẽ được trình bày sau đó trong Phần V, những
người tham gia độc hại có thể suy ra thông tin nhạy cảm từ các
thông số được chia sẻ, có khả năng
Machine Translated by Google
Hình 5: Giao thức học tập liên kết [82].
phủ nhận việc bảo vệ quyền riêng tư. Ngoài ra, chúng tôi đã
giả định rằng tất cả những người tham gia và máy chủ FL đều
đáng tin cậy. Trong thực tế, chúng có thể độc hại.
Những đặc điểm riêng biệt này của FL dẫn đến một số vấn đề thực tế
trong việc thực hiện FL chủ yếu ở ba khía cạnh mà chúng ta đang tiến
hành thảo luận, đó là (i) những thách thức về thống kê (ii) chi phí
truyền thông (iii) phân bổ nguồn lực và (iv) quyền riêng tư và bảo
mật. Trong các phần tiếp theo, chúng tôi xem xét công việc liên quan
giải quyết từng vấn đề này.
III. CHI PHÍ TRUYỀN THÔNG
Trong FL, một số vòng liên lạc giữa những người tham gia và máy
chủ FL có thể được yêu cầu để đạt được độ chính xác mục tiêu (Hình
5). Đối với đào tạo mô hình DL phức tạp liên quan đến, ví dụ CNN,
mỗi bản cập nhật có thể bao gồm hàng triệu tham số [95]. Tính cập
nhật cao có thể dẫn đến chi phí truyền thông cao và có thể dẫn đến
tắc nghẽn đào tạo. Ngoài ra, nút cổ chai có thể trở nên tồi tệ hơn
do (i) điều kiện mạng không đáng tin cậy của các thiết bị tham gia
[96] và (ii) sự bất đối xứng trong tốc độ kết nối Inter net, trong
đó tốc độ tải lên nhanh hơn tốc độ tải xuống, dẫn đến việc tải lên
mô hình bị chậm trễ bởi người tham gia [94]. Do đó, cần phải nâng
cao hiệu quả truyền thông của FL. Các cách tiếp cận sau đây để giảm
chi phí truyền thông được xem xét:
• Tính toán cạnh và cuối: Trong thiết lập FL, chi phí thông tin
liên lạc thường chi phối chi phí tính toán [23].
Lý do là tập dữ liệu trên thiết bị tương đối nhỏ trong khi
thiết bị di động của những người tham gia có bộ xử lý ngày
càng nhanh. Mặt khác, những người tham gia chỉ có thể sẵn sàng
tham gia khóa đào tạo mô hình nếu họ được kết nối với Wi-Fi
[94]. Do đó, nhiều tính toán hơn có thể được thực hiện trên
các nút biên hoặc trên thiết bị cuối trước mỗi tập hợp toàn
cục để giảm số lượng
9
vòng giao tiếp cần thiết cho việc đào tạo người mẫu. Ngoài ra,
các thuật toán để đảm bảo hội tụ nhanh hơn cũng có thể giảm số
lượng vòng giao tiếp liên quan, với chi phí tính toán nhiều
hơn trên các máy chủ biên và thiết bị cuối.
• Nén mô hình: Đây là một kỹ thuật thường được sử dụng trong
học phân tán [97]. Mô hình hoặc gradient compres sion liên
quan đến việc truyền thông bản cập nhật được chuyển đổi để
nhỏ gọn hơn, ví dụ: thông qua hư cấu thưa thớt, lượng tử
hóa hoặc lấy mẫu con [98], chứ không phải truyền thông tin
cập nhật đầy đủ. Tuy nhiên, vì quá trình nén có thể gây ra
nhiễu, mục tiêu là giảm kích thước bản cập nhật được truyền
trong mỗi vòng giao tiếp trong khi vẫn duy trì chất lượng của
các mô hình được đào tạo [99]. • Cập nhật dựa trên mức độ
quan trọng: Chiến lược này liên quan đến việc giao tiếp theo
dõi sao cho chỉ những bản cập nhật quan trọng hoặc có liên quan
[100] mới được truyền tải trong mỗi vòng cation. Trên thực
tế, bên cạnh việc tiết kiệm chi phí truyền thông, việc bỏ qua
một số cập nhật từ những người tham gia thậm chí có thể cải
thiện hiệu suất của mô hình toàn cầu.
A. Tính toán cạnh và cuối Để giảm
số lượng vòng giao tiếp, tính toán theo từng giai đoạn có thể
được thực hiện trên các thiết bị đầu cuối tham gia trước mỗi lần
lặp lại giao tiếp để tổng hợp toàn cục (Hình 6 (a)). Các tác giả
trong [23] xem xét hai cách để tăng khả năng tính toán trên các thiết
bị tham gia: (i) tăng tính song song trong đó nhiều người tham gia
hơn được chọn để tham gia vào mỗi vòng đào tạo và (ii) tăng tính
tổng hợp cho mỗi người tham gia, theo đó mỗi người tham gia thực
hiện nhiều địa phương hơn cập nhật trước khi liên lạc để tổng hợp
toàn cầu.
Một so sánh được thực hiện cho thuật toán FederatedSGD (FedSGD) và
thuật toán FedAvg được đề xuất. Đối với thuật toán FedSGD, tất cả
những người tham gia đều được tham gia và chỉ một lần vượt qua
Machine Translated by Google
10

được thực hiện cho mỗi vòng đào tạo trong đó kích thước minibatch bao gồm

toàn bộ tập dữ liệu của người tham gia. Điều này tương tự như đào tạo toàn

bộ hàng loạt trong các khuôn khổ DL tập trung.

Đối với thuật toán FedAvg được đề xuất, các siêu tham số được điều chỉnh để

những người tham gia thực hiện nhiều phép tính cục bộ hơn. Ví dụ: người

tham gia có thể thực hiện nhiều lần vượt qua tập dữ liệu của mình hoặc sử

dụng kích thước minibatch cục bộ nhỏ hơn để tăng tính toán trước mỗi vòng

giao tiếp. Kết quả mô phỏng cho thấy rằng tính song song tăng lên không dẫn

đến những cải tiến đáng kể trong việc giảm chi phí truyền thông, khi đã đạt

đến một ngưỡng nhất định. Do đó, việc tăng cường tính toán cho mỗi người

tham gia được chú trọng hơn trong khi giữ cho tỷ lệ người tham gia được

chọn không đổi.

Đối với mô phỏng MNIST CNN, việc tăng cường tính toán bằng cách sử dụng

thuật toán FedAvg được đề xuất có thể giảm các vòng giao tiếp hơn 30 lần

khi tập dữ liệu là IID. Đối với tập dữ liệu không phải IID, sự cải thiện ít

đáng kể hơn (2,8 lần) khi sử dụng cùng một siêu tham số. Tuy nhiên, đối với

các mô phỏng Bộ nhớ Ngắn hạn Dài hạn (LSTM) [101], các cải tiến có ý nghĩa

hơn ngay cả đối với dữ liệu không phải IID (95,3 lần). Trong thời gian quảng

cáo, FedAvg cuối cùng sẽ tăng độ chính xác vì tính trung bình của mô hình

tạo ra các hiệu ứng chính quy hóa tương tự như việc bỏ học [102], điều này

ngăn cản việc trang bị quá mức.

Như một phần mở rộng, các tác giả trong [103] cũng xác nhận rằng một khái

niệm tương tự như của [23] hoạt động cho FL theo chiều dọc. Trong FL theo

chiều dọc, đào tạo mô hình hợp tác được thực hiện trên cùng một nhóm người

tham gia với các đặc điểm dữ liệu khác nhau. Thuật toán Liên kết tọa độ khối

Stochastic Descent (FedBCD) được đề xuất trong đó mỗi thiết bị tham gia thực

hiện nhiều cập nhật cục bộ trước khi giao tiếp để tổng hợp toàn cầu. Ngoài
Hình 6: Các phương pháp tiếp cận để tăng khả năng tính toán ở các thiết bị
ra, đảm bảo hội tụ cũng được cung cấp với hiệu chuẩn gần đúng về số lượng
cạnh và thiết bị cuối bao gồm (a) Tăng cường tính toán ở các thiết bị cuối,
bản cập nhật cục bộ trên mỗi khoảng thời gian giao tiếp.
ví dụ, nhiều lượt chuyển qua tập dữ liệu trước khi giao tiếp [23], [103] (b)

Đào tạo hai luồng với mô hình toàn cầu làm tham chiếu [104] và (c) Tập hợp

máy chủ cạnh trung gian [105].

Một cách khác để giảm chi phí truyền thông cũng có thể là thông qua việc

sửa đổi thuật toán huấn luyện để tăng tốc độ chuyển đổi, ví dụ, thông qua

LoAdaBoost FedAvg đã nói ở trên trong [81]. Tương tự, các tác giả trong

[104] cũng đề xuất tính toán gấp khúc trên mỗi thiết bị tham gia bằng cách Đặc biệt, do những hạn chế về năng lượng của các thiết bị di động tham gia,

áp dụng mô hình hai luồng (Hình 6 (b)) thường được sử dụng trong học chuyển điều này đòi hỏi phải tối ưu hóa phân bổ tài nguyên mà chúng ta sẽ thảo luận

giao và điều chỉnh miền [106]. Trong mỗi vòng đào tạo, mô hình toàn cầu được sau đó trong Phần IV.

người tham gia tiếp nhận và cố định để làm tài liệu tham khảo trong quá Trong khi các nghiên cứu nói trên xem xét việc tăng cường đặt com trên

trình đào tạo. Trong quá trình đào tạo, người tham gia không chỉ học từ dữ các thiết bị tham gia, các tác giả trong [105] đề xuất một mô hình lấy cảm

liệu cục bộ mà còn từ những người tham gia khác với tham chiếu đến mô hình hứng từ máy tính biên trong đó các máy chủ biên gần có thể đóng vai trò là

toàn cầu cố định. bộ tổng hợp thông số trung gian cho rằng độ trễ lan truyền từ người tham

gia đến máy chủ biên nhỏ hơn của giao tiếp đám mây với người tham gia (Hình

Điều này được thực hiện thông qua việc kết hợp Chênh lệch trung bình tối đa 6 (c)). Một thuật toán FL phân cấp (HierFAVG) được đặt ra chuyên nghiệp,

(MMD) vào hàm tổn thất. MMD đo khoảng cách giữa phương tiện của hai phân theo đó cứ một vài bản cập nhật của người tham gia cục bộ, máy chủ biên sẽ

phối dữ liệu [106], [107]. Thông qua việc giảm thiểu tổn thất MMD giữa mô tổng hợp các mô hình cục bộ được thu thập. Sau một số lượng tổng hợp máy

hình cục bộ và mô hình toàn cầu, người tham gia có thể trích xuất các tính chủ biên được xác định trước, máy chủ biên giao tiếp với đám mây để tổng

năng tổng quát hơn từ mô hình toàn cầu, do đó tăng tốc độ hội tụ của quá hợp mô hình toàn cầu.

trình đào tạo và giảm các vòng giao tiếp.

Do đó, giao tiếp giữa những người tham gia và đám mây chỉ xảy ra một lần
Kết quả mô phỏng trên bộ dữ liệu CIFAR-10 và MNIST sử dụng các mô hình DL sau một khoảng thời gian có nhiều bản cập nhật cục bộ. Tương tự, đối với

như AlexNet [56] và 2-CNN tương ứng cho thấy FL hai luồng được đề xuất có thuật toán FedAvg được đề xuất trong [23], việc tổng hợp toàn cầu xảy ra

thể đạt độ chính xác kiểm tra mong muốn trong vòng giao tiếp ít hơn 20% ngay thường xuyên hơn vì không có sự kết hợp máy chủ cạnh trung gian nào. Các

cả khi dữ liệu không IID. Tuy nhiên, trong khi tốc độ hội tụ tăng lên, các tác giả chứng minh thêm tính bao trùm của HierFAVG đối với cả hàm mục tiêu

thiết bị đầu cuối phải tiêu thụ nhiều tài nguyên tính toán hơn cho các lồi và không lồi với dữ liệu người dùng không phải IID.

phương pháp tiếp cận nói trên.

Kết quả mô phỏng cho thấy rằng đối với cùng một số lượng địa phương
Machine Translated by Google
cập nhật giữa hai tổng hợp toàn cầu, nhiều tổng hợp cạnh trung gian
hơn trước mỗi tổng hợp toàn cầu có thể dẫn đến giảm chi phí giao
tiếp so với thuật toán FedAvg. Kết quả này phù hợp với cả dữ liệu IID
và không phải IID, ngụ ý rằng việc tổng hợp trung gian trên các máy
chủ biên có thể được thực hiện trên FedAvg để giảm chi phí truyền
thông. Tuy nhiên, khi áp dụng cho dữ liệu không phải IID, kết quả mô
phỏng cho thấy HierFAVG không hội tụ đến mức chính xác mong muốn (90%)
trong một số trường hợp, ví dụ: khi sự phân kỳ đám mây cạnh lớn hoặc
khi có nhiều máy chủ biên tham gia. Do đó, cần có một nghiên cứu sâu
hơn để hiểu rõ hơn về sự cân bằng giữa việc điều chỉnh các khoảng
tổng hợp cục bộ và cạnh, để đảm bảo rằng các tham số của thuật toán
HierFAVG có thể được hiệu chỉnh tối ưu để phù hợp với các cài đặt
khác. Tuy nhiên, HierFAVG là một cách tiếp cận đầy hứa hẹn để triển
khai FL tại các mạng biên di động, vì nó tận dụng sự gần gũi của máy
chủ biên trung gian để giảm chi phí truyền thông và có khả năng giảm
bớt gánh nặng cho đám mây từ xa.
B. Nén mô hình Để giảm chi
phí truyền thông, các tác giả trong [94] đề xuất các cập nhật có
cấu trúc và phác thảo để giảm kích thước của các cập nhật mô hình
được gửi từ những người tham gia đến máy chủ FL trong mỗi vòng giao
tiếp.
Cập nhật có cấu trúc hạn chế cập nhật người tham gia có cấu trúc
được chỉ định trước, tức là xếp hạng thấp và mặt nạ ngẫu nhiên. Đối
với cấu trúc xếp hạng thấp, mỗi cập nhật được thực thi để trở thành
một ma trận xếp hạng thấp được biểu thị dưới dạng tích của hai ma
trận. Ở đây, một ma trận được tạo ngẫu nhiên và không đổi trong mỗi
vòng giao tiếp trong khi ma trận kia được tối ưu hóa. Như vậy, chỉ
có ma trận tối ưu hóa cần được gửi đến máy chủ. Đối với cấu trúc mặt
nạ ngẫu nhiên, mỗi bản cập nhật của người tham gia bị hạn chế là một
ma trận thưa thớt theo một mẫu thưa thớt ngẫu nhiên được xác định
trước được tạo độc lập trong mỗi vòng. Như vậy, chỉ các mục nhập
khác 0 mới được yêu cầu gửi đến máy chủ.
Mặt khác, các bản cập nhật phác thảo đề cập đến phương pháp mã
hóa bản cập nhật ở dạng nén trước khi thông báo với máy chủ, sau đó
giải mã các bản cập nhật trước khi tổng hợp. Một ví dụ về cập nhật
phác thảo là phương pháp lấy mẫu con, trong đó mỗi thông báo của
người tham gia chỉ ghi một tập hợp con ngẫu nhiên của ma trận cập
nhật. Sau đó, máy chủ tính trung bình các bản cập nhật được lấy mẫu
con để đưa ra ước tính không thiên vị về giá trị trung bình thực.
Một ví dụ khác về cập nhật phác thảo là phương pháp lượng tử hóa
theo xác suất [108], trong đó các ma trận cập nhật được vector hóa
và lượng tử hóa cho mỗi đại lượng vô hướng. Để giảm sai số do lượng
tử hóa, một phép quay ngẫu nhiên có cấu trúc là sản phẩm của ma trận
Walsh-Hadamard và ma trận đường chéo nhị phân [109] có thể được áp
dụng trước khi lượng tử hóa.
Kết quả mô phỏng trên nhiệm vụ cation phân loại hình ảnh CIFAR-10
cho thấy rằng đối với các cập nhật có cấu trúc, mặt nạ ngẫu nhiên
hoạt động tốt hơn so với phương pháp tiếp cận xếp hạng thấp.
Phương pháp mặt nạ ngẫu nhiên cũng đạt được độ chính xác cao hơn
so với phương pháp phác thảo vì phương pháp sau liên quan đến việc
loại bỏ một số thông tin thu được trong quá trình đào tạo. Tuy nhiên,
sự kết hợp của cả ba công cụ phác thảo, tức là, lấy mẫu con,
11
Hình 7: Các kỹ thuật nén được xem xét được tóm tắt ở trên bằng sơ
đồ từ các tác giả trong [99]. (i) Bỏ liên tục để giảm kích thước của
mô hình (ii) Nén mô hình bị tổn thất (iii)
Giải nén để đào tạo (iv) Nén các bản cập nhật của người tham gia
(v) Giải nén (vi) Tổng hợp toàn cầu
lượng tử hóa và quay, có thể đạt được tốc độ nén cao hơn và hội tụ
nhanh hơn, mặc dù có một số hy sinh về độ chính xác. Ví dụ, bằng cách
sử dụng 2 bit để lượng tử hóa và phác thảo tất cả trừ 6,25% dữ liệu
cập nhật, số lượng bit cần thiết để biểu diễn các cập nhật có thể
giảm 256 lần và mức độ chính xác đạt được là 85%. Ngoài ra, cập nhật
phác thảo có thể đạt được độ chính xác cao hơn trong đào tạo khi có
nhiều người tham gia được đào tạo hơn mỗi vòng. Điều này cho thấy
rằng để thực hiện FL trong thực tế khi có nhiều người tham gia, nhiều
người tham gia có thể được lựa chọn để đào tạo mỗi vòng để việc lấy
mẫu con có thể tích cực hơn nhằm giảm chi phí truyền thông.
Các tác giả trong [99] mở rộng các nghiên cứu trong [94] bằng cách
đề xuất nén mất dữ liệu và bỏ liên kết để giảm chi phí giao tiếp từ
máy chủ đến người tham gia. Bản tóm tắt các kỹ thuật được đề xuất
được điều chỉnh từ công trình của các tác giả trong Hình 7.
Đối với việc tải lên từ người tham gia đến máy chủ của các thông số
mô hình mà chúng ta đã thảo luận trước đây, các lần giải nén có thể
được tính trung bình qua nhiều bản cập nhật để nhận được ước tính
không chệch. Tuy nhiên, không có giá trị trung bình cho giao tiếp từ
máy chủ đến người tham gia vì cùng một mô hình toàn cầu được gửi đến
tất cả những người tham gia trong mỗi vòng giao tiếp. Tương tự như
[94], việc lấy mẫu con và lượng tử hóa xác suất được xem xét. Đối
với ứng dụng của phép quay ngẫu nhiên có cấu trúc trước khi lấy mẫu
con và phân vùng lượng tử, biểu diễn của Kashin [110] được áp dụng
thay cho phép biến đổi Hadamard vì phép biến đổi trước đây được cho
là hoạt động tốt hơn về cân bằng kích thước chính xác.
Ngoài các phương pháp lấy mẫu con và lượng tử hóa, phương pháp
loại bỏ liên kết cũng được xem xét trong đó một số chức năng kích
hoạt cố định tại mỗi lớp được kết nối đầy đủ được loại bỏ để lấy ra
một mô hình con nhỏ hơn. Mô hình con sau đó được gửi đến những người
tham gia để đào tạo. Sau đó, mô hình con được cập nhật có thể được
ánh xạ trở lại mô hình toàn cầu để tạo ra một mô hình DNN hoàn chỉnh
với tất cả các trọng số được cập nhật trong quá trình tổng hợp tiếp
theo. Cách tiếp cận này làm giảm chi phí giao tiếp giữa máy chủ với
người tham gia và cũng như kích thước của các bản cập nhật giữa
người tham gia với máy chủ. Ngoài ra, tỷ lệ computa cục bộ được giảm
xuống vì ít tham số phải được cập nhật hơn.
Các mô phỏng được thực hiện trên bộ dữ liệu MNIST, CIFAR-10 và EMNIST
[111]. Đối với việc nén tổn hao, nó được chỉ ra rằng phương pháp
lấy mẫu con được thực hiện bởi [94] không đạt được mức hiệu suất có
thể chấp nhận được. Lý do là các lỗi cập nhật có thể được tính trung
bình cho các lần tải lên từ máy chủ của người tham gia nhưng không
tính cho các lần tải xuống từ máy chủ tới người tham gia.
Machine Translated by Google
Mặt khác, lượng tử hóa với biểu diễn của Kashin có thể đạt được hiệu suất
tương tự như đường cơ sở mà không cần nén trong khi chi phí truyền
thông giảm gần 8 lần khi mô hình được lượng tử hóa thành 4 bit. Đối với
các phương pháp tiếp cận bỏ liên kết, kết quả cho thấy tỷ lệ bỏ qua 25%
ma trận trọng số của các lớp được kết nối đầy đủ (hoặc bộ lọc trong
trường hợp CNN) có thể đạt được độ chính xác chấp nhận được trong hầu
hết các trường hợp trong khi đảm bảo giảm khoảng 43% kích thước của các
mô hình được truyền thông . Tuy nhiên, nếu tỷ lệ bỏ học ngày càng gay gắt,
thì sự hội tụ của mô hình có thể chậm hơn.
Hai nghiên cứu nói trên đề xuất các phương pháp tiếp cận áp lực mô
hình hữu ích trong việc giảm chi phí truyền thông cho cả các thông báo từ
máy chủ đến người tham gia và từ người tham gia đến máy chủ. Như người
ta có thể mong đợi, việc giảm chi phí truyền thông đi kèm với sự hy sinh
về độ chính xác của mô hình. Do đó, sẽ rất hữu ích khi chính thức hóa sự
cân bằng độ chính xác khi nén, đặc biệt là vì điều này thay đổi đối với
các nhiệm vụ khác nhau hoặc khi số lượng người tham gia FL khác nhau tham
gia.
C. Cập nhật dựa trên mức độ quan trọng
Dựa trên quan sát rằng hầu hết các giá trị tham số của một mô hình DNN
được phân phối thưa thớt và gần bằng 0 [112], các tác giả trong [100] đề
xuất thuật toán Stochastic Gradient Descent (eSGD) chỉ chọn một phần nhỏ
các gradient quan trọng. được giao tiếp với máy chủ FL để cập nhật tham
số trong mỗi vòng giao tiếp. Thuật toán eSGD theo dõi các giá trị mất mát
ở hai lần lặp lại huấn luyện liên tiếp. Nếu giá trị tổn thất của lần lặp
hiện tại nhỏ hơn lần lặp trước đó, điều này ngụ ý rằng độ dốc đào tạo
hiện tại và các tham số mô hình là quan trọng để tối thiểu hóa tổn thất
đào tạo và do đó, trọng số ẩn tương ứng của chúng được gán một giá trị
dương. Ngoài ra, gradient cũng được giao tiếp với máy chủ để cập nhật
tham số. Một khi điều này không được giữ, tức là, sự mất mát tăng lên so
với lần lặp trước đó, các tham số khác được chọn để cập nhật dựa trên các
giá trị trọng số ẩn của chúng. Thông số có giá trị trọng số ẩn lớn hơn có
nhiều khả năng được chọn hơn vì nó đã được gắn nhãn là quan trọng nhiều
lần trong quá trình huấn luyện. Để giải thích cho các giá trị gradient nhỏ
có thể trì hoãn hội tụ nếu chúng bị bỏ qua và không được cập nhật hoàn
toàn [113], các giá trị gradient này được tích lũy dưới dạng giá trị dư.
Vì phần dư có thể phát sinh từ các lần lặp lại huấn luyện khác nhau, mỗi
lần cập nhật phần dư được tính trọng số với hệ số chiết khấu bằng cách sử
dụng kỹ thuật hiệu chỉnh động lượng [114]. Khi gradient dư tích lũy đạt
đến một ngưỡng, chúng được chọn để thay thế các tọa độ gradient ít quan
trọng nhất theo các giá trị trọng số ẩn. Kết quả mô phỏng cho thấy rằng
eSGD với tỷ lệ sụt giảm 50% có thể đạt được độ chính xác cao hơn so với
thuật toán ngưỡngSGD được đề xuất trong [112], sử dụng giá trị ngưỡng cố
định để xác định tọa độ gradient cần giảm. eSGD cũng có thể tiết kiệm một
tỷ lệ lớn kích thước gradient được truyền đạt. Tuy nhiên, eSGD vẫn bị mất
độ chính xác so với các phương pháp tiếp cận SGD tiêu chuẩn. Ví dụ: khi
được thử nghiệm trên các nhiệm vụ phân loại đơn giản bằng tập dữ liệu
MNIST, độ chính xác của mô hình chỉ đạt 91,22% trong khi SGD tiêu chuẩn có
thể đạt độ chính xác 99,77%. Nếu được mở rộng sang các nhiệm vụ phức tạp
hơn, độ chính xác
12
có thể xấu đi ở mức độ lớn hơn. Ngoài ra, độ chính xác và tốc độ hội tụ
của phương pháp eSGD dao động tùy ý dựa trên các siêu tham số được sử
dụng, ví dụ: kích thước minibatch. Do đó, các nghiên cứu sâu hơn phải
được tiến hành để chính thức cân bằng sự cân bằng giữa chi phí truyền
thông và hiệu quả đào tạo.
Trong khi [100] nghiên cứu sự giao tiếp có chọn lọc của các gradi
ents, các tác giả trong [96] đề xuất thuật toán Học tập liên kết giảm nhẹ
(CMFL) để chỉ tải lên các bản cập nhật mô hình cục bộ liên quan để giảm
chi phí giao tiếp trong khi đảm bảo sự hội tụ toàn cầu. Trong mỗi lần lặp
lại, bản cập nhật cục bộ của người tham gia trước tiên được so sánh với
bản cập nhật toàn cầu để xác định xem bản cập nhật có liên quan hay không.
Điểm liên quan được tính trong đó điểm tương đương với phần trăm của
các thông số cùng dấu trong bản cập nhật cục bộ và toàn cầu. Trên thực tế,
bản cập nhật toàn cầu không được biết trước trước khi tổng hợp. Do đó,
bản cập nhật toàn cầu được thực hiện trong lần lặp trước đó được sử dụng
làm ước tính để so sánh vì theo kinh nghiệm, hơn 99% sự khác biệt được
chuẩn hóa của hai bản cập nhật toàn cầu tuần tự nhỏ hơn 0,05 trong cả
MNIST CNN và Next-Word- Dự đoán LSTM. Bản cập nhật được coi là không liên
quan nếu điểm mức độ liên quan của nó nhỏ hơn ngưỡng được xác định
trước. Kết quả mô phỏng cho thấy CMFL yêu cầu 3,47 lần và ít hơn 13,97
lần vòng giao tiếp để đạt độ chính xác 80% đối với MNIST CNN và Next-Word
Prediction LSTM, so với thuật toán FedAvg chuẩn. Ngoài ra, CMFL có thể
tiết kiệm nhiều vòng giao tiếp hơn đáng kể so với Gaia. Lưu ý rằng Gaia
là cách tiếp cận ML phân bổ theo địa lý được đề xuất trong [115], phương
pháp này đo lường mức độ liên quan dựa trên mức độ cập nhật thay vì dấu
hiệu của các tham số. Khi được áp dụng với thuật toán MOCHA II-C đã đề cập
ở trên [76], CMFL có thể giảm các vòng giao tiếp xuống 5,7 lần đối với bộ
dữ liệu Nhận biết hoạt động của con người [116] và 3,3 lần đối với bộ dữ
liệu chữ số viết tay Semeion [117]. Ngoài ra, CMFL có thể đạt được độ
chính xác cao hơn một chút vì nó liên quan đến việc loại bỏ các cập nhật
không liên quan, ngoại lệ gây hại cho việc đào tạo.
D. Tóm tắt và bài học kinh nghiệm Trong
phần này, chúng tôi đã xem xét ba cách tiếp cận chính để giảm chi phí
truyền thông trong FL, và đối với mỗi cách tiếp cận, chúng tôi thảo luận
về các giải pháp được đề xuất trong các nghiên cứu khác nhau. Chúng tôi
tóm tắt các cách tiếp cận cùng với các tài liệu tham khảo trong Bảng IV.
Từ đánh giá này, chúng tôi thu thập các bài học kinh nghiệm sau:
• Chi phí truyền thông là một vấn đề chính cần được giải quyết trước
khi chúng tôi có thể triển khai FL trên quy mô lớn. Đặc biệt, các
mô hình DL tối tân có độ chính xác suy luận cao nhưng ngày càng
phức tạp với hàng triệu tham số. Do đó, tốc độ tải lên chậm của
thiết bị di động có thể cản trở việc triển khai FL hiệu quả. •
Phần này khám phá một số cách tiếp cận chính để giảm chi phí thông
tin liên lạc. Tuy nhiên, nhiều phương pháp áp dụng, chẳng hạn như
nén mô hình, dẫn đến sự suy giảm độ chính xác của mô hình hoặc
phải chịu chi phí tính toán cao. Ví dụ: khi quá nhiều cập nhật cục
bộ được thực hiện giữa các vòng giao tiếp, chi phí thông tin liên
lạc thực sự sẽ giảm xuống nhưng sự hội tụ
Machine Translated by Google
13

BẢNG IV: Các cách tiếp cận để giảm chi phí truyền thông trong FL.

Phương pháp tiếp cận Tham khảo

Ý tưởng chính Sự cân bằng và thiếu sót
Cập nhật địa phương nhiều hơn giữa các giao tiếp để tổng hợp toàn cầu, để giảm Tăng chi phí tính toán và hiệu suất kém trong cài
[23]
các trường hợp giao tiếp đặt không phải IID
Tăng chi phí tính toán và hội tụ chậm trễ
[103] Tương tự như các ý tưởng của [23], nhưng với sự đảm bảo hội tụ cho FL theo chiều dọc
nếu tổng hợp toàn cầu quá ít thường xuyên
Chuyển giao mô hình hai luồng lấy cảm hứng từ học tập cho những người tham gia FL để học Tăng chi phí tính toán và hội tụ chậm trễ
Cạnh và cuối [104]
hỏi từ mô hình toàn cầu cố định để tăng tốc độ hội tụ đào tạo Máy chủ biên lấy cảm hứng
Tính toán
từ MEC hỗ trợ FL hỗ trợ tổng hợp thông số trung gian để giảm các trường hợp giao tiếp Cập Mô hình hệ thống không thể mở rộng khi có
[105]
nhật có cấu trúc và phác thảo để nén các mô hình cục bộ được giao tiếp từ người tham gia nhiều máy chủ biên hơn
tới máy chủ FL Tương tự như các ý tưởng của [94], nhưng đối với giao tiếp từ máy chủ FL
[94] Độ chính xác của mô hình và các vấn đề hội tụ
tới người tham gia Truyền thông có chọn lọc các bậc được ấn định điểm quan trọng, tức là,
Người mẫu
để giảm tổn thất trong đào tạo Truyền thông có chọn lọc các bản cập nhật mô hình cục bộ có
Nén [99] Độ chính xác của mô hình và các vấn đề hội tụ
điểm phù hợp cao hơn khi so sánh với mô hình toàn cầu trước đó
Chỉ được thử nghiệm theo kinh nghiệm trên các bộ dữ liệu và
[100]
tác vụ đơn giản, với kết quả dao động
Dựa trên mức độ quan trọng
Khó thực hiện khi tổng hợp toàn cầu ít thường
Đang cập nhật [96]
xuyên hơn

có thể bị trì hoãn đáng kể [103]. Do đó, sự cân bằng giữa những IV. PHÂN PHỐI NGUỒN LỰC

hy sinh này và giảm chi phí truyền thông

FL liên quan đến sự tham gia của các thiết bị không đồng nhất có
phải được quản lý tốt. •
chất lượng tập dữ liệu khác nhau, khả năng tính toán, trạng thái sai
Các nghiên cứu hiện tại về sự cân bằng này thường chủ yếu mang
lầm và sẵn sàng tham gia. Do tính không đồng nhất của thiết bị và các
tính chất thực nghiệm, ví dụ, một số thử nghiệm phải được thực
hạn chế về tài nguyên, nghĩa là ở trạng thái năng lượng của thiết bị
hiện để tìm ra số lần lặp lại đào tạo cục bộ tối ưu trước khi
và băng thông truyền thông, việc phân bổ tài nguyên phải được tối
truyền thông. Với các phương pháp tiếp cận tối ưu hóa quang
ưu hóa để tối đa hóa hiệu quả của quá trình đào tạo. Đặc biệt, các
hiệu quả hơn được chính thức hóa về mặt lý thuyết và thử nghiệm
vấn đề phân bổ nguồn lực sau đây cần được xem xét:
theo kinh nghiệm, FL cuối cùng có thể trở nên dễ mở rộng hơn
về bản chất. Ví dụ, các tác giả trong [118] nghiên cứu sự cân
bằng giữa thời gian hoàn thành khóa đào tạo FL và chi phí năng • Lựa chọn người tham gia: Là một phần của giao thức FL được gửi

lượng đã tiêu tốn. Sau đó, tổng trọng số của thời gian hoàn trước trong Phần II-D, lựa chọn người tham gia đề cập đến việc lựa

thành và mức tiêu thụ năng lượng được giảm thiểu bằng cách sử chọn thiết bị để tham gia vào mỗi vòng đào tạo.
Thông thường, một nhóm người tham gia được máy chủ lựa chọn
dụng một thuật toán lặp lại. Đối với các tình huống nhạy cảm với
ngẫu nhiên để tham gia. Sau đó, máy chủ phải tổng hợp các cập
độ trễ, trọng lượng có thể được điều chỉnh sao cho những người
nhật thông số từ tất cả các thiết bị tham gia trong vòng trước
tham gia FL tiêu thụ nhiều năng lượng hơn để giảm thiểu thời
khi lấy trung bình có trọng số của các mô hình [23]. Do đó, tiến
gian hoàn thành. • Ngoài việc làm giảm trực tiếp kích thước của
độ đào tạo của FL bị giới hạn bởi thời gian đào tạo của các
mô hình được truyền đạt, các nghiên cứu về FL có thể lấy cảm
thiết bị tham gia chậm nhất, tức là các thiết bị đánh lạc hướng
hứng từ các ứng dụng và cách tiếp cận trong mô hình MEC. Ví dụ,
[119]. Do đó, các giao thức lựa chọn người tham gia mới được
một nghiên cứu điển hình đơn giản được giới thiệu trong [100]
nghiên cứu để giải quyết tắc nghẽn đào tạo trong FL.
xác định trạm gốc như một mô hình trung gian tổng hợp để giảm
các trường hợp giao tiếp thiết bị-đám mây.

Thật không may, có những vấn đề hội tụ khi xem xét nhiều máy • Quản lý tài nguyên vô tuyến và tính toán chung: Mặc dù khả năng tính

chủ hoặc thiết bị di động hơn. Điều này càng trở nên trầm trọng toán của các thiết bị di động đã phát triển nhanh chóng, nhiều thiết

hơn bởi sự phân phối dữ liệu không phải IID trên các nút cạnh bị vẫn gặp phải tình trạng khan hiếm tài nguyên vô tuyến [120]. Cho

khác nhau. Đối với các công trình trong tương lai, thách thức rằng mô hình cục bộ transmis sion là một phần không thể thiếu của FL,

thống kê này có thể được đáp ứng, ví dụ, thông qua nguồn cảm ngày càng có nhiều nghiên cứu tập trung vào việc phát triển các kỹ

hứng từ học tập đa nhiệm vụ như chúng ta đã thảo luận trong Phần II-C. thuật truyền thông không dây mới cho FL hiệu quả. • Tổng hợp thích

Ngoài ra, các mô hình hệ thống sáng tạo và hiệu quả hơn có thể ứng: Như đã thảo luận trong Phần II-B, FL liên quan đến tổng hợp

được khám phá để các mạng FL có thể sử dụng sự phong phú của toàn cục, trong đó các thông số mô hình được truyền đạt đến máy chủ FL

tài nguyên máy tính và lưu trữ gần với nguồn dữ liệu hơn để để tổng hợp.

tạo điều kiện cho FL hoạt động hiệu quả.

Cách tiếp cận thông thường đối với tổng hợp toàn cục là cách
• Đối với các nghiên cứu mà chúng ta đã thảo luận trong phần này, tính
tiếp cận đồng bộ, tức là tổng hợp toàn cục xảy ra trong những
không đồng nhất giữa các thiết bị di động, ví dụ, về khả năng tính
khoảng thời gian cố định sau khi tất cả những người tham gia
toán, thường không được xem xét. Ví dụ, một trong những cách để
hoàn thành một số vòng tính toán cục bộ nhất định. Tuy nhiên,
giảm chi phí truyền thông là tăng cường tính toán trên các thiết bị
có thể nghiên cứu các khái niệm về khả năng thích ứng của tần
biên, ví dụ: bằng cách thực hiện nhiều cập nhật cục bộ hơn [23]
suất tổng hợp toàn cầu để tăng hiệu quả đào tạo với điều kiện
trước mỗi vòng giao tiếp. Trên thực tế, điều này không chỉ dẫn đến
hạn chế về nguồn lực [119]. • Cơ chế khuyến khích: Trong thực
chi phí tính toán lớn hơn. Cách tiếp cận này cũng có thể không khả
tế triển khai FL, những người tham gia có thể miễn cưỡng tham gia
thi đối với các thiết bị có công suất xử lý yếu và có thể dẫn đến
vào một liên đoàn mà không nhận được thù lao vì các mô hình đào
hiệu ứng phân tầng. Do đó, chúng ta sẽ khám phá thêm các vấn đề về
tạo tiêu tốn tài nguyên. Ngoài ra, tồn tại sự bất đối xứng thông
phân bổ tài nguyên trong phần tiếp theo.
tin giữa máy chủ FL và par-
Machine Translated by Google
14

vì những người tham gia có kiến thức tốt hơn về các tài nguyên tính

toán có sẵn và chất lượng dữ liệu của họ.

Do đó, các cơ chế khuyến khích phải được thiết kế cẩn thận để vừa

khuyến khích sự tham gia vừa giảm các tác động tiêu cực tiềm ẩn của

sự bất cân xứng thông tin.

A. Lựa chọn người tham gia

Để giảm thiểu tắc nghẽn đào tạo, các tác giả trong [83] đề xuất một

giao thức FL mới được gọi là FedCS. Giao thức này được minh họa trong

Hình 8. Mô hình hệ thống là một khuôn khổ MEC trong đó người điều hành

MEC là máy chủ FL điều phối việc đào tạo trong một mạng di động bao gồm

các thiết bị di động có tài nguyên không đồng nhất.

Theo đó, máy chủ FL trước tiên tiến hành bước Yêu cầu tài nguyên để thu

thập thông tin như trạng thái kênh không dây và khả năng tính toán từ một

tập hợp con những người tham gia được chọn ngẫu nhiên. Dựa trên thông

tin này, nhà điều hành MEC chọn số lượng người tham gia tối đa có thể có

thể hoàn thành khóa đào tạo trong thời hạn xác định trước cho giai đoạn

tổng hợp toàn cầu tiếp theo. Bằng cách chọn số lượng người tham gia tối

đa có thể trong mỗi vòng, độ chính xác và hiệu quả của việc huấn luyện

được bảo toàn. Để giải quyết vấn đề tối đa hóa, một thuật toán tham lam

[121] được đề xuất, tức là những người tham gia mất ít thời gian nhất để

tải lên và cập nhật mô hình được chọn lặp đi lặp lại để đào tạo. Kết quả

mô phỏng cho thấy so với giao thức FL chỉ tính đến thời hạn đào tạo mà

không thực hiện lựa chọn người tham gia, FedCS có thể đạt được độ chính

xác cao hơn vì FedCS có thể thu hút nhiều người tham gia hơn trong mỗi

vòng đào tạo [23].

Hình 8: Lựa chọn người tham gia theo FedCS và Hybrid-FL proto col.

Tuy nhiên, FedCS mới chỉ được thử nghiệm trên các mô hình DNN đơn giản.

Khi mở rộng sang việc đào tạo các mô hình phức tạp hơn, có thể khó ước

tính số lượng người tham gia nên được chọn. Ví dụ, có thể cần nhiều vòng

đào tạo hơn để đào tạo các mô hình phức tạp và việc lựa chọn quá ít người người tham gia [123]. Trong giao thức Hybrid-FL, trong bước Yêu cầu tài

tham gia có thể dẫn đến hiệu quả kém và một số học viên có thể bỏ học nguyên (Hình 8), nhà điều hành MEC hỏi những người tham gia ngẫu nhiên

trong quá trình đào tạo. Ngoài ra, có sự thiên vị đối với việc lựa chọn xem họ có cho phép tải lên dữ liệu của họ hay không. Trong giai đoạn lựa

những người tham gia có thiết bị có khả năng tính toán tốt hơn. Những chọn người tham gia, ngoài việc lựa chọn người tham gia dựa trên khả năng

người tham gia này không được giữ dữ liệu đại diện cho sự phân bố dân cư. tính toán, người tham gia được chọn sao cho dữ liệu được tải lên của họ

có thể tạo thành tập dữ liệu IID gần đúng trong máy chủ, tức là lượng dữ
liệu được thu thập trong mỗi lớp có giá trị gần nhau (Hình 8 ). Sau đó,

Đặc biệt, chúng tôi sẽ xem xét lại vấn đề công bằng [122] sau đó trong máy chủ đào tạo một mô hình trên tập dữ liệu IID đã thu thập và hợp nhất

phần này. mô hình này với mô hình toàn cầu do những người tham gia đào tạo. Kết quả

Trong khi FedCS giải quyết sự không đồng nhất của các nguồn tài nguyên mô phỏng cho thấy ngay cả khi chỉ 1% người tham gia chia sẻ dữ liệu của

giữa những người tham gia FL, các tác giả trong [123] mở rộng công việc họ, độ chính xác phân loại đối với dữ liệu không thuộc IID có thể được

của họ về giao thức FedCS với giao thức Hybrid-FL giải quyết sự khác biệt cải thiện đáng kể so với điểm chuẩn FedCS đã nói ở trên, nơi dữ liệu hoàn

về phân phối dữ liệu giữa những người tham gia. toàn không được tải lên. Tuy nhiên, giao thức được khuyến nghị có thể vi

Tập dữ liệu của những người tham gia tham gia FL có thể không phải là phạm quyền riêng tư và bảo mật của người dùng, đặc biệt nếu máy chủ FL

IID vì nó phản ánh các đặc điểm cụ thể của từng người dùng. Như chúng ta là độc hại. Trong trường hợp người tham gia có mục đích xấu, dữ liệu có

đã thảo luận trong Phần II-C, tập dữ liệu không phải IID có thể làm giảm thể bị làm sai lệch trước khi tải lên, như chúng ta sẽ thảo luận thêm

đáng kể hiệu suất của thuật toán FedAvg [69]. Một biện pháp được đề xuất trong Phần V. Ngoài ra, biện pháp được đề xuất có thể tốn kém, đặc biệt

để giải quyết bản chất không phải IID của tập dữ liệu là phân phối dữ liệu là trong trường hợp video và hình ảnh. Do đó, không chắc những người tham

có sẵn công khai cho những người tham gia, sao cho EMD giữa tập dữ liệu gia sẽ tình nguyện tải lên dữ liệu khi họ có thể đi xe miễn phí dựa trên

trên thiết bị của họ và khoảng cách dân số được giảm xuống. nỗ lực của các tình nguyện viên khác. Để có tính khả thi, cần có một cơ

chế khuyến khích và danh tiếng được thiết kế tốt để đảm bảo rằng chỉ những

Tuy nhiên, tập dữ liệu như vậy có thể không phải lúc nào cũng tồn tại và người tham gia đáng tin cậy mới được phép tải lên dữ liệu của họ.

người tham gia có thể không tải chúng xuống vì lý do bảo mật. Do đó, một

giải pháp gốc thay thế là xây dựng một tập dữ liệu IID xấp xỉ bằng cách sử

dụng các đầu vào từ một số lượng hạn chế không nhạy cảm về quyền riêng tư Nói chung, môi trường mạng cạnh di động trong đó
Machine Translated by Google
FL được triển khai trên là động và không chắc chắn với các ràng buộc
khác nhau, ví dụ, mạng không dây và các điều kiện năng lượng.
Vì vậy, điều này có thể dẫn đến tắc nghẽn đào tạo. Vì vậy, Deep Q-
Learning (DQL) có thể được sử dụng để tối ưu hóa việc phân bổ tài
nguyên cho đào tạo mô hình như được đề xuất trong [124]. Mô hình hệ
thống là cài đặt Học máy đám đông di động (MCML) cho phép những người
tham gia trong mạng đám đông di động hợp tác đào tạo các mô hình DNN
theo yêu cầu của máy chủ FL. Các thiết bị di động tham gia bị hạn chế
bởi năng lượng, CPU và băng thông không dây. Do đó, máy chủ cần xác
định lượng dữ liệu, năng lượng và tài nguyên CPU thích hợp mà thiết
bị di động sử dụng để đào tạo để giảm thiểu mức tiêu thụ năng lượng
và thời gian đào tạo. Dưới sự không chắc chắn của môi trường di
động, một bài toán tối ưu ngẫu nhiên được đưa ra.
Trong bài toán, máy chủ là tác nhân, không gian trạng thái bao gồm
CPU và trạng thái năng lượng của các thiết bị di động, và không gian
hành động bao gồm số lượng đơn vị dữ liệu và đơn vị năng lượng lấy
từ các thiết bị di động. Để đạt được mục tiêu, hàm phần thưởng được
định nghĩa là một hàm của dữ liệu tích lũy, mức tiêu thụ năng lượng
và độ trễ đào tạo. Để khắc phục các vấn đề về trạng thái và không
gian hành động lớn của máy chủ, kỹ thuật DQL dựa trên Double Deep Q-
Network (DDQN) [125] được áp dụng để giải quyết vấn đề của máy chủ.
Kết quả mô phỏng cho thấy sơ đồ DQL có thể giảm tiêu thụ năng lượng
khoảng 31% so với thuật toán tham lam và độ trễ đào tạo giảm tới 55%
so với sơ đồ ngẫu nhiên. Tuy nhiên, chương trình được đề xuất chỉ
có thể áp dụng trong các liên đoàn có ít thiết bị di động tham gia.
Như một phần mở rộng cho [124], các tác giả trong [126] cũng đề
xuất phương pháp phân bổ tài nguyên bằng cách sử dụng DRL, với sự
không chắc chắn bổ sung là những người tham gia FL là di động và do
đó họ có thể mạo hiểm ra khỏi phạm vi phủ sóng của mạng với một xác
suất nhất định. Nếu không có kiến thức trước về mạng di động, máy chủ
FL có thể tối ưu hóa việc phân bổ tài nguyên giữa những người tham
gia, ví dụ: lựa chọn kênh và tiêu thụ năng lượng thiết bị.
Các phương pháp tiếp cận phân bổ nguồn lực nói trên tập trung vào
việc nâng cao hiệu quả đào tạo của FL. Tuy nhiên, điều này có thể
khiến một số người tham gia FL bị rời khỏi giai đoạn tổng hợp vì họ
là những người phân tán với tài nguyên máy tính hoặc truyền thông hạn
chế.
Một hệ quả của việc phân bổ tài nguyên không công bằng này, một
chủ đề thường được khám phá trong phân bổ tài nguyên cho mạng không
dây [127] và ML [128]. Ví dụ: nếu giao thức lựa chọn người tham gia
chọn thiết bị di động có khả năng tính toán cao hơn để tham gia vào
mỗi vòng đào tạo [83], thì mô hình FL sẽ bị đại diện bởi việc phân
phối dữ liệu do người tham gia sở hữu với các thiết bị có khả năng
tính toán cao hơn. Do đó, các tác giả trong [122] và [129] coi công
bằng là một mục tiêu bổ sung trong FL. Công bằng được định nghĩa
trong [129] là phương sai của hiệu suất của mô hình FL giữa những
người tham gia. Nếu phương sai của độ chính xác thử nghiệm lớn,
điều này có nghĩa là có nhiều sự thiên vị hơn hoặc ít công bằng hơn,
vì mô hình đã học có thể có độ chính xác cao đối với một số người
tham gia nhất định và ít hơn đối với những người tham gia không
được đại diện khác.
Các tác giả trong [129] đề xuất thuật toán q-Fair FL (q-FFL) cân nhắc
lại hàm mục tiêu trong FedAvg để gán trọng số cao hơn trong hàm tổn
thất cho các thiết bị có tổn hao cao hơn. Các
15
chức năng mục tiêu được sửa đổi như sau:
pk q + 1
Fq (w) = Xm
tối
thiểu w F (Trong) (6)
k = 1
k q + 1
trong đó Fk đề cập đến các hàm mất tiêu chuẩn được trình bày trong
Bảng III, q đề cập đến việc hiệu chuẩn tính công bằng trong mô hình
hệ thống, tức là, đặt q = 0 trả về công thức cho mục tiêu FL điển
hình và pk đề cập đến tỷ lệ của các mẫu cục bộ so với tổng số mẫu đào
tạo. Trên thực tế, đây là sự tổng quát của thuật toán FL (AFL) bất
khả tri được đề xuất trong [122], trong đó thiết bị có mức suy hao
cao nhất chiếm ưu thế trong toàn bộ chức năng mất mát. Kết quả mô
phỏng cho thấy rằng q-FFL được đề xuất có thể đạt được phương sai
thấp hơn của độ chính xác thử nghiệm và hội tụ nhanh hơn thuật toán
AFL. Tuy nhiên, như mong đợi, đối với một số hiệu chuẩn của thuật
toán q-FFL, có thể xảy ra hiện tượng chậm hội tụ vì bộ phân tầng có
thể trì hoãn quá trình huấn luyện. Do đó, một cách tiếp cận tổng hợp
không đồng bộ (sẽ được thảo luận sau đó trong phần này) có thể được
xem xét để sử dụng với thuật toán q-FFL.
Ngược lại, các tác giả trong [130] đề xuất một cách tiếp cận dựa
trên mạng nơ-ron để ước tính các mô hình cục bộ của quần thể FL bị
bỏ sót trong quá trình đào tạo. Trong mô hình hệ thống, các khối tài
nguyên được trạm gốc cấp phát đầu tiên cho những người dùng có mô
hình có ảnh hưởng lớn hơn đến mô hình FL toàn cầu.
Đặc biệt, một người dùng được chọn để luôn được kết nối với trạm
gốc. Các tham số mô hình của người dùng này sau đó được sử dụng làm
đầu vào cho mạng nơ-ron truyền thẳng để ước tính các tham số mô hình
của những người dùng bị bỏ sót trong quá trình lặp đào tạo. Điều này
cho phép các trạm gốc có thể tích hợp nhiều tham số mô hình FL được
huấn luyện cục bộ hơn cho mỗi lần lặp lại của tổng hợp toàn cục, do
đó cải thiện tốc độ hội tụ FL.
B. Quản lý tài nguyên máy tính và vô tuyến chung
Trong khi hầu hết các nghiên cứu FL trước đây đều giả định các
lược đồ truy cập trực giao như Truy cập đa điểm phân chia theo tần
số trực giao (OFDMA) [131], các tác giả trong [132] pro đã đưa ra
thiết kế Tổng hợp tương tự băng thông rộng (BAA) đa truy cập để giảm
độ trễ truyền thông trong FL. Thay vì thực hiện giao tiếp và tính
toán riêng biệt trong quá trình tổng hợp toàn cục tại máy chủ, sơ đồ
BAA xây dựng dựa trên khái niệm tính toán qua mạng [133] để tích hợp
tính toán và giao tiếp thông qua việc khai thác thuộc tính chồng chất
tín hiệu của kênh đa truy cập. Sơ đồ BAA được đề xuất cho phép tái
sử dụng toàn bộ băng thông (Hình 9 (a)) trong khi OFDMA trực giao hóa
việc phân bổ băng thông (Hình 9 (b)). Do đó, đối với các phương án
truy cập trực giao, độ trễ giao tiếp tăng tỷ lệ thuận với số lượng
người tham gia trong khi đối với các phương án đa truy cập, độ trễ
độc lập với số lượng người tham gia. Điểm nghẽn của tỷ lệ tín hiệu
trên nhiễu (SNR) trong quá trình truyền BAA là thiết bị tham gia có
khoảng cách truyền xa nhất do các thiết bị ở gần hơn phải giảm công
suất truyền để điều chỉnh biên độ với các thiết bị ở xa hơn. Để tăng
SNR, phải loại bỏ các phần tử par có khoảng cách lan truyền xa hơn.
Tuy nhiên, điều này dẫn đến việc cắt bớt các tham số của mô hình. Như
vậy, để quản lý sự cân bằng SNR-cắt bớt, ba lập lịch
Machine Translated by Google
Hình 9: So sánh [132] giữa (a) BAA bằng cách đặt com qua mạng sử dụng lại
băng thông (trên) và (b) OFDMA (dưới) chỉ sử dụng băng thông được cấp phát.
các chương trình được xem xét cụ thể là i) Lập lịch trình bên trong ô:
những người tham gia vượt quá ngưỡng khoảng cách sẽ không được lên lịch, ii) các cá nhân có thể tham gia nửa chừng khi vòng đào tạo đang diễn ra. Do đó,
Lập lịch bao gồm tất cả: tất cả những người tham gia đều được xem xét, và
iii) Lập lịch luân phiên: máy chủ biên xen kẽ giữa hai chương trình nói
trên. Kết quả mô phỏng cho thấy sơ đồ BAA được đề xuất có thể đạt được độ
chính xác kiểm tra tương tự như sơ đồ OFDMA trong khi giảm độ trễ từ 10
lần xuống 1000 lần. Khi so sánh giữa ba sơ đồ lập lịch, sơ đồ nội thất tế
bào vượt trội hơn so với sơ đồ toàn diện về độ chính xác thử nghiệm đối
với các mạng di động cao, nơi những người tham gia có vị trí thay đổi
nhanh chóng.
Đối với các mạng có tính di động thấp, sơ đồ lập lịch luân phiên hoạt động
tốt hơn lập lịch bên trong ô.
Như một phần mở rộng, các tác giả trong [134] cũng giới thiệu sự tích
tụ sai số và sự thưa thớt gradient ngoài tính toán qua không khí. Trong
[132], các vectơ gradient không được truyền đi do hạn chế về công suất sẽ
bị loại bỏ hoàn toàn. Để cải thiện độ chính xác của mô hình, các vectơ
gradient không được truyền trước tiên có thể được lưu trữ trong một
vectơ tích lũy lỗi. Trong vòng tiếp theo, các ước tính gradient cục bộ sau
đó sẽ được sửa chữa bằng cách sử dụng vectơ lỗi. Ngoài ra, khi có giới hạn
về băng thông, thiết bị tham gia có thể áp dụng phân tán gradient để chỉ
giữ lại các phần tử có độ lớn cao nhất để truyền. Các phần tử không được
chuyển đổi sau đó sẽ được thêm vào vectơ tích lũy lỗi để hiệu chỉnh ước
tính gradient trong vòng tiếp theo. Các kết quả mô phỏng cho thấy rằng sơ
đồ được đề xuất có thể đạt được độ chính xác kiểm tra cao hơn so với tính
toán qua không khí mà không có sự tích lũy lỗi hoặc phân tán gradient vì nó
hiệu chỉnh các ước tính gradient với vector tích lũy lỗi và cho phép sử
dụng băng thông hiệu quả hơn.
16
Tương tự như [132] và [134], các tác giả trong [135] đề xuất sự tích
hợp giữa tính toán và giao tiếp thông qua tính toán không dây. Tuy nhiên,
người ta quan sát thấy rằng lỗi tổng hợp phát sinh trong quá trình tính
toán qua mạng có thể dẫn đến giảm độ chính xác của mô hình [136] do tín
hiệu bị méo.
Do đó, một thuật toán lựa chọn người tham gia được đề xuất trong đó số
lượng thiết bị được chọn để đào tạo được tối đa hóa để cải thiện hiệu
suất học thống kê [23] trong khi vẫn giữ độ méo tín hiệu dưới ngưỡng. Do
tính không lồi [137] của ràng buộc sai số trung bình-bình phương (MSE) và
tính khó chữa của bài toán tối ưu hóa, một thuật toán hàm lồi (DC) [138]
được đề xuất để giải bài toán tối đa hóa. Kết quả mô phỏng cho thấy rằng
thuật toán DC được đề xuất có thể mở rộng và cũng có thể đạt được hiệu
suất gần như tối ưu có thể so sánh với tối ưu hóa toàn cầu, không thể mở
rộng do độ phức tạp về thời gian theo cấp số nhân của nó.
So với các phương pháp tiếp cận hiện đại khác như kỹ thuật thư giãn vô
hạn (SDR) được đề xuất trong [139], thuật toán DC được đề xuất cũng có thể
chọn nhiều người tham gia hơn, do đó cũng đạt được độ chính xác của mô
hình cao hơn.
C. Tập hợp thích nghi
Thuật toán FedAvg được đề xuất tổng hợp đồng bộ các tham số như trong
Hình 10 (a) và do đó dễ bị ảnh hưởng bởi hiệu ứng phân tầng, tức là mỗi
vòng huấn luyện chỉ tiến triển nhanh nhất bằng thiết bị chậm nhất vì máy
chủ FL đợi tất cả các thiết bị hoàn thành huấn luyện cục bộ trước khi sự
tổng hợp toàn cầu có thể diễn ra [119]. Ngoài ra, mô hình không tính đến
mô hình không đồng bộ được đề xuất để cải thiện khả năng mở rộng và hiệu
quả của FL. Đối với FL không đồng bộ, máy chủ cập nhật mô hình chung bất cứ
khi nào nó nhận được bản cập nhật cục bộ (Hình 10 (b)). Các tác giả trong
[119] theo kinh nghiệm nhận thấy rằng cách tiếp cận không đồng bộ là mạnh
mẽ đối với những người tham gia tham gia nửa chừng trong một vòng đào tạo,
cũng như khi liên kết liên quan đến các thiết bị tham gia có khả năng xử
lý không đồng nhất. Tuy nhiên, quá trình hội tụ mô hình bị trễ đáng kể khi
dữ liệu không phải là IID và không cân bằng.
Để cải tiến, [140] đề xuất thuật toán FedAsync trong đó mỗi bản cập nhật
cục bộ mới nhận được có trọng số thích ứng theo độ bền, được định nghĩa là
sự khác biệt giữa kỷ nguyên hiện tại và lần lặp mà bản cập nhật đã nhận
thuộc về. Ví dụ: một bản cập nhật cũ từ một bộ phân tầng đã lỗi thời vì lẽ
ra nó phải được nhận trong các vòng huấn luyện trước đó. Như vậy, nó có
trọng số ít hơn. Ngoài ra, các tác giả cũng chứng minh sự đảm bảo hội tụ
cho một họ hạn chế của các bài toán không lồi. Tuy nhiên, các siêu tham số
hiện tại của thuật toán FedAsync vẫn phải được điều chỉnh để đảm bảo sự hội
tụ trong các cài đặt khác nhau. Như vậy, thuật toán vẫn không thể tổng quát
hóa để phù hợp với các ràng buộc tính toán động của các thiết bị không đồng
nhất.
Trên thực tế, với sự không chắc chắn xung quanh độ tin cậy của FL không đồng
bộ, FL đồng bộ vẫn là cách tiếp cận được sử dụng phổ biến nhất hiện nay
[82].
Đối với hầu hết các triển khai hiện có của thuật toán FedAvg, giai đoạn
tổng hợp toàn cục xảy ra sau một số vòng huấn luyện cố định. Để quản lý tốt
hơn nguồn tài nguyên động-
Machine Translated by Google
17

D. Cơ chế khuyến khích

Các tác giả trong [141] đề xuất một sơ đồ định giá dịch vụ trong đó

những người tham gia đóng vai trò là nhà cung cấp dịch vụ đào tạo cho chủ

mô hình. Ngoài ra, để khắc phục tình trạng kém hiệu quả về năng lượng

trong việc chuyển giao các bản cập nhật mô hình, một mạng lưới chuyển tiếp

hợp tác được đề xuất để hỗ trợ việc chuyển giao và kinh doanh cập nhật mô

hình. Sự tương tác giữa người tham gia và chủ sở hữu mô hình được mô

hình hóa như một trò chơi Stackelberg [142] trong đó chủ sở hữu mô hình

là người mua và người tham gia là người bán. Trò chơi Stackelberg được

đề xuất trong đó mỗi người tham gia hợp tác có thể bất hợp tác quyết định

về giá tối đa hóa lợi nhuận của riêng mình. Trong trò chơi con cấp thấp

hơn, chủ sở hữu mô hình xác định kích thước của dữ liệu đào tạo để tối đa

hóa lợi nhuận với việc xem xét mối quan hệ lõm xuống giữa độ chính xác học

tập của mô hình và kích thước của dữ liệu đào tạo. Trong trò chơi phụ cấp

trên, những người tham gia quyết định giá cho mỗi đơn vị dữ liệu để tối

đa hóa lợi nhuận cá nhân của họ. Kết quả mô phỏng cho thấy cơ chế được đề

xuất có thể đảm bảo tính duy nhất của cân bằng Stackelberg. Ví dụ: các bản

cập nhật mô hình chứa thông tin có giá trị được định giá cao hơn ở điểm

cân bằng Stackelberg.

Ngoài ra, các bản cập nhật mô hình có thể được chuyển giao một cách hợp

tác, do đó giảm tắc nghẽn trong giao tiếp và cải thiện hiệu quả năng lượng.

Tuy nhiên, môi trường mô phỏng chỉ liên quan đến tương đối ít thiết bị

di động.

Tương tự như [141], các tác giả trong [143], [144] cũng mô hình hóa

sự tương tác giữa người tham gia và chủ sở hữu mô hình như một trò chơi

Stackelberg, rất phù hợp để đại diện cho sự tương tác giữa máy chủ FL với
Hình 10: So sánh giữa (a) đồng bộ và (b) không đồng bộ FL.
người tham gia trong FL.

Tuy nhiên, không giống như các phương pháp thông thường đã nói ở

trên hướng tới việc giải các công thức Stackelberg, phương pháp dựa trên

DRL được các tác giả áp dụng cùng với trò chơi Stackelberg trong [145].

Trong công thức DRL, máy chủ FL hoạt động như một tác nhân quyết định

khoản thanh toán theo mức độ tham gia và lịch sử thanh toán của các nút

straints, các tác giả trong [67] đề xuất một sơ đồ tổng hợp toàn cầu cạnh, với mục tiêu giảm thiểu chi phí khuyến khích. Sau đó, các nút cạnh

thích ứng trong đó thay đổi tần số tổng hợp toàn cầu để đảm bảo hiệu suất xác định mức tham gia tối ưu để đáp ứng chính sách thanh toán. Thiết kế

mô hình mong muốn đồng thời đảm bảo sử dụng hiệu quả các nguồn sẵn có, ví cơ chế khuyến khích dựa trên học tập này cho phép máy chủ FL đưa ra một

dụ, năng lượng, trong quá trình đào tạo FL. Trong [67], mô hình hệ thống chính sách tối ưu để đáp ứng với trạng thái được quan sát của nó, mà không

MEC được sử dụng bao gồm (i) giai đoạn cập nhật cục bộ nơi mô hình được yêu cầu bất kỳ thông tin trước nào.

đào tạo bằng cách sử dụng dữ liệu cục bộ, (ii) giai đoạn tổng hợp cạnh nơi

xảy ra tổng hợp trung gian và (iii) giai đoạn tổng hợp toàn cục nơi các

tham số mô hình được cập nhật được máy chủ FL tiếp nhận và tổng hợp. Đặc Ngược lại với [141], [143] - [145], các tác giả trong [146] đề xuất một

biệt, các tác giả nghiên cứu xem tổn thất đào tạo bị ảnh hưởng như thế thiết kế khuyến khích sử dụng cách tiếp cận lý thuyết hợp đồng [147] để

nào khi tổng số lần tổng hợp máy chủ biên và cập nhật cục bộ giữa các thu hút người tham gia với dữ liệu chất lượng cao cho FL.

khoảng thời gian tổng hợp toàn cầu khác nhau. Đặc biệt, các hợp đồng được thiết kế tốt có thể làm giảm sự bất cân xứng

thông tin thông qua các cơ chế tự tiết lộ, trong đó các cá nhân cụ thể chỉ

Đối với điều này, giới hạn hội tụ của gradient giảm dần với dữ liệu không chọn các hợp đồng được thiết kế đặc biệt cho loại của họ. Để có tính khả

phải IID được dẫn xuất đầu tiên. Sau đó, một thuật toán điều khiển được thi, mỗi hợp đồng phải đáp ứng các ràng buộc về Tính hợp lý (IR) và Tính

đề xuất theo trình tự để chọn một cách thích ứng tần số tổng hợp toàn cục tương thích khuyến khích (IC).

tối ưu dựa trên trạng thái hệ thống gần đây nhất. Đối với IR, mỗi người tham gia được đảm bảo về một tiện ích tích cực khi

Ví dụ: nếu việc tổng hợp toàn cục quá tốn thời gian, thì nhiều lần tổng hợp người tham gia tham gia vào liên đoàn. Đối với IC, mọi người tham gia tối

cạnh sẽ diễn ra trước khi bắt đầu giao tiếp với máy chủ FL. Kết quả mô đa hóa tiện ích chỉ chọn hợp đồng được thiết kế cho loại của mình. Chủ sở
phỏng cho thấy sơ đồ tập hợp thích ứng vượt trội hơn sơ đồ tập hợp cố hữu mô hình đặt mục tiêu tối đa hóa lợi nhuận của chính mình với các ràng

định về độ chính xác và giảm thiểu hàm mất mát trong cùng một khoảng thời buộc về IR và IC. Như được minh họa trong Hình 11, các hợp đồng tối ưu

gian. Tuy nhiên, đảm bảo hội tụ của sơ đồ tập hợp thích ứng chỉ được xem bắt nguồn được tự tiết lộ sao cho mỗi người tham gia loại cao với chất

xét cho các hàm mất lồi hiện tại. lượng dữ liệu cao hơn chỉ chọn các hợp đồng được thiết kế cho loại của

nó, trong khi mỗi người tham gia loại thấp với chất lượng dữ liệu thấp

hơn không có động cơ

Machine Translated by Google
18

những người tham gia có điểm danh tiếng lớn hơn ngưỡng xác định trước.

Sau khi nhiệm vụ FL hoàn thành, tức là đạt được độ chính xác mong muốn,

máy chủ FL cập nhật các ý kiến danh tiếng, sau đó được lưu trữ trong

blockchain danh tiếng. Kết quả mô phỏng cho thấy sơ đồ đề xuất có thể

cải thiện đáng kể độ chính xác của mô hình FL vì những công nhân không

đáng tin cậy được phát hiện và không được chọn để đào tạo FL.

E. Tóm tắt và bài học kinh nghiệm

Trong phần này, chúng ta đã thảo luận về bốn vấn đề chính trong phân

bổ nguồn lực. Các vấn đề và cách tiếp cận được tóm tắt trong Bảng V. Từ
phần này, các bài học kinh nghiệm như sau:

• Trong các mạng di động không đồng nhất, việc xem xét phân bổ tài

nguyên là quan trọng để đảm bảo FL hiệu quả.

Ví dụ, mỗi lần lặp lại huấn luyện chỉ được tiến hành nhanh nhất

khi người tham gia FL chậm nhất, tức là người tập lái xe. Ngoài

ra, độ chính xác của mô hình phụ thuộc nhiều vào chất lượng dữ

liệu được sử dụng để đào tạo bởi những người tham gia FL.

Trong phần này, chúng tôi đã khám phá các khía cạnh khác nhau của

sự không đồng nhất về nguồn lực để xem xét, ví dụ, khả năng tính

toán và giao tiếp khác nhau, mức độ sẵn sàng tham gia và chất lượng

dữ liệu cho đào tạo mô hình địa phương.

Hình 11: Những người tham gia với các hạn chế về nguồn lực không xác
định chỉ tối đa hóa tiện ích của họ nếu họ chọn gói phản ánh tốt nhất các Ngoài ra, chúng tôi đã khám phá các công cụ khác nhau có thể được
hạn chế của họ. xem xét để phân bổ tài nguyên. Ví dụ, DRL hữu ích với điều kiện

mạng không dây động và không chắc chắn mà những người tham gia FL

trải qua, trong khi lý thuyết đường dẫn có thể đóng vai trò như

để bắt chước những người tham gia loại cao. Kết quả mô phỏng cho thấy một công cụ mạnh mẽ trong thiết kế cơ chế trong bối cảnh bất cân

tất cả các loại người tham gia chỉ đạt được tiện ích tối đa khi họ chọn xứng thông tin. Nói một cách tự nhiên, các phương pháp tối ưu hóa

hợp đồng phù hợp với loại của họ. Ngoài ra, cách tiếp cận lý thuyết hợp truyền thống cũng đã được khám phá nhiều trong quản lý tài nguyên

đồng được đề xuất cũng có hiệu suất tốt hơn về mặt lợi nhuận cho chủ sở vô tuyến cho FL, do sự phụ thuộc cao vào hiệu quả truyền thông

hữu mô hình so với cơ chế khuyến khích dựa trên trò chơi Stackelberg. trong FL. • Trong Phần III, giảm chi phí truyền thông đi kèm với sự

Điều này là do theo cách tiếp cận lý thuyết hợp đồng, chủ sở hữu mô hình hy sinh về chi phí tính toán cao hơn hoặc độ chính xác suy luận thấp

có thể trích nhiều lợi nhuận hơn từ những người tham gia trong khi theo hơn. Tương tự, tồn tại những sự đánh đổi khác nhau cần được xem

cách tiếp cận trò chơi Stackelberg, những người tham gia có thể tối ưu xét trong phân bổ nguồn lực.

hóa các tiện ích cá nhân của họ. Trên thực tế, sự bất cân xứng về thông

tin giữa các máy chủ FL và những người tham gia làm cho lý thuyết hợp Do đó, một mô hình có thể mở rộng là một mô hình cho phép tùy chỉnh

đồng trở thành một công cụ mạnh mẽ và hiệu quả để thiết kế cơ chế trong để phù hợp với các nhu cầu khác nhau. Ví dụ: nghiên cứu của [129]

FL. Như một phần mở rộng, các tác giả trong [148] đã giới thiệu một hợp cho phép máy chủ FL hiệu chỉnh mức độ công bằng khi phân bổ tầm

đồng đa chiều, trong đó mỗi người tham gia FL xác định sức mạnh tính quan trọng của đào tạo, trong khi nghiên cứu trong [118] cho phép

toán tối ưu và chất lượng hình ảnh mà họ sẵn sàng đóng góp cho việc đào hiệu chỉnh giữa thời gian hoàn thành đào tạo và chi phí năng lượng

tạo mô hình, để đổi lấy phần thưởng hợp đồng trong mỗi lần lặp lại. bởi quản trị viên hệ thống FL. • Trong FL đồng bộ, hệ thống FL dễ
bị ảnh hưởng bởi hiệu ứng phân tầng. Do đó, FL không đồng bộ đã

được đề xuất như một giải pháp trong [119] và [140]. Ngoài ra, FL

Các tác giả trong [146] tiếp tục giới thiệu danh tiếng như một thước không đồng bộ cũng cho phép học viên tham gia nửa khóa đào tạo FL

đo để đo độ tin cậy của những người tham gia FL và thiết kế một kế hoạch ngay cả khi một vòng đào tạo đang diễn ra. Điều này phản ánh nhiều

lựa chọn người tham gia dựa trên danh tiếng cho FL đáng tin cậy [64]. hơn các cài đặt FL thực tế và có thể là một yếu tố góp phần quan

Trong cài đặt này, mỗi người tham gia có giá trị danh tiếng [149] xuất trọng hướng tới việc đảm bảo khả năng mở rộng của FL. Tuy nhiên,

phát từ hai nguồn, (i) ý kiến danh tiếng trực tiếp từ các tương tác FL đồng bộ vẫn là cách tiếp cận phổ biến nhất được sử dụng do đảm

trước đây với máy chủ FL và (ii) ý kiến danh tiếng gián tiếp từ các nhà bảo hội tụ [82]. Do nhiều ưu điểm của FL không đồng bộ, nên nghiên

xuất bản nhiệm vụ khác, tức là các máy chủ FL khác. Các ý kiến danh tiếng cứu các nhịp al bất đồng bộ mới. Đặc biệt, đối với các thuật toán

gián tiếp được lưu trữ trong một blockchain danh tiếng truy cập mở [150] được đề xuất trong tương lai, đảm bảo hội tụ trong một

để đảm bảo quản lý danh tiếng an toàn theo cách phi tập trung. Trước khi

đào tạo mô hình, những người tham gia chọn một hợp đồng phù hợp nhất với

độ chính xác của tập dữ liệu và điều kiện tài nguyên của nó. Sau đó, máy

chủ FL chọn
Machine Translated by Google
19

BẢNG V: Các cách tiếp cận để phân bổ tài nguyên trong FL.

Phương pháp tiếp cận Tham khảo

Ý tưởng chính Sự cân bằng và thiếu sót

FedCS để chọn người tham gia dựa trên khả năng tính toán để Khó ước tính chính xác thời lượng đào tạo cho
[83]
hoàn thành khóa đào tạo FL trước thời hạn quy định mô hình phức tạp
Theo sau [83], Hybrid-FL để chọn người tham gia để tích lũy Yêu cầu chia sẻ dữ liệu có thể đánh bại
[123]
IID, dữ liệu có thể phân phối để đào tạo mô hình FL ý định ban đầu của FL
[124] DRL để xác định mức tiêu thụ tài nguyên của những người tham gia FL
Người tham gia Mô hình DRL rất khó đào tạo đặc biệt
Theo sau [124], DRL để phân bổ tài nguyên với
Lựa chọn [126] khi số lượng người tham gia FL lớn
những người tham gia FL có nhận thức về khả năng di chuyển

[129] Phân bổ tài nguyên hợp lý để giảm phương sai của hiệu suất mô hình Hội tụ trì hoãn với sự công bằng hơn

Đài phát thanh chung và
Tính toán
Quản lý tài nguyên [135]
Đề xuất BAA để tích hợp tính toán và giao tiếp thông qua
[132]
khai thác thuộc tính chồng chất tín hiệu của kênh đa truy cập
Cải thiện trên [132] bằng cách tính toán các vectơ gradient không
[134] Sự biến dạng tín hiệu có thể dẫn đến giảm độ chính xác,
truyền do hạn chế về nguồn điện
khả năng mở rộng cũng là một vấn đề khi
Cải tiến trên [132] bằng cách sử dụng thuật toán DC để giảm thiểu
mạng không đồng nhất có liên quan
lỗi tổng hợp

FL không đồng bộ nơi tổng hợp mô hình xảy ra bất cứ khi nào cục bộ Độ trễ đáng kể trong hội tụ trong không phải IID
[119]
cập nhật được nhận bởi máy chủ FL và tập dữ liệu không cân
Thích nghi
bằng Các đảm bảo hội tụ được giới hạn ở mức hạn chế
Tổng hợp [67] Tần suất tổng hợp toàn cầu thích ứng dựa trên các hạn chế về tài nguyên
giả định

Trò chơi Stackelberg để khuyến khích số lượng dữ liệu đào tạo cao hơn Máy chủ FL thu được lợi nhuận thấp hơn. Ngoài ra, giả định
[141], [143] - [145]
hoặc tính toán tài nguyên đã đóng góp rằng chỉ có một máy chủ FL
Khuyến khích
[146], [148] Cách tiếp cận lý thuyết hợp đồng để khuyến khích người tham gia FL
Cơ chế Giả định rằng chỉ có một máy chủ FL
[64] Cơ chế danh tiếng để lựa chọn người lao động hiệu quả

Cài đặt IID cho các hàm mất mát không lồi cần phải được mục đích của FL vì mô hình toàn cầu kết quả có thể là
được xem xét. bị hỏng hoặc những người tham gia thậm chí có thể có quyền riêng tư của họ

• Việc nghiên cứu thiết kế cơ chế khuyến khích đặc biệt bị xâm phạm trong quá trình đào tạo người mẫu. Trong phần này, chúng ta thảo luận về

khía cạnh quan trọng của FL. Đặc biệt, do bảo mật dữ liệu các vấn đề sau:

lo ngại, các máy chủ FL không thể kiểm tra việc đào tạo • Quyền riêng tư: Mặc dù FL không yêu cầu trao đổi
chất lượng dữ liệu. Với việc sử dụng các cơ chế tự tiết lộ dữ liệu cho việc đào tạo mô hình hợp tác, một người theo chủ nghĩa độc hại
trong lý thuyết hợp đồng hoặc thông qua mô hình hóa các tương tác vẫn có thể suy ra thông tin nhạy cảm, ví dụ: giới tính,
giữa máy chủ FL và những người tham gia với các khái niệm thực tế về trò nghề nghiệp và vị trí, từ những người tham gia khác dựa trên
chơi, dữ liệu chất lượng cao có thể được thúc đẩy như trên các mô hình được chia sẻ của họ. Ví dụ, trong [152], khi
đóng góp từ những người tham gia FL. Tuy nhiên, hiện đào tạo bộ phân loại giới tính nhị phân trên FaceScrub [153]
các nghiên cứu trong [64], [141], và [146] thường giả định rằng tập dữ liệu, các tác giả cho thấy rằng họ có thể suy ra nếu một
liên đoàn được hưởng độc quyền. Đặc biệt, mỗi hệ thống đầu vào của người tham gia được bao gồm trong tập dữ liệu chỉ từ
mô hình được giả định là chỉ bao gồm nhiều cá nhân kiểm tra mô hình được chia sẻ, với độ chính xác rất cao
những người tham gia cộng tác với một máy chủ FL duy nhất. Có thể lên đến 90%. Vì vậy, trong phần này, chúng tôi thảo luận về các vấn đề quyền riêng tư

là ngoại lệ đối với cài đặt này như sau: (i) những người tham gia liên quan đến các mô hình được chia sẻ trong FL và xem xét các giải pháp

có thể là những chủ sở hữu dữ liệu cạnh tranh, những người không muốn chia sẻ
thông số mô hình của họ vì các đối thủ cạnh tranh cũng được hưởng lợi
từ một mô hình toàn cầu được đào tạo và (ii) các máy chủ FL có thể
cạnh tranh với các máy chủ FL khác, tức là chủ sở hữu mô hình. Trong này
trường hợp xây dựng thiết kế cơ chế khuyến khích
sẽ khác rất nhiều so với đề xuất. Tương đối
cách tiếp cận mới là mô hình hóa sự hối tiếc [151] của
mỗi người tham gia FL khi tham gia các cuộc thi cạnh tranh khác nhau
liên đoàn đào tạo người mẫu. Đối với các tác phẩm trong tương lai, một mô
hình tem hệ thống với nhiều liên đoàn cạnh tranh có thể
được xem xét cùng với các trò chơi và hợp đồng Stackelberg
các cách tiếp cận lý thuyết.
đề xuất để bảo vệ sự riêng tư của những người tham gia.
• An ninh: Trong FL, những người tham gia đào tạo mô hình tại địa phương
và chia sẻ các thông số được đào tạo với những người tham gia khác trong
để cải thiện độ chính xác của dự đoán. Tuy nhiên, điều này
quá trình này dễ bị tấn công bởi nhiều loại tấn công, ví dụ: dữ liệu và
đầu độc mô hình, trong đó một người tham gia độc hại có thể
gửi thông số không chính xác hoặc mô hình bị hỏng để làm sai lệch
quá trình học tập trong quá trình tổng hợp toàn cầu. Do đó, mô hình toàn cầu
sẽ được cập nhật không chính xác,
và toàn bộ hệ thống học tập trở nên hỏng. Đây
phần thảo luận thêm chi tiết về các cuộc tấn công đang nổi lên trong FL
cũng như một số biện pháp đối phó gần đây để đối phó với

• Trong phần này, chúng tôi đã giả định rằng FL đảm bảo quyền riêng tư các cuộc tấn công.

và sự an toàn của những người tham gia. Tuy nhiên, như đã thảo luận

trong phần sau, giả định này có thể không phù hợp với
A. Các vấn đề về quyền riêng tư
sự hiện diện của những người tham gia độc hại hoặc máy chủ FL.
1) Các cuộc tấn công khai thác thông tin trong học máy - A

tổng quan ngắn gọn: Một trong những công trình nghiên cứu đầu tiên cho thấy
V. CÁC VẤN ĐỀ VỀ QUYỀN RIÊNG TƯ VÀ BẢO MẬT
khả năng trích xuất thông tin từ một mô hình được đào tạo

Một trong những mục tiêu chính của FL là bảo vệ quyền riêng tư của là [154]. Trong bài báo này, các tác giả chỉ ra rằng trong quá trình đào tạo

người tham gia, tức là người tham gia chỉ cần chia sẻ các thông số giai đoạn, các mối tương quan được ngụ ý trong các mẫu đào tạo là

của mô hình được đào tạo thay vì chia sẻ dữ liệu thực tế của họ. tập hợp bên trong mô hình được đào tạo. Do đó, nếu mô hình được đào tạo là

Tuy nhiên, một số công trình nghiên cứu gần đây đã chỉ ra rằng quyền riêng tư được phát hành, nó có thể dẫn đến rò rỉ thông tin không mong muốn

và các lo ngại về bảo mật có thể phát sinh khi những người tham gia FL hoặc những kẻ tấn công. Ví dụ, một đối thủ có thể suy ra sắc tộc hoặc

Các máy chủ FL có bản chất độc hại. Đặc biệt, điều này đánh bại giới tính của người dùng từ hệ thống nhận dạng giọng nói được đào tạo của nó.
Machine Translated by Google
20

Trong [155], các tác giả phát triển một thuật toán đảo ngược mô hình Người phục vụ

rất hiệu quả trong việc khai thác thông tin từ các mô hình được đào Tham số toàn cục

tạo dựa trên cây quyết định hoặc dựa trên nhận dạng khuôn mặt. Ý
tưởng của cách tiếp cận này là so sánh vectơ đặc trưng mục tiêu với
từng giá trị có thể và sau đó rút ra ước tính xác suất có trọng số
là giá trị chính xác. Kết quả thí nghiệm cho thấy bằng cách sử dụng
kỹ thuật này, kẻ thù có thể cấu trúc lại hình ảnh khuôn mặt nạn nhân
Người tổng hợp
từ nhãn của nó với độ chính xác rất cao.

Gần đây, các tác giả trong [156] chỉ ra rằng kẻ thù thậm chí có Chọn các thông số Chọn các thông số
để cập nhật để tải lên
thể suy ra thông tin của nạn nhân thông qua các truy vấn đến mô hình
dự đoán. Đặc biệt, điều này xảy ra khi một người tham gia độc hại có
quyền truy cập để thực hiện các truy vấn dự đoán trên một mô hình
Tham số cục bộ
được đào tạo. Sau đó, kẻ tham gia độc hại có thể sử dụng các truy
vấn dự đoán để trích xuất mô hình được đào tạo từ chủ sở hữu dữ liệu.
Quan trọng hơn, các tác giả chỉ ra rằng kiểu tấn công này có thể
trích xuất thành công thông tin mô hình từ một loạt các mô hình đào
tạo như cây quyết định, hồi quy hậu cần, SVM và thậm chí cả các mô
SGD
hình đào tạo phức tạp bao gồm cả DNN. Một số công trình nghiên cứu
gần đây cũng đã chứng minh các lỗ hổng của mô hình đào tạo dựa trên
DNN trước các cuộc tấn công trích xuất mô hình [157] - [159]. Bộ dữ liệu đào tạo địa phương

Người tham gia

Do đó, điều này đặt ra mối quan tâm nghiêm trọng về quyền riêng tư đối với những

người tham gia chia sẻ các mô hình đào tạo trong FL. Hình 12: Mô hình chia sẻ tham số có chọn lọc.

2) Các giải pháp bảo vệ dựa trên quyền riêng tư khác biệt cho

những người tham gia FL: Để bảo vệ quyền riêng tư của các tham số
3) Các giải pháp đào tạo cộng tác: Mặc dù các giải pháp DP có thể
được đào tạo bởi các DNN, các tác giả trong [20] giới thiệu một kỹ
bảo vệ thông tin cá nhân của một người tham gia trung thực khỏi những
thuật, được gọi là phân biệt riêng tư ngẫu nhiên gradient descent,
người tham gia độc hại khác trong FL, nhưng chúng chỉ hoạt động tốt
có thể được thực hiện hiệu quả trên các thuật toán DL. Ý tưởng chính nếu máy chủ đáng tin cậy. Nếu máy chủ độc hại, nó có thể dẫn đến mối
của kỹ thuật này là thêm một số "nhiễu" vào các tham số được đào tạo
đe dọa quyền riêng tư nghiêm trọng hơn đối với tất cả những người
bằng cách sử dụng cơ chế ized ngẫu nhiên bảo vệ quyền riêng tư khác tham gia trong mạng. Do đó, các tác giả trong [162] giới thiệu một
biệt [160], ví dụ, cơ chế Gaussian, trước khi gửi các tham số đó đến
khung DL hợp tác để kết xuất nhiều người tham gia để tìm hiểu mô hình
máy chủ. Đặc biệt, ở bước trung bình gradient của một người tham gia
toàn cầu mà không cần tải các mô hình đào tạo rõ ràng của họ lên máy
FL bình thường, phân phối Gaussian được sử dụng để tính gần đúng
chủ. Ý tưởng chính của kỹ thuật này là thay vì tải toàn bộ tập hợp
giảm độ dốc ngẫu nhiên riêng vi phân. Sau đó, trong giai đoạn đào
các tham số đã đào tạo lên máy chủ và cập nhật toàn bộ tham số toàn
tạo, người tham gia tiếp tục tính toán xác suất mà những người tham
cục vào mô hình cục bộ của nó, mỗi người tham gia lựa chọn một cách
gia độc hại có thể khai thác thông tin từ các tham số được chia sẻ
khôn ngoan số lượng gradient để tải lên và số lượng tham số từ mô
của nó. Sau khi đạt đến ngưỡng xác định trước, người tham gia sẽ
hình toàn cục để cập nhật như minh họa trong Hình 12. Bằng cách này,
dừng quá trình đào tạo của mình. Bằng cách này, người tham gia có
những người tham gia độc hại không thể suy ra thông tin rõ ràng từ
thể giảm thiểu rủi ro tiết lộ thông tin cá nhân từ các thông số được
mô hình được chia sẻ. Một kết quả thú vị của bài báo này là ngay cả
chia sẻ của nó.
khi những người tham gia không chia sẻ tất cả các tham số đã được
huấn luyện và không cập nhật tất cả các tham số từ mô hình chia sẻ,

Lấy cảm hứng từ ý tưởng này, các tác giả trong [161] phát triển thì độ chính xác của giải pháp đề xuất vẫn gần bằng với trường hợp

một phương pháp ap proach có thể đạt được giải pháp bảo vệ quyền máy chủ có tất cả tập dữ liệu để huấn luyện mô hình toàn cầu. Ví dụ:

riêng tư tốt hơn cho những người tham gia. Trong cách tiếp cận này, đối với tập dữ liệu MNIST [163], độ chính xác của mô hình dự đoán khi

nhóm tác giả đề xuất hai bước chính để xử lý dữ liệu trước khi gửi những người tham gia đồng ý chia sẻ 10% và 1% thông số của họ lần

các tham số đã được huấn luyện đến máy chủ. Đặc biệt, với mỗi đợt lượt là 99,14% và 98,71%, so với 99,17% đối với giải pháp tập trung

học, đầu tiên máy chủ tổng hợp chọn ngẫu nhiên một số lượng người khi máy chủ có đầy đủ dữ liệu để đào tạo. Tuy nhiên, phương pháp này

tham gia để đào tạo theo mô hình toàn cầu. Sau đó, nếu một người tham vẫn chưa được thử nghiệm trên các nhiệm vụ phân loại phức tạp hơn.

gia được chọn để đào tạo mô hình toàn cục trong một vòng học tập,
thì người tham gia đó sẽ áp dụng phương pháp được đề xuất trong
[20], tức là sử dụng phân phối Gauss để thêm nhiễu vào mô hình được
đào tạo trước khi gửi các tham số được đào tạo đến máy chủ. . Theo
cách này, một người tham gia độc hại không thể suy ra thông tin của
những người tham gia khác bằng cách sử dụng các tham số của mô hình
toàn cầu được chia sẻ vì nó không có thông tin về ai đã tham gia vào
Mặc dù các giải pháp chia sẻ tham số và DP có chọn lọc có thể khiến
các cuộc tấn công khai thác thông tin trở nên khó khăn hơn, các tác
giả trong [164] chỉ ra rằng các giải pháp này dễ bị ảnh hưởng bởi
một kiểu tấn công mới, được gọi là tấn công mạnh, được phát triển
dựa trên Generative Adversarial Networks (GAN) [165] . GAN là một

quá trình đào tạo trong mỗi vòng học. loại kỹ thuật ML sử dụng hai mạng nơ-ron,
Machine Translated by Google
21

cụ thể là mạng máy phát và mạng phân biệt, cạnh tranh với nhau để đào đặc biệt, trước khi các tham số được đào tạo được gửi đến máy chủ,

tạo dữ liệu. Mạng máy phát cố gắng tạo ra dữ liệu giả bằng cách thêm một chúng sẽ được mã hóa bằng cơ chế mã hóa đồng hình cộng thêm cùng với

số "nhiễu" vào dữ liệu thực. Sau đó, dữ liệu giả tạo được chuyển đến các tiếng ồn có chủ đích để xáo trộn các tham số ban đầu. Kết quả là,

mạng phân biệt để phân loại. Sau quá trình đào tạo, các GAN có thể tạo sơ đồ kết hợp này có thể đồng thời ngăn chặn máy chủ tò mò khai thác

ra dữ liệu mới với số liệu thống kê tương tự như tập dữ liệu đào tạo. thông tin cũng như giải quyết vấn đề thông đồng giữa máy chủ và những

Lấy cảm hứng từ ý tưởng này, các tác giả trong [164] phát triển một cuộc người tham gia độc hại. Tuy nhiên, trong bài báo này, các tác giả không

tấn công mạnh mẽ cho phép kẻ tham gia độc hại suy ra thông tin nhạy cảm so sánh độ chính xác của phương pháp đề xuất với trường hợp không có

từ nạn nhân tham gia ngay cả khi chỉ với một phần thông số được chia sẻ mã hóa đồng hình và DP. Do đó, hiệu suất của cách tiếp cận được đề xuất,

từ nạn nhân như được minh họa trong Hình 13. Để đối phó với Tấn công tức là, về độ chính xác của mô hình, là không rõ ràng.

GAN, các tác giả trong [166] giới thiệu một giải pháp sử dụng lược đồ

chia sẻ bí mật với thuật toán thúc đẩy cực đoan. Cách tiếp cận này thực

thi một giao thức chia sẻ bí mật nhẹ trước khi truyền mô hình mới được

đào tạo ở dạng bản rõ đến máy chủ tại mỗi vòng. Do đó, những người tham
B. Vấn đề bảo mật
gia khác trong mạng không thể suy ra thông tin từ mô hình được chia sẻ.

Tuy nhiên, hạn chế của phương pháp này là phụ thuộc vào bên thứ ba đáng 1) Các cuộc tấn công gây nhiễm độc dữ liệu: Trong FL, một người tham
gia đào tạo dữ liệu của mình và gửi mô hình đã đào tạo đến máy chủ để xử
tin cậy để tạo các cặp khóa chữ ký.
lý thêm. Trong trường hợp này, máy chủ khó kiểm tra dữ liệu đào tạo thực

sự của người tham gia. Do đó, một người tham gia độc hại có thể đầu độc

mô hình toàn cầu bằng cách tạo dữ liệu nhãn bẩn để đào tạo mô hình toàn

Khác với tất cả các công trình đã nói ở trên, các tác giả trong [167] cầu với mục đích tạo ra các tham số giả mạo. Ví dụ: một người tham gia

giới thiệu một mô hình đào tạo hợp tác trong đó tất cả những người tham độc hại có thể tạo ra một số mẫu, ví dụ: ảnh, dưới nhãn được thiết kế,

gia hợp tác để đào tạo một mô hình GAN liên hợp. Ý tưởng chính của ví dụ: chi nhánh quần áo và sử dụng chúng để đào tạo mô hình toàn cầu

phương pháp này là mô hình GAN được liên kết có thể tạo ra dữ liệu nhằm đạt được mục tiêu kinh doanh, ví dụ: mô hình dự đoán hiển thị kết

nhân tạo có thể thay thế dữ liệu thực của người tham gia và do đó bảo quả của ngành quần áo được nhắm mục tiêu. Các cuộc tấn công nhiễm độc

vệ quyền riêng tư của dữ liệu thực cho những người tham gia trung thực. dữ liệu nhãn bẩn được chứng minh là đạt được tỷ lệ nhầm lẫn cao trong

Đặc biệt, để đảm bảo quyền riêng tư dữ liệu của người tham gia trong các quy trình DL, lên đến 90%, khi một người tham gia độc hại đưa

khi vẫn duy trì tính linh hoạt trong các nhiệm vụ đào tạo, cách tiếp cận tương đối ít mẫu nhãn bẩn (khoảng 50) vào tập dữ liệu đào tạo [170].

này tạo ra một mô hình tổng hợp liên kết. Điều này kêu gọi các giải pháp khẩn cấp để đối phó với các cuộc tấn công

Mô hình này có thể xuất ra dữ liệu nhân tạo không thuộc về bất kỳ người nhiễm độc dữ liệu trong FL.

dùng thực nào nói riêng mà đến từ việc phân phối dữ liệu nhiều người

dùng chung. Kết quả là, cách tiếp cận này có thể làm giảm đáng kể khả Trong [171], các tác giả điều tra tác động của một cuộc tấn công đầu

năng bị lợi dụng thông tin từ dữ liệu thực. Tuy nhiên, cách tiếp cận này độc dữ liệu dựa trên sybil đối với hệ thống FL. Đặc biệt, đối với cuộc

kế thừa những hạn chế hiện có của GAN, ví dụ, tính không ổn định trong tấn công tổng hợp, một người tham gia độc hại cố gắng cải thiện hiệu

đào tạo do dữ liệu giả tạo được tạo ra, có thể làm giảm đáng kể hiệu quả của việc đầu độc dữ liệu trong việc đào tạo mô hình toàn cầu bằng

suất của các mô hình học hợp tác. cách tạo ra nhiều người tham gia độc hại. Trong Bảng VI, các tác giả chỉ

ra rằng chỉ với hai người tham gia mã độc, tỷ lệ thành công của cuộc

4) Các giải pháp dựa trên mã hóa: Mã hóa là một cách hiệu quả để bảo tấn công có thể đạt tới 96,2%, và hiện tại mô hình FL không thể phân

vệ quyền riêng tư dữ liệu của những người tham gia khi họ muốn chia sẻ loại chính xác hình ảnh của “1” (thay vào đó, nó luôn dự đoán không chính

các tham số được đào tạo trong FL. Trong [168], kỹ thuật mã hóa homo xác chúng là hình ảnh của "7").

morphic được giới thiệu để bảo vệ quyền riêng tư của các thông số được Để giảm thiểu các cuộc tấn công tổng hợp, các tác giả sau đó đề xuất một

chia sẻ của người tham gia khỏi một máy chủ trung thực nhưng tò mò. Một chiến lược phòng thủ, đó là FoolsGold. Ý tưởng chính của phương pháp
máy chủ trung thực nhưng tò mò được định nghĩa là người dùng muốn trích này là những người tham gia trung thực có thể được phân biệt với những

xuất thông tin từ các thông số được chia sẻ của những người tham gia, người tham gia đồng tính dựa trên độ dốc cập nhật của họ. Cụ thể, trong

nhưng giữ cho tất cả các hoạt động trong FL ở điều kiện hoạt động thích cài đặt FL không phải IID, dữ liệu đào tạo của mỗi người tham gia có các

hợp. Ý tưởng của giải pháp này là các tham số được đào tạo của người đặc điểm riêng và những người tham gia đồng bộ sẽ đóng góp các độ dốc

tham gia sẽ được mã hóa bằng kỹ thuật mã hóa đồng hình trước khi chúng trông giống nhau hơn so với dữ liệu của những người tham gia trung thực

được gửi đến máy chủ. Cách tiếp cận này có hiệu quả trong việc bảo vệ khác. Với FoolsGold, hệ thống có thể bảo vệ cuộc tấn công đầu độc dữ

thông tin nhạy cảm khỏi máy chủ tò mò và cũng đạt được độ chính xác liệu sybil với những thay đổi tối thiểu đối với quy trình FL thông

tương tự như của thuật toán DL tập trung. Một khái niệm tương tự cũng thường và không yêu cầu bất kỳ thông tin bổ trợ nào bên ngoài quy trình

được trình bày trong [84] với cơ chế chia sẻ bí mật được sử dụng để học tập. Thông qua kết quả mô phỏng trên 3 bộ dữ liệu đa dạng (MNIST

bảo vệ thông tin của những người tham gia FL. [163], KDDCup [172], Amazon Reviews [172]), các tác giả cho thấy

FoolsGold có thể giảm thiểu cuộc tấn công trong nhiều điều kiện khác

Mặc dù cả hai kỹ thuật mã hóa được trình bày trong [168] và [84] đều nhau, bao gồm các phân phối dữ liệu người tham gia khác nhau, các mục

có thể ngăn máy chủ tò mò trích xuất thông tin, chúng yêu cầu liên lạc tiêu đầu độc khác nhau. và các chiến lược tấn công khác nhau.

nhiều vòng và không thể loại trừ sự thông đồng giữa máy chủ và người

tham gia. Do đó, các tác giả trong [169] đề xuất một giải pháp kết hợp 2) Các cuộc tấn công đầu độc mô hình: Không giống như các cuộc tấn

tích hợp cả mã hóa đồng phân bổ sung và DP trong FL. Trong công đầu độc dữ liệu nhằm mục đích tạo ra dữ liệu giả để gây ra các tác

động bất lợi cho mô hình toàn cầu, một cuộc tấn công đầu độc mô hình cố gắng
Machine Translated by Google
22

Người phục vụ

Nạn nhân V
Kẻ tấn công H

Sao chép các thông số mới vào D Tải xuống các thông số từ Máy chủ

Sao chép các thông số mới vào

Mô hình H

Có phải là hình ảnh của nhãn [Người dùng A] không?

Dữ liệu Nhãn mác

Dữ liệu Nhãn mác
0,6

[Người dùng A]

0,3 [Người dùng C]

Tải các thông số đã đào tạo lên máy chủ

0,1

[Người dùng B]
[Người dùng B]

Kẻ phân biệt đối xử D

Máy phát điện G

GAN

Hình 13: GAN tấn công vào học sâu cộng tác.

BẢNG VI: Độ chính xác và tỷ lệ tấn công thành công đối với kịch bản không
các cuộc tấn công bằng chất độc là cực kỳ khó ngăn chặn vì khi đào tạo với
tấn công và các cuộc tấn công bằng mã số 1 và 2 trong hệ thống FL với bộ dữ
hàng triệu người tham gia, rất khó để đánh giá sự cải thiện từ từng người
liệu MNIST [163].
tham gia. Do đó, các giải pháp hiệu quả hơn cần được nghiên cứu thêm.
Cuộc tấn công cơ bản 1 cuộc tấn công 2

Số người tham gia trung thực

Trong [174], các tác giả giới thiệu một mô hình tấn công đầu độc hiệu quả
Số lượng người tham gia sybil
Độ chính xác (chữ số: 0, 2-9) 10 0 10 1 10 2 hơn được chứng minh là đạt được độ chính xác 100% đối với nhiệm vụ của kẻ

Độ chính xác (chữ số: 1) 90,2% 89,4% 88,8% tấn công chỉ trong một vòng học duy nhất. Đặc biệt, một người tham gia độc
Tỷ lệ tấn công thành công 96,5% 0,0% 60,7% 35,9% 0,0% 96,2%
hại có thể chia sẻ mô hình bị nhiễm độc không chỉ được đào tạo cho mục đích

có chủ đích của nó mà còn chứa một chức năng cửa hậu. Trong bài báo này, các

tác giả xem xét sử dụng một chức năng backdoor ngữ nghĩa để đưa vào mô hình
trực tiếp đầu độc mô hình toàn cục mà nó gửi đến máy chủ để tổng hợp. Như toàn cục. Lý do là chức năng này có thể làm cho mô hình toàn cầu phân loại
được trình bày trong [173] và [174], các cuộc tấn công đầu độc mô hình hiệu sai ngay cả khi không cần sửa đổi dữ liệu đầu vào của người tham gia độc
quả hơn nhiều so với các cuộc tấn công đầu độc dữ liệu, đặc biệt là đối với hại. Ví dụ: một chức năng cửa hậu phân loại hình ảnh có thể đưa nhãn do kẻ
FL quy mô lớn với nhiều người tham gia. tấn công chọn cho tất cả các hình ảnh có một số tính năng nhất định, ví dụ:
Lý do là đối với các cuộc tấn công nhiễm độc dữ liệu, các bản cập nhật của tất cả các con chó có sọc đen có thể bị phân loại nhầm thành mèo. Trong các
người tham gia độc hại được chia tỷ lệ dựa trên tập dữ liệu của nó và số mô phỏng, các tác giả cho thấy rằng cuộc tấn công này có thể vượt trội hơn
lượng người tham gia trong liên đoàn. Tuy nhiên, đối với các cuộc tấn công rất nhiều so với các cuộc tấn công đầu độc dữ liệu FL thông thường khác. Ví
đầu độc mô hình, một người tham gia độc hại có thể sửa đổi trực tiếp mô dụ: trong một nhiệm vụ dự đoán từ với tổng số 80.000 người tham gia, chỉ
hình đã cập nhật, được gửi đến máy chủ để tổng hợp. Kết quả là, ngay cả với cần thỏa hiệp tám người trong số họ là đủ để đạt được độ chính xác 50% của
một kẻ tấn công duy nhất, toàn bộ mô hình toàn cầu có thể bị nhiễm độc. Kết backdoor, so với 400 người tham gia độc hại cần thiết để thực hiện cuộc tấn
quả mô phỏng trong [173] cũng xác nhận rằng ngay cả một đối thủ bị hạn chế công đầu độc dữ liệu.
cao với dữ liệu huấn luyện hạn chế cũng có thể đạt được tỷ lệ thành công

cao trong việc thực hiện các cuộc tấn công đầu độc mô hình. Do đó, các giải

pháp để bảo vệ mô hình toàn cầu khỏi các cuộc tấn công nhiễm độc mô hình

phải được phát triển. 3) Các cuộc tấn công tự do: Cưỡi tự do là một cuộc tấn công khác trong

Trong [173], một số giải pháp được đề xuất để ngăn chặn các cuộc tấn FL xảy ra khi một người tham gia muốn hưởng lợi từ mô hình toàn cầu mà

công đầu độc mô hình. Thứ nhất, dựa trên mô hình cập nhật được chia sẻ từ không đóng góp vào quá trình học tập.

một người tham gia, máy chủ có thể kiểm tra xem mô hình được chia sẻ có Người tham gia độc hại, tức là người lái tự do, có thể giả vờ rằng nó có

thể giúp cải thiện hiệu suất của mô hình toàn cầu hay không. Nếu không, số lượng mẫu rất nhỏ để đào tạo hoặc nó có thể chọn một tập hợp nhỏ trong

người tham gia sẽ bị đánh dấu là kẻ tấn công tiềm năng và sau vài vòng quan bộ dữ liệu thực của nó để đào tạo, chẳng hạn như để tiết kiệm tài nguyên của nó.

sát mô hình cập nhật từ người tham gia này, máy chủ có thể xác định liệu Do đó, những người tham gia trung thực cần đóng góp nhiều nguồn lực hơn

đây có phải là người tham gia độc hại hay không. Giải pháp thứ hai dựa trên trong quá trình đào tạo FL. Để giải quyết vấn đề này, các tác giả trong

sự so sánh giữa các mô hình cập nhật được chia sẻ bởi những người tham gia. [175] giới thiệu một quy tắc lưu trữ FL dựa trên blockchain, được gọi là

Đặc biệt, nếu một mô hình được cập nhật từ một người tham gia quá khác với BlockFL, trong đó các bản cập nhật mô hình học tập cục bộ của người tham

những người khác, thì người tham gia đó có thể là một mô hình độc hại. Sau gia được trao đổi và xác minh bằng cách tận dụng công nghệ blockchain. Đặc

đó, máy chủ sẽ tiếp tục quan sát các bản cập nhật từ người tham gia này biệt, mỗi người tham gia đào tạo và gửi mô hình toàn cầu đã được đào tạo

trước khi có thể xác định liệu đây có phải là người dùng độc hại hay không. tới người khai thác liên kết của nó trong mạng blockchain và sau đó nhận

Tuy nhiên, mô hình được phần thưởng tỷ lệ với số lượng mẫu dữ liệu được đào tạo như
Machine Translated by Google
Mạng chuỗi khối
Thợ mỏ 1
Người phục vụ
Xác minh chéo
Phần thưởng và mô hình toàn
cầu cập nhật
Người tham gia 1 Người tham gia 2 Người tham gia 1
(a) Học tập liên kết thông thường (b) BlockFL
Hình 14: Một minh họa của (a) FL thông thường và (b) các kiến trúc
BlockFL được đề xuất.
được minh họa trong Hình 14. Bằng cách này, khuôn khổ này không chỉ
có thể ngăn cản những người tham gia đi xe tự do mà còn khuyến khích
tất cả những người tham gia đóng góp vào quá trình học tập. Một mô
hình dựa trên chuỗi khối tương tự cũng được giới thiệu trong [176]
để cung cấp tính bảo mật dữ liệu, khả năng kiểm tra tính toán và
khuyến khích cho những người tham gia FL. Tuy nhiên, việc sử dụng
công nghệ blockchain đồng nghĩa với việc phát sinh chi phí đáng kể
cho việc triển khai và duy trì các thợ đào để vận hành mạng
blockchain. Hơn nữa, các giao thức đồng thuận được sử dụng trong
mạng blockchain, ví dụ như bằng chứng công việc (PoW), có thể gây
ra sự chậm trễ lâu dài trong việc trao đổi thông tin và do đó chúng
có thể không thích hợp để triển khai trên các mô hình FL.
C. Tóm tắt và Bài học Kinh nghiệm Trong
phần này, chúng ta đã thảo luận về hai vấn đề chính, tức là quyền
riêng tư và bảo mật, khi các mô hình được đào tạo được trao đổi
trong FL. Nhìn chung, người ta tin rằng FL là một giải pháp học tập
bảo vệ quyền riêng tư hiệu quả cho những người tham gia thực hiện
đào tạo mô hình hợp tác. Tuy nhiên, trong phần này, chúng tôi đã chỉ
ra rằng một người tham gia độc hại có thể khai thác quá trình và
giành quyền truy cập vào thông tin nhạy cảm của những người tham gia khác.
Hơn nữa, chúng tôi cũng đã chỉ ra rằng bằng cách sử dụng mô hình
chia sẻ trong FL, kẻ tấn công có thể thực hiện các cuộc tấn công
không chỉ có thể phá vỡ toàn bộ hệ thống học tập mà còn làm sai lệch
mô hình đã được đào tạo để đạt được mục tiêu độc hại của nó. Ngoài
ra, các giải pháp để đối phó với những vấn đề này cũng đã được xem
xét, điều này đặc biệt quan trọng để hướng dẫn các quản trị viên hệ
thống FL thiết kế và thực hiện các biện pháp đối phó phù hợp. Chúng
tôi tóm tắt thông tin chính của các cuộc tấn công và các biện pháp
đối phó tương ứng của chúng trong Bảng VII.
VI. ỨNG DỤNG CỦA HỌC FEDERATED CHO MÁY TÍNH CẠNH TRANH DI ĐỘNG
Trong các nghiên cứu nói trên, chúng tôi đã thảo luận về các vụ
kiện liên quan đến việc triển khai FL như một công nghệ hỗ trợ cho
phép học tập hợp tác tại các mạng cạnh di động. Trong phần này, chúng
tôi tập trung vào các ứng dụng của FL để tối ưu hóa mạng cạnh di
động.
23
Như các tác giả đã nhấn mạnh trong [35], tính phức tạp và không
đồng nhất ngày càng tăng của mạng không dây nâng cao sức hấp dẫn của
việc áp dụng cách tiếp cận dựa trên ML theo hướng dữ liệu [28] để
Thợ mỏ 2
tối ưu hóa thiết kế hệ thống và ra quyết định phân bổ tài nguyên
cho các mạng cạnh di động. Tuy nhiên, như đã thảo luận trong các
phần trước, dữ liệu riêng tư của người dùng có thể nhạy cảm về bản
chất. Do đó, phương pháp tiếp cận dựa trên học tập hiện có có thể
được kết hợp với FL cho các ứng dụng bảo vệ quyền riêng tư.
Trong phần này, chúng tôi xem xét bốn ứng dụng của FL trong điện
toán biên: • Phát hiện tấn công mạng: Sự phổ biến của các thiết bị
IoT và sự gia tăng mức độ phức tạp của các cuộc tấn công mạng
[177] ngụ ý rằng cần phải cải thiện các công cụ phát hiện tấn
công mạng hiện có. Gần đây, DL đã thành công rộng rãi trong
Người tham gia 2 việc phát hiện tấn công mạng. Cùng với FL, các mô hình phát
hiện tấn công mạng có thể được học một cách cộng tác trong khi
vẫn duy trì quyền riêng tư của người dùng. • Edge Caching và
Computation Offloading: Do các hạn chế về khả năng tính toán
và lưu trữ của các máy chủ biên, một số tác vụ tính toán chuyên
sâu của thiết bị cuối phải được tải xuống máy chủ đám mây từ
xa để tính toán. Ngoài ra, các tệp hoặc dịch vụ thường được
yêu cầu nên được đặt trên các máy chủ biên để truy xuất nhanh
hơn, tức là người dùng không phải giao tiếp với đám mây từ xa
khi họ muốn truy cập các tệp hoặc dịch vụ này. Do đó, một lược
đồ giảm tải tính toán và bộ nhớ đệm tối ưu có thể được học và
tối ưu hóa một cách cộng tác với FL.
• Hiệp hội trạm gốc: Trong một mạng dày đặc, điều quan trọng là
phải tối ưu hoá sự kết hợp trạm gốc để hạn chế sự can thiệp của
người dùng. Tuy nhiên, các phương pháp tiếp cận dựa trên học
tập truyền thống sử dụng dữ liệu người dùng thường cho rằng dữ
liệu đó có sẵn ở trung tâm. Do các ràng buộc về quyền riêng tư
của người dùng, phương pháp tiếp cận dựa trên FL có thể được
áp dụng thay thế.
• Mạng Xe cộ: Internet Xe cộ (IoV) [178] có các phương tiện thông
minh với khả năng thu thập, tính toán và giao tiếp dữ liệu cho
các chức năng liên quan, ví dụ như điều hướng và quản lý giao
thông. Tuy nhiên, lượng kiến thức phong phú này lại là bản chất
riêng tư và nhạy cảm vì nó có thể tiết lộ vị trí của người lái
xe và thông tin liên quan. Trong phần này, chúng tôi thảo luận
về việc sử dụng phương pháp tiếp cận dựa trên FL trong dự đoán
độ dài hàng đợi giao thông và nhu cầu năng lượng trong các trạm
sạc xe điện được thực hiện ở rìa của mạng IoV.
A. Phát hiện tấn công mạng
Phát hiện tấn công mạng là một trong những bước quan trọng nhất
để kịp thời ngăn chặn và giảm thiểu hậu quả nghiêm trọng của các
cuộc tấn công vào mạng cạnh di động. Trong số các cách tiếp cận khác
nhau đối với các cuộc tấn công mạng, DL được coi là công cụ hiệu
quả nhất để phát hiện một loạt các cuộc tấn công với độ chính xác
cao. Trong [188], các tác giả chỉ ra rằng DL có thể vượt trội hơn
tất cả các kỹ thuật ML thông thường với độ chính xác rất cao trong
việc phát hiện các sion intru trên ba bộ dữ liệu, tức là, KDDcup
1999, NSL-KDD [189], và UNSW-NB15 [190]. Tuy nhiên, độ chính xác phát
hiện của các giải pháp dựa trên DL phụ thuộc rất nhiều vào các
Machine Translated by Google
24

BẢNG VII: Tóm tắt các cuộc tấn công và biện pháp đối phó trong FL.

Các kiểu tấn công Phương pháp tấn công Biện pháp đối phó

• Giảm độ dốc ngẫu nhiên riêng tư khác biệt: Thêm “nhiễu” vào các tham số được đào tạo bằng cách sử dụng cơ chế ngẫu nhiên bảo vệ

quyền riêng tư vi phân [20]. • Những người tham gia có chọn lọc và riêng tư khác nhau: Thêm “nhiễu” vào các thông số được

đào tạo và chọn

những người tham gia ngẫu nhiên để đào tạo mô hình toàn cầu trong mỗi vòng [161].
Các cuộc tấn công
• Chia sẻ thông số có chọn lọc: Mỗi người tham gia lựa chọn một cách khôn ngoan số lượng gradient để tải lên
Những kẻ tấn công cố gắng khai thác bất hợp pháp thông tin
khai thác thông tin (các và số lượng tham số từ mô hình toàn cục cần cập nhật [162].
từ mô hình được chia sẻ.
vấn đề về quyền riêng tư) • Lược đồ chia sẻ bí mật với thuật toán tăng cường cực độ: Cách tiếp cận này thực hiện một giao thức chia sẻ bí mật nhẹ trước khi

truyền mô hình mới được huấn luyện ở dạng bản rõ đến máy chủ tại mỗi vòng [166].

• Đào tạo mô hình GAN: Tất cả những người tham gia hợp tác để đào tạo một mô hình GAN liên hợp [167].

• FoolsGoal: Phân biệt những người tham gia trung thực dựa trên độ dốc cập nhật của họ. Nó dựa trên thực tế là trong cài đặt không

Những kẻ tấn công đầu độc mô hình toàn cầu bằng phải IID FL, dữ liệu đào tạo của mỗi người tham gia có các đặc điểm riêng và những người tham gia độc hại sẽ đóng góp các độ
Các cuộc tấn công đầu
cách tạo dữ liệu nhãn bẩn và sử dụng dữ liệu đó để đào dốc trông giống nhau hơn so với dữ liệu của những người tham gia trung thực [171].
độc dữ liệu
tạo mô hình toàn cầu.

• Dựa trên mô hình cập nhật được chia sẻ từ một người tham gia, máy chủ có thể kiểm tra xem mô hình được chia sẻ có thể giúp cải

thiện hiệu suất của mô hình chung hay không. Nếu không, người tham gia sẽ bị đánh dấu là kẻ tấn công tiềm năng [173].

Những kẻ tấn công cố gắng đầu độc trực tiếp mô hình

Các cuộc tấn công đầu
toàn cầu mà chúng gửi đến máy chủ để tổng hợp. • So sánh giữa các mô hình toàn cầu cập nhật được chia sẻ bởi những người tham gia và nếu một mô hình toàn cầu cập nhật từ một
độc mô hình
người tham gia quá khác với những người khác, nó có thể là một người tham gia độc hại tiềm ẩn [173].

• BlockFL: Các bản cập nhật mô hình học tập địa phương của người tham gia được trao đổi và xác minh bằng cách tận dụng công nghệ
Những kẻ tấn công được hưởng lợi từ mô hình toàn
blockchain. Đặc biệt, mỗi người tham gia đào tạo và gửi mô hình toàn cầu đã được đào tạo đến người khai thác liên kết của nó
cầu mà không đóng góp vào quá trình học tập, ví dụ: bằng
Các cuộc tấn công tự do trong mạng blockchain và sau đó nhận được phần thưởng tỷ lệ với số lượng mẫu dữ liệu được đào tạo [175].
cách giả vờ rằng họ có số lượng mẫu rất nhỏ để đào tạo.

BẢNG VIII: Các phương pháp tiếp cận dựa trên FL để tối ưu hóa mạng cạnh di động.

Các ứng dụng Tham khảo

Mô tả [179]
Phát hiện tấn công mạng với các nút cạnh với tư cách là người tham
Phát hiện tấn công mạng gia [180] Phát hiện tấn công mạng với cổng IoT với tư cách là người
tham gia [181] Chuỗi khối để lưu trữ các bản cập nhật mô hình [32] DRL
để lưu vào bộ nhớ đệm và giảm tải trong UE [182] DRL để giảm tải tính
toán trong các thiết bị IoT [ 183]
Bộ nhớ đệm cạnh và giảm tải tính toán
Học mã tự động xếp chồng để chủ động lưu vào bộ nhớ đệm
[184] Thuật toán tham lam để tối ưu hóa sơ đồ vị trí dịch vụ [185] Mạng
trạng thái tiếng vọng sâu cho ứng dụng VR [31] Trò chơi trường trung
Trạm cơ sở assoication
bình với sự bắt chước cho liên kết ô [186] Lý thuyết giá trị cực để dự
đoán độ dài hàng đợi lớn [187 ] Học về nhu cầu năng lượng trong mạng
Mạng lưới xe cộ
lưới xe điện

bộ dữ liệu. Cụ thể, thuật toán DL chỉ có thể hoạt động tốt hơn các kỹ bằng cách sử dụng FL, hệ thống có thể phát hiện thành công 95,6% các cuộc

thuật ML khác khi được cung cấp đủ dữ liệu để huấn luyện. Tuy nhiên, dữ tấn công trong khoảng 257 ms mà không gây ra bất kỳ cảnh báo giả nào khi

liệu này có thể nhạy cảm về bản chất. Do đó, một số mô hình phát hiện tấn được đánh giá trong cài đặt triển khai nhà thông minh trong thế giới thực.

công dựa trên FL cho các mạng cạnh di động đã được giới thiệu gần đây để Trong cả [179] và [180], giả định rằng những người tham gia, tức là các

giải quyết vấn đề này. nút cạnh và cổng IoT, là trung thực và họ sẵn sàng đóng góp trong việc đào

tạo các thông số mô hình cập nhật của họ. Tuy nhiên, nếu một số người tham
Trong [179], các tác giả đề xuất một mô hình phát hiện tấn công mạng cho
gia là độc hại, họ có thể làm cho toàn bộ tính năng phát hiện xâm nhập bị
một mạng biên được FL trao quyền. Trong mô hình này, mỗi nút biên hoạt
hỏng. Do đó, các tác giả trong [181] đề xuất sử dụng công nghệ blockchain
động như một người tham gia sở hữu một bộ dữ liệu để phát hiện xâm nhập.
trong việc quản lý dữ liệu được chia sẻ bởi những người tham gia. Bằng
Để cải thiện độ chính xác trong việc phát hiện các cuộc tấn công, sau khi
cách sử dụng blockchain, tất cả các cập nhật gia tăng đối với mô hình ML
đào tạo mô hình toàn cầu, mỗi người tham gia sẽ gửi mô hình đã được đào
phát hiện bất thường đều được lưu trữ trong sổ cái và do đó có thể dễ
tạo của mình đến máy chủ FL. Máy chủ sẽ tổng hợp tất cả các tham số từ
dàng xác định được người tham gia độc hại. Hơn nữa, dựa trên các mô hình
những người tham gia và gửi lại mô hình toàn cầu đã cập nhật cho tất cả
được chia sẻ từ những người tham gia trung thực được lưu trữ trong sổ
những người tham gia như minh họa trong Hình 15. Bằng cách này, mỗi nút
cái, hệ thống phát hiện xâm nhập có thể dễ dàng khôi phục mô hình toàn cầu
cạnh có thể học hỏi từ các nút cạnh khác mà không cần chia sẻ dữ liệu thực
phù hợp nếu mô hình toàn cầu hiện tại bị nhiễm độc.
của nó. Kết quả là, phương pháp này không chỉ có thể cải thiện độ chính

xác trong việc phát hiện các cuộc tấn công mà còn nâng cao tính riêng tư

của dữ liệu xâm nhập ở các nút biên và giảm tải lưu lượng cho toàn mạng.
B. Edge Caching và Computation Offloading Để giải thích
Một ý tưởng tương tự cũng được trình bày trong [180] trong đó các cổng

IoT hoạt động với tư cách là những người tham gia FL và một nhà cung cấp cho các điều kiện động và thời gian thay đổi trong hệ thống MEC, các tác

dịch vụ bảo mật IoT hoạt động như một nút máy chủ để tổng hợp các mô hình giả trong [32] đề xuất việc sử dụng DRL với FL để tối ưu hóa các quyết

được đào tạo được chia sẻ bởi những người tham gia. Các tác giả trong định giảm tải trong bộ nhớ đệm và tính toán trong hệ thống MEC. Hệ thống

[180] thực nghiệm cho thấy rằng bằng cách MEC bao gồm
Machine Translated by Google
Máy chủ đám mây
Trao đổi mô hình
Nút cạnh 1 Nút cạnh 2
Hình 15: Kiến trúc phát hiện tấn công dựa trên FL cho các công trình mạng lưới
IoT.
tập hợp các thiết bị người dùng (UE) được bao phủ bởi các trạm gốc. Đối với
bộ nhớ đệm, tác nhân DRL đưa ra quyết định lưu vào bộ đệm hay không lưu vào
bộ đệm của tệp đã tải xuống và tệp cục bộ nào cần thay thế sẽ xảy ra vào bộ nhớ
đệm. Để giảm tải tính toán, các UE có thể chọn giảm tải các tác vụ tính toán
cho nút biên qua các kênh không dây hoặc thực hiện các tác vụ cục bộ. Quá trình
quyết định giảm tải và bộ nhớ đệm này được minh họa trong Hình.
16. Các trạng thái của hệ thống MEC bao gồm điều kiện mạng không dây, tiêu thụ
năng lượng của UE và trạng thái xếp hàng nhiệm vụ, trong khi chức năng phần
thưởng được định nghĩa là chất lượng trải nghiệm (QoE) của các UE. Với trạng
thái và không gian hành động rộng lớn trong môi trường MEC, phương pháp DDQN
được áp dụng. Để bảo vệ quyền riêng tư của người dùng, một phương pháp FL
được đề xuất trong đó có thể tiến hành đào tạo với dữ liệu còn lại trên các UE.
Ngoài ra, các thuật toán FL hiện có, ví dụ, FedAvg [23], cũng có thể đảm bảo
rằng việc huấn luyện phù hợp với dữ liệu không cân bằng và không phải IID của
các UE. Kết quả mô phỏng cho thấy phương pháp DDQN với FL đạt được các tiện
ích trung bình tương tự giữa các UE so với phương pháp DDQN tập trung, đồng
thời tiêu tốn ít tài nguyên truyền thông hơn và bảo vệ quyền riêng tư của
người dùng. Tuy nhiên, các mô phỏng chỉ được thực hiện với 10 UE. Nếu việc
triển khai được mở rộng để nhắm mục tiêu đến một số lượng lớn hơn các UE
không đồng nhất, có thể có sự chậm trễ đáng kể trong quá trình đào tạo, đặc
biệt là vì việc đào tạo mô hình DRL đòi hỏi nhiều về mặt tính toán. Như một
phần mở rộng, học chuyển giao [191] có thể được sử dụng để tăng hiệu quả đào
tạo, tức là đào tạo không được khởi tạo từ đầu.
Tương tự như [32], các tác giả trong [182] đề xuất việc sử dụng DRL
25
trong việc tối ưu hóa các quyết định giảm tải tính toán trong các hệ thống IoT.
Mô hình hệ thống bao gồm các thiết bị IoT và các nút cạnh.
Các thiết bị IoT có thể thu thập các đơn vị năng lượng [192] từ các nút cạnh
để được lưu trữ trong hàng đợi năng lượng. Ngoài ra, một thiết bị IoT cũng
duy trì hàng đợi tác vụ cục bộ với các tác vụ chưa được xử lý và xử lý không
thành công. Các tác vụ này có thể được xử lý cục bộ hoặc chuyển tải tới các
nút biên để xử lý, theo thứ tự Xuất trước Nhập trước (FIFO) [14]. Trong công
thức vấn đề DRL, các trạng thái mạng được định nghĩa là một hàm của độ dài
hàng đợi năng lượng, độ trễ thực thi tác vụ, độ trễ chuyển giao tác vụ từ liên
kết nút cạnh và độ lợi kênh giữa thiết bị IoT và các nút cạnh. Một tác vụ có
thể không thực hiện được, ví dụ, khi không có đủ đơn vị năng lượng hoặc băng
thông truyền thông để giảm tải tính toán. Tiện ích được coi là một chức năng
về độ trễ thực thi tác vụ, độ trễ khi xếp hàng tác vụ, số lượng tác vụ không
thành công và hình phạt khi thực hiện không thành công. Tác nhân DRL đưa ra
quyết định giảm tải tính toán cho các nút cạnh hoặc thực hiện tính toán cục bộ.
Để đảm bảo quyền riêng tư của người dùng, đại lý được đào tạo mà người dùng
không cần phải tải dữ liệu của chính họ lên máy chủ tập trung. Trong mỗi vòng
đào tạo, một tập hợp ngẫu nhiên các thiết bị IoT được chọn để tải xuống các
thông số mô hình của tác nhân DRL từ các mạng biên. Sau đó, các tham số của mô
hình được cập nhật bằng cách sử dụng dữ liệu riêng của chúng, ví dụ: mức tài
nguyên năng lượng, độ lợi kênh và dữ liệu cảm biến cục bộ.
Sau đó, các tham số cập nhật của tác nhân DRL được gửi đến các nút cạnh để
tổng hợp mô hình. Kết quả mô phỏng cho thấy rằng phương pháp dựa trên FL có
thể đạt được mức độ tiện ích tổng thể tương tự như phương pháp DRL tập
trung. Điều này mạnh mẽ đối với các xác suất tạo nhiệm vụ khác nhau. Ngoài ra,
khi xác suất tạo tác vụ cao hơn, tức là có nhiều tác vụ cần tính toán hơn
trong thiết bị IoT, sơ đồ dựa trên FL có thể đạt được số lượng nhiệm vụ bị bỏ
thấp hơn và độ trễ xếp hàng ngắn hơn so với sơ đồ DRL tập trung. Tuy nhiên,
mô phỏng chỉ liên quan đến 15 thiết bị IoT được phục vụ bởi tương đối nhiều
nút cạnh. Để phản ánh tốt hơn các tình huống thực tế, trong đó ít nút biên hơn
phải bao phủ một số thiết bị IoT, các nghiên cứu sâu hơn có thể được tiến hành
về việc tối ưu hóa sự hợp tác giữa Edge-IoT.
Ví dụ, băng thông giao tiếp hạn chế có thể gây ra độ trễ chuyển giao tác vụ
đáng kể trong quá trình giảm tải tính toán.
Ngoài ra, với nhiều thiết bị IoT hơn, quá trình đào tạo DRL sẽ mất nhiều thời
gian hơn để hội tụ, đặc biệt vì các thiết bị có khả năng tính toán không đồng
nhất.
Thay vì sử dụng cách tiếp cận DRL, các tác giả trong [183] đề xuất sử dụng
mô hình học tự động mã hóa xếp chồng dựa trên FL, tức là lược đồ lưu nội dung
chủ động dựa trên FL (FPCC), để dự đoán mức độ phổ biến của nội dung nhằm tối
ưu hóa bộ nhớ đệm đồng thời bảo vệ quyền riêng tư của người dùng. Trong mô
hình hệ thống, mỗi người dùng được trang bị một thiết bị di động kết nối với
trạm gốc bao phủ vị trí địa lý của nó. Sử dụng mô hình học mã tự động xếp
chồng, biểu diễn tiềm ẩn của thông tin của người dùng, ví dụ: vị trí và xếp
hạng tệp, tức là lịch sử yêu cầu nội dung, sẽ được học. Sau đó, một ma trận
tương tự giữa người dùng và các tệp được yêu cầu trước đây của nó sẽ thu
được, trong đó mỗi phần tử của ma trận đại diện cho khoảng cách giữa người
dùng và tệp. Dựa trên ma trận tương tự này, K hàng xóm gần nhất của mỗi người
dùng được xác định và tính tương tự giữa danh sách theo dõi lịch sử của người
dùng và các hàng xóm khác được tính toán. Sau đó, một cách tiếp cận tổng hợp
được sử dụng để dự đoán
Machine Translated by Google
Hình 16: Bộ nhớ đệm (a) dựa trên FL và (b) giảm tải tính toán.
các tệp phổ biến nhất để lưu vào bộ nhớ đệm, tức là các tệp có điểm
giống nhau cao nhất trên tất cả người dùng. Là các tệp phổ biến nhất
được người dùng truy xuất thường xuyên nhất, các tệp đã lưu trong
bộ nhớ cache không cần phải tải xuống lại từ máy chủ nguồn của nó mỗi
khi nó được yêu cầu. Để bảo vệ quyền riêng tư của người dùng, FL
được sử dụng để tìm hiểu các thông số của bộ mã tự động xếp chồng
lên nhau mà người dùng không cần phải tiết lộ thông tin cá nhân hoặc
lịch sử yêu cầu nội dung của mình cho máy chủ FL. Trong mỗi vòng đào
tạo, trước tiên người dùng tải xuống một mô hình toàn cầu từ máy chủ
FL. Sau đó, mô hình được đào tạo và cập nhật bằng cách sử dụng dữ
liệu cục bộ của họ. Các mô hình cập nhật sau đó được tải lên máy chủ
FL và được tổng hợp bằng cách sử dụng thuật toán FedAvg. Kết quả mô
phỏng cho thấy rằng lược đồ FPCC được đề xuất có thể đạt được hiệu
quả bộ nhớ đệm cao nhất, tức là tỷ lệ tệp được lưu trong bộ đệm phù
hợp với yêu cầu của người dùng, so với các phương pháp lưu trong
bộ đệm khác như phương pháp lấy mẫu Thompson [193]. Ngoài ra, quyền
riêng tư của người dùng được bảo toàn.
Các tác giả trong [184] giới thiệu một sơ đồ vị trí dịch vụ có
nhận thức về quyền riêng tư để triển khai các dịch vụ được người
dùng ưa thích trên các máy chủ biên có xem xét các hạn chế về tài
nguyên trong đám mây biên. Mô hình hệ thống bao gồm một đám mây cạnh
di động phục vụ các thiết bị di động khác nhau. Đầu tiên, mô hình sở
thích của người dùng được xây dựng dựa trên thông tin như số lần
yêu cầu dịch vụ và thông tin ngữ cảnh người dùng khác, ví dụ: tuổi
và vị trí. Tuy nhiên, vì điều này có thể liên quan đến thông tin cá
nhân nhạy cảm, một phương pháp dựa trên FL được đề xuất để đào tạo
mô hình ưu tiên trong khi vẫn giữ dữ liệu của người dùng trên thiết
bị cá nhân của họ. Sau đó, một vấn đề tối ưu hóa được xây dựng
26
trong đó mục tiêu là tối đa hóa số lượng dịch vụ được yêu cầu từ bên
ngoài dựa trên sở thích của người dùng, chịu các hạn chế về dung
lượng lưu trữ, khả năng tính toán, đường lên và băng thông tải
xuống. Sau đó, vấn đề tối ưu hóa được giải quyết bằng cách sử dụng
một thuật toán tham lam, tức là, dịch vụ cải thiện hầu hết các chức
năng mục tiêu được thêm vào cho đến khi đáp ứng được các hạn chế về
tài nguyên. Kết quả mô phỏng cho thấy rằng sơ đồ được đề xuất có thể
tốt hơn so với sơ đồ vị trí dịch vụ phổ biến, tức là chỉ có các dịch
vụ phổ biến nhất được đặt trên đám mây biên, về số lượng yêu cầu
được xử lý trên các đám mây biên vì nó cũng xem xét các hạn chế tài
nguyên nói trên trong tối đa hóa số lượng dịch vụ.
C. Hiệp hội Trạm cơ sở
Các tác giả trong [185] đề xuất phương pháp tiếp cận mạng trạng
thái dội âm sâu (ESN) dựa trên FL để giảm thiểu ngắt khi hiện diện
(BIP) [194] cho người dùng ứng dụng thực tế ảo (VR). Sự kiện BIP có
thể là kết quả của sự chậm trễ trong quá trình truyền thông tin có
thể gây ra khi chuyển động cơ thể của người dùng cản trở liên kết
không dây. BIP khiến người dùng biết rằng họ đang ở trong một môi
trường ảo, do đó làm giảm chất lượng thử nghiệm của họ. Do đó, chính
sách liên kết người dùng phải được thiết kế sao cho các BIP được
giảm thiểu. Mô hình hệ thống bao gồm các trạm gốc bao gồm một nhóm
người dùng VR. Các trạm gốc nhận thông tin theo dõi đã tải lên từ mỗi
người dùng được liên kết, ví dụ: vị trí và hướng thực, trong khi
người dùng tải xuống video VR để sử dụng trong ứng dụng VR.
Để truyền dữ liệu, người dùng VR phải kết hợp với một trong các trạm
gốc. Do đó, một bài toán giảm thiểu được đặt ra trong đó các BIP
được giảm thiểu đối với các vị trí và hướng dự kiến của người dùng
VR. Để đưa ra dự đoán về vị trí và hướng của người dùng, trạm gốc
phải dựa vào thông tin lịch sử của người dùng. Tuy nhiên, thông tin
lịch sử được lưu trữ tại mỗi trạm gốc chỉ thu thập dữ liệu một phần
từ mỗi người dùng, tức là một người dùng kết nối với nhiều trạm gốc
và dữ liệu của nó được phân phối trên các trạm gốc.
Như vậy, phương pháp tiếp cận dựa trên FL được thực hiện theo đó mỗi trạm
gốc đầu tiên đào tạo một mô hình cục bộ bằng cách sử dụng dữ liệu từng phần của nó.
Sau đó, các mô hình cục bộ được tổng hợp lại để tạo thành một mô hình
toàn cầu có khả năng tổng quát hóa, tức là dự đoán toàn diện khả năng
di chuyển và định hướng của người dùng. Kết quả mô phỏng cho thấy
rằng thuật toán ESN liên hợp có thể đạt được BIP thấp hơn mà người
dùng trải nghiệm so với thuật toán ESN tập trung được đề xuất trong
[195], vì cách tiếp cận tập trung chỉ đưa ra dự đoán một phần với dữ
liệu không đầy đủ từ các trạm cơ sở duy nhất, trong khi ESN liên kết
phương pháp tiếp cận có thể đưa ra dự đoán dựa trên một mô hình
được học một cách cộng tác từ dữ liệu đầy đủ hơn.
Theo sau sự phổ biến của các thiết bị IoT, cách tiếp cận dựa trên
đám mây truyền thống có thể không còn đủ để phục vụ cho các mạng di
động dày đặc. Khi việc tính toán và lưu trữ di chuyển đến rìa của
mạng, sự liên kết của người dùng với các trạm gốc ngày càng quan
trọng để tạo điều kiện cho việc đào tạo mô hình ML hiệu quả giữa
những người dùng cuối. Vì vậy, các tác giả trong [31] xem xét giải
quyết vấn đề liên kết tế bào trong các mạng không dây dày đặc bằng
phương pháp học hợp tác. Trong mô hình hệ thống, các trạm gốc bao
gồm một nhóm người dùng trong mạng di động LTE
Machine Translated by Google
hệ thống. Trong một hệ thống di động, người dùng có khả năng phải đối
mặt với các điều kiện kênh tương tự như hàng xóm của họ và do đó có
thể hưởng lợi từ việc học hỏi từ các nước láng giềng đã được liên kết
với các trạm gốc. Do đó, vấn đề liên kết tế bào được xây dựng như một
trò chơi trường trung bình (MFG) với sự bắt chước [196], trong đó mỗi
người dùng tối đa hóa thông lượng của chính mình trong khi giảm thiểu
chi phí bắt chước. MFG tiếp tục được rút gọn thành quy trình quyết định
Markov cho một người dùng duy nhất, sau đó được giải quyết bằng thuật
toán Q-learning thần kinh. Trong hầu hết các giải pháp được đề xuất khác
cho liên kết tế bào, người ta giả định rằng tất cả thông tin đều được
các trạm gốc và người dùng biết. Tuy nhiên, với những lo ngại về quyền
riêng tư, giả định về việc chia sẻ thông tin có thể không thực tế. Do
đó, phương pháp học tập hợp tác có thể được coi là nơi chỉ có kết quả
của thuật toán học tập được trao đổi trong quá trình học tập trong khi
dữ liệu sử dụng được lưu giữ cục bộ trong thiết bị của mỗi người dùng.
Kết quả mô phỏng cho thấy người dùng bắt chước có thể đạt được tiện
ích cao hơn trong thời gian đào tạo ngắn hơn so với người dùng không
bắt chước.
D. Mạng xe cộ
Giao tiếp độ trễ thấp cực kỳ đáng tin cậy (URLLC) trong mạng xe cộ là
điều kiện tiên quyết cần thiết để phát triển một hệ thống giao thông
thông minh. Tuy nhiên, các kỹ thuật quản lý tài nguyên vô tuyến hiện có
không tính đến các sự kiện hiếm như độ dài hàng đợi lớn ở phân phối đầu
cuối.
Để mô hình hóa sự xuất hiện của các sự kiện có xác suất thấp như vậy,
các tác giả trong [186] đề xuất sử dụng lý thuyết giá trị cực trị (EVT)
[197]. Phương pháp này yêu cầu đủ mẫu thông tin trạng thái hàng đợi
(QSI) và trao đổi dữ liệu giữa các phương tiện. Do đó, một phương
pháp FL được đề xuất trong đó người dùng phương tiện giao thông (VUE)
đào tạo mô hình học tập với dữ liệu được lưu giữ cục bộ và chỉ tải các
thông số mô hình cập nhật của họ lên các đơn vị bên đường (RSU). Sau
đó, RSU tính trung bình các tham số mô hình và trả về mô hình toàn cầu
được cập nhật cho VUE. Theo cách tiếp cận đồng bộ, tất cả VUE tải lên
mô hình của họ ở cuối khoảng thời gian xác định trước. Tuy nhiên, việc
nhiều phương tiện tải lên đồng thời có thể dẫn đến việc liên lạc bị
chậm trễ. Ngược lại đối với phương pháp tiếp cận không đồng bộ, mỗi
VUE chỉ đánh giá và tải lên các thông số mô hình của chúng sau khi thu
thập số lượng mẫu QSI được xác định trước. Mô hình toàn cầu cũng được
cập nhật bất cứ khi nào nhận được bản cập nhật cục bộ, do đó giảm độ
trễ giao tiếp. Để giảm chi phí hơn nữa, tối ưu hóa Lyapunov [198] để
phân bổ công suất cũng được sử dụng. Các kết quả mô phỏng cho thấy rằng
theo khuôn khổ này, việc giảm số lượng xe có độ dài xếp hàng lớn trong
khi FL có thể đảm bảo trao đổi dữ liệu tối thiểu so với cách tiếp cận
tập trung.
Ngoài QSI, các phương tiện trong mạng lưới xe cộ cũng được tiếp
xúc với vô số hình ảnh được chụp hữu ích có thể được sử dụng để xây
dựng các mô hình suy luận tốt hơn, chẳng hạn như để tối ưu hóa giao
thông. Tuy nhiên, những hình ảnh này có tính chất nhạy cảm vì chúng có
thể cung cấp thông tin vị trí của khách hàng trên phương tiện giao
thông. Do đó, một cách tiếp cận FL có thể được sử dụng để tạo điều kiện
cho ML hợp tác trong khi vẫn đảm bảo duy trì quyền riêng tư. Tuy nhiên,
hình ảnh do các phương tiện chụp lại thường có chất lượng khác nhau
do chuyển động mờ. Ngoài ra, một nguồn khác của
27
tính không đồng nhất là sự khác biệt về khả năng tính toán của ve
hicles. Với sự bất cân xứng thông tin liên quan, các tác giả trong [148]
đề xuất một thiết kế hợp đồng đa chiều, trong đó máy chủ FL thiết kế các
gói hợp đồng bao gồm các mức chất lượng dữ liệu khác nhau, tài nguyên
tính toán và phần thưởng theo hợp đồng. Sau đó, khách hàng phương tiện
chọn gói hợp đồng tối đa hóa tiện ích của nó, phù hợp với loại ẩn của nó.
Tương tự như kết quả trong [146], kết quả mô phỏng cho thấy máy chủ
FL thu được tiện ích lớn nhất theo cách tiếp cận lý thuyết hợp đồng
được đề xuất, trái ngược với cách định giá tuyến tính hoặc cách tiếp
cận trò chơi Stackelberg.
Các tác giả trong [187] đề xuất phương pháp tiếp cận học tập nhu cầu
năng lượng liên hợp (FEDL) để quản lý các nguồn năng lượng trong các
trạm sạc (CS) cho xe điện (EV). Khi một số lượng lớn xe điện tập trung
tại một CS, điều này có thể dẫn đến tắc nghẽn truyền năng lượng. Để
giải quyết vấn đề này, năng lượng được cung cấp từ lưới điện và được
dự trữ trước để đáp ứng nhu cầu thời gian thực từ EV [199], thay vì yêu
cầu CS chỉ cung cấp năng lượng từ lưới điện khi nhận được yêu cầu sạc.
Do đó, cần phải dự báo nhu cầu năng lượng cho các mạng xe điện bằng
cách sử dụng dữ liệu sạc trước đây. Tuy nhiên, dữ liệu này thường được
lưu trữ riêng biệt tại mỗi CS mà EV sử dụng và có tính chất riêng tư.
Do đó, phương pháp tiếp cận FEDL được áp dụng trong đó mỗi CS đào tạo
mô hình dự đoán nhu cầu trên tập dữ liệu của riêng mình trước khi chỉ
gửi thông tin về độ dốc cho nhà cung cấp trạm thu phí (CSP). Sau đó,
thông tin gradient từ CS được tổng hợp để đào tạo mô hình toàn cầu. Để
cải thiện hơn nữa độ chính xác của mô hình, các CS được phân nhóm bằng
cách sử dụng thuật toán K có nghĩa là ràng buộc [200] dựa trên vị trí
thực của chúng. FEDL dựa trên phân cụm làm giảm chi phí dự đoán sai lệch
[201]. Kết quả mô phỏng cho thấy sai số bình phương trung bình gốc của
mô hình FEDL phân cụm thấp hơn các thuật toán ML thông thường, ví dụ,
hồi quy perceptron nhiều lớp [202].
Tuy nhiên, tính riêng tư của dữ liệu người dùng vẫn không được bảo vệ
bởi cách tiếp cận này, vì dữ liệu người dùng được lưu trữ trong mỗi CS.
Như một phần mở rộng, dữ liệu người dùng có thể được lưu trữ trong
từng EV riêng biệt và việc đào tạo mô hình có thể được tiến hành trong
EV chứ không phải CS. Điều này có thể cho phép xem xét nhiều tính năng
người dùng hơn để nâng cao độ chính xác của EDL, ví dụ: thói quen tiêu
dùng của người dùng.
Tóm tắt: Trong phần này, chúng ta thảo luận rằng FL cũng có thể được
sử dụng để tối ưu hóa mạng cạnh di động. Đặc biệt, các phương pháp
tiếp cận DL và DRL phù hợp để mô hình hóa môi trường động của các mạng
cạnh ngày càng phức tạp nhưng vẫn cung cấp đủ dữ liệu để đào tạo. Với
FL, việc đào tạo người mẫu có thể được thực hiện trong khi vẫn bảo vệ
quyền riêng tư của người dùng. Tóm tắt các phương pháp tiếp cận được
trình bày trong Bảng VIII.
VII. THÁCH THỨC VÀ HƯỚNG NGHIÊN CỨU TRONG TƯƠNG LAI
Ngoài những vấn đề đã đề cập ở trên, vẫn còn những hướng nghiên cứu
mới trong việc triển khai FL trên quy mô lớn sẽ được thảo luận như sau.
• Bỏ sót người tham gia: Các cách tiếp cận được thảo luận trong
Phần IV, ví dụ, [83], [123], và [124], đề xuất các nhịp điệu
thuật toán mới để lựa chọn người tham gia và phân bổ nguồn lực
để giải quyết nút thắt đào tạo và tính không đồng đều về nguồn
lực. Trong những cách tiếp cận này, các kết nối không dây của
Machine Translated by Google
người tham gia được cho là luôn có sẵn. Tuy nhiên, trên thực
tế, các thiết bị di động tham gia có thể ngoại tuyến và có thể
rời khỏi hệ thống FL do hạn chế về kết nối hoặc năng lượng. Một
số lượng lớn các thiết bị bị rơi khỏi quá trình tham gia đào
tạo có thể làm giảm đáng kể hiệu suất [23], ví dụ, độ chính xác
và tốc độ hội tụ, của hệ thống FL. Các thuật toán FL mới cần
phải mạnh mẽ để thiết bị rơi ra ngoài mạng và giải quyết các
tình huống trong đó chỉ có một số ít người tham gia được kết
nối để tham gia vào một vòng đào tạo. Một giải pháp tiềm năng là
chủ sở hữu mô hình FL cung cấp kết nối chuyên dụng / đặc biệt
miễn phí, ví dụ, kết nối di động, như một động lực khuyến khích
người tham gia tránh bỏ học.
• Mối quan tâm về quyền riêng tư: FL có thể bảo vệ quyền riêng tư
của từng người tham gia vì khóa đào tạo mô hình có thể được tổ
chức cục bộ, chỉ với các thông số mô hình được trao đổi với máy
chủ FL. Tuy nhiên, như đã nêu trong [154], [155] và [156], việc
truyền đạt thông tin cập nhật mô hình trong quá trình đào tạo
vẫn có thể tiết lộ thông tin nhạy cảm cho kẻ thù hoặc bên thứ
ba. Các phương pháp tiếp cận chuyên nghiệp hiện tại đưa ra
các giải pháp bảo mật như DP, ví dụ, [20], [161], và [203], và
đào tạo hợp tác, ví dụ, [162] và [164].
Tuy nhiên, việc áp dụng các phương pháp này sẽ hy sinh hiệu
suất, tức là độ chính xác của mô hình. Chúng cũng yêu cầu tính
toán đáng kể trên các thiết bị di động tham gia.
Do đó, sự cân bằng giữa đảm bảo quyền riêng tư và hiệu suất hệ
thống phải được cân bằng tốt khi triển khai hệ thống FL. • Dữ
liệu không được gắn nhãn: Điều quan trọng cần lưu ý là các ứng
dụng được đánh giá trong cuộc khảo sát được đề xuất cho các nhiệm
vụ học tập tích cực. Điều này có nghĩa là các phương pháp tiếp
cận giả định rằng các nhãn tồn tại cho tất cả dữ liệu trong mạng
liên kết. Tuy nhiên, trên thực tế, dữ liệu được tạo ra trong
mạng có thể không được gắn nhãn hoặc dán nhãn sai [204]. Điều
này đặt ra một thách thức lớn cho máy chủ trong việc tìm kiếm
những người tham gia có dữ liệu thích hợp cho việc đào tạo mô
hình. Giải quyết thách thức này có thể đòi hỏi phải giải quyết
các thách thức về khả năng mở rộng, tính đồng nhất và quyền
riêng tư trong hệ thống FL.
Một giải pháp khả thi là cho phép các thiết bị di động xây dựng
dữ liệu được gắn nhãn của chúng bằng cách học "dữ liệu được
gắn nhãn" từ nhau. Các nghiên cứu mới nổi cũng đã xem xét việc
sử dụng các kỹ thuật lấy cảm hứng từ học tập bán giám sát [205].
• Sự can thiệp giữa các thiết bị di động: Các phương pháp phân
bổ tài nguyên hiện có, ví dụ, [83] và [124], giải quyết việc
lựa chọn người tham gia dựa trên trạng thái tài nguyên của
thiết bị di động của họ. Trên thực tế, các thiết bị di động này
có thể ở gần nhau về mặt địa lý, tức là trong cùng một ô.
Điều này gây ra sự cố nhiễu khi họ cập nhật các mô hình cục bộ
vào máy chủ. Do đó, các chính sách phân bổ kênh có thể cần được
kết hợp với các phương pháp tiếp cận phân bổ tài nguyên để
giải quyết vấn đề nhiễu.
Trong khi các nghiên cứu trong [132], [134] và [135] xem xét
các sơ đồ đa truy cập và tính toán qua mạng, vẫn còn phải xem
liệu các phương pháp đó có thể mở rộng hay không, tức là có
thể hỗ trợ một liên kết lớn gồm nhiều người tham gia. Vì vậy,
các giải pháp dựa trên học tập theo hướng dữ liệu, ví dụ: liên kết
28
DRL, có thể được coi là mô hình hóa môi trường động của các
mạng cạnh di động và đưa ra các quyết định được tối ưu hóa.
• Bảo mật thông tin liên lạc: Các mối đe dọa về quyền riêng tư và
bảo mật được nghiên cứu trong Phần VB chủ yếu xoay quanh các
thỏa hiệp liên quan đến dữ liệu, ví dụ: nhiễm độc dữ liệu và mô
hình. Do tính chất tiếp xúc của phương tiện không dây, FL cũng
dễ bị ảnh hưởng bởi các vấn đề bảo mật liên lạc như Dis cống
Denial-of-Service (DoS) [206] và gây nhiễu khi chạm [207]. Đặc
biệt, đối với các cuộc tấn công gây nhiễu, kẻ tấn công có thể
truyền tín hiệu gây nhiễu tần số vô tuyến với công suất lớn để
làm gián đoạn hoặc gây nhiễu sóng truyền thông giữa thiết bị di
động và máy chủ. Một cuộc tấn công như vậy có thể gây ra lỗi
cho việc tải lên / tải xuống mô hình và do đó làm giảm hiệu
suất, tức là độ chính xác, của hệ thống FL. Các chương trình
chống nhiễu [208] chẳng hạn như nhảy tần, ví dụ, gửi thêm một
bản cập nhật mô hình qua các tần số khác nhau, có thể được áp
dụng để giải quyết vấn đề.
• FL không đồng bộ: Trong FL đồng bộ, mỗi vòng huấn luyện chỉ tiến
triển nhanh nhất khi thiết bị chậm nhất, tức là, hệ thống FL dễ
bị ảnh hưởng bởi hiệu ứng phân tầng. Do đó, FL không đồng bộ
đã được đề xuất như một giải pháp trong [119] và [140]. Ngoài
ra, FL không đồng bộ cũng cho phép học viên tham gia nửa khóa
đào tạo FL ngay cả khi một vòng đào tạo đang diễn ra. Điều này
phản ánh nhiều hơn các cài đặt FL thực tế và có thể là một yếu
tố góp phần quan trọng hướng tới việc đảm bảo khả năng mở rộng
của FL. Tuy nhiên, FL đồng bộ vẫn là cách tiếp cận phổ biến nhất
được sử dụng do đảm bảo hội tụ [82]. Với nhiều ưu điểm của FL
không đồng bộ, các thuật toán không đồng bộ mới nên được khám
phá. Đặc biệt, đối với các thuật toán được đề xuất trong tương
lai, cần phải xem xét đảm bảo cường độ hội tụ trong cài đặt
không phải IID cho các hàm mất mát không lồi. Một cách tiếp cận
được xem xét là khả năng đưa vào các nhân viên dự phòng sau
các nghiên cứu của [113].
• So sánh với các phương pháp học phân tán khác: Sau khi tăng
cường giám sát chặt chẽ về quyền riêng tư của dữ liệu, ngày
càng có nhiều nỗ lực trong việc phát triển quyền riêng tư mới
bảo vệ các thuật toán học phân tán. Một nghiên cứu đề xuất phân
tách học [209], cũng cho phép ML hợp tác mà không yêu cầu trao
đổi dữ liệu thô với máy chủ bên ngoài. Trong quá trình học tách
biệt, đầu tiên mỗi người tham gia đào tạo mạng nơ-ron lên đến
một lớp cắt. Sau đó, kết quả đầu ra từ đào tạo được truyền đến
một máy chủ bên ngoài để hoàn thành các lớp đào tạo khác. Sau
đó, các gradient kết quả được truyền ngược trở lại lớp cắt, và
cuối cùng được trả lại cho những người tham gia để hoàn thành
khóa đào tạo tại địa phương. Ngược lại, FL thường liên quan
đến việc truyền thông các tham số mô hình đầy đủ. Các tác giả
trong [210] tiến hành so sánh thực nghiệm giữa hiệu quả truyền
thông của phương pháp học tách biệt và FL. Kết quả mô phỏng
cho thấy rằng phân tách học hoạt động tốt khi kích thước mô
hình liên quan lớn hơn hoặc khi có nhiều người tham gia hơn,
vì những người tham gia không phải truyền trọng số đến một máy
chủ tổng hợp.
Tuy nhiên, FL dễ thực hiện hơn nhiều vì
Machine Translated by Google
người tham gia và máy chủ FL đang chạy cùng một mô hình toàn
cầu, tức là máy chủ FL chỉ chịu trách nhiệm tổng hợp và do đó
FL có thể làm việc với một trong những người tham gia đóng vai
trò là nút chính. Do đó, nhiều nỗ lực nghiên cứu hơn có thể
được hướng tới việc hướng dẫn các quản trị viên hệ thống đưa
ra quyết định sáng suốt về tình huống nào đảm bảo cho việc sử
dụng một trong hai phương pháp học tập.
• Các nghiên cứu sâu hơn về hội tụ học tập: Một trong những cân
nhắc thiết yếu của FL là tính hội tụ của thuật toán. FL tìm các
trọng số để giảm thiểu tổng hợp mô hình toàn cục. Đây thực sự
là một vấn đề tối ưu hóa phân tán và sự hội tụ không phải lúc
nào cũng được đảm bảo.
Phân tích và đánh giá lý thuyết về các giới hạn hội tụ của FL
dựa trên gradient xuống cho các hàm mất lồi và không lồi là
hướng nghiên cứu quan trọng. Trong khi các nghiên cứu hiện có
đã đề cập đến chủ đề này, nhiều bảo đảm chỉ giới hạn ở các hạn
chế, ví dụ như độ lồi của hàm mất mát.
• Sử dụng các công cụ để định lượng tính không đồng nhất thống
kê: Các thiết bị Mo mật thường tạo và thu thập dữ liệu theo
cách thức không phải IID trên toàn mạng. Hơn nữa, số lượng mẫu
dữ liệu giữa các thiết bị di động có thể khác nhau đáng kể. Để
cải thiện sự hội tụ của thuật toán FL, tính không đồng nhất
thống kê của dữ liệu cần phải được định lượng. Các công trình
gần đây, ví dụ, [211], đã phát triển các công cụ để định lượng
tính không đồng nhất thống kê thông qua các số liệu như sự khác
biệt cục bộ. Tuy nhiên, không thể dễ dàng tính được những số
liệu này qua mạng liên kết trước khi bắt đầu đào tạo. Tầm quan
trọng của các số liệu này thúc đẩy các hướng đi trong tương
lai như phát triển các thuật toán hiệu quả để nhanh chóng xác
định mức độ không đồng nhất trong các mạng liên kết. • Các
thuật toán kết hợp để giảm giao tiếp: Nói cách khác, có ba kỹ
thuật phổ biến để giảm lưu lượng giao tiếp trong FL như đã thảo
luận trong Phần III.
Điều quan trọng là phải nghiên cứu làm thế nào các kỹ thuật này
có thể được kết hợp với nhau để cải thiện hiệu suất hơn nữa.
Ví dụ, kỹ thuật nén mô hình có thể được kết hợp với FL hỗ trợ
của máy chủ biên. Sự kết hợp này có thể giảm đáng kể kích
thước của các bản cập nhật mô hình, cũng như các trường hợp
giao tiếp với máy chủ FL. Tuy nhiên, tính khả thi của bination
com này vẫn chưa được khám phá. Ngoài ra, sự cân bằng giữa độ
chính xác và chi phí truyền thông đối với kỹ thuật kết hợp cần
được đánh giá thêm. Đặc biệt, đối với các kết quả mô phỏng mà
chúng ta thảo luận trong Phần III, rất khó quản lý sự cân bằng
giữa độ chính xác-giảm chi phí truyền thông vì nó khác nhau đối
với các cài đặt khác nhau, ví dụ: phân phối dữ liệu, số lượng,
số lượng máy chủ biên và số lượng người tham gia. • ML đám
đông di động hợp tác: Trong các ứng dụng hiện có, thiết bị di
động cần giao tiếp trực tiếp với máy chủ và điều này có thể làm
tăng mức tiêu hao năng lượng. Trên thực tế, các thiết bị di động
ở gần có thể được nhóm thành một cụm và việc tải xuống / tải
lên mô hình giữa máy chủ và thiết bị di động có thể được hỗ
trợ bởi một “đầu cụm” đóng vai trò như một nút chuyển tiếp
[212].
Trao đổi mô hình giữa các thiết bị di động và
29
sau đó, đầu cụm có thể được thực hiện trong kết nối Thiết bị
với Thiết bị (D2D). Một mô hình như vậy có thể cải thiện hiệu
quả năng lượng đáng kể. Do đó, các sơ đồ điều phối hiệu quả
cho người đứng đầu cụm có thể được thiết kế để cải thiện hơn
nữa hiệu quả năng lượng của hệ thống FL. • Các ứng dụng của
FL: Với những ưu điểm của việc đảm bảo quyền riêng tư của dữ
liệu, FL ngày càng có vai trò quan trọng trong nhiều ứng dụng,
ví dụ như hệ thống chăm sóc sức khỏe, tài chính và vận tải.
Đối với hầu hết các nghiên cứu hiện tại về các ứng dụng FL,
trọng tâm chủ yếu nằm ở việc đào tạo liên kết mô hình học tập,
với các thách thức triển khai bị bỏ qua. Đối với các nghiên cứu
trong tương lai về các ứng dụng của FL, bên cạnh đó cần phải
xem xét các vấn đề đã nói ở trên trong
khảo sát, tức là chi phí liên lạc, phân bổ tài nguyên, quyền
riêng tư và bảo mật, cũng cần phải xem xét các vấn đề cụ thể
liên quan đến mô hình hệ thống mà FL sẽ được áp dụng. Ví dụ,
đối với việc trì hoãn các ứng dụng quan trọng, ví dụ: mạng
lưới xe cộ, sẽ tập trung nhiều hơn vào hiệu quả đào tạo và ít
hơn về năng lượng
chi phí.
VIII. PHẦN KẾT LUẬN
Bài báo này đã trình bày một hướng dẫn về FL và một khảo sát
chuyên sâu về các vấn đề liên quan đến việc thực hiện FL.
Đầu tiên, chúng tôi bắt đầu bằng phần giới thiệu về động lực cho MEC
và cách FL có thể đóng vai trò là một công nghệ hỗ trợ đào tạo mô
hình hợp tác tại các mạng cạnh di động. Sau đó, chúng tôi mô tả các
nguyên tắc cơ bản của đào tạo mô hình DNN, FL và thiết kế hệ thống
hướng tới FL trên quy mô lớn. Sau đó, chúng tôi cung cấp các đánh
giá, phân tích và so sánh chi tiết về các phương pháp tiếp cận đối
với các thách thức triển khai đang nổi lên trong FL. Các vấn đề bao
gồm chi phí truyền thông, phân bổ tài nguyên, quyền riêng tư của dữ
liệu và bảo mật dữ liệu. Hơn nữa, chúng tôi cũng thảo luận về việc
triển khai FL để tối ưu hóa mạng cạnh di động bảo vệ quyền riêng tư.
Cuối cùng, chúng tôi thảo luận về những thách thức và hướng nghiên cứu trong tương lai.
NGƯỜI GIỚI THIỆU
[1] KL Lueth, “State of the iot 2018: Số lượng thiết bị iot hiện ở mức 7 tỷ. Thị trường đang
tăng tốc”, IOT Analytics, 2018.
[2] R. Pryss, M. Reichert, J. Herrmann, B. Langguth và W. Schlee, “Cảm nhận đám đông di động
trong các thử nghiệm tâm lý và lâm sàng – một nghiên cứu điển hình” trong Hội nghị
chuyên đề quốc tế lần thứ 28 IEEE về Hệ thống y tế dựa trên máy tính . IEEE, 2015, trang
23–24.
[3] RK Ganti, F. Ye, và H. Lei, “Đánh giá cộng đồng trên thiết bị di động: tình trạng hiện
tại và những thách thức trong tương lai,” Tạp chí Truyền thông IEEE, tập. 49, không.
11, trang 32–39, 2011.
[4] Y. LeCun, Y. Bengio và G. Hinton, “Học sâu”, bản chất, tập. 521,
không. 7553, tr. 436 năm 2015.
[5] D. Oletic và V. Bilas, “Thiết kế nút cảm biến để cảm nhận chất lượng không khí đám
đông,” trong Hội nghị chuyên đề về ứng dụng cảm biến IEEE (SAS) năm 2015. IEEE, 2015,
trang 1–5.
[6] Y. Jing, B. Guo, Z. Wang, VO Li, JC Lam và Z. Yu, “Crowd tracker: Theo dõi đối tượng di
chuyển trong đô thị được tối ưu hóa bằng cách sử dụng cảm biến đám đông di động,” IEEE
Internet of Things Journal, vol. 5, không. 5, trang 3452–3463, năm 2017.
[7] H.-J. Hong, C.-L. Fan, Y.-C. Lin và C.-H. Hsu, “Tối ưu hóa video cộng đồng dựa trên đám
mây,” Tạp chí Internet of Things IEEE, vol. 3, không. 3, trang 299–313, 2016.
[8] W. He, G. Yan, và L. Da Xu, “Phát triển các dịch vụ đám mây dữ liệu xe cộ trong môi
trường iot,” Giao dịch IEEE về Tin học Công nghiệp, vol. 10, không. 2, trang 1587–1595,
2014.
[9] P. Li, J. Li, Z. Huang, T. Li, C.-Z. Gao, S.-M. Yiu và K. Chen, “Học sâu bảo vệ quyền
riêng tư đa khóa trong điện toán đám mây,” Hệ thống Máy tính Thế hệ Tương lai, vol.
74, trang 76–85, 2017.
Machine Translated by Google
[10] B. Custers, A. Sears, F. Dechesne, I. Georgieva, T. Tani và S. van der Hof, Bảo
vệ dữ liệu cá nhân của Liên minh Châu Âu trong Chính sách và Thực tiễn.
Springer, 2019.
[11] BM Gaff, HE Sussman và J. Geetter, “Quyền riêng tư và dữ liệu lớn”
Máy tính, vol. 47, không. 6, trang 7-9, 2014.
[12] Y. Mao, C. You, J. Zhang, K. Huang, và KB Letaief, “Khảo sát về điện toán biên
di động: Quan điểm giao tiếp,” IEEE Communications Survey & Tutorials, vol. 19,
không. 4, trang 2322–2358, 2017.
[13] G. Ananthanarayanan, P. Bahl, P. Bodík, K. Chintalapudi, M. Philipose, L.
Ravindranath và S. Sinha, “Phân tích video thời gian thực: Ứng dụng sát thủ cho
điện toán biên”, máy tính, vol . 50, không. 10, pp. 58–67, năm 2017.
[14] H. Li, K. Ota, và M. Dong, “Learning iot in edge: deep learning for the internet
of things with edge computing,” IEEE Network, vol. 32, không. 1, trang 96–101,
năm 2018.
[15] Y. Han, X. Wang, V. Leung, D. Niyato, X. Yan, và X. Chen, “Sự hội tụ của điện
toán biên và học sâu: Khảo sát toàn diện,” arXiv preprint arXiv: 1907.08349,
2019.
[16] Cisco, “Chỉ mục đám mây toàn cầu của Cisco: Dự báo và phương pháp luận, Sách
trắng 2016,2021.”
[17] W. Shi, J. Cao, Q. Zhang, Y. Li, và L. Xu, “Điện toán biên: Tầm nhìn và thách
thức,” IEEE Internet of Things Journal, vol. 3, không. 5, trang 637–646, 2016.
[18] X. Chen, L. Jiao, W. Li và X. Fu, “Giảm tải hiệu quả tính toán cho nhiều người
dùng cho điện toán đám mây cạnh di động,” Giao dịch IEEE / ACM trên mạng, vol.
24, không. 5, trang 2795–2808, 2015.
[19] P. Mach và Z. Becvar, “Điện toán biên di động: Khảo sát về kiến trúc lưu trữ
và giảm tải tính toán,” IEEE Communications Surveys & Tutorials, vol. 19, không.
3, trang 1628–1656, 2017.
[20] M. Abadi, A. Chu, I. Goodfellow, HB McMahan, I. Mironov, K. Talwar và L. Zhang,
“Học sâu với quyền riêng tư khác biệt”, trong Kỷ yếu của Hội nghị ACM SIGSAC
2016 về Máy tính và Bảo mật thông tin liên lạc. ACM, 2016, trang 308–318.
[21] HB McMahan, E. Moore, D. Ramage, và BA y Arcas, “Học liên kết các mạng sâu bằng
cách sử dụng trung bình mô hình,” 2016.
[22] F. Cicirelli, A. Guerrieri, G. Spezzano, A. Vinci, O. Briante, A. Iera và G.
Ruggeri, “Điện toán biên và mạng xã hội vạn vật để phát triển môi trường thông
minh quy mô lớn,” IEEE Tạp chí Internet of Things, tập. 5, không. 4, trang 2557–
2571, 2017.
[23] HB McMahan, E. Moore, D. Ramage, S. Hampson và cộng sự, “Học tập hiệu quả về
giao tiếp của các mạng sâu từ dữ liệu được đánh giá phi tập trung”, arXiv
preprint arXiv: 1602.05629, 2016.
[24] A. Hard, K. Rao, R. Mathews, F. Beaufays, S. Augenstein, H. Eichner, C. Kiddon
và D. Ramage, “Học liên kết để dự đoán bàn phím di động,” arXiv preprint arXiv:
1811.03604 , 2018.
[25] TS Brisimi, R. Chen, T. Mela, A. Olshevsky, IC Paschalidis, và W. Shi, “Học tập
liên kết các mô hình dự đoán từ hồ sơ sức khỏe điện tử liên hợp,” Tạp chí quốc
tế về tin học y tế, tập. 112, trang 59–67, 2018.
[26] K. Powell, “Nvidia clara đã liên kết học cách bổ sung gan mật cho các bệnh viện
trong khi bảo vệ dữ liệu bệnh nhân,” https://blogs.nvidia.com/blog/2019/12/01/
clara-federated-
learning/, 2019 .
[27] D. Verma, S. Julier và G. Cirincione, “Liên kết ai để xây dựng các giải pháp ai
trên nhiều cơ quan”, arXiv preprint arXiv: 1809.10036, 2018.
[28] O. Simeone, “Giới thiệu rất ngắn gọn về học máy với các cation ứng dụng vào các
hệ thống truyền thông,” Giao dịch IEEE trên Mạng và Truyền thông Nhận thức,
vol. 4, không. 4, trang 648–664, 2018.
[29] C. Zhang, P. Patras và H. Haddadi, “Học sâu trong mạng di động và không dây: Một
cuộc khảo sát,” IEEE Communications Surveys & Tutorials, 2019.
[30] NC Luong, DT Hoang, S. Gong, D. Niyato, P. Wang, Y.-C.
Liang và DI Kim, “Các ứng dụng của phương pháp học tăng cường sâu trong truyền
thông và mạng: Một cuộc khảo sát”, Hướng dẫn & Khảo sát Truyền thông IEEE, 2019.
[31] K. Hamidouche, ATZ Kasgari, W. Saad, M. Bennis và M. Debbah, “Trí tuệ nhân tạo
cộng tác (ai) để liên kết tế bào người dùng trong các hệ thống di động siêu
dày đặc,” trong Hội nghị truyền thông quốc tế IEEE 2018 Hội thảo (ICC Works
Workshop). IEEE, 2018, trang 1–6.
[32] X. Wang, Y. Han, C. Wang, Q. Zhao, X. Chen, và M. Chen, “In-edge ai: Thông minh
hóa tính toán biên di động, bộ nhớ đệm và giao tiếp bằng cách học liên hợp”,
arXiv preprint arXiv : 1809.07857, năm 2018.
[33] S. Samarakoon, M. Bennis, W. Saady và M. Debbah, “Học tập liên kết phân tán cho
các kênh truyền thông xe cộ có độ trễ thấp cực kỳ đáng tin cậy”, arXiv preprint
arXiv: 1807.08127, 2018.
30
[34] Q. Yang, Y. Liu, T. Chen, và Y. Tong, “Học máy liên kết: Khái niệm và ứng dụng,”
Giao dịch ACM trên Hệ thống và Công nghệ Thông minh (TIST), vol. 10, không. 2,
tr. 12, 2019.
[35] S. Niknam, HS Dhillon và JH Reed, “Học tập liên kết cho truyền thông không dây:
Động lực, cơ hội và thách thức,” arXiv preprint arXiv: 1908.06847, 2019.
[36] T. Li, AK Sahu, A. Talwalkar và V. Smith, “Học liên kết: Những thách thức,
phương pháp và hướng đi trong tương lai,” arXiv preprint arXiv: 1908.07873,
2019.
[37] Z. Zhou, X. Chen, E. Li, L. Zeng, K. Luo và J. Zhang, “Trí tuệ cạnh: Mở đường
cho trí tuệ nhân tạo cuối cùng với điện toán biên”, arXiv preprint arXiv:
1905.10083, Năm 2019.
[38] L. Cui, S. Yang, F. Chen, Z. Ming, N. Lu, và J. Qin, “Một cuộc khảo sát về ứng
dụng của máy học cho internet vạn vật,” Tạp chí Quốc tế về Máy học và Điều
khiển học, vol. 9, không. 8, trang 1399–1417, 2018.
[39] K. Kumar, J. Liu, Y.-H. Lu, và B. Bhargava, “Khảo sát về giảm tải tính toán cho
các hệ thống di động,” Mạng Di động và Ứng dụng, vol. 18, không. 1, trang 129–
140, 2013.
[40] N. Abbas, Y. Zhang, A. Taherkordi, và T. Skeie, “Điện toán biên di động: Một
cuộc khảo sát,” IEEE Internet of Things Journal, vol. 5, không. 1, trang 450–
465, năm 2017.
[41] S. Wang, X. Zhang, Y. Zhang, L. Wang, J. Yang, và W. Wang, “Khảo sát về mạng
cạnh di động: Sự hội tụ của máy tính, bộ nhớ đệm và truyền thông,” IEEE Access,
vol. 5, trang 6757–6779, năm 2017.
[42] J. Yao, T. Han và N. Ansari, “Về bộ nhớ đệm cạnh trên thiết bị di động,” IEEE
Communications Survey & Tutorials, vol. 21, không. 3, trang 2525–2553, 2019.
[43] C. Dong, CC Loy, K. He, và X. Tang, “Tìm hiểu một mạng màu sắc bìm bìm sâu cho
hình ảnh siêu phân giải,” trong hội nghị Châu Âu về thị giác máy tính. Springer,
2014, trang 184–199.
[44] J. Schmidhuber, “Học sâu trong mạng nơ-ron: Tổng quan,”
Mạng nơ-ron, vol. 61, trang 85–117, 2015.
[45] X.-W. Chen và X. Lin, “Học sâu dữ liệu lớn: thách thức và quan điểm”, IEEE
access, vol. 2, trang 514–525, 2014.
[46] G. Trigeorgis, F. Ringeval, R. Brueckner, E. Marchi, MA Nicolaou, B. Schuller,
và S. Zafeiriou, “Đặc điểm của Adieu? nhận dạng cảm xúc giọng nói từ đầu đến
cuối bằng cách sử dụng mạng lặp lại phức hợp sâu ”, trong hội nghị quốc tế IEEE
2016 về xử lý âm thanh, giọng nói và tín hiệu (ICASSP). IEEE, 2016, trang 5200–
5204.
[47] V. Sze, Y.-H. Chen, T.-J. Yang và JS Emer, “Xử lý hiệu quả mạng nơ ron sâu:
Hướng dẫn và khảo sát,” Kỷ yếu của IEEE, tập. 105, không. 12, trang 2295–2329,
2017.
[48] R. Hecht-Nielsen, “Lý thuyết về mạng nơ-ron lan truyền ngược,” trong
Mạng lưới thần kinh cho nhận thức. Elsevier, 1992, trang 65–93.
[49] F. Agostinelli, M. Hoffman, P. Sadowski và P. Baldi, “Học các chức năng kích
hoạt để cải thiện mạng nơ-ron sâu”, arXiv preprint arXiv: 1412.6830, 2014.
[50] H. Xiao, K. Rasul và R. Vollgraf, “Fashion-mnist: một tập dữ liệu hình ảnh mới
cho các thuật toán máy học điểm chuẩn,” arXiv preprint arXiv: 1708.07747, 2017.
[51] G. Hinton, N. Srivastava và K. Swersky, “Mạng nơ-ron cho bài giảng học máy 6a
tổng quan về giảm độ dốc theo lô nhỏ,”
Trích dẫn trên, vol. 14, tr. 8 năm 2012.
[52] XJ Zhu, “Khảo sát tài liệu học tập bán giám sát,” Khoa Khoa học Máy tính của Đại
học Wisconsin-Madison, Công nghệ. Rep., 2005.
[53] A. Radford, L. Metz, và S. Chintala, “Học biểu diễn không giám sát với mạng đối
phương tổng hợp tích lũy sâu,” arXiv preprint arXiv: 1511.06434, 2015.
[54] V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, và M.
Riedmiller, “Chơi atari với học tăng cường sâu”, arXiv preprint arXiv:
1312.5602, 2013.
[55] H. Bourlard và Y. Kamp, “Tự động liên kết bởi các perceptron nhiều lớp và phân
hủy giá trị kỳ dị,” Điều khiển học sinh học, quyển. 59, không. 4-5, trang 291–
294, 1988.
[56] A. Krizhevsky, I. Sutskever và GE Hinton, “Phân loại mạng hình ảnh với mạng nơ-
ron phức hợp sâu,” trong Những tiến bộ trong hệ thống xử lý thông tin thần
kinh, 2012, trang 1097–1105. ˇ `
[57] T. Mikolov, M. Karafiát, L. Burget, J. Cernock y, và S. Khudanpur, “Mô hình ngôn
ngữ dựa trên mạng nơ-ron lặp lại,” trong hội nghị thường niên lần thứ 11 của
hiệp hội giao tiếp ngôn ngữ quốc tế, năm 2010.
[58] Q. Zhang, LT Yang, Z. Chen, và P. Li, “Một cuộc khảo sát về học sâu cho dữ liệu
lớn,” Information Fusion, vol. 42, trang 146–157, 2018.
Machine Translated by Google
[59] K. Arulkumaran, MP Deisenroth, M. Brundage, và AA Bharath, “Khảo sát ngắn gọn
về học tăng cường sâu”, arXiv preprint arXiv: 1708.05866, 2017.
[60] J. Han, D. Zhang, G. Cheng, N. Liu và D. Xu, “Các kỹ thuật học sâu nâng cao
để phát hiện đối tượng cụ thể và nổi bật: một cuộc khảo sát,” Tạp chí Xử lý
Tín hiệu IEEE, vol. 35, không. 1, trang 84–100, 2018.
[61] B. Zhao, J. Feng, X. Wu và S. Yan, “Một cuộc khảo sát về phân loại đối tượng
chi tiết dựa trên học sâu và phân đoạn ngữ nghĩa,”
Tạp chí Quốc tế về Tự động hóa và Máy tính, tập. 14, không. 2, trang 119–135,
năm 2017.
[62] J. Wang, Y. Chen, S. Hao, X. Peng, và L. Hu, “Học sâu để nhận dạng hoạt động
dựa trên cảm biến: Một cuộc khảo sát,” Các Chữ cái Nhận dạng Mẫu, tập. 119,
trang 3-11, 2019.
[63] K. Arulkumaran, MP Deisenroth, M. Brundage, và AA Bharath, “Học tập củng cố
sâu: Một cuộc khảo sát ngắn,” Tạp chí Xử lý Tín hiệu IEEE, tập. 34, không. 6,
trang 26–38, 2017.
[64] J. Kang, Z. Xiong, D. Niyato, S. Xie và J. Zhang, “Khuyến khích chủ nghĩa mech
cho việc học liên kết đáng tin cậy: Một cách tiếp cận tối ưu hóa chung để kết
hợp danh tiếng và lý thuyết hợp đồng,” 09 2019.
[65] CJ Burges, “Hướng dẫn về máy vectơ hỗ trợ để nhận dạng mẫu”, Khai thác dữ
liệu và khám phá kiến thức, vol. 2, không. 2, trang 121–167, 1998.
[66] RH Myers và RH Myers, Hồi quy cổ điển và hiện đại với các ứng dụng. Duxbury
báo chí Belmont, CA, 1990, tập. 2.
[67] S. Wang, T. Tuor, T. Salonidis, KK Leung, C. Makaya, T. He và K. Chan, “Học
tập liên kết thích ứng trong các hệ thống máy tính biên hạn chế tài nguyên,”
Tạp chí IEEE về các khu vực được chọn ở Communica tions, 2019.
[68] T. Lin, SU Stich, KK Patel và M. Jaggi, “Đừng sử dụng các lô nhỏ lớn, hãy sử
dụng sgd cục bộ,” arXiv preprint arXiv: 1808.07217, 2018.
[69] Y. Zhao, M. Li, L. Lai, N. Suda, D. Civin, và V. Chandra, “Học liên tục với dữ
liệu không phải iid,” arXiv preprint arXiv: 1806.00582, 2018.
[70] A. Krizhevsky, G. Hinton và cộng sự, “Học nhiều lớp đặc điểm từ những hình ảnh
nhỏ,” Citeseer, Tech. Rep., 2009.
[71] Y. Rubner, C. Tomasi, và LJ Guibas, “Khoảng cách của máy di chuyển trái đất
như một thước đo để truy xuất hình ảnh,” Tạp chí quốc tế về thị giác máy
tính, tập. 40, không. 2, trang 99–121, 2000.
[72] M. Duan, “Astraea: Học liên hợp tự cân bằng để cải thiện độ chính xác phân loại
của các ứng dụng học sâu dành cho thiết bị di động,” arXiv preprint arXiv:
1907.01132, 2019.
[73] SC Wong, A. Gatt, V. Stamatescu, và MD McDonnell, "Đang tăng cường dữ liệu
thường trực để phân loại: khi nào thì cong?" trong hội nghị quốc tế năm 2016
về điện toán ảnh kỹ thuật số: kỹ thuật và ứng dụng (DICTA). IEEE, 2016, trang
1–6.
[74] JM Joyce, “Sự phân kỳ Kullback-leibler,” bách khoa toàn thư quốc tế về khoa
học thống kê, trang 720–722, 2011.
[75] M. Jaggi, V. Smith, M. Takác, J. Terhorst, S. Krishnan, T. Hofmann và MI
Jordan, “Đi lên tọa độ kép phân tán hiệu quả trong giao tiếp,” trong Những
tiến bộ trong hệ thống xử lý thông tin thần kinh, 2014 , trang 3068–3076.
[76] V. Smith, C.-K. Chiang, M. Sanjabi, và AS Talwalkar, “Học tập đa tác vụ liên
kết,” trong Những tiến bộ trong Hệ thống Xử lý Thông tin Thần kinh, 2017,
trang 4424–4434.
[77] JC Bezdek và RJ Hathaway, “Sự hội tụ của tối ưu hóa luân phiên,” Neural,
Parallel & Scientific Computations, vol. 11, không. 4, trang 351–368, 2003.
[78] MG Arivazhagan, V. Aggarwal, AK Singh và S. Choud hary, “Học liên kết với các
lớp cá nhân hóa”, arXiv preprint arXiv: 1912.00818, 2019.
[79] J. Ren, X. Shen, Z. Lin, R. Mech, và DJ Foran, “Thẩm mỹ hình ảnh được cá nhân
hóa”, trong Kỷ yếu của Hội nghị Quốc tế IEEE về Thị giác Máy tính, 2017, trang
638–647.
[80] X. Li, K. Huang, W. Yang, S. Wang và Z. Zhang, “Về sự hội tụ của fedavg trên
dữ liệu không phải iid,” arXiv preprint arXiv: 1907.02189, 2019.
[81] L. Huang, Y. Yin, Z. Fu, S. Zhang, H. Deng và D. Liu, “Loadaboost: Học máy
liên kết adaboost dựa trên mất mát trên dữ liệu y tế,” arXiv preprint arXiv:
1811.12629, 2018 .
[82] K. Bonawitz, H. Eichner, W. Grieskamp, D. Huba, A. Ingerman, V. Ivanov, C.
Kiddon, J. Konecny, S. Mazzocchi, HB McMahan và cộng sự, “Hướng tới việc học
liên kết tại quy mô: Thiết kế hệ thống, ”arXiv preprint arXiv: 1902.01046,
2019.
[83] T. Nishio và R. Yonetani, “Lựa chọn ứng dụng khách để học liên kết với các
tài nguyên không đồng nhất trong cạnh di động,” arXiv preprint arXiv:
1804.08333, 2018.
31
[84] K. Bonawitz, V. Ivanov, B. Kreuter, A. Marcedone, HB McMahan, S. Patel, D.
Ramage, A. Segal, và K. Seth, “Tổng hợp bảo mật thực tế cho máy học bảo vệ
quyền riêng tư , ”Trong Kỷ yếu của Hội nghị ACM SIGSAC 2017 về Bảo mật Máy
tính và Truyền thông. ACM, 2017, trang 1175–1191.
[85] J. Bloemer, “Cách chia sẻ bí mật,” Communications of the Acm,
vol. 22, không. 22, tr. 612–613, năm 2011.
[86] HB Mcmahan, D. Ramage, K. Talwar và L. Zhang, “Học các mô hình ngôn ngữ lặp
lại riêng tư theo cấp số nhân”, hội nghị quốc tế về đại diện học tập, 2018.
[87] Google, “Tensorflow liên kết: Máy học về phi tập trung
dữ liệu."
[88] T. Ryffel, A. Trask, M. Dahl, B. Wagner, J. Mancuso, D. Rueckert, và J. Passerat-
Palmbach, “Một khuôn khổ chung để bảo vệ quyền riêng tư cho việc học sâu”,
arXiv preprint arXiv: 1811.04017 , 2018.
`
[89] S. Caldas, P. Wu, T. Li, J. Konecnˇ y, HB McMahan, V. Smith, và A. Talwalkar,
“Lá: Điểm chuẩn cho cài đặt liên kết”, arXiv preprint arXiv: 1812.01097, 2018.
[90] Y. LeCun, C. Cortes và C. Burges, “Cơ sở dữ liệu chữ số viết tay của Mnist,”
AT&T Labs [Trực tuyến]. Có sẵn: http: // yann. lecun. com / exdb / mnist, tập.
2, tr. Ngày 18 năm 2010.
[91] A. Go, R. Bhayani và L. Huang, “Sentiment140,” Chức năng của Trang, 2013c. URL
http: // trợ giúp. tình cảm 140. com / site-chức năng. Abruf am, tập. Ngày 20
năm 2016.
[92] WeBank, "Fate: Một khung học tập liên hợp cấp công nghiệp." https: //
fate.fedai.org,2018.
`
[93] J. Konecnˇ y, HB McMahan, D. Ramage và P. Richtárik, “Tối ưu hóa liên kết: Học
máy phân tán cho trí thông minh trên thiết bị,” arXiv preprint arXiv:
1610.02527, 2016.
`
[94] J. Konecnˇ y, HB McMahan, FX Yu, P. Richtárik, AT Suresh và D. Bacon, “Học tập
liên kết: Các chiến lược để cải thiện hiệu quả truyền thông,” arXiv preprint
arXiv: 1610.05492, 2016.
[95] K. He, X. Zhang, S. Ren, và J. Sun, “Học sâu còn sót lại để nhận dạng hình
ảnh,” trong Kỷ yếu của hội nghị IEEE về thị giác máy tính và nhận dạng mẫu,
2016, trang 770–778.
[96] L. Wang, W. Wang, và B. Li, “Cmfl: Giảm thiểu chi phí giao tiếp cho việc học
liên kết.”
[97] H. Wang, S. Sievert, S. Liu, Z. Charles, D. Papailiopoulos và S. Wright,
“Atomo: Học hiệu quả trong giao tiếp thông qua phân loại spar nguyên tử,”
trong Những tiến bộ trong Hệ thống Xử lý Thông tin Thần kinh, 2018 , trang
9850–9861.
[98] SU Stich, J.-B. Cordonnier và M. Jaggi, “Sgd được phân biệt với bộ nhớ,” trong
Những tiến bộ trong hệ thống xử lý thông tin thần kinh, 2018, trang 4447–4458.
ˇ
[99] S. Caldas, J. Konecny, HB McMahan và A. Talwalkar, “Mở rộng phạm vi tiếp cận
của việc học liên kết bằng cách giảm yêu cầu tài nguyên khách hàng,” arXiv
preprint arXiv: 1812.07210, 2018.
[100] Z. Tao và Q. Li, “esgd: Giao tiếp hiệu quả phân phối học tập sâu bên cạnh,”
trong {USENIX} Hội thảo về các chủ đề hấp dẫn trong Edge Computing (HotEdge
18), 2018.
[101] S. Hochreiter và J. Schmidhuber, “Trí nhớ ngắn hạn dài”, Tính toán thần kinh,
tập. 9, không. 8, trang 1735–1780, 1997.
[102] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, và R. Salakhut dinov,
“Bỏ học: một cách đơn giản để ngăn các mạng nơ-ron không bị quá tải,” Tạp
chí nghiên cứu máy học, tập. 15, không. 1, trang 1929–1958, 2014.
[103] Y. Liu, Y. Kang, X. Zhang, L. Li, Y. Cheng, T. Chen, M. Hong và Q. Yang, “Một
khung học tập liên kết dọc hiệu quả về giao tiếp,” arXiv preprint arXiv:
1912.11187, 2019.
[104] X. Yao, C. Huang, và L. Sun, “Học tập liên kết hai luồng: Giảm chi phí truyền
thông” vào năm 2018 IEEE Visual Communications and Image Processing (VCIP).
IEEE, 2018, trang 1–4.
[105] L. Liu, J. Zhang, S. Song và KB Letaief, “Học tập liên kết phân cấp có sự hỗ
trợ của cạnh với dữ liệu không phải iid,” arXiv preprint arXiv: 1905.06641,
2019.
[106] M. Long, Y. Cao, J. Wang, và MI Jordan, “Học các tính năng có thể chuyển giao
với mạng thích ứng sâu,” trong Kỷ yếu của Hội nghị Quốc tế lần thứ 32 về Hội
nghị Quốc tế về Học máy-Tập 37. JMLR. org, 2015, trang 97–105.
[107] M. Long, J. Wang, G. Ding, J. Sun, và PS Yu, “Học tập tính năng chuyển giao với
sự thích ứng phân phối chung,” trong Kỷ yếu của hội nghị quốc tế IEEE về thị
giác máy tính, 2013, trang 2200– 2207.
[108] S. Han, H. Mao, và WJ Dally, “Nén sâu: Nén mạng nơ-ron sâu với việc cắt tỉa,
lượng tử hóa được đào tạo và mã hóa huffman,” arXiv preprint arXiv:
1510.00149, 2015.
Machine Translated by Google
[109] AT Suresh, FX Yu, S. Kumar, và HB McMahan, “Ước tính trung bình phân tán với
giao tiếp hạn chế,” trong Kỷ yếu của Hội nghị Quốc tế lần thứ 34 về Học máy-
Tập 70.
JMLR. org, 2017, trang 3329–3337.
[110] BS Kashin, “Đường kính của một số bộ và lớp hữu hạn chiều của hàm trơn,”
Izvestiya Rossiiskoi Akademii Nauk. Seriya Matematicheskaya, tập. 41, không.
2, pp. 334-351, 1977.
[111] G. Cohen, S. Afshar, J. Tapson và A. van Schaik, “Emnist: a exten sion of
mnist to write hand letter,” arXiv preprint arXiv: 1702.05373, 2017.
[112] N. Strom, “Đào tạo dnn phân tán có thể mở rộng bằng cách sử dụng điện toán đám
mây gpu hàng hóa,” trong Hội nghị thường niên lần thứ mười sáu của Hiệp hội
Truyền thông Ngôn ngữ Quốc tế, 2015.
[113] J. Chen, X. Pan, R. Monga, S. Bengio và R. Jozefowicz, “Xem lại sgd đồng bộ
phân tán,” arXiv preprint arXiv: 1604.00981, 2016.
[114] Y. Lin, S. Han, H. Mao, Y. Wang, và WJ Dally, “Nén gradient sâu: Giảm băng
thông truyền thông cho đào tạo phân tán,” arXiv preprint arXiv: 1712.01887,
2017.
[115] K. Hsieh, A. Harlap, N. Vijaykumar, D. Konomis, GR Ganger, PB Gibbons và O.
Mutlu, “Gaia: Máy học phân tán theo địa lý đạt đến tốc độ {LAN},” trong
{USENIX} thứ 14 Hội nghị chuyên đề về Thiết kế và Triển khai Hệ thống Hoạt
động ròng ({NSDI} 17), 2017, trang 629–647.
[116] D. Anguita, A. Ghio, L. Oneto, X. Parra, và JL Reyes-Ortiz, “Tập dữ liệu miền
pub lic để nhận dạng hoạt động của con người bằng điện thoại thông minh.” ở
Esann, 2013.
[117] M. Buscema và S. Terzi, “Bộ dữ liệu chữ số viết tay Semeion,” Trung tâm Máy học
và Hệ thống Thông minh, California, Hoa Kỳ, 2009.
[118] Z. Yang, M. Chen, W. Saad, CS Hong, và M. Shikh-Bahaei, “Học tập liên hợp hiệu
quả năng lượng qua mạng truyền thông không dây,” arXiv preprint arXiv:
1911.02417, 2019.
[119] MR Sprague, A. Jalalirad, M. Scavuzzo, C. Capota, M. Neun, L. Do và M. Kopp,
“Học liên kết không đồng bộ cho các ứng dụng không gian địa lý,” trong Hội
nghị chung Châu Âu về Học máy và Khám phá tri thức trong Cơ sở dữ liệu.
Springer, 2018, trang 21–28.
[120] MI Jordan, JD Lee và Y. Yang, “Suy luận thống kê phân tán hiệu quả trong giao
tiếp,” Tạp chí của Hiệp hội Thống kê Hoa Kỳ, tập. 114, không. 526, trang 668–
681, 2019.
[121] M. Sviridenko, “Một lưu ý về việc tối đa hóa một hàm tập hợp mô-đun phụ tuân
theo một ràng buộc về gói dữ liệu,” Operations Research Letters, vol. 32,
không. 1, trang 41–43, 2004.
[122] M. Mohri, G. Sivek, và AT Suresh, “Học liên kết bất khả tri,”
arXiv bản in trước arXiv: 1902.00146, 2019.
[123] N. Yoshida, T. Nishio, M. Morikura, K. Yamamoto và R. Yonetani, “Hybrid-fl: Cơ
chế học tập hợp tác sử dụng dữ liệu non-iid trong mạng không dây,” arXiv
preprint arXiv: 1905.07210, 2019.
[124] TT Anh, NC Luong, D. Niyato, DI Kim, and L.-C. Wang, “Quản lý đào tạo hiệu quả
Effi cho máy học đám đông trên thiết bị di động: Một phương pháp học tập
củng cố sâu,” arXiv preprint arXiv: 1812.03633,
2018.
[125] H. Van Hasselt, A. Guez và D. Silver, “Học tăng cường sâu với q-learning kép,”
trong hội nghị AAAI lần thứ ba về trí tuệ nhân tạo, 2016.
[126] HT Nguyen, NC Luong, J. Zhao, C. Yuen, và D. Niyato, “Phân bổ tài nguyên trong
mạng học liên hợp nhận thức về tính di động: Phương pháp học tập củng cố
sâu,” arXiv preprint arXiv: 1910.09172, 2019.
[127] MJ Neely, E. Modiano, và C.-P. Li, “Công bằng và kiểm soát ngẫu nhiên tối ưu
cho các mạng không đồng nhất,” Giao dịch IEEE / ACM trên mạng, vol. 16, không.
2, trang 396–409, 2008.
[128] M. Feldman, “Tính công bằng: Ngăn chặn việc học bằng máy móc
phân biệt đối xử, ”năm 2015.
[129] T. Li, M. Sanjabi và V. Smith, “Phân bổ tài nguyên hợp lý trong học tập liên
kết,” arXiv preprint arXiv: 1905.10497, 2019.
[130] M. Chen, HV Poor, W. Saad và S. Cui, “Tối ưu hóa thời gian hội tụ cho việc học
liên kết qua mạng không dây,” arXiv preprint arXiv: 2001.07845, 2020.
[131] D. López-Pérez, A. Valcarce, G. De La Roche, và J. Zhang, “Ofdma femtocell: Lộ
trình tránh nhiễu,” Tạp chí Truyền thông IEEE, tập. 47, không. 9, tr. 41–48,
2009.
[132] G. Zhu, Y. Wang và K. Huang, “Tập hợp tương tự băng thông rộng có độ trễ thấp
cho việc học cạnh liên kết”, arXiv preprint arXiv: 1812.11494, 2018.
[133] B. Nazer và M. Gastpar, “Compute-and-forward: Khai thác sự khác biệt giữa các
mã có cấu trúc,” Giao dịch IEEE về Lý thuyết Thông tin, tập. 57, không. 10,
trang 6463–6486, 2011.
32
[134] MM Amiri và D. Gunduz, “Học liên tục qua các kênh làm mờ không dây”, arXiv
preprint arXiv: 1907.09769, 2019.
[135] K. Yang, T. Jiang, Y. Shi, và Z. Ding, “Học liên tục thông qua tính toán qua
không khí,” arXiv preprint arXiv: 1812.11750, 2018.
[136] NS Keskar, D. Mudigere, J. Nocedal, M. Smelyanskiy, và PTP
Tang, “Về đào tạo hàng loạt lớn cho học sâu: Khoảng cách tổng quát và cực
tiểu sắc nét,” arXiv preprint arXiv: 1609.04836, 2016.
[137] S. Boyd và L. Vandenberghe, Tối ưu hóa lồi. Báo chí đại học Cambridge, 2004.
[138] PD Tao và cộng sự, “Lập trình dc (sự khác biệt của các hàm lồi) và dca đã xem
xét lại các mô hình dc của các bài toán tối ưu hóa không lồi trong thế giới
thực,” Biên niên sử về nghiên cứu hoạt động, tập. 133, không. 1-4, trang 23–
46, 2005.
[139] Z.-Q. Luo, ND Sidiropoulos, P. Tseng và S. Zhang, “Giới hạn gần đúng cho tối
ưu hóa bậc hai với các ràng buộc bậc hai thuần nhất,” Tạp chí SIAM về tối ưu
hóa, tập. 18, không. 1, trang 1–28, 2007.
[140] C. Xie, S. Koyejo và I. Gupta, “Tối ưu hóa liên kết không đồng bộ”, arXiv
preprint arXiv: 1903.03934, 2019.
[141] S. Feng, D. Niyato, P. Wang, DI Kim, và Y.-C. Liang, “Định giá dịch vụ chung
và liên lạc hợp tác chuyển tiếp để học tập liên kết,” arXiv preprint arXiv:
1811.12082, 2018.
[142] MJ Osborne và cộng sự, phần giới thiệu về lý thuyết trò chơi. Đại học Oxford
báo chí New York, 2004, vol. 3, không. 3.
[143] Y. Sarikaya và O. Ercetin, “Tạo động lực cho người lao động trong học tập liên
kết: Góc nhìn về trò chơi stackelberg,” arXiv preprint arXiv: 1908.03092,
2019.
[144] LU Khan, NH Tran, SR Pandey, W. Saad, Z. Han, MN Nguyen, and CS Hong, “Liên
kết học cho các mạng biên: Cơ chế khuyến khích và tối ưu hóa tài nguyên,”
arXiv preprint arXiv: 1911.05642,
Năm 2019.
[145] Y. Zhan, P. Li, Z. Qu, D. Zeng, và S. Guo, “Một cơ chế khuyến khích dựa trên
học tập cho việc học liên kết,” IEEE Internet of Things Journal, 2020.
[146] J. Kang, Z. Xiong, D. Niyato, H. Yu, Y.-C. Liang và DI Kim, “Thiết kế khuyến
khích cho việc học liên hợp hiệu quả trong mạng di động: Phương pháp tiếp
cận lý thuyết hợp đồng,” arXiv preprint arXiv: 1905.07479, 2019.
[147] P. Bolton, M. Dewatripont và cộng sự, Lý thuyết hợp đồng. Báo chí MIT, 2005.
[148] D. Ye, R. Yu, M. Pan, và Z. Han, “Học liên kết trong tính toán cạnh xe cộ:
Phương pháp tiếp cận tổng hợp mô hình có chọn lọc,” IEEE Access, 2020.
[149] R. Jurca và B. Faltings, “Một cơ chế uy tín tương thích khuyến khích,” trong
Hội nghị Quốc tế EEE về Thương mại Điện tử, 2003. CEC 2003. IEEE, 2003,
trang 285–292.
[150] R. Dennis và G. Owen, “Đại diện cho khối: Hệ thống danh tiếng thế hệ tiếp theo
dựa trên blockchain,” trong Hội nghị quốc tế lần thứ 10 về Công nghệ Internet
và Giao dịch Bảo đảm (ICITST) năm 2015. IEEE, 2015, trang 131–138.
[151] H. Yu, Z. Liu, Y. Liu, T. Chen, M. Cong, X. Weng, D. Niyato, và Q. Yang, “Một
chương trình khuyến khích nhận thức công bằng cho việc học liên kết,”
AIES 20: Kỷ yếu của Hội nghị AAAI / ACM về AI, Đạo đức và Xã hội, năm 2020.
[152] L. Melis, C. Song, E. De Cristofaro và V. Shmatikov, “Khai thác rò rỉ tính năng
ngoài ý muốn trong học tập cộng tác.” IEEE, 2019.
[153] H.-W. Ng và S. Winkler, “Phương pháp tiếp cận theo hướng dữ liệu để làm sạch
bộ dữ liệu khuôn mặt lớn,” trong Hội nghị Quốc tế IEEE về Xử lý Hình ảnh
(ICIP) năm 2014. IEEE, 2014, trang 343–347.
[154] G. Ateniese, LV Mancini, A. Spognardi, A. Villani, D. Vitali và G. Felici,
“Đánh cắp các máy thông minh với những máy thông minh hơn: Cách lấy dữ liệu
có ý nghĩa từ các bộ phân loại học máy,” International Journal of An ninh,
tập. 10, không. 3, trang 137–150, 2015.
[155] M. Fredrikson, S. Jha và T. Ristenpart, “Các cuộc tấn công đảo ngược mô hình
khai thác thông tin về độ tin cậy và các biện pháp đối phó cơ bản,” trong Kỷ
yếu của Hội nghị ACM SIGSAC lần thứ 22 về Bảo mật Máy tính và Truyền thông.
ACM, 2015, trang 1322–1333.
[156] F. Tramèr, F. Zhang, A. Juels, MK Reiter và T. Ristenpart, “Đánh cắp mô hình
học máy thông qua apis dự đoán,” trong ngày 25 {USENIX}
Hội nghị chuyên đề về bảo mật ({USENIX} Security 16), 2016, trang 601–618.
[157] R. Shokri, M. Stronati, C. Song và V. Shmatikov, “Các cuộc tấn công suy luận
của thành viên chống lại các mô hình học máy” trong Hội nghị chuyên đề IEEE
về Bảo mật và Quyền riêng tư (SP) năm 2017. IEEE, 2017, trang 3–18.
[158] N. Papernot, P. McDaniel và I. Goodfellow, “Khả năng chuyển giao trong học ma
chine: từ hiện tượng đến tấn công hộp đen bằng cách sử dụng các mẫu đối
nghịch,” arXiv preprint arXiv: 1605.07277, 2016.
[159] P. Laskov và cộng sự, “Thực tế trốn tránh bộ phân loại dựa trên học tập: Một nghiên
cứu điển hình,” trong hội nghị chuyên đề IEEE năm 2014 về bảo mật và quyền riêng tư.
IEEE, 2014, trang 197–211.
Machine Translated by Google
[160] C. Dwork, F. McSherry, K. Nissim và A. Smith, “Hiệu chỉnh nhiễu thành độ nhạy trong
phân tích dữ liệu cá nhân,” trong hội nghị Lý thuyết về mật mã. Springer, 2006,
trang 265–284.
[161] RC Geyer, T. Klein và M. Nabi, “Học tập liên kết riêng tư khác biệt: Quan điểm cấp
độ khách hàng,” arXiv preprint arXiv: 1712.07557, 2017.
[162] R. Shokri và V. Shmatikov, “Học sâu bảo vệ quyền riêng tư,” trong Kỷ yếu của hội
nghị ACM SIGSAC lần thứ 22 về bảo mật máy tính và truyền thông. ACM, 2015, trang
1310–1321.
[163] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner và cộng sự, “Học tập dựa trên Gradient
được áp dụng để nhận dạng tài liệu,” Kỷ yếu của IEEE, tập. 86, không. 11, trang
2278–2324, 1998.
[164] B. Hitaj, G. Ateniese, và F. Pérez-Cruz, “Các mô hình sâu dưới gan: rò rỉ thông
tin từ học sâu cộng tác,” trong Kỷ yếu của Hội nghị ACM SIGSAC 2017 về Bảo mật
Máy tính và Truyền thông. ACM, 2017, trang 603–618.
[165] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A.
Courville và Y. Bengio, “Generative adversarial mesh,” trong Những tiến bộ trong
hệ thần kinh hệ thống xử lý thông tin, 2014, trang 2672– 2680.
[166] Y. Liu, Z. Ma, S. Ma, S. Nepal và R. Deng, “Thúc đẩy riêng tư: Thúc đẩy cực đoan
liên kết được liên kết bảo vệ quyền riêng tư cho các lượt theo dõi trên thiết
bị di động”, https://arxiv.org/pdf/ 1907.10218.pdf, 2019.
[167] A. Triastcyn và B. Faltings, "Quyền riêng tư chung liên kết", arXiv
preprint arXiv: 1910.08385, 2019.
[168] Y. Aono, T. Hayashi, L. Wang, S. Moriai và cộng sự, “Học sâu bảo vệ quyền riêng tư
thông qua mã hóa đồng hình bổ sung,” IEEE Transac tions on Information Forensics
and Security, vol. 13, không. 5, trang 1333–1345, năm 2017.
[169] M. Hao, H. Li, G. Xu, S. Liu, và H. Yang, “Hướng tới học tập sâu liên kết hiệu quả
và có tính riêng tư,” trong Hội nghị Quốc tế IEEE về Truyền thông năm 2019. IEEE,
2019, trang 1–6.
[170] X. Chen, C. Liu, B. Li, K. Lu và D. Song, “Các cuộc tấn công cửa hậu có mục tiêu
vào các hệ thống học sâu bằng cách sử dụng đầu độc dữ liệu,” arXiv preprint arXiv:
1712.05526, 2017.
[171] C. Fung, CJ Yoon và I. Beschastnikh, “Giảm nhẹ các hệ thống tổng hợp gây ngộ độc
học liên hợp”, arXiv preprint arXiv: 1808.04866, 2018.
[172] A. Asuncion và D. Newman, “Kho lưu trữ máy học Uci,” 2007.
[173] AN Bhagoji, S. Chakraborty, P. Mittal và S. Calo, “Phân tích học tập liên kết
thông qua lăng kính đối phương,” arXiv preprint arXiv: 1811.12470, 2018.
[174] E. Bagdasaryan, A. Veit, Y. Hua, D. Estrin và V. Shmatikov, “Làm thế nào để backdoor
học liên kết,” arXiv preprint arXiv: 1807.00459, 2018.
[175] H. Kim, J. Park, M. Bennis, và S.-L. Kim, “Học liên kết trên thiết bị thông qua
blockchain và phân tích độ trễ của nó,” arXiv preprint arXiv: 1808.03949, 2018.
[176] J. Weng, J. Weng, J. Zhang, M. Li, Y. Zhang và W. Luo, “Deepchain: Học sâu có thể
kiểm tra và bảo vệ quyền riêng tư với khuyến khích dựa trên blockchain,”
Cryptology ePrint Archive, Report 2018/679, 2018.
[177] I. Stojmenovic, S. Wen, X. Huang, và H. Luan, “Tổng quan về điện toán sương mù và
các vấn đề bảo mật của nó,” Concurrency and Computation: Practice and Experience,
vol. 28, không. 10, trang 2991–3005, 2016.
[178] M. Gerla, E.-K. Lee, G. Pau và U. Lee, “Internet của các phương tiện: Từ lưới điện
thông minh đến ô tô tự hành và các đám mây xe cộ” trong diễn đàn thế giới IEEE về
Internet vạn vật (WF-IoT) năm 2014. IEEE, 2014, trang 241–246.
[179] A. Abeshu và N. Chilamkurti, “Học sâu: biên giới để phát hiện tấn công phân tán
trong điện toán sương mù thành vạn vật,” IEEE Com munications Magazine, vol. 56,
không. 2, trang 169–175, năm 2018.
[180] TD Nguyen, S. Marchal, M. Miettinen, MH Dang, N. Asokan, và A.-R. Sadeghi, “D \"
iot: Một phương pháp tự học có nguồn lực cộng đồng để phát hiện các thiết bị iot
bị xâm phạm ", arXiv preprint arXiv: 1804.07474, 2018.
[181] D. Preuveneers, V. Rimmer, I. Tsingenopoulos, J. Spooren, W. Joosen, và E. Ilie-
Zudor, “Các mô hình phát hiện dị thường theo chuỗi cho học liên hợp: Nghiên cứu
trường hợp phát hiện xâm nhập,” Khoa học ứng dụng, vol . 8, không. 12, tr. 2663,
2018.
[182] J. Ren, H. Wang, T. Hou, S. Zheng, và C. Tang, “Tối ưu hóa giảm tải tính toán dựa
trên cơ sở học tập liên kết trong internet vạn vật hỗ trợ tính toán biên,” IEEE
Access, vol. 7, trang 69 194–69 201, 2019.
[183] Z. Yu, J. Hu, G. Min, H. Lu, Z. Zhao, H. Wang và N. Georgalas, “Bộ nhớ đệm nội
dung chủ động dựa trên phương pháp học tập dựa trên Fed trong tính toán biên”
trong IEEE Global Communications năm 2018 Hội nghị (GLOBECOM).
IEEE, 2018, trang 1–6.
[184] Y. Qian, L. Hu, J. Chen, X. Guan, MM Hassan, và A. Alelaiwi, “Vị trí dịch vụ nhận
biết quyền riêng tư cho điện toán biên di động thông qua học liên hợp,” Khoa học
Thông tin, tập. 505, trang 562–570, 2019.
33
[185] M. Chen, O. Semiari, W. Saad, X. Liu và C. Yin, “Học trạng thái tiếng vọng liên kết
để giảm thiểu ngắt quãng trong mạng thực tế ảo không dây,” arXiv preprint arXiv:
1812.01202, 2018.
[186] S. Samarakoon, M. Bennis, W. Saad, và M. Debbah, “Học tập liên kết cho truyền thông
v2v độ trễ thấp siêu đáng tin cậy,” trong Hội nghị Truyền thông Toàn cầu IEEE
2018 (GLOBECOM). IEEE, 2018, trang 1–7.
[187] Y. Saputra, H. Dinh, D. Nguyen, E. Dutkiewicz, M. Mueck, và S. Srikanteswara, “Dự
đoán nhu cầu năng lượng với việc học liên kết cho mạng lưới xe điện,” trong IEEE
Global Communications Con ference (GLOBECOM) , Năm 2019.
[188] KK Nguyen, DT Hoang, D. Niyato, P. Wang, D. Nguyen, and E. Dutkiewicz, “Phát hiện
tấn công mạng trong điện toán đám mây di động: Phương pháp tiếp cận học sâu”
trong Hội nghị Mạng và Truyền thông Không dây IEEE 2018 (WCNC ). IEEE, 2018, trang
1–6.
[189] T. U. of New Brunswick, https://www.unb.ca/cic/datasets/ “Không-kdd
nsl.html. ”
[190] N. Moustafa và J. Slay, “Unsw-nb15: bộ dữ liệu toàn diện cho các hệ thống phát hiện
xâm nhập mạng (bộ dữ liệu mạng unsw-nb15),” trong hội nghị hệ thống thông tin và
truyền thông quân sự năm 2015 (MilCIS). IEEE, 2015, trang 1–6.
[191] SJ Pan và Q. Yang, “Một cuộc khảo sát về học tập chuyển giao,” IEEE Transac tions
về kiến thức và kỹ thuật dữ liệu, tập. 22, không. 10, trang 1345– 1359, 2009.
[192] S. Priya và DJ Inman, Công nghệ thu hoạch năng lượng. Springer,
2009, tập. 21.
[193] O. Chapelle và L. Li, “Đánh giá thực nghiệm của thompson sam pling,” trong Những
tiến bộ trong hệ thống xử lý thông tin thần kinh, 2011, trang 2249–2257.
[194] J. Chung, H.-J. Yoon, và HJ Gardner, “Phân tích sự hiện diện của break trong khi
chơi trò chơi bằng cách sử dụng mô hình hỗn hợp tuyến tính,” tạp chí ETRI, vol.
32, không. 5, trang 687–694, 2010.
[195] M. Chen, M. Mozaffari, W. Saad, C. Yin, M. Debbah, và CS Hong, “Lưu trữ trên bầu
trời: Triển khai chủ động các phương tiện bay không người lái hỗ trợ bộ nhớ
cache để tối ưu hóa chất lượng trải nghiệm, ”Tạp chí IEEE về các lĩnh vực được
chọn trong truyền thông, tập. 35, không. 5, trang 1046–1061, năm 2017.
[196] O. Guéant, J.-M. Lasry và P.-L. Lions, “Trò chơi trường trung bình và ứng dụng,”
trong các bài giảng của Paris-Princeton về tài chính toán học 2010. Springer,
2011, trang 205–266.
[197] L. De Haan và A. Ferreira, Lý thuyết giá trị cực đoan: phần mở đầu.
Springer Science & Business Media, 2007.
[198] MJ Neely, “Tối ưu hóa mạng ngẫu nhiên với ứng dụng cho các hệ thống liên lạc và
xếp hàng,” Tổng hợp Bài giảng về Mạng truyền thông Com, vol. 3, không. 1, trang 1–
211, 2010.
[199] P. You và Z. Yang, “Lập lịch tối ưu hiệu quả cho trạm sạc với nhiều xe điện qua
v2v,” trong Hội nghị quốc tế IEEE 2014 về Truyền thông lưới điện thông minh
(SmartGridComm). IEEE, 2014, trang 716–721.
[200] P. Bradley, K. Bennett và A. Demiriz, “Constrained k-means cluster ing”, Microsoft
Research, Redmond, vol. 20, không. 0, tr. 0, 2000.
[201] W. Li, T. Logenthiran, V.-T. Phan, và WL Woo, “Hệ thống quản lý nhà tự học dựa trên
iot được triển khai (shms) cho Singapore,”
Tạp chí IEEE Internet of Things, tập. 5, không. 3, trang 2212–2219, 2018.
[202] R. Boutaba, MA Salahuddin, N. Limam, S. Ayoubi, N. Shahriar, F. Estrada-Solano và
OM Caicedo, “Một cuộc khảo sát toàn diện về học máy cho mạng: sự tiến hóa, ứng
dụng và cơ hội nghiên cứu,” Tạp chí Dịch vụ Internet và Ứng dụng, vol. 9, không.
1, tr. 16, 2018.
[203] L. Jiang, R. Tan, X. Lou và G. Lin, “Về quyền riêng tư gọn nhẹ, duy trì việc học
tập hợp tác cho các đối tượng internet vạn vật,” 2019.
[204] Z. Gu, H. Jamjoom, D. Su, H. Huang, J. Zhang, T. Ma, D. Pendarakis và I. Molloy,
“Tiếp cận tính bảo mật của dữ liệu và trách nhiệm giải trình của mô hình trên
caltrain,” vào năm 2019 IEEE / IFIP quốc tế hàng năm lần thứ 49 Chuyển giao quốc
tế về các hệ thống và mạng đáng tin cậy (DSN). IEEE, 2019, trang 336–348.
[205] A. Albaseer, BS Ciftler, M. Abdallah và A. Al-Fuqaha, “Khai thác dữ liệu không được gắn
nhãn trong các thành phố thông minh bằng cách sử dụng tính năng học liên kết”, arXiv
preprint arXiv: 2001.04030, 2020.
[206] F. Lau, SH Rubin, MH Smith và L. Trajkovic, “Các cuộc tấn công từ chối dịch vụ được
phân tán” trong kỷ yếu hội nghị Smc 2000. Hội nghị quốc tế tổ chức năm 2000 về hệ
thống, con người và điều khiển học. 'Điều khiển học phát triển thành hệ thống,
con người, tổ chức và các hành động phức tạp giữa chúng' (cat. Số 0, tập 3. IEEE,
2000, trang 2275–2280.
[207] W. Xu, K. Ma, W. Trappe, và Y. Zhang, “Mạng cảm biến gây nhiễu: chiến lược tấn
công và phòng thủ,” mạng IEEE, tập. 20, không. 3, trang 41–47, 2006.
Machine Translated by Google
34

[208] M. Strasser, C. Popper, S. Capkun và M. Cagalj, “Thiết lập khóa chống

nhiễu bằng cách sử dụng nhảy tần không phối hợp,” trong Hội nghị chuyên
đề IEEE về Bảo mật và Quyền riêng tư năm 2008 (sp 2008). IEEE, 2008,
trang 64–78.
[209] P. Vepakomma, O. Gupta, T. Thụy Điển và R. Raskar, “Học tập tách biệt
vì sức khỏe: Học sâu phân tán mà không chia sẻ dữ liệu bệnh nhân thô,”
arXiv preprint arXiv: 1812.00564, 2018.
[210] A. Singh, P. Vepakomma, O. Gupta và R. Raskar, “Phân tích chi tiết về
hiệu quả giao tiếp của học tập tách biệt và học tập liên kết,” arXiv
preprint arXiv: 1909.09145, 2019.
[211] II Eliazar và IM Sokolov, “Đo lường tính không đồng nhất thống kê: Chỉ
số pietra,” Physica A: Cơ học thống kê và các ứng dụng của nó, tập.
389, không. 1, trang 117–125, 2010.
[212] J.-S. Leu, T.-H. Tưởng, M.-C. Yu và K.-W. Su, “Sơ đồ phân cụm hiệu quả
năng lượng để kéo dài thời gian hoạt động của mạng cảm biến không dây
với các nút bị cô lập,” thư truyền thông IEEE, vol. 19, không. 2,
trang 259–262, 2014.