Machine Translated by Google

Kiến trúc BP-CNN lặp lại cho

giải mã kênh
Phí Lương, Tùng Thần, Phượng Vũ

trừu tượng

Lấy cảm hứng từ những tiến bộ gần đây trong lĩnh vực học sâu, chúng tôi đề xuất một kiến trúc BP-CNN lặp lại mới cho

giải mã kênh dưới tiếng ồn tương quan. Kiến trúc này kết nối một mạng thần kinh tích chập đã được huấn luyện

mạng (CNN) với bộ giải mã lan truyền niềm tin (BP) tiêu chuẩn. Bộ giải mã BP tiêu chuẩn được sử dụng để

ước tính các bit được mã hóa, theo sau là CNN để loại bỏ các lỗi ước tính của bộ giải mã BP và

có được ước tính chính xác hơn về tiếng ồn của kênh. Lặp lại giữa BP và CNN sẽ dần dần

cải thiện SNR giải mã và do đó dẫn đến hiệu suất giải mã tốt hơn. Để đào tạo một cư xử tốt

Mô hình CNN, chúng tôi xác định một hàm mất mới không chỉ liên quan đến độ chính xác của ước tính tiếng ồn

mà còn là phép kiểm tra tính quy tắc đối với các lỗi ước lượng, tức là để đo lường khả năng xảy ra các lỗi ước lượng

tuân theo phân phối Gaussian. Việc giới thiệu bài kiểm tra tính quy tắc cho đào tạo CNN định hình

phân phối nhiễu dư và giảm hơn nữa BER của giải mã lặp, so với việc sử dụng

hàm mất bậc hai tiêu chuẩn. Chúng tôi thực hiện các thử nghiệm mở rộng để phân tích và xác minh đề xuất

arXiv:1707.05697v1
[stat.ML]
tháng
2017
năm
18
7 khuôn khổ. Bộ giải mã BP-CNN lặp có hiệu suất BER tốt hơn với độ phức tạp thấp hơn, phù hợp

để triển khai song song, không dựa vào bất kỳ mô hình kênh hoặc phương pháp mã hóa cụ thể nào và được

mạnh mẽ chống lại sự không phù hợp đào tạo. Tất cả các tính năng này làm cho nó trở thành một ứng cử viên tốt để giải mã hiện đại

mã kênh.

I. GIỚI THIỆU

Mã hóa và giải mã kênh là những thành phần quan trọng trong hệ thống thông tin liên lạc hiện đại. Lấy cảm hứng

bởi nguyên tác của Shannon [1], những tiến bộ to lớn đã được thực hiện cả trong lý thuyết mã hóa và

các ứng dụng. Ví dụ: mã kiểm tra chẵn lẻ mật độ thấp (LDPC) [2] có thể mang lại hiệu suất

gần với dung lượng của Shannon cho các kênh AWGN với cấu trúc mã hóa được tối ưu hóa phù hợp và

Công trình này đã được hỗ trợ bởi Quỹ khoa học tự nhiên quốc gia của Trung Quốc theo Grant 61631017.

Các tác giả thuộc Phòng thí nghiệm Mạng Tương lai, Trường Khoa học và Công nghệ Thông tin, Đại học Khoa học Tự nhiên
và Công nghệ của Trung Quốc.
Machine Translated by Google

thuật toán giải mã lan truyền niềm tin (BP) được phát triển tốt [3]. Một ví dụ khác, ngắn đến trung bình

các mã tuyến tính có độ dài khối như mã Bose-Chaudhuri-Hocquenghem (BCH) [4] và mã Polar [5] là

rất quan tâm đến sự phát triển gần đây của 5G [6], cho các ứng dụng nhạy cảm với độ trễ và nhiệm vụ quan trọng.

Tuy nhiên, trong các hệ thống truyền thông thực tế, các kênh đôi khi thể hiện mối tương quan trong tiếng ồn

các mẫu do lọc, lấy mẫu quá mức [7], giảm dần kênh và nhiễu nhiều người dùng [8]. Một cái giếng

mã kênh được thiết kế có thể không có hiệu suất thỏa đáng nếu máy thu không được thiết kế để xử lý

tương quan tiếng ồn. Khó khăn trong việc giải quyết vấn đề này chủ yếu đến từ mô hình có độ phức tạp cao

được giới thiệu bởi tiếng ồn màu. Về lý thuyết, bộ giải mã trước tiên có thể ước tính phân bố nhiễu, sau đó

tối ưu hóa bộ giải mã BP bằng cách sử dụng phân phối chung ước tính. Tuy nhiên, cách tiếp cận này là mô hình

dựa trên và có thể bị ảnh hưởng do không có được phân phối chung hoạt động tốt cho các mẫu tiếng ồn. Hơn nữa,

tối ưu hóa bộ giải mã BP với phân phối nhiễu chung có thể rất phức tạp khi mối tương quan là

mạnh. Do đó, cấu trúc bộ giải mã có độ phức tạp thấp, thích ứng cao và mạnh mẽ có thể khai thác triệt để

mong muốn có đặc tính tương quan nhiễu và có hiệu suất giải mã tốt.

Những tiến bộ gần đây trong học sâu cung cấp một hướng mới để giải quyết vấn đề này. Thay vì tìm một

dựa trên một mô hình được xác định trước, các công nghệ học sâu cho phép hệ thống học hiệu quả

thuật toán trực tiếp từ dữ liệu huấn luyện. Học sâu đã được áp dụng trong thị giác máy tính [9], tự nhiên

xử lý ngôn ngữ [10], xe tự hành [11] và nhiều lĩnh vực khác, và kết quả là

khá đáng chú ý. Lấy cảm hứng từ những tiến bộ này, các nhà nghiên cứu gần đây đã cố gắng giải quyết vấn đề giao tiếp

vấn đề (bao gồm giải mã kênh) bằng cách sử dụng công nghệ học sâu [12]–[22] và tóm tắt về

những công việc này được cung cấp trong Phần II. Tuy nhiên, không có công trình nào trong số này giải quyết vấn đề hiệu quả

giải mã mã tuyến tính dưới nhiễu kênh tương quan.

Trong bài báo này, chúng tôi thiết kế một kiến trúc máy thu mới để giải quyết vấn đề giải mã khi tương quan

tồn tại trong nhiễu kênh. Kiến trúc này kết nối một mạng thần kinh tích chập được đào tạo (CNN) với

một bộ giải mã BP tiêu chuẩn và các ký hiệu nhận được được xử lý lặp lại giữa BP và CNN – do đó

tên lặp lại BP-CNN. Ở phía người nhận, các ký hiệu nhận được đầu tiên được xử lý bởi BP

bộ giải mã để có được một giải mã ban đầu. Sau đó, trừ các ký hiệu truyền ước tính từ các ký hiệu nhận được

ký hiệu, chúng tôi thu được ước tính nhiễu kênh. Do lỗi giải mã nên nhiễu kênh

ước lượng không chính xác. Sau đó, chúng tôi đưa ước tính nhiễu của kênh vào CNN, điều này sẽ loại bỏ thêm

các lỗi ước tính của bộ giải mã BP và thu được ước tính nhiễu chính xác hơn bằng cách khai thác

tương quan tiếng ồn thông qua đào tạo. Việc lặp lại giữa BP và CNN sẽ dần cải thiện khả năng giải mã SNR

và do đó dẫn đến hiệu suất giải mã tốt hơn.

Bộ giải mã BP-CNN lặp được đề xuất có nhiều thuộc tính mong muốn. Như chúng ta sẽ thấy, nó tốt hơn

hiệu suất giải mã cao hơn so với BP tiêu chuẩn, với độ phức tạp thấp hơn. Điều này chủ yếu là do hiệu quả
Machine Translated by Google

Cấu trúc CNN, bao gồm hầu hết các phép toán tuyến tính và một số phép toán phi tuyến tính. phương pháp này là

điều khiển dữ liệu và không dựa vào bất kỳ mô hình được xác định trước nào, giúp nó thích ứng với các kênh khác nhau

điều kiện và mã tuyến tính khác nhau. Nó cũng thích hợp cho tính toán song song, điều này rất quan trọng đối với

triển khai VLSI. Hơn nữa, các thử nghiệm của chúng tôi cho thấy rằng bộ giải mã BP-CNN lặp lại rất mạnh mẽ

đến SNR không khớp nếu dữ liệu đào tạo được tạo cẩn thận.

Theo trực giác, lý do CNN có thể giúp giải mã kênh tương tự như sự thành công của CNN ở cấp độ thấp.

các tác vụ trong xử lý ảnh như khử nhiễu ảnh [23] hoặc siêu phân giải ảnh [24]. Điều này trở thành

rõ ràng hơn khi chúng ta xem mối tương quan trong nhiễu kênh như một “đặc điểm”, có thể được CNN trích xuất.

Tuy nhiên, cài đặt vấn đề của chúng tôi rất khác với các ứng dụng khác này, nơi trích xuất các tính năng là

bàn thắng tuyệt đỉnh. Trong kiến trúc BP-CNN lặp, mục tiêu của CNN không chỉ là ước tính chính xác

nhiễu kênh và giảm lỗi còn lại, mà còn tạo ra đầu ra có lợi cho BP

bộ giải mã. Yêu cầu duy nhất này đã thúc đẩy chúng tôi phát triển một hàm mất mát mới cho đào tạo CNN,

kết hợp ảnh hưởng của công suất tiếng ồn còn lại với thử nghiệm tính quy tắc của Jarque-Bera. Chúng ta sẽ thấy rằng

chức năng mất mới này đóng một vai trò quan trọng trong bộ giải mã BP-CNN nâng cao.

Tóm lại, những đóng góp của chúng tôi trong công việc này như sau:

1) Chúng tôi đề xuất một cấu trúc giải mã mới cho các mã tuyến tính, được gọi là BP-CNN lặp, nối

một CNN được đào tạo với bộ giải mã BP tiêu chuẩn và lặp lại giữa chúng. Cấu trúc này được hiển thị để

có khả năng trích xuất các tính năng tương quan tiếng ồn và cải thiện hiệu suất giải mã.

2) Chúng tôi thiết kế kiến trúc CNN cho BP-CNN lặp với hai hàm mất mát khác nhau. bên trong

đường cơ sở BP-CNN, hàm mất bậc hai nổi tiếng được sử dụng trong đào tạo CNN. trong nâng cao

BP-CNN, chúng tôi phát triển một hàm suy hao mới làm giảm công suất nhiễu còn lại và đồng thời

thực hiện bài kiểm tra tính quy phạm của Jarque-Bera.

3) Chúng tôi tiến hành đánh giá sâu rộng để xác minh và phân tích khuôn khổ đề xuất.

Phần còn lại của bài báo này được tổ chức như sau. Trong phần II, chúng tôi đưa ra một đánh giá ngắn gọn về một số liên quan

làm. Thiết kế hệ thống, bao gồm cả đào tạo mạng, được giải thích chi tiết trong Phần III. Rộng rãi

thí nghiệm ở mục IV. Cuối cùng chúng tôi kết thúc bài báo này và thảo luận về các công việc trong tương lai trong Phần V.

II. CÔNG TRÌNH LIÊN QUAN

A. Mạng thần kinh tích chập

Những tiến bộ gần đây của công nghệ học sâu, dữ liệu lớn và các thiết bị tính toán mạnh mẽ như

vì GPU đã bắt đầu một kỷ nguyên mới trong trí tuệ nhân tạo. Lấy thị giác máy tính làm ví dụ, sâu

mạng thần kinh tích chập đã được xác minh để mang lại hiệu suất tốt hơn nhiều so với thông thường

các phương pháp trong các ứng dụng khác nhau, từ các tác vụ cấp cao như nhận dạng hình ảnh [9], [25] và đối tượng
Machine Translated by Google

phát hiện [26], đến các tác vụ cấp thấp như khử nhiễu hình ảnh [23] và siêu phân giải hình ảnh [24]. Trong [25],

các tác giả đề xuất sử dụng CNN sâu để phân loại hình ảnh, bao gồm các lớp tích chập,

các lớp tổng hợp và các lớp được kết nối đầy đủ. Một biến thể của mẫu này đã giành chiến thắng trong cuộc thi ILSVRC-2012,

và CNN đã nhận được sự quan tâm tăng vọt trong cả giới học thuật và ngành công nghiệp kể từ đó. [9], các tác giả

đã thiết kế một khung học tập còn lại (ResNet) giúp đào tạo hệ thần kinh sâu hơn dễ dàng hơn

các mạng. Nó cho thấy rằng ResNet thậm chí có thể vượt trội hơn con người trong một số nhiệm vụ cấp cao. đối với

các tác vụ cấp thấp như siêu phân giải hình ảnh, các tác giả của [24] cho thấy rằng một dây thần kinh tích chập hoàn toàn

mạng có thể đạt được chất lượng khôi phục tương tự bằng các phương pháp tiên tiến nhất nhưng với độ phức tạp thấp cho

ứng dụng thực tế. Gần đây hơn, CNN đã đóng một vai trò quan trọng trong AlphaGo [27] đánh bại

người chơi tốt nhất của con người trong các trò chơi Go.

Nhiệm vụ giải mã kênh trong nhiễu màu tương tự như một số nhiệm vụ ở mức độ thấp như ảnh

khử nhiễu hoặc siêu phân giải, điều này đã thúc đẩy chúng tôi kết hợp CNN với BP trong công việc này. Chúng tôi sẽ

giải thích về sự giống nhau này trong Phần III.

B. Các ứng dụng của Deep Learning trong Truyền thông

Hầu hết các thuật toán trong truyền thông được phát triển dựa trên các mô hình đã cho. Đối với một số nhiệm vụ, đây là

chỉ khả thi khi mô hình đủ đơn giản và sự không phù hợp của mô hình thường xảy ra trong thực tế. Gần đây

những tiến bộ trong công nghệ học sâu đã thu hút sự chú ý của các nhà nghiên cứu về truyền thông và ở đó

đã có một số bài báo gần đây về việc giải quyết các vấn đề giao tiếp bằng cách sử dụng các công nghệ học sâu. Vì

chủ đề thiết kế các thuật toán giải mã kênh, đó là trọng tâm của bài báo này, Nachmani et al. có

đã chứng minh rằng bằng cách gán trọng số phù hợp cho các thông báo đang truyền trong biểu đồ Tanner, có thể so sánh được

hiệu suất giải mã có thể đạt được với ít lần lặp hơn so với bộ giải mã BP truyền thống [12]. Những cái này

trọng lượng có được thông qua đào tạo trong học sâu, bù đắp một phần cho tác động của nhỏ

chu kỳ trong đồ thị Tanner. Các tác giả tiếp tục giới thiệu khái niệm về mạng thần kinh tái phát (RNN)

vào giải mã BP trong [15]. Kết hợp với thuật toán lặp dự phòng ngẫu nhiên (mRRD) đã sửa đổi

[28], có thể đạt được cải thiện hiệu suất bổ sung. Xét rằng giải mã BP chứa nhiều

phép nhân, Lugosch et al. đã đề xuất một thuật toán giải mã tổng tối thiểu bù đắp thần kinh trọng lượng nhẹ trong

[16], không có phép nhân và thân thiện với việc triển khai phần cứng. Giải quyết thách thức sâu sắc đó

bộ giải mã dựa trên học tập rất khó huấn luyện cho các mã dài [17], các tác giả trong [18] đề xuất chia

đồ thị mã hóa cực thành các khối con và bộ giải mã cho mỗi từ mã con được đào tạo riêng.

Bên cạnh giải mã kênh, học sâu có khả năng đạt được sự cải thiện trong các lĩnh vực khác của

hệ thống thông tin liên lạc [19]. O'Shea và cộng sự. đề xuất tìm hiểu bộ mã hóa tự động kênh thông qua học sâu

công nghệ [13]. Farsad et al. nghiên cứu bài toán xây dựng thuật toán dò tìm truyền thông
Machine Translated by Google

x + y S - +
LDPC bạn
BPSK S y + n +
+ BP CNN
Mã hoá bộ điều biến
-
ˆx N

Bộ giải mã BP-CNN

Hình 1. Kiến trúc giải mã lặp được đề xuất bao gồm bộ giải mã lan truyền niềm tin (BP) và mạng thần kinh tích chập chuyển tiếp
nguồn cấp dữ liệu (CNN).

các hệ thống không có mô hình toán học phù hợp, chẳng hạn như truyền thông phân tử [20]. Các tác giả của

[21] áp dụng các mạng thần kinh sâu để phát hiện MIMO, dẫn đến hiệu suất phát hiện tương đương

nhưng với độ phức tạp thấp hơn nhiều. Trong lớp ứng dụng, các mạng thần kinh tái phát sâu cũng có thể được

được sử dụng để nhận dạng các loại lưu lượng khác nhau [14]. Gần đây nhất, Dorner et al. [22] đã chứng minh

tính khả thi của giao tiếp vô tuyến với mạng lưới thần kinh sâu và radio do phần mềm xác định.

Những nghiên cứu ban đầu này đã không xem xét vấn đề giải mã kênh dưới nhiễu Gaussian tương quan,

đó là một ví dụ khác về các mô hình kênh phức tạp khó phân tích lý thuyết. trong này

Trong bài báo này, chúng tôi tập trung vào vấn đề này và đề xuất một bộ thu BP-CNN lặp lại mới để giải mã kênh.

III. THIẾT KẾ HỆ THỐNG

Phần này chứa sự đổi mới chính của công việc này: bộ giải mã kênh BP-CNN lặp lại. theo thứ tự

để trình bày tốt hơn thiết kế được đề xuất, trước tiên chúng tôi sẽ mô tả khung hệ thống. Cụ thể, CNN

cấu trúc sẽ được giới thiệu và vai trò của nó trong việc hỗ trợ giải mã kênh sẽ được giải thích. Cuối cùng, chúng tôi sẽ

làm nổi bật hai thành phần quan trọng trong đào tạo mạng: thiết kế hàm mất mát và dữ liệu

thế hệ.

A. Khung hệ thống

Kiến trúc đề xuất được minh họa trong Hình 1. Tại máy phát, một khối phân bố đều

bit x độ dài K, được mã hóa thành từ mã nhị phân u độ dài N thông qua bộ mã hóa kênh tuyến tính.

Trong bài báo này, chúng tôi tập trung vào mã LDPC, nhưng phương pháp được đề xuất có thể dễ dàng áp dụng cho các tuyến tính khác

mã khối. Từ mã u sau đó được ánh xạ tới một vectơ ký hiệu s thông qua điều chế BPSK.
Machine Translated by Google
6

Các ký hiệu BPSK sẽ được truyền qua một kênh có nhiễu Gaussian phụ gia. Tiếng ồn kênh

vectơ, được ký hiệu là n có độ dài N, được mô hình hóa dưới dạng vectơ ngẫu nhiên Gaussian với ma trận tương quan tự động

Σ. Lưu ý rằng từ mã LDPC có thể dài và kết quả là kích thước của Σ có thể là đáng kể. Để tốt hơn

minh họa thiết kế của chúng tôi, chúng tôi sẽ sử dụng một mô hình tương quan tiêu chuẩn được áp dụng rộng rãi trong tài liệu [7].

Ma trận tương quan Σ được cho bởi:

j i η
, tôi ≤ j
Σi,j = (1)

(η i j ) , tôi ≥ j,

trong đó Σi,j là phần tử thứ (i, j) của Σ và η là hệ số tương quan với |η| ≤ 1. Chúng ta nên

nhấn mạnh rằng Eqn. (1) không phải là cơ sở cho thiết kế đề xuất của chúng tôi, vì nó hoạt động cho bất kỳ mối tương quan nào

người mẫu. Điều này sẽ trở nên rõ ràng sau này và được chứng thực trong các mô phỏng số.

Tại máy thu, vectơ y được nhận và có thể được viết là

y = s + n. (2)

Bộ giải mã BP sau đó được sử dụng để giải mã vectơ bit thông tin được truyền từ y. Thông thường, có

một bộ giải điều chế mềm BPSK trước khi giải mã BP, để tính toán tỷ lệ khả năng log (LLR) của

các ký hiệu được truyền:

Pr(si = 1|yi)
LLR(1) = nhật ký
, (3)
Pr(si = 1|yi)
Tôi

trong đó si , yi lần lượt biểu thị ký hiệu BPSK thứ i và ký hiệu nhận được tương ứng, và

chỉ số trên (1) của LLR chỉ ra rằng đây là phép tính LLR cho HA ban đầu. Trong hệ thống của chúng tôi

khung của Hình 1, chúng tôi bỏ qua mô-đun này và hợp nhất nó vào bộ giải mã BP để đơn giản.

Chúng tôi sử dụng ˆs để biểu thị các ký hiệu truyền ước tính. Trừ nó từ các ký hiệu nhận được y, chúng tôi

có được nˆ như

nˆ = y ˆs, (4)

có thể được xem như là một ước tính của tiếng ồn kênh. Do lỗi giải mã trong BP

bộ giải mã, nˆ không hoàn toàn giống với nhiễu kênh thực n. Chúng ta có thể viết lại nˆ dưới dạng

nˆ = n + ξ, (5)

trong đó ξ là vectơ lỗi ước lượng nhiễu.

Machine Translated by Google

Bây giờ chúng tôi đã sẵn sàng để giải thích kiến trúc giải mã BP-CNN được đề xuất, như được hiển thị trong hộp nét đứt

của Hình 1. Lấy cảm hứng từ ứng dụng thành công của CNN trong khử nhiễu hình ảnh và siêu phân giải, và

lưu ý rằng mối tương quan trong nhiễu kênh n có thể được coi là một "tính năng" có thể bị khai thác

trong giải mã kênh, chúng tôi đề xuất ghép một CNN sau BP, để sử dụng mối tương quan này để triệt tiêu

ξ và nhận được ước tính chính xác hơn về nhiễu của kênh. Các chi tiết của CNN được đề xuất và

quy trình đào tạo liên quan sẽ được trình bày trong các phần tiếp theo. Sử dụng n˜ để biểu thị đầu ra CNN

và trừ nó khỏi vectơ y nhận được dẫn đến

yˆ = y n˜,

= s + n n˜, (6)

= s + r,

trong đó r = n - n˜ được định nghĩa là tiếng ồn còn lại. Sau đó, vectơ mới yˆ được đưa trở lại bộ giải mã BP

và một vòng giải mã BP khác được thực hiện. Lưu ý rằng trước vòng lặp thứ hai của BP,

Các giá trị LLR cần được cập nhật như sau,

LLR(2) = nhật ký
Pr(si = 1|ˆyi)
Tôi
, (7)
Pr(si = 1|ˆyi)

trong đó chỉ số trên (2) của LLR chỉ ra rằng đây là tính toán LLR cho các HA tiếp theo sau

xử lý ước tính tiếng ồn với CNN.

Rõ ràng, các đặc tính của nhiễu dư r sẽ ảnh hưởng đến tính toán trong (7) và do đó

ảnh hưởng đến hiệu suất của giải mã BP tiếp theo. Vì vậy, CNN nên được đào tạo để

cung cấp nhiễu dư có lợi cho việc giải mã BP. Chúng tôi đề xuất hai chiến lược đào tạo

CNN và nối với BP.

1) Đường cơ sở BP-CNN. CNN được đào tạo để đưa ra ước tính tiếng ồn gần với giá trị thực

nhiễu kênh càng tốt. Đây là một phương pháp tiêu chuẩn có thể được thực hiện bằng cách sử dụng phương pháp bậc hai

chức năng mất mát trong đào tạo CNN. Theo trực giác, ước tính tiếng ồn chính xác sẽ dẫn đến công suất rất thấp

tiếng ồn còn lại và do đó rất ít can thiệp vào việc giải mã BP. Để tính LLR

như (7), chúng ta cũng cần có được phân phối xác suất theo kinh nghiệm của nhiễu dư.

2) BP-CNN nâng cao. Đường cơ sở BP-CNN có thể không tối ưu vì kênh

mã hóa (chẳng hạn như LDPC) hầu hết được tối ưu hóa cho kênh AWGN và tiếng ồn còn lại

có thể không nhất thiết tuân theo phân phối Gaussian. Vì vậy, một chiến lược khác là làm giảm

công suất nhiễu dư và đồng thời để nhiễu dư tuân theo phân phối Gaussian như
Machine Translated by Google

số 8

nhiều nhất có thể. Bằng cách này, việc tính toán trong (7) trở nên dễ dàng hơn nhiều:

2ˆy
LLR(2) = , (số 8)
2σ _
r

2 trong đó σ
r là sức mạnh của tiếng ồn còn lại.

Trong Phần III-E, chúng tôi sẽ trình bày cách huấn luyện mạng bằng hai chiến lược trên. Với một chán nản

ảnh hưởng của nhiễu, việc giải mã BP dự kiến sẽ mang lại kết quả chính xác hơn. Các quá trình trên

có thể được thực hiện lặp đi lặp lại để giảm liên tiếp ảnh hưởng của nhiễu và cải thiện giải mã cuối cùng

hiệu suất.

Ghi chú 1. Mặc dù phần lớn nghiên cứu mã hóa kênh tập trung vào AWGN hoặc kênh giảm dần

với nhiễu iid, chúng tôi lưu ý rằng các kênh có nhiễu tương quan phụ gia đặc biệt quan trọng đối với

một số hệ thống, chẳng hạn như trong truyền thông không dây và di động. Trong các hệ thống này, Fading kết hợp hoặc

về thời gian hoặc tần số kết hợp với nhiễu nhiều người dùng có thể dẫn đến nhiễu kênh tương đương

được tương quan cho mục đích giải mã kênh. Đây là những kịch bản ngày càng quan trọng đối với

hiệu suất của mã hóa kênh, với sự nhấn mạnh ngày càng tăng về độ trễ nhạy cảm và nhiệm vụ quan trọng

các ứng dụng trong 5G nơi mã dài và xen kẽ sâu có thể không phù hợp [6].

Lưu ý 2. Chúng tôi lưu ý rằng CNN trong hệ thống của chúng tôi là mạng chuyển tiếp nguồn cấp dữ liệu thuần túy không có bộ nhớ và

thông tin nhà nước. Trong tài liệu học sâu, có một dạng mạng nổi tiếng khác được gọi là định kỳ

mạng thần kinh (RNN), chủ yếu được sử dụng trong xử lý ngôn ngữ [29]. Khai thác RNN

cấu trúc với bộ nhớ trong giải mã BP là một chủ đề quan trọng và thú vị mà chúng tôi dự định điều tra

trong tương lai.

B. Tại sao CNN lại hữu ích cho việc giải mã kênh?

Như chúng tôi đã đề cập, một trong những động lực đầu tiên để chúng tôi sử dụng CNN để ước tính nhiễu kênh

xuất phát từ ứng dụng thành công của CNN trong một số tác vụ cấp thấp như khử nhiễu ảnh [23], [30]

và hình ảnh siêu phân giải [24]. Một cuộc điều tra cẩn thận về các ứng dụng CNN này cho thấy tầm quan trọng

tương tự như nhiệm vụ giải mã kênh trong tầm tay. Chúng ta hãy lấy hình ảnh khử nhiễu làm ví dụ. Lưu ý rằng

nhiệm vụ khử nhiễu hình ảnh là khôi phục các pixel hình ảnh gốc X từ quan sát nhiễu Y của nó,

theo mô hình phụ gia Y = X + W trong đó W biểu thị tiếng ồn không xác định. Như đã phân tích trong [23],

có một mối quan hệ toán học mạnh mẽ giữa các mạng tích chập và Markov tiên tiến nhất

phương pháp trường ngẫu nhiên (MRF). Một lợi thế khi sử dụng CNN để khử nhiễu hình ảnh là nó cho phép

mạng để tìm hiểu các tham số mô hình chiều cao để trích xuất các tính năng hình ảnh, có hình ảnh mạnh hơn
Machine Translated by Google

sức mạnh xử lý. Kết quả trong [23] chứng minh rằng sử dụng CNN có thể đạt được hiệu suất tốt hơn với

độ phức tạp thấp hơn so với các phương pháp được báo cáo trước đây.

Quay trở lại nhiệm vụ của chúng ta trong bài báo này, vai trò của CNN trong kiến trúc giải mã là khôi phục giá trị thực

nhiễu kênh n từ phiên bản nhiễu nˆ theo mô hình (5), rất giống với khử nhiễu hình ảnh.

Nhiễu kênh được khôi phục n trong tác vụ của chúng tôi tương ứng với pixel hình ảnh X trong khử nhiễu hình ảnh và

lỗi ξ tương ứng với nhiễu W. Lưu ý rằng giống như khử nhiễu hình ảnh dựa trên CNN khai thác

các tính năng hình ảnh tính bằng pixel X, bộ giải mã BP-CNN lặp lại khai thác các mối tương quan trong nhiễu kênh

N. Cho rằng CNN có hiệu suất khử nhiễu tuyệt vời với độ phức tạp thấp, nên việc hỏi liệu như vậy có phải là điều tự nhiên không?

lợi thế có thể chuyển thành nhiệm vụ giải mã kênh trong bài viết này.

C. Giải Mã Truyền Bá Niềm Tin

Để bài viết này được hoàn thiện, chúng tôi xin giới thiệu sơ lược về truyền bá niềm tin chuẩn (BP)

quá trình giải mã. BP là một quá trình lặp đi lặp lại trong đó các thông báo được truyền giữa các nút biến

và kiểm tra các nút trong biểu đồ Tanner. Chúng tôi sử dụng v để biểu thị một nút biến và c cho một nút kiểm tra. Lv c và

Lc v lần lượt là các thông điệp được truyền từ v đến c và c đến v. Đầu tiên, Lv c được khởi tạo với LLR

giá trị được tính từ biểu tượng nhận được, như thể hiện trong (3). Sau đó, các tin nhắn được cập nhật lặp đi lặp lại

như sau

Lv c = Lc ′ v,

c ′ N (v)\c

(9)
Lv ′ c
Lc v = 2 tanh 1 tanh
2
v ′ N (c)\v ,

trong đó N (v)\c (N (c)\v) biểu thị tập hợp các nút kiểm tra (biến) lân cận của nút biến v

(nút kiểm tra c), ngoại trừ c (v). Sau vài lần lặp lại, LLR của một nút biến v, ký hiệu là Lv,

được tính như

cấp độ = Lc ′ v.
(10)
c′ N (v)

Cuối cùng, giá trị bit tương ứng với nút biến v được xác định bởi

0, nếu Lv ≥ 0,
b = (11)
nếu Lv ≤ 0.
1,

Giải mã BP tiêu chuẩn nổi tiếng là hiệu quả trong các kênh AWGN [4] nhưng sẽ gặp khó khăn

để xử lý tương quan trong nhiễu kênh. Để thấy điểm này, chúng ta nhớ lại rằng thuật toán giải mã BP
Machine Translated by Google

10

bản đồ tính năng k1 bản đồ tính năng k2 đầu ra

Đầu vào
N x 1 véc tơ
N x 1 véc tơ

f1 × 1

...
f2 × k1

Hình 2. Cấu trúc CNN được chấp nhận để ước lượng tiếng ồn.

hoạt động trên biểu đồ nhân tố với mô hình xác suất sau cho kênh AWGN:

p(x1, x2, ..., xN ) = pch(xi) fi(Ni) , (12)

Tôi Tôi

trong đó xi là bit thứ i, p(x1, x2, ..., xN ) biểu thị xác suất chung của tất cả các bit, pch(xi) là xác suất

khả năng dựa trên các ký hiệu kênh đã nhận, fi(·) biểu thị chức năng chỉ báo kiểm tra chẵn lẻ thứ i tương ứng với nút

kiểm tra thứ i và Ni biểu thị tập hợp các nút biến được kết nối với kiểm tra thứ i

nút. Tuy nhiên, đối với bộ giải mã đối mặt với nhiễu tương quan, mô hình xác suất chỉ có thể được trình bày trong

hình thức sau:

p(x1, x2, ..., xN ) = pch(x1, x2, ..., xN ) fi(Ni) , (13)

Tôi

trong đó xác suất dựa trên các ký hiệu nhận được không thể được tính là các ký hiệu có tương quan với nhau.

Do đó, cải thiện thuật toán giải mã BP tiêu chuẩn để kết hợp phân phối tiếng ồn chung

các mẫu có thể có độ phức tạp rất cao, đặc biệt khi nhiễu kênh có mối tương quan chặt chẽ.

D. CNN để ước tính tiếng ồn

Như đã đề cập trước đây, việc áp dụng CNN để ước tính tiếng ồn được khai sáng nhờ các ứng dụng thành công của nó trong

thị giác máy tính, thể hiện khả năng mạnh mẽ của nó để trích xuất các tính năng cục bộ. Đối với một số hình ảnh cụ thể

nhiệm vụ phục hồi, Dong et al. [24] đã chỉ ra rằng CNN có hiệu suất tương tự như đã biết trước đây

các chiến lược đại diện cho các bản vá hình ảnh bằng một tập hợp các cơ sở được đào tạo trước, nhưng với độ phức tạp thấp hơn.

Hơn nữa, mạng có thể được đào tạo để tìm các cơ sở tốt hơn thay vì các cơ sở được xác định trước, để tốt hơn

hiệu suất. Do đó, CNN có khả năng mang lại chất lượng phục hồi hình ảnh tốt hơn.
Machine Translated by Google
11

Trong kiến trúc lặp BP-CNN được đề xuất, cấu trúc mạng được thông qua, được hiển thị trong Hình.

2, tương tự như các tác vụ được sử dụng cho các tác vụ cấp thấp trong khôi phục ảnh [23], [24] nhưng dễ thấy

sự khác biệt ở chỗ đầu vào của mạng của chúng tôi là vectơ 1-D thay vì hình ảnh 2-D. Như có thể thấy tại

lớp đầu tiên trong Hình 2, các bản đồ đặc trưng k1 được tạo từ dữ liệu đầu vào nˆ, có thể được biểu thị bằng

c1,j = ReLU(h1,j nˆ + b1,j ), (14)

trong đó c1,j là bản đồ đặc trưng thứ j ở lớp đầu tiên, h1,j là nhân tích chập thứ j, về cơ bản là một

Vectơ 1-D có độ dài fj , b1,j là độ lệch tương ứng và ReLU(·) là hàm Đơn vị tuyến tính được chỉnh lưu

(max(x, 0)) để giới thiệu tính phi tuyến [31]. Trong các mạng thần kinh, hoạt động tích chập là

ký hiệu là trong (14) và được định nghĩa là

(h1,j nˆ) (v) = nˆ(v + v)h1,j ( v),

(15)
v

hơi khác với định nghĩa tiêu chuẩn trong xử lý tín hiệu.

Tại lớp thứ i (i > 1), phép tích chập được thực hiện trên tất cả các bản đồ đặc trưng của lớp trước đó

lớp, có thể được xem dưới dạng tích chập 2 chiều như trong Hình 2. Đầu ra có thể được viết là

ci,j = ReLU(hi,j ci 1 + bi,j ), (16)

trong đó ci,j là bản đồ đặc trưng thứ j tại lớp thứ i. hi,j là hạt nhân chập thứ j có kích thước fi × ki 1

trong đó ki 1 là số bản đồ đặc trưng của lớp trước đó. Chúng tôi sử dụng L để biểu thị số lượng tổng

lớp. Ở lớp cuối cùng, ước tính cuối cùng của nhiễu kênh là

n˜ = hL cL 1 + bL. (17)

Tóm lại, cấu trúc của CNN được xác định bởi số lớp, kích thước bộ lọc và bản đồ đặc trưng của nó

số trong mỗi lớp. Các tham số này cần được quyết định trước khi huấn luyện mạng. để đơn giản

của giải trình, chúng tôi biểu thị cấu trúc của mạng là

{L; f1, f2, .., fL; k1, k2, ..., kL}. (18)

Bên cạnh các lớp tích chập, các lớp tổng hợp, bỏ học và kết nối đầy đủ cũng là những thành phần quan trọng

trong kiến trúc CNN thông thường. Tuy nhiên, chúng không được xem xét trong thiết kế của chúng tôi vì những lý do sau.

Đầu tiên, các lớp tổng hợp thường được sử dụng để lấy mẫu xuống trong các tác vụ cấp cao. Trong vấn đề của chúng tôi, đầu ra CNN

vẫn là một biểu diễn cấp thấp có cùng kích thước với đầu vào CNN. Các lớp tổng hợp là
Machine Translated by Google

12

không cần thiết trong trường hợp này, bởi vì nó có thể loại bỏ một số chi tiết hữu ích [32]. Thứ hai, tình trạng bỏ học phổ biến

sử dụng kỹ thuật để kiểm soát overfitting. Trong công việc này, chúng tôi đã kiểm soát quá mức bằng cách theo dõi

giá trị mất mát trong bộ xác thực. Hơn nữa, chúng tôi đã thử nghiệm hiệu suất bỏ học và thấy rằng

nó không cung cấp bất kỳ lợi ích. Đối với các lớp được kết nối đầy đủ, chúng thường được sử dụng để xuất

mô tả cấp cao sau khi kích thước dữ liệu đã được giảm xuống ở mức độ lớn. Ở cấp độ thấp

các nhiệm vụ, các lớp được kết nối đầy đủ có độ phức tạp cao và cũng khó đào tạo.

E. Đào tạo

1) Hàm mất mát: Trong học sâu, người ta biết rằng hiệu suất của mạng phụ thuộc rất nhiều vào

về việc lựa chọn các hàm mất mát để đào tạo [33]. Nói chung, một hàm mất mát là để đo lường

sự khác biệt giữa đầu ra CNN thực tế và đầu ra dự kiến của nó, và nó phải được xác định cẩn thận dựa trên

nhiệm vụ cụ thể của mạng. Trong kiến trúc đề xuất, CNN được sử dụng để ước tính nhiễu kênh

và đầu ra của nó sẽ ảnh hưởng đến hiệu suất giải mã BP trong lần lặp tiếp theo. Do đó, một cách thích hợp

chức năng mất mát phải được lựa chọn bằng cách xem xét đầy đủ mối quan hệ giữa CNN và BP sau

giải mã.

Như đã giới thiệu trong Phần III-A, để tạo thuận lợi cho việc giải mã HA tiếp theo, có hai chiến lược để

huấn luyện mạng. Một là chỉ giảm công suất nhiễu còn lại (đường cơ sở BP-CNN) và một là

là giảm công suất nhiễu còn lại và đồng thời định hình phân phối của nó (BP-CNN nâng cao).

Đối với đường cơ sở BP-CNN, hàm mất mát có thể được chọn làm công suất nhiễu dư điển hình:

2
r
(19)
Tổn thất A = ,
N

trong đó N là độ dài của khối mã hóa. Lưu ý rằng đây là hàm chi phí bậc hai được chấp nhận tốt trong

đào tạo mạng lưới thần kinh.

Đối với BP-CNN nâng cao, cách xác định hàm mất mát thích hợp là một vấn đề mở. mất mát nổi tiếng

các hàm như bậc hai, entropy chéo hoặc phân kỳ Kullback-Leibler không hoàn thành mục tiêu.

Trong công việc này, chúng tôi giới thiệu kiểm tra tính quy tắc cho hàm mất mát, để chúng tôi có thể đo lường khả năng xảy ra

các mẫu tiếng ồn còn lại tuân theo phân phối Gaussian. Hàm mất mát mới được định nghĩa chính thức là

2
r 2 1
Tổn thấtB = + λ S + (C 3)2 . (20)
N 4

Thuật ngữ đầu tiên trong (20) đo sức mạnh của tiếng ồn còn lại và thuật ngữ thứ hai, được chấp nhận từ

Thử nghiệm Jarque-Bera [34], đại diện cho một thử nghiệm quy tắc để xác định mức độ tập dữ liệu được mô hình hóa bởi một
Machine Translated by Google

13

Phân phối Gaussian. λ là hệ số tỷ lệ cân bằng hai mục tiêu này. Cụ thể, S và C trong

(20) được xác định như sau:

1 3
N Tôi = (ri
1 r¯)
S =
2 2/3 ,
1
N Tôi = (ri
1 r¯)
(21)
1 4
N Tôi = (ri
1 r¯)
C =
2 ,
1 2
N Tôi = (ri
1 r¯)

trong đó ri biểu thị phần tử thứ i trong vectơ nhiễu dư và r¯ là giá trị trung bình của mẫu. Trong thống kê, S

và C lần lượt được gọi là độ lệch và độ nhọn. Mặc dù thử nghiệm Jarque-Bera không phải là tối ưu

kiểm tra tính quy tắc, hàm chi phí có thể dẫn xuất được và đơn giản cho việc đào tạo. Hơn nữa, kết quả thực nghiệm

cho thấy rằng nó có thể cung cấp một đầu ra rất mong muốn.

2) Tạo dữ liệu huấn luyện: Để huấn luyện mạng, chúng ta cần cả dữ liệu nhiễu kênh n và ước tính

dữ liệu nhiễu nˆ từ kết quả giải mã BP. Đối với các kết quả mô phỏng trong Phần IV, chúng tôi tập trung vào

các mô hình kênh với các chức năng tương quan tiếng ồn (với máy thu) đã biết và do đó chúng tôi có thể tạo

đủ các mẫu nhiễu kênh để huấn luyện mạng. Ví dụ, đưa ra ma trận tương quan kênh

Σ trong (1), các mẫu nhiễu kênh có thể được tạo bởi

n = Σ 1/2nw, (22)

trong đó nw là một vectơ nhiễu AWGN. Tiếng ồn ước tính nˆ có thể thu được bằng cách tạo đồng nhất

các bit nhị phân phân tán x và mã hóa kênh thực hiện liên tiếp, ánh xạ BPSK, mô phỏng

nhiễu kênh và giải mã BP.

Một yếu tố khác trong việc tạo dữ liệu huấn luyện là điều kiện kênh, tức là tỷ số tín hiệu trên nhiễu

(SNR), sẽ xác định mức độ nghiêm trọng của lỗi giải mã BP và do đó ảnh hưởng đến đầu vào của

mạng lưới. Chúng tôi sử dụng để biểu thị một tập hợp các điều kiện kênh để tạo dữ liệu đào tạo. Nếu kênh

điều kiện rất tốt, rất ít lỗi nˆ và mạng có thể không học được các tính năng mạnh mẽ của

nhiễu kênh. Mặt khác, nếu điều kiện kênh rất xấu, nhiều lỗi tồn tại trong nˆ và chúng

sẽ che lấp các tính năng nhiễu của kênh, điều này cũng gây bất lợi cho việc đào tạo mạng. Trong Mục IV,

chúng tôi sẽ tiến hành một số thí nghiệm để phân tích vấn đề này.

Chúng tôi muốn nhấn mạnh rằng mặc dù đào tạo CNN thường yêu cầu một lượng lớn dữ liệu,

độ phức tạp cao và mạng kết quả phụ thuộc vào dữ liệu đào tạo, những yếu tố này sẽ không cản trở

việc áp dụng kiến trúc đề xuất cho các hệ thống thực tế. Việc đào tạo mạng phần lớn được thực hiện

ngoại tuyến, nơi độ phức tạp đào tạo cần thiết có thể được đáp ứng với các thiết bị tính toán mạnh mẽ như
Machine Translated by Google

14

BẢNG I TÓM

TẮT CÁC THÔNG SỐ QUAN TRỌNG CỦA HỆ THỐNG.

ký hiệu Nghĩa
Số lần lặp giữa
K
bộ giải mã BP và CNN

Cấu trúc CNN:

{L; f1, ..., fL; k1, ..., kL} số lượng lớp, kích thước bộ lọc và

số lượng bản đồ tính năng

{B} Số lần lặp lại BP

Hệ số tỷ lệ của kiểm tra tính

λ
quy phạm đối với BP-CNN nâng cao

Điều kiện kênh để tạo dữ liệu huấn

Γ
luyện

như GPU. Lượng dữ liệu đào tạo cũng là một vấn đề ngoại tuyến, có thể được tạo và lưu trữ hàng loạt

kho. Cuối cùng, mặc dù CNN phụ thuộc vào dữ liệu huấn luyện, nhưng trong thiết kế hệ thống truyền thông thực tế

chúng tôi thường tập trung vào các tình huống đại diện nhất định (“trường hợp sử dụng”) và chúng tôi có thể tạo dữ liệu đào tạo

để phản ánh những kịch bản này. Các CNN được đào tạo kết quả có thể được lưu trữ trong bộ nhớ trên thiết bị để trực tuyến

sử dụng.

F. Tóm tắt thiết kế

Thiết kế đề xuất có thể được tóm tắt bằng cách sử dụng các tham số liên quan, điều này sẽ dẫn đến sự đánh đổi

giữa hiệu suất và độ phức tạp như chúng ta sẽ thấy sau trong các mô phỏng. Thứ nhất, lưu ý rằng đề xuất

khung giải mã là một kiến trúc lặp, một tham số quan trọng là tổng số lần lặp,

ký hiệu là K. Khi đó, cấu trúc của CNN được quyết định bởi số lớp, kích thước bộ lọc và số lượng

bản đồ đặc trưng trong mỗi lớp, được ký hiệu là {L; f1, f2, ..., fL; k1, k2, ..., kL}. Đối với bộ giải mã BP, tham số

quan tâm là số lần lặp lại. Về cơ bản, kiến trúc giải mã BP-CNN lặp trong Hình 1

có thể được mở ra để tạo cấu trúc vòng mở và tất cả các mạng được đào tạo tuần tự, có thể được

được ký hiệu ngắn gọn là BP-CNN1-BP-CNN2-...-CNNx-BP. Kiến trúc lặp được đề xuất thực sự là

một tập hợp con của khuôn khổ chung này. Lưu ý rằng mặc dù khuôn khổ vòng lặp mở tổng quát hơn và

do đó có thể dẫn đến hiệu suất tốt hơn, nó sẽ tiêu tốn một lượng tài nguyên lớn hơn nhiều để thực hiện.

Kiến trúc vòng kín trong Hình 1 chỉ yêu cầu đào tạo và lưu trữ một CNN, trong khi vòng lặp mở

framework có x CNN. Việc đào tạo nhiều CNN nối tiếp có thể rất phức tạp,

vì một CNN sau này có thể phụ thuộc vào việc đào tạo một CNN sớm hơn. Lưu trữ x CNN trên thiết bị cũng sẽ

tăng chi phí.

Machine Translated by Google

15

BẢNG II THIẾT

LẬP CNN CƠ BẢN CHO THÍ NGHIỆM.

cấu trúc CNN {4; 9, 3, 3, 15; 64, 32, 16, 1}

Quy mô lô nhỏ 1400

Kích thước của dữ liệu huấn luyện 2000000

Kích thước của dữ liệu xác thực 100000

SNR để tạo dữ liệu

{0, 0,5, 1, 1,5, 2, 2,5, 3} dB
huấn luyện (Γ)
Phương thức khởi tạo khởi tạo Xavier

phương pháp tối ưu hóa tối ưu hóa Adam

Để đào tạo một mạng với BP-CNN nâng cao, chúng ta cần chọn một λ thích hợp để cân bằng tầm quan trọng của

kiểm tra tính quy tắc trong hàm mất mát và các điều kiện kênh để tạo dữ liệu huấn luyện. Hệ thống quan trọng

các tham số cần được lựa chọn cẩn thận được tóm tắt trong Bảng I. Trong Phần IV, chúng tôi sẽ thực hiện

thực hiện các thử nghiệm mở rộng để phân tích ảnh hưởng của các tham số hệ thống này đến hiệu suất và

cung cấp một số hướng dẫn về lựa chọn của họ.

IV. THÍ NGHIỆM

A. Tổng quan

Trong tất cả các thử nghiệm, chúng tôi sử dụng mã LDPC tỷ lệ 3/4. Độ dài khối mã là 576 và

ma trận kiểm tra chẵn lẻ là từ [35]. Nền tảng thử nghiệm được triển khai trong TensorFlow [36]. Cơ bản

Cấu trúc CNN là {4; 9, 3, 3, 15; 64, 32, 16, 1}. Mạng được khởi tạo bằng khởi tạo Xavier

đã được chứng minh là hoạt động tốt hơn phương pháp khởi tạo ngẫu nhiên [37]. Chúng tôi sử dụng Adam

phương pháp tối ưu hóa để tìm kiếm các tham số mạng tối ưu [38]. Trong quá trình đào tạo, chúng tôi

kiểm tra giá trị tổn thất trên bộ xác thực cứ sau 500 lần lặp lại. Dữ liệu huấn luyện được tạo ra dưới

nhiều kênh SNR: {0, 0,5, 1, 1,5, 2, 2,5, 3} dB. Kênh SNR được định nghĩa là

P
SNR = 10 nhật ký (23)
2 ,
σ

2
trong đó P là công suất phát trung bình và σ là công suất trung bình của các mẫu tiếng ồn phức tạp trong

Máy bay IQ. Mỗi lô nhỏ chứa 1400 khối dữ liệu và dữ liệu của mỗi SNR chiếm cùng một

tỷ lệ. Đào tạo tiếp tục cho đến khi tổn thất không giảm trong một khoảng thời gian liên tiếp (tám séc

trong thử nghiệm của chúng tôi, tương đương với 4000 lần lặp lại). Cài đặt CNN cơ bản được tóm tắt trong Bảng II.

Trong tất cả các thử nghiệm, cài đặt giống như Bảng II trừ khi có quy định khác. Hệ thống mỗi

hình thức được đo bằng tỷ lệ lỗi bit (BER). Để kiểm tra BER với độ chính xác cao và thấp

độ phức tạp, tổng cộng 108 bit thông tin được kiểm tra đối với SNR cao và 107 bit đối với SNR thấp.
Machine Translated by Google

16

Trong phần còn lại của phần này, chúng tôi sẽ phân tích và xác minh giải mã BP-CNN lặp được đề xuất

kiến trúc từ những góc độ khác nhau.

B. Đánh giá hiệu suất

1) BP-CNN giảm giải mã BER: Trước tiên, chúng tôi so sánh hiệu suất của phương pháp được đề xuất và

bộ giải mã BP tiêu chuẩn. Đối với bộ giải mã BP, tổng số 50 lần lặp được thực hiện (ký hiệu là “BP(50)” trong

tượng). Đối với phương pháp đề xuất, chúng tôi sử dụng dạng đơn giản nhất của nó để thử nghiệm, tức là chỉ có một lần lặp

giữa bộ giải mã BP và CNN. Trong trường hợp này, cấu trúc máy thu có thể được ký hiệu đơn giản là

BP-CNN-BP. Chúng tôi trình bày kết quả so sánh cho hai tham số tương quan: η = 0,8 đại diện cho một

mô hình tương quan tương đối mạnh và η = 0,5 đại diện cho một mô hình vừa phải. Ngoài ra, kết quả kiểm tra

trong kênh AWGN mà không có bất kỳ mối tương quan nào (η = 0) được trình bày để chứng minh rằng đề xuất

phương pháp này cũng có thể hoạt động với các tiếng ồn không tương quan và do đó có nhiều ứng dụng. Cả hai đường cơ sở

và các BP-CNN nâng cao được thử nghiệm. Đối với BP-CNN nâng cao, chúng tôi đặt λ thành 0,1, 10 và 10 cho η = 0,8, 0,5

và 0 tương ứng.

Để cô lập và xác định sự đóng góp của CNN, chúng tôi đã giữ tổng số lần lặp lại BP

giống nhau trong hai hệ thống. Trong phương pháp BP-CNN, chúng tôi thực hiện 25 lần lặp BP trong mỗi lần giải mã BP

(ký hiệu là “BP(25)-CNN-BP(25)” trong hình), dẫn đến 50 lần lặp BP giống như quy trình

bộ giải mã BP tiêu chuẩn.

Kết quả thử nghiệm được báo cáo trong Hình 3. Chúng ta có thể thấy rằng cả BP-CNN cơ bản và nâng cao

đạt được mức tăng hiệu suất đáng kể với tiếng ồn tương quan. Trong trường hợp tương quan mạnh khi η = 0,8, BP-CNN có thể

cải thiện hiệu suất giải mã khoảng 3,5dB tại BER=10 4 . nó nên được

nhấn mạnh rằng mức tăng hiệu suất này không thể được bù đắp bằng nhiều lần lặp lại trong BP tiêu chuẩn

bộ giải mã, vì BP(50) đã đạt được hiệu suất bão hòa. Trong trường hợp tương quan vừa phải với

η = 0,5, mức tăng hiệu suất trở nên nhỏ hơn, vì mối tương quan yếu hơn và lợi ích của

áp dụng CNN ít hơn. Đối với trường hợp đặc biệt khi η = 0 và tiếng ồn trở thành iid, đó là

kênh AWGN danh nghĩa, phương pháp được đề xuất thực hiện tương tự với giải mã BP tiêu chuẩn. Chúng tôi

do đó kết luận rằng phương pháp giải mã BP-CNN lặp có thể hỗ trợ nhiều mức tương quan,

và mức tăng hiệu suất thay đổi một cách thích ứng với mối tương quan tiếng ồn. Để thấy điều này rõ ràng hơn, chúng tôi

vẽ sơ đồ mức tăng SNR tại BER=10 4 của bộ giải mã BP-CNN nâng cao qua thuật toán giải mã BP tiêu chuẩn

dưới các giá trị khác nhau của η trong Hình 4. Chúng tôi thấy rằng mức tăng hiệu suất tăng một cách đơn điệu với

mức tương quan η, như mong đợi vì η cao hơn mang lại cơ hội tốt hơn cho CNN

trích xuất tiếng ồn "tính năng".

Machine Translated by Google

17

10-1

10-2

10-3

10-4
BER

10-5

BP(50)
10-6
BP(25)-CNN-BP(25), đường cơ sở
BP(25)-CNN-BP(25), nâng cao
10-7
-3 -2 -1 0 1 2 3
SNR(dB)

(a) η = 0,8, tương quan chặt chẽ. λ = 0,1.

10-1

10-2

10-3

10-4
BER

10-5

BP(50)
10-6
BP(25)-CNN-BP(25), đường cơ sở
BP(25)-CNN-BP(25), nâng cao
10-7
0 0,5 1 1,5 2 2,5 3
SNR(dB)

(b) η = 0,5, tương quan vừa phải. λ = 10.

10-1

10-2

10-3
BER

10-4

10-5 BP(50)
BP(25)-CNN-BP(25), đường cơ sở
BP(25)-CNN-BP(25), nâng cao

10-6
0 0,5 1 2 2,5 3

1,5

SNR(dB) (c) η = 0, không tương quan. λ = 10.

Hình 3. So sánh hiệu suất của BP-CNN với giải mã BP tiêu chuẩn. Chỉ một bước lặp giữa bộ giải mã CNN và BP được thực hiện cho
thiết kế được đề xuất. Các số trong ngoặc biểu thị các lần lặp BP.
Machine Translated by Google

18

2
(dB)
suất
hiệu
Tăng

-1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8

Hình 4. Hiệu suất đạt được của BP-CNN nâng cao dưới các η khác nhau. λ = 10 với η = 0, 0,3, 0,5 và λ = 0,1 với η = 0,7, 0,8.

Chúng ta cũng có thể so sánh bộ giải mã BP-CNN cơ sở và nâng cao từ Hình 3. Chúng tôi thấy rằng mặc dù

cả hai phương pháp đều vượt trội so với BP tiêu chuẩn, BP-CNN nâng cao còn vượt trội hơn so với chiến lược cơ sở.

Như đã giải thích trong Phần III-E, chiến lược nâng cao đã cân bằng cả việc ước tính và định hình tiếng ồn chính xác.

phân phối theo kinh nghiệm đầu ra và do đó phù hợp hơn để ghép nối với bộ giải mã BP.

2) BP-CNN đạt được mức tăng hiệu suất với độ phức tạp thấp hơn: Bên cạnh việc cải thiện khả năng giải mã cho mỗi

hình thức dưới cùng một số lần lặp BP, một tính năng mong muốn khác của BP-CNN lặp

bộ giải mã là nó có thể hoạt động tốt hơn giải mã BP tiêu chuẩn với độ phức tạp tổng thể thấp hơn. Để thấy điều này,

chúng tôi trình bày một tập hợp kết quả khác trong Hình 5. Chi tiết triển khai giống như Hình 3 ngoại trừ

rằng trong bộ giải mã BP-CNN, số lượng của mỗi BP giảm từ 25 xuống 5. Để so sánh, chúng tôi cũng

vẽ hiệu suất giải mã BP tiêu chuẩn với 12 và 50 lần lặp tương ứng. Lý tưởng nhất, chúng tôi sẽ

muốn đặt các tham số BP sao cho cả hai phương pháp đều có cùng độ phức tạp tổng thể, và sau đó

so sánh hiệu suất BER của họ. Tuy nhiên, một so sánh chính xác về sự phức tạp liên quan đến một

Mạng BP và CNN khá khó khăn. Chúng tôi giải quyết vấn đề này bằng cách so sánh thời gian chạy của chúng dưới

cùng một môi trường tính toán1 và điều chỉnh các thông số cho phù hợp. Trong môi trường thử nghiệm của chúng tôi,

chúng tôi quan sát thấy rằng thời gian chạy của CNN với cấu trúc {4; 9, 3, 3, 15; 64, 32, 16, 1} gần tương đương

đến hai lần lặp BP. Điều này có nghĩa là cấu trúc BP(5)-CNN-BP(5) được chọn trong Hình 5 có khoảng

độ phức tạp tương tự như bộ giải mã BP tiêu chuẩn với 12 lần lặp. Chúng tôi cũng vẽ đồ thị BP(50) và quan sát thấy rằng

tăng thêm độ phức tạp của BP tiêu chuẩn mang lại một số lợi ích cận biên. Do đó, BP(12) đại diện cho

một kịch bản tốt nhưng không bão hòa trong đó việc so sánh với BP(5)-CNN-BP(5) là công bằng và có ý nghĩa.

1Cả hai đều được triển khai trong TensorFlow và các mô phỏng được chạy với cùng tài nguyên tính toán.
Machine Translated by Google

19

10-1

10-2

10-3

10-4
BER

10-5

BP(50)

10-6 BP(12)
BP(5)-CNN-BP(5), đường cơ sở
BP(5)-CNN-BP(5), nâng cao
10-7
-3 -2 -1 0 1 2 3

SNR(dB)
(a) η = 0,8, tương quan mạnh. λ = 0,1.

10-1

10-2

10-3

10-4
BER

10-5

BP(50)

10-6 BP(12)
BP(5)-CNN-BP(5), đường cơ sở
BP(5)-CNN-BP(5), nâng cao
10-7
0 0,5 1 1,5 2 2,5 3

SNR(dB)
(b) η = 0,5, tương quan vừa phải. λ = 10.

Hình 5. BP-CNN đạt được mức tăng hiệu suất với độ phức tạp thấp hơn.

Chúng ta thấy từ Hình 5 rằng bộ giải mã BP(5)-CNN-BP(5) cơ sở có hiệu suất tương đương với

tiêu chuẩn BP(50), nhưng với độ phức tạp thấp hơn nhiều. Khi so sánh hiệu suất giải mã với

độ phức tạp xấp xỉ như nhau, cả bộ giải mã BP(5)-CNN-BP(5) cơ bản và nâng cao đều hoạt động tốt hơn

bộ giải mã BP(12) tiêu chuẩn. Một lần nữa, mức tăng này là đáng kể (khoảng 3dB) trong trường hợp tương quan mạnh

của Hình 5(a) nhưng vẫn đáng chú ý (0,1 đến 0,5dB) trong trường hợp tương quan vừa phải của Hình 5(b).

Vì bộ giải mã BP-CNN nâng cao hoạt động tốt hơn bộ giải mã cơ bản, chúng tôi tập trung vào BP-CNN nâng cao

trong phần còn lại của thí nghiệm.

Machine Translated by Google

20

10-1

10-2

10-3

10-4
BER

10-5

Kiểm tra tính chuẩn tắc λ=0,01

10-6 Kiểm tra tính chuẩn tắc λ=0,1

Kiểm tra tính chuẩn tắc

10-7 λ=1 Kiểm tra tính chuẩn tắc

λ=10 Kiểm tra tính chuẩn tắc λ=20

-3 -2,5 -2 -1,5 -1 -0,5 0 0,5 1

SNR(dB)
(a) η = 0,8, tương quan mạnh.

10-1

10-2

10-3

10-4
BER

10-5
Kiểm tra tính chuẩn tắc λ=0,01

Kiểm tra tính chuẩn tắc λ=0,1

10-6 Kiểm tra tính chuẩn tắc

λ=1 Kiểm tra tính chuẩn tắc

λ=10 Kiểm tra tính chuẩn tắc λ=20

10-7
0 0,5 1 1,5 2 2,5 3

SNR(dB)
(b) η = 0,5, tương quan vừa phải.

Hình 6. Cho thấy sự cần thiết của bài kiểm tra tính quy tắc. Cấu trúc máy thu là BP(5)-CNN-BP(5).

3) Lựa chọn siêu tham số λ ảnh hưởng đến hiệu suất của BP-CNN nâng cao: Trong (20), chúng tôi đã xác định

một chức năng mất mới cho BP-CNN nâng cao, bao gồm các biện pháp về cả sức mạnh và tính quy tắc của

tiếng ồn còn lại. Hệ số λ là một siêu tham số quan trọng để cân bằng sự đánh đổi giữa

công suất tiếng ồn còn lại và phân phối của nó. Để chứng minh tầm quan trọng của λ, chúng tôi báo cáo mô phỏng

kết quả trong Hình 6, sử dụng các giá trị khác nhau của λ trong bộ giải mã BP-CNN nâng cao. Lưu ý rằng mô phỏng

sử dụng cài đặt cơ bản ngoại trừ giá trị của λ. Để tăng tốc độ mô phỏng, chúng tôi sử dụng một mô phỏng có độ phức tạp thấp

kiến trúc của BP(5)-CNN-BP(5) trong bộ thử nghiệm này. Chúng ta có thể thấy từ Hình 6 rằng rất nhỏ

các giá trị của λ không thể đảm bảo phân phối Gaussian cho nhiễu dư, trong khi λ rất lớn không thể
Machine Translated by Google

21

Không kiểm tra tính bình thường

kiểm tra tính bình thường

Gaussian
0,8

0,6

CDF

0,4

0,2

0 -4 -3 -2 -1 0 1 2 3 4
Giá trị tiếng ồn dư

Hình 7. So sánh sự phân bố nhiễu còn lại khi có và không có kiểm tra tính quy tắc. Tiếng ồn còn lại được thu thập với η =
0,8, SNR = 0dB và cấu trúc hệ thống là BP(5)-CNN-BP(5). Khi đào tạo mạng với kiểm tra tính quy tắc, λ được đặt thành 0,1.

giảm công suất tiếng ồn còn lại. Do đó, một sự lựa chọn thích hợp của siêu tham số λ sẽ ảnh hưởng đến hiệu suất

của BP-CNN. Tuy nhiên, giống như trong nhiều nhiệm vụ học sâu khác, việc tối ưu hóa λ về mặt phân tích là rất quan trọng.

khó khăn và chúng tôi chọn tham số này dựa trên mô phỏng.

Bây giờ chúng ta hãy xem xét kỹ hơn (20) và xác thực bằng số liệu thử nghiệm tính quy tắc có thực sự

định hình phân phối đầu ra để xấp xỉ Gaussian. Chúng tôi báo cáo phân phối tích lũy theo kinh nghiệm

chức năng (CDF) của nhiễu dư sau CNN trong Hình 7, cả khi có (nghĩa là BP-CNN nâng cao) và không có

(tức là kiểm tra tính quy tắc cơ bản của BP-CNN). Dữ liệu tiếng ồn còn lại được thu thập trong η = 0,8, SNR = 0dB

và BP(5)-CNN-BP(5). Khi huấn luyện mạng với kiểm tra tính quy tắc, λ được đặt là 0,1. Nó là điều hiển nhiên

từ Hình 7 liên quan đến kiểm tra tính quy tắc trong hàm mất mát tạo ra sự phân bố tiếng ồn còn lại

giống Gaussian hơn.

Từ Hình 6, chúng tôi cũng thấy rằng với η = 0,8, λ = 0,1 hoạt động tốt nhất trong số tất cả các giá trị λ được thử nghiệm ,

trong khi λ = 10 hoạt động tốt nhất với η = 0,5. Chúng tôi quan sát thấy rằng λ nhỏ hơn được ưu tiên khi η = 0,8

so với η = 0,5, có thể giải thích như sau. Với mối tương quan mạnh mẽ trong nhiễu kênh,

nhiều thông tin hơn có thể được sử dụng để loại bỏ các lỗi của đầu vào mạng và do đó, λ nhỏ hơn là

ưu tiên làm cho mạng tập trung vào việc giảm công suất nhiễu còn lại. Mặt khác, khi
Machine Translated by Google

22

10-1

BP(5)-CNN-BP(5)
2{BP(5)-CNN}-BP(5)
10-2
3{BP(5)-CNN}-BP(5)
4{BP(5)-CNN}-BP(5)

10-3

10-4
BER

10-5

10-6

10-7
-3 -2,5 -2 -1,5 -1 -0,5 0

SNR(dB)
(a) η = 0,8, tương quan mạnh.

10-1

BP(5)-CNN-BP(5)
2{BP(5)-CNN}-BP(5)
10-2
3{BP(5)-CNN}-BP(5)
4{BP(5)-CNN}-BP(5)

10-3

10-4
BER

10-5

10-6

10-7
0 0,5 1 1,5 2 2,5 3

SNR(dB)
(b) η = 0,5, tương quan vừa phải.

Hình 8. Nhiều lần lặp lại giữa CNN và BP có thể cải thiện hơn nữa hiệu suất giải mã.

tương quan trở nên yếu và các yếu tố đầu vào độc lập hơn, ít thông tin hơn có thể được sử dụng để

loại bỏ lỗi. Trong trường hợp này, mạng cần chú ý hơn đến việc phân phối phần dư

tiếng ồn và do đó λ lớn hơn được ưa chuộng.

4) Nhiều lần lặp lại giữa CNN và BP cải thiện hơn nữa hiệu suất: Cho đến thời điểm này, chúng tôi

chỉ trình bày kết quả mô phỏng của bộ giải mã BP-CNN lặp được đề xuất với một lần lặp.

Đương nhiên, chúng ta có thể thực hiện nhiều lần lặp lại giữa CNN và BP với hy vọng giảm hơn nữa

BER, như trong Hình 1. Về mặt ký hiệu, chúng tôi sử dụng K{BP(n)-CNN}-BP(n) để biểu thị BP lặp lại

Cấu trúc bộ giải mã CNN với K lần lặp giữa BP và CNN, và n lần lặp bên trong BP. Tổng cộng,
Machine Translated by Google

23

10-1

10-2

10-3

BER

10-4

10-5

BP(50)
BP(25)-CNN-BP(25), nâng cao
10-6
-3 -2 -1 0 1 2 3 4 5
SNR(dB)

Hình 9. Kiểm tra hiệu suất với tiếng ồn hồng. λ = 0,1.

K+1 BP(n) và K CNN đang chạy. BP-CNN nâng cao được áp dụng cho nhóm thử nghiệm này. Chúng tôi báo cáo

kết quả mô phỏng với các K khác nhau trong Hình 8. Rõ ràng là nhiều lần lặp cải thiện hơn nữa

hiệu suất giải mã. Khi η = 0,8, so với kiến trúc máy thu chỉ có một lần lặp, hai

Các lần lặp BP-CNN cải thiện hiệu suất giải mã thêm 0,7dB tại BER=10 4 . Ngoài ra, chúng tôi nhận thấy

rằng sau bốn lần lặp lại BP-CNN, sự cải thiện hiệu suất trở nên không đáng kể. Điều này là do

CNN đã đạt đến công suất tối đa và không thể giảm thêm công suất tiếng ồn còn lại.

5) BP-CNN mạnh mẽ dưới các mô hình tương quan khác nhau: Cho đến nay tất cả các kết quả mô phỏng đều thu được

sử dụng mô hình tương quan tiếng ồn được xác định trong (1). Như đã đề cập trong Phần III-A, phương án lặp được đề xuất

Bộ giải mã BP-CNN không dựa vào mô hình tương quan cụ thể này. Điều này phải hợp lý về mặt trực giác

vì cả BP và CNN đều không sử dụng định dạng cụ thể của (1). Bây giờ chúng tôi xác minh tuyên bố này bằng cách mô phỏng

bộ giải mã BP-CNN lặp lại với một mô hình tương quan khác có các đặc điểm được mô tả bởi

mật độ phổ công suất sau:

P(f) 1/|f| α . (24)

Khi α = 1, tiếng ồn thường được gọi là tiếng ồn hồng.

Chúng tôi mô phỏng BP-CNN nâng cao với tiếng ồn hồng và kết quả được báo cáo trong Hình 9. λ được đặt thành

0.1 để huấn luyện mạng. Rõ ràng, phương pháp được đề xuất vẫn đạt được hiệu suất tăng đáng kể,
Machine Translated by Google

24

chứng minh rằng phương pháp đề xuất có thể hỗ trợ các mô hình tương quan khác nhau.

C. BP so với CNN: Tác động đến hiệu suất giải mã

Trong khung đề xuất, cả bộ giải mã BP và CNN đều góp phần cải thiện khả năng giải mã

hiệu suất, nhưng theo những cách rất khác nhau. Bộ giải mã BP ước tính các bit được truyền dựa trên

cấu trúc mã hóa, trong khi CNN làm giảm tiếng ồn bằng cách sử dụng mối tương quan của nó. Một câu hỏi quan trọng

có thể được hỏi: với một lượng tài nguyên tính toán nhất định, người thiết kế nên phân bổ hệ thống như thế nào

độ phức tạp giữa BP và CNN, để có được hiệu suất giải mã tốt nhất?

Một câu trả lời đầy đủ cho câu hỏi này vẫn chưa được biết và chúng tôi sử dụng các mô phỏng số để

cung cấp một số cái nhìn sâu sắc. Trong các mô phỏng, chúng tôi thay đổi phép gán phức tạp giữa BP và CNN,

và theo dõi các thay đổi về hiệu suất. Chúng tôi tập trung vào hình thức đơn giản nhất với chỉ một lần lặp giữa BP

và CNN, do đó cấu trúc máy thu được ký hiệu ngắn gọn là BP-CNN-BP. Chúng tôi bắt đầu điều tra

từ một cấu trúc có độ phức tạp tương đối thấp và thêm độ phức tạp vào bộ giải mã BP và CNN

tương ứng để quan sát hiệu suất được cải thiện như thế nào.

Kết quả cho η = 0,8 và η = 0,5 được đưa ra trong Hình 10. Trong mỗi trường hợp, trước tiên chúng tôi kiểm tra một mối quan hệ

cấu trúc có độ phức tạp thấp, được ký hiệu là BP(5)-CNN(LP)-BP(5), với năm lần lặp BP được thực thi

trong mỗi quá trình giải mã BP. “CNN(LP)” biểu thị một CNN có độ phức tạp thấp, với cấu trúc được xác định

như {3; 5, 1, 9; 16, 8, 1}. Tiếp theo, chúng tôi thêm năm lần lặp BP khác vào mỗi quy trình giải mã BP để kiểm tra

cấu trúc có độ phức tạp tương đối cao (đối với BP) BP(10)-CNN(LP)-BP(10). Cuối cùng, chúng tôi áp dụng một

Cấu trúc CNN {4; 9, 3, 3, 15; 64, 32, 16, 1} (ký hiệu là “CNN(HP)”) và kiểm tra độ phức tạp tương đối cao

(đối với CNN) cấu trúc BP(5)-CNN(HP)-BP(5). Đầu tiên, rõ ràng là việc tăng độ phức tạp của

bộ giải mã BP có thể cải thiện hiệu suất hệ thống, khi cấu trúc CNN gạch chân không thay đổi.

Thứ hai, như đã đề cập trước đây, độ phức tạp của cấu trúc CNN(HP) gần tương đương với hai

vòng lặp BP. Như vậy cấu trúc máy thu của BP(5)-CNN(HP)-BP(5) có độ phức tạp thấp hơn BP(10)-

CNN(LP)-BP(10). Tuy nhiên, như được quan sát từ Hình 10, BP(5)-CNN(HP)-BP(5) mang lại hiệu suất tốt hơn

hơn BP(10)-CNN(LP)-BP(10). Điều này chứng tỏ sự cần thiết của việc giới thiệu CNN để giải mã khi

tiếng ồn kênh có mối tương quan mạnh mẽ hoặc trung bình. Thuật toán BP không có khả năng

trích xuất các đặc trưng tồn tại trong nhiễu kênh để giải mã. Do đó, khi tồn tại mối tương quan chặt chẽ,

sẽ hiệu quả hơn nếu tăng độ phức tạp của CNN để tìm hiểu các đặc điểm của kênh hơn là tăng

độ phức tạp của bộ giải mã BP.

Tuy nhiên, tuyên bố trên không có giá trị khi mối tương quan đủ yếu để rất ít

các đặc tính của nhiễu kênh có thể được trích xuất bởi CNN. Để xác minh điều này, chúng tôi báo cáo một bộ thử nghiệm

trong kênh AWGN trong Hình 11. Theo trực giác, trong trường hợp AWGN khi kênh không có “tính năng” cho
Machine Translated by Google

25

10-1

10-2

10-3

10-4
BER

10-5

10-6 BP(5)-CNN(LP)-BP(5)
BP(10)-CNN(LP)-BP(10)
BP(5)-CNN(HP)-BP(5)
10-7
-3 -2,5 -2 -1,5 -1 -0,5 0 0,5 1

SNR(dB)
(a) η = 0,8, tương quan mạnh.

10-1

10-2

10-3

10-4
BER

10-5

10-6 BP(5)-CNN(LP)-BP(5)
BP(10)-CNN(LP)-BP(10)
BP(5)-CNN(HP)-BP(5)
10-7
0 0,5 1 1,5 2 2,5 3

SNR(dB)
(b) η = 0,5, tương quan vừa phải.

Hình 10. Ảnh hưởng của các mô-đun khác nhau đến hiệu suất hệ thống. Truyền thuyết CNN(LP) biểu thị cấu trúc mạng có độ phức
tạp thấp {3; 5, 1, 9; 16, 8, 1} và CNN(HP) biểu thị cấu trúc mạng có độ phức tạp cao {4; 9, 3, 3, 15; 64, 32, 16, 1}.

CNN để trích xuất, gán độ phức tạp hơn cho bộ giải mã BP sẽ hiệu quả hơn. Điều này được xác minh trong

Hình 11.

D. Tác động của dữ liệu đào tạo được tạo trong các điều kiện kênh khác nhau

Trong cài đặt cơ bản của các thử nghiệm của chúng tôi, dữ liệu đào tạo được tạo theo nhiều kênh SNR,

tức là Γ = {0, 0,5, 1, 1,5, 2, 2,5, 3}dB. Trong một đợt nhỏ, mỗi kênh SNR chiếm tỷ lệ như nhau

của dữ liệu huấn luyện. Trong thực tế, phạm vi hoạt động của SNR có thể không được biết trước, và do đó

SNR huấn luyện và SNR vận hành có thể không phù hợp. Vì vậy, trong phần này, chúng tôi tập trung đào tạo các
Machine Translated by Google

26

10-1

10-2

10-3

BER

10-4

10-5
BP(5)-CNN(LP)-BP(5)
BP(10)-CNN(LP)-BP(10)
BP(5)-CNN(HP)-BP(5)
10-6
0 0,5 1 1,5 2 2,5 3

SNR(dB)

Hình 11. Thử nghiệm dưới các kênh AWGN (tức là, η = 0) để chỉ ra cách bộ giải mã BP và CNN ảnh hưởng đến hiệu suất hệ
thống. Truyền thuyết CNN(LP) biểu thị cấu trúc mạng có độ phức tạp thấp {3; 5, 1, 9; 16, 8, 1} và CNN(HP) biểu thị cấu
trúc mạng có độ phức tạp cao {4; 9, 3, 3, 15; 64, 32, 16, 1}.

mạng với dữ liệu được tạo trong một SNR duy nhất và điều tra mức độ mạnh mẽ của bộ giải mã BP-CNN

dưới một phạm vi của SNR.

Điều đáng chú ý là trong các kết quả trước đó, chúng tôi đã báo cáo một số kết quả không khớp

SNR. Ví dụ: khi η = 0,8, phạm vi SNR của kênh để đánh giá hiệu suất, tức là 3 1dB,

đã khác với phạm vi SNR cho dữ liệu đào tạo. Điều này là do mối tương quan mạnh mẽ tồn tại trong

tiếng ồn và CNN có thể đạt được mức tăng hiệu suất đáng kể và chúng tôi đã kiểm tra hiệu suất BER

dưới SNR kênh thấp hơn SNR đào tạo. Trong phần này, chúng tôi báo cáo đầy đủ hơn

bộ kết quả.

Để phân tích cách tạo dữ liệu ảnh hưởng đến hiệu suất hệ thống, chúng tôi thay đổi kênh

Phạm vi SNR trong các thí nghiệm sau đây. Cụ thể khi η = 0,8 chúng tôi tiến hành thí nghiệm theo

ba cài đặt khác nhau: Γ = { 3, 2,5, 2, 1,5, 1, 0,5, 0}dB, Γ = { 3}dB và Γ = {0}dB. Khi

η = 0,5, chúng tôi xem xét Γ = {0, 0,5, 1, 1,5, 2, 2,5, 3}dB, Γ = {0}dB và Γ = {3}dB. bộ giải mã

kiến trúc là BP(5)-CNN-BP(5) và cấu trúc CNN là {4; 9, 3, 3, 15; 64, 32, 16, 1}.

Các kết quả được báo cáo trong Hình 12. Nói chung, tạo dữ liệu đào tạo theo nhiều loại

kênh SNR là một lựa chọn tốt hơn. Như được hiển thị trong Hình 12(b), đào tạo mạng cho 0dB hoặc 3dB mang lại một
Machine Translated by Google

27

10-1

10-2

10-3

BER

10-4

10-5
Γ={0,-0.5,-1,-1.5,-2,-2.5,-3}
dB
Γ={-3dB} Γ={0dB}
10-6
-3 -2,5 -2 -1,5 -1 -0,5 0

SNR(dB)
(a) η = 0,8, tương quan mạnh. λ = 0,1.

10-1

10-2

10-3

10-4
BER

10-5

10-6 Γ={0,0.5,1,1.5,2,2.5,3}dB
Γ={0dB}
Γ={3dB}
10-7
0 0,5 1 1,5 2 2,5 3

SNR(dB)
(b) η = 0,5, tương quan vừa phải. λ = 10.

Hình 12. Phân tích độ bền của hệ thống đối với dữ liệu đào tạo được tạo trong các điều kiện kênh khác nhau.

hiệu suất kém hơn {0, 0,5, 1, 1,5, 2, 2,5, 3}dB. Điều này chủ yếu được gán cho các công nghệ học sâu

phụ thuộc vào dữ liệu huấn luyện để chọn tham số mạng. Khi Γ = {3}dB, SNR tốt và

có một vài lỗi trong đầu vào CNN, tức là nˆ. Với những dữ liệu “lệch” này, nhà mạng khó

để tìm hiểu làm thế nào để loại bỏ lỗi. Mặt khác, nó cũng không phải là một lựa chọn tốt để tạo dữ liệu đào tạo

trong điều kiện kênh không tốt, chẳng hạn như Γ = {0}dB trong Hình 12(b). Trong trường hợp này, dữ liệu huấn luyện chứa

quá nhiều lỗi, điều này cũng không có lợi cho mạng trong việc tìm hiểu các tính năng mạnh mẽ của nhiễu kênh.

Các kết quả tương tự cũng thu được với η = 0,8 như trong Hình 12(b). Điều đáng chú ý là việc tạo ra

dữ liệu dưới 0dB cung cấp hiệu suất tương tự như tạo dữ liệu dưới -3 đến 0dB. Nó chỉ ra rằng
Machine Translated by Google

28

tạo dữ liệu dưới 0dB cũng là một lựa chọn tốt khi η = 0,8. Cuối cùng, làm thế nào để chọn tối ưu

điều kiện kênh để tạo dữ liệu là một nhiệm vụ khó khăn. Do đó, chúng tôi đề xuất rằng dữ liệu huấn luyện nên được

được tạo ra trong nhiều điều kiện kênh để nâng cao tính đa dạng của dữ liệu.

V. KẾT LUẬN VÀ HƯỚNG TƯƠNG LAI

Trong bài báo này, chúng tôi đã thiết kế một cấu trúc giải mã BP-CNN lặp mới để xử lý các

nhiễu kênh. Khung được đề xuất nối chuỗi CNN với bộ giải mã BP và lặp lại

giữa họ. Bộ giải mã BP là để ước tính các bit được mã hóa và gián tiếp ước tính nhiễu kênh. Các

CNN là loại bỏ các lỗi ước lượng nhiễu kênh của bộ giải mã BP bằng cách tìm hiểu mối tương quan nhiễu.

Để triển khai khuôn khổ, chúng tôi đã đề xuất áp dụng cấu trúc mạng tích chập hoàn toàn và

cung cấp hai chiến lược để huấn luyện mạng. Chúng tôi đã thực hiện các mô phỏng rộng rãi để hiển thị

hiệu quả của bộ giải mã BP-CNN lặp được đề xuất.

Có một số hướng nghiên cứu quan trọng cho khung BP-CNN lặp, đáng

điều tra trong tương lai. Thứ nhất, hàm mất mát không hoàn toàn tương đương với hiệu năng của hệ thống

đo lường, và việc tìm kiếm một hàm mất mát tốt hơn là một trong những hướng quan trọng trong tương lai. Hơn nữa,

như đã đề cập trong Phần III-F, hệ thống lặp được đề xuất trong bài báo này có thể được mở rộng thành một hệ thống mở.

hệ thống vòng lặp và để linh hoạt tối đa, chúng ta có thể thiết kế số lần lặp BP khác nhau trong mỗi BP

quá trình giải mã cũng như các cấu trúc CNN khác nhau. Hệ thống này có thể được ký hiệu là BP(n1)-CNN1-

BP(n2)-CNN2-...-BP(nx)-CNNx-BP(nx+1) và cung cấp bậc tự do tối đa có thể

phân bổ độ phức tạp trong tất cả các thành phần để tối đa hóa hiệu suất. Chúng tôi dự định nghiên cứu chung này

kiến trúc trong công việc tương lai.

NGƯỜI GIỚI THIỆU

[1] CE Shannon, “Một lý thuyết toán học về giao tiếp,” Tạp chí Kỹ thuật Hệ thống Bell, tập. 27, 1948.

[2] R. Gallager, “Mã kiểm tra chẵn lẻ mật độ thấp,” Giao dịch IRE về lý thuyết thông tin, tập. 8, không. 1, trang 21–28, 1962.

[3] TJ Richardson và RL Urbanke, “Khả năng của các mã kiểm tra chẵn lẻ mật độ thấp trong quá trình giải mã chuyển thông điệp,”

IEEE Trans. thông tin liên lạc Lý thuyết, tập. 47, không. 2, trang 599–618, tháng 2 năm 2001.

[4] S. Lin và D. Costello, Mã hóa kiểm soát lỗi. Vách đá Englewood, NJ: Hội trường Prentice, 2004.

[5] E. Arikan, “Phân cực kênh: Phương pháp xây dựng mã đạt dung lượng cho đầu vào nhị phân đối xứng

các kênh không có bộ nhớ,” IEEE Trans. thông tin liên lạc Lý thuyết, tập. 55, không. 7, trang 3051–3073, tháng 7 năm 2009.

[6] G. Liva, L. Gaudio, T. Ninacs và T. Jerkovits, “Thiết kế mã cho các khối ngắn: Một cuộc khảo sát,” in lại arXiv, 2016. [Trực tuyến].

Có sẵn: http://arxiv.org/abs/1610.00873

[7] SK Sharma, S. Chatzinotas và B. Ottersten, “Ước tính SNR cho máy thu nhận thức đa chiều theo tương quan

kênh/tiếng ồn,” IEEE Wireless Common. Lett., tập. 12, không. 12, trang 6392–6405, 2013.

[8] ML Honig, Những tiến bộ trong phát hiện nhiều người dùng. Nhà xuất bản Wiley-IEEE, 2009.
Machine Translated by Google

29

[9] K. He, X. Zhang, S. Ren và J. Sun, “Học tập dư sâu để nhận dạng hình ảnh,” trong Kỷ yếu của Hội nghị IEEE

về Thị giác máy tính và Nhận dạng mẫu, 2016, trang 770–778.

[10] I. Sutskever, O. Vinyals, và QV Le, “Trình tự học chuỗi với mạng nơ-ron,” trong Advances in Neural

Hệ thống xử lý thông tin (NIPS), 2014, trang 3104–3112.

[11] C. Chen, A. Seff, A. Kornhauser và J. Xiao, “DeepDriving: Khả năng học tập để nhận thức trực tiếp trong xe tự hành

lái xe,” trong Kỷ yếu của Hội nghị Quốc tế IEEE về Tầm nhìn Máy tính, 2015, trang 2722–2730.

[12] E. Nachmani, Y. Be'ery và D. Burshtein, “Học cách giải mã mã tuyến tính bằng cách sử dụng học sâu,” trong The 54th Annual

Hội nghị Allerton về Truyền thông, Điều khiển và Điện toán, tháng 9 năm 2016, trang 341–346.

[13] TJ O'Shea, K. Karra và TC Clancy, “Học cách giao tiếp: bộ mã hóa tự động kênh, bộ điều chỉnh tên miền cụ thể,

và sự chú ý,” bản in sẵn của arXiv, 2016. [Trực tuyến]. Có sẵn: http://arxiv.org/abs/1608.06409

[14] TJ O'Shea, S. Hitefield và J. Corgan, “Nhận dạng chuỗi lưu lượng vô tuyến từ đầu đến cuối với các mạng thần kinh hồi quy,”

trong Hội nghị toàn cầu về xử lý thông tin và tín hiệu của IEEE (GlobalSIP). IEEE, 2016, trang 277–281.

[15] E. Nachmani, E. Marciano, D. Burshtein và Y. Be'ery, “Giải mã RNN của mã khối tuyến tính,” in lại arXiv, 2017.

[Trực tuyến]. Có sẵn: http://arxiv.org/abs/1702.07560

[16] L. Lugosch và WJ Gross, “Giải mã tổng tối thiểu bù trừ thần kinh,” bản in trước của arXiv, 2017. [Trực tuyến]. Có sẵn:

http://arxiv.org/abs/1701.05931

[17] T. Gruber, S. Cammerer, J. Hoydis và S. ten Brink, “Về giải mã kênh dựa trên học sâu,” trong tạp chí The 51st Annual

Hội nghị Khoa học Thông tin và Hệ thống (CISS). IEEE, 2017, trang 1–6.

[18] S. Cammerer, T. Gruber, J. Hoydis và S. ten Brink, “Mở rộng quy mô giải mã mã cực dựa trên học sâu thông qua

phân vùng,” in lại arXiv, 2017. [Trực tuyến]. Có sẵn: http://arxiv.org/abs/1702.06901

[19] TJ O'Shea và J. Hoydis, “Giới thiệu về hệ thống truyền thông máy học,” bản in trước của arXiv, 2017.

[Trực tuyến]. Có sẵn: http://arxiv.org/abs/1702.00832

[20] N. Farsad và A. Goldsmith, “Các thuật toán phát hiện cho các hệ thống liên lạc sử dụng học sâu,” bản in trước của arXiv,

2017. [Trực tuyến]. Có sẵn: http://arxiv.org/abs/1705.08044

[21] N. Samuel, T. Diskin và A. Wiesel, “Dò tìm MIMO sâu,” in trước arXiv, 2017. [Trực tuyến]. Có sẵn:

http://arxiv.org/abs/1706.01151

[22] S. Dorner, S. Cammerer, J. Hoydis và S. ten Brink, “Giao tiếp qua mạng dựa trên học tập sâu,” bản in lại của arXiv,

Tháng 7 năm 2017. [Trực tuyến]. Có sẵn: http://arxiv.org/abs/1707.03384

[23] V. Jain và S. Seung, “Khử nhiễu hình ảnh tự nhiên với các mạng tích chập,” trong Những tiến bộ trong xử lý thông tin thần kinh

Hệ thống (NIPS), 2009, trang 769–776.

[24] C. Dong, C. C. Loy, K. He và X. Tang, “Hình ảnh siêu phân giải sử dụng các mạng tích chập sâu,” IEEE Trans. Mẫu

hậu môn. máy móc. Trí tuệ, tập. 38, không. 2, trang 295–307, 2016.

[25] A. Krizhevsky, I. Sutskever, và GE Hinton, “Phân loại Imagenet với các mạng thần kinh tích chập sâu,” trong

Những tiến bộ trong Hệ thống xử lý thông tin thần kinh (NIPS), 2012, trang 1097–1105.

[26] S. Ren, K. He, R. Girshick và J. Sun, “R-CNN nhanh hơn: Hướng tới phát hiện đối tượng theo thời gian thực với các mạng đề xuất khu vực,”

trong Những tiến bộ trong Hệ thống xử lý thông tin thần kinh (NIPS), 2015, trang 91–99.

[27] D. Silver, A. Huang, CJ Maddison, A. Guez, L. Sifre, G. Van Den Driessche, J. Schrittwieser, I. Antonoglou,

V. Panneershelvam, M. Lanctot và cộng sự, “Làm chủ trò chơi cờ vây với mạng lưới thần kinh sâu và tìm kiếm trên cây,” Nature,

tập 529, không. 7587, trang 484–489, 2016.

[28] I. Dimnik và Y. Be'ery, “Giải mã HDPC lặp lại dự phòng ngẫu nhiên được cải thiện,” IEEE Trans. Cộng đồng, tập. 57, không. 7,

trang 1982–1985, 2009.

Machine Translated by Google

30

[29] T. Mikolov, M. Karafi´at, L. Burget, J. Cernock`y, và S. Khudanpur, “Mô hình ngôn ngữ dựa trên mạng thần kinh tái phát.” TRONG

Giao thoa, tập. 2, 2010, tr. 3.

[30] K. Zhang, W. Zuo, Y. Chen, D. Meng và L. Zhang, “Bên ngoài bộ khử nhiễu gaussian: Việc học còn lại của CNN sâu cho

khử nhiễu hình ảnh,” IEEE Trans. Quá trình hình ảnh., vol. 26, không. 7, trang 3142–3155, 2017.

[31] V. Nair và GE Hinton, “Các đơn vị tuyến tính được chỉnh lưu cải thiện các máy Boltzmann bị hạn chế,” trong Kỷ yếu ngày 27

hội nghị quốc tế về học máy (ICML-10), 2010, trang 807–814.

[32] X.-J. Mao, C. Shen và Y.-B. Yang, “Phục hồi hình ảnh bằng cách sử dụng bộ mã hóa tự động tích chập với bỏ qua đối xứng

các kết nối,” bản in sẵn của arXiv, 2016. [Trực tuyến]. Có sẵn: http://arxiv.org/abs/1606.08921

[33] I. Goodfellow, Y. Bengio, và A. Courville, Deep Learning. Nhà xuất bản MIT, 2016.

[34] T. Thadewald và H. B¨uning, “Thử nghiệm Jarque–Bera và các đối thủ cạnh tranh của nó để thử nghiệm tính quy phạm: So sánh sức mạnh,” Tạp chí

của thống kê ứng dụng, vol. 34, không. 1, trang 87–105, 2007.

[35] M. Helmling và S. Scholl, “Cơ sở dữ liệu mã kênh và kết quả mô phỏng ML,” www.uni-kl.de/channel-codes, (Wimax

3/4A), Đại học Kaiserslautern, 2016.

[36] M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J. Dean, M. Devin, S. Ghemawat, G. Irving, M. Isard và cộng sự, “Tensorflow:

Một hệ thống dành cho máy học quy mô lớn,” trong Kỷ yếu của Hội nghị chuyên đề USENIX lần thứ 12 về Thiết kế hệ điều hành

và Triển khai (OSDI). Savannah, Georgia, Hoa Kỳ, 2016.

[37] X. Glorot và Y. Bengio, “Hiểu được khó khăn trong việc đào tạo mạng lưới thần kinh chuyển tiếp sâu.” trong AISTATS, tập. 9,

2010, trang 249–256.

[38] D. Kingma và J. Ba, “Adam: Một phương pháp để tối ưu hóa ngẫu nhiên,” bản in trước của arXiv, 2014. [Trực tuyến]. Có sẵn:

http://arxiv.org/abs/1412.6980