Translated from English to Vietnamese - www.onlinedoctranslator.

com

Phát triển hệ thống điện toán thần kinh

Luping Shi1 *, Jing Pei1, Ning Deng2, Dong Wang1, Lei Deng1, Yu Wang3, Youhui Zhang4, Feng Chen5, Mingguo Zhao5, Sen Song6
, Fei Zeng7, Guoqi Li1, Huanglong Li1, Cheng Ma1
1Trungtâm Nghiên cứu Máy tính Lấy cảm hứng từ Bộ não (CBICR), Trung tâm Nghiên cứu Kỹ thuật Quốc gia về Bộ nhớ Quang
học, Cục Dụng cụ chính xác,2Viện Vi điện tử,3Khoa kỹ thuật điện tử,4Khoa khoa học máy tính và công nghệ,5
Khoa tự động hóa,6Khoa kỹ thuật y sinh,7Khoa kỹ thuật và khoa học vật liệu,
Đại học Thanh Hoa, Bắc Kinh 100084, Trung Quốc

ĐT: (86) 10 62771685, Fax: (86) 1062771685, Email:lpshi@tsinghua.edu.cn

trừu tượng mạng nơ-ron với hiệu suất thời gian thực hợp lý về mặt sinh học.

Mặc dù có nhiều giải pháp cho các hệ thống thần kinh đa hình
dựa trên công nghệ phần cứng và các sơ đồ lập trình phần
mềm khác nhau, nhưng vẫn chưa có một giải pháp chung nào
được chấp nhận. Dựa trên một số phát hiện gần đây trong
khoa học não bộ, chúng tôi đề xuất một quy tắc thiết kế mới để
phát triển một hệ thống máy tính lấy cảm hứng từ não bộ.
Chúng tôi thiết kế và chế tạo một con chip thần kinh đa hình,
có tên là chip 'Tianji'. Một bảng mạch PCB dựa trên kiến trúc
đa chip đã được chứng minh. Bài báo này trình bày sơ đồ triển
khai phần cứng và lập trình phần mềm chi tiết.
Giới thiệu
Tính toán thần kinh rất hấp dẫn để phát triển máy tính hiệu suất cao
và thông minh trong tương lai. Trong lịch sử, máy tính chắc chắn là
Một hệ thống có tới 2500 bộ xử lý, để trình bày mô hình lập trình
hướng sự kiện thời gian thực đã được trình diễn. Mục đích là để mô
phỏng hành vi của một tỷ tế bào thần kinh tương đương với khoảng 1%
tế bào thần kinh trong não người.
Ngoài ra, nhiều nỗ lực khác đã được thực hiện để phát triển các giải
pháp khác nhau cho các hệ thống tính toán thần kinh đa hình, chẳng hạn
như loại dựa trên mạch tương tự [3], loại hỗn hợp tương tự-kỹ thuật số
[4, 5], dựa trên bộ nhớ không bay hơi hoặc bộ nhớ
-based type [6- 11], v.v ... Mỗi giải pháp đều có những ưu điểm và hạn chế
đặc biệt, kết quả là cho đến nay vẫn chưa có một giải pháp được chấp nhận
chung. Cũng cần tìm kiếm một số giải pháp công nghệ mới.
Lý thuyết xem xét sự phát triển của một hệ thống máy
tính lấy cảm hứng từ não bộ
Dendrite
Mũi nhọn

một trong những phát minh vĩ đại nhất. Dựa trên máy tính, chúng tôi Synapse
đã xây dựng một vũ trụ kỹ thuật số, trong đó chúng ta có thể kết nối
và giao tiếp với nhau mọi lúc mọi nơi. Trong nửa thế kỷ trước, việc
mở rộng cả CPU và bộ nhớ, hai thành phần chính trong máy tính dựa Soma Sợi trục
trên kiến trúc von Neumann, đã và đang là động lực quan trọng của sự
phát triển máy tính. Tuy nhiên, việc tính toán và lưu trữ tách biệt dẫn
đến hiệu quả thấp và việc mở rộng quy mô sẽ đạt đến giới hạn vật lý Sinh học Cấu
của nó trong vòng 15 đến 20 năm. Đây là thời điểm để tìm ra một mô
hình mới để phát triển hơn nữa công nghệ máy tính. trúc nơron

Hệ thống thần kinh đa dạng hiện đại Modha và

cộng sự. [1], đã chứng minh một khối xây dựng lõi mô-đun nhỏ Neuromorphic
gọn cho kiến trúc hệ thống thần kinh hình dạng quy mô lớn. Lõi Cấu trúc nơron
Synapse
neurosynaptic kết hợp các neuron kỹ thuật số với mảng synap lớn. Mũi nhọn

Dựa trên nó, một kiến trúc phi von Neumann có thể mở rộng, hiệu
quả và linh hoạt bằng cách sử dụng công nghệ silicon đã được Lộ trình
chứng minh. Mục đích là xây dựng các siêu máy tính tiếp hợp thần Nơron
Mạng
kinh bằng cách tạo ra các hệ thống với hàng trăm nghìn lõi, hàng Mạng định tuyến
Mô hình
Máy phát Axon
trăm triệu tế bào thần kinh và hàng trăm tỷ khớp thần kinh.
Furber và cộng sự. [2], đã chứng minh một máy tính nghìn nhân
song song phù hợp để lập mô hình tăng đột biến quy mô lớn Hình 1.Lược đồ cấu trúc nơron sinh học và cấu trúc
nơron hình thái.
Để thiết kế một hệ thống tính toán thần kinh, còn được gọi là một loại hệ
thống tính toán lấy cảm hứng từ não bộ, chúng tôi đã đưa ra một quy tắc
thiết kế hệ thống mới. Điển hình như được minh họa trong Hình 1, quy tắc
thiết kế thần kinh cấu trúc, bao gồm phần tử hoặc

978-1-4673-9894-7 / 15 / $ 31,00 © 2015 IEEE 4.3.1 IEDM15-72

mô hình hệ thống, kiến trúc phần cứng, mạng định tuyến, thuật toán
tính toán, được xây dựng dựa trên những phát hiện hiện tại trong khoa truyền dữ liệu lõi và liên lõi, tức là nó nhận các gói sự kiện từ các mạch
học não bộ [12-17], chẳng hạn như cấu trúc nơ-ron và khớp thần kinh nơ-ron hoặc các lõi lân cận và chuyển chúng đến lõi đích hoặc bộ đồng bộ
và cấu hình kết nối, các đặc điểm kết nối của não động vật có vú, cụm hóa của lõi cục bộ. Synchronizer phân tích cú pháp các gói sự kiện nhận
tế bào thần kinh, luồng thông tin phân cấp, toàn bộ mô hình não, v.v. được từ bộ định tuyến và lưu trạng thái khớp thần kinh tương ứng trong bộ
nhớ đệm được chỉ định. Sau đó, nó cung cấp vectơ trạng thái khớp thần
Triển khai phần cứng của chip 'Tianji' Dựa trên những kinh đến mạng lưới khớp thần kinh, nhưng chỉ ở cạnh lên của tín hiệu kích
điều liên quan ở trên, chúng tôi đã thiết kế và chế tạo một con chip hoạt toàn cục. Trình quản lý tham số nhận các tham số cốt lõi từ máy chủ,
thần kinh biến hình gọi là chip 'Tianji'. Như thể hiện trong Hình 2, kiến bao gồm trọng số khớp thần kinh, tham số nơ-ron và địa chỉ định tuyến,
trúc chip điện toán thần kinh cấu trúc được đề xuất bao gồm khối xây sau đó truyền chúng đến các mô-đun đích.
dựng gồm nhiều lõi, một mảng lõi kép, với nền tảng phần cứng kỹ
thuật số. Tất cả sáu lõi được kết nối bởi một mạng lưới định tuyến và
thực hiện một hoạt động song song. Các gói sự kiện, được tạo bởi các
nơ-ron tương tự hoặc tăng đột biến trong lõi, được truyền đến lõi mục
tiêu thông qua mạng định tuyến. Một hệ thống cấu trúc thần kinh chức
năng bao gồm hàng chục hoặc hàng trăm chip kết nối với nhau. Giao
tiếp giữa các chip được thực hiện theo cách tương tự như giao tiếp trên
chip. Con chip này cung cấp cho các nhà nghiên cứu một tập hợp các
nguyên tắc ban đầu để xây dựng các mô hình thần kinh đa hình song
song.

Core_1 Core_2 Core_3 Hình 3.Sơ đồ khối logic của lõi, là đơn vị cơ bản của chip
'Tianji'.
Hình 4 cho thấy cấu trúc của bộ đồng bộ hóa trong đó bộ điều khiển
bộ đồng bộ hóa giữa giao diện đầu vào và đầu ra giao tiếp với bộ nhớ
đệm về trạng thái khớp thần kinh. Khi nhận được gói đầu vào cục bộ,
bộ điều khiển phân tích cú pháp nó để lấy địa chỉ hàng sợi trục đích.
Kết quả phân tích cú pháp của tất cả các địa chỉ sợi trục trong một cửa
Core_4 Core_5 Core_6 sổ thời gian xác định trước, vectơ trạng thái khớp thần kinh, sau đó
được lưu trữ trong bộ nhớ đệm trạng thái khớp thần kinh. Tại cạnh lên
tiếp theo của tín hiệu kích hoạt toàn cục, bộ điều khiển truy xuất vectơ
trạng thái khớp thần kinh từ bộ nhớ trạng thái khớp thần kinh và sau
đó gửi nó đến mạng khớp thần kinh.

Hình 2.Sơ đồ mô hình tính toán song song của chip 'Tianji'.

Hình 3 minh họa cấu trúc phần tử của lõi chip 'Tianji' bao gồm
khối nơ-ron, mạng tiếp hợp, bộ định tuyến, bộ đồng bộ hóa và trình
quản lý tham số, cũng như các giao diện đầu vào và đầu ra. Khối
Neuron thực hiện tích hợp các đầu vào đuôi gai, trừ rò rỉ và kiểm tra
ngưỡng theo cách TDM (Ghép kênh phân chia theo thời gian). Khi tiềm
năng của một tế bào thần kinh vượt quá ngưỡng được xác định trước,
một tín hiệu tăng đột biến sẽ được gửi đến bộ định tuyến. Mạng khớp
thần kinh thực hiện phép nhân các trọng số khớp thần kinh được lưu trữ
của nó với vectơ trạng thái của các đầu vào trước và gửi kết quả đến các
Hinh 4.Bộ đồng bộ hóa bao gồm bộ điều khiển bộ đồng bộ hóa và bộ nhớ
mạch nơ-ron dưới dạng đầu vào đuôi gai. Bộ định tuyến phụ trách nội đệm trạng thái khớp thần kinh.
bộ

IEDM15-73 4.3.2
Hình 5 minh họa cấu hình thời gian của bộ đồng bộ hóa. Dữ liệu
đầu vào cục bộ và dữ liệu bộ đồng bộ hóa lần lượt là đầu vào và
đầu ra của bộ đồng bộ hóa. Tín hiệu đồng hồ tần số cố định được
sử dụng làm tín hiệu kích hoạt chung để đồng bộ hóa các bước SRAM
thời gian của nhiều lõi.

Kích hoạt toàn cầu 1KHz

Đầu vào Spike

Core_1 quặng_3
Đầu vào cục bộ

Bộ đồng bộ hóa
Trạng thái Synapse
Core_2
Dữ liệu

Hình 5.Hình minh họa về cấu hình thời gian cụ thể của bộ đồng bộ
hóa.
Hình 6 minh họa mô-đun quản lý tham số thích ứng. Nó chịu Core_5
trách nhiệm nhận các tham số cốt lõi, bao gồm trọng số khớp
thần kinh, tham số nơ-ron và địa chỉ đích (hoặc được gọi là Core_4 Core_6
bảng định tuyến), từ máy tính chủ hoặc FPGA chủ. Các tham Hình 7.Đường viền thiết kế vi mạch của chip 'Tianji'.
số sau đó được tải xuống mạng synap, khối nơ-ron và bộ định
tuyến để khởi tạo lõi.

Hình 8. Một bức ảnh của Chip 'Tangji'.

Hình 6.Một mô-đun quản lý tham số thích ứng.
Hình 7 minh họa đường viền của thiết kế vi mạch. Chip thần kinh biến
hình đã được ứng dụng công nghệ CMOS 120 nm. Sáu màu khác
nhau đại diện cho sáu lõi trong một chip, trong khi các vùng bóng mờ
biểu thị bộ nhớ trong đó trọng số của khớp thần kinh, tham số nơ-ron,
địa chỉ đích (bảng định tuyến) được lưu trữ. Hình 8 cho thấy một bức
ảnh của chip 'Tianji'.
Hình 9 mô tả hệ thống bảng mạch PCB nhiều chip để phát triển các
ứng dụng tiềm năng khác nhau, chẳng hạn như tính toán nhanh, xử lý
thính giác và thị giác, điều khiển robot, v.v. Chip FPGA đóng vai trò là
bộ điều khiển chính và phương tiện giao tiếp với máy tính chủ thông
qua cổng USB hoặc cổng Ethernet RJ-45 trên bo mạch. Các chip, tạo
thành một mảng hai chiều 4 × 4, nhận dữ liệu đầu vào hoặc dữ liệu cấu
hình (tham số cốt lõi) từ bộ điều khiển FPGA thông qua Bus dữ liệu
cấu hình; trong khi FPGA lấy những dữ liệu này từ FLASH 1Gbit hoặc
máy tính chủ. Luồng dữ liệu đầu ra của chip cũng được chuyển đến
FPGA thông qua bus dữ liệu, sau đó được lưu trữ trong FLASH hoặc
được gửi đến máy tính chủ.

4.3.3 IEDM15-74
 chip và các công nghệ cốt lõi liên quan của hệ thống máy tính lấy cảm hứng từ
bộ não mười triệu lớp.
Tianji Tianji Tianji Tianji Người giới thiệu
ChipChipChipChip [1] PA Merolla và cộng sự, “Mạch tích hợp một triệu xoắn ốc-nơ-ron với
mạng và giao diện có thể mở rộng”, Science 345, 668-673 (2014).

[2] SB Furber và cộng sự, “Dự án SpiNNaker,” Proc. IEEE 102, 652–665
Tianji Tianji Tianji Tianji (2014).
Chip Chip Chip Chip [3] E. Chicca và cộng sự, “Mạch điện tử thần kinh để xây dựng hệ thống nhận
thức tự chủ,” Proc. IEEE 102, 1367-1388 (2014).
[4] J. Schemmel và cộng sự, “Hệ thống phần cứng thần kinh quy mô Wafer để tạo mô hình
thần kinh quy mô lớn,” Proc. IEEE Int. Hội nghị chuyên đề về Mạch và Hệ thống, 1947-
Tianji Tianji Tianji Tianji 1950 (2010).
Chip Chip Chip Chip [5] B. Benjamin và cộng sự, “Neurogrid: Một hệ thống đa kênh kỹ thuật số-tương tự-
hỗn hợp để mô phỏng thần kinh quy mô lớn,” Proc. IEEE 102, 699-716 (2014).
[6] G. Snider và cộng sự, “Từ Synapses đến Circuitry: Sử dụng Memristive Memory để
khám phá bộ não điện tử,” Computer 2, 21-28 (2011).
Tianji Tianji Tianji Tianji [7] S. Park và cộng sự, “Hệ thống điện tử với các khớp thần kinh ghi nhớ để nhận dạng
Chip Chip Chip Chip khuôn mẫu,” Sci. Rep. 5, 10123 (2015).
[8] M. Prezioso và cộng sự, “Đào tạo và vận hành mạng lưới thần kinh tích
hợp dựa trên màng kim loại-oxit,” Nature 521, 61-64 (2015).
Hình 9.Một bảng CẤU
mạch HÌNH BUS
PCB dựa DỮ
trên LIỆU
kiến trúc đa chip. [9] BL Jackson và cộng sự, “Synapses điện tử kích thước nano sử dụng thiết bị thay đổi pha,”
ACM J. khẩn cấp. Technol. Tính toán. Syst. 9, 12 (2013).
Lập trình phần mềm [10]D. Kuzum và cộng sự, “Điện tử tiếp hợp: Vật liệu, thiết bị và ứng
Để vận hành
mềm có thể
FPGA
USBchip 'Tianji', chúng tôi đã phát triển một hệ thống
sử dụng các mô hình mạng nơron khác nhau như
RJ-45
phần
TỐC BIẾN
một biểu
dụng,” Công nghệ nano 24, 382001 (2013).
(1Gb) [11] O. Bichler và cộng sự, “Khai thác mẫu trực quan sử dụng năng lượng hiệu quả '2- PCM
đồ có hướng có thể cấu hình lại và ánh xạ cái sau vào hệ thống phần Synapse' Kiến trúc thần kinh,” IEEE Trans. Thanh lịch. Nhà phát triển. 59, 2206– 2214
cứng để đạt hiệu quả sử dụng cao. Chúng tôi cũng thiết kế một nền tảng (2012).
mô phỏng dựa trên cụm máy tính và hệ thống FPGAbased để nó có thể
tiến hành mô phỏng dựa trên các mô hình khác nhau. Các nút giữ trạng [12] C. Eliasmith và cộng sự, “Mô hình quy mô lớn của bộ não hoạt động”,
Science 338, 1202-1205 (2012).
thái tính toán, cũng như trao đổi thông tin. Tất cả các nút thực hiện một
bước tính toán theo cáchMô-đun ứng
song song. dụng
Đồng hồ cụ thể của đồ thị và lược [13] W. Maass và cộng sự, “Tiếng ồn như một nguồn tài nguyên cho tính toán và học tập trong mạng của
đồ mã hóa được thiết lập để chúng tôi có thể áp dụng nó cho một số các tế bào thần kinh xoắn ốc,” Proc. IEEE 102, 860-880 (2014).
ứng dụng thời gian thực. [14] M. Okun và cộng sự, “Sự ghép nối đa dạng của tế bào thần kinh với quần thể trong vỏ não cảm
giác,” Nature 521, 511-515 (2015).
Sự kết luận
[15] F. Anselmi và cộng sự, “Mạng sâu cấu trúc là Máy nhân phân cấp”, arXiv
Một quy tắc thiết kế mới của hệ thống tính toán thần kinh cơ dựa trên preprint arXiv: 1508.01084, 2015.
những phát hiện hiện tại trong khoa học não bộ đã được đề xuất và chip
'Tangji' được thiết kế và chế tạo dựa trên nó. Một bảng [16] N. Hiratani và T. Fukai. “Học tín hiệu hỗn hợp bằng cách lan truyền tương quan
Spike trong các mạch ức chế phản hồi,” PloS Comput. Biol. 11, e1004227
(2015).

[17] SR Kheradpisheh và cộng sự, “Học tập không giám sát lấy cảm hứng từ sinh học về các tính
mạch PCB dựa trên kiến trúc đa chip đã được triển khai. Hệ thống phần năng trực quan dẫn đến khả năng nhận dạng đối tượng bất biến mạnh mẽ,” arXiv preprint arXiv:
mềm tương ứng và nền tảng mô phỏng đã được phát triển cho các ứng 1504.03871, 2015.
dụng khác trên chip.

Sự nhìn nhận
Công trình này được hỗ trợ bởi Quỹ Khoa học Tự nhiên Quốc gia
Trung Quốc (Số 61475080), Nghiên cứu Hệ thống Máy tính Lấy cảm
hứng từ Não bộ của Đại học Thanh Hoa (Số 20141080934) và chương
trình nghiên cứu về fkhông phân biệt

IEDM15-75 4.3.4