Tính toán hiệu năng cao –

phân tích dữ liệu lớn – trí tuệ nhân tạo

và ứng dụng

Thoại Nam
PTN Tính toán Hiệu năng cao
Trường Đại học Bách Khoa – ĐHQG-HCM

HPDA-AI Thủ Đức - 6/2022 1

Nội  dung  

§  Nhu  cầu  về  hạ  tầng  tính  toán  Hiệu  năng  cao  
§  HPDA-­‐AI  
o  Hiệu  năng  cao  
o  Phân  tích  dữ  liệu  lớn  
o  Trí  tuệ  nhân  tạo  
§  Bài  toán  đầu  tư  phát  triển  một  hệ  thống  HPDA-­‐AI  

HPDA-AI Thủ Đức - 6/2022 2

Cách mạng công nghiệp

Robot  <ên  <ến  

CNTT,  truyền  thông   In  3D  
Động  cơ  hơi  nước   Động  cơ  điện   Vạn  vật  kết  nối  
Điện  tử  
Trí  tuệ  nhân  tạo  
Dữ  liệu  lớn  

[World Bank Group 2018]

HPDA-AI Thủ Đức - 6/2022 3

3
 Tiếp cận mới

Dữ  liệu  
lớn  

Phân  
Mch  

HPDA-AI Thủ Đức - 6/2022 4

4
 Kiến trúc số

Ứng  dụng   Hệ  thống  thông  minh  

Phân  Mch   Trí  tuệ  nhân  tạo  

                                       Phân  0ch  dữ  liệu   Dữ  liệu  lớn  

Lưu  trữ   Điện  toán  đám  mây  

Mạng  5G,  LoRa  

Kết  nối  

Thu  thập  dữ  liệu   Vạn  vật  kết  nối  

Cảm  biến  

HPDA-AI Thủ Đức - 6/2022 5

5
 Nền tảng kỹ thuật số
Công  dân   Doanh  nghiệp   Chính  quyền  

(cảm  biến,  camera,  ĐT  thông  minh,  mạng  xã  hội…)   Công                  Tầng  ứng  dụng   Năng   Ngư  
KT-­‐XH   Du  lịch  

Kinh  tế  
  số  
thương   lượng   nghiệp  
Chính  quyền    

Quản  trị,  điều  hành  &  chất  lượng  dịch  vụ  

Chia  sẻ  dữ  liệu  ngang  hàng  &  phân  cấp  

điện  tử   Giáo   Giao   Môi   Lâm   Nông  

…
Y  tế   An  ninh  
giữa  các  địa  phương  ,  chính  phủ  

dục   thông   trường   nghiệp   nghiệp  

 

An  toàn,  an  ninh  thông  <n  

Đô  thị  thông  minh  +    Chính  phủ  điện  tử   Tầng  dịch  vụ  
Hệ  thu  gom  dữ  liệu    

Tích  hợp   Phân  Mch     Khai  phá   … Quản  trị  

Chuyển  đổi  số  +  Đ   ổi  mới  sáng  tạo  Tầng  dữ  liệu  (dữ  liệu  lớn)  
Dữ  liệu  mở   CSDL  hiện  hữu  mở  
 

CMCN  4.0  +  AI  

Dữ  liệu  thô  (phi  cấu  trúc)     CSDL hiện hữu

Hạ  tầng  lưu  trữ  và  phân  Mch  (điện  toán  đám  mây)  
 
Hạ  tầng  truyền  dẫn  (cáp  quang,  5G,  IoTs,  wifi)  

Chuyển đổi số - GTVT, 6/2022 6

Trí  tuệ  nhân  tạo  (AI)  
§  Trong  các  khả  năng    
o  “Học”  là  khả  năng  quan  trọng  nhất,  
o  Làm  nền  tảng  để  xây  dựng  các  khả  năng  khác  
§  Để  triển  khai  việc  “Học”  thì  cần:  
o  (1)  Cần  nhiều  kinh  nghiệm  (dữ  liệu  lớn)  
o  (2)  Cần  kỹ  thuật/giải  thuật  để  học  
o  (3)  Cần  máy  móc  để  thực  hiện  việc  học  
§  AI  là  chủ  đề  nóng  gần  đây  vì:  
o  Hội  tụ  đủ  cả  ba  điều  kiện  trên  

HPDA-AI Thủ Đức - 6/2022 7

Fukagu: No.1 Supercomputer from Japan (2020)

HPDA-AI Thủ Đức - 6/2022 8

[Cabinet  Office:  h„ps://www8.cao.go.jp/]  
HPDA-AI Thủ Đức - 6/2022 9
 HPC  +  Big  Data  Analy<cs  +  AI  

[Cray:  New  Era  of  High  Performance  Computing  (convergence  of  AI,  Big  Data,  HPC)]  
HPDA-AI Thủ Đức - 6/2022 10
10
High  Performance  Computing  
http://www.top500.org/  

FUGAKU
442,01 Petaflops
7.630.848 cores

Frontier 1.102 Petaflops

8.730.112 cores
JUWELS Booster Sunway TaihuLight
214,35 Petaflops SuperMUC-NG 93,01 Petaflops
1.110.114 cores 19,47 Petaflops 10.649.600 cores
305.856 cores

HPDA-AI Thủ Đức - 6/2022 -1.11-

Top  500  supercomputers
h0p://www.top500.org/
June  2022

HPDA-AI Thủ Đức - 6/2022 12

 Acc/Co-P Rmax Rpeak HPCG Power EE Interconnect
Rank Name Country Year Segment Total Cores % Arch OS Family Acc-Gen Pro-Gen
Cores [TFlop/s] [TFlop/s] [TFlop/s] (kW) [GF/W] Family

AMD Instinct Gigabit

1 Frontier US 2021 Research 8,730,112 8,138,240 1,102,000.00 1,685,651.46 65.38% 21,100.00 52.23 MPP Linux AMD Milan
MI250X Ethernet

Fujitsu Proprietary
2 Fugaku Japan 2020 Research 7,630,848 442,010.00 537,212.00 82.28% 16,004.50 29,899.23 14.78 MPP Linux
A64FX Network

AMD Instinct Gigabit

3 LUMI Finland 2022 Research 1,110,144 1,034,880 151,900.00 214,351.87 70.86% 1,935.73 2,942.13 51.63 MPP Linux AMD Milan
MI250X Ethernet

NVIDIA Volta IBM

4 Summit US 2018 Research 2,414,592 2,211,840 148,600.00 200,794.88 74.01% 2,925.75 10,096.00 14.72 Cluster Linux Infiniband
GV100 POWER9

NVIDIA Volta IBM

5 Sierra US 2018 Research 1,572,480 1,382,400 94,640.00 125,712.00 75.28% 1,795.67 7,438.28 12.72 Cluster Linux Infiniband
GV100 POWER9

Sunway Custom
6 China 2016 Research 10,649,600 93,014.59 125,435.90 74.15% 480.85 15,371.00 6.05 MPP Linux Sunway
TaihuLight Interconnect

NVIDIA A100 Gigabit

7 Perlmutter US 2021 Research 761,856 663,552 70,870.00 93,750.00 75.59% 1,905.44 2,589.00 27.37 MPP Linux AMD Milan
SXM4 40 GB Ethernet

AMD
8 Selene US 2020 Vendor 555,520 483,840 63,460.00 79,215.00 80.11% 1,622.51 2,646.00 23.98 Cluster Linux NVIDIA A100 Infiniband
Rome

Intel Xeon
Custom
9 Tianhe-2A China 2018 Research 4,981,760 4,554,752 61,444.50 100,678.66 61.03% 18,482.00 3.32 Cluster Linux Matrix-2000 E5
Interconnect
(IvyBridge)

AMD Instinct Gigabit

10 Adastra France 2022 Academic 319,072 297,440 46,100.00 61,607.94 74.83% 562.01 921.48 50.03 MPP Linux AMD Milan
MI250X Ethernet

HPDA-AI Thủ Đức - 6/2022 13

 Acc/Co-P Rmax Rpeak HPCG Power EE Interconnect
Rank Name Country Year Segment Total Cores % Arch OS Family Acc-Gen Pro-Gen
Cores [TFlop/s] [TFlop/s] [TFlop/s] (kW) [GF/W] Family
JUWELS
NVIDIA AMD
11 Booster Germany 2020 Research 449,280 404,352 44,120.00 70,980.00 62.16% 1,275.36 1,764.22 25.01 Cluster Linux Infiniband
A100 Rome
Module
Xeon Gold
NVIDIA 62xx
12 HPC5 Italy 2020 Industry 669,760 582,400 35,450.00 51,720.76 68.54% 860.32 2,252.17 15.74 Cluster Linux Infiniband
Tesla V100 (Cascade
Lake)

Voyager- NVIDIA AMD

13 US 2021 Vendor 253,440 228,096 30,050.00 39,531.15 76.02% Cluster Linux Infiniband
EUS2 A100 80GB​ Rome

NVIDIA
AMD Gigabit
14 Polaris US 2021 Research 256,592 238,896 25,810.00 34,163.19 75.55% Cluster Linux A100 SXM4
Rome Ethernet
40 GB

South NVIDIA
15 SSC-21 2021 Industry 204,160 190,080 25,177.00 31,751.10 79.29% Cluster Linux AMD Milan Infiniband
Korea A100 80GB​

Xeon
Platinum
16 Frontera US 2019 Academic 448,448 23,516.40 38,745.91 60.69% Cluster Linux 82xx Infiniband
(Cascade
Lake)
Custom
17 CEA-HF France 2021 Research 810,240 23,237.60 31,761.40 73.16% 340.84 4,959.47 4.69 Cluster Linux AMD Milan
Interconnect
Xeon Gold
NVIDIA
Saudi 62xx
18 Dammam-7 2020 Industry 672,520 632,960 22,400.00 55,423.56 40.42% 881.40 Cluster Linux Tesla V100 Infiniband
Arabia (Cascade
SXM2
Lake)
NVIDIA
19 ABCI 2.0 Japan 2021 Research 504,000 451,840 22,208.72 54,340.99 40.87% 1,600.32 13.88 Cluster Linux Tesla V100 Xeon Gold Infiniband
SXM2
Wisteria/
Fujitsu Proprietary
20 BDEC-01 Japan 2021 Academic 368,640 22,121.00 25,952.26 85.24% 817.58 1,468.00 15.07 Cluster Linux
A64FX Network
(Odyssey)
HPDA-AI Thủ Đức - 6/2022 14
 Acc/Co-P Rmax Rpeak HPCG Power EE [GF/ Interconnect
Rank Name Country Year Segment Total Cores % Arch OS Family Acc-Gen Pro-Gen
Cores [TFlop/s] [TFlop/s] [TFlop/s] (kW) W] Family

Nvidia Volta IBM

21 Marconi-100 Italy 2019 Academic 347,776 316,160 21,640.00 29,354.00 73.72% 498.43 1,476.00 14.66 Cluster Linux Infiniband
V100 POWER9
NVIDIA A100 AMD
22 Chervonenkis Russia 2021 Industry 193,440 168,480 21,530.00 29,415.17 73.19% Cluster Linux Infiniband
80GB​ Rome

Intel Xeon
NVIDIA Tesla Custom
23 Piz Daint Swiss 2017 Research 387,872 319,424 21,230.00 27,154.30 78.18% 496.98 2,384.24 8.90 MPP Linux E5
P100 Interconnect
(Haswell)

Intel Xeon Custom

24 Trinity US 2017 Research 979,072 20,158.70 41,461.15 48.62% 546.12 7,578.10 2.66 MPP Linux
Phi Interconnect

AMD Gigabit
25 ARCHER2 UK 2021 Research 716,800 19,539.00 25,804.00 75.72% 350.21 MPP Linux
Rome Ethernet
Xeon
26 SuperMUC-NG Germany 2018 Academic 305,856 19,476.60 26,873.86 72.47% 207.84 Cluster Linux Omnipath
Platinum
AMD
27 Hawk Germany 2020 Research 698,880 19,334.00 25,159.68 76.85% 334.65 3,905.83 4.95 Cluster Linux Infiniband
Rome
AMD Gigabit
28 Ghawar-1 UK 2021 Industry 714,240 19,256.00 22,855.68 84.25% 381.72 MPP Linux
Rome Ethernet

AMD Instinct Gigabit

29 Frontier TDS US 2021 Research 120,832 112,640 19,200.00 23,105.54 83.10% 308.68 62.20 MPP Linux AMD Milan
MI250X Ethernet

NVIDIA Tesla IBM

30 Lassen US 2018 Research 288,288 253,440 18,200.00 23,047.20 78.97% Cluster Linux Infiniband
V100 POWER9

HPDA-AI Thủ Đức - 6/2022 15

Đài Loan

The NCHC is accelerating

AI innovation in Taiwan

No.  59  in  Top  500  

HPDA-AI Thủ Đức - 6/2022 16

Taiwania 2

HPDA-AI Thủ Đức - 6/2022 17

EU HPC strategy

[h„ps://www.etp4hpc.eu/pujades/files/Blueprint%20document_20190904.pdf]  

HPDA-AI Thủ Đức - 6/2022 18

Công nghiệp

HPDA-AI Thủ Đức - 6/2022 19

19
 SC, AI(DL) & Big data

[Source:  www.ETP4HPC.eu  and  www.BDVA.eu  -­‐  2018]  

HPDA-AI Thủ Đức - 6/2022 20

20
 HPDA-AI system
§  Architecture   §  Software  &  tools  
o  HPDA-­‐AI:  HPC  +  Big  Data  +  AI   o  OS:  Linux*  
o  VMs,  Docker,  Kubernetes,...  
§  Hardware  solution  
o  SDN,  RDMA,...  
o  Processor:  CPU  +  GPU/TPU/FPGAs   o  Lustre,  HDFS,...  
o  Memory:  DRAM  +  HBM/HMC   o  MPI  (DS),  OpenMP/OpenACC  (SM),  UPC/Chapel/...  (PGAS)  
o  NVM   o  Resource  management:  PBS  pro,  Slurm,  Yarn  
o  Storage:  HDD  +  SSD  +  NVDIMM   o  Spark,  Hadoop,  Jupyter,  R,...  
o  Network:  Infiniband  và  Gigabit  Ethernet   o  Keras,  TensorFlow,  PyTorch,  Caffe2,  Theano,...  
o  GNNs  
o  Libs    
§  Human  resource  training  

HPDA-AI Thủ Đức - 6/2022 21

 Kết luận
§  Hệ thống tính toán hiệu năng cao là hạ tầng không thể thiếu trong kỷ nguyên số
của quốc gia/đô thị
§  HPDA-AI: HPC + Big Data Analytics + AI
o  Thiết kế: phần cứng + phần mềm + ứng dụng
o  Công nghệ thay đổi nhanh
§  Chiến lược dài hạn
o  Phân kỳ đầu tư phần cứng + phát triển ứng dụng + khai thác
§  Nhân lực

HPDA-AI Thủ Đức - 6/2022 22

 Cảm ơn!

Email liên hệ: namthoai@hcmut.edu.vn

HPDA-AI Thủ Đức - 6/2022 23