TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH

KHOA CÔNG NGHỆ THÔNG TIN

Parallel and Distributed Computing

ThS. Vương Xuân Chí

vxchi@ntt.edu.vn
0903 270 567

1
 TỔNG QUAN TÍNH TOÁN
SONG SONG VÀ PHÂN TÁN

2
 TỔNG QUAN

1. Tính toán song song là gì?

2. Tại sao phải dùng tính toán song song?

3
 TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH
KHOA CÔNG NGHỆ THÔNG TIN

1. Tính toán song song là gì?

4
 TÍNH TOÁN SONG SONG LÀ GÌ

 Theo truyền thống, phần mềm được viết theo cách tính toán
tuần tự:
 Được chạy trên một máy tính đơn có một CPU;
 Một bài toán được chia ra thành một chuỗi các câu lệnh rời
rạc.
 Những câu lệnh này được thi hành sau câu lệnh khác.
 Vào một thời điểm chỉ có một câu lệnh thực thi.

5
 TÍNH TOÁN SONG SONG LÀ GÌ

 Tính tiền lương cho nhiều người

Ví dụ chung về tính toán tuần tự

6
 TÍNH TOÁN SONG SONG
 Trong một ngữ cảnh đơn giản, tính toán song song (Parallel
Computing) là việc sử dụng đồng thời nhiều nguồn tài nguyên
tính toán để giải quyết một vấn đề:
 Được chạy bằng cách sử dụng nhiều CPU.
 Một vấn đề có thể chia ra thành nhiều phần rời rạc có thể giải quyết
một cách đồng thời.
 Mỗi phần được tiếp tục phân chia thành một chuỗi các câu lệnh.
 Những câu lệnh của mỗi phần được thi hành một cách đồng thời trên
các CPU khác nhau.
7
 TÍNH TOÁN SONG SONG

 Tiền lương mỗi người được 1 CPU tính

8
 TÍNH TOÁN SONG SONG

 Nguồn tài nguyên tính toán có thể là:

 Một máy tính duy nhất với nhiều bộ xử lý;
 Một số tùy ý máy tính được kết nối qua mạng;
 Tổ hợp cả hai loại trên.

9
 TÍNH TOÁN SONG SONG

 Với bài toán tính toán có thể:

 Được phân chia thành các phần công việc rời rạc mà có thể
giải quyết một cách đồng thời;
 Thực hiện nhiều câu lệnh chương trình vào bất kỳ thời điểm
nào;
 Với nhiều nguồn tài nguyên tính toán, bài toán được giải
quyết ít thời gian so với chỉ một nguồn tài nguyên tính toán.

10
 TÍNH TOÁN SONG SONG

 Tính toán song song là một sự tiến hóa của tinh toán tuần tự
nhằm cố gắng mô phỏng những vấn đề đặt ra trong thế giới tự
nhiên chứa đựng:
 Nhiều sự phức tạp
 Các sự kiện liên quan với nhau xãy ra cùng một thời gian
nhưng vẫn trong cùng một chuỗi

11
THẾ GIỚI THỰC RẤT PHỨC TẠP

12
 THẾ GIỚI THỰC RẤT PHỨC TẠP

 Hình thành giải thiên hà (Galaxy formaGon)

 Chuyển động của hành tinh
 Vấn đề thời tiết và đại dương

13
 THẾ GIỚI THỰC RẤT PHỨC TẠP

 Giao thông đô thị

 Những mảng băng trôi
 Thời tiết thay đổi và diễn biến phức tạp

14
 SỬ DỤNG TÍNH TOÁN SONG SONG

 Về mặt lịch sử, tính toán song song được coi là “tính toán cao
cấp” (the high end of computing), đã được sử dụng để mô hình
hóa các vấn đề khó khăn trong nhiều lĩnh vực khoa học và kỹ
thuật:
 Khí quyển, trái đất, môi trường
 Vật lý: hạt nhân, hạt, áp lực cao, nhiệt hạch, lượng tử, ...

15
 SỬ DỤNG TÍNH TOÁN SONG SONG

 Khoa học sinh học, công nghệ sinh học, di truyền học.
 Hóa học, khoa học phân tử
 Địa chất, địa chấn học
 Cơ ký: từ tay chân giả cho đến tàu vũ trụ
 Điện, thiết kế vi mạch, vi điện tử
 Khoa học máy tính, toán học

16
 SỬ DỤNG TÍNH TOÁN SONG SONG

 Ngày nay, những ứng dụng thương mại cũng đòi hỏi công suất lớn của MT
 Những ứng dụng này đòi hỏi xử lý một khối lượng lớn dữ liệu; chẳng hạn:

 "Dữ liệu lớn", cơ sở dữ liệu,

khai thác dữ liệu
 Trí tuệ nhân tạo (AI)
 Thăm dò dầu
 Công cụ tìm kiếm web, dịch vụ
kinh doanh dựa trên web
 Hình ảnh và chẩn đoán y tế …
17
 TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH
KHOA CÔNG NGHỆ THÔNG TIN

2. Tại sao phải dùng

tính toán song song

18
 DÙNG TÍNH TOÁN SONG SONG ĐỂ
song song
 Tiết kiệm thời gian và/hoặc tiền bạc:
 Máy tính song song có thể xây dựng trên các thành phần giá rẻ
 Rút ngắn thời gian là sự tiết kiệm đáng kể.

19
 DÙNG TÍNH TOÁN SONG SONG ĐỂ
song song
 Giải những bài toán lớn
 Nhiều vấn đề quá lớn và/hoặc quá phức tạp; nên sẽ không thực tế hoặc
không thể giải quyết được trên một máy tính đơn, đặc biệt khi bị giới hạn
về bộ nhớ

20
 DÙNG TÍNH TOÁN SONG SONG ĐỂ
song song
 Chẳng hạn:
 Những bài toán thách thức lớn (Grand
Challenge) được đặt ra đòi hỏi nguồn
tài nguyên tính toán lên đến cả Peta
phép tính trong một giây
 Động cơ để xử lý hàng triệu phiên giao
dịch trong 1 giây.

https://grand-challenge.org/

21
 GIỚI HẠN CỦA TÍNH TOÁN TUẦN TỰ
song song
 Cả những lý do vật lý cũng như thực tế đặt ra việc cần phải xây
dựng những máy tính nhanh hơn máy tính tuần tự, cụ thể:
 Tốc độ truyền: Phụ thuộc một cách trực tiếp vào việc dữ liệu di
chuyển thông qua các phần cứng. Cụ thể
 Giới hạn tuyệt đối bởi tốc độ ánh sáng là 30 cm/nanosecond;
và của dây đồng là 9 cm/nanosecond

22
 GIỚI HẠN CỦA TÍNH TOÁN TUẦN TỰ
song song
 Giới hạn trong việc thu nhỏ: Công nghệ vi xử lý giúp tăng
số transitor đặt trên một con chip. Tuy nhiên, khả năng đạt
được cũng còn gặp nhiều khó khăn.
 Giới hạn về kinh tế: Một bộ xử lý đơn mạnh giá thành cao
hơn nhiều so với việc sử dụng nhiều bộ xử lý với giá vừa
phải.

23
 GIỚI HẠN CỦA TÍNH TOÁN TUẦN TỰ
song song
 Kiến trúc máy tính hiện đại cho phép có thể nâng cao năng lực xử lý, cụ thể
có các kiến trúc:
 Nhiều bộ phận thực thi (Muliple execution units)
 Kiến trúc lệnh đường ống (Pipelined instructions): cho phép nạp một lệnh
mới trong khi CPU đang xử lý lệnh trước đó.
 Multi-core

24
 MỘT CÁCH TỔNG QUÁT

 Tính toán song song hiện đang được sử dụng rộng rãi trên toàn
thế giới, trong rất nhiều ứng dụng.

25
 SỰ PHÁT TRIỂN
song song
 Với sự phát triển trong hơn 20 năm qua cho thấy nhờ sự nhanh
hơn của mạng lưới, hệ thống phân tán và kiến trúc máy tính đa
xử lý, cho thấy sự song song là tương lai của máy tính.
 Ngay trong cùng một thời điểm hiện tại, đã có những máy tính
nhanh hơn nhau gấp hơn cả 1000 lần.

26
 ĐƠN VỊ TÍNH TOÁN
FLOPS (FLoating-point Operationssong song
Per Second) là một thước đo hiệu suất máy
tính, đặc biệt là trong lĩnh vực tính toán khoa học sử dụng nhiều các tính toán
thập phân trong một giây.

 1 Yflop/s (YoIaFlop/s) = 1024 Flop/s

 1 Zflop/s (ZeIaFlop/s)= 1021 Flop/s
 1 Eflop/s (ExaFlop/s) = 1018 Flop/s
 1 Pflop/s (PetaFlop/s) = 1015 Flop/s
 1 Tflop/s (TetraFlop/s)= 1012 Flop/s
 1 Gflop/s (GigaFlop/s) = 109 Flop/s
 1 Mflop/s (MegaFlop/s) = 106 Flop/s
 1 Kflop/s (KiloFlop/s) = 103 Flop/s
 1 Flop/s = 1 Floating Point OperaGon per Second
27
 MÁY TÍNH NHANH NHẤT (2020)

 Siêu máy tính exascale đầu tiên thế giới đặt tại Phòng thí nghiệm Quốc gia
Oak Ridge (ORNL) của Bộ Năng lượng Hoa Kỳ không chỉ mạnh nhất thế giới
mà còn là hiệu quả nhất..  Frontier là siêu máy tính đầu tiên
trên thế giới vượt qua hiệu suất tính
toán 1 exaflop mỗi giây, bỏ xa siêu
máy tính Fugaku thuộc Trung tâm
Khoa học Tính toán Riken của Nhật
Bản, để trở thành siêu máy tính
mạnh nhất thế giới hiện tại.
28
 HỆ ĐIỀU HÀNH NHANH NHẤT (2020)

 Thống kế các hệ điều hành nhanh nhất hiện nay.

29
Thank you !

30