Grid Overview

Bài giảng Grid Computing
BÀI GIẢNG
TÍNH TOÁN LƯỚI
BÀI 1: TỔNG QUAN
GS.TS. NGUYỄN THANH THỦY
Trung tâm Tính toán hiệu năng cao 1

Nội dung trình bày

 Tính toán lưới là gì?
Tính toán lưới là gì?
 Ứng dụng của lưới
Đặc trưng của lưới
 Các khái niệm trong lưới
Các khái niệm
 Công nghệ và giải pháp
Kiến trúc lưới
Các thách thức
 Các thách thức cần giải quyết
Một vài lưới điển hình
 Giới thiệu một vài lưới điển hình
Tóm tắt

Hình dung về lưới

 Lưới là một hệ thống phân tán bao gồm
một tập các tài nguyên đa dạng có thể là
Đặc trưng của lưới PC, cluster, hệ thống lưu trữ, …) thuộc về
Các khái niệm nhiều tổ chức
Kiến trúc lưới  Tính toán lưới là sự cho phép ảo hóa các
Các thách thức chức năng tính toán phân tán, các nguồn xử
Một vài lưới điển hình lý, băng thông mạng và khả năng lưu trữ,
Tóm tắt để tạo ra một hệ thống đơn nhất, cho phép
người sử dụng truy cập thông suốt vào các
tính năng điện toán rộng lớn.

Hình dung về lưới

Các khái niệm
Các thách thức
Tóm tắt

Nhu cầu về tính toán lưới

 Nhu cầu tích hợp tài nguyên
 PC, Printers, …
 Clusters, supercomputer, …
Các khái niệm
 Nhu cầu về tính thông lượng cao cho các
Kiến trúc lưới bài toán lớn
Các thách thức  Nhu cầu tận dụng tài nguyên nhàn rỗi
Một vài lưới điển hình  Nhu cầu cộng tác giữa các tổ chức, cộng
Tóm tắt đồng trong nghiên cứu

Ví dụ về nhu cầu
 Một nhà hóa học cần hàng trăm bộ vi xử lý
để sàng lọc hàng nghìn hợp chất mỗi giờ
 Nhà khí tượng học cần hiển thị và phân
Các khái niệm tích hàng petabytes dữ liệu thời tiết với các
Kiến trúc lưới yêu cầu tính toán khổng lồ
Các thách thức
Tóm tắt

Định nghĩa về lưới

 Grids ngày càng trở nên phổ biến:
Compute Grids, Data Grids, Science Grids,
Đặc trưng của lưới Access Grids, Cluster Grids, … => Cần
Các khái niệm một định nghĩa rõ ràng
Kiến trúc lưới  Ian Foster đề nghị Grid Checklist [1], theo
Các thách thức đó Grid là hệ thống:
Một vài lưới điển hình  Tài nguyên được điều phối phi tập trung
Tóm tắt  Sử dụng các giao thức, giao diện chuẩn, mở
 Cung cấp dịch vụ chất lượng không tầm thường

Lợi ích của lưới

 Tiết kiệm thời gian và tài nguyên
 Tiềm năng về xử lý song song
 Nâng cao năng suất và sự phối hợp trong
Các khái niệm
doanh nghiệp
 Tăng độ tin cậy của một hệ thống
Các thách thức
 Đảm bảo khai thác tốt nhất các khả năng
tính toán hiện có
Tóm tắt
 Cân bằng tài nguyên
 Quản lý các hệ thống không đồng nhất.

Đặc trưng của tính toán lưới

 Kích thước lớn: theo nghĩa số lượng các
tài nguyên tiềm tàng và khoảng cách về
Đặc trưng của lưới mặt địa lý giữa chúng.
Các khái niệm  Phân tán: có độ trễ đáng kể trong truyền
Kiến trúc lưới dữ liệu và điều này có thể ảnh hưởng lớn
Các thách thức đến ứng dụng.
Một vài lưới điển hình  Động: các tài nguyên có thể thay đổi khi
Tóm tắt ứng dụng đang được thực hiện

Đặc trưng của tính toán lưới

 Hỗn tạp: kiến trúc và tính chất của các nút
lưới có thể là hoàn toàn khác nhau
 Vượt qua phạm vi một tổ chức: có nhiều
Các khái niệm trạm và các chính sách truy nhập có thể
Kiến trúc lưới khác nhau trên các trạm
Các thách thức
Tóm tắt

Các kiểu tài nguyên

 Tài nguyên tính toán
 Tài nguyên lưu trữ
 Tài nguyên truyền thông
Các khái niệm
 Phần mềm và bản quyền
Các thách thức
 Thiết bị đặc biệt, dung lượng, chính sách,
…
Tóm tắt

Tổ chức ảo

Các khái niệm
Các thách thức
Tóm tắt

Tổ chức ảo

Các khái niệm
Các thách thức
Tóm tắt

Công việc và ứng dụng

 Ứng dụng (application) là mức thực hiện
cao nhất trên lưới
 Một ứng dụng có thể được chia nhỏ thành
Các khái niệm nhiều công việc (job) độc lập
 Một công việc có thể sinh ra nhiều công
Các thách thức việc con (subjobs)
Tóm tắt

Công việc và ứng dụng

Các khái niệm
Các thách thức
Tóm tắt

Lập lịch
 Lập lịch (scheduling) là việc chia công
việc một cách tự động sao cho tìm được
Đặc trưng của lưới máy thích hợp nhất trong lưới để chạy
Các khái niệm  Đăng kí (reservation): đăng kí trước các tài
Kiến trúc lưới nguyên để tăng chất lượng dịch vụ
Các thách thức
Tóm tắt

Thành phần hệ thống lưới

 Thành phần quản lý
 Đệ trình
 Donor
Các khái niệm
 Truyền thông
Các thách thức
 Bộ lập lịch
Tóm tắt

Thành phần quản lý

 Theo dõi các tài nguyên đang sẵn dùng và
thành viên nào đang có mặt trong hệ thống
 Xác định dung lượng của từng nút mạng và
Các khái niệm tỉ lệ tài nguyên được sử dụng tại một thời
Kiến trúc lưới điểm bất kì
Các thách thức  Cung cấp các thống kê về sử dụng hệ
Một vài lưới điển hình thống, việc chi trả cho hệ thống khi chạy
Tóm tắt các phần mềm trên lưới

Đệ trình
 Người dùng có thể dùng bất cứ máy thành
phần nào trong lưới để tiến hành đệ trình 1
Đặc trưng của lưới công việc.
Các khái niệm  Tuy vậy, trong một số hệ thống, việc đệ
Kiến trúc lưới trình các công việc được thực hiện bởi một
Các thách thức số thành phần cài đặt trên một số máy gọi
Một vài lưới điển hình là nút đệ trình hay máy khách đệ trình.
Tóm tắt

Donor
 Máy donor theo dõi, đo tỉ lệ tài nguyên
được sử dụng trên một máy, rồi gửi thông
Đặc trưng của lưới tin đến hệ thống quản lý lưới
Các khái niệm  Khi người dùng đệ trình 1 công việc, phần
Kiến trúc lưới mềm donor phải có khả năng nhận file
Các thách thức chạy hoặc chọn từ file đã có sẵn trên máy
Một vài lưới điển hình donor để chạy
Tóm tắt

Truyền thông
 Hệ thống lưới cần có các phần mềm giúp
các tiến trình có thể liên lạc với nhau
 Các phần mềm truyền thông sẽ giúp một
Các khái niệm tiến trình có khả năng liên lạc với các tiến
Kiến trúc lưới trình khác, gửi và nhận các dữ liệu cần
Các thách thức thiết
Một vài lưới điển hình  Trong hệ thống có thể sử dụng chuẩn giao
Tóm tắt diện MPI và một số chuẩn khác để thực
hiện các liên kết này

Bộ lập lịch
 Bộ lập lịch có nhiệm vụ chọn ra các máy
thành phần để thực thi các công việc được
Đặc trưng của lưới đệ trình tại một máy nào đó
Các khái niệm
Các thách thức
Tóm tắt

Kiến trúc chung

Các khái niệm
Các thách thức
Tóm tắt

Tầng nền - Fabric

 Tầng Fabric trong lưới cung cấp các tài
nguyên được gián tiếp truy nhập chung bởi
Đặc trưng của lưới các giao thức lưới
Các khái niệm  Các thành phần của tầng Fabric thực hiện
Kiến trúc lưới các thao tác trên các tài nguyên địa phương
Các thách thức cụ thể (vật lý hoặc logic) tương ứng với
Một vài lưới điển hình các thao tác chia sẻ ở các mức cao hơn
Tóm tắt

Tầng kết nối - Connectivity

 Tầng này xác định các giao thức lõi về kết
nối và chứng thực cho các giao dịch trên
Đặc trưng của lưới mạng
Các khái niệm  Các giao thức kết nối cho phép trao đổi dữ
Kiến trúc lưới liệu giữa các tài nguyên của tầng Fabric
Các thách thức  Giao thức chứng thực được xây dựng trên
Một vài lưới điển hình các dịch vụ kết nối để cung cấp các cơ chế
Tóm tắt bảo mật an toàn trong việc thẩm tra người
dùng và tài nguyên

Tầng kết nối - Connectivity

 Tầng này chia sẻ các tài nguyên đơn
 Tầng tài nguyên xây dựng các giao thức
(API và SDK) để đàm phán bảo mật, kích
Các khái niệm hoạt, giám sát điều khiển và chi trả cho
Kiến trúc lưới việc chia sẻ các thao tác trên các nguồn tài
Các thách thức nguyên đặc biệt
Một vài lưới điển hình  Hai lớp chính của tầng tài nguyên:
Tóm tắt  Giao thức thông tin
 Giao thức quản lý

Tầng thu thập - Collective

 Tầng này chứa đựng các giao thức và dịch
vụ quản lý chung cho các nguồn tài
Đặc trưng của lưới nguyên
Các khái niệm  Tầng này cung cấp nhiều dịch vụ:
Kiến trúc lưới  Directory Services
Các thách thức  Monitoring and diagnostics services
Một vài lưới điển hình  Co-allocation, scheduling (lập lịch), brokering
services
Tóm tắt
 Data replication services
 Grid-enabled programming systems

Tầng thu thập - Collective

 Software discovery services
 Community authorization servers
Đặc trưng của lưới  Community acccounting and payment services
Các khái niệm
Các thách thức
Tóm tắt

Tầng ứng dụng - Application

 Tầng trên cùng trong kiến trúc phân tầng
tính toán lưới
 Các ứng dụng lưới này được xây dựng trên
Các khái niệm cơ sở triệu gọi các hàm, các dịch vụ được
Kiến trúc lưới cung cấp bởi các tầng phía dưới
Các thách thức  Việc xây dựng phải đảm bảo để sao cho
Một vài lưới điển hình người sử dụng lưới cảm thấy hoàn toàn
Tóm tắt trong suốt

Tài nguyên không đồng nhất

 Tài nguyên ở đây được hiểu theo nghĩa hết
sức tổng quát:
Đặc trưng của lưới  tài nguyên phần cứng
Các khái niệm  tài nguyên phần mềm
Kiến trúc lưới  các đường truyền mạng...
Các thách thức  Các tài nguyên này có thể rất khác nhau
Một vài lưới điển hình về mặt kiến trúc, giao diện, khả năng xử lý
Tóm tắt

Tài nguyên không đồng nhất

 Ban đầu tính toán lưới được đặt ra chủ yếu
là để tận dụng các nguồn tài nguyên tính
Đặc trưng của lưới toán nhưng hiện nay mục tiêu của nó đã
Các khái niệm được mở rộng sang rất nhiều nguồn tài
Kiến trúc lưới nguyên khác
Các thách thức
Tóm tắt

Đa tổ chức
 Các tổ chức nhìn chung là hoạt động độc
lập tức là các tài nguyên này đều có quyền
Đặc trưng của lưới tự trị
Các khái niệm  Các tổ chức khác nhau thường có chính
Kiến trúc lưới sách sử dụng hay cho thuê tài nguyên của
Các thách thức họ khác nhau
Một vài lưới điển hình  Các tài nguyên phân tán rộng khắp về mặt
Tóm tắt địa lý

Đảm bảo an toàn thông tin

 Đảm bảo an toàn thông tin cho một môi
trường phức tạp như môi trường lưới là rất
Đặc trưng của lưới khó khăn trong khi đây là một trong những
Các khái niệm điểm ưu tiên hàng đầu.
Các thách thức
Tóm tắt

Earth System Grid

 http://www.earthsystemgrid.org
 ESG tích hợp các siêu máy
tính với dữ liệu quy mô lớn,
Các khái niệm các máy chủ phân tích đặt tại
Kiến trúc lưới nhiều phòng thí nghiệm và
Các thách thức trung tâm nghiên cứu mục
Mộtvài
Một số lưới điển hình đích tạo ra môi trường tính
Tóm tắt
toán siêu mạnh cho việc
nghiên cứu thời tiết thế hệ
mới

EGEE
 http://www.eu-egee.org/
 Enabling Grids for E-sciencE là bước tiếp
theo của dự án EuroGrid (2000-2004)
Các khái niệm
 Liên kết với hơn 90 viện nghiên cứu từ 32
quốc gia trên thế giới
Các thách thức
 Hơn 30.000 CPU, 5petabytes dữ liệu
Mộtvài
Một số lưới điển hình
Tóm tắt

Pragma
 http://www.pragma-grid.net
 Pacific Rim Application and Grid
Middleware Assembly
Các khái niệm
 Thành lập từ 2002 với sự tham gia hiện
nay của 29 viện nghiên cứu mục đích:
Các thách thức  Thiết lập và duy trì sự hợp tác giữa các trung
Mộtvài
Một số lưới điển hình tâm, viện nghiên cứu trong việc sử dụng các kỹ
thuật và ứng dụng lưới (1 năm / 2 workshops)
Tóm tắt
 Cung cấp hạ tầng cần
thiết cho việc chạy các
ứng dụng lưới

Tài liệu tham khảo

 [1] What is the Grid? A three points checklist. Ian Foster.
Tính toán lưới là gì? http://www-fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdf
 [2] Introduction to Grid computing – IBM Redbook. Bart Jacob,
Đặc trưng của lưới Michael Brown, Kentaro Fukui, Nihar Trivedi. ibm.com/redbooks
 [3] Grid FAQ. http://www.gridcomputing.com/gridfaq.html
Các khái niệm
 [4]. Grid computing. Joshy Joseph, Craig Fellenstein. Prentice
Kiến trúc lưới Hall PTR, 2003.
Các thách thức

Tóm tắt

Grid Overview

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Grid Overview

Uploaded by

Copyright:

Available Formats

Bài giảng Grid Computing

GS.TS. NGUYỄN THANH THỦY

Trung tâm Tính toán hiệu năng cao 1

Nội dung trình bày

Trung tâm Tính toán hiệu năng cao 2

Hình dung về lưới

Trung tâm Tính toán hiệu năng cao 3

Hình dung về lưới

Tính toán lưới là gì?

Trung tâm Tính toán hiệu năng cao 4

Nhu cầu về tính toán lưới

Trung tâm Tính toán hiệu năng cao 5

Trung tâm Tính toán hiệu năng cao 6

Định nghĩa về lưới

Trung tâm Tính toán hiệu năng cao 7

Lợi ích của lưới

Trung tâm Tính toán hiệu năng cao 8

Đặc trưng của tính toán lưới

Trung tâm Tính toán hiệu năng cao 9

Đặc trưng của tính toán lưới

Trung tâm Tính toán hiệu năng cao 10

Các kiểu tài nguyên

Trung tâm Tính toán hiệu năng cao 11

Tính toán lưới là gì?

Trung tâm Tính toán hiệu năng cao 12

Tính toán lưới là gì?

Trung tâm Tính toán hiệu năng cao 13

Công việc và ứng dụng

Trung tâm Tính toán hiệu năng cao 14

Công việc và ứng dụng

Tính toán lưới là gì?

Trung tâm Tính toán hiệu năng cao 15

Trung tâm Tính toán hiệu năng cao 16

Thành phần hệ thống lưới

Trung tâm Tính toán hiệu năng cao 17

Thành phần quản lý

Trung tâm Tính toán hiệu năng cao 18

Trung tâm Tính toán hiệu năng cao 19

Trung tâm Tính toán hiệu năng cao 20

Trung tâm Tính toán hiệu năng cao 21

Trung tâm Tính toán hiệu năng cao 22

Kiến trúc chung

Tính toán lưới là gì?

Trung tâm Tính toán hiệu năng cao 23

Tầng nền - Fabric

Trung tâm Tính toán hiệu năng cao 24

Tầng kết nối - Connectivity

Trung tâm Tính toán hiệu năng cao 25

Tầng kết nối - Connectivity

Trung tâm Tính toán hiệu năng cao 26

Tầng thu thập - Collective

Trung tâm Tính toán hiệu năng cao 27

Tầng thu thập - Collective

Trung tâm Tính toán hiệu năng cao 28

Tầng ứng dụng - Application

Trung tâm Tính toán hiệu năng cao 29

Tài nguyên không đồng nhất

Trung tâm Tính toán hiệu năng cao 30

Tài nguyên không đồng nhất

Trung tâm Tính toán hiệu năng cao 31

Trung tâm Tính toán hiệu năng cao 32

Đảm bảo an toàn thông tin

Trung tâm Tính toán hiệu năng cao 33