TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP.

HCM
KHOA CÔNG NGHỆ THÔNG TIN

ẢO HÓA VÀ ĐIỆN TOÁN ĐÁM MÂY

(VIRTUALIZATION AND CLOUD COMPUTING)

CHƯƠNG 4. LƯU TRỮ VÀ XỬ LÝ DỮ LIỆU

ThS. Bùi Duy Cương

PhilippBuiDo
 NỘI DUNG

➢Hệ thống lưu trữ phân tán và đồng nhất bộ nhớ NFS,
AFS;
➢Hệ thống lưu trữ HDFS, GFS;
➢Cơ sở dữ liệu NOSQL;
➢Điện toán đám mây và dữ liệu lớn

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS

NFS
• Network File System (NFS): một giao thức hệ thống tệp phân tán được phát triển bởi
Sun microsystems vào năm 1984, cho phép người dùng trên máy khách truy cập các tập
tin qua mạng máy tính giống như truy cập bộ nhớ cục bộ. NFS được xây dựng trên hệ
thống Open Network Computing Remote Procedure Call (ONC RPC)

• NFS: kiến trúc hệ thống tập tin phân tán mà máy chủ đóng vai trò là máy chủ lưu trữ
(cung cấp khả năng lưu trữ các ổ đĩa cứng cục bộ, hệ thống RAID cho các máy khách qua
giao thức mạng).

• NFS: kiến trúc hệ quản lý tập tin phân tán phổ biến và được hỗ trợ hầu hết trên các nền
tảng (như Windows, Unix)

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS

NFS
• Cách hoạt động (trên Linux):
➢ Server triển khai các quy trình nền NFS để cung cấp dữ liệu cho client (nhằm truy
cập dữ liệu được lưu trữ trên 1 server);
➢ Server xác định những gì cần cung cấp và đảm bảo có thể nhận dạng các client được
xác thực;
➢ Client yêu cầu quyền truy cập vào dữ liệu đã xuất bằng lệnh mount.
➢ Server tham chiếu tệp cấu hình /etc/export để xác thực xem client có được phép
truy cập vào bất kỳ hệ thống nào không → tất cả hoạt động tập tin và thư mục được
phép sử dụng trên client

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS

NFS

Mô hình truy cập từ xa Mô hình upload/download

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS (tt)

NFS

NFSv2 NFSv3 NFSv4: NFSv4.1: NFSv4.2:

(3/1989) (6/1995 (4/2003) (1/2010 (11/2016)

•RPC leyer: Chuyển giữ liệu giữa

các máy chủ [RFC 3010]
•XDR layer: Cung cấp tính độc lập
của dữ liệu cho máy [RFC 1832]
•Lớp trên cùng bao gồm giao thức
mount và giao thức NFS

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS (TT)

NFS

Kiến trúc NFS trên hệ thống Unix

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS (TT)

NFS
Ưu điểm Nhược điểm

• Chi phí thấp trong chia sẻ tập tin trên
mạng;
• Dễ cài đặt vì sử dụng cơ sở hạ tầng IP
hiện có;
• Cho phép quản lý tập trung, giảm nhu
cầu thêm dung lượng đĩa trên các hệ
thống người dùng cá nhân
• NFS không an toàn (chỉ nên sử dụng
trên hệ thống mạng đáng tin cậy sau
tường lửa, client và server tin tưởng
lần nhau vô điều kiện, tên máy chủ
thường bị giả mạo)
• NFS xử lý chậm khi lưu lượng mạng lớn

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS (TT)

AFS

Andrew File System (AFS): một hệ thống tập tin mạng phân phối phát triển bởi Đại học
Carnegie Mellon.

▪ Các doanh nghiệp sử dụng một AFS để tạo điều kiện lưu trữ máy chủ truy cập tập tin giữa AFS máy
client nằm ở khu vực khác nhau.

▪ AFS hỗ trợ máy chủ đáng tin cậy cho tất cả khách hàng mạng truy cập vào tập tin địa điểm namespace
trong suốt và đồng nhất.

▪ Một AFS có thể được truy cập từ một môi trường phân phối hoặc vị trí nền tảng độc lập.

▪ Một người sử dụng truy cập vào một AFS từ một máy tính chạy bất kỳ loại hệ điều hành với xác thực
Kerberos và các tính năng không gian tên duy nhất. Người dùng chia sẻ tập tin và các ứng dụng sau khi
đăng nhập vào máy mà tương tác với nhau trong các cơ sở hạ tầng tính toán phân tán (DCI).

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ
NFS, AFS (TT)

Kiến trúc AFS trên hệ thống Unix

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS

HDFS

Hadoop Distributed File System (HDFS): một hệ thống lưu dữ dữ dữ

liệu được sử dụng bởi Hadoop nhằm cung cấp khả năng truy cập với hiệu
suất cao đến với các dữ liệu nằm trên các cụm của Hadoop.

HDFS có khả năng giải quyết những vấn đề:

➢Các lỗi phần cứng thường xuyên xảy ra;

➢Phân chia tập dữ liệu thành tập dữ liệu có dung lượng ít hơn;

➢Thiết kế đặc biệt cho các ứng dụng xử lý dạng khối.

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

HDFS

Kiến trúc HDFS

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

HDFS

Quá trình đọc tập tin trên HDFS

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

HDFS

Quá trình tạo và ghi dữ liệu lên tập tin HDFS

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

HDFS
Ưu điểm nổi bật của HDFS:
❑HDFS cho phép dữ liệu có thể phân tán
❑HDFS cho phép tính toán và phân tán song song
❑HDFS cho phép nhân bản các tập tin
❑HDFS có thể mở rộng theo chiều dọc
❑HDFS sở hữu khả năng mở rộng hệ thống theo chiều ngang

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

GFS

Google File System (GFS): một hệ thống tệp phân tán

độc quyền do Google phát triển để cung cấp quyền truy
cập hiệu quả, đáng tin cậy vào dữ liệu bằng cách sử
dụng các cụm phần cứng commodity.

PhilippBuiDo
 HỆ THỐNG LƯU TRỮ HDFS, GFS (TT)

GFS

Kiến trúc GFS

PhilippBuiDo
 CƠ SỞ DỮ LIỆU NOSQL
Cơ sở dữ liệu NoSQL: Cơ sở dữ liệu được xây dựng dành riêng cho mô hình dữ
liệu và có sơ đồ linh hoạt để xây dựng các ứng dụng hiện đại. Cơ sở dữ liệu
NoSQL được công nhận rộng rãi vì khả năng dễ phát triển, chức năng cũng như
hiệu năng ở quy mô lớn.

PhilippBuiDo
 CƠ SỞ DỮ LIỆU NOSQL (TT)
Phân biệt SQL và NoSQL: CSDL đại diện, Mô hình dữ liệu, Khả năng mở rộng,
Mô hình phát triển, Thao tác dữ liệu, Tính nhất quán, Lược đồ ?
Đặc điểm:
▪ Lưu trữ dữ liệu của mình theo dạng cặp giá trị “key – value”. Sử dụng số
lượng lớn các node để lưu trữ thông tin;
▪ Mô hình phân tán dưới sự kiểm soát phần mềm;
▪ Chấp nhận dữ liệu bị trùng lặp do một số node sẽ lưu cùng thông tin giống
nhau;
▪ Một truy vấn sẽ được gửi tới nhiều máy cùng lúc, do đó khi một máy nào
đó không phục vụ được sẽ không ảnh hưởng lắm đến chất lượng trả về kết
quả;
▪ Phi quan hệ: không có ràng buộc nào cho việc nhất quán dữ liệu;
▪ Tính nhất quán không theo thời gian thực.

PhilippBuiDo
 CƠ SỞ DỮ LIỆU NOSQL (TT)
Các hệ thống NoSQL phổ biến

PhilippBuiDo
 ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN

Amazon Open Stack Hadoop

Simple Storage Swiff Mapreduce
Service
(Amazon S3)

PhilippBuiDo
PhilippBuiDo