Manager Cloudera

I Giới thiệu
1. Cơ sở lí luận
Apache Hadoop là một hệ thống lớn, phức tạp khi được sử dụng để cài đặt, cấu
hình, giám sát, quản lý, nâng cấp và khắc phục sự cố một cụm Apache Hadoop
phân tán (hoặc nhiều cụm).
▪ Phương pháp quản lý thủ công dễ xảy ra sai sót và không mở rộng quy mô hoặc
cung cấp lợi ích của một ứng dụng quản lý được phát triển đầy đủ. Vì vậy, một
công cụ quản lý là cần thiết cho bất kỳ cụm nào có quy mô hợp lý. Mà ở đây, ta
đang nói đến Cloudera Manager là công cụ quản lý Hadoop ưu việt:
─ Tải xuống miễn phí
─ Sử dụng miễn phí
─ Không cam kết với Cloudera
2. Đặc điểm
 Đây là Một ứng dụng được thiết kế để đáp ứng nhu cầu của người dùng
cấp doanh nghiệp Hadoop.
 Đặc điểm:
- Quản lý một loạt các dịch vụ "hệ sinh thái" Hadoop và HadoopBao
gồm HDFS, YARN, MapReduce, Spark, Hive, Pig, Impala, Kudu,
Flume, Oozie, Sqoop, ZooKeeper, Hue, HBase, Cloudera Search, v.v.
- Chẩn đoán và giải quyết các vấn đề nhanh chóng hơn.
- Ghi nhật ký Daemon được tổng hợp và có thể tìm kiếm trên toàn bộ
cụm.
- Quản lý quyền truy cập của người dùng và nhóm vào (các) cụm.
- Giám sát tình trạng và hiệu suất của cụm, theo dõi các sự kiện.
- Giám sát thời gian thực, biểu đồ, báo cáo tùy chỉnh, cảnh báo qua
email.
II Ưu điểm

Triển khai và cấu hình tự động. Cách nhanh nhất để thiết lập và chạy với Hadoop
và Cloudera Enterprise. Trình hướng dẫn tự động cho phép bạn nhanh chóng triển
khai cụm của mình, bất kể quy mô hoặc môi trường triển khai như thế nào, hoàn
chỉnh với các cài đặt mặc định thông minh dựa trên hệ thống của bạn. Đảm bảo
tính nhất quán khi bạn chuyển từ thử nghiệm sang sản xuất hoặc trên các môi
trường với các mẫu cấu hình cụm di động. Thông qua giao diện tập trung, nhóm
vận hành của bạn có thể dễ dàng điều chỉnh cấu hình và nguồn lực; quản lý một
loạt các vai trò người dùng để truy cập tự phục vụ giữa các bộ phận; và thậm chí
quản lý nhiều cụm cho môi trường nhiều người thuê.
Giám sát và báo cáo có thể tùy chỉnh. Có được khả năng hiển thị đầy đủ vào cụm
của bạn với hàng trăm kiểm tra sức khỏe và cảnh báo được tích hợp sẵn mà bạn có
thể định cấu hình dựa trên những gì quan trọng nhất đối với bạn. Bạn không chỉ có
thể giám sát tất cả các thành phần trên tất cả các cụm (bao gồm cả chính Cloudera
Manager), bạn còn có thể dễ dàng theo dõi công việc và hiệu suất truy vấn.
Cloudera Manager có trang tổng quan có thể tùy chỉnh duy nhất của ngành, với khả
năng tạo biểu đồ nâng cao để theo dõi lịch sử và các ngưỡng và trình kích hoạt tùy
chỉnh cho môi trường của bạn.

Khắc phục sự cố dễ dàng, mạnh mẽ. Quản lý nhật ký tập trung duy nhất tổng hợp
nhật ký trên tất cả các dịch vụ và máy chủ, đồng thời giúp chúng có thể tìm kiếm
được để khắc phục sự cố đơn giản, bao gồm cảnh báo tích hợp, tùy chỉnh cho các
lỗi bạn quan tâm. Các quan điểm và chỉ số lịch sử cho phép bạn biết chính xác điều
gì đã xảy ra khi nào và cho phép bạn nhanh chóng xem hành vi bất thường. Hỗ trợ
Cloudera cũng được tích hợp trực tiếp với Trình quản lý Cloudera, để hỗ trợ chủ
động và giải quyết vấn đề dựa trên hệ thống và nhật ký của bạn.

Bảo trì thời gian chết bằng không. Không bao giờ phải lo lắng về thời gian ngừng
hoạt động của hệ thống với các tính năng tự động hóa toàn diện để nâng cấp và
khôi phục, vì vậy bạn luôn nhận được những cải tiến mới nhất mà không gặp rắc
rối. Tính khả dụng cao trên các thành phần và được tích hợp sẵn sao lưu và khôi
phục thảm họa có nghĩa là bạn có thể chạy ngay cả những khối lượng công việc
quan trọng nhất của mình mà không gặp rủi ro.
*Hadoop Cluster: Một Hadoop cluster là một cụm phần cứng sử dụng để tạo điều
kiện cho việc sử dụng công nghệ mã nguồn mở Hadoop để xử lý dữ liệu. Cụm bao
gồm một nhóm các nút. Một hệ thống phân tán với các máy cài Hadoop được gọi
là một Hadoop cluster.
Cloudera Service: Được cài đặt bên ngoài cụm trên phần cứng chuyên
dụng.
Dịch vụ Quản lý Cloudera là một tập hợp các vai trò được Manager Cloudera sử
dụng để quản lý và giám sát các cụm. Dịch vụ quản lý Cloudera triển khai các tính
năng quản lý khác nhau như một tập hợp các vai trò:
Máy chủ theo dõi (Host Monitor) - thu thập thông tin về tình trạng và chỉ số về
máy chủ.
Máy chủ dịch vụ (Service Monitor) - thu thập thông tin chỉ số và sức khỏe về các
dịch vụ và thông tin hoạt động từ các dịch vụ YARN và Impala
Máy chủ sự kiện (Event Service) - tổng hợp các sự kiện Hadoop có liên quan và
cung cấp chúng để cảnh báo và tìm kiếm
Nhà xuất bản cảnh báo (Alert Publisher) - tạo và gửi cảnh báo cho một số loại sự
kiện nhất định
Trình quản lý Báo cáo (Report Manager) - tạo báo cáo cung cấp chế độ xem lịch sử
về việc sử dụng đĩa của người dùng, nhóm người dùng và thư mục, xử lý các hoạt
động của người dùng và nhóm YARN cũng như các bảng và không gian tên
HBase. Vai trò này không được thêm vào trong Cloudera Express.
III
1. Đại lý quản lý Cloudera
─ Nhận được cập nhật cấu hình từ máy chủ.
─ Bắt đầu và dừng Hadoop daemon, thu thập số liệu thống kê.
─ Hiển thị trạng thái nhịp tim của máy chủ.

Daemon: Hadoop Daemons là một tập hợp các quy trình chạy trên Hadoop.
Hadoop là một khuôn khổ được viết bằng Java, vì vậy tất cả các quy trình này đều
là Quy trình Java. Apache Hadoop 2 bao gồm các Daemons sau: NameNode và
DataNode
Một số daemon khác bao gồm:
 NameNode
 DataNode
 SecondaryNameNode
 JobTracker
 TaskTracker
2
Quản lý nhiều người thuê và khả năng hiển thị
Mở cụm của bạn cho nhiều khối lượng công việc và nhóm người dùng, trong
khi vẫn đáp ứng các SLA ưu tiên thông qua quản lý tài nguyên động và báo cáo
sử dụng cụm. Dễ dàng phân bổ tài nguyên YARN và Impala cho các đối tượng
thuê khác nhau và tự động điều chỉnh dựa trên thời gian, ngày và mức độ ưu
tiên có trọng số. Báo cáo sử dụng cụm cung cấp khả năng hiển thị cho mỗi
người thuê về mức tiêu thụ tài nguyên và hiệu quả để lập kế hoạch năng lực,
điều chỉnh ưu tiên và khắc phục sự cố khối lượng công việc có vấn đề.
3 Tích hợp mở rộng
Có được khả năng hiển thị thống nhất vào Cloudera Enterprise và các công cụ
hàng đầu của bên thứ ba, tất cả đều thông qua Trình quản lý Cloudera. Được
thiết kế với một khuôn khổ có thể mở rộng, các công cụ đối tác có thể tích hợp
liền mạch với Trình quản lý Cloudera để quản trị thực sự tập trung.

Khả năng mở rộng này cũng cho phép Trình quản lý Cloudera nhanh chóng
thích ứng khi hệ sinh thái Hadoop mở rộng, vì vậy bạn có quyền truy cập vào
các cải tiến hàng đầu và các thành phần mới (bao gồm Apache Spark ™,
Apache Kafka và Impala) thông qua cùng một trải nghiệm quản trị.

4 Đáng tin cậy để sản xuất

Dễ dàng chạy khối lượng công việc quan trọng nhất của bạn ở mọi quy mô với
Trình quản lý Cloudera. Là công cụ quản trị Hadoop duy nhất có các bản nâng
cấp toàn diện, bạn luôn có thể truy cập vào các cải tiến hàng đầu của nền tảng
mà không cần thời gian ngừng hoạt động. Cloudera Manager cũng bao gồm sao
lưu và khôi phục thảm họa (BDR) đơn giản được tích hợp trực tiếp vào nền
tảng để bảo vệ dữ liệu và siêu dữ liệu của bạn trước những sự kiện thảm khốc
nhất.

Trình quản lý Cloudera là một phần quan trọng trong giải pháp bảo mật toàn
diện của Cloudera, với xác thực tự động tích hợp với các công cụ hàng đầu, vì
vậy bạn có thể đáp ứng ngay cả các quy định tuân thủ nghiêm ngặt nhất trên
quy mô lớn.
5 Hỗ trợ chủ động và dự đoán tích hợp
Cloudera Manager cung cấp cho bạn kết nối trực tiếp với bộ phận hỗ trợ đẳng
cấp thế giới của Cloudera. Chỉ với một cú nhấp chuột đơn giản, bạn có thể gửi
các gói chẩn đoán đến Bộ phận hỗ trợ của Cloudera để có thời gian giải quyết
nhanh nhất.

Tận dụng Trung tâm dữ liệu hỗ trợ nội bộ, Bộ phận hỗ trợ của Cloudera có thể
chủ động cung cấp hỗ trợ dựa trên các vấn đề đã biết và cung cấp hỗ trợ dự
đoán dựa trên các chi tiết cụ thể về cụm của bạn.