TỔNG QUAN VỀ

DATA ENGINEER

Giảng Viên: Nguyễn Thế Anh

SĐT: 0989372119
 TAI SAO LẠI ĐƯA NỘI DUNG DATA ENGINEER?

Quản trị điều hành ngày càng dựa trên phân
tích dữ liệu.
Khi chuyển đổi số một thời gian, đủ tích lũy
dữ liệu -> Cần khai thác dữ liệu.
Dữ liệu có đủ nhưng mỗi lần cần 1 báo cáo
mất cả tuần.
Số lượng người dùng vẫn thế nhưng khi
chạy report phức tạp hệ thống quá tải
Các hệ thống báo cáo tổng hợp nhiều chiều
không làm được, hoặc không chính xác.
TAI SAO LẠI ĐƯA NỘI DUNG DATA ENGINEER?
 NỘI DUNG CHÍNH

1 Dữ liệu và thông tin

2 Data Warehouse

3 Bài toán xây dựng Data Warehouse

4 Mô hình tiến trình xử lý thông tin

5 Quy trình phân tích dữ liệu (Data Analysis)

6 Công cụ phân tích dữ liệu

 DỮ LIỆU VÀ THÔNG TIN

Dữ liệu vệ tinh -> Dự báo thời tiết -> Quyết định đi chơi
Data -> Information
Data -> Information
DỮ LIỆU VÀ THÔNG TIN

Sự khác biệt giữa Data và Information

Data Information

Dữ liệu có thể là ký tự, số, ảnh, từ, văn bản, có ý Thông tin là dữ liệu theo ngữ cảnh và có ý nghĩa
nghĩa hoặc vô nghĩa với con người kèm theo

Dữ liệu đứng một mình có thể là vô nghĩa Nhưng thông tin thì luôn luôn tự thân nó có
nghĩa

Dữ liệu dựa trên các bản ghi, quan sát,.. Thông tin dựa trên phân tích dữ liệu

Dữ liệu thường không được tổ chức và phụ Thông tin luôn phụ thuộc vào dữ liệu và có tổ
thuộc vào thông tin chức
DỮ LIỆU VÀ THÔNG TIN
OLTP VÀ OLAP
 SO SÁNH DATA BASE VÀ DATA WAREHOUSE
Tham số Database Data warehouse
Mục đích Được thiết kế để lưu lại bản ghi Được thiết kế để phân tích
Xử lý Online Transactional Processing (OLTP) Online Analytical Processing (OLAP)
Chuẩn hóa Chuẩn hóa không được chuẩn hóa
Định hướng phục vụ định hướng cho ứng dụng, sản phẩm cho các loại mục đích khai thác dữ liệu nhau

giới hạn lưu trữ thường giới hạn trong 1 ứng dụng lưu trữ dữ liệu từ nhiều nguồn khác nhau
độ khả dụng dữ liệu có sẵn từ thời gian thực, cần là có được làm mới khi cần thiết từ nhiều nguồn
khác nhau, cần thì phải đợi hệ thống chạy tạo
lại dữ liệu định kì cần thiết

Kỹ thuật Capture dữ liệu Analyze dữ liệu

Loại dữ liệu Dữ liệu được lưu trữ trong Cơ sở dữ liệu được Dữ liệu hiện tại và lịch sử được lưu trữ. Có thể
cập nhật. không được cập nhật.
Lưu trữ dữ liệu Phương pháp tiếp cận quan hệ phẳng được sử Sử dụng phương pháp tiếp cận đa chiều và
dụng để lưu trữ dữ liệu. chuẩn hóa cho cấu trúc dữ liệu. Ví dụ: Lược đồ
sao và bông tuyết.

Loại truy vấn Các truy vấn giao dịch đơn giản được sử dụng. Các truy vấn phức tạp được sử dụng cho mục
đích phân tích.
Tóm tắt dữ liệu Lưu dữ liệu chi tiết Lưu trữ dữ liệu tóm tắt
MÔ HÌNH NGÔI SAO
MÔ HÌNH NGÔI SAO
XÂY DỰNG DATA WAREHOUSE
MÔ HÌNH NGÔI SAO
MÔ HÌNH NGÔI SAO
XÂY DỰNG DATA WAREHOUSE
MÔ HÌNH THIÊN HÀ (BÔNG TUYẾT)
MÔ HÌNH THIÊN HÀ (BÔNG TUYẾT)
 Sử dụng tùy
theo vai trò & Kiến trúc DL tổng thể
thẩm quyền
Doanh nghiệp Cơ quan

Cổng Web

Kho Từ Diển Siêu Dữ liệu (Metadata)

Công cụ và Ứng dụng Phân tích (Analytics)

Chủ đề Đa chiều Giao dịch Đa chiều Báo cáo

Data Marts

Kho Dữ Liệu
tổng hợp EDW Khai phá
Dữ liệu
Cập nhật
Metadata

Rửa sạch – Đối chiếu – Kiểm tra chất lượng

Xử lý tạm

Trích Rút – Tích lũy

Dữ liệu và thông tin nguồn

MÔ HÌNH TIẾN TRÌNH XỬ LÝ THÔNG TIN
MÔ HÌNH TIẾN TRÌNH XỬ LÝ THÔNG TIN
 DANH MỤC CÔNG NGHỆ

Công nghệ ETL(Extract-

Transfer-Load) Loại Công nghệ BI Loại
Pentaho Kettle Open source Power bi
Talend Open source Tableau Public
Jaspersoft-etl Open source RapidMiner
Inaplex Inaport Close source Python, Excel

SQL Server Integration

Service Close source Kinme
CÁC CÔNG CỤ ETL

SQL Server Integration Services

CÁC CÔNG CỤ ETL
CÁC GÓC NHÌN VỀ PHÂN TÍCH DỮ LIỆU
CÁC GIẢI THUẬT/MODEL
 QUY TRÌNH TRIỂN KHAI DATA WAREHOUSE
Đơn vị nghiệp vụ đưa yêu Phân tích các hệ thống Thiết kế Data Warehouse Xây dựng ETL
cầu nghiệp vụ OLTP

•Đơn vị nghiệp vụ đưa • Phân tích các hệ • Lưa chọn mô hình • Extract (Trích xuất)
yêu cầu nghiệp vụ thống OLTP liên ngôi sao hay bông •Load (Tải lên)
quan tuyết (thiên hà)
•Bộ phận BA phân tích •Transform (Chuyển
• Các hệ thống • Thiết kế các bảng
các thông tin nghiệp vụ, dimension, fact đổi)
yêu cầu tiện ích và OLTP có phải
phương pháp hiển thị chỉnh sửa không?.

Phát triển báo cáo và sử Lên kế hoạch thực thi Test trên hệ thống DEV Triển khai hệ thống
dụng cac công cụ BI ETL hoặc Stag Production

•Phát triển theo yêu • Thực thi theo kỳ •Chỉnh sửa và

• Theo quy trình triển
cầu sử dụng (ngày, tuần, tháng, hiệu chỉnh
khai của đơn vị
quý, năm)
•Chỉnh sửa theo yêu
cầu sử dụng
XÂY DỰNG PHÒNG PHÂN TÍCH DỮ LIỆU
CÁC CÔNG CỤ PHÂN TÍCH DỮ LIỆU
CÁC CÔNG CỤ PHÂN TÍCH DỮ LIỆU
LUỒNG NGHIỆP VỤ
LUỒNG DỮ LIỆU GIỮA CÁC HỆ THỐNG
 TỔNG KẾT BUỔI HỌC

Chuyển đổi số là gì?

Trong doanh nghiệp ai là người đề ra chiến lược kinh doanh
và tầm nhìn doanh nghiệp?
Mục đích khóa học là gì?
Các bước trong chuyển đổi số?
Lộ trình chuyển đổi số có mấy mức?
Trong chuyển đổi số thì cần có góc nhìn tổng quan hay
không?
Bạn cần vẽ con voi chuyển đổi số của doanh nghiệp!