Order Management Data Warehouse

Nhóm 13

Ngày 30 tháng 11 năm 2020

Mục lục
1 Khảo sát 1
1.1 Requirement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Quy mô dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Phân tích và thiết kế 3

2.1 Kiến trúc Data Warehouse . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 ETL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.4 Data Model ERD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.5 Data Model OLAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3 Xây dựng chương trình 4

3.1 Dashboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.2 Bài học tổng kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1 Khảo sát
1.1 Requirement
Phân tích nghiệp vụ
Order Management (Quản lý đơn đặt hàng)là gì?
Quản lý đặt hàng là quy trình "order-to-cash" nằm ở vị trí trung tâm của bất kỳ mô hình
kinh doanh dựa trên hàng hóa nào của các công ty B2C và B2B. Nói một cách đơn giản,
đó là chu trình từ đầu đến cuối của việc nhận và xử lý đơn đặt hàng của khách hàng cho
đến khi hoàn thành. Quản lý đơn hàng không được tiến hành một cách riêng biệt và cô
lập; nó dựa vào hầu hết các bộ phận trong một doanh nghiệp: từ đội dịch vụ khách hàng
đến nhân viên kho, bộ phận kế toán cho đến các đối tác giao hàng. Khi được thực hiện
một cách hiệu quả, quản lý đơn đặt hàng đảm bảo quy trình làm việc của doanh nghiệp
hoạt động trơn tru bằng cách thiết lập các quy trình hiệu quả; duy trì sự hài lòng của
khách hàng và bảo vệ danh tiếng của công ty.
Quy trình các bước trong quản lý đơn đặt hàng

1. Quá trình bắt đầu khi khách hàng đặt hàng; có thể theo hình thức trực tuyến, tại
cửa hàng hoặc qua điện thoại với đại diện bên cung cấp dịch vụ/sản phẩm. Sau đó,
thông tin chi tiết của khách hàng được lưu lại, bao gồm lịch sử đặt hàng, số lượng

1
 đơn đặt hàng và phương thức thanh toán. Cuối cùng, đơn đặt hàng của khách hàng
được gửi đến kho.

2. Hàng trong kho được kiểm tra bởi người quản lý kho và các mặt hàng đến liên tục
từ các nhà cung cấp được ghi lại. Nếu hàng tồn kho gần hết, hoặc hết sạch do một
đơn hàng lớn, thì một đơn mua hàng sẽ được chuyển đến bộ phận thu mua.

3. Đơn đặt hàng được gửi đến bộ phận kế toán, ghi lại là thanh toán bằng tiền mặt
hoặc bằng tài khoản ngân hàng. Việc bán hàng được ghi vào sổ cái, một hóa đơn
được tạo và gửi cho khách hàng, và khoản thanh toán được ghi lại.

4. Dịch vụ vận chuyển của bên thứ ba (hoặc của chính công ty) sẽ giao hàng cho khách
hàng. Khách hàng nhận hàng và kiểm tra đơn hàng. Khi đó, đơn đặt hàng được
hoàn thành.

Hệ thống quản lý đơn đặt hàng là gì?

Hệ thống quản lý đơn đặt hàng là một phần mềm cho phép nhập và xử lý đơn đặt hàng
của khách hàng.
Nhu cầu xây dựng Order Management Data Warehouse
Hệ thống dịch vụ có nhiều ưu điểm sau

ˆ Có thể truy cập và sử dụng mọi lúc

ˆ Giúp quản lý kho

ˆ Giúp người sử dụng có cái nhìn tổng quan

ˆ Là hệ thống thời gian thực

ˆ Hiệu quả do sự tự động thay vì làm thủ công

Tuy nhiên chúng ta cần xây dựng kho dữ liệu do những nhu cầu thực tế sau:

ˆ Ta cần phân tích thông tin về đặt hàng lấy từ nhiều nguồn khác nhau

ˆ Ta muốn tách riêng dữ liệu cần phân tích ra khỏi dữ liệu giao dịch

ˆ Để cải thiện tính hiệu quả của các câu truy vấn khi phân tích dữ liệu

Yêu cầu
Từ bộ dữ liệu đầu vào là dữ liệu chuỗi cung ứng của công ty DataCo Global, ta cần xây
dựng đầu ra là các báo cáo (reports) và dashboard.
Các chủ đề của dashboard

1. Sales

2. Order Quantity

3. Profit

Trong mỗi dashboard lại có các báo cáo khác nhau để phân tích 1 chủ đề, ví dụ về sales,
có các báo cáo

ˆ Sales theo Region

2
 ˆ Sales theo Year, Month

ˆ Sales theo Category

ˆ Sales theo Department

ˆ Sales theo Type

1.2 Quy mô dữ liệu

Bộ dữ liệu
Bộ dữ liệu được sử dụng là bộ dữ liệu chuỗi cung ứng mà công ty DataCo Global dùng
để phân tích. Các lĩnh vực đăng ký hoạt động của công ty bao gồm cung cấp, sản xuất,
bán hàng và phân phối thương mại. Các sản phẩm của công ty: Quần áo, Thể thao và
Nguồn cung cấp Điện tử.
Kích thước bộ dữ liệu
Bộ dữ liệu lấy trên Kaggle, có kích thước 91.47 MB, bao gồm 53 cột và 180520 dòng.
Hình ảnh bộ dữ liệu gốc
Mô tả các trường dữ liệu

2 Phân tích và thiết kế

2.1 Kiến trúc Data Warehouse
Kiến trúc mô hình cũ
Mô hình cũ thực hiện các hoạt động phân tích dữ liệu ngay trên hệ thống quản lý đơn
đặt hàng (chính là hệ thống dữ liệu giao dịch). Điều này sẽ đem lại nhiều hạn chế, như

ˆ Làm giảm hiệu năng của hệ thống xử lý đơn đặt hàng do liên tục truy vấn phân
tích dữ liệu

ˆ Làm cho dữ liệu dùng để phân tích không ổn định, liên tục thay đổi theo thời gian
thực

ˆ Các công cụ quản trị cơ sở dữ liệu thông thường khó thực hiện được các truy vấn
phân tích, ví dụ như chuyển vị. . .

Do đó ta cần xây dựng hệ thống mới sử dụng kho dữ liệu với mô hình kiến trúc 4 lớp.
Kiến trúc 4 lớp
Giải thích mỗi lớp

ˆ Lớp dữ liệu thô là file CSV

ˆ Lớp giữa trước khi đưa vào DW là để thực hiện ETL dữ liệu, ví dụ như xử lý missing
value, dữ liệu đa trị, định dạng lại các đơn vị $, tách thành các sheet. . .

ˆ Data Warehouse chứa các bảng như là Khách hàng, Sản phẩm, Đơn đặt hàng. . .

ˆ Lớp cuối cùng là lớp phân tích. Ở đây ta sẽ đưa ra các báo cáo và dashboard theo
các chủ đề. Trong bài này có 3 chủ đề là Sales, Order Quantity, Profit

3
2.2 ETL
Sơ đồ thực hiện quá trình ETL
Trong đó, cụ thể các bước như sau

1. Extract là ta chọn lọc các cột trong bảng dữ liệu, bỏ qua một số cột không sử dụng,
ví dụ như Email, Password. . .

2. Transform là ta biến đổi dữ liệu, xử lý các dữ liệu đa trị, định dạng dữ liệu. . .

3. Load là ta chia dữ liệu thành nhiều sheet rồi đưa vào trong cơ sở dữ liệu SQL Server

Các nội dung ETL

Xử lý các giá trị null
Định dạng lại dữ liệu
Xử lý các giá trị đa trị
Dữ liệu sau khi extract và transform được lưu vào sheet Stagging. Bảng dữ liệu mới bao
gồm 49 cột và 180520 dòng.
Dữ liệu được chia thành nhiều sheet nhỏ trước khi đưa vào CSDL

2.3 Dimension
Mô hình ED
Ứng với mô hình Star (ở phía sau), thì ta thấy có 5 dimension group, trong đó có 1 chiều
dữ liệu phân cấp
Mô hình dữ liệu được xây dựng với 5 bảng dimension

2.4 Data Model ERD

2.5 Data Model OLAP

3 Xây dựng chương trình

3.1 Dashboard
3.2 Bài học tổng kết
1. Việc xây dựng kho dữ liệu là cần thiết cho mục tiêu phân tích thay vì chỉ dùng
CSDL giao dịch.

2. Quá trình ETL dữ liệu tốn nhiều thời gian so với các công việc còn lại nên cần tập
trung quan tâm thực hiện.

3. Dữ liệu có kích thước lớn ảnh hưởng nhiều đến thời gian chạy của máy tính, nên
cần chọn máy có cấu hình đủ mạnh khi xử lý và phân tích

4. Kiến thức nghiệp vụ rất quan trọng để tạo ra DW phù hợp và sử dụng cho BI.

5. Mô hình dữ liệu đa chiều giúp phân tích dữ liệu trên nhiều góc độ khác nhau, và có
thể phân cấp.

6. Các dashboard xây dựng hướng chủ đề, đảm bảo tính logic và thẩm mỹ

4
7. Làm việc nhóm nhiều người tốt hơn làm việc cá nhân độc lập.

8. . . .