ĐẠI HỌC BÁCH KHOA HÀ NỘI

KHOA TOÁN - TIN

==========================
=
=
=
=
=
=
=
=
=
=
=
=
=
=

THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU

TRÊN CLOUD ĐỂ PHỤC VỤ CHO CÁC BÁO CÁO CỦA
NGÂN HÀNG

ĐỒ ÁN TỐT NGHIỆP

Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ

Giảng viên hướng dẫn: PGS. TS. NGUYỄN ĐÌNH HÂN

Sinh viên thực hiện: NGUYỄN CẢNH LONG
MSSV: 20185465
Lớp: Hệ Thống Thông Tin Quản Lý 01 - K63

Hà Nội – 2024
 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN

1. Mục đích và nội dung của đồ án:

2. Kết quả đạt được:

3. Ý thức làm việc của sinh viên:

Hà Nội, ngày….tháng…năm 2024

Giảng viên hướng dẫn

Nguyễn Đình Hân

1
 MỤC LỤC

NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN ..................................................1

MỤC LỤC ..................................................................................................................2
DANH MỤC HÌNH VẼ ............................................................................................4
MỞ ĐẦU ....................................................................................................................7
1. Lý do chọn đề tài ............................................................................................ 7
2. Đối tượng và phạm vi nghiên cứu .................................................................. 7
3. Ý nghĩa khoa học và thực tiễn của đề tài ....................................................... 8
LỜI CẢM ƠN ............................................................................................................9
CHƯƠNG 1. CÁC KHÁI NIỆM CƠ BẢN ...........................................................10
Tổng quan về kho dữ liệu............................................................................. 10
Các đặc trưng của kho dữ liệu........................................................10
Kiến trúc chung của kho dữ liệu ....................................................10
Lợi ích khi sủ dụng kho dữ liệu .....................................................11
Công nghệ sử dụng....................................................................................... 13
Oracle Data Integrator ....................................................................13
Amazon S3 .....................................................................................14
Amazon glue job ............................................................................15
Amazon redshift .............................................................................16
PowerBI Desktop ...........................................................................17
CHƯƠNG 2. PHÂN TÍCH BÀI TOÁN VÀ THIẾT KẾ HỆ THỐNG ..............18
Bài toán đặt ra .............................................................................................. 18
Yêu cầu báo cáo đầu ra ..................................................................18
Tài liệu phân tích yêu cầu(BRD) ...................................................18
Mô hình kinh doanh tổng quát .......................................................22
Mô hình bài toán và phương pháp thiết kế .................................................. 23
Mô hình bài toán ............................................................................24
Thiết kế các bảng Fact ...................................................................25
Thiết kế các bảng dim ....................................................................27
Mapping chi tiết các bảng ............................................................................ 28

2
 Mapping tầng Atomic ....................................................................29
Mapping tầng Data Mart ................................................................31
CHƯƠNG 3. TRIỂN KHAI XÂY DỰNG CHƯƠNG TRÌNH ...........................34
Xây dựng hệ thống ....................................................................................... 34
Xử lý dữ liệu ở mặt đất ..................................................................34
Dữ liệu ở S3 ...................................................................................38
Dữ liệu ở Redshift ..........................................................................39
Xây dựng luồng ..............................................................................42
Báo cáo phân tích ......................................................................................... 44
Xây dựng báo cáo trên PowerBI ....................................................44
Báo cáo và DashBoard ...................................................................46
KẾT LUẬN ..............................................................................................................51
TÀI LIỆU THAM KHẢO ......................................................................................52

3
 DANH MỤC HÌNH VẼ

Hình 1.1 Kiến trúc chung của Kho dữ liệu ...............................................................11

Hình 1.2 Ứng dụng kho dữ liệu ................................................................................11
Hình 1.3 Thành phần kiến trúc của ODI ...................................................................13
Hình 1.4 Amazon S3 .................................................................................................14
Hình 1.5 Amazon glue job ........................................................................................15
Hình 1.6 Amazon Redshift ........................................................................................16
Hình 1.7 Giao diện làm việc với PowerBI ................................................................17
Hình 2.1 Kiến trúc mô hình 9 concept ......................................................................23
Hình 2.2 Mô hình kiến trúc chung hệ thống .............................................................24
Hình 2.3 Thiết kế BANCAS_INS_ANL_FCT .........................................................25
Hình 2.4 Thiết kế EXPN_ANL_FCT .......................................................................25
Hình 2.5 Thiết kế FNC_DEP_AR_ANL_FCT .........................................................26
Hình 2.6 Thiết kế TXN_FEE_ANL_FCT .................................................................26
Hình 2.7 Thiết kế CST_ANL_FCT...........................................................................27
Hình 2.8 Thiết kế CST_DIM ....................................................................................27
Hình 2.9 Thiết kế OU_DIM ......................................................................................27
Hình 2.10 Thiết kế AC_AR_DIM .............................................................................28
Hình 2.11 Thiết kế FEE_TP_DIM ............................................................................28
Hình 2.12 Thiết kế BANCAS_DIM .........................................................................28
Hình 2.13 Thiết kế GL_DIM ....................................................................................28
Hình 2.14 Mapping Atomic IP ..................................................................................29
Hình 2.15 Mapping Atomic ACG_STC_ITM ..........................................................29
Hình 2.16 Mapping Atomic AR ................................................................................29
Hình 2.17 Mapping Atomic AR_X_IP .....................................................................29
Hình 2.18 Mapping Atomic AU_BAL .....................................................................30

4
Hình 2.19 Mapping Atomic CCY .............................................................................30
Hình 2.20 Mapping Atomic EXG_RATE .................................................................30
Hình 2.21 Mapping Atomic IP_X_CL ......................................................................30
Hình 2.22 Mapping Atomic OU................................................................................31
Hình 2.23 Mapping Data Mart BANCAS_DIM .......................................................31
Hình 2.24 Mapping Data Mart FEE_TP_DIM .........................................................31
Hình 2.25 Mapping Data Mart AC_AR_DIM ..........................................................31
Hình 2.26 Mapping Data Mart CST_DIM ................................................................31
Hình 2.27 Mapping Data Mart GL_DIM ..................................................................31
Hình 2.28 Mapping Data Mart OU_DIM .................................................................32
Hình 2.29 Mapping Data Mart BANCAS_INS_ANL_FCT .....................................32
Hình 2.30 Mapping Data Mart CST_ANL_FCT ......................................................32
Hình 2.31 Mapping Data Mart EXPN_ANL_FCT ...................................................32
Hình 2.32 Mapping Data Mart FNC_DEP_AR_ANL_FCT ....................................33
Hình 2.33 Mapping Data Mart TXN_FEE_ANL_FCT ............................................33
Hình 3.1 Job vận hành bảng HTD .............................................................................34
Hình 3.2 Job vận hành bảng EAB .............................................................................35
Hình 3.3 Job vận hành bảng GAM ...........................................................................35
Hình 3.4 Job vận hành bảng SOL .............................................................................36
Hình 3.5 Job vận hành bảng AULT ..........................................................................36
Hình 3.6 Job vận hành bảng ACCOUNTS ...............................................................37
Hình 3.7 Job vận hành bảng MB_TRANSECTION .................................................37
Hình 3.8 Job vận hành bảng GSH .............................................................................38
Hình 3.9 Job vận hành bảng RTH .............................................................................38
Hình 3.10 Dữ liệu đẩy lên S3 ....................................................................................39
Hình 3.11 Ý nghĩa các bảng nguồn ...........................................................................39

5
Hình 3.12 Job Glue bảng AR_X_IP..........................................................................40
Hình 3.13 Job Glue bảng TXN_EXPN .....................................................................40
Hình 3.14 Dữ liệu bảng ở Atomic .............................................................................40
Hình 3.15 Job Glue bảng TXN_FEE_ANL_FCT .....................................................41
Hình 3.16 Job Glue bảng BANCAS_INS_ANL_FCT .............................................41
Hình 3.17 Dữ liệu bảng tầng Data Mart ....................................................................41
Hình 3.18 Danh sách ý nghĩa các bảng tầng Atomic ................................................42
Hình 3.19 Bảng ELT_LOG .......................................................................................42
Hình 3.20 Bảng DEPENDENCY ..............................................................................43
Hình 3.21 Luồng chạy dữ liệu...................................................................................43
Hình 3.22 Luồng chạy thành công ............................................................................44
Hình 3.23 Kết nối môi trường PowerBI ....................................................................45
Hình 3.24 Model trên PowerBI .................................................................................45
Hình 3.25 Cửa sổ Publish báo cáo ............................................................................46
Hình 3.26 Báo cáo sao kê doanh thu bảo hiểm .........................................................46
Hình 3.27 Báo cáo sao kê chi phí hoạt động .............................................................47
Hình 3.28 Báo cáo sao kê về tính hình huy động vốn ..............................................47
Hình 3.29 Báo cáo sao kê về doanh thu phí ..............................................................48
Hình 3.30 Báo cáo sao kê về tình hình dư nợ ...........................................................48
Hình 3.31 Dash Board về huy động vốn ...................................................................49
Hình 3.32 Dash Board về khách hàng.......................................................................49
Hình 3.33 Dash Board về dư nợ cho vay ..................................................................50

6
 MỞ ĐẦU

1. Lý do chọn đề tài
Với sự phát triển vượt bậc và không ngừng mở rộng quy mô của ngân hàng
trong thời gian qua thì lượng thông tin và dữ liệu được lưu trữ, thu thập trong các
hoạt động kinh doanh ngày càng tăng lên. Lượng dữ liệu và thông tin này phản ánh
trực tiếp năng suất của các hoạt động kinh doanh, tình hình phát triển, tình hình huy
động vốn, dư nợ, lời lãi của ngân hàng. Vì vậy việc tổ chức lưu trữ dữ liệu một cách
tập trung thống nhất và khai thác chúng hiệu quả sẽ giúp các ngân hàng có các cái
nhìn tổng quan về hoạt động kinh doanh từ đó đưa ra các chiến lược để kinh doanh
và phát triển một các hiệu quả nhất.

Việc phát triển nền tảng kho dữ liệu là một trong những vấn đề thiết yếu với
ngân hàng, nó giúp đáp ứng các yêu cầu hiện tại về lưu trữ và sử dụng dữ liệu. Nguồn
dữ liệu cung cấp thông tin một cách nhanh chóng, chính xác, đồng thời là nền tảng
cho việc hỗ trợ ra quyết định.

Hiện nay việc sử dụng cloud để lưu trữ dữ liệu rất là phổ biến và xu hướng của
các ngân hàng hiện nay là dần đưa kho dữ liệu của mình lưu trữ ở cloud. Vì vậy em
đã chọn đề tài “Thiết kế và xây dựng hệ thống kho dữ liệu trên cloud để phục vụ cho
các báo cáo của ngân hàng” làm đề tài trong đồ án tốt nghiệp của mình.

2. Đối tượng và phạm vi nghiên cứu

Trong quá trình tìm hiểu và phát triển đồ án em đã xác định được các đối tượng
chính cần phải nghiên cứu tập trung và xoay quanh:
- Về các dịch dụ trên cloud.
- Về hệ thống kho dữ liệu theo mô hình 9 thực thể.
- Về hệ thống phân tích báo cáo.
Tuy nhiên mảng xây dựng kho dữ liệu trên cloud này khá mới và quy mô cũng
vô cùng lớn nền để phù hợp với thời gian và phạm vi nghiên cứu của đồ án thì em sẽ
nghiên cứu xoay quanh việc lưu trữ dữ liệu, Etl dữ liệu và báo cáo sử dụng.

7
 3. Ý nghĩa khoa học và thực tiễn của đề tài
Trong suốt thời gian thực hiện đồ án, có một số mục tiêu và kết quả mà em luôn
hướng đến như sau:
- Hoàn thành được việc xây dựng kho dữ liệu rên cloud.
- Nghiên cứu và áp dụng mô hình kho dữ liệu 9 concept trong lĩnh vực tài chính
ngân hàng của IBM.
- Vận hành thử nghiệm với hệ thống kho dữ liệu và các báo cáo phân tích khách
hàng để xác định hiệu năng xử lý của kho dữ liệu mới.

8
 LỜI CẢM ƠN

Đồ án môn học này là kết quả của quá trình học tập, nghiên cứu của em tại
Khoa Toán – Tin, Đại học Bách khoa Hà Nội.
Đầu tiên cho em được gửi lời cảm ơn chân thành đến các thầy cô, bạn bè tại
Khoa Toán - Tin. Trong thời gian thực hiện đồ án, em đã nhận được rất nhiều
sự quan tâm, giúp đỡ, đặc biệt là các kiến thức thầy cô truyền đạt và giảng dạy
để em có thể hoàn thành đồ án này.

Đặc biệt, em xin được cảm ơn thầy PGS. TS. Nguyễn Đình Hân người đã trực
tiếp hướng dẫn em nghiên cứu và hoàn thành đồ án này. Qua quá trình học tập
và được thầy giảng dạy em đã nhận được nhiều kinh nghiệm quý báu trên lĩnh
vực này.

Do thời gian có hạn và kiến thức còn hạn chế nên bài đồ án này không thể tránh
được những thiếu sót. Em rất mong nhận được những ý kiến đóng góp của thầy
cô và các bạn để có thể hoàn thiện đồ án một cách tốt nhất.

Em xin chân thành cảm ơn!