You are on page 1of 62

HỆ HỖ TRỢ

QUẢN TRỊ THÔNG MINH


(BUSINESS INTELLIGENCE)
Hoàng Anh _ BIT/CTD UEH
Anhh@ueh.edu.vn
Chương 3. BI và Data Warehousing
Mục tiêu
 1.
Hiểu các định nghĩa và khái niệm cơ bản về Data
Warehouse / kho dữ liệu
 2. Hiểu kiến ​trúc Data Warehouse
 3.Mô tả các quy trình được sử dụng trong việc phát triển và
quản lý kho dữ liệu
 4. Giải thích hoạt động lưu trữ dữ liệu
 5.Giải thích vai trò của kho dữ liệu trong việc hỗ trợ ra
quyết định
Mục tiêu

 6. Giải thích việc tích hợp và trích xuất dữ liệu, quá


trình chuyển đổi và tải dữ liệu (ETL)
 7.Hiểu bản chất của quản lý hiệu quả kinh doanh
(BPM)
 8.Tìm hiểu thẻ điểm cân bằng và Six Sigma làm hệ
thống đo lường hiệu suất
BI và Data Warehousing

 BItừng là mọi thứ liên quan


đến việc sử dụng dữ liệu để hỗ
trợ quyết định quản lý
 Bâygiờ, nó là một phần của
Phân tích kinh doanh
Kho dữ liệu là gì?
What is a Data Warehouse?
 Một kho lưu trữ vật lý nơi dữ liệu quan hệ được tổ chức
đặc biệt để cung cấp dữ liệu rõ ràng, toàn doanh nghiệp
theo định dạng chuẩn
 Cơ sở dữ liệu quan hệ? (sự khác biệt là gì?)
 “Khodữ liệu là tập hợp các cơ sở dữ liệu tích hợp,
hướng chủ đề được thiết kế để hỗ trợ các chức năng
DSS, trong đó mỗi đơn vị dữ liệu là không thay đổi và
phù hợp với một thời điểm nào đó”
Quan điểm lịch sử đối với việc lưu trữ dữ liệu
Đặc điểm của DWs
 Định hướng đối tượng
 Tích hợp
 Biến đổi theo thời gian (chuỗi thời gian)
 Không biến động
 Tóm tắt
 Không chuẩn hóa
 Metadata
 Dựa trên web, quan hệ/đa chiều
 Máy khách/máy chủ, thời gian thực/đúng thời gian/hoạt động...
Data Mart

 Một “DW” quy mô nhỏ/ phòng ban chỉ lưu trữ dữ liệu
có giới hạn/có liên quan
 Datamart phụ thuộc
 Một tập hợp con được tạo trực tiếp từ kho dữ liệu
 Data mart độc lập
 Kho dữ liệu nhỏ được thiết kế cho một đơn vị kinh doanh
chiến lược hoặc một bộ phận
Các thành phần khác của DWs

 Lưu trữ dữ liệu hoạt động (ODS)


 Một loại cơ sở dữ liệu thường được sử dụng như một vùng tạm thời
cho một kho dữ liệu
 Oper marts
 Một trung tâm dữ liệu hoạt động
 Kho dữ liệu doanh nghiệp (EDW)
 Kho dữ liệu cho doanh nghiệp
 Siêu dữ liệu – “dữ liệu về dữ liệu”
 Trong siêu dữ liệu DW mô tả nội dung của kho dữ liệu cũng như việc
thu thập và sử dụng nó
Case study 3.1

 A Better Data Plan: Well-Established TELCOs


Leverage Data Warehousing and Analytics to Stay
on Top in a Competitive Industry
Questions for Discussion
 1. What are the main challenges for TELCOs?
 2.How can data warehousing and data analytics help
TELCOs in overcoming their challenges?
 3. Why do you think TELCOs are well suited to take
full advantage of data analytics?
DW để ra quyết định dựa trên dữ liệu
 Một ví dụ về DW hỗ trợ việc ra quyết định dựa trên dữ
liệu trong ngành ô tô
A Generic DW Framework
Kiến trúc DW
 Kiến trúc ba tầng
 1. Phần mềm thu thập dữ liệu (back-end)
 2. Kho dữ liệu chứa dữ liệu & phần mềm
 3.Phần mềm client (front-end) cho phép người dùng truy
cập và phân tích dữ liệu từ kho

 Kiến trúc hai tầng


 Hai tầng đầu tiên trong kiến ​trúc ba tầng được kết hợp
thành một ... đôi khi chỉ có một bậc?
Kiến trúc DW
Kiến trúc DW
 Các vấn đề cần xem xét khi quyết định sử dụng kiến ​trúc
nào:
 Nên sử dụng hệ thống quản lý cơ sở dữ liệu (DBMS) nào?
 Liệuxử lý song song và/hoặc phân vùng có được sử dụng
không?
 Các công cụ di chuyển dữ liệu sẽ được sử dụng để tải dữ
liệu kho?
 Những công cụ nào sẽ được sử dụng để hỗ trợ việc truy
xuất và phân tích dữ liệu?
Kiến trúc Web-based DW
Một số lựa chọn khác
Một số lựa chọn khác
 Mỗi kiến ​trúc đều có ưu điểm và nhược điểm!
 Kiến trúc nào là tốt nhất?
Mười yếu tố có khả năng ảnh hưởng đến
quyết định lựa chọn kiến ​trúc
1. Information interdependence between organizational units
2. Upper management’s information needs
3. Urgency of need for a data warehouse
4. Nature of end-user tasks
5. Constraints on resources
6. Strategic view of the data warehouse prior to implementation
7. Compatibility with existing systems
8. Perceived ability of the in-house IT staff
9. Technical issues
10. Social/political factors
Tích hợp dữ liệu và quá trình trích xuất,
chuyển đổi và tải
 ETL = Extract Transform Load
 Tích hợp dữ liệu
 Tích hợp bao gồm ba quy trình chính: truy cập dữ liệu, liên kết dữ liệu và nắm
bắt thay đổi.
 Tích hợp ứng dụng doanh nghiệp (EAI)
 Một công nghệ cung cấp phương tiện để đẩy dữ liệu từ hệ thống nguồn vào kho
dữ liệu
 Tích hợp thông tin doanh nghiệp (EII)
 Không gian công cụ đang phát triển hứa hẹn tích hợp dữ liệu theo thời gian thực
từ nhiều nguồn khác nhau, chẳng hạn như cơ sở dữ liệu quan hệ hoặc đa chiều,
dịch vụ Web, v.v.
Tích hợp dữ liệu và quá trình trích xuất,
chuyển đổi và tải
ETL (Extract, Transform, Load)
 Các vấn đề ảnh hưởng đến việc mua công cụ ETL
 Công cụ chuyển đổi dữ liệu đắt tiền
 Các công cụ chuyển đổi dữ liệu có thể cần thời gian học tập dài
 Tiêu chí quan trọng trong việc lựa chọn công cụ ETL
 Khả năng đọc và ghi vào số lượng không giới hạn nguồn dữ
liệu/kiến trúc
 Tự động thu thập và phân phối siêu dữ liệu
 Lịch sử tuân thủ các tiêu chuẩn mở
 Giao diện dễ sử dụng cho nhà phát triển và người dùng chức năng
Case Study 3.2

BP Lubricants Achieves BIGS Success

Questions for Discussion


1. What is Business Intelligence and Global Standards
(BIGS)?
2. What were the challenges, the proposed solution, and
the obtained results with BIGS?
Phát triển DW
 Các phương pháp phát triển kho dữ liệu
 Mô hình Inmon: Cách tiếp cận EDW (từ trên xuống)
 Mô hình Kimball: Cách tiếp cận Data mart (từ dưới lên)
 Mô hình nào tốt nhất?
 Bảng
3.3 cung cấp phân tích so sánh giữa phương pháp
EDW và Data Mart
 Một giải pháp thay thế khác là kho dữ liệu được lưu trữ
trên máy chủ
So sánh EDW và Data Mart
Case Study 3.3
Use of Teradata Analytics for SAP Solutions Accelerates
Big Data Delivery

Questions for Discussion


 1. What were the challenges faced by the large Dutch
retailer?
 2.What was the proposed multivendor solution? What
were the implementation challenges?
 3. What were the lessons learned?
Các cân nhắc bổ sung về DW Kho dữ liệu
được lưu trữ
 Những lợi ích:
 Yêu cầu đầu tư tối thiểu vào cơ sở hạ tầng
 Giải phóng công suất trên các hệ thống nội bộ
 Giải phóng dòng tiền
 Làm cho các giải pháp mạnh mẽ có giá cả phải chăng
 Cho phép các giải pháp mang lại sự tăng trưởng
 Cung cấp thiết bị và phần mềm chất lượng tốt hơn
 Cung cấp kết nối nhanh hơn
 ...
Trình bày dữ liệu trong DW
 Mô hình chiều
 Một hệ thống dựa trên truy xuất hỗ trợ truy vấn khối lượng lớn
truy cập
 Lược đồ sao
 Là phương pháp được sử dụng phổ biến nhất và đơn giản nhất
của mô hình chiều
 Chứa một bảng sự kiện được bao quanh và kết nối với một số
bảng chiều
 Lược đồ bông tuyết
 Một phần mở rộng của lược đồ hình sao trong đó sơ đồ có hình
dạng giống một bông tuyết
Đa chiều
Multidimensionality
 Khả năng tổ chức, trình bày và phân tích dữ liệu theo nhiều chiều,
chẳng hạn như doanh số bán hàng theo khu vực, theo sản phẩm, theo
nhân viên bán hàng và theo thời gian (bốn chiều)
 Trình bày đa chiều
 Các khía cạnh: sản phẩm, nhân viên bán hàng, phân khúc thị trường, đơn
vị kinh doanh, vị trí địa lý, kênh phân phối, quốc gia hoặc ngành
 Đo lường: tiền, khối lượng bán hàng, số lượng nhân viên, lợi nhuận tồn
kho, thực tế so với dự báo
 Thời gian: hàng ngày, hàng tuần, hàng tháng, hàng quý hoặc hàng năm
Star Schema versus Snowflake Schema
Phân tích dữ liệu trong DW
OLTP so với OLAP...
 OLTP (Xử lý giao dịch trực tuyến)
 Thu thập và lưu trữ dữ liệu từ ERP, CRM, POS, ...
 Trọng tâm chính là hiệu quả của các công việc thường ngày
 OLAP (Xử lý phân tích trực tuyến)
 Chuyển đổi dữ liệu thành thông tin hỗ trợ ra quyết định
 Khối dữ liệu, truy sâu/cuộn lên, cắt & xúc xắc, ...
 Yêu cầu báo cáo đột xuất
 Tiến hành thống kê và phân tích khác
 Phát triển các ứng dụng đa phương tiện
Hoạt động OLAP
 Slice - một tập hợp con của mảng đa chiều
 Dice/ Xúc xắc - một lát cắt có nhiều hơn hai chiều
 DrillDown/Up/ Truy sâu xuống/Lên - điều hướng giữa
các cấp độ dữ liệu từ tóm tắt nhất (lên) đến chi tiết nhất
(xuống)
 Roll Up/ Cuộn lên - tính toán tất cả các mối quan hệ dữ
liệu cho một hoặc nhiều thứ nguyên
 Pivot/Xoay - được sử dụng để thay đổi hướng chiều của
báo cáo hoặc hiển thị trang truy vấn đặc biệt
OLAP: Slicing Operations on a Simple Tree-
Dimensional Data Cube
Những điều cần tránh để triển khai DW
thành công
 Bắt đầu với chuỗi tài trợ sai
 Đặt ra những kỳ vọng mà bạn không thể đáp ứng được
 Tham gia vào hành vi ngây thơ về mặt chính trị
 Tải kho dữ liệu với thông tin chỉ vì nó có sẵn
 Tin rằng thiết kế cơ sở dữ liệu lưu trữ dữ liệu giống như
thiết kế cơ sở dữ liệu giao dịch
 ... chi tiết trong cuốn sách
DW lớn và khả năng mở rộng

 Khảnăng mở rộng – Các vấn đề chính liên quan đến khả


năng mở rộng:
 Lượng dữ liệu trong kho
 Kho dự kiến ​sẽ tăng nhanh như thế nào
 Số lượng người dùng đồng thời
 Sự phức tạp của truy vấn người dùng
 Khảnăng mở rộng tốt có nghĩa là các truy vấn và các chức
năng truy cập dữ liệu khác sẽ tăng trưởng tuyến tính theo
quy mô của kho
Case Study 3.4

EDW Helps Connect State Agencies in Michigan


Questions for Discussion
 1. Why would a state invest in a large and expensive IT
infrastructure (such as an EDW)?
 2. What is the size and complexity of the EDW used by
state agencies in Michigan?
 3.What were the challenges, the proposed solution, and
the obtained results of the EDW?
Quản trị và bảo mật DW
 Quản trị viên kho dữ liệu (DWA) – DWA Should...
 Có kiến ​thức về công nghệ phần mềm, phần cứng và mạng hiệu suất
cao
 Có kiến ​thức kinh doanh vững chắc và hiểu biết sâu sắc
 Làm quen với các quá trình ra quyết định để thiết kế/duy trì cấu trúc
kho dữ liệu phù hợp
 Sở hữu kỹ năng giao tiếp xuất sắc
 Bảo mật và quyền riêng tư là vấn đề nhức nhối ở DW
 Bảo vệ an toàn những tài sản có giá trị nhất
 Quy định của chính phủ (HIPAA, v.v.)
 Phải được lập kế hoạch và thực hiện rõ ràng
Tương lai của DW
 Tìm nguồn cung ứng...
 Web, mạng xã hội và BigData
 Phần mềm nguồn mở
 SaaS (dịch vụ phần mềm)
 Điện toán đám mây
 Hồ dữ liệu
 Cơ sở hạ tầng...
 DW thời gian thực
 Thiết bị kho dữ liệu
 Thực hành/công nghệ quản lý dữ liệu
 Xử lý trong cơ sở dữ liệu & trong bộ nhớ DBMS mới
Data Lake là gì?
Data Warehouse VS Data Lake
 Công nghệ lưu trữ dữ liệu phi cấu trúc cho Dữ liệu lớn
 Hồ dữ liệu so với Kho dữ liệu
Quản lý hiệu quả kinh doanh (BPM)
 Quản lý hiệu quả kinh doanh (BPM) là...
 Một hệ thống thời gian thực cảnh báo các nhà quản lý về các
cơ hội tiềm ẩn, các vấn đề sắp xảy ra và các mối đe dọa, sau
đó trao quyền cho họ phản ứng thông qua các mô hình và sự
hợp tác
 Cònđược gọi là quản lý hiệu suất doanh nghiệp (CPM của
Gartner Group), quản lý hiệu suất doanh nghiệp (E PM của
Oracle), quản lý doanh nghiệp chiến lược (SEM của SAP)
BPM là gì?
 BPM đề cập đến các quy trình kinh doanh, phương pháp, số
liệu và công nghệ được doanh nghiệp sử dụng để đo lường,
giám sát và quản lý hiệu quả kinh doanh.
 BPM bao gồm ba thành phần chính
 Một tập hợp các giải pháp quản lý khép kín, tích hợp và quy
trình phân tích, được hỗ trợ bởi công nghệ...
 Các công cụ giúp doanh nghiệp xác định mục tiêu chiến lược
và sau đó đo lường/quản lý hiệu suất theo các mục tiêu đó
 Các phương pháp và công cụ để giám sát các chỉ số hiệu suất
chính (KPI), được liên kết với chiến lược tổ chức
Một quy trình khép kín để tối ưu hóa hiệu
quả kinh doanh
Process Steps
 1. Strategize
 2. Plan
 3. Monitor/analyze
 4. Act/adjust
Each with its own sub- process steps
1 - Lập chiến lược: Chúng ta muốn đi đâu?
Strategic planning: Common tasks for the strategic
planning process:
 1. Conduct a current situation analysis
 2. Determine the planning horizon
 3. Conduct an environment scan
 4. Identify critical success factors
 5. Complete a gap analysis
 6. Create a strategic vision
 7. Develop a business strategy
 8. Identify strategic objectives and goals
2 - Kế hoạch:
Chúng ta đến đó bằng cách nào?
 Operational planning
 Operational plan: plan that translates an organization’s
strategic objectives and goals into a set of well-defined
tactics and initiatives, resource requirements, and
expected results for some future time period (usually a
year).
 Operational planning can be
 Tactic-centric (operationally focused)
 Budget-centric plan (financially focused)
3 - Giám sát/Phân tích: Chúng ta đang hoạt
động như thế nào?
 A comprehensive framework for monitoring
performance should address two key issues:

 What to monitor?
▪ Critical success factors
▪ Strategic goals and targets

 How to monitor?
4 - Hành động và điều chỉnh:
Chúng ta cần làm gì khác biệt?
 Success (or mere survival) depends on new projects:
creating new products, entering new markets, acquiring new
customers (or businesses), or streamlining some process.
 Many new projects and ventures fail!
 What is the chance of failure?
 60% of Hollywood movies fail
 70% of large IT projects fail, ...
Case Study 3.5

AARP Transforms Its BI Infrastructure and Achieves a


347% ROI in Three Years
Questions for Discussion
 1. What were the challenges AARP was facing?
 2. What was the approach for a potential solution?
 3.What were the results obtained in the short term, and
what were the future plans?
Đo lường hiệu suất

Hệ thống đo lường hiệu suất


 Một hệ thống hỗ trợ các nhà quản lý theo dõi việc thực
hiện chiến lược kinh doanh bằng cách so sánh kết quả
thực tế với các mục tiêu và mục tiêu chiến lược
 Bao gồm các phương pháp so sánh có hệ thống cho thấy
sự tiến bộ (hoặc thiếu) so với các mục tiêu
KPIs and Operational Metrics
 Chỉ số hiệu suất chính (KPI) thể hiện mục tiêu chiến
lược và các thước đo đo lường hiệu suất so với mục tiêu
 Đặc điểm nổi bật của KPI
Chiến lược
Mục tiêu
Các dãy
Mã hóa
Khung thời gian
Điểm chuẩn
Đo lường hiệu suất

 Cáclĩnh vực hoạt động được đề cập bởi KPI của trình
điều khiển
 Hiệu suất của khách hàng
 Hiệu suất dịch vụ
 Hoạt động bán hàng
 Kế hoạch/dự báo bán hàng
BSC là gì?

Thẻ điểm cân bằng (BSC)


 Một phương pháp quản lý và đo lường hiệu suất giúp
chuyển các mục tiêu và mục tiêu tài chính, khách hàng,
quy trình nội bộ, đào tạo và phát triển của tổ chức thành
một tập hợp các sáng kiến ​có thể hành động

 “Thẻ điểm cân bằng: Đo lường hiệu suất”


Balanced Scorecard
The meaning of “balance”?
Six Sigma
as a Performance Measurement System
 Mộtphương pháp quản lý hiệu suất nhằm mục đích
giảm số lượng lỗi trong quy trình kinh doanh xuống gần
bằng 0 lỗi trên một triệu cơ hội (DPMO) nhất có thể
Six Sigma

 Mô hình hiệu suất DMAIC


 Mô hình cải tiến kinh doanh khép kín bao gồm các bước
xác định, đo lường, phân tích, cải tiến và kiểm soát một
quy trình
 Six Sigma tinh gọn
 Sản xuất tinh gọn
 Sản xuất tinh gọn so với six sigma?
Nên đo lường hiệu suất hiệu quả

 Các biện pháp cần tập trung vào các yếu tố chính.
 Cácbiện pháp nên kết hợp giữa quá khứ, hiện tại và
tương lai.
 Cácbiện pháp cần cân bằng nhu cầu của cổ đông, nhân
viên, đối tác, nhà cung cấp và các bên liên quan khác.
 Các biện pháp nên bắt đầu từ trên xuống dưới.
 Cácbiện pháp cần có mục tiêu dựa trên nghiên cứu và
thực tế chứ không phải tùy tiện.
Case Study 3.6

Expedia.com’s Customer Satisfaction Scorecard


Questions for Discussion
 1.Who are the customers for Expedia.com? Why is
customer satisfaction a very important part of their
business?
 2.How did Expedia.com improve customer satisfaction
with scorecards?
 3.What were the challenges, the proposed solution, and
the obtained results?
Q&A
Review Questions

You might also like