Công

Ty Cổ Phần Thế Giới Di Động

www.thegioididong.com

MWG
THỰC TẾ TRIỂN KHAI HẠ TẦNG
CÔNG NGHỆ THÔNG TIN

Trình bày: Bùi Ngọc Tín

 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Tiêu chí xây dựng hạ tầng hệ thống CNTT

tại MWG
•  Mô hình hệ thống
NỘI DUNG Ø  Datacenter (DC) site
TRÌNH BÀY Ø  Disaster Recovery (DR) site
Ø  Giải pháp kết nối từ hệ thống siêu thị
về trung tâm
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

NỘI DUNG •  Các phân hệ dịch vụ trong hệ thống

TRÌNH BÀY
•  Vận hành, nhân sự
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

TIÊU CHÍ XÂY DỰNG •  An toàn thông tin là tiêu chí được
ưu tiên hàng đầu của cả hệ thống
HẠ TẦNG HỆ THỐNG •  Tập trung hóa hệ thống dữ liệu của
CNTT TẠI MWG toàn công ty
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

TIÊU CHÍ XÂY DỰNG •  Hệ thống phải hoạt động ổn định trong
mọi tình huống và có độ sẵn sàng cao.
HẠ TẦNG HỆ THỐNG •  Đảm bảo khả năng mở rộng và tích hợp

CNTT TẠI MWG các giải pháp CNTT khác như các
phần mềm ERP, CRM…
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

TIÊU CHÍ XÂY DỰNG •  Tiết kiệm chi phí: Áp dụng triệt để các
ứng dụng mã nguồn mở trong khả năng
HẠ TẦNG HỆ THỐNG quản trị được
CNTT TẠI MWG •  Đảm bảo kế hoạch đầu tư CNTT theo
chi phí và tiến độ
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

VDC IDC
Viettel IDC Internet AS-7643
AS-7552

TGDD
AS-131425
Subnet: 103.48.76.0/22

MÔ HÌNH
eBGP 1Gbps eBGP 1Gbps
1Gbps 1Gbps
Firewall Firewall
Spine 40Gbps P2P 40Gbps 40Gbps
Spine

HỆ THỐNG
ToR ToR ToR ToR

Leaf Leaf
... ...

Rack 1 Rack n 20Gbps Rack 1 Rack n

Ghi chú:
10Gbps 10Gbps 10Gbps 10Gbps Active Link
MetroNet of TGDD Backup link

C2 Office Call Center Etown Head Office

 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Chúng tôi sử dụng đấu nối

LÝ GIẢI Active-Active với BGP ANYCAST.

Hai liên kết đấu nối trên 02 router
riêng biệt của chúng tôi với 02 router
MÔ HÌNH ĐẤU NỐI riêng biệt của 02 nhà cung cấp dịch vụ
ở 02 Data Center.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Trên các kênh đấu nối với 02 IXP, chúng

LÝ GIẢI tôi thực hiện tách hai loại traffic Quốc tế
và trong nước một cách riêng biệt với
MÔ HÌNH ĐẤU NỐI nhau.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Bên trong hệ thống Data Center,

LÝ GIẢI chúng tôi sử dụng mô hình Leaf-Spine và

công nghệ MLAG (Multi-Chasis Link
Aggregation) nhằm mục tích tiện lợi cho
MÔ HÌNH ĐẤU NỐI việc maintain thiết bị và thuận tiện cho
việc mở rộng các Rack khi cần thiết.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Liên kết giữa hai data center chúng tôi sử

dụng kênh đấu nối P2P, và tuyến metro
LÝ GIẢI backup nối 02 Data center với các văn
phòng.
MÔ HÌNH ĐẤU NỐI •  Sử dụng giải pháp DR (2+1), 2 cho Site
chính (VDC) và 1 cho Site phụ
(Viettel=IDC)
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

VIETTEL DATA CENTER VDC

DATA
INTERNET CENTER

GIẢI PHÁP
KẾT NỐI
SIÊU THỊ VỀ
VNPT VIETTEL
FPT VIETTEL VNPT SIÊU THỊ Firewall & Load
balancer

TRUNG TÂM
SIÊU THỊ
Firewall & Load
balancer
Lan network

DỮ LIỆU
Lan network
Wifi network
Wifi network
LED SERVER
LED SERVER
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

CÁC PHÂN HỆ DỊCH VỤ

TRONG HỆ THỐNG
•  Công nghệ ảo hoá: Oracle VM for SPARC
1. Database Oracle •  Hệ điều hành (OS) Oracle Solaris 11
•  Database: Oracle Enterprise 11g
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

CÁC PHÂN HỆ DỊCH VỤ •  Hệ thống bao gồm các máy chủ Oracle
TRONG HỆ THỐNG SPARC, phân chia ảo hoá thành các
server database dùng cho các phân hệ
ứng dụng bên trên (WEB, CRM,
1. Database Oracle DATAWAREHOUSE, ERP).
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

CÁC PHÂN HỆ DỊCH VỤ Hạ tầng phần cứng dùng cho lưu trữ:

TRONG HỆ THỐNG ü  Hệ thống lưu trữ tập trung SAN/NAS của

Oracle, dựa trên nền tảng ZFS: ZS3-2.
ü  Hệ thống lưu trữ local với hệ thống
1. Database Oracle
đĩa cứng SSD, nhằm tăng tốc độ đọc
1. Database Oracle ghi dữ liệu.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

CÁC PHÂN HỆ DỊCH VỤ ü  Hệ thống lưu trữ local cho Database Oracle với
công nghệ card Flash NVME có tốc độ truy
TRONG HỆ THỐNG xuất cực nhanh, IOPS lớn (750000 iops/1card
NVME).
1. Database Oracle ü  Giải pháp HA: DATAGUARD 2 node tại DC
1. Database Oracle (1 primary + 1 standby) và 1 node tại DR site
(standby).
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

1800-1060 1800-1061
1800-1062 1800-1063
1800-1065 1800-1064
PSTN
CÁP QUANG (SIP
VTN
2. Contact Center
TRUNKING)
CÁP QUANG DỰ PHÒNG

CRM, SMS,
ERP,..
MWG CALL CENTER

SIÊU THỊ
Agents Các thiết bị Laptop
IP phone
WiFi with with soft
softphone phone
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Tổng số lượng đàm thoại 1 ngày

(trung bình): 84,000 calls
Thống kê sơ bộ về
2. Contact Center hệ thống contact Tổng thời lượng đàm thoại 1 ngày
center đang được (trung bình): 111,000 phút
vận hành bởi MWG
Tổng số lượng đàm thoại CCU
(trung bình): 200 calls
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Administration SIÊU THỊ

tasks
DATA CENTER
3. Hệ thống INTERNET
quản trị WIFI SIÊU THỊ

controller-less
Wifi SIÊU THỊ
management
servers
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

4. Hệ thống ITOP iTop (IT Operational Portal) là một

(Quản trị tài sản ứng dụng web mã nguồn mở cho
IT, sự cố…) phép quản trị các hoạt động hàng
ngày trong một môi trường CNTT.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

KhoIT cập nhật

iTop được thiết kế

NCC gởi hàng đến trạng thái đơn
PKV tạo đơn hàng KhoIT tiếp nhận
Đặt hàng NCC địa chỉ như đơn hàng trên Itop (loại
trên ITop yêu cầu
đặt hàng hình vận chuyển,

4. Hệ thống ITOP theo chuẩn ITIL,

ngày đi, ngày đến)

Đồng ý

(Quản trị tài sản ứng dụng là đủ linh

PKV -
Yêu cầu hàng hóa Thông tin lại cho
kiểm tra lại yêu Nhân viên IT
(siêu thị=>nhân KhoIT, làm việc lại Chưa có
cầu xem có cần kiểm tra hàng
viên IT) với NCC
thiết và hợp lí

IT, sự cố…) hoạt để thích ứng

Phản hồi

Không đồng ý Đã có

với quá trình của

Bàn giao cho siêu
thị, chụp biên bản
Cập nhật hoàn tất
Hủy yêu cầu bàn giao up lên
và đóng đơn hàng
Phản hồi đúng đơn hàng

bạn 
trên ITop
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Diễn giải hoạt động của hệ thống ITOP

iTop có thể được sử dụng bởi nhiều người

dùng khác nhau:
•  Help Desk
•  Kỹ sư hỗ trợ (cấp 1, cấp 2 ...)
•  Quản lý dịch vụ
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Diễn giải hoạt động của hệ thống ITOP

•  Quản lý IT
•  Người dùng đầu cuối: một giao diện
đơn giản "portal" có sẵn để cho phép
họ gửi yêu cầu trực tiếp
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Diễn giải hoạt động của hệ thống ITOP

Quy trình quản lý kho IT (iTop) của công ty bắt đầu

bằng việc nhận yêu cầu từ phía siêu thị. Nhân viên
helpdesk có nhiệm vụ tạo yêu cầu hàng hóa trên
iTop, quản lý kho tiếp nhận thông tin yêu cầu hàng
hóa đặt hàng, và xác nhận đặt hàng.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

5. Hệ thống
Private Cloud
MWG
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống Private Cloud MWG

•  Cloud Mobile World Group (Cloud MWG) là một ứng giao diện web mạnh mẽ với
mục đích xây dựng một hệ thống lưu trữ đám mây nhằm đồng bộ hóa dữ liệu,
chia sẻ tập tin, và lưu trữ từ xa
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống Private Cloud MWG

•  Lưu trữ các file, thư mục, danh bạ, thư viện ảnh, lịch…
•  Có thể truy cập từ điện thoại, thiết bị di động, laptop, hoặc trình duyệt web.
•  Đồng bộ dữ liệu lưu trữ từ server về các thiết bị cá nhân và ngược lại.
•  Chia sẽ dữ liệu lưu trữ cá nhân với người khác thông qua URLs.
•  Đồng bộ dữ liệu từ DC về siêu thị
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

•  Phục vụ triển khai

khuyến mãi,
đào tạo, phổ biến
6. Hệ thống Web chính sách nhân
conferencing sự… cho toàn hệ
thống.
•  Đáp ứng số người
dùng tham gia:
1,000 users.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Clients request Load Balancers Servers Farm

7. Hệ thống
Load Internet
Active

balancing
Standby keep alive
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống Load balancing

•  Phân phối số lượng request trên nhiều máy tính hoặc một cụm máy tính.
•  Cơ chế giám sát tình trạng các máy chủ của dịch vụ trong một Farm.
•  Tăng khả năng phục vụ.
•  Linh hoạt, chủ động chia tải hoặc chỉ định riêng Server.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống Load balancing

•  Mở rộng thêm Server dễ dàng.

•  Dịch vụ không gián đoạn ngay cả khi lỗi hoặc bảo trì máy chủ phía sau.
•  Client request gián tiếp qua Load Balancer -> Tăng bảo mật
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

INTERNET

Clients
8. Hệ thống request
Load
Balancer
redis - cache

Database Web
Server
Cụm server REDIS
(Master+slave)
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Redis là hệ thống được sử dụng cho hầu hết

các ứng dụng tại MWG nhằm giảm tải cho
hệ thống database, tăng tốc độ nạp dữ liệu
8. Hệ thống redis - cache và truy xuất dữ liệu cho người dùng cuối
bằng phương thức lưu trữ key-value trên
RAM đồng thời hỗ trợ ghi dữ liệu trên đĩa
cứng đảm bảo an toàn cho dữ liệu.
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống redis - cache

•  Dữ liệu lưu trữ phân tán nhiều Node. Không quá tốn resource khi triển khai DB lớn
hoặc nhiều Cluster.
•  Bất kì node nào lỗi đều có thể skip qua -> failover
•  Tăng khả năng phục vụ đồng thời cho cả read/write -> scale UP
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống redis - cache

•  Mở rộng Cluster bằng cách join thêm cặp Master/Slave -> scale OUT
•  Đơn giản
•  Dữ liệu đồng bộ nhanh
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống redis - cache

•  Cần thống kê nhanh truy cập tại một thời điểm?

•  Cần biết các truy cập hợp lệ?
•  Có đang nghẽn cổ chai – Băng thông thiếu?
Hệ thống giám sát và cảnh báo (hiển thị trên một màn hình,
âm thanh alarm, gởi email và SMS)
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Hệ thống redis - cache

•  Hết tài nguyên, treo service?

•  Máy tính bị virus
•  Tê liệt toàn bộ dịch vụ trong hoạt động
•  Port/Dịch vụ/Máy tính nào chiếm traffic quá cao
•  Trạng thái hoạt động của thiết bị Hệ thống giám sát và cảnh báo (hiển thị trên một màn hình,
âm thanh alarm, gởi email và SMS)
 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

Vài hình ảnh của hệ thống giám sát

 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

MÔ HÌNH TỔ CHỨC VẬN HÀNH

 Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

QUY TRÌNH XỬ LÍ YÊU CẦU

CÔNG VIỆC
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com