TCT-G11-Tai Lieu Thiet Ke - 0.12

TÀI LIỆU THIẾT KẾ
Hợp đồng: 76/2016/HĐKT/TCT-FPT

“Gói thầu số 11: Thay thế hệ thống cho môi trường đào
tạo, thử nghiệm, nghiên cứu; hệ thống standby dự phòng
tại TTDL chính cho các ứng dụng quan trọng cung cấp
tới NNT: kê khai thuế, nộp thuế điện tử”
ĐẠI DIỆN TỔNG CỤC THUẾ ĐẠI DIỆN CÔNG TY

PHÓ CỤC TRƯỞNG CỤC CNTT TỔNG GIÁM ĐỐC
KHỐI NGÀNH TÀI CHÍNH CÔNG
Vũ Lê Huy Trần Phong Lãm
Hà Nội, tháng 11 năm 2016
Lưu hành nội bộ TCT/FIS
Trang 1
Thay thế hệ thống cho môi trường đào tạo, thử nghiệm, nghiên cứu; hệ
thống standby dự phòng tại TTDL chính cho các ứng dụng quan trọng
cung cấp tới NNT: kê khai thuế, nộp thuế điện tử
(Gói thầu 11)
Mục lục
I. TỔNG QUAN 7
I.1. Mục đích tài liệu 7
I.2. Thuật ngữ và các từ viết tắt 7
II. THIẾT KẾ HỆ THỐNG ĐÀO TẠO/THỬ NGHIỆM/NGHIÊN CỨU 8
II.1. Mục tiêu thiết kế hệ thống đào tạo, thử nghiệm, nghiên cứu 8
II.2. Hệ thống ảo hóa môi trường đào tạo thử nghiệm vùng Internal 8
II.2.1. Phân bổ vật lý và logic 8
II.2.2. Thông số Enclosure và Cluster ảo hóa 9
II.2.3. Thiết kế mạng 11
II.2.4. Thiết kế lưu trữ 13
II.2.5. Danh sách triển khai ứng dụng UAT và máy ảo 19
II.2.6. Hệ thống giám sát và backup 24
II.3. Hệ thống ảo hóa môi trường đào tạo thử nghiệm vùng External 25
II.3.1. Phân bổ vật lý và logic 25
II.3.2. Thông số Enclosure và Cluster ảo hóa 26
II.3.3. Thiết kế mạng 27
II.3.4. Thiết kế lưu trữ 29
II.3.5. Danh sách máy ảo 30
III. THIẾT KẾ HỆ THỐNG STANDYBY CHO ỨNG DỤNG KÊ KHAI THUẾ, NỘP THUẾ
ĐIỆN TỬ 31
III.1. Định hướng thiết kế hệ thống standby cho ứng dụng kê khai thuế, nộp
thuế điện tử 31
III.2. Thiết kế hệ thống mạng và bảo mật 31
III.2.1. Định hướng thiết kế31
III.2.2. Kiến trúc tổng thể 32
III.2.3. Thiết kế chi tiết hệ thống mạng và bảo mật 32
III.3. Thiết kế ứng dụng kê khai thuế, nộp thuế điện tử 53
III.3.1. Đề xuất hệ thống standby iHTKK-NTDT 53
III.3.2. Thiết kế hệ thống standby iHTKK 54
III.3.3. Thiết kế hệ thống Standby NTDT 73
III.4. Thiết kế hệ thống ảo hóa môi trường Standby iHTKK-NTDT 84
III.4.1. Phân bổ vật lý và logic 84
III.4.2. Thông số Enclosure và Cluster ảo hóa 84
III.4.3. Thiết kế mạng 86
III.4.4. Thiết kế lưu trữ 89
III.4.5. Danh sách máy ảo 90
III.4.6. Antivirus cho máy ảo vùng Standby 93
III.4.7. Thông số thiết kế máy chủ ảo quản trị - vCenter 93
III.5. Thiết kế hệ thống EXADATA (X6-2) 98
III.5.1. Tổng quan về hệ thống Exadata 98
III.5.2. Kiến trúc hệ thống Exadata 100
III.5.3. Chia dải IP cho các Zone 101
III.5.4. Hostname và IP cho các hệ thống máy chủ Exadata 102
III.5.5. Các port sử dụng 104
Trang 2
(Gói thầu 11)
III.5.6. Rack layout và kết nối cabling 109

III.5.7. User và Group 113
III.5.8. Hệ thống Cơ sở dữ liệu cài đặt trên máy chủ Exadata 113
III.5.9. Thông số Oracle software 113
III.5.10. ASM GROUP 115
III.5.11. Cấu hình kết nối đến database 115
III.5.12. Cấu hình DC-STB (data guard) cho database 116
III.5.13. Cấu hình Oracle network 118
III.5.14. Cấu hình lưu trữ sao lưu 121
III.6. Kịch bản và phương án chuyển đổi Active→ Standby 125
Trang 3
(Gói thầu 11)
Quản lý phiên bản
Ngày Phiên bản Tác giả Mô tả

Hoàng Trường
28-11-2016 0.1 Đỗ Hải Phúc Phiên bản đầu tiên
Vũ Văn Nam
Trang 4
(Gói thầu 11)
Trang ký
Người lập: Hoàng Trường <Ngày>
Trưởng nhóm triển khai mạng và bảo mật,
Công ty TNHH Hệ thống thông tin FPT
Người lập: Đỗ Hải Phúc <Ngày>
Thành viên nhóm triển khai máy chủ,
Người lập: Vũ Văn Nam <Ngày>
Thành viên nhóm triển khai ứng dụng,
Người xem xét: Trần Anh Tuấn <Ngày>
Phụ trách nhóm triển khai dịch vụ,
Trang 5
(Gói thầu 11)
Cán bộ xem xét TCT: Đỗ Thị Kim Ngân <Ngày>

Chuyên viên phòng Quản lý hệ thống, Tổng cục Thuế
Cán bộ xem xét TCT: Hoàng Thị Hải Yến <Ngày>
<Ngày>

Cán bộ xem xét TCT: Đặng Thị Dịu <Ngày>
<Ngày>
Chuyên viên phòng Phát triển ứng dụng, Tổng cục Thuế
Cán bộ xem xét TCT: Nguyễn Thanh Long <Ngày>
<Ngày>
Cán bộ xem xét TCT: Đào Xuân Sơn <Ngày>
<Ngày>
Chuyên viên phòng Quản lý An ninh thông tin, Tổng cục Thuế
Cán bộ xem xét TCT: Nguyễn Thành Trung <Ngày>
<Ngày>
Chuyên viên phòng Quản lý Cơ sở dữ liệu, Tổng cục Thuế
Cán bộ xem xét TCT: Vũ Trịnh Long <Ngày>
<Ngày>
Trang 6
(Gói thầu 11)
Chuyên viên phòng Quản lý An ninh thông tin, Tổng cục Thuế
Cán bộ xem xét TCT: Lê Quỳnh Trang <Ngày>
<Ngày>
Phó trưởng phòng Quản lý hệ thống, Tổng cục Thuế

Cán bộ phê duyệt Lê Trung Dũng <Ngày>
TCT: <Ngày>
Trưởng phòng Quản lý hệ thống, Tổng cục Thuế
I. Tổng quan
I.1. Mục đích tài liệu
Đây là tài liệu thiết kế hệ thống đào tạo, thử nghiệm, nghiên cứu và hệ thống
iHTKK và NTDT của Tổng cục Thuế phục vụ việc triển khai gói thầu số 11 -
Thay thế hệ thống cho môi trường đào tạo, thử nghiệm, nghiên cứu; hệ thống
standby dự phòng tại TTDL chính cho các ứng dụng quan trọng cung cấp tới
NNT: kê khai thuế, nộp thuế điện tử giữa Công ty TNHH Hệ thống thông tin
FPT và Tổng cục Thuế.
Nội dung của tài liệu gồm:
Trang 7
(Gói thầu 11)
- Thiết kế hệ thống đào tạo, thử nghiệm, nghiên cứu. Việc thiết kế này
nhằm đưa ra phương án chuyển đổi hệ thống máy chủ đào tạo, thử nghiệm,
nghiên cứu.
- Thiết kế ứng dụng kê khai thuế, nộp thuế điện tử. Việc thiết kế này
nhằm đưa ra phương án thiết kế cho hệ thống standby dự phòng tại TTDL
chính cho các ứng dụng quan trọng cung cấp tới NNT: kê khai thuế, nộp thuế
điện tử.
I.2. Thuật ngữ và các từ viết tắt
STT/ Thuật ngữ/ Định nghĩa /

No Terminology Description
1. TCT Tổng cục Thuế
2. FIS FPT Information System/ Công ty TNHH Hệ thống Thông

tin FPT
3. DC Trung tâm dữ liệu chính
4. CSDL Cơ sở dữ liệu
Bảng : Thuật ngữ và định nghĩa
Trang 8
(Gói thầu 11)
II. THIẾT KẾ HỆ THỐNG ĐÀO TẠO/THỬ

NGHIỆM/NGHIÊN CỨU
II.1. Mục tiêu thiết kế hệ thống đào tạo, thử nghiệm, nghiên
cứu
Xây dựng hệ thống máy chủ đào tạo, thử nghiệm, nghiên cứu cho các ứng dụng của
Tổng cục Thuế và dự phòng, giảm tải cho môi trường Production trong trường hợp
cần thiết.
II.2. Hệ thống ảo hóa môi trường đào tạo thử nghiệm vùng
Internal
II.2.1. Phân bổ vật lý và logic

Hệ thống máy chủ vật lý bao gồm 05 máy chủ Blade BL660c G9 phân bổ trên 1
Enclosure C7000, gom thành 1 cụm Cluster quản lý bởi vCenter vùng Internal
(10.64.97.182).
Tổng tài nguyên Chassic mới sẽ bổ sung cho hệ thống ảo hóa vùng internal gồm:
2.048 GB RAM, 256 CPU thực tế (đã dự phòng 20%). Theo tỷ lệ overcommit
khuyến cáo của VMwave đối với hệ thống đào tạo, thử nghiệm thì tài nguyên hệ
thống internal được bổ sung: 4.096 GB RAM (RAMx2), 1024 CPU (CPUx4).
Trang 9
(Gói thầu 11)
Trong đó đã sử dụng 1038 GB RAM, 416 CPU phục vụ việc xây dựng môi trường
UAT của các ứng dụng sau:
STT Tên ứng dụng Tên viết tắt
1 Quản lý thuế tập trung TMS
2 Báo cáo tài chính BCTC
3 Kiểm tra nội bộ KTNB
4 Website ngành thuế (Nội bộ) TPSINTRA
SD
5 Service Desk
(CAMDB)
QLHD/WEB
6 Tra cứu hóa đơn
HD
7 Quản lý ấn chỉ QLAC
8 Website ngành thuế TPS
9 Hóa đơn điện tử (Của TTDV) ICS
10 Tra cứu quyết toán thuế QTT
11 TINTC TINTC
12 Quản lý thuế tổng cục (Tra cứu) QTC
13 Thông tin NNT cung cấp cho iHTKK, NTDT EXTGDTU
14 TĐTT Kho bạc TĐTT
15 Tập trung cơ sở dữ liệu người nộp thuế TPH TPH
16 Nộp thuế điện tử NTDT
17 Kê khai thuế qua mạng iHTKK
18 Đăng ký doanh nghiệp DKDN
19 GIP GIP
20 Tài nguyên môi trường TNMT
21 eTAX ETAX
22 I cá nhân ICANHAN
23 Trục tích hợp ESB
Hệ thống phân tích rủi ro phục vụ lập kế hoạch thanh
24 TPR
tra thuế
25 Ứng dụng quản lý văn bản điều hành Edoc
Trang 10
(Gói thầu 11)
Sau khi chuyển đổi hệ thống UAT xong sẽ còn lại 3058 GB RAM và 612
CPU đáp ứng được cho nhu cầu thử nghiệm của các ứng dụng sắp triển khai
như tra cứu dữ liệu lịch sử QLT, archive TMS, cổng thông tin trao đổi thông
tin với các đơn vị, tổ chức bên ngoài, đồng thời dự phòng cho môi trường
Product.
II.2.2. Thông số Enclosure và Cluster ảo hóa
II.2.2.1. Thông số Enclosure:
Enclosure C7000
Name IP Subnet Mask Gateway User/Pass
TTDL_ECL03_OA1 10.64.96.146 255.255.255.0 10.64.96.1
TTDL_ECL03_OA2 10.64.96.149 255.255.255.0 10.64.96.1
TTDL_ECL03_VC1 10.64.96.150 255.255.255.0 10.64.96.1
TTDL_ECL03_VC2 10.64.96.151 255.255.255.0 10.64.96.1
II.2.2.2. Thông số địa chỉ iLO:

Device iLO
Enclosure
Bay IP Gateway User/Pass
Bay 1 10.64.96.152 10.64.96.1
Bay 2 10.64.96.153 10.64.96.1
TTDL-ECL03 Bay 3 10.64.96.154 10.64.96.1
Bay 4 10.64.96.155 10.64.96.1
Bay 5 10.64.96.156 10.64.96.1
II.2.2.3. Thông số máy chủ vật lý ESXi:

Device Host ESXi detail
Enclosure
Bay Host name IP vMotion Subnet Gateway OS Version
10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

Bay 1 tct-uatesxi0301.tct.vn 10.64.97.91 10.64.97.1
0 0 (Build 3073146)
TTDL-
ECL03 10.64.97.9 255.255.255. ESXi 6.0.0 U 1a
2 0 (Build 3073146)
Trang 11
(Gói thầu 11)
10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

4 0 (Build 3073146)
10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

6 0 (Build 3073146)
10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

8 0 (Build 3073146)
II.2.2.4. Thông số NTP:

No. NTP Server IP
1 NTP Server 1 10.64.68.26
2 NTP Server 2 10.64.68.27
II.2.2.5. Thông số DNS:

No. DNS Server IP Domain
1 DNS Server 1 10.64.89.11 tct.vn
II.2.2.6. Thông số Cluster:

Host ESXi Cluster Thông số Cluster Giá trị
tct-uatesxi0301.tct.vn Vmware HA Enable
tct-uatesxi0302.tct.vn
INT_UA Host monitoring Enable
tct-uatesxi0303.tct.vn T
Admission control Enable
Admission control policy Percentage of cluster resources reserved as
tct-uatesxi0305.tct.vn failover spare capacity: 10% CPU, 10%
Memory
Vm restart priority Medium
Host isolation response Leave power on
Vm monitoring Vm monitoring only
Vmware DRS Enable
Trang 12
(Gói thầu 11)
Automation level Partial automated

Virtual machine options Enable individual virtual machine automation
levels
Power Management Off
EVC Enable
Swap file policy Store in the same directory as the virtual
machine
II.2.3. Thiết kế mạng
II.2.3.1. Mô hình kết nối

Các máy chủ Blade kết nối tới hệ thống bên ngoài thông qua 2 Virtual Connect nằm
trên Enclosure C7000. Mỗi Virtual Connect có 01 đường uplink cho mạng LAN (do
hạn chế số cổng trên switch DC-CORE-SWN7K01/02) và 02 đường uplink cho
mạng SAN.
Trang 13
(Gói thầu 11)
- Bảng nối dây vật lý:

From To
Device Port Device Port
TTDL_ECL03_VC1 X5 DC-CORE-SWN7K01 E4/7
TTDL_ECL03_VC2 X5 DC-CORE-SWN7K02 E4/7
TTDL_ECL03_OA1 1 DC-OPER-MGMTSW09 G1/0/16
II.2.3.2. Danh sách VLAN

Các đường uplink mạng LAN cho phép nhiều VLAN đi qua. Danh sách các VLAN
cho máy ảo đào tạo/thử nghiệm/nghiên cứu:
STT Tên VLAN VLAN ID Mục đích
1 VLAN_56_CONSOLE 56 Dải mạng quản trị máy chủ ESXi
Trang 14
(Gói thầu 11)
2 VLAN_60_UAT 60 Dải mạng cho các máy ảo kiểm thử

3 VLAN_61_TRAINING 61 Dải mạng cho các máy ảo đào tạo
4 VLAN_62_LAB 62 Dải mạng cho các máy ảo thử nghiệm
5 VLAN_10_WEB 10 Dải mạng cho các máy ảo Web
6 VLAN_24_TRANSACT 24 Dải mạng cho các máy ảo Transaction
7 VLAN_31_OTHER_DB 31 Dải mạng cho các máy ảo CSDL
Bổ sung thêm các VLAN của vùng Internal để dự phòng:

STT Tên VLAN VLAN ID
1 VLAN_20_DEPT_SER 20
2 VLAN_21_PRO_N_COL 21
VLAN_23_ENTER_INTITY
3 23
4 VLAN_30_CORE_DB 30
5 VLAN_40_ROOT_DC 40
6 VLAN_41_DC_1 41
7 VLAN_42_DC_2 42
8 VLAN_43_DC_4 43
9 VLAN_44_DC_4 44
10 VLAN_45_SERVICE 45
11 VLAN_46_DC_5 46
12 VLAN_50_SUPPORT 50
13 VLAN_51_MONITOR 51
14 VLAN_52_ADMIN_SRV 52
15 VLAN_54_ADMIN_NETSEC 54
16 VLAN_55_ADMIN_CONSOLE_SRV 55
Ngoài ra còn có dải mạng cho quản trị Enclosure và iLO của các máy chủ Blade.
Hai cổng Onboard Administrator (OA1, OA2) cắm lên 2 Switch Management
(VLAN 55).
Trang 15
(Gói thầu 11)
II.2.4. Thiết kế lưu trữ

Các máy chủ vật lý mới sử dụng chung LUNs với hệ thống ảo hóa vùng Internal
hiện tại. Danh sách Datastore vùng Internal cần gán cho các máy chủ mới:
Capacity LUN
No. Datastore Name Map to Hosts Tủ Đĩa
(MB) ID
1 3PAR_DCHD_SAN_INFO 511,744 3PAR10800
2 3PAR_ICS.ICE.ARCHIVE 30,464
3 3PAR_ICS.ICE.DB 112,384
4 3PAR_Mgmt_vCenter_01 2,047,744
5 3PAR_Mgmt_vCenter_02 2,047,744
6 3PAR_Template_01 614,144
7 3PAR_Template_02 614,144
8 3PAR_VP-LYNCDB_01 1,792
11 3PAR_VP-MB1_01_DB1 511,744
12 3PAR_VP-MB1_02_DB2 511,744
13 3PAR_VP-MB1_06_DB17 511,744
14 3PAR_VP-MB2_01_DB3 614,144
15 3PAR_VP-MB2_02_DB4 588,544
16 3PAR_VP-MB2_03_DB13 511,744
17 3PAR_VP-MB2_RDB_TEST_RESTORE 511,744
18 3PAR_VP-MB3_01_DB14 527,104
19 3PAR_VP-MB3_02_DB5 511,744
20 3PAR_VP-MB3_03_DB6 511,744
21 3PAR_VP-MB4_01_DB7 511,744
22 3PAR_VP-MB4_02_DB8 511,744
23 3PAR_VP-MB5_01_DB9 511,744
24 3PAR_VP-MB5_02_DB10 511,744
25 3PAR_VP-MB6_01_DB11 511,744
26 3PAR_VP-MB6_02_DB12 511,744
27 3PAR_VP-MB7_01_DB15 511,744
Trang 16
(Gói thầu 11)
28 3PAR_VP-MB7_02_DB16 511,744
29 3PAR_VP-MB7_03_DB18 511,744
30 3PAR_VP-PS1_01 1,792
31 3PAR_VP-PS1_02 20,224
32 3PAR1080_EDOCMAN_DB 1,658,624
33 3PAR1080_EDOCMAN_TempDB 173,824
34 3PAR10800_DB.backup01 5,631,744
35 3PAR10800_DB.backup02 4,607,744
36 3PAR10800_DB_TEMPLATES 614,144
37 3PAR10800_EDOCMAN_TESTPERF 1,572,608
38 3PAR10800_G2_ARCHIVE01 71,424
39 3PAR10800_G2_ARCHIVE02 50,944
40 3PAR10800_G2_DATA01 409,344
41 3PAR10800_G2_DATA02 204,544
42 3PAR10800_G2_DATA03 204,544
43 3PAR10800_G2_DATA04 204,544
44 3PAR10800_G2_DATA05 204,544
45 3PAR10800_G2_DATA06 204,544
46 3PAR10800_G2_DATA07 306,944
47 3PAR10800_G2_DATA08 204,544
48 3PAR10800_G2_OS01 327,424
49 3PAR10800_G2_OS02 327,424
50 3PAR10800_G2_REDOTMP01 15,104
51 3PAR10800_G2_REDOTMP02 9,984
52 3PAR10800_G2_VOTING 9,984
53 3PAR10800_G3_ARCHIVE01 236,288
54 3PAR10800_G3_ARCHIVE02 236,288
55 3PAR10800_G3_DATA01 244,480
56 3PAR10800_G3_DATA02 244,480
57 3PAR10800_G3_DATA03 244,480
58 3PAR10800_G3_DATA04 244,480
Trang 17
(Gói thầu 11)
59 3PAR10800_G3_DATA05 50,944
60 3PAR10800_G3_OS01 511,744
61 3PAR10800_G3_OS02 511,744
62 3PAR10800_G3_REDO01 9,984
63 3PAR10800_G3_REDO02 9,984
64 3PAR10800_G3_TMP01 30,464
65 3PAR10800_G3_TMP02 30,464
66 3PAR10800_G3_tmp03 15,104
67 3PAR10800_G3_VOTING 7,936
68 3PAR10800_G5_ARCHIVE01 260,864
69 3PAR10800_G5_ARCHIVE02 260,864
70 3PAR10800_G5_DATA01 532,224
71 3PAR10800_G5_DATA02 336,640
72 3PAR10800_G5_DATA03 336,640
73 3PAR10800_G5_DATA04 336,640
74 3PAR10800_G5_OS 767,744
75 3PAR10800_G5_REDO01 20,224
76 3PAR10800_G5_REDO02 20,224
77 3PAR10800_G5_TMP01 50,944
78 3PAR10800_G5_TMP02 40,704
79 3PAR10800_INTERNAL_01_SLOW 1,658,624
80 3PAR10800_INTERNAL_02_FAST 1,638,144
Trang 18
(Gói thầu 11)
0
1
2
3
4
5
6
7
10 3PAR10800_INTERNAL_BACKUP1_SLOW 4,034,304
8
10 3PAR10800_INTERNAL_BACKUP2_SLOW 3,686,144
9
11 3PAR10800_INTERNAL32_CAPAM 2,096,896
0
11 3PAR10800_UAT_INTERNAL01_SLOW 1,638,144
1
11 3PAR10800_UAT_INTERNAL02_SLOW 1,638,144
2
Trang 19
(Gói thầu 11)
11 3PAR10800-backup_DCHD_07052015 4,194,048
3
13 DS8700_UAT_INTERNAL03_SLOW 1,638,144 DS8700
4
13 DS8700_UAT_INTERNAL10_SLOW 1,638,144
5
6
7
13 DS8700_VP-MB1_03_FAST_DB14 527,104
8
13 DS8700_VP-MB1_04_FAST_DB8 511,744
9
14 DS8700_VP-MB1_05_FAST_DB3 614,144
0
14 DS8700_VP-MB2_04_FAST_DB1 511,744
1
14 DS8700_VP-MB2_05_FAST_DB10 511,744
2
14 DS8700_VP-MB2_06_FAST_DB17 511,744
3
14 DS8700_VP-MB3_04_FAST_DB9 511,744
4
14 DS8700_VP-MB3_05_FAST_DB13 511,744
5
14 DS8700_VP-MB4_03_FAST_DB12 511,744
6
14 DS8700_VP-MB4_04_FAST_DB11 511,744
7
14 DS8700_VP-MB4_05_FAST_DB2 511,744
8
14 DS8700_VP-MB5_03_FAST_DB15 511,744
9
15 DS8700_VP-MB5_04_FAST_DB4 614,144
0
15 DS8700_VP-MB5_05_FAST_DB5 511,744
1
Trang 20
(Gói thầu 11)
15 DS8700_VP-MB6_03_FAST_DB16 511,744
2
15 DS8700_VP-MB6_04_FAST_DB6 511,744
3
15 DS8700_VP-MB6_05_FAST_DB7 511,744
4
15 DS8700_VP-MB6_06_FAST_DB18 511,744
5
15 DS8870DB_G1_Archive_FAST 895,744 DS8870
6
15 DS8870DB_G1_BACKUP1 2,426,624
7
15 DS8870DB_G1_BACKUP2 1,981,184
8
15 DS8870DB_G1_Data_FAST 1,358,592
9
16 DS8870DB_G1_OS_FAST 670,464
0
16 DS8870DB_G1_RedoTemp_SSD 99,072
1
16 DS8870DB_G2_Archive_FAST 197,376
2
16 DS8870DB_G2_BACKUP1 2,431,744
3
16 DS8870DB_G2_BACKUP2 1,417,984
4
16 DS8870DB_G2_Data_FAST 2,047,744
5
16 DS8870DB_G2_OS_FAST 742,144
6
16 DS8870DB_G2_RedoTemp_SSD 92,928
7
16 DS8870DB_G3_Archive_FAST 205,568
8
16 DS8870DB_G3_BACKUP1 2,047,744
9
17 DS8870DB_G3_BACKUP2 2,047,744
0
Trang 21
(Gói thầu 11)
17 DS8870DB_G3_BACKUP3 2,047,744
1
17 DS8870DB_G3_BACKUP4 2,047,744
2
17 DS8870DB_G3_BACKUP5 2,047,744
3
17 DS8870DB_G3_BACKUP6 2,047,744
4
17 DS8870DB_G3_DATA1_FAST 1,053,440
5
17 DS8870DB_G3_DATA2_FAST 1,557,248
6
17 DS8870DB_G3_DATA3_FAST 1,577,728
7
17 DS8870DB_G3_DATA4_FAST 1,545,984
8
17 DS8870DB_G3_DATA5_FAST 1,233,664
9
18 DS8870DB_G3_DATA6_FAST 1,233,664
0
18 DS8870DB_G3_DATA7_FAST 1,233,664
1
18 DS8870DB_G3_DATA8_FAST 1,233,664
2
18 DS8870DB_G3_OS1_FAST 155,392
3
18 DS8870DB_G3_OS2_FAST 155,392
4
18 DS8870DB_G3_RedoTemp_SSD 2,001,664
5
18 IBM8700_Internal60 1,638,144
6
18 IBM8700_Internal61 1,638,144
7
DS8700
18 IBM8700_Internal62 1,638,144
8
18 IBM8700_Internal63 1,638,144
9
Trang 22
(Gói thầu 11)
Các Datastore của vùng Test/Dev cũng sẽ map cho 05 máy chủ vật lý mới:
No Capacity LUN
Datastore Name Map to Hosts Tủ Đĩa
. (MB) ID
1 DS8700_LAB_01_SLOW 1,638,144
DS8700
2 DS8700_LAB_02_SLOW 1,638,144
- Bảng kết nối vật lý:

From To
TTDL_ECL03_VC1 X1 SAN80B-SANSW03 10
Trang 23
(Gói thầu 11)
II.2.5. Danh sách triển khai ứng dụng UAT và máy ảo

Danh sách máy ảo:
ST
Name Ứng dụng State IP OS
T
1 LAB-ADTMS Quản lý thuế tập trung poweredOn 10.64.112.20 Wi
0
2 LAB-APPP1 Lab Phòng 1 poweredOn 10.64.112.62 Wi
6 LAB-DCBKAPP Đối chiếu bảng kê poweredOn 10.64.112.10 Wi
6
7 LAB-DCBKQS Đối chiếu bảng kê poweredOn Wi
8 LAB-ESB1A Trục tích hợp poweredOn 10.64.111.13 Wi
2
9 LAB-ESB1B Trục tích hợp poweredOn 10.64.111.13 Wi
3
10 LAB-ESBDB Trục tích hợp poweredOn 10.64.112.15 Wi
3
11 LAB-ESBEXT Trục tích hợp poweredOn 10.64.112.15 Wi
4
12 LAB-ESBINT Trục tích hợp poweredOn 10.64.112.15 Wi
5
13 Lab-HSM Lab HSM poweredOn 10.64.112.22 Wi
4
14 LAB-LPTBICN Lệ phí trước bạ I cá nhân poweredOn 10.64.110.15 Wi
6
15 LAB-NTDTAPP01 Nộp thuế điện tử poweredOn 10.64.112.10 Wi
3
16 LAB-NTDTDB01 Nộp thuế điện tử poweredOn 10.64.112.10 Wi
4
17 LABP1 Lab Phòng 1 poweredOn 10.64.112.60 Wi
18 LABP1-DBTCT Lab Phòng 1 poweredOn 10.64.112.58 RH
19 LABP1-SVR3 Lab Phòng 1 poweredOn 10.64.112.56 Wi
20 LABP1-SVR4 Lab Phòng 1 poweredOn 10.64.112.57 Wi
21 LAB-POLESTAR Thử nghiệm phần mềm poweredOn 10.64.112.23 Wi
Polestar 0
22 LAB-QLACAPP Quản lý ấn chỉ poweredOn 10.64.112.10 Wi
0
23 lab-qlacdb Quản lý ấn chỉ poweredOn 10.64.112.10 RH
Trang 24
(Gói thầu 11)
1
25 LAB-RESTOREAD Test restore cho AD poweredOn 10.64.110.20 Wi
0
26 LAB-SVR1P1 Lab Phòng 1 poweredOn 10.64.112.55 Wi
32
27 LAB-T2BAPPDB Thử nghiệm T2B poweredOn 10.64.110.14 Wi
9
28 LAB-TCTDB11 Lab DB Tổng cục của poweredOn 10.64.112.15 Wi
Phòng 1 8
29 Lab-tdtt TTĐT Kho bạc poweredOn 10.64.112.15 Wi
2
30 Lab-TmsIHTKK Quản lý thuế tập trung poweredOn 10.64.112.15 Wi
1
31 LAB-TMSIHTKKDB Quản lý thuế tập trung poweredOn 10.64.112.15 Wi
7
33 LAB-TPSINAPP01 Website ngành thuế poweredOn 10.64.85.235 Wi
34 LAB-TPSINAPP02 Website ngành thuế poweredOn 10.64.85.236 Wi
35 lab-tpsindb Website ngành thuế poweredOn 10.64.87.241 RH
37 TRN-CBTAPP01 Cán bộ thuế poweredOn 10.64.111.15 Wi
7
38 TRN- eTax poweredOn 10.64.111.15 Wi
ETAXBPMAPP1 9
39 TRN-ETAXDB eTax poweredOn 10.64.111.16 Wi
0
40 TRN-ETAXDBBPM eTax poweredOn 10.64.111.16 Wi
2
41 TRN- eTax poweredOn 10.64.111.15 Wi
ETAXECMAPP1 8
42 TRN-ETAXECMDB eTax poweredOn 10.64.111.16 Wi
1
43 TRN-KTNBAPP Kiểm tra nội bộ poweredOn 10.64.110.13 Wi
9
44 TRN-NNTAPP01 Người nộp thuế poweredOn 10.64.111.15 Wi
6
45 TRN-TMSECAPP1 Quản lý thuế tập trung poweredOn 10.64.111.51 Wi
Trang 25
(Gói thầu 11)
49 TRN-TMSECDB Quản lý thuế tập trung poweredOn 10.64.111.55 Wi

50 TRN-TMSECSCS Quản lý thuế tập trung poweredOn 10.64.111.50 Wi
51 TRN-TMSEPAPP1 Quản lý thuế tập trung poweredOn 10.64.111.57 Wi
52 TRN-TMSEPAPP2 Quản lý thuế tập trung poweredOn 10.64.111.58 Wi
53 TRN-TMSEPDB Quản lý thuế tập trung poweredOn 10.64.111.59 Wi
55 TRN-TMSWEBSR Quản lý thuế tập trung poweredOn 10.64.111.60 Wi
56 TTDL-GIPUAT GIP poweredOn 10.64.85.217 Wi
57 UAT-BHXHAPP Bảo hiểm xã hội poweredOn 10.64.110.15 Wi
3
58 uat-bhxhdb Bảo hiểm xã hội poweredOn 10.64.110.15 RH
2
59 UAT-CAAPP CA poweredOn 10.64.110.14 Wi
7
60 UAT-CADB CA poweredOn 10.64.110.14 Wi
6
61 UAT-CAREPORT CA poweredOn 10.64.110.14 Wi
8
62 UAT-DKDNAPP Đăng ký doanh nghiệp poweredOn 10.64.112.22 Wi
9
63 UAT-ETAXAPP eTax poweredOn 10.64.110.14 Wi
0
64 UAT-EtaxAPPSIT eTax poweredOn 10.64.110.14 Wi
2
65 uat-etaxDB eTax poweredOn 10.64.110.14 RH
1
66 uat-etaxDBSit eTax poweredOn 10.64.110.14 RH
3
67 UAT- eTax poweredOn 10.64.110.15 Wi
ETAXECMAPP1 0
68 UAT- eTax poweredOn 10.64.110.15 Wi
ETAXECMAPP2 1
75 UAT-ICSICC Hóa đơn điện tử poweredOn 10.64.80.205 Wi
76 UAT-ICSICCDB Hóa đơn điện tử poweredOn 10.64.87.201 RH
77 UAT-ICSICCDB1 Hóa đơn điện tử poweredOn 10.64.87.202 RH
78 UAT-NTDTAPP1 Nộp thuế điện tử poweredOn 10.64.110.15 Wi
4
79 UAT-NTDTAPP2 Nộp thuế điện tử poweredOn 10.64.110.15 Wi
5
Trang 26
(Gói thầu 11)
80 uat-qtcdb Quản lý thuế tổng cục poweredOn 10.64.112.59 RH

81 UAT-SEDMAPP01 eDoc poweredOn 10.64.111.13 Wi
7
82 UAT-SEDMDB eDoc poweredOn 10.64.111.13 Wi
8
83 UAT-SEDMFE01 eDoc poweredOn 10.64.111.13 Wi
6
9
0
86 UAT-SIEMSC eDoc poweredOn 10.64.112.22 Wi
2
87 UAT-TPHAPP01 Tập trung CSDL NNT poweredOn 10.64.110.22 Wi
1
88 UAT-TPHAPP02 Tập trung CSDL NNT poweredOn 10.64.110.22 Wi
2
89 UAT-TPRDB Phân tích rủi ro poweredOn 10.64.110.13 Wi
7
Trang 27
(Gói thầu 11)
II.2.6. Hệ thống giám sát và backup

Thông tin hệ thống giám sát vRealize Operation Manager để giám sát hạ tầng ảo
hóa.
Thông tin vRealize tại DC:
vCenter Operation Manager detail
VM Host
No. Node vCenter
Name Name IP Subnet Gateway
Connection
dc-mgmtvcenter
vCenter Op dc- 255.255.255. dc-extvcenter
1 Master 10.64.92.49 10.64.92.1
01 vopmaster 0 dc-intvcenter
stb-vcenter01
dc-mgmtvcenter
vCenter Op 255.255.255. dc-extvcenter
2 dc-voprepl Replica 10.64.92.50 10.64.92.1
02 0 dc-intvcenter
stb-vcenter01
Các máy ảo UAT không được cấu hình backup
Trang 28
(Gói thầu 11)
II.3. Hệ thống ảo hóa môi trường đào tạo thử nghiệm vùng
External
II.3.1. Phân bổ vật lý và logic

04 máy chủ vùng Test/Dev sau khi chuyển hết máy ảo sang môi trường đào tạo
vùng Internal, sẽ được chuyển sang vùng External quản lý bởi vCenter vùng
Enternal (10.64.97.181).
Tổng tài nguyên Chassic mới sử dụng cho hệ thống ảo hóa vùng external
gồm: 192 GB RAM, 120 CPU thực tế (đã dự phòng 25%). Theo tỷ lệ
overcommit khuyến cáo của VMwave đối với hệ thống đào tạo, thử nghiệm
thì tài nguyên hệ thống external được bổ sung: 384 GB RAM (RAMx2), 480
CPU (CPUx4). Trong đó đã sử dụng 74 GB RAM, 17 CPU phục vụ việc xây
dựng môi trường UAT của các ứng dụng sau:
STT Tên ứng dụng Tên viết tắt
1 Website TPS
2 Hóa đơn điện tử ICS
Trang 29
(Gói thầu 11)
Sau khi chuyển đổi hệ thống UAT xong sẽ còn lại 310 GB RAM và 463 CPU
đáp ứng được cho nhu cầu thử nghiệm của ứng dụng cổng thông tin trao đổi
thông tin với các đơn vị, tổ chức bên ngoài, đồng thời dự phòng cho môi
trường Product.
II.3.2. Thông số Enclosure và Cluster ảo hóa
II.3.2.1. Thông số Enclosure:

Enclosure C7000
TTDL_ECL12_OA1 10.64.96.127 255.255.255.0 10.64.96.1
TTDL_ECL12_OA2 10.64.96.128 255.255.255.0 10.64.96.1
TTDL_ECL12_VC1 10.64.96.129 255.255.255.0 10.64.96.1
TTDL_ECL12_VC2 10.64.96.130 255.255.255.0 10.64.96.1
II.3.2.2. Thông số địa chỉ iLO:

Device iLO
Enclosure
Bay IP Gateway User/Pass
Bay 1 10.64.96.131 10.64.96.1
Bay 2 10.64.96.132 10.64.96.1
TTDL-ECL12
Bay 3 10.64.96.133 10.64.96.1
Bay 4 10.64.96.134 10.64.96.1
II.3.2.3. Thông số máy chủ vật lý ESXi:

Host ESX detail
Devide
Enclosure
Bay Host name Cluster IP vMotion Subnet Mask ESX Version
10.64.68.15 255.255.255. ESXi 6.0.0 U 1a

Bay 1 tct-uatesxi1201.tct.vn 10.64.68.151
0 0 (Build 3073146)
10.64.68.15 255.255.255. ESXi 6.0.0 U 1a
TTDL- 2 0 (Build 3073146)
EXT_UAT
ECL12 10.64.68.15 255.255.255. ESXi 6.0.0 U 1a
4 0 (Build 3073146)
10.64.68.15 255.255.255. ESXi 6.0.0 U 1a
6 0 (Build 3073146)
Trang 30
(Gói thầu 11)
II.3.2.4. Thông số NTP:

No. NTP Server IP
1 NTP Server 1 10.64.68.26
2 NTP Server 2 10.64.68.27
II.3.2.5. Thông số DNS:

No. DNS Server IP Domain
II.3.2.6. Thông số Cluster:

Vmware HA Enable
Host monitoring Enable
failover spare capacity: 10% CPU, 10% Memory
tct-uatesxi1202.tct.vn Host isolation response Leave power on
tct-uatesxi1203.tct.vn Vm monitoring Vm monitoring only

EXT_UAT
tct-uatesxi1204.tct.vn Vmware DRS Enable
Automation level Partial automated
levels
EVC Enable
Swap file policy Store in the same directory as the virtual
machine
Trang 31
(Gói thầu 11)
II.3.3. Thiết kế mạng
II.3.3.1. Mô hình kết nối

trên Enclosure C7000. Mỗi Virtual Connect có 01 đường uplink cho mạng LAN và
02 đường uplink cho mạng SAN.
- Bảng nối dây vật lý: (check lại LAN Switch, mgmt.-sw)
From To
TTDL_ECL12_VC1 X5 DC-NET05 E1/45
TTDL_ECL12_VC2 X5 DC-NET06 E1/45
Trang 32
(Gói thầu 11)
II.3.3.2. Danh sách VLAN

Các đường uplink mạng LAN cho phép nhiều VLAN đi qua. Danh sách các VLAN
cho máy ảo đào tạo/thử nghiệm/nghiên cứu:
Tên VLAN VLAN ID Mục đích
VLAN_121_WEB_SERVICE 121 Dải mạng cho các máy ảo đào tạo
VLAN_122_APP_DB 122 Dải mạng cho các máy ảo đào tạo
VLAN_123_PROXY_SERVICE 123 Dải mạng quản trị máy chủ ESXi
(VLAN 55).
II.3.4. Thiết kế lưu trữ

Về mặt vật lý, sẽ giữ nguyên nối dây hiện tại tới các SAN Switch SAN80B-
SANSW03 và SAN80B-SANSW04.
Về mặt logic, sẽ thực hiện zoning lại trên SAN để sử dụng chung LUNs với hệ
thống ảo hóa vùng External hiện tại. Danh sách Datastore vùng Enternal cần gán
cho các máy chủ mới:
Capacity LUN
Name Map to Hosts Tủ Đĩa
(MB) ID
3PAR_Template_01 614,144 3PAR10800
3PAR_Template_02 614,144
3PAR10800_DB_TEMPLATES 614,144
3PAR10800_EXTERNAL_01_SLOW 1,535,744
3PAR10800_EXTERNAL_02_FAST 1,535,744
3PAR10800_EXTERNAL_BACKUP_SLO 1,289,984
W
3PAR10800_G6_ARCHIVE 257,792
3PAR10800_G6_DATA 751,360
Trang 33
(Gói thầu 11)
3PAR10800_G6_DATA05 50,944
3PAR10800_G6_OS1 665,344
3PAR10800_G6_OS2 777,984
3PAR10800_G6_REDO_TMP 111,360
3PAR10800_G6_VOTING 18,176
3PAR10800_TAX_BACKUP1_SLOW 767,744
3PAR10800_UAT_EXTERNAL_01_SLOW 1,535,744
DS8700_External_20_FAST 1,638,144
DS8700_External_21_FAST 1,638,144 DS8700
DS8700_EXTERNAL_22_FAST 1,638,144
DS8870DB_G4_Archive_FAST 102,144
DS8870DB_G4_BACKUP1 875,264
DS8870DB_G4_Data_FAST 1,045,248
DS8870DB_G4_RedoTemp_FAST 57,088 DS8870
DS8870DB_G5_BACKUP1 245,504
DS8870DB_G5_FAST 290,560
DS8870DB_Goi7_Datapump_EXT 665,344
External_Template_03 1,228,544 3PAR10800
II.3.5. Danh sách máy ảo

Danh sách các máy ảo đào tạo thử nghiệm vùng External sẽ chuyển sang:
No CP MEM
Name OS IP Network
. U (GB)
1 lab-tpsexdb RHEL6 x64 2 16 10.64.67.241
2 UAT-ICSAPP Win Server 2K8 4 16 10.64.67.145
3 UAT-ICSDB RHEL6 x64 4 16 10.64.67.146
4 UAT- Win Server 2K8 1 4
ICSPARIS
Trang 34
(Gói thầu 11)
5 UAT-ICSPS Win Server 2K8 1 4 10.64.67.149

6 UAT-ICSSPINE Win Server 2K8 1 2 10.64.67.147
7 UAT-ICSWEB Win Server 2K8 4 16 10.64.66.89
Trang 35
(Gói thầu 11)
III. THIẾT KẾ HỆ THỐNG STANDYBY CHO ỨNG DỤNG

KÊ KHAI THUẾ, NỘP THUẾ ĐIỆN TỬ
III.1. Định hướng thiết kế hệ thống standby cho ứng dụng kê
khai thuế, nộp thuế điện tử
Một trong những phần quan trọng nhất đối với các ứng dụng Nộp Thuế Điện Tử,
iHTKK, là đảm bảo hiệu năng sử dụng, cũng như tính dự phòng cho việc truy nhập
của người dùng từ Internet vào hệ thống. Hệ thống Standby cho ứng dụng Nộp
Thuế Điện Tử, iHTKK được thiết kế tối ưu cho vấn đề này. Cụ thể, hệ thống tổng
thể, bao gồm DC và Standby, sẽ cho phép người dùng Internet truy nhập dịch vụ,
ứng dụng qua tất cả các hệ thống Router (của cả DC và Standby). Trong trường hợp
hệ thống DC Router, hoặc đường truyền Internet chính bị sự cố, hệ thống sẽ tự động
phát hiện ra những thay đổi, để đón các luồng truy nhập qua Standby Router.
Trong trường hợp ứng dụng hoạt động chập chờn, toàn bộ các thành phần quan
trọng của iHTKK và Nộp Thuế Điện Tử (ngoại trừ iHTKK của TVAN) sẽ được
chuyển đổi sang hệ thống Standby để đảm bảo tính thống nhất và ổn định của toàn
hệ thống. Hiện hệ thống Standby đáp ứng được tương đương so với hệ thống chính.
III.2. Thiết kế hệ thống mạng và bảo mật
III.2.1. Định hướng thiết kế

Hệ thống Standby cho ứng dụng Nộp Thuế Điện Tử, iHTKK Data Center Tổng Cục
Thuế, được thiết kế, triển khai với mục đích xây dựng một hệ thống tách biệt, vai
trò đáp ứng dự phòng nhanh cho các ứng dụng Nộp Thuế Điện Tử, Kê khai thuế
qua mạng (iHTKK). Chính vì lẽ đó, hệ thống Standby sẽ có các đặc điểm sau:
Là một hệ thống hoàn chỉnh, với đầy đủ các thành phần logic của hệ thống. Tuy
nhiên về mặt vật lý do TCT chưa trang bị thiết bị cân bằng tải F5 mới cho hệ thống
Standby nên hệ thống Standby vẫn đang sử dụng F5 của hệ thống chính. Đề xuất
nếu có thể Tổng cục Thuế bổ sung thêm F5 trên hệ thống này sẽ đảm bảo hệ thống
Standby hoàn thiện chức năng dự phòng cho hệ thống chính.
Trang 36
(Gói thầu 11)
- Thiết kế hệ thống theo dạng module, đơn giản hóa việc quản trị, vận hành.
- Khả năng mở rộng linh hoạt để phục vụ cho các nhu cầu ứng dụng trong tương
lai.
- Tối ưu việc chuyển đổi, kích hoạt hệ thống:
+ Hạn chế những tác động trực tiếp lên hệ thống Data Center chính để tránh
rủi ro cho toàn bộ hệ thống
+ Tăng tối đa khả năng chủ động của Tổng Cục Thuế
+ Giảm tối thiểu những thao tác, quy trình cần thực hiện từ phía đối tác
III.2.2. Kiến trúc tổng thể
III.2.2.1. Sơ đồ kiến trúc tổng thể
III.2.2.2. Mô tả kiến trúc

Hệ thống Standby là một hệ thống riêng biệt, thiết kế dưới dạng các phân
vùng/module, bao gồm:
- Phân vùng Core: kết nối với hệ thống Data Center chính của Tổng Cục Thuế.
Trang 37
(Gói thầu 11)
- Phân vùng Internet: kết nối với mạng Global Internet và chứa hệ thống Internet
Server public các ứng dụng, dịch vụ ra ngoài Internet.
- Phân vùng Internal/Managemet: phân vùng quan trọng và nằm sâu trong hệ thống,
cần tính bảo mật cao. Phân vùng này chứa hệ thống Core Database, Application
Server chính của hệ thống. Ngoài ra, nó có có nhiệm vụ quản trị tập trung cho hệ
thống Standby.
III.2.3. Thiết kế chi tiết hệ thống mạng và bảo mật
III.2.3.1. Sơ đồ kết nối Logic

- Sơ đồ kết nối Logic hệ thống DC – Standby:
- Sơ đồ kết nối Logic các thành phần chính DC-Standby:
Trang 38
(Gói thầu 11)
III.2.3.2. Sơ đồ kết nối Vật Lý
Trang 39
(Gói thầu 11)
- Các kết nối từ thiết bị Core Standby đến F5, FW Stansby, Router Standby,
Chassis HP Blade dùng giao thức LAGs (ghép kênh).
- Riêng kết nối từ Core Standby đến thiết bị exadata không chạy ghép kênh
LAGs được do khuyến cáo từ chuyên gia của hãng. Vì vậy nên
o Từ Core Standby (port ge-0/0/11) đến 2 port management của exadata
permit VLAN 452, trong đó port ge-0/0/11 Core 1 chạy chính, port
ge-0/0/11 Core 2 bị disable trên switch để làm backup. Nếu đồng thời
enable cả 2 port này trên Core Standby sẽ gây treo switch cisco ở
Exadata.
Trang 40
(Gói thầu 11)
o Thiết bị exadata kết nối trao đổi data qua các port xe-0/0/4 và xe-0/0/5
trên cả 2 switch Core Standby. Trên Core Standby cấu hình mặc định
permit Vlan 430. Trên thiết bị Exadata chuyên gia hãng đã cấu hình
active/standby các interface kết nối lên Core Standby để đảm bảo
backup động và một lúc chỉ 1 link truyền dữ liệu.
III.2.3.3. Quy hoạch địa chỉ IP và VLAN
STANDBY
VLAN IP Default
Phân vùng Name
ID Addressing Gateway
424 STB-Transaction 10.64.201.128/25 10.64.201.129
430 STB-Database 10.64.202.0/25 10.64.202.1

STB Internal
452 STB-Admin 10.64.203.0/24 10.64.203.1
521 STB-Net Web 10.64.200.0/25 10.64.200.1

STB
522 STB-Net AppDB 10.64.200.128/25 10.64.200.129
INTERNET
523 STB-Net Proxy 10.64.201.0/25 10.64.201.1
STB CORE 401 CORE_FW 10.64.124.200/29
Connection CoreDC_CoreSTB 10.64.124.144/30
Connection CoreDC_CoreSTB 10.64.124.148/30
Connection 402 FW_NETRTR 10.64.124.208/29
III.2.3.4. Hạ tầng vật lý tại Hệ thống Standby

III.2.3.4.1. Danh mục thiết bị
Vai Trò Tên thiết bị Model
Trang 41
(Gói thầu 11)
Standby Core Switch STB-CORE-SW01 Juniper QFX 5100
Standby Core Switch STB-CORE-SW02 Juniper QFX 5100
Standby Core Firewall STB-FW Juniper SRX 1500
Standby Internet Router STB-NET-RTR Juniper SRX 550
Trang 42
(Gói thầu 11)
III.2.3.4.2. Sơ đồ thiết bị trên Rack

Các thiết bị Network/Security của hệ thống Standby, được lắp đặt tập trung trên một
tử Rack như hình bên dưới:
Trang 43
(Gói thầu 11)
Trang 44
(Gói thầu 11)
Trang 45
(Gói thầu 11)
III.2.3.4.3. Bảng chỉ dẫn đấu nối thiết bị vật lý

● Bảng kết nối hệ thống Network/Security:
FROM TO
STT Physical Device Physical Port Rack Physical Device Physical Port
1 STB-CORE-SW01 Xe-0/0/0 37 STB-CORE-SW02 Xe-0/0/0
2 STB-CORE-SW01 Xe-0/0/1 37 STB-CORE-SW02 Xe-0/0/1
3 STB-CORE-SW01 Xe-0/0/3 37 STB-FW Xe-0/0/0
4 STB-CORE-SW02 Xe-0/0/3 37 STB-FW Xe-0/0/1
5 STB-CORE-SW01 Ge-0/0/8 37 STB-NET-RTR Ge-0/0/3
6 STB-CORE-SW02 Ge-0/0/8 37 STB-NET-RTR Ge-0/0/3
7 STB-CORE-SW01 Xe-0/02 37 DC-CORE-SWN7K01 E2/8
8 STB-CORE-SW02 Xe-0/0/2 37 DC-CORE-SWN7K02 E2/8
9 STB-NET-RTR Ge-0/0/1 37 DC-NET-SW03 G0/0/6
10 STB-NET-RTR Ge-0/0/2 37 DC-NET-SW04 G0/0/6
● Bảng kết nối hệ thống Server vào hạ tầng mạng:

FROM TO
STT Physical Device Physical Port Rack Physical Device Physical Port
1 STB-CORE-SW01 Xe-0/0/4 37 Exadata Port 1
Trang 46
(Gói thầu 11)
5 STB-CORE-SW01 Xe-0/0/6 37 HP Blade Chassis Virtual Connect 1

Port 1

Port 2

Port 1

Port 2
9 STB-CORE-SW01 Ge-0/0/9 37 DC-NET-BIGIP01 1.5
13 STB-CORE-SW01 Ge-0/0/11 37 Exadata MGMT1
14 STB-CORE-SW02 Ge-0/0/11 37 Exadata MGMT2
15 STB-CORE-SW01 Ge-0/0/12 37 HP Blade Chassis OA 1
16 STB-CORE-SW02 Ge-0/0/12 37 HP Blade Chassis OA 2
Trang 47
(Gói thầu 11)
III.2.3.5. Thiết kế chi tiết các phân vùng

III.2.3.5.1. Phân vùng Core
Phân vùng Core:
- Vai trò: Định tuyến/Chuyển mạch và Firewall trung tâm của toàn bộ hệ thống
Standby. Nó là điểm kết nối của tất cả các phần vùng khác, và của hệ thống Standby
với hệ thống Data Center chính.
+ Thiết bị switch core đảm nhiệm chức năng:
▪ Chuyển mạch cho toàn bộ hệ thống standby.
▪ Kết nối layer 3 và routing giữa DC với hệ thống standby.
+ Thiết bị firewall đảm nhiệm chức năng:
▪ Là firewall trung tâm của toàn bộ hệ thống standby.
▪ Là gateway của các ứng dụng trong hệ thống standby.
▪ Thực hiện việc NAT IP private các ứng dụng standby ra IP public để
từ internet có thể truy cập được hệ thống kê khai, nộp thuế điện tử, hệ
thống TVAN.
- Thành phần:
+ Cặp Standby Core Switch QFX5100
+ Core Firewall Juniper SRX1500
III.2.3.5.1.a- Sơ đồ kết nối phân vùng
III.2.3.5.1.a.1. Sơ đồ Logic
Trang 48
(Gói thầu 11)
III.2.3.5.1.a.2. Sơ đồ Vật lý
Trang 49
(Gói thầu 11)
III.2.3.5.1.a.3. Phân tích hoạt động

Core Switch:
- Cặp Core Switch Juniper QFX5100, sử dụng tính năng Virtual Chassis, cho phép
ảo hóa 2 thiết bị này thành một switch ảo, gọi là Standby Logical Switch. Nhờ vậy,
việc quản trị hệ thống Core Switch sẽ được tập trung và đơn giản hóa. Bên cạnh đó,
sử dụng Virtual Chassis – Logical Switch, sẽ cho phép các hệ thống xung quanh,
bao gồm Firewall, Router, Server, Load Balancer có thể triển khai Multi-Chassis
EtherChannel (MCEC), vừa cân bằng tải, vừa giúp tăng tính dự phòng nhờ đó tối ưu
hiệu suất sử dụng kênh truyền tốt hơn.
- Standby Logical Switch kết nối với hệ thống Data Center chính qua hai đường 10
Gbps - Layer 3, chạy giao thức định tuyến động OSPF để tự động hóa định tuyến
theo những thay đổi của hệ thống.
- Standby Logical Switch kết nối Layer 3 với Standby Firewall và sử dụng định
tuyến tĩnh, tới các dải IP vùng Internet Server và Internal Server.
Trang 50
(Gói thầu 11)
- Core Switch đồng thời cũng đóng vai trò Layer 2 Switching cho toàn bộ hệ thống
Standby, bao gồm:
+ Kết nối IP Connection giữa Standby Firewall và Standby Internet Router
+ Hệ thống DMZ Server
+ Hệ thống Internal/Management Server
Core Firewall:
- Core Firewall Juniper SRX1500, đóng vai trò tường lửa, quản lý các luồng truy
nhập vào ra hệ thống Standby. Ngoài ra, nó còn đóng vào trò NAT Device, để
public các ứng dụng iHTKK, Nộp Thuế Điện Tử ra ngoài Internet.
- Core Firewall hoạt động ở chế độ Layer 3, đóng vai trò IP Default Gateway cho
toàn bộ các DMZ Server và Internal Server.
- Gồm 8 Zone, tương ứng với 8 Logical Interface:
+ Internet: kết nối lên Standby Router
+ Core: Kết nối với Standby Core Switch
+ STB-NET Web: Kết nối với hệ thống Standby DMZ Web Server
+ STB-NET AppDB: Kết nối với hệ thống Standby DMZ AppDB Server
+ STB-NET Proxy: Kết nối với hệ thống Standby DMZ Proxy Server
+ STB-Transaction: Kết nối với hệ thống Standby Internal Transaction
+ STB-DB: Kết nối với hệ thống Standby Internal Database
+ STB-Admin: Kết nối với các hệ thống quản trị Standby.
III.2.3.5.1.b- Bảng thông số cấu hình
III.2.3.5.1.b.1. Thông số chung

Device Hostname
Trang 51
(Gói thầu 11)
Core Switch Juniper QFX5100 (01) STB-CORE-SW01
Core Switch Juniper QFX5100 (02) STB-CORE-SW02
Firewall Juniper SRX1500 STB-FW
III.2.3.5.1.b.2. Thông số Layer 3 Interface

- Standby Core Switch
Hostname Interface IP Address

STB-CORE-SW01 Xe-0/0/2 10.64.124.146/30
STB-CORE-SW02 Xe-0/0/2 10.64.124.150/30
STB-CORE-SW01 Vlan.401 10.64.124.202/29
STB-CORE-SW02 Vlan.401
STB-CORE-SW01 Em1 10.64.95.131/24
STB-CORE-SW02 Em1 10.64.95.132/24
STB-FW Ae0.401 10.64.124.201/29
STB-FW Ae0.402 10.64.124.209/29
STB-FW Ae0.424 10.64.201.129/25
STB-FW Ae0.430 10.64.202.1/25
STB-FW Ae0.452 10.64.203.1/24
STB-FW Ae0.521 10.64.200.1/25
STB-FW Ae0.522 10.64.200.129/25
STB-FW Ae0.523 10.64.201.1/25
STB-FW Fxp0 10.64.95.133/24
Trang 52
(Gói thầu 11)
III.2.3.5.1.b.3. Thông số cấu hình NAT

From Zone Source IP To Zone Destination Application Then
IP
Internet Any STB-NET 103.9.200.79 443 Destination NAT

Web
10.64.200.65

Web
10.64.200.73

Web
10.64.200.39
Trang 53
(Gói thầu 11)
III.2.3.5.2. Phân vùng Internet
III.2.3.5.2.a.1. Sơ đồ Logic
III.2.3.5.2.a.2. Sơ đồ Vật Lý Kết nối Internet
Trang 54
(Gói thầu 11)
III.2.3.5.2.a.3. Phân tích hoạt động

Phân vùng này bao gồm Internet Router, các hệ thống Server ứng dụng (Web,
Application, Proxy), hệ thống F5 Load Balancer.
- Internet Router (STB-NET-RTR):
+ Kết nối với Global Internet thông qua đường kết nối upstream Viettel.
+ Kết nối với hệ thống DC Internet Router và DC Internet Firewall,
thông qua DC Internet Switch. Kết nối này có vai trò tạo phiên iBGP
Peering để trao đổi thông tin định tuyến giữa 3 Router Internet, đồng
thời để dẫn luồng lưu lượng Internet khi về tới Standby Internet
Router, sẽ chạy về DC Internet Firewall và chạy về các hệ thống
chính tại DC.
Trang 55
(Gói thầu 11)
+ Kết nối Layer 3 với Standby Firewall sử dụng cặp Core Switch làm
Layer 2 Switching.
- Hệ thống Server và F5 Load Balancer (của DC)
+ Có IP Default Gateway trỏ về các Logical Interface của Standby
Firewall.
+ Về mặt vật lý, các thành phần này kết nối trực tiếp đến Standby Core
Switch để tạo Layer 2 Switching.
Chức năng của phần vùng internet hệ thống standby:
- Internet router:đảm nhiệm các chức năng sau
+ Backup kết nối internet cho DC qua đường Viettel khi các đường
internet ở DC bị lỗi.
+ Hỗ trợ định tuyến từ internet về cho các ứng dụng kê khai, nộp thuế
điện tử, TVAN khi có lỗi ở hệ thống DC và cần chuyển sang chạy trên
hệ thông standby.
- Thiết bị cân băng tải F5:có chức năng cân băng tải truy cập từ internet cũng
như từ DC, DR đến các ứng dụng dự phòng đặt ở standby (kê khai, nộp thuế
điện tử, TVAN).
III.2.3.5.2.b- Bảng thông số cấu hình
III.2.3.5.2.b.1. Thông số chung

Device Hostname
Router Juniper SRX STB-NET-RTR
III.2.3.5.2.b.2. Thông số cấu hình Layer 3 Interface

Hostname Interface IP Address
Trang 56
(Gói thầu 11)
STB-NET-RTR Ae1.0 10.64.124.210/29
STB-NET-RTR Vlan.124 10.64.124.107/28
STB-NET-RTR Ge-0/0/0 125.212.199.174/30
STB-NET-RTR Ge-0/0/5 10.64.95.134/24
III.2.3.5.2.b.3. Bảng thông số cấu hình F5 Load

Balancer
Application Virtual Server Member Servers
Destination Address
NTDT 10.64.200.65 10.64.200.151:(7002→7011)

10.64.200.152:(7002→7011)
10.64.200.153:(7002→7011)
10.64.200.154:(7002→7011)
10.64.200.155:(7002→7011)
10.64.200.156:(7002→7011)
iHTKK NNT 10.64.200.73 10.64.200.131:(7002→7024,7026)
10.64.200.132:(7002→7024,7026→7031)
10.64.200.133:(7002→7024,7026→7029,7031)
10.64.200.134:(7002→7024,7026→7029,7031→7032)
10.64.200.135:(7002→7016,7018→7023)
10.64.200.136:(7002→7005)
iHTKK TVAN 10.64.200.39 10.64.200.141:(7002→7003)

10.64.200.142:(7002)
10.64.200.143:(7002→7005)
10.64.200.144:(7002→7005)
10.64.200.145:(7002→7005)
Trang 57
(Gói thầu 11)
10.64.200.146:(7002→7003)
10.64.200.147:(7002→7005)
III.2.3.5.3. Phân vùng ServerFarm
Trang 58
(Gói thầu 11)
III.2.3.5.3.b- Phân tích hoạt động

- Phân vùng này bao gồm các hệ thống Server Transaction, Database Exadata và
các dải quản trị tập trung.
- Về mặt vật lý, các thiết bị này đều kết nối trực tiếp vào cặp Core Switch để tạo
kết nối Layer 2 Switching.
III.2.3.5.4. Mạng Private Network
III.2.3.5.4.a- Sơ đồ kết nối
III.2.3.5.4.b- Phân tích hoạt động

- Hệ thống Exadata sử dụng một mạng Private Network riêng, để đồng bộ dữ liệu.
Hệ thống Standby Exadata sẽ đồng bộ trực tiếp với DC Exadata, DR Exadata qua hệ
thống SW-Private-DC và SW-Private-DR.
Trang 59
(Gói thầu 11)
Mạng này không giao tiếp với các hệ thống Data bên ngoài.
III.2.3.6. Thiết kế định tuyến

III.2.3.6.1. Sơ đồ mô hình định tuyến
III.2.3.6.2. Phân tích cơ chế định tuyến

- Cặp DC Core Switch kết nối với Standby Core Switch, sử dụng giao thức định
tuyến OSPF – Area 0 để tự động cập nhật những thay đổi routing của toàn hệ thống.
Thông qua OSPF, hệ thống Standby sẽ học được các Route tới hệ thống DC
Internal, DC WAN, DC Partner, DR. Tương tự, DC Core Switch sẽ học được dải
mạng 10.64.200.0/21 – dải Summary IP được cấp cho toàn bộ hệ thống Standby.
- Standby Router chạy giao thức BGP – AS 131363 (Tổng Cục Thuế):
+ eBGP với Viettel (AS 38731): tự động trao đổi Routing Internet trong
nước và quốc tế.
Trang 60
(Gói thầu 11)
+ Full-mesh iBGP với DC-NET-RTR01 và DC-NET-RTR02: tự động

trao đổi Routing Internet trong nước và quốc tế.
Luồng lưu lượng vào/ra hệ thống sẽ được điều chỉnh tự động theo những hướng
ngắn nhất dựa vào thuật toán của giao thức BGP. Trong trường hợp cần ưu tiên một
số hướng cố định, người quản trị hoàn toàn có thể chủ động điều chỉnh việc quảng
bá và nhận BGP Route để thay đổi hướng lưu lượng.
Ngoài ra, Standby Router còn cấu hình Static Route 10.64.200.0/21 trỏ sang
Standby Firewall.
Standby Firewall sẽ cấu hình Static Default Route trỏ tới Standby Router, và Static
Route 10.64.0.0/16 (dải mạng của toàn bộ hệ thống DC) trỏ về Standby Core Switch
III.3. Thiết kế ứng dụng kê khai thuế, nộp thuế điện tử
III.3.1. Đề xuất hệ thống standby iHTKK-NTDT

Đề xuất chia hệ thống standby của iHTKK và NTDT thành hai phân vùng:
- Standby Ext: Bao gồm các ứng dụng standby cho phân vùng internet và partner tại
DC. Các ứng dụng Standby vùng External bao gồm: NNT-iHTKK, TVAN-iHTKK,
NNT-NNDT.
Trang 61
(Gói thầu 11)
- Standby Int: Bao gồm ứng dụng standby cho phân vùng Internal tại DC. Ứng dụng
Standby vùng Internal bao gồm: TTXL của NTDT
Trang 62
(Gói thầu 11)
Đề xuất sử dụng thống nhất scan cho các ứng dụng standby cũng như ứng dụng
chính để truy cập DB: iHTKK-scan.vp.tct.vn
Đề xuất cấu hình thêm các Pools trên F5 tại phân vùng Internet để sử dụng cho phân
vùng Standby Ext.
III.3.2. Thiết kế hệ thống standby iHTKK
III.3.2.1. Mô hình tổng quan hệ thống

III.3.2.1.1. Mô hình logic
Đây là mô hình mức logic của hệ thống stanby Kê khai thuế qua mạng - iHTKK tại
trung tâm dữ liệu chính và các hệ thống liên quan.
Trang 63
(Gói thầu 11)
III.3.2.1.2. Mô hình vật lý

Đây là mô hình vật lý của hệ thống standby Kê khai thuế qua mạng - iHTKK tại
trung tâm dữ liệu chính và các hệ thống liên quan.
Trang 64
(Gói thầu 11)
III.3.2.2. Hạ tầng máy chủ hệ thống

III.3.2.2.1. Danh sách máy chủ
- Hệ thống Standby iHTKK có tổng số 16 server , sử dụng F5 để cân bằng tải, 01
Exadata quarter rack
- Bảng thông tin máy chủ:
Chức năng Host name IP OS
APP NNT STB-IHTKKWLG1 10.64.200.131 Operating System: Windows

Server 2012 Datacenter 64-bit
Trang 65
(Gói thầu 11)
(6.2, Build 9200)
Operating System: Windows

STB -IHTKKLG2 10.64.200.132 Server 2012 Datacenter 64-bit
(6.2, Build 9200)

STB-IHTKKWLG3 10.64.200.133 Server 2012 Datacenter 64-bit
(6.2, Build 9200)
STB-IHTKKWLG4 Operating System: Windows

10.64.200.134
(6.2, Build 9200)

STB-IHTKKWLG5 10.64.200.135 Server 2012 Datacenter 64-bit
(6.2, Build 9200)

STB-IHTKKWLG6 10.64.200.136
(6.2, Build 9200)
(9200.win8_gdr.140502-1507)

MAIL STB-IHTKKMAIL 10.64.200.137 Server 2012 Datacenter 64-bit
(6.2, Build 9200)
APP TVAN Operating System: Windows

STB-
10.64.200.141 Server 2012 Datacenter 64-bit
IHTKKVAN1.VP.TCT.VN
(6.2, Build 9200)

STB-
10.64.200.142 Server 2012 Datacenter 64-bit
IHTKKVAN2.VP.TCT.VN
(6.2, Build 9200)
STB- Operating System: Windows

IHTKKTVAN3.VP.TCT.V 10.64.200.143 Server 2012 Datacenter 64-bit
N (6.2, Build 9200)

N (6.2, Build 9200)
STB- 10.64.200.145 Operating System: Windows

IHTKKTVAN5.VP.TCT.V Server 2012 Datacenter 64-bit
N
Trang 66
(Gói thầu 11)
(6.2, Build 9200)

N (6.2, Build 9200)

STB-
IHTKKTVAN7.VP.TCT.V 10.64.200.147
(6.2, Build 9200)
N
(9200.win8_rtm.120725-1247)

STB- IHTKKCA 10.64.200.66
IHTKKCA.VP.TCT.VN Server 2012 DataCenter 64-bit

Job TMS 10.64.201.193
IHTKKJOB.VP.TCT.VN Server 2012 DataCenter 64-bit
Trang 67
(Gói thầu 11)
III.3.2.2.2. Cấu hình máy chủ

- Bảng cấu hình chi tiết các máy chủ:
Chức năng Host name IP RAM (M

Mô tả
Máy chủ weblogic (node

STB-IHTKKWLG1 chính, deploy ứng dụng hệ 10.64.200.131 49152
thống iHTKK)
STB -IHTKKLG2 chính, deploy ứng dụng hệ 10.64.200.132 49152
thống iHTKK)
thống iHTKK)
APP NNT
STB-IHTKKWLG4 Máy chủ weblogic (node
chính, deploy ứng dụng hệ 10.64.200.134 49152
thống iHTKK)
Máy chủ weblogic (cluster

STB-IHTKKWLG5 10.64.200.131, deploy ứng 10.64.200.135 49152
dụng hệ thống iHTKK)
thống iHTKK).
10.64.200.131, deploy ứng
Job MAIL STB-IHTKKMAIL 10.64.200.137 8192
dụng gửi mail của hệ thống
iHTKK)
STB- IHTKKCA STB- IHTKKCA.VP.TCT.VN 10.64.200.66 4096

Máy CA của NNT
APP TVAN Máy server WebLogic deploy
STB-
ứng dụng hệ thống TVAN 10.64.200.141 16384
IHTKKVAN1.VP.TCT.VN
(node chính)
STB-
10.64.200.141, deploy ứng 10.64.200.142 8192
IHTKKVAN2.VP.TCT.VN
dụng hệ thống TVAN)
STB- Máy chủ weblogic (cluster 10.64.200.143 24576
IHTKKTVAN3.VP.TCT.VN 10.64.200.141, deploy ứng
Trang 68
(Gói thầu 11)

STB-
10.64.200.141, deploy ứng 10.64.200.144 24576
IHTKKTVAN4.VP.TCT.VN
STB-
10.64.200.141, deploy ứng 10.64.200.145 16384
STB-
10.64.200.141, deploy ứng 10.64.200.146 16384
STB-
10.64.200.141, deploy ứng 10.64.200.147 16384
Máy chủ chạy job trao đổi
Job TMS STB-IHTKKJOB.VP.TCT.VN 10.64.201.193 32768
thông tin tờ khai với TMS
Trang 69
(Gói thầu 11)
III.3.2.3. Ứng dụng

III.3.2.3.1. Danh sách các thành phần
- Hệ thống iHTKK chạy trên nền tảng của Oracle weblogic với cơ sở dữ liệu sử
dụng Oracle Database . Trong đó :
o 15 server cài đặt Oracle weblogic 12c.
o 01 server phục vụ lấy Revoke list của các nhà CA
III.3.2.3.2. Thông số ứng dụng
● Thông số chung Weblogic Server
- Phiên bản sử dụng: WebLogic Server Version: 12.1.2.0.0 (WebLogic 12c).
● Thông số NNT
- Thông số Application server:
STT Tên tham số Giá trị
1 Stuck Thread Max 600

Time
2 Stuck Thread Timer 60

Interval
3 Login Timeout 5000
4 SSL Login Timeout 25000
5 Startup Arguments -Dweblogic.Chunksize=12288 -Xms1536m -Xmx1536m

Ihtkk* -Xss256k -XX:MaxPermSize=512m
-Dweblogic.MuxerClass=weblogic.socket.NTSocketMuxe
r
- Thông số Web Application :
1 Session Invalidation 60
Interval (in seconds)
Trang 70
(Gói thầu 11)
2 Session Timeout (in 3600

seconds)
3 Deployment Order 100
- Thông số DataSource
1 Targets ihttk_cluster ( cặp cluster 1-5 và 6 trùng tên target), Cluster-ihtkk69, Cluster-ihtkk70,
Cluster-ihtkk73
2 Name 1. IHTKKCoreDS
2. IHTKKCoreDSBK
3 JNDI name 1. jdbc/IHTKKCoreDS

2. jdbc/IHTKKCoreDSBK
4 Driver Class Name Oracle.jdbc.OracleDriver

5 URL 1. jdbc:oracle:thin:@iHTKK-scan.vp.tct.vn:1521/IHTKK
2. jdbc:oracle:thin:@10.64.86.173:1521:IHTKK2
6 Initial Capacity 1. 10
2. 1
7 Maximum Capacity: 1. 1000

2. 15
8 Minimum Capacity 1. 5
2. 1
- Thông số chi tiết Node server (Manage server)

Tên máy/ IP Phân hệ ứng Số lượng Tên instance Port Dung lượng
dụng Instance Ram/instance
(MB)
STB- NNT 25 ihtkk11 7002 1.5 G

IHTKKWLG1
ihtkk12 7003
ihtkk13 7004
Trang 71
(Gói thầu 11)
ihtkk14 7005
ihtkk15 7006
ihtkk16 7007
ihtkk17 7008
ihtkk18 7009
ihtkk19 7010
ihtkk110 7011
ihtkk111 7012
ihtkk112 7013
ihtkk113 7014
ihtkk114 7015
ihtkk115 7016
ihtkk116 7017
ihtkk117 7018
ihtkk118 7019
ihtkk119 7020
ihtkk120 7021
ihtkk121 7022
ihtkk122 7023
ihtkk123 7024
ihtkk124 7026
ihtkk_save_crl_68 7030 N/A

(non-clustered)
Trang 72
(Gói thầu 11)
IHTKKWLG5 ihtkk510 7003
ihtkk511 7004
ihtkk512 7005
ihtkk513 7006
ihtkk514 7007
ihtkk515 7008
ihtkk516 7009
ihtkk517 7010
ihtkk518 7011
ihtkk519 7012
ihtkk52 7013
ihtkk520 7014
ihtkk521 7015
ihtkk53 7016
ihtkk54 7018
ihtkk55 7019
ihtkk56 7020
ihtkk57 7021
ihtkk58 7022
ihtkk59 7023
ihtkk_save_crl_74 7030 N/A

(non-cluster)

IHTKKWLG2
ihtkk22 7003
Trang 73
(Gói thầu 11)
ihtkk23 7004
ihtkk24 7005
ihtkk25 7006
ihtkk26 7007
ihtkk27 7008
ihtkk28 7009
ihtkk29 7010
ihtkk210 7011
ihtkk211 7012
ihtkk212 7013
ihtkk213 7014
ihtkk214 7015
ihtkk215 7016
ihtkk216 7017
ihtkk217 7018
ihtkk218 7019
ihtkk219 7020
ihtkk220 7021
ihtkk221 7022
ihtkk222 7023
ihtkk223 7024
ihtkk224 7026
ihtkk225 7027
ihtkk226 7028
Trang 74
(Gói thầu 11)
ihtkk_save_crl N/A
7030
( non cluster)

IHTKKWLG3
ihtkk32 7003
ihtkk33 7004
ihtkk34 7005
ihtkk35 7006
ihtkk36 7007
ihtkk37 7008
ihtkk38 7009
ihtkk39 7010
ihtkk310 7011
ihtkk311 7012
ihtkk312 7013
ihtkk313 7014
ihtkk314 7015
ihtkk315 7016
ihtkk316 7017
ihtkk317 7018
ihtkk318 7019
ihtkk319 7020
ihtkk320 7021
ihtkk321 7022
Trang 75
(Gói thầu 11)
ihtkk322 7023
ihtkk323 7024
ihtkk324 7026
ihtkk325 7027
ihtkk326 7028
ihtkk327 7029
ihtkk328 7031
ihtkk_save_crl N/A
7030
(non cluster)

IHTKKWLG4
ihtkk42 7003
ihtkk43 7004
ihtkk44 7005
ihtkk45 7006
ihtkk46 7007
ihtkk47 7008
ihtkk48 7009
ihtkk49 7010
ihtkk410 7011
ihtkk411 7012
ihtkk412 7013
ihtkk413 7014
ihtkk414 7015
ihtkk415 7016
Trang 76
(Gói thầu 11)
ihtkk416 7017
ihtkk417 7018
ihtkk418 7019
ihtkk419 7020
ihtkk420 7021
ihtkk421 7022
ihtkk422 7023
ihtkk423 7024
ihtkk424 7026
ihtkk425 7027
ihtkk426 7028
ihtkk427 7029
ihtkk428 7031
ihtkk429 7032
ihtkk_save_crl 7030 NA

IHTKKWLG6
ihtkk62 7003
ihtkk63 7004
ihtkk64 7005
ihtkk_save_crl 7030 N/A
● Thông số TVAN
- Thông số Application Server:
1 Stuck Thread Max Time 600
Trang 77
(Gói thầu 11)

Interval
5 Startup arguments -Dweblogic.Chunksize=12288 -Xms3072m -Xmx3072m

Tvan* server -Xss512k -XX:MaxPermSize=512m
-Dweblogic.wsee.StateCleanInterval=50000
-Dweblogic.wsee.skip.async.response=true
- Thông số Web Application

seconds)
1 Targets Tvan_cluster
2 Name IHTKKCoreDS
3 JNDI name jdbc/IHTKKCoreDS
5 URL jdbc:oracle:thin:@iHTKK-scan.vp.tct.vn:1521/IHTKK
6 Initial Capacity 10
7 Maximum Capacity: 300
Trang 78
(Gói thầu 11)
8 Minimum Capacity 5
Tên máy/ IP Phân hệ Số lượng Tên instance Port Dung lượng

ứng dụng Instance Ram/instance
(MB)
STB- TVAN 3 ihtkk_save_crl_1 7030 N/A
IHTKKVAN1 0
( non cluster)
tvan11 7002 3G
tvan12 7003
IHTKKVAN2 1
( non cluster)
tvan21 7002 3G
IHTKKVAN3 2
( non cluster)
tvan31 7002 3G
tvan32 7003
tvan33 7004
tvan34 7005
IHTKKVAN4 3
( non cluster)
tvan41 7002 3G
tvan42 7003
tvan43 7004
tvan44 7005
IHTKKVAN5 4
( non cluster)
tvan51 7002 3G
tvan52 7003
tvan53 7004
tvan54 7005
IHTKKVAN6 5
( non cluster)
tvan61 7002 3G
tvan62 7003
Trang 79
(Gói thầu 11)
IHTKKVAN7 0
( non cluster)
tvan71 7002 3G
tvan72 7003
tvan73 7004
tvan74 7005
● Thông số Job Mail
- Thông số Application server:

Interval
5 Arguments -Dweblogic.Chunksize=12288 -Xms1024m -Xmx1024m

-Xss256k -XX:MaxPermSize=512m
- Thông số Web Application :

seconds)
Trang 80
(Gói thầu 11)
1 Targets sendMail1, sendMail2, sendMail3
2 Name IHTKKCoreDSJOB
3 JNDI name jdbc/IHTKKCoreDSJOB
(MB)
STB- Job Mail 3 sendMail1 7002 1G

IHTKKMAIL
sendMail2 7003
sendMail3 7004
● Thông số Job TMS

Trang 81
(Gói thầu 11)
Stuck Thread Timer 60

2 Interval
Arguments -Dweblogic.Chunksize=12288 -Xms2048m -Xmx2048m

5
-Xss256k -XX:MaxPermSize=512m

seconds)
St Tên tham số Giá trị
t
Targets IHTKK_NTTHAI1, IHTKK_NTTHAI2, IHTKK_NTTHAI3,
1
IHTKK_NTTHAI4, IHTKK_NTTHAI5, IHTKK_SEND_TMS
2 Name IHTKKCoreDS
3 JNDI name Jdbc/IHTKKCoreDS
4 Driver Class Oracle.jdbc.OracleDriver

Name
Maximum 1000
7
Capacity:
8 Minimum 5
Trang 82
(Gói thầu 11)
Capacity
(MB)
STB- Job TMS 6 IHTKK_NTTHAI1 7003 2G

IHTKKJOB
IHTKK_NTTHAI2 7004
IHTKK_NTTHAI3 7005
IHTKK_NTTHAI4 7006
IHTKK_NTTHAI5 7007
IHTKK_SEND_TMS 7002
III.3.2.4. Ứng dụng liên quan

STT Tên Mô tả
1 ESB Hệ thống trục tích hợp
2 Ứng dụng CBT chính tại Ứng dụng quản lý cho Cán Bộ Thuế
DC
3 Ứng dụng ICS Lấy thông tin chứng thư số từ DB iHTKK
4 Ứng dụng TKBTCT Chuyển thông tin chứng từ sang Kho Bạc.
Trang 83
(Gói thầu 11)
III.3.3. Thiết kế hệ thống Standby NTDT
III.3.3.1. Mô hình tổng quan hệ thống

III.3.3.1.1. Mô hình logic
Trang 84
(Gói thầu 11)
III.3.3.1.2. Mô hình vật lý
III.3.3.2. Hạ tầng máy chủ hệ thống

III.3.3.2.1. Danh sách máy chủ
- Hệ thống Standby NTDT có tổng số 9 server , 01 F5 , 01 Exadata (1/4)
Trang 85
(Gói thầu 11)
- Bảng thông tin máy chủ
Chức năng Host name IP OS
Windows Server 2012 Datacenter

STB-NTDTAPP01.GDT.VN 10.64.200.151
64-bit (6.2, Build 9200)

64-bit (6.2, Build 9200)

64-bit (6.2, Build 9200)
Người nộp
thuế(NNT) Windows Server 2012 Datacenter
64-bit (6.2, Build 9200)

64-bit (6.2, Build 9200)
10.64.200.15 Windows Server 2012 Datacenter

STB-NTDTAPP06.GDT.VN 64-bit (6.2, Build 9200)
6
STB- Windows Server 2012 Datacenter

10.64.201.157
NTDTAPP1.VP.TCT.VN 64-bit (6.2, Build 9200)
Trung tâm xử lý STB- Windows Server 2012 Datacenter

10.64.201.158
(TTXL) NTDTAPP2.VP.TCT.VN 64-bit (6.2, Build 9200)
STB- Windows Server 2012 Datacenter

10.64.201.159
NTDTAPP3.VP.TCT.VN 64-bit (6.2, Build 9200)
III.3.3.2.2. Cấu hình máy chủ
RAM CPU HDD Loại

Chức năng Host name Mô tả IP
(MB) core (GB) máy chủ
Người nộp Máy chủ WebLogic

thuế(NNT) STB- (node chính , deploy
NTDTAPP01.G ứng dụng hệ thống 10.64.200.151 32768 12 200 Vmware
DT.VN Nộp thuế điện tử
Người nộp thuế)
STB- Máy chủ WebLogic 10.64.200.152 34816 12 200 Vmware

NTDTAPP02.G (node chính , deploy
Trang 86
(Gói thầu 11)
ứng dụng hệ thống

Máy chủ WebLogic

STB- (node chính , deploy
Máy chủ WebLogic

Máy chủ WebLogic

Máy chủ WebLogic

(node chính , deploy
ứng dụng hệ thống
Nộp thuế điện tử 250 Vmware
STB- Người nộp thuế)
10.64.200.1
NTDTAPP06.G 32768 8
DT.VN 56
Máy chủ WebLogic

ứng dụng TTXL) 10.64.201.157 30720 8 150 Vmware
TTXLAPP1
Trung tâm
xử lý Máy chủ weblogic
STB-
(TTXL) (cluster 10.64.201.158 30720 8 150 Vmware
TTXLAPP2
10.64.201.157)
Máy chủ WebLogic

STB-
(node chính , deploy 10.64.201.159 30720 8 150 Vmware
TTXLAPP3
ứng dụng TTXL)
Trang 87
(Gói thầu 11)
III.3.3.3. Ứng dụng

III.3.3.3.1. Danh sách các thành phần
- Hệ thống NTDT chạy trên nền tảng của Oracle weblogic với cơ sở dữ liệu sử
dụng Oracle Database . Trong đó :
o 9 server cài đặt Oracle weblogic 12c.
III.3.3.3.2. Thông số ứng dụng.
● Thông số chung Weblogic Server
- Phiên bản sử dụng: WebLogic Server Version: 12.1.2.0.0 (WebLogic 12c).
● Thông số ứng dụng NNT

Time

Interval
5 Arguments -Dweblogic.Chunksize=12288 –Xms2048m

-Xmx2048m -Xss256k -XX:MaxPermSize=512m

seconds)
Trang 88
(Gói thầu 11)
1 Targets NTDT_APP
2 Name NTDTCoreDS
3 JNDI name Jdbc/NTDTCoreDS
4 Driver Class Name oracle.jdbc.OracleDriver
5 URL jdbc:oracle:thin:@//iHTKK-scan.vp.tct.vn:1521/ihtkk
7 Maximum 1000
Capacity:
9 State ment Cache 512

size
(MB)
STB- NNT 11 jobNTDT 7020 2G

NTDTAPP01.GDT.V
(Job xử lý dữ liệu)
N
ntdt01 7002
ntdt02 7003
ntdt03 7004
ntdt04 7005
ntdt05 7006
ntdt06 7007
ntdt07 7008
ntdt08 7009
Trang 89
(Gói thầu 11)
ntdt09 7010
ntdt10 7011
STB- NNT 11 jobNTDT_Dky 7020

NTDTAPP02.GDT.V
(Job gửi mail)
N
ntdt01 7002
ntdt02 7003
ntdt03 7004
ntdt04 7005
2G
ntdt05 7006
ntdt06 7007
ntdt07 7008
ntdt08 7009
ntdt09 7010
ntdt10 7011
STB- NNT 10 ntdt01 7002

NTDTAPP03.GDT.V
N ntdt02 7003
ntdt03 7004
ntdt04 7005
ntdt05 7006
2G
ntdt06 7007
ntdt07 7008
ntdt08 7009
ntdt09 7010
ntdt10 7011
Trang 90
(Gói thầu 11)

NTDTAPP04.GDT.V
N ntdt02 7003
ntdt03 7004
ntdt04 7005
ntdt05 7006
2G
ntdt06 7007
ntdt07 7008
ntdt08 7009
ntdt09 7010
ntdt10 7011

NTDTAPP05.GDT.V
N ntdt02 7003
ntdt03 7004
ntdt04 7005
ntdt05 7006
2G
ntdt06 7007
ntdt07 7008
ntdt08 7009
ntdt09 7010
ntdt10 7011
STB- NNT 10 ntdt01 7002 2G

NTDTAPP06.GDT.V
N ntdt02 7003
ntdt03 7004
ntdt04 7005
Trang 91
(Gói thầu 11)
ntdt05 7006
ntdt06 7007
ntdt07 7008
ntdt08 7009
ntdt09 7010
ntdt10 7011
● Thông số ứng dụng TTXL


Time

Interval
5 Arguments -Dweblogic.Chunksize=12288 -Xms1536m

-Xmx1536m -Xss256k -XX:MaxPermSize=512m

seconds)
Trang 92
(Gói thầu 11)
3 Deplyment Order 100

1 Targets job01, job02, TTXL_cluster
job01, job02, TTXL_cluster
2 Name NTDTCoreDS
TTXLCoreDS1
3 JNDI name Jdbc/NTDTCoreDS => kết nối tới NTDT
Jdbc/TTXLCoreDS => kết nối tới TTXL
4 Driver Class Name oracle.jdbc.OracleDriver
5 URL jdbc:oracle:thin:@//iHTKK-scan.vp.tct.vn:1521/ihtkk
9 State ment Cache size 512
Tên máy/ IP Phân hệ ứng Số lượng Instance Tên instance Port Dung lượng
dụng Ram/instance
(MB)
STB-TTXLAPP1 TTXL 14 Job02 7024 1.5G
ttxl01 7002
ttxl010 7014
ttxl011 7020
ttxl012 7021
Trang 93
(Gói thầu 11)
ttxl013 7022
ttxl02 7003
ttxl03 7004
ttxl04 7005
ttxl05 7007
ttxl06 7006
ttxl07 7009
ttxl08 7008
ttxl09 7019
STB-TTXLAPP2 TTXL 14 ttxl110 7113
ttxl111 7114
ttxl112 7115
ttxl113 7116
ttxl12 7103
ttxl13 7104
ttxl14 7105
1.5G
ttxl15 7110
ttxl16 7106
ttxl18 7108
ttxl19 7109
ttxl20 7119
ttxl21 7120
ttxl11 7102
STB-TTXLAPP3 TTXL 10 ttxl03 7003 1.5G
Trang 94
(Gói thầu 11)
ttxl04 7004
ttxl05 7005
ttxl06 7006
ttxl07 7007
ttxl08 7008
ttxl09 7009
ttxl10 7010
ttxl11 7011
jobttxl 7002
III.4. Thiết kế hệ thống ảo hóa môi trường Standby iHTKK-NTDT
III.4.1. Phân bổ vật lý và logic

Hệ thống máy chủ vật lý bao gồm 04 máy chủ Blade BL660c G9 nằm trên 1
Enclosure C7000, gom thành 1 cụm Cluster và được quản lý bởi vCenter mới.
Trang 95
(Gói thầu 11)
III.4.2. Thông số Enclosure và Cluster ảo hóa
III.4.2.1. Thông số Enclosure:

Enclosure C7000
10.64.203.10
STB_ECL01_OA1 255.255.255.0 10.64.203.1
1
10.64.203.10
STB_ECL01_OA2 255.255.255.0 10.64.203.1
2
10.64.203.10
STB_ECL01_VC1 255.255.255.0 10.64.203.1
3
10.64.203.10
STB_ECL01_VC2 255.255.255.0 10.64.203.1
4
Trang 96
(Gói thầu 11)
III.4.2.2. Thông số địa chỉ iLO:

iLO
Enclosure Device Bay
IP Gateway User/Pass
Bay 1 10.64.203.105 10.64.203.1
Bay 2 10.64.203.106 10.64.203.1
STB-ECL01
Bay 3 10.64.203.107 10.64.203.1
Bay 4 10.64.203.108 10.64.203.1
III.4.2.3. Thông số máy chủ vật lý ESXi:

Device Host ESXi detail
Enclosure
Bay Host name IP vMotion Subnet Gateway OS Version
10.64.203. ESXi 6.0.0 U2

Bay 1 tct-stbesxi0101.tct.vn 10.64.203.110 10.64.203.111 255.255.255.0
1 (Build 3620759)
10.64.203. ESXi 6.0.0 U2

1 (Build 3620759)
STB-ECL01
10.64.203. ESXi 6.0.0 U2
1 (Build 3620759)
10.64.203. ESXi 6.0.0 U2

1 (Build 3620759)
Trang 97
(Gói thầu 11)
III.4.2.4. Thông số NTP:

No. NTP Server IP
1 NTP Server 1 10.64.68.26
2 NTP Server 2 10.64.68.27
III.4.2.5. Thông số Cluster:

Vmware HA Enable
Host monitoring Enable
failover spare capacity: 10% CPU, 10% Memory
Host isolation response Leave power on
Vm monitoring Vm monitoring only
tct-stbesxi0101.tct.vn
tct-stbesxi0102.tct.vn Vmware DRS Enable
tct-stbesxi0103.tct.vn Cluster_Stb Automation level Partial automated
tct-stbesxi0104.tct.vn
levels
EVC Enable
Swap file policy Store in the same directory as the virtual machine
III.4.3. Thiết kế mạng
III.4.3.1. Mô hình kết nối

trên Enclosure C7000. Mỗi Virtual Connect có 02 đường uplink cho mạng LAN và
02 đường uplink cho mạng SAN.
Trang 98
(Gói thầu 11)
Sơ đồ nối dây vật lý:
From To
STB_ECL01_VC1 X5 STB-CORE-SW01 Xe-0/0/6
STB_ECL01_OA1 1 STB-CORE-SW01 Ge-0/0/12
STB_ECL01_OA2 1 STB-CORE-SW02 Ge-0/0/12
Trang 99
(Gói thầu 11)
III.4.3.2. Thông số Network

Các đường uplink mạng LAN cho phép nhiều VLAN đi qua:
Tên VLAN VLAN ID Dải IP Mục đích
VLAN_452_CONSOLE 452 10.64.203.0/24 Dải mạng quản trị máy chủ ESXi
VLAN_521_NET_WEB 521 10.64.200.0/25 Dải mạng cho các máy ảo Web
VLAN_522_NET_APPDB 522 10.64.200.128/25 Dải mạng cho các máy ảo Ứng dụng, DB
VLAN_523_NET_PROXY 523 10.64.201.0/25
VLAN_424_TRANSACT 424 10.64.201.128/25 Dải mạng cho các máy ảo Transaction
(VLAN 452).
Thông số thiết kế cho Network:
Hệ thống Network cho hạ tầng vSphere được tách thành 2 nhóm vStandard Switch
và vDistrisbuted Switch theo mục đích sử dụng khác nhau:
- vStandard Switch được sử dụng cho việc quản trị hệ thống host vật lý và các
service trên hạ tầng vSphere như vmotion, FT hay iSCSI.
- vDistributed Switch được sử dụng để phân loại các port group tương ứng các dải
mạng khác nhau đối với hệ thống máy chủ ảo trên hạ tầng ảo hóa. Các port group
này được trừ tượng hóa thành các mạng External network hoặc Network pool ở môi
trường Cloud để phục vụ cho vDC phân chia tới các Organization.
Trang 100
(Gói thầu 11)
Thông số thiết kế cho vStandard Switch:
STT vSSwitch IP VLAN ID
1 Management Network 10.64.203.0/24 452
2 vMotion-FT 10.64.203.0/24 452
Thông số thiết kế cho vDistributed Switch:
STT vDSwitch IP VLAN ID
1 VLAN_521_NET_WEB 10.64.200.0/25 521
2 VLAN_522_NET_APPDB 10.64.200.128/25 522
VLAN_523_NET_PROX 10.64.201.0/25 523

3
Y
Trang 101
(Gói thầu 11)
4 VLAN_424_TRANSACT 10.64.201.128/25 424
III.4.4. Thiết kế lưu trữ

- Vùng Standby sử dụng các LUNs mới, cấp từ tủ đĩa V7000
Tủ
Datastore Name Capacity (GB) Map to Hosts LUN
Đĩa
V7000_STANDBY_01 2,048 V7000
V7000_STANDBY_02 2,048 V7000
V7000_STANDBY_03 2,048 V7000
V7000_STANDBY_04 2,048 V7000
- Bảng kết nối vật lý:
From To
STB_ECL01_VC1 X1 SAN80B-SANSW01 08
Trang 102
(Gói thầu 11)
III.4.5. Danh sách máy ảo

Danh sách máy ảo cho Standby iHTKK:
No. Host name OS CPU RAM (GB) HDD(GB)
Win Server 2012

1 STB-IHTKKWLG1 8 48 200 10.64.2
Datacenter 64-bit
Win Server 2012

2 STB-IHTKKWLG2 8 48 200 10.64.2
Datacenter 64-bit
Win Server 2012

3 STB-IHTKKWLG3 8 48 200 10.64.2
Datacenter 64-bit
4 STB-IHTKKWLG4 Win Server 2012

8 48 200 10.64.2
Datacenter 64-bit
Win Server 2012

5 STB-IHTKKWLG5 8 48 200 10.64.2
Datacenter 64-bit
Win Server 2012

6 STB-IHTKKWLG6 16 16 200 10.64.2
Datacenter 64-bit
Win Server 2012

7 STB-IHTKKMAIL 4 8 200 10.64.2
Datacenter 64-bit
STB- Win Server 2012

8 4 16 400 10.64.2
IHTKKVAN1.VP.TCT.VN Datacenter 64-bit

9 4 8 400 10.64.2
IHTKKVAN2.VP.TCT.VN Datacenter 64-bit

10 4 24 400 10.64.2
IHTKKTVAN3.VP.TCT.VN Datacenter 64-bit

11 4 24 400 10.64.2

12 4 16 400 10.64.2
Trang 103
(Gói thầu 11)

13 4 16 400 10.64.2

14 16 16 300 10.64.2

15 4 4 200 10.64.2
IHTKKCA.VP.TCT.VN Datacenter 64-bit

16 8 32 300 10.64.2
IHTKKJOB.VP.TCT.VN Datacenter 64-bit
Danh sách máy ảo cho Standby NNT:

No. Host name OS CPU RAM (GB) HDD (GB)
Win Server 2012

1 STB-NTDTAPP01.GDT.VN 12 32 200 10
Datacenter 64-bit
Win Server 2012

Datacenter 64-bit
Win Server 2012

Datacenter 64-bit
Win Server 2012

Datacenter 64-bit
Win Server 2012

Datacenter 64-bit
Win Server 2012

Datacenter 64-bit

7 8 30 150 10
NTDTAPP1.VP.TCT.VN Datacenter 64-bit
Trang 104
(Gói thầu 11)

8 8 30 150 10

9 8 30 150 10
Trang 105
(Gói thầu 11)
III.4.6. Antivirus cho máy ảo vùng Standby

Các máy ảo sẽ sử dụng trình diệt virus Officescan version 11.0 Service Pack 1,
build 4268. Cài đặt agent theo đường dẫn sau:
https://10.64.90.29:4343/officescan/console/html/cgi/cgiWebUpdate.exe
hoặc dùng bộ cài offline.
Các port cần mở trên firewall từ máy trạm tới các server:
From To Port
Client 10.64.68.86 80, 5274
Client 10.64.90.29 8080, 12345, 4343
III.4.7. Thông số thiết kế máy chủ ảo quản trị - vCenter
III.4.7.1. Mô hình logic

Các máy chủ quản trị vCenter được triển khai dưới dạng Virtual Appliance và hỗ
trợ cơ chế FT (Fault Tolerance) để đảm bảo tính sẵn sàng, khả năng dự phòng và
chịu lỗi khi có sự cố.
Trang 106
(Gói thầu 11)
III.4.7.2. Cơ chế Fault Tolerance
Các máy chủ quản trị vCenter trên hê ̣ thống quản trị ảo hóa được bảo vê ̣ bởi cơ chế
FT của VMware. Với cơ chế FT, các máy chủ vCenter (vCenter Primary) sẽ có mô ̣t
bản sao (vCenter Secondary) trên host vâ ̣t lý khác để dự phòng khi có lỗi.
III.4.7.3. Thông số thiết kế cho các máy chủ ảo quản trị
CPU: 4
RAM: 16GB
DB: vPostgres database
No
VM Name Host name IP Subnet mask Gateway Version
.
1 vCenter Stb01 Pri vCenter Server

stb- 10.64.203.11 10.64.203. 6.0 Update 2
255.255.255.0
vcenter01.vp.tct.vn 8 1 (build
2 vCenter Stb01 Sec 3634788)
Phân vùng mount point:
Size
Disk Mount Point Mục đích
(GB)
Trang 107
(Gói thầu 11)
/
VMDK1 12 Phân vùng / và /boot
/boot
VMDK2 1.3 /tmp Phân vùng /tmp
VMDK3 25 SWAP Phân vùng swap
VMDK4 50 /storage/core Phân vùng lưu core dumps
VMDK5 10 /storage/log Phân vùng lưu logs
VMDK6 10 /storage/db Phân vùng database Postgres
VMDK7 5 /storage/dblog Phân vùng lưu log database
VMDK8 25 /storage/seat Phân vùng chứa Stats, Events, Tasks cho Postgres
VMDK9 1 /storage/netdump Phân vùng chứa dumps của các máy chủ ESXi
Phân vùng lưu 1 số package dùng trong quá trình

VMDK10 10 /storage/autodeploy
stateless booting của host ESXi
VMDK11 10 /storage/invsvc Phân vùng Inventory Service
III.4.7.4. Thông số NTP server

Toàn bô ̣ các máy chủ host được cấu hình đồng bô ̣ thời gian thông qua máy chủ NTP
server.
No. NTP Server IP

1 NTP Server 1 10.64.68.26
2 NTP Server 2 10.64.68.27
III.4.7.5. Cấu hình phân quyền

Danh sách các Users và Groups trên hệ thống máy chủ quản trị ảo hóa:
User/Group Role
Administrator Administrator
Trang 108
(Gói thầu 11)
Administrators Administrator
VP\vmadmin2 ManageService
VP\vmwaremon1 Read-only
Administrators Administrator
VP\vmadmin2 Manage service
VP\VmwareMon1 Read-only
vmw_nwb Networker Backup
VP\exadmin Administrator
VP\NhomSystemVmop Read-only
VP\SysAdmin1 Administrator
VP\vmadmin2 ManageService
VP\vmw_nwb Networker Backup
VP\VmwareMon1 Read-only
III.4.7.6. Hệ thống giám sát ảo hóa vRealize Operation Manager

Hệ thống ảo hóa vùng Standby sẽ được kết nối tới hệ thống giám sát vRealize
Operation Manager để giám sát hạ tầng ảo hóa.
Thông tin vRealize tại DC:
vCenter Operation Manager detail
VM Host
No. Node vCenter
Name Name IP Subnet Gateway
Connection
1 vCenter Op dc- Master 10.64.92.49 255.255.255. 10.64.92.1 dc-mgmtvcenter
Trang 109
(Gói thầu 11)
dc-extvcenter
01 vopmaster 0 dc-intvcenter
stb-vcenter01
dc-mgmtvcenter
vCenter Op 255.255.255. dc-extvcenter
2 dc-voprepl Replica 10.64.92.50 10.64.92.1
02 0 dc-intvcenter
stb-vcenter01
III.4.7.7. Backup cho hệ thống ảo hóa vùng Standby

Phương án backup: Sử dụng Networker backup online các máy chủ ảo hóa
thông qua kết nối đến VBA trực tiếp lên Data Domain.
Thông tin hệ thống VBA được deploy lên hệ thống ảo hóa vùng Standby:
THÔNG TIN CẤU HÌNH VBA

VBA Sersion EBR-0.5TB-1.1.1.50.ova
vCenter 10.64.203.118
Esxi-Host tct-stbesxi0101
Datastore V7000_STANDBY_01
Hostname stb-vba.tct.vn
VBA IP Address 10.64.203.120
VBA Gateway 10.64.203.1
VBA Subnet Mask 255.255.255.0
DNS Server 10.64.89.11/10.64.89.13
vCenter User Backup
Networker User Backup
Trang 110
(Gói thầu 11)
III.5. Thiết kế hệ thống EXADATA (X6-2)
III.5.1. Tổng quan về hệ thống Exadata
Hệ thống máy chủ Exadata X6-2 là hệ thống máy chủ Database dự phòng cho 2
database iHTKK và NTDT cài đặt theo mô hình DataGard với các thông số như
sau:
X6-2 Eighth RAC
Database Servers Quantity 2
Intel(R) Xeon(R) CPU E5-2699 v4

CPU
@ 2.20GHz, 11 cores enabled
RAM 512 GB
Hard disk 4x 600 GB 10,000 RPM disks

(Hot-Swappable) – Expandable to
Trang 111
(Gói thầu 11)
OS Oracle Linux 6.8
Oracle DB 11G R2
Software
Oracle RAC
InfiniBand switches 2
Ethernet switch 1
Quantity 3
02*(Intel® Xeon® E5-2630 v4

CPU (2,2 GHz/10 core) Processors),
each with 5 cores enabled
Memory 128GB
Raw Flash Capacity (raw) 3,2 TB
06*8 TB 7200 RPM High Capacity

Storage
disk
OS Oracle Linux 6.8

Exadata Storage Servers
Oracle Exadata Storage Server
Software
Software
Maximum disk bandwidth 2,7 GB/s
Maximum Flash bandwidth 518,000
Maximum disk IOPS 3.900
Flash Data capacity 19.2 TB flash
Data Capacity (raw) 144TB
Disk data capacity (usable) 54 TB
Maximum Data load rate 2,5 TB/hour
Trang 112
(Gói thầu 11)
III.5.2. Kiến trúc hệ thống Exadata
Hình vẽ trên mô tả kiến trúc Mạng và kiên trúc Software của hệ thống exadata X6-
2, theo đó:
- Management/ILOM : Sử dụng để quản trị máy chủ Exadata (Database

server/Cell Server/ Infiniband Switch, PDUs, KVM). Và được cắm trực tiếp vào
Ethernet Switch
- Client Access: Đây là kết nối từ người dùng đến máy chủ CSDL. Ta có thể cấu
hình để có cấu hình với 1 Cient Network Interface (NET1), hoặc có thể cấu hình với
Trang 113
(Gói thầu 11)
2 Network Interface (NET1, NET2) để đảm bảo tính dự phòng khi 1 card mạng gặp
sự cố
- Infiniband: Đây là vùng kết nối tốc độ cao phục vụ cho các kết nối bên trong của
máy chủ Exa. Việc kết nối giữa Database server-Database, giữa Cell server-Cell
server và giữa Database server-Cel Server được thực hiện thông qua 02 Infiniband
Switch
- Database Machine: OS Oracle Linux x86_64 hoặc Solaris 11 Express for X86
o Automatic Storage Management (ASM): Tối ưu hóa việc quản lý
Filesystem và volumn của Database
o LIBCELL: Là bộ phận giao tiếp giữa database và Exadata Cell, thông qua
việc sử dụng Intelligent Database protocol (iDB).
o Database Resource management (DBRM): Tích hợp với I/O Resource
Management (IORM) để đảm bảo rằng tài nguyên I/O được phân phối theo quy tắc
mà người quản trị đặt ra
- Exadata Cell:
o Oracle Linux: Đây là hệ điều hành của Exadata Cell
o Cell Server (CELLSRV): Đây là phần mềm chính của máy chủ CELL.
o Management Server (MS): Cung cấp chức năng Quản lý và cấu hình của
Exadata Cell. Nó làm việc thông qua giao diện Command-line (CellCLI). MS còn
làm nhiệm vụ gửi thông báo và tập hợp các thông tin thống kê được tập hợp bởi
CELLSRV.
o Restart Server (RS): Được sử dụng để startup/shutdown CELLSRV và MS
services, và giám sát các services này để tự động Restart lại khi cần thiết.
Trang 114
(Gói thầu 11)
III.5.3. Chia dải IP cho các Zone
Bảng dưới đây mô tả dải IP cho các phần vùng máy chủ Exadata:
Trong đó thông số mạng:
- Subnet: 255.255.255.0; riêng subnet mask cho dải private sẽ là 255.255.252.0
- Gateway: 10.64.x.1
Stt Tên SL STB:Từ IP STB: Đến IP
Máy chủ Exadata X6-2
Administration network: 15 IP (X6-2) 10.64.203.*
1. Admin (CELL+ Database) 05 10.64.203.11 10.64.203.15
2. ILOM (CELL+ Database) 05 10.64.203.16 10.64.203.20
3. Admin Ethernet Switch 01 10.64.203.21 10.64.203.21
4. Infiniband Switch 02 10.64.203.22 10.64.203.23
5. PDU Switchs 02 10.64.203.24 10.64.203.25
Client Ethernet Network: 07 IP (X6-2) subnet: 255.255.255.128
6. Primary IP 02 10.64.202.11 10.64.202.12
7. VIP IP 02 10.64.202.13 10.64.202.14
8. SCAN IP 03 10.64.202.15 10.64.202.17
Infiniband Network: 10 IP (X6-2) subnet: 255.255.252.0
9. Private IP Database 04 192.168.1.62 192.168.1.65
10. Private IP CELL 06 192.168.1.66 192.168.1.11
ZFS Network: 02
IP ZFS 02 192.168.1.250 192.168.1.251
Data Guard Network: 04
IP DG cho máy chủ database 04 192.168.3.66 192.168.3.69
Trang 115
(Gói thầu 11)
III.5.4. Hostname và IP cho các hệ thống máy chủ Exadata
Bảng dưới đây mô tả quy tắc đặt tên các các máy chủ của hệ thống Exadata
No Environment Prefix
1 Standby stb-exa
Bảng dưới đây mô tả chi tiết tên các máy chủ của hệ thống Exadata:
STT Tên Standby IP Diễn giải
Database#1 (X6-2): stb-exadb01
1. stb-exadb01.vp.tct.vn 10.64.203.11 Admin IP
2. stb-exadb01-ilom.vp.tct.vn 10.64.203.16 ILOM IP
3. stb-exadb01-priv1.vp.tct.vn 192.168.1.62 Private IP1
5. stb-exaclient01.vp.tct.vn 10.64.202.11 IP Mà ứng dụng kết nối
6. stb-exaclient01-vip.vp.tct.vn 10.64.202.12 VIP IP
Database#2 (X6-2): stb-exadb02
7. stb-exadb02.vp.tct.vn 10.64.203.12 Admin IP
8. stb-exadb02-ilom.vp.tct.vn 10.64.203.17 ILOM IP
11. stb-exaclient02.vp.tct.vn 10.64.202.13 IP Mà ứng dụng kết nối
12. stb-exaclient02-vip.vp.tct.vn 10.64.202.14 VIP IP
Scan-Name: stb-exa-scan.vp.tct.vn | ihtkk-scan.vp.tct.vn
13. stb-exa-scan.vp.tct.vn 10.64.202.15 Scan IP1
Trang 116
(Gói thầu 11)
CELL#1 (X6-2): stb-exacel01
16. stb-exacel01.vp.tct.vn 10.64.203.13 Admin IP
17. stb-exacel01-ilom.vp.tct.vn 10.64.203.18 ILOM IP
18. stb-exacel01-priv1.vp.tct.vn 192.168.1.66 Private IP
26. stb-exacel03-priv1.vp.tct.vn 192.168.1.70 Private IP1
27. stb-exacel03-priv2.vp.tct.vn 192.168.1.71 Private IP2
Switches: STB
28. stb-exasw-adm0.vp.tct.vn 10.64.203.21 Ethernet Switch
29. stb-exasw-iba0.vp.tct.vn 10.64.203.22 Infiniband (Leaf1)
30. stb-exasw-ibb0.vp.tct.vn 10.64.203.23 Infiniband (Leaf2)
31. stb-exasw-pdua0.vp.tct.vn 10.64.203.24 PDU switch 1
32. stb-exasw-pdub0.vp.tct.vn 10.64.203.25 PDU switch 2
Trang 117
(Gói thầu 11)
ZFS IP
33. Ctl 1 - Slot 2 - Port 2 192.168.1.250 Nối sang IB Sw 1 - Port 6A

Ctl 2 - Slot 2 - Port 2 Nối sang IB Sw 1 - Port 6B
34. Ctl 1 - Slot 7 - Port 2 192.168.1.251 Nối sang IB Sw 2 - Port 6A

Ctl 2 - Slot 7 - Port 2 Nối sang IB Sw 2 - Port 6B
Data Guard IP
35. stb-exadb01-dg 192.168.3.66 Data Guard IP
36. stb-exadb01-dg-vip 192.168.3.67 Data Guard VIP IP
37. stb-exadb02-dg 192.168.3.68 Data Guard IP
38. stb-exadb02-dg-vip 192.168.3.69 Data Guard VIP IP
III.5.5. Các port sử dụng
Bảng dưới đây mô tả các Port được sử dụng trong hệ thống Exadata:
Source Target Protocol Por Network Application

t
Any Database servers, SSH over 22 Management SSH
storage cells, and TCP
ILOMs for database
servers, Exadata Storage
Servers, and InfiniBand
switches
Any KVM SSH over 22 Management SSH for serial sessions

TCP to MPUIQ-SRL
module
Exadata Storage SMTP e-mail server SMTP 25 Management SMTP (Simple Mail
Servers Transfer Protocol)
Any ILOMs for database HTTP 80 Management Web (user

servers, Exadata Storage configurable)
switches
Trang 118
(Gói thầu 11)
Any PDU HTTP 80 Management Browser interface
Any KVM HTTP 80 Management Avocent video viewer

download for Java
applet
Database NTP servers NTP over 123 Client Outgoing Network

management UDP Time Protocol (NTP)
Database servers, NTP servers NTP over 123 Management Outgoing NTP
Exadata Storage UDP
Servers, ILOMs,
InfiniBand
switches, and
Cisco switch
Any ILOMs for database SNMP 161 Management SNMP (Simple

servers, Exadata Storage over UDP Network Management
Servers, and InfiniBand Protocol) (user
switches configurable)
Any PDU SNMP 161 Management SNMP (user

over UDP configurable)
Any KVM SNMP 161 Management SNMP (user

over UDP configurable)
Exadata Storage SNMP subscriber such SNMP 162 Management SNMP version 1
Servers as Oracle Enterprise (SNMPv1) outgoing
Manager Grid Control traps (user-
or an SNMP manager configurable)
Database servers, ASR Manager SNMP 162 Management Telemetry messages

Exadata Storage sent to ASR Manager
Servers, and
ILOMs for
database servers,
Exadata Storage
Servers, and
InfiniBand
switches
Trang 119
(Gói thầu 11)
ILOMs for Any IPMI over 162 Management Outgoing IPMI

database servers, UDP (Intelligent Platform
Exadata Storage Management Interface)
Servers, and Platform Event Trap
InfiniBand (PET)
switches
PDU SNMP trap receivers SNMP 162 Management Outgoing SNMPv2

over UDP traps
KVM SNMP trap receivers SNMP 162 Management Outgoing SNMPv2

over UDP traps
ASR Manager ASR backend HTTPS 443 Management Telemetry messages

sent to ASR backend
Any ILOMs for database HTTPS 443 Management Web (user

servers, Exadata Storage configurable)
switches
Any PDU HTTPS 443 Management Browser interface
Any KVM HTTPS 443 Management Browser interface for

MergePoint Utility
switch and KVM
sessions
Exadata Storage SMTP e-mail server SMTPS 465 Management Web (user
Servers configurable)
Database servers, Syslog server Syslog 514 Management Outgoing Syslog

Exadata Storage over UDP
Servers, and
ILOMs for
database servers,
Exadata Storage
Servers, and
InfiniBand
switches
PDU Syslog server Syslog 514 Management Outgoing Syslog

over UDP
KVM Syslog server Syslog 514 Management Outgoing Syslog

over UDP
Any ILOMs for database IPMI over 623 Management IPMI
Trang 120
(Gói thầu 11)
servers, Exadata Storage UDP

switches
Any Database servers TCP 1521 Client Database listener
Any KVM TCP 2068 Management KVM session data for

keyboard and mouse
transmission, or for
video transmission
Any ILOMs for database TCP 5120 Management ILOM remote console:
servers, and Exadata CD
Storage Servers
servers, and Exadata keyboard and mouse
Storage Servers
servers, and Exadata diskette
Storage Servers
servers, and Exadata encryption
Storage Servers
servers, and Exadata authentication
Storage Servers
ASR Manager ILOMs for database HTTP 6481 Management Service tags listener for
servers, and Exadata asset activation
Storage Servers
servers, and Exadata Servicetag daemon
Storage Servers
servers, and Exadata video
Storage Servers
servers, and Exadata serial
Storage Servers
Any Database servers and TCP 7777 Both Oracle Enterprise
Trang 121
(Gói thầu 11)
Exadata Storage Servers Manager Grid Control

HTTP console port
Any Database servers and TCP 7799 Both Oracle Enterprise

Exadata Storage Servers Manager Grid Control
HTTPS console port
III.5.6. Rack layout và kết nối cabling
III.5.6.1. Rack layout
Hình vẽ dưới đây mô tả vị trí lắp đặt các thiết bị trên máy chủ Exadata:
Trang 122
(Gói thầu 11)
Theo đó thì vị trí các server và switch được đặt như bảng sau:
Stt RACK Thiết bị Mô tả
1. U2-U3 stb-exacel01 Máy chủ storage X6-2
4. U16 stb-exadb01 Máy chủ storage X6-2
5. U17 stb-exadb02 Máy chủ storage X6-2
6. U20 stb-exasw-iba0 Infiniband switch 1
7. U20 stb-exasw-adm0 Ethernet Switch
8. U22 stb-exasw-ibb0 Infiniband switch 2
III.5.6.2. Cable diagram

Hình vẽ dưới đây mô tả kết nối tổng thể mạng của hệ thống Exadata với
nhau và ra bên ngoài:
(https://docs.oracle.com/cd/E50790_01/doc/doc.121/e51953/cablex5.htm#D
BMSO22085)
Trang 123
(Gói thầu 11)
Theo đó:
- Net0 (quản trị); ILOM của máy chủ database và Storage và quản tri của 2 Switch
Infiniband sẽ được cắm trực tiếp vào “Ethenet switch” của Exadata rồi từ đó đi vào
vùng quản trị của Thuế
- Quản trị của PDU được cắm vào vùng “Ethenet switch” rồi từ đó đi vào
(Switch) quản trị của Thuế
- Net3 (data guard) trên các máy chủ Database sẽ được cắm trực tiếp vào vùng dải
mạng (Switch) Private của Thuế.
Trang 124
(Gói thầu 11)
- IB0-IB1 (Infiniband port) được cắm kết nối nội bộ với 2 Switch Infiniband của
Exadata.
- Net1-Net2 (cho Client) sẽ được cắm trực tiếp vào vùng dải mạng (Switch) Client
của Thuế.
Bảng dưới đây mô tả kết nối mạng ILOM:
RACK Thiết bị Gigabit Ethernet Port Mô tả
U19 Trống(exadb04) 24 database
U18 Trống(exadb03) 26 database
U17 stb-exadb02 28 X6-2 database
U14 Trống (exacel07) 32 storage
U12 Trống (exacel06) 34 Storage
U6 stb-exacel03 40 X6-2 storage
Bảng dưới đây mô tả kết nối mạng quản trị (Administrative):

RACK Thiết bị Gigabit Ethernet Port Mô tả
U22 stb-exasw-ibb0 45 Infiniband B
U20 stb-exasw-iba0 46 Infiniband A
U19 Trống(exadb04) 23 X6-2 database
U18 Trống(exadb03) 25 X6-2 database
Trang 125
(Gói thầu 11)
U14 Trống(exacel07) 31 Storage
Bảng dưới đây mô tả kết nối InfiniBand networkd (IB):

From IB Switch Rack Port To Rack Unit Thiết bị Port
U22 12B U19 Trống (exadb04) PCIe 3, P2
U22 13A U18 Trống (exadb03) PCIe 3, P2
U22 13B U17 stb-exadb02 PCIe 3, P2
U22 14A U14 Trống (exacel07) PCIe 3, P2
U22 15B U10 Trống (exacel05) PCIe 3, P2
U22 16B U6 stb-exacel03 PCIe 3, P2
U22 17A U4 stb-exacel02 PCIe 3, P2
U20 12B U19 Trống (exadb04) PCIe 3, P1
U20 13A U18 Trống (exadb03) PCIe 3, P1
Trang 126
(Gói thầu 11)
U20 15B U10 Trống (exacel05) PCIe 3, P1
U20 17A U4 stb-exacel02 PCIe 3, P1
U20 9B U22 stb-exasw-ibb0 9A
U20 8A U22 stb-exasw-ibb0 8A
U20 9A U22 stb-exasw-ibb0 9B
III.5.7. User và Group
Bảng dưới đây mô tả các Group sẽ được tạo trên máy của Exa-database
No Name Group ID Description
1. Oinstall 1001 Group cài đặt database
2. Dba 1002 Group quản trị database
Bảng dưới đây mô tả các User sẽ được tạo trên máy của Exa-database
Primary Home Initial
No Name User ID Group SET
GROUP Directory PROGRAM
1. oracle 1001 dba oinstall, dba default default
Trang 127
(Gói thầu 11)
III.5.8. Hệ thống Cơ sở dữ liệu cài đặt trên máy chủ Exadata

Bảng dưới đây mô tả các database được cài đặt trên các máy chủ Exadata:
Stt DC database DataGuard? (DC-DR)
1. IHTKK Có
2. NTDT Có
III.5.9. Thông số Oracle software

Stt Tham số Giá trị
OS
1. OS version Oracle Linux Server release 6.8
Oracle software
11.2.0.4.160419 (22502549)
1. OCW Patch Set Update
(Patch ID: 19880366)
APR 2016 - 11.2.0.4.160419 : (22738760)

2. Database patch for Exadata
(Patch ID: 19967475)
3. Inventory Location /u01/app/oraInventory
4. Grid Base location /u01/app/grid
5. Grid Infastructure Home /u01/app/11.2.0.4/grid
6. Database Base Location /u01/app/oracle
7. Database home location /u01/app/oracle/product/11.2.0.4/dbhome_1
8. EM Home base Location /u01/app/oracle/product/EMbase
9. OMS Hostname ttdt-oms.vp.tct.vn
10. OMS HTTPS Upload Port 4900
Trang 128
(Gói thầu 11)
OS Configuration
11. Region Asia
12. Timezone Asia/Ho_Chi_Minh
13. OS Linux
14. Domain name Vp.tct.vn
15. DNS servers 10.64.89.11; 10.64.89.13;
16. NTP servers 10.64.68.26; 10.64.68.27
Disk Group Name
17. DATA DATA Redundancy= NORMAL
18. RECO RECO Redundancy= NORMAL
19. Full_database backup Not set
20. Block size 8192
III.5.10. ASM GROUP

Bảng dưới đây mô tả cấu hình ASM cho các môi trường Standby
ASM Redundanc
Total_ TB (raw disk) Usable_TB
Site Group y
DATA NORMAL 52,488G
DBFS_DG NORMAL 174G

DC
RECO NORMAL 13,122G
Sum 65,784G
Trang 129
(Gói thầu 11)
Trong đó:
- DATAC1 disk group: Sử dụng để lưu database data fille (như datafile, logfile,
control file)
- RECOC1 disk group: Sử dụng để lưu thông tin liên quan đến việc dữ liệu phục
hồi (recovery) của database (như vùng Fast recovery, archive log, backup)
- DBFS_DG disk group: Là vùng dữ liệu cố định dung để lưu trữ thông số cấu
hình như vùng voting, regedit
- DATAC1 và RECOC1 được cấu hình theo tỷ lệ mặc địch của Exadata (80:20)
III.5.11. Cấu hình kết nối đến database

Bảng dưới đây mô tả quy tắc mở các Port dùng cho kết nối đến database trong hệ
thống Exadata:
STT Ứng dụng Port Diễn giải

1. Database port 1521 Port kết nối đến database
2. OMS 4903 Port kết nối đến Oracle Enterprise

Manager
Bảng dưới đây mô tả thông tin kết nối đến các database trên Exadata :
STT Tên Giá trị Diễn giải
1. stb-exa-scan.vp.tct.vn 10.64.202.15 Địa chỉ kết nối đến máy chủ
ihtkk-scan.vp.tct.vn database môi trường Standby
10.64.202.16
10.64.202.17
Theo đó các kết nối đến database trên máy chủ Exadata sẽ trỏ đến địa chỉ scan IP và
database port trên ở 2 bảng trên. (stb-exa-scan.vp.tct.vn và port 1521).
Trang 130
(Gói thầu 11)
III.5.12. Cấu hình DC-STB (data guard) cho database

Các database trong máy chủ Exadata được cấu hình dataguard giữa môi trường DC-
STB để đảm bảo tính dự phòng trong trường hợp xảy ra sự cố.
Các data guard được cấu hình theo chế độ: MAXIMUM PERFORMANCE
Bảng dưới đây mô tả thông số network cấu hình cho database TTDL
Stt Node Net card IP address VIP IP Alias
ttdl-exadb01 eth3 192.168.3.47 ttdl-exadb01-dg

1.
192.168.3.49 ttdl -exadb01-dg-vip

3.
192.168.3.50 ttdl -exadb02-dg-vip
ttdl-exadb03 eth3 192.168.3.57 ttdl -exadb01-dg

5.
192.168.3.59 ttdl-exadb01-dg-vip

7.
192.168.3.60 ttdl-exadb02-dg-vip
Bảng dưới đây mô tả thông số network cấu hình cho database DR:
dr-exadb01 eth3 192.168.3.52 dr-exadb01-dg

1.
192.168.3.54 dr-exadb01-dg-vip

3.

5.

7.
Trang 131
(Gói thầu 11)
Bảng dưới đây mô tả thông số network cấu hình cho database STB
stb-exadb01 eth3 192.168.3.66 stb-exadb01-dg

1.
192.168.3.67 stb -exadb01-dg-vip
stb-exadb02 eth3 192.168.3.68 stb -exadb02-dg

3.
192.168.3.69 stb -exadb02-dg-vip
Trong đó việc cấu hình data guard sẽ được cấu hình thông qua đường mạng cắm
trực tiếp giữa 2 máy chủ Exadata DC-DR theo qua card mạng Net3 trên môi máy
chủ database server
III.5.12.1. Spfile môi trường TTDL

Bảng dưới đây mô tả các cấu hình trong spfile phục vụ cho kết nối DataGuard:
Tham số DC site Mô tả
*.db_file_name_convert='IHTKKDR','IHTKK', 'IHTKKSTB','IHTKK' Thay đổi
log_archive_config='dg_config=(IHTKK,IHTKKDR,IHTKKSTB)' Thay đổi
fal_server='ihtkkdr','ihtkkstb' Thay đổi
log_archive_dest_2='service="ihtkkstb"','LGWR ASYNC NOAFFIRM delay=0 optional

compression=enable max_failure=0 max_connections=1 reopen=300 Thay đổi
db_unique_name="ihtkkstb" net_timeout=30','valid_for=(all_logfiles,primary_role)'
log_archive_dest_3='service="ihtkkdr"','LGWR ASYNC NOAFFIRM delay=0 optional
compression=enable max_failure=0 max_connections=1 reopen=300 Thêm mới
db_unique_name="ihtkkdr" net_timeout=30','valid_for=(all_logfiles,primary_role)'
III.5.12.2. Spfile môi trường Standby

Bảng dưới đây mô tả các cấu hình trong spfile trong điều kiên bình thường:
Tham số STANDBY site Mô tả
*.db_file_name_convert='IHTKK',’IHTKKDR’,'IHTKKSTB' Thêm mới
Trang 132
(Gói thầu 11)
log_archive_config='dg_config=(IHTKK,IHTKKDR,IHTKKSTB)' Thêm mới
fal_server='ihtkk','ihtkkdr' Thêm mới
log_archive_dest_2='service="ihtkk"','LGWR ASYNC NOAFFIRM delay=0 optional

compression=enable max_failure=0 max_connections=1 reopen=300 db_unique_name="ihtkk" Thêm mới
net_timeout=30','valid_for=(all_logfiles,primary_role)'
log_archive_dest_3='service="ihtkkdr"','LGWR ASYNC NOAFFIRM delay=0 optional

db_unique_name="ihtkkdr" net_timeout=30','valid_for=(all_logfiles,primary_role)'
III.5.12.3. Spfile môi trường DR

Bảng dưới đây mô tả tham số Spfile dùng trong điều kiên bình thường
Tham số DR site Mô tả
*.db_file_name_convert='IHTKK',’IHTKKDR’,'IHTKKSTB' Chỉnh sửa
log_archive_config='dg_config=(IHTKK,IHTKKDR,IHTKKSTB)' Chỉnh sửa
fal_server='ihtkk','ihtkkdstb' Chỉnh sửa
log_archive_dest_2='service="ihtkk"','LGWR ASYNC NOAFFIRM delay=0 optional

compression=enable max_failure=0 max_connections=1 reopen=300 Giữ nguyên
db_unique_name="ihtkk" net_timeout=30','valid_for=(all_logfiles,primary_role)'
log_archive_dest_3='service="ihtkkstb"','LGWR ASYNC NOAFFIRM delay=0 optional

db_unique_name="ihtkkstb" net_timeout=30','valid_for=(all_logfiles,primary_role)'
III.5.13. Cấu hình Oracle network
III.5.13.1. Cấu hình listener.ora

Cấu hình tại DC:
LISTENER =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = <IP DG node đấy>)(PORT = 1527))
)
Trang 133
(Gói thầu 11)
remote_listenerdg =
(DESCRIPTION_LIST =
(DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.3.49)(PORT =
1527)))
1527)))
1527)))
1527)))
remote_listenerdg_stb =
(DESCRIPTION_LIST =
1527)))
1527)))
Cấu hình tại DR:
listenerdg =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = <IP DG của node>)(PORT = 1527))
)
remote_listenerdg =
(DESCRIPTION_LIST =
1527)))
#(DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.3.55)(PORT =
1527)))
)
Cấu hình tại STB:
LISTENERDG =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.3.67)(PORT = 1527))
)
remote_listenerdg =
(DESCRIPTION_LIST =
1527)))
Trang 134
(Gói thầu 11)

1527)))
)
III.5.13.2. Cấu hình tnsname.ora

Cấu hình tại DC:
IHTKKSTB =
(DESCRIPTION =
(ADDRESS_LIST =
(FAILOVER = ON)
(LOAD_BALANCE = ON)
)
(CONNECT_DATA =
(SERVER = DEDICATED)
(SERVICE_NAME = IHTKKSTB)
)
)
Cấu hình tại DR:
IHTKKSTB =
(DESCRIPTION =
(ADDRESS_LIST =
(FAILOVER = ON)
(LOAD_BALANCE = ON)
)
(CONNECT_DATA =
(SERVICE_NAME = IHTKKSTB)
)
)
Cấu hình tại STB:
IHTKK =
(DESCRIPTION =
(ADDRESS_LIST =
(FAILOVER = ON)
Trang 135
(Gói thầu 11)
(LOAD_BALANCE = ON)
)
(CONNECT_DATA =
(SERVICE_NAME = IHTKK)
)
)
IHTKKDR =
(DESCRIPTION =
(ADDRESS_LIST=
(FAILOVER=ON)
(LOAD_BALANCE=ON)
)
(CONNECT_DATA =
(SERVICE_NAME = IHTKKDR)
)
)
III.5.13.3. Cấu hình sqlnet.ora

Giữ nguyên như cũ
III.5.14. Cấu hình lưu trữ sao lưu

Hệ thống lưu trữ sao lưu sẽ được cấu hình tương tự môi trường chính.
Khi môi trường standby hoạt động thì các cấu hình và lịch backup sẽ được kích hoạt
Trang 136
(Gói thầu 11)
III.5.14.1. Mô hình kết nối
Trang 137
(Gói thầu 11)
Trang 138
(Gói thầu 11)
- Backup Server (ZFS 7420) và Media Server (DL380p G8) kết nối tới Infiniband
Switch trên Exadata.
- Media Server kết nối tới SAN switch của hệ thống tape TS 3310.
Media Server và Exadata được kết nối tới hệ thống mạng của TCT qua Ethernet
III.5.14.2. Mô hình hoạt động

- Database trên Exadata sẽ được backup sang Backup Server thông qua IPoIB.
- Phân vùng Backup database trên Backup Server mount lên Media Server thông
qua NFS/IpoIB
- Tivoli Media Server sẽ backup phân vùng Backup database trên Media Server
sang tủ tape TS 3310 thông qua đường FC
III.5.14.3. Cấu hình sharing và mapping

III.5.14.3.1. Sharing (pool export)
No. Pool Name Export mountpoint Infiniband network
1 pool_exabk01 /export/exabk01 192.168.1.250
Trang 139
(Gói thầu 11)
III.5.14.3.2. Mapping (mount point)

Các mount point của tủ đĩa được map lên 02 máy chủ database từ stb-exadb01 đến
stb-exadb02 như bảng sau:
File system Mount point
192.168.1.250:/export/exabk01 /zfssa/db_backup_01
Tất cả các moupoint này đều được sử dụng để backup cho database iHTKK
Trang 140
(Gói thầu 11)
III.5.14.3.3. Lịch sao lưu database trên máy chủ cơ sở dữ liệu

Các script dùng sao lưu cơ sở dữ liệu được lưu tại thư mục /home/oracle/backup
trên các máy chủ database stb-exadb01 đến stb-exadb02.
No
Database Full backup script Incremental backup script Note
.
1 IHTKK Backup full thực hiện vào

19h thứ 6 hàng tuần.
ihtkk_2_node_backup_lv0.sh ihtkk_2_node_backup_lv1.sh Backup incremental thực
2 NTDT hiện vào 19h các ngày
còn lại.
Script sao lưu được đặt lịch dùng crontab với user oracle trên máy stb-exadb01đến
stb-exadb02
III.6. Kịch bản và phương án chuyển đổi Active→ Standby
STT Nội dung công việc
I Chuẩn bị trước chuyển đổi
1 Kiểm tra hệ thống Network/Security
Kiểm tra các Policy Firewall

1.1
- IP/Port Ứng dụng
1.2 Kiểm tra Routing đến các Server Ứng dụng của hệ thống Standby
2 Kiểm tra ứng dụng
Kiểm tra các Managed Server ở trạng thái Running, phiên bản của managed
2.1
server
Kiểm tra thông port ứng dụng ở hệ thống tại DC Standby ( tới ESB, mail )
2.2
Kiểm tra thông port từ hệ thống CBT tại DC đến DB hệ thống standby (1521)
3 Kiểm tra Database
Trang 141
(Gói thầu 11)
3.1 Thực hiện sao lưu dữ liệu các hệ thống ứng dụng trên môi trường sản xuất
3.2 Kiểm tra trạng thái đồng bộ giữa DB active và Standby
II Thực hiện chuyển đổi
1 Hệ thống Network/Security
Thay đổi Routing các IP Public từ hệ thống DC sang Standby:

1.1 - iHTKK NNT: 103.9.200.56
- iHTKK TVAN: 103.9.200.52
2 Hệ thống ứng dụng
2.1 Stop các ứng dụng của iHTKK -NTDT trên hệ thống active
Chốt số liệu trên DB iHTKK

Chốt số liệu NTĐT
2,2
(Chốt số liệu các hệ thống ứng dụng tại môi trường sản xuất trước khi chuyển
sang môi trường standby)
2.3 Cấu hình lại datasource của CBT trỏ sang DB Standby
2.4 Chuyển DB hệ thống Standby thành Active
Thay đổi database link trên các database Etax, OTHD, TPH, QTT có trỏ sang
2.5
iHTKK Standby
Trang 142
(Gói thầu 11)
Chốt số liệu trên DB iHTKK

Chốt số liệu NTĐT
2.6
(Kiểm tra số liệu các hệ thống trên môi trường standby, so sánh với số liệu đã
chốt ở môi trường sản xuất)
2.7 Start các ứng dụng của iHTKK-NTDT hệ thống standby
2.8 Thực hiện 1 giao dịch nộp thuế kiểm tra với MST thực
Thay đổi Routing IP Public của NTDT: 103.9.200.79 từ hệ thống DC sang

2.9
Standby
III Kiểm tra hoạt động của ứng dụng sau khi chuyển đổi
Trang 143

TCT-G11-Tai Lieu Thiet Ke - 0.12

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

TCT-G11-Tai Lieu Thiet Ke - 0.12

Uploaded by

Copyright:

Available Formats

TÀI LIỆU THIẾT KẾ

Hợp đồng: 76/2016/HĐKT/TCT-FPT

ĐẠI DIỆN TỔNG CỤC THUẾ ĐẠI DIỆN CÔNG TY

Vũ Lê Huy Trần Phong Lãm

Hà Nội, tháng 11 năm 2016

Lưu hành nội bộ TCT/FIS

Lưu hành nội bộ TCT/FIS

III.5.6. Rack layout và kết nối cabling 109

Lưu hành nội bộ TCT/FIS

Quản lý phiên bản

Ngày Phiên bản Tác giả Mô tả

Lưu hành nội bộ TCT/FIS

Người lập: Hoàng Trường <Ngày>

Trưởng nhóm triển khai mạng và bảo mật,

Công ty TNHH Hệ thống thông tin FPT

Người lập: Đỗ Hải Phúc <Ngày>

Thành viên nhóm triển khai máy chủ,

Công ty TNHH Hệ thống thông tin FPT

Người lập: Vũ Văn Nam <Ngày>

Thành viên nhóm triển khai ứng dụng,

Công ty TNHH Hệ thống thông tin FPT

Người xem xét: Trần Anh Tuấn <Ngày>

Phụ trách nhóm triển khai dịch vụ,

Công ty TNHH Hệ thống thông tin FPT

Lưu hành nội bộ TCT/FIS

Cán bộ xem xét TCT: Đỗ Thị Kim Ngân <Ngày>

Cán bộ xem xét TCT: Hoàng Thị Hải Yến <Ngày>

Chuyên viên phòng Quản lý hệ thống, Tổng cục Thuế

Cán bộ xem xét TCT: Nguyễn Thanh Long <Ngày>

Chuyên viên phòng Quản lý hệ thống, Tổng cục Thuế

Cán bộ xem xét TCT: Đào Xuân Sơn <Ngày>

Chuyên viên phòng Quản lý Cơ sở dữ liệu, Tổng cục Thuế

Cán bộ xem xét TCT: Vũ Trịnh Long <Ngày>

Lưu hành nội bộ TCT/FIS

Phó trưởng phòng Quản lý hệ thống, Tổng cục Thuế

Trưởng phòng Quản lý hệ thống, Tổng cục Thuế

Lưu hành nội bộ TCT/FIS

I.2. Thuật ngữ và các từ viết tắt

STT/ Thuật ngữ/ Định nghĩa /

1. TCT Tổng cục Thuế

2. FIS FPT Information System/ Công ty TNHH Hệ thống Thông

Bảng : Thuật ngữ và định nghĩa

Lưu hành nội bộ TCT/FIS

II. THIẾT KẾ HỆ THỐNG ĐÀO TẠO/THỬ

II.2.1. Phân bổ vật lý và logic

Lưu hành nội bộ TCT/FIS

Lưu hành nội bộ TCT/FIS

II.2.2.2. Thông số địa chỉ iLO:

II.2.2.3. Thông số máy chủ vật lý ESXi:

10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

Lưu hành nội bộ TCT/FIS

10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

10.64.97.9 255.255.255. ESXi 6.0.0 U 1a

II.2.2.4. Thông số NTP:

II.2.2.5. Thông số DNS:

II.2.2.6. Thông số Cluster:

Lưu hành nội bộ TCT/FIS

Automation level Partial automated

II.2.3. Thiết kế mạng

II.2.3.1. Mô hình kết nối

Lưu hành nội bộ TCT/FIS

- Bảng nối dây vật lý: