HƯỚNG DẪN CÔNG VIỆC XỬ LÝ SỰ CỐ

I. Mục đích và phạm vi áp dụng

1. Mục đích: nắm bắt và xử lý sự cố hệ thống Foxy, hỗ trợ khắc phục lỗi nhanh chóng .
2. Phạm vi áp dụng: Team IPTV, R&D HE, Network .
3. Đối tượng áp dụng: hệ thống CDN .
II. Lưu đồ
Cảnh báo trên Opsview,
Kết thúc
ticket

Tiếp nhận cảnh báo, Note vào và đóng ticket

Nhận ticket Note lại trên google doc

OK

Kiểm tra tính trạng cảnh

Err-disable Shut + UP port Connected Két quả
báo

Notconnect

Notconnect/Err-disable/ Kiểm tra tình trạng sau sự

Down switch/Critical port Critical port Notconnect Not OK
CRC cố

Down switch CRC/cc-error

Nhờ NOC deactive hướng

đang chạy và active Follow, hỗ trợ các bên
Ping, telnet thiết bị
hướng backup. Debug cùng debug
hướng lỗi

Kết quả Not OK Gọi nhà đài kiểm tra

OK

Phản hổi cho SCC, Tình trạng 2 đèn Không Nhờ SCC liên hệ QLVH,
Mất điện
Note vào ticket Port quang sáng BTHT kiểm tra

Sáng hoặc màu cam

Reboot Not OK

OK

III. Thực hiện

1
 Tình Thực hiện
Bước
trạng
Cảnh báo Nhận cảnh báo từ Opsview, SCC. Nhận ticket xử lý
1
Kiểm tra Kiểm tra tình trạng cảnh báo
2
và xử lý - Down switch: đến 2.1
sự cố - Down port: đến 2.2
2.1 Down
switch
Ping, telnet vào switch có cảnh báo (xem bảng login switch với đường link dưới
phần chú ý).
 Ping và telnet được thì lỗi L3. Trả ticket về SCC, nhờ báo NOC xử lý
 Ping và telnet không được, báo team IPTV backup tín hiệu, Gọi điện cho nhà
đài hỏi về sự cố mất điện.
o Nếu mất điện báo cho SCC nắm thông tin và note vào ticket, note
vào file thống kê sự cố của team. Đóng ticket.
o Nếu không mất điện nhờ người trong đài reboot giúp switch và xem 2
port quang có sáng đèn không. Sau reboot đèn vẫn sáng nhưng chuyển
sang cam SCC liên hệ Chi nhánh (tỉnh), QLVH (Sài Gòn), BTHT (Hà
Nội) để xử lý và follow theo.
Trả ticket về SCC, nhờ chuyển queue cho đơn vị xử lý

2.2 Critical/
CRC port

Telnet vào switch kiểm tra tình trạng port.

 Port bị Error-disable :
o Shut port, sau đó mở port lại
o Sau khi mở lại vẫn bị error-disable liên hệ SCC báo Chi nhánh (tỉnh),
QLVH (Sài Gòn), BTHT (Hà Nội) để xử lý về cáp, module.

 Port notconnect : nhờ SCC liên hệ Chi nhánh (tỉnh), QLVH (Sài Gòn),
BTHT (Hà Nội) để xử lý
 Port bị CRC, kênh bị ccerr :

o Nếu switch có 2 port chạy trunking về 2 MPOP, khi kiểm tra nên thực
hiện vào giờ thấp điểm (0h – 5h)
 Port primary bị CRC: nhờ NOC deactive port, sau đó kiểm tra traffic
có chạy qua port backup không, nháy lâu không, nếu kênh ổn định thì
tiến hành kiểm tra port lỗi. Khi fix xong nhờ NOC active lại hướng
chính và standby hướng phụ
Nếu ảnh hưởng nhóm kênh quan trọng cần active/deactive trong giờ
cao điểm, cần xin confirm của cấp trên để thực hiện

2
  Port backup bị CRC: tiến hành kiểm tra port lỗi
o Nếu switch có 2 port chạy Po: tiến hành kiểm tra, xử lý port lỗi như bình
thường (vì thời gian nháy kênh thấp)
Follow, phối hợp với các bên để xử lý
Command hỗ trợ kiểm tra port:
- Xem trạng thái port :
Show interfaces… status/description với cisco
Show interfaces … descriptions với juniper
- Xem hướng chính đang chạy là hướng nào:
Show mac address-table vlan … với cisco
Show Ethernet-switching table vlan-name/vlan-id … với juniper
- Xem traffic port
Show interfaces … | include rate với cisco
Show interfaces … | match rate với juniper
- Xem CRC port
Show interfaces … | include CRC với cisco
Show interfaces extensive … | match CRC với juniper
- Xem công suất, suy hao
show interfaces diagnostics optics xe-… | except off với juniper
show interfaces transceiver detail với cisco
 Lỗi suy hao khi giá trị receiver nhỏ hơn giá trị laser rx power low
 Lỗi công suất cao khi giá trị receiver lớn hơn giá trị Laser rx power high
- Xem log switch
Show log với cisco
Show log messges với juniper
Nên thêm option ở phía sau để tra log dễ hơn
Hậu kiểm Kiểm tra tình trạng sau khi các bên xử lý sự cố
3
- Up/Down
- Công suất, suy hao
- Tín hiệu kênh ổn định hay vẫn ccerr
Nếu vẫn lỗi: thì báo các bên tiếp tục xử lý
Nếu hết lỗi: note và đóng ticket, note lại trên file thống kê sự cố. Báo lại với
team để mọi người nắm thông tin

Chú ý :
- Trang monitor traffice : https://monitor.fpt.net/cacti/graph_view.php

3
- Trang monitor cảnh báo: https://210.245.31.182/status/hostgroup?parentid=646
- Trang ticket: http://ticket.fpt.net/Processing/Processing/Index
- Quy trình áp dụng cho UPLINK.
- Với các kênh lớn, kênh quan trọng cần báo cho trưởng phòng và phó phòng nắm thông tin khi
có sự cố xảy ra
- Đặc biệt với switch cisco 2960 VTV7, khi có port uplink down cần shutdown port đó đi (port sẽ
bị UP/Down) để BTHT và IDC xử lý. Hậu kiểm sau xử lý nếu OK thì mở lại port để tránh tình
trạng treo port.