EBS - ERP Production System - Training Material - V1.0.20220414

EBS.
ERP TRAINING on
PRODUCTION SYSTEM
Lessons Learned-Process-Rules
2022/04/14 HAITT11
©Copyright by FPT Software 2022- CONFIDENTIAL

AGENDA
1 Production System/Environment
2 Top Incidents
3 Lessons Learned
4 Process & Rules
5 Penalties & Conclusion
2
1. Production System/Environment
Production System is DANGEROUS !!!
 It is the System/Environment where our customers maintain their most important

and confidential data of the enterprise.
 If there is any errors or issues in Production environment, it will immediately impact
and even disrupt our customer's business operations.
2. Top Incidents (1/5)
INCIDENT RECOVERY ANALYSIS
May 2019  FPT team did not get confirmation from NTT about which
FPT’s member had created & changed data systems were granted accounts to access.
and configuration on SDK’s AX2012  FPT used the accounts to remotely access to Terminal
Production system: server and executed actions without fully understood
1) Create and post SO invoice which environment system was linked by TS-03 server
2) Create and invoice PO (Production system).
3) Create plan order  Environment KT was not good: NTTComVN > FPT HCM >
4) Change production order FPT Hanoi: done but not verify => Member could not
5) Create new item number and change know which client is connected to production server and
BOM version thus making mistake
IMPACT RECOVERY ACTION

 Bi-weekly, PM must officially inform to all team members of NOT doing
any abnormal actions on Production without asking permission from PM,
• Data created on SDK’s production SDK and NTT authorities
system  Frequently, PM & Team lead verify actions & system information.
• SDK’s business was seriously impacted  Create production access & action checklist , training to member and PM
will verify each access & action . Members must follow checklist in all
as Accounting had to stop invoicing and
situation
Production had to recover BOM  Organize internal training all project members/new members about the
configuration security policy periodically.
• It took FPT team 2.5 months with dozen  Do not access production system without asked permission PM /
customer in any case
of reports to close the incident.  When access production system, only display action allowed .
Modification action (add/delete/update) are abandon.
4
ISSUE RECOVERY ANALYSIS
• Member check sai value tỉ giá khi thực hiện
task update tỉ giá theo định kì cho khách
~2020
hàng
• Update sai tỉ giá tiền • Task làm thường xuyên nên dự án lơi lỏng
việc cross-check & review
• Sai lệch số liệu thực tế trên

môi trường thực của khác hàng
• Mất hơn 1 năm chưa recover
• Thực hiện lại thao tác để update đúng value
được hết hậu quả.
• Member đã bị cấm vĩnh viễn
việc thực hiện loại task đó
5
• Dự án chưa xây dựng process khi làm việc

2020
trên Production( checklist, cơ chế approve..)
• Release Billing document bằng
• Member không ý thức được mức độ nghiêm
Tcode VF04.
trọng khi thao tác sai trên Production
• Billing quá hạn nên release

không thành công nên chưa
• Giải trình với khách hàng và xây dựng lại
impact tới hệ thống
process quản lý
• Impact tới niềm tin của KH và
đánh giá chất lượng dịch vụ
6
 Không có quy trình khi làm trên production,
Mar 2022 không có checklist, không có training người mới
• Vô ý tạo PO trong lúc điều tra  Member chưa từng làm hệ thống production trước
nguyên nhân bug trên đây, không có thói quen làm việc trên production
production.  2 môi trường QAS, PRD được mở song song khi
làm việc nên bị thao tác nhầm lẫn
• Tạo data rác trên hệ thống

• Đánh dấu xoá PO đã tạo và báo khách hàng
Production của khách hàng
7
INCIDENT RECOVERY ANALYSIS
• FPT nhận task thực hiện test trên môi trường QAS.
Tuy nhiên PIC thay vì thực hiện trên môi trường
Dec 2021 QAS đã thực hiện test trên môi trường PRD.
• Tạo dữ liệu rác trên hệ thống • PM không tổ chức kịp thời các buổi training về môi
Production của khách trường đối với các members
• Dự án không có các bài test để giúp các members
tránh phát sinh lỗi trước khi vào các môi trường

 Thực hiện quản lý mật khẩu của môi trường PRD tập trung bằng cách thay đổi mật khẩu và mật
khẩu đó sẽ do PM và BrSE quản lý (done)
Khách hàng complaint và escalate Các member sẽ không được biết mật khẩu đó. Khi có task cần phải thực hiện trên môi trường PRD,

• các member cần phải :
sự cố tới FJP/FHO. Show ra được là đang làm theo request nào của Khách mà cần làm trên môi trường PRD.

 Định làm gì trên Production: input, process, output.
FPT team mất 02 tháng để giải PM/BrSE sẽ tiến hành review, đánh giá xem task này có đúng là cần phải được thực hiện ở trên môi

• trường PRD hay không để quyết định cấp mật khẩu (follow)
trình, báo cáo, đề xuất và triển Thực hiện training định kỳ về security, process, issue với sự tham gia của các toàn bộ thành viên dự

án, PM, QA, ISM, DM (done)
khai các biện pháp phòng ngừa Define rules & training cho members: Khi member làm trên môi trường Production thì bắt buộc có

reviewer ngồi kèm.
mới được khách hàng chấp thuận Thực hiện build up toàn bộ team, trao đổi thông tin về môi trường.

 Tổ chức khóa training bắt buộc cho các members (dù là mới hay từ dự án cũ, phase cũ) v/v sử dụng
và xác nhận đúng môi trường trước khi tham gia dự án mới.
 Thường xuyên kiểm tra đánh giá lại mức độ hiểu biết của member khi truy cập các môi trường
(audit theo weekly) => khi làm trên PRO bắt buộc có reviewer ngồi kèm
 Tạo sổ tay hướng dẫn confirm môi trường trước và sau khi đăng nhập.
8
3. Lessons Learned (Cause)
• Thao tác sai trên Production do không hiểu việc mình không được
Mindset phép/không lường trước được hậu quả
• Thiếu process training member

• Thiếu checklist
Process • Thiếu cơ chế follow
• Thiếu cơ chế review
• Sai do lỗi bất cẩn ( input sai giá trị khi làm việc trên production )
Skill
Mana-
• Thiếu kinh nghiệm và không thực hiện Risk management
gement
9
3. Lessons Learned (Effect)
•Cost: cover nhanh, cover lại và báo cáo lại cho KH
Low •Impact: ảnh hưởng ít nhiều tới niềm tin của KH
•Cost: tốn time để cover, giải trình trình KH

•Impact: ảnh hưởng niềm tin của KH, tốn time cover của FPT và time họp
Medium hành trao đổi 2 bên
•Cost: Tốn nhiều time để cover ở cả 2 phía FPT và phía KH

•Impact: Ảnh hưởng nghiêm trọng niềm tin của KH. Một số trường hợp
High không thể cover 100% và gây ảnh hưởng tới business của khách
•Cost: Không có khả năng cover lại

•Impact: Ảnh hưởng nghiêm trọng tới business của khách hàng dẫn đến
Critical khiếu nại thậm chí dừng dịch vụ và yêu cầu FPT đền bù theo hợp đồng
10
4. Process & Rules
Pre-Assign Planing Executing
Trainer Thực hiện training

về nhận thức
(PM/Teamlead)
1.Xây dựng Process

2.Xây dựng Checklist
3. Xây dựng Rules
4. Define cross-
check/review process
PM/PL/PMA 5. Define actions to
prevent Incident
Manage project work
OK
Phổ biến lại cho
memer
NG
Follow to ensure project

QA team Review
conpliance
Tham gia Strickly compliance with

Phối hợp cùng PM
Member Training project rules & regulations
11
4. Process & Rules
1 Không mở đồng thời 2 môi trường 1 lúc
2 Thao tác trên Production phải có cơ chế xin phép và được approve mới làm
3 Đổi màu sắc cho mỗi môi trường để tránh nhầm lẫn
4 Luôn có cross review khi làm
5 Chỉ member nào đã được training đầy đủ mới được thao tác trên Production
12
5. Penalties and conclusion
Vi phạm lần 1: Nhận thông báo khiển trách của BUL và bị tính điểm trừ
Kper tương ứng với mức độ nghiêm trọng của incident.
Vi phạm lần 2: Nhận kỷ luật theo IT Security Regulation của FSoft với
mức phạt từ 3.000.000-5.000.000VNĐ và khiển trách tương ứng
Vi phạm lần 3: Nhận kỷ luật theo IT Security Regulation của FSoft với
mức phạt từ 10.000.000VNĐ trở lên và khiển trách tương ứng
OUR CONCLUSION
Let’s permanently eliminate the incident of violating PRODUCTION SYSTEM

Q&A

EBS - ERP Production System - Training Material - V1.0.20220414

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

EBS - ERP Production System - Training Material - V1.0.20220414

Uploaded by

Copyright:

Available Formats

EBS.

©Copyright by FPT Software 2022- CONFIDENTIAL

4 Process & Rules

5 Penalties & Conclusion

 It is the System/Environment where our customers maintain their most important

IMPACT RECOVERY ACTION

IMPACT RECOVERY ACTION

• Sai lệch số liệu thực tế trên

• Dự án chưa xây dựng process khi làm việc

IMPACT RECOVERY ACTION

• Billing quá hạn nên release

IMPACT RECOVERY ACTION

• Tạo data rác trên hệ thống

IMPACT RECOVERY ACTION

• Thiếu process training member

Low •Impact: ảnh hưởng ít nhiều tới niềm tin của KH

•Cost: tốn time để cover, giải trình trình KH

•Cost: Tốn nhiều time để cover ở cả 2 phía FPT và phía KH

•Cost: Không có khả năng cover lại

Trainer Thực hiện training

1.Xây dựng Process

Follow to ensure project

Tham gia Strickly compliance with

1 Không mở đồng thời 2 môi trường 1 lúc

4 Luôn có cross review khi làm

Let’s permanently eliminate the incident of violating PRODUCTION SYSTEM

©Copyright by FPT Software 2022- CONFIDENTIAL

You might also like