서비스 자동점검 솔루션 제품 POC

결과발표

2014.11
1. POC 진행 개요
2. POC 대상 제품
3. POC 시스템 구성
4. POC 시나리오
5. 결론
6. 추가 답변
7. VUGEN / UFT Script 작성 및 수행 시연
8. POC 측정 결과

첨부
1) BSM 주요 기능
2) VUGEN/ UFT 지원
프로토콜
3) A 사 BSM 운영 현황

2
1. POC 진행 개요

1-1 POC 진행 일정 및 개요
- 아래와 같이 총 4 일간 준비 및 진행을 실시 하였습니다 .

순
일자 작업 내용 수행 인력 비고
서
BSM Install
1 2014.11.03( 화 ) BPM Install KOLON 전성민 , 김창동
UFT Install
BSM  BPM  VUGEN ,UFT 연동 테스트
2 2014.11.03( 수 ) KOLON 전성민 , 김창동
대상 시나리오 1 차 수령

3 2014.11.04( 목 ) UFT Script 작성 KOLON 박시현 , 전성민

HP 김종록
1 차 POC 결과 DEMO
4 2014.11.04( 금 ) KOLON 박시현 , 전성민 ,
UKEY 무선 신규가입 Script 작성 및 시연
최수완

HP 김진태
5 2014.11.10( 수 ) POC 결과 최종 발표
KOLON 박시현 , 최수완

3
2. POC 대상 제품

2-1 POC 대상 제품 은 아래와 같습니다 .

순서 제품명 Version 역할 비고

- 측정 결과 중앙 저장 및 관리 (Central Repository)
- 각종 Report /View 제공 Win2008 R2
1 HP BSM ( BPM ) 9.2
- 장애 ( 응답시간 , 가용성 ) 발생시 설정된 Rule 에 따 -- 라 re-Action 8G / 8 Core 장비설치
수행
- Window Event ( 화면구동 ) 방식 으로 주기적으로 거래 발생 후
2 HP UFT 11.5 측정 Notebook 1 대
- 측정 및 데이터 수집 , BSM 으로 결과 송신

- Protocol Emulation 방식 으로 주기적으로 거래 발생 후 측정

3 HP VUGEN 12.0 - 측정 및 데이터 수집 , BSM 으로 결과 송신 Notebook 1 대

www.tworld.co.kr
접속 스크립트 BSM server 측정결과 DB
Recording BSM BSM (MS-SQL)

스크립트 Replay

BPM Agent BPM Agent

UFT VUGEN

UFT UFT
스크립트 Replay
( 주 1) BSM (Business Service Monitor)
( 주 2) BPM (Business Process Monitor)
( 주 3) UFT (Unified Functional Testing)
( 주 4) VUGEN (Virtual User Generator)

4
2. POC 대상 제품

2-2 측정 방식 설명
- HP BSM 은 아래와 같이 4 가지의 Replay 방식을 지원 합니다 .

UFT – Native Add-in (Object)

일반 Web 기반 대상

VUGEN - HTTP Protocol

전체 적용 가능
( 일반 Web , Mobile)

UFT – 3rd Party Add-in(Object)

Miplatform 기반 대상

UFT – image pattern (OCR)

전체 적용 가능
Mobile Device 기반 대상

5
3. POC 시스템 구성

SK C&C 의 HP BSM 제품군 Demo 를 위하여 구축된 환경은 아래와 같습니다 .

www.tworld,com
BPM 설치 UKEY System
- VUGen 스크립트
구동
BSM Server

BPM+UFT 설치
- UFT 스크립트 구동 테스트 Phone
- 갤럭시 S4

VNC
Client USB

VNC
Server

6
4. POC 시나리오 (1/2)

4-1 Window Browser 기반 Service

제품군 주요 Site Target System 시나리오 Transaction 비고
메인 페이지 Host 정보로 STAGING 에
Online T wolrd Production
잔여기본통화조회 CAPTCHA 가 제외 된 URL Login 시도

로그인

CON_History 서비스 접촉이력

UKEY Staging
SEND_INS_CHECK
보험 적격여부 조회
SEARCH_INS_CHECK

VUGEN 203.238.19.222 (8101, 8103, 8105 Port)

(Protocol 방식 )
203.238.19.227 (8101, 8103, 8105 Port)
OUTSITENS
203.238.19.235 (8101, 8103, 8105 Port)

203.238.19.238 (8101, 8103, 8105 Port)

Instance Production
203.238.19.222 (8101, 8103, 8105 Port)

203.238.19.227 (8101, 8103, 8105 Port)

LOGININFO
203.238.19.235 (8101, 8103, 8105 Port)

203.238.19.238 (8101, 8103, 8105 Port)

메인 페이지

Online T wolrd Production 잔여기본통화조회

UFT
UKEY 무선 신규가입
( Event 방식 )
Membership 상품구매 과정
Membership
KG Inicis 결제 과정

7
4. POC 시나리오 (2/2)

4-2 Mobile APP Scenario

제품군 주요 Site Target System 시나리오 Transaction 비고

청구요금조회
T world T world 실 가입자 사용 ( 코오롱베니트 김창동대
Production 실시간 요금조회
UFT (PROD) 리)
(Event 방 잔여기본통화조회
식)
Member- Membership 상품구매 과정
Production
ship (PROD) KG Inicis 결제 과정

청구요금조회 실시간요금조회 잔여기본통화조회 Membership 상품구매

8
5. 결론

5-1 제안 제품에 대한 측정 가능범위

- 대상 시나리오 전체에 대한 측정 가능 확인 완료 ( 시연 동영상 참조 )
-Hacking 방지를 위하여 구현된 부분은 향후 운영 시 by-pass 방안 필요함 .

5-2 최종 권고안
- UFT (Window Event) , 와 VUGEN (Protocol) 방식은 아래와 같은 장 단점이 있으며
최종적으로는 Protocol 방식의 운영을 권고함 .

비교 항목 VUGEN UFT
Low- 하나의 측정 PC 에서 1 개 이상의 Event 동시
High – 하나의 측정 PC (BPM Agent) 에서 병렬측정
측정 속도 수행불가
가능
( Window Event handler 기반 이기 때문에 )

Protocol Layer 로 동작 하기 때문에 거래 전문이 변경 UI 변경 시 Script 재 작성 필요

변경 관리
되지 않으면 재 작성 없이 사용 가능 화면의 해상도 등 replay 환경에 따라 조정 필요 할 수 있음

암호화 Solution Vendor 에서 DLL 기반의 API 제공

보안 인증
하고 UI 에서 입력이 가능하면 됨 . ( 단 , 캡차 형태는 불가능 )
암호화 해결방법
VUGEN Script 에서 호출하여 사용

최종 UI 단위에서 만 Record & Replay 가능

가능 – ex) HTTP Layer , TPCall layer, SQL Query 등 해당
서비스 별 측정 ( Miplatform 에 대한 Object 기반의 인식은 UFT 만 가능
layer 별로 직접 거래 발생 가능
)

기존 운영 solu- SK C&C 에서 기존에 운영하고 있는 LoadRunner Script

tion 호환성 와 100% 호환 가능

9
 6. 추가 답변

Mi-Platform Add-in

[UFT 자체 제공 기능으로 Recording – 본 POC 수행 시 사용 ] [TobeSoft Miplatform Add-in 사용시 ]

Window MFC 기반의 기본 Object 에 대한 Event 제어 Miplatform 고유의 Object 에 대한 Event handling
가능 가능
- Grid , Calendar , Compo, Pop-up Division
- 실제 UFT 로 UKEY 자동화 구현 시 필요함 .

10
 6. 추가 답변

질문 내용 답변 비고

- UFT 자체는 Visual Studio 와 같은 개발 도구이며

개발 도구자체에 대한 Customizing 은 불가함 .
UFT Customizing
가능범위
- Replay 를 위한 logic 구현 , Object Handling 에 대한
Customizing 은 자유롭게 가능

- 모든 UI Event Replay 기반의 TOOL 의 Replay 속도

= (Manual Replay Speed + Object 인식 ) 의 공식으로
일정 부분 Delay 있음 . TobeSoft 에서 제공 하는 Miplatform Add-in 의 Issue
UFT Replay Speed 저하
이며 Tobesoft 의 지원이 보장되면 개선 가능 예상
- Miplatform Add-in 사용시 화면 단위의 Sync 를 위하여
Wait time 필요 경우 있음
- 2006 년 도입 시에는 Miplatform Add-in 을 HP
Lab 에서 직접 개발 하여 사용 ( 고가의 개발 비
용 )
UFT 도입 비용 고가 - 본 제안 : UFT 2 Copy License 로 고비용 발생 하지 않음
- 2014 년 현재는 공식적인 Tobesoft 에서 유상으로
제공하는 Mi-platform Add-in 이 있음 ( 2 Copy
필요 )
1) A 권한 으로 script 작성
2) B 권한 으로 Script 작성
로그인 권한에 따라서
3) A + B Object Repository Merge
화면 변경 시 대응방법
4) A + B 의 Script 를 Merge 하고 logic 구현 (IF
Statement)

11
7. VUGEN / UFT 스크립트 작성 / 수행 시연

“ SK Membership Online & Mobile 스크립트 동작 시연

BSM 스크립트 Replay

UFT 스크립트 Replay

12
8. POC 측정 결과

Demo 측정 기간 11/5( 목 ) 12:00 ~ 11/7( 금 ) 14:00 까지 2 일간의 가용성 및 품질 측정

결과의 요약 결과는 아래와 같습니다 .

가용성 오류 부문

NO 구분 일시 내역 비고

1 가용성 오류 11/5( 수 ) 20:31 Instance 관련 전체 Transaction 가용성 오류 발생

11/5( 수 ) 21:00
2 시스템 점검 Mobile Tworld 실시간요금 조회 시스템 점검
~ 11/6( 목 ) 02:00

3 테스트 오류 11/5( 목 ) 22:00 Online Tworld 잔여기본통화 조회 테스트 오류

응답시간 증가 부문

NO 구분 일시 내역 비고

1 응답시간 증가 11/6( 목 ) 03:10 UKEY LOGIN 응답시간 증가

13
8.1 POC 측정 결과 – Instance 가용성 장애 탐지

11/5( 토 ) 20:31 Instance 관련 Transaction 성능 매트릭스 & 트랜잭션 성능

Failed to Connect to Server

“203.236.19.222:8101”

 WAS Instance 관련 TR 에서 가용성 오류 발생 ( ex : 203.236.19.222:8101 연결 실패 )

 OUTSITENS, LOGININFO 모두 연결실패가 발생

14
8.2 POC 측정 결과 – Mobile T world 가용성 장애 탐지

11/5( 수 ) 21:00 ~ 11/6( 목 ) 02:00

Mobile T world 실시간 요금조회 Transaction 성능 매트릭스 & 트랜잭션 성능

 Mobile Tworld 실시간요금조회 TR 에서 가용성 오류 발생 ( 해당시간에 시스템 점검화면이 나타남 )

15
8.3 POC 측정 결과 – Online Tworld 가용성 오류 탐지 예시

11/5( 수 ) 22:00 Online Tworld 잔여기본통화 조회 Transaction 테스트 결과 오류 예시

 Online Tworld 잔여기본통화 조회 TR 에서 가용성 오류 확인

 문자열 검증 (“ 음성 / 영상 100 분 무료” ) 을 실패하여 오류화면을 Capture 하는 예시

16
8.4.1 POC 측정 결과 – UKEY 응답시간 증가 탐지

11/6( 목 ) 03:10 UKEY 성능 매트릭스 & 트랜잭션 성능

 UKEY_LOGIN TR 에서 응답시간 증가 발생
 응답시간 45 초 초과 시 , timeout 가용성 오류로 처리됨 . ( 임의 조정 가능 )

17
8.4.2 POC 측정 결과 – UKEY 응답시간 증가 탐지

11/6( 목 ) 03:10 응답시간 증가 상세 분석

04_UKEY_LOGIN 시간별 트랜잭션 응답시간 분해

06_UKEY_LOGIN 시간별 트랜잭션 응답시간 분해

 UKEY_LOGIN TR 에서 동일한 구성요소 (component) 에서 응답시간 증가 발생함

 https://ngms.sktelecom.com:8069/tobe/SVC?commonsvc=~ 에서 서버시간이 증가

18
8.4.3 POC 측정 결과 – UKEY 응답시간 증가 탐지

11/6( 목 ) 03:10 응답시간 증가 상세 추이

04_UKEY_LOGIN & 06_UKEY_LOGIN 트랜잭션 시간별 메트릭 그래프

19
8.4.4 POC 측정 결과 – UKEY 응답시간 증가 탐지

11/6( 목 ) 03:10 응답시간 증가 상세 추이

04_UKEY_LOGIN & 06_UKEY_LOGIN 트랜잭션 시간별 메트릭 테이블

20
Q&A
21
첨부 1. BSM 주요 기능
BSM 은 BPM 에서 수집한 결과를 중앙에서 분석 및 관리를 해 주는 역할을 수행 하며 향후 운영 시 사용될
주요 기능은 아래와 같습니다 .

주요 기능 상세 설명

측정 된 응답시간 및 가용성 분석
- 기간별 ( 시간대별 , 일별 , 주별 , 월별 ) 그래프 분석
- 측정 위치 (BPM 이 설치된 PC) 별 분석

Page Component 분석
- 대상 Page 내의 구성요소 에 대한 분석 : Component 별 Size , 처리 시간 등
측정 데이터 분석
응답시간 구간별 분석
- 응답시간 구성요소 분석 (Server 타임 ,Network 타임 ,DNS 시간 등 )

가용성 분석
- 장애가 발생한 Shapshot Capture 및 저장
VUGEN / UFT Script Upload

측정 주기 설정
- ex) A location 의 T-world 접속 Script 는 5 분마다 측정을 실시 한다 .
관리기능
Alert / SLA 설정 기능
- ex) 특정 위치에서 3 번 이상 “ X” 가 발생 하면 특정 사용자 한테 e-mail alert 발생
사용자 관리 기능

22
첨부 1. BSM 주요 기능

대시보드 - TopView

 전체 Transaction 의 상태를 색깔 별로 한눈에 보여줌 . ( 응답시간 , 가용성 )

23
첨부 1. BSM 주요 기능

대시보드 – 360 View

 전체 Transaction 의 상태를 Matrix 형태로 보여줌 . ( 응답시간 , 가용성 )

24
첨부 1. BSM 주요 기능

대시보드 – 카테고리별 / 위치별 가용성

 카테고리별 (Broswer / Mobile), 위치별 가용성 상태를 보여줌

25
첨부 1. BSM 주요 기능

대시보드 – 가용성 / 응답시간 통합 View

 측정 TR 의 가용성 / 응답시간을 통합하여 보여줌 .

26
첨부 1. BSM 주요 기능

상태보고서 (1/2)

 보고자 하는 구간의 서비스 품질 상태를 메트릭스로 표시함 .

 Break down 기능을 이용한 응답시간 지연 원인 분석

27
첨부 1. BSM 주요 기능

상태보고서 (2/2)

 에러로 인한 가용성 저하 발생시 , 해당 화면 screen shot 기능

28
첨부 1. BSM 주요 기능

응답시간 / 가용성 그래프

Mobile 헬로모바일
실시간요금조회 응답시간
( 대기시간 4 초 포함 )

Mobile TVING 검색 응답시간

( 화면이동 및 대기시간 3 초 포함 )

 측정하고 있는 Transaction 의 응답시간 / 가용성 을 시간대 별로 표시

 그래프 및 Table 형태의 데이터로 확인 가능

29
첨부 2. BSM / UFT 지원 프로토콜

VUGEN 지원 프로토콜

30
첨부 2. BSM / UFT 지원 프로토콜

UFT 지원 UI

Classic Package Emerging

• Standard Windows
• Win32 API and MFC

• Visual Basic ERP/CRM .NET

• WinForms
• Siebel
• Web Browsers • WebForms
• Siebel 7.0.x, 7.5.x, 7.7.x, 7.8.x~
• Internet Explorer 6.0, 7.0, • HTC/Viewlink
• SAP
~11.0 • Delphi 8 .NET
• SAP Gui for Windows 6.20, 6.40,
• Netscape 1.3, 9.0 Winforms
7.10~
• Firefox 1.5, 2.0.x, 3.0 Alpha • SAP Gui for HTML (ITS) 6.10, 6.20 Internet Toolkit
7~ • SAP Enterprise Portal 6.0, 7.0 • Dojo
• SAP WebClient 1.0 • GWT
• Web Services • PeopleSoft • ASP .Net Ajax
• Oracle • YUI
• Visual Age Smalltalk • Oracle Forms 6i, 9i, and 10g X-internet
• Oracle EBS 11.5.x and 12 • Macromedia Flex
• PowerBuilder • Curl
• MiPlatform
• Delphi • TrustForm
• 소리마치 , …
• Terminal Emulator
* 위 List 에 들어있지 않은 환경에 대해서도 Extensibility 기능을 통한
• JAVA
지원 및 API 를 통한 지원이 가능

31
첨부 3. A 사 BSM 운영 현황

 약 600~700 Transaction 사용
 약 40~50 대의 BPM Agent PC 사용
 국내 IDC 2~3 곳 , 중국 , 일본 , 미국 등 해외 location 이용
 24 x 7 x 365 서비스 가용성 및 품질 관리
32
첨부 3. A 사 BSM 운영 현황

Xen Server H/W 장비에 VM 을 생성하였으며 이중 PC 용 13 대 , 핸드폰용 19 대의 VM 이

사용됨 .
 PC 용 VM 에서는 라인 PC 메신져와 SNS 게임 (Internet Explore) 의 가용성 모니터링을 수행
 핸드폰용 VM 에서는 VNC 프로그램을 이용하여 핸드폰과 무선 연동하며 ,
핸드폰에 설치된 앱의 가용성 모니터링을 수행

IDC 1 층 관제실 IDC 서버실

갤럭시 S4
핸드폰 거치대 (20 대 ) Xen Server H/W BSM Server

PC 테스트용 VM
Run Attn. Fault Remote Power

Wireless PC 테스트용 VM PC 테스트용 VM

( 무선 구간 ) 총 13 대 구성
PC 테스트용 VM

…………………

핸드폰 테스트용 VM
(VNC 연동 )

핸드폰 테스트용 VM
핸드폰 테스트용 VM
(VNC 연동 ) 총 19 대 구성

hp server rx5670
…………………

33