앱 자동 테스트 제안서

AI-Powered Exploratory App Test in One-Click

2022.11.16
목차 1 회사 소개
2 제품 소개
3 Why Apptest.ai
4
도입 사례
5 견적
6 데모 시연 / Q&A
Q&A
01 회사 소개
회사 개요
회사명 ㈜ 앱테스트에이아이
대표이사 황재준
설립연도 2002년
회사 규모 28명
업종 소프트웨어 개발
서비스 소프트웨어 서비스 (AI Cloud)
주소 서울특별시 송파구 송파대로 201 송파테라타워2 B동 709호
대표전화 : 02-881-5786
조직도
CEO
황재준

경영지원팀 Testbot.ai
박현진 상무(겸) (미국 SF Office)
김소현 부장 황재준 대표(겸)

Back-end Front-end Research Customer Success

장재걸 상무 안준현 상무 박현진 상무 박재영 상무

김태하 매니저 한종민 책임 김재철 수석 | 양경모 수석 박준현 책임 | 박민수 매니저

허승범 매니저 김민주 매니저 강량경 매니저 | 김민구 매니저 이예지 매니저 | 하지선 매니저
탁정규 매니저 손채린 매니저 채호열 매니저 | 권구철 매니저 함초롱 매니저 | 박준영 매니저
송현민 매니저 이대희 매니저 서혜령 매니저
인공지능 주도 테스트의 필요성
AI Driven Test

- iOS, Android, Web, Desktop 등 다양한 플랫폼이 혼재하는 환경에서 개발 주기를 줄이고자 Agile,
DevOps 등의 개발 프로세스를 도입하지만 결국 병목지점은 S/W 테스트입니다.
- 자주 변경되는 S/W를 수많은 사용자 디바이스 환경에 대해서 쉬지 않고 테스트할 수 있는 방법은
AI 기반 자율 테스트 뿐입니다.

Hell No! Maybe?!?! Yes!

AI 테스트 서비스 시장 현황

AI 기반 테스트를 표방하고 있는 많은 서비스들이 있지만

자율 테스트 2~3단계 수준이고 , 완전한 5단계 자율 테스트
를 목표로 서비스를 개발하고 있는 것은 apptest.ai 뿐입니
다.
L2-L3: AI Assistance L5: AI Testing
 2018 2019 2020 2021 2022

세계 최초로 AI 기반 미국 NBC 방송사 수출 국제 특허 출원 2020~21 2022

자동 앱테스트 출시 대한민국 인공지능대상 중소벤처기업부 표창장

AI 기반 자동 앱테스트 해외에서 먼저 AI 기반 테스트 기반 AI 기반 테스트 저작도구 AI 기반 테스트 저작도구

솔루션 및 Cloud 제공 AI테스팅 기술력 인정 기술 고도화 공동연구 진행 Stego 출시

AI기술/디바이스팜 미 NBC방송사, 미 Sauce LABS 등 한국,미국,국제(PCT)특허출원 LGU+와 협업 LGU+와 MOU체결

클라우드 기술 보유 국내보다 해외에서 먼저 판매
현대카드 등 국내 대기업에 AI기반 게임 테스팅 연구 개시
앱테스트 비용 50% 글로벌 선도기술로 기술제공
이상 감소 삼성전자에서 투자유치
02 제품 소개
 제품군
자율탐색 솔루션과 스테고

비기능
솔루션 종류 테스트

➊ 자율탐색솔루션

➋ Stego (스테고)
자
율
자율탐색 테
스
트
화이트박스 대 블랙박스
테스트 응 테스트
가
능
영
역

Stego

기능
테스트
제품군 – 자율탐색
AI Testbot 기반 기술

완전한 자율 테스트를 실현하기 위해서는 이미지 매칭

과 같은 전통적인 테스트 자동화에 사용된 알고리즘이
아닌 Object Detection 등 Deep Learning 기반으로 기
술 Stack을 완전히 새로 설계해야 합니다.

Ontology

Object
Rule based
Detection
Test scenario
Generation
Deep Learni
ng
Natural
Language Virtual
Processing Persona
제품군 – 자율탐색
apptest. ai 서비스

apptesta.ai의 TestBot은 자동으로 수백개의 Device에

App을 설치하고 30분 안에 테스트 후 리포트를 제공합니다.

테스트 지원 Platform
Android 7.0 이상, iOS 13.3이상

테스트 리포트는 FC, ANR와 같은 Error 뿐만 아니라

CPU, Network 프로파일링에 기반한 성능 개선 가이드를 1. Upload App
포함하고 있습니다.

2. Test on 100s 3. Get Results

devices in 30 min
제품군 – 자율탐색
세부화면: Summary

발견한 Error는 발생경로, Screen shot,

Device Log 통합제공
제품군 – 자율탐색
세부화면: Activity Map

테스트를 통해 인식한 App의 구조

(Screen flow, Menu Tree)를
Tree 형태로 제공

에러 감지
 제품군 – Stego
Stego 란?

✔ Stego 는 모바일앱 테스트 자동화를 위한 AI 기반의 테스트 케이스 저작 소프트웨어 입니다.

QA Domain Stego Advantages

Functional Any TCs authored by Users; iOS/Androids Codeless! Easier to use
Testing Au Supported
tomation 2~5 times faster AI-
Drag-n-Drop TC Creation; Easy to add TC
based Test Runner
Assertion
AI-Powered UI Elements Recognition; Su 5~10 times Faster to
pport multiple screen ratio variants with a write/update test case
single adaptive test scenario compare to others (i.e.
Appium/Scripting Envi
Installed on your PC; Can be tested on 4
ronment)
devices concurrently
Support both local devices (basic) and
remote cloud devices (optional)

Bottom Line Fast App Testing Automation in your hands!

✔ Stego는 글로벌 대기업들이 먼저 도입하였습니다.

현재 많은 기업들이 Stego 기반 테스트 자동화 프로젝트를
통해서, AI기반 테스팅 혁신 프로세스를 진행 중입니다.
Stego AI 기술 : 혁신적 AI Vision기반 앱테스트 자동화 기술
2020/2021 대한민국 인공지능 대상 수상

Stego UI Element Detection Engine

기존의 앱테스트 케이스 저작도구들은, 앱의 GUI 정보를

나타내는 XML에 기반하거나, 단순한 1:1 이미지 매칭에 기반한
AI Vision & OCR 앱 UI Element 분석
테스트 자동화 스크립트를 만듭니다.

- 개발자는 앱의 XML을 잘 정의하지 않기 때문에 테스트 스크립트

작성이 난해함.

- 또한 단순 이미지 좌표 기반 테스트 자동화 툴은 다양한 스크린

사이즈의 디바이스를 커버할 수 없음

✔ Stego 는 사람처럼 스크린의 이미지 인식만 사용하여,

초보자도 빠르게 QA 시나리오를 저작할 수 있는 혁신적인
AI Vision 기술 (2년 연속 대한민국 인공지능 대상 수상)을
개발하여 탄생되었습니다.
AI GUI 기반으로 스크린의 이미지에서 UI Object 인식
Stego 장점

✔ GUI 기반, 코딩없이 쉽게 작성

- UI 이미지를 드래그 드롭하는 방식으로 시나리오를 작성하기
때문에 프로그래밍 지식이 없는 초보자도 손쉽게 시나리오 작성

✔ 빠른 시나리오 작성 속도
- AI엔진이 실시간으로 이미지를 분석하여 사용자에게 제공해주어
[빠르게 GUI 기반 드래그앤 드롭 방식으로 스크립트 작성 ]
기존의 저작도구와는 차원이 다른 (최소 2배 이상) 빠른 작성 속도를
체감할 수 있음.
내부 테스트 결과 시나리오 1개 작성에 평균 5분정도 소요.

✔ 폭넓은 테스트 시나리오 작성

- 간단한 Touch Action 외에도 앱을 구동하는 다양한 사용자 액션에
- 기반한 테스트 케이스 작성을 지원하고, 특히 내재된 강력한 AI기반
- 스크린 분석 툴을 활용하여 복잡한 Visual 검증 요소들을 단일 테스트
[Scroll Swap Zoom-In 등 다양한 테스트 케이스 작성] - -- 시나리오로 저작하기 용이함.

✔ 클라우드 디바이스팜 완벽 연동
- Apptest.ai에서 운영중인 클라우드 디바이스 팜과 연동되어 있어
-- 작성한 시나리오를 다수의 장치에서 동시에 테스트할 수 있음.

[클라우드 디바이스팜 연동 ]
Stego 기능

✔ iOS, Android 테스트 가능

- 다양한 iOS와 Android 모바일 디바이스 지원

✔ Browser App Testing 가능

- 네이티브 앱 뿐만 아니라, 모바일 브라우저 기반 앱이나 디바이스
설정앱 테스트 환경 지원

✔ 4대 이상 동시에 테스트 가능
- Local은 4대 동시 테스트 지원 Cloud를 통한 무제한 확장 가능.

✔ Set Top Box Testing 지원 (Coming Soon)

- 모바일 디바이스 뿐만 아니라, Setup Box 등 범용적 스크린 인식
- 기반 플랫폼으로 진화
03 Why Apptest.ai?
Apptest.ai 서비스 도입의 기대효과

기존 매뉴얼 테스트 대비 5배 이상 저렴합니다. AI TestBot Cost

• 지루한 반복작업을 TestBot이 사람보다 2배 효율적으로 처리 20%

• 단위 시간 TestBot 운영 비용은 최저 인건비 대비 5배 저렴
• 수십대의 디바이스에서 동시에 테스트 가능
• 실시간 테스트 생성 및 이슈 전달로 인해 개발 L/T 감소 효과
기대 가능

10x

5x

2x

반복적인 일 효율성 비용절감 처리량

 경쟁사 대비 차별점 - 오류 탐지 성능

US Top 100 App Applications Actions

Unique
Screenshots
Result Actions
Unique
Screenshots
Result

테스트 결과 Apptest.ai는 Accu Weather 116 65 - 214 97 Error 검출

15개 앱에서 오류를 발견 MLB At Bat 12 11 - 269 119 Error 검출
했으나 Google Firebase Bitmoji 16 12 - 301 118 Error 검출
는 2개 앱에서만 발견하 The Honest Co 98 44 Error 검출 360 90 Error 검출

였습니다. Smiley Emoji

17 11 - 317 79 Error 검출
Keyboard 2018

BK Booster 34 24 Error 검출 72 34 Error 검출

NBC Sports
48 45 - 275 125 Error 검출
Scores
Pinterest 16 8 - 293 31 Error 검출

Super speed-
23 18 - 160 28 Error 검출
Clean &Booster

Tubi Tv- Free

95 28 - 303 146 Error 검출
Movies& Tv
King James
247 224 - 191 124 Error 검출
Bible
Reddit 171 71 - 309 176 Error 검출
CNBC 18 12 - 142 49 Error 검출

US Top 100 App 중 Error 검출한 App List

경쟁사 대비 차별점 - Cost

Apptest. ai만이
저렴한 비용으로 많은 테스트를
AI Testing
한 번에 할 수 있는 혁신적인 솔루션 업
“ AI 기반 자율 테스팅 서비스“ 체

입니다.
Apptest.ai 외산 AI 테스팅 솔루션
테스트 (대부분 Record-n-Replay)
외주
국내 S소프트, A컴, T시 업체 월 xxx/시간, 가격 경쟁력 ↓
결이 다른 솔루션
2만원/시간, 가격 경쟁력 ↓ 기존 인력 노력 필수
올드 보이, 스케일 안됨

디바이스
Amazon, Remote Test Kit, 팜 업체
Google
1만원/시간, 가격 경쟁력(기능부족) ↓
인프라만 제공, 기존 인력 필요
AI 테스트를 도입하면 SW개발의 모든 단계에서

가장 저렴하게

가장 많은 양을 AI AI
개발
coding 배포
검증

지속적으로

테스트 할 수 있습니다.
제3자 모니
Build
검증 터링
AI AI AI
04 도입 사례
고객사
도입사례
LG U+

LG U+는 2021년 부터 서비스 앱 50여종을 매일

자동화 테스트를 수행하고 있습니다.
(Android,iOS)
•
50여종의 앱에 대해서, 핵심 기능 테스트들을 Stego를 통해서
작성하고, 24시간동안 시나리오 테스트 자동 실행
(앱별 약 2~3시간에 한번 꼴로 테스트 진행)

➊ 에러 검출시 Telegram으로 알람 발송 & LG U+ 중앙관제

.모니터링 시스템으로 통보

➋ 원활한 테스트를 위해 On-Premise 형식으로 사용 중

(솔루션명: AI Testing 30)

[Stego와 AI Testing 30 (On-Premise 팜) 기반 구성]

도입사례
NBC NEW YORK

NBC New York은 2018년 부터 개발~배포 단계

에 있는 App과 Web 서비스를 apptest.ai로
테스트 중입니다. “For last 8 months, NBC Owned Television Station
was a pioneer to run its AI Bot to test their
테스트 대상: android, iOS app 6개, word press 기반으로 개발된
NBC New York Web site Android and iOS app in production.
Now it runs in all test stages, everyday!”
테스트 주기 : 매일 2회 30분 단위
Farman siddiqii
기대 효과 : 2019년 한해 동안 총 2,000여개의 Error를 Director, Quality Assurance & Operations
TestBot을 통해 선 검출하고 조치
도입사례
현대카드

현대카드는 2020년 부터 가장 중요한 모바일

결제부터 챗봇, 블록체인 ID등 다방면에서
apptest.ai로 앱테스트 중입니다. •

테스트 대상: android, iOS app 6개

테스트 주기 : 매일 10분 단위로 90개 +AI 탐색, 하이브리드

.결제 시나리오(옥션, G마켓, SSG.com, 쿠팡,
. 위메프) 테스트 및 모니터링

기대 효과 : 도입 이후 모바일결제에 발생하는 여러 개의
Critical Error들을 AI 테스팅을 통해서 발견하여,
조치하였으며, 검증된 효과를 통해서
추가 프로젝트에서(챗봇,블록체인 등) 확대 사용중
도입사례
현대자동차

➊ 에러 검출 시 카카오톡,
3 종의 앱
총 54개의 Test Case를
사용량이 많은
- 메일로 알람 발송

(제네시스 커넥트,
오전 6시부터 저녁 8시까지 ➋ 개발 중인 앱은 CI 연동을 통해
현대블루링크,
기아커넥트) 무한 반복 테스트 빌드될 때마다 자율탐색 테스트
진행

2 종의 OS
(Android/iOS)

Confidential

9 종의
Test Case
05 견적
 견적
Apptest.ai – 자율탐색 솔루션

Apptest.ai Enterprise 기본서비스(SaaS)

- Apptest.ai 자율탐색 솔루션 사용료
- 월 최대 테스트 시간 기준

이용 시간 상세 정가

100시간/월 월 1,500,000 원 * 12개월 18,000,000

200시간/월 월 3,120,000 원 * 12개월 37,440,000

300시간/월 월 4,500,000 원 * 12개월 54,000,000

400시간/월 월 6,000,000 원 * 12개월 72,000,000

500시간/월 월 7,500,000 원 * 12개월 90,000,000

※ 참고
IT테스터 1인당 평균 월급여 : 4,162,829원
4,162,829 * 12 = 49,953,948원
(주 52시간 기준 월 평균 208시간 근무)
※ 주의 : 본 금액은 가격 정책 참고를 위한 것으로, 상세 협의 내용에 따라 변경될 수 있습니다.
 견적
Stego – 시나리오 저작툴

테스트 시나리오 작성 툴
항목 정가
Stego기반 커스텀 테스트 시나리오 저작툴(1 Year) * 2 Copy 30,000,000

옵션1 – SaaS 서비스 옵션2 – 시나리오 작성 및 유지보수

이용 시간 상세 정가 항목 정가
테스트 시나리오 작성
100시간/월 월 1,500,000 원 * 12개월 18,000,000 68,000
(시나리오당)
200시간/월 월 3,120,000 원 * 12개월 37,440,000 유지보수
364,248
(시나리오당)
300시간/월 월 4,500,000 원 * 12개월 54,000,000

400시간/월 월 6,000,000 원 * 12개월 72,000,000

500시간/월 월 7,500,000 원 * 12개월 90,000,000

※ 주의 : 본 금액은 가격 정책 참고를 위한 것으로, 상세 협의 내용에 따라 변경될 수 있습니다.

06 데모 시연 / Q&A
 THANK YOU
감사합니다

https://apptest.ai/ website

contact@apptest.ai email

+82 -2 – 881 -5786 / +82 -2 – 2040 -6788 telephone

서울시 송파구 송파대로 201 ( 송파테라타워2 ) B동 709호 address