®

ISTQB Certified Tester

AI Testing (CT-AI) Syllabus

Sample Exam 부록
(추가 27문제)

Released Version 1.0

Korean 버전 1.0

Compatible with Syllabus version 1.0

(사)케이에스티큐비 KSTQB
Korean Software Testing Qualifications Board

Copyright ⓒ 2021 International Software Testing Qualifications Board (hereinafter called ISTQB™) and Korean
Software Testing Qualifications Board (hereinafter called KSTQB).
All rights reserved.
This document may be copied in its entirety, or extracts made, if the source is acknowledged.
1. 다음 AI에 대한 설명 중 가장 적절한 것은?

a) 집, 상점, 사무실에서 작업자 역할을 할 수 있는 자율 로봇은 일반(general) AI의 한 예이다.

b) 인간과 비슷한 수준의 능력을 보이는 로봇은 특이성(singularity)을 달성한 것으로 간주한다.

c) 다양한 테스트 관리 기능을 지원하는 AI 기반 시스템은 일반(general) AI를 가진 것으로 간주한다.

d) 인터넷에 접속할 수 없는 AI 기반 시스템은 약 인공지능(narrow AI)을 나타낸다고 한다.

2. 다음 중 (AI 기반 시스템과 반대되는) 전통적 시스템을 설명하는 것으로 가장 적절한 것은?

a) 이 시스템은 고객의 과거 구매 패턴을 기반으로 고객 그룹을 나눈다.

b) 이 시스템은 차량의 속도에 따라 차의 제동장치를 제어한다.

c) 이 시스템은 녹음된 내용을 듣고 다른 단어를 인식하도록 학습한다.

d) 이 시스템은 여러 X-레이 사진에 나타난 변칙 판독 경험을 바탕으로 이상현상을 감지한다.

3. 다음 중 AI 기반 소프트웨어를 개발하는 데 사용하는 프레임워크가 아닌 것은?

a) scikit-learn

b) CNTK

c) MxNet

d) EZPy-AI

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 2 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
4. 다음 중 서비스형 AI(AIaaS)를 사용하는 시스템을 가장 잘 설명한 것은?

a) 이미지 분류기가 회사에서 생산한 자이로스코프 케이스의 결함을 식별하며, 정확도를 높이기 위해

전이 학습 방식(transfer learning approach)을 사용해 구축했다.

b) 수중 AI 기반 조타 시스템이 결정 트리와 베이지안 최적화에 기반한 타사 장애 회피 컴포넌트

(third-party obstacle avoidance component)를 사용한다.

c) 계약 검사기가 법적 책임 수준 결정을 위해 배타적 알고리즘을 사용하지만, 계약 가격책정 부분에

대해선 일반 계약 가격책정 AI 컴포넌트에서 별도로 확인한다.

d) 렌터카 가격 시스템을 수반 알고리즘을 지원하기 위해 AI로 구축했다. 이 시스템은 클라우드에서

호스팅되며 이 회사의 모든 렌터카 사무실에서 이용할 수 있다.

5. AI 기반 시스템에 대한 규제 표준/규정을 가장 적절히 설명한 것은?

a) 무인 자율주행 잠수함에 ISO/PAS 21448 (SOTIF) 사용

b) 은행 대출여부 결정 시스템에 GDPR 사용

c) 완전 자율 운전 차량에 ISO 26262 사용

d) 드론 충돌 회피 시스템에 GDPR 사용

6. 다음 중 유연성(flexibility)과 적응성(adaptability)을 가장 적절하게 설명하고 있는 것은?

a) 적응성은 기계학습(ML) 모델이 라벨 없는 데이터를 사용하므로 비지도 학습에서 중요하다.

b) 유연성은 기계학습 모델이 데이터 라벨이 제대로 되지 않은 경우라도 의미를 인식하게 해주기 때문에

지도 학습에서 중요하다.

c) 적응성은 시스템이 보상 기능을 최적화하기 위해 스스로 적응해야 하므로 강화 학습 시스템에서

중요하다.

d) 유연성은 시스템이 예기치 못한 환경 변화에 스스로 적응하게 하므로 자가학습 시스템에서 중요하다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 3 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
7. 다음 AI 기반 시스템의 진화에 대한 설명 중 가장 적절한 것은?

a) 동일한 운영 환경에서 계속 작동하는 자가학습 AI 기반 시스템은 동작을 변경할 것으로 예상되지

않는다.

b) 환경 변화에 대처하기 위해 스스로 변화하는 AI 기반 시스템에서는 부작용에 대한 걱정은 하지 않아도

된다.

c) AI 기반 시스템은 개발 과정에서 시스템 요구사항 변화에 대처하기 위해 스스로 변화해야 한다.

d) 사람과 물리적으로 상호작용하는 자가학습 시스템은 시스템 변경이 위험하지 않다는 것을 확인하기

위한 관리가 필요하다.

8. 다음 중 윤리 문제와 관련해 특별한 주의가 필요할 가능성이 가장 낮은 AI 기반 시스템의 예는?

a) 아이들이 대통령이 되어보기에 도전함으로써 민주주의의 이점을 가르치는 컴퓨터 게임

b) 소셜 미디어에서 가용한 데이터를 활용해 구직자에게 신뢰성 등급을 제공하는 애플리케이션

c) 공해상 해저 지도를 만들기 위한 자율적 자체동력 수중 해양지도 시스템

d) 각 직원들의 하루 운동량을 모니터링하고 건강보험 혜택을 주는 모바일 앱

9. 다음 중 AI 기반 시스템의 투명성(transparency), 해석가능성(interpretability), 설명가능성

(explainability)에 대한 설명으로 가장 적절한 것은?

a) 검색 엔진 기술을 배우는 학생들을 위해 가장 설명하기 쉽다고 판단해 검색 엔진 알고리즘을 선택했다.

b) 각 대출 신청에 대해 대출 승인여부 판단 방식을 명확히 함으로써 사용자에게 대출 시스템이

투명하다는 인식을 주었다.

c) 의사들이 주어진 규칙이 시스템에 어떻게 구현됐는지 이해할 수 있어서 규칙-기반 종양학 시스템의

해석가능성 수준에 만족했다.

d) 드론 운영자는 시스템이 그들의 지시에 올바르게 반응한다고 느꼈기 때문에 제어 시스템의 투명성에

만족했다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 4 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
10. 다음 중 기계학습(ML)에 대한 비지도 접근법(unsupervised approach)을 가장 잘 설명한 것은?

a) 데이터와 라벨을 분석해 클러스터로 그룹화한다.

b) 피트니스 기능을 충족함으로써 시스템이 자동적으로 학습한다.

c) 시스템이 보상을 기반으로 목표 달성을 위해 스스로 학습한다.

d) 데이터를 분석해 데이터에서 패턴을 찾아낸다.

11. 아래와 같이 기계학습 워크플로우 활동에 대한 설명이 주어졌다:

I. 모델 성능은 검증 데이터로 확인한다.

II. 모델 테스트에 사용한 테스트 데이터의 출처를 확인한다.

III. 튜닝한 모델을 대상 하드웨어에 맞게 준비한다.

IV. 합의된 기계학습(ML) 기능 성능기준을 충족하는지 확인하기 위해 테스트 데이터를 사용한다.

V. 소스코드로부터 모델을 생성한다.

VI. 핵심적인 데이터 특성을 식별한다.

다음 옵션 중 기계학습 워크플로우에서 위의 설명과 활동을 가장 적절히 연결한 것은?

a) 모델 빌드 및 컴파일 – III / 데이터 준비 – II / 모델 평가 – IV

b) 모델 빌드 및 컴파일 – V / 데이터 준비 – II / 모델 평가 – I

c) 모델 빌드 및 컴파일 – V / 데이터 준비 – VI / 모델 평가 – IV

d) 모델 빌드 및 컴파일 – III / 데이터 준비 – VI / 모델 평가 – I

12. 다음 중 기계학습(ML) 알고리즘을 채택하는 이유로 가장 거리가 먼 것은?

a) 모바일 장치에서 번역 시스템을 훈련하는 데 사용할 수 있는 메모리의 양

b) 임베디드 건강 모니터링 시스템을 재훈련하는 데 드는 최대 시간

c) 스포츠 경기 예측 시스템의 기초로 사용한 측정된 속성의 수

d) 소매 마케팅 시스템에서 예상되는 고객 유형 클러스터의 수

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 5 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
13. 다음 중 테스트 데이터세트(test dataset)에 대한 설명으로 맞는 것은?

a) 테스트 데이터세트는 검증 데이터세트와 완전히 다른 출처에서 수집한다.

b) 테스트 데이터세트와 검증 데이터세트는 형식이 다르다.

c) 테스트 데이터세트는 검증 데이터세트로 사용할 수 있지만 훈련 데이터세트로는 사용할 수 없다.

d) 테스트 데이터세트는 훈련 과정 중 모델에 노출되면 안 된다.

14. 다음 중 데이터 라벨링이 부실해지는 가장 큰 원인은?

a) 불충분한 데이터

b) 합성 데이터 (Synthetic data)

c) 번역 오류 (Translation errors)

d) 기계학습(ML) 모델을 위해 선택한 알고리즘

15. 기계학습(ML) 팀은 기계학습 모델 훈련의 일환으로 수집한 검증 데이터 기반의 기계학습 기능

성능 지표(ML functional performance metrics)가 시스템 품질을 판단하는 데 충분하다고

주장한다.

다음 중 이 주장이 맞지 않을 수 있음을 보여주는 타당한 이유를 설명한 것은?

a) 실제 정보가 정확하지 않으면 기계학습 기능 성능 지표가 제대로 동작하지 않을 수 있다.

b) 도구들이 독립적이기 때문에 기계학습 기능 성능 지표를 품질 측정에 사용할 수 없다.

c) 유효성 검증 데이터가 편향되어 기능 성능 측정값이 왜곡된다.

d) 기능 성능 측정이 모델 품질을 반영하지 않도록 모델 훈련 전에 데이터 변형이 이뤄져야 한다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 6 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
16. 다음 중 벤치마크 스위트(benchmark suites)에 대한 설명으로 가장 적절한 것은?

a) 기계학습 벤치마크 스위트는 훈련에 들어가는 시간을 알려주어 특정 모델 선택에 도움을 준다.

b) 기계학습 벤치마크 스위트는 테스트에 들어가는 시간을 알려주어 특정 모델 선택에 도움을 준다.

c) 기계학습 벤치마크 스위트는 검증에 들어가는 시간을 알려주어 특정 모델 선택에 도움을 준다.

d) 기계학습 벤치마크 스위트는 배포에 들어가는 시간을 알려주어 특정 모델 선택에 도움을 준다.

17. 다음 중 편향 관련(bias-related) 테스팅을 수행하기에 가장 적절한 테스트 레벨은?

a) 컴포넌트 테스팅

b) 입력 데이터 테스팅

c) 시스템 테스팅

d) 모델 테스팅

18. 다음 중 AI 컴포넌트 문서화에 대한 설명으로 옳은 것은?

a) 비기능 요구사항은 AI 컴포넌트 문서의 일부가 아니므로, 비기능 테스팅은 수행할 수 없다.

b) 인터페이스가 문서의 일부라면 AI와 비-AI 컴포넌트 간 상호작용에 대한 화이트박스 테스팅은

불가능하다.

c) 문서에 데이터 출처를 포함하면 데이터 편향 확인이 가능하다.

d) 자가-적응(self-adapting) AI 시스템 사용을 위해선 시스템에서 일어난 각 변경사항을 충분히

문서화해야 한다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 7 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
19. 고객의 구매 이력과 해당 사이트를 이용한 다른 사람들의 구매 내용을 기반으로 고객에게

구매할 제품을 추천해 주는 이커머스 애플리케이션이 있다. 테스터는 추천 항목의 현재

변환율(conversion rate)을 측정해 원래 필요한 변환율과 비교할 것을 요청 받았다.

다음 중 이런 요청을 하는 근본적인 이유로 가장 적절한 것은?

a) AI 효과 (Al effect)

b) 적대적 공격 (Adversarial attacks)

c) 컨셉 드리프트 (Concept drift)

d) 공정성 결여 (Lack of fairness)

20. 다음 중 시스템 자율성 테스팅과 가장 관련성이 높은 것은?

a) 일정하게 지속되는 기간 동안의 테스팅

b) 시스템 예측의 정확도에 대한 테스팅

c) 시스템 적응 속도 테스팅

d) 훈련 데이터에 대한 정적 분석

21. 다음 설명 중 테스팅에서 비결정적(non-deterministic) 시스템이 어떻게 문제를 일으킬 수

있는지를 가장 잘 나타내는 것은?

a) 비결정적 시스템은 매번 다른 결과를 생성함으로써, 보통 기대한 결과를 만들지 못하게 한다.

b) 비결정적 시스템은 설명할 수 없기 때문에 테스트하기 어렵고 결함의 조사나 수정도 어렵다.

c) 입력과 초기상태가 동일한 시스템이 다른 결과를 도출할 수 있으므로 테스트를 여러 번 실행해야 한다.

d) 비결정적 시스템은 보통 편향되어 있으며 결과에서 이러한 편향을 배제하기 위해 추가 테스트가

필요하다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 8 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
22. 다음 중 딥러닝 신경망(deep neural network)을 테스트할 때 동적 테스팅(dynamic testing)

없이 평가할 수 있는 속성은?

a) 설명 가능성 (Explainability)

b) 투명성 (Transparency)

c) 자동화 편향 (Automation bias)

d) 정확도 (Accuracy)

23. 다음 중 AI 기반 시스템이 테스트 오라클 문제를 일으키는 예를 설명하는 것은?

a) 훈련 데이터의 출처를 모른다.

b) 시스템의 결과값은 알려지지 않은 실제값에 대한 예측이다.

c) 사람의 개입없이 시스템이 동작해 자율적이라고 여겨진다.

d) 시스템이 어떻게 구현됐는지에 대한 투명성이 부족하다.

24. 다음 중 A/B 테스팅에 대한 설명으로 올바른 것은?

a) A/B 테스팅에 두 가지 다른 프로그램을 사용하기 때문에 차등 테스팅(differential testing)이라고도

한다.

b) A/B 테스팅은 복잡한 모델에 대한 정확한 결과를 가져오지 않기 때문에 간단한 기계학습(ML) 모델을

테스트하는 데 주로 유용하다.

c) A/B 테스팅에서는 테스트한 모델의 주요 차이점 식별을 위해 같은 입력에 대해 여러 예상 결과를

비교해야 한다.

d) A/B 테스팅은 다양한 기계학습(ML) 모델, 특히 자가학습 시스템을 위한 테스트 케이스 작성에 좋은

기법이다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 9 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org
25. 다음 설명 중 AI 기반 시스템 테스팅에서 가상 테스트 환경이 제공하는 이점과 가장 거리가 먼

것은?

a) 매우 드물게 발생하는 시나리오(예: 설 연휴 혼잡 제어)를 테스트할 수 있도록 스마트 시티 애플리

케이션을 가상 테스트 환경에서 테스트한다.

b) 잠재적인 비용발생 때문에 실제 금융시장에서 테스트하는 것이 비현실적이므로 AI 기반 금융시장

거래 시스템을 가상 테스트 환경에서 테스트한다.

c) 과일이 상하지 않았는지 확인할 수 있도록 빠른 기간내에 다양한 수확 시나리오를 실행하기 위해

스마트 과일 수확기(smart fruit picker)를 가상 테스트 환경에서 테스트한다.

d) 잠재적으로 위험한 테스트 시나리오를 안전하게 실행할 수 있도록 자율주행차를 가상 테스트

환경에서 테스트한다.

26. AI 지원 테스트 자동화 도구(Al-assisted test automation tool)를 사용해 위치 참조를 사용하는

대신에 이미지 처리를 통해 개체를 인식하는 것이 가능하다.

다음 중 위에서 언급하고 있는 AI 소프트웨어 엔지니어링 기술 유형은?

a) 분류, 학습 및 예측

b) 확률적 소프트웨어 엔지니어링

c) 검색 기반 소프트웨어 엔지니어링

d) 클러스터링

27. 다음 중 시각적 테스팅(visual testing)을 올바르게 설명하고 있는 것은?

a) 시각적 테스팅은 객체 ID를 사용해 변경사항을 결정한다.

b) 시각적 테스팅은 픽셀 단위 비교를 위해 이미지를 사용한다.

c) 시각적 테스팅은 중복되는 사용자 인터페이스 요소를 찾도록 해준다.

d) 시각적 테스팅은 스크린 레이아웃을 변경하면 실패한다.

CT-AI 샘플문제 부록 v1.0 한글 v1.0 Page 10 of 10

Korean Software Testing Qualifications Board www.kstqb.org ❙ info@kstqb.org