2020년 한국컴퓨터종합학술대회 논문집

YOLO 기반 영상 인식 및 직관적 가시화 기술을 적용한

아이 안전 교육 어플리케이션*
O
이예슬 , 송형섭, 김범수, 최아영

가천대학교 소프트웨어학과
lys984prms@naver.com, rpt5366@naver.com, beomssoo@naver.com,
aychoi@gachon.ac.kr
Intuitive visualization technology based on image recognition
Child safety education application
O
Yeseul Lee , Hyungseob Song, Beomsoo Kim, Ahyoung Choi
Software Department, Gachon University
요 약
본 논문에서는 아이들이 건강하고 안전한 생활 습관을 기를 수 있도록 물체 인식 및 가시화 기술을 이
용해 안전 교육 콘텐츠를 제공하고 부모가 아이의 상태를 모니터링 할 수 있는 어플리케이션을 제안한
다. 제안한 어플리케이션은 어린이들이 착용한 웨어러블 워치를 통해 가속도, 자이로 센서 신호를 획득
하고 어린이의 손 행동 패턴을 인식한다. 손 행동 패턴 인식을 위해 전처리 후 LDA, QDA 적용한 결과
정확도가 평균 96% (LDA), 85% (QDA)로 나타남을 확인하였다. 딥러닝 기반의 YOLO 영상인식 기술을
적용하여 손을 인식하고 어린이들이 안전 사고 등이 발생했을 때 결과를 증강하여 보여주도록 하였다.

1
1. 서 론
최근 아이들이 디지털 기기에 대한 노출이 많아 지고
창의력 향상을 위한 교육 방식에 대한 고민이
증가하면서 교육 분야에도 디지털교과서 등의 형태로
체험할 수 있는 교육 콘텐츠나 응용 어플리케이션 개발
시장이 활성화 되고 있다. 에듀테크는 정규교육과정의
국어, 수학과 같은 과목의 보조역할에서 그치는 것이
아니라 인공지능(AI), 증강/가상현실(AR/VR),
사물인터넷(IoT)을 활용해 직접 보고 만질 수 있는
새로운 형태의 교육 환경을 경험하게 해주고 있다. LG
U+에서는 ‘아이들 나라’ 프로그램을 개발하여 AR
기술을 이용해 아이들이 그린 그림을 인식해 수족관의
물고기에 무늬를 적용시키거나 공룡, 동물, 곤충, 바다
생물을 띄우는 콘텐츠 등을 제공하고 있다[1].
정규 교과 과정뿐 만 아니라, 아이들의 생활습관이나
행동을 모니터링하고 이를 직관적으로 가시화 하여
아이들이 쉽게 이해할 수 있도록 하는 제품이 출시
되고 있다. 브러쉬 몬스터는 ‘브러쉬 몬스터’라는 AR
기반으로 아이들의 양치 습관을 모니터링 해주는
어플리케이션을 서비스하고 전용 스마트 칫솔을
판매하는 회사이다. 전용 칫솔과 어플리케이션을 연동한
뒤 아이가 카메라 앞에서 양치질을 하면 칫솔에 있는
3D 모션센서와 얼굴 인식 기술을 이용해 16개 양치
부위를 모니터링 하며 아이가 양치 상황을 확인할 수
있게 해준다[2].
이러한 추세에 맞춰 본 논문에서는 아이들의 행동을
모니터링하고 안전에 대한 교육이 가능한 아이 안전
교육 어플리케이션을 제안한다. 이 어플리케이션은
웨어러블 디바이스를 착용한 아이의 행동을
모니터링하고, 아이들이 특정 행동을 하였을 때 어떤
결과가 나타나는지를 직관적으로 가시화 하여 위험
행동을 했을 때 결과를 미리 예측하게 도와준다.
직관적인 정보 가시화를 위해서는 영상내 객체 인식 과
가시화가 필요하며 객체 인식을 위해 본 연구에서는
딥러닝 알고리즘을 적용하였다. 아이의 행동 패턴
인식을 위해서는 웨어러블 워치로부터 가속도, 자이로
센서를 획득하여 획득된 신호의 패턴을 supervised
learning 기법을 적용하여 분석하였다. 제안한 방법을
통해 부모가 아이의 상태를 실시간으로 확인하고
아이에게도 위험상황에 대한 직관적인 피드백을 줄 수
있다.
2. 제안하는 방법

* 본 논문에서 제안하는 어플리케이션은 아이의 상태를

이 성과는 정부(과학기술정보통신부)의 재원으로 한국
확인하는 부분과 물체를 인식하고 시각화를 통해 안전
연구재단의 지원을 받아 수행된 연구임(No. NRF-
2019R1F1A1060731). 교육을 하는 부분 두 가지로 구성되어 있으며 사용되는

1315
 2020년 한국컴퓨터종합학술대회 논문집

디바이스로는 아이의 상태 정보를 입력 받을 상관도의 특징을 추출하였으며, 이 특징들을 이용해

스마트워치와 상태 정보를 받아와 분석하고 안전 교육 아이의 행동 중에서 글씨를 쓰고 있는지, 손을 흔들고
콘텐츠를 제공하는 스마트폰이 있다. 아이 상태 있는지를 판단하는 분석을 수행하였다. 아이의 행동
모니터링 파트에서는 아이의 움직임 등의 신호 정보를 분석을 위한 분류 알고리즘으로는 Linear, Quadratic
스마트워치에 내장된 가속도 센서 정보와 자이로 센서 Discriminant Analysis을 사용하였다. Discriminant
정보를 통해 수집되고 실시간으로 부모의 스마트폰으로 analysis 알고리즘은 각 클래스의 사전 확률 값을 구한
전송된다. 부모의 스마트 폰에서는 아이의 행동의 뒤, 베이즈 정리를 이용하여 한 샘플의 특징이 주어졌을
패턴을 분석하는 부분과 행동에 따라 안전 교육 때 그것이 속할 확률이 가장 높은 클래스로 분류해주는
콘텐츠를 직관적으로 가시화 하는 부분으로 구성이 알고리즘이다. 최종적으로 아이의 행동 패턴을 분석하고
되어 있다. 직관적인 가시화를 위해 실시간으로 손을 모니터링 할 수 있도록 하였다.
인식하고 그 위에 날카로운 물체에 찔려 피가 나는
상황을 연출해 아이에게 경각심을 일깨워주는 방식으로 2-2. YOLOv2 기반 실시간 물체 인식 및 가시화
진행된다.
안전 교육을 위해 특정 물체를 학습한 후, 스마트폰
환경에서도 실시간으로 물체 인식을 할 수 있게 하였다.
영상을 통해 물체 인식을 위한 전체 프로세스는 그림
3과 같다. 학습시킬 물체의 이미지에 대해 annotation
작업을 진행한 후 YOLOv2 알고리즘의 tensorflow
버전인 DarkFlow를 이용해서 물체의 특징을 학습시킨
모델을 만들고 이 모델 파일을 안드로이드 프로젝트로
옮긴다. 모델 파일을 포함하고 있는 안드로이드
프로젝트를 스마트폰에 설치하고 실행한 후 안전교육
콘첸츠로 진입하게 되면 어플리케이션은 카메라에서
그림 1. 프로그램 전체 구성도 물체인식을 할 이미지를 실시간으로 얻어온다. 각
이미지는 모바일 환경에서도 evaluation이 가능하게
2-1. 아이 행동 모니터링을 위한 행동 인식 하는 tensorflow lite와 YOLOv2 알고리즘을 통해 물체가
인식된다. 인식된 물체의 위치는 안전 교육 내용
아이의 행동을 모니터링하기 위해 먼저 아이가 찬 가시화를 위해 사용된다.
스마트 워치로부터 자이로, 가속도 센서값을
스마트폰으로 받아온다. 이후 이 센서 값들을
전처리하고 분류기를 적용하여 아이의 행동을 분류하게
된다. 행동 인식을 위한 절차는 그림 2와 같다.

Walking
Running
Sleeping
Eating...

Wearable Obtain data & Classify Activity

Sensors
device Feature Recognition
(LDA, QDA)
extraction

그림 2. 센서 기반 행동 인식 알고리즘 프로세스
그림 3. 실시간 물체 인식 흐름도
사용자로부터 3축의 가속도 센서 값과 자이로 센서
값을 획득하면, 센서 값들에 1차 Butterworth Lowpass- tensorflow lite와 YOLOv2알고리즘을 통해
filter을 적용하여 noise를 제거 한다. 각 센서 데이터의 evaluation한 물체의 위치에 위험성을 나타낼 수 있는
3축 값을 하나로 합치기 위해서 그 다음 이로부터 그래픽 효과를 넣어준다. Evolution한 물체가 사람일
SVM(Signal Vector Magnitude)를 구하여 first-order 때만 효과가 적용되며 이 외에는 효과가 적용되지
features로 사용하였다. Second-order feature로는 각 않는다. 그래픽 효과는 뜨거운 물체에 의한 화상, 칼과
first-order feature에 Butterworth lowpass filter를 한번 같이 날카로운 물체에 의한 자상을 표현한다. 각 표현은
더 적용하여 신호를 획득하였다. 이렇게 추출한 1차, 버튼으로써 ON/OFF를 조절한다.
2차 features들로부터 평균, 표준편차, 에너지, 신호 간

1316
 2020년 한국컴퓨터종합학술대회 논문집

3. 구현 및 실험 결과 Trial 4 75% 75%

Trial 5 100% 100%
어플리케이션의 구현 결과는 다음과 같다. Average 96% 85%
어플리케이션에 접속하면 주요 두 가지 기능으로
접속할 수 있는 버튼이 직관적으로 구성되어 있다.
사용자가 아이 안전 교육 버튼을 누르면 안전교육 4. 결론 및 향후 계획
화면으로 진입한다. 하단에 있는 3개의 버튼은 위험한
상황 3가지를 의미하며 버튼을 누르면 물체를 인식 본 논문에서는 아이들이 건강하고 안전한 생활
했을 때 위험한 상황을 보여주게 된다. 메인 화면에서 습관을 기를 수 있도록 물체 인식 및 가시화 기술을
상태 모니터링 화면으로 들어가면 아이가 현재 어떤 이용해 안전 교육 콘텐츠를 제공하고 부모가 아이의
행동을 하고 있는지 띄워준다. 상태를 모니터링 할 수 있는 어플리케이션을 제안했다.
향후에 안전 교육 콘첸츠를 더 개발하고 그에 맞는
물체인식 이미지를 더 수집해 물체인식 모델을 더
학습시킬 예정이다. 또한 아이가 흥미를 느낄 수 있는
수단으로 가시화를 하는 것뿐 아니라 버튼을 누르지
않아고 캐릭터와 소통할 수 있게 할 예정이다. 아이
행동에 대한 데이터도 지속적으로 수집해 부모가
모니터링 할 수 있는 가지 수도 늘릴 계획이다.
그림 4. 안전 교육 구현 결과 화면
참고문헌
아이 행동을 인식하는 실험 결과는 다음과 같다. 글씨를 [1]
쓰는 행동을 클래스 1로, 손을 흔드는 행동을 클래스 http://www.uplus.co.kr/css/tvin/tvpd/RetrievePsTvMs
2로 구분하여 두가지 행동 구분이 어느 정도로 vcDtl.hpi?catgDvCd=05&prodCdKey=000PPT0035,
정확한지 분석하였다. 쓰기 행동 데이터는 12개 LG U+ 아이들나라
수집되었으며, 손을 흔드는 데이터는 11개 수집되었고 [2] https://brushmon.kr/, 브러쉬 몬스터
각 행위는 약 10초 동안 수집하도록 하였다. 분석을
위해 19개의 샘플ㄴ 데이터를 트레이닝에 사용하였으며,
4개의 샘플 데이터를 테스트에 사용하였다. 추출한
특징 값과 분석 결과는 그림 5와 같다.

그림 5 데이터의 특징 추출 결과

2가지 행동에 대한 인식 결과는 표 1과 같다.

표 1 행동 패턴 인식 결과
LDA QDA
Correct rate (%) Correct rate (%)
Trial 1 100% 100%
Trial 2 80% 100%
Trial 3 100% 50%

1317