2021년 한국소프트웨어종합학술대회 논문집

야간 환경 CCTV 동영상 분석을 위한

딥러닝 기반 보행자 위험 객체 검출기 개발
황영준 송진하 문형빈 낭종호*
서강대학교 컴퓨터공학과
bigjoon@sogang.ac.kr jinhasong@sogang.ac.kr bin96525@naver.com
jhnang@sogang.ac.kr
Development of Risky Objects to Pedestrian Detector based
on Deep-Learning for Night Time CCTV Video Analysis

YoungJoon Hwang Jinha Song Hyungbin Moon Jongho Nang

요 약
최근 지능형 CCTV가 도입됨에 따라 그들의 근간이 되는 다양한 객체 검출기에 대한 연구 그리고 개발
이 진행되었다. 하지만 이러한 대부분의 객체 검출기들은 주간 환경만을 고려하여 개발되어 왔기에 조도
가 상대적으로 낮은 야간 환경에 있어서 보행자 위험 객체의 정교한 검출이 불가능하다.
본 논문에서는 CCTV영상을 입력 받아 야간에도 보행자 위험 객체를 검출할 수 있는 실시간 딥러닝
기반 객체 검출기를 제안한다. 제안하는 객체 검출기는 YOLOv4[1]를 이용한 검출기로 AIHub[2]의 데
이터셋을 재구축하였다. AIHub의 데이터셋은 클래스별 학습 데이터 양이 불균형하여 각 클래스별 객체
검출 성능에 차이가 발생하기 때문에 클래스 별로 이미지 수를 정규화하여 분포를 맞췄다. 또한 해당 데
이터셋의 클래스들은 주로 주간 영상으로 이루어져 있으며, 해당 데이터셋을 이용해 야간에도 정교한 객
체 검출 성능을 위해 데이터셋의 이미지를 흑백으로 전환하여 야간 환경과 유사하게 만들었다. 그리고
YOLOv4 모델을 학습 후 검출 성능을 분석하는 연구를 진행하였다

1. 서 론 전체 이미지 중 야간의 이미지는 약 6%만 차리를 하였

딥러닝이 빠른 발전이 이루어지며 사회분야 해결을 위
해 지능형CCTV의 연구 및 개발이 진행되었다. 이와 발
맞춰 기존의 데이터셋은 이상행동, 사람 동작 영상, 안
무영상 등을 주제로 대량으로 구축되었지만 영상마다
다른 촬영 각도와 높이, 주야간, 시간, 날씨 등에 대한
정보는 없어 제공된 데이터셋만으로 실용성 있는 객체
검출기를 제작하는 것은 힘든 사안이다.
본 논문에서는 야간 CCTV영상을 입력 받아 보행자
위험 개체물을 검출할 수 있는 실시간 딥러닝 기반 객
체 검출기를 제안한다. 제안하는 검출기는 YOLOv4를
사용하며 입력 사이즈 416x416과 608x608 두가지로
학습이 진행된다. 데이터셋의 경우 AIHub의 개방 데이
터 중 안전카테고리 중 이상행동 CCTV 영상을 사용하
였으며, 15가지 보행 장애물(person, bicycle, bus, car,
carrier, motorcycle, movable_signage, truck, bollard,
chair, potted_plant, table, tree trunk,
fire_hydrant)에 대하여 태깅된 데이터[3]를 기반으로
데이터를 재구성하는데, 해당 데이터셋에는 주간 이미지
들이 대부분이다. 269,928장 중 야간 이미지 원본
16,341장을 테스트 데이터로 사용하며 주간 이미지영상
을 흑백 처리하여 학습용 야간 이미지로 사용한다. 기존
의 학습용 데이터셋은 주간대 야간의 비율이 94:6으로
다. 이를 위해 주간 환경의 이미지에 흑백 처리를 하여
야간환경의 데이터셋을 추가 구성 및 학습하여 야간 환
경 동영상에도 강건한 객체 검출기를 개발했다.
2. 관련 연구
2.1 YOLO v4
YOLO v4는 기존의 YOLO v3[4]와 다르게 기존에 개
발된 다양한 방법들을 모두 검토하여 좋은 성능을 낼
수 있는 백본망 아키텍쳐, Detector Neck과 Faster R-
CNN[5]의 RPN, SSD[6], YOLO 등의 Detector head들
중 실시간 그리고 정량적으로 좋은 성능을 낼 수 있는
방법을 실험을 통해 찾아 Yolov4를 구현했다고 한다.
이는 실시간분석이 가능하며 검출 성능 또한 우수한 네
pole 트워크 모델이기에 본 논문에서는 CCTV에서 사용할
수 있는 Jetson NX Xavier와 같은 임베디드 보드에서
사용하기 위해 해당 모델을 이용하여 연구를 진행하였
다.
3. 딥러닝 기반의 야간 환경 객체 검출기 구현

407
 2021년 한국소프트웨어종합학술대회 논문집

<그림 1> 야간 테스트 데이터셋

<그림 2> 야간 학습용 흑백 데이터셋

3.1 보행 장애물 야간환경 데이터셋 구축 모델을 사용한다. MSCOCO의 클래스 80개 보다 많은

본 논문에서 사용한 테스트 야간 데이터셋은 <그림
1> 이다. 전체 데이터셋 269,928장 중 야간 이미지를
분류 하기 위하여 MobileNet V2[7]를 이용한 분류기를
구현했다. 사전에 태국 방콕의 주,야간 영상에서 추출한
이미지 대하여 사전 학습된 모델을 기반으로 본 논문에
서 사용한 전체 데이터셋 가운데 주,야간 데이터를 각각
500장씩 사용하여 파인튜닝 후 269,928장에 대하여 분
류하였다. 그 결과 269,928 중 17,675장이 야간 이미
지로 분류되었는데, 17,675장 중 16,341장만이 옳바른
야간 데이터셋으로서 분류기로 사용된 MobileNetV2는
약 92%의 정확도를 보였다.
클래스에 대하여 학습을 시킨다면 레이어에 대한
freezing 없이 학습을 시키는게 좋은 성능을 낼 수 있
다. 하지만 본 논문에서 검출을 목표로 하는 클래스의
개수는 15개에 불과하기 때문에 모델의 하단부터 137
개의 레이어에 대하여 freezing 후 파인튜닝을 진행하
게 된다.
전체 데이터셋 약 26만장을 주,야간 분류기를 이용하
여 100,000장에 맞춰 정제 후 <그림 2>와 같이 흑백이
미지로 변환시켜 학습을 진행한다.
4. 야간환경 데이터셋 객체 검출 성능 비교 분석

3.2 개발 환경 <표 1> 야간 검출기 성능 비교

3.2.1 학습환경 (야간데이터) IoU 0.5 IoU 0.7
학습환경은 Linux기반의 서버 컴퓨터 RTX Titan을 사
기존 검출 416x416 0.771 0.623
용하며 오픈소스인 AlexeyAB/Darknet[8]을 이용하여
기 608x608 0.863 0.742
이루어진다. map과 mjpeg 옵션을 추가하여 Loss 값이
야간 검출 416x416 0.779 0.633
감소하는지 확인하기 위해 시각화시켜 성능과 학습에
기 608x608 0.879 0.751
대한 평가를 하게 된다.

4.1 기존 객체 검출기 객체 검출 성능
3.2.2 딥러닝 기반 야간 환경 객체 검출기 개발 환경
Yolov4와 기존의 데이터셋 269,928장을 이용하여 객
야간 환경에 대한 객체 검출 중 416x416사이즈의 모
체 검출 모델을 학습시켰다. <표 1>을 보면 기존 검출
델은 Jetson NX Xavier에서 그리고 입력사이즈가
기에서는 15개의 클래스를 포함하고 있는 야간 환경 평
608x608인 모델 Server머신에서 동작하게 되며 입력
가 데이터셋에 대하여 IoU 0.5기준 입력사이즈
사이즈가 416x416인 모델에 추가로 TensorRT[9]를
416x416과 608x608 각각에 대하여 0.771과 0.863의
이용하여 모델 경량화 이후 이식되며 608x608은 그대
성능이 나왔다. IoU 0.7 기준의 경우 입력 사이즈 416
로 서버에서 동작하게 된다.
과 608 각각에 대하여 0.623과 0.742의 성능이 나왔다.
3.3 Yolov4를 통한 파인튜닝
4.2 야간 객체 검출기 야간 환경 객체 검출 성능
Linux OS 머신에서 오픈소스인 AlexeyAB/darkent를
기존의 데이터셋 269,928장 중 주,야간 분류기를 이용
이용하고 15개의 객체를 목표로 하는 보행 장애물 데이
하여 주간 이미지 100,000장을 정제 후 흑백 이미지로
터셋을 사용하여 Yolov4를 파인튜닝한다. 이 때
Yolov4에서는 MSCOCO[10]를 사용하여 사전학습 된 변환해서 객체 검출 모델을 학습 시켰다. 야간 평가 데

408
 2021년 한국소프트웨어종합학술대회 논문집
이터셋에 대하여 IoU 0.5 기준 입력 사이즈 416x416과
608x608 각각에 대하여 0.779와 0.879의 성능이 나왔
다. IoU 0.7 기준으로 입력 사이즈 416과 608 각각에
대하여 0.633 그리고 0.751의 성능이 측정되었다.
<그림 3> 일반 검출기 추론
<그림 4> 야간 검출기 추론
4.3 검출 성능 비교 분석
<그림 3>은 기존의 데이터셋 269,928장을 이용하여
학습 시킨 일반 검출기를 이용하여 추론한 결과 이미지
이다. 박스들은 threshold 0.5를 기준으로 그려졌고 목
표로한 객체들은 거의 모두 검출에 성공한 모습을 보인
다.
<그림 4>는 야간 데이터셋 100,000장을 이용하여 학
습시킨 야간 환경 객체 검출기이다. 일반 검출기와의 차
이점은 좌측 상단의 왼쪽에서 두번째에 위치한 사람의
검출 유무이다. 일반 검출기는 주간 환경의 데이터셋들
이 주를 이루게 되어 야간 환경에 작은 객체들에 대해
서는 검출 성능이 떨어지는 경향이 있는데, <그림 4>에
서 보면 성공적으로 객체를 검출한 것을 알 수 있다. 이
외에도 <그림 3>에서 우측 하단에 위치한 검은색 자동
차를 보면 자동차의 끝부분이 잘려서 검출된 것을 확인
할 수 있다. 이 부분을 <그림 4>에서 보면 잘리는 부분
없이 자동차 검출을 했다.
<그림 3>과 <그림 4>에서 보듯 정성적 그리고 <표
1>에서 일반 검출기의 성능이 0.863 그리고 야간 검출
기의 성능이 0.879로 야간 데이터셋을 이용해 학습한
검출기의 성능이 약 1%정도 더 우수하다.
주간 객체 검출 모델과 야간 객체 검출 모델을 분리하
여 사용하여도 되지만 메모리 절약 효과를 위해 일반
객체 검출기 모델에 야간 데이터셋을 이용하여 하이퍼
409
파라미터 조정을 거친 후 파인튜닝을 진행한다면 주간,
야간에도 우수한 검출 성능을 보이는 객체 검출기를 만
들 수 있을 것이다.
5. 기대 효과 및 결론
본 논문에서는 범죄의 발생률이 높은 야간 시간에 대
비하여 야간용 보행자 위험 객체 검출기를 제안하였다.
제안하는 검출기는 Yolov4를 이용해 학습 시켰으며 기
존의 데이터셋의 주간과 야간 비율의 불균형한 점을 교
정하여 야간에도 뛰어난 객체 검출 기능을 지닌 검출기
이다. 이를 통해 범죄 발생 비율이 높은 야간에도 객체
탐지를 문제없이 할 수 있게 됨으로써 치안에 높은 공
헌을 할 것으로 기대된다.
사사문구
본 연구는 행정안전부/국토교통과학기술진흥원의 지원
으로 수행되었음(과제번호 21PQWO-B153358-03).
참고문헌
[1] Bochkovskiy Alexey, Chien-Yao Wang and Hong-Yuan Mark
Liao, "YOLOv4: Optimal speed and accuracy of object detection,"
arXiv preprint arXiv :2004.10934, 2020.
[2] 한국지능정보사회진흥원, Aihub 인도 보행 영상 AI 데이터셋,
http://aihub.or.kr/aidata/ 136 (accessed April 2021).
[3] 이재우, 박운상, “Faster R-CNN 기반 보행 장애물 검출,” 대한전
기학회 학술대회 논문집, pp. 1880-1881, 2020.
[4] Redmon Joseph and Farhadi Ali “YOLOv3: An Incremental
Improvement,” arXiv preprint arXiv:1804.02767, 2018.
[5] Ross Girshick, Jian Sun, Shaoqing Ren and Kaiming He, "Faster
R-CNN: Towards real-time object detection with region proposal
networks," arXiv preprint arXiv:1506:1506.01497, 2015.
[6] Wei Liu, Anguelov Dragomir, Erhan Dumitru, Szegedy Christian,
and Reed Scott, Fu Cheng-Yang and Berg Alexander CBerg, “SSD:
Single Shot MultiBox Detector,” Proceedings of the European
Conference on Computer Vision (ECCV), pp. 21-37, 2016.
[7] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey
Zhmoginov and Liang-Chieh Chen, "MobileNetV2: Inverted
Residuals and Linear Bottlenecks," Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition, pp.
4510-4520, 2018.
[8] Alexey Bochkovskiy, Yolov4 Repository,
https://github.com/AlexeyAB/darkent (accessed November 2021).
[9] NVIDIA, TensorRT, NVIDIA ACCELERATED COMPUTING
documentation (accessed September 2021).
[10] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays,
Pietro Perona, Deva Ramanan, Piotr Dollar and C Lawrence Zitnick,
“Mocrosoft COCO: Common objects in context,” Proceedings of
the European Conference on Computer Vision (ECCV), pp, 740-
755, 2014.