2023년도 한국통신학회 하계종합학술발표회

IoT 엣지 디바이스의 이미지 손실 압축을 위한 디코더 교환 오토인코더 기법

강석봉 1, 한태희 2*
1
성균관대학교 전자전기컴퓨터공학과, 2*성균관대학교 반도체시스템공학과

1
bongbon9@g.skku.edu, 2*than@skku.edu

Decoder-swapping autoencoder for lossy image compression of IoT edge

devices

Suk Bong Kang1, Tae Hee Han2*

1
Department of Electrical and Computer Engineering, Sungkyunkwan Univ.
2*
Department of Semiconductor Systems Engineering, Sungkyunkwan Univ.

요 약

IoT 기술의 발전에 따라 엣지 디바이스는 더 높은 압축률의 이미지 압축을 요구하고 있다. 기존 기법인 이미지 코덱은
구조 상 제한된 압축률을 가지며, 이를 극복하기 위해 인공신경망 기반 압축이 연구되고 있다. 그러나 대표적인 이미지
압축 모델인 오토인코더에 대한 기존 연구는 모델의 대칭 구조로 인해 엣지 디바이스에서 중앙 서버로 부하를 분산하는
태스크 오프로딩 구조를 충분히 활용하지 못하고 있다. 제안하는 디코더 교환 오토인코더는 레이블링된 데이터셋에
대해 디코더 측에 간소화된 분류 신경망과 레이블 별 가중치 맵을 추가하여 이미지 복원 품질을 향상하며, 인코더 측의
부하는 기존 오토인코더와 동일하게 유지한다. Tensorflow 환경에서 MNIST 데이터셋으로 실험하였을 때, 디코더 교환
오토인코더는 기존 오토인코더의 이미지 복원 결과에 비해 PSNR, SSIM, MSE 가 각각 3.7%, 1.42%, 10.8% 향상되었다.

Ⅰ. 서 론 인공신경망 기반 이미지 압축 기술이 연구되고 있으며,

대표적인 모델로 오토인코더가 있다. 그림 1 과 같이,
사물 인터넷(Internet of Things, IoT)의 범위가 급격히
오토인코더는 출력(X')이 입력(X)과 동일하도록 학습되는
확장하며, IoT 시스템은 더 많은 수의 엣지 디바이스를
인공신경망 모델이다. 잠재 레이어는 입력보다 작은
연결하여 방대한 양의 데이터를 생성하고 있다. 그러나
크기로 설정되어 의도적인 병목 현상을 일으키며,
각 디바이스의 데이터를 중앙 서버로 수집하는 과정에서
디코더는 잠재 레이어의 압축 데이터(Z)에서 원본
발생하는 병목 현상을 극복하기 위해, 엣지 디바이스는
이미지를 복원하도록 학습된다. 이미지 압축 시,
더욱 효율적인 데이터 압축 기술을 요구한다.
인코더는 엣지 디바이스 측에 배치되어 압축 데이터 Z 를
특히, 이미지 손실 압축 분야는 압축률 면에서 한계를
생성하여 송신하고, 중앙 서버는 미리 학습된 디코더를
맞고 있다. 전통적인 이미지 코덱은 압축 시 인간의 시각
사용하여 원본 이미지를 복원할 수 있다. 오토인코더
인지에 불필요한 데이터가 우선 제거되도록 제약 조건을
기법은 동일 압축률에서 원본 이미지와 복원 이미지 간
설정한다. 예를 들어, JPEG 코덱은 밝기 성분(Y) 보다
이미지 유사도(PSNR, SSIM 등)에서 상용 이미지 코덱을
시각 인지에 영향이 적은 색차 성분(Cb, Cr)에 대한
능가할 정도로 발전하였다[2].
다운샘플링만을 허용한다. 이런 제약 조건은 압축률 대비
그러나, 대다수의 오토인코더 연구는 코덱 기반 이미지
시각 정보 손실을 최소화하나, 코덱의 압축률을 제한한다.
압축을 모방하여 단일 모델로 다양한 압축률을 제공하는
기능에 집중되어 있을 뿐, IoT 환경이 제공하는 태스크
오프로딩 구조에 적합한 오토인코더 구조를 제시하지
못하고 있다. 본 연구는 IoT 환경의 태스크 오프로딩을
활용하도록 설계된 새로운 오토인코더 구조를 제안한다.
Ⅱ. 본론
그림 1. 오토인코더의 구조
제안하는 디코더 교환 오토인코더(DSAE, decoder-
한편, 경량 장치에서 직접 인공지능 연산을 수행하는
swapping autoencoder)는 비지도 학습으로 제안된
엣지 AI[1] 개념의 등장에 따라, 이미지 코덱을 대체할

0911
www.dbpia.co.kr
 2023년도 한국통신학회 하계종합학술발표회

오토인코더 구조에 지도학습을 위한 레이블 처리된 평균적으로 PSNR 3.7% 증가, SSIM 1.42% 증가, MSE 10.8%
데이터셋에 대해, 각 레이블마다 개별 학습한 디코더를 감소하는 성능 향상을 보였으며, 분류 신경망(파라미터
사용하여 복원 이미지의 품질을 높인다. 즉, 엣지 수: 6922 개)은 97.64%의 분류 정확도를 보여 다른
디바이스에 해당하는 인코더 측의 연산량과 메모리 목적으로 학습한 범용 인코더를 그대로 사용하더라도
접근은 기존과 동일하게 유지되며, 중앙 서버에 충분히 성능을 유지함을 보였다.
해당하는 디코더 측에 연산 부담을 집중한다. 기법 PSNR SSIM 압축률 비고
AE 19.97 0.8865 12.25 Z = float[16]
DSAE 20.71 0.8964 12.25 Z = float[16]
JPEG 18.91 0.7580 2.113 Q factor: 2
JPEG2000 16.75 0.7310 3.308 Bit rate: 3.3
HEIF 19.50 0.7982 1.502 Q factor: 5
표 1. 기존 이미지 코덱과의 압축률 비교
또한, 표 1 과 같이, 기존 이미지 코덱의 저품질 압축과
비교하였을 때, 비슷한 수준의 이미지 유사도로 압축할
그림 2. 디코더 교환 오토인코더 시 오토인코더를 사용한 이미지 손실 압축이 약 4 배
그림 2 와 같이, DSAE 범용 인코더, 분류 신경망, 이상의 압축률을 가지는 것 역시 확인하였다.
교환 디코더의 세 가지 영역으로 나뉜다. 범용 Ⅲ. 결론
인코더는 기존 오토인코더와 동일하게 데이터셋
디코더 교환 오토인코더는 IoT 환경의 태스크
전체를 학습한 단일 모델로, 엣지 디바이스에 배치되어
오프로딩을 충분히 활용하기 위해, 인코더의 연산 부하는
이미지 압축(X → Z)을 수행한다. 분류 신경망은 압축
유지한 채 디코더 측에 간소화된 분류 모델을 추가하고
데이터 Z 를 입력으로 입력 X 의 레이블 𝑖를 추정하고,
디코더의 가중치 맵을 레이블 별로 따로 저장하는
해당하는 레이블의 디코더 가중치 𝑊 를 교환 디코더에
기법으로 더 높은 품질의 이미지 복원을 제공한다. 단,
불러온다. 교환 디코더는 인코더와 대칭적인 단일
본 연구는 디코더 학습에 이미 레이블링 된 이미지
구조를 가지는 모델이나, 그 가중치가 분류 신경망이
데이터셋을 사용하였으나, 기존 오토인코더와 레이블별
예측한 레이블에 따라 변경된다. 디코더 교환
디코더를 개별 비교하면 복원 품질이 오히려 하락한
오토인코더의 학습 순서는 다음과 같다.
라벨별 디코더(그림 3 의 DSAE 2, 5, 8)이 존재하는 것을
1. 범용 인코더: [인코더-디코더] 구조를 데이터셋
확인할 수 있다. 이러한 문제에 대하여 일부 레이블들을
전체에 대해 학습하여, 인코더 영역을 사용.
하나의 군집으로 취급하여 학습한 경우 추가적인 성능
2. 교환 디코더: 범용 인코더의 가중치를 고정하고,
향상이 있는 것을 확인하였으며, 차후 연구로 범용
[범용 인코더-레이블별 디코더] 구조를 각
인코더의 결과(Z)에 따라 재분류한 데이터셋을 사용하여
레이블에 해당하는 부분 데이터셋에 대해
제안한 기법을 개선하는 연구를 수행 중이다.
학습하여, 디코더 영역을 사용.
3. 분류 신경망: 범용 인코더의 가중치를 고정하고, ACKNOWLEDGMENT
[범용 인코더-분류 신경망] 구조를 데이터셋 본 연구는 2023 년도 정부 (과학기술정보통신부)의 재원으로 한
전체에 대해 학습하여, 분류 신경망 영역을 사용. 국연구재단-시스템반도체융합전문인력육성사업(No.2020M3H2A
1076786), 정보통신기획평가원의 지원 (No.2019-0-00421, 인공
지능대학원지원(성균관대학교)) , 2023 년도 산업통상자원부 및
산업기술평가관리원(KEIT) 연구비 지원('20011074'), 교육부 및
한국연구재단의 4 단계 두뇌한국 21 사업(4 단계 BK21 사업)으
로 지원된 연구임.

참 고 문 헌

[1] 이용주, 외. "엣지 AI 기반 인공지능 모델 최적화 및 경량화

그림 3. AE, DSAE 의 이미지 복원 성능 측정
기술개발 최종보고서." 한국전자통신연구원. 2020. 보고서
실험은 Tensorflow[3] 환경에서 MNIST 데이터셋[4]을 번호: 2020-0-02215.
기존 오토인코더와 DSAE 에 각각 학습하여 원본 [2] Theis, Lucas, et al. "Lossy image compression with
이미지와 복원이미지의 이미지 유사도 (PSNR, SSIM)를 compressive autoencoders." arXiv. 2017. arXiv:1703.00395
[3] Abadi, Martín, et al. "Tensorflow: Large-scale machine
측정하는 방식으로 진행되었으며, 모델은 압축 데이터가
learning on heterogeneous distributed systems." arXiv
64 바이트가 되도록 조정하여, 인코더 29720 개, 디코더 preprint arXiv:1603.04467 (2016).
28073 개의 파라미터로 구성되었다. 그림 3 과 같이, [4] Deng, Li. "The mnist database of handwritten digit images
for machine learning research [best of the web]." IEEE signal
DSAE(DSAE Total)가 기존 오토인코더(AE)에 비해
processing magazine 29.6 (2012): 141-142.

0912
www.dbpia.co.kr