Professional Documents
Culture Documents
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘
676-684)
https://doi.org/10.9717/kmms.2022.25.5.676
압축 왜곡 감소를 위한 CNN 기반
이미지 화질개선 알고리즘
이유호†, 전동산††
ABSTRACT
As realistic media are widespread in various image processing areas, image or video compression is
one of the key technologies to enable real-time applications with limited network bandwidth. Generally,
image or video compression cause the unnecessary compression artifacts, such as blocking artifacts and
ringing effects. In this study, we propose a Deep Residual Channel-attention Network, so called DRCAN,
which consists of an input layer, a feature extractor and an output layer. Experimental results showed
that the proposed DRCAN can reduced the total memory size and the inference time by as low as 47%
and 59%, respectively. In addition, DRCAN can achieve a better peak signal-to-noise ratio and struc-
tural similarity index measure for compressed images compared to the previous methods.
Key words: Computer Vision, Deep Learning, Convolutional Neural Network, Image Processing, Image
tion) 과정을 통해 고주파 영역을 제거하는 손실 압축 가우시안 필터(Gaussian Filter) 등의 방법을 사용하
기술이다. 이때, 양자화 과정에서 발생하는 고주파 였다. 여기서 평균값 필터 적용 시 필터에 적용되는
Receipt date : Mar. 30, 2022, Revision date : May 11, 2022 research fund.
www.dbpia.co.kr
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘 677
www.dbpia.co.kr
678 멀티미디어학회 논문지 제25권 제5호(2022. 5)
구조로 구성되었다. Dilation Factor 와 재귀적인 40 입력 피처 맵(C)을 Global Average Pooling 방법으
개의 컨볼루션 레이어를 통해 기존의 방법보다 피처 로 1×1×C 형태의 벡터로 변환되어 각 채널의 가중치
맵을 효율적으로 추출할 수 있지만 네트워크 복잡도 를 훈련하고 Sigmoid 활성화 함수를 통해 출력되는
대비 최대 신호 대 잡음비(Peak Signal-to-Noise 구조를 가지고 있다. 따라서 입력 피처맵과 Squeeze
가지고 있다. 상술한 네트워크들은 매개변수의 수와 Block 과 Channel Attention Block 방법을 적용하여
이에 따른 합성곱 연산량이 증가됨에 따라 성능이 기존 AR 네트워크 대비 높은 화질개선 개선 성능을
향상되는 반면, 복잡한 네트워크 구조를 가지고 있어 내는 저경량 AR 네트워크를 설계하였다.
제한된 하드웨어 플랫폼 환경에서 동작하기 어려운
문제가 발생할 수 있으며, 화질개선을 최대한 보장하 3. 제안 방법
면서 저복잡도 환경에서 동작할 수 있는 경량화 된
본 논문에서는 Fig. 3 와 같이 JPEG 압축으로 생성
AR 신경망 설계의 필요성이 대두되고 있다.
된 압축 아티팩트를 제거하기 위한 DRCAN(Deep
Fig. 2 는 CNN 에서 사용되는 대표적인 네트워크
Residual Channel-Attention Network) 을 제안한다.
구성요소 세 가지를 보여주고 있다. 에 도시
Fig. 2(a)
는 DenseNet[25] 에서 기울기 소실 문제를 해결하기 CBA block 의 융합구조로 4개의 Resblock 과 Con-
는 입력값 또는 기울기에 대한 정보가 네트워크 끝단 한 2개의 CBA block 그리고 2개의 skip connection
또는 시작점에 도달할 때 대부분 사라지는 기울기 으로 설계하였다. 컨볼루션 번째 레이어의 연산은
소실 문제를 해결하기 위해 제안되었다. 이는 각 레 로 표시되고 식 (1)과 같이 이전 피처 맵( )에서
이어의 피처 맵의 정보를 이후 진행되는 레이어에 출력 피처 맵( )을 계산한다.
연결 해줌으로써 모든 레이어들로부터 추가적인 정
∙ (1)
보를 얻게됨에 따라 피처 맵의 정보가 소실되는 것을
막아주는 기법으로 네트워크의 성능을 높이는 역할 식(1)에서 , , 그리고 ∙는 각각 활성화 함
을 하지만 컨벌루션 레이어가 깊어질수록 생성되는 수, 필터 가중치, 편향 그리고 컨볼루션 연산 표기법
피처맵에 대한 컨벌루션 연산 및 메모리 요구량이 비 을 나타낸다. Fig. 4 는 특징 추출기 (Feature Extrac-
례하여 증가하게 된다. Fig. 2(c) 는 SENet(Squeeze tor) 의 Resblock 과 CBA block 의 구조를 나타내고,
and Excitation Network)[26] 에서 제안된 방법이며, Fig. 4(a) 는 입력 값 을 받은 뒤 64 개의 출력
Fig. 2. Component of CNN-based network blocks. (a) Residual Block, (b) Dense Block, and (c) Channel Attention
Block.
www.dbpia.co.kr
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘 679
Fig. 3. Overall architecture of the proposed DRCAN. Symbol ‘ +’ indicates the element-wise sum.
Fig. 4. Architecture of Feature Extractor block. (a) Resblock and (b) CBA block. Symbol ‘+’ indicates the element-wise
sum.
피처 맵을 가진 컨볼루션 레이어 5개를 가진다. 그리 Table 1. Hyper parameters of the proposed DRCAN.
고 입력 값과 Skip Connection 으로 연결되어 출력되 Hyper Parameters Options
www.dbpia.co.kr
680 멀티미디어학회 논문지 제25권 제5호(2022. 5)
Input size ( FIn ) 40×40×1 ference Time) 측정을 수행하여 비교하였다. Table
Table 3. PSNR (dB) comparisons on the test dataset. The best results of dataset are shown in bold.
Dataset Quality Factor JPEG [1] ARCNN [18] DCSC [23] Ours
Table 4. SSIM comparisons on the test dataset. The best results of dataset are shown in bold.
Dataset Quality Factor JPEG [1] ARCNN [18] DCSC [23] Ours
www.dbpia.co.kr
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘 681
Table 5. Comparisons of the network complexity be- Table 6. AR performances according to loss functions
tween the proposed DRCAN and the previous on test dataset.
methods.
Loss function
5. 결 론
REFERENCE
online: https://developers.google.com/speed/
www.dbpia.co.kr
682 멀티미디어학회 논문지 제25권 제5호(2022. 5)
Fig. 7. Visual comparisons on a JPEG compressed images where the figures of the second row represent the zoom-in
for the area represented by the red box.
www.dbpia.co.kr
압축 왜곡 감소를 위한 CNN 기반 이미지 화질개선 알고리즘 683
“Overview of the High Efficiency Video Nadler, and R. Basri, “On Detection of Faint
tions on Circuits Syste m Vide o Te chnology, on P atte rn Analysis M achine I nte llige nce ,
Vol. 22, No. 12, pp. 1649-1668, 2012. Vol. 42, No. 4, pp. 894-908, 2019.
[ 3 ] G. Wallace, “The JPEG Still Picture Com- [12] J. He, S. Zhang, M. Yang, Y. Shan, and T.
Consumer E lectronics, Vol. 38, No. 1, pp. 18- work for Perceptual Edge Detection,” I EEE
[ 4 ] S. Kim, D. Jun, B. Kim, H. Lee, and E. Rhee, I nte llige nce , Vol. 10, pp. 1-14, 2020.
“Single Image Super-Resolution Method Using [13] J. Park and E. Lee, “Human Activity Recogni-
Applied Sciences, Vol. 11, No. 3, pp. 1092, 2021. J ournal of Korea M ultimedia Society, Vol. 23,
[ 5 ] Y. Lee, D. Jun, B. Kim, and B. Lee, “Enhanced No. 12, pp. 1540-1551, 2020.
Single Image Super Resolution Method Using [14] N. Kwak, H. Sin, J. Yang, and T. Song, “CNN
Lightweight Multi-Scale Channel Dense Net- Applied Modified Residual Block Structure,”
work,” Sensors, Vol. 21, No. 10, pp. 3351, 2021. J ournal of Korea M ultimedia Society, Vol. 23,
Bai, K. Bhatia, et al, “Image Super-Resolution [15] Y. Lecun, B. Boser, J. Denker, D. Henderson,
Atlas PatchMatch,” I nte rnational Confe re nce tion Applied to handwritten Zip code Recogni-
on M edical I mage Computing and Computer- tion,” N e ural Computation, Vol. 1, No. 4, pp.
[ 7 ] T. Tung and C. Fuh, “ICEBIM: Image Con- [16] A. Hore and D. Ziou, “Image Quality Metrics:
trast Enhancement Based on Induced Norm PSNR vs. SSIM,” P roce e dings of the I nte r-
and Local Patch Approaches,” I E E E Acce ss, national Confe re nce on P atte rn R e cognition,
[ 8 ] K. Srinivas, A. Bhandari, and A. Singh, [17] Z. Wang, A. Bovik, H. Sheikh, and E. Simon-
“Exposure-Based Energy Curve Equalization celli, “Image Quality Assessment: From Error
Images,” I EEE Transactions on Circuits Transaction on I mage P roce ssing, Vol. 13,
System Video Technology, Vol. 30, No. 12, pp. No. 4 pp. 600-612, 2004.
[ 9 ] J. Wang and Y. Hu, “An Improved Enhance- “Compression Artifacts Reduction by a Deep
ment Algorithm Based on CNN Applicable for Convolutional Network,” P roce e dings of the
Weak Contrast Images,” I E E E Acce ss, Vol. I nternational Conference on Computer Vision,
[10] Y. Liu, Z. Xie, and H. Liu, “An Adaptive and [19] K. Zhang, W. Zuo, Y. Chen, D. Meng, and L.
Robust Edge Detection Method Based on Zhang, “Beyond a Gaussian Denoiser: Resid-
Edge Proportion Statistics,” IEEE Transac- ual Learning of Deep CNN for Image Denois-
tion on I mage P rocessing , Vol. 29, pp. 5206- ing,” I E E E Transaction on I mage P roce ss-
[11] N. Ofir, M. Galun, S. Alpert, S. Brandt, B. [20] X. Glorot, A. Bordes, and Y. Bengio, “Deep
www.dbpia.co.kr
684 멀티미디어학회 논문지 제25권 제5호(2022. 5)
Sparse Rectifier Neural Networks,” P rocee d- [27] E. Agustsson, R. Timofte, “NTIRE 2017 Chal-
ings of the F ourte e nth I nte rnational Confe r- lenge on Single Image Super-Resolution:
e nce on Artificial I nte llige nce and Statistics, Dataset and Study,” P roce e dings of the
[21] P. Liu, H. Zhang, K. Zhang, L. Lin, and W. R e cognition Workshops, pp. 126-135, 2017.
Zuo, “Multi-Level Wavelet-CNN for Image [28] K.H. Chen, J.I. Guo, J.S. Wang, C.W. Yeh, and
Restoration,” P roce e dings of the Confe re nce J.W. Chen, “An Energy-Aware IP Core
on Compute r Vision and P atte rn recognition Design for the Variable-Length DCT/IDCT
[22] R. Olaf, F. Philipp, and B. Thomas, “U-Net: forms,” I E E E Transactions on Circuits Sys-
Convolutional Networks for Biomedical Image te m Vide o Te chnology, Vol. 15, No. 5, pp.
[23] X. Fu, Z. Zha, F. Wu, X. Ding, and J. Paisley, “Image Super-Resolution Via Sparse Repre-
“JPEG Artifacts Reduction via Deep Convolu- sentation,” I EEE Transaction on I mage P ro-
tional Sparse Coding,” P roce e dings of the cessing, Vol. 19, No. 11, pp. 2861-2873, 2010.
전 동 산
nal Networks,” P roce e dings of the Confe r-
P ro-
“Squeeze-and-Excitation Networks,”
공학과(공학석사)
ce e dings of the Confe re nce on Compute r 2011년 2월 KAIST 전기및전자
2018.
2004년~2018년 한국전자통신연구원 책임연구원
2018년~2021년 경남대학교 정보통신공학과 조교수
2021년~현재 동아대학교 컴퓨터공학과 조교수
www.dbpia.co.kr