Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy
Data augmentation is an effective way to improve the performance of deep networks. Unfortunately, current methods are mostly developed for high-level vision tasks (e.g., classification) and few are studied for low-level vision tasks (e.g., image restoratio
arxiv.org
기존 High-level vision tasks에서 Data Augmentation(DA) 방법에 대한 많은 연구가 이루어졌지만 Low-level vision task 관련 DA 방법에 대한 연구는 적은 상황입니다.
이에 위 논문에서는 Super Resolution(SR) 적용되어 왔던 DA방식에 대해 분석하고, 이 결과를 바탕으로 Low-level vision task에서 사용가능한 DA 방법인 CutBlur를 제안합니다.
(1) 기존 DA 방법에 대한 연구
이미지를 추상화하는 것을 학습해야 하는 Row-level vision에서는 지역적인 pixel과 전체적인 pixel간의 관계가 매우 중요합니다.
이에 Feature space에서 진행되는 DA를 진행한 경우 Spatial information을 잃게 되어 모델의 성능 저하를 불러옵니다.
이에 반해 Pixel space에서 진행되는 Augmetation 방식은 모델 성능 상승에 도움을 줍니다.
위 표는 Pixel space에서 진행되는 Augmetation 방식을 사용했을 때 DIV2K 데이터셋, RealSR 데이터 셋에 대한 EDSR 모델 성능을 나타냅니다.
(2) Cutblur
Cutblur 방식은 아래와 같이 진행됩니다.
1. LR 이미지를 업 스케일합니다.
2. 특정 영역을 선택합니다. 이때 선택된 LR 이미지와 HR 이미지 영역의 위치는 동일해야 합니다.
3. LR 이미지에서 선택된 영역을 HR 이미지의 영역에 붙여넣고, HR 이미지에서 선택한 영역은 LR 이미지의 영역에 붙여넣습니다.
(3) Why CutBlur works for SR?
Cutblur는 실제같지 않은 패턴이나 정보를 만들지 않아 SR 성능을 상승 시키는데 기여할 수 있습니다.
Cutblur는LR 이미지의 한 영역을 동일한 위치의 HR 이미지 영역에 붙여넣기 때문에 boundary effect를 최소화 할 수 있습니다.
이를 통해 Cutblur는 SR을 위한 좋은 Regularizer로써 작용할 수 있습니다.
(4) What does the model learn with CutBlur?
우선 위 그림은 HR 이미지를 Cutblur 모델에 입력한 결과입니다.
위 그림에서 Clutblur를 적용하지 않았을때 환풍기 주위에서 실제 같지 않는 Artifacts(Over-sharpened predictions)가 발생합니다.
Clublur를 적용하였을 경우 위와 같은 Over-sharpened predictions이 일어나지 않습니다.
이와 동시에 Clublur를 적용한 경우 Residual intensity가 매우 크게 줄어듭니다.
이를 통해 이 논문의 저자들은 Cutblur를 통해 " 이미지를 어떻게" 그리고 " 이미지의 어느 위치를" super-resolve할지 배워 결국 "얼마나" super-resolve할 지 학습하게 된다고 설명합니다.
(5) Mixture of augmentation (MoA)
MoA 방식은 모델의 성능을 극대화 하기위해 Table 1의 모든 DA 방식을 적용한 것 입니다.
Training iter마다 Random으로 위 DA 방식중 1개를 선택하여 적용합니다.
