Fast Fourier Transform와 Transformer의 결합을 통한 이미지 복원 (2024)

다양한 기상 조건이나 열화 메커니즘으로 발생하는 이미지 손상을 복원하기 위해 FFT(Fast Fourier Transform) 메커니즘을 Transformer 구조에 통합한 SFHformer 프레임워크를 제안한다.

이 모델은 공간 도메인(Spatial domain)과 주파수 도메인(Frequency domain)을 결합한 이중 도메인 하이브리드 구조를 채택했다. 공간 도메인은 국소적 모델링(Local modeling)을 담당하고, 주파수 도메인은 전역적 모델링(Global modeling)을 수행하여 효율적인 수용 영역(Receptive field)을 확보한다.

주요 기술적 특징은 다음과 같다:

• 각 주파수 성분에서 풍부한 특징을 추출하기 위한 독자적인 위치 인코딩(Positional coding) 및 주파수 동적 컨볼루션(Frequency dynamic convolution) 설계
• 성능, 파라미터 크기, 연산 비용 간의 최적의 균형 달성

31개의 데이터셋과 10가지 복원 작업(안개 제거, 비 제거, 디블러링, 초해상도, 저조도 개선 등)에 대한 실험 결과, 기존 SOTA(State-of-the-art) 모델들을 능가하는 성능을 입증했다.