Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

2022/08/19

 

1. abstract

 

####

 

Diffusion Models are generative models, meaning that they are used to generate data similar to the data on which they are trained.

 

####

 

보통의 diffusion model은 가우시안 노이즈를 더하고 이미지 복구 연산(image restoration operator)을 사용하는데, 이 연산이 degradation을 유발한다.

 

우리는 diffusion model의 생성하는 행동(generative behavior)이 image degradation(이미지의 화질을 떨어뜨림)에 강하게 의존하지 않는다는 점을 발견했고,

 

사실은 전체 생성 모델들이 이러한 image degradation을 변화시키면서 만들어질 수 있다.

 

심지어 완전한 결정적인 degradation(completely deterministic degradations) 예를 들어 blur, masking 등을 사용할때도 diffusion model에 들어있는 training과 test time 업데이트 룰이 생성 모델을 만드는데 쉽게 일반화될 수 있다

 

이러한 완전한 deterministic model의 성공은 gradient Langevin dynamics, variational inference에서의 noise에 의존하는 diffusion model에 대한 공동체들의 이해를 불러일으켰고, 

 

임의의 과정(arbitrary process)으로 변화시키는 일반화된 diffusion model에 대한 길을 만들어주었다.

 

2. introduction

 

diffusion model들은 최근에 생성 모델을 위한 강력한 도구로 나타났다. 

 

diffusion model은 다양한 형태가 있지만 모두 random noise를 제거하는 개념에서 만들어진다. 

 

image restoration/ denoising network는 가우시안 이미지로 오염시킨 이미지를 받아들여, noise를 제거한 이미지를 내놓는다.

 

test 과정에서 denoising network는 순수한 가우시안 노이즈를 현실 이미지로 바꾸는데 denoiser와 가우시안 노이즈를 더하는 것 사이를 교대로 왔다갔다하면서 업데이트하는 룰을 사용한다.,

 

업데이트의 올바른 과정이 적용될때, 복잡한 생성 행동이 관찰된다.

 

diffusion model의 기원과 우리의 이러한 모델의 이론적인 이해는 training과 generation 동안에 가우시안 노이즈의 역할에 기반한다.

 

diffusion은 각 스텝마다 가우시안 노이즈를 요구하는 Langevin dynamics를 사용한 이미지 밀도함수에서의 random walk로 이해된다.  

 

이 walk는 고온상태(heavy noise)에서 시작하여 느리게 cold 상태(noise가 매우 적은 상태)로 들어간다. 

 

다른 계열의 논문은 가우시안 이전 variational inference를 사용한 denoising network의 손실(loss)에서 나온다

 

우리는 이 논문에서 실제로 적용할 diffusion model을 위해 모든 랜덤과정에서 가우시안 노이즈의 필요성을 조사했다. 

 

우리는 diffusion model이 유발하는 이론적인 프레임워크에 충돌하지 않도록 일반화된 diffusion model을 고려했다.

 

가우시안 노이즈로 모델링 하는것에 제한하는 것보다 우리는 blurring, downsampling 같은 임의의 이미지 변환에서 모델링 하는 것을 고려했다.

 

우리는 단순한 Lp loss를 사용하여 노이즈가 들어간 모습을 다시 원래대로 만드는 restoration network를 train했다.

 

우리는 test에서 restoration model과 degradation operation사이를 왔다갔다하면서 업데이트하는 과정을 적용했는데, 생성하는 행동이 나타났고, 우리는 현실 이미지를 얻었다.

 

cold diffusion의 존재는 training이나 testing에서 가우시안 노이즈를 필요로 하지 않는데 이는 우리의 diffusion model의 이론적인 이해에 대한 의문점을 제기한다.

 

또한 이는 전통적인 diffusion보다 매우 다른 성질을 가지는 새로운 타입의 생성 모델의 잠재력을 열어줄 수 있다.

 

 

 

 

 

 

 

https://paperswithcode.com/paper/cold-diffusion-inverting-arbitrary-image

Papers with Code - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

 

 

https://velog.io/@claude_ssim/%EA%B3%84%EC%82%B0%EC%82%AC%EC%A7%84%ED%95%99-Image-Restoration

[계산사진학] Image Restoration - Image Degradation