기초 diffusion probabilistic model 이론 공부 로드맵

요즘 diffusion을 사용할 일이 좀 있어서 공부를 하고 있는데 기본부터 다 이해하려고 하니 양이 좀 많아서 자료를 정리해 보았습니다. 제대로 이해하려면 stochastic differential equation은 기본으로 알아야 하는데, 수학에 약하면 application 위주로만 공부하는 것이 현실적일 것 같다는 생각도 드네요. 기초 이론을 이해하기 위한 최소한의 자료라고 보시면 될 것 같고, 최신 논문들과 application관련 논문들은 생략하였습니다. 깃헙 레포는 대부분 논문에 있기 때문에 따로 링크를 걸지 않았습니다. 블로그 자료도 많기는 한데 보통 겉핥기라 결국 논문과 코드를 뜯어보는 것을 개인적으로 추천.

기반이 되는 기초 이론

Stochastic Differential Equations 책

• Oksendal의 stochastic differential equations: stochastic differential equation에 대한 클래식한 교과서. Measure theory정도는 알아야 읽을 수 있습니다. Chapter 8까지는 보는 것을 추천.
• Solin & Sarkka의 applied stochastic differential equations. 조금 덜 수학적이라 편미분방정식 정도 알면 꾸역꾸역 읽을 수 있을 것 같아요.

Reverse time SDE

• Anderson "Reverse Time Diffusion Equation Models": 디퓨전으로 생성하는 과정은 사실 reverse time diffusion인데 reverse time diffusion도 diffusion이라는 것을 정립시킨 중요한 논문입니다.

Hamiltonian Monte Carlo 관련

• Radford "MCMC using Hamiltonian Dynamics": 초기 diffusion 관련 논문들 보면 hamiltonian dynamics 관점에서도 많이 접근하는데 결국 SDE로 이론들을 통합하게 됩니다.

Score Matching

• Hyvarinen "Estimation of Non-Normalized Statistical Models by Score Matching"
• Vincent "A connection Between Score Matching and Denoising Autoencoders": diffusion을 score matching 관점에서도 접근을 하는데 이 논문을 많이 인용하기 때문에 참고하면 좋습니다.

Langevin Dynamics

• Welling, Teh "Bayesian Learning via Stochastic Gradient Langevin Dynamics": 초기 diffusion 관련 논문들에서 langevin dynamics도 많이 사용합니다. 이 논문이 Sohl-Dickstein의 2015년도 논문의 기반이 되는 논문이라고 저는 봅니다. 결국 SDE로 다 통합...

Neural Net + Diffusion

• 2015 Sohl-Dickstein et al "Deep unsupervised learning using nonequilibrium thermodynamics" (neural net을 사용해서 diffusion process를 reverse 하는 diffusion probabilistic model 방법론을 제시한 초기 논문)
• 2020 Song, Ermon "Generative Modeling by Estimating Gradients of the Data Distribution" (neural net으로 score matching 하는 논문)
• 2020 Ho et al "Denoising Diffusion Probabilistic Models" (DDPM, Sohl-Dickstein의 2015년도 논문을 현대적인 neural net으로 잘 발전시킨 논문이라고 봅니다.)
• 2021 Song et al "Denoising Diffusion Implicit Models" (DDIM, DDPM을 빠르게 sampling 하는 관점에서 중요)
• 2021 Dhariwal, Nichol "Diffusion Models Beats GANs on Image Synthesis" (classifier guidance가 등장하는 논문, conditional generation 관점에서 중요.)
• 2021 Nichol, Dhariwal "Improved Denoising Diffusion Probabilistic Models" (L_hybrid & cosine noise schedule)
• 2021 Song et al "Score Based Generative Modeling Through Stochastic Differential Equations" (SDE와 reverse SDE로 diffusion probabilistic model을 처음으로 깔끔하게 통합해 버린 논문)
• 2021 Song, Durkan et al "Maximum Likelihood Training of Score Based Diffusion Models" (score matching loss의 weight를 잘 잡으면 score matching과 maximul likelihood loss와 연관 지을 수 있다)
• 2021 Kingma, Salimans et al "Variational Diffusion Models" (signal to noise ratio로 diffusion process를 parametrize 하는 방법과 classifier free diffusion guidance 논문에서 사용되는 식들을 이 논문에서 찾을 수 있습니다)
• 2021 Vahdat Kreis Kautz "Score-based Generative Modeling in Latent Space" (latent space에서 diffusion, autoencoder 기반으로 이론을 전개하는데 이 방법이 요즘 많이 사용되는 것 같지는 않네요.)
• 2022 Rombach, Blattmann et al "High Resolution Image Synthesis with Latent Diffusion Models" (latent diffusion은 요즘 이런 모델을 보통 의미합니다.)
• 2023 Zhang et al "Adding Conditional Control to Text-to-Image Diffusion Models": ControlNet으로 conditional diffusion 하는 방법 제안.