# Diffusion

Author: Fanyi Pu

Published: 2026-09-03

Canonical: <https://pufanyi.com/blog/ml/ml-revisit/diffusion>

Notes for Diffusion Models

## Flow and Diffusion Models

参考：([Holderrieth & Erives, 2026](https://pufanyi.com/blog/ml/ml-revisit/diffusion#bib-flowsanddiffusions2026))。

Flow models:

$$
X_0 \sim p_{\text{init}}, \quad\mathrm{d}X_t=u_t^\theta(X_t)\mathrm{d}t
$$

Diffusion Models 其实就是加入了随即运动，将其变成了 SDE：

$$
X_0 \sim p_{\text{init}},
\quad
\mathrm{d}X_t = u_t^{\theta}(X_t)\mathrm{d}t+\sigma_t \mathrm{d}W_t
$$

其中 $W_t$ 是 Brownian motion（或者叫 Wiener process）：

$$
W_0 = 0,
\quad
W_{t+h} = W_t + \sqrt{h}\epsilon_t,
\quad
\epsilon_t\sim \mathcal{N}(0, I)
$$

训练的时候，我们从数据中抽取 $z$，大部分时候我们假设模型算出来的 $p_t(\cdot\mid z)$ 满足某种分布，一般情况下我们会认为是 $\mathcal{N}(\alpha_t z, \beta_t^2I)$。这时候我们希望

$$
\left<\alpha_0, \beta_0\right> = \left<0, 1\right>,\quad\left<\alpha_1, \beta_1\right> = \left<1, 0\right>
$$

也就是从正态分布收敛到一个点 $\delta_z$（大概就是 $\mathcal{N}(z, 0)$，用 [Dirac delta function](https://en.wikipedia.org/wiki/Dirac_delta_function) 定义）。

## Reinforcement Learning

## References

Holderrieth, P., & Erives, E. (2026). *Introduction to Flow Matching and Diffusion Models*. [diffusion.csail.mit.edu](https://diffusion.csail.mit.edu/ "https://diffusion.csail.mit.edu/")