Diffusion

生成模型需要做到一件有些特殊的事：面对同样的条件，它应该能给出许多不同、又都合理的结果。例如“一只坐在窗边的猫”可以对应不同的毛色、姿态和光照。训练数据提供了这些可能结果的例子，我们希望模型学到它们的分布。

Flow 和 diffusion models 从容易采样的 noise 出发，逐步改变样本。理解这个过程，需要把生成时怎样走、训练时怎样知道往哪里走联系起来。下面先从一个简单的分布变换理解生成，再构造能够训练这种变换的监督信号。

Flow and Diffusion Models

记真实数据为 $z\sim p_{\mathrm{data}}$，初始 noise 为 $ϵ\sim p_0=\mathcal{N}(0,I)$。我们希望学到一个生成过程，把不同的 $ϵ$ 变成不同的样本，使输出整体接近 $p_{\mathrm{data}}$。

本文统一使用生成方向的时间：$t=0$ 是 noise，$t=1$ 是 data，$x_t$ 表示中间状态。先讨论不带 prompt 的生成；后面再加入条件 $c$。模型可以在 pixels 上工作，也可以在压缩后的 latent space 中工作，这暂时不影响下面的推理。

Normalizing flows and continuous flows

Transforming samples also transforms their density

先看一个可以手算的例子。若

那么 $x\sim \mathcal{N}(3,2^2)$。每个 noise sample 都被拉伸两倍、再向右平移 $3$；对所有 samples 做同样的操作，就把整个分布变成了另一个分布。

复杂数据需要更灵活的 $f_{\theta }$。Normalizing flow (Grover, 2018) 用一串可逆变换构成这个生成器：

生成时，抽一个 $ϵ$，依次计算这些变换即可。可逆性还让我们能处理另一个问题：给定数据集中的一个样本 $z$，模型给它多大的 density？ 可以从 $z$ 沿变换反向计算，找到唯一对应的 $ϵ=f_{\theta }^{-1}(z)$。

这个 density 可以用来训练模型。Maximum likelihood 要让数据集中的样本得到较高的模型 density，等价于最小化

因此，生成只需要计算变换；用 likelihood 训练还需要知道变换怎样改变 density。

回到 $x=2ϵ+3$。输入区间 $[-1,1]$ 被映射到输出区间 $[1,5]$，其中的样本比例保持不变，但区间宽度翻倍。Density 是每单位长度上的概率质量，所以在对应位置要减半。

于是，任意给定的 $x$ 对应 $ϵ=(x-3)/2$，它的 density 是

例如计算 $x=5$ 的 density，要先找到输入位置 $ϵ=1$，再把 $p_0(1)$ 除以局部拉伸倍数 $2$。只做平移时，局部长度没有变化，也就不需要这个除法。

在 $d$ 维空间，长度换成局部体积，拉伸倍数由 Jacobian determinant 给出。对同维、光滑且 Jacobian 非奇异的可逆变换，change of variables (Ermon, 2023) 写成

这里 $J_{f_{\theta }}=\partial f_{\theta }/\partial ϵ$。第一项找到输入位置原有的 density，第二项补偿变换造成的局部体积变化。等价地，也可以写成 $\log p_0(f_{\theta }^{-1}(x))+\log |det{J}_{f_{\theta }^{-1}}(x)|$。

高维下，求逆和计算 determinant 可能很贵。Coupling layers (Ermon, 2023b) 通过限制每层的依赖关系，让这两步容易计算；再叠加多层，增加整体变换的表达能力。

Replacing layers with a velocity field

还可以用连续运动实现 noise 到 data 的变换。仍以 $x=2ϵ+3$ 为目标，选一条从输入走到输出的轨迹：

$t=0$ 时它等于 $ϵ$，$t=1$ 时恰好等于 $2ϵ+3$。对时间求导，得到每条轨迹的 velocity 是 $ϵ+3$。为了让生成过程只依赖当前状态，利用 $ϵ=(x_t-3t)/(1+t)$ 消去初值：

这样，“把输入直接变成输出”就被改写为“在每个位置、每个时刻给出一个移动速度”。例如初始值 $ϵ=1$ 会沿 $x_t=1+4t$ 运动，最终到达 $5$；别的初值也遵循同一个 velocity rule，形成同一个分布变换。

对于真实数据，我们不知道合适的 velocity rule，就用网络 $u_t^{\theta }(x)$ 表示它。由此得到 continuous normalizing flow（CNF） (Chen et al., 2018)：

网络的输入是当前状态和时间，输出是与状态同维的 velocity。要得到最后的样本，必须沿这个 velocity field 积分。最简单的 Euler sampler 用小步长 $h$ 近似：

这一步与 residual update 很像：在当前状态上加一个小的变化量。采样器反复调用同一个网络；步长决定每次走多远，网络决定往哪个方向、以多大速度走。复杂的 velocity field 一般没有解析解，所以实际生成使用有限步数的数值近似。

如果 velocity 足够光滑，且解在整个时间区间内存在并唯一，就能沿同一个 ODE 从终点反向积分，恢复初值。可逆的是这个完整的 flow map；velocity network 本身不需要设计成可逆网络。

How do we learn the velocity?

到这里，我们定义了生成模型的形式，尚未决定怎么训练它。记当前网络诱导的分布为 $p_t^{\theta }$，训练希望让 $p_1^{\theta }$ 接近 $p_{\mathrm{data}}$。

一种办法仍然是 maximum likelihood：从真实样本出发反向求解 ODE，同时累计沿途的 density 变化，得到 $\log p_1^{\theta }(z)$，再对它求梯度。连续运动也遵守“局部体积膨胀，density 降低”的关系，只是现在需要把这件事沿时间累计。

Likelihood training 把完整的生成映射及其 density 计算放进训练过程。另一种思路是：如果能直接构造中间状态和正确的 velocity，就可以把网络训练成一个回归器。 这就是下一节的 flow matching。

两种训练方式得到的都是 velocity network，生成时都要解 ODE。区别在训练信号：前者提高数据的 likelihood，后者匹配给定的 velocity target。

Flow Matching

A regression target we can construct

真实图片怎么从 noise 变来，我们并不知道。但训练时有一张已知图片 $z$，也能自己采样一份 $ϵ$，于是可以人为连接这两个端点。

最简单的连接是线性插值：

当 $t$ 增大，data 的份额增加，noise 的份额减少。把这两个系数分别记为 ${\alpha }_t=t$ 和 ${\beta }_t=1-t$，图中的中间图像都可以直接算出来。

这条已知轨迹的 velocity 也能直接算：$\frac{\mathrm{d}{x}_t}{\mathrm{d}t}=z-ϵ$。因此，训练时随机抽取一张图片、一份独立 noise 和一个时间点，让网络看 $(x_t,t)$，预测 $z-ϵ$：

已知的 $z$ 用来制造训练输入和 target；网络只接收当前状态与时间。 因此生成时即使没有目标图片，也能从 noise 开始，反复预测 velocity、更新状态。

一次训练只需计算一个时间点的回归 loss，无需先跑一遍生成过程。采样时则从 $t=0$ 开始，每一步的输出成为下一步的输入；这时才需要 ODE solver。

Flow Matching (Lipman et al., 2023) 用这种可构造的 conditional velocity 监督网络。Rectified Flow (Liu et al., 2023) 也使用线性插值上的 velocity regression，并通过 reflow 重新构造 noise 与 data 的配对，使后续学到的生成轨迹更直。

为了同时描述其他 noise schedules，把插值写得更一般一些 (Holderrieth & Erives, 2026)：

这里 ${\alpha }_t,{\beta }_t$ 决定每个时刻的 data 和 noise 份额。线性插值就是 ${\alpha }_t=t,{\beta }_t=1-t$；这也解释了图中两行系数的含义。一般形式的 velocity target 是

Why conditional targets give the right flow

这里还有一个关键问题：训练时，我们随意把 noise 和图片配在一起。同一个附近的 $x_t$ 可能由不同配对产生，每个配对要求的 velocity 也可能不同，网络应该听谁的？

平方误差回归会学到给定输入后的 target 均值。因此，理想网络在当前位置输出

这叫 marginal velocity field。它综合了所有可能经过这里的配对，给出一个确定的局部速度。

要理解为什么这个平均速度有用，需要看整个分布。固定 $z$ 时，$X_t$ 的随机性来自 Gaussian noise，所以内部时刻有

让 $z$ 遍历数据分布，再把这些 conditional distributions 混合起来，就得到我们希望生成过程跟随的 probability path：

固定图片的 conditional distribution 在数据端点收缩成 point mass；所有图片的混合则恢复完整的数据分布。上面的平均 velocity 恰好能搬运这个混合分布。

图中每条训练直线都有自己配对的终点，平均 velocity 产生的轨迹则可能弯曲。生成过程需要实现的是整体分布的变化：每个时刻有哪些地方更拥挤、哪些地方更稀疏。它不要求某份 noise 最后到达训练时曾随机配给它的那张图片。

Score Matching

刚才直接监督了样本的移动速度。还可以从 denoising 出发：看到一张 noisy image，模型估计其中混入了什么 noise，再利用这个估计指导生成。

连接 denoising 与分布运动的量叫 score (Wetzstein, 2026)：

它描述当前位置附近，log density 朝哪个方向增长、增长多快。例如在一维 Gaussian 中，score 指向均值；在多峰分布中，它根据附近各个峰的相对影响而变化。由于对 log density 求导，乘在 density 上的归一化常数会消失。

直接监督 ${\mathrm{\nabla }}_x\log p_t(x)$ 仍然困难，因为我们只有数据 samples，没有 $p_t$ 的解析式。不过，对一张已知的 clean image 加噪，conditional distribution 是前面写出的 Gaussian，其 score 可以手算。固定 $z$ 和 $t$，将图片看作 $d$ 维向量，在 时，这个 Gaussian 的 log density 为

对 $x$ 求梯度时，第一项是常数，导数为零；平方距离的梯度是 $2(x-{\alpha }_{t}z)$，因此

在实际构造的样本 $x_t={\alpha }_{t}z+{\beta }_tϵ$ 处，$x_t-{\alpha }_{t}z={\beta }_tϵ$，所以这个条件 score 就是 $-ϵ/{\beta }_t$。这里的 $ϵ$ 是我们自己加入的 noise，因此可以用 $-ϵ/{\beta }_t$ 作为已知 target，做 denoising score matching：

其中 控制不同时间点的训练权重，${\beta }_t$ 是所加入 noise 的标准差系数。

这与 flow matching 的训练逻辑相同：网络只看 $(x_t,t)$，平方误差使它学到 conditional targets 的均值；这个均值正是 marginal score。令 $s_t^{\theta }=-{ϵ}_{\theta }/{\beta }_t$，并取 $w(t)={\beta }_t^2$，上式就变成直接预测 noise：

因此，“预测加入的 noise”给出了学习 score 的简单训练方式。生成时，我们再把这个预测转换成需要的 denoising direction 或 sampler update。

Noise, data, and velocity prediction

一张 noisy image 里，clean data 和 noise 通过同一个混合公式联系在一起。知道其中一个的估计，就能推出另一个；对同一条 path，也能换算出 velocity。以 $x_t=tz+(1-t)ϵ$ 为例：

这些输出表达了相关的信息，但各自的 MSE 会给训练误差不同的权重。例如在线性路径上，由 $\hat{z}=x_t+(1-t)u_t^{\theta }$ 得到

同样大小的 velocity error，在靠近 data 的时刻对应更小的 clean-data error。因此选择训练目标时，prediction target、时间采样分布和 loss weighting 需要一起考虑。

当噪声很大时，许多不同图片都能解释当前输入，$\hat{z}=\mathbb{E}[z\mid x_t]$ 可能只是一个模糊的平均结果。随着 sampler 更新状态，网络获得的信息改变，之后的预测也会改变。这解释了为什么一个擅长 denoising 的网络仍然需要多步生成。

ODE and SDE Sampling

前面已经学到了 velocity $u_t(x)$：给定当前状态和时间，它告诉我们样本应该怎样移动。现在的问题是，生成时，每一步一定要完全按照这个方向走吗？如果再加一点随机扰动，还能得到同样的数据分布吗？

Starting from a sampling step

先看已经熟悉的 Euler update。把从 $t$ 到 $t+h$ 的时间间隔记为 $h$，一次更新是

假设 $x_t=2$，网络在这里给出的 velocity 是 $-1$，步长 $h=0.1$，那么下一状态就是 $1.9$。固定输入后重复这一步，答案总是相同的。ODE 生成的多样性来自一开始抽取的 noise；后面怎样走，由初值和 velocity field 决定。

也可以让下一状态不再是唯一的 $1.9$，而是从它附近随机抽取。实现上，只需额外采样一个独立的标准 Gaussian noise：

例如 ${\sigma }_{\mathrm{step}}=0.2$ 时，一维的下一状态服从 $\mathcal{N}(1.9,{0.2}^2)$。每一步都重新抽取 $\xi$，同一个初值就能走出不同的路线。后面的 RL post-training 会利用这种随机性，尝试不同的后续生成结果。

但是，改变一个 sample 的走法，也可能改变所有 samples 最后形成的分布。 原来的 $u_t$ 已经负责把 noise 搬运成 data；直接在它上面叠加 noise，并不能保证仍然到达原来的目标。先用一个简单例子看清楚这个问题。

Adding noise changes the distribution

暂时不做 noise 到图片的变换，考虑一个更容易检查的目标：已有一批 $X\sim \mathcal{N}(0,1)$ 的样本，希望它们随机动一动后，整体仍然服从 $\mathcal{N}(0,1)$。这里用 $X$ 表示随机变量，$x$ 表示一次具体取值；讨论 $X$ 的分布，就是讨论大量这样的取值整体如何分布。

如果给每个样本都加上独立 noise $0.6\xi$，得到

虽然 noise 的均值为零，正负扰动平均起来会抵消，但方差会相加。所以均值仍然是 $0$，分布却变宽了。这就是“noise 把样本散开”的具体含义。

为了给新增的 $0.36$ 方差留出空间，可以先把原有样本乘以 $0.8$：它们朝均值 $0$ 收缩，方差变成 ${0.8}^2=0.64$。再加上刚才的 noise：

这时 $X^{\prime }$ 仍然是 Gaussian，均值和方差也都没变，因此确实仍服从 $\mathcal{N}(0,1)$。单个样本的位置变了，整个分布却保持不变。

这个例子说明了需要配合的两种作用：随机扰动把分布摊开，确定性的移动补偿这部分变化。 只加 noise 会越来越散；只向均值收缩，又会让样本越来越集中。

From this example to a score correction

上面的 $0.8$ 和 $0.6$ 是为了方便看清两份方差。要把更新做成许多小步，先规定一个长度为 $h$ 的时间间隔新增 $h$ 的 noise variance，即加上 $\sqrt{h}\xi$。相应地，在这个标准 Gaussian 例子中，保持方差的更新是

因为 $(1-h)+h=1$，它与刚才的例子完全相同；$h=0.36$ 时，两个系数恰好就是 $0.8$ 和 $0.6$。当 $h$ 很小时，$\sqrt{1-h}\approx 1-h/2$，因此这一步近似为

现在再看前面定义过的 score。对于 $p(x)=\mathcal{N}(x;0,1)$，

所以刚才那项“往回拉”的移动 $-hx/2$，恰好就是 $hs(x)/2$。在这个例子中，score 为正的位置向右移，为负的位置向左移；离均值越远，补偿移动越大。系数 $1/2$ 来自方差的平衡。

真实生成过程中的 $p_t$ 会随时间变化，也可能有许多峰，不能一律往某个全局均值拉。所需的局部方向由当前分布的 $s_t(x)={\mathrm{\nabla }}_x\log p_t(x)$ 给出。若每单位时间加入 $g_t^2$ 的 noise variance，对应的补偿 velocity 是 $g_t^2{s}_t(x)/2$。

于是，保留原来负责生成的 $u_t$，再配上补偿和新 noise，得到小步采样公式：

这里 $g_t\ge 0$ 控制新 noise 的强度，可以由 sampler 指定。$g_t=0$ 就回到原来的 Euler ODE update； 时，noise 与 score correction 必须成对加入，才能在连续时间下保持原来的分布演化 (Holderrieth & Erives, 2026)。上面的 Gaussian 计算解释了这种配合；一般分布下的证明放在下面的 details 中。

Reading the SDE notation

为什么新 noise 是 $g_t\sqrt{h}\xi$，而不是 $g_{t}h\xi$？因为我们希望同一段时间积累的随机性，不随把它切成多少步而改变。暂时固定 $g_t=g$：一个长度为 $h$ 的区间贡献方差 $g^{2}h$；拆成两个半步，每步贡献 $g^{2}h/2$，独立相加后仍然是 $g^{2}h$。若标准差与 $h$ 成正比，两个半步的总方差就会比一个整步少一半。

把这些独立的 Gaussian 增量连续积累起来，就得到 Brownian motion，记为 $W_t$。它在长度为 $h$ 的区间上的增量满足

不相交区间上的增量独立。$W_t$ 记录累积的随机扰动；采样代码每一步只需生成它的增量 $\sqrt{h}\xi$。

连续时间下，把总的确定性移动速度记为 drift

就可以把刚才的采样过程写成 stochastic differential equation（SDE）：

读这个式子时，$b_t\mathrm{d}t$ 对应小步公式里的 $h{b}_t$，$g_t\mathrm{d}{W}_t$ 对应 $g_t\sqrt{h}\xi$。前面的离散近似就叫 Euler–Maruyama sampler。$b_t$ 是在原 velocity 上加了补偿后的速度；$W_t$ 表示沿途新增的随机性。

在相同初始分布、准确的 $u_t$ 和 $s_t$、以及保证方程成立的正则性条件下，这个连续时间 SDE 与原 ODE 在每个时刻具有相同的分布 $p_t$ (Song et al., 2021)。这里的“相同”指：各自生成大量 samples，在同一个时刻比较它们的位置分布；单个 sample 不需要走相同的路线。

图中 $p_t=\mathcal{N}(t,(1-0.6t{)}^2)$ 的均值逐渐右移、分布逐渐变窄。左边只有原来的 flow，右边还加入了配套的 score correction 和 noise。两边的理论分布相同，右边的具体轨迹却会不断随机偏转。

连续时间的结论也不代表任意有限步长都精确。例如刚才的 Gaussian 更新用 $1-h/2$ 近似 $\sqrt{1-h}$ 后，方差变成 $(1-h/2{)}^2+h=1+h^2/4$，会留下一个小的误差。实际模型还存在 velocity 和 score 的预测误差；使用 SDE 并不自动保证生成质量更好。

DDPM and DDIM

DDPM: learning the reverse of a noising chain

前面直接描述连续时间的分布运动。DDPM (Ho et al., 2020) 提供了一条容易构造训练问题的路线：先把真实图片逐步加噪，再学习每一步怎样把噪声去掉。

这一节用离散索引 $k$ 记录加噪次数：$Y_0=z$ 是 data，我们希望经过足够多步后，$Y_K$ 接近标准 Gaussian。它与前面的生成时间 $t$ 方向相反。

先设计加噪的一步。为了逐渐抹去图片信息，可以把已有样本缩小一些，再加入独立的 Gaussian noise。暂时把两个系数留作未知量：

其中 $c_k,d_k\ge 0$，${\xi }_k$ 与已有样本独立。$c_k$ 决定原有内容保留多大幅度，$d_k$ 决定新 noise 的标准差。

还需要决定整个过程的数值尺度。既然选定的终点是 $\mathcal{N}(0,I)$，一个自然的要求是：如果输入已经服从这个分布，再加一步噪声，它仍然服从这个分布。 这样，在图片信息逐渐消失时，noise 的尺度有一个稳定的目标。

先在一个坐标上检查这个要求。把一个随机变量乘以 $c_k$，它到均值的距离也乘以 $c_k$，所以平方距离的平均——方差——乘以 $c_k^2$。两项独立时，方差相加。因此，若当前样本与新 noise 的方差都是 $1$，更新后的方差就是

例如，直接各取一半会得到 $1/4+1/4=1/2$ 的方差：两个独立样本平均后，更容易靠近均值，分布就变窄了。要保持刚才选定的单位方差，所需的条件于是变成

对于标准 Gaussian 输入，更新后的均值仍为零、结果仍是 Gaussian；各坐标合起来，covariance 为 $(c_k^2+d_k^2)I$。所以这个条件确实让 $\mathcal{N}(0,I)$ 保持不变。

现在选择每一步想加入多少 noise variance，把它记为 。新增方差为 $d_k^2=b_k$，剩下的方差份额就是 $c_k^2=1-b_k$。取非负系数，就得到了 DDPM 的一步更新：

给定 $Y_{k-1}$ 后，第一项是确定的，第二项是 covariance 为 $b_{k}I$ 的 Gaussian。用 $q$ 表示这个人为规定的 forward process，便可以写成

这就是 DDPM 的 variance-preserving 选择。真实图片的各坐标未必有单位方差；若某个坐标当前的方差为 $v$，下一步就是 $(1-b_k)v+b_k$，它会向 $1$ 靠近。保持单位方差，是这个加噪规则的性质。

接下来把多步更新合在一起。为了简化记号，令 $a_k=1-b_k$。第一步之后，图片系数是 $\sqrt{a_1}$，混入的 noise variance 是 $1-a_1$。第二步先把这两部分都乘以 $\sqrt{a_2}$，再加入方差为 $1-a_2$ 的新 noise：图片系数变为 $\sqrt{a_1{a}_2}$，累积的 noise variance 则是

每多走一步，都会重复这个计算：图片系数继续相乘，累积的 noise variance 补上对应的剩余份额。因此记

图片的系数就是 $\sqrt{{\overline{a}}_k}$，累积的独立 Gaussian noise 可以合并成方差为 $1-{\overline{a}}_k$ 的一项。于是，无需真的连续加噪 $k$ 次，就能直接采样同一个 $q(Y_k\mid z)$：