ddpm (旧)

1 AE

Autoencoder，自编码器。1980 这个思想已经被提出来了，但是由于算力限制，当时的只是用计算机加速一下 PCA 这样的东西。

PCA 本质就是一个自编码器。相当于把一个高维压缩到一个低维，然后低维再去还原回去，使得失真度尽可能低。

2006 年，提出了用深度神经网络来代替这个压缩和还原的过程。我用下面的图来解释：

​

这个神经网络输入输出都是 5 维，但是隐层 latent space 只有 2 维。然后我训练的 loss 很简单，就是 $\Vert \text{output}-\text{input}{\Vert }^2$ 。不断的这么训练。

然后我想压缩的话，就把 input 输进来，取出 latent space 的特征表示，就是压缩后的向量。

如果我想还原的话，就把刚才压缩后的向量输进后面黄色的 network ，就可以得出还原的 output。

非常精巧的思想，right？思想简单而且很好实现，我们把蓝色部分的 network 叫做 encoder ，黄色部分的 network 叫做 decoder，绿色部分的 network 叫做 latent space。

‍

2 生成模型的思考

生成模式是指，网络能生成我们未曾喂进去的数据。

上面的 AE 已经可以给我们带来启发了。既然 AE 中我们把整个 AE 分为了 encoder 和 decoder ，那么显然 decoder 是能单独提出来的啊！

假设 latent space 是 k 维，那么我随便弄一个 k 维向量，然后扔进 decoder，不就会生成出来一个东西了吗？

很好的 idea，但是这样并不 work 。也就是大概率你随便弄的 k 维向量丢进去经过 decoder 生成出来的东西是一个毫无意义的乱码。

究其本质，是因为你随机弄的 k 维向量在 latent space 中是个并无语意的点。也就是先前训练集中没有数据被映射到这个点。

降维的本质，就是从高维空间到低维空间的映射，而且大多数情况，是点对点的映射。

至此，我们似乎能稍微感受到生成模型的本质了：我们需要在一个空间中随便选点，而且这个点必须要有语义！

如何保证呢？

传统的 encoder 只能保证是点对点的映射，所以这必然会导致 latent space 中大部分点都是无意义的，而且有意义的点之间可能离得很远。

所以，我们需要构建一个新的 encoder ，使得可以完成点对分布的映射。这样大部分区域就都有意义了。

怎么弄呢？我们此时的 latent space 可以去拟合分布的参数，我就以一维正态分布（高斯分布就是正态分布）举例，假设 latent space 就俩神经元分别拟合 $\mu ,{\sigma }^2$。

然后我的 loss 有三个：$\Vert \text{output}-\text{input}{\Vert }^2$，$\Vert \mu {\Vert }^2$，$\Vert {\sigma }^2-1{\Vert }^2$。这样就保证了我训练出来的模型，既能压缩还原图片，而且其 latent space 的参数代表的分布是个标准正态分布。

但是如何完成点对分布的映射呢？感觉你这样还是点对点映射啊，只不过从高维到二维的压缩罢了。

所以训练的过程中，要引入——采样。

即每次一张图片进来，我先经过 encoder ，得到 $\mu ,{\sigma }^2$，然后根据这个分布，我去这个分布里采样一个点 $z_0$ ，然后把 $z_0$ （因为是一维分布，所以此时只有一个数）扔进 decoder ，然后得到 output。

通过这么训练，其实上就完成了点到分布的映射。因为同一张图片，因为采样的存在，所以一维坐标上的任意一点都可能被选中，然后去生成图像。相当于这张图片被映射到了整个数轴，只不过越靠近 $\mu$ 的地方，被映射训练的次数更多，也就是跟原图像越像。

这种训练方式就是思维的一个跨越，好好体会。

但是这么做的话，当我们的 input 图像很多的话，必然会使得数轴上的某点承担的“责任”过多，即可能很多图像都会被映射到这个点上，那么这个点 decoder 回去的图像就“四不像”了。所以还原效果肯定不好。说白了，就是 latent space 太小了，其表征能力不够，我们需要扩大它。

一个很自然的想法就是将其扩展到二维标准正态分布，这很好。于是 latent space 就有四个神经元，分别表示 ${\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2$ ，将 latent space 可视化如下：

​

这样子，我们再去做训练，效果会好很多。采样的时候按照二维高斯分布去采样即可。

而且，经过科学家们的实践发现，这个 latent space 居然带有含义了！具体来说，他们发现，这不是二维标准正态嘛，其中 x 轴控制的维度控制着生成图像的亮暗，$y$ 轴控制的维度控制着生成图像的数字类型（假设是 MNIST 数据集）。

这并不是我们之前人为能想到的。这是个意外发现。我们来想下为什么会出现这种情况。

因为 loss 函数的限制，我们保证了两个分布都尽可能的接近标准正态分布，而两个标准正态分布的叠加仍然是标准正态分布，所以 latent space 确实在逼近二维标准正态分布，这没问题。

而且因为我们是点对概率的映射，而正态分布能保证任意一个点都能被采样到，所以 latent space 中的绝大部分都会被采样到过至少一次，也就是说有了语义。另外，因为我们的 latent space 是个正态分布，所以越靠近 $\mu$ 的地方会被采样越多次，换句话说，越靠近 $\mu$ 的地方跟 input 长的越像。这就会使得 latent space 中的欧式距离与语义挂上了钩。

所以很自然，同一个特征变化的 input 映射到 latent space 中在坐标体现上是连续变化的。

这就可以很好的解释为什么“每个维度是 latent space 中的一个“控制开关”，控制数据的某种特性“了。

此时的 latent space 具有的两个性质，已经能很好的支持它成为一个生成模型了：

1. 绝大部分区域都具有“语义”
2. 距离与“语义”挂上了钩

那么，我们在 latent space 里任意采样一点，生成出来的图片至少会有语义。然后通过调节各个轴的取值，我们还能改变图像的某种属性。这是一个很好的生成模型。

‍

3 VAE

Variational Auto-Encoder。前面在 “2 生成模型的思考” 里我已经把 VAE 的核心 idea 讲出来了，就是将 AE 点对点的映射变为点对分布的映射。这也是 variational 变分这个单词的含义，即变换分布。

下面我直接来讲解它的框架图：

​

encoder 就是个 network 不用管。

然后 latent space 就是 $\mu ,\log \sigma$ （这里都是俩向量，表示多维）。为啥要用 $\log \sigma$ 呢？因为 network 的输出是有正有负的，所以我们就令其输出为 $\log \sigma$ ，然后算出的 $\sigma$ 就是正的了。

然后 sampled noise 是干啥呢？因为我们知道，对于 $X\sim N(\mu ,{\sigma }^2)$ ，那么 $\frac{X-\mu }{\sigma }\sim N(0,1)$。那么我们考虑逆过程，令 $Z=\frac{X-\mu }{\sigma },Z\sim N(0,1)$，然后对 $Z$ 采样，得到的 $z$ 给它乘一个 $\sigma$ ，然后加上 $\mu$ ，得到的样本就相当于从 $N(\mu ,{\sigma }^2)$ 中采样了。

这么做第一是方便，第二是我们将要丢给 decoder 的东西就带有 $\mu ,{\sigma }^2$ 了，这样反向传播的时候我们就能将影响叠到 $\mu ,{\sigma }^2$ 身上了，否则原来那样直接采样我们无法对 $\mu ,{\sigma }^2$ 进行反向传播。这算是一个小 trick 吧。

得到的 latent vector 后丢给 decoder 就可以得到输出了。

然后 VAE 的 loss 函数是 $\text{loss}=\Vert x-\hat{x}{\Vert }^2+\frac{1}{2}({\mu }_i+{\sigma }_i^2-\log {\sigma }_i^2-1)$ ，第一部分就是衡量还原的图片像不像，第二部分就是令第 i 个维度的分布尽可能接近一维标准正态分布 $N(0,1)$ （这样若干个维度共同表示的 latent space 才能是一个多维标准正态分布）。

具体第二项是怎么来的，是用 $N(\mu ,{\sigma }^2)$ 与 $N(0,1)$ 的 KL 散度推出来的。KL 散度可以看作是衡量两个分布之间差距的一种工具。这比前面我在 “2 生成模型的思考” 里提到的直接让 $\Vert \mu {\Vert }^2,\Vert {\sigma }^2-1\Vert$ 直接是 loss 的效果更好。

KL 散度

数字、货币都是衡量事物的一个东西。

那么衡量事件信息含量的东西，叫做信息量 $I(x)=-\log P(x)$ 。

衡量随机变量 $X$ 的信息含量的东西，叫做熵 $H(X)={\int }_{x\sim X}P(x)I(x)$ 。

衡量两个分布 $A,B$ 之间差距的东西，叫做 KL 散度 $KL(A||B)={\int }_{a_i\sim A,b_i\sim B}P(a_i)\left[I(b_i)-I(a_i)\right]$ 。

• 注意 KL 散度不是距离，即 $KL(A||B)\ne KL(B||A)$
• KL 散度始终 >=0，吉布斯不等式证的

‍

4 公式理解 VAE

前面 Section 1, 2, 3 都是为了让小白有更好的 AI 直觉而写的，作为初学生成模型是很好的，下面我来用公式这个角度去理解 VAE 。

规定 $x$ 为数据，$p(x)$ 为数据本身服从的分布，$p_{\varphi }(x)$ 为模型预测的分布，那么 likelihood-based 思想就是想让 $p_{\varphi }(x)$ 和 $p(x)$ 这两个分布尽可能接近。

但是 $p(x)$ 是个非常复杂的分布，无法求出来，所以 $\Vert p_{\varphi }(x)-p(x)\Vert$ 这样的损失函数肯定是求不出的。所以，我们得绕点远路解决这个问题。

首先，我告诉你有这个不等式： $\log p(x)\ge {\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]$。右边的那一坨叫做 ELBO ，推导方法有两种：

法一：

$\begin{array}{rl}\log p(x)& =\log \int p(x,z)dz边缘化\\ & =\log \int \frac{p(x,z)q_{\varphi }(z|x)}{q_{\varphi }(z|x)}dz上下同乘\\ & =\log {\mathbb{E}}_{q_{\varphi }(z|x)}\left[\frac{p(x,z)}{q_{\varphi }(z|x)}\right]把积分转为期望\\ & \ge {\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]琴生不等式\end{array}$

琴生不等式是说，对于凸函数 $f(x)$ ，有 $f(\mathbb{E}(x))\le \mathbb{E}(f(x))$ 。$\log (\cdot )$ 是一个凹函数。

琴生不等式很好理解，一个最简单的例子就是凸函数上取两点 $x_1,x_2$，$f(\frac{x1+x2}{2})\le \frac{f(x_1)+f(x_2)}{2}$ 。

但这种推法，推出这个 ELBO ，也没啥用，还是没找到突破口。只是找到了定值 $\log p(x)$ 的一个下界。所以，就需要掌握第二种推法：

法二：

$\begin{array}{rl}\log p(x)& =\log p(x)\int q_{\varphi }(z|x)dz分布概率密度函数积分为1\\ & =\int q_{\varphi }(z|x)\log p(x)dz\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log p(x)\right]\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{p(z|x)}\right]p(x,z)=p(z|x)p(x)\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)q_{\varphi }(z|x)}{p(z|x)q_{\varphi }(z|x)}\right]\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]+{\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{q_{\varphi }(z|x)}{p(z|x)}\right]\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]+D_{KL}(q_{\varphi }(z|x)\Vert p(z|x))KL散度的定义\\ & \ge E_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]KL散度\ge 0，是性质\end{array}$

通过法二这个推法，我们可以知道，$\log p(x)$ 与下界 ELBO 之间，差了一个 KL 散度。当 KL 散度取到 0 时取等号。

那么 recall 下 VAE 的结构，一个 encoder 一个 decoder ，再观察 KL 散度，发现 KL 散度描述的是 encoder 的分布 $q_{\varphi }(z|x)$ 和真正映射的分布 $p(z|x)$ 之间的距离。我们当然希望这个距离越小越好，当这个距离是 0 时，那么我们的 encoder 就是完美的，因为此时它的编码结果就是真实数据的分布。

所以我们希望优化 encoder ，也就是最小化这个 KL 散度，因为 $\log p(x)$ 是定值，等价于最大化 ELBO 。那如何 ELBO 如何计算呢？我们继续将 ELBO 拆解一探究竟。

$\begin{array}{rl}{\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(x,z)}{q_{\varphi }(z|x)}\right]& ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p_{\theta }(x|z)p(z)}{q_{\varphi }(z|x)}\right]\\ & 这里换为了下标\theta 算这个ELBO是因为我们要优化模型，\\ & 所以要用模型的参数去算ELBO，然后通过ELBO的值反向传播参数\\ & ={\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log p_{\theta }(x|z)\right]+{\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log \frac{p(z)}{q_{\varphi }(z|x)}\right]\\ & =\underset{\text{reconstruction term}}{\underbrace{{\mathbb{E}}_{q_{\varphi }(z|x)}\left[\log p_{\theta }(x|z)\right]}}-\underset{\text{prior matching term}}{\underbrace{D_{KL}(q_{\varphi }(z|x)\Vert p(z))}}\end{array}$

重建项的意思就是首先 $x$ 映射到了 $z$ 分布上，然后同过 decoder 再映射回 $x$ 的分布的 $\log$ 。所以要让映射回去的 $\hat{x}$ 的分布与 $x$ 本身分布越接近越好。所以可以用 $\Vert \hat{x}-x{\Vert }_2^2$ 来代表这个 reconstruction term ，越小越好。

然后因为我们是要最大化 ELBO 嘛，所以 $D_{KL}(q_{\varphi }(z|x)\Vert p(z))$ 越小越好。$p(z)$ 这个分布是自己定的，因为我们要求 VAE 有生成能力，所以规定了 $p(z)$ 服从正态分布。所以我们就要让 encoder 产生的 $q_{\varphi }(z|x)$ 这个分布尽可能接近正态分布。

所以回顾一下，这个问题一共存在下面的分布：

$\begin{array}{rl}& p(z|x)\to p(x|z)\\ & q_{\varphi }(z|x)\to p_{\theta }(x|z)\end{array}$

我们首先为了让 $q_{\varphi }(z|x)$ 与 $p(z|x)$ 尽可能接近，需要要让 ELBO 尽可能大。然后想让 ELBO 尽可能大，发现需要满足两个要求：

1. 让 $q_{\varphi }(z|x)$ 与 $p(z)$ 尽可能近
2. 让 $p_{\theta }(x|z)$ 与 $p(x|z)$ 尽可能进

很巧欸，也就是说，只要满足了这两个条件，那么就可以让 encoder 的分布 $q_{\varphi }(z|x)$ 和 decoder 的分布 $p_{\theta }(x|z)$ 与真实数据之间映射的分布接近了。那么模型就收敛了。

而且这两个条件是可以量化的，条件 1 就用 $\Vert \hat{x}-x{\Vert }_2^2$ ，条件 2 就用 $\frac{1}{2}({\mu }_i+{\sigma }_i^2-\log {\sigma }_i^2-1)$ 。算出来一个常量用反向传播去优化 encoder 和 decoder 的参数即可。

上面的数学推导很精彩，为 VAE 提供了理论支撑。

‍

5 公式理解 diffusion model

先说明，diffusion model 的推导不难，但是步骤非常长。个人认为需要掌握好推导的关键思路即可。具体完整的推导去看这个 up 主的视频：

diffusion model 其实本质上就是一个级联隐层的 VAE 。在推导方法上跟推导 VAE 是一致的。

先说好，diffusion model 里的公式推导为了方便，我们把变量名先说好：

1. 所有隐层不再用 $z$ 来表示。所有层都用 $x$ 表示，$x_0$ 代表数据，$x_T$ 代表最后一层。
2. 前向加噪的 encoder 都用 $q(x_t|x_{t-1})$ 表示，反向去噪的 decoder 都用 $p_{\theta }(x_t|x_{t+1})$ 表示。

先说好，diffusion model 的隐层跟 VAE 的隐层有几点不同：

1. 所有隐层 $x_t$ 的维度与数据 $x_0$ 的维度相同
2. 所有的 encoder $q(x_t|x_{x-1})$ 都不需要学习，而是实现定义好的正态分布，即 $q(x_t|x_{t-1})\sim N(x_t;\sqrt{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)I)$

同样的，diffusion model 我们也规定最后一层的隐层变量分布服从标准正态分布，即 $p(x_T)\sim N(x_T;0,I)$

好，接下来开始推导。

推导思路一样的，我直接给出结果：

发现跟 VAE 的唯一区别，就是多了 denoising matching term 。

第一项相当于就是反向去噪的最后一步。

第二项就是我们不用算因为是个定值。而且这个值其实在我们的规定下，就趋近于 0 了。因为其实可以通过递推推导出：

$q(x_t|x_0)\sim N(x_t;\sqrt{\overline{{\alpha }_t}}{x}_0,(1-\overline{{\alpha }_t})I)$，当 $t\to \infty$ 时，$\overline{{\alpha }_t}\to 0$ ，所以 $q(x_t|x_0)$ 趋近于 $p(x_T)$ 。

第三项里的 $q(x_{t-1}|x_t,x_0)$ 咋求啊，其实可以求的，这里我直接给出结果：

所以我们想要 $p_{\theta }(x_{t-1}|x_t)$ 与 $q(x_{t-1}|x_t,x_0)$ 接近，就让 $p_{\theta }(x_{t-1}|x_t)$ 的均值和方差分别你和上面的均值和方差就好啦。

然后拟合均值和方差，可以经过推导转化为根据 $x_t$ 和步数 $t$ 拟合 $x_0$ 。即 $\Vert {\hat{x}}_{\theta }(x_t,t)-x_0{\Vert }_2^2$ 。

recall 一下，我们要最大化 ELBO ，需要最小化 denoising matching term 和 reconstruction term，然后最小化 denoising matching term 即最小化 $\Vert {\hat{x}}_{\theta }(x_t,t)-x_0{\Vert }_2^2$ 。

当我们最小化 $\Vert {\hat{x}}_{\theta }(x_t,t)-x_0{\Vert }_2^2$ 这玩意时，发现其实 reconstruction term 也顺便最小化了。

然后作者经过推导，又推出最小化 $\Vert {\hat{x}}_{\theta }(x_t,t)-x_0{\Vert }_2^2$ ，就等价于最小化 $\Vert {\widehat{ϵ}}_{\theta }(x_t,t)-{ϵ}_0{\Vert }_2^2$ ，其中 $x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{ϵ}_0$

所以，最小化上面那玩意，就相当于训练优化了整个 diffusion model。

下面给出 DDPM 的训练和推理过程：

训练就是 input 一个 $x_0$ ，一个时间步 $t$ ，一个标准 noise $ϵ$ 。然后 model 根据 input 算出预测的 noise ，跟 ground truth 的 $ϵ$ 对比一下。

推理就是从最后一层开始推（最后一层是标准正态分布），所以 $x_T$ 从标准正太分布里采样。然后依次往前推就行。

补充一句，其实可以公式推导出：$p_{\theta }(x_{t-1}|x_t)\sim N\left(x_{t-1};\frac{1}{{\sqrt{\alpha }}_t}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{\widehat{ϵ}}_{\theta }(x_t,t)\right),\underset{{\sigma }_t}{\underbrace{\frac{(1-{\alpha }_t)(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}I}}\right)$，所以重参数化就可以得到 $x_{t-1}$ 的表达式。

如果没看懂，就从 Section 4 开始，再看一遍。

‍

6 Stable Diffusion Model

​

我是这么理解 stable diffusion model 的，首先需要准备一个 CLIP 模型，然后准备很多 image-text pairs ，把这些 pairs 经过 CLIP 得到很多向量 pairs 。然后用这些 pairs 去训练一个 diffusion model ，即 input image vector, text vector, t, $ϵ$ 去训练。

然后用把 pairs 中的 images 的向量取出来，去训练一个 decoder ，input vector ，输出 image 。

这样子之后，推理的时候，只需要输入一段文字，经过 CLIP 的 text encoder 后得到 text vector，再来一个标准 noise 编码后，一起 input 进 diffusion model 里，就能输出一个 image vector 。把这个 image vector 输入进 decoder ，即可还原出图片。

因为 diffusion model 去噪的过程是随机过程，所以这个模型就具有了生成能力。