score-based SDE

paper: Score-Based Generative Modeling through Stochastic Differential Equations

1 SDE

SDE, stochastic differential equations, 随机微分方程。

首先先要知道什么是 常微分方程，ODE, ordinary differential equations。ODE 的数学表达式为：$dx=f_t(x)dt$，$x$ 是关于 $t$ 的表达式，$f$ 跟 $x,t$ 有关。

SDE 就是在 ODE 的基础上加了扰动，具体来说是：

$f_t(x)dt$ 漂流项，$g(t)d{w}_t$ 叫扰动项，其中 $g(t)$ 叫扰动系数。

上面的 ODE 是微分形式，不妨将其改写带 $\Delta t$ 形式的，以下推导全部基于 $\Delta t\to 0$。

所以至此，可以发现，如果一个方程是 SDE，那么可以推出相邻 $x$ 之间正向过程存在正态分布的关系。也就是如果知道了前面一个 $x$ ，可以根据 SDE 得到下一个 $x$ 的值。

而且后面的取值可以看成是与前面一个取值有关的正态分布。

好了，但我们很自然的想，那么反向过程，即我知道后面的取值，前面的取值是否是一个与后面的取值有关的正态分布呢？

大佬们对此已经做出了证明，是的。但是推导方法不是简单的移项云云，而是全程运算要用分布去分析。（随机过程不能用等式观念看待，因为其实 $x_t$ 满足的是一个分布）

推导结果我直接给出来：

所以重参数化可得：

所以可以写为连续形式：

所以可以看出来，SDE 的反向过程也是一个 SDE。

综上，如果用 SDE 做生成问题，那么有：

作者到这里并没有停下脚本，而是继续思考。

作者发现，其实对于反向过程的刻画，除了用 SDE 描述，也可以用 ODE 描述！

具体来说，也就是存在一个 ODE 过程，使得在任意时刻 $t\in [0,T]$ 的状态的边缘分布 $p(x_t)$ 与用 SDE 刻画相同。

我用下面这张图来直观的解释：

​

这有什么用呢？

这为 Song yang 佬的下一篇 paper: "Consistency Models" 埋下了伏笔。

‍

2 SDE 与生成模型的关系

具体来说，也就是 ddpm 和 score-based model 跟 SDE 有什么关系呢？

我直接给结论，ddpm 和 score-based model 的前向过程都可以用一个 SDE 表示，为什么，论文里有，去看证明，留个坑，以后看。

那么既然前向过程都可以用 SDE 表示，前面我们也证明了 SDE 的反向过程一个 SDE，所以 ddpm 和 score-based model 的反向过程也是一个 SDE。

它们之间的区别，只是 $f_t(x)$ 和 $g(t)$ 的取值不同。（这句话我打个疑问号，至少目前从我的理解是这样的，到时候坑填完了自然就知道对不对了）