type
status
date
slug
summary
tags
category
icon
password
Diffusion Schrödinger Bridge (DSB) vs. Diffusion Model (DM)
Diffusion Schrödinger Bridge (DSB) 和 Diffusion Model (DM) 都是基于扩散过程（diffusion process）的生成模型，但它们的数学基础、目标以及实现方式有所不同。下面我们详细分析它们的关系和区别。
1. Diffusion Model (DM)
📌 1.1 基本概念
Diffusion Model（扩散模型）是一种概率生成模型，其核心思想是：
- 前向扩散（Forward Process）：将数据逐步添加噪声，最终接近一个高斯分布。
- 逆向扩散（Reverse Process）：从噪声数据逐步去噪，恢复真实数据。
📌 1.2 公式
前向扩散过程：
其中：
- 表示时间 t 时刻的数据状态。
- 是噪声的步长参数。
逆向扩散过程：
其中 和 由神经网络（如 U-Net）学习。
📌 1.3 主要目标
- 学习数据分布：通过去噪过程，从噪声生成高质量样本。
- 基于分数匹配（Score Matching）：学习数据分布的梯度（score function）。
- 优化目标：通常采用**变分下界（ELBO）**来优化。
2. Diffusion Schrödinger Bridge (DSB)
📌 2.1 基本概念
Diffusion Schrödinger Bridge（扩散薛定谔桥）是一种用于概率流匹配（probability flow matching）的方法，可以看作是最优传输（Optimal Transport, OT）的一种推广。
它的目标是：
- 在给定初始分布 和目标分布 的情况下，找到连接两者的最优随机过程。
- 最优传输路径：最小化两个分布之间的 Wasserstein 距离，同时保持扩散过程的结构。
📌 2.2 公式
DSB 依赖于 Schrödinger Bridge（SB）问题，它的核心是求解以下最优控制问题：
其中：
- 是一个布朗运动或其他参考扩散过程。
- 是连接 和 的最优扩散路径。
DSB 通过迭代求解 Fokker-Planck 方程 来找到最优路径：
其中 是最优漂移场（optimal drift field）。
📌 2.3 主要目标
- 最优传输（Optimal Transport, OT）：保证数据从 到 的最优流动。
- 更高效的采样：相比 Diffusion Model，DSB 采样速度更快，因为它不依赖长时间步的逆向扩散。
3. Diffusion Model vs. Diffusion Schrödinger Bridge
📊 主要区别
特性 | Diffusion Model (DM) | Diffusion Schrödinger Bridge (DSB) |
数学基础 | 变分推理（Variational Inference） | 最优传输（Optimal Transport） |
目标 | 从噪声恢复数据（去噪） | 计算最优概率流 |
前向过程 | 逐步加入噪声 | 通过最优传输找到平滑路径 |
逆向过程 | 逐步去噪（基于分数匹配） | 直接找到最优路径 |
采样效率 | 需要较多时间步（通常 1000 步） | 采样更快（更少的时间步） |
应用领域 | 图像生成、文本生成 | 物理建模、仿真、概率流匹配 |
4. 关系 & 直观理解
- DSB 可以看作是 Diffusion Model 的一种推广，它提供了一种更高效的方式来学习数据分布的最优传输路径。
- Diffusion Model 依赖于固定的前向扩散过程（加入噪声），然后训练神经网络去逆向恢复数据。
- DSB 直接优化整个路径，使得数据在时间维度上流动得更自然，因此可以减少采样步骤，提高生成效率。
5. 直观例子
🎨 Diffusion Model（DM）：
想象你在画一幅画，你首先用模糊的草图（噪声）开始，然后一步步修改它，直到变成完整的图像。这需要很多步，因为你从无序状态一步步修正。
🚗 Diffusion Schrödinger Bridge（DSB）：
想象你要从 A 城市 开车到 B 城市，你希望找到最短、最平滑的路线。DSB 直接计算出这条路径，而不是像 DM 那样随机试探。
6. 总结
- Diffusion Model 适用于生成任务，如图像、文本合成，但采样速度较慢。
- Diffusion Schrödinger Bridge 适用于最优传输问题，能更快地找到从一个分布到另一个分布的最优路径。
- DSB 提供了一种更高效的采样方式，可能在未来改进 Diffusion Model 的采样效率。
- 作者:CrystalPuNK
- 链接:https://crystalpunk.top/article/1925d734-b731-801c-ad8b-e8d835e451d5
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章
【ICLR 2024】A Flexible Generative Model for Heterogeneous Tabular EHR with Missing Modality
【ML】队列数据 Cohort Data
Cross Domain Skeleton-based Action Recognition by Using Parameter-free Similarity Matching
【NIPS2017】Attention Is All You Need
机器学习·李宏毅 2024版
FLD+: DATA-EFFICIENT EVALUATION METRIC FOR GENERATIVE MODELS
![[CVPR2024]Generate Like Experts: Multi-Stage Font Generation by Incorporating Font Transfer Process into Diffusion Models](https://images.unsplash.com/photo-1672152567948-0d3d10da0039?ixlib=rb-4.0.3&q=50&fm=webp&crop=entropy&cs=srgb&t=11d5d734-b731-8015-9556-eed7cf43017d&width=800&fmt=webp)
