Meanflow 和 imf 重新定义单步生成建模
生成建模 领域致力于创建高质量的新数据，而速度是一个关键因素。MeanFlow 作为一种单步生成的有前景框架出现了，但其快速推进的特性在稳定性方面带来了障碍。现在，其核心的深度重构诞生了 iMF，标志着一个重大里程碑。🚀
重构目标以稳定训练
主要问题在于如何训练模型。原始目标不仅依赖于真实数据，还依赖于神经网络自身不断变化的状态，这使得过程复杂化。解决方案是 重新定义这个目标，将其作为基于 瞬时速度 计算的损失函数。为实现这一点，引入了一个辅助网络来预测流的 平均速度，从而允许对瞬时速度进行重参数化。这一变化将问题转化为更常规和直接的回归，从而极大地稳定了训练周期。
重构的关键优势：- 将复杂的优化问题转化为 标准回归，更容易处理。
- 预测平均速度的网络在训练期间充当 稳定锚点。
- 允许模型 更一致地收敛，波动更少。
“有时，做得更快并不意味着跳过步骤，而是从头到尾重新定义路径。”
灵活化条件引导以进行生成
初始方法的另一个限制是其引导生成的系统。无分类器引导 在训练期间具有固定尺度，这限制了其在生成新样本时的适应性。新方法通过将引导表述为 显式条件变量 来解决这个问题。这允许在生成时应用多种条件，同时保留所有灵活性。这些条件通过 上下文条件 技术进行处理，不仅使模型更具通用性，还减少了其总体大小并提升了整体性能。
新引导系统特性：- 条件是 显式变量，而非固定参数。
- 使用 上下文条件 高效处理多样信息。
- 实现 更紧凑且性能更好的模型。
iMF：与多步方法竞争的结果
这些改进的结合产生了 iMF（Improved MeanFlow）。该模型从零训练，并在 ImageNet 256x256 数据集上通过单次函数评估达到了 FID 分数 1.72。这一结果大幅超越了之前的单步方法，更值得注意的是，缩小了 与需要多步或迭代的生成方法的差距。这一切无需使用模型蒸馏技术，从而确立了 快速推进生成建模 作为一个独立且强大的范式。🎯