Meanflowとimfが1ステップ生成モデリングを再定義
生成モデリングの分野は、高品質な新しいデータを生成することを目指しており、速度が重要な要素です。MeanFlowは1ステップ生成のための有望なフレームワークとして登場しましたが、その急速な進展の性質が安定性に障害を呈していました。今、そのコアの深い再定式化によりiMFが生まれ、重要なマイルストーンを刻みました。🚀
トレーニングを安定化するための目標の再定式化
主な問題はモデルのトレーニング方法にありました。元の目標は実際のデータだけでなく、ニューラルネットワーク自身の変化する状態にも依存しており、プロセスを複雑にしていました。解決策は、この目標を瞬間速度上で計算される損失関数として再定義することでした。これを実現するために、フローの平均速度を予測する補助ネットワークが導入され、瞬間速度を再パラメトライズすることを可能にしました。この変更は問題をより従来的で直接的な回帰問題に変換し、トレーニングサイクルを大幅に安定化します。
再定式化の主な利点：- 複雑な最適化問題を扱いやすい標準回帰に変換します。
- 平均速度を予測するネットワークがトレーニング中の安定化アンカーとして機能します。
- モデルがより一貫して収束し、変動が少なくなります。
「時には、物事を速くするとはステップを省略することではなく、最初から最後まで道筋を再定義することです。」
生成のための条件付きガイダンスの柔軟化
初期方法のもう一つの制限は生成を導くシステムでした。分類器なしガイダンスはトレーニング中に固定スケールを持ち、新しいサンプル生成時の適応性を制限していました。新たなアプローチは、ガイダンスを明示的な条件付け変数として定式化することでこれに対処します。これにより、生成時に多様な条件を適用でき、全ての柔軟性を保持します。これらの条件はコンテキスト内条件付け技術で処理され、モデルをより汎用的にするだけでなく、全体サイズを削減し、一般的な性能を向上させます。
新しいガイダンスシステムの特徴：- 条件は明示的な変数で、固定パラメータではありません。
- 多様な情報を効率的に処理するためのコンテキスト内条件付けを使用します。
- よりコンパクトで高性能なモデルを実現します。
iMF：複数ステップ手法と競合する結果
これらの改善の組み合わせによりiMF（Improved MeanFlow）が誕生しました。このモデルはゼロからトレーニングされ、ImageNet 256x256データセットで単一の関数評価によりFID 1.72を達成しました。この結果は以前の1ステップ手法を大幅に上回り、より注目すべきは、複数ステップやイテレーションを必要とする生成アプローチとのギャップを縮小した点です。これらはモデル蒸留技術を用いずに行われ、高速進展生成モデリングを独立した強力なパラダイムとして確立します。🎯