Generative refocusing は単一の画像から焦点平面を調整します
計算写真学は、画像キャプチャ後に焦点を再定義することを可能にする方法で大きな飛躍を遂げました。Generative Refocusingはこの進歩を表し、単一のファイルから深度 of fieldと特徴的な背景のぼかしを操作するために人工知能を使用します。🎯
2つの特殊化されたニューラルネットワークのアーキテクチャ
このシステムは2段階のアーキテクチャに基づいており、各ニューラルネットワークが異なる重要な機能を果たします。この分離により、新しい焦点平面をシミュレートする複雑な光学問題をより正確に扱うことが可能になります。
ワークフローの主なコンポーネント：- DeblurNet：入力写真を処理して望ましくないぼかしを除去し、理想的な基盤となる完全にシャープなバージョンを提供するタスクです。
- BokehNet：クリアになった画像を取り、高品質なぼかし効果を生成します。このぼかしは固定ではなく、ユーザーがインタラクティブにパラメータを調整できます。
- 半教師あり学習：モデルは大量の合成データとEXIFメタデータを含む実際の写真を組み合わせて学習し、物理レンズの挙動を再現することを学びます。
画像をクリアにするタスクとぼかしを適用するタスクを分離することは、柔軟で視覚的に正確な結果を達成するための鍵です。
テキストとカスタム形状による高度な制御
従来の数値制御を超えて、この技術は直感的な制御インターフェースを統合します。ユーザーはスライダーに限定されず、自然言語を使用して効果をガイドしたり、ぼかしの美学を革新的な方法で定義したりできます。
クリエイティブ制御のモード：- テキストガイド：言葉で望ましい効果の種類を記述できます（例：「柔らかくクリーミーなボケ」）。システムはこの指示を解釈して対応するぼかしを生成します。
- カスタム開口形状：円形でないボケ効果を作成できます。ユーザーは星型、六角形、その他のパターンのフレアを生成し、特殊レンズの絞りの結果を模倣できます。
- パラメトリック調整：さらに、ぼかしの強度と焦点平面の位置に対する直接制御を提供し、技術的な精度を確保します。
写真後処理への影響
この方法は編集における創造的可能性を大幅に拡大します。異なる絞りで複数のショットをキャプチャする必要はもうありません。深度 of fieldは後処理で完全に可塑的な要素になります。焦点のミスを修正したり、キャプチャ時に考慮されなかった審美的な代替案を探求したりできます。高価な光学機器や特定の効果をソフトウェアだけでシミュレートする能力は、以前はプロフェッショナルスタジオ限定のツールを民主化します。🔧