
Generative refocusing 从单张图像调整焦点平面
计算摄影取得重大进步,方法允许在捕获图像后重新定义焦点。Generative Refocusing代表这一进步,使用人工智能从单个文件操纵景深和特征性的背景模糊。🎯
两个专用神经网络的架构
系统基于两阶段架构,每个神经网络履行不同的关键功能。这种分离允许更精确地处理模拟新焦点平面的复杂光学问题。
工作流程的主要组件:- DeblurNet:其任务是处理输入照片以消除任何不需要的模糊,提供完全清晰的版本作为理想基础。
- BokehNet:接收清晰图像并在其上生成高质量模糊效果。这种模糊不是固定的,而是用户可以交互式调整其参数。
- 半监督训练:模型通过结合大量合成数据与包含EXIF元数据的真实照片进行学习,从而学会复制物理镜头的行为。
将图像清晰化任务与应用模糊任务分离是实现灵活且视觉精确结果的关键。
通过文本和自定义形状的先进控制
除了传统的数字控制,这种技术整合了直观的控制界面。用户不限于滑块,而是可以使用自然语言引导效果,或以新颖方式定义模糊美学。
创意控制模式:- 文本引导:允许用文字描述所需效果类型(例如,“柔和奶油状的bokeh”)。系统解释此指令以生成相应的模糊。
- 自定义光圈形状:支持创建非圆形的bokeh效果。用户可以生成星形、六边形或其他图案的闪光,模仿专业镜头光圈的结果。
- 参数调整:此外,提供对模糊强度和焦点平面位置的直接控制,提供技术精度。
对摄影后期制作的影响
这种方法显著扩展了编辑中的创意可能性。不再需要以不同光圈捕获多个镜头;景深成为后期制作中完全可塑的元素。它允许修正焦点错误,或更常见地,探索捕获时未考虑的美学替代方案。仅用软件模拟昂贵光学或特定效果的能力,使之前专属于专业工作室的工具民主化。🔧