Генеративная переналадка фокуса регулирует плоскость фокуса из одного изображения
Вычислительная фотография делает скачок с методами, которые позволяют переопределить фокус после захвата изображения. Generative Refocusing представляет этот прогресс, используя искусственный интеллект для манипуляции глубиной резкости и характерным размытием фона из единственного файла. 🎯
Архитектура из двух специализированных нейронных сетей
Система основана на архитектуре в две стадии, где каждая нейронная сеть выполняет различную и критическую функцию. Эта разделенность позволяет решать с большей точностью сложные оптические проблемы, связанные с симуляцией новой фокальной плоскости.
Основные компоненты рабочего процесса:- DeblurNet: Её задача — обработать входное фото для удаления нежелательной размытости, предоставляя полностью чёткую версию, которая служит идеальной основой.
- BokehNet: Берёт прояснённое изображение и генерирует на нём эффект размытия высокого качества. Это размытие не фиксировано, а пользователь может интерактивно регулировать его параметры.
- Полунадзорованное обучение: Модель учится, комбинируя большие объёмы синтетических данных с реальными фотографиями, содержащими метаданные EXIF, что учит её воспроизводить поведение физических объективов.
Разделение задачи прояснения изображения и применения размытия ключевое для достижения гибких и визуально точных результатов.
Расширенный контроль с помощью текста и пользовательских форм
Помимо традиционных числовых контролей, эта техника интегрирует интуитивные интерфейсы управления. Пользователи не ограничены ползунками, а могут направлять эффект с помощью естественного языка или определять эстетику размытия новыми способами.
Модальности творческого управления:- Управление текстом: Позволяет описывать желаемый тип эффекта словами (например, "мягкий и кремовый боке"). Система интерпретирует эту инструкцию для генерации соответствующего размытия.
- Пользовательские формы диафрагмы: Поддерживает создание эффектов боке, не являющихся круговыми. Пользователи могут генерировать блики в форме звезды, шестиугольника или других узоров, имитируя результат специализированных диафрагм объективов.
- Параметрическая регулировка: Кроме того, предлагает прямой контроль над интенсивностью размытия и позицией плоскости фокуса, обеспечивая техническую точность.
Последствия для постпродакшена фотографии
Этот метод значительно расширяет творческие возможности в редактировании. Больше не нужно захватывать несколько снимков с разными диафрагмами; глубина резкости становится полностью податливым элементом в постпродакшене. Позволяет исправлять ошибки фокусировки или, чаще, исследовать эстетические альтернативы, не рассмотренные в момент съёмки. Способность симулировать дорогие оптические системы или специфические эффекты только с помощью ПО демократизирует инструменты, ранее доступные только профессиональным студиям. 🔧