Generative refocusing 한 장의 이미지에서 초점 평면을 조정합니다
컴퓨테이셔널 포토그래피는 이미지 캡처 후 초점을 재정의할 수 있는 방법으로 큰 도약을 이룹니다. Generative Refocusing은 이 발전을 대표하며, 단일 파일에서 심도와 배경 흐림을 조작하기 위해 인공 지능을 사용합니다. 🎯
두 개의 전문화된 신경망 아키텍처
이 시스템은 두 단계 아키텍처를 기반으로 하며, 각 신경망이 서로 다른 중요한 기능을 수행합니다. 이러한 분리는 새로운 초점 평면을 시뮬레이션하는 데 관련된 복잡한 광학 문제를 더 정확하게 처리할 수 있게 합니다.
워크플로의 주요 구성 요소:- DeblurNet: 입력 사진을 처리하여 원치 않는 흐림을 제거하고, 이상적인 기반이 되는 완전히 선명한 버전을 제공하는 것이 작업입니다.
- BokehNet: 선명해진 이미지를 가져와 그 위에 고품질 흐림 효과를 생성합니다. 이 흐림은 고정된 것이 아니라 사용자가 인터랙티브하게 매개변수를 조정할 수 있습니다.
- 반지도 학습: 모델은 대량의 합성 데이터와 EXIF 메타데이터가 포함된 실제 사진을 결합하여 학습하며, 물리적 렌즈의 동작을 재현하도록 훈련됩니다.
이미지 선명화 작업을 흐림 적용 작업과 분리하는 것이 유연하고 시각적으로 정확한 결과를 달성하는 핵심입니다.
텍스트와 사용자 지정 형태를 통한 고급 제어
전통적인 숫자 제어 외에도 이 기술은 직관적인 제어 인터페이스를 통합합니다. 사용자는 슬라이더에 국한되지 않고 자연어 또는 새로운 방식으로 흐림 미학을 정의하여 효과를 안내할 수 있습니다.
창의적 제어 모달리티:- 텍스트 기반 안내: 원하는 효과 유형을 단어로 설명할 수 있습니다 (예: "부드럽고 크림 같은 보케"). 시스템은 이 지시를 해석하여 해당 흐림을 생성합니다.
- 사용자 지정 조리개 형태: 원형이 아닌 보케 효과를 생성할 수 있습니다. 사용자는 별, 육각형 또는 기타 패턴 모양의 플레어를 생성하여 전문 렌즈 조리개의 결과를 모방할 수 있습니다.
- 매개변수 조정: 흐림 강도와 초점 평면 위치에 대한 직접 제어를 제공하여 기술적 정밀도를 보장합니다.
사진 후처리를 위한 함의
이 방법은 편집에서 창의적 가능성을 크게 확장합니다. 더 이상 다양한 조리개로 여러 장을 캡처할 필요가 없습니다. 심도는 후처리에서 완전히 가변적인 요소가 됩니다. 초점 오류를 수정하거나 캡처 시 고려하지 않은 미학적 대안을 탐색할 수 있습니다. 비용이 많이 드는 광학이나 특정 효과를 소프트웨어로만 시뮬레이션하는 능력은 이전에 전문 스튜디오만 사용할 수 있었던 도구를 대중화합니다. 🔧