DeformSplat оживляет персонажей 3D из одной фотографии
Исследования в области компьютерной графики продвигаются с инновационным методом под названием DeformSplat. Эта техника позволяет создавать и затем анимировать полную трехмерную модель персонажа, начиная только со статичного изображения. Великое достижение в том, что она сохраняет исходные пропорции на протяжении всего процесса анимации, чего другие системы не могли сделать хорошо 🎯.
Техническая основа: 3D-гауссианы и нейронная сеть
Система не строит традиционную полигональную сетку. Вместо этого она представляет объект с помощью набора эластичных 3D-частиц, известных как "splats". Эти частицы основаны на представлении с 3D-гауссианами. Ключевое отличие — специализированная нейронная сеть, которая обучается предсказывать артикулированные деформации точно. Это позволяет модели, выведенной из единственного угла камеры, двигаться и позироваться убедительно. Сеть учится деформировать гауссианы, сохраняя нетронутыми текстуру и геометрию, что обеспечивает внешний вид персонажа.
Ключевые преимущества подхода:- Генерирует анимируемую 3D-модель из одного вида, без необходимости в множестве фото или видео.
- Нейронная сеть обрабатывает деформации, сохраняя визуальную coherentность с любой точки зрения.
- Сохраняет пропорции и детали исходного персонажа во время сложных движений.
DeformSplat упрощает рабочий процесс, устраняя необходимость захвата нескольких видов, открывая двери для новых приложений.
Преимущество над предыдущими методами
По сравнению с техниками, требующими нескольких снимков или видеопоследовательностей, DeformSplat предлагает гораздо более прямой процесс. Результаты показывают, что он эффективно справляется с различными позами и типами одежды, производя плавные анимации. Метод сталкивается с меньшим количеством визуальных артефактов, когда персонаж выполняет сложные движения, сохраняя стабильный и реалистичный вид.
Потенциальные области применения:- Быстрая анимация концептов или персонажей на основе иллюстраций или референсных фото.
- Интеграция в конвейеры визуальных эффектов для создания цифровых дублей с меньшим количеством входных данных.
- Креативные инструменты для оживления исторических или семейных фотографий новаторским способом.
Будущее доступной анимации
Этот прорыв приближает возможность оживлять любую фотографию реалистично. Представьте, что вы можете дать