Инженеры Netflix совместно с исследователями INSAIT совершили прорыв в области видеоредактирования. Представленная ими модель ИИ под названием VOID (Video Object and Interaction Deletion) решает одну из самых сложных задач постпродакшена – реалистичное удаление объектов с учетом их физического влияния на окружение, передает Tech-news.
До сих пор большинство инструментов для удаления объектов (video object removal) работали по принципу «заплатки»: они просто закрашивали объект фоном. Однако, если удаляемый предмет взаимодействовал с другими – например, сталкивался с ними или отбрасывал динамическую тень – итоговое видео выглядело неестественно из-за нарушения логики движения.
Как работает VOID?
Технология Netflix идет дальше простой ретуши, моделируя так называемые «контрфактические сценарии». Система буквально пересчитывает сцену, отвечая на вопрос: «Как бы двигались остальные объекты, если бы этого предмета изначально не существовало?»
1. Анализ влияния: Комбинация vision-language модели определяет все области кадра, на которые влиял удаляемый объект (траектории, столкновения, вибрации).
2. Диффузионная генерация: Диффузионная модель заново отрисовывает затронутые участки, обеспечивая полную физическую согласованность всей сцены.
Обучение на сложных сценариях
Для тренировки VOID разработчики создали уникальный датасет, включающий синтетические и реальные сцены со сложными взаимодействиями: падениями, столкновениями и изменением векторов движения. В результате нейросеть научилась корректно изменять поведение оставшихся в кадре объектов после исчезновения «помехи».
Где это применят?
Разработка VOID обещает совершить мини-революцию в киноиндустрии и рекламе. Технология позволит:
• Удалять каскадеров, тросы и лишние детали декораций без долгой ручной отрисовки каждого кадра.
• Исправлять ошибки в сложных динамических сценах на этапе монтажа.
• Создавать высококачественный цифровой контент с минимальными затратами на «чистку» видеоряда.
Тесты показывают, что VOID значительно превосходит существующие методы в реалистичности, особенно в сценах с высокой динамикой, где важна логика физического мира.
