Wonder Studio

Стирая грань между реальностью и вымыслом: когда ИИ понимает свет и движение

В сфере киноэффектов и креативного контента бесшовная интеграция трёхмерных виртуальных персонажей в реальные съёмки ранее требовала утомительного покадрового трекинга, ручной подгонки освещения и долгих пайплайнов рендеринга. Инструмент визуальных эффектов на базе ИИ Wonder Studio от Autodesk переписывает этот процесс с поразительной автоматизацией. Это не простой плагин для кеинга и композитинга, а облачная интеллектуальная платформа для CGI-композитинга, которая автоматически анализирует движение человека, траекторию камеры и освещение сцены в реальном видео, а затем «помещает» выбранного пользователем высокоточного трёхмерного персонажа в кадр, делая материалы, тени и отражения персонажа органично сливающимися с реальной средой.

Ключевые преимущества: автоматическая синхронизация освещения и движения, сокращающая объём ручной работы

Главная ценность Wonder Studio заключается в «автоматическом восприятии и автоматическом сопоставлении». Она переворачивает традиционную модель, где захват движения, 3D-трекинг и реконструкция освещения выполняются по отдельности, объединяя множество сложных этапов в единое решение.

• Полностью автоматический захват и ретаргетинг движения: Достаточно загрузить видео с игрой актёра, и ИИ точно фиксирует динамические данные скелета человека, пальцев и даже мимики, в реальном времени передавая их на трёхмерного персонажа. Без необходимости в костюмах для захвата движения и ручной корректировки ключевых кадров персонаж естественно повторяет сложные жесты и движения живого исполнителя.
• Сопоставление освещения и композитинг в реальном времени: Система анализирует направление, интенсивность, цветовую температуру света и детали теней в реальном видео, автоматически рассчитывая и отрисовывая на персонаже соответствующий ключевой свет, заполняющий свет, Ambient Occlusion и тени на земле. Даже колышущиеся тени деревьев или неоновое освещение на заднем плане точно проецируются на поверхность CGI-персонажа, делая виртуальные следы незаметными.
• Расчёт траектории камеры и учёт перекрытий: Инструмент одновременно вычисляет траекторию движения камеры, фокусное расстояние и параметры дисторсии, благодаря чему трёхмерный персонаж стабильно «заякоривается» в сцене. Он также интеллектуально отделяет персонажа от фона, обрабатывая перекрытия реальных объектов перед персонажем, и даже при пересечении нескольких персонажей сохраняет чистые края композиции.
• Облачная коллаборация и вывод многослойных каналов: Все вычисления выполняются в облаке, не потребляя локальные ресурсы. Конечный результат включает не только готовый скомпонованный фильм, но и возможность экспорта многослойных файлов OpenEXR или секвенций с отдельными слоями персонажей, освещения, камер, масок и т.д., что упрощает финальную доводку и бесшовную интеграцию с такими популярными инструментами, как Blender, Maya, Unreal Engine и другими.

Целевая аудитория: мощный инструмент как для независимых авторов, так и для профессиональных студий

Автоматизированные функции Wonder Studio охватывают широкий круг творческих специалистов. Во-первых, это независимые режиссёры и авторы малобюджетных короткометражек, у которых зачастую нет большой постпродакшн-команды и дорогих студий захвата движения, но с помощью этого инструмента они могут добавить в фильм бронированных воинов, инопланетных существ и других персонажей, добиваясь визуальных эффектов высокого качества за предельно короткое время. Во-вторых, создатели видеоконтента и операторы виртуальных стримеров могут без глубокого погружения в трёхмерный риггинг и рендеринг позволить виртуальным аватарам свободно двигаться в реальной обстановке, значительно расширяя выразительность контента. Для профессиональных студий визуальных эффектов Wonder Studio может служить инструментом для превизуализации и черновой сборки, резко сокращая рутинную предварительную работу и высвобождая время на творческие решения и оттачивание деталей. Кроме того, дизайнеры игровых катсцен и рекламные креаторы также выигрывают от его использования, быстро генерируя впечатляющие концепт-арты или динамические аниматики.

Опыт использования: впечатляющий интеллект и пространство для ручной доработки

При первом запуске Wonder Studio лаконичный и понятный интерфейс сразу снижает порог вхождения. Пользователю достаточно загрузить видео, выбрать модель персонажа, которую нужно использовать для замены, и система автоматически обнаружит и отследит персонажа, после чего покажет предварительный просмотр в реальном времени. В ходе тестирования мы загрузили отрывок с танцовщицей во дворе с естественным освещением и заменили её на тяжёлого робота с металлической текстурой. Всего через несколько минут обработки ИИ точно воспроизвёл вращение каждого сустава танцовщицы, сохранив даже тонкие изгибы пальцев и лёгкие наклоны головы. На корпусе робота деликатно отразились окружающие растения, а форма теней под ногами естественно менялась вместе с танцевальными движениями, как будто робот с самого начала снимался вживую.

Особого упоминания заслуживает захват лицевой анимации. Моргание, лёгкая улыбка и другие тонкие выражения актёра достоверно воспроизводятся на нечеловекоподобном персонаже; хотя для сильно карикатурных персонажей может потребоваться небольшая корректировка, базовые данные уже очень точны. В сценах с несколькими людьми система способна отдельно захватывать скелет каждого индивида и независимо назначать разных персонажей. Конечно, в текущей версии при экстремально быстром вращении или сильном перекрытии конечностей иногда возникают незначительное скольжение или взаимопроникновение, но благодаря экспортированным многослойным файлам исправить это в композитинговом софте несложно. В целом программа напоминает неутомимого младшего композера, который выполняет 80 % тяжёлой работы, надёжно возвращая окончательный творческий контроль создателю.

Будучи частью экосистемы Autodesk, Wonder Studio не только переопределяет способы, которыми обычные люди приобщаются к визуальным эффектам, но и предвосхищает будущее, в котором ИИ глубоко встроен в цепочку создания контента. Она не стремится заменить профессионалов, но при этом делает некогда недосягаемые возможности спецэффектов по-настоящему доступными, позволяя визуализировать ещё больше захватывающих дух историй.