Серия отчётов, в которых делюсь процессом изучения возможностей ИИ-генераций на реальных рабочих задачах. На экспертность в этом деле не претендую. Всё это лишь эксперимент.
Содержание
Зачем это нужно
Для визуального подкрепления того, о чём говорится в видео, вставляются сопровождающие кадры — тот самый B-roll. Но не всегда на стоках есть нужные по теме повествования. А с видео конкретно из российских реалий часто вообще беда.
В этом случае для создания короткого плана ИИ действительно оказывается полезен. Время от времени мы этим пользуемся. Например, вряд ли на стоках можно найти футаж из российского магазина, где покупатель протягивает паспорт.
в рилсе про Макс ID показано что-то очень похожее на КБ
Или на том же Shutterstock футажи с административными зданиями стоят диких денег. Но ведь можно найти фото со свободной лицензией и оживить его.
например, как в рилсе про штрафы для бизнеса
Каков примерный процесс при создании подобного — ниже.
Задача
Для рилса Контура про грузовик макарон вместо денег не хватало иллюстрирующего B-roll с тем самым грузовиком, нагруженным макаронами. Найти что-то подходящее из реальной хроники да ещё и с очищенными авторскими правами было сложновато, потому решил сгенерировать. Тем более, нужен двух- или трёхсекундный план, а поверх будут наложены эффекты, симулирующие запись на VHS — поэтому особой детализированности и не требовалось.
Используемая нейросеть
Для генерации стоп-кадра — Nano Banana. Для превращения изображения в видео — Grok Imagine.
Генерируем кадр в Nano Banana
Первый промпт и его результат
Старый советский грузовик. Возле проходной фабрики. На нём надпись макароны. Фото сделано примерно в 1990-е годы на старую плёнку.
В целом, даже без референса и с очень коротким запросом Nano Banana сразу выдала примерно то, что можно использовать. Есть пара нюансов, но о них чуть позже. А пока уточним запрос.
Второй промпт и его результат
Убрать указание года 1994. В кузове грузовика должно лежать множество белых строительных мешков.
Для меня точно лишнее указание года на этой «фотографии». К тому же, раз речь идёт о том, что привезли грузовик макарон, то надо бы его ими заполнить. В чём реально могли возить макароны, я с ходу не придумал, поэтому решил, что пусть будут в мешках.
Очевидно, что раз теперь у нас полный ЗиЛ груза, то огромная поясняющая надпись на борту, тем более при наличии дублирующей таблички на воротах фабрики, нам ни к чему. Исправляем.
Третий промпт и его результат
Убрать табличку макароны на грузовике
Теперь всё вроде бы как надо, но понимаю, что есть нюанс: делаю рилс, а значит надо было изначально задавать соотношение сторон 9:16. Что ж, исправляем.
Четвёртый промпт и его результат
Та же картинка, но в вертикальном формате. Главное, чтобы в кадр влезали ворота и грузовик.
И-и-и, всё прошло успешно! Референсное изображение есть. Перебираемся в Grok.
Генерируем план в Grok Imagine
Идёт дождь, мимо проходят люди. Грузовик медленно отъезжает от ворот. Кадр статичный, нет наездов и движения камеры.
В этот момент результат меня устроил — даже с первой генерации в целом ровно то, что мне нужно. Чуть подрезать начало с троганием — потому что по ощущениям выглядит оно физически неправильным, — и можно пользоваться.
Увеличиваем разрешение в Topaz
Как уже упоминал в первой заметке по этой теме, сейчас в Grok есть ограничение по разрешению получаемого видео: 720p. Поэтому делаем апскейл в Топаз до нужного нам разрешения.
И все бы хорошо, но многократно пересмотрев великолепное поделие волшебной программы, всё же на третий день Орлиный Глаз заметил, что бабуля на фоне отчего-то гуляет спиной вперёд.
А ведь всё так хорошо начиналось. Что ж, возвращаемся в Grok и пытаемся исправить сей досадный недостаток.
Возвращаемся в Grok и исправляем генерацию
Идёт дождь, мимо проходят люди. Грузовик медленно отъезжает от ворот. Кадр статичный, нет наездов и движения камеры. И убери женщину в синем пальто или пусть идёт в другую сторону.
Grok любезно предложил под этот запрос три варианта, каждый из которых был уже конечно не так хорош, как самый первый, но в целом выбрать можно. Первые два я счёл неудачными. Побеждает третий. Вот он ниже, после увеличения разрешения в Topaz.
Теперь бабуля сперва элегантно разворачивается, но даже это я спокойно срежу — и она будет ходить как все.
Идём в DaVinci Resolve и стилизуем
Чтобы придать получившемуся кадру ощущение хроники (и прикрыть замечательный дегенеративный талант Grok’а) накладываем эффекты, чтобы сделать немного похожим на VHS или вроде того. Добавляем Analog damage и Film look creator, немного крутим параметры, пока не понравится — и готово.
Получился вот такой короткий план для B-roll. Ровно то, что нужно для короткой иллюстрации фразы рассказчика.
Выводы
- Главное, стала более понятна схема для генерация видео: сначала создаём статичный кадр, потом, если всё устраивает — уже идём генерировать движущиеся картинки. Получается более предсказуемо, требуется меньше генераций.
- Так же важно следить за изначальной генерацией в статике, чтобы не появлялось таких вот ходящих не в том направлении бабок. Когда уже писал заметку, на вторую сотню раз пересмотрев одно и то же, подумал, например, что дворники наверное всё-таки должны двигаться синхронно. Кстати, в самой первой генерации с этим всё было в порядке. Но в двухсекундном плане это вряд ли окажется сильно заметно. Ну или будем считать, что на старом ЗиЛе такое иногда бывало.
- И в конце подумал, что, наверное, зря добавил дождь. Возможно, под ним макароны бы размокли. Не знаю, почему подумал о дожде, когда вводил запрос. С другой стороны, будем считать, что он не сильный и скоро закончится. Да и под эффектами в финальном варианте его, в общем-то, и не видно.