AI-видеоролик

Для создания клипа нужно было подготовить ряд материалов: 2 карты персонажа, 2 автомобиля, 2 локации. Итого – 6 референсов, и это максимум для Seedance 2.0. Детальные ракурсы нужны были для того, чтобы наиболее точно приблизить результат к ожидаемому. Все генерации делала в Nana Banana.

С мужским персонажем карту получилось собрать всего за пару промптов: сначала сгенерировала внешность, потом прописала образ и дала запрос на карту персонажа в разных ракурсах. Нейронка справилась с первого раза.

А вот со своим персонажем пришлось повозиться – хороший результат вышел только через ~30 генераций. Во многом потому, что нейронка работала с моими реальными фото, да и мне хотелось схожести в каждом ракурсе.

Дальше пошла генерировать машины. Изначально очень надеялась найти нужные ракурсы на однородном фоне в интернете, но их не было. С Trueno удалось найти буквально пару качественных изображений, но фон был неоднородным и ракурсы не на 100% попадали в нужные.

Тем не менее, из таких исходников получилось собрать карту авто. Были нюансы: спереди и сзади машина сгенерировалась без номера, осталась наклейка с исходного референса, а в ракурсе сверху фары оказались закрыты.

Сама по себе наклейка была бы даже в тему, ведь именно она отсылает к сериалу Инициал Д. Но Seedance 2.0, в котором я дальше буду генерить видео, не пускает в работу референсы с чужим авторским правом.

Вручную в Figma доработала генерации: убрала наклейку, добавила номера (можно заметить, что на этих визуалах они не выглядят на 100% реалистично, но я и не планировала использовать финально визуал на белом фоне, об этом ниже), открыла фары.

Так как действие в клипе происходит ночью, адаптировала финальный визуал под ночную тему – чтобы нейронка понимала, как авто выглядит ночью и как светят фары. Тут она как раз подхватила все мои правки с номерами и фарами и на своей стороне сделала их еще реалистичнее.

Не менее любимая мной Mazda RX-7 FC. С этим авто было чуть проще, так как получилось найти студийные фото, и удачная генерация вышла почти сразу. Номера тоже пришлось добавить вручную, но больше правок не понадобилось.

Ночной рендер тоже получила практически с первой попытки.

За основу локаций брала реальные уголки Японии. Для первого места – парковка у конбини 7/11. Взяла фото из Google и, задав промпт в Nana Banana, убрала лишние объекты, растянула визуал по краям, сделала более позднее время суток.

Вторая локация – перевал Усуи. Реальных фото перевала в сети мало, поэтому взяла неплохой рендер этой дороги из игры BeamNG.drive. Референс сам по себе немного нереалистичный и похож на рендер, поэтому и адаптированная генерация тоже слегка отдает CG. Появилась вторая луна, но мне показалось, что так даже прикольнее, и я оставила визуал как есть.

С Claude сделали промпт с таймингом. Каждое изображение протегали @image, чтобы Seedance обращался к конкретному референсу. Запустила первую генерацию – изначально хотела вместить в 15 секунд и сцену у магазина, и горный дрифт, но вышло много артефактов, а сцены казались незавершенными. После первой попытки разделила сцену у магазина и горный дрифт на отдельные промпты. Поправила запросы, чуть растянула тайминг, добавила деталей. Сделала еще 3 генерации на первую сцену и 2 на вторую. Артефакты все равно неизбежно оставались в каждой генерации, поэтому итоговое видео собирала из удачных кусков.

Склеивала в Cap Cat, наложив евробит.

Видео и комментарии актуальны на момент выхода Seedance 2.0.

Качество картинки и ракурсы камеры – восторг. Результат все еще нельзя назвать полностью реалистичным, но получилась очень вкусная картинка, которую приятно смотреть. Звук: гул моторов, дрифт переданы точно и реалистично. По сравнению с тем, что предлагают другие видео-нейронки, очень сносно.

Всего сгенерировала 6 видео, каждый раз адаптируя промпт, чтобы минимизировать артефакты и приблизиться к ожидаемому результату. Из этих 6 клипов вырезала удачные куски и склеила в один ролик. И можно было бы генерировать еще много вариантов, чтобы свести артефакты к минимуму, но этот видос мне обошелся уже аж в 40$, что, на мой взгляд, в рамках теста довольно много.

В первой части видео ракурс на Фудзи постоянно менялся, нейронка плохо ориентировалась в пространстве. Лицо персонажей "плыло" и отличалось от референса, особенно в средних и дальних планах. Также по задумке обе машины должны были быть праворульными, но как бы я ни меняла промпт, один персонаж всегда садился за руль справа, второй – слева.

Во второй части видео (в неудачных генерациях) Seedance путал водителей местами. В отдельных сценах машины вовсе едут без водителя. Местами при дрифте летели искры – красиво, но с точки зрения физики не совсем корректно. В целом, вторая часть видео больше отдает компьютерной графикой, хотя был конкретный запрос на реализм, но здесь я это больше связываю с приложенным референсом второй локации.

В финальной сцене RX-7 остается впереди, хотя Trueno ранее явно обогнала Mazda на повороте. В этом клипе RX-7 постепенно замедляется и останавливается, дая возможность Trueno вновь обогнать себя. Честно, всю сцену вырезать не хотелось и я какое-то время искала способ убрать Mazda с конкретных кадров. Сначала редактировала каждый кадр вручную, но на выходе получился очень шумный результат в месте, где стоял авто. Потом удалила машину с помощью ИИ-инструмента и все бы ничего, но процедура сильно ушакалила качество видео, и при этом оставила на дороге свет от фар))). Как итог, закрыла глаза на эту сцену и представила, что водитель Mazda задизморалился и решил не продолжать гонку.

Вот такой вот сторитейлинг процесса, спасибо, что прочитали, ну а я дальше пойду эксперементировать с ИИ. Guys, remember, Я клубника, ты клубника, почему у нас получился банан? Еще услышимся.