Подборка лучших нейросетей для создания и применения в видео

Введение

Привет, меня зовут Коля, я занимаюсь созданием креативных видео для брендов и блогеров с помощью сложного компьютерного монтажа и последний год плотно внедряю нейросети в свою работу. За это время я поработал с американской блогершей @kate_applepie (100к подписчиков), с крупным брендом одежды MINIMO, благодаря тому, что я вовремя начал изучать нейросети, вскоре мне удалось создать видео для SKOLKOVO и FORBES.

В этой статье я хочу поделиться собранными знаниями о том, как можно облегчить жизнь видеокреатору/монтажеру/видеографу/мобилографу, используя генеративные нейросети в своей работе. И не забудь подписаться, чтобы не пропускать другие полезности.
Инст - @niko__AI

Список возможностей нейросетей

Не буду лить воду, сразу приступим к делу, всё расскажу и покажу на примерах

1. Улучшение качества видео

То, без чего нельзя обойтись, когда работаешь с исходниками клиента

1. Самым лучшим апскейлером я считаю Topaz Video AI - https://www.topazlabs.com/topaz-video-ai

Плюсы:

• Большой выбор настроек
• Можно апскейлить видео до разрешения в 8K
• Можно увеличить частоту кадров до 120 fps (если нужно сделать слоумо или замедлить видео, эта фича то, что нужно, потому что на низком fps при замедлении будет сильное дерганье)

Минусы:

• Цена - 299$
• Чем сильнее увеличение разрешения, тем сильнее размывается картинка
• Чтобы использовать нужен +- мощный ПК, потому что программа берет мощности вашего компьютера

2. Если нет ПК и нужен быстрый результат, то на сайте CapCut есть вполне хороший апскейлер - https://www.capcut.com/magic-tools/upscale-video

Плюсы:

• Быстрое решение
• Вполне приемлемое качество

Минусы:

• Нужно авторизоваться (хватает почты)
• Не апскейлит видео, если размер одной из сторон больше 2048 пикселей
• Нельзя увеличить количество кадров

2. Генерация недостающих кадров или полная генерация видео с нуля

Здесь речь пойдет не о увеличении fps, а о том, когда заказчик скинул 3 исходника по 5 секунд и просит смонтировать 5-ти минутный ролик. Или если поступили запросы на полноценную генерацию видео в нейросетях, вот мой топ по видео генеративным нейросетям:

Сноска: я практически не создаю видео по промту, в 90% случаев я сначала генерирую картинки, получаю нужные мне результаты (по стилю, персонажу, пространству и т.д.) и затем анимирую их в видео генераторах

1. Haluoai (Minimax) - https://hailuoai.video/ - просто мой топ, умеет как создавать видео по промту, так и оживлять уже готовые картинки. Кадры получаются динамичными, живыми, отлично создает эмоции на персонаже, иногда возможно даже переигрывает. Дают 100 бесплатных кредитов каждый день, 1 генерация = 30 кредитов
2. Kling AI - https://klingai.com/ - тоже китайская нейронка, единственная выдает возможность генерировать видео в HD качестве, есть функция Motion Brush, с помощью которой можно задавать конкретные направления выбранных объектов, есть возможность загружать первую и вторую кадр и нейросеть сделает между ними переход. Даёт 6 бесплатных генераций в день в обычном качестве, но ждать придется очень долго, если зарегистрируетесь через китайскую версию (https://klingai.kuaishou.com/), то значительно ускорит процесс генераций
3. Runway - https://app.runwayml.com - тоже отличный генератор, которой дополнительно имеет очень много крутых плюшек - возможна генерация нейро VFX (чтобы горели здания, город затопила, что-то взорвалось, вырастали растения), есть возможность загружать первую и вторую кадр и нейросеть сделает между ними переход, появился инструмент Action One, благодаря которому можно сделать запись своей мимики и перенести её на любого персонажа (реальный человек, мульт, антропоморфные существа и т.д.). Новеньким можно получить бесплатные кредиты для генерации в режиме Turbo (быстрые генерации, но не в таком высоком качестве)
4. Luma DM - https://lumalabs.ai/dream-machine - Тоже неплохой генератор, возможно в моментах уступает китайцам, но, как по мне, лучше всех справляется с переходом между первым и вторым кадром. Видео с моим старением в инстаграм сделано с помощью этой нейронки. Отлично делает движения камеры, все пролетки камеры для видео SKOLKOVO, делал здесь. Дается 30 бесплатных генераций в месяц
5. PikaLabs - https://pika.art/try - не заносил бы эту нейронку в список, если бы не грамотный маркетинг, который недавно они провели. Наверняка в последнее время вы видели такие трендовые эффекты, где человека руки сжимают как пластилин, раздавливает прессом, растворяется, надувается, сдувается, разрезается как торт, всё это делается здесь. Но как генератор не советую рассматривать, только если надо сгенерировать или оживить что-то мультяшное.

Что-то еще нет смысла рассматривать, либо нужны хорошие технические знания, либо по качеству явно не дотягивающее до качество этих нейросетей, но доп список для ознакомления я приложу в конце статьи.

3. 3D нейронки

Иногда в работе надо прибегнуть к 3D анимации какого-то объекта, который заранее должен быть либо создан, либо куплен на 3D стоках. Ниже приведу список нейросетей, где можно сгенерировать нужные нам объекты.

1. Tripo 3D - https://www.tripo3d.ai - есть возможность сгенерировать объект просто по промту, так же можно загрузить фото и нейронка создаст 3D версию этого объекта, дают 60 токенов в месяц, 1 генерация - 10 токенов
2. Rodin - https://hyperhuman.deemos.com/rodin - имеет все те же функции
3. Meshy - https://www.meshy.ai - те же функции, 200 кредитов, 1 генерация - 20 кредитов
4. Luma 3D - https://lumalabs.ai/genie - имеет те же функции, но плюсом есть возможность создать имитацию съемки с дрона. Просто надо отснять всё пространство из разных углов и затем, когда оно будет готово, ключами можно задать движение камеры с любой траекторией и скоростью

4. Анимация аватаров или статичных лиц

Еще один вариант набравший популярность среди экспертов за последние полгода. Я редко прибегаю к созданию аватаров, для меня они недостаточно живые, сразу читается фальш и интерес к видео пропадает, если Ваша цель взять количеством, то отличный инструмент. А вот к анимации лиц прибегаю часто, в моменты когда надо оживить сгенерированного персонажа, а генеративные нейронки не могут выдать нужную эмоцию и хорошее движение рта, которое попадало бы в текст, приходится использовать следующие инструменты:

1. HeyGen - https://www.heygen.com/ - та самая нейросеть, которая создает аватаров. Нужно снять видео с собой на пару минут в нужной обстановке, одежде, где вы говорите какой-то текст, и загрузить в нейронку. В будущем вы сможете писать нужный сценарий, и нейронка сгенерирует видео, где вы говорите этот текст, возьмет ваши эмоции, движения и жестикуляции и внедрит в созданное видео
2. LivePortrait - https://liveportrait.org/ru - Загружаете видео со своей мимикой или где вы что-то говорите и изображение с лицом на которое надо перенести эмоции и липсинг. Из минусов - может деформироваться рот
3. Runway - https://app.runwayml.com - выше писал про эту нейросеть, но для переноса эмоций нам нужен именно инструмент Action One. Инструмент новый и, как по мне, пока что не до конца передает эмоции, нужно прям переигрывать на исходнике, чтобы результат получился хорошим.
4. Vozo AI - https://www.vozo.ai - загружаем отрывок видео из рекламы или кино и пишем текст, который должен будет произнести актёр, нейронка озвучит текст реальным голосом актера
5. SwapFace - https://swapface.org/ - сайт для быстрого создания дипфейков, поменяет лицо в видео на лицо с фотографии. Нужно подбирать лица, чтобы получилось хорошо. Дипфейк тема намного глубже и сложнее, но как инструмент для быстрого результата, вполне пойдет

Я же советую пользоваться LivePortrait или Action One, оживить качественно анимацию лица и на монтаже уже композить в реальное видео. Как по мне, это новое направление дипфейков, если ранее менялось только лицо, а прическу надо было подбирать париком, то здесь же анимируется все элементы на фото (прическа, тело, шея)

5. Создание спецэффектов и визуальных элементов

После обновления Runway появилось такое понятие, как Generative VFX, спецэффекты, которые генерирует нейросеть. По сути всё просто: прописываем эффект, который хотим получить, и нейронка создаст его на нашем кадре. С помощью монтаже мы сможем качественно внедрить их в видео. Так же можно создавать свои футажи, просто прописав в промте - "Взрыв на зеленом фоне"

В основном нейросети, которые уже были упомянуты, но в других категориях

1. Runway - https://app.runwayml.com - можем загрузить своё изображение и экспериментировать со взрывами, водопадами, сменой погоды, прорастанием огромных растений посреди города. В общем, можно сделать практически всё, что позволяет фантазия
2. PikaLabs - https://pika.art/try - писал выше про трендовые эффекты, они прям внедрены в интерфейс, но если есть желание, можно отыскать новые путем перебора своих фантазий. Так пользователи находили эффекты заморозки, испарения и другие

Эти две нейронки заявляют, что они направлены на создание GVFX, но это не значит что другие не справятся с этой же задачей, поэтому советую так же попробовать Kling, Minimax и Luma

6. Стилизация видео

Суть работы такая - загружаете своё видео, пишите в каком стиле надо переделать это видео и нейронка стилизует ваш исходник. Есть куча инструментов в мобильных приложениях, которые делают стилизацию под аниме и прочие мультики. Все они прикручены к Stable Diffusion и из-за такого метода стилизации в видео часто проскакивают артефакты, они начинают плыть и размазываться. Поэтому пока посоветую только 1 инструмент стилизации:

1. Runway - https://app.runwayml.com - снова он, ранвей. В модель Gen-Alpha надо загрузить своё видео и в промте прописать, что хотите получить на выходе

Всё еще не идеально, картинка смотрится пережаренной, и на цветкоре это надо править, но если применить навык монтажа, вырезать нужный объект и внедрить в нашу реальную съемку, мы сможем получить изумительные образы, фоны, миры, которые раньше возможно было создавать только при помощи CG

7. Генерация фоновой музыки и звуковых эффектов

Музыка и звуки - важный элемент монтажа, поэтому я практически всегда использую эти нейросети:

1. Suno AI - https://suno.com/ - генератор песен и музыки, вы можете прописать свой текст, можете просто задать настрой, инструментал, жанр песни, и нейросеть сама сгенерирует 2 варианта. Дается 50 кредитов в день, 2 песни стоят 10 кредитов
2. Udio - https://www.udio.com - основной конкурент Suno, суть та же
3. Vocalremover - https://vocalremover.org/ - нейронка разделяет вокал и музыку, можно скачать их отдельно. Если в Suno мне понравилось звучание, я просто удаляю вокал здесь и оставляю себе музыку на фон
4. Elevenlabs - https://elevenlabs.io - неверное, лучшая нейросеть для озвучки, есть возможность клонировать свой голос, генерировать новые голоса, создавать звуковые эффекты по типу вхушей и райзеров. Дают 10000 кредитов в месяц, генерировать можно много, но для РФ закрыли доступ, поэтому используем только через ВПН
5. Videotosoundeffects - https://www.videotosoundeffects.com/ - Тот же Elevenlabs, но уже создает озвучку к вашему видео. Загружаете короткий фрагмент, и нейронка предложит 4 варианта озвучки. Нельзя помогать промтом, но абсолютно бесплатная, редко удается получить нужную мне озвучку, поэтому лучше использовать Elevenlabs, прописывая звуки промтом

Всё еще неидеально, но в разы дешевле студий звукозаписи, можно взять на вооружение и добавить как доп услугу по озвучке роликов и написанию музыки.

8. Создание необычных переходов

Для таких же любителей fashionультрасупермегапупер переходов, как и я, даю наводку. Делаем стоп-кадр из конца одного шота и начала другого, закидываем в нейронку, где можно создать анимацию по двум ключевым фото и ждем комментарии о том, как люди сломали мозг и не понимают, как был сделан этот переход.

Если забыли, то вот еще раз нейронки, позволяющие создавать анимацию по двум ключевым кадрам:

1. Luma DM - https://lumalabs.ai/dream-machine
2. Kling AI - https://klingai.com/
3. Runway - https://app.runwayml.com (пока только горизонтальные кадры)

Заключение

Думаю, на этом остановимся, в статье прошелся только по верхушке того, как нейронки могут повлиять на создание видеоконтента. В каждый пункт можно углубиться и привести миллион примеров того, как люди умудряются использовать нейронки, какие необычные эффекты они создают, как упрощают себе монтаж, экономят время, делают свои работы на голову выше, и всё это благодаря нейросетям.

Не советую распыляться, лучше выберите то, что вам ближе, и начинайте изучать по пунктам из этой статьи. Думаю, вы найдете тонны полезной информации, а если начнете применять, то станете еще более востребованным специалистом.

Надеюсь, теперь вам стало понятнее, как грамотно применять нейросети при создании креативных видео. Если остались вопросы — обязательно пишите мне в директ @niko__AI

И, конечно же, список доп нейронок для расширения кругозора:

1. https://haiper.ai/ - видеогенератор
2. https://www.genmo.ai/ - видеогенератор
3. https://app.goenhance.ai/ai-video-generator - видеогенератор
4. https://nim.video - видеогенератор, стилизатор, можно добавить липсинг
5. https://pixverse.ai/ - еще один видеогенератор, попробуйте фишку Character to Video
6. https://app.immersity.ai - Создает псевдо 3d движения из фото, можно задать прямые движения камеры, небольшие облеты полукругом. Фоны с ДНК для SKOLKOVO оживлял здесь
7. https://kaiber.ai/ - включает в себя кучу инструментов, которые есть в основном списке (Minimax, Runway, Luma)
8. https://www.krea.ai/ - сначала это был генератор изображений, теперь это и апскейлер и так же недавно внедрили доступ к основным видео нейронкам через свой сервис