August 31, 2023

Быстрый монтаж с помощью нейросети Runway

Доступно в России. Перевод на русский язык осуществляется с помощью встроенного переводчика.

Ссылка на нейросеть:

https://runwayml.com/

Что умеет:

  • создавать ролики на основе текста
  • изображений и видео
  • менять темы и стили
  • добавлять визуальные эффекты
  • удалять или заменять объекты и фон
  • работать со слоями
  • регулировать скорость
  • добавлять субтитры
  • удалять фоновые шумы

Инструкция по использованию приложения:

1. Переходите по ссылке: https://runwayml.com/ и регистрируйтесь, нажав Try Runway for Free в центре экрана, либо Sign up в правом верхнем углу.Авторизоваться можно через Google или Apple аккаунт, либо email.

Пример фото

2. Чтобы создать новый проект, выбирайте Create New Project в меню справа:

3. Можно создать видео с нуля, либо использовать AI инструменты из раздела «Magic Tools» для работы с уже готовым материалом.

4. При создании видео с нуля вы можете пользоваться готовыми шаблонами, размещая собственные видеоматериалы/изображения и текст. Функция Upload служит для загрузки файлов, в папке Assets будут храниться ваши загруженные медиа, а готовые образцы можно взять в разделе Templates.

Но главные особенности Runway заключаются не в создании и редактуре видео, а в 30 разных AI инструментах

Что может ИИ в Runway?

Условно инструменты сервиса разделены на несколько категорий:

  • Генерация видео и изображений по текстовым запросам или из готовых материалов.
  • Работа с объектами на видео: удаление объектов, блюр лиц, заливка ч/б видео цветом, датчик движения объектов и т.д.
  • Работа с фоном видео: удаление или замена фона, добавление зеленого экрана, блюр.
  • Редактирование видео: удаление лишних шумов, раскадровка видео, генерация субтитров и транскрипция видео.

Функция «Удалить объект»

На сайте Runway в разделе AI Magic Tools находим инструмент Inpainting:

Загружаете видео с устройства, нажав Upload, и перетаскиваю его мышкой из списка Assets на рабочую панель (пустой черный прямоугольник):

С помощью кисти Brush выделяете объект, который хочется удалить:

Если объект на видео слишком активно передвигается, придется выделить более обширную область, чтобы не пришлось редактировать каждый кадр.

На скриншоте из середины видео заметно, что объект исчез, однако при проигрывании будет заметно движение, будто олененок стал невидимым. В целом, инструмент удаления объектов хорошо справляется с задачей, особенно если вам нужно убрать статичный объект из поля зрения.

Чтобы сохранить видео на устройство, выбирайте функцию Export в правом верхнем углу. Видео отправляется в коллекцию созданных, а после загрузки его можно будет скачать наведением на правый верхний угол.

Пример видео:

Функция «Генерация видео на основе видео и текста»

Переходим в раздел Gen-1: Video to Video и выбираем материал из папки Assets:

В разделе Presets выбираете фильтр для будущего видео:

Рядом в разделе Prompts пишу, что должно быть в видео. Продолжительность генератива всегда будет 3 секунды, т.к. это beta-функция. Представленный вариант — a girl is running (девушка бежит).

Не загружайте в нейросеть видео дольше 3 секунд, иначе генерация «зависнет».

Такое видео получилось на основе стокового с учетом заданных фильтров и промпта:

Инструмент «Автоматическая замена фона»

Листаете до конца главного меню и выбираете «Replace Background», это интереснее, чем просто наложить зеленый экран.

Скачиваете из стока видео с изображением нескольких человек, чтобы усложнить запрос. Действуйте по такому же принципу, что и с другими проектами — добавляйте свое видео с помощью кнопки Upload в левом верхнем углу.

Чтобы оставить объект на видео, нужно просто щелкнуть по нему мышкой. ИИ хорошо определяет, что должно остаться на видео, но иногда нужно выделить детали:

Чтобы убрать лишнее выделение, на правой боковой панели выбирайте функцию «Exclude». Для результата жмите «Replace Background».

На странице готового проекта можно вернуться к редактированию в разделе «AI Magic Tools». Для заливки нового фона выбирайте понравившееся изображение со звездным небом, к примеру, и загружайте его через кнопку Upload. Чтобы новое изображение стало фоном для видео, перетаскивайте на дорожку под видео:

Для сохранения видео на устройстве нужно нажать «Export», а затем скачать его из папки Assets.

Пример работы:

Что касается цен, есть несколько вариантов:

Бесплатно в Runway можно создать 3 проекта, в дальнейшем потребуется оформить подписку. «Pro» подписка стоит $12 в месяц за безлимитное количество проектов, и возможность редактировать видео в разрешении 1080р и 4k.

Также есть подписка для команды «Team» за $28 в месяц, которой могут пользоваться несколько людей.