Урок 6 «Голос и аватары: HeyGen/ ElevenLabs»

👩‍🏫 Автор урока: Анна Веклич, эксперт в сфере развития и продвижения высшего образования и науки, сооснователь @GPT4Telegrambot и автор курса «Нейрограмотность».

📌 В этом уроке вы узнаете узнаете об AI-сервисах для создания голоса и виртуальных аватаров и поймете, как настраивать и использовать эти инструменты для различных целей, включая создание контента для соцсетей и других проектов

Содержание

HeyGen

📌 HeyGen – сервис для создания видео, который использует искусственный интеллект для создания говорящих аватаров.

Ссылка на сервис: https://heygen.com/

Возможности HeyGen:

Выбор из коллекции более 100 аватаров различных этносов, возрастных категорий и стилей с уникальной мимикой, жестами и эмоциями.
Выбор из 50+ голосов разных языков и диалектов с точной синхронизацией движений губ.
Настройка скорости речи, тонов, интонаций, а также возможность добавления пауз и акцентов для достижения желаемого эффекта.
Выбор фона из доступных или своих вариантов для персонализации видео.
Сохранение видео в качестве 1080P с возможностью публикации, получения ссылки для встраивания или рассылки в социальных сетях.

📌 Главная фишка – возможность создать своего цифрового аватара, который будет говорить то, что вы ему напишете, на любом языке (около 40) с сохранением вашей мимики и движения губ.

Где можно использовать своего аватара?

в записи видеоуроков и других образовательных материалов;
в создании очетов;
в ведении блога и социальных сетей;
в создании визиток и т.д.

Рекомендации по созданию аватара:

Среди ключевых советов выделяется необходимость выбирать для видео материалы без фонового шума или музыки, либо же убедиться, что музыкальное сопровождение не является слишком навязчивым.
Лучше, если на видео говорит только один человек. Если загрузить диалог, нейросеть объединит голоса и заставит обоих собеседников говорить «усредненным» голосом.
Проверьте, чтобы в кадре не было портретов или бюстов. ИИ-липсинк распространяется на то, что система распознает как лица, то есть картина или бюст может заговорить.
Автор должен смотреть прямо в камеру, иначе генерация мимики собьется.
Руки, микрофоны или другие предметы не должны закрывать лицо говорящего.
Спикер должен говорить на одном языке. Если менять языки по ходу речи, то генерация тоже может сбиться.

Elevenlabs

📌 Elevenlabs – это лучшая нейросеть для перевода видео и аудио на 29 языков мира.

Сайт ElevenLabs зарегистрирован в 2022 году Петром Дабковски и Мати Станишевски. Бета-версия нейросети запущена в январе 2023 года. Цель проекта – повысить качество озвучки в фильмах. Стоимость компании – 1 млрд $.

Ссылка на сервис: https://elevenlabs.io/

Возможности Elevenlabs:

Синтез речи: С помощью этой функции можно добиться того, чтобы голос AI хорошо сочетался с окружающим контекстом. Этот инструмент также позволяет добавить эмоции к голосам, генерируемым искусственным интеллектом, чтобы сделать их более реалистичными.
Voice Lab: Voice Lab - это уникальный набор инструментов искусственного интеллекта, с помощью которого можно создавать совершенно новые синтетические голоса, а также клонировать свой голос на 30+ языков.
Библиотека голосов: С помощью этой функции вы можете получить доступ к постоянно пополняющейся библиотеке голосов искусственного интеллекта. Это высококачественные голоса, которые вы можете подобрать в соответствии с вашими потребностями. Здесь можно найти голоса по полу, возрасту, акценту и многим другим признакам.
Витрина: Витрина – это уникальная функция, позволяющая поделиться своим творчеством со всем миром. Здесь вы также можете черпать вдохновение из материалов других людей со всего мира.

Это может быть полезно для озвучки видео, дубляжа голоса на другие языки, озвучки книг и других задач.

📌 Elevenlabs распознает текст в файлах epub, txt и pdf. Подходит для озвучивания книг. Нейросеть полезна для видеоблогов, подкастов, кино и сериалов.

Примеры дубляжа отрывка из книги «Властелин Колец» Дж. Р. Р. Толкина доступны для прослушивания на сайте T4S.TECH.