Cоздаём мэшапы голосами своих любимых артистов с помощью AI

Всех приветствую на канале Neural Brain.

Наверняка вы видели статьи где говорится про какие-то нейромэшапы на Google Colab'e. Но мы вам хотим рассказать не про тот Google Colab, который вы наверняка видели, а про более усовершенствованную версию, которая на русском языке и есть целых два способа их создавать. Сначала расскажу вам первый способ (только на ПК), а потом второй (можно и на ПК, и на телефоне). Создателем данного удивительного скрипта является voicepaw. Ну что-ж, погнали!

Для работы нейросети нам нужен вокал, минус (Потом скажем, зачем) и сама песня. Вокал можно вырезать с помощью другой нейросети, например: https://vocalremover.org/ru/ или https://github.com/Anjok07/ultimatevocalremovergui (Не реклама).

Сначала расскажем, как ими пользоваться. Первый сайт очень легко работает, сначала вставляете туда ваш трек, который вы и хотите спеть каким-то голосом, а он автоматически делит его на вокал и минус. Мы например, использовали песню от kizaru — Дежавю.

Но к сожалению, есть лимит, при котором нельзя каждую минуту вставлять туда новый трек. Лимит обойти довольно легко, просто качаем VPN (Советуем Windscribe, так как некоторые другие могут не работать) и дальше повторяем все действия до этого, минус трека можно найти в интернете или вырезать оттуда же.
Теперь перейдём ко второму способу вырезания вокала. Заходим на GitHub https://github.com/Anjok07/ultimatevocalremovergui (Не реклама). Нажимаем туда, куда я показал на скриншоте:

. Далее крутим страницу немного вниз и скачиваем саму программу:

Ждём, пока установится установщик и после установки открываем его. Нас встречает данное окно:

соглашение и нажимаем "Next", "Next", "Next", "Install". После установки открываем программу, в Input вставляем наш трек, а в Output вставляем папку, куда сохранится файл. Далее нажимаем на гаечный ключ, как на скрине:

Download Center -> включаем MDX-Net и выбираем MDX-Net Model: Kim Vocal 1. Затем нажимаем на кнопку загрузки:

и после загрузки выходим из этого окна. Далее ставим все настройки как на скриншоте:

нажимаем на Start Processing. После надписи Process Complete выходим из программы. В папке, в которую мы всё сохраняли появится минус и вокал в .wav формате. Теперь можем начинать создавать наш нейромэшап.

Первый способ создания нейромэшапов

Первый способ создания нейромэшапов заключается в том, что нужно скачать специальную программу для их создания. Сейчас всё объясним. Заходим на GitHub https://github.com/voicepaw/so-vits-svc-fork (Не реклама). Идём вниз страницы и нажимаем на данную кнопку:

У нас устанавливается .bat файл, который сохраняем в удобное место, я сохранил в Локальный диск (C:). Далее открываем его, устанавливаем всё, что он просит, жмём любую клавишу и начинается установка (Имейте ввиду, что должны быть установлены CUDA и CUDNN). Установка длится довольно долго, так что набираемся терпения и ждём... После установки в папке с файлом .bat появляется папка venv. Открываем её, затем Scripts и открываем файл svcf-gui.exe, но у меня он открылся автоматически после установки. Сразу ставим Pitch на 0, иначе будут

Дальше нам надо скачать саму модель голоса, найти можно здесь: https://drive.google.com/drive/folders/1oEbwIWJFDhDkjlPcO28DNOXkESHnkcA0 (Не реклама. Актуальная ссылка, часто обновляется автором). Я выбрал модель Моргенштерна. После установки распаковываем архив куда удобнее и опять же открываем окно программы. В разделе Paths нажимаем на Browse возле Model path и вставляем нашу модельку в формате .pth. Затем нажимаем на Browse возле Config path и теперь вставляем файл "config.json". Затем в правой части окна у нас есть раздел File, в Input audio path вставляем путь к вокалу песни, который мы уже вырезали, отключаем Auto play, а в Output audio path ничего не трогаем. Включаем, если выключена галочку Use GPU внизу экрана и нажимаем Infer:

. В конце процесса у нас создаётся файл с расширением .wav с нашим голосом. Если что-то не так произошло, то в консоли всё отобразится и она начнёт скачивать недостающие файлы в случае неудачи. После данного процесса у нас появляется готовый файл с нашей песней и голосом вашего любимого исполнителя в формате .wav. Дальше открываем какую-нибудь программу для создания музыки, например FL Studio, вставляем туда .wav файл с голосом и минус песни, как-нибудь подгоняем и получается готовый нейромэшап. Вот какой результат получился у меня: https://drive.google.com/file/d/1J2TVe1oRLu49o96ZVBEYhFyOhIRIe9E7/view?usp=share_link (Не реклама)

О втором способе расскажем в следующей статье. Если ждешь продолжения, подписывайся на канал, ставь лайк этой записи и отдельная благодарим кто делает небольшие донаты. Спасибо.