Как сделать кавер нейросетью

Активным пользователям социальных сетей уже давно известно, что при помощи нейросетей делают различные каверы на песни, заменяя голос совершенно на любой. Это можно реализовать довольно просто и бесплатно, используя правильные инструменты.

Программа RVC

Если мы говорим о продвинутом инструменте, который позволяет голос в треке заменить на абсолютно любой другой, то в первую очередь стоит отметить именно RVC. Это десктопная программа, имеющая несколько разных моделей нейросетей. Работает по принципу анализа загруженной голосовой модели и замены ею оригинальной. Как раз через такую программу можно сделать кавер, используя любую готовую голосовую модель. 

Давайте начнем по порядку. Разделим процесс взаимодействия с данной программой на несколько этапов. Сначала разберемся с установкой и запуском, что должно быть довольно просто, ведь софт распространяется бесплатно в виде архива через GitHub.

1. Перейдите на страницу RVC на GitHub и нажмите по ссылке «‎Windows-pkg».

2. Вы будете перемещены на страницу загрузки, где нужно найти еще одну ссылку для скачивания последней версии в ZIP-архиве.

3. Программа занимает 3 ГБ, поэтому наберитесь терпения и ожидайте окончания загрузки. 

4. Внутри этого архива находится сама папка с программой. В ней несколько десятков тысяч файлов, поэтому для удобства работы распакуйте эту папку в любое удобное расположение.

5. В ней находится непосредственно файл нейросети расширения BAT для запуска графического интерфейса.

6. Дважды кликните по нему, после чего откроется консоль с уведомлением о запуске программы. Само окно появится где-то через минуту. Как только это произошло, приступайте к ознакомлению со следующим подготовительным этапом.

Нейросеть RVC работает таким образом, что анализирует одну голосовую модель и подменяет ее на другую. Поэтому вам нужно либо найти акапеллу из интересующей песни, либо создать ее самостоятельно. Поступить по второму плану проще, поскольку можно использовать разные онлайн-сервисы на базе ИИ, которые отделяют музыку от вокала. Этим я и предлагаю заняться далее.

1. На выбор доступно огромное количество подходящих сайтов, но, как по мне, проще всего работать через Vocalremover. Сайт способен корректно отделить музыку от вокала и сразу позволит скачать обе дорожки в виде MP3 на ПК. Да, музыка нам тоже пригодится, но об этом позже. Начните работу с сайтом, кликнув по «Выбрать файл».

2. Загрузите для обработки MP3-трек с оригиналом песни.

3. Пройдет несколько секунд, после чего Vocalremover отобразит две независимые друг от друга дорожки. Послушайте вокал и музыку отдельно, чтобы убедиться в корректности обработки. Если вместе с голосом изредка слышно звуки некоторых частот из музыки, ничего страшного, это не отразится на качестве преобразования голосовой модели через RVC.

4. Далее нажмите по кнопке «Сохранить» и скачайте отдельно музыку и вокал. Вокал мы будем обрабатывать через нейросеть, а минус пригодится для дальнейшего склеивания его с новой голосовой моделью.

Подготовка практически завершена, остается только разобраться с голосовой моделью. Их можно скачать с самых разных сайтов, предназначенных для замены голоса через RVC. Большинство известных артистов, включая отечественных, уже имеют свои голосовые модели, созданные энтузиастами. Если вы хотите сделать кавер с голосом вашего знакомого, понадобится звуковая дорожка с его речью, длиною не менее 10 минут. После чего она должна быть обработана через другую нейросеть для получения необходимых файлов. Этот процесс сложный и требует отдельного разбора, поэтому лучше посмотреть видеогайды по этой теме.

1. Если же работаем с уже известной голосовой моделью, процесс создания кавера становится довольно простым. Сначала в программе нажмите «Browse», чтобы перейти к выбору изначального аудиофайла.

2. Выберите полученный ранее вокал из оригинальной песни.

3. Теперь подберите звуковую модель артиста на любом удобном для вас сайте, воспользовавшись поисковиком. Некоторые русскоязычные блогеры предлагают доступ к Google Диску, где есть отечественные голосовые модели из фильмов, мультиков, игр или голоса видеоблогеров. Тут уже отталкивайтесь от того, кавер с чьим голосом вас интересует.

4. Учитывайте, что любая голосовая модель для RVC должна быть скачана в формате ZIP. Сделайте это, после чего возвращайтесь к программе.

5. Используйте кнопку «Import model from .zip», чтобы импортировать скачанную голосовую модель.

6. Выберите ее из списка моделей или же остановитесь на уже встроенных для проверки работы нейросети.

7. Далее предлагается выбрать модель обработки и дополнительные настройки для нее. Лучшее качество имеют «dio» и «pm», поэтому попробуйте две эти модели, но настройки менять не нужно, поскольку по умолчанию они соответствуют требованиям.

8. В блоке справа убедитесь, что нейросеть будет использовать GPU для обработки (если у вас процессор мощнее видеокарты, тогда переключайтесь на CPU). Нажмите «Convert» для запуска преобразования оригинального голоса из песни на выбранную модель.

9. Процесс займет несколько минут. Во время обработки программа может перестать отвечать, поэтому не закрывайте ее, а просто ожидайте. В конце должна появиться плашка с информацией об успешном конвертировании, ссылка на сам файл и кнопка «Open», чтобы быстро перейти к папке с ним.

В итоге мы получили новый файл с акапеллой из песни, где вместо голоса оригинального артиста – выбранная голосовая модель. Ее нужно использовать вместе с минусом, который был отделен при помощи онлайн-сервиса. Происходит наложение голоса на музыку, чтобы сформировать песню. Для этого можете использовать любой аудиоредактор, работающий в десктопном режиме или онлайн.

1. Сначала проверьте сам результат и найдите минус.

2. Откройте подходящий для редактирования аудио сайт или выберите любую программу. Я буду использовать Kapwing, но только его пробную версию. На сайте нужно нажать «Add Media» или перетащить файлы прямо на вкладку.

3. Далее сформируйте из них дорожки на таймлайне, наложив голос поверх минуса. Обязательно воспроизведите результат и убедитесь в том, что все настроено правильно. По желанию можете регулировать громкость каждой дорожки.

4. По завершении переходите к экспорту и выберите формат MP3 для сохранения вашего кавера, который удалось получить при помощи RVC.

Есть и другие нейросети, работающие по такому же принципу, некоторые имеют лучше модель ИИ или же позволяют более качественно подменять голос, однако такие платные или пока еще недостаточно известные для широкого применения. Поэтому процесс создания кавера был продемонстрирован именно на RVC, как средстве, которое используется повсеместно для создания видео с каверами на YouTube или в TikTok.

Онлайн-сервис Suno

Suno – нейросеть, работающая в виде сайта. Может создавать песни с нуля, занимаясь написанием текста и музыки. Однако она подходит и для создания каверов, поскольку вы самостоятельно можете загрузить текст или инструментал, а далее выбрать жанр и задать дополнительные подсказки для нейросети. Ее главное отличие от предыдущего инструмента – невозможность самостоятельно выбрать голосовую модель. Голос артиста будет сгенерирован тоже с нуля.

1. Для начала работы с Suno понадобится зарегистрировать учетную запись. Для этого нажмите кнопку «Sign Up». Можно даже выполнить вход через Google, чтобы не тратить лишние минуты. После авторизации будет начислено немного поинтов для бесплатного создания каверов и новых песен. Они обновятся через день, поэтому можно не создавать много аккаунтов каждый раз, когда эти поинты заканчиваются.

2. Переходите к работе с инструментом, кликнув по кнопке «Create».

3. Поскольку мы создаем кавер, а не генерируем новую песню, необходимо активировать «Custom Mode».

4. После этого станет доступной строка для ввода текста песни. Соответственно, вам нужно найти текст оригинала и просто вставить его в эту форму.

5. Если кавер делается на основе инструментала, дополнительно активируйте другой пункт и загрузите минус. Его можно получить через тот же самый онлайн-сервис Vocalremover, о котором уже шла речь выше.

6. В завершение задайте для Suno жанр, в котором ей нужно сделать кавер. Если предпочтений нет, оставьте поле пустым, тогда жанр будет подобран случайным образом. Нажмите кнопку «Create» для запуска обработки.

7. Ожидайте, пока справа появятся две версии вашего кавера. Прослушайте их и решите, какая подходит больше всего. Можете поставить палец вниз возле кавера, если он вообще вас не устраивает или создан некорректно. Это позволит Suno обучиться и в следующий раз предложить что-то получше.

8. Готовый кавер можно скачать в виде MP3-файла на свой ПК. Для этого достаточно вызвать меню нажатием по трем точкам возле песни и выбрать пункт «Download».

9. Если хотите узнать, как другие пользователи взаимодействуют с Suno, какие каверы и новые треки у них получаются, вернитесь на главную и прослушайте рекомендованные композиции. Они отсортированы от самых популярных, но есть и фильтры по различным жанрам, если это будет интересно.

Экспериментируйте с разными треками, создавайте каверы по существующим песням или пишите что-то свое в разных жанрах. У Suno большая библиотека голосов, которые могут петь заданные песни, каждый из них настроен под свои жанры, поэтому иногда стоит переключаться между ними или выбирать случайные, чтобы узнать, какой результат будет наилучшим.

Как видите, каждая из предложенных нейросетей имеет свой набор возможностей и функций, которые помогают в создании каверов. Отталкивайтесь от того, какую цель вы преследуете. Если желаете, чтобы известная личность спела какую-нибудь песню, то остановиться лучше на RVC. Если популярный трек должен звучать по-новому, в другом жанре, тогда присмотритесь к Suno.

Читайте также

Как нарезать видео на клипы при помощи AI

Нейросети для обработки фото