Конец 2022 и начало 2023 года ознаменовались настоящим бумом популярности нейросетей. Мы становимся свидетелями того, как искусственный интеллект занимает все больше места в повседневной жизни человека: в производстве, медицине, транспорте, экономике, образовании.
Нейросети помогают человеку (а, возможно, и конкурируют с ним) даже в сфере искусства. Мы уже протестировали лучшие сервисы для создания изображений и текстов, но и музыка не остается в стороне от передовых технологий.
Конечно, пока мы не можем сказать, смогут ли нейросети создавать что-то на уровне с произведениями Моцарта или Рахманинова. Но уже точно можно утверждать, что в сфере коммерческого применения музыки (например, в рекламе, играх и фильмах) нейросети могут составить конкуренцию человеку-автору. Кроме того, они уже помогают подбирать музыку для видеороликов, которые блогеры размещают в интернете. Особенно удобно, что при этом создателям контента не нужно беспокоиться о соблюдении авторских прав.
Как нейросети создают музыку
Нейросеть может генерировать музыку разными способами:
Создание музыки с нуля. Обученная на обширной базе данных (музыкальных произведений) сеть генерирует совершенно новую композицию. При этом используются различные алгоритмы, среди которых LSTM (долгая краткосрочная память) и GAN (генеративно-состязательная сеть, алгоритм машинного обучения без участия учителя). Плюс такого процесса – пользователь может получить действительно интересную, подходящую для его целей музыку, при этом он сможет использовать ее совершенно свободно.
Другой вариант: имитация стиля какого-нибудь композитора или исполнителя. Для этого нейросеть обучают на музыке определенного автора. Почему бы не послушать новую сюиту Чайковского или Грига? Или не включить новую песню Леннона или Высоцкого? Конечно, результат может быть разный: не обещаем, что он вам понравится.
И наконец, третий вариант: генерация не всего музыкального произведения, а только его части – партии конкретного инструмента или голоса. Например, нет у группы барабанщика или нужна бэк-вокалистка с особым голосом – на помощь могут прийти нейросети.
RIFFUSION
RIFFUSION генерирует музыку по текстовому описанию. Пользователь задает характеристики будущей композиции с помощью нескольких слов, а сеть выдает спектрограммы, которые потом преобразуются в аудио-треки. Также можно выбрать музыкальные инструменты и направление музыки. Если результат не устроил, попросите сеть сгенерировать новые варианты по тем же исходным данным.
Работать с нейросетью предельно просто: вводим слова-характеристики, затем нажимаем на «Ввод» и на кнопку проигрывания в правом верхнем углу экрана. Судя по всему, все данные лучше вводить на английском языке: мы попробовали сделать это на русском – и сеть сгенерировала музыку без звучания заданных инструментов.
Нейросеть генерирует музыку в реальном времени: мелодия будет звучать, пока пользователь сам ее не остановит. Она может создать инструментальную композицию и даже песни в стиле известных исполнителей или жанров.
Для тестирования работы нейросети мы задали следующие характеристики: piano, violin, jazz (фортепиано, скрипка, джаз). В ответ получили занятную композицию, основа которой – действительно фортепьяно и скрипка. Результат звучит как постоянно повторяющаяся мелодия с небольшими вариациями в джазовом стиле.
RIFFUSION – безусловно, интересный сервис. Если разработчики продожат развивать его, то результаты его «творчества» будут становиться все более впечатляющими.
Mubert
Нейросеть Mubert можно использовать через браузер или в виде приложения. Она бесплатно генерирует музыку на основе предпочтений пользователя. При создании новой композиции необходимо на английском языке ввести характеристики в поле Enter promt. Можно прописать инструменты, жанр и установить длительность композиции в строке Set duration.
Второй вариант проще: не задавать свои параметры, а выбрать готовые. В предложенных списках выберите стиль(Genres), настроение (Moods) и тип деятельности (Activities), для которой вы хотите получить музыку: спорт, сон, отдых и т.д.
Без регистрации сайт позволяет создать пять треков. Чтобы облегчить поиск среди образцов, они сгруппированы по жанру, темпу, инструментам и тональности.
А вот когда вы захотите скачать свою композицию, придется немного попотеть. Сначала необходимо добавить трек в список для загрузки, нажав на соответствующую кнопку (Add to my downloads). Затем перейти в свои загрузки и снова нажать на иконку в виде стрелки. После этого сеть попросит указать сайт, где вы собираетесь опубликовать свой трек. Если вы не хотите указывать конкретный адрес, то для скачивания придется заплатить за отдельную композицию или оформить подписку.
И еще одна маленькая денежная хитрость вроде бы бесплатного сервиса: в сгенерированной композиции каждые пятнадцать секунд будет звучать вотермарка – имя нейросети Mubert. Если хотите ее убрать, то придется опять же либо разово заплатить, либо оформить платную подписку.
В результате нашего эксперимента с нейросетью получилась интересная композиция в классическом стиле в оркестровой обработке. Но слушать ее мешает постоянно повторяющаяся вотермарка. Про этот «финансовый аспект» творчества следует помнить до начала работы с нейросетью.
В итоге, Mubert – простой инструмент, но далеко не такой бесплатный, как может показаться на первый взгляд.
Soundraw
Еще одна нейросеть-композитор, которая предоставляет бесплатную возможность сочинять музыку. Для генерации трека нужно зайти на сайт Soundraw и выбрать параметры будущей композиции.
Заранее необходимо определиться с настроением желаемой музыки (Mood): мрачное, романтичное, умиротворенное, счастливое – представлено больше 20 вариантов. Затем выбрать жанр композиции (Genre): хип-хоп, рок, фанк, хаус и т.д. Следующий параметр – тема (Theme) – то, для чего композиция создается: для радиопередачи, влога, фильма, занятий спортом, отдыха на природе. Есть даже вариант – для свадьбы. Также пользователь может задать скорость (низкая, обычная и высокая) и длину композиции (от десяти секунд до четырех минут). Одна из самых интересных характеристик – выбор музыкального инструмента: фортепиано, акустическая или электическая гитара, духовые инструменты и т.д.
Интересная дополнительная опция сети Soundraw – после создания трек можно редактировать. Он весь разбит на временные отрезки и с каждым из них легко работать отдельно: копировать, вырезать, увеличивать или уменьшать энергичность звучания. Также на каждом участке трека можно включать и отключать саму основную мелодию, аккомпанемент, басы и ударные, поменять местами ключевые точки. Также есть возможность выставить желаемую громкость для всех слоев композиции.
Генерировать в Soundraw и слушать свои треки онлайн можно совершенно бесплатно. Но чтобы скачать музыку, придется покупать подписку на месяц или на год.
Мы решили задать сети следующие параметры для генерации: счастливое настроение, жанр – хип-хоп, тема – влог, а инструменты – пианино. Получилась довольно симпатичная композиция, которая подходит для фонового звучания во влоге или подкасте. Так что Soundraw – хороший инструмент для тех, кто только начинает изучать тему генерирования музыки с помощью IT-технологий и хочет создать трек для своего канала.
Jukebox
Компания OpenAI, ставшая особенно известной после запуска ChatGPT, тоже не остается в стороне от музыкальных ИТ-тенденций. Ей принадлежит сеть Jukebox, чье название переводится как «музыкальный автомат». Правда, в отличие от описанных выше нейростей, она далеко не так проста в использовании, как можно предположить по ее имени.
Для создания музыки в Jukebox требуются знания в области программирования, довольно много времени и высокие вычислительные мощности – проще говоря, производительный компьютер. Сеть пока не подходит для тех, кто хочет быстро и без особых навыков создать трек для видео.
Нейросеть, обученная на более чем миллионе музыкальных композиций разных жанров, отличается широким набором возможностей. Она даже способна создавать песни с полноценными текстами и вокалом. При этом она может воссоздавать стиль конкретных исполнителей. Правда, здесь возникает вопрос об авторском праве: одно дело – писать музыку, имитируя стиль музыканта, другое дело – создавать песни, где используется пусть и сгенерированный, но его голос. Можно ли использовать такие треки без риска получить иск от популярного певца? Очень сомневаемся.
Для описания полноценного тестирования Jukebox понадобилась бы отдельная статья. Но все желающие оценить работу нейросети могут просто заглянуть на ее сайт и послушать композиции, уже сгенерированные в стиле известных музыкантов.
Boomy
Нейросеть Boomy – отличный помощник начинающему композитору. Она не будет предлагать создавать музыку в стиле какого-то исполнителя, но поможет сгенерировать собственную композицию, непохожую на другие.
С сетью, появившейся в 2019 году, работать очень просто. Нужно просто зайти на сайт, зарегистрироваться и выбрать характеристики своего будущего шедевра. Нажимаем «Создать песню» (Create a song) и определяемся с инструментальным сопровождением. Можно выбрать стиль, инструменты, звуковые эффекты и пр.
Интересная опция – к сгенерированной мелодии можно добавить голос (кнопка «Add vocal»). Это может быть запись голоса самого пользователя, которую предлагают сделать прямо на сайте. Также сеть дает возможность загрузить вокальную партию, записанную заранее. Уже после создания композиции ее можно изменить, например, сделать другую аранжировку.
После завершения творческого процесса вы можете сохранить композицию. При этом сайт спросит, для каких целей пользователь планирует использовать созданную музыку: для размещения в ролике на YouTube, на стриминговых сервисах, например, Spotify, или в некоммерческих целях. И, что интересно, при проигрывании композиции на потоковых сервисах автор будет зарабатывать деньги. Комиссия сайта при этом составит 20%, а остальное получит сам создатель музыки. Авторы нейросети утверждают, что с помощью их сервиса было создано более 10 миллионов оригинальных композиций!
В качестве тестовой генерации мы сделали в Boomy приятную мелодию для релакса, где фоном звучат птичьи голоса. Неплохой вариант, например, для фоновой музыки в ролике про природу или путешествия.
AIVA
Нейросеть, название которой расшифровывается как Artificial Intelligence Virtual Artist («виртуальный артист (музыкант) с искусственным интеллектом»), способна создавать такие интересные и «человечные» музыкальные композиции, что ее уже называют конкурентом для композиторов-людей.
Сеть существует уже несколько лет, за это время она по-настоящему сделала себе имя среди музыкантов. Ее музыка даже звучала в исполнении симфонического оркестра (настоящего, не виртуального!). В YouTube можно найти не одно произведение AIVA, исполненное различными оркестрами. Например, музыка для игры Pixelfield – Battle Royale, созданная сетью и исполненная музыкантами вживую, звучит впечатляюще. И вряд ли слушатели смогут вычислить, что эти произведения были созданы интеллектом искусственным, а не естественным.
Конечно, не каждая композия, сгенерированное сетью, получается такой удачной, как саундтрек к Pixelfield. Но помня о том, что сеть может написать огромное количество произведений за короткий промежуток времени, результат впечатляет.
Создатели дают возможность использовать сервис совершенно бесплатно, но в месяц можно скачать всего три трека. Есть и платная подписка на месяц, которая позволит неограниченно скачивать и использовать треки, сгенерированные сетью.
Для создания собственной музыки нужно, прежде всего, зарегистрироваться. А дальнейший алгоритм действий схож с тем, что уже описан выше для других нейросетей. Нажимаем кнопку «Create track», выбираем жанр, тональность и т.д.
Мы сгенерировали композицию в стиле киберпанк: легко представить, что подобный трек звучит в соответствующей тематике игре или видео. Нейросеть AIVA показывает себя как действительно талантливый виртуальный композитор, а будущее покажет, сможет ли она потеснить человека в этой области.
Melobytes
Неройсеть Melobytes поможет написать песню (результат, возможно, будет не идеален, но все же), создать музыку по картинке и многое другое. Для начала работы необходимо зарегистрироваться на сайте, и, зайдя на него, нажать кнопку «AI become a singer». Если вам не понравится песня, созданная по заданному тексту, то попробуйте сгенерировать мелодию по изображению.
Мы выбрали создание песни с женским вокалом, мажорную тональность, достаточно высокую скорость (245). Честно говоря, результат нас скорее удивил, чем порадовал. Как первую строку нашей песни мы задали фразу: «Редакция ZOOM.CNews рекомендует». Сеть нам выдала что-то невразумительное. Вокал было трудно определить как женский, а текст в композиции было просто невозможно разобрать. Похоже, Melobytes еще требует определенных доработок.
Сеть будет интересна тем, кто начинает изучать возможности ИИ и нейросетей. Отдельно отметим, что Melobytes предлагает большое количество настроек, при этом экспериментировать и сохранять созданную музыку можно бесплатно.
Поделиться
