Заменит ли компьютер живых музыкантов?
Несмотря на то, что человечество проводит эксперименты в плане написания музыки с помощью ИИ вот уже более 50 лет, считается, что эта технология еще находится на ранней стадии развития. Однако будущее ее выглядит светлым — по крайней мере, так считают те, кто с ней работают.
Это значит, что в будущем композиторам — в частности тем, кто пишет музыку на заказ — возможно, придется искать другую работу.
Лившиц согласен, что когда ИИ сможет создавать действительно хорошую фоновую музыку для видеоблогов и рекламных роликов, стоковым композиторам действительно придется искать новый вид заработка. Однако он не выразил сожаления и заявил, что уже «сотрудничает» с ИИ — а именно пользуется приложением, которое генерирует музыкальные идеи и тем самым помогает композиторам, у которых пропало вдохновение.
Квиз №2. Давайте попробуем еще раз. Какой из этих треков написан компьютером?
У Ньютон-Рекса другая позиция на этот счет. Он считает, что с помощью творческого ИИ написание музыки станет занятием, доступным более широкой аудитории.
«Сейчас создание музыки — это занятие, доступно только элите, — сказал он. — Чтобы хорошо писать музыку, нужно получить дорогое образование и долго учиться. Музыкальное творчество недоступно большинству людей. ИИ сможет решить эту проблему. С его помощью люди смогут писать музыку, а значит ее станет больше, и она будет более персонализированной».
Однако именно этого и боятся некоторые композиторы.
Но Ньютон-Рекс спешит развеять все опасения о том, что ИИ окажет негативный эффект на музыку в целом. По его словам, когда-то все точно так же возмущались по поводу электронных инструментов, и даже было движение против синтезаторов. В итоге благодаря технологическим инновациям в музыке на свет появились целые новые музыкальные жанры — и в будущем может произойти то же самое благодаря ИИ.
Взломать божественный код: кто и зачем использует ИИ в музыке
В конце 2019 года американская певица и электронщица Grimes заявила, что мы, похоже, живем в эпоху заката искусства — по крайней мере человеческого. «Как только действительно появится сильный искусственный интеллект, он будет значительно превосходить нас в создании произведений искусства», — сказала певица.
Спустя год Grimes написала бесконечную цифровую колыбельную для приложения Endel. Вернее, она предоставила только музыкальную основу, а искусственный интеллект приложения теперь непрерывно изменяет ее, подстраиваясь под время суток, погоду, передвижения и пульс конкретного пользователя.
«Мне кажется, в этом есть что-то по-настоящему магическое, — сказала Grimes, рассуждая об ИИ в интервью для The New York Times. — В этом будто бы сокрыт смысл Вселенной. Звучит абсурдно, но вы понимаете, о чем я? Может, мы взламываем божественный код или что-то в этом роде?»
Тизер бесконечной колыбельной Grimes
С не меньшим трепетом смотрит на искусственный интеллект певица и музыкальный продюсер Arca. Используя его, она создала сто вариантов своей песни Riquiquí.
«Это принесло мне облегчение и воодушевило: не всё еще сделано, горизонт возможностей широк», — призналась певица. Для нее сотрудничество с искусственным интеллектом — опыт освобождения. Вместо того чтобы принимать множество микрорешений, теперь она может просто создать музыкальную экосистему, в которой — благодаря ИИ — творчество происходит само и всегда приводит к неожиданному результату.
Один из ремиксов песни Arca Riquiquí
Другие артисты не только используют ИИ в своих песнях, но и дают ему право на самостоятельное высказывание. Так, ирано-британский электронщик Аш Куша создал виртуальную певицу Yona. Она пишет музыку и тексты песен, а затем сама исполняет их.
Песня виртуальной певицы Yona
Как отмечает Time, большая часть ее стихов туманны и бессмысленны, но иногда она выдает строчки вроде: The one who loves you sings lonely songs with sad notes.
Impro-Visor
Impro-Visor, иначе Improvisation Advisor, — это программное обеспечение для записи музыки, специально разработанное для джаза. Тем не менее, последняя версия не ограничивается джазовыми стилями. Это бесплатное программное обеспечение совместимо с платформами Windows от XP до 10, Mac OS X и Linux; и вы можете сохранить мастер настройки на жестком диске, нажав « Загрузить» на этой странице веб-сайта.
Вы можете использовать Impro-Visor для составления и анализа листов джазовой музыки. Программное обеспечение предоставляет простой текстовый редактор, с помощью которого можно создавать ведущий лист и соло, но вы также можете вводить аккорды с помощью редактора дорожной карты, который анализирует изменения аккордов. Автоматическая окраска нот Impro-Visor выделяет диссонирующие и согласные ноты, а также включает параметры гармоники и транспонирования для дальнейшего руководства композиторами.
Когда вы закончите музыку, вы можете экспортировать ее в форматы MIDI и MusicXML. В целом, это гибкий программный инструмент для джаза, который вы можете использовать для записи, игры, редактирования стилей, записи соло других музыкантов и многого другого.
ТАКЖЕ ЧИТАЙТЕ: Топ 3 бесплатных музыкальных программного обеспечения для Windows 10
Soundful
Soundful – программа для генерации фоновой музыки для видеороликов, подкастов, потоков и т. д. Работает по принципу роялти. Создать бесплатную музыку можно одной лишь кнопкой.
Программа отличается интуитивно простым и понятным интерфейсом, предлагает более 50 музыкальных шаблонов для разных жанров. Достаточно выбрать жанр, настроить исходные данные – и можно создавать музыку. Повторяйте эти действия до тех пор, пока не услышите что-то, что вас зацепит.
Soundful создает уникальную музыку, поскольку его алгоритмы обучаются у крупнейших музыкальных продюсеров и звукорежиссеров. Нейросеть не повторяет ни собственные мелодии, ни существующие в мире песни.
Нейросеть подходит для трех типов пользователей:
- Продюсеры создают с помощью программы уникальные треки – для этого достаточно нажать одну кнопку. Как только вы услышали что-то, что вас зацепило, проведите рендеринг файла высокого разрешения и загрузите его. Теперь вы никогда не столкнетесь с творческим кризисом – с Soundful у вас всегда будет масса свежих идей.
- Музыканты находят уникальные бесплатные треки, не беспокоясь об авторских правах. Созданные треки легко использовать под разные типы контента.
- Бренды получают возможность сэкономить на музыке. Благодаря Soundful появляется возможность создать музыку студийного качества, которая подходит под потребности конкретного бренда.
А что насчет денег?
Сейчас Jukedeck продает свою музыку по стоимости от $21,99 до $199 (в зависимости от типа лицензии). Частные лица и представители малого бизнеса могут получить неэксклюзивную лицензию бесплатно.
У Jukedeck нет специальной системы для защиты музыки от нелегального копирования, поэтому стартапу приходится полагаться лишь на честность своих клиентов. Хотя, возможно, вскоре ситуация изменится.
Для Ньютон-Рекса и его проекта Jukedeck появление таких новых игроков с большими ресурсами, означает, что конкуренция на рынке станет гораздо жестче. А для рядового слушателя это значит лишь то, что довольно скоро его ждут совершенно новые музыкальные впечатления.
Материалы по теме:
Песни в стиле Nirvana и Эми Уайнхаус
Канадская организация Over the Bridge, помогающая музыкантам бороться с психическими заболеваниями, создала проект Lost Tapes of the 27 Club. В нем нейросеть придумывает, какие песни сейчас могли бы написать известные музыканты, умершие в 27 лет, например, Джими Хендрикс или Эми Уайнхаус
Проект призван привлечь внимание к важности ментального здоровья. «Что было бы теперь, если бы все эти любимые нами музыканты с психическими проблемами вовремя получили поддержку?», — задается вопросом член совета директоров организации Шон О’Коннор
В 2021 году Over the Bridge решила сделать с помощью компьютера трек в стиле Nirvana. Для этого в программу загрузили 30 песен группы. Нейросеть изучила вокальные мелодии, характерные последовательности аккордов, гитарные риффы и соло, ритмические рисунки ударных и особенности текстов, чтобы угадать, как могла бы звучать новая композиция музыкантов, если бы Кобейн был жив. ИИ сгенерировал музыку и слова, а спел текст вокалист трибьют-группы Nirvana Эрик Хоган. В итоге получился трек Drowned in The Sun.
«Я понимаю, что многие будут очернять работу ИИ, поскольку, по их мнению, компьютер приведет к смерти настоящей музыки. Но я думаю, что нейросети — это круто, если правильно использовать их», — сказал Хоган. Участник Over the Bridge также считает, что ИИ не сможет заменить музыкантов. О’Коннор отмечает, что для создания стоящего произведения все еще требуются часы кропотливого труда и зачастую участие целой команды артистов.
Какое будущее ждет ИИ в музыке
Представьте, что вы едете в переполненном вагоне метро и злитесь, потому что опаздываете на работу. Крошечный биометрический гаджет над вашим ухом замечает вашу тревогу и включает песню вашего любимого артиста, но изменяет ее так, чтобы она звучала более мягко и спокойно. По обратной связи гаджет замечает меняет ваши биометрические показатели и продолжает менять композицию, чтобы ее эффект был еще более благотворным.
Таким недалекое будущее музыкального ИИ видит Анмол Саксена, глава стартапа Ashva WearTech, разрабатывающего «умную» одежду, например прибор, помогающий поддерживать осанку. «На мой взгляд, есть большая вероятность, что стриминговая индустрия попробует предлагать функции, которые будут считывать такие показатели организма, как пульс, уровень стресса, частоту дыхания, может быть, даже неврологические сигналы», — говорит Саксена.
Экс-глава поглощенного тик-током стартапа Jukedeck Эд Ньютон-Рекс видит будущее ИИ похожим образом. На вопрос газеты The Guardian о том, смогут ли однажды программы, хорошо понимающие нашу психику, сочинять музыку, которая будет помогать нам засыпать, Ньютон-Рекс отвечает: «Безусловно. Это именно та область, в которой ИИ может быть полезен».
Впрочем, частично это будущее уже наступило. Похожими вещами занимаются в том же Endel, для которого Grimes написала бесконечную колыбельную. Endel, разрабатывающийся в том числе выходцами из России, еще не умеет использовать неврологические сигналы, но уже способен учитывать циркадные ритмы, уровень физической активности (определяемый по количеству шагов в минуту) и пульс (считываемый умным браслетом). На основе таких показателей приложение создает персонализированные звуковые пейзажи. По словам создателя Endel Олега Ставицкого, пользователи рассказывали о том, как оно помогало им в борьбе с ПТСР, бессонницей и звоном в ушах.
Кроме того, работа над ИИ может помочь нам понять, как мы сами сочиняем музыку, говорит Ньютон-Рекс: «Мы по-хорошему не знаем, как работает творчество. Но разрабатывая эти системы, мы начинаем задаваться вопросами о том, как аналогичные задачи решаются нашим мозгом».
Искусственный интеллект также может сильно разнообразить жанровый ландшафт музыки.
«Мне кажется, большого прорыва стоит ждать на пересечении различных музыкальных стилей», — говорит специалист по машинному обучению в области музыки Ник Брайан-Киннс. Ожидать, что живые музыканты будут смешивать большое количество разных стилей, не приходится. Но вот искусственный интеллект с легкостью может сочетать жанры в миллионах комбинаций, считает эксперт.
Впрочем, ИИ может порождать и проблемы. Как замечает Франсуа Паше, который проводит музыкальные эксперименты с искусственным интеллектом в Spotify, количество музыки, созданной ИИ, еще очень невелико по сравнению с интенсивностью исследований в этой области. Мы еще в самом начале.
Например, чем больше будет появляться музыки, сочиненной ИИ, тем больше будет и судебных тяжб. Существующие законы об авторском праве были написаны без учета искусственного интеллекта. Поэтому скоро нам придется разобраться, за кем признавать права на песню, сочиненную ИИ: за программистом, разработавшим нейросеть, за артистом, который использовал результаты ее работы в своем творчестве, за композиторами, на чьих работах ИИ тренировался, или за самим ИИ?
Может быть интересно
Другая проблема использования этой технологии в том, что нейросети становятся сегодня всё больше и потребляют огромное количество энергии, говорит Брайан-Киннс. Представьте, например, сколько электричества потребуется, чтобы ИИ проанализировал всю поп-музыку последних двадцати лет.
Jukebox от OpenAI — для футуристов
OpenAI — одна из компаний, которую основал тот самый любитель оленей, изобретатель ракет и машин по имени Илон Маск. У OpenAI есть несколько творческих проектов, самый заметный из которых GPT-3, посвящённый литературе. Но как меломан я отдал особое место в своём сердце Jukebox.
«Мы представляем Jukebox, нейронную сеть, которая генерирует музыку, в том числе примитивное пение, в виде необработанного звука в различных жанрах и стилях исполнителей». — OpenAI
Основная идея состоит в том, что они берут необработанный звук и кодируют его с помощью сверточных нейронных сетей (CNN). Представьте это, как способ сжать большое количество переменных до меньшего. Такая мера необходима, поскольку в звуке 44 100 переменных только в одной секунде, а в песне их много. Затем они производят процесс генерации этого уменьшенного набора переменных и распаковывают обратно до 44 100.
Упрощённая схема процесса с сайта OpenAI
Поп-песня в стиле Рика Эстли от Jukebox
Этот трек сгенерировал искусственный интеллект на основе предоставленных ему 10 секунд оригинальной песни.
ВНИМАНИЕ: сгенерированная часть начинается после 10 секунды
Хотя в этой песне довольно много шума, очевидно, что это шаг в правильном направлении.
Являются ли перспективы OpenAI многообещающими?
Их самые последние открытия связаны с созданием музыки путём её преобразования в файл MIDI, который можно себе представить как ноты с грубыми инструкциями для музыкантов. Подробнее об этом в конце статьи.
Я считаю, что такой подход будет иметь довольно большой успех в ближайшем будущем. Ведь цель состоит в том, чтобы сгенерировать запись в формате MP3 на основе нот, как мне кажется.
Какие «музыкальные» нейросети можно попробовать уже сейчас
Большинство сервисов пока не могут генерировать музыку по текстовому запросу. Google и разработчики AudioLDM не планируют открывать доступ к своим моделям, а OpenAI и другие разработчики выкладывают код на GitHub, который не смогут попробовать люди без знаний программирования.
Если умеете программировать
JukeBox. OpenAI выложила в открытый доступ код, который позволяет генерировать полноценные песни. Для этого нужно задать жанр, имя исполнителя и текст песни. ИИ также может делать полноценные треки на основе 12-секундных семплов или генерировать тексты несуществующих песен. Примеры сгенерированных треков можно посмотреть здесь.
Moûsai. Нейросеть c открытым кодом, которая работает по принципу скрытой диффузии, как Stable Diffusion. По текстовому описанию генерирует стереомузыку высокого качества на частоте 48 кГц — это соответствует студийному качеству.
Подобрали несколько сервисов — генераторов музыки, которые доступны в удобных интерфейсах.
Riffusion. Создает музыку не по тексту, а по картинке. Работает это так: вы придумываете текстовый запрос, по нему генерируется спектрограмма, а потом она конвертируется в аудио. Нейросеть обучали на связках «аудио — текстовое описание», поэтому она может генерировать афробит, джаз, кей-поп и любые другие жанры.
Riffusion позволяет интересно миксовать жанры: например, если написать «бас стука печатной машинки», то нейросеть превратит звук печатания в музыку. Скачать треки нельзя, только поделиться ими в соцсетях. Сгенерировать что-то пригодное для использования не получится, но зато можно надолго залипнуть.
Magenta. Набор демоинструментов и мини-игр, созданных на основе открытого кода проекта Google, который занимается машинным обучением. Практического применения у них нет, они просто демонстрируют возможности машинного обучения. Например, DrumBot играет на барабанах на основе мелодии, набранной пользователем через клавиатуру, а MidiMe создает музыку на основе загруженного трека.
Есть и более фановые инструменты: в Runn уровни игры генерируются на основе играющего трека, в Sornting нужно составлять мелодии в интерполяцию, а Piano Genie позволяет почувствовать себя пианистом.
Mubert. Сервис специализируется на генерации фоновой музыки для роликов на «Ютубе» или коротких рилсов. Можно выбирать из предложенных жанров и настроений, например чиллвейв или эмбиент. Можно прописать свой запрос текстом, но дэт-метал или джаз-фьюжн нейросеть сгенерировать не сможет — получится софт-рок и обычный джаз.
После регистрации бесплатно можно сгенерировать до 25 треков в месяц длительностью до 25 минут. Чтобы их скачать, нужно добавить ссылку на канал, где вы будете их использовать.
Soundraw. Простой генератор треков без вокала, где можно выбрать настроение, жанр, тему, темп и инструменты, а также задать продолжительность трека. Есть редактор, позволяющий изменять мелодию, темп, ритм, тональность. Сгенерировать по текстовому запросу нельзя.
Само создание музыки бесплатное, но чтобы скачивать ее, нужно платить 16.99 $ ( 1243 Р) в месяц. Оплатить можно с помощью «Пэйпэл» или международными картами «Виза» и «Мастеркард». По подписке количество генераций и скачиваний музыки не ограничено. Аналогичный популярный сервис — Boomy.
Avia.AI. Генерирует музыку в выбранной тональности по заготовленным жанрам или загруженному треку. Трек можно отредактировать прямо в сервисе — удалить или добавить инструмент, растянуть или сжать партию, изменить темп, добавить реверб или дилэй.
Бесплатно можно скачать три трека длительностью до трех минут. Чтобы скачивать до 200 треков и получить на них авторские права, придется платить 49 € ( 3860 Р) в месяц. Такую музыку можно использовать в фильмах, сериалах или видеоиграх, а не только для роликов на «Ютубе».
Заменит ли ИИ живых музыкантов?
«Мы всегда смотрели на творчество как на последний бастион человечности», — говорит Сиаваш Махдави, глава одного из ИИ-стартапов AI Music. Сегодня музыканты выстраиваются в очередь, чтобы люди послушали их музыку. Последнее, чего они хотят, — это конкурировать с искусственным интеллектом, способным за секунду сочинить симфонию.
Многие музыканты со скепсисом относятся к ИИ, соглашается экс-глава Melodrive Валерио Велардо. Проблема в том, что они не очень хорошо понимают, чем занимаются компании вроде Melodrive. Но немало и тех, кто разбирается в теме и нуждается в искусственном интеллекте.
В Велардо ИИ придумывал музыку для видеоигр, которую композиторы потом дорабатывали, как им вздумается. Поскольку сочинители в этой области работают в условиях жестких дедлайнов, к сервисам вроде Melodrive они относятся с большой симпатией, уверяет Велардо, добавляя:
«Они понимают, что ИИ не отнимет у них работу, а просто станет еще одним инструментом».
Новые технологии нередко встречают с недоверием. «Возьмем для примера автотюн», — говорит Дрю Сильверстайн из Amper Music в одном из интервью. Когда он только появился, его применение вызывало споры, но сегодня это стандартный инструмент, который использует почти каждый артист. В другом интервью он замечает:
Искусственный интеллект еще долго не сможет делать музыку, которая трогала бы наши чувства, считает консультант в области музыкального бизнеса Марк Маллиган. «Когда ИИ научится имитировать человеческие эмоции, тогда последний рубеж будет преодолен. Но до этого еще очень и очень далеко», — говорит он.
Но даже такая имитация вряд ли сделает ИИ настоящим артистом. Алгоритмы глубинного обучения, натренированные на хоралах Баха, возможно, и могут делать музыку, которую даже эксперты порой принимают за истинного Баха, но это всего лишь мимикрия, рассуждает американский философ Шон Дорренс Келли. Подражать стилю мастеров и развивать его — это то, что артисты делают на ученическом этапе своей карьеры. Но вовсе не за это мы ценим композиторов вроде Баха или Арнольда Шенберга.
Шенберг стал великим музыкантом не потому, что он показал миру более быструю или совершенную версию произведений своего предшественника Оскара Штрауса. Он стал великим, потому что , что все двенадцать ступеней хроматического звукоряда могут быть равнозначны. Другими словами, он поменял само наше представление о том, какой может быть музыка, говорит Дорренс Келли.
Может быть интересно
Тем не менее ИИ вполне пригоден в качестве инструмента для творчества, считает философ. Подобно тому, как труба помогала джазовому музыканту Майлзу Дэвису создавать искусство, алгоритмы ИИ могут прийти на помощь современным художникам.
Сооснователь Amper Music Майкл Хоуб придерживается похожей точки зрения. Существующие сегодня алгоритмы он рассматривает не как искусственный интеллект, а скорее как дополнение, примочку к человеческому разуму. «Для меня речь о том, чтобы дать большему числу людей возможность проявить креативность, а тем, кто уже обладает какими-то творческими талантами, позволить по-настоящему продвинуться вперед», — говорит Хоуб.
Музыкальный тест Тьюринга
Как понять, что музыкальное произведение, созданное машиной, действительно достойно нашего внимания? Для проверки работы систем искусственного интеллекта был придуман тест Тьюринга. Его идея заключается в том, что человек взаимодействует с компьютерной программой и с другим человеком. Мы задаем вопросы программе и человеку и пытаемся определить, с кем же мы разговариваем. Тест считается пройден программой, если мы не можем отличить программу от человека.
В области генерации музыки иногда используют «музыкальный тест Тьюринга». Так, например, был протестирован алгоритм DeepBach, который генерирует ноты в стиле Баха. Были опрошены более 1,2 тыс. людей (как эксперты, так и обычные люди), которые должны были отличить реального Баха от искусственного. И оказалось, что сделать это очень сложно — люди с трудом могут различать хоралы, сочиненные Бахом, и созданные DeepBach.
Индустрия 4.0
Авторские правки: кому принадлежат права на творчество ИИ
В области создания аудио успехи пока не столь впечатляющие. Несмотря на то, что Jukebox представляет собой смелый шаг вперед в плане качества музыки, длины аудио и способности настроиться на исполнителя или определенный жанр, различия между искусственной музыкой и произведениями, созданными людьми, все еще заметны. Так, в мелодиях от Jukebox хоть и есть традиционные аккорды и даже впечатляющие соло, мы не слышим крупные музыкальные структуры, такие как повторяющиеся припевы. Также в искусственных произведениях слышны шумы, связанные со способом работы моделей. Скорость генерации музыки также пока еще невысока — для полного рендеринга одной минуты звука с помощью Jukebox требуется около девяти часов, поэтому их пока нельзя использовать в интерактивных приложениях.
About NodeBeat — Playful Music
NodeBeat — Playful Music is a music & audio app developed
by Scitta Investment LLC-New.
The APK has been available since October 2011.
NodeBeat — Playful Music has been downloaded 10+ thousand
times.
It’s ranked in the top 500.
It’s rated 4.56 out of 5 stars, based on 1,220 ratings.
The last update of the app was on June 20, 2021.
NodeBeat — Playful Music has a content rating
«Everyone».
NodeBeat — Playful Music has an APK download size of 4.55 MB and the latest version
available
is 1.5.1.
Designed for Android version 4.4+.
NodeBeat — Playful Music costs $3.99 to download.
Description
Make music with NodeBeat, the intuitive and fun visual music app for all ages. Whether you’re 2 or 92, NodeBeat will make you sound like a pro.
More data about NodeBeat — Playful Music
- Price
- $3.99
- Downloads
- 10+ thousand
- Download estimate
- Recent downloads
- Rating
- Ranking
- Version
- 1.5.1
- APK size
- 4.55 MB
- Number of libraries
- Designed for Android
- 4.4+
- Suitable for
- Everyone
Soundraw
Soundraw – достойный представитель среди генераторов мелодий на основе ИИ. Программа предоставляет возможность настраивать мелодии через фразы, созданные ИИ. И это далеко не все ее возможности.
Уникальность Soundraw – в том, что программа сочетает возможности нейросети и инструменты для «ручной» работы. Благодаря этому генерация и настройка музыкальных треков требуют минимум времени и усилий.
В программе доступны функции импровизации и настройки одного музыкального произведения. Есть бесплатная версия для генерирования музыки. Но чтобы ее скачивать, требуется оплатить тариф.
Преимущества:
- Удобный и многофункциональный интерфейс.
- Совместимость с Google Chrome и Premiere Pro.
- Любое количество загрузок при оплате платной подписки.