Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам

Энтузиасты Сет Форсгрен и Хайк Мартирос разработали нейросеть Riffusion, которая генерирует музыку на основе текстовых подсказок. Она обучается и накапливает информацию о музыке при помощи сонограмм – визуальной формы представления звуков. Данный формат принципиально отличается от нотной записи и позволяет визуализировать произвольные звуки в любых комбинациях.

Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель имеет свой цвет, который означает амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать ИИ придумать и озвучить «джаз с нотками летнего дождя».

Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи могут создавать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Строго говоря, большинство созданных Riffusion мелодий звучат довольно странно, зато это прекрасный пример весьма перспективной технологии манипуляции звуками в реальном времени.

Сонограмма

Comments (0)
Add Comment