ИИ модели для генерации музыки
Обновлено: 05.07.2024 |
Технологии машинного обучения позволяют автоматически генерировать музыки по описанию. Генерация музыки может применяться для создания бизнес-видеороликов и презентаций.
2024. Google добавил озвучку в свой ИИ-генератор видео Veo
Месяц назад Google Deepmind показал новую нейросеть для генерации видео Veo. Она может создавать короткие видео с разрешением 1080p в различных визуальных и кинематографических стилях на базе текстового описания и (опционально) изображений и видео-промптов. А теперь она еще и генерирует звуковую дорожку к видео. При чем, речь не просто о подборе саундтрека, подходящего по настроению к видео, а об осмысленном звуковом сопровождении. Например, если в кадре идет человек, будут слышны звуки его шагов, если пронеслась машина - (удаляющийся) шум мотора. Более того, модель может генерить речь персонажей (пока по текстовому описанию).
2024. Stable Audio 2.0 увеличила длительность генерируемой музыки до 3 минут
Стартап Stability AI представил языковую модель Stable Audio 2.0, которая позволяет генерировать полноценные музыкальные треки из аудиозаписи и подсказок, а также добавлять в них звуковые эффекты. Продолжительность итогового продукта около 3 минут, что равно стандартной песне на радио. Первая версия Stable Audio генерировала файлы продолжительностью в 90 секунд, которые подходили скорее для баловства, чем для коммерческого применения. Пришедшая ей на смену модель создаёт полноценные песни с вокалом и классической структурой: куплетами, припевом и финалом. Главное достоинство Stable Audio 2.0 — решенный вопрос с авторскими правами. Stability AI обучала модель на более чем 800 тысячах записей в музыкальной библиотеки AudioSparx, причём исполнители могли запретить использовать свои работы. Stable Audio 2.0 полностью бесплатна и доступна всем желающим на сайте и по API.
2024. Adobe представил AI, который может создавать музыку
Компания Adobe представила Project Music GenAI Control – искусственный интеллект, который может генерировать музыку. Он генерирует аудио из текстовых описаний (нечто типа «веселый танец» или «печальный джаз») или схожей мелодии. Пользователи могут настраивать темп, интенсивность, повторяющиеся паттерны и структуру, или растянуть трек до любой длины, ремиксовать его или сделать бесконечный цикл. Пока этот проект находится на стадии разработки, и у него даже нет пользовательского интерфейса, но в будущем может стать доступным для всех.
2023. YouTube сделал ИИ-инструмент для генерации музыки
YouTube показал ИИ-сервисы для генерации музыки — один имитирует стиль реальных музыкантов, другому можно напеть партию. С помощью инструмента Dream Track можно сгенерировать 30-секундную композицию в стиле одного из девяти исполнителей, которые захотели поучаствовать в эксперименте. Инструмент можно использовать при создании коротких роликов Shorts, он уже доступен «небольшой группе блогеров из США». Достаточно дать нейросети текстовое описание — например, «солнечное утро во Флориде, жанр R&B» или «баллада о том, что противоположности притягиваются, акустика».
2023. Stability AI выпустила ИИ модель для генерации музыки
![](https://www.livebusiness.org/pics/news/small/16/1694627435.jpg)
Stability AI выпустила модель Stable Audio для генерации музыки. Она генерирует аудиозаписи по текстовым запросам. Её обучали на дата-сете из текстовых метаданных и более чем 800 тысяч аудиофайлов с готовыми композициями, звуковыми эффектами и инструментальными партиями общей длительностью свыше 19,5 тысячи часов. Пользователям предлагают три тарифа. Первый — бесплатный: можно генерировать по 20 фрагментов в месяц длиной не более 45 секунд. Профессиональный обойдётся в $11,99 в месяц без учёта налогов и позволит генерировать 500 треков в месяц продолжительностью по полторы минуты. Условия корпоративного тарифа обговариваются в индивидуальном порядке.
2023. ИИ-модель MusicLM от Google сочиняет музыку по текстовому описанию
![](https://www.livebusiness.org/pics/news/small/16/1675277123.jpg)
Google представила систему MusicLM, которая создает музыку в любом жанре по текстовым описаниям. Это не первый музыкальный генератор ИИ — такие проекты как AudioML от Google и Jukebox от OpenAI уже занимались этой темой. MusicLM использует обширную обучающую базу данных из 280 000 часов музыки и умеет писать композиции по абстрактным описаниям. MusicLM может не только комбинировать жанры и инструменты, но и писать треки, используя абстрактные концепции, которые обычно трудно понять компьютерам. В одном из примеров модель создала трек, сочетающий танцевальную музыку с реггетоном, обладающий «космической, потусторонней» мелодией, которая вызывает «чувство трепета и благоговения». В качестве задания может выступать описание картины, еще желаемую композицию можно напеть или просвистеть. В режиме истории можно объединить несколько текстовых описаний для создания диджейского сета или саундтрека.