Корпорация Meta разработала генеративный искусственный интеллект (ИИ) AudioCraft, который создает звуки и музыку по текстовому описанию.
Нейросеть способна генерировать эффекты окружающей среды — например, лай собаки или шаги, а также обрабатывать звуки музыкальных инструментов.
«Представьте себе профессионального музыканта, который может создавать новые композиции, не играя ни одной ноты на инструменте. Или владельца малого бизнеса, с легкостью добавляющего саундтрек к своему последнему посту в Instagram», — описали технологию в компании.
AudioCraft состоит из трех языковых моделей:
- MusicGen — нейросеть, обученная генерировать музыку из текстовых подскок;
- AudioGen — инструмент, который создает звуковые эффекты;
- EnCodec — ИИ-декодер, улучшающий качество записи.
Meta открыла исходный код моделей на GuitHub. При этом корпорация использует уже лицензированный набор звуков и музыки, который не нарушает авторские права.
В компании ожидают, что AudioCraft будут пользоваться звукорежиссеры и другие создатели контента.
Напомним, в начале августа Financial Times рассказали о планах Meta по запуску чат-бота с поддержкой разных личностей. Ожидается, что ИИ появится в сентябре 2023 года.
По итогам апреля-июня 2023 года операционный убыток связанного с метавселенной подразделения Reality Labs в структуре корпорации составил $3,74 млрд.