Проект Adobe Super Sonic использует ИИ для создания звуковых эффектов для ваших видео
Проект Adobe Super Sonic использует ИИ для создания звуковых эффектов для ваших видео. Создание увлекательных видео — это не только визуальные эффекты. Привлекательность хорошего видеоконтента во многом зависит от звука, но поиск (или даже создание) правильных аудиоэффектов может занять много времени. На своей ежегодной конференции MAX компания Adobe демонстрирует Project Super Sonic — экспериментальный прототип, который показывает, как однажды вы сможете использовать преобразование текста в аудио, распознавание объектов и даже собственный голос для быстрого создания фонового звука и аудиоэффектов для своих видеопроектов. Возможность генерировать звуковые эффекты из текстовых подсказок — это здорово, но, учитывая, что ElevenLabs и другие уже предлагают это на коммерческой основе, это может оказаться не таким уж новаторским решением. Что еще интереснее, так это то, что Adobe делает шаг вперед, добавляя два дополнительных режима для создания этих саундтреков. Первый заключается в использовании моделей распознавания объектов, чтобы вы могли щелкнуть по любой части видеокадра, создать подсказку для вас и затем сгенерировать этот звук. Это умный способ объединить несколько моделей в один рабочий процесс. Однако настоящий «вау-момент» наступает с третьим режимом, который позволяет вам записать себя, имитирующего нужные вам звуки (синхронизированные с видео), а затем заставить Project Super Sonic автоматически сгенерировать соответствующий звук. Джастин Саламон, руководитель отдела ИИ-дизайна звука в Adobe, рассказал мне, что команда начала с модели преобразования текста в аудио. Он также отметил, что, как и во всех проектах Adobe с использованием генеративного ИИ, команда использовала только лицензированные данные. «Мы действительно хотели дать нашим пользователям контроль над процессом. Мы хотим, чтобы это был инструмент для создателей, звукорежиссеров, для всех, кто хочет улучшить свое видео с помощью звука. Поэтому мы хотели выйти за рамки первоначального рабочего процесса преобразования текста в звук, и именно поэтому мы работали над управлением голосом, которое действительно дает вам точный контроль над энергией и временем, что действительно превращает его в выразительный инструмент», — объяснил Саламон. Для голосового управления инструмент фактически анализирует различные характеристики голоса и спектр звука, который вы издаете, и использует это для руководства процессом генерации. Саламон отметил, что хотя в демо используется голос, пользователи также могут хлопать в ладоши или играть на инструменте. Стоит отметить, что Adobe MAX всегда содержит ряд так называемых «фишек». Они, как и Project Super Sonic, призваны продемонстрировать некоторые экспериментальные функции, над которыми компания работает прямо сейчас. Хотя многие из этих проектов действительно попадают в Adobe Creative Suite, нет никаких гарантий, что так и будет. И хотя Project Super Sonic, несомненно, станет полезным дополнением к чему-то вроде Adobe Premiere, есть также вероятность, что мы больше никогда его не увидим. Одна из причин, по которой я верю, что этот проект будет запущен в производство, заключается в том, что та же группа работала и над звуковой частьюГенеративное расширение, особенность его модели генеративного ИИ Firefly, которая удлиняет короткие видеоклипы на несколько секунд — включая их звуковую дорожку. Однако на данный момент Project Super Sonic остается демоверсией. Автор: Frederic Lardinois. Источник: www.techcrunch.com
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ