Кросс-модальный поиск аудио по естественно-языковым запросам

Содержание

1. Введение

Быстрый рост мультимедийных данных создал острую потребность в эффективных системах поиска для различных модальностей. Хотя поиск по тексту, изображениям и видео значительно продвинулся, поиск аудио с использованием естественно-языковых запросов остаётся малоизученной областью. Данное исследование заполняет этот критический пробел, представляя новую структуру для поиска аудиоконтента с использованием произвольных естественно-языковых описаний.

Традиционные методы поиска аудио полагаются на метатеги или аудиозапросы, что ограничивает выразительность и удобство использования. Наш подход позволяет пользователям описывать звуки с помощью детальных естественно-языковых формулировок, таких как "Мужчина говорит, играет музыка, а затем квакает лягушка", обеспечивая более точный и интуитивный поиск аудиоконтента, соответствующего временным последовательностям событий.

2. Методология

2.1 Эталонные наборы данных

Мы представляем два сложных эталона на основе наборов данных AUDIO CAPS и Clotho. AUDIO CAPS содержит 10-секундные аудиоклипы из AudioSet с подписями, написанными людьми, тогда как Clotho включает 15-30 секундные аудиоклипы из Freesound с детальными описаниями. Эти наборы данных предоставляют богатые пары аудио-текст, необходимые для обучения кросс-модальных систем поиска.

2.2 Кросс-модальная система поиска

Наша структура адаптирует архитектуры поиска видео для поиска аудио, используя предварительно обученные экспертные аудиосети. Система изучает совместные эмбеддинги, где схожие аудио- и текстовые представления отображаются близко друг к другу в общем латентном пространстве.

2.3 Стратегия предварительного обучения

Мы демонстрируем преимущества предварительного обучения на различных аудиозадачах, показывая, что трансферное обучение из смежных областей значительно улучшает производительность поиска. Ансамбль аудиоэкспертов захватывает дополнительные аспекты аудиоконтента.

3. Техническая реализация

3.1 Извлечение аудио-признаков

Мы используем несколько предварительно обученных аудиосетей для извлечения богатых признаковых представлений. Аудио-эмбеддинг $\mathbf{a}_i$ для клипа $i$ вычисляется как:

$$\mathbf{a}_i = f_{\theta}(x_i)$$

где $f_{\theta}$ представляет аудиоэнкодер, а $x_i$ — исходный аудиовход.

3.2 Кодирование текста

Текстовые запросы кодируются с использованием моделей на основе трансформеров для захвата семантического значения. Текстовый эмбеддинг $\mathbf{t}_j$ для запроса $j$:

$$\mathbf{t}_j = g_{\phi}(q_j)$$

где $g_{\phi}$ — текстовый энкодер, а $q_j$ — входной запрос.

3.3 Кросс-модальное выравнивание

Мы оптимизируем сходство между аудио- и текстовыми эмбеддингами с использованием контрастивного обучения. Оценка сходства $s_{ij}$ между аудио $i$ и текстом $j$ вычисляется как:

$$s_{ij} = \frac{\mathbf{a}_i \cdot \mathbf{t}_j}{\|\mathbf{a}_i\| \|\mathbf{t}_j\|}$$

Модель обучается максимизировать сходство для соответствующих пар и минимизировать его для несоответствующих пар.

4. Экспериментальные результаты

4.1 Базовые показатели

Наши эксперименты устанавливают сильные базовые показатели для текстового поиска аудио. Модели демонстрируют многообещающие результаты как на эталонах AUDIO CAPS, так и Clotho, с точностью поиска, измеренной с использованием стандартных метрик, включая Recall@K и Mean Average Precision.

4.2 Ансамблевые методы

Мы показываем, что комбинирование признаков из нескольких предварительно обученных аудиосетей через ансамблевое обучение улучшает устойчивость поиска. Разные сети захватывают дополнительные аспекты аудиоконтента, приводя к более комплексным представлениям.

4.3 Абляционные исследования

Абляционные эксперименты подтверждают важность каждого компонента в нашей структуре. Исследования показывают, что как выбор аудиоэнкодера, так и стратегия кросс-модального выравнивания значительно влияют на итоговую производительность.

5. Аналитическая структура

Ключевое понимание

Это исследование фундаментально оспаривает текущее состояние поиска аудио, переходя от систем, зависящих от метаданных, к поиску на основе контента с естественно-языковыми запросами. Данный подход представляет собой смену парадигмы, сравнимую с тем, что CycleGAN (Zhu et al., 2017) достиг в несопряжённом переводе изображений — разрывая зависимость от строго сопряжённых обучающих данных через кросс-модальное выравнивание.

Логический поток

Методология следует сложному трёхэтапному конвейеру: извлечение признаков от различных аудиоэкспертов, семантическое кодирование произвольного текста и кросс-модальное выравнивание эмбеддингов. Эта архитектура отражает успех CLIP (Radford et al., 2021) в областях зрения и языка, но адаптирует её специально для временных и спектральных характеристик аудио.

Сильные стороны и недостатки

Сильные стороны: Ансамблевый подход умело использует существующую аудиоэкспертизу вместо обучения с нуля. Создание эталонов решает критическую проблему нехватки данных в области. Вычислительная эффективность для приложений поиска видео особенно привлекательна.

Недостатки: Подход наследует ограничения от своих компонентных сетей — потенциальные смещения в данных предварительного обучения, ограниченная обобщаемость для редких звуковых событий и чувствительность к текстовым перефразированиям. Временное выравнивание между текстовыми описаниями и аудиособытиями остаётся сложной задачей для более длинных последовательностей.

Практические инсайты

Для практиков: Начните с дообучения ансамблевого подхода на предметно-ориентированных аудиоданных. Для исследователей: Сосредоточьтесь на улучшении временного моделирования и решении проблемы устойчивости к перефразированию. Структура показывает непосредственную применимость для поиска в аудиоархивах и ускорения поиска видео.

Кейс: Поиск в аудиоархиве

Рассмотрим исторический аудиоархив, содержащий тысячи немаркированных записей окружающей среды. Традиционный поиск по ключевым словам не работает, потому что контент не размечен. Используя нашу структуру, архивариусы могут запросить "сильный дождь с отдалённым громом" и получить релевантные клипы на основе аудиоконтента, а не метаданных.

6. Перспективные приложения

Технология позволяет множество практических приложений, включая:

• Интеллектуальные аудиоархивы: Улучшенные возможности поиска для исторических звуковых коллекций, таких как BBC Sound Effects Archive
• Маломощные IoT-устройства: Аудиосистемы мониторинга для охраны природы и биологических исследований
• Креативные приложения: Автоматическое сопоставление звуковых эффектов для подкастов, аудиокниг и мультимедийного производства
• Инструменты доступности: Системы аудиоописания и поиска для пользователей с нарушениями зрения
• Ускорение поиска видео: Использование аудио как прокси для видеоконтента в крупномасштабных поисковых системах

Будущие направления исследований включают расширение на многоязычные запросы, улучшение возможностей временного рассуждения и разработку более эффективных техник кросс-модального выравнивания, подходящих для приложений реального времени.

7. Ссылки

1. Zhu, J. Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE ICCV.
2. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML.
3. Gemmeke, J. F., et al. (2017). Audio Set: An ontology and human-labeled dataset for audio events. IEEE ICASSP.
4. Drossos, K., et al. (2020). Clotho: An Audio Captioning Dataset. IEEE ICASSP.
5. Oncescu, A. M., et al. (2021). Audio Retrieval with Natural Language Queries. INTERSPEECH.
6. Arandjelovic, R., & Zisserman, A. (2018). Objects that sound. ECCV.
7. Harvard Dataverse: Audio Retrieval Benchmarks