Audio-Novel

Полная техническая документация и ресурсы о технологии audio-novel и её применениях.

Исследование поиска аудио с использованием произвольных естественно-языковых запросов, представляющее новые эталоны и базовые методы для кросс-модального поиска аудио.

Анализ системы AudioBoost, использующей LLM для генерации синтетических запросов из метаданных аудиокниг для улучшения поиска и подсказок запросов в Spotify в условиях холодного старта.

Анализ Audiobook-CC — нового фреймворка синтеза речи для создания связных, эмоционально выразительных многоголосых аудиокниг с детальным контролем и моделированием длинного контекста.

Анализ Audiobook-CC — нового TTS-фреймворка для генерации связных, эмоционально выразительных и контекстуально согласованных многоголосых аудиокниг с детальным управлением.

Инновационная система Spotify 2T-HGNN, сочетающая гетерогенные графовые нейронные сети и двухбашенные модели для масштабируемых рекомендаций аудиокниг с ростом показателя начала прослушивания на 46%.

Новый подход на основе метаобучения (MAMLCon), смягчающий катастрофическое забывание при непрерывном обучении с малым числом примеров для классификации произнесенных слов, превосходящий существующие методы, такие как OML.

Анализ интеграции мобильных аудиокниг для развития навыков аудирования у студентов, изучающих английский как иностранный: преимущества, критерии отбора, этапы обучения и оценка.

Анализ Movie101v2, крупномасштабного двуязычного набора данных для кинонаррации, включая его трехэтапную дорожную карту задач, базовые оценки и направления будущих исследований.

Анализ исследований о влиянии фоновой музыки с текстом и без на распознавание речи, с выводами для социальных сред и будущих работ.

Интерактивный инструмент для создания анимированных видеороликов с данными, упрощающий процесс за счёт связывания повествования с анимацией графиков и предоставления учитывающих структуру анимационных эффектов.

В статье представлена новая задача генерации повествования для видео, датасет на основе

Анализ вычислительной модели, исследующей роль фонетического восприятия в обработке иноязычных слов, бросающей вызов традиционным фонологическим объяснениям.

Двухэтапная структура для создания векторных представлений устных слов, объединяющих фонетическую и семантическую информацию, что позволяет осуществлять расширенный поиск по звуковым документам, выходящий за рамки простого сопоставления терминов.

Исследование предсказания просодических атрибутов (высота тона, громкость, темп) из повествовательного текста с использованием NLP и языковых моделей для улучшения TTS при создании аудиокниг.

Исследование вычислительной идентификации ненадежных нарраторов с использованием LLM, включающее набор данных TUN A и классификацию интра-, интер-наррационной и интертекстуальной ненадежности.

Исследование о том, как использовать зашумлённую аудио-наррацию в качестве слабого контроля для обучения моделей детектирования действий в видео, снижая затраты на разметку и используя мультимодальные признаки.

Подход zero-shot для генерации выразительных аудиокниг с использованием мультимодальных персонажей дикторов и инструкций на основе LLM, исключающий дорогостоящее обучение и ручную разметку.

Технический анализ системы MultiActor-Audiobook, новой zero-shot системы для генерации выразительных аудиокниг с использованием мультимодальных персонажей и инструкций на основе LLM.