AudioBoost: LLM 생성 합성 쿼리를 통한 Spotify 검색 내 오디오북 발견성 향상

1. 서론

Spotify의 오디오북 도입은 콜드스타트 문제를 야기했으며, 새로운 콘텐츠가 기존 음악 및 팟캐스트에 비해 검색 가능성이 낮은 상황을 초래했습니다. AudioBoost 시스템은 대규모 언어 모델을 활용하여 합성 쿼리를 생성함으로써 쿼리 구성 및 검색 기능을 모두 향상시키는 방식으로 이 문제를 해결합니다.

주요 성능 지표

오디오북 노출: +0.7%
오디오북 클릭: +1.22%
탐색적 쿼리 완성: +1.82%

2. 방법론

2.1 합성 쿼리 생성

AudioBoost는 오디오북 메타데이터를 기반으로 LLM을 사용하여 주제, 장르, 스토리 트로피, 시대별 다양한 탐색적 쿼리를 생성합니다. 생성 과정은 구조화된 프롬프트 엔지니어링 접근법을 따라 쿼리 품질과 관련성을 보장합니다.

2.2 쿼리 자동 완성 통합

합성 쿼리는 Spotify의 쿼리 자동 완성 시스템에 통합되어 사용자가 더 많은 탐색적 쿼리를 입력하도록 유도하며, 사용자 검색 행동과 오디오북 콘텐츠 간의 어휘 불일치 문제를 해결합니다.

2.3 검색 시스템 개선

생성된 쿼리는 Spotify의 검색 엔진에 색인되어 오디오북이 정확한 제목 매칭뿐만 아니라 더 넓은 주제 기반 검색을 통해 발견될 수 있는 추가 경로를 생성합니다.

3. 기술 구현

3.1 수학적 프레임워크

검색 가능성 개선은 확률 프레임워크를 사용하여 모델링할 수 있습니다: $P(r|q,d) = \frac{\exp(\text{sim}(q,d))}{\sum_{d' \in D} \exp(\text{sim}(q,d'))}$ 여기서 $q$는 쿼리, $d$는 문서, $\text{sim}$은 유사도 함수를 나타냅니다. 합성 쿼리 생성은 $\sum_{q \in Q_{\text{syn}}} P(r|q,d_{\text{audiobook}})$를 최대화하는 것을 목표로 합니다.

3.2 코드 구현

class AudioBoostQueryGenerator:
    def __init__(self, llm_model, metadata_fields):
        self.llm = llm_model
        self.fields = metadata_fields
    
    def generate_queries(self, audiobook_data, num_queries=10):
        prompt = self._construct_prompt(audiobook_data)
        synthetic_queries = self.llm.generate(
            prompt=prompt,
            max_tokens=50,
            num_return_sequences=num_queries
        )
        return self._filter_queries(synthetic_queries)
    
    def _construct_prompt(self, data):
        return f"""Generate diverse search queries for audiobook:
        Title: {data['title']}
        Author: {data['author']}
        Genre: {data['genre']}
        Themes: {data['themes']}
        Generate exploratory queries about topics, similar books, mood:"""

4. 실험 결과

4.1 오프라인 평가

오프라인 평가는 오디오북 검색 가능성 지표에서 상당한 개선을 보여주었습니다. 합성 쿼리는 기존 쿼리만 사용했을 때보다 커버리지를 35% 증가시켰으며, 인간 평가 척도에서 품질 점수가 0.85를 초과했습니다.

4.2 온라인 A/B 테스트

수백만 명의 사용자를 대상으로 한 온라인 A/B 테스트는 통계적으로 유의미한 개선을 보여주었습니다: 오디오북 노출 +0.7%, 오디오북 클릭 +1.22%, 탐색적 쿼리 완성 +1.82%로 AudioBoost 접근법의 효과성을 입증했습니다.

5. 향후 적용 분야

AudioBoost 방법론은 콘텐츠 플랫폼의 다른 콜드스타트 시나리오로 확장 가능합니다. 여기에는 새로운 팟캐스트 쇼, 신흥 음악 장르, 비디오 콘텐츠가 포함됩니다. 향후 작업으로는 사용자 청취 기록을 기반으로 한 개인화된 합성 쿼리 생성 및 멀티모달 콘텐츠 이해 통합이 포함됩니다.

전문가 분석: 콘텐츠 발견에서의 콜드스타트 딜레마

AudioBoost는 추천 시스템에서 가장 지속적인 문제 중 하나인 콜드스타트 딜레마에 대한 실용적인 해결책을 제시합니다. 이 접근법은 LLM을 합성 사용자 프록시로 활용하여 제한된 사용자 상호작용과 포괄적인 콘텐츠 발견 간의 격차를 교묘하게 연결합니다. 이 방법론은 CycleGAN 스타일의 도메인 변환이 저조하게 표현된 클래스에 대한 훈련 데이터를 생성하는 데 사용된 컴퓨터 비전의 유사한 기술과 일치합니다 [Zhu et al., 2017].

기술 구현은 검색 생태계 역학에 대한 정교한 이해를 보여줍니다. 쿼리 구성(QAC 통해)과 검색을 동시에 대상으로 함으로써 AudioBoost는 개선된 제안이 더 나은 쿼리로 이어지고, 이는 다시 검색 성능을 개선하는 선순환을 생성합니다. 이 이중 접근법은 행동과 관찰 공간이 동시에 최적화되는 강화 학습 시스템을 연상시킵니다 [Sutton & Barto, 2018].

그러나 이 논문의 가장 중요한 기여는 프로덕션 시스템에서의 실용적인 LLM 배포를 입증한 점일 수 있습니다. 많은 LLM 연구가 벤치마크 성능에 초점을 맞추는 반면, AudioBoost는 이러한 모델이 실제 애플리케이션에서 구체적인 비즈니스 지표를 주도할 수 있는 방법을 보여줍니다. 탐색적 쿼리에서 +1.82% 증가는 시스템이 사용자 행동을 더 발견 지향적인 검색 패턴으로 성공적으로 유도하고 있음을 시사하며, 근본적인 콜드스타트 문제를 해결합니다.

이 접근법은 현대 추천 시스템이 개인 선호도를 기반으로 콘텐츠를 개인화하는 방식과 유사하게 사용자별 요소를 쿼리 생성에 통합함으로써 더욱 향상될 수 있습니다 [Ricci et al., 2011]. 또한 오디오 콘텐츠 분석의 통합은 메타데이터를 넘어 실제 콘텐츠 이해로 이동하여 쿼리 생성을 위한 또 다른 차원을 제공할 수 있습니다.

6. 참고문헌

Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE international conference on computer vision.
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT press.
Ricci, F., Rokach, L., & Shapira, B. (2011). Introduction to recommender systems handbook. Springer.
Palumbo, E., et al. (2025). AudioBoost: Increasing Audiobook Retrievability in Spotify Search with Synthetic Query Generation. EARL Workshop@RecSys.

산업 분석가 관점

핵심 요약: AudioBoost는 단순한 AI 실험이 아닌, 수십 년 동안 콘텐츠 플랫폼을 괴롭혀 온 콜드스타트 문제에 대한 정밀 타격입니다. Spotify는 LLM을 챗봇이 아닌 사용자 행동과 콘텐츠 발견 경제를 재구성하는 전략적 무기로 사용하고 있습니다.

인과 관계: 인과 관계 체인이 탁월하게 설계되었습니다: 제한된 오디오북 상호작용 → 합성 쿼리 생성 → 개선된 QAC 제안 → 사용자 행동 수정 → 탐색적 쿼리 증가 → 오디오북 검색 가능성 향상 → 비즈니스 지표 개선. 이는 콘텐츠 노출 환경을 근본적으로 변화시키는 자기 강화 발견 루프를 생성합니다.

장점과 단점: 가장 두드러진 혁신은 쿼리 제안과 검색 시스템 모두에 이중 배포한 점입니다—대부분의 회사는 하나만 하거나 멈춥니다. 탐색적 쿼리에서 1.82% 상승은 단순한 알고리즘 최적화가 아닌 실제 행동 변화를 입증합니다. 그러나 이 접근법은 진정한 사용자 의도와 분리된 인공적 쿼리 생태계를 생성할 위험이 있으며, 시간이 지남에 따른 잠재적 쿼리 품질 저하 문제는 논문에서 다루지 않습니다.

실행 시사점: 제품 리더에게: 이는 LLM 애플리케이션이 포인트 솔루션이 아닌 생태계 수준의 개입에 초점을 맞춰야 함을 보여줍니다. 엔지니어에게: 실제 교훈은 학문적 기술을 프로덕션화하는 데 있습니다—그들이 새로운 평가 프레임워크를 추구하기보다 확립된 지표를 사용한 방식을 주목하세요. 다음 개척지는 발견 다양성을 유지하면서 이러한 합성 쿼리를 개인화하는 것입니다.

목차