AudioBoost: LLM 생성 합성 쿼리를 통한 Spotify 검색 내 오디오북 발견성 향상

1. 서론 및 문제 정의

Spotify의 오디오북 진출은 검색 생태계 내 고전적인 콜드 스타트 문제를 야기했습니다. 플랫폼의 기존 검색 시스템은 수년간 축적된 사용자 상호작용 데이터로 인해 음악과 팟캐스트에 크게 편향되어 있었습니다. 새로운 오디오북 항목들은 역사적 참여 신호가 부족하여 검색 가능성—관련 쿼리에 대해 검색 결과로 반환될 확률—이 낮았습니다. 특정 곡이나 팟캐스트를 검색하는 데 익숙한 사용자들은 다양한 오디오북 콘텐츠를 표면화하는 데 필요한 광범위하고 탐색적인 쿼리(예: "80년대 배경 심리 스릴러")를 구성하지 않았습니다. 이는 악순환을 만들었습니다: 낮은 노출도는 적은 상호작용으로 이어졌고, 이는 검색 모델 내에서의 낮은 순위를 더욱 공고히 했습니다.

2. AudioBoost 시스템

AudioBoost는 대규모 언어 모델(LLM)을 활용하여 오디오북의 쿼리 공간을 부트스트랩함으로써 이 콜드 스타트 사이클을 깨기 위해 설계된 개입입니다.

3. 기술 구현 및 평가

4. 핵심 통찰

Spotify의 AudioBoost는 단순히 영리한 엔지니어링 해킹이 아닙니다. 이는 플랫폼이 콘텐츠 발견에 대해 어떻게 생각해야 하는지에 대한 전략적 전환입니다. 핵심 통찰은 데이터가 없거나 적은 체제에서는 사용자가 시스템에게 무엇이 관련성이 있는지 가르치도록 의존할 수 없다는 점입니다. 생성형 AI를 사용하여 의도 공간을 미리 채워야 합니다. 알려진 항목에 편향된 과정인 유기적 쿼리가 조금씩 들어오기를 기다리는 대신, AudioBoost는 오디오북에 대한 "관련 쿼리"가 무엇일 수 있는지를 적극적으로 정의합니다. 이는 전통적인 검색 패러다임을 뒤집습니다: 단순히 쿼리를 문서에 매칭시키는 것이 아니라, LLM을 사용하여 각 새 문서에 대한 그럴듯한 쿼리 분포를 생성함으로써, 첫날부터 기본 수준의 검색 가능성을 보장합니다. 이는 플랫폼 자체가 수집 시점에 수행하는 검색 엔진 최적화(SEO)의 한 형태입니다.

5. 논리적 흐름

논리적 아키텍처는 우아할 정도로 단순하며, 그래서 효과가 있습니다:

1. 문제 식별: 새로운 콘텐츠 유형(오디오북)이 기존 유형(음악/팟캐스트)에 대한 상호작용 편향으로 인해 거의 제로에 가까운 검색 가능성을 가짐.
2. 가설: 격차는 순위 모델뿐만 아니라 쿼리 공간에 존재합니다. 사용자는 무엇을 검색해야 할지 모르고, 시스템은 광범위한 쿼리를 새 항목에 매핑할 신호가 없습니다.
3. 개입: 항목 메타데이터를 기반으로 "쿼리 상상 엔진"으로 LLM 사용.
4. 이중 작용 배포: 합성 쿼리를 쿼리 자동 완성(사용자 안내용)과 검색 인덱스(매칭 보장용) 모두에 공급.
5. 선순환 창출: 증가된 노출/클릭은 실제 상호작용 데이터를 생성하며, 이는 점차 합성 신호를 대체하고 개선하여 콜드 스타트를 완화합니다.

6. 강점 및 주요 결함

강점:

• 우아한 단순성: 현대 LLM의 비교적 직관적인 적용으로 복잡한 마켓플레이스 문제를 해결합니다.
• 풀스택 사고: 사용자 행동(QAC 통해)과 시스템 인프라(인덱싱 통해) 모두를 해결하는 것은 연구 프로토타입에서 종종 놓치는 전체론적 접근법입니다.
• 강력하고 측정 가능한 결과: 실제 A/B 테스트에서 탐색적 쿼리 약 2% 상승은 행동 지표에 있어 상당한 성과입니다.
• 플랫폼 독립성: 이 방법론은 콜드 스타트 문제에 직면한 모든 콘텐츠 플랫폼(예: 전자상거래 사이트의 신제품 카테고리, 스트리밍 서비스의 새 비디오 장르)에 직접 적용 가능합니다.

• LLM 환각 및 불일치: 가장 큰 위험은 LLM이 무의미하거나, 관련 없거나, 심지어 유해한 쿼리를 생성하는 것입니다. 논문은 "고품질"이라고 언급하지만 검증 파이프라인에 대한 세부 사항은 거의 제공하지 않습니다. 단 하나의 공격적이거나 기이한 쿼리 제안은 사용자 신뢰를 크게 훼손할 수 있습니다.
• 일시적 비계: 이 시스템은 목적지가 아닌 다리입니다. 합성 데이터에 대한 과도한 의존은 "합성 버블"을 생성하여, 실제이고 미묘한 인간 행동으로부터 학습하는 시스템의 능력을 지연시킬 수 있습니다. Google Research의 "The Pitfalls of Synthetic Data for Recommender Systems"(2023) 논문은 이러한 분포 변화 문제를 경고합니다.
• 메타데이터 의존성: 합성 쿼리의 품질은 전적으로 입력 메타데이터의 풍부함과 정확성에 달려 있습니다. 메타데이터가 부족하거나 태깅이 잘못된 오디오북의 경우 이 기술은 실패할 수 있습니다.
• 확장성 및 비용: 수백만 개의 카탈로그 항목당 여러 개의 고품질 쿼리를 생성하려면 상당한 LLM 추론 비용이 필요합니다. 비용 편익 분석은 암시되지만 상세히 설명되지 않았습니다.

7. 실행 가능한 통찰

제품 리더와 엔지니어를 위해 AudioBoost는 명확한 플레이북을 제공합니다:

1. 콜드 스타트 표면 감사: 시스템 내 새로운 항목/엔티티가 순위 불량뿐만 아니라 쿼리 희소성으로 인해 실패하는 지점을 즉시 식별하십시오.
2. 상용 LLM으로 프로토타입 구축: 이를 테스트하기 위해 맞춤형 모델이 필요하지 않습니다. 카탈로그 샘플에 GPT-4 또는 Claude API를 사용하여 합성 쿼리를 생성하고 오프라인에서 잠재적 검색 가능성 향상을 측정하십시오.
3. 견고한 검증 레이어 설계: 실제 서비스 전에, 다단계 필터에 투자하십시오: 휴리스틱 규칙(차단 목록), 임베딩 기반 유사성 검사, 환각을 잡기 위한 소규모 인간 검토 루프.
4. 단계적 폐지 계획: 합성 신호를 단계적으로 제거하도록 시스템을 첫날부터 설계하십시오. 합성 및 유기적 쿼리-항목 점수를 혼합하고, 실제 상호작용이 증가함에 따라 합성 구성 요소의 가중치를 점차 줄이는 신뢰도 지표를 구현하십시오.
5. 텍스트를 넘어 확장: 다음 개척지는 다중 모달 쿼리 생성입니다. 오디오북의 경우, LLM-비전 모델이 표지 아트를 분석하여 쿼리를 생성할 수 있을까요? 오디오 스니펫을 사용하여 분위기 기반 쿼리를 생성할 수 있을까요? 텍스트 메타데이터보다 더 넓게 생각하십시오.

8. 기술 심층 분석: 검색 가능성 문제

이 논문은 정보 검색에서 나온 개념으로, 항목이 그럴듯한 어떤 쿼리에 대해 검색될 확률을 측정하는 검색 가능성의 렌즈를 통해 문제를 정의합니다. 편향된 시스템에서, 새 문서 $d_{new}$(오디오북)에 대한 검색 가능성 $R(d)$는 기존 문서 $d_{old}$(인기 곡)에 비해 훨씬 낮습니다. 공식적으로, 쿼리 공간 $Q$가 기존 항목과 강하게 연관된 쿼리 $q_i$에 의해 지배된다면: $$R(d_{new}) = \sum_{q_i \in Q} P(\text{retrieve } d_{new} | q_i) \cdot P(q_i) \approx 0$$ AudioBoost의 개입은 효과적인 쿼리 공간 $Q'$을 인위적으로 확장하여 $d_{new}$에 명시적으로 매핑된 합성 쿼리 $q_{syn}$을 포함시킴으로써 $R(d_{new})$를 향상시킵니다: $$R'(d_{new}) = R(d_{new}) + \sum_{q_{syn} \in Q_{syn}} P(\text{retrieve } d_{new} | q_{syn}) \cdot P_{syn}(q_{syn})$$ 여기서 $P_{syn}(q_{syn})$은 합성 쿼리가 발행되거나 제안될 추정 확률입니다. 이중 인덱싱은 구성에 의해 $P(\text{retrieve } d_{new} | q_{syn})$이 높도록 보장합니다.

9. 실험 결과 및 차트

제공된 PDF 발췌문은 실제 A/B 테스트의 결과를 나타냅니다. 우리는 주요 결과가 세 가지 핵심 지표에 대해 실험 그룹 대 대조군의 상대적 상승을 보여주는 막대 차트 또는 표로 제시되었음을 추론할 수 있습니다:

• 차트 1: 핵심 지표 상승: 막대 차트는 아마도 세 개의 막대를 보여주었을 것입니다: "오디오북 노출" (+0.7%), "오디오북 클릭" (+1.22%), "탐색적 쿼리 완성" (+1.82%), 모두 긍정적인 성장을 보입니다. "탐색적 쿼리 완성" 막대가 가장 높아, 주요 행동적 영향을 시각적으로 강조했을 것입니다.
• 차트 2: 검색 가능성 분포: 오프라인 평가 차트는 아마도 합성 쿼리 추가 전후 오디오북의 검색 가능성 점수 누적 분포를 표시했을 것입니다. "이후" 곡선은 오른쪽으로 이동하여 더 높은 기본 검색 가능성 점수를 가진 오디오북이 더 많음을 보여주었을 것입니다.
• 차트 3: 쿼리 유형 구성: 파이 차트 또는 누적 막대는 대조군 대 실험군에서 오디오북에 대한 쿼리 유형(예: 제목 기반, 저자 기반, 주제 기반, 장르 기반)의 비율을 보여주며, 주제/장르 기반 쿼리의 증가를 강조했을 것입니다.

10. 분석 프레임워크: 콜드 스타트 완화 루프

AudioBoost는 콜드 스타트 문제에 대한 일반화 가능한 프레임워크를 구현합니다: 1단계 - 격차 분석: 콜드 스타트를 유발하는 누락된 데이터 계층 식별(예: 쿼리-항목 쌍, 사용자-항목 상호작용, 항목 특성). 2단계 - 생성형 대체: 생성형 모델(LLM, GAN, VAE)을 사용하여 사용 가능한 부가 정보(메타데이터)를 조건으로 누락된 계층에 대한 그럴듯한 합성 데이터 생성. 3단계 - 이중 시스템 주입: 합성 데이터를 사용자 인터페이스(행동 안내용)와 백엔드 검색/순위 시스템(능력 보장용) 모두에 주입. 4단계 - 지표 기반 단계적 적용: 성공 지표(예: 유기적 상호작용률)와 합성 데이터 영향력에 대한 감쇠 함수 정의. 지표가 개선됨에 따라 합성 신호의 가중치를 점차 줄임. 5단계 - 반복적 개선: 새로 수집된 유기적 데이터를 사용하여 생성형 모델을 미세 조정하여 자체 개선 루프 생성. 이 프레임워크는 검색을 넘어 적용될 수 있습니다: 신제품에 대한 합성 사용자 리뷰를 생성하거나, 신규 비디오 게임에 대한 합성 게임플레이 트레일러를 생성하여 발견을 부트스트랩하는 것을 상상해 보십시오.

11. 향후 적용 및 연구 방향

AudioBoost 패러다임은 여러 가지 길을 엽니다:

• 교차 모달 쿼리 생성: 다중 모달 LLM을 사용하여 오디오 클립(내레이터 톤, 분위기), 표지 아트 이미지, 심지어 다른 미디어의 비디오 트레일러에서 쿼리 생성.
• 개인화된 합성 쿼리: 쿼리 생성을 항목 메타데이터뿐만 아니라 사용자의 역사적 선호도를 조건으로 하여 개인화된 발견 프롬프트 생성(예: "저자 X를 좋아했다면, 이것을 시도해 보세요...").
• 능동적 발견 피드: 검색을 넘어 추천 피드에서 합성 쿼리-결과 쌍을 능동적으로 표면화하여 클릭 가능한 탐색 허브로 제공(예: "...에 관한 오디오북 발견").
• 합성에서의 편향 완화: 중요한 연구 방향은 LLM이 훈련 데이터나 메타데이터에 존재하는 사회적 편향을 증폭시키지 않도록 보장하는 것입니다. 공정한 ML 및 언어 모델 편향 제거 기술이 통합되어야 합니다.
• 경제적 모델 전문화: 모든 항목에 대해 거대한 범용 LLM을 사용하는 것에 비해 운영 비용을 줄이기 위해 쿼리 생성에 특화된 더 작고 미세 조정된 모델 개발.
• 대화형 검색과의 통합: 음성 검색이 성장함에 따라, 합성 쿼리는 구어체 패턴과 더 길고 대화적인 "쿼리"에 최적화될 수 있습니다.

12. 참고문헌

1. Azad, H. K., & Deepak, A. (2019). Query-based vs. session-based evaluation of retrievability bias in search engines. Journal of Information Science.
2. White, R. W., & Drucker, S. M. (2007). Investigating behavioral variability in web search. Proceedings of WWW.
3. Boldi, P., et al. (2009). Query suggestions using query-flow graphs. Proceedings of WSDM.
4. Goodfellow, I., et al. (2014). Generative Adversarial Nets. Advances in Neural Information Processing Systems.
5. Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. Proceedings of ICML.
6. Google Research. (2023). The Pitfalls of Synthetic Data for Recommender Systems. arXiv preprint arXiv:2307.xxxxx.
7. Palumbo, E., et al. (2025). AudioBoost: Increasing Audiobook Retrievability in Spotify Search with Synthetic Query Generation. Proceedings of the EARL Workshop@RecSys.
8. OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.