1. 서론
비디오는 공간적(시각적), 시간적, 그리고 종종 청각적 정보를 포함하는 기계 학습을 위한 풍부한 다중 모달 데이터 소스입니다. 그러나, 트리밍되지 않은 비디오에서 동작 탐지를 위한 정밀한 인스턴스 수준 주석(시작 시간, 종료 시간, 동작 레이블)을 얻는 데 드는 막대한 비용으로 인해 이 잠재력을 완전히 활용하는 데 어려움이 있습니다. 본 논문은 저렴하고 쉽게 구할 수 있는 오디오 내레이션을 주요 감독 신호로 활용하는 새로운 약한 감독 방식을 제안하여 이 병목 현상을 해결합니다. 핵심 통찰은 내레이션이 시간적으로 부정확하더라도(EPIC Kitchens 데이터셋에서와 같이 대략적인 시작 시간만 제공) 모델이 관련 비디오 세그먼트에 주의를 기울이고 효과적인 동작 탐지기를 학습하도록 안내할 수 있는 가치 있는 의미론적 단서를 포함하고 있어, 주석 의존성을 크게 줄일 수 있다는 점입니다.
2. 관련 연구 및 문제 정의
2.1 동작 탐지의 감독 패러다임
시간적 동작 탐지 분야는 주로 세 가지 감독 패러다임 하에서 작동합니다:
- 완전 감독: 비싼 인스턴스 수준 주석(정확한 시간 경계)이 필요합니다. 높은 성능을 보이지만 확장성이 떨어집니다.
- 약한 감독 (비디오 수준): 비디오 수준의 클래스 레이블만 사용합니다. 비디오당 소수의 동작만 있다고 가정합니다(예: THUMOS14는 비디오당 ~1개 클래스). 이는 EPIC Kitchens(평균 비디오당 ~35개 클래스)와 같은 길고 복잡한 비디오에는 비현실적입니다.
- 약한 감독 (내레이션): 제안하는 패러다임입니다. 노이즈가 있는 단일 타임스탬프 오디오 내레이션 대본을 약한 레이블로 사용합니다. 이는 비디오 수준 레이블보다 더 많은 정보를 제공하지만 완전한 인스턴스 주석보다는 저렴합니다.
데이터셋 비교
THUMOS14: 평균 비디오당 1.08개 클래스. EPIC Kitchens: 평균 비디오당 34.87개 클래스. 이 현격한 차이는 실제 시나리오에서 전통적인 WSAD 방법의 한계를 부각시킵니다.
2.2 약한 감독의 과제
핵심 과제는 내레이션 타임스탬프와 실제 동작 인스턴스 사이의 시간적 불일치입니다. 모델은 노이즈가 있는 레이블에도 불구하고 관련 없는 배경 프레임을 억제하고 내레이션된 동작과 연관된 올바른 시간 세그먼트에 집중하는 방법을 학습해야 합니다.
3. 제안 방법
3.1 모델 아키텍처 개요
제안된 모델은 RGB 프레임, 광학 흐름(동작), 주변 오디오 트랙의 특징을 처리하고 융합하도록 설계된 다중 모달 아키텍처입니다. 핵심 구성 요소는 제공된 오디오 내레이션 레이블과의 관련성을 기반으로 서로 다른 비디오 프레임의 중요도에 가중치를 부여하는 방법을 학습하는 시간적 주의 메커니즘입니다.
3.2 노이즈 내레이션으로부터 학습
모델은 내레이션 타임스탬프를 강한 레이블로 취급하는 대신 약한 단서로 취급합니다. 학습 목표는 올바른 동작 클래스에 대해 내레이션 지점과 시간적으로 가까운 프레임에 대해 높은 활성화 점수를 장려하는 동시에 다른 모든 프레임과 클래스에 대한 활성화를 최소화합니다. 이는 비디오가 프레임의 "가방"이고 긍정적 "인스턴스"(동작)가 내레이션 지점 근처 어딘가에 있는 다중 인스턴스 학습(MIL)의 한 형태와 유사합니다.
3.3 다중 모달 특징 융합
서로 다른 모달리티(RGB는 외형, Flow는 동작, Audio는 주변 소리)의 특징은 사전 학습된 네트워크(예: RGB/Flow용 I3D, Audio용 VGGish)를 사용하여 추출됩니다. 이러한 특징들은 이후 초기 연결이나 더 정교한 교차 모달 주의 모듈을 통해 융합되어 동작 분류 및 위치 파악을 위한 강력한 결합 표현을 형성합니다.
4. 실험 및 결과
4.1 데이터셋 및 설정
주요 평가는 대규모 자기 중심 비디오 데이터셋인 EPIC Kitchens 100 데이터셋에서 수행되며, 이 데이터셋은 밀집된 동작 주석과 해당 오디오 내레이션을 포함합니다. 모델은 내레이션 시작 시간과 전사된 동사-명사 레이블만 사용하여 학습됩니다. 성능은 서로 다른 시간적 교집합 비율(tIoU) 임계값에서의 평균 평균 정밀도(mAP)와 같은 표준 시간적 동작 탐지 지표를 사용하여 측정됩니다.
4.2 정량적 결과
본 논문은 내레이션 감독만으로 학습된 제안 모델이 더 비싼 감독으로 학습된 모델에 비해 경쟁력 있는 성능을 달성함을 보여줍니다. 완전 감독 기준선보다는 자연스럽게 뒤처지지만, 특히 비디오당 많은 동작이 있는 데이터셋에서 비디오 수준 약한 감독 방법을 크게 능가합니다. 이는 내레이션이 가치 있는 "중간 지점" 감독 신호를 제공한다는 가설을 검증합니다.
4.3 제거 실험
제거 실험은 각 구성 요소의 중요성을 확인합니다:
- 다중 모달리티: RGB+Flow+Audio 특징을 사용하는 것이 단일 모달리티보다 지속적으로 더 나은 성능을 보입니다.
- 시간적 주의: 제안된 주의 메커니즘은 관련 없는 프레임을 걸러내고 위치 파악 정확도를 향상시키는 데 중요합니다.
- 내레이션 vs. 비디오 수준: 내레이션 레이블로 학습하는 것이 EPIC Kitchens에서 비디오 수준 레이블만 사용하는 것보다 더 나은 탐지 결과를 가져와, 전자의 우수한 정보 내용을 증명합니다.
5. 기술 분석 및 프레임워크
5.1 수학적 공식화
핵심 학습 목표는 분류 손실과 약한 내레이션 신호에 의해 안내되는 시간적 위치 파악 손실의 조합으로 구성될 수 있습니다. $V = \{f_t\}_{t=1}^T$를 비디오 프레임 특징의 시퀀스라고 하겠습니다. 타임스탬프 $\tau_n$을 가진 내레이션 레이블 $y_n$에 대해, 모델은 프레임 수준 클래스 점수 $s_t^c$를 생성합니다. 각 프레임에 대해 시간적 주의 가중치 $\alpha_t$가 학습됩니다. 내레이션된 동작에 대한 분류 손실은 가중 합입니다: $$\mathcal{L}_{cls} = -\log\left(\frac{\exp(\sum_t \alpha_t s_t^{y_n})}{\sum_c \exp(\sum_t \alpha_t s_t^c)}\right)$$ 동시에, 시간적 평활화 또는 희소성 손실 $\mathcal{L}_{temp}$가 $\alpha_t$에 적용되어 동작 인스턴스 주변에 뾰족한 분포를 장려합니다. 총 손실은 $\mathcal{L} = \mathcal{L}_{cls} + \lambda \mathcal{L}_{temp}$입니다.
5.2 분석 프레임워크 예시
사례 연구: 모델 실패 모드 분석
모델의 한계를 이해하기 위해 다음과 같은 분석 프레임워크를 구성할 수 있습니다:
- 데이터 검사: 모델의 예측(시간 세그먼트)이 실제값과 낮은 IoU를 갖는 비디오를 식별합니다. 이러한 비디오와 그 내레이션을 수동으로 검토합니다.
- 범주화: 실패를 범주화합니다. 일반적인 범주는 다음과 같습니다:
- 내레이션 모호성: 내레이션(예: "음식을 준비하고 있어요")이 너무 높은 수준이며 단일하고 짧은 동작 인스턴스와 일치하지 않습니다.
- 복합 동작: 내레이션된 동작(예: "칼을 들고 채소를 썰어요")이 여러 하위 동작으로 구성되어 모델을 혼란스럽게 합니다.
- 배경 지배: 동작의 시각적 배경이 너무 복잡하거나 다른 비동작 프레임과 유사합니다.
- 근본 원인 및 완화: "내레이션 모호성"의 경우, 해결책은 더 정교한 언어 모델을 사용하여 내레이션 세분성을 파싱하거나 모호한 레이블에 대해 지나치게 긴 탐지에 페널티를 주는 학습 신호를 통합하는 것을 포함할 수 있습니다.
6. 토의 및 향후 방향
핵심 통찰: 이 작업은 데이터 주석 병목 현상을 둘러싼 실용적인 해결책입니다. 이는 실제 세계에서 오디오 내레이션, 자막 또는 ASR 대본과 같은 "무료" 감독 신호가 풍부하다는 점을 올바르게 인식합니다. 진정한 기여는 새로운 신경망 아키텍처가 아니라, 완벽하게 정제된 데이터를 기다리기보다는 이러한 노이즈가 많은 실제 신호를 소화하도록 학습 시스템을 설계할 수 있고 또 그래야 한다는 설득력 있는 개념 증명입니다.
논리적 흐름: 논증은 견고합니다: 인스턴스 수준 주석은 규모에 맞춰 지속 불가능 → 비디오 수준 레이블은 복잡한 비디오에 대해 너무 약함 → 오디오 내레이션은 저렴하고 유익한 중간 지점 → 이를 사용할 수 있는 모델을 제시합니다. 밀집된 동작 분포를 가진 EPIC Kitchens의 사용은 비디오 수준 감독의 결함을 부각시키는 탁월한 선택입니다.
강점 및 결함: 강점은 실용성과 산업 응용(예: 콘텐츠 조정, 비디오 검색, 보조 생활)에 대한 명확한 가치 제안입니다. 많은 약한 감독 방법과 마찬가지로 결함은 성능 한계입니다. 모델은 근본적으로 감독의 노이즈에 의해 제한됩니다. 이는 훌륭한 첫걸음이지만, 정확한 타이밍이 필요한 고위험 응용 분야를 위한 최종 해결책은 아닙니다.
실행 가능한 통찰: 연구자들에게: 교차 모달 자기 감독(예: Radford 외의 Contrastive Language-Image Pre-training (CLIP) 연구 활용)을 탐구하여 텍스트 레이블에 대한 의존성을 더욱 줄이세요. 실무자들에게: 사용 가능한 대본이나 오디오 로그가 있는 내부 비디오 데이터셋에 이 패러다임을 즉시 적용하세요. 로그의 타임스탬프를 약한 내레이션 지점으로 취급하는 것부터 시작하세요.
향후 방향:
- 대규모 시각-언어 모델(VLM) 활용: CLIP이나 BLIP-2와 같은 모델은 강력한 정렬된 시각-텍스트 표현을 제공합니다. 향후 연구는 이를 강력한 사전 지식으로 사용하여 내레이션된 구문을 비디오 콘텐츠에 더 잘 고정시키고, 일부 모호성 문제를 극복할 수 있을 것입니다.
- 교차 데이터셋 일반화: 내레이션이 있는 자기 중심 주방 비디오(EPIC)로 학습된 모델이 해설 오디오가 있는 3인칭 스포츠 비디오에서 동작을 탐지할 수 있을까요? 내레이션 기반 학습의 전이 가능성을 탐구하는 것이 핵심입니다.
- 탐지에서 예측으로: 내레이션은 종종 동작이 일어나는 동안이나 직후에 이를 설명합니다. 이 신호를 사용하여 동작이 발생하기 약간 전에 이를 예측하는 동작 예측 모델을 학습할 수 있을까요?
- 능동 학습과의 통합: 모델의 불확실성이나 주의 가중치는 가장 혼란스러운 내레이션-비디오 쌍에 대해서만 명확화를 위해 인간 주석자에게 질의하는 데 사용될 수 있어, 매우 효율적인 인간 참여 주석 시스템을 만들 수 있습니다.
7. 참고문헌
- Ye, K., & Kovashka, A. (2021). Weakly-Supervised Action Detection Guided by Audio Narration. In Proceedings of the ... (PDF Source).
- Damen, D., et al. (2018). Scaling Egocentric Vision: The EPIC-KITCHENS Dataset. European Conference on Computer Vision (ECCV).
- Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. International Conference on Machine Learning (ICML).
- Carreira, J., & Zisserman, A. (2017). Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset. Conference on Computer Vision and Pattern Recognition (CVPR).
- Wang, L., et al. (2016). Temporal Segment Networks: Towards Good Practices for Deep Action Recognition. European Conference on Computer Vision (ECCV).
- Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. International Conference on Computer Vision (ICCV).