語音與語義融合之口語詞嵌入技術及其在口語內容檢索之應用

1. 緒論

Word2Vec 等詞嵌入技術透過捕捉文字詞彙在上下文中的語義關係，徹底改變了自然語言處理領域。同樣地，Audio Word2Vec 也被開發出來，用於從口語詞段中提取語音結構。然而，傳統的 Audio Word2Vec 僅專注於從單個口語詞彙內部學習到的語音資訊，忽略了話語中詞彙序列所產生的語義上下文。

本文提出了一個新穎的兩階段框架來彌合此一差距。其目標是為口語詞彙創建能同時封裝其語音構成與語義意義的向量表示。這是一項具有挑戰性的任務，因為正如文中所指出的，語音相似性和語義相關性通常是正交的。例如，「brother」和「sister」語義相近但語音不同，而「brother」和「bother」語音相似但語義無關。所提出的方法旨在解耦並聯合建模這兩個面向，從而實現更強大的應用，例如語義口語文件檢索，即能夠找到與查詢概念相關的文件，而不僅僅是包含確切查詢詞彙的文件。

2. 方法論

核心創新在於一個順序性的兩階段嵌入過程，旨在先隔離語音資訊，然後在其上疊加語義理解。

2.1 第一階段：結合說話者解耦的語音嵌入

第一階段處理原始的口語詞段。其主要目標是學習一個穩健的語音嵌入——一個代表詞彙中音素序列的向量——同時明確地移除或解耦混淆因素，例如說話者身份和錄音環境。這至關重要，因為說話者特徵可能主導訊號並掩蓋底層的語音內容。此處可能會採用受領域適應或對抗訓練啟發的技術（精神上類似於 CycleGAN 中的解耦方法），以創建一個與說話者無關的語音空間。

2.2 第二階段：語義嵌入

第二階段以第一階段產生的、已解耦說話者資訊的語音嵌入作為輸入。接著，在處理這些嵌入時會考慮口語詞彙在話語中的上下文。透過分析這些語音向量的序列（例如，使用循環神經網路或 Transformer 架構），模型學習推斷語義關係，這與基於文字的 Word2Vec 非常相似。此階段的輸出是每個口語詞彙最終的「語音與語義」融合嵌入。

2.3 評估框架

為了評估嵌入的雙重特性，作者提出了一個平行評估策略。語音品質透過口語詞彙偵測或語音相似性聚類等任務來評估。語義品質則透過將音訊嵌入與預先訓練好的文字詞嵌入（例如 GloVe 或 BERT 嵌入）對齊，並測量其向量空間的相關性或語義任務上的表現來評估。

3. 技術細節

3.1 數學公式

學習目標可能結合了多個損失函數。對於第一階段，重建損失或對比損失確保語音內容被保留，而對抗損失或相關性損失則最小化說話者資訊。對於第二階段，則應用基於上下文的預測損失，例如 Word2Vec 中的 skip-gram 或 CBOW 目標。完整模型的組合目標可以概念化為：

$L_{total} = \lambda_1 L_{phonetic} + \lambda_2 L_{speaker\_inv} + \lambda_3 L_{semantic}$

其中 $L_{phonetic}$ 確保聲學保真度，$L_{speaker\_inv}$ 鼓勵解耦，而 $L_{semantic}$ 捕捉上下文詞彙關係。

3.2 模型架構

架構被推測為一個深度神經網路管線。第一階段可能使用卷積神經網路（CNN）或編碼器來處理聲譜圖，接著透過一個瓶頸層產生已解耦說話者資訊的語音向量。第二階段可能採用一個序列模型（RNN/LSTM/Transformer），該模型接收一系列第一階段的向量，並輸出具有上下文感知能力的嵌入。模型是在口語話語語料庫上進行端到端訓練的。

4. 實驗結果

4.1 資料集與設定

實驗在一個口語文件語料庫上進行，該語料庫可能源自 LibriSpeech 或廣播新聞等來源。設定包括訓練兩階段模型，並將其與標準 Audio Word2Vec（僅語音）和基於文字的嵌入等基準方法進行比較。

4.2 效能指標

關鍵指標包括：

• 語音檢索精確度/召回率： 用於尋找確切的口語詞彙匹配。
• 語義檢索 MAP（平均精確度均值）： 用於檢索與查詢語義相關的文件。
• 嵌入相關性： 音訊嵌入與其對應文字詞嵌入之間的餘弦相似度。

4.3 結果分析

論文報告了初步的、令人鼓舞的結果。所提出的兩階段嵌入在語義檢索任務中表現優於僅語音的 Audio Word2Vec，成功檢索到主題相關但未包含查詢詞彙的文件。同時，它們在語音檢索任務上保持了強勁的表現，證明了語音資訊的保留。平行評估顯示，與基準方法相比，所提出的音訊嵌入與文字嵌入之間具有更高的相關性。

5. 分析框架範例

案例：評估口語講座檢索系統

情境： 使用者以「神經網路優化」這個片語查詢一個口語講座資料庫。

使用所提嵌入進行分析：

1. 語音匹配： 系統檢索出確切說出「神經網路優化」片語的講座（高語音相似度）。
2. 語義匹配： 系統也檢索出討論「梯度下降」、「反向傳播」或「Adam 優化器」的講座，因為這些詞彙的嵌入在查詢的語義子空間中很接近。

評估： 計算語音匹配的精確度。對於語義匹配，則由人工標註者判斷相關性，並計算平均精確度均值（MAP）。系統平衡這兩類結果的能力展示了聯合嵌入的價值。

6. 應用展望與未來方向

應用：

• 智慧語音助理： 超越字面指令匹配，理解使用者意圖。
• 多媒體檔案庫搜尋： 跨播客、會議記錄和歷史音訊檔案的語義搜尋。
• 無障礙輔助工具： 為視障人士在音訊媒體中提供增強的內容導航。
• 跨語言口語檢索： 潛在地利用語義作為橋樑，基於一種語言的查詢找到另一種語言的內容。

未來研究方向：

• 探索更先進的解耦技術（例如基於 Beta-VAE 或 FactorVAE）以獲得更乾淨的語音特徵。
• 與大規模預訓練語音模型（例如 Wav2Vec 2.0、HuBERT）整合，作為更強大的前端。
• 擴展框架以建模更長範圍的話語和文件層級語義。
• 研究針對罕見詞彙的少樣本或零樣本學習。

7. 參考文獻

1. Mikolov, T., et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
2. Chung, Y.-A., & Glass, J. (2018). Speech2Vec: A Sequence-to-Sequence Framework for Learning Word Embeddings from Speech. Interspeech.
3. Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV (CycleGAN).
4. Baevski, A., et al. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. NeurIPS.
5. Lee, H.-y., & Lee, L.-s. (2018). Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder. IEEE/ACM TASLP.
6. Chen, Y.-C., et al. (2019). Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval. arXiv:1807.08089v4.

8. 專家分析