「句子向量 (Sentence Embedding)」或「句子嵌入」是自然語言處理 (NLP) 中將整個句子表示為一個稠密的低維向量的技術。它旨在捕捉句子的整體語義信息，使得語義上相似的句子在向量空間中也更接近。
你可以將句子向量想像成將一個完整的句子壓縮成一個數字列表，這個列表能夠代表句子的含義。
句子向量與詞向量的區別：- 詞向量 (Word Embeddings): 將單個詞語表示為向量，捕捉詞語的語義和上下文信息。
- 句子向量 (Sentence Embeddings): 將整個句子表示為向量，旨在捕捉句子的整體含義、語氣和上下文。
為什麼需要句子向量？
在許多 NLP 任務中，我們需要比較句子之間的語義相似性、對句子進行分類或聚類，或者將句子作為其他模型的輸入。單純使用詞向量可能無法很好地表示句子的整體含義，因此需要句子向量。
生成句子向量的常見方法：
- 基於詞向量的聚合 (Aggregation of Word Embeddings):
- 平均詞向量 (Averaging Word Embeddings): 將句子中所有詞語的詞向量（例如 Word2Vec、GloVe、FastText 生成的詞向量）取平均值，得到句子的向量表示。這種方法簡單快速，但忽略了詞語的順序和句子結構。 加權平均詞向量 (Weighted Averaging Word Embeddings): 可以根據詞語的重要性（例如，使用 TF-IDF 權重）對詞向量進行加權平均。
- 基於循環神經網路 (RNN) 的方法:
- 使用 RNN（例如 LSTM 或 GRU）處理句子中的詞語序列。可以將 RNN 最後一個時間步的隱藏狀態作為句子的向量表示。雙向 RNN 可以捕捉到句子中更全面的上下文信息。
- 基於卷積神經網路 (CNN) 的方法:
- 使用 CNN 對句子進行卷積操作，提取句子中的關鍵短語和模式，並將提取到的特徵組合成句子的向量表示。
- 基於 Transformer 的方法:
- 使用預訓練模型的輸出： 許多預訓練的 Transformer 模型（例如 BERT、RoBERTa、XLNet）可以生成高質量的上下文詞向量。可以將句子輸入到這些模型中，並使用模型輸出的某一層（例如 CLS token 的表示或所有詞向量的平均值）作為句子的向量表示。 專門的句子嵌入模型： 有一些模型被專門設計用於生成句子嵌入，例如： Sentence-BERT (SBERT): 通過在預訓練的 BERT 模型上進行微調，SBERT 可以生成在語義相似度計算等任務上表現優異的句子嵌入。它使用了不同的池化策略和損失函數來優化句子表示。 Universal Sentence Encoder (USE): 由 Google 開發，USE 模型旨在生成通用的句子嵌入，適用於多種 NLP 任務。有多種不同架構的 USE 模型，包括基於 Transformer 和基於 DAN (Deep Averaging Network) 的模型。 SimCSE (Simple Contrastive Learning of Sentence Embeddings): 一種基於對比學習的簡單有效的方法，可以在無監督或有監督的情況下生成高質量的句子嵌入。
句子向量的應用：
句子向量在許多 NLP 任務中都有廣泛的應用：
- 語義相似度計算 (Semantic Similarity Calculation): 計算兩個句子向量之間的距離（例如餘弦相似度）來衡量它們的語義相似度。
- 文本分類 (Text Classification): 將句子向量作為分類模型的輸入，用於句子情感分析、意圖識別等任務。
- 文本聚類 (Text Clustering): 將語義上相似的句子聚到一起。
- 信息檢索 (Information Retrieval): 將用戶的查詢和文檔都表示為句子向量，然後根據向量的相似度檢索相關文檔。
- 文本匹配 (Textual Matching): 判斷兩個句子是否具有相同的含義，例如在問答系統中匹配問題和答案。
總之，句子向量是將句子的語義信息編碼成一個數值向量的強大工具。通過使用不同的方法生成句子向量，我們可以有效地在向量空間中比較和操作句子，為各種 NLP 應用提供支持。
