ELMo（Embeddings from Language Models）是一種在自然語言處理（NLP）中使用的深度學習詞嵌入模型，於2018年由Allen Institute for AI及華盛頓大學提出。與傳統靜態詞向量（如Word2Vec、GloVe）不同，ELMo產生的是**「上下文相關的詞向量」**，同一個詞在不同語境下會有不同的詞表示，因而更精確捕捉詞義。
主要特色
- 採用**雙向LSTM（Bidirectional LSTM）**語言模型，同時從句子左右兩個方向讀取語境，獲得更完整的語義表示。 使用多層深度神經網路，將不同層的表示向量結合，兼具語法與語意信息。 輸入為**字元層級（character-level）**編碼，有助於處理罕見字詞和語言變形。 輸出表示隨句子中的詞彙上下文改變，達成更靈活的語意區分，如「bank」在金融或河岸語境下會有不同向量。
運作流程
- ELMo模型先在大規模語料庫上訓練雙向語言模型。 利用訓練完成的模型產生上下文詞向量。 這些向量可作為下游任務（如情感分析、命名實體識別、問答系統等）的輸入特徵，提升模型表現。
優點
- 解決了傳統固定詞向量無法反映詞義隨語境變化問題。 改善多義詞及同形異義詞辨識。 增強下游NLP任務的效果。
ELMo被視為詞表示演化中的重要里程碑，為後續Transformer架構如BERT、GPT等的發展奠定基礎。
如需深入技術細節或程式實作，也可進一步說明。ELMo（Embeddings from Language Models）是一種用於自然語言處理的深度學習詞向量模型。它利用雙向長短期記憶網路（Bi-directional LSTM）來捕捉詞彙在句子中的上下文資訊，產生上下文相關的詞嵌入向量。與傳統靜態詞向量（如Word2Vec、GloVe）不同，ELMo生成的詞向量會根據不同句子中詞的上下文語意而變化，能更精確區分同一詞在不同語境下的意思。ELMo的特色包括：
- 使用雙向LSTM模型，從左右兩個方向捕捉語境。 利用字元級輸入處理罕見字詞和語言變形。 多層結構融合不同層次語言信息。 利用預先訓練的語言模型產生語境化詞向量供下游任務使用。
ELMo大幅提高了詞義理解和語言任務表現，是語言模型向更深層上下文理解邁進的重要技術基石。
