NLP 系列-3：文字向量化 - word2vec
閱讀時間約 3 分鐘
在自然語言處理領域中，佔據核心地位的就是文字向量化的技術。先前有介紹過了經典好用的 tfidf，這次想要介紹融入了神經網路模型為基礎的word2vec(Google 2013年論文)，事不宜遲，就讓我們往下看看吧
目錄
- 什麼是 word2vec？
- word2vec 背後的直覺？
- 如何去建立 word2vec？該怎麼用？
- 總結
一、什麼是 word2vec？
上次介紹tfidf 時，發現tfidf 雖然簡單、好用，但也有幾個明顯缺陷，如：詞與詞之間相似性 維度爆炸、稀疏 這也是 word2vec 出現的主要原因！比如「開心」「雀躍」應該是非常類似的詞，但用 tfidf / one-hot 時，相似性將是0；而 word2vec 是將一個個詞，如「開心」「雀躍」都將其嵌入到 k 維的稠密向量，後續的相似性計算則可以改善過往為0的缺陷。['雀躍'] # [1, 0] 簡單以 2 維來示意
['開心'] # [0, 1]
# cosine similarity = 0
二、word2vec 背後的直覺？
word2vec當時想要改善的是相似性的部分，所以直覺想到的是將原先相當稀疏的向量壓縮到較小維度的稠密向量。而要達到這個概念，作者想到的是將每一個「詞」對應到一個k維的向量，再經過模型訓練，更新 k 維的對應參數，最後可以將其 k 維向量去計算相似性。而這其中背後的直覺在於：「詞」與「周圍的詞」之間是有關連的。
透過大量的文字資料去建立一個語言模型，透過預測出現詞的任務，去優化模型參數，使得「詞向量」可以表達詞與詞之間的關係。
三、如何去建立 word2vec？該怎麼用？
根據論文主要有兩種實踐方式：Skip-gram model：透過中間詞預測周圍詞。
CBOW：透過周圍詞預測中間詞。
對於實現 code 感興趣的可以到 Google 官方教程 參考！而該怎麼使用呢？假設我們已經訓練好了一個 word2vec 模型，而我們以剛剛「開心」「雀躍」為例。「開心」 -> word2vec -> k維向量「雀躍」 -> word2vec -> k維向量以文本分類(正面/負面)來說，將其當作特徵(k維)丟入下游的模型比如隨機森林，去辨識。
# pseudo code
word2vec = Word2vec(...)
vector = word2vec.predict(['開心', '雀躍', '難過'])
rf = RandomForestClassifier(...)
rf.fit(vector, [1, 1, 0])
四、總結
透過 word2vec 模型，可以得到「詞向量」，而「詞向量」聚合可以得到更高階層的「句向量」就可以搭配下游的 NLP 任務，如輿情分析、語意搜尋等任務使用，可以達到不錯的效果（詳見論文）可以發現，上游的詞向量模型與下游的 NLP 任務是獨立的，下游任務並不會改變上游訓練好的詞向量，在某些任務上可能會造成效果比沒有那麼好，這種向量固定的方式也稱為 feature-based。另外也發現，其背後的直覺、假設關係，詞與詞之間的關係是在一定的條件下，而真實的情況不一定完全符合，且沒有考慮上下文不同時，同一個詞可能代表不同意思。下一篇再介紹 BERT，如何去改良了這些缺點，也造成了一股風潮。
如果覺得文章有幫助，希望可以給我一些掌聲👏讓我更有動力繼續分享類似的主題，也歡迎提供想了解的主題唷！
參考
1會員
3內容數
喜歡資料科學的朋友應該都有聽過 NLP（自然語言處理）的大名，日常生活的Gmail、Google Search、Spotify等等應用都有使用這個技術。希望透過這個系列與大家稍微分享一下我個人對於 NLP 的看法，讓我們一起探索這個有趣、迷人的領域吧！
留言0
查看全部
你可能也想看
Google News 追蹤
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
情感分析是一種自然語言處理技術，用於自動識別和分析文本中的情感傾向，通常是正向、負向或中性。
我們可以使用 NLTK 來實現一個基於單純貝斯分類器的情感分析模型。
為了將輸入文本轉換成深度學習模型可以使用的嵌入向量，
我們需要先將「輸入文本 Input Text」轉為「符元化文本 Tokenized Text」。
而實際上「符元化文本 Tokenized Text」與「嵌入向量 Embedding Vector」之間，
還有一個步驟稱為「符元
上回我們講到 Word Embedding 能夠將字詞表示從使用字典索引改成詞向量表示，且這個詞向量能夠包含一定程度上的語義訊息，今天就讓我們探討 Word Embedding 到底是如何訓練成的。
大語言模型（如GPT-3和GPT-4）的出現改變了我們與機器互動的方式。這些模型能夠理解和生成自然語言，實現許多以前無法想像的應用。然而，你可能會好奇，這些模型究竟是如何理解語言的？這裡，我們來探討一個關鍵的概念：「一切語義都是關係」。
瞭解如何透過Regression實作Classification，使用one-hot vector表示不同的類別，並透過乘上不同的Weight和加上不同的bias來得到三個數值形成向量。同時通過softmax的方式得到最終的y'值，並探討使用Cross-entropy來計算類別的loss。
大語言模型是一種特殊的神經網路，設計來理解，生成與回應人類的文本。
大語言模型是使用大量文本數據訓練的深度神經網路，其訓練使用的文本數據甚至包括了整個網路公開的文本。
大語言模型的「大」，體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
語言模型與文字表示以不同的方式來分析自然語言的詞語分佈及語意關係。本文章簡要介紹了語言模型、Word2vec、FastText、GloVe和Transformer等技術，並提供了實際的應用參考點，幫助讀者深入理解自然語言處理的技術。
對於熱衷於語言科技的你，
大語言模型（LLMs）在自然語言處理（NLP）領域的發展無疑是一個革命性的進展。
從傳統的規則系統到基於深度學習的方法，
LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。
這不僅是技術上的飛躍，
更是開啟了新的應用和可能性。
下面將介紹這一變革帶來的三大
講述兩件事情：
情緒詞很特別！在 mental lexicon (心理詞典) 中是可以被單獨分出來的一類。
情緒概念因不同語言 (文化) 而異，且雙語者認知的情緒概念可能也與單語者不同。
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題，等你踹共啦！還有機會獲得經典的「偉士牌樂高」喔！馬上來參加本次的活動吧！
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
情感分析是一種自然語言處理技術，用於自動識別和分析文本中的情感傾向，通常是正向、負向或中性。
我們可以使用 NLTK 來實現一個基於單純貝斯分類器的情感分析模型。
為了將輸入文本轉換成深度學習模型可以使用的嵌入向量，
我們需要先將「輸入文本 Input Text」轉為「符元化文本 Tokenized Text」。
而實際上「符元化文本 Tokenized Text」與「嵌入向量 Embedding Vector」之間，
還有一個步驟稱為「符元
上回我們講到 Word Embedding 能夠將字詞表示從使用字典索引改成詞向量表示，且這個詞向量能夠包含一定程度上的語義訊息，今天就讓我們探討 Word Embedding 到底是如何訓練成的。
大語言模型（如GPT-3和GPT-4）的出現改變了我們與機器互動的方式。這些模型能夠理解和生成自然語言，實現許多以前無法想像的應用。然而，你可能會好奇，這些模型究竟是如何理解語言的？這裡，我們來探討一個關鍵的概念：「一切語義都是關係」。
瞭解如何透過Regression實作Classification，使用one-hot vector表示不同的類別，並透過乘上不同的Weight和加上不同的bias來得到三個數值形成向量。同時通過softmax的方式得到最終的y'值，並探討使用Cross-entropy來計算類別的loss。
大語言模型是一種特殊的神經網路，設計來理解，生成與回應人類的文本。
大語言模型是使用大量文本數據訓練的深度神經網路，其訓練使用的文本數據甚至包括了整個網路公開的文本。
大語言模型的「大」，體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
語言模型與文字表示以不同的方式來分析自然語言的詞語分佈及語意關係。本文章簡要介紹了語言模型、Word2vec、FastText、GloVe和Transformer等技術，並提供了實際的應用參考點，幫助讀者深入理解自然語言處理的技術。
對於熱衷於語言科技的你，
大語言模型（LLMs）在自然語言處理（NLP）領域的發展無疑是一個革命性的進展。
從傳統的規則系統到基於深度學習的方法，
LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。
這不僅是技術上的飛躍，
更是開啟了新的應用和可能性。
下面將介紹這一變革帶來的三大
講述兩件事情：
情緒詞很特別！在 mental lexicon (心理詞典) 中是可以被單獨分出來的一類。
情緒概念因不同語言 (文化) 而異，且雙語者認知的情緒概念可能也與單語者不同。