【自然語言處理 — 概念篇】最基礎的Bag-of-Words模型是什麼呢？

BOW的處理過程

1. 建構詞彙表： 將袋中的詞整理成一張表，這張表涵蓋了所有的詞。
2. 標示特徵向量： 使用詞彙表的單詞做為特徵，建構一個特徵向量，維度與詞彙表的大小相同。
3. 特徵表示應用: 將特徵向量應用於具體的NLP任務,如文本分類、情感分析、信息檢索等。這些特徵向量可以作為機器學習算法的輸入。

不如動手做做看吧

安裝套件

• scikit-learn:用於機器學習的Python套件, 擅長分類、回歸、聚類、降維、模型選擇和預處理等機器學習任務的工具和算法。
• pandas: 對矩陣進行表格的處理。
• jieba: 斷詞, 對中文進行分詞。

!pip install scikit-learn



!pip install pandas



!pip install jieba

下載中文字型讓圖表可以顯示中文

import matplotlib as mpl

import matplotlib.font_manager as fm

import matplotlib.pyplot as plt



# 下載繁體中文字型

!wget -O SourceHanSerifTW-VF.ttf https://github.com/adobe-fonts/source-han-serif/raw/release/Variable/TTF/Subset/SourceHanSerifTW-VF.ttf



# 加入字型檔

fm.fontManager.addfont('SourceHanSerifTW-VF.ttf')



# 設定字型

# 

mpl.rc('font', family='Source Han Serif TW VF')

定義文本數據集以及對應的標籤

corpus = [

    "我喜歡吃水果",

    "他喜歡喝咖啡",

    "我喜歡漫畫書",

    "他喜歡看電影"

]

自訂分詞器

import jieba

def tokenizer(text):

    return list(jieba.cut(text))th

轉換成特徵向量

from sklearn.feature_extraction.text import CountVectorizer



# 創建 BOW 特徵提取器

vectorizer = CountVectorizer(tokenizer=tokenizer)



# 通過 BOW 特徵提取器將文本轉換為特徵向量

features = vectorizer.fit_transform(corpus)

檢視詞彙表

feature_names = vectorizer.get_feature_names_out()

feature_names



# array(['他', '吃水果', '喜歡', '喝咖啡', '我', '書', '漫畫', '看', '電影'], dtype=object)

檢視特徵向量

print(features.toarray())



[[0 1 1 0 1 0 0 0 0]

 [1 0 1 1 0 0 0 0 0]

 [0 0 1 0 1 1 1 0 0]

 [1 0 1 0 0 0 0 1 1]]

藉由pandas進行表格呈現

import pandas as pd

df = pd.DataFrame(features.toarray(), columns=feature_names)

df

繪製詞頻圖

import matplotlib.pyplot as plt

# 計算每個詞彙在所有句子中的總頻率

word_frequencies = features.sum(axis=0).A1



# 建立圖形

plt.figure(figsize=(10, 6))

plt.bar(range(len(feature_names)), word_frequencies)

plt.xticks(range(len(feature_names)), feature_names, rotation=45, fontsize=8)

plt.xlabel('詞彙')

plt.ylabel('頻率')

plt.title('詞彙頻率圖')



# 顯示圖形

plt.show()

結語