【資料分析】簡單高效的機器學習模型 Naive Bayes

更新於 2024/12/25發佈於 2024/12/25閱讀時間約 11 分鐘

Naive Bayes（中譯為樸素貝葉斯、簡單貝葉斯或是簡單貝氏模型等）是一種基於貝葉斯定理的機器學習分類演算法，廣泛應用於文本分類、垃圾郵件檢測、情感分析等任務。它被稱為「Naive」（樸素），因為它假設所有特徵之間是相互獨立的，這在現實情況下很少成立，但這種簡化使模型計算更高效，並且在實踐中往往效果良好。

Naive Bayes 可以同時接受離散型變數和連續型變數。透過計算，我們可以知道在已知的資料下哪個目標的發生機率最大，由此去做分類。

# 可使用目錄功能快速確認要閱覽的主題

Naive Bayes 的優勢與劣勢

Naive Bayes 的優勢

計算高效

Naive Bayes 的核心是基於貝葉斯定理和特徵條件獨立性假設。
在訓練過程中，只需計算每個特徵與標籤的條件概率，這大大降低了計算複雜度。
即使在高維度數據下（例如文本分類中的詞頻矩陣），Naive Bayes 也能快速完成訓練和預測。

小數據集也能穩定運作

許多機器學習模型在數據不足時會過度擬合或無法有效訓練。
Naive Bayes 由於其簡單的概率計算，即使在小樣本下，也能獲得穩定的結果。

適合高維度特徵空間

在文本分類等場景中，數據特徵（如詞彙量）可能非常高維，但 Naive Bayes 能很好地處理這種情況，因為每個特徵被獨立考慮。

易於實現與解釋

演算法簡單，易於實現。
結果可以被清晰解釋，尤其在概率輸出上直觀易懂。

Naive Bayes 的劣勢

1. 特徵條件獨立性假設

Naive Bayes 假設所有特徵在給定標籤的條件下都是相互獨立的。
在現實數據中，特徵往往存在相關性（例如：在信用卡欺詐檢測中，「交易金額」與「交易頻率」可能密切相關）。
當特徵之間存在高度相關性時，Naive Bayes 的預測結果可能會偏差，導致準確性下降。

2. 無法捕捉複雜的非線性關係

Naive Bayes 模型是基於簡單的概率計算，無法捕捉特徵與標籤之間的非線性關係。
例如，在複雜的圖片分類或語音識別任務中，Naive Bayes 的表現遠不如深度學習模型。

機率估計不準確

當某些類別或特徵組合在訓練數據中很少出現時，Naive Bayes 可能無法給出準確的概率估計（稱為零概率問題，可以使用拉普拉斯平滑來解決）。

4. 特徵數據類型限制

Naive Bayes 在處理數值型特徵時，通常需要將它們轉換為離散化或假設它們符合某種分佈（如高斯分佈）。
如果數據不符合這些分佈假設，預測效果將會降低。

Naive Bayes vs 其它模型快速比較

Naive Bayes 的核心運作邏輯

1. 核心理論基礎：貝葉斯定理

貝葉斯定理描述了給定某些證據下，一個事件發生的條件機率，公式如下：

P(Y|X)：在已知證據 X 下，事件 Y 發生的機率（後驗機率）
P(X|Y)：在 Y 發生的情況下，證據 X 出現的機率（似然機率）
P(Y)：事件 Y 發生的先驗機率
P(X)：證據 X 出現的機率（標準化常數）

2. 條件獨立性假設

Naive Bayes 的「Naive」（天真）指的是它假設所有特徵是條件獨立的，即在給定標籤 Y 的條件下，各個特徵 X_{1 ,}X_{2 , ... ,}X_n之間互相獨立：

這個假設簡化了計算，使得模型在處理高維度數據時能夠保持高效。

3. 計算後驗機率並分類

目標是計算每個類別 Y 的後驗機率 P(Y|X)，並選擇機率最大的類別作為預測結果：

P(Y)：每個類別的先驗機率，可以從訓練數據中計算。
P(X_i | Y)：在每個類別 Y 下，每個特徵 X_i 的條件機率。

最終步驟：選擇後驗機率最高的類別作為預測結果。

4. 三種常見 Naive Bayes 模型

4-1 Gaussian Naive Bayes（高斯 Naive Bayes）

適合連續數值特徵，假設特徵符合高斯分佈。

4-2 Multinomial Naive Bayes（多項式 Naive Bayes）

適合文本分類，例如垃圾郵件檢測。

4-3 Bernoulli Naive Bayes（伯努利 Naive Bayes）

適合二元特徵，例如詞語是否出現（0/1 表示）。

5. 範例

假設我們要根據天氣和溫度預測是否適合外出。

步驟：

計算先驗機率：

P(適合外出 = 是) = 2/3
P(適合外出 = 否) = 1/3

計算條件機率：

P(天氣 = 晴天|適合外出 = 是) = 1
P(天氣 = 雨天|適合外出 = 是) = 0
P(溫度 = 熱|適合外出 = 是) = 0.5

使用貝葉斯定理預測新數據(例如：天氣 = 晴天，溫度 = 冷)

P(適合外出 = 是|天氣 = 晴天，溫度 = 冷) = P(晴天|是) • P(冷|是) • P(是)

比較不同類別的後驗機率，選擇最大者作為預測結果。

Naive Bayes 的實際應用範例

範例一：垃圾郵件分類（文本分類問題）

目標：使用 Naive Bayes 分類器區分垃圾郵件和正常郵件。

步驟：

導入必要的函式庫
加載範例數據
特徵提取（CountVectorizer / TfidfVectorizer）
使用 Naive Bayes 訓練模型
評估模型性能

程式碼：

# 1. 導入所需函式庫
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score, classification_report

# 2. 範例數據集
emails = [
    'Win a free iPhone now',  # 垃圾郵件
    'Limited offer! Claim your prize',  # 垃圾郵件
    'Meeting scheduled for tomorrow',  # 正常郵件
    'Project deadline is next week',  # 正常郵件
    'Congratulations! You won a lottery'  # 垃圾郵件
]
labels = [1, 1, 0, 0, 1]  # 1: 垃圾郵件, 0: 正常郵件

# 3. 特徵提取
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(emails)
y = labels

# 4. 切分數據集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 訓練 Naive Bayes 模型
model = MultinomialNB()
model.fit(X_train, y_train)

# 6. 預測
y_pred = model.predict(X_test)

# 7. 評估模型
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Classification Report:\n", classification_report(y_test, y_pred))

解釋：

CountVectorizer：將文本轉換為詞頻矩陣。
MultinomialNB：適合用於文本分類問題。
評估結果：透過準確率和分類報告檢查模型表現。

範例二：鳶尾花分類（Iris Dataset - 數值型特徵）

目標：使用 Gaussian Naive Bayes 將鳶尾花分類為三種不同的花種。

步驟：

導入資料集
數據切分
模型訓練
模型預測與評估

程式碼：

# 1. 導入所需函式庫
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, confusion_matrix

# 2. 載入鳶尾花資料集
data = load_iris()
X = data.data
y = data.target

# 3. 分割訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 4. 訓練 Gaussian Naive Bayes 模型
model = GaussianNB()
model.fit(X_train, y_train)

# 5. 預測
y_pred = model.predict(X_test)

# 6. 評估
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))