【資料分析】python機器學習-什麼是多重共線性? 多重共線性所引發問題與處理

多重共線性是指在迴歸模型中，兩個或多個自變數（特徵）之間存在高度線性相關的情況。當自變數之間有很強的線性關係時，這會導致模型難以準確估計每個變數對目標變數的獨立影響，從而使回歸係數不穩定，並且降低模型的解釋性和預測能力。

多重共線性的基本概念

多重共線性的定義

多重共線性是指在迴歸模型中，自變數之間存在高度的線性相關性。具體來說，如果自變數 X₁​ 和 X₂ 之間的相關性非常高，那麼可以認為它們存在多重共線性。當自變數之間的共線性非常強時，這些變數對迴歸模型的貢獻變得難以分離。

多重共線性產生的原因

1. 自變數之間存在強相關性

這是多重共線性最直接的原因。如果某些自變數之間具有很高的線性相關性，那麼這些變數就可能會影響模型的穩定性。當一個自變數可以被另一個或多個自變數近似表示時，這些變數之間就存在多重共線性。

2. 樣本數量不足

當樣本數量相對較小而自變數的數量較多時，模型更容易出現多重共線性。樣本數不足會導致模型無法準確估計每個自變數對因變數的貢獻，從而增加了自變數之間的共線性。

3. 虛擬變數陷阱（Dummy Variable Trap）

在使用虛擬變數（Dummy Variables）時，如果將所有類別變數的虛擬變數都放入模型中，這會導致共線性。因為不同類別的虛擬變數之間存在完全的相關性。例如，如果性別被分為兩個虛擬變數，Male 和 Female，其中一個變數可以完全由另一個變數表示，從而導致共線性。

4. 特徵工程錯誤

在進行特徵工程時，如果不小心創造了過多的相關變數（例如，從原始變數衍生出過多的相關特徵），這會增加自變數之間的共線性。例如，當兩個特徵是同一變量的不同表現形式（如百分比和總數）時，它們之間通常會有高度相關性。

5. 數據收集過程中的誤差

在數據收集中，如果某些變數的度量標準不一致或數據變異性不足，也會引起共線性問題。例如，當多個自變數來自於同一來源且測量不準確時，這些變數可能會顯示出強烈的相關性。

多重共線性的影響

1. 回歸係數的不穩定

當存在多重共線性時，迴歸模型的係數估計變得不穩定。自變數之間高度相關性會導致迴歸係數難以準確估計，甚至會出現異常大的正負值變化，這使得解釋模型中每個變數的單獨貢獻變得困難。

• 高方差：由於共線性，模型中每個係數的標準誤會增大，這表明模型無法穩定地估計這些係數。
• 係數的正負號變異：在多重共線性嚴重時，某些變數的迴歸係數的符號可能會與預期不符。例如，理論上應該是正影響的變數在模型中可能會表現為負影響。

2. 降低模型的解釋性

多重共線性會影響對每個變數的獨立解釋。由於自變數之間的高度相關性，模型無法準確分離每個變數對因變數的貢獻，這會使得模型的解釋變得模糊和不明確。

• 變數重要性難以分辨：當兩個變數高度相關時，模型無法區分它們中哪個對結果的影響更大。
• 模型的理論解釋受限：如果模型係數無法正確解釋，則可能難以從中得到有意義的結論，從而降低模型的實際應用價值。

3. 模型預測能力下降

多重共線性可能會影響模型在新數據上的預測能力。雖然多重共線性不一定會直接導致預測精度下降，但它可能會使模型在應對新的數據集時變得不穩定。

• 過擬合風險增加：如果存在多重共線性，模型可能會過度擬合訓練數據，這會導致在測試集或新數據上的預測能力下降。
• 模型的不穩定性：由於共線性，模型在不同數據集上的表現可能波動較大，使得模型的預測結果變得不穩定。

4. 顯著性檢驗不準確

由於多重共線性會使自變數之間的估計相互依賴，這會影響自變數的顯著性檢驗結果。當共線性嚴重時，某些變數的 ppp-值會變大，導致這些變數看似對模型無顯著貢獻，雖然實際上這些變數可能仍然重要。

多重共線性的識別方法

1. 相關矩陣

相關矩陣是一個用於顯示自變數之間兩兩相關性的表格。每個變數與其他變數的線性相關性（通常使用皮爾森相關係數）被計算出來，並顯示在矩陣中。相關係數的取值範圍是從 -1 到 1，具體解釋如下：

• 1 表示完全正相關，兩個變數隨著其中一個變數的增加而增加。
• 0 表示沒有線性相關性。
• -1 表示完全負相關，兩個變數隨著其中一個變數的增加而減少。

import matplotlib.pyplot as plt
import seaborn as sns

# 假設 df 是一個包含自變數的數據框
# 使用皮爾森相關係數來計算相關係數矩陣
correlation_matrix = df.corr()

# 繪製相關係數矩陣熱圖
plt.figure(figsize=(10, 6))
sns.heatmap(correlation_matrix,annot=True,cmap='coolwarm')
plt.title('Correlation Matrix')
plt.show()

從這個例子中可以看到，
total sulfur dioxide 和 free sulfur dioxide 之間的強正相關（0.67），
density 和 fixed acidity 之間的正相關（0.67），
pH 和 fixed acidity 之間的負相關（-0.68），
當兩個或多個自變數之間的相關係數接近 1 或 -1 時，這表明這些變數之間存在高度的共線性。如果相關性非常高，則可能需要對模型進行調整，因為這可能導致回歸模型中自變數係數估計的不穩定性。

相關矩陣優點

• 簡單直觀：

相關矩陣提供了一種簡單且易於解釋的方式來檢查變數之間的線性相關性。通過查看兩兩變數之間的相關係數，你可以快速找到高度相關的變數。

• 兩兩變數之間的相關性：

相關矩陣專注於兩兩變數之間的相關性，能夠直接顯示出變數之間是否有明顯的正相關或負相關，適合初步分析。

• 易於可視化：

相關矩陣可以很容易地用於繪製熱力圖（如 Seaborn 的 heatmap），幫助直觀地理解變數之間的相關性結構。

• 檢測正負相關性：

相關矩陣可以顯示變數之間是正相關還是負相關，這在解釋變數之間的關係時很有幫助。

相關矩陣缺點

• 只顯示兩兩變數之間的關係：

相關矩陣只能檢測兩個變數之間的相關性，無法揭示一個變數與多個變數的整體關係。這意味著它無法檢測多重共線性中的複雜線性依賴。

• 無法衡量多變量共線性：

多重共線性可能涉及多個變數的相互作用，而相關矩陣只能處理兩個變數之間的相關性，無法捕捉多變數之間的線性依賴性。

• 忽略非線性關係：

相關矩陣只能檢測線性相關性，對於非線性關係無法檢測。因此，變數之間可能存在非線性共線性，相關矩陣無法識別這些情況。

2. 方差膨脹因子（VIF）

方差膨脹因子（VIF, Variance Inflation Factor）是用來量化自變數之間多重共線性程度的指標。VIF 衡量一個變數是否能被其他變數線性解釋。具體來說，VIF 反映的是某個自變數在模型中的方差受其他自變數影響的程度。VIF 值越高，表示該變數的多重共線性問題越嚴重。

import pandas as pd
import numpy as np
from statsmodels.stats.outliers_influence import variance_inflation_factor
from statsmodels.tools.tools import add_constant

# 假設 df 是你的數據框，其中包含多個自變數
X = df.copy()

# 增加常數項（以便回歸模型有截距）
X = add_constant(X)

# 計算每個變數的 VIF
vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

print(vif_data)


"""
                 feature           VIF
0                  const  1.711696e+06
1          fixed acidity  7.772051e+00
2       volatile acidity  1.879663e+00
3            citric acid  3.131055e+00
4         residual sugar  1.703859e+00
5              chlorides  1.500591e+00
6    free sulfur dioxide  1.968010e+00
7   total sulfur dioxide  2.214467e+00
8                density  6.346491e+00
9                     pH  3.339511e+00
10             sulphates  1.487286e+00
11               alcohol  3.238899e+00
12               quality  1.563848e+00
"""

VIF 的數值反映了自變數之間的共線性程度。一般來說，VIF 的解釋標準如下：

• VIF = 1：該變數與其他變數沒有相關性（完全獨立）。
• 1 < VIF ≤ 5：該變數存在中等的多重共線性，但在模型中屬於可接受範圍。
• VIF > 5：該變數存在較強的多重共線性，建議進行進一步分析或處理。
• VIF > 10：共線性問題非常嚴重，這時應考慮刪除該變數或採取其他措施來減少共線性。

通過計算每個變數的 VIF，可以清楚地識別出哪些變數存在高度的共線性。如果一個變數的 VIF 值過高，應考慮移除該變數，或通過其他技術（如主成分分析或正則化）來處理多重共線性。

VIF 優點：

• 衡量變數與多個變數的整體共線性：

VIF 是針對每個變數進行的多重回歸分析，衡量一個變數與所有其他變數的線性依賴程度。因此，它可以檢測變數之間的多變量共線性，這是相關矩陣無法做到的。

• 量化多重共線性程度：

VIF 提供了具體的數值來量化多重共線性的嚴重程度。你可以根據 VIF 值來判斷某個變數是否可能導致模型中的共線性問題（通常超過 5 或 10 的 VIF 值需要注意）。

• 捕捉複雜的共線性關係：

由於 VIF 是基於一個變數與其他所有變數的回歸，它能夠捕捉涉及多個變數的複雜共線性關係，而不僅僅是兩個變數之間的相關性。

• 可以應對多變數組合問題：

VIF 可以揭示那些難以在相關矩陣中發現的共線性問題，特別是在多個變數之間有重疊信息時。

VIF 缺點：

• 無法檢測兩兩變數之間的相關性：

VIF 測試的是某個變數與其他所有變數的線性組合關係，而不是檢測兩個變數之間的簡單相關性。因此，如果你關注兩個變數之間的高度相關性，VIF 無法提供這方面的直接信息。

• 無法識別正負相關性：

VIF 只給出一個整體共線性程度的指標，但它不會告訴你變數之間是正相關還是負相關。相比之下，相關矩陣可以顯示變數之間的正負相關性。

• 計算成本相對較高：

對於每個變數，VIF 都需要進行多重回歸計算，這在變數數量較大時可能會增加計算負擔。相比之下，相關矩陣的計算成本相對較低。

• 無法應對非線性共線性：

和相關矩陣一樣，VIF 只能檢測線性共線性。它無法捕捉非線性的依賴關係。

3. 相關矩陣呈現明顯相關但VIF測試沒有顯示出問題

我們有時候會遇到使用相關矩陣，發現有兩個變數有很明顯的關聯，但是在使用VIF測試時沒有顯示出多重共線性問題，原因是因為VIF 測試不僅考慮兩者變數之間的相關性，還考慮了所有變數之間的影響，若有兩個變數之間的相關矩陣分析呈現明顯有關聯，但它們都不能被其他變數的線性組合很好地解釋，那麼它們的 VIF 值就不會很高。
即使 VIF 沒有顯示出共線性問題，這兩個變數可能仍然攜帶冗餘信息。在這種情況下，可以考慮進行特徵選擇或降維處理（如主成分分析，PCA）來減少冗餘信息。
我們可以將 相關矩陣 與 VIF 測試結合使用，這樣可以更好地理解變數之間的相關性及其對模型穩定性的影響。

解決多重共線性的方法

1. 刪除或合併相關變數

刪除或合併那些具有高度相關性的變數是最直接解決多重共線性的方式。當多個變數之間具有高度的相關性時，這些變數可能攜帶相似的冗餘信息。刪除其中一個變數或合併它們可以幫助減少多重共線性。

如何實施：

• 刪除變數：
• • 如果發現兩個或多個變數具有很高的相關性（通常相關係數大於 0.7 或 0.8），可以選擇刪除其中一個變數。
  • 刪除變數的標準通常依賴於變數的重要性分析（如特徵重要性、信息增益等）。你可以刪除對模型預測貢獻較小的變數。
• 合併變數：
• • 如果變數之間具有相似的含義或信息，並且它們是線性相關的，可以考慮合併變數。例如，將類似性質的變數通過平均值、加權平均或某些計算合併成一個新的變數。
  • 另一個合併方式是通過指數或比率來合併相關變數。

刪除或合併相關變數優點：

• 方法簡單，容易實施。
• 能夠快速消除冗餘的變數，簡化模型結構。

刪除或合併相關變數缺點：

• 刪除變數可能會丟失部分有用的信息，從而導致模型精度下降。
• 合併變數時，可能會導致信息損失，因為合併後的變數可能無法完全保留每個變數原本的特徵。

刪除或合併相關變數適用場景：

• 當兩個或多個變數高度相關且彼此之間的影響難以區分時，刪除或合併變數是適合的選擇。
• 適用於希望保持模型簡潔的情況。

2. 正則化（Lasso, Ridge）

正則化是一種在模型中添加懲罰項來減少模型複雜度的技術。它可以有效地減少多重共線性問題，因為它能縮小變數的係數，使得高度相關的變數對模型的影響變得更小。常見的正則化方法有 Lasso 回歸 和 Ridge 回歸。

正則化的使用方法以及介紹可以參考以下：

【資料分析】python機器學習-Overfitting的判斷與處理

正則化優點：

• 可以有效減少多重共線性對模型的影響，提升模型的穩定性。
• Lasso 回歸具有自動選擇變數的功能，這可以在保留最重要變數的同時減少冗餘變數。

正則化缺點：

• Ridge 回歸無法完全去除無用變數，它只會縮小它們的影響，而不是完全消除。
• Lasso 回歸可能在某些數據集中忽略掉部分重要變數，特別是在變數數量多且某些變數之間關聯性較強時。

正則化適用場景：

• 當模型中存在多個自變數，且你不想刪除任何變數但希望減少多重共線性時，Ridge 是一個好的選擇。
• 當你希望同時解決多重共線性並進行變數選擇時，Lasso 是更好的選擇。

3. 主成分分析（PCA）

主成分分析（PCA，Principal Component Analysis）是一種降維技術，通過將原始的高維數據轉換為一組新的互相不相關的主成分來解決多重共線性問題。這些主成分是由原始變數的線性組合形成的，但它們是正交的，因此沒有共線性問題。

如何實施：

• PCA 將原始變數轉換為一組新的變數，這些變數（主成分）是互相獨立的，並且保留了數據中最多的信息。
• 第一主成分解釋了數據中最多的變異性，第二主成分解釋了剩餘變異性，依此類推。你可以選擇較少的主成分來替代原始變數進行建模，從而減少多重共線性。

PCA的使用方法以及介紹可以參考以下：

【資料分析】python資料處理-特徵工程的使用時機與基礎操作語法彙整

PCA 優點：

• 可以消除自變數之間的共線性，因為主成分是相互獨立的。
• 能夠有效降維，保留最重要的信息，從而提高模型效率。

PCA 缺點：

• 主成分的變數解釋性較差，因為它們是原始變數的線性組合，因此很難直接解釋每個主成分的具體含義。
• 當你對變數的解釋性有較高要求時，PCA 可能不是最好的選擇，因為它犧牲了解釋性來解決共線性問題。

PCA 適用場景：

• 當你需要處理高維數據集，且多個變數之間存在共線性時，PCA 是一種有效的降維工具。
• 適用於你希望減少共線性同時保留數據中的大部分信息的情況。

4. 增加樣本數

增加樣本數是解決多重共線性的一種方法，因為當樣本數較少且變數數量較多時，多重共線性更容易發生。通過增加樣本數，可以幫助模型更準確地估計每個變數的影響，從而減少變數之間的相關性。

如何實施：

• 增加樣本數可以通過收集更多的數據來實現。如果你有更多的觀測數據可用，將它們加入到你的模型中會有助於緩解多重共線性。
• 如果數據獲取受限，可能需要考慮通過數據