欠擬合與過擬合

閱讀時間約 1 分鐘

Underfitting(欠擬合)

可能原因:

模型選擇過於簡單,表現力不足(如線性模型處理高度非線性問題)。

模型表現不足,無法捕捉數據中的模式或規律。

通常是因為模型過於簡單(如使用太少的參數或低容量模型)或訓練時間不足。

Overfitting(過擬合)

可能原因:

模型過於複雜(如過深的神經網絡或多項式次數過高)。

訓練數據量不足,導致模型對少量數據過度擬合。

缺乏正則化機制(如L1、L2正則化)。 

raw-image


avatar-img
0會員
33內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Princend的沙龍 的其他內容
偏差 (Bias) 1️⃣偏差是模型對訓練資料的擬合能力,與模型的複雜度相關。 2️⃣偏差高的模型通常過於簡單,無法很好地擬合資料(即「欠擬合」)。 變異 (Variance) 1️⃣變異是模型對不同訓練資料的敏感程度。 2️⃣變異高的模型通常過於複雜,容易過度擬合資料(即「過擬
交叉熵(Cross-Entropy)是一種用於評估模型預測與真實標籤之間差異的損失函數,常見於分類任務。 其核心是衡量預測分佈與目標分佈的相似程度,數值越小代表預測越準確。 當模型的預測與真實標籤完全不符 , y hat趨近 0 時 ,log(y hat) 會趨近負無窮,導致交叉熵損失非常大。
正規化(Regularization)是機器學習中用來防止模型過擬合的重要技術。 1️⃣L1 正規化(LASSO):加總參數絕對值,鼓勵稀疏性,適合特徵選擇。 2️⃣L2 正規化(Ridge):加總參數平方值,抑制大參數,提升穩定性。 甚至還有混合體 Elastic Net (L1+L2)
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
MAE(Mean Absolute Error) 平均絕對誤差 又被稱為 L1 損失 常被用於 評估迴歸模型的準確性 對異常值穩定性比較好 數值越低代表模型越好
偏差 (Bias) 1️⃣偏差是模型對訓練資料的擬合能力,與模型的複雜度相關。 2️⃣偏差高的模型通常過於簡單,無法很好地擬合資料(即「欠擬合」)。 變異 (Variance) 1️⃣變異是模型對不同訓練資料的敏感程度。 2️⃣變異高的模型通常過於複雜,容易過度擬合資料(即「過擬
交叉熵(Cross-Entropy)是一種用於評估模型預測與真實標籤之間差異的損失函數,常見於分類任務。 其核心是衡量預測分佈與目標分佈的相似程度,數值越小代表預測越準確。 當模型的預測與真實標籤完全不符 , y hat趨近 0 時 ,log(y hat) 會趨近負無窮,導致交叉熵損失非常大。
正規化(Regularization)是機器學習中用來防止模型過擬合的重要技術。 1️⃣L1 正規化(LASSO):加總參數絕對值,鼓勵稀疏性,適合特徵選擇。 2️⃣L2 正規化(Ridge):加總參數平方值,抑制大參數,提升穩定性。 甚至還有混合體 Elastic Net (L1+L2)
Softmax 函數主要用於多分類問題,將輸出層的原始分數(logits)轉換為機率分佈。每個輸出的機率範圍在 0 到 1 之間,且所有輸出機率的總和為 1。 它的步驟包括: 1️⃣將每個輸出取指數化,放大差異。 2️⃣計算所有輸出的指數和(正規化因子)。 3️⃣ 將每個輸出的指數值除以
MSE vs. MAE 差異比較 MSE(均方誤差): 1️⃣ 對大誤差更敏感(平方放大效果)。 2️⃣ 更適合需要懲罰大誤差的應用,如醫療預測。 3️⃣ 單位是數據單位的平方,解釋性稍差。 MAE(平均絕對誤差): 1️⃣ 對大誤差不敏感,對異常值更穩健。 2️⃣ 單位與原始數據相同
MAE(Mean Absolute Error) 平均絕對誤差 又被稱為 L1 損失 常被用於 評估迴歸模型的準確性 對異常值穩定性比較好 數值越低代表模型越好
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
前言 讀了許多理論,是時候實際動手做做看了,以下是我的模型訓練初體驗,有點糟就是了XD。 正文 def conv(filters, kernel_size, strides=1): return Conv2D(filters, kernel_size,
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
Thumbnail
  最近遇到一些人想做音訊的合成,我回答他或許可以從圖像風格轉換中找到些靈感,我才突然想起我對於這部分的認知只止於知道他能做什麼及結果大概如何,對於內部訓練邏輯及結構並沒有認真的去了解,現在剛好趁此機會好好的學習一下。
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
[OpenCV應用][Python]找出圖像中的四個方位的邊緣點求出寬高 呈上篇應用Numpy找到的座標點,那我們如何捨棄掉差異過大的座標點呢? 可能圖像物件邊緣不佳,採樣就會差異過大,造成計算出的寬高是不準確的。 遇到這種狀況,就可以使用下方的程式範例來篩選座標點。 為求方便,此範例跟圖
Thumbnail
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
前言 讀了許多理論,是時候實際動手做做看了,以下是我的模型訓練初體驗,有點糟就是了XD。 正文 def conv(filters, kernel_size, strides=1): return Conv2D(filters, kernel_size,
Thumbnail
GNN發展背景 傳統的深度學習模型如在計算機視覺(CV)和自然語言處理(NLP)領域中極為成功,主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構,例如影像是由有序的像素點組成。然而,在真實世界中,許多數據是非結構化的,如化合物結構(原子和分子)。這些數據雖然具有一定的規則性,
Thumbnail
這是什麼大問題嗎?這樣就寫一篇文章,會不會太混了! 會! 其實蠻混的! 哈哈哈! 1.英文不好,乾脆用中文。就用微軟 Copilot 設計工具 的網址在此。好啦!
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
Thumbnail
  最近遇到一些人想做音訊的合成,我回答他或許可以從圖像風格轉換中找到些靈感,我才突然想起我對於這部分的認知只止於知道他能做什麼及結果大概如何,對於內部訓練邏輯及結構並沒有認真的去了解,現在剛好趁此機會好好的學習一下。
Thumbnail
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
[OpenCV應用][Python]找出圖像中的四個方位的邊緣點求出寬高 呈上篇應用Numpy找到的座標點,那我們如何捨棄掉差異過大的座標點呢? 可能圖像物件邊緣不佳,採樣就會差異過大,造成計算出的寬高是不準確的。 遇到這種狀況,就可以使用下方的程式範例來篩選座標點。 為求方便,此範例跟圖
Thumbnail
文字生成圖片的擴散生成模型,實際應用上並沒有想像中好用,原因在於,文字能夠乘載的訊息量太少,要產生好的生成結果一定程度仰賴特定的Prompt描述方法,如DALL-E3使用GPT4不斷增加描述的細節,讓文生圖的結果更好,有沒有更有效率的方式呢?