權重
含有「權重」共 84 篇內容
全部內容
發佈日期由新至舊
模型太複雜，學太多反而適得其反？本篇「模型正則化」幫你搞懂 L1（Lasso）與 L2（Ridge）如何懲罰過度學習，讓模型學會聚焦關鍵、避免過擬合！透過圖像化解析與 Python 示範，直觀比較兩種正則化的差異與應用情境，還補充 Elastic Net 的綜合優勢。
這篇文章是作者期末考的課堂筆記，內容整理自國立成功大學電機工程學系「人工智慧晶片設計與應用」課程的第一講，並加以補充說明。文章從機器學習的基本概念開始，逐步深入探討線性回歸、資料集分割、監督式學習、非監督式學習、強化學習、模型評估、泛化誤差、過擬合與欠擬合、正則化以及 ReLU 函數等重要議題。
條件隨機場（Conditional Random Field，CRF）是一種判別的式機率模型，常用於序列標籤（Sequence Labeling）和格式化預測（Structured Prediction）任務中。它可以用於預測序列中每個元素的標籤，同時考慮到相鄰元素之間的依賴關係。
核心概念：
貝葉斯回歸以機率分佈估計權重，即使樣本少、噪聲大也能穩健預測，並提供參數與結果的不確定性量化；若你想在醫療、金融等高風險場景掌握「可信度」而不僅是點估計，Bayesian Regression 是低樣本、高信賴的最佳選擇。
正則化回歸在損失函數中加入懲罰項，抑制權重過大，避免模型記憶訓練噪聲而過擬合。Ridge (L2) 收縮所有係數；Lasso (L1) 可將部分係數壓成 0，兼具特徵選擇；ElasticNet 結合 L1 與 L2，兼顧去除冗餘與穩定性，特別適合高維且具共線性的資料。
優化器 (Optimizer) 是機器學習，尤其是深度學習中一個至關重要的組件。它的主要作用是根據損失函數 (Loss Function) 的輸出和模型的梯度信息，來調整模型中可學習的參數（例如神經網路的權重和偏置），從而最小化損失函數，使模型的預測結果更接近真實標籤。
核心功能：
接收梯度信息
過擬合 (Overfitting) 是指在機器學習模型的訓練過程中，模型過於完美地擬合了訓練數據的細節和雜訊，以至於在面對新的、未見過的數據時表現很差的現象。換句話說，模型在訓練集上表現出色，但在測試集或真實應用場景中的泛化能力很弱。
為什麼會發生過擬合？
過擬合通常在以下情況下更容易發生：
遷移學習 (Transfer Learning) 是一種機器學習技術，旨在將在一個任務上學習到的知識遷移到另一個相關但不同的任務上。這種方法尤其在目標任務的數據量有限時非常有用，因為它可以利用在一個擁有大量數據的源任務上預先訓練好的模型所學到的通用特徵。
核心思想：
遷移學習的核心思想是，如果在
模型壓縮與加速是為了讓已經訓練好的深度學習模型在資源受限的環境中（例如：手機、嵌入式設備、邊緣計算設備）能夠更高效地運行而採取的一系列技術和方法。這些技術旨在減小模型的大小、降低計算複雜度，並加快模型的推理速度，同時盡可能地保持模型的準確性。
為什麼需要模型壓縮與加速？
資源限制: 許多應用場景
「批次標準化 (BN - Batch Normalization)」是一種在深度學習中廣泛使用的技術，特別是在訓練非常深的網路（例如 CNN）時，用於提高模型的性能和穩定性。它通過標準化（即將數據調整為具有零均值和單位方差）網路中每一層的輸入來實現這一點。
你可以將批次標準化想像成在每一層神經元接