*本文章為參考李弘毅2021年機器學習課程後的筆記。



在訓練模型的時候，常常會遇到訓練上的問題，像是Loss值太大，或是Test出來的結果不如預期，但我們又不知道模型中到底發生了甚麼事，就跟黑盒子一樣。

因此，感謝李弘毅教授傳授了一套SOP來幫助我們判斷模型是哪裡出了問題，應該要怎麼解決!!

學習

職場

親子與教育

以行動支持創作者！付費即可解鎖

軟體開發

dab戴伯的沙龍

機器學習模型訓練問題及解決策略

本文介紹自我監督學習的概念和訓練方式，以BERT和GPT為例，深入探討Masking Input及Fine-Tune的實際操作和可應用性。

科技

BERT與GPT: 自監督學習的大型模型

這篇文章探討了生成式對抗網路中機率分佈的使用與相關的訓練方式，包括Generator不同的點、Distriminator的訓練過程、生成圖片的條件設定等。此外，也提到了GAN訓練的困難與解決方式以及不同的learning方式。文章內容豐富且詳細，涵蓋了GAN的各個相關面向。

生成式對抗網路GAN

本文介紹了Transformer中的Encoder Decoder與Cross Attention的運作方式以及的應用。涉及self-attention、autoRegressive Decoder、Non-AutoRegressive Decoder、Cross Attention等概念。

投資理財

Transformer中的Encoder Decoder與Cross Attention介紹

本文介紹了self-attention在處理不固定大小輸入值時的應用，並討論瞭如何計算self-attention以及transformer中的multi-head self-attention。此外，文章還探討了在語音辨識和圖片處理中使用self-attention的方法，以及與CNN的比較。

深度學習中的self-attention機制

卷積神經網路（CNN）是一種專門用於影像相關應用的神經網路。本文介紹了CNN在影像辨識中的應用，包括圖片的組成、Receptive Field、Parameter Sharing、以及Pooling等技術。通過本文，讀者將瞭解CNN在影像辨識領域的優勢和運作原理。

音樂藝文

卷積神經網路(CNN)在影像辨識中的應用

本文介紹了在深度學習中使用Batch Normalization來解決error surface複雜性的問題。通過特徵歸一化來加速收斂速度和訓練順利程度。同時，也提到了在測試階段使用moving average計算平均值和標準差的方法。

類神經網路訓練 批次標準化 (Batch Normalization) 

瞭解如何透過Regression實作Classification，使用one-hot vector表示不同的類別，並透過乘上不同的Weight和加上不同的bias來得到三個數值形成向量。同時通過softmax的方式得到最終的y'值，並探討使用Cross-entropy來計算類別的loss。

類神經網路訓練 訓練機器分類與Cross-entropy

瞭解梯度下降算法中的學習速率調整，包括為什麼需要動態的學習速率、Root Mean Square、RMSProp、最常用的optimization策略Adam，以及如何進行Learning rate Scheduling。

深度學習優化中的動態學習率

本文將介紹batch的定義與其在機器學習中的作用，以及不同batch size 的影響。同時也會講解Momentum動量在機器學習中的重要性。透過本文，您將清楚地瞭解batch、batch size和Momentum動量的概念以及其對機器學習的影響。