====================================================
●神經網絡綱要
●常見的深度學習演算法及架構 :
1.卷積神經網路 (CNN)2.循環神經網路 (RNN)
3.生成對抗網路 (GAN)
4.Transformer - 編碼器-解碼器架構
===================================================
●卷積神經網路（CNN）
CNN 是專門用於處理具有網格狀拓撲結構的資料（例如影像）的深度神經網路。 CNN 無需人工監督即可自動偵測重要特徵。它們由卷積層、池化層和全連接層組成。 CNN 中的各層對輸入應用卷積運算，並將結果傳遞到下一層。此過程有助於網路檢測特徵。池化層透過組合神經元簇的輸出來降低資料維度。最後，全連接層計算類別得分，從而實現影像分類。 CNN 在影像辨識與分類以及物體偵測等任務中取得了顯著成功。
CNN的主要組成部分：
- 卷積層：這是 CNN 的核心構建塊。卷積層對輸入套用多個濾波器。每個濾波器都會啟動輸入中的某些特徵，例如影像的邊緣。此過程對於特徵檢測和提取至關重要。
- ReLU 層：每次卷積運算之後，應用 ReLU（整流線性單元）層將非線性引入模型，使其能夠學習更複雜的模式。
- 池化層：池化（通常是最大池化）減少了表示的空間大小，減少了參數和計算的數量，從而控制了過度擬合。
- 全連接 (FC) 層：在網路末端，FC 層將學習到的特徵對應到最終輸出，例如分類任務中的類別。
●循環神經網路（RNN）
RNN 旨在識別資料序列中的模式，例如文字、基因組、手寫內容或口語詞彙。與傳統神經網路不同，RNN 會保留狀態，使其能夠吸收先前輸入的資訊來影響當前輸出。這使得它們非常適合序列數據，因為數據點的上下文和順序至關重要。然而，RNN 存在梯度衰減和梯度爆炸問題，導致其在學習長期依賴關係方面的效率較低。長短期記憶網路 (LSTM) 和門控循環單元 (GRU) 網路是解決這些問題的常用變體，在語言建模、語音辨識和時間序列預測等任務上提供了更佳的效能。
RNN 的主要組成部分：
- 輸入層：將序列資料作為輸入，一次處理一個序列元素。
- 隱藏層： RNN 中的隱藏層按順序處理數據，並維持一個隱藏狀態，該狀態捕獲序列中先前元素的資訊。隨著網路處理序列中的每個元素，此狀態都會更新。
- 輸出層：輸出層根據輸入和循環更新的隱藏狀態為每個輸入產生一個序列或值。
●生成對抗網路（GAN）
GAN 是一類用於無監督機器學習的創新人工智慧演算法，由兩個在零和博弈框架下相互競爭的神經網路實現。這種設定使 GAN 能夠產生與訓練集具有相同統計資料的新資料。例如，它們可以產生在人類觀察者看來真實的照片。 GAN 主要由兩部分組成：產生資料的產生器和評估資料的鑑別器。它們的應用範圍廣泛，包括圖像生成、逼真的圖像修改、藝術創作，甚至生成逼真的人臉。
【TIPS】生成對抗網路原理 https://iaic.nccu.edu.tw/column-articles/30
GAN的主要組成部分：
- 生成器：生成器網路以隨機雜訊作為輸入，並產生與訓練資料相似的資料（例如影像）。生成器的目標是產生與鑑別器無法區分的資料。
- 鑑別器：鑑別器網路將真實資料和產生的資料作為輸入，並嘗試區分兩者。鑑別器經過訓練，可以提高其偵測真實資料和產生資料的準確性；而生成器則經過訓練，可以欺騙鑑別器。
=================================================
●Transformer
Transformer 是一種神經網路架構，已成為自然語言處理 (NLP) 領域最新進展的基礎。 Vaswani 等人在論文《Attention is All You Need》中首次介紹了它。 Transformer 與 RNN 和 CNN 的不同之處在於，它避免了循環，並並行處理數據，從而顯著縮短了訓練時間。它利用注意力機制來衡量不同詞彙之間的相互影響。 Transformer 無需順序處理即可處理資料序列，這使得它們在各種 NLP 任務中都非常有效，包括翻譯、文字摘要和情緒分析。
Transformer的主要部件：
- 注意力機制： Transformer 的關鍵創新在於注意力機制，它允許模型對輸入資料的不同部分進行加權。這對於理解數據中的上下文和關係至關重要。
- 編碼器層：編碼器並行處理輸入數據，將自註意力和位置完全連接層應用於每個輸入部分。
- 解碼器層：解碼器使用編碼器的輸出和輸入來產生最終輸出。它也應用自註意力機制，但會阻止當前位置關注下一個位置，以維持因果關係。
編碼器-解碼器架構
編碼器-解碼器架構是一類廣泛的模型，主要用於將輸入資料轉換為不同形式或結構的輸出資料的任務，例如機器翻譯或摘要。編碼器處理輸入資料以形成上下文，然後解碼器使用該上下文產生輸出。這種架構在基於 RNN 和基於 Transformer 的模型中都很常見。注意力機制，尤其是在 Transformer 模型中，顯著提升了編碼器-解碼器架構的效能，使其在各種序列到序列任務中都非常有效。
編碼器-解碼器架構的主要組成部分：
- 編碼器：編碼器處理輸入數據，並將資訊壓縮成上下文或狀態。該狀態應該捕捉輸入資料的本質，解碼器將使用該本質來產生輸出。
- 解碼器：解碼器從編碼器獲取上下文並產生輸出資料。對於像翻譯這樣的任務，輸出是連續的，解碼器一次產生一個元素，並使用上下文和迄今為止產生的內容來決定下一個元素。
●結論
讓我們根據這些架構的主要用例、優點和限制來比較它們。
比較表
每種深度學習架構都有其優點和應用領域。 CNN 擅長處理影像等網格狀資料；RNN 在處理序列資料方面擁有無與倫比的能力；GAN 在產生新資料樣本方面擁有卓越的能力；Transformer 正以其效率和可擴展性重塑自然語言處理 (NLP) 領域；而編碼器-解碼器架構則提供了將輸入資料轉換為不同輸出格式的多功能解決方案。架構的選擇很大程度上取決於當前任務的特定要求，包括輸入資料的性質、期望的輸出以及可用的運算資源。
【TIPS】LLM (Large Language Model) 大型語言模型
意思是一種利用大量文本資料訓練出來的人工智慧模型，能夠生成文字、翻譯語言、撰寫不同種類的創意內容，並且用接近人類的口吻來回應問題。
採用卷積神經網路 (CNN)、循環神經網路 (RNN)、生成對抗網路 (GAN)、Transformer 和編碼器-解碼器架構構成LLM。
【TIPS】以CNN模型研究預測半導體股票為例
https://ir.nptu.edu.tw/bitstream/987654321/21421/1/110NPTU0507007-001.pdf
【視頻】一小時從函數到Transformer
【視頻】8分鐘帶你走進神經網絡模型、機器學習的世界
【視頻】股價預測AI實作，Python程式碼逐行解說，實測結果大公開
