4. 實做 捲積式神經網路
不太確定捲積式神經網路 (CNN) 的精確定義，但大致上是用捲積層 (convolution layer) 取代 DNN 中的幾個全連接層 (fully connected layer)，這些捲積層概念跟 feature filter 類似。
先大概有個概念就夠，實作時跟前一篇 DNN 一樣，這些 layer 都像是公版，所以 PyTorch 都有提供，可以直接用，每一層 input, output 大小有對好就可以。
至於第 12 行， fc layer 的 input 長度 9024 是怎麼算的？不好解釋，隨便填個數字也可以，但執行的時候程式會報錯，印象中 error log 會告訴我們要填 9024。
關於參數量：
MyDNN: 446,637,012
MyCNN: 670,572
CNN省記憶體，省能源，跑得快，準確度高，跟某車廠說小改款的車型，馬力更大卻更省油一樣唬爛。
系列文整理：
0. 從零開始，打造第一個 AI 模型 (序言)
1. 環境設定
2. 準備資料集
3. 實做 全連接神經網路 (參數較多)
4. 實做 捲積式神經網路 (參數較少)
5. 訓練、匯出模型
6. 載入、使用模型
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。
示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
延續上一篇訓練GAM模型，這次我們讓神經網路更多層更複雜一點，來看訓練生成的圖片是否效果會更好。
[深度學習][Python]訓練MLP的GAN模型來生成圖片_訓練篇
資料集分割處理的部分在延續上篇文章，從第五點開始後修改即可，前面都一樣
訓練過程，比較圖
是不是CNN的效果比MLP還要好，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
原始 Transformer 架構的 Transduction Process 使用編碼器堆疊、解碼器堆疊而用所有模型參數來表示參考序列，我們將該輸出序列稱為參考。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
首先先展示 Transformer 的架構圖：
可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。
本文主要介紹神經網路訓練辨識的過程，利用fashion_mnist及簡單的神經網路來進行分類。
使用只有兩層的神經網路來訓練辨識fashion_mnist資料。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
本文參考TensorFlow官網Deep Convolutional Generative Adversarial Network的程式碼來加以實作說明。
示範如何使用深度卷積生成對抗網路(DCGAN) 生成手寫數位影像。
延續上一篇訓練GAM模型，這次我們讓神經網路更多層更複雜一點，來看訓練生成的圖片是否效果會更好。
[深度學習][Python]訓練MLP的GAN模型來生成圖片_訓練篇
資料集分割處理的部分在延續上篇文章，從第五點開始後修改即可，前面都一樣
訓練過程，比較圖
是不是CNN的效果比MLP還要好，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
原始 Transformer 架構的 Transduction Process 使用編碼器堆疊、解碼器堆疊而用所有模型參數來表示參考序列，我們將該輸出序列稱為參考。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
首先先展示 Transformer 的架構圖：
可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。
本文主要介紹神經網路訓練辨識的過程，利用fashion_mnist及簡單的神經網路來進行分類。
使用只有兩層的神經網路來訓練辨識fashion_mnist資料。