5. 訓練、匯出模型

JN-avatar-img
發佈於計算機
更新於 發佈於 閱讀時間約 1 分鐘

資料集有了,模型兜好了,再來可以開始訓練了。

首先準備 train.py,下圖僅節錄部分程式碼。

raw-image


圖中包含了大部分的程式和註解,整段 code 也幾乎是公版了,建議簡單看過再自己融會貫通,有問題可以根據執行時的 error log 去解決,也可以留言討論。


此時資料夾應該長這樣

raw-image



直接在 cmd 輸入指令便能執行

> python train.py


最後資料夾會多一個檔案 my_cnn.pt,這就是重複訓練過 1000 次的 AI 模型,下一篇會簡述怎麼拿來用。



系列文整理:

0. 從零開始,打造第一個 AI 模型 (序言)

1. 環境設定

2. 準備資料集

3. 實做 全連接神經網路 (參數較多)

4. 實做 捲積式神經網路 (參數較少)

5. 訓練、匯出模型

6. 載入、使用模型

avatar-img
62會員
29內容數
個人網誌啦~ 內容包含但不限於學習筆記、心情抒發、火星廢文...
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
JN的沙龍 的其他內容
不太確定捲積式神經網路 (CNN) 的精確定義,但大致上是用捲積層 (convolution layer) 取代 DNN 中的幾個全連接層 (fully connected layer),這些捲積層概念跟 feature filter 類似。 先大概有個概念就夠,實作時跟前一篇 DNN 一樣,這些
這篇會示範,只要稍微會寫 python,儘管對 AI 只有極淺的認識,也能輕易兜出一個,專家們眼中可能很白癡的 AI 模型。若題目不難、訓練資料夠多,這個白癡模型仍可以莫名其妙的變聰明。 全都的程式碼都在下圖,20行就能兜出一個全連層 (fully connected layer ) 組成的全
抓圖&標記 沒別招,只能一張張把圖片抓下來,少說抓個幾百~幾千張吧。抓下來的圖可以用遞增數字當檔名。 再來這步更麻煩,標記。 新增一個文字檔,或跟我一樣用 label.csv 都可以,然後把一張張圖片上的驗證碼正確答案記錄下來。 儘管步驟再簡單,只靠自己人工抓圖和標記,既耗時又煩
本文是以 Windows 電腦為主,但理論上 macOS 的步驟也差不多。 主要就兩個步驟 安裝 Python (我裝 3.12) 安裝 PyTorch
最近工作剛好有用到 PyTorch,由於僅止於些簡單的功能和除錯,事後對這個熱門的 AI 框架還是一知半解。想了下,如果連用 PyTorch 做個簡單的 AI 模型都辦不到,不就浪費了這段時間的接觸? 於是訂個簡單的題目並試著去完成,順手做個紀錄。內容非常初階,篇幅也不多,主要著重在...
烏龍轉桌,常用來形容股市網紅在預測股票失準後,硬要自圓其說的行為,常見的情況大概是.. 漲了就 PO 文: 一切預告在前!恭喜有跟上的粉絲! 跌了就改口: 早就提醒要賣!有跟著賣的都在數錢了! 等風頭過了就改推別檔,然後再輪迴一次。 這種網紅勝率永遠 100%,非常厲害,然而...
不太確定捲積式神經網路 (CNN) 的精確定義,但大致上是用捲積層 (convolution layer) 取代 DNN 中的幾個全連接層 (fully connected layer),這些捲積層概念跟 feature filter 類似。 先大概有個概念就夠,實作時跟前一篇 DNN 一樣,這些
這篇會示範,只要稍微會寫 python,儘管對 AI 只有極淺的認識,也能輕易兜出一個,專家們眼中可能很白癡的 AI 模型。若題目不難、訓練資料夠多,這個白癡模型仍可以莫名其妙的變聰明。 全都的程式碼都在下圖,20行就能兜出一個全連層 (fully connected layer ) 組成的全
抓圖&標記 沒別招,只能一張張把圖片抓下來,少說抓個幾百~幾千張吧。抓下來的圖可以用遞增數字當檔名。 再來這步更麻煩,標記。 新增一個文字檔,或跟我一樣用 label.csv 都可以,然後把一張張圖片上的驗證碼正確答案記錄下來。 儘管步驟再簡單,只靠自己人工抓圖和標記,既耗時又煩
本文是以 Windows 電腦為主,但理論上 macOS 的步驟也差不多。 主要就兩個步驟 安裝 Python (我裝 3.12) 安裝 PyTorch
最近工作剛好有用到 PyTorch,由於僅止於些簡單的功能和除錯,事後對這個熱門的 AI 框架還是一知半解。想了下,如果連用 PyTorch 做個簡單的 AI 模型都辦不到,不就浪費了這段時間的接觸? 於是訂個簡單的題目並試著去完成,順手做個紀錄。內容非常初階,篇幅也不多,主要著重在...
烏龍轉桌,常用來形容股市網紅在預測股票失準後,硬要自圓其說的行為,常見的情況大概是.. 漲了就 PO 文: 一切預告在前!恭喜有跟上的粉絲! 跌了就改口: 早就提醒要賣!有跟著賣的都在數錢了! 等風頭過了就改推別檔,然後再輪迴一次。 這種網紅勝率永遠 100%,非常厲害,然而...
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
打開 jupyter notebook 寫一段 python 程式,可以完成五花八門的工作,這是玩程式最簡便的方式,其中可以獲得很多快樂,在現今這種資訊發達的時代,幾乎沒有門檻,只要願意,人人可享用。 下一步,希望程式可以隨時待命聽我吩咐,不想每次都要開電腦,啟動開發環境,只為完成一個重複性高
Thumbnail
如果你也是從事軟體相關工作的人,一定會遭遇突然需要你去學習一套你不熟悉的程式語言狀況吧,此時你會怎麼做呢? 是趕快去買書來看嗎? 還是趕快找一門程式課來上? 又或者乾脆去找會的同事來教學?
2024年6月11日晚上6點48分於洛杉磯, 我打算開始每天花點時間學習大語言模型的技術部分。 主要使用的教材是 Manning出版的Build a Large Language Model (From Scratch) [1]。 這本書有配套的code,還有詳細的講解,是我信賴的
Thumbnail
Python的模組和庫是可重用的程式碼塊,可透過import語句引入。特定部分可以透過from和import引入,並可使用as指定別名。第三方模組可透過pip工具安裝並在程式碼中使用。此外,也可以創建自定義模組並在其他Python文件中引用。
Thumbnail
  上回練習了一個官方示例,但其中對於一些細節沒有練習到的感覺,這次我們實際將之前練習的風格轉換訓練推上去看看,看是否能體驗到更多細節。
從頭開始寫大語言模型的程式碼, 是最好理解大語言模型的機制與限制的方風。 從頭開始寫大語言模型的程式碼,可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識,並應用到特定領域的數據及以及任務。 客製化大語言模型一般來說比起通用大語言模型有更好的表現。 一個具體的例子是
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
列出一套完整的程式 程式設計有許多種方法,不過通常會先列出清單的再逐一執行,這樣會加快程式設計的速度。設計通常會採取順推的辦法。所以順推的程式設計方式就是經歷觀念溝通、系統分析、資料統合、權限管理、頻率與時間、後台管理、畫面設計等等階段後,將框架設計完了以後,先列出一套完整的程式,將所有使用者都確
今天就讓我們依照前一天的情境題,來撰寫測試案例函數吧! 先讓我們規畫擬訂測試案例: 測試案例 當使用者瀏覽文章清單頁時: 使用者可看到所有文章清單,也就是【文章清單API】要能確實將資料庫內的文章資料,筆數不多不少地回應出來。 當使用者瀏覽單一文章頁時: 使用者可看到該文章資料,也就是【
Thumbnail
本文將介紹如何在 Python 中導入和使用標準函式庫中的模組,以及如何創建自定義模組和套件。我們將透過具體的例子和程式碼,讓你更好的理解和應用模組和套件。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
打開 jupyter notebook 寫一段 python 程式,可以完成五花八門的工作,這是玩程式最簡便的方式,其中可以獲得很多快樂,在現今這種資訊發達的時代,幾乎沒有門檻,只要願意,人人可享用。 下一步,希望程式可以隨時待命聽我吩咐,不想每次都要開電腦,啟動開發環境,只為完成一個重複性高
Thumbnail
如果你也是從事軟體相關工作的人,一定會遭遇突然需要你去學習一套你不熟悉的程式語言狀況吧,此時你會怎麼做呢? 是趕快去買書來看嗎? 還是趕快找一門程式課來上? 又或者乾脆去找會的同事來教學?
2024年6月11日晚上6點48分於洛杉磯, 我打算開始每天花點時間學習大語言模型的技術部分。 主要使用的教材是 Manning出版的Build a Large Language Model (From Scratch) [1]。 這本書有配套的code,還有詳細的講解,是我信賴的
Thumbnail
Python的模組和庫是可重用的程式碼塊,可透過import語句引入。特定部分可以透過from和import引入,並可使用as指定別名。第三方模組可透過pip工具安裝並在程式碼中使用。此外,也可以創建自定義模組並在其他Python文件中引用。
Thumbnail
  上回練習了一個官方示例,但其中對於一些細節沒有練習到的感覺,這次我們實際將之前練習的風格轉換訓練推上去看看,看是否能體驗到更多細節。
從頭開始寫大語言模型的程式碼, 是最好理解大語言模型的機制與限制的方風。 從頭開始寫大語言模型的程式碼,可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識,並應用到特定領域的數據及以及任務。 客製化大語言模型一般來說比起通用大語言模型有更好的表現。 一個具體的例子是
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
列出一套完整的程式 程式設計有許多種方法,不過通常會先列出清單的再逐一執行,這樣會加快程式設計的速度。設計通常會採取順推的辦法。所以順推的程式設計方式就是經歷觀念溝通、系統分析、資料統合、權限管理、頻率與時間、後台管理、畫面設計等等階段後,將框架設計完了以後,先列出一套完整的程式,將所有使用者都確
今天就讓我們依照前一天的情境題,來撰寫測試案例函數吧! 先讓我們規畫擬訂測試案例: 測試案例 當使用者瀏覽文章清單頁時: 使用者可看到所有文章清單,也就是【文章清單API】要能確實將資料庫內的文章資料,筆數不多不少地回應出來。 當使用者瀏覽單一文章頁時: 使用者可看到該文章資料,也就是【
Thumbnail
本文將介紹如何在 Python 中導入和使用標準函式庫中的模組,以及如何創建自定義模組和套件。我們將透過具體的例子和程式碼,讓你更好的理解和應用模組和套件。