2. 準備資料集

JN-avatar-img
發佈於計算機
更新 發佈閱讀 3 分鐘

抓圖&標記


沒別招,只能一張張把圖片抓下來,少說抓個幾百~幾千張吧。抓下來的圖可以用遞增數字當檔名。

大概像這樣把圖片存好

大概像這樣把圖片存好


再來這步更麻煩,標記

新增一個文字檔,或跟我一樣用 label.csv 都可以,然後把一張張圖片上的驗證碼正確答案記錄下來。

第 1 行對應到 1.jpg,第 N 行對應到 N.jpg

第 1 行對應到 1.jpg,第 N 行對應到 N.jpg


儘管步驟再簡單,只靠自己人工抓圖和標記,既耗時又煩悶,如何用程式抓圖、輔助標記,或是資料不夠多時怎麼訓練 AI,都是常見的議題,可以參考網路文章,或直接去問 AI。從這步驟應該能體會,擁有某領域大量或取得不易資料的企業,有多犯規了~

(對了,正如前篇讀者的分享,類似的專案已有人做過,網路上很容易找到整包標記好的資料集,真心建議有興趣的讀者去找找吧。系列文的目標是學習怎麼用 PyTorch 訓練 AI 模型,不用把時間花在抓圖跟標記。)


實作 MyDataset


新增一個 my_dataset.py 檔案,裡面定義 MyDataset class,如圖。

raw-image


三個重點

  1. MyDataset 繼承 torch.utils.data.Dataset
  2. MyDataset 內定義 __len__ 函示,負責回傳 dataset 長度
  3. MyDataset 內定義 __getitem__ 函示,負責讀圖


最後把剛剛的資料集 (dataset) 跟 my_dataset.py 放在 C:\my_pytorch_project\my_first_model 裡,大概像這樣

raw-image


這樣就算完成了。

下一篇會開始實作 AI 模型,全連接神經網路,也就是上圖的 my_dnn.py。



系列文整理:

0. 從零開始,打造第一個 AI 模型 (序言)

1. 環境設定

2. 準備資料集

3. 實做 全連接神經網路 (參數較多)

4. 實做 捲積式神經網路 (參數較少)

5. 訓練、匯出模型

6. 載入、使用模型

留言
avatar-img
留言分享你的想法!
avatar-img
JN的沙龍
63會員
34內容數
個人網誌啦~ 內容包含但不限於學習筆記、心情抒發、火星廢文...
JN的沙龍的其他內容
2025/01/17
某天,某島國上的花生農老G,因為體力漸衰、氣候異常、地緣政治...等因素,種出的花生品質越來越不穩定,於是邀了其他島上的A格斯先生、高手B爾、阿國兄,四人一起組了個互助會...
Thumbnail
2025/01/17
某天,某島國上的花生農老G,因為體力漸衰、氣候異常、地緣政治...等因素,種出的花生品質越來越不穩定,於是邀了其他島上的A格斯先生、高手B爾、阿國兄,四人一起組了個互助會...
Thumbnail
2025/01/13
下圖為程式碼節錄 把 output 印出來看,會發現有五組數字,每一組數字依序對應到驗證碼圖片
Thumbnail
2025/01/13
下圖為程式碼節錄 把 output 印出來看,會發現有五組數字,每一組數字依序對應到驗證碼圖片
Thumbnail
2025/01/13
資料集有了,模型兜好了,再來可以開始訓練了。 首先準備 train.py,下圖僅節錄部分程式碼。 圖中包含了大部分的程式和註解,整段 code 也幾乎是公版了,建議簡單看過再自己融會貫通,有問題可以根據執行時的 error log 去解決,也可以留言討論。 此時資料夾應該長這樣
Thumbnail
2025/01/13
資料集有了,模型兜好了,再來可以開始訓練了。 首先準備 train.py,下圖僅節錄部分程式碼。 圖中包含了大部分的程式和註解,整段 code 也幾乎是公版了,建議簡單看過再自己融會貫通,有問題可以根據執行時的 error log 去解決,也可以留言討論。 此時資料夾應該長這樣
Thumbnail
看更多
你可能也想看
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
特徵工程是機器學習中的核心技術,通過將原始數據轉換為有意義的特徵,以提升模型的準確性和穩定性。常見的特徵工程方法包括異常值檢測、特徵轉換、特徵縮放、特徵表示、特徵選擇和特徵提取。本文將深入探討這些方法的適用情況及具體實施流程,以幫助讀者有效利用特徵工程來優化機器學習模型表現。
Thumbnail
最近AI的産圖越來越多,是時候開始整理了,隨機生成的廢圖基本上都清除了,剩下一堆感覺不差的挑一挑,只是數量有點多。
Thumbnail
最近AI的産圖越來越多,是時候開始整理了,隨機生成的廢圖基本上都清除了,剩下一堆感覺不差的挑一挑,只是數量有點多。
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
本文將延續上一篇文章,經由訓練好的VAE模型其中的解碼器,來生成圖片。 [深度學習]訓練VAE模型用於生成圖片_訓練篇 輸入產生的隨機雜訊,輸入VAE的解碼器後,生成的圖片
Thumbnail
前言 讀了許多理論,是時候實際動手做做看了,以下是我的模型訓練初體驗,有點糟就是了XD。 正文 def conv(filters, kernel_size, strides=1): return Conv2D(filters, kernel_size,
Thumbnail
前言 讀了許多理論,是時候實際動手做做看了,以下是我的模型訓練初體驗,有點糟就是了XD。 正文 def conv(filters, kernel_size, strides=1): return Conv2D(filters, kernel_size,
Thumbnail
微調(Fine tune)是深度學習中遷移學習的一種方法,其中預訓練模型的權重會在新數據上進行訓練。 本文主要介紹如何使用新的訓練圖檔在tesseract 辨識模型進行Fine tune 有關於安裝的部分可以參考友人的其他文章 Tesseract OCR - 繁體中文【安裝篇】 將所有資料
Thumbnail
微調(Fine tune)是深度學習中遷移學習的一種方法,其中預訓練模型的權重會在新數據上進行訓練。 本文主要介紹如何使用新的訓練圖檔在tesseract 辨識模型進行Fine tune 有關於安裝的部分可以參考友人的其他文章 Tesseract OCR - 繁體中文【安裝篇】 將所有資料
Thumbnail
事前聲明: 我先說明我的筆記製作流程: 在YT下載 >> 生成逐字稿 >> 利用 AI 整理條列式筆記 >> 人工整理 我已經將逐字稿放上來分享在<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐字稿>>,不過逐字稿多少會有錯,如果要使用請多注意。 <<1+1罐罐 | 股癌筆記 + 股癌未校稿逐
Thumbnail
事前聲明: 我先說明我的筆記製作流程: 在YT下載 >> 生成逐字稿 >> 利用 AI 整理條列式筆記 >> 人工整理 我已經將逐字稿放上來分享在<<1+1罐罐 | 股癌筆記 + 股癌未校稿逐字稿>>,不過逐字稿多少會有錯,如果要使用請多注意。 <<1+1罐罐 | 股癌筆記 + 股癌未校稿逐
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
Thumbnail
在第一篇我講到一開始的圖像風格轉換,每產生一張圖片都得重新訓練,這對於使用上難免綁手綁腳,所以理所當然的下一步就是要解決這個問題,看看能不能只要訓練一次,就可以重複使用。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News