2. 準備資料集

JN-avatar-img
發佈於計算機
更新於 發佈於 閱讀時間約 3 分鐘

抓圖&標記


沒別招,只能一張張把圖片抓下來,少說抓個幾百~幾千張吧。抓下來的圖可以用遞增數字當檔名。

大概像這樣把圖片存好

大概像這樣把圖片存好


再來這步更麻煩,標記

新增一個文字檔,或跟我一樣用 label.csv 都可以,然後把一張張圖片上的驗證碼正確答案記錄下來。

第 1 行對應到 1.jpg,第 N 行對應到 N.jpg

第 1 行對應到 1.jpg,第 N 行對應到 N.jpg


儘管步驟再簡單,只靠自己人工抓圖和標記,既耗時又煩悶,如何用程式抓圖、輔助標記,或是資料不夠多時怎麼訓練 AI,都是常見的議題,可以參考網路文章,或直接去問 AI。從這步驟應該能體會,擁有某領域大量或取得不易資料的企業,有多犯規了~

(對了,正如前篇讀者的分享,類似的專案已有人做過,網路上很容易找到整包標記好的資料集,真心建議有興趣的讀者去找找吧。系列文的目標是學習怎麼用 PyTorch 訓練 AI 模型,不用把時間花在抓圖跟標記。)


實作 MyDataset


新增一個 my_dataset.py 檔案,裡面定義 MyDataset class,如圖。

raw-image


三個重點

  1. MyDataset 繼承 torch.utils.data.Dataset
  2. MyDataset 內定義 __len__ 函示,負責回傳 dataset 長度
  3. MyDataset 內定義 __getitem__ 函示,負責讀圖


最後把剛剛的資料集 (dataset) 跟 my_dataset.py 放在 C:\my_pytorch_project\my_first_model 裡,大概像這樣

raw-image


這樣就算完成了。

下一篇會開始實作 AI 模型,全連接神經網路,也就是上圖的 my_dnn.py。



系列文整理:

0. 從零開始,打造第一個 AI 模型 (序言)

1. 環境設定

2. 準備資料集

3. 實做 全連接神經網路 (參數較多)

4. 實做 捲積式神經網路 (參數較少)

5. 訓練、匯出模型

6. 載入、使用模型

avatar-img
62會員
28內容數
個人網誌啦~ 內容包含但不限於學習筆記、心情抒發、火星廢文...
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
JN的沙龍 的其他內容
本文是以 Windows 電腦為主,但理論上 macOS 的步驟也差不多。 主要就兩個步驟 安裝 Python (我裝 3.12) 安裝 PyTorch
最近工作剛好有用到 PyTorch,由於僅止於些簡單的功能和除錯,事後對這個熱門的 AI 框架還是一知半解。想了下,如果連用 PyTorch 做個簡單的 AI 模型都辦不到,不就浪費了這段時間的接觸? 於是訂個簡單的題目並試著去完成,順手做個紀錄。內容非常初階,篇幅也不多,主要著重在...
烏龍轉桌,常用來形容股市網紅在預測股票失準後,硬要自圓其說的行為,常見的情況大概是.. 漲了就 PO 文: 一切預告在前!恭喜有跟上的粉絲! 跌了就改口: 早就提醒要賣!有跟著賣的都在數錢了! 等風頭過了就改推別檔,然後再輪迴一次。 這種網紅勝率永遠 100%,非常厲害,然而...
最近多變的天氣, 和複雜的心情, 讓我常在上班時間, 看著天花板發呆, 任由白日夢覆蓋我的思緒, 看著看著,便想起一段念書時的往事...
社會在走,基本行情要有啦。 大家都在瘋 AI,身為 Sym道猴的我,能不一起湊熱鬧嗎。 很多人聊股票,討論真 AI、假 AI, 我跟你講, 這篇就是真 AI。
『欸欸 JN 啊!老闆說一定要七天內交車啦!怎麼搞的,簽這種合約...』 我該怎麼辦呢?
本文是以 Windows 電腦為主,但理論上 macOS 的步驟也差不多。 主要就兩個步驟 安裝 Python (我裝 3.12) 安裝 PyTorch
最近工作剛好有用到 PyTorch,由於僅止於些簡單的功能和除錯,事後對這個熱門的 AI 框架還是一知半解。想了下,如果連用 PyTorch 做個簡單的 AI 模型都辦不到,不就浪費了這段時間的接觸? 於是訂個簡單的題目並試著去完成,順手做個紀錄。內容非常初階,篇幅也不多,主要著重在...
烏龍轉桌,常用來形容股市網紅在預測股票失準後,硬要自圓其說的行為,常見的情況大概是.. 漲了就 PO 文: 一切預告在前!恭喜有跟上的粉絲! 跌了就改口: 早就提醒要賣!有跟著賣的都在數錢了! 等風頭過了就改推別檔,然後再輪迴一次。 這種網紅勝率永遠 100%,非常厲害,然而...
最近多變的天氣, 和複雜的心情, 讓我常在上班時間, 看著天花板發呆, 任由白日夢覆蓋我的思緒, 看著看著,便想起一段念書時的往事...
社會在走,基本行情要有啦。 大家都在瘋 AI,身為 Sym道猴的我,能不一起湊熱鬧嗎。 很多人聊股票,討論真 AI、假 AI, 我跟你講, 這篇就是真 AI。
『欸欸 JN 啊!老闆說一定要七天內交車啦!怎麼搞的,簽這種合約...』 我該怎麼辦呢?
你可能也想看
Google News 追蹤
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
最近AI的産圖越來越多,是時候開始整理了,隨機生成的廢圖基本上都清除了,剩下一堆感覺不差的挑一挑,只是數量有點多。
Thumbnail
將圖片添加到PDF文件中可以提升內容質量,使其更具吸引力。無論您是在製作專業文件、報告或演示文稿,插入圖片都是非常重要的。以下是使用各種工具進行操作的方法
Thumbnail
這篇整理了我這個月讀到關於「工具資源」和「個人品牌與行銷」相關的內容,並且幫大家附上了來源,如果你想了解我這個月發現了什麼不錯的內容都可以在這裡找到,而且我還會加上我的一點個人回饋 另外每月資訊量不同,造成每一類的內容不一,有的內容會比較多,如果你只想看精選,我會在每一類中都挑出 3 篇我最推的
Thumbnail
學習如何將掃描的PDF轉換為可搜索文本,並高效管理和查找文件。探索先進的OCR技術如何提升文檔處理效率。
Thumbnail
在本文中,我們將瞭解如何將掃描的PDF轉換為可搜索文本,並高效管理和查找文件。探索先進的OCR技術如何提升文檔處理效率。
Thumbnail
那些弄得美美的、文青文青的文宣照,都是設計過「哪裡要擺字」是從「拍照」就要想的事,再不是挑照就要想的啊!(什麼,你說請設計P圖就好?呵呵~~那要看你花多少錢請什麼設計啊!)當文字與圖片結合在一起的時候,它就成了那張圖的設計之一了,就不單只是「我要把這些字加在圖上」而已了!
Thumbnail
創作邦精選工具資源-第 36 期,我們每週分享精選的工具資源合集,從設計資源、AI 工具、生產力工具、影像後製等等內容都涵蓋,如果你想找好用資源或工具,追蹤我們的內容準沒錯。
Thumbnail
EasyOCR是一個能夠幫助你對圖片中的文字進行辨識的工具,透過進階分析,可以應用在文件掃描、自動化數據輸入、發票掃描等領域。本章節將介紹如何安裝、引用模型、進行文字辨識、以及辨識結果的分析。透過學習,你可以建立屬於自己的文字辨識系統。
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
最近AI的産圖越來越多,是時候開始整理了,隨機生成的廢圖基本上都清除了,剩下一堆感覺不差的挑一挑,只是數量有點多。
Thumbnail
將圖片添加到PDF文件中可以提升內容質量,使其更具吸引力。無論您是在製作專業文件、報告或演示文稿,插入圖片都是非常重要的。以下是使用各種工具進行操作的方法
Thumbnail
這篇整理了我這個月讀到關於「工具資源」和「個人品牌與行銷」相關的內容,並且幫大家附上了來源,如果你想了解我這個月發現了什麼不錯的內容都可以在這裡找到,而且我還會加上我的一點個人回饋 另外每月資訊量不同,造成每一類的內容不一,有的內容會比較多,如果你只想看精選,我會在每一類中都挑出 3 篇我最推的
Thumbnail
學習如何將掃描的PDF轉換為可搜索文本,並高效管理和查找文件。探索先進的OCR技術如何提升文檔處理效率。
Thumbnail
在本文中,我們將瞭解如何將掃描的PDF轉換為可搜索文本,並高效管理和查找文件。探索先進的OCR技術如何提升文檔處理效率。
Thumbnail
那些弄得美美的、文青文青的文宣照,都是設計過「哪裡要擺字」是從「拍照」就要想的事,再不是挑照就要想的啊!(什麼,你說請設計P圖就好?呵呵~~那要看你花多少錢請什麼設計啊!)當文字與圖片結合在一起的時候,它就成了那張圖的設計之一了,就不單只是「我要把這些字加在圖上」而已了!
Thumbnail
創作邦精選工具資源-第 36 期,我們每週分享精選的工具資源合集,從設計資源、AI 工具、生產力工具、影像後製等等內容都涵蓋,如果你想找好用資源或工具,追蹤我們的內容準沒錯。
Thumbnail
EasyOCR是一個能夠幫助你對圖片中的文字進行辨識的工具,透過進階分析,可以應用在文件掃描、自動化數據輸入、發票掃描等領域。本章節將介紹如何安裝、引用模型、進行文字辨識、以及辨識結果的分析。透過學習,你可以建立屬於自己的文字辨識系統。