全部內容
由新到舊
我們昨天下載的資料集比較完整，已經幫我們分好了訓練、驗證、測試用的資料集，但是如果今天真的遇到一大筆資料集的話該怎麼分割？
大家都知道，訓練一個完整的模型需要上萬筆資料，而資料的取得往往是最令人頭痛的地方
在知道如何下載前，先來談談「資料集 (Dataset)」這個東西
顧名思義，資料集就是指資料的集合，而且最重要的是要能在電腦中處理...
上一篇只講了 Tokenizer 最快的用法，但仔細想想還是寫得再詳細一點好了
tokenizer() 可以將一串句子變成電腦看得懂的編碼，但他其實包含三個動作
1. 將句子拆分成一個一個字詞
2. 將字詞轉換成編碼
3. 添加 Special Token
今天要講的是 Hugging Face 貼心準備的工具包，歸屬在 Transformers 中的 Tokenizer (分詞器)
電腦沒辦法理解人類的語言，所以需要先將文字轉換成電腦能讀懂的數字，而我們不可能把一整句話直接編碼，例如："I love you."=1、"I love him."=2...，這樣編碼到最後會變成天文數字，所以在那之前我們需要先將一句話分成最小單位，也就是「詞」
上一篇有提到過「寫一行就能使用模型的封裝工具包 pipeline」，至於為什麼他可以寫一行就解決呢？真的有那麼神嗎？
雖然上一篇還在吐槽，這個時代學習新知識會跑去找 ChatGPT，但不得不說生成式 AI 是真香，或者更精確地說「大型語言模型（LLM, Large Language Model）」（以下簡稱LLM），有用過的朋友應該都知道他的優點，這篇就先講講 AI 界的 Github：Hugging Face 吧
前兩篇講完了 繼承（Inheritance）、多型（Polymorphism）跟 抽象類別（Abstract Class），今天講一下「封裝（Encapsulation）」，準備好我們就開始吧！
今天來講一下「多型（Polymorphism）」跟「抽象類別（Abstract Class）」，這兩個技巧可以讓程式更具擴充性喔！
