AI說書 - 從0開始 - 137 | BERT 微調之訓練資料窺探

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們已經在 AI說書 - 從0開始 - 136 載入了本次 Fine-Tuning 需要的 CoLA 資料集 (詳見 AI說書 - 從0開始 - 93 )，我們可以對此資料集有更深一層次的了解：

df = pd.read_csv("in_domain_train.tsv", delimiter='\t', header = None, names = ['sentence_source', 'label', 'label_notes', 'sentence'])
df.shape

其結果如下所示：

我們可以隨機挑 10 筆資料出來看看長怎麽樣：

欄位說明如下：

• sentence_source：資料來源
• label：1 代表句子文法可被接受，0 代表句子文法不可被接受
• label_notes：作者的註釋
• sentence：等待被判斷語法是否可被接受的句子