我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
df = pd.read_csv("in_domain_train.tsv", delimiter='\t', header = None, names = ['sentence_source', 'label', 'label_notes', 'sentence'])
df.shape
其結果如下所示:

我們可以隨機挑 10 筆資料出來看看長怎麽樣:

欄位說明如下:
- sentence_source:資料來源
- label:1 代表句子文法可被接受,0 代表句子文法不可被接受
- label_notes:作者的註釋
- sentence:等待被判斷語法是否可被接受的句子