AI說書 - 從0開始 - 283 | 語言訓練資料的準備建議

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

Raffel 等人於 2019 定義了標準文字到文字 T5 Transformer 模型，他們還走得更遠，他們為打破未經預處理就使用原始資料的神話做出了貢獻，預處理資料可減少訓練時間，例如，Common Crawl 包含透過網路擷取獲得的未標記文字，非文字和標記已從資料集中刪除，然而，Google T5 團隊發現，透過 Common Crawl 取得的大部分文字都沒有達到自然語言或英語的程度，因此他們決定在使用資料集之前需要對其進行清理。

Transformer 成為了語言學習者，而我們成為了他們的老師，但是，為了教導機器學生一門語言，我們必須解釋什麼是正確的英語，在使用資料集之前，我們需要對它們應用一些標準啟發式方法：

• 標點符號的句子：建議選擇以標點符號結尾的句子，例如句號或問號
• 刪除壞詞：應該刪除壞詞，可以在以下網站找到列表，例如： https://github.com/LDNOOBW/List-of-Dirty-Naughty-Obscene-and-Otherwise- Bad-Words
• 刪除程式碼：這很棘手，因為有時，程式碼就是我們正在尋找的內容，然而，通常最好從 NLP 任務的內容中刪除程式碼
• 語言偵測：有必要確保資料集的所有內容均採用我們希望的語言
• 刪除有關歧視的內容：建議建立一個知識庫，其中包含您可以在網路上抓取的所有內容或您可以從特定資料集中獲得的內容，壓制任何形式的歧視，您當然希望您的機器符合道德標準
• 邏輯檢查：在資料集上運行經過訓練的 Transformer 模型，執行自然語言推理來過濾沒有意義的句子可能是個好主意
• 不良資訊引用：消除引用無效連結、不道德網站或人員的文字，這是一項艱鉅的工作，但絕對值得