訓練資料成為稀缺資源了嗎？為什麼會有人提出「優質訓練資料」料即將不足？

本圖片由AI生成

近日紐約時報報導，因為缺乏訓練數據，OpenAI使用了自家的Whisper 轉錄 100 萬個小時的 YouTube 影片，以作為訓練模型資料。另外也有報導指出，Meta正在討論即使被起訴，也要使用受版權保護的作品來作為模型訓練資料。報導都指出，幾大模型開發者目前都同樣遭遇了「優質訓練資料」不足的困境，而必須走入灰色地帶來支持模型的開發。這個新聞資訊究竟暗示了什麼？有版權的資料將成為新的「數位石油」嗎？

筆者身為數位時代的科技麻瓜，我們都非常習慣網路上什麼都有這樣的的概念。不管是什麼新舊知識，我們都可以上網Google一下，不管是文章、影片、懶人包，甚至是一些極為冷僻的內容，應該都可以找得到。那麼為什麼這些大公司會覺得訓練資料不足呢？其實會需要回到兩個最為關鍵的問題「為什麼需要持續訓練？」和「什麼叫做優質資料？」。

隨著去年Google帶頭發佈「多模態」生成式AI模型開始，單一模型可以處理的多元任務就像是各家挑戰的龍門一樣，這也形成各家不斷增加模型大小，為求增加模型可以處理不同任務的「腦容量」。這如同摩爾定律的詛咒，先不論是否有殺手級應用，或是對於算力的需求證據，先追求模型的線性成長。這也是一派人認為AGI的發展路徑。在這樣的前提假設下，模型為增加能力，勢必越來越肥大，而增加的「腦容量」也會需要相應的訓練資料來進行訓練，不然就會像是把一個現代天才給放到了中世紀鄉村，難免有些英雄無用武之地的困境。

這個情況下，各種專業領域或特定內容的訓練資料就會特別重要了。雖然機器學習本來就有像是創造合成資料訓練的模式，但合成資料本身對於資料多元性的幫助，或是資料本身的偏見或錯誤可能不斷加重，所以即便是可能涉法，這些科技巨頭還是要試著去取得更多原生優質資料作為訓練資料。

「優質資料」的本身並沒有絕對的定義，它可能是通過特定的篩選機制所產生出在特定領域具有價值的內容，像是科學期刊的內容。或是通過時間及人數的認證，確認其內容具備高度的認同價值，像是維基百科或是開源內容。這樣的內容除了本身產量就有限，絕大部分也都是受到版權的保護，難無償直接使用。

本圖片由AI生成

而回到一開始的麻瓜疑惑，網路上明明什麼都有，難道這麼多的資料還不夠嗎？這就得回到網路資料內容的有效性。前面提到的合成資料對於偏見、假資訊的問題，網路資料一樣也有。同時可能還有違法、錯誤、色情、暴力、廣告等各種污染資訊的因子，因此直接取用無審核條件的公開資訊，只怕數據清理的成本會比版權授權來得更重，而且清理完究竟還剩下多少數據量，實在也不好說。

那麼依照這樣的趨勢發展，優質資訊的版權方是不是就進入了科技發展紅利期了呢？其實除了模型不斷長大的這派，目前同時也有像是專家混合Mixture of Experts (MoE)這樣的架構，與其讓模型一個打十個，從架構裡面就將任務分門別類，由不同的模型來處理，這樣除了處理速度更快，同時也不需要持續增加的龐大訓練量。所以目前看來，版權方要能坐地喊價，可能還早了一點。

而這些資訊對於一般使用者來說，又有什麼重要性呢？先不論AGI是否在大家有生之年能順利問世，我們從2022年開始使用ChatGPT到如今，其實各個生成式AI的發展都是每日一變。確實隨著開發者在應用上的fine tuning或是使用習慣的演進，我們更知道AI可以怎麼進入到工作中，進入到工作中的AI也確實悄悄在變得更方便、更聰明。OpenAI自己也發佈目前企業應用AI還是指數型的成長中。雖然追逐更大更強勢必還是各巨頭不管在資本市場或是競爭立場上必須持續前進的方向。但對於科技麻瓜的一般上班族來說，這個時代確實已經不容我們忽視AI了。對於AI的理解和應用，可能就如上個世代對於Office工具，再上個世代對於電腦的使用一樣，是不可避免的改變。