AI說書 - 從0開始 - 34

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們在AI說書 - 從0開始 - 33中，見識了基於 Transformer 的 Google 翻譯威力，評論如下：

• Google 翻譯似乎已經解決了 Coreference Resolution，但法語中的“transformateur”一詞的意思是“電動設備”， Transformer 這個字是法文的一個新字，人工智慧專家可能需要具備特定專案的語言技能，在這種情況下不需要進行重大開發，但是，該項目可能需要在翻譯之前澄清輸入 。
• 可能必須與語言學家合作或獲得語言技能才能處理輸入上下文，此外，可能需要大量開發來增強上下文輸入的介面。
• 我們可能必須找到一個能夠滿足特定翻譯需求的 Transformer 模型，例如 BERT、T5 等等。
• 選擇 API 是一項任務，隨著解決方案的範圍不斷增加，尋找合適的 Transformer 模型並非易事。

上述是偏向 API 現成的 Transformer 應用，以下來討論偏向 Cloud Plateform。

大型科技公司主導 NLP 市場，光是Google、Facebook 和微軟每天就運行數十億個 NLP 例程，透過收集的數據增強其人工智慧模型的能力，現在各大巨頭提供的Transformer Model 種類繁多，並且擁有頂級的 Foundation Model。

Foundation Model 的門檻是在 OpenAI GPT-4、Google PaLM 等超級電腦上經過充分訓練的 Transformer，以及它們將不斷產生的新模型。Foundation Model 通常是專有的，這意味著我們無法存取它們的程式碼，儘管我們可以透過雲端服務對其中一些進行微調。

Hugging Face 採用不同的方法，提供各種 Transformer 模型包含模型編號、原始碼、資料集和更多開發資源，此外，Hugging Face 還提供進階 API 和開發人員控制的 API。

Google Cloud、Microsoft Azure、AWS、Hugging Face 等在其平台上提供了出色的服務！當看到 Transformer-Driven AI 不斷成長時，我們需要找到適合自己的平台。