AI說書 - 從0開始 - 99

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

Transformer 擁有先進的翻譯能力，能夠捕捉多種語言中單字序列的意思，在第四章中，我們將介紹一些關鍵的翻譯概念，並探討它們在 Google Trax、Google Translate 和 Gemini 中的範疇。

人類擅長轉導，將訊息從一種語言轉移到另一種語言，我們可以很容易地想像出一個序列的心理表徵，例如，如果有人說我花園裡的花很漂亮，我們可以很容易地想像一個花園裡有花。我們看到花園的圖像，儘管我們可能從未見過那個花園，我們甚至可以想像鳥兒的鳴叫和花香。

機器必須用數字表示從頭開始學習轉導，循環或卷積方法已經產生了令人興奮的結果，但尚未達到顯著的 (Bilingual Evaluation Understudy, BLEU) 翻譯評估分數。

Transformer 模型的 Self-Attention 創新增加了機器智慧的分析能力，例如，在嘗試將語言 A 中的序列翻譯為語言 B 之前，它已被充分表示與分析，Self-Attention 機制帶來了機器獲得更好的 BLEU 分數所需的語言理解技能。

2017 年，開創性的 Attention Is All You Need 論文，Transformer 揭露了英語-德語和英語-法語翻譯的最佳結果，此後，其他 Transformer 變形的成績也有所提升。

在第四章中，我們將分三步驟介紹機器翻譯，我們首先定義什麼是機器翻譯，然後，我們將預處理 Workshop on Machine Translation (WMT) 資料集，最後，我們將了解如何實作機器翻譯。