AI說書 - 從0開始 - 115 | Google Trax 載入預訓練權重

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們已經在 AI說書 - 從0開始 - 114 | 使用 Google Trax 建立 Transformer 模型 建立了 Transformer 模型。

現在我們來載入預訓練權重，預訓練的權重包含 Transformer 的智慧，權重構成了 Transformer 的語言表示，權重可以表示為許多參數，這些參數將產生某種形式的機器智慧：

model.init_from_file('gs://trax-ml/models/translation/ende_wmt32k.pkl.gz', weights_only = True)

偷看一下權重的數字，如下：

接著來執行 Tokenizing 動作：

sentence = 'I am only a machine but I have machine intelligence.'
tokenized = list(trax.data.tokenize(iter([sentence]), vocab_dir = 'gs://trax-ml/vocabs/', vocab_file = 'ende_32k.subword'))[0]