AI說書 - 從0開始 - 116 | Google Trax 進行推論

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型，並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing，現在可以執行 Decode 任務了：

tokenized = tokenized[None, :] # Add batch dimension
tokenized_translation = trax.supervised.decoding.autoregressive_sample(model, tokenized, temperature = 0.0))

tokenized_translation = tokenized_translation[0][:-1]
translation = trax.data.detokenize(tokenized_translation, vocab_dir = 'gs://trax-ml/vocabs/', vocab_file = 'ende_32k.subword')

print("The sentence:", sentence)
print("The translation:", translation)

輸出結果為：