AI說書 - 從0開始 - 382 | Hugging Face T5 模型安裝

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

現在我們要從 Hugging Face 上面載入 T5 模型，前置步驟所使用程式如下，當中 Sentencepiece 把文字分割成單獨的句子，它將段落或文件分成句子單元。

!pip install transformers == 4.40.1
!pip install sentencepiece == 0.1.94

同時也可以開啟初始化模型時，展示其架構的功能，如果我們將 display_architecture 設為 True，則會顯示編碼器層、解碼器層和前饋子層的結構，該功能提供了對模型架構的深入了解。

display_architecture = True

接著載入必要的依賴：

import torch 
import json
from transformers import T5Tokenizer, T5ForConditionalGeneration, T5Config

現在可以正式載入模型與 Tokenizer 了：

model = T5ForConditionalGeneration.from_pretrained('t5-large')
tokenizer = T5Tokenizer.from_pretrained('t5-large')
device = torch.device('cpu')