AI說書 - 從0開始 - 179 | 建立推論的 Pipeline

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

整理目前手上有的素材：

• 準備資料集：AI說書 - 從0開始 - 162 | 準備Pretrain模型需要的資料
• 準備必備函數庫：AI說書 - 從0開始 - 163 | 準備Pretrain模型需要的函數庫
• Tokenizer 前言：AI說書 - 從0開始 - 164 | Tokenizer 前言
• 訓練自己的 Tokenizer：AI說書 - 從0開始 - 165 | 訓練自己的Tokenizer
• 保存訓練好的 Tokenizer：AI說書 - 從0開始 - 166 | 保存訓練好的 Tokenizer
• Tokenizer 使用方式：AI說書 - 從0開始 - 167 | Tokenizer 使用方式
• GPU 及 CUDA 確認：AI說書 - 從0開始 - 168 | GPU 資源確認
• 編輯模型的 Config 檔：AI說書 - 從0開始 - 169 | 編輯模型的 Config 檔
• 初始化模型：AI說書 - 從0開始 - 170 | 初始化模型
• 模型參數探索：AI說書 - 從0開始 - 171 | 模型參數探索
• 模型參數探索：AI說書 - 從0開始 - 172 | 模型參數探索
• 模型參數探索：AI說書 - 從0開始 - 173 | 模型參數探索
• 模型參數探索：AI說書 - 從0開始 - 174 | 模型參數探索
• Data Collator 建立：AI說書 - 從0開始 - 175 | Data Collator 建立
• 初始化 Trainer：AI說書 - 從0開始 - 176 | 初始化 Trainer
• 模型訓練：AI說書 - 從0開始 - 177 | 訓練模型
• 保存訓練好的模型：AI說書 - 從0開始 - 178 | 保存訓練好的模型

既然保存好模型了，自然可以以 Pipeline 開始做使用，注意 Model 和 Tokenizer 分別在 AI說書 - 從0開始 - 178 | 保存訓練好的模型 以及 AI說書 - 從0開始 - 166 | 保存訓練好的 Tokenizer 中的保存名稱：

from transformers import pipeline
fill_mask = pipeline("fill-mask", 
												model = "./KantaiBERT", 
												tokenizer = "./KantaiBERT")

現在以一個句子來示範看看模型是否能回答類似 伊曼紐爾‧康德 的風格：

fill_mask("Human thinking involves human <mask>.")

結果為：