AI說書 - 從0開始 - 240 | 微調 GPT 模型之推論

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

先列出目前擁有的材料：

• 微調 GPT 模型引言：AI說書 - 從0開始 - 229 | 微調 GPT 模型引言
• 微調 GPT 模型的前置步驟：AI說書 - 從0開始 - 230 | 微調 GPT 模型的前置步驟
• 微調 GPT 模型的函式庫安裝：AI說書 - 從0開始 - 231 | 微調 GPT 模型的函式庫安裝
• 微調 GPT 模型的資料集準備：AI說書 - 從0開始 - 232 | 微調 GPT 模型的資料集準備
• 微調 GPT 模型的資料集檢查：AI說書 - 從0開始 - 233 | 微調 GPT 模型的資料集檢查
• 微調 GPT 模型的資料集檢查：AI說書 - 從0開始 - 234 | 微調 GPT 模型的資料集檢查
• 微調 GPT 模型的必要檔建立：AI說書 - 從0開始 - 235 | 微調 GPT 模型的必要檔建立
• 微調 GPT 模型任務狀態查詢：AI說書 - 從0開始 - 236 | 微調 GPT 模型任務狀態查詢
• 微調 GPT 模型任務狀態查詢：AI說書 - 從0開始 - 237 | 微調 GPT 模型任務狀態查詢
• 微調 GPT 模型之推論：AI說書 - 從0開始 - 238 | 微調 GPT 模型之推論
• 微調 GPT 模型之推論：AI說書 - 從0開始 - 239 | 微調 GPT 模型之推論

以下開始使用程式來測試微調好的模型：

for i, choice in enumerate(response.choices):
	print(f"Choice {i}:")
	print(" Finish Reason:", choice.finish_reason)
	print(" Index:", choice.index)
	print(" Logprobs:", choice.logprobs)
	print(" Text:", choice.text)
	
print("Usage:") 
print(" Completion Tokens:", response.usage.completion_tokens) 
print(" Prompt Tokens:", response.usage.prompt_tokens) 
print(" Total Tokens:", response.usage.total_tokens)

摘錄的結果為：