我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
先列出目前擁有的材料:
可以在 OpenAI 上微調多個模型,包括 GPT-3.5-turbo 和 GPT-4,也可以使用 GPT-3 架構微調模型,例如 Babbage-002:https://platform.openai.com/docs/guides/fine-tuning/what-models-can-be-fine-tuned,接著透過以下程式來進行微調:
from openai import OpenAI
client = OpenAI()
job_response = client.fine_tuning.jobs.create(training_file = file_id,
model = "babbage-002")
OpenAI 面臨有很多需求,我們提出的微調請求正在隊列中,工作完成後,通常會收到一封電子郵件,我們透過 Job ID 來檢視任務情況,其獲得方式為:
job_id = job_response.id
print(job_id)
job_details = client.fine_tuning.jobs.retrieve(job_id)
print(job_details)
status = job_details.status
print(f"Job status: {status}")