AI說書 - 從0開始 - 216 | OpenAI GPT 4 API 超參數調整

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

回顧我們在 AI說書 - 從0開始 - 215 | OpenAI GPT 4 API 中給出了一段程式做推論，當中不乏很多超參數，我們可以試著調配看看：

• model = "gpt-4"：選擇要使用的 OpenAI GPT 模型以及未來可能的其他模型
• temperature = 0：較高的值，例如 0.9，將迫使模型承擔更多的風險
• max_tokens = 256：回應的最大 token 數
• top_p = 1.0：Top-P 會選擇機率最高的若干項，直到這些項的機率之和達到 top_p = 1.0 的值，然後，從這些機率中隨機選擇一個
• frequency_penalty = 0.0：一個介於 0 和 1 之間的值，用於限制給定回應中 token 出現的頻率
• presence_penalty = 0.0：一個介於 0 和 1 之間的值，迫使系統使用新的 tokens 並產生新的想法