OpenAI推出新功能 回應速度變快幾倍

OpenAI最近推出了一項名為「預測輸出」的新功能，旨在顯著提高其GPT-4o模型的反應速度。根據官方訊息，此功能能夠使輸出速度提升至原先的5倍，例如，原本需要70秒完成的程式設計任務，現在只需20秒即可完成。

功能概述

「預測輸出」功能的核心在於跳過已知內容，避免從頭開始生成，這使得它特別適合以下任務：

• 更新部落格文章
• 迭代先前的回應
• 重寫現有文件中的程式碼

透過將現有內容作為預測輸入，開發者可以顯著減少延遲，從而提高效率。例如，在處理文件或重構程式碼時，模型可以快速產生修改後的內容，而無需重新產生整個文件。

技術細節

OpenAI在其官方文件中指出，使用「預測輸出」時需要注意以下幾點：

• 目前僅支援GPT-4o和GPT-4o mini系列模型，不支援最新的o1型號。
• 在使用過程中，不支援某些API參數，例如n值大於1、logprobs、presence_penalty等。

此外，儘管響應速度提高，但使用「預測輸出」的費用也有所增加。例如，一次未採用此功能的請求費用為0.1555美分，而採用後則為0.2675美分。

使用者回饋

許多用戶在實際測試中回饋，「預測輸出」的速度確實非常快。例如，一位用戶在將部落格文章轉換為SEO內容時，體驗到了顯著的速度提升。開發者們對這項新功能表示歡迎，認為它為程式設計和文件處理帶來了更高的效率。