AI說書 - Prompt Engineering - 159 | 自動輸出細化探討

我們人類和ChatGPT的對話技巧也是需要學習的，有鑑於此，我想要一天分享一點「和ChatGPT對話的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

在 Madaan 等人最近於 2023 年的一項研究中，他們引入了一種稱為「Self-Refine」的方法，這種方法的靈感來自於人類完善書面文字的方式，其特別之處在於，同一個模型可以完成所有操作：它會建立輸出、檢查輸出，然後對其進行最佳化，它不需要任何監督訓練資料、額外訓練或強化學習。

該研究在七個不同的任務中測試了「Self-Refine」方法，發現與傳統的一步生成相比，任務表現有了顯著提高，它強調需要一種有效的細化方法，可以應用於各種任務，而不需要廣泛的監督，作者提出了基於十項標準的系統化細化流程：

1. Relevant：回應是否涵蓋了上下文的所有關鍵要素
2. Informative：回應是否提供了與上下文相關的相關訊息
3. Interesting：答覆是否超出了對查詢或陳述提供基本和預期答案的範圍
4. Consistent：回應在主題和語氣方面是否與對話的其餘部分保持一致
5. Helpful：回應是否有助於提供資訊或建議潛在的行動
6. Engaging：回應是否會激發進一步的對話並保持興趣
7. Specific：回覆是否包含與特定主題或問題直接相關的詳細內容
8. Safe：回覆是否不含攻擊性、有害或有毒內容，是否避免敏感話題或分享個人訊息
9. User Understanding：回應是否反映了對使用者輸入和心理狀態的理解
10. Fluent：回答是否以易於理解且流暢的方式表達

他們還引入了評分系統來評估反應，該系統為十個標準中的每個標準分配 1 到 3 的分數，反應的總分是每個標準的分數總和，此評分系統可以更客觀地評估產生的內容，並有助於確定需要改進的領域。