Ted Chen
18 位追蹤者
一個近幾年專注於 語言教育 / 自然語言處理 / 大型語言模型應用 的 IT 人
https://www.facebook.com/Chen.Ching.Tai
18會員
19內容數
全部內容
由新到舊
本篇文章深入探討了如何評估模糊訊息在對話系統開發中的它的品質驗證方式，並且使用了類似Rubic評分準則的方法來評估回覆訊息。也介紹了專家回覆與實際回覆比較的評估方式。文章最終目的希望能讓讀者具備開發自己的對話機器人的知識。
此文針對對話系統的持續開發和改進過程進行詳細解說，尤其在提示訊息的設計與驗證方面。以大賣場的銷售助理為例，我們設計了提示訊息，進行多次測試與調整，確保回應結果符合預期。透過建立測試集和評估函式，我們實現了批次驗證，確保所有測試項目的有效性。
本篇文章探討如何整合大型語言模型與外部程式與資源來生成回應訊息。我們使用OpenAI的Moderation API來確認內容的合適性，並使用新的提示來評估是否真正解答了使用者的疑問。整體流程的匯整讓我們一覽全貌。我們將在下一篇文章中分享更多有關回應訊息評估的細節。
本文詳述如何將大型語言模型（LLM）與程式碼深度整合，運用於3C賣場的客服助理示例，透過接收並解析使用者訊息，提取產品資訊，並與後端產品資料庫整合。接著，將整合資訊回傳給LLM生成最終回應訊息。同時，也探討了中英文理解差距及解決方法，並展示如何利用Python模擬資料庫提取詳細資訊。
這篇文章詳細說明了「思考鏈」的概念以及如何應用在設計語言模型客服助理的過程中。使用分隔號和角括弧以設定步驟、區隔訊息和提供填充空間，這種方式可使語言模型更有效地處理和回應使用者的諮詢，包括在產品清單中找不到的諮詢。
這堂課闡述開發ChatGPT所需的重要概念和工具。涵蓋語言模型如何處理文字(Token)，LLM的兩種類型（Base LLM和Instruction tuned LLM），系統、助手和用戶的角色定義。並介紹以Prompting簡化AI開發流程，且透過實戰教學說明如何進行分類和預防注入提示
本文探討大資料對模型的影響。研究指出，大資料量對模型的語法和世界知識理解有顯著影響。固定運算資源下，DeepMind發現適應參數數量更重要，這使模型Chinchilla以較小規模但更多訓練資料，在實際任務中優於Gopher模型。這說明增大模型的規模已不具有太大意義，應增加訓練資料。
本文探討了大型語言模型中的特殊現象，包括頓悟現象，大模型的隱藏知識引導，以及模型越大對某些問題的理解越偏離的U型曲線。文章強調，當模型不夠理想時，我們需要更好地引導模型或了解問題的本質，而非只是增加模型的大小。
本文探討大型語言模型的兩種主要類型：GPT和BERT。GPT，如ChatGPT，被視為"通才"，能執行多種任務。BERT則被視為"專才"的基本語言模型。兩者各有優點：專才模型在特定任務上準確度高，而通才模型靈活多功能。選擇哪種取決於需求和目標。
本文介紹了生成式學習中的兩種策略：「各個擊破」和「一次到位」。這兩種策略在生成速度和品質之間達到平衡。為了提高速度，可以採用"N次到位"的Diffusion Model策略。在語音和影像生成中，可以結合這兩種策略以充分利用優勢。融合策略可以同時確保品質和速度，展現人工智慧的潛力。
