大型語言模型常用的提詞框架 | Coursera 課程回顧(下)
Overview-What is LLM?
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。
雖然大型語言模型在理解和生成文本方面表現驚人，但它們並非真正理解語言，也缺乏世界運作的知識，模型可能學到偏見或生成不準確的信息。
除了在上篇介紹的 Prompt Design Pattern 可以協助我們在使用 LLM 時給予指示，以更好的執行我們期望中的工作之外，今天我們會介紹其他的技巧，確保生成的輸出擁有特定的品質，包括:
- Chain of Thought Prompting
- One-shot/Few-shot
- ReAct Prompting
what you need to know when using a LLM?
- LLM 的數學很糟。LLM 是在大量文本上進行訓練，而解決數學問題可能需要其他模型。
- 使用英文來提詞你會的得到更好的回答。論文🔗
- 偏見與幻覺。LLM 在回應中基於它的訓練資料集可能展現偏見;在回答不知道答案的問題時可能產生“幻覺”或生成虛假信息。
- 耐心。LLM 透過精準的對話，基於對話的上下文，可以提供更精確的生成結果。
- 平庸的輸入導致平庸的輸出。請使用 Prompt Pattern… 等等方法提高生成輸出的品質。
Chain of Thought Prompting
Chain of Thought Prompting 是一種與大型語言模型（LLM）互動的方式，旨在通過建立連貫的思維過程，引導模型生成更深入、更有邏輯結構的回答，通常都會提高 LLM 生成答案的準確度。
在使用 Chain of Thought Prompting 有幾個特點:
- 首先， Chain of Thought Prompting 允許模型將多步驟問題分解為更多的中間步驟，這意味著需要更多運算資源處理推理步驟的問題。
- 其次， Chain of Thought Prompting 為模型的行為提供了一個可解釋的窗口，表明它可能如何獲得特定的答案，並提供調試推理路徑錯誤的機會
- 第三， Chain of Thought Prompting 可用於諸如數學單字問題、常識推理和符號操作等任務，並且原則上適用於人類可以透過語言解決的任何任務。
- 最後，只需將 Chain of Thought Prompting 推理的範例配合使用少量提示(One-shot/Few-shot Prompting)，就可以輕鬆地在的現成大型語言模型中引出 Chain of Thought Prompting 的推理。
context, information, conditions
input:1
reasoning:1
output:1
input:2
reasoning:2
output:2
input:3
reasoning:3
output:3
input: your question?
One-shots/Few-shots
One-shots 和 Few-shots 是一種強大的大型語言模型（LLM）使用框架。One-shots 和 Few-shots 指的是提供模型一些的範例就能夠學會新事物的能力。
這種學習方法的優勢在於其高效性和適應性。One-shots 和 Few-shots 更能夠迅速適應新的任務或情境，並在短時間內生成合理的回答。這種方式使得LLMs可以更靈活地應對各種問題，而不需要龐大的訓練數據集。
One-shots 和 Few-shots 的差別在於提供的範例數量為一個還是多個。
context, information, conditions
input:1
output:1
input:2
output:2
input:3
output:3
input: your question?
output:
ReAct Prompting
ReAct Prompting是一種與大型語言模型（LLM）互動的框架，其中大型語言模型（LLMs）以交替的方式生成推理軌跡和特定任務的操作，以達到更精確和符合期望的回應。
提供範例並要求模型生成推理軌跡使能夠誘導 LLM 追踪和更新行動計劃。操作步驟甚至允許LLMs 與外部資源（如知識庫或環境）進行串接互動，檢索附加信息，從而產生更可靠和事實準確的回應。
Task:
Think:
Action: Use Tools (SEARCH WEB, Video, other tools)
Result:
Think:
Action: Use Tools (SEARCH WEB, Video, other tools)
Result:
Think:
Action: Use Tools (SEARCH WEB, Video, other tools)
Result:
---
Task: [your task]
補充資料:其他框架技巧
延伸閱讀
三大大型語言模型工具
參考引源和學習資源整理
- https://www.coursera.org/learn/prompt-engineering
- A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT
- Dive into Deep Learning
- https://learnprompting.org/docs/intro
- https://learningprompt.gh.miniasp.com/zh-Hant/docs/chatgpt-learning-path
- https://github.com/devisasari/awesome-gpt-store?tab=readme-ov-file#music
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
今天聊聊由 Vadim Borisov[1]於2023年發表的文章，
《Language Models are Realistic Tabular Data Generators》[2]。
這篇文章的看點，是提出了GReaT 框架，實現使用「大語言模型 Large Language Mo
從頭開始寫大語言模型的程式碼，
是最好理解大語言模型的機制與限制的方風。
從頭開始寫大語言模型的程式碼，可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識，並應用到特定領域的數據及以及任務。
客製化大語言模型一般來說比起通用大語言模型有更好的表現。
一個具體的例子是
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
大語言模型是一種特殊的神經網路，設計來理解，生成與回應人類的文本。
大語言模型是使用大量文本數據訓練的深度神經網路，其訓練使用的文本數據甚至包括了整個網路公開的文本。
大語言模型的「大」，體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
大型語言模型 (LLM) 在最近幾年取得了重大進展，並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力，但它們對工作的影響仍然是一個複雜且充滿爭議的話題。
本文摘要自MIT 史隆管理評論，分析LLM 對工作帶來的影響。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
大語言模型（LLMs）對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。
這類模型，如GPT-4，
透過其龐大的數據集和複雜的參數設置，
提供了前所未有的語言理解和生成能力。
那麼，究竟是什麼讓這些模型「大」得如此不同呢？
對於熱衷於語言科技的你，
大語言模型（LLMs）在自然語言處理（NLP）領域的發展無疑是一個革命性的進展。
從傳統的規則系統到基於深度學習的方法，
LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。
這不僅是技術上的飛躍，
更是開啟了新的應用和可能性。
下面將介紹這一變革帶來的三大
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
今天聊聊由 Vadim Borisov[1]於2023年發表的文章，
《Language Models are Realistic Tabular Data Generators》[2]。
這篇文章的看點，是提出了GReaT 框架，實現使用「大語言模型 Large Language Mo
從頭開始寫大語言模型的程式碼，
是最好理解大語言模型的機制與限制的方風。
從頭開始寫大語言模型的程式碼，可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識，並應用到特定領域的數據及以及任務。
客製化大語言模型一般來說比起通用大語言模型有更好的表現。
一個具體的例子是
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
大語言模型是一種特殊的神經網路，設計來理解，生成與回應人類的文本。
大語言模型是使用大量文本數據訓練的深度神經網路，其訓練使用的文本數據甚至包括了整個網路公開的文本。
大語言模型的「大」，體現於模型的參數個數以及其使用的訓練數據集。如此大的模型可以有百億甚至千億的參數。這些參數都是神經網
大語言模型，例如OpenAI提供的ChatGPT，是過去幾年發展的深度神經網路模型，開啟自然語言處理的新紀元。
大型語言模型 (LLM) 在最近幾年取得了重大進展，並引起了人們對生成式AI將如何影響工作方式的廣泛重視。雖然 LLM 具有強大的文本生成、翻譯和理解能力，但它們對工作的影響仍然是一個複雜且充滿爭議的話題。
本文摘要自MIT 史隆管理評論，分析LLM 對工作帶來的影響。
大型語言模型(LLM)是基於深度學習的自然語言處理模型，而多模態模型(LMM)能處理多種資料型態。這些模型將對未來帶來重大改變。LLM 專注於理解和生成自然語言，LMM 能夠處理跨模態的內容，並整合多種資料的能力，有望成為未來趨勢。
大語言模型（LLMs）對於任何對人工智能和自然語言處理感興趣的人來說都是一個令人興奮的領域。
這類模型，如GPT-4，
透過其龐大的數據集和複雜的參數設置，
提供了前所未有的語言理解和生成能力。
那麼，究竟是什麼讓這些模型「大」得如此不同呢？
對於熱衷於語言科技的你，
大語言模型（LLMs）在自然語言處理（NLP）領域的發展無疑是一個革命性的進展。
從傳統的規則系統到基於深度學習的方法，
LLMs展現了在理解、生成和翻譯人類語言方面的巨大突破。
這不僅是技術上的飛躍，
更是開啟了新的應用和可能性。
下面將介紹這一變革帶來的三大