LLM 串連:利用不同模型的優勢完成更複雜和多樣的任務

閱讀時間約 5 分鐘

前言

在先前的文章中,我們探討了 IBM Watsonx 在客戶滿意度分析中的應用。今天,我們將利用 Google 的兩款大型語言模型(LLM)— flan-ul2 和 flan-t5-xxl,展示它們如何串聯起來生成關於特定主題的隨機問題和回答。

在這篇文章中,將使用 SimpleSequentialChain 方法,其中一個模型的輸出將成為另一個模型的輸入,形成一個連續的對話流程。以下說明如何設置和運用這兩個模型,以及它們是如何互相作用來產生有趣且相關的問答。

Chain的基本概念

LLM 是一種深度學習模型,經過大量的文本訓練,使其擁有從海量的知識中識別、匯總、翻譯、預測等能力。Chain 是一種將多個 LLM 連接在一起,以完成更複雜和多樣的任務的方法。Chain 可以讓您利用不同模型的優勢,並將它們的輸出作為下一個模型的輸入,形成一個有序的工作流程。

例如,您可以使用一個 LLM 來生成一個問題,然後使用另一個 LLM 來回答該問題,或者使用一個 LLM 來翻譯一段文本,然後使用另一個 LLM 來摘要該文本。如果想要串聯多個 LLMChain,您可以使用 SimpleSequentialChain 或 SequentialChain 類別來實現。這些類別可以讓多個 LLMChain 按照順序連接起來,並將前一個 LLMChain 的輸出作為後一個 LLMChain 的輸入。

raw-image


實作

選擇基礎模型

model_id_1 = ModelTypes.FLAN_UL2
model_id_2 = ModelTypes.FLAN_T5_XXL

這次為了要讓兩模型互動,選擇了兩個基礎模型。

定義模型參數

from ibm_watson_machine_learning.metanames import GenTextParamsMetaNames as GenParams
from ibm_watson_machine_learning.foundation_models.utils.enums import DecodingMethods

parameters = {
GenParams.DECODING_METHOD: DecodingMethods.SAMPLE,
GenParams.MAX_NEW_TOKENS: 100,
GenParams.MIN_NEW_TOKENS: 1,
GenParams.TEMPERATURE: 0.5,
GenParams.TOP_K: 50,
GenParams.TOP_P: 1
}

Simple Sequential Chain

「簡易串聯鏈」(SimpleSequentialChain)是一種基礎鏈結構,其中每個階段的輸出自動成為下一階段的輸入。在這個過程中,我們將使用兩個 PromptTemplate 對象:一個用於創造隨機問題,另一個用於回答問題。這樣的設置允許我們將 LLMChain 串連,實現自動問題生成和回答

from langchain import PromptTemplate

prompt_1 = PromptTemplate(
input_variables=["topic"],
template="Generate a random question about {topic}: Question: "
)
prompt_2 = PromptTemplate(
input_variables=["question"],
template="Answer the following question: {question}",
)

實際 inference

from langchain.chains import LLMChain

prompt_to_flan_ul2 = LLMChain(llm=flan_ul2_model.to_langchain(), prompt=prompt_1)
flan_to_t5 = LLMChain(llm=flan_t5_model.to_langchain(), prompt=prompt_2)
from langchain.chains import SimpleSequentialChain 
qa = SimpleSequentialChain(chains=[prompt_to_flan_ul2, flan_to_t5], verbose=True)

產生

raw-image

應用中文版

raw-image

延伸應用在 FAQ 的生成

raw-image


小心得

這次練習 LLM 串連的基本概念和實作方法,並展示了如何使用 Google 的兩款大型語言模型 flan-ul2 和 flan-t5-xxl 生成關於特定主題的隨機問題和回答。通過 LLM 串連,我們可以將多個 LLM 模型按照順序連接起來,形成一個有序的工作流程,並利用不同模型的優勢來完成更複雜和多樣的任務。

在這個過程中,當兩個語言模型被放在一起時,它們可以開始進行對話和討論,這為智能客服或對話機器人等應用中的 AI 創造了更多的價值。希望這篇文章能夠幫助您更好地理解 LLM 串連的概念和應用,並啟發您在自己的項目中使用 LLM 串連來實現更多的創新和價值,感謝看到這裡的你,我們下次見~

24會員
28內容數
歡迎來到《桃花源記》專欄。這裡不僅是一個文字的集合,更是一個探索、夢想和自我發現的空間。在這個專欄中,我們將一同走進那些隱藏在日常生活中的"桃花源"——那些讓我們心動、讓我們反思、讓我們找到內心平靜的時刻和地方
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
92
如何攻擊 LLM (ChatGPT) ?ChatGPT 在去年十一月橫空出世,每個人都驚探於它的能力,AI 也從遙遠的科技成為很多人每天都在使用的工具,但是自從 AI 成為最熱門的話題之後,始終有一群人一直大聲疾呼,我們需要小心發展 AI,另一方面則要提防 AI 被壞人利用,在影片中,Andrej Karpathy 介紹了三種已知的安全漏
Thumbnail
2023-12-07
6
點子分享 | AI 訂房網站,用 chatgpt 和 LLM 讓搜尋訂房流程更快更簡單做一個網頁或是 App 除了原本 agoda 有的搜尋條件外,增加一個可以輸入 prompt 的小對話筐 可以輸入你額外的條件,按下搜尋後輸出結果 輸出的結果除了適合你的房子外,還會寫出為什麼適合你,以及你額外的條件他有幾項符合
Thumbnail
【技術嘗試 Try Technique】嘗試一個微調金融領域的 LLM - FinGPT - 來辨識新聞情緒嘗試一個微調金融領域的 LLM:FinGPT (一個追求開源、輕量、低成本的微調在金融領域的 LLM(大型語言模型)),來做新聞標題情感(Sentiment)極性辨識。 PS. 有附註 Hugging Face 模型下載與 cache 路徑自定義說明 因為研究題目,最近在接觸各種金融領域微調(
Thumbnail
2023-09-10
4
[AI小學堂(5)]大型語言模型LLM是怎麼一回事? ChatGPT背後的技術 大型語言模型 是否與我們前面介紹的神經網路相同呢? 答案是不同的,這也是我們想要進一步探討了解的課題。今天會先解釋什麼是語言模型,想要做到的是哪些事情。
Thumbnail
2023-08-27
1
15. 使用LLMChain连接Google和计算器大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Thumbnail
2023-07-31
1
【LLM大型語言模型】 淺談生成式AI的一些困境雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
2023-06-30
6
大型語言模型(LLM)的非常通俗易懂的介紹[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
2023-05-18
5
粗淺聊一下大語言模型LLM什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
串連新舊歷史_國立台灣史前文化博物館南科考古館如果博物館作為承載 文化歷史與教育的本質,如何在資訊氾濫的當下抓住學習欲望與對話本質變得尤為重要。濃縮的話題與網美打卡的背景牆或許也是要一併思考的議題了... 「剖析、穿梭、交織、下探、滲透」串連新舊歷史展望未來,環環相扣的架構與清晰的詮釋與大膽的量體手法,扎實厚重的力道深深的作為跨年小旅行的序曲.
Thumbnail
2022-01-08
10
迎新活動「方格新手村」:新格友註冊加入方格子,知名日料吃到飽餐券送給你! 👉 還不是 vocus 的會員嗎?點此註冊,參與新手村活動 👈 近期站上也出現了不少新格友,為了歡迎各位的加入,「方格新手村」隨之登場! 即日起,只要是新註冊帳號於活動期間內發佈 3 則文章,就有機會抽獎獲得知名日料吃到飽餐券。原格友也可以一起同樂,我們準備了小任
Thumbnail
2024-06-21
92
如何攻擊 LLM (ChatGPT) ?ChatGPT 在去年十一月橫空出世,每個人都驚探於它的能力,AI 也從遙遠的科技成為很多人每天都在使用的工具,但是自從 AI 成為最熱門的話題之後,始終有一群人一直大聲疾呼,我們需要小心發展 AI,另一方面則要提防 AI 被壞人利用,在影片中,Andrej Karpathy 介紹了三種已知的安全漏
Thumbnail
2023-12-07
6
點子分享 | AI 訂房網站,用 chatgpt 和 LLM 讓搜尋訂房流程更快更簡單做一個網頁或是 App 除了原本 agoda 有的搜尋條件外,增加一個可以輸入 prompt 的小對話筐 可以輸入你額外的條件,按下搜尋後輸出結果 輸出的結果除了適合你的房子外,還會寫出為什麼適合你,以及你額外的條件他有幾項符合
Thumbnail
【技術嘗試 Try Technique】嘗試一個微調金融領域的 LLM - FinGPT - 來辨識新聞情緒嘗試一個微調金融領域的 LLM:FinGPT (一個追求開源、輕量、低成本的微調在金融領域的 LLM(大型語言模型)),來做新聞標題情感(Sentiment)極性辨識。 PS. 有附註 Hugging Face 模型下載與 cache 路徑自定義說明 因為研究題目,最近在接觸各種金融領域微調(
Thumbnail
2023-09-10
4
[AI小學堂(5)]大型語言模型LLM是怎麼一回事? ChatGPT背後的技術 大型語言模型 是否與我們前面介紹的神經網路相同呢? 答案是不同的,這也是我們想要進一步探討了解的課題。今天會先解釋什麼是語言模型,想要做到的是哪些事情。
Thumbnail
2023-08-27
1
15. 使用LLMChain连接Google和计算器大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Thumbnail
2023-07-31
1
【LLM大型語言模型】 淺談生成式AI的一些困境雖然ChatGPT這種基於大型語言模型(LLM)的助手, 在大部分的場景都能滿足我們的需求, 但也並非完美, 在使用時仍需注意一些隱患。 以下是LLM的一些缺陷及需要注意的點。 弱弱的數學造成明顯錯誤 過份樂觀帶來錯誤資訊 相信常常使用ChatGPT的朋友應該都有發現到, 不論我們怎麼提問, Cha
Thumbnail
2023-06-30
6
大型語言模型(LLM)的非常通俗易懂的介紹[進行中未完成] 1.簡介 本文旨在讓沒有計算機科學背景的人對ChatGPT和類似的人工智能系統 (如GPT-3、GPT-4、Bing Chat、Bard等)有一些了解。 ChatGPT是一種聊天機器人,是建立在大型語言模型之上的對話型人工智能。專業術語可能會讓人感到陌生,但此文將一一解釋這些概念。
Thumbnail
2023-05-18
5
粗淺聊一下大語言模型LLM什麼是LLM? 根據Meta AI的文章提到,大型語言模型是具有超過 1,000 億個參數的自然語言處理(natural language processing,NLP)系統,經過大量文字訓練,能夠閱讀並回答問題或者生成新的文字。 同時LLM們,不一定只能去產新的文字,而是端看參數是什麼,如果參數的
Thumbnail
串連新舊歷史_國立台灣史前文化博物館南科考古館如果博物館作為承載 文化歷史與教育的本質,如何在資訊氾濫的當下抓住學習欲望與對話本質變得尤為重要。濃縮的話題與網美打卡的背景牆或許也是要一併思考的議題了... 「剖析、穿梭、交織、下探、滲透」串連新舊歷史展望未來,環環相扣的架構與清晰的詮釋與大膽的量體手法,扎實厚重的力道深深的作為跨年小旅行的序曲.
Thumbnail
2022-01-08
10