使用Meta釋出的模型,實作Chat GPT - 補充

閱讀時間約 2 分鐘

回顧 自己做免錢Chat GPT吧


當中,我希望外掛一個外部知識庫,叫做RAG,來提升整體問答的品質,同時又能避免機敏資訊被Chat GPT竊取。

緣由參見 ChatGPT回答不是你要的怎麼辦?

詳細實作於 使用Meta釋出的模型,實作Chat GPT - Part 5


那這外部知識庫的形式可以有很多種,我們之前介紹了Web形式、PDF形式,這次我們新增一種CSV的形式,按照往例,直接提供乾貨:

# ---------------------- Multiple CSV Version ----------------------

from google.colab import files
uploaded = files.upload()
All_Splits = []

import os
print(os.listdir())

from langchain_community.document_loaders.csv_loader import CSVLoader

from langchain.text_splitter import RecursiveCharacterTextSplitter

Loaders = [CSVLoader(file_name) for file_name in os.listdir() if '.csv' in file_name]
for Loader in Loaders:
Documents = Loader.load()
print(Documents)
Text_Splitter = RecursiveCharacterTextSplitter(chunk_size = 500, chunk_overlap = 100)
All_Split = Text_Splitter.split_documents(Documents)
All_Splits.extend(All_Split)

並提供運行成功的示意圖供參:

raw-image


avatar-img
170會員
453內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Learn AI 不 BI 的其他內容
人工智慧中最受歡迎的作法莫過於類神經網路,以當今最受歡迎的大型語言模型 (LLM)也不例外,然而這些持續受到爭議:黑盒子,也就是說我們不知道它內部怎麼運作,只知道給它一段話,它就會輸出一段話來回應。 以下從幾個面向來討論「黑盒子」議題: 透明性 Transparency 以LLM模型的開
回顧ChatGPT回答不是你要的怎麼辦?這篇文章,Chat GPT回答的結果常常不如人意,因此有個Facebook提出的技術,叫做RAG,它是提升Chat GPT回答品質的方式之一,詳細實作步驟可以參照自己做免錢Chat GPT吧。 這次我們來換個方法,今天要介紹Reinforcement Lea
當Chat GPT回答的東西不是你想要的,怎麼辦呢? 我們提供想法的思路於:ChatGPT回答不是你要的怎麼辦? 我想自己動手改善,但是我沒有GPU這項資源怎麼辦? 我們提供免費使用方式於:使用Meta釋出的模型,實作Chat GPT - Part 0 有了操作環境,但是我不知道怎麼
到目前為止,我們已經完成RAG技術的實作,在上一篇文章使用Meta釋出的模型,實作Chat GPT - Part 5中,可以看到加入RAG之後,可以讓我的大型語言模型回答更為精確。 現在我們要把它用一個畫面做呈現,而不是以程式碼來給大家看,就類似Chat GPT這樣,背後有複雜的程式運行,但是眾人
延續使用Meta釋出的模型,實作Chat GPT - Part 4,我們現在遇到一個問題:語言模型回答的資訊不是我想要的。 於是我參照ChatGPT回答不是你要的怎麼辦?,想使用低成本的技術:RAG,來改善這問題。 以下開始實作,首先引入一個重量級工具包,它叫做LangChain,這是做語言模型
在使用Meta釋出的模型,實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表,現在我們將它製作成一個物件,對應程式如下: from transformers import StoppingCriteria, StoppingCriteriaList
人工智慧中最受歡迎的作法莫過於類神經網路,以當今最受歡迎的大型語言模型 (LLM)也不例外,然而這些持續受到爭議:黑盒子,也就是說我們不知道它內部怎麼運作,只知道給它一段話,它就會輸出一段話來回應。 以下從幾個面向來討論「黑盒子」議題: 透明性 Transparency 以LLM模型的開
回顧ChatGPT回答不是你要的怎麼辦?這篇文章,Chat GPT回答的結果常常不如人意,因此有個Facebook提出的技術,叫做RAG,它是提升Chat GPT回答品質的方式之一,詳細實作步驟可以參照自己做免錢Chat GPT吧。 這次我們來換個方法,今天要介紹Reinforcement Lea
當Chat GPT回答的東西不是你想要的,怎麼辦呢? 我們提供想法的思路於:ChatGPT回答不是你要的怎麼辦? 我想自己動手改善,但是我沒有GPU這項資源怎麼辦? 我們提供免費使用方式於:使用Meta釋出的模型,實作Chat GPT - Part 0 有了操作環境,但是我不知道怎麼
到目前為止,我們已經完成RAG技術的實作,在上一篇文章使用Meta釋出的模型,實作Chat GPT - Part 5中,可以看到加入RAG之後,可以讓我的大型語言模型回答更為精確。 現在我們要把它用一個畫面做呈現,而不是以程式碼來給大家看,就類似Chat GPT這樣,背後有複雜的程式運行,但是眾人
延續使用Meta釋出的模型,實作Chat GPT - Part 4,我們現在遇到一個問題:語言模型回答的資訊不是我想要的。 於是我參照ChatGPT回答不是你要的怎麼辦?,想使用低成本的技術:RAG,來改善這問題。 以下開始實作,首先引入一個重量級工具包,它叫做LangChain,這是做語言模型
在使用Meta釋出的模型,實作Chat GPT - Part 3中我們已經建立好大型語言模型遇到哪些「字串」要停止輸出的列表,現在我們將它製作成一個物件,對應程式如下: from transformers import StoppingCriteria, StoppingCriteriaList
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
今天又發現ChatGPT的一些缺點, 使用時需要很準確的提供你想要表達的文字(我覺得還蠻重要的) 又或者拿一些範例給它看, 它就能更準確的回答問題, 因為今天我發現有一篇文章和之前寫過的完全一樣了, 所以又要再請ChatGPT生成30則勵志英文短文, 結果之前發問的問題已經消失了, 又
Thumbnail
因為網路上充斥著 是是而非的資訊,公說公有理 婆說婆有理,我發現我的價值觀開始有點混淆,心中有許多問題 不知道真正的答案是甚麼?突然 想到最近的AI新科技-ChatGPT 或許可以解答我內心的困惑。所以我試著與ChatGPT進行對話,沒想到ChatGPT 的回覆 完全可以解答我心中的疑惑。
最近開始慢慢接觸ChatGPT,主要是對文本生成有興趣,且前一段時間去書店看到結合一些軟體做成影片、圖片各種內容等。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
Thumbnail
🍁本篇榮獲《1111人力銀行》【大學網有問必答】 刊登!ChatGPT聊的很愉快,但是回頭要找重要的對話記錄,卻如大海撈針,怎麼辦?今天石頭哥就帶你使用一個簡單的方法保存吧!
Thumbnail
從ChatGPT 4.0到GPTs 我是ChatGPT 4.0的付費使用者,說真格的,自從付費之後,就不想退出了,因為真是好用。 最近,ChatGPT 4.0又提供了GPTs的服務...... 有時候別人邀請我演講,我都會先溝通需求,有一次,某間學校邀請我對學生分享ChatGPT等生成式人工智
Thumbnail
這是一篇跟 chatGPT 合作的廢文。文章從標題到內文都由 chatGPT撰寫由我下點評,模擬我 與 chatGPT 老師對談,做一場思辨實驗。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
今天又發現ChatGPT的一些缺點, 使用時需要很準確的提供你想要表達的文字(我覺得還蠻重要的) 又或者拿一些範例給它看, 它就能更準確的回答問題, 因為今天我發現有一篇文章和之前寫過的完全一樣了, 所以又要再請ChatGPT生成30則勵志英文短文, 結果之前發問的問題已經消失了, 又
Thumbnail
因為網路上充斥著 是是而非的資訊,公說公有理 婆說婆有理,我發現我的價值觀開始有點混淆,心中有許多問題 不知道真正的答案是甚麼?突然 想到最近的AI新科技-ChatGPT 或許可以解答我內心的困惑。所以我試著與ChatGPT進行對話,沒想到ChatGPT 的回覆 完全可以解答我心中的疑惑。
最近開始慢慢接觸ChatGPT,主要是對文本生成有興趣,且前一段時間去書店看到結合一些軟體做成影片、圖片各種內容等。
Thumbnail
ChatGPT(全名:聊天生成預訓練轉換器)是一個由 OpenAI 開發的人工智慧聊天機器人程式。它於 2022 年 11 月推出,使用了基於 GPT-3.5、GPT-4 和 GPT-4o 架構的大型語言模型,並以強化學習進行訓練。
Thumbnail
從第一次使用到現在,使用GPT近一年的經驗分享。介紹在使用GPT時的困難、挑戰及學習到的技巧,以及如何讓GPT更好地理解所需內容。
Thumbnail
🍁本篇榮獲《1111人力銀行》【大學網有問必答】 刊登!ChatGPT聊的很愉快,但是回頭要找重要的對話記錄,卻如大海撈針,怎麼辦?今天石頭哥就帶你使用一個簡單的方法保存吧!
Thumbnail
從ChatGPT 4.0到GPTs 我是ChatGPT 4.0的付費使用者,說真格的,自從付費之後,就不想退出了,因為真是好用。 最近,ChatGPT 4.0又提供了GPTs的服務...... 有時候別人邀請我演講,我都會先溝通需求,有一次,某間學校邀請我對學生分享ChatGPT等生成式人工智
Thumbnail
這是一篇跟 chatGPT 合作的廢文。文章從標題到內文都由 chatGPT撰寫由我下點評,模擬我 與 chatGPT 老師對談,做一場思辨實驗。