付費限定

18. 根据垂直需求微调模型

閱讀時間約 41 分鐘

大家好,我是茶桁。

最近事情太多,这一节课更新的有些晚了。

首先我们先了解一下我们本节课讲要讲一些什么,我们之前介绍过 llama-index 和 LangChain,学习了将大语言模型和自己的知识库组合来解决问题的方法。这个方法中,我们不需要调整我们使用的模型,而是使用嵌入向量索引我们的数据,并在需要时查询索引来解决问题。

然而,我们也可以完全利用自己的数据,创建一个新的模型来解决问题。这种方法是OpenAI提供的微调模型功能。这也是我们要探讨的大语言模型的最后一个主题。

如何微调模型

我们都知道,AI其实是建立在大语言模型之上的,而模型再如何补全,也没有办法全知全能。在很多时候,AI所回答的内容常常错漏百出,甚至于一些垂直领域可能完全词不达意。这些其实都是因为缺少了特定领域的训练数据,而我们要做的,就是要补全这一部分数据进行训练,为我们自己的需求微调出一个擅长本领域的模型。

以行動支持創作者!付費即可解鎖
本篇內容共 16618 字、0 則留言,僅發佈於从零开始接触人工智能大模型你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
9會員
62內容數
从基础开始,再到Python,然后是CV、BI、NLP等相关技术。从头到尾详细的教授一边人工智能。
留言0
查看全部
發表第一個留言支持創作者!
茶桁的沙龍 的其他內容
Hi,大家好。我是茶桁。 在第 11 讲中,我向您介绍了如何将各种资料内容向量化,借助Llama-index建立索引,对我们自己的文本资料进行问答。在过去的3讲中,我们深入了解了如何使用Langchain。该工具可帮助我们整合AI对语言的理解和组织能力、外部各种资料或者SaaS的API,以及您自己
你好,我是茶桁。 在之前的两讲中,我们深入了解了 Langchain 的 LLMChain 核心功能,它可以帮助我们链式地调用一系列命令,包括直接调用 OpenAI 的 API、调用其他外部接口或自己实现的 Python 代码。但这只是完成一个小任务所需的调用序列。除了这些,LangChain
大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Hi, 大家好,我是茶桁。 OpenAI 的大语言模型提供了 Completion 和 Embedding 两个核心接口。 我们可以通过增加提示语(Prompt)历史记录来提高模型的回答准确性和自然性。还可以将 Embedding提前索引好存起来,以此做到让AI根据外部知识来回答问题, 在我们
Hi,大家好,我是茶桁。 很遗憾在上一讲,也就是第12讲的时候,咱们对于利用AI写一个VBA宏来执行Excel任务的过程并不顺利,仔细想来既然大家都在这里看这个系列文章了,应该也基本都会Python的,所以一个Excel自动化也并无太大影响,毕竟,这种商业软件的集成一定是早晚的事情,咱们也不必在这
开头我就要跟各位先说对不起,本来我是很想为大家把这部分实现并完成的。但是很抱歉,因为我用的Mac,而这部分代码实现起来的时候一直会如下报错: 当然,其实是可以迂回实现的,就是使用Mac本来的AppleScript,不过实现效果并不好,所以想想也就算了。毕竟我考虑,可能看我这些系列文章的人都多多少少
Hi,大家好。我是茶桁。 在第 11 讲中,我向您介绍了如何将各种资料内容向量化,借助Llama-index建立索引,对我们自己的文本资料进行问答。在过去的3讲中,我们深入了解了如何使用Langchain。该工具可帮助我们整合AI对语言的理解和组织能力、外部各种资料或者SaaS的API,以及您自己
你好,我是茶桁。 在之前的两讲中,我们深入了解了 Langchain 的 LLMChain 核心功能,它可以帮助我们链式地调用一系列命令,包括直接调用 OpenAI 的 API、调用其他外部接口或自己实现的 Python 代码。但这只是完成一个小任务所需的调用序列。除了这些,LangChain
大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Hi, 大家好,我是茶桁。 OpenAI 的大语言模型提供了 Completion 和 Embedding 两个核心接口。 我们可以通过增加提示语(Prompt)历史记录来提高模型的回答准确性和自然性。还可以将 Embedding提前索引好存起来,以此做到让AI根据外部知识来回答问题, 在我们
Hi,大家好,我是茶桁。 很遗憾在上一讲,也就是第12讲的时候,咱们对于利用AI写一个VBA宏来执行Excel任务的过程并不顺利,仔细想来既然大家都在这里看这个系列文章了,应该也基本都会Python的,所以一个Excel自动化也并无太大影响,毕竟,这种商业软件的集成一定是早晚的事情,咱们也不必在这
开头我就要跟各位先说对不起,本来我是很想为大家把这部分实现并完成的。但是很抱歉,因为我用的Mac,而这部分代码实现起来的时候一直会如下报错: 当然,其实是可以迂回实现的,就是使用Mac本来的AppleScript,不过实现效果并不好,所以想想也就算了。毕竟我考虑,可能看我这些系列文章的人都多多少少
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
上一篇我們介紹了模擬API的工具箱「【Mockoon工具箱】awesome API mocking簡介」, 也示範如何模擬回傳資料, 但我們的API通常千變萬化, 尤其是會搭配不同的查詢條件進行資料的抓取,正好Mockoon也提供了Rules的一個功能, 透過規則的設定回應不同的資料內容。 API入
Thumbnail
在國語文訓練中,「寫」是最困難的一件事。許多孩子的聽、說能力不錯,甚至閱讀能力也不差,但面對「寫」這件事,常有孩子直接豎起白旗,「我不會寫~」、「我想不到~」這樣痛苦的哀嚎常出現在要求孩子寫作時。一般學生的寫作練習可以交給學校老師,但如果是一個自學生,家長又可以透過哪些基礎練習來奠定孩子的寫作能力?
Thumbnail
2021/8/18(三) 穩固根基 以賽亞書28:15-22 Photo by Jeppe Hove Jensen on Unsplash 當時的以色列分裂為南北兩國, 東邊崛起的亞述帝國正張著滿是獠牙的大嘴對各國虎視眈眈。 28:1-6的「以法蓮」是北國以色列的借代, 以賽亞說他們頭上的高傲要被摔
Thumbnail
期待有更多的男性投入心理諮商的行業 心理諮商師的性別比率  依據行政院性別平等委員會性別統計資料庫的資料顯示,108年7月份諮商心理師的從業人員總數為2608人,其中女性為2102人,男性為506人,由此可以看出在諮商心理師的行業上,女性的比率佔81%,而男性的比率佔19%。 不只在台灣,目前英國N
他蛻變成小說里千年殭屍的不死身,無惡不作的販賣人口、販毒和主持一個有關如何能護膚瘦身養顏的女性電視欄目...禍害人間數百載的惡魔。在一個月黑風高的夜裡,當老大走出電視台大門,與身旁數名胖妹正準備去宵夜之際,被電神和雷神的雙掌打入二十層地底,永不超生。三名站老大身旁胖妹捂嘴驚訝尖叫著老大竟然還會變魔術
Thumbnail
「嗯?快點啊,還是,」艾莉西亞說:「你們真的聽不懂問題呀,沒關係啊,我會再說一次的,請問他們兩人都被推進水──」
喜歡本篇故事請分享、收藏,微光也很感激各位的鼓勵。 三分微光目前出版奇幻浪漫故事《千里音緣一弦牽》、奇幻推理《天主的劇本》、明初武俠小說《日月昇》 、新作品《輕挑幼稚的王杉芬和他的愛情故事》也上線了 可在 PUBU電子書城、MYBOOK、BookU趣看書、Google Play 圖書、Hami
Thumbnail
五年前的我,在電視機前大罵「暴民」;五年後的我,誓言有天要跟他們一樣。
Thumbnail
<p>剛用不太流利的中文問我們從哪裡來的她。</p>
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
Thumbnail
上一篇我們介紹了模擬API的工具箱「【Mockoon工具箱】awesome API mocking簡介」, 也示範如何模擬回傳資料, 但我們的API通常千變萬化, 尤其是會搭配不同的查詢條件進行資料的抓取,正好Mockoon也提供了Rules的一個功能, 透過規則的設定回應不同的資料內容。 API入
Thumbnail
在國語文訓練中,「寫」是最困難的一件事。許多孩子的聽、說能力不錯,甚至閱讀能力也不差,但面對「寫」這件事,常有孩子直接豎起白旗,「我不會寫~」、「我想不到~」這樣痛苦的哀嚎常出現在要求孩子寫作時。一般學生的寫作練習可以交給學校老師,但如果是一個自學生,家長又可以透過哪些基礎練習來奠定孩子的寫作能力?
Thumbnail
2021/8/18(三) 穩固根基 以賽亞書28:15-22 Photo by Jeppe Hove Jensen on Unsplash 當時的以色列分裂為南北兩國, 東邊崛起的亞述帝國正張著滿是獠牙的大嘴對各國虎視眈眈。 28:1-6的「以法蓮」是北國以色列的借代, 以賽亞說他們頭上的高傲要被摔
Thumbnail
期待有更多的男性投入心理諮商的行業 心理諮商師的性別比率  依據行政院性別平等委員會性別統計資料庫的資料顯示,108年7月份諮商心理師的從業人員總數為2608人,其中女性為2102人,男性為506人,由此可以看出在諮商心理師的行業上,女性的比率佔81%,而男性的比率佔19%。 不只在台灣,目前英國N
他蛻變成小說里千年殭屍的不死身,無惡不作的販賣人口、販毒和主持一個有關如何能護膚瘦身養顏的女性電視欄目...禍害人間數百載的惡魔。在一個月黑風高的夜裡,當老大走出電視台大門,與身旁數名胖妹正準備去宵夜之際,被電神和雷神的雙掌打入二十層地底,永不超生。三名站老大身旁胖妹捂嘴驚訝尖叫著老大竟然還會變魔術
Thumbnail
「嗯?快點啊,還是,」艾莉西亞說:「你們真的聽不懂問題呀,沒關係啊,我會再說一次的,請問他們兩人都被推進水──」
喜歡本篇故事請分享、收藏,微光也很感激各位的鼓勵。 三分微光目前出版奇幻浪漫故事《千里音緣一弦牽》、奇幻推理《天主的劇本》、明初武俠小說《日月昇》 、新作品《輕挑幼稚的王杉芬和他的愛情故事》也上線了 可在 PUBU電子書城、MYBOOK、BookU趣看書、Google Play 圖書、Hami
Thumbnail
五年前的我,在電視機前大罵「暴民」;五年後的我,誓言有天要跟他們一樣。
Thumbnail
<p>剛用不太流利的中文問我們從哪裡來的她。</p>