付費限定

18. 根据垂直需求微调模型

更新於 發佈於 閱讀時間約 41 分鐘

大家好,我是茶桁。

最近事情太多,这一节课更新的有些晚了。

首先我们先了解一下我们本节课讲要讲一些什么,我们之前介绍过 llama-index 和 LangChain,学习了将大语言模型和自己的知识库组合来解决问题的方法。这个方法中,我们不需要调整我们使用的模型,而是使用嵌入向量索引我们的数据,并在需要时查询索引来解决问题。

然而,我们也可以完全利用自己的数据,创建一个新的模型来解决问题。这种方法是OpenAI提供的微调模型功能。这也是我们要探讨的大语言模型的最后一个主题。

如何微调模型

我们都知道,AI其实是建立在大语言模型之上的,而模型再如何补全,也没有办法全知全能。在很多时候,AI所回答的内容常常错漏百出,甚至于一些垂直领域可能完全词不达意。这些其实都是因为缺少了特定领域的训练数据,而我们要做的,就是要补全这一部分数据进行训练,为我们自己的需求微调出一个擅长本领域的模型。

以行動支持創作者!付費即可解鎖
本篇內容共 16618 字、0 則留言,僅發佈於从零开始接触人工智能大模型你目前無法檢視以下內容,可能因為尚未登入,或沒有該房間的查看權限。
留言
avatar-img
留言分享你的想法!
avatar-img
茶桁的沙龍
9會員
62內容數
从基础开始,再到Python,然后是CV、BI、NLP等相关技术。从头到尾详细的教授一边人工智能。
茶桁的沙龍的其他內容
2023/07/31
Hi, 大家好。我是茶桁。 在之前的课程中,我们接触了AI进行文字回复,语音合成。 那么将这两个组合在一起,我们基本就可以制作一个智能的语音聊天机器人了。看过电影《Her》的同学都应该清楚,AI因为用了女神斯嘉丽.约翰逊的配音,吸引到了不少的观众。 不过, 我们怎么能就满足于此呢,从文字到音频
Thumbnail
2023/07/31
Hi, 大家好。我是茶桁。 在之前的课程中,我们接触了AI进行文字回复,语音合成。 那么将这两个组合在一起,我们基本就可以制作一个智能的语音聊天机器人了。看过电影《Her》的同学都应该清楚,AI因为用了女神斯嘉丽.约翰逊的配音,吸引到了不少的观众。 不过, 我们怎么能就满足于此呢,从文字到音频
Thumbnail
2023/07/31
大家好,我是Hivan。 好久不见了,今天我们来讨论下如何让机器拥有声音。 回顾一下我们上一讲的内容,我们已经成功使用Whisper模型使得AI能够理解我们说的话。这为我们带来了很多应用,例如让AI代替我们收听播客并总结内容。然而,这只是单向的交流模式。现在,让我们探索更深入的可能性,让AI
Thumbnail
2023/07/31
大家好,我是Hivan。 好久不见了,今天我们来讨论下如何让机器拥有声音。 回顾一下我们上一讲的内容,我们已经成功使用Whisper模型使得AI能够理解我们说的话。这为我们带来了很多应用,例如让AI代替我们收听播客并总结内容。然而,这只是单向的交流模式。现在,让我们探索更深入的可能性,让AI
Thumbnail
2023/07/31
Hi,大家好,我是茶桁。 其实到第18章的时候,我们处理文本的内容就全部都结束了,从本节课开始,我们要开始学习如何处理音频和图像。 我不知道有没有人和我一样的习性,就是比起视频和音频文件来说,还是跟喜欢看文本文件。这其中最主要的一个原因就是因为文本内容我们可以准确定位,而对于文本内容的接收速度还
Thumbnail
2023/07/31
Hi,大家好,我是茶桁。 其实到第18章的时候,我们处理文本的内容就全部都结束了,从本节课开始,我们要开始学习如何处理音频和图像。 我不知道有没有人和我一样的习性,就是比起视频和音频文件来说,还是跟喜欢看文本文件。这其中最主要的一个原因就是因为文本内容我们可以准确定位,而对于文本内容的接收速度还
Thumbnail
看更多
你可能也想看
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
沙龍一直是創作與交流的重要空間,這次 vocus 全面改版了沙龍介面,就是為了讓好內容被好好看見! 你可以自由編排你的沙龍首頁版位,新版手機介面也讓每位訪客都能更快找到感興趣的內容、成為你的支持者。 改版完成後可以在社群媒體分享新版面,並標記 @vocus.official⁠ ♥️ ⁠
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
Hi, 大家好。我是茶桁。 在之前的课程中,我们接触了AI进行文字回复,语音合成。 那么将这两个组合在一起,我们基本就可以制作一个智能的语音聊天机器人了。看过电影《Her》的同学都应该清楚,AI因为用了女神斯嘉丽.约翰逊的配音,吸引到了不少的观众。 不过, 我们怎么能就满足于此呢,从文字到音频
Thumbnail
Hi, 大家好。我是茶桁。 在之前的课程中,我们接触了AI进行文字回复,语音合成。 那么将这两个组合在一起,我们基本就可以制作一个智能的语音聊天机器人了。看过电影《Her》的同学都应该清楚,AI因为用了女神斯嘉丽.约翰逊的配音,吸引到了不少的观众。 不过, 我们怎么能就满足于此呢,从文字到音频
Thumbnail
Hi,大家好。我是茶桁。 在第 11 讲中,我向您介绍了如何将各种资料内容向量化,借助Llama-index建立索引,对我们自己的文本资料进行问答。在过去的3讲中,我们深入了解了如何使用Langchain。该工具可帮助我们整合AI对语言的理解和组织能力、外部各种资料或者SaaS的API,以及您自己
Thumbnail
Hi,大家好。我是茶桁。 在第 11 讲中,我向您介绍了如何将各种资料内容向量化,借助Llama-index建立索引,对我们自己的文本资料进行问答。在过去的3讲中,我们深入了解了如何使用Langchain。该工具可帮助我们整合AI对语言的理解和组织能力、外部各种资料或者SaaS的API,以及您自己
Thumbnail
你好,我是茶桁。 在之前的两讲中,我们深入了解了 Langchain 的 LLMChain 核心功能,它可以帮助我们链式地调用一系列命令,包括直接调用 OpenAI 的 API、调用其他外部接口或自己实现的 Python 代码。但这只是完成一个小任务所需的调用序列。除了这些,LangChain
Thumbnail
你好,我是茶桁。 在之前的两讲中,我们深入了解了 Langchain 的 LLMChain 核心功能,它可以帮助我们链式地调用一系列命令,包括直接调用 OpenAI 的 API、调用其他外部接口或自己实现的 Python 代码。但这只是完成一个小任务所需的调用序列。除了这些,LangChain
Thumbnail
大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Thumbnail
大家好,我是茶桁. 在上一节课中,我们学习了如何使用LangChain这个Python包链式调用OpenAI的API。通过链式调用,我们可以将需要多轮询问AI才能解决的问题封装起来,将需要多轮自然语言调用才能解决的问题变成一个函数调用。 然而,LangChain对我们的帮助远不止于此。最近,Ch
Thumbnail
Hi, 大家好,我是茶桁。 直奔主题,我们来谈谈成本这件事。 大家应该都知道,ChatGPT对免费用户是有5美元的API调用额度的,说是这么说,可是那是以前,现在新注册的小伙伴应该都发现自己的API Key根本无法调用API,原因是这个免费额度似乎已经失效了。而我可以直接说,在我从第一节到第10
Thumbnail
Hi, 大家好,我是茶桁。 直奔主题,我们来谈谈成本这件事。 大家应该都知道,ChatGPT对免费用户是有5美元的API调用额度的,说是这么说,可是那是以前,现在新注册的小伙伴应该都发现自己的API Key根本无法调用API,原因是这个免费额度似乎已经失效了。而我可以直接说,在我从第一节到第10
Thumbnail
Hi,我是茶桁。 过去的8讲,你已熟悉Embedding和Completion接口。Embedding适合用于机器学习中的分类、聚类等传统场景。Completion接口可以用作聊天机器人,也可以用于文案撰写、文本摘要、机器翻译等工作。 然而,很多同学可能认为这与他们的日常工作无关。实际上,我们通
Thumbnail
Hi,我是茶桁。 过去的8讲,你已熟悉Embedding和Completion接口。Embedding适合用于机器学习中的分类、聚类等传统场景。Completion接口可以用作聊天机器人,也可以用于文案撰写、文本摘要、机器翻译等工作。 然而,很多同学可能认为这与他们的日常工作无关。实际上,我们通
Thumbnail
Hi, 我是茶桁。 我们已经介绍了 OpenAI 的主要接口。这是基础知识系列的最后一讲,我们将讨论 OpenAI GPT 系列模型的其他接口。你可能不会经常使用其中一些接口,但了解它们不会有任何坏处,说不定你会在某些需求中用到它们。 在这篇文章中,我们将一起探讨 OpenAI 为文本改写和内容
Thumbnail
Hi, 我是茶桁。 我们已经介绍了 OpenAI 的主要接口。这是基础知识系列的最后一讲,我们将讨论 OpenAI GPT 系列模型的其他接口。你可能不会经常使用其中一些接口,但了解它们不会有任何坏处,说不定你会在某些需求中用到它们。 在这篇文章中,我们将一起探讨 OpenAI 为文本改写和内容
Thumbnail
Hi, 我是茶桁。 在上一节中,我们介绍了如何使用最新的ChatGPT API,注册HuggingFace账户,并将我们的聊天机器人部署出去。在这个过程中,我们学习了实际的应用开发过程,使你对聊天机器人的开发有了充足的体验。在这一讲中,我们将探讨OpenAI的各种接口提供的能力,以更深入地了解这些
Thumbnail
Hi, 我是茶桁。 在上一节中,我们介绍了如何使用最新的ChatGPT API,注册HuggingFace账户,并将我们的聊天机器人部署出去。在这个过程中,我们学习了实际的应用开发过程,使你对聊天机器人的开发有了充足的体验。在这一讲中,我们将探讨OpenAI的各种接口提供的能力,以更深入地了解这些
Thumbnail
Hi,我是茶桁。 在过去的两讲中,我们已经使用 OpenAI 提供的 Embedding 接口完成了文本分类的功能。现在,我们回到 Completion 接口,这一讲将带你更深入地了解该接口的使用。除此之外,我们还将快速搭建一个有界面的聊天机器人,这将让你更好地理解 Completion 接口的应
Thumbnail
Hi,我是茶桁。 在过去的两讲中,我们已经使用 OpenAI 提供的 Embedding 接口完成了文本分类的功能。现在,我们回到 Completion 接口,这一讲将带你更深入地了解该接口的使用。除此之外,我们还将快速搭建一个有界面的聊天机器人,这将让你更好地理解 Completion 接口的应
Thumbnail
大家好,我是茶桁。 在本次讲座中,我们将研究 OpenAI 提供的 Completion API 接口。你可能已经体验过与 ChatGPT 进行聊天的乐趣,或是利用它帮我们编写各种文本材料的便利。现在,我们可以从这个需求出发,进一步探索 Completion API 的具体用法,以及如何利用它来生
Thumbnail
大家好,我是茶桁。 在本次讲座中,我们将研究 OpenAI 提供的 Completion API 接口。你可能已经体验过与 ChatGPT 进行聊天的乐趣,或是利用它帮我们编写各种文本材料的便利。现在,我们可以从这个需求出发,进一步探索 Completion API 的具体用法,以及如何利用它来生
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News