付費限定
11 用好开源模型节约成本
更新於 發佈於 閱讀時間約 23 分鐘
Hi， 大家好，我是茶桁。
直奔主题，我们来谈谈成本这件事。
大家应该都知道，ChatGPT对免费用户是有5美元的API调用额度的，说是这么说，可是那是以前，现在新注册的小伙伴应该都发现自己的API Key根本无法调用API，原因是这个免费额度似乎已经失效了。而我可以直接说，在我从第一节到第10节的课程中所用到的金额，已经超过这个数目了。也就是说，我这10节课API调用成本就已经超过了40元人民币。
看到这大家大概能理解我这个课程为什么改为付费课程了吧？
对于 ChatCompletion 的接口来说，为了更好地使用它，我们需要传入更多的上下文信息，以便更准确地进行文本生成。不过要注意的是，实际消耗的 Token 数量可能比我们感觉的要多。此外，除了费用之外，数据安全也是我们需要考虑的一个问题。由于每个国家的数据监管要求不同，不是所有的数据都适合通过 OpenAI 的 API 来处理。因此，我们需要寻找一个除 OpenAI 以外的解决方案。幸运的是，有一些开源的大语言模型可以帮助我们解决这个问题。通过利用这些开源的模型，中小型公司也可以轻松地获得更准确、更安全的文本生成服务。
以行動支持創作者！付費即可解鎖
本篇內容共 9282 字、0
則留言，僅發佈於从零开始接触人工智能大模型你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
ChatGPT 4o 是一個強大的AI服務，提供了免費版和付費版的服務。付費用戶除了享有流量優先權外，還擁有更精確的回覆和更多功能，像是理解圖片、個性化設定、記憶功能等。本文將探討付費用戶的優勢，並提供了適合啟用付費版的人群。
ChatGPT新模型GPT-4o即將推出，速度更快，並支援處理影片以及多種語言。免費用戶也可以使用ChatBots，而付費版本則限制頻寬並提高至原本的5倍。此外，還將推出ChatGPT桌面應用程式，讓使用者在電腦上進行各項工作時，更輕鬆地使用ChatGPT。
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
工欲善其事，必先利其器，要打造屬於自己的Chat GPT之前，我們先學習怎麼建立Google免費提供的Colab環境，它可以免費使用GPU來加速AI的運算，非常適合沒有錢添購GPU，但又想學習前沿AI技術的人。
第一步：打開Google瀏覽器，並點選右上方的「方格子點點」，接著選擇「雲端硬碟」
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
Inleiding
ChatGPT Gratis, een geavanceerd AI-model ontwikkeld door OpenAI, heeft de manier waarop content wordt gegenereerd en gecreëerd ingrijpend v
ChatGPT的問世改變了全球，其強大的人工智慧功能在寫作、翻譯、編程和解決問題方面表現出色。然而，用戶需選擇付費版或免費版，決定了他們能否使用到更強大的估能。
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
ChatGPT 4o 是一個強大的AI服務，提供了免費版和付費版的服務。付費用戶除了享有流量優先權外，還擁有更精確的回覆和更多功能，像是理解圖片、個性化設定、記憶功能等。本文將探討付費用戶的優勢，並提供了適合啟用付費版的人群。
ChatGPT新模型GPT-4o即將推出，速度更快，並支援處理影片以及多種語言。免費用戶也可以使用ChatBots，而付費版本則限制頻寬並提高至原本的5倍。此外，還將推出ChatGPT桌面應用程式，讓使用者在電腦上進行各項工作時，更輕鬆地使用ChatGPT。
當Chat GPT回答的東西不是你想要的，怎麼辦呢？
我們提供想法的思路於：ChatGPT回答不是你要的怎麼辦？
我想自己動手改善，但是我沒有GPU這項資源怎麼辦？
我們提供免費使用方式於：使用Meta釋出的模型，實作Chat GPT - Part 0
有了操作環境，但是我不知道怎麼
工欲善其事，必先利其器，要打造屬於自己的Chat GPT之前，我們先學習怎麼建立Google免費提供的Colab環境，它可以免費使用GPU來加速AI的運算，非常適合沒有錢添購GPU，但又想學習前沿AI技術的人。
第一步：打開Google瀏覽器，並點選右上方的「方格子點點」，接著選擇「雲端硬碟」
延續使用Meta釋出的模型，實作Chat GPT - Part 4，我們現在遇到一個問題：語言模型回答的資訊不是我想要的。
於是我參照ChatGPT回答不是你要的怎麼辦？，想使用低成本的技術：RAG，來改善這問題。
以下開始實作，首先引入一個重量級工具包，它叫做LangChain，這是做語言模型
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
第一步先在Python環境中安裝本次專案需要用到的Library，相關指令如下：
!pip install accelerate==0.21.0
!pip install transformers==4.31.0
!pip install tokenizers==0.13.3
!pip insta
Inleiding
ChatGPT Gratis, een geavanceerd AI-model ontwikkeld door OpenAI, heeft de manier waarop content wordt gegenereerd en gecreëerd ingrijpend v
ChatGPT的問世改變了全球，其強大的人工智慧功能在寫作、翻譯、編程和解決問題方面表現出色。然而，用戶需選擇付費版或免費版，決定了他們能否使用到更強大的估能。