可以單機操作的類chatGPT:text-generation-webui安裝後的模型使用

更新 發佈閱讀 6 分鐘

恭喜你裝設好了text-generation-webui,看到畫面想必然很有成就感吧。如果還沒安裝,請參考這裡:

當一切準備就緒後,我們就進入最大的選擇困難: 選擇想要下載的模型! 因為模型比你想像的多,多到眼花撩亂。

我們通常會到這邊找模型:


raw-image


上面現在有48,144個模型可以供我們選擇。建議大家可以用Most downloads或Most likes來排序篩選。等使用熟了,再來依據自己喜好找自己愛用的模型。

請注意到,你選擇模型時,如果他是GGUF的模型,這種模型是單一的一個檔案,下載後只要擺在你專案中的models子目錄,就可以使用了!如果你是手動安裝的會像這樣:

text-generation-webui
└── models
└── llama-2-13b-chat.Q4_K_M.gguf

如果你使用docker建立的話,會像這樣:

 text-generation-webui-docker
└── config
└── models
└── llama-2-13b-chat.Q4_K_M.gguf



其餘的模型像是 16-bit transformers models and GPTQ models等等等的,它們是由許多檔案組成的,必須用一個子目錄來把單一個模型的檔案都放在一起後擺放到models子目錄,例如你是使用官網建置的方法建立的話,可以參照這樣的擺法:

text-generation-webui
├── models
│   ├── lmsys_vicuna-33b-v1.3
│   │   ├── config.json
│   │   ├── generation_config.json
│   │   ├── pytorch_model-00001-of-00007.bin
│   │   ├── pytorch_model-00002-of-00007.bin
│   │   ├── pytorch_model-00003-of-00007.bin
│   │   ├── pytorch_model-00004-of-00007.bin
│   │   ├── pytorch_model-00005-of-00007.bin
│   │   ├── pytorch_model-00006-of-00007.bin
│   │   ├── pytorch_model-00007-of-00007.bin
│   │   ├── pytorch_model.bin.index.json
│   │   ├── special_tokens_map.json
│   │   ├── tokenizer_config.json
│   │   └── tokenizer.model


如果你使用docker建立的話,請擺成這樣:

text-generation-webui-docker
└── config
└── models
│   ├── lmsys_vicuna-33b-v1.3
  │ │ ├── config.json
│   │   ├── generation_config.json
│   │   ├── pytorch_model-00001-of-00007.bin
│   │   ├── pytorch_model-00002-of-00007.bin
│   │   ├── pytorch_model-00003-of-00007.bin
│   │   ├── pytorch_model-00004-of-00007.bin
│   │   ├── pytorch_model-00005-of-00007.bin
│   │   ├── pytorch_model-00006-of-00007.bin
│   │   ├── pytorch_model-00007-of-00007.bin
│   │   ├── pytorch_model.bin.index.json
│   │   ├── special_tokens_map.json
│   │   ├── tokenizer_config.json
│   │   └── tokenizer.model


關於中文模型,當然抱抱臉是有中文的模型的,你也可以到這邊下載內容:

如果你想要基底模型,你應該選擇: Chinese-LLaMA-2 (1.3B, 7B, 13B),如果要聊天使用,可以選擇Chinese-Alpaca-2(1.3B, 7B, 13B)。

Chinese-LLaMA-2-13B

Chinese-LLaMA-2-7B

Chinese-LLaMA-2-1.3B

Chinese-Alpaca-2-13B

Chinese-Alpaca-2-7B

Chinese-Alpaca-2-1.3B

(待續)


留言
avatar-img
留言分享你的想法!
avatar-img
iBonnie_愛邦尼
9會員
85內容數
記錄生活與技術的小細節
你可能也想看
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
生成式人工智慧可以輸出文章、圖片、影片、音樂和簡報等內容,就連創建網站都不必學習程式碼。Websim.ai 是一個利用 AI 技術來創建網站的體驗平台,輸入簡單的文字即可生成互動式網站。目前開放免費使用,AI 會根據指令生成相應功能
Thumbnail
生成式人工智慧可以輸出文章、圖片、影片、音樂和簡報等內容,就連創建網站都不必學習程式碼。Websim.ai 是一個利用 AI 技術來創建網站的體驗平台,輸入簡單的文字即可生成互動式網站。目前開放免費使用,AI 會根據指令生成相應功能
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
Thumbnail
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
Thumbnail
ChatGPT電腦桌面版正式上線,介面簡潔且方便使用。使用者可以透過截圖、拍照和語音對話等功能進行互動,並且即將推出GPT-4o新音訊和視訊功能。使用者可以應用於數學問題諮詢、文件解說和個人娛樂等多種場景。
Thumbnail
ChatGPT電腦桌面版正式上線,介面簡潔且方便使用。使用者可以透過截圖、拍照和語音對話等功能進行互動,並且即將推出GPT-4o新音訊和視訊功能。使用者可以應用於數學問題諮詢、文件解說和個人娛樂等多種場景。
Thumbnail
這篇文章介紹瞭如何利用生成式AI(GenAI)來提高學習效率,包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度,保持學術誠信,適當運用GenAI能大幅提升工作效率。
Thumbnail
這篇文章介紹瞭如何利用生成式AI(GenAI)來提高學習效率,包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度,保持學術誠信,適當運用GenAI能大幅提升工作效率。
Thumbnail
本文介紹了text-generation-webui的安裝方法和模型的選擇,包括模型的下載和擺放位置,並提供了相關的連結和建議。
Thumbnail
本文介紹了text-generation-webui的安裝方法和模型的選擇,包括模型的下載和擺放位置,並提供了相關的連結和建議。
Thumbnail
從最初的接觸到深度的投懷送抱,這篇文章對於解決如何安裝text-generation-webui提供了清晰的指引。 它引導讀者通過它的官方方式和Docker方式做到這一點。此外,作者還分享了必要的優化建議。
Thumbnail
從最初的接觸到深度的投懷送抱,這篇文章對於解決如何安裝text-generation-webui提供了清晰的指引。 它引導讀者通過它的官方方式和Docker方式做到這一點。此外,作者還分享了必要的優化建議。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News