可以單機操作的類chatGPT:text-generation-webui安裝後的模型使用
更新於 發佈於 閱讀時間約 6 分鐘
恭喜你裝設好了text-generation-webui，看到畫面想必然很有成就感吧。如果還沒安裝，請參考這裡:
當一切準備就緒後，我們就進入最大的選擇困難: 選擇想要下載的模型! 因為模型比你想像的多，多到眼花撩亂。
我們通常會到這邊找模型:
上面現在有48,144個模型可以供我們選擇。建議大家可以用Most downloads或Most likes來排序篩選。等使用熟了，再來依據自己喜好找自己愛用的模型。
請注意到，你選擇模型時，如果他是GGUF的模型，這種模型是單一的一個檔案，下載後只要擺在你專案中的models子目錄，就可以使用了!如果你是手動安裝的會像這樣:
text-generation-webui
└── models
└── llama-2-13b-chat.Q4_K_M.gguf
如果你使用docker建立的話，會像這樣:
text-generation-webui-docker
└── config
└── models
└── llama-2-13b-chat.Q4_K_M.gguf
其餘的模型像是 16-bit transformers models and GPTQ models等等等的，它們是由許多檔案組成的，必須用一個子目錄來把單一個模型的檔案都放在一起後擺放到models子目錄，例如你是使用官網建置的方法建立的話，可以參照這樣的擺法:
text-generation-webui
├── models
│ ├── lmsys_vicuna-33b-v1.3
│ │ ├── config.json
│ │ ├── generation_config.json
│ │ ├── pytorch_model-00001-of-00007.bin
│ │ ├── pytorch_model-00002-of-00007.bin
│ │ ├── pytorch_model-00003-of-00007.bin
│ │ ├── pytorch_model-00004-of-00007.bin
│ │ ├── pytorch_model-00005-of-00007.bin
│ │ ├── pytorch_model-00006-of-00007.bin
│ │ ├── pytorch_model-00007-of-00007.bin
│ │ ├── pytorch_model.bin.index.json
│ │ ├── special_tokens_map.json
│ │ ├── tokenizer_config.json
│ │ └── tokenizer.model
如果你使用docker建立的話，請擺成這樣:
text-generation-webui-docker
└── config
└── models
│ ├── lmsys_vicuna-33b-v1.3
│ │ ├── config.json
│ │ ├── generation_config.json
│ │ ├── pytorch_model-00001-of-00007.bin
│ │ ├── pytorch_model-00002-of-00007.bin
│ │ ├── pytorch_model-00003-of-00007.bin
│ │ ├── pytorch_model-00004-of-00007.bin
│ │ ├── pytorch_model-00005-of-00007.bin
│ │ ├── pytorch_model-00006-of-00007.bin
│ │ ├── pytorch_model-00007-of-00007.bin
│ │ ├── pytorch_model.bin.index.json
│ │ ├── special_tokens_map.json
│ │ ├── tokenizer_config.json
│ │ └── tokenizer.model
關於中文模型，當然抱抱臉是有中文的模型的，你也可以到這邊下載內容:
如果你想要基底模型，你應該選擇: Chinese-LLaMA-2 (1.3B, 7B, 13B)，如果要聊天使用，可以選擇Chinese-Alpaca-2(1.3B, 7B, 13B)。
(待續)
留言0
查看全部你可能也想看
Google News 追蹤
大家好，我是woody，是一名料理創作者，非常努力地在嘗試將複雜的料理簡單化，讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程，今天想跟大家聊聊，除了料理本身，料理創作背後的成本。
哈囉～很久沒跟各位自我介紹一下了～
大家好～我是爺恩
我是一名圖文插畫家，有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快！隨著時間過去，創作這件事好像變得更忙碌了，也很開心跟很多厲害的創作者以及廠商互相合作幫忙，還有最重要的是大家的支持與陪伴🥹。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
週五的加權指數與期貨其實是送分題，因為前晚費城半導體指數大跌 4%連動也影響台股。台灣放一天颱風假與世界股市脫軌一天，於是週五補跌。下次遇到這種題目，務必要先保握美股夜盤的行情，還有台積電ADR。恭喜這位大師姐賺到兩個月的薪水。我一直有耳提面命：遇到大行情一定要抓住，看不懂就不要做，等刀子下墜到
請加入我的Line id : income8899，報名此專班，收費僅需要2萬，即可學到指數預算＋選擇權買方技能，用預測指數來放大獲利吧！學生們的成績就是最好的見證了！這是在市面上看不到的優惠價格囉！將來還會漲價，還不趁現在搶著報名嗎？來看看我們的教學課程表吧！
生成式人工智慧可以輸出文章、圖片、影片、音樂和簡報等內容，就連創建網站都不必學習程式碼。Websim.ai 是一個利用 AI 技術來創建網站的體驗平台，輸入簡單的文字即可生成互動式網站。目前開放免費使用，AI 會根據指令生成相應功能
資金持續點火，CoWoS族群明天可以關注誰？
這間公司成為輝達合作伙伴，又獲機器人10年大單
今天需要留意的新發動的族群
前陣子自己手刻了ChatGPT，並發了一系列文章：
使用Meta釋出的模型，實作Chat GPT - Part 0
使用Meta釋出的模型，實作Chat GPT - Part 1
使用Meta釋出的模型，實作Chat GPT - Part 2
使用Meta釋出的模型，實作Chat GPT -
ChatGPT電腦桌面版正式上線，介面簡潔且方便使用。使用者可以透過截圖、拍照和語音對話等功能進行互動，並且即將推出GPT-4o新音訊和視訊功能。使用者可以應用於數學問題諮詢、文件解說和個人娛樂等多種場景。
本文介紹了text-generation-webui的安裝方法和模型的選擇，包括模型的下載和擺放位置，並提供了相關的連結和建議。
大家好，我是woody，是一名料理創作者，非常努力地在嘗試將複雜的料理簡單化，讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程，今天想跟大家聊聊，除了料理本身，料理創作背後的成本。
哈囉～很久沒跟各位自我介紹一下了～
大家好～我是爺恩
我是一名圖文插畫家，有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快！隨著時間過去，創作這件事好像變得更忙碌了，也很開心跟很多厲害的創作者以及廠商互相合作幫忙，還有最重要的是大家的支持與陪伴🥹。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
週五的加權指數與期貨其實是送分題，因為前晚費城半導體指數大跌 4%連動也影響台股。台灣放一天颱風假與世界股市脫軌一天，於是週五補跌。下次遇到這種題目，務必要先保握美股夜盤的行情，還有台積電ADR。恭喜這位大師姐賺到兩個月的薪水。我一直有耳提面命：遇到大行情一定要抓住，看不懂就不要做，等刀子下墜到
請加入我的Line id : income8899，報名此專班，收費僅需要2萬，即可學到指數預算＋選擇權買方技能，用預測指數來放大獲利吧！學生們的成績就是最好的見證了！這是在市面上看不到的優惠價格囉！將來還會漲價，還不趁現在搶著報名嗎？來看看我們的教學課程表吧！
生成式人工智慧可以輸出文章、圖片、影片、音樂和簡報等內容，就連創建網站都不必學習程式碼。Websim.ai 是一個利用 AI 技術來創建網站的體驗平台，輸入簡單的文字即可生成互動式網站。目前開放免費使用，AI 會根據指令生成相應功能
資金持續點火，CoWoS族群明天可以關注誰？
這間公司成為輝達合作伙伴，又獲機器人10年大單
今天需要留意的新發動的族群
前陣子自己手刻了ChatGPT，並發了一系列文章：
使用Meta釋出的模型，實作Chat GPT - Part 0
使用Meta釋出的模型，實作Chat GPT - Part 1
使用Meta釋出的模型，實作Chat GPT - Part 2
使用Meta釋出的模型，實作Chat GPT -
ChatGPT電腦桌面版正式上線，介面簡潔且方便使用。使用者可以透過截圖、拍照和語音對話等功能進行互動，並且即將推出GPT-4o新音訊和視訊功能。使用者可以應用於數學問題諮詢、文件解說和個人娛樂等多種場景。
本文介紹了text-generation-webui的安裝方法和模型的選擇，包括模型的下載和擺放位置，並提供了相關的連結和建議。