可以單機操作的類chatGPT:text-generation-webui安裝後的模型使用

恭喜你裝設好了text-generation-webui，看到畫面想必然很有成就感吧。如果還沒安裝，請參考這裡:

當一切準備就緒後，我們就進入最大的選擇困難: 選擇想要下載的模型! 因為模型比你想像的多，多到眼花撩亂。

我們通常會到這邊找模型:

上面現在有48,144個模型可以供我們選擇。建議大家可以用Most downloads或Most likes來排序篩選。等使用熟了，再來依據自己喜好找自己愛用的模型。

請注意到，你選擇模型時，如果他是GGUF的模型，這種模型是單一的一個檔案，下載後只要擺在你專案中的models子目錄，就可以使用了!如果你是手動安裝的會像這樣:

text-generation-webui
└── models
    └── llama-2-13b-chat.Q4_K_M.gguf

如果你使用docker建立的話，會像這樣:

 text-generation-webui-docker
 └── config
        └── models
               └── llama-2-13b-chat.Q4_K_M.gguf

其餘的模型像是 16-bit transformers models and GPTQ models等等等的，它們是由許多檔案組成的，必須用一個子目錄來把單一個模型的檔案都放在一起後擺放到models子目錄，例如你是使用官網建置的方法建立的話，可以參照這樣的擺法:

text-generation-webui
├── models
│   ├── lmsys_vicuna-33b-v1.3
│   │   ├── config.json
│   │   ├── generation_config.json
│   │   ├── pytorch_model-00001-of-00007.bin
│   │   ├── pytorch_model-00002-of-00007.bin
│   │   ├── pytorch_model-00003-of-00007.bin
│   │   ├── pytorch_model-00004-of-00007.bin
│   │   ├── pytorch_model-00005-of-00007.bin
│   │   ├── pytorch_model-00006-of-00007.bin
│   │   ├── pytorch_model-00007-of-00007.bin
│   │   ├── pytorch_model.bin.index.json
│   │   ├── special_tokens_map.json
│   │   ├── tokenizer_config.json
│   │   └── tokenizer.model

如果你使用docker建立的話，請擺成這樣:

text-generation-webui-docker
└── config
        └── models
            │   ├── lmsys_vicuna-33b-v1.3
            │   │   ├── config.json
            │   │   ├── generation_config.json
            │   │   ├── pytorch_model-00001-of-00007.bin
            │   │   ├── pytorch_model-00002-of-00007.bin
            │   │   ├── pytorch_model-00003-of-00007.bin
            │   │   ├── pytorch_model-00004-of-00007.bin
            │   │   ├── pytorch_model-00005-of-00007.bin
            │   │   ├── pytorch_model-00006-of-00007.bin
            │   │   ├── pytorch_model-00007-of-00007.bin
            │   │   ├── pytorch_model.bin.index.json
            │   │   ├── special_tokens_map.json
            │   │   ├── tokenizer_config.json
            │   │   └── tokenizer.model

關於中文模型，當然抱抱臉是有中文的模型的，你也可以到這邊下載內容:

如果你想要基底模型，你應該選擇: Chinese-LLaMA-2 (1.3B, 7B, 13B)，如果要聊天使用，可以選擇Chinese-Alpaca-2(1.3B, 7B, 13B)。

Chinese-LLaMA-2-13B

Chinese-LLaMA-2-7B

Chinese-LLaMA-2-1.3B

Chinese-Alpaca-2-13B

Chinese-Alpaca-2-7B

Chinese-Alpaca-2-1.3B

(待續)