可以單機操作的類chatGPT架設(text-generation-webui: 如何安裝？)

chatGPT崛起後，大家從懵懂未知到勇敢的第一類接觸乃至於深度的主動投懷送抱。在這些現象的背後，有些人不知道openai在你使用的過程中不斷地收集資訊來改善自己，也有些人是知道的，但不在意。另外其中有些想使用AI服務，卻害怕過程中被收集的資訊成了未來自己製造出的競爭者!遲遲不敢使用它。

如果想要自己訓練一套封閉的chtGPT，可想而知，代價必然是不低的。但如果你想要進行fine tune，或者更簡單的只是想要拿來(企業)內部使用，但不想被收集資訊，那麼便可以使用類chatGPT的架設方案，這樣準備的成本不高，卻可以讓你享受到AI的幫忙。就讓我們介紹一個廣受歡迎的方案: Text-Generation-WebUI。

在安裝之前，我們先準備好環境。我們建議環境最好有GPU，這樣你使用起來才會比較順暢，當然也可以順便學著怎麼架設GPU的環境。

我強烈推薦可以使用免費的ESXI8去進行架設，如果你還沒有一個環境，可以參考:

假設你已經準備好環境，那我們就開始進行安裝吧!

先介紹方法一(官方推薦安裝法)

根據 Text-Generation-WebUI提供的安裝方法，非常的容易，是很適合所有的初學者的，我貼它的建議方法過來:

1. Clone or download the repository. (請下載這個專案的內容到你的機器)
2. Run the start_linux.sh, start_windows.bat, start_macos.sh, or start_wsl.bat script depending on your OS. (依據你的作業系統，選擇合適的安裝程序)
3. Select your GPU vendor when asked. (系統會自動詢問你使用的GPU，你就根據你的硬體做選擇就好)
4. Once the installation ends, browse to http://localhost:7860/?__theme=dark. (等它裝好，到你的瀏覽器，連結http://localhost:7860/?__theme=dark就可以開始奇幻冒險了)
5. Have fun! (好好享用吧)

如果你要再次啟動服務，也只要把上面步驟2再執行一次就好了。

詳細的使用手冊，請參考這裡。

方法二是用Docker進行安裝

這個方法的好處是，你的機器只需要裝好GPU的driver，CUDA等等等的惱人程序可以全部跳過，交給docker就可以解決了。

如果你需要懂docker怎麼安裝設定可以參考這篇:

安裝過程你如果遇到nvidia runtime的問題，請參考這篇:

我們這邊使用text-generation-webui-docker來部署，一樣可以參考專案給的建議方式:

Pull the repo: git clone https://github.com/Atinoda/text-generation-webui-docker (複製專案下來)

• Point your terminal to the downloaded folder (e.g., cd text-generation-webui-docker) (進到專案的目錄中)
• (Optional) Edit docker-compose.yml to your requirements (這是選項，根據需求你可以自行變更)
• Start the server (the image will be pulled automatically for the first run): docker compose up (啟動容器服務，它會自動執行把所有相關的容器都幫你安裝好，並且啟動服務)
• Navigate to 127.0.0.1:7860 and enjoy your local instance of oobabooga's text-generation-webui! (用瀏覽器連結到127.0.0.1:7860就可以開始享用text-generation-webui的服務嚕)

Deploy

Deploy the service:

安裝服務使用:

docker compose up

安裝畫面參考:

Remove

Remove the service:

移除服務使用:

docker compose down -v

裝好環境後，首先先打開畫面看一下，讓自己有點兒成就感這件事蠻重要的，此時系統還無法運作，不要心急也不要灰心。讓我們趕緊往下把該做的事給做了，系統就可以許你一個離線版的chatGPT了。

用瀏覽器開啟的成功畫面