chatGPT崛起後，大家從懵懂未知到勇敢的第一類接觸乃至於深度的主動投懷送抱。在這些現象的背後，有些人不知道openai在你使用的過程中不斷地收集資訊來改善自己，也有些人是知道的，但不在意。另外其中有些想使用AI服務，卻害怕過程中被收集的資訊成了未來自己製造出的競爭者!遲遲不敢使用它。
如果想要自己訓練一套封閉的chtGPT，可想而知，代價必然是不低的。但如果你想要進行fine tune，或者更簡單的只是想要拿來(企業)內部使用，但不想被收集資訊，那麼便可以使用類chatGPT的架設方案，這樣準備的成本不高，卻可以讓你享受到AI的幫忙。就讓我們介紹一個廣受歡迎的方案: Text-Generation-WebUI。
我強烈推薦可以使用免費的ESXI8去進行架設，如果你還沒有一個環境，可以參考:
假設你已經準備好環境，那我們就開始進行安裝吧!
先介紹方法一(官方推薦安裝法)
根據 Text-Generation-WebUI提供的安裝方法，非常的容易，是很適合所有的初學者的，我貼它的建議方法過來:
- Clone or download the repository. (請下載這個專案的內容到你的機器)
- Run the
start_linux.sh,start_windows.bat,start_macos.sh, orstart_wsl.batscript depending on your OS. (依據你的作業系統，選擇合適的安裝程序) - Select your GPU vendor when asked. (系統會自動詢問你使用的GPU，你就根據你的硬體做選擇就好)
- Once the installation ends, browse to
http://localhost:7860/?__theme=dark. (等它裝好，到你的瀏覽器，連結http://localhost:7860/?__theme=dark就可以開始奇幻冒險了) - Have fun! (好好享用吧)
如果你要再次啟動服務，也只要把上面步驟2再執行一次就好了。
詳細的使用手冊，請參考這裡。
方法二是用Docker進行安裝
這個方法的好處是，你的機器只需要裝好GPU的driver，CUDA等等等的惱人程序可以全部跳過，交給docker就可以解決了。
如果你需要懂docker怎麼安裝設定可以參考這篇:
安裝過程你如果遇到nvidia runtime的問題，請參考這篇:
我們這邊使用text-generation-webui-docker來部署，一樣可以參考專案給的建議方式:
Pull the repo: git clone https://github.com/Atinoda/text-generation-webui-docker (複製專案下來)
- Point your terminal to the downloaded folder (e.g.,
cd text-generation-webui-docker) (進到專案的目錄中) - (Optional) Edit
docker-compose.ymlto your requirements (這是選項，根據需求你可以自行變更) - Start the server (the image will be pulled automatically for the first run):
docker compose up (啟動容器服務，它會自動執行把所有相關的容器都幫你安裝好，並且啟動服務) - Navigate to
127.0.0.1:7860and enjoy your local instance of oobabooga's text-generation-webui! (用瀏覽器連結到127.0.0.1:7860就可以開始享用text-generation-webui的服務嚕)
Deploy
Deploy the service:
安裝服務使用:
docker compose up
安裝畫面參考:
Remove
Remove the service:
移除服務使用:
docker compose down -v
裝好環境後，首先先打開畫面看一下，讓自己有點兒成就感這件事蠻重要的，此時系統還無法運作，不要心急也不要灰心。讓我們趕緊往下把該做的事給做了，系統就可以許你一個離線版的chatGPT了。
用瀏覽器開啟的成功畫面
