路人也懂的單機版chatGPT架設，個人電腦也能跑的AI聊天軟體KoboldAI

前言：

今天不談深奧的程式設計或是資料結構，因為我也不是專業的AI工程師。

今天要講的是兩個隨開隨用的AI語言模型軟體。

雖然今天這主題技術門檻不高，但這可能是一篇只有AI狂熱者會感興趣的主題，一般人直接用ChatGPT或是google Bard就很好用了，沒有必要自己來瞎折騰。

現在一講到AI聊天，大家第一個想到的可能永遠都是ChatGPT，但使用ChatGPT就是受制於OpenAI這間公司，ChatGPT在它的調校下，就算變笨了，變嚴格了，或是多了一些無謂的規範你都無法反制。

ChatGPT的進步與退步你都只能照單全收。

也因此，我最近開始考慮自架AI核心的可能性。

當然，我可以先說結論，OpenAI投入企業級資源，瘋狂砸錢百億千億，堆疊各種高端硬體並集結各式專業人材所打造出來的ChatGPT當然不是我們一介凡人用一台電腦隨便就可企及的。今天介紹的這東西主要也只是有趣，看看目前單機可用的AI核心已經發展到什麼程度了。

但AI是一直在發展的，我們仍然可以期待未來的開源語言模型可以像stable diffusion webui那樣便利，也許在不久後，語言模型在單機環境下也可以發揮十成功力。

以下介紹兩個方法，可以簡單的試用目前主流的開源語言模型。第一種方法是直接使用網頁版，適合兩手空空沒有高級個人電腦的人，而第二種方法也不難，直接下載軟體就可以直接使用了，唯一的要求就是你要有一張中高階以上的顯示卡。

第一種方法：網頁版的Kobold AI Horde

https://horde.koboldai.net/

這算是一個AI聚落，完全免費使用，集結了各式AI開源資源，當然也包括AI繪圖，但他提供的AI繪圖還是很陽春的基本款，而且今天的主題是語言模型，就不展開細說了。而背後的運算資源也是各方好心網友提供的自機顯卡，相對的，你也可以主動提供自己的顯卡做為他們的運算資源，這個互惠行為可以賺取運算點數，運算點數可以用於加快你在這個網站使用各項資源的優先權與效能。

雖然它可以免註冊使用，但註冊後的速度會好一點，所以建議還是到以下網頁註冊一個帳號：

https://horde.koboldai.net/register

一切就序後，就可以到下面這個網址開始運行各式語言模型了：

https://lite.koboldai.net/

初始介面如下，首先你要先點選左上角的"AI"按鈕，

接著會跳出各種語言模型的選單，任你選擇，原則上越大的語言模型表現越好，但並非絕對。

選好語言模型後就可以輸入文字對談了：

要提醒的是，多數語言模型都是使用英文資料訓練的，因此它們在英文語境中的夠現較佳，在中文對談中可能胡言亂語。

在我截圖中的這個例子中，它無法照我的指定用中文回覆。

因為使用到的是網友的硬體，所以它是排隊制的，越熱門的模型就要等越久。

這個網頁版本的優點是無門檻，隨開即用，方便快速，缺點是你能使用的語言模型僅有內建選單中的那些項目，無法自由補充。

而這個網頁核心是可以跟我之前提到的角色扮演聊天軟體SillyTavern互相串接的：

SillyTavern:超強AI聊天軟體，可以自創角色，可以建造虛擬世界，還可以色色!功能上限不是上限，你的腦洞上限才是

只要在的串接介面中依序選擇Kobold AI Horde，並填入你註冊時取得的api key或是填入0000000000使用暱稱模式，最後選擇一個語言模型就能串接了。

這算是一個整套免錢白嫖的方案，當然我還是要說串接GPT-4的表現還是較佳，免錢方案大多只是堪用而已。

第二種方法：單機軟體KoboldAI-united

這套軟體與上述網頁版的核心是系出同門，但單機環境擁有更多的自定義自由，可以自行下載各種語言模型來使用，當然也就可以下載一些為中文語境優化過的模型了。

這套軟體只是Kobold的其中一個分支而已，類似的軟體還有很多，但我多方試用後目前覺得這套軟體的穩定性與相容性最高。

安裝軟體前你要先安裝好python環境，這步很簡單我就不再多做說明了。

以下是KoboldAI-united軟體官網，官網說明可以詳細看一下，介紹的很清楚：

https://github.com/henk717/KoboldAI

下載方式可以選擇使用傳統的git指令或是直接下載zip檔再解壓縮都行。

將檔案下載後首先執行install_requirements讓它自動安裝必要元件，接著再執行play便可啟動軟體了。

啟動後的網頁介面如下，同樣是先點選Load Model選擇一個語言模型：

預設的語言模型清單已做好詳細的功能分類，每個大項目之下都是不同專長的語言模型，直接點選後按下Load即會自動從網路上下載對應的模型檔，非常方便：

而在上述的分類項中有一項叫做Online Services，這邊可以讓你串接各種網路上的核心，其中就包括OpenAI(ChatGPT)以及我們上一個項目中提到的集成式服務Kobold AI Horde。

但我要講的重點是，它是允許自行下載其它開源語言模型的，去下載經過優化的中文模型體驗會好一點。

hagging face是AI模型的集中地，建議你來這邊找找：

https://huggingface.co/models

如果是想要找一些中文特化的模型，可以在搜尋框中輸入chinese：

在這個時間點，我建議尋找名稱有Llama2的模型，Llama2是meta推出的大型預訓練語言模型，預訓練代表它出廠前已經過完善的訓練與調校，可以隨開即用不需要再自行建構自行訓練。而名稱中帶有chinese的便是經過優化的中文模型。

至於要下載多大的模型，則看你自己的電腦硬體而定，越大的模型可能表現越好但也需要越好的硬體，以我單張RTX 3080 10GB顯卡來說，只能跑7b以下的模型，13b就不太行了。(7b=70億參數訓練出來的模型，13b=130億參數，依此類推。)

具體下載方式是進入該模型的檔案列表頁面，然後把所有檔案都下載到KoboldAI-united安裝資料夾的model資料夾下。

檔案結構要像下面這樣：

你要在KoboldAI-united安裝資料夾的model資料夾下建立對應模型的新資料夾，並把上述的模型檔案全部集中放在該資料夾。以我截圖的例子便是共下載了五個模型並分別存放在五個獨立的資料夾下。

資料夾內部存放的就是單一模型的所有附屬檔案：

但要注意並不是胡亂下載都可以，你要確定下載到的是語言模型。而且多多少少還是有些不相容的模型存在。

接著回到軟體介面，一樣是先點擊Load Model按鈕，接著在選單中選擇Load a model from its directory，再往下便可以選擇你自行下載的那些模型檔了。

這個軟體的介面也提供了多元的設定項目，可以讓你玩一些遊戲，也可以聊天，也有一些類似讓你定義世界元素的全域設定項。

但老實說，表現並不穩定，更多的時候它比較像是在自己玩文字接龍，自言自語的一人分飾兩角把你的話也都說完了。

但至少它確實說出正常的中文語句了。

如果是想玩純聊天的話，我建議可以把它接到上面提到的SillyTavern，聊天時的表現較好，可以進行穩定的一問一答。

介接方式大同小異，在KoboldAI-united保持開啟的狀態下，去SillyTavern的連接介面選擇KoboldAI即可自動對接：

但說來說去，玩多了還是會覺得chatGPT的表現最好，它會紅不是沒有理由的。

其餘開源語言模型目前能正常對談已是非常優秀的進步了，但與chatGPT相比仍是略顯呆版，文字量與內容也不夠豐富活潑。

即使是google bard或claude這類同樣由大型企業開發的語言模型，雖然足與chatGPT一戰，但因為建構思維綁手綁腳很怕得罪人，所以它們的講話風格總是嚴肅又單調。即使我常常抱怨chatGPT是無聊的道德魔人，但其實它牌模型的表現是更僵硬。