提升工作效率，TAIDE繁體中文模型應用於Comfyui工作流的心得分享

2024/05/11閱讀時間約 7 分鐘

前言：有點長的前言，但也蠻重要。

首先感謝國科會TAIDE開發團隊在大語言模型的提升與推廣，因為能有一個適合我們自己台灣文化的自然語言模型庫，真的是太棒了！能夠直接使用繁體中文跟語言模型溝通，除了大幅降低了「下指令」這個語言隔閡，畢竟能用自己的自然語言互動是最舒適的，當然語言模型的回應並非百分百正確，當你有疑問仍須加以查證。總之現在大語言模型的應用工具已經百家爭鳴，一般家用個人電腦的資源就足以妥善運用。

ollama工作流(資料來源:Nel wo)

我自己並非專業人士，所幸現在有許多優秀的LLM平台與工具的開發，可以實現各種近用的可能，在這當中我個人推薦LM Studio跟ollama兩個平台，它們都是可以「一鍵安裝」的好選擇，讓我們可以能輕易地用個人電腦體驗新科技帶來的知識革新與便利，但是因為這篇文章主要還是以Comfyui為軸心，所以我僅介紹目前與Comfyui結合度較高的ollama，也紀錄我如何透過ollama來運作「TAIDE繁體中文模型」的重點，這篇文章的目的是，「希望透過能輸入中文的工作流，產出概念的圖像，讓前期溝通更具體」。請注意我的重點喔，這個工作組合僅適合用於「前期」的概念溝通，特別是影像工作者，或是企劃工作者，是必須向他人溝通「概念」時適用，是「概念溝通」不是最終產品，最後的成品過程仍需要專業資源或團隊來完成，只是希望能縮短這個「概念溝通」的時間，讓雙方有一個想像或是共識，概念溝通其實是最難的事情了。

我也是初學者，一切都是透過自己的試誤學習來研究，若有錯誤之處還請指正，這裡記錄了我如何讓ollama在comfyui上面運作的過程，歡迎有興趣的朋友一起交流學習。

第一步：安裝Comfyui工作流

這一部分我就不多加贅述，可以參考Ｇithub上的安裝指引，我也是從這個指引一步一步試著安裝起來，而且也有行動版本可以一鍵安裝。此外把comfyui安裝完畢之後，也請下載自己想要的影像模型，這一部分還請有興趣的朋友自行完成，線上也有許多的Comfyui安裝教學，工作流將在文章後段說明。

第二步：安裝ollama+llava語言模型

安裝ollama非常容易，它是完全免費的開放原始碼工具，可來這裡下載安裝，安裝完之後就會自動執行。接著就要安裝llava，但為什麼一定要安裝llava模型呢?從說明中我們可以知道它是一種多模態的語言模型，廣泛的解釋就是「可用於通用視覺和語言理解」，它除了文字理解，還具備了視覺編碼器，簡單來說除了文字理解，它還能看懂圖片是甚麼，這對於圖像辨識與生成都非常重要，用它來配搭「TAIDE繁體中文模型」是一個不錯的組合。ollama的模型庫都在官網上面，或是你在搜尋欄位搜尋「llava」就可找到它。

安裝llava模型，只要在安裝完ollama之後，在windows搜尋列尋找「Powershell」(如下圖)，接著用管理者身份開啟它，等他進入命令列之後，打入「ollama run llava」，靜候下載完成。

管理者身份執行powershell進入命令列

powershell下安裝llava

第三步：下載TAIDE語言模型

關於國科會的TAIDE語言模型，目前在ollama官方的模型庫裡找不到，但是能在Hugging Face上面免費下載，截至2024.05.09之前，只需要填寫使用同意書即可使用，我個人是使用較為輕省的版本-Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit。

置放TAIDE模型的位置，我個人建議就放在ollama預設的安裝位置「C:\Users\(這裡是你的使用者名稱)\.ollama\models」，以方便導入至ollama。

第四步：在ollama導入TAIDE模型

現在，我們已經準備好Comfyui，ollama+llava模型+TAIDE模型了，接著就是把TAIDE模型導入ollama裡面。

導入TAIDE模型，可參考ollama官方文件的「客製化模組」的說明。

1.建立Modelfile.txt：我是建立在這個位置（C:\Users\(這裡是你的使用者名稱)\.ollama\models），在裡面寫入以下資訊後儲存：

_{FROM ./Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit.gguf}

_{TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>}

_{{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>}

_{{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>}

_{{{ .Response }}<|eot_id|>"""}

_{PARAMETER num_keep 24}

_{PARAMETER num_ctx 1024}

_{PARAMETER stop "<|start_header_id|>"}

_{PARAMETER stop "<|end_header_id|>"}

_{PARAMETER stop "<|eot_id|>"}

2.將TAIDE導入ollama：按右鍵以管理者的身份，開啟Powershell，在命令列鍵入以下資訊後按下enter執行即可，順利的話會需要花一點模型轉移的時間。

ollama create example -f Modelfile.txt

那個＂example＂可以自己命名，方便記憶即可，我是命名taiwan3-2。

導入完成後，你也可以用powershell測試看看有無成功，如下圖，若有成功，傳說中的TAIDE專屬的繁體中文回答應該就會出現了，你可以直接用繁體中文與它互動看看。

用ollama與TAIDE溝通看看

第五步：用Comfyui開啟ollama工作流

comfyui是一種具有高彈性的工作流介面，感謝有許多無私貢獻他們工作流智慧結晶的創作者，讓我們有機會可以一窺這種特殊的工作方式，這次TAIDE+ollama+comfyui的協同工作，還需要ollama的工作節點，這個工作節點的原始檔可以從這個地方下載，可以直接用git clone的方式來完成。

有一個很棒的整合者，這個工作流從前端溝通到最後的圖形生成都有妥善的安排，可以從這裡下載這個工作流，工作流的流程如下圖所示。

ollama工作流(資料來源：Nel Wo)

裡面的ollama生成模型，只要改成你導入TAIDE時命名的資料模型名稱就可以，例如我將TAIDE模型命名為taiwan3-2，其他參數細節各位有興趣的朋友可以花一點時間研究看看，可以透過中文繁體輸入情境，產出相關聯的故事概念圖，真的還蠻方便的就是了。我也根據這個工作流，增加成五幕的版本，若你有興趣也可以從這裡下載。