我們常常使用的OPEN AI最近釋出了20B與120B的模型開源，讓大家能下載在AWS佈署或(有錢一點在公司自己佈署使用)。
建置成本上不會很昂貴，120B大概只要買張顯示卡H100左右大約3萬美金就可以。(這是指大型企業而言)
20B的模型大概推估只要你有MACBOOK PRO，M4CPU的16-32GB RAM就能跑得起來。
甚至桌機買台大約5-10萬左右有好一點顯示卡的就能跑。
跟之前我測試的不同，這次就是OPEN AI自己的開源模型，預期使用上會很接近CHATGPT給你的直接感受。
速度上面我是覺得應該還是就那樣差不多吧。
LAG或卡卡是一定的。
昨天剛一發布，我今天就想下載來玩玩看，所以現在就來提供我的安裝方式。
大家一定對於WINDOWS圖形介面比較熟悉，所以這次我們選擇LM Studio來下載安裝。
先到以下網址下載安裝
https://lmstudio.ai/
安裝完畢後直接打開，沒想到第一個頁面就跳出要你下載OPEN AI 20B
接著就按Download 執行下載的動作。
距離我前一兩個月玩LLM模型要下終端機指令然後架設本地網頁去開啟問答，這個整合成圖形介面GUI還是比較親切又方便。
跟傳統你在裝軟體一樣，等他下載好你就可以玩玩看。
像玩電動一樣。
等下載好了以後，上面有提示LOAD模型，按下按鈕以後就會載入了。
以下是我問的問題和畫面展示，現在可以非常簡單的架設了一個本地的模型來玩。
但是CPU與GPU使用率都很高，跟玩3A遊戲差不多!
MES做完以後接下來繼續來玩這個!!
