在目前的深度學習領域中，不管是訓練或推論，九成以上都是使用輝達Nvidia的GPU或是伺服器來進行。
輝達雖然也有演算法的團隊，並不是公司主軸，主要的營收都來自GPU與伺服器的販賣，也因如此，輝達也被稱為販賣淘金用專屬鏟子的公司。
由於輝達的GPU不容易購買，價格又高，其他大公司如Intel、AMD或AI新創公司都想要建立比輝達的效能更快且成本更低的晶片，來奪取市場份額。
微軟、META、Amazon、Google等資金雄厚的公司，對於輝達GPU的壟斷也甚感無奈，期望有其他更多選擇，否則供不應求的情況下，輝達有絕對的議價能力，想要漲價就漲價，想賣多少就是多少，如果不買，還有很多買家在後面等著!
最近有整理到3家AI晶片新創公司，選這3間是因為都已經有產品，在其網頁上可直接測試，容易進行比較。
以下介紹3位選手
1. SambaNova:
這家38Nova是一家成立於2017年的AI晶片設計公司，總部位於美國矽谷。
該公司專注於開發高性能的AI晶片及系統，旨在透過結合硬體和軟體解決方案，簡化企業在AI應用中的部署過程。
2018時就獲得Google的投資，之後還有軟銀、貝萊德、英特爾、中國華登國際、新加坡淡馬錫控股都相繼入股。
最新消息是推出了SN40L晶片，採用台積電的5奈米製程，具有140個運算核心。這款晶片聲稱達到NVIDIA H100晶片的3.1倍，訓練性能則達到2倍，且擁有更低的成本。
2. Groq
Groq是一家成立於2016年的美國AI晶片新創公司。
投資方有BlackRock、思科的風險投資部門、三星的創新基金等
Groq開發了一款名為LPU（Language Processing Unit）的AI推論晶片，採用靜態隨機存取記憶體(SRAM),可以恆定地儲存資料,避免了一般GPU常見的DRAM需要頻繁刷新而導致的不確定性,從而提高運算速度。
LPU特別適合在Transformer模型上運行推論,如GPT-4等大型語言模型上執行。
性能方面，當然也要嗆聲一下，宣稱其性能是NVIDIA GPU的4倍
3. Cerebras
Cerebras Systems是一家成立於2016年的美國AI晶片公司，這家總部位於加州的公司專注於開發用於訓練和推理AI模型的專業晶片，並以其獨特的晶圓級設計而聞名。
投資方有來自Coatue Management、OpenAI執行長奧特曼（Sam Altman）、Benchmark創投、阿布達比的G42等管道募得7.4億美元。
最近也向美國證券交易委員會提交了首次公開募股（IPO）的申請，預計將於2024年下半年上市。
嗆聲方面也不能弱，Cerebras推出的Cerebras Inference平台聲稱在推理性能上比NVIDIA的GPU快20倍，並且運行成本僅為競爭對手的五分之一。
選手們的介紹就到這邊，從以上三家可以來得到一些共同點:
1.這些公司剛好都在美國:
- 當然也有其他AI新創公司，像是Tenstorrent、Sima.ai、Etched AI、d-Matrix等，但在這些新創的網站上並沒有可以測試的內容，大多只有文字上的敘述，所以沒有在這討論。
- 另外有一間來自英國的Graphcore，一開始的聲勢不錯，但因業務運作得不好，目前求售中，也沒有對應的產品進行比較。
- 也就是說，除了這三間AI晶片新創公司外，Nvidia、AMD、Intel、Google、Microsoft也都是在美國，即地球上擁有最多最強的AI晶片就是美國!!
2.不約而同都跟輝達比較
- 沒有看到有哪家公司的產品拿AMD或Intel的晶片來進行比較，很明顯地，這個市場就是由輝達所壟斷!!
3.大家都專注在語言模型(LLM)的推論速度來吸引大客戶
- 提到的這些新創公司都是專注在晶片的創新，而非演算法或軟體。
- 硬體晶片公司很燒錢，所以只能將資源投注在一個目標，就是LLM的推論，期望以更快的速度與更低的成本來讓手上擁有很多錢的大鯨魚來買單。
- 簡單來說，晶片公司就是賣晶片，不會像以演算法為主的OpenAI開放API或訂閱來收錢。
- 要注意的是，輝達的主軸雖然也是賣晶片，但其商業模型已經多角化，除了消費型顯卡(像最近黑悟空也掀起一陣組裝搭配有RTX4070以上規格的電腦)，還跨足資料中心、物理世界模擬、車載等領域，並沒有只專注在LLM這塊而已，別忘了幾年前虛擬貨幣還沒POS前，全世界也都在瘋搶輝達的GPU來挖礦!!
- 輝達的CUDA開放原始碼讓每個領域都能使用輝達GPU做大量的運算，這是其他新創公司遠遠不及的!
最後來看一下，這三家的推論速度比較
皆使用Meta Llama3.1 70B的模型進行推論，詢問相同問題下，推論速度排序是Cerebras > SambaNova > Groq
請參閱下圖
Cerebras的推論速度真的很誇張，以下附上網址，有興趣的各位也可以去玩玩看~
Cerebras的連結網址
SambaNova的連結網址
groq的連結網址
