AI | 比NVIDIA晶片推論速度還快的新創Groq

根據相關資料，Groq的Language Processing Unit (LPU) 在進行大型語言模型推論時，速度比NVIDIA的A100 GPU快得多。以下是幾個關鍵點：

1. Groq的LPU專門設計用於超高速AI推論，而不是像GPU那樣主要用於圖形處理[ ❶ ](https://www.linkedin.com/posts/raphaelmansuy_18x-faster-ai-inference-than-gpu-groq-lpu-activity-7165185102065442816-Rhcq)。

2. 在測試中，使用70B大型語言模型時，Groq的LPU的推論速度比GPU快18倍[ ❶ ](https://www.linkedin.com/posts/raphaelmansuy_18x-faster-ai-inference-than-gpu-groq-lpu-activity-7165185102065442816-Rhcq)。

3. Groq的LPU被描述為"讓GPU望塵莫及"的AI加速器[ ❷ ](https://medium.com/@cognidownunder/groqs-lpu-the-ai-accelerator-that-s-leaving-gpus-in-the-dust-bb6fff67a877)。

然而，值得注意的是，一些可信的人士表示，NVIDIA在推論方面可能比Groq更便宜，儘管Groq在具體數據方面一直保持謹慎[ ❸ ](https://www.reddit.com/r/singularity/comments/1c845st/the_speed_at_which_groq_chips_run_llama3_is/)。

總的來說，就純粹的推論速度而言，Groq的LPU似乎比NVIDIA的A100 GPU快得多，特別是在處理大型語言模型時。但在選擇使用哪種技術時，還需要考慮其他因素，如成本效益和整體性能。

我覺得還不錯用，而且免費就能用非常多次，我也很鼓勵付費，讓整個AI產業能繼續蓬勃發展