Groq推出自家產品的免費試用,震驚人工智能圈,將威脅英偉達等芯片製造商?

閱讀時間約 4 分鐘

AI圈又有新的重磅消息了。

2月19日,美国硅谷AI初创企业Groq开放了自家产品的免费试用。众多用户进行试用后纷纷表示震惊。

Groq响应速度惊人

大家最为震惊的点在于,Groq的响应速度实在是太快了。据网友测试,Groq每秒生成速度接近500 tokens

Groq X

Groq X

从视频我们可以更加直观感受到这种响应速度有多么惊人,直接碾压ChatGPT那种逐字生成答案的聊天机器人!


Play Video


这样快的响应速度得益于Groq背后的团队为大语言模型(LLM)开发了自己的定制专用集成电路(ASIC)芯片。相比之下,该模型的公开版本ChatGPT-3.5每秒可以生成大约40个tokens

一般来说,人工智能工作负载分为两个不同的类别:训练和推理。虽然训练需要大量的计算和内存容量,但访问速度并非重点关注对象,推理却不同。通过推理,人工智能模型必须运行得非常快,以便为最终用户提供尽可能多的tokens,从而更快地为用户提供回答。

从这个角度来看,Groq是一个“推理引擎”,而不是像ChatGPT、Gemini或马斯克旗下的Grok那样的聊天机器人。Groq可以帮助这些聊天机器人运行得非常快,但不会完全取代它们。在Groq的网站上,用户可以测试不同的聊天机器人,并查看和比较它们使用Groq的运行速度。

根据Artificial Analysis上周发布的第三方测试,Groq每秒可生成247个tokens,而微软每秒生成18个tokens。这意味着如果ChatGPT在Groq的芯片上运行,其运行速度可以提高13倍以上。

Artificial Analysis

Artificial Analysis

而ChatGPT、Gemini和Grok等人工智能聊天机器人如果速度更快,对AI发展也会更有益处。当前人工智能聊天机器人的有一个痛点就是存在延迟。谷歌最近展示了一段与Gemini有关的视频,视频中的Gemini可以进行实时、多模式的对话,尽管官方表示这段视频经过编辑、加速。但随着Grok速度的提高,该视频所呈现的效果后续可能成为现实。

Groq将威胁英伟达等芯片制造商?

此外值得注意的是,开发Groq的公司Groq Inc.还表示,其已经创建了第一个运行模型的语言处理单元(LPU)。据官方介绍 ,LPU推理引擎是一种新型的端到端处理单元系统,可为具有顺序组件的计算密集型应用程序提供最快的推理,例如LLM。

Groq

Groq

在加入Groq之前,创始人兼首席执行官乔纳森·罗斯(Jonathon Ross)是谷歌人工智能芯片部门的联合创始人,该部门生产用于训练人工智能模型的尖端芯片。Ross表示,通过LPU,Groq绕过了GPU和CPU遇到的两个LLM瓶颈:计算密度和内存带宽。

就LLM而言,LPU比GPU和CPU具有更强大的计算能力。这减少了每个单词的计算时间,从而可以更快地生成文本序列。此外,消除外部内存瓶颈使LPU推理引擎能够在LLM上提供更高的性能,与GPU相比可以高出几个数量级。

Groq LPU具有80 TB/s带宽的海量并发性,具有230 MB本地SRAM容量。所有这些共同为Groq提供了出色的性能。根据LLMPerf排行榜,Groq LPU在7到700亿个参数的配置中推理LLM Llama方面击败了基于GPU的云提供商。在tokens吞吐量(输出)和第一个tokens的时间(延迟)方面,Groq处于领先地位,实现了最高的吞吐量和第二低的延迟

LLMPerf

LLMPerf

LLMPerf

LLMPerf

一旦像Groq的LPU这样的快速推理芯片变得越来越普遍,慢速聊天机器人将会被逐渐淘汰掉。

近一年来,英伟达的GPU被视为运行AI模型的行业标杆,在AI热潮下英伟达的GPU日益变得稀缺且昂贵。现在早期结果表明,在AI模型训练方面,LPU可能会击败GPU,并成为英伟达A100和H100芯片的替代品。

虽然LPU是否会被业界大量采用仍是一个问题,但其所展示出来的超高推理性能已经或多或少挑战到英伟达、AMD和英特尔等GPU提供商的地位了。

如今,AI芯片越来越受到行业关注,不仅传统芯片制造商在关注,其他科技企业也对AI芯片展现出颇高的兴趣。包括OpenAI在内的主要人工智能企业正在寻求开发内部芯片,以降低对英伟达等芯片制造商的依赖。此前有报道称,OpenAI的首席执行官萨姆·阿尔特曼(Sam Altman)前往中东等地寻找投资者,并期望能筹集数万亿美元的资金来开发自己的芯片,以克服产品扩展方面的问题。

#AI##人工智能##Groq##英伟达##芯片#

1會員
181內容數
留言0
查看全部
發表第一個留言支持創作者!
TommyChueng的沙龍 的其他內容
近一年來,受到AI熱潮的推動,全球芯片巨頭英偉達的股價一路飆升。美國銀行研究分析師Vivek Arya警告稱,英偉達股價可能大幅回調,因為超出預期的潛力削弱了英偉達,使其很容易受到盈利後波動的影響。Arya認為股價回調可能是由過度看漲而非基本面驅動的。
軟銀集團首席執行官孫正義正在籌集1,000億美元的資金,成立人工智能芯片企業以與英偉達展開競爭,希望在業務上能與Arm互補。該項目代號為“Izanagi”,旨在為全球AI發展提供核心芯片產品。此舉正標誌著軟銀投資的戰略轉移,集團未來將重點著眼於AI革命。
阿里巴巴集團(下稱“阿里”)發佈截至2023年12月31日的2024財年第三季度業績報告,關鍵詞包括財報數據、營收增長、股票回購計劃、核心業務、阿里雲、AIDC、菜鳥集團、本地生活集團、大文娛集團、股份回購。
張楠辭去抖音集團CEO一職,將專注於剪映業務。剪映是字節跳動的視頻剪輯軟件,面向抖音平臺用戶用於製作短視頻內容。文章探討了張楠的辭職原因,未來發展計劃,以及剪映軟件的最新動態。
澳洲聯儲宣佈將政策利率維持在12年高點4.35%不變。澳洲聯儲還發布了對未來經濟前景的預測,強調通脹迴歸目標是當務之急。本文涉及澳洲聯儲、利率決議、通貨膨脹等內容。
2023年,越南電商市場規模達205億美元,同比增長了25%,而數字支付和人工智能的快速發展也為越南的數字化轉型貢獻了力量。這篇文章介紹了越南在電商、數字支付和人工智能方面的發展態勢和前景展望。
近一年來,受到AI熱潮的推動,全球芯片巨頭英偉達的股價一路飆升。美國銀行研究分析師Vivek Arya警告稱,英偉達股價可能大幅回調,因為超出預期的潛力削弱了英偉達,使其很容易受到盈利後波動的影響。Arya認為股價回調可能是由過度看漲而非基本面驅動的。
軟銀集團首席執行官孫正義正在籌集1,000億美元的資金,成立人工智能芯片企業以與英偉達展開競爭,希望在業務上能與Arm互補。該項目代號為“Izanagi”,旨在為全球AI發展提供核心芯片產品。此舉正標誌著軟銀投資的戰略轉移,集團未來將重點著眼於AI革命。
阿里巴巴集團(下稱“阿里”)發佈截至2023年12月31日的2024財年第三季度業績報告,關鍵詞包括財報數據、營收增長、股票回購計劃、核心業務、阿里雲、AIDC、菜鳥集團、本地生活集團、大文娛集團、股份回購。
張楠辭去抖音集團CEO一職,將專注於剪映業務。剪映是字節跳動的視頻剪輯軟件,面向抖音平臺用戶用於製作短視頻內容。文章探討了張楠的辭職原因,未來發展計劃,以及剪映軟件的最新動態。
澳洲聯儲宣佈將政策利率維持在12年高點4.35%不變。澳洲聯儲還發布了對未來經濟前景的預測,強調通脹迴歸目標是當務之急。本文涉及澳洲聯儲、利率決議、通貨膨脹等內容。
2023年,越南電商市場規模達205億美元,同比增長了25%,而數字支付和人工智能的快速發展也為越南的數字化轉型貢獻了力量。這篇文章介紹了越南在電商、數字支付和人工智能方面的發展態勢和前景展望。
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
NordVPN 是一家被不少關注 VPN 服務的網友所熟知的供應商。最近,他們宣佈推出了一項名為「Saily」的全球 eSIM 服務。只要用戶的手機支援 eSIM 技術,就可以申請並使用這項服務。目前,Saily 正處於 Beta 階段,有興趣的網友已經可以開始申請,正式版本預計在今年稍後推出。
Thumbnail
  舊曆年將至,您挑好要送的好禮了嗎?送禮就要送到心坎裡,劑量足、省荷包、性價比高的全素「Enlin無添坊納豆紅麴」是滋補強身、健康維持的新一代健康輔助食品,也是過年送禮送健康的最順心年伴手禮!
SeaPRwire推出為阿拉伯市場量身定制的尖端新聞發佈服務   Dubai, UAE - 在一項開創性的舉措中,領先的新聞發佈服務提供商SeaPRwire(https://www.seaprwire.com)自豪地推出了專為阿拉伯新聞發佈服務。這一戰略舉措旨在通過創新的品牌洞察計畫為阿拉伯地區
Thumbnail
Imagine with Meta 是 Meta 推出的文字生成圖片的工具,只要輸入簡單的文字描述,就可以生成高品質的圖像。
Thumbnail
9月9日,美國、印度、沙特等在二十國集團(G20)峰會場邊簽署諒解備忘錄,宣布建設「印度-中東-歐洲經濟走廊」(IMEC)。
Thumbnail
身為一個數位牧民,學習吸收新知格外重要。 幾天前,Google推出了一個令人振奮的消息:他們推出了一個全新的生成式AI學習路徑!這個學習路徑包含了多個課程,涵蓋了生成式AI的各種主題,例如「生成式AI入門」、「大型語言模型」和「圖像生成」等等。 最棒的是:他對小白格外友善,其中一些課程並不需要任何先
加利福尼亞,美國-加州州長辦公室宣布推出「想像圖書館」計畫,旨在促進幼兒早期閱讀能力。根據該計畫,加州所有5歲以下的兒童都有資格每月獲得一本免費的中英文書籍。該計畫將為全州數以千計的幼童帶來閱讀和學習的樂趣。 「想像圖書館」計畫由著名歌手和慈善家多莉·帕頓(Dolly Parton)發起,其在提升幼
Thumbnail
还记得供应链大戏并没有威胁到每一个主要科技产品的发布吗? 这就是大流行期间的生活。 尽管如此,虽然处理器短缺问题并没有完全解决,但移动制造商至少似乎掌握了芯片问题。 2022 年迄今为止发布的最大智能手机 三星盖乐世 S21 FE 三星 Galaxy S22 系列 即将推出的 2022 年最佳手机
Thumbnail
國產疫苗就算只考慮台灣本地的市場,你怎麼知道不會有新的病毒變種,甚至於出現第二支病毒、第三支病毒來呢? 疫情肯定有機會常態化,我們的國產疫苗的研發與生產能力肯定不會只應付這一次的新冠病毒而已…
Thumbnail
國產疫苗就算只考慮台灣本地的市場,你怎麼知道不會有新的病毒變種,甚至於出現第二支病毒、第三支病毒來呢? 疫情肯定有機會常態化,我們的國產疫苗的研發與生產能力肯定不會只應付這一次的新冠病毒而已…
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
美國總統大選只剩下三天, 我們觀察一整週民調與金融市場的變化(包含賭局), 到本週五下午3:00前為止, 誰是美國總統幾乎大概可以猜到60-70%的機率, 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Thumbnail
Faker昨天真的太扯了,中國主播王多多點評的話更是精妙,分享給各位 王多多的點評 「Faker是我們的處境,他是LPL永遠繞不開的一個人和話題,所以我們特別渴望在決賽跟他相遇,去直面我們的處境。 我們曾經稱他為最高的山,最長的河,以為山海就是盡頭,可是Faker用他28歲的年齡...
NordVPN 是一家被不少關注 VPN 服務的網友所熟知的供應商。最近,他們宣佈推出了一項名為「Saily」的全球 eSIM 服務。只要用戶的手機支援 eSIM 技術,就可以申請並使用這項服務。目前,Saily 正處於 Beta 階段,有興趣的網友已經可以開始申請,正式版本預計在今年稍後推出。
Thumbnail
  舊曆年將至,您挑好要送的好禮了嗎?送禮就要送到心坎裡,劑量足、省荷包、性價比高的全素「Enlin無添坊納豆紅麴」是滋補強身、健康維持的新一代健康輔助食品,也是過年送禮送健康的最順心年伴手禮!
SeaPRwire推出為阿拉伯市場量身定制的尖端新聞發佈服務   Dubai, UAE - 在一項開創性的舉措中,領先的新聞發佈服務提供商SeaPRwire(https://www.seaprwire.com)自豪地推出了專為阿拉伯新聞發佈服務。這一戰略舉措旨在通過創新的品牌洞察計畫為阿拉伯地區
Thumbnail
Imagine with Meta 是 Meta 推出的文字生成圖片的工具,只要輸入簡單的文字描述,就可以生成高品質的圖像。
Thumbnail
9月9日,美國、印度、沙特等在二十國集團(G20)峰會場邊簽署諒解備忘錄,宣布建設「印度-中東-歐洲經濟走廊」(IMEC)。
Thumbnail
身為一個數位牧民,學習吸收新知格外重要。 幾天前,Google推出了一個令人振奮的消息:他們推出了一個全新的生成式AI學習路徑!這個學習路徑包含了多個課程,涵蓋了生成式AI的各種主題,例如「生成式AI入門」、「大型語言模型」和「圖像生成」等等。 最棒的是:他對小白格外友善,其中一些課程並不需要任何先
加利福尼亞,美國-加州州長辦公室宣布推出「想像圖書館」計畫,旨在促進幼兒早期閱讀能力。根據該計畫,加州所有5歲以下的兒童都有資格每月獲得一本免費的中英文書籍。該計畫將為全州數以千計的幼童帶來閱讀和學習的樂趣。 「想像圖書館」計畫由著名歌手和慈善家多莉·帕頓(Dolly Parton)發起,其在提升幼
Thumbnail
还记得供应链大戏并没有威胁到每一个主要科技产品的发布吗? 这就是大流行期间的生活。 尽管如此,虽然处理器短缺问题并没有完全解决,但移动制造商至少似乎掌握了芯片问题。 2022 年迄今为止发布的最大智能手机 三星盖乐世 S21 FE 三星 Galaxy S22 系列 即将推出的 2022 年最佳手机
Thumbnail
國產疫苗就算只考慮台灣本地的市場,你怎麼知道不會有新的病毒變種,甚至於出現第二支病毒、第三支病毒來呢? 疫情肯定有機會常態化,我們的國產疫苗的研發與生產能力肯定不會只應付這一次的新冠病毒而已…
Thumbnail
國產疫苗就算只考慮台灣本地的市場,你怎麼知道不會有新的病毒變種,甚至於出現第二支病毒、第三支病毒來呢? 疫情肯定有機會常態化,我們的國產疫苗的研發與生產能力肯定不會只應付這一次的新冠病毒而已…