Nvidia的AI晶片歷史

更新於 2024/11/18閱讀時間約 5 分鐘

NVIDIA 自 2006 年推出 CUDA 架構以來,持續研發專為人工智慧(AI)設計的 GPU,以下是其主要產品的演進:

  1. 2006 年:CUDA 架構
    • NVIDIA 發布 CUDA(Compute Unified Device Architecture),使 GPU 能夠進行通用計算,開啟了 GPU 在 AI 領域的應用。
  2. 2008 年:Tesla 系列
    • 推出 Tesla C1060,基於 GT200 架構,專為高效能計算和科學運算設計,支援 CUDA,適用於 AI 訓練。
  3. 2012 年:Kepler 架構
    • 發布 Tesla K20,基於 Kepler 架構,提升了雙精度浮點運算性能,適合深度學習訓練。
  4. 2016 年:Pascal 架構
    • 推出 Tesla P100,採用 Pascal 架構,支援 NVLink 技術,顯著提升深度學習訓練效率。
  5. 2017 年:Volta 架構
    • 發布 Tesla V100,基於 Volta 架構,首次引入 Tensor Core,專為深度學習加速設計,提升 AI 訓練和推理性能。
  6. 2020 年:Ampere 架構
    • 推出 A100 GPU,採用 Ampere 架構,擁有第三代 Tensor Core,支援多實例 GPU(MIG)技術,適用於多種 AI 工作負載。
  7. 2022 年:Hopper 架構
    • 發布 H100 GPU,基於 Hopper 架構,具備第四代 Tensor Core,支援 Transformer Engine,專為大型 AI 模型訓練和推理設計。
  8. 2024 年:Blackwell 架構
    • 計劃推出 B100 GPU,採用 Blackwell 架構,預計在性能和能效上有重大突破,進一步提升 AI 訓練和推理能力。

NVIDIA 持續透過新架構和技術,提升 GPU 在 AI 領域的性能和效率,滿足不斷增長的計算需求。

1. CUDA 架構

  • 代表晶片
    • Tesla C870
    • Tesla C1060
  • 用途
    • 初步實現 GPU 通用計算,應用於基礎 AI 訓練和科學運算。

2. Fermi 架構

  • 代表晶片
    • Tesla M2050
    • Tesla M2070
  • 用途
    • 引入雙精度浮點運算,適合資料密集型運算。

3. Kepler 架構

  • 代表晶片
    • Tesla K10
    • Tesla K20
    • Tesla K40
  • 用途
    • 強化深度學習和高效能運算,成為 AI 訓練的熱門選擇。

4. Maxwell 架構

  • 代表晶片
    • Tesla M40
    • Tesla M4
  • 用途
    • 針對深度學習推理進行優化,適合低功耗推理工作負載。

5. Pascal 架構

  • 代表晶片
    • Tesla P100
    • Tesla P4
    • Tesla P40
  • 用途
    • 支援 NVLink 技術,顯著提升 AI 訓練和高效能運算效率。

6. Volta 架構

  • 代表晶片
    • Tesla V100
    • Titan V
  • 用途
    • 首次引入 Tensor Core,顯著加速深度學習訓練和推理。

7. Turing 架構

  • 代表晶片
    • T4
    • RTX 系列(針對消費級 AI 和圖形運算)
  • 用途
    • 支援混合精度計算,適合 AI 推理和視覺運算。

8. Ampere 架構

  • 代表晶片
    • A100
    • A30
    • A10
    • RTX A 系列(專業圖形運算)
  • 用途
    • 支援第三代 Tensor Core 和多實例 GPU(MIG),專為大規模 AI 模型訓練設計。

9. Hopper 架構

  • 代表晶片
    • H100
    • H800(中國市場特供版本)
  • 用途
    • 配備第四代 Tensor Core 和 Transformer Engine,專注於生成式 AI 和大型語言模型(LLM)。

10. Blackwell 架構

  • 代表晶片(即將推出):
    • B100
    • 預期還有其他產品(如 B200、GB200)
  • 用途
    • 採用 Chiplet 設計,進一步提升 AI 訓練和推理性能,支援更大規模的模型和高效能運算。


raw-image


avatar-img
1會員
184內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
DA的美股日記 的其他內容
H100 架構:Hopper 架構(針對 AI 訓練與推理的 GPU)。 製程:台積電 4nm 製程。 電晶體數量:約 800 億。 記憶體: 支援 HBM3 記憶體,容量最大達 80GB。 設計:單一晶片(非 Chiplet)。 主要應用: AI 訓練與推理。 高效能運算(HPC
CUDA Core(通用計算單元) 是 NVIDIA GPU(圖形處理器)中的基本計算單元,專門設計用來執行並行計算任務。它們是 NVIDIA CUDA 平台的核心部分,用來處理圖形渲染和一般計算任務,特別是那些需要大規模數據運算的應用,例如遊戲圖形、科學模擬和人工智慧(AI)。 1. CUD
Tensor Core 不是一個獨立的晶片,而是一個 GPU 內部的專用硬體單元(硬體模塊),專為加速矩陣運算(特別是人工智慧中的深度學習任務)設計。 1. Tensor Core 是什麼? Tensor Core 是 NVIDIA 在 GPU 中設計的一種「小單位」,專門處理 矩陣乘法與累加
1. 什麼是浮點數? 浮點數是一種用來表示小數或非常大的數字的方法。 它的作用是讓電腦能夠處理像 3.14159(圓周率)或 1234567890(很大的數字)這樣的數字。 為什麼要有浮點數? 👉 因為用電腦表示這些數字的時候,記憶體有限,直接儲存會很浪費空間,效率也低。 2.
**浮點數(Floating Point, FP)**的概念最早可以追溯到20世紀初,但它在現代計算中的應用則是在電腦科學發展的中期開始逐漸普及。 1. 浮點數的起源 早期數值表示: 在 20 世紀初,數值運算主要依賴定點數(Fixed Point)表示法,這種方式限制了數值的範圍和精度,尤
FP8 精度是一種浮點數表示格式,代表了 8-bit 浮點數。它是最新引入的數值精度形式,主要用於深度學習中的 AI 訓練和推論,旨在在性能與數據精度之間取得更好的平衡。 1. FP8 精度的基本概念 浮點數表示格式: 浮點數是一種數據表示方式,分為 符號位、指數位 和 尾數位。FP8 格式的
H100 架構:Hopper 架構(針對 AI 訓練與推理的 GPU)。 製程:台積電 4nm 製程。 電晶體數量:約 800 億。 記憶體: 支援 HBM3 記憶體,容量最大達 80GB。 設計:單一晶片(非 Chiplet)。 主要應用: AI 訓練與推理。 高效能運算(HPC
CUDA Core(通用計算單元) 是 NVIDIA GPU(圖形處理器)中的基本計算單元,專門設計用來執行並行計算任務。它們是 NVIDIA CUDA 平台的核心部分,用來處理圖形渲染和一般計算任務,特別是那些需要大規模數據運算的應用,例如遊戲圖形、科學模擬和人工智慧(AI)。 1. CUD
Tensor Core 不是一個獨立的晶片,而是一個 GPU 內部的專用硬體單元(硬體模塊),專為加速矩陣運算(特別是人工智慧中的深度學習任務)設計。 1. Tensor Core 是什麼? Tensor Core 是 NVIDIA 在 GPU 中設計的一種「小單位」,專門處理 矩陣乘法與累加
1. 什麼是浮點數? 浮點數是一種用來表示小數或非常大的數字的方法。 它的作用是讓電腦能夠處理像 3.14159(圓周率)或 1234567890(很大的數字)這樣的數字。 為什麼要有浮點數? 👉 因為用電腦表示這些數字的時候,記憶體有限,直接儲存會很浪費空間,效率也低。 2.
**浮點數(Floating Point, FP)**的概念最早可以追溯到20世紀初,但它在現代計算中的應用則是在電腦科學發展的中期開始逐漸普及。 1. 浮點數的起源 早期數值表示: 在 20 世紀初,數值運算主要依賴定點數(Fixed Point)表示法,這種方式限制了數值的範圍和精度,尤
FP8 精度是一種浮點數表示格式,代表了 8-bit 浮點數。它是最新引入的數值精度形式,主要用於深度學習中的 AI 訓練和推論,旨在在性能與數據精度之間取得更好的平衡。 1. FP8 精度的基本概念 浮點數表示格式: 浮點數是一種數據表示方式,分為 符號位、指數位 和 尾數位。FP8 格式的
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
Nvidia(輝達)是一家全球領先的圖形處理單元(GPU)製造商,近期在台灣和國際掀起一股旋風。 其成長歷程展示了技術創新和市場戰略的成功結合。以下是Nvidia企業成長的歷程簡述: 早期階段(1993-2000) Nvidia於1993年由黃仁勳(Jensen Huang)、Ch
這陣子輝達真的太熱門了,有很多人分享GPU硬體相關的技術,也有人分享與老黃一起工作的點點滴滴,總之非常精彩。 而老黃也說過輝達不只有硬體還有軟體,講到軟體大家第一個聯想到的是CUDA,有了CUDA的加持讓NVIDIA的GPU有更好的效能,不過NVIDIA另一個佈局已久的平台比較少人提起-Omniv
Thumbnail
NVIDIA(英偉達)作為全球領先的圖形處理器(GPU)製造商,不僅在遊戲市場佔有重要地位,還在專業圖形和高性能計算領域擁有強大的產品線。
Thumbnail
NVIDIA的新目標:AI晶圓代工 NVIDIA宣布,他們的目標是成為支援企業開發AI應用程式的「AI晶圓代工」。這與接受客戶委託製造半導體的代工廠相似,NVIDIA將提供技術、專業知識和基礎設施,幫助實現AI應用程式。
Thumbnail
NVIDIA的新目標是成為支援企業開發AI應用程式的「AI晶圓代工」,提供技術、專業知識和基礎設施,幫助實現AI應用。具體而言,NVIDIA將提供GPU、自主CPU「Grace」、超級計算機及其硬體,還有軟體和工具,以滿足客戶需求。
Thumbnail
NVIDIA、Intel、Tenstorrent和RISC-V在AI半導體領域的競爭和合作。Intel在AI領域推出了一系列產品,Tenstorrent和Rapidus合作開發新技術,而RISC-V開放源碼指令集架構也受到了廣泛關注。這些內容都展示了AI半導體市場的技術革新和競爭激烈的情況。
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
NVIDIA的CEO黃仁勳來到台北,發表了一場關於AI(人工智慧)和加速計算的精彩演講。我決定把這場演講的精華部分記錄下來,方便日後回顧和分享。 1. NVIDIA的技術創新 黃仁勳開場時提到,NVIDIA的GPU不僅僅是為了遊戲而設計的。他說:「我們的GPU還能用在AI和數據分析等領域...
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
Nvidia(輝達)是一家全球領先的圖形處理單元(GPU)製造商,近期在台灣和國際掀起一股旋風。 其成長歷程展示了技術創新和市場戰略的成功結合。以下是Nvidia企業成長的歷程簡述: 早期階段(1993-2000) Nvidia於1993年由黃仁勳(Jensen Huang)、Ch
這陣子輝達真的太熱門了,有很多人分享GPU硬體相關的技術,也有人分享與老黃一起工作的點點滴滴,總之非常精彩。 而老黃也說過輝達不只有硬體還有軟體,講到軟體大家第一個聯想到的是CUDA,有了CUDA的加持讓NVIDIA的GPU有更好的效能,不過NVIDIA另一個佈局已久的平台比較少人提起-Omniv
Thumbnail
NVIDIA(英偉達)作為全球領先的圖形處理器(GPU)製造商,不僅在遊戲市場佔有重要地位,還在專業圖形和高性能計算領域擁有強大的產品線。
Thumbnail
NVIDIA的新目標:AI晶圓代工 NVIDIA宣布,他們的目標是成為支援企業開發AI應用程式的「AI晶圓代工」。這與接受客戶委託製造半導體的代工廠相似,NVIDIA將提供技術、專業知識和基礎設施,幫助實現AI應用程式。
Thumbnail
NVIDIA的新目標是成為支援企業開發AI應用程式的「AI晶圓代工」,提供技術、專業知識和基礎設施,幫助實現AI應用。具體而言,NVIDIA將提供GPU、自主CPU「Grace」、超級計算機及其硬體,還有軟體和工具,以滿足客戶需求。
Thumbnail
NVIDIA、Intel、Tenstorrent和RISC-V在AI半導體領域的競爭和合作。Intel在AI領域推出了一系列產品,Tenstorrent和Rapidus合作開發新技術,而RISC-V開放源碼指令集架構也受到了廣泛關注。這些內容都展示了AI半導體市場的技術革新和競爭激烈的情況。
Thumbnail
這篇文章探討了NVIDIA在推論式AI半導體市場的挑戰,以及介紹了Intel在AI領域的強化舉措。文章中提到了新興企業可能有機會取代現有市場領導者,並討論了RISC-V技術在AI半導體市場的應用和其他相關動向。
Thumbnail
NVIDIA的CEO黃仁勳來到台北,發表了一場關於AI(人工智慧)和加速計算的精彩演講。我決定把這場演講的精華部分記錄下來,方便日後回顧和分享。 1. NVIDIA的技術創新 黃仁勳開場時提到,NVIDIA的GPU不僅僅是為了遊戲而設計的。他說:「我們的GPU還能用在AI和數據分析等領域...
Thumbnail
科技巨擘聯手推進生成式AI發展 開創人工智慧新時代 在生成式人工智慧(Generative AI)的浪潮中,雲端運算龍頭AWS和晶片巨擘NVIDIA攜手合作,推出一系列革命性的基礎設施、軟體和服務。
在今年的COMPUTEX展前演講中,Nvidia的首席執行官黃仁勳宣布了一個令人震驚的消息:Nvidia將從2025年開始每年更新其AI芯片。這一舉動無疑預示著一場新的工業革命正式拉開了序幕。