Deepseek開源週,第二個開源項目DeepEP

夜星-avatar-img
夜星
更新於 發佈於 閱讀時間約 1 分鐘
  • 一、核心技術架構特點
  • 通訊層創新設計
    • 採用異構域頻寬轉發技術，優化NVLink與RDMA域間數據流
    • 原生支援FP8低精度運算核心，降低記憶體頻寬需求
    • 實現通信-計算無縫重疊的hook機制
  • 延遲敏感型加速
    • 純RDMA核心達成<2ms端到端解碼延遲
    • 動態專家容量因子調節機制
  • 二、性能基準對比
raw-image


  • 三、系統級效益實證
  • 訓練效率突破
    • 128卡集群訓練週期縮短41%，GPU閒置率<3%
    • 千億參數模型強擴展效率達97%
  • 能效比里程碑
    • 每瓦特算力提升2.7倍
    • FP8推理任務能效提升23%
  • 四、技術突破關聯性
  • 與DeepSeek-V3的群組限制閘控算法形成軟硬協同
  • 在MoE架構下實現專家子網絡的精準激活


  • 綜合分析，DeepEP透過通信協議層的創新，從系統工程角度解決大模型訓練的擴展瓶頸，其技術路徑有別於單純增加模型參數量，而是從計算本質效率切入，為LLM的實用化部署提供關鍵基礎設施支持。


留言
avatar-img
留言分享你的想法！
avatar-img
夜星的沙龍
0會員
14內容數
或許這裡更接近作為一個個人知識庫,我通常運用大模型來協助整理我所感興趣的資訊,除了放在自己電腦中,或許進一步分享出來會更有趣.
夜星的沙龍的其他內容
2025/03/26
Google Gemini 2.5 技術解析：從模型演進到平台整合的全景圖
隨著人工智慧技術持續快速演進，Google於3月25日發布的Gemini 2.5 Pro再度成為業界焦點。作為迄今為止最強大的「思考型模型」，Gemini 2.5不僅在推理能力、多模態理解與編碼性能方面展現出前所未有的表現，更在多項基準測試中領先競爭對手，為大型語言模型（LLM）樹立了新的技術標竿
Thumbnail
2025/03/26
Google Gemini 2.5 技術解析：從模型演進到平台整合的全景圖
隨著人工智慧技術持續快速演進，Google於3月25日發布的Gemini 2.5 Pro再度成為業界焦點。作為迄今為止最強大的「思考型模型」，Gemini 2.5不僅在推理能力、多模態理解與編碼性能方面展現出前所未有的表現，更在多項基準測試中領先競爭對手，為大型語言模型（LLM）樹立了新的技術標竿
Thumbnail
2025/03/22
MCP協議：重塑AI生態系統的新標準 - 2025年全面解析
Model Context Protocol (MCP) 是由Anthropic於2024年11月25日發布的開放式AI通訊標準，旨在解決大型語言模型（LLM）與外部系統整合的碎片化問題。
Thumbnail
2025/03/22
MCP協議：重塑AI生態系統的新標準 - 2025年全面解析
Model Context Protocol (MCP) 是由Anthropic於2024年11月25日發布的開放式AI通訊標準，旨在解決大型語言模型（LLM）與外部系統整合的碎片化問題。
Thumbnail
2025/03/21
亞馬遜自研AI加速器Trainium：技術規格、市場競爭與財務價值全解析
此筆記綜合呈現AWS Trainium技術規格、市場競爭格局、商業價值與財務影響，基於AWS官方數據、分析師報告與技術白皮書，並透過合理推論填補資訊缺口，為理解亞馬遜AI硬體戰略提供全方位視角。
Thumbnail
2025/03/21
亞馬遜自研AI加速器Trainium：技術規格、市場競爭與財務價值全解析
此筆記綜合呈現AWS Trainium技術規格、市場競爭格局、商業價值與財務影響，基於AWS官方數據、分析師報告與技術白皮書，並透過合理推論填補資訊缺口，為理解亞馬遜AI硬體戰略提供全方位視角。
Thumbnail
看更多
#方格新手 的其他內容
Thumbnail
方格新手村：讓 vocus 送你見面禮！
目前共 17747 篇
avatar-avatar
方格子 vocus 官方沙龍
刻在DNA裡的旅行靈魂 第二代野格團 週五主題專家報到！
avatar-avatar
方格子 vocus 官方沙龍
你不是懶，只是太累了！一人創業的休息小訣竅
avatar-avatar
柏的沙龍就是柏沙
同志電影懶人包—推薦 7 部同志電影，跨性別、宗教、政治、多元成家、扮裝、自我認同，從電影中發現彩虹的各種顏色
你可能也想看
Thumbnail
avatar-avatar
曼徹的矽谷旅記 Mencher’s Travelogue
ML Infra 一大戰場 - 分散式訓練
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
#討論#ML#LLM
Thumbnail
avatar-avatar
曼徹的矽谷旅記 Mencher’s Travelogue
ML Infra 一大戰場 - 分散式訓練
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
#討論#ML#LLM
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 88
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 88
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 85
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 85
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 82
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 82
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。 Pretrained Mo
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 67
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 67
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 65
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 接著來談 Transformer 架構中的 Feedforward Network (FFN)： 其為全連接的神經網路架構 回顧 AI說書 - 從0開始 - 64
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 65
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 接著來談 Transformer 架構中的 Feedforward Network (FFN)： 其為全連接的神經網路架構 回顧 AI說書 - 從0開始 - 64
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 51
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 51
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 49
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分，如下圖所示： 我現在手上有的素材如下： Embedding 訓練方式：AI說書 - 從0開始
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 49
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分，如下圖所示： 我現在手上有的素材如下： Embedding 訓練方式：AI說書 - 從0開始
#AI#ai#PromptEngineering
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News