Deepseek開源週,第二個開源項目DeepEP
- 一、核心技術架構特點
- 通訊層創新設計
- 採用異構域頻寬轉發技術，優化NVLink與RDMA域間數據流
- 原生支援FP8低精度運算核心，降低記憶體頻寬需求
- 實現通信-計算無縫重疊的hook機制
- 延遲敏感型加速
- 純RDMA核心達成<2ms端到端解碼延遲
- 動態專家容量因子調節機制
- 二、性能基準對比
- 三、系統級效益實證
- 訓練效率突破
- 128卡集群訓練週期縮短41%，GPU閒置率<3%
- 千億參數模型強擴展效率達97%
- 能效比里程碑
- 每瓦特算力提升2.7倍
- FP8推理任務能效提升23%
- 四、技術突破關聯性
- 與DeepSeek-V3的群組限制閘控算法形成軟硬協同
- 在MoE架構下實現專家子網絡的精準激活
- 綜合分析，DeepEP透過通信協議層的創新，從系統工程角度解決大模型訓練的擴展瓶頸，其技術路徑有別於單純增加模型參數量，而是從計算本質效率切入，為LLM的實用化部署提供關鍵基礎設施支持。
0會員
2內容數
留言
留言分享你的想法！
本篇參與的主題活動
當流量至上成為標準，性騷擾被輕描淡寫、受害者被噤聲，我們是否還能給孩子一個安全的未來？作為父親，我無法接受這種價值觀繼續影響下一代。我們該做的，不是遺忘，而是改變環境——拒絕縱容、用行動發聲，讓孩子知道「尊重是底線，說不是權利」。這不只是關於孫生，而是關於我們願意為未來的孩子守住什麼樣的世界。
學習《小狗錢錢》的理財方法，並透過實際操作，達成財務目標與自我提升。從記帳、設定目標、寫夢想清單、成功日記，到發展副業，分享如何將書中方法應用於生活中，並體會到理財不僅僅是管理金錢，更是規劃生活，實現夢想的重要過程。
比較2017年與2024年日本東北旅遊照片，對比藏王樹冰、銀山溫泉、山寺等景點在不同時間的景觀差異，即使地點相同，不同時間的體驗與感受截然不同，珍惜每個當下的珍貴回憶。2024年因暖冬導致雪景不如預期，反觀2017年的雪景壯觀美麗。新聞報導2025年日本東北暴雪，衷心祈願一切平安。
經過年末年初的大掃除，大家是否也好好整頓了自己的居家環境呢？身為家有幼童的媽媽，我也是歷經多次的練習，才調整到適合自己的清潔節奏，在此與大家分享我的清潔小撇步，每個習慣幾乎不超過5分鐘，就能換得一室乾淨，一起來看吧！
記錄一場前往屏東縣三地門鄉德文山（觀望山）的登山之旅，分享路線規劃、登山心得、沿途風景與美食體驗，並提醒登山客注意入山證申請及避免錯過三角點。
薪水的高低，從來不是努力的問題，而是思維的選擇。年薪百萬的人，不是單靠埋頭苦幹，而是透過「創造價值」決定自己的價格。他們懂得提升不可取代性、創造多重收入、主動尋找機會、投資自己，讓財富加速成長。與其等加薪，不如掌握「決定薪資的能力」。這篇文章，讓你看清真正的收入差距，從現在開始，為自己創造更高價值！
當流量至上成為標準，性騷擾被輕描淡寫、受害者被噤聲，我們是否還能給孩子一個安全的未來？作為父親，我無法接受這種價值觀繼續影響下一代。我們該做的，不是遺忘，而是改變環境——拒絕縱容、用行動發聲，讓孩子知道「尊重是底線，說不是權利」。這不只是關於孫生，而是關於我們願意為未來的孩子守住什麼樣的世界。
學習《小狗錢錢》的理財方法，並透過實際操作，達成財務目標與自我提升。從記帳、設定目標、寫夢想清單、成功日記，到發展副業，分享如何將書中方法應用於生活中，並體會到理財不僅僅是管理金錢，更是規劃生活，實現夢想的重要過程。
比較2017年與2024年日本東北旅遊照片，對比藏王樹冰、銀山溫泉、山寺等景點在不同時間的景觀差異，即使地點相同，不同時間的體驗與感受截然不同，珍惜每個當下的珍貴回憶。2024年因暖冬導致雪景不如預期，反觀2017年的雪景壯觀美麗。新聞報導2025年日本東北暴雪，衷心祈願一切平安。
經過年末年初的大掃除，大家是否也好好整頓了自己的居家環境呢？身為家有幼童的媽媽，我也是歷經多次的練習，才調整到適合自己的清潔節奏，在此與大家分享我的清潔小撇步，每個習慣幾乎不超過5分鐘，就能換得一室乾淨，一起來看吧！
記錄一場前往屏東縣三地門鄉德文山（觀望山）的登山之旅，分享路線規劃、登山心得、沿途風景與美食體驗，並提醒登山客注意入山證申請及避免錯過三角點。
薪水的高低，從來不是努力的問題，而是思維的選擇。年薪百萬的人，不是單靠埋頭苦幹，而是透過「創造價值」決定自己的價格。他們懂得提升不可取代性、創造多重收入、主動尋找機會、投資自己，讓財富加速成長。與其等加薪，不如掌握「決定薪資的能力」。這篇文章，讓你看清真正的收入差距，從現在開始，為自己創造更高價值！
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
本系列將討論 LLM 時代中，分散 ML workload 的各種方法。作為系列的第一篇，我們將提及 High-level 的概論，譬如分散式訓練的各種切法、Model Parallelism 的相依問題，以及改善 Network Topology 等課題。
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
下游任務是一個 Fine-Tuned 的 Transformer 任務，它從預先訓練的 Transformer 模型繼承模型和參數，故，下游任務是運行微調任務的預訓練模
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
以下陳述任務 (Task)、模型 (Model)、微調 (Fine-Tuning)、GLUE (General Language Understanding Evalu
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformer 可以透過繼承預訓練模型 (Pretrained Model) 來微調 (Fine-Tune) 以執行下游任務。
Pretrained Mo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
接著來談 Transformer 架構中的 Feedforward Network (FFN)：
其為全連接的神經網路架構
回顧 AI說書 - 從0開始 - 64
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)