SparseMOE
#
SparseMOE
含有「SparseMOE」共 1 篇內容
全部內容
發佈日期由新至舊
8個專家小模型勝過ChatGPT3,SMoE論文導讀 for Mixtral-8x7B
知名的 Mistral AI 團隊近期丟出了使用 SMOE技術搭建的Mixtral-8x7B,能用較小的運算資源與參數量,打敗ChatGPT3的考試成績。本文藉由兩篇SMOE論文的導讀,抽取其中的核心概念,試圖打開技術的神秘面紗。
2023-12-26
10
#
Mixtral8x7b
#
SMOE
#
SparseMOE