我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。



PaLM 和 PaLM2 是基於 Pathways 技術構建的，Pathways 是 Google 的一項技術，通過數據並行、模型並行和執行級別並行來提高訓練大型語言模

<html lang="en"><head><style> .article-container { width: 100%; font-family: Microsoft JhengHei,Helvetica Neue,Helvetica,Arial,sans-serif; } ul, ol { margin: 12px auto; max-width: 740px; color: #535150; line-height: 1.8; padding-left: 0px; } .graf--img { display: table; justify-content: center; align-items: center; text-align: center; color: gray; font-size: 14px; letter-spacing: 0px; margin: 10px auto 50px; width: 100%; position: relative; clear: both; } .graf--img.center img { width: 100%; max-width: 740px; margin: 10px auto 0px; display: block; margin: 0 auto; } .graf--img.full img { width: 100%; } .captionTheme__wrapper { width: 100%; font-style: normal; line-height: 22px; font-size: 16px; max-width: 600px; margin-top: 8px; display: inline-block; } .graf--img.full { max-width: 100%; margin: 40px 0px; display: block; margin: 0 auto; align-items: center; } .graf--figure { text-align: center; color: gray; font-style: italic; font-size: 15px; margin: 28px auto; box-sizing: border-box; } .graf--figure iframe { width: 100%; max-width: 740px; margin: 0 auto; } .graf--p { font-size: 16px; line-height: 1.8; font-family: "Microsoft JhengHei fixed", "Helvetica Neue" ,"Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; letter-spacing: 1px; font-weight: 400; max-width: 740px; color: #535150; text-align: left; } .graf--p > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--li > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--quotesSpecial > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--blockquote > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h1 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h2 > a { color: #00B3C6 !important; text-decoration: none !important; } .graf--h3 > a { color: #00B3C6 !important; text-decoration: none !important; } a.graf--mention { color: #535150 !important; text-decoration: underline !important; font-weight: 700; } .graf--h2 { font-size: 24px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 34px; line-height: 1.5; } .graf--h3 { font-size: 18px; padding: 0; max-width: 740px; text-align: left; letter-spacing: 1px; font-weight: 700; margin-top: 28px; line-height: 1.5; } .graf--li { font-size: 16px; padding: 0px 0px 0px 4px; font-weight: 400; letter-spacing: 0px; list-style-position: outside; text-align:left; margin-left: 24px; } .graf--hr { width: 100%; margin: 0px auto; transform: translateY(-50%); position: relative; padding: 0px; text-align: left; max-width: 740px; margin: 0 auto; } .graf--hr hr { height: 0; } .graf--blockquote { padding: 10px 0px 10px 16px; font-size: 16px; color: #7A7574; letter-spacing: 1px; margin: 28px 0px; border-left: 4px solid #DDD9D8; width: 100%; max-width: 740px; text-align: left; } .graf--quotesSpecial { display: table; color: #7A7574; position: relative; padding: 31.5px 40px; text-align: center; letter-spacing: 0px; position: relative; margin: 29px auto; font-family: "Microsoft JhengHei fixed", "Helvetica Neue", "Microsoft JhengHei", Helvetica, "Segoe UI", Tahoma, Arial, sans-serif; font-size: 16px; -webkit-box-ordinal-group: 1; -webkit-box-flex: 0; } .embed-wrapper { max-width: 740px; border: 1px solid #DDD9D8; display: block; padding: 12px; border-radius: 8px; margin: 12px 0px; text-decoration: none !important; } .embed-title { font-size: 16px; font-weight: 700; color: #535150; margin-bottom: 8px; text-align: left; line-height: 1.5; text-decoration: none !important; } .embed-description { width: 100%; font-size: 14px; color: #7A7574; line-height: 1.5; max-height: 150px; text-align: left; overflow: hidden; padding: 12px 0px; } .embed-url > a { width: 100%; font-size: 14px; color: #141413 !important; text-decoration: none !important; line-height: 1.5; text-align: left; } .embed-thumbnail-wrapper { padding-left: 12px; } .embed-thumbnail { width:100px; border-radius: 8px; } pre { background: #F6F6F6; border-radius: 8px; padding: 16px; font-size: 16px; color: #535150; line-height: 180%; text-align: left; } .lexical__textBold { font-weight: bold; } .lexical__textItalic { font-style: italic; } .lexical__textUnderline { text-decoration: underline; } .lexical__textStrikethrough { text-decoration: line-through; } .lexical__textUnderlineStrikethrough { text-decoration: underline line-through; } .lexical__textSubscript { font-size: 0.8em; vertical-align: sub; } .lexical__textSuperscript { font-size: 0.8em; vertical-align: super; } .lexical__textCode { background-color: rgb(240, 242, 245); padding: 1px 0.25rem; font-family: Menlo, Consolas, Monaco, monospace; font-size: 94%; } </style></head><body><div class="article-container">我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 PaLM 和 PaLM2 是基於 Pathways 技術構建的，Pathways 是 Google 的一項技術，通過數據並行、模型並行和執行級別並行來提高訓練大型語言模型的效率。Pathways 論文的標題可能看起來有些深奧，Barham 等人於 2022 年發表的《Pathways: Asynchronous Distributed Dataflow》確實看起來像是一篇你可能不會想深入了解的論文，然而，一旦你開始閱讀，你就會被吸引住：<ul class="lexical__ul"><li value="1" class="graf--li">Heterogeneous Execution：Pathways 可以在多種設備上運行程序，包括 TPU、CPU 和 GPU，這在整合所有可用的計算能力時是一項重大進步</li><li value="2" class="graf--li">Asynchronous Execution：Pathways 允許程序以異步方式運行。這可能看起來不怎麼吸引人，但 PaLM 將基於這項技術，以令人驚訝的方式異步運行以前的順序子層</li><li value="3" class="graf--li">Dataflow Programming：Pathways 包含數據流編程，用來編寫能夠擴展到大型數據集的程序</li><li value="4" class="graf--li">可擴展性：在需要時可以添加新功能</li></ul></div></body></html>

以行動支持創作者！付費即可解鎖

學習

AI說書 - 從0開始 - 404 | Pathways 特色

AI說書 - 從0開始 - 402 | 第十四章涵蓋範圍

大家好，我是一名眼科醫師，也是一位孩子的媽



身為眼科醫師的我，我知道視力發展對孩子來說有多關鍵。

每到開學季時，診間便充斥著許多憂心忡忡的家屬。近年來看診中，兒童提早近視、眼睛疲勞的案例明顯增加，除了3C使用過度，最常被忽略的，就是照明品質。



然而作為一位媽媽，孩子能在安全、舒適的環境

Dr HI的眼科沙龍

光的選擇，就是視力的選擇— Philips 飛利浦 A5 軒博全光譜智能LED護眼檯燈      

提供一條簡單公式、一套盤點思路，幫助你快速算出去日本自助旅遊需要準備多少日幣現金！

逗點的沙龍

去日本自助旅行要帶多少日幣現金？最新經驗談

AI從0開始-十四章

三分鐘學AI (3)

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

Learn AI 不 BI

AI從0開始-第一章

AI從0開始-第二章

AI馴獸師-第零章

AI馴獸師-第一章

AI從0開始-第三章

AI從0開始-第四章

AI馴獸師-第二章

AI從0開始-第五章

AI從0開始-第六章

AI從0開始-第七章

三分鐘學AI

AI馴獸師-第三章

AI從0開始-第八章

AI從0開始-第九章

AI馴獸師-第四章

AI從0開始-第十章

AI從0開始-十一章

AI馴獸師-第五章

AI從0開始-十二章

AI從0開始-十三章

AI馴獸師-第六章

三分鐘學AI (2)

證照相關

自然語言處理相關

機率圖模型

AI馴獸師-第七章

AI從0開始-十五章

AI從0開始-十六章

AI馴獸師-第八章

AI從0開始-十七章

AI從0開始-十八章

AI從0開始-十九章

AI馴獸師-第九章

AI從0開始-二十章

AI馴獸師-第十章

AI馴獸師-第十一章

AI馴獸師-第十二章

AI馴獸師-第十三章

AI馴獸師-第十四章

AI馴獸師-第十五章

AI馴獸師-第十六章

AI馴獸師-第十七章

AI馴獸師-第十八章

AI馴獸師-第十九章

三分鐘學AI (4)

AI馴獸師-第二十章

AI馴獸師-二十一章

AI馴獸師-二十二章

AI馴獸師-二十三章

AI馴獸師-二十四章

AI馴獸師-二十五章

三分鐘學AI (5)

數據

Google

模型

AI說書 - 從0開始 - 403 | Pathways 特色

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 <div class="ad-placeholder" style="min-height: 124px;"></div>PaLM 和 PaLM2 是基於 Pathways 技術構建的，Pathways 是 Google 的一項技術，通過數據並行、模型並行和執行級別並行來提高訓練大型語言模型的效率。Pathways 論文的標題可能看起來有些深奧，Barham 等人於 2022 年發表的《Pathways: Asynchronous Distributed Dataflow》確實看起來像是一篇你可能不會想深入了解的論文，然而，一旦你開始閱讀，你就會被吸引住：<ul class="lexical__ul"><li value="1" class="lexical__listItem">Heterogeneous Execution：Pathways 可以在多種設備上運行程序，包括 TPU、CPU 和 GPU，這在整合所有可用的計算能力時是一項重大進步</li><li value="2" class="lexical__listItem">Asynchronous Execution：Pathways 允許程序以異步方式運行。這可能看起來不怎麼吸引人，但 PaLM 將基於這項技術，以令人驚訝的方式異步運行以前的順序子層</li><li value="3" class="lexical__listItem">Dataflow Programming：Pathways 包含數據流編程，用來編寫能夠擴展到大型數據集的程序</li><li value="4" class="lexical__listItem">可擴展性：在需要時可以添加新功能</li></ul>