AI說書 - 從0開始 - 403 | Pathways 特色

發佈於三分鐘學AI (3)

2025/05/06 更新2025/05/06 發佈閱讀 2 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

PaLM 和 PaLM2 是基於 Pathways 技術構建的，Pathways 是 Google 的一項技術，通過數據並行、模型並行和執行級別並行來提高訓練大型語言模型的效率。Pathways 論文的標題可能看起來有些深奧，Barham 等人於 2022 年發表的《Pathways: Asynchronous Distributed Dataflow》確實看起來像是一篇你可能不會想深入了解的論文，然而，一旦你開始閱讀，你就會被吸引住：

Heterogeneous Execution：Pathways 可以在多種設備上運行程序，包括 TPU、CPU 和 GPU，這在整合所有可用的計算能力時是一項重大進步
Asynchronous Execution：Pathways 允許程序以異步方式運行。這可能看起來不怎麼吸引人，但 PaLM 將基於這項技術，以令人驚訝的方式異步運行以前的順序子層
Dataflow Programming：Pathways 包含數據流編程，用來編寫能夠擴展到大型數據集的程序
可擴展性：在需要時可以添加新功能

#PromptEngineering

#chatgpt怎麼用

Learn AI 不 BI三分鐘學AI (3)AI從0開始-十四章

留言

留言分享你的想法！

Learn AI 不 BI

246會員

1.0K內容數

這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。

#AI 的其他內容

出鞘的雙面刃：AI

目前共 16567 篇

社會人的哲學沉思

📝📝：寫了五年、三百多篇文章之後，我開始重新問自己：寫作的終極目標是什麼？

HAMR 技術推動 HDD 產業新革命：深度解析供應鏈與市場潛力

Dolly的奇妙育兒之旅

【小遊戲】快來幫幫聖誕老公公 3D 跑酷，你能撐過 60 秒嗎？🎄🏃‍♂️

你可能也想看

阿揪西茶房

回饋達人也會累：玉山Unicard一張卡簡化你的理財生活

厭倦了管理眾多信用卡以追求最高回饋？玉山Unicard權益切換信用卡應運而生，讓您輕鬆切換消費方案，從1%無上限基本回饋，透過三種方案任意切換，最高可享4.5%回饋，更有限時核卡加碼至7.5%。本文深入解析各方案優勢、設定方式，並提供日常與旅行配置建議，讓您成為聰明消費的「回饋金獵人」。

#玉山銀行#玉山Unicard#信用卡

2025/12/18

阿揪西茶房

回饋達人也會累：玉山Unicard一張卡簡化你的理財生活

厭倦了管理眾多信用卡以追求最高回饋？玉山Unicard權益切換信用卡應運而生，讓您輕鬆切換消費方案，從1%無上限基本回饋，透過三種方案任意切換，最高可享4.5%回饋，更有限時核卡加碼至7.5%。本文深入解析各方案優勢、設定方式，並提供日常與旅行配置建議，讓您成為聰明消費的「回饋金獵人」。

#玉山銀行#玉山Unicard#信用卡

2025/12/18

Miller的投資沙龍

我的美股ETF篩選筆記

話說身為短線交易者，每天要作的事情就是從盤勢觀察、到籌碼流向，再到經過多維度資料數據交叉比對，盤中盯著分K、江波圖和五檔報價，算計著每一分K線的轉折，雖能換來即時驗證判斷的快感與成就，但長期下來，卻也衍生眼睛與肩頸卻成了抹不去的職業病。

#當沖#短線#波段

2026/01/05

Miller的投資沙龍

我的美股ETF篩選筆記

話說身為短線交易者，每天要作的事情就是從盤勢觀察、到籌碼流向，再到經過多維度資料數據交叉比對，盤中盯著分K、江波圖和五檔報價，算計著每一分K線的轉折，雖能換來即時驗證判斷的快感與成就，但長期下來，卻也衍生眼睛與肩頸卻成了抹不去的職業病。

#當沖#短線#波段

2026/01/05

年底前來一張玉山Unicard，讓生活中每筆消費都有回饋！

快要年末了，對於即將要出國的我，即時來了這張信用卡真的很不錯。認識我的人都知道我因為工作常常要出國，所以這次感謝玉山銀行合作邀請，讓我可以體驗這張卡的美好。

#玉山銀行#玉山Unicard#信用卡

2025/12/15

年底前來一張玉山Unicard，讓生活中每筆消費都有回饋！

快要年末了，對於即將要出國的我，即時來了這張信用卡真的很不錯。認識我的人都知道我因為工作常常要出國，所以這次感謝玉山銀行合作邀請，讓我可以體驗這張卡的美好。

#玉山銀行#玉山Unicard#信用卡

2025/12/15

Learn AI 不 BI

AI說書 - 從0開始 - 117 | Google 翻譯

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Google 翻譯 (https://translate.google.com/) 提供了一個隨時可用的官方翻譯介面，Google 在其翻譯演算法中也擁有 Transf

#AI#ai#PromptEngineering

2024/08/06

Learn AI 不 BI

AI說書 - 從0開始 - 117 | Google 翻譯

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Google 翻譯 (https://translate.google.com/) 提供了一個隨時可用的官方翻譯介面，Google 在其翻譯演算法中也擁有 Transf

#AI#ai#PromptEngineering

2024/08/06

Learn AI 不 BI

AI說書 - 從0開始 - 85

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL

#AI#ai#PromptEngineering

2024/07/12

Learn AI 不 BI

AI說書 - 從0開始 - 85

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL

#AI#ai#PromptEngineering

2024/07/12

Learn AI 不 BI

AI說書 - 從0開始 - 81

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見使用Meta釋出的模型，實作Chat GPT - Part 0

#AI#ai#PromptEngineering

2024/07/10

Learn AI 不 BI

AI說書 - 從0開始 - 81

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見使用Meta釋出的模型，實作Chat GPT - Part 0

#AI#ai#PromptEngineering

2024/07/10

Learn AI 不 BI

AI說書 - 從0開始 - 66

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo

#AI#ai#PositionalEncoding

2024/06/29

Learn AI 不 BI

AI說書 - 從0開始 - 66

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo

#AI#ai#PositionalEncoding

2024/06/29

Learn AI 不 BI

AI說書 - 從0開始 - 46

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)

#AI#ai#PromptEngineering

2024/06/24

Learn AI 不 BI

AI說書 - 從0開始 - 46

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)

#AI#ai#PromptEngineering

2024/06/24

Learn AI 不 BI

AI說書 - 從0開始 - 27

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，同時在AI說書 - 從0開始 - 26靠ChatGPT產生Decision Tree程式，現在我們來

#AI#ai#PromptEngineering

2024/06/18

Learn AI 不 BI

AI說書 - 從0開始 - 27

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，同時在AI說書 - 從0開始 - 26靠ChatGPT產生Decision Tree程式，現在我們來

#AI#ai#PromptEngineering

2024/06/18

Learn AI 不 BI

AI說書 - 從0開始 - 26

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7：Plot the confusio

#AI#ai#PromptEngineering

2024/06/17

Learn AI 不 BI

AI說書 - 從0開始 - 26

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7：Plot the confusio

#AI#ai#PromptEngineering

2024/06/17

Learn AI 不 BI

AI說書 - 從0開始 - 23

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。嘗試問以下問題：Provide a

#AI#ai#PromptEngineering

2024/06/17

Learn AI 不 BI

AI說書 - 從0開始 - 23

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。嘗試問以下問題：Provide a

#AI#ai#PromptEngineering

2024/06/17

Learn AI 不 BI

AI說書 - 從0開始 - 19

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。我們已經在AI說書 - 從0開始 - 18中，介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。完整Pipeline可能

#AI#ai#PromptEngineering

2024/06/16

Learn AI 不 BI

AI說書 - 從0開始 - 19

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。我們已經在AI說書 - 從0開始 - 18中，介紹了OpenAI的GPT模型如何利用Inference的Pipeline產生Token。完整Pipeline可能

#AI#ai#PromptEngineering

2024/06/16

追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News