AI說書 - 從0開始 - 403 | Pathways 特色

LearnAI-avatar-img
LearnAI
發佈於三分鐘學AI (3)
更新於 發佈於 閱讀時間約 2 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。


PaLM 和 PaLM2 是基於 Pathways 技術構建的，Pathways 是 Google 的一項技術，通過數據並行、模型並行和執行級別並行來提高訓練大型語言模型的效率。Pathways 論文的標題可能看起來有些深奧，Barham 等人於 2022 年發表的《Pathways: Asynchronous Distributed Dataflow》確實看起來像是一篇你可能不會想深入了解的論文，然而，一旦你開始閱讀，你就會被吸引住：

  • Heterogeneous Execution：Pathways 可以在多種設備上運行程序，包括 TPU、CPU 和 GPU，這在整合所有可用的計算能力時是一項重大進步
  • Asynchronous Execution：Pathways 允許程序以異步方式運行。這可能看起來不怎麼吸引人，但 PaLM 將基於這項技術，以令人驚訝的方式異步運行以前的順序子層
  • Dataflow Programming：Pathways 包含數據流編程，用來編寫能夠擴展到大型數據集的程序
  • 可擴展性：在需要時可以添加新功能
Learn AI 不 BI三分鐘學AI (3)AI從0開始-十四章
留言
avatar-img
留言分享你的想法！
avatar-img
Learn AI 不 BI
222會員
603內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
你可能也想看
Thumbnail
avatar-avatar
阿千看世界
2025年綜合所得稅繳稅教學：線上申報、信用卡回饋、拆單攻略！
每年4月、5月都是最多稅要繳的月份，當然大部份的人都是有機會繳到「綜合所得稅」，只是相當相當多人還不知道，原來繳給政府的稅！可以透過一些有活動的銀行信用卡或電子支付來繳，從繳費中賺一點點小確幸！就是賺個１%~2%大家也是很開心的，因為你們把沒回饋變成有回饋，就是用卡的最高境界 所得稅線上申報
#2025所得稅#綜合所得稅#繳稅有回饋
Thumbnail
avatar-avatar
阿千看世界
2025年綜合所得稅繳稅教學：線上申報、信用卡回饋、拆單攻略！
每年4月、5月都是最多稅要繳的月份，當然大部份的人都是有機會繳到「綜合所得稅」，只是相當相當多人還不知道，原來繳給政府的稅！可以透過一些有活動的銀行信用卡或電子支付來繳，從繳費中賺一點點小確幸！就是賺個１%~2%大家也是很開心的，因為你們把沒回饋變成有回饋，就是用卡的最高境界 所得稅線上申報
#2025所得稅#綜合所得稅#繳稅有回饋
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 117 | Google 翻譯
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Google 翻譯 (https://translate.google.com/) 提供了一個隨時可用的官方翻譯介面，Google 在其翻譯演算法中也擁有 Transf
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 117 | Google 翻譯
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Google 翻譯 (https://translate.google.com/) 提供了一個隨時可用的官方翻譯介面，Google 在其翻譯演算法中也擁有 Transf
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 85
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 85
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 新模型和 Human Baselines 排名將不斷變化，Human Baselines 的位置自從基礎模型出現以來，它就不再具有多大意義了，這些排名只是表明經典 NL
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 81
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 81
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續xxxx，ChatGPT 產生的程式，我們將它匯入 Colab 執行看看 ( Colab 使用教學見 使用Meta釋出的模型，實作Chat GPT - Part 0
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 66
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 66
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 46
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 46
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 45，我們介紹了 Google 於2017 年提出的 Transformer 架構的 Positional Encoding (PE)
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 27
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，同時在AI說書 - 從0開始 - 26靠ChatGPT產生Decision Tree程式，現在我們來
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 27
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，同時在AI說書 - 從0開始 - 26靠ChatGPT產生Decision Tree程式，現在我們來
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 26
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7：Plot the confusio
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 26
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 25示範了ChatGPT程式的能力，現在我們繼續做下去。 AI說書 - 從0開始 - 25在步驟7：Plot the confusio
#AI#ai#PromptEngineering
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News