人工智慧開源庫 PyTorch 2.4 發布
閱讀時間約 1 分鐘
PyTorch 是一個開源的 Python 機器學習庫，基於 Torch 庫，底層由 C++ 實現，應用於人工智慧領域，如電腦視覺和自然語言處理等。
PyTorch 2.4 引入了多項新功能和改進，包括支援 Python 3.12、AOTInductor 凍結功能、新的高階 Python 自訂運算子 API，以及基於 libuv 的 TCPStore 預設伺服器後端，這些提升使得在大規模作業中的效能顯著增強。除此之外，還提供了針對 AWS Graviton 處理器的優化及 BF16 符號形狀優化，為開發者帶來更高效的機器學習框架體驗。
詳細資訊請參考 PyTorch 部落格：
- 英文 https://pytorch.org/blog/pytorch2-4/
- 繁中 https://pytorch.dev.org.tw/blog/pytorch2-4/
- 簡中 https://pytorch.ac.cn/blog/pytorch2-4/
https://chihyuanyip.github.io/2024/08/09/pytorch-2-4-released.html
2會員
6內容數
留言0
查看全部
你可能也想看
Google News 追蹤
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Google Brain 開發了 Tensor2Tensor（T2T），讓深度學習開發變得更加容易，T2T 是 TensorFlow 的擴展，包含深度學習模型庫，其中包
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
Python的模組和庫是可重用的程式碼塊，可透過import語句引入。特定部分可以透過from和import引入，並可使用as指定別名。第三方模組可透過pip工具安裝並在程式碼中使用。此外，也可以創建自定義模組並在其他Python文件中引用。
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
人工智慧（AI）發展一日千里，年初OpenAI的Sora，三月初Anthropic的Cloude3，都為未來科技的創想帶來震撼。Elon Musk的X AI公司將他們的大型語言模型Grok-1開源，不僅展現了對AI技術開放共享的承諾，也預示著行業未來可能也會有不同於資本競爭、算力對抗的新發展方向。
近年來，隨著人工智慧技術的快速發展，Python結合生成式AI正逐漸成為行銷領域的重要利器。對於行銷專業人士來說，這股趨勢更是值得關注和深入研究。
Python和AI將會為行銷領域帶來什麼改變？
torchaudio 是 PyTorch 的官方音訊處理庫，提供了許多用於音訊數據讀取、轉換和處理的工具和功能。它旨在簡化音訊數據的加載、預處理和後續處理過程，同時與 PyTorch 緊密整合， 包括我們常常用於資料科學處理的Tensor資料。
這個篇章主要在分享我們如何使用標準的I/O進行讀
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
Google Brain 開發了 Tensor2Tensor（T2T），讓深度學習開發變得更加容易，T2T 是 TensorFlow 的擴展，包含深度學習模型庫，其中包
本篇文章介紹如何使用PyTorch構建和訓練圖神經網絡（GNN），並使用Cora資料集進行節點分類任務。通過模型架構的逐步優化，包括引入批量標準化和獨立的消息傳遞層，調整Dropout和聚合函數，顯著提高了模型的分類準確率。實驗結果表明，經過優化的GNN模型在處理圖結構數據具有強大的性能和應用潛力。
透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
Python的模組和庫是可重用的程式碼塊，可透過import語句引入。特定部分可以透過from和import引入，並可使用as指定別名。第三方模組可透過pip工具安裝並在程式碼中使用。此外，也可以創建自定義模組並在其他Python文件中引用。
接著載入Part 2需要的相關依賴，其分別為：
from torch import cuda, bfloat16import
import transformers
然後選擇我們要的Meta模型，這邊可以是Llama 2或者是Llama 3，後者是Meta最新釋出的模型。
同時我們也讓系統自
人工智慧（AI）發展一日千里，年初OpenAI的Sora，三月初Anthropic的Cloude3，都為未來科技的創想帶來震撼。Elon Musk的X AI公司將他們的大型語言模型Grok-1開源，不僅展現了對AI技術開放共享的承諾，也預示著行業未來可能也會有不同於資本競爭、算力對抗的新發展方向。
近年來，隨著人工智慧技術的快速發展，Python結合生成式AI正逐漸成為行銷領域的重要利器。對於行銷專業人士來說，這股趨勢更是值得關注和深入研究。
Python和AI將會為行銷領域帶來什麼改變？
torchaudio 是 PyTorch 的官方音訊處理庫，提供了許多用於音訊數據讀取、轉換和處理的工具和功能。它旨在簡化音訊數據的加載、預處理和後續處理過程，同時與 PyTorch 緊密整合， 包括我們常常用於資料科學處理的Tensor資料。
這個篇章主要在分享我們如何使用標準的I/O進行讀