AI說書 - 從0開始 - 65

LearnAI-avatar-img
LearnAI
發佈於三分鐘學AI
更新於 發佈於 閱讀時間約 1 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。


接著來談 Transformer 架構中的 Feedforward Network (FFN)：

raw-image
  • 其為全連接的神經網路架構
  • 回顧 AI說書 - 從0開始 - 64 ，知 Add & Norm 的輸出維度為 3 x 512 ，其中 3 為文字個數，而接續的 Feedforward 是對每個字的 512 維度均做相同的事情，亦即 Position-Wise Network
  • 原始 Google 的 Transformer 論文，對 Feedforward Network 的 Hidden 數目安排是：512 -> 2048 -> 512，所以數學來看就是：FFN(x) = max(0, xW1 + b1) W2 + b2
Learn AI 不 BI三分鐘學AIAI從0開始-第二章
留言
avatar-img
留言分享你的想法！
avatar-img
Learn AI 不 BI
218會員
578內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
Learn AI 不 BI的其他內容
2024/07/05
AI說書 - 從0開始 - 71
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 37 到 AI說書 - 從0開始 - 70 ，我們完成書籍：Transformers for Natural Language Proc
2024/07/05
AI說書 - 從0開始 - 71
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 37 到 AI說書 - 從0開始 - 70 ，我們完成書籍：Transformers for Natural Language Proc
2024/07/04
AI說書 - 從0開始 - 70
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下： !pip -q install transformers
2024/07/04
AI說書 - 從0開始 - 70
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformer 的重要性已經被公認了，因此在 Hugging Face 中亦有被實作，呼叫方式如下： !pip -q install transformers
2024/07/02
AI說書 - 從0開始 - 69
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Trainin
Thumbnail
2024/07/02
AI說書 - 從0開始 - 69
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Trainin
Thumbnail
看更多
你可能也想看
Thumbnail
avatar-avatar
Dr HI的眼科沙龍
光的選擇，就是視力的選擇— Philips 飛利浦 A5 軒博全光譜智能LED護眼檯燈      
大家好，我是一名眼科醫師，也是一位孩子的媽 身為眼科醫師的我，我知道視力發展對孩子來說有多關鍵。 每到開學季時，診間便充斥著許多憂心忡忡的家屬。近年來看診中，兒童提早近視、眼睛疲勞的案例明顯增加，除了3C使用過度，最常被忽略的，就是照明品質。 然而作為一位媽媽，孩子能在安全、舒適的環境
#momo購物網#Philips飛利浦#軒博
Thumbnail
avatar-avatar
Dr HI的眼科沙龍
光的選擇，就是視力的選擇— Philips 飛利浦 A5 軒博全光譜智能LED護眼檯燈      
大家好，我是一名眼科醫師，也是一位孩子的媽 身為眼科醫師的我，我知道視力發展對孩子來說有多關鍵。 每到開學季時，診間便充斥著許多憂心忡忡的家屬。近年來看診中，兒童提早近視、眼睛疲勞的案例明顯增加，除了3C使用過度，最常被忽略的，就是照明品質。 然而作為一位媽媽，孩子能在安全、舒適的環境
#momo購物網#Philips飛利浦#軒博
Thumbnail
avatar-avatar
逗點的沙龍
去日本自助旅行要帶多少日幣現金？最新經驗談
提供一條簡單公式、一套盤點思路，幫助你快速算出去日本自助旅遊需要準備多少日幣現金！
#日本#去日本旅遊要帶多少現金#日本自助旅行現金
Thumbnail
avatar-avatar
逗點的沙龍
去日本自助旅行要帶多少日幣現金？最新經驗談
提供一條簡單公式、一套盤點思路，幫助你快速算出去日本自助旅遊需要準備多少日幣現金！
#日本#去日本旅遊要帶多少現金#日本自助旅行現金
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 79
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述，經過 AI說書 - 從0開始 - 74 到目前為止的實驗，應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 79
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述，經過 AI說書 - 從0開始 - 74 到目前為止的實驗，應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 66
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 66
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 先做個總回顧： Transformer 架構總覽：AI說書 - 從0開始 - 39 Attention 意圖說明：AI說書 - 從0開始 - 40 Transfo
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 65
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 接著來談 Transformer 架構中的 Feedforward Network (FFN)： 其為全連接的神經網路架構 回顧 AI說書 - 從0開始 - 64
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 65
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 接著來談 Transformer 架構中的 Feedforward Network (FFN)： 其為全連接的神經網路架構 回顧 AI說書 - 從0開始 - 64
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 63
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 62 說：如果我參照原始 Google 釋出的 Transformer 論文的參數，在三個字的句子情況下，Single-Head At
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 63
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 62 說：如果我參照原始 Google 釋出的 Transformer 論文的參數，在三個字的句子情況下，Single-Head At
#AI#ai#PositionalEncoding
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 51
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 51
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 49
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分，如下圖所示： 我現在手上有的素材如下： Embedding 訓練方式：AI說書 - 從0開始
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 49
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 再度回到 Transformer 架構中的 Encoder 部分，如下圖所示： 我現在手上有的素材如下： Embedding 訓練方式：AI說書 - 從0開始
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 47
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示： 此外我已經在AI說書 - 從0開始 - 42中，
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 47
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示： 此外我已經在AI說書 - 從0開始 - 42中，
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 42
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊： 原始 Transform
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 42
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 在AI說書 - 從0開始 - 41中，我們提及 Transformer 的 Encoder 架構如下圖所示，同時我們羅列幾個要點於圖示右邊： 原始 Transform
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 39
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 首先先展示 Transformer 的架構圖： 可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 39
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 首先先展示 Transformer 的架構圖： 可以看到架構中不再出現 RNN 、 LSTM 、 CNN 等物件，因為 Recurrence 已被摒棄。
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 23
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。 嘗試問以下問題：Provide a
#AI#ai#PromptEngineering
Thumbnail
avatar-avatar
Learn AI 不 BI
AI說書 - 從0開始 - 23
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。 延續AI說書 - 從0開始 - 22解釋Foundation Model與Engines意涵後，我們來試用看看ChatGPT。 嘗試問以下問題：Provide a
#AI#ai#PromptEngineering
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News