RNN
含有「RNN」共 21 篇內容
全部內容
發佈日期由新至舊
我將從更具學術性的角度，深入探討 Transformer 模型的數學原理，並展示其在不同領域的應用範例。
以較淺顯易懂的方式介紹之後，我們將揭開 Transformer 模型內部最核心的運作機制。本文主要基於原論文《Attention Is All You Need》(Vaswani et al.
我們來深入淺出地拆解一下比 RNN 更強大的 LSTM 模型。
我們認識了 RNN，它像一個有短期記憶的學徒，能夠記住緊鄰的上下文。但如果句子很長，資訊很複雜，RNN 就會像金魚腦一樣，忘記開頭的關鍵資訊。這就是所謂的「長期依賴問題」。
在之前的文章中，我們了解到像「詞袋模型」這樣的早期方法，雖然能統計詞彙，但卻像個金魚腦，完全記不住句子的順序。而 RNN（Recurrent Neural Network，循環神經網絡）的誕生，就是為了解決這個「失憶」問題。
在上一篇 跟 AI 聊天的秘密：一篇文搞懂什麼是 NLP 模型 中，我們將 NLP 模型比喻為一個勤奮好學的「語言大腦」。今天，我們將更深入地走進這個大腦的內部，用最直觀的方式，理解它從「死記硬背」到「融會貫通」的進化之路。
這趟旅程將分為三個階段，對應著 NLP 模型發展的三個重要里程碑：
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 16走過了部分AI發展軌跡，接著繼續：
在1980年代Yann LeCun設計了Convolutional Neural N
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論，接著來鋪陳AI的歷史軌跡，以達到目前Transformer的巔峰。
在19
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n，且每個字用d維度的向量表示時有以下結論：
Attention Layer的複雜度是O(n^2 *
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
已經在AI說書 - 從0開始 - 12以及AI說書 - 從0開始 - 13中見識到TPU的威力了，現在我們把參數放大到真實大型語言模型的規模，看看運算時間的等級。
