RNN
含有「RNN」共 25 篇內容
全部內容
發佈日期由新至舊
▷ RNN、LSTM 與 Transformer：突破框架的思考方式
在 AI 領域中，隨著自然語言處理的需求加劇，以及在硬體算力提升與大數據時代的到來，處理「序列」關係的神經網路模型也隨之逐步演進。
▷ Transformer 的概念
1.誕生
Transformer 就是為了解決 RNN、LSTM 傳統處理序列關係的模型所遭遇的問題而發明的。**
二、長短期記憶 (Long Short-Term Memory/ LSTM)
▷ LSTM 的概念
1. LSTM 是為了解決 RNN 的「梯度消失」問題而誕生的。
▪︎ RNN的問題：隱藏狀態的更新是透過多層非線性函數，梯度的函數會隨著反覆地權重計算而趨近0，導致梯度消失。
▪︎ 在當時(19
前言：
神經網路模型，有處理圖片這類以「空間關係」數據為主的卷積神經網路 (CNN)，也有處理以「時間或順序關係 (i.e. 序列數據/Sequential Data)」數據為主的「循環神經網路(Recurrent Neural Network/ RNN。
這次要一口氣介紹三個都是處理「序列」和
我將從更具學術性的角度，深入探討 Transformer 模型的數學原理，並展示其在不同領域的應用範例。
以較淺顯易懂的方式介紹之後，我們將揭開 Transformer 模型內部最核心的運作機制。本文主要基於原論文《Attention Is All You Need》(Vaswani et al.
我們來深入淺出地拆解一下比 RNN 更強大的 LSTM 模型。
我們認識了 RNN，它像一個有短期記憶的學徒，能夠記住緊鄰的上下文。但如果句子很長，資訊很複雜，RNN 就會像金魚腦一樣，忘記開頭的關鍵資訊。這就是所謂的「長期依賴問題」。
在之前的文章中，我們了解到像「詞袋模型」這樣的早期方法，雖然能統計詞彙，但卻像個金魚腦，完全記不住句子的順序。而 RNN（Recurrent Neural Network，循環神經網絡）的誕生，就是為了解決這個「失憶」問題。
在上一篇 跟 AI 聊天的秘密：一篇文搞懂什麼是 NLP 模型 中，我們將 NLP 模型比喻為一個勤奮好學的「語言大腦」。今天，我們將更深入地走進這個大腦的內部，用最直觀的方式，理解它從「死記硬背」到「融會貫通」的進化之路。
這趟旅程將分為三個階段，對應著 NLP 模型發展的三個重要里程碑：
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference
