RNN
含有「RNN」共 28 篇內容
全部內容
發佈日期由新至舊
本篇以武俠情境解析 AI 大腦架構，介紹 CNN、RNN 與 Transformer 在處理影像與序列資料時的差異。透過情報陣法失靈案例，說明長距離依賴問題與自注意力機制，並延伸至 Transformer-XL 與自編碼器在長文本處理與資料壓縮上的應用，協助建立生成式 AI 核心模型理解。
本篇為《白話實驗室》第二章 AI 教材模組，介紹神經網路核心架構：
CNN、RNN、LSTM、GRU 與 T（Transformer）。
解析各模型適用的資料型態與處理能力，說明現代大型語言模型（如 GPT）為何建立於 T 架構之上，適用於 AI 入門與 iPAS 應用規劃師考試基礎知識。
本文為 iPAS AI 應用規劃師考試的複習資料，涵蓋 CNN、RNN、Transformer、LSTM 和 GAN 等 AI 技術的基礎概念與應用。
▷ RNN、LSTM 與 Transformer：突破框架的思考方式
在 AI 領域中，隨著自然語言處理的需求加劇，以及在硬體算力提升與大數據時代的到來，處理「序列」關係的神經網路模型也隨之逐步演進。
▷ Transformer 的概念
1.誕生
Transformer 就是為了解決 RNN、LSTM 傳統處理序列關係的模型所遭遇的問題而發明的。**
二、長短期記憶 (Long Short-Term Memory/ LSTM)
▷ LSTM 的概念
1. LSTM 是為了解決 RNN 的「梯度消失」問題而誕生的。
▪︎ RNN的問題：隱藏狀態的更新是透過多層非線性函數，梯度的函數會隨著反覆地權重計算而趨近0，導致梯度消失。
▪︎ 在當時(19
前言：
神經網路模型，有處理圖片這類以「空間關係」數據為主的卷積神經網路 (CNN)，也有處理以「時間或順序關係 (i.e. 序列數據/Sequential Data)」數據為主的「循環神經網路(Recurrent Neural Network/ RNN。
這次要一口氣介紹三個都是處理「序列」和
我將從更具學術性的角度，深入探討 Transformer 模型的數學原理，並展示其在不同領域的應用範例。
以較淺顯易懂的方式介紹之後，我們將揭開 Transformer 模型內部最核心的運作機制。本文主要基於原論文《Attention Is All You Need》(Vaswani et al.
我們來深入淺出地拆解一下比 RNN 更強大的 LSTM 模型。
我們認識了 RNN，它像一個有短期記憶的學徒，能夠記住緊鄰的上下文。但如果句子很長，資訊很複雜，RNN 就會像金魚腦一樣，忘記開頭的關鍵資訊。這就是所謂的「長期依賴問題」。
在之前的文章中，我們了解到像「詞袋模型」這樣的早期方法，雖然能統計詞彙，但卻像個金魚腦，完全記不住句子的順序。而 RNN（Recurrent Neural Network，循環神經網絡）的誕生，就是為了解決這個「失憶」問題。