📚 課程資訊整理
課程名稱：Attention Mechanism
所需時間： 15 分鐘
難易程度：中級適合對象：設計師、PM、行銷、程式設計師
課程連結：https://www.cloudskillsboost.google/course_templates/537
🧠 重點筆記
▋ 注意力機制 (Attention Mechanism) 是什麼？
人類在接收資訊時，為了更有效率理解，大腦會自動「聚焦」在重要內容上。這就是「注意力」的概念：
看一句英文句子：「Black cat ate the mouse」
我們要把它翻譯成法文：「Le chat noir a mangé la souris」
翻譯時會需要關注特別的關鍵字與連結順序，比如說翻譯「chat（貓）」的時候，翻「noir」會想到「black」的時候，你可能會注意到「black」，這種對關鍵詞的「專注」讓翻譯更準確、通順。
▋ 傳統的 RNN Encoder-Decoder 的缺點
傳統的 編碼器 與解碼器，是將每個字逐漸編碼，編碼一個字就進入 Hidden State，並傳入下一個字的編碼器，最後組成 Hidden State #3 並將傳入解碼器。並逐一減碼，最後順利翻譯完成，這種傳統模式會有以下的缺點：
- 瓶頸問題：整句的語意被壓縮成單一向量（Hidden state #3），容易造成資訊遺失。
- 長句困難：隨著句子變長，內容變多，模型難以保留早期詞語的重要資訊。
- 語序不對齊問題：原文與譯文的語序不同時，比如說法文跟英文的形容詞放在不一樣的位置，模型難以對應。
▋ 注意力機制怎麼解決問題？
取自課程中截圖
解碼器與編碼器運用了注意力機制，可以確保重要的關鍵字權重提高，讓翻譯更為精準與準確，它運用了以下的機制：
- 更大的資料傳遞給解碼器：不只將最後階段的 Hidden state #3 傳給解碼器，而是把每個步驟的 Hidden state 都傳給解碼器，解碼器就可以用更多的背景資訊，翻譯更精準的內容。
- 強化關聯性：解碼器在產生輸出之前，會採取額外步驟強化關鍵字的關聯。
- 檢視所有 Encoder Hidden States（編碼器隱藏狀態）
- 對每個 Hidden State 計算注意力分數
- 將分數進行 Softmax 並加權相乘
一句話：不再只看最後一個 Hidden State，而是「全部都看！」
▋ AI 如何實際怎麼使用注意力機制？
上圖看起來很複雜，其實一句話就能總結這整個機制：
AI 翻譯句子時，是一邊翻、一邊「回頭看」原文中最重要的詞來幫助理解。
例如：
- 在說「Chat」時，它會特別關注「cat」。
- 在說「mangé」時，它特別注意「ate」。
- 在說「la」時，它會看「the」。
圖中關鍵元件：
- 🟩 綠色菱形 → 輸入語句的「語意記憶」
- 🔷 藍色方塊 → 每一步生成譯文
- 🟡 黃色圓圈 → AI 的「視線焦點」
- 🔴 熱力格 → 哪些單字被重點關注
- a × H 公式 → 將注意力與語意結合產出翻譯
📋 總結
課程難度稍高，需要一定理解才有辦法了解注意力機制的運作，但如果不想理解那麼深，只需要記得一句話：
注意力機制就是讓 AI 學會像人一樣，把焦點放在重要的資訊上。
