AI說書 - 從0開始 - 55
閱讀時間約 1 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經完成：
- Single-Head Attention 數學說明：AI說書 - 從0開始 - 52
- Multi-Head Attention 數學說明：AI說書 - 從0開始 - 53
- Attention 機制程式說明 - 輸入端：AI說書 - 從0開始 - 53
- Attention 機制程式說明 - Query 端：AI說書 - 從0開始 - 54
- Attention 機制程式說明 - Key 端：AI說書 - 從0開始 - 54
現在我們來撰寫 Query、Key、Value 權重矩陣的程式，在原始 Google 於 2017 年釋出的 Attention 論文中，Query、Key、Value 這三個矩陣的維度均為 512 x 64 ，前者對應 Embedding + Positional Encoding 後的維度，現在為了方便説明，我們把它們都調整成 4 x 3。
針對 Value 權重矩陣的程式配置如下：
W_Value = np.array([[0, 2, 0],
[0, 3, 0],
[1, 0, 3],
[1, 1, 0]])
整理圖示化結果如下，給定一段句子，假設有三個字，每個字用 4 維度的向量表示，然後配置 Query 、 Key 、 Value 三個矩陣，其維度均為 4 x 3 ：
圖片出自：Transformers for Natural Language Processing and Computer Vision - Third Edition, 2024
158會員
397內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。