AI說書 - 從0開始 - 62
閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經完成：
- Single-Head Attention 數學說明：AI說書 - 從0開始 - 52
- Multi-Head Attention 數學說明：AI說書 - 從0開始 - 53
- Attention 機制程式說明 - 輸入端：AI說書 - 從0開始 - 53
- Attention 機制程式說明 - Query 端：AI說書 - 從0開始 - 54
- Attention 機制程式說明 - Key 端：AI說書 - 從0開始 - 54
- Attention 機制程式說明 - Value 端：AI說書 - 從0開始 - 55
- Attention 機制程式說明 - Query 、 Key 、 Value 結果：AI說書 - 從0開始 - 56
- Attention 機制程式說明 - Attention Score 計算：AI說書 - 從0開始 - 57
- Attention 機制程式說明 - Attention Score 正規化計算：AI說書 - 從0開始 - 58
- Attention 機制程式說明 - 輸出結果計算：AI說書 - 從0開始 - 59
- Attention 機制程式說明 - 輸出結果呈現：AI說書 - 從0開始 - 60
- Attention 機制程式說明 - 總整理：AI說書 - 從0開始 - 61
至此我們完成 Single-Head Attention 的理論與實作操作，在此提點我們實作與真實模型的差異：
- 在 AI說書 - 從0開始 - 53 中，我們為了解說方便，把輸入句子的長度限縮為 3 個字，而在真實情況下，一個句子的文字數目將遠超過此數目
- 在 AI說書 - 從0開始 - 53 中，我們為了解說方便，把每個字用 4 維度的向量來表示，而在原始 Google 釋出的 Transformer 論文中，此維度為 512
- 在 AI說書 - 從0開始 - 54 中，我們為了解說方便，把 Query 、 Key 、 Value 轉換矩陣設定為維度 4 x 3 ，而在原始 Google 釋出的 Transformer 論文中，此維度為 512 x 64
也就是說，如果我參照原始 Google 釋出的 Transformer 論文的參數，在三個字的句子情況下，Single-Head Attention的輸出維度將是 1 x 3 x 64
161會員
413內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
本篇參與的主題活動
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。