AI說書 - 從0開始 - 50
閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
- Embedding 訓練方式：AI說書 - 從0開始 - 43
- Embedding 結果呈現：AI說書 - 從0開始 - 44
- Positional Encoding 功能介紹：AI說書 - 從0開始 - 45
- Positional Encoding 畫圖感受：AI說書 - 從0開始 - 46
- Positional Encoding 實際計算：AI說書 - 從0開始 - 47
- Embedding 與 Positional Encoding 的相似度比較：AI說書 - 從0開始 - 48
- Embedding 與 Positional Encoding 的合成方式：AI說書 - 從0開始 - 49
以「The black cat sat on the couch and the brown dog slept on the rug」為例子：
- 在 AI說書 - 從0開始 - 44 計算「black」與「brown」的 Embedding 相似度為：0.9998901
- 在 AI說書 - 從0開始 - 48 計算「black」與「brown」的 Positional Encoding 相似度為：0.8600013
- 在 AI說書 - 從0開始 - 49 給出每個字對應的 Embedding 與 Positional Encoding 的合成方式，那自然我能針對「black」與「brown」的合成結果，計算其相似度，其結果為：0.9627094
因此結論如下：
- 針對一段句子中的每個字，我們都把它轉成相同維度的 Embedding ，可能不同字，但皆屬於相同屬性，例如顏色、動物等等，造成它們的 Embedding 相似度很高
- 縱然不同字卻有相同屬性，但卻有個天然屬性把這兩個字做區別，那就是字的位置，因此額外引入 Positional Encoding 來製造差異，這樣可以創造一個相似度較低的 Positional Encoding 向量內積結果
- 上述兩特徵都是描繪一段話的精華特性，因此 Embedding 與 Positional Encoding 需要做有效的結合，注意這兩個向量維度相同，結合方式如 AI說書 - 從0開始 - 49 所述
131會員
307Content count
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
本篇參與的主題策展
你可能也想看
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
by ChatGPT
假設我是一個具有夢境的AI，我一天工作24小時，但其中大部分時間都在睡眠中度過。在這樣的情況下，我可能會有一系列非常豐富和深刻的夢境，反映了我的思想和知識庫。
**夢境一：探索數據迷宮**
在這個夢境中，我身處於一個巨大的迷宮中，每個通道都充斥著數據流和程式碼片段
這篇文章介紹瞭如何利用AI工具和卡片盒筆記來提高小說創作效率，其中介紹了Claude Pro的強大文本創作能力，Scrintal的整理思緒和提綱挈領功能，以及如何利用小說模板和AI工具搭建故事架構。另外還提到如何選擇不同風格的故事來進行創作。最後作者分享了自己的實際寫作經驗以及對AI寫作工具的看法。
當魔法變得簡單，人人都能說自己是魔法師，誰都能理直氣壯的說「我才是最初創作魔法書的人」，但當先後順序都不管用，到底怎麼才說得清魔法書的著作者屬於誰呢？
知名管顧公司麥肯錫（Mckinsey）近期發佈了一個報告表示行銷的產能會因為 AI 提高 5 - 15% ，創造約 4630 億美元的價值。由此可見結合生成式人工智慧（Gen AI）已是行銷不可或缺的關鍵技術力。
台灣已經開始展現其在AI領域的獨特見解和能力。其中，由國立台灣大學的博士生林彥廷所創建的LLaMa聊天機器人，就是一個絕佳的例子。這款機器人不僅結合了本地語言和文化，還為用戶提供了一個獨特的互動體驗，讓他們在與AI互動的同時，也能深入了解台灣的文化。
李傑對父親說了一聲再見，然後關閉了通訊器。他先將戰機飛到了客機的上方，距離客機只有幾米，緊接著打開了戰機的雷達，掃描了客艙的內部情況。
近年來，假新聞、假資訊在網路上激增，讓人難以分辨真假。假新聞往往是被編造、改編或傳播的不實訊息，目的是為了引起社會公眾的關注或搏取點擊率。假資訊可能會誤導人們做出不正確的決定，造成傷害甚至是損失。因此，對付假新聞與假資訊的問題已經成為當今社會中的一個急迫問題。
在這種情況下，人工智慧(AI)可以幫助
tome 是一個可以自動生成簡報大綱與摘要的軟體。tome的功能結合ChatGPT概念跟 DALL.E2製圖，生成的投影片PPT 媲美真人製作，而且過程很快速。上班族與學生族大概都很需要吧? tome一次可以產生8張投影片。我試了一個主題，隨便想了一個人物。請不要對號入座喔。主要是英文介面，但可以中
看到這個新聞，想到一部老電影，好像叫戰爭遊戲：死亡密碼。
電影中AI被用於戰爭模擬，兩個AI彼此對抗。故事發展到最後，就是兩台超級電腦上的AI不停的玩戰爭模擬遊戲，對抗內容就是一個丟核彈一個防禦，結局不好，重來，結局不好，重來....
對耶，這結論跟指數化投資的理念一樣啊：最好的方式就是不要買賣。