AI說書 - 從0開始 - 50
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
- Embedding 訓練方式：AI說書 - 從0開始 - 43
- Embedding 結果呈現：AI說書 - 從0開始 - 44
- Positional Encoding 功能介紹：AI說書 - 從0開始 - 45
- Positional Encoding 畫圖感受：AI說書 - 從0開始 - 46
- Positional Encoding 實際計算：AI說書 - 從0開始 - 47
- Embedding 與 Positional Encoding 的相似度比較：AI說書 - 從0開始 - 48
- Embedding 與 Positional Encoding 的合成方式：AI說書 - 從0開始 - 49
以「The black cat sat on the couch and the brown dog slept on the rug」為例子：
- 在 AI說書 - 從0開始 - 44 計算「black」與「brown」的 Embedding 相似度為：0.9998901
- 在 AI說書 - 從0開始 - 48 計算「black」與「brown」的 Positional Encoding 相似度為：0.8600013
- 在 AI說書 - 從0開始 - 49 給出每個字對應的 Embedding 與 Positional Encoding 的合成方式，那自然我能針對「black」與「brown」的合成結果，計算其相似度，其結果為：0.9627094
因此結論如下：
- 針對一段句子中的每個字，我們都把它轉成相同維度的 Embedding ，可能不同字，但皆屬於相同屬性，例如顏色、動物等等，造成它們的 Embedding 相似度很高
- 縱然不同字卻有相同屬性，但卻有個天然屬性把這兩個字做區別，那就是字的位置，因此額外引入 Positional Encoding 來製造差異，這樣可以創造一個相似度較低的 Positional Encoding 向量內積結果
- 上述兩特徵都是描繪一段話的精華特性，因此 Embedding 與 Positional Encoding 需要做有效的結合，注意這兩個向量維度相同，結合方式如 AI說書 - 從0開始 - 49 所述
177會員
472內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
分享我怎麼「用 AI 設計一個學習流程」讓我把學過的英文「真的記住，並且用的出來」
這個過程不會碰到複雜的技術，
只需結合基本學習原則，還有在ChatGPT用中文下指令的技巧
這樣你以後就可以針對自己想學的英文內容設計客製化的學習材料跟練習過程喔！
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
隨著理財資訊的普及，越來越多台灣人不再將資產侷限於台股，而是將視野拓展到國際市場。特別是美國市場，其豐富的理財選擇，讓不少人開始思考將資金配置於海外市場的可能性。
然而，要參與美國市場並不只是盲目跟隨標的這麼簡單，而是需要策略和方式，尤其對新手而言，除了選股以外還會遇到語言、開戶流程、Ap
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
分享我怎麼「用 AI 設計一個學習流程」讓我把學過的英文「真的記住，並且用的出來」
這個過程不會碰到複雜的技術，
只需結合基本學習原則，還有在ChatGPT用中文下指令的技巧
這樣你以後就可以針對自己想學的英文內容設計客製化的學習材料跟練習過程喔！
前言
在閱讀《強化式學習：打造最強 AlphaZero 通用演算法》時，對一些看似基本，但是重要且會影響到之後實作的項目概念有點疑惑，覺得應該查清楚，所以搞懂後記錄下來，寫下這篇文章(應該說是筆記？)。
正文
下面這段程式碼：
model = Sequential()
model.add
在網路世界初出茅廬時，不管你的文章內容多有價值，大多數時你只會遇到一片寂靜。這篇文章將分享如何利用 AI 指令並借用名人故事和框架，快速吸引你的觀眾，讓你的內容更具影響力。
今天接觸到兩個重點方向，我覺得每個人都可以去嘗試思考，也是我最近在試著去了解更深的主軸：
①提升思維、善用AI工具。
包括接觸商業和產品知識，再用工具加速、更有效達標。
②自媒體——讓人認識你。
如果要做自媒體，可以先思考目的，比如我的目標是寫作出書，就不需要花太多時間分享生活娛
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
這篇文章介紹瞭如何利用生成式AI（GenAI）來提高學習效率，包括文章重點整理、完善知識體系、客製化學習回饋、提供多元觀點等方法。同時提醒使用者應注意內容的信效度，保持學術誠信，適當運用GenAI能大幅提升工作效率。
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法