AI說書 - 從0開始 - 5

更新 發佈閱讀 1 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


回顧我們在AI說書 - 從0開始 - 4中說Transformer的精髓就是考慮「字與字之間的配對關係」,我們稱其為Attention Layer,再搭配我們在機器學習領域中,常用數學向量來表達一個字 (AI只看得懂數學,看不懂文字),因此如果我定義這個向量的維度是d,而整個Context的長度是n,則Attention Layer的複雜度就是O(n^2 * d)


那我們來比較,Transformer與其競爭對手 - RNN,這家族裡面,有LSTM、GRU等兩大專門處理自然語言的AI模型,這個RNN家族學習方式是:

  • Context裡面的第一個字維度是d
  • Context裡面的第二個字維度也是d,再和第一個字的維度d,做複雜運算得出精華
  • Context裡面的第三個字維度也是d,再和剛剛的精華,萃取出前三個字的精華
  • Context裡面的第四個字維度也是d,再和剛剛的精華,萃取出前四個字的精華
  • 以此類推


透過這樣的精神,可以看出它是一種Recurrent的機制,因此Recurrent Layer的複雜度就是O(d^2 * n)


用一句話來說Attention Layer和Recurrent Layer的精神就是,Attention Layer learns the dimensions with pairwise relationships而Recurrent Layer learns in a sequence


也因為這樣的差異,可以想像Recurrent Layer一次要學一個Sequence會比較容易忘記前面的字,而Attention Layer就不會有忘記前面的字的問題,因為它是學習字與字間的配對關係。

留言
avatar-img
留言分享你的想法!
avatar-img
Learn AI 不 BI
237會員
816內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
Learn AI 不 BI的其他內容
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 35,我們完成書籍:Transformers for Natural Language Processin
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 35,我們完成書籍:Transformers for Natural Language Processin
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 34,我們談了許多 Transformer 議題,以下來做條列性結論: Transformer 迫使人工
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從AI說書 - 從0開始 - 0到AI說書 - 從0開始 - 34,我們談了許多 Transformer 議題,以下來做條列性結論: Transformer 迫使人工
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們在AI說書 - 從0開始 - 33中,見識了基於 Transformer 的 Google 翻譯威力,評論如下: Google 翻譯似乎已經解決了 Corefer
2024/06/20
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們在AI說書 - 從0開始 - 33中,見識了基於 Transformer 的 Google 翻譯威力,評論如下: Google 翻譯似乎已經解決了 Corefer
看更多
你可能也想看
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
透過蝦皮分潤計畫,輕鬆賺取零用金!本文分享5-6月實測心得,包含數據流程、實際收入、平臺優點及注意事項,並推薦高分潤商品,教你如何運用空閒時間創造被動收入。
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
單身的人有些會養寵物,而我養植物。畢竟寵物離世會傷心,植物沒養好再接再厲就好了~(笑)
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
不知你有沒有過這種經驗?衛生紙只剩最後一包、洗衣精倒不出來,或電池突然沒電。這次一次補貨,從電池、衛生紙到洗衣精,還順便分享使用心得。更棒的是,搭配蝦皮分潤計畫,愛用品不僅自己用得安心,分享給朋友還能賺回饋。立即使用推薦碼 X5Q344E,輕鬆上手,隨時隨地賺取分潤!
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
身為一個典型的社畜,上班時間被會議、進度、KPI 塞得滿滿,下班後只想要找一個能夠安靜喘口氣的小角落。對我來說,畫畫就是那個屬於自己的小樹洞。無論是胡亂塗鴉,還是慢慢描繪喜歡的插畫人物,那個專注在筆觸和色彩的過程,就像在幫心靈按摩一樣,讓緊繃的神經慢慢鬆開。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
本文介紹了人工智慧(AI)及機器學習(ML)的基本概念和關係,探討了數據在機器學習中的重要性,以及深度學習和生成式人工智慧的應用。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
✨閱讀後你將學會: 培養成長心態: 認識在AI時代如何透過「成長心態」面對新知識和技術。 策略化學習能力: 提供學習策略指南以評估自身學習目標與方法。 效率提升方法: 鼓勵透過學習AI工具與參與學習社群以提升學習成效。 重新定義高效學習 在人工智慧(AI)日益影響工作與學習方式的今天,
Thumbnail
✨閱讀後你將學會: 培養成長心態: 認識在AI時代如何透過「成長心態」面對新知識和技術。 策略化學習能力: 提供學習策略指南以評估自身學習目標與方法。 效率提升方法: 鼓勵透過學習AI工具與參與學習社群以提升學習成效。 重新定義高效學習 在人工智慧(AI)日益影響工作與學習方式的今天,
Thumbnail
AI 相關的內容每天都非常多,有聽過很多人因此感覺到焦慮,怕錯過了最新資訊就會趕不上,這篇內容會跟大家詳細的分享我自己的學習方法和經驗,並且會在最後分享一些我的學習資訊來源。
Thumbnail
AI 相關的內容每天都非常多,有聽過很多人因此感覺到焦慮,怕錯過了最新資訊就會趕不上,這篇內容會跟大家詳細的分享我自己的學習方法和經驗,並且會在最後分享一些我的學習資訊來源。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News