AI說書 - 從0開始 - 17

閱讀時間約 2 分鐘

我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。


我們已經在AI說書 - 從0開始 - 16走過了部分AI發展軌跡,接著繼續:


  • 在1980年代Yann LeCun設計了Convolutional Neural Network (CNN),並應用於文字序列與文字轉導,接著受到1974年由W. A. Little寫的文章:「The Existence of Persistent States in the Brain」的鼓舞,開始進行「Process Information Layer by Layer」
  • 1990年代Yann LeCun總結了這些年的心血,發佈了LeNet-5,這是目前很多CNN的根基,縱然CNN有很好的Efficient Architectue,它仍然面臨以下困境:「Face problems when dealing with long-term dependencies in lengthy and complex sequences」
  • 接著開始有一個關鍵出現:「The notion of attention appeared: peeking at other tokens in a sequence, not just the last one」,並把此機制加入既有的CNN與RNN
  • 爾後研發人員需要對付更長的句子就使用更強大的運算設備,或者是優化Gradient
  • 終究是遇到瓶頸,到目前為止的模型融合了「Recurrence」與「Attention」機制,一直到2017年,有了重大突破:「Transformer came with its attention head sublayers and more」,自此之後「RNNs did not appear as a prerequisite for sequence modeling anymore」


大型語言模型 (LLM)的開始與結束都與Token有關,Token是一個句子的「Minimal Word Part」

avatar-img
170會員
451內容數
這裡將提供: AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹,一起在未來AI的世界擁抱AI技術,不BI。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Learn AI 不 BI 的其他內容
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論,接著來鋪陳AI的歷史軌跡,以達到目前Transformer的巔峰。 在19
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 ChatGPT縱然成功,但是仍有一些任務處理得不好,例如: 需要邏輯推論的任務 多步驟的任務
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 已經在AI說書 - 從0開始 - 12以及AI說書 - 從0開始 - 13中見識到TPU的威力了,現在我們把參數放大到真實大型語言模型的規模,看看運算時間的等級。
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在AI說書 - 從0開始 - 15總結了Transformer比RNN還要好的結論,接著來鋪陳AI的歷史軌跡,以達到目前Transformer的巔峰。 在19
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 針對Generative AI、Foundation Model、Large Language Mode
我們人類和ChatGPT的對話技巧也是需要學習的,有鑑於此,我想要一天分享一點「和ChatGPT對話的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 ChatGPT縱然成功,但是仍有一些任務處理得不好,例如: 需要邏輯推論的任務 多步驟的任務
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 已經在AI說書 - 從0開始 - 12以及AI說書 - 從0開始 - 13中見識到TPU的威力了,現在我們把參數放大到真實大型語言模型的規模,看看運算時間的等級。
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧我們在AI說書 - 從0開始 - 6中說當Context長度是n,且每個字用d維度的向量表示時有以下結論: Attention Layer的複雜度是O(n^2 *
你可能也想看
Google News 追蹤
Thumbnail
科技發達,AI智能也越來越發達。 蠢孩子,我每篇小說的圖片都是用AI製作的唷!!
Thumbnail
序幕 又來到一年一度的年中的時刻了, 不免得要來復盤一下今年的軟體學習與開發上面有了哪些的進步與轉變, 很有意思的是今年加入了AI的元素, 其實早在去年我們就分享了一篇「【🔒 江湖一點訣】關於寫作,你不需要很厲害才開始,但你從現在開始就可以很厲害」, 裡面包含了我們長期累積的心得之外, 早就已經
其實,每篇論文的貢獻,絕對都是站在前人的努力上的。就像現在的AI,名稱是大語言模型,再更早以前叫做編碼器-解碼器循環神經網絡,再更早以前還有別的名字。「你需要去了解,2024你看到的論文,在歷史上是怎麼一步一步長出來的。」你要去找到源頭的問題,去觀察不同時代大家如何解問題,你才會知道解決方案。
https://www.youtube.com/watch?v=wjZofJX0v4M 這是我看過最好的AI科普影片了;現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 影片中GPT3共儲存50257個英文單字, 每
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
預計量子AI計算會在2032年左右來到,在這之前,我們還有充足的時間可以逐步去學習量子計算與演算法,讓我們按部就班,持續前進,做輕鬆無負擔的超前學習 !
以我的在機器學習領域工作7年的經驗, 追求更大的數據集以及更大的模型以達到更好的表現, 這件事已經持續存在15年以上。 這方面的歷史可以讀讀ImageNet的歷史故事。 你會了解到從2009年開始的 ImageNet , 如何逐步讓許多機器學習的技術民主化, 讓更
Thumbnail
AI 相關的內容每天都非常多,有聽過很多人因此感覺到焦慮,怕錯過了最新資訊就會趕不上,這篇內容會跟大家詳細的分享我自己的學習方法和經驗,並且會在最後分享一些我的學習資訊來源。
Thumbnail
前言 在AI經歷數個冰河期後,終於在後疫情時代來到了一個技術高峰,而這個破冰者就是OPen AI(ChatGPT),對於這個話題不管你是是正在接觸AI,對AI技術有些了解的人,抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。 本文想分享一些個人對於AI的理解及對於LLM模型的一些
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野,讓AI成為了熱門話題,網路媒體和論壇冒出許多相關的文章,足見AI之勢著實非同小可。
Thumbnail
科技發達,AI智能也越來越發達。 蠢孩子,我每篇小說的圖片都是用AI製作的唷!!
Thumbnail
序幕 又來到一年一度的年中的時刻了, 不免得要來復盤一下今年的軟體學習與開發上面有了哪些的進步與轉變, 很有意思的是今年加入了AI的元素, 其實早在去年我們就分享了一篇「【🔒 江湖一點訣】關於寫作,你不需要很厲害才開始,但你從現在開始就可以很厲害」, 裡面包含了我們長期累積的心得之外, 早就已經
其實,每篇論文的貢獻,絕對都是站在前人的努力上的。就像現在的AI,名稱是大語言模型,再更早以前叫做編碼器-解碼器循環神經網絡,再更早以前還有別的名字。「你需要去了解,2024你看到的論文,在歷史上是怎麼一步一步長出來的。」你要去找到源頭的問題,去觀察不同時代大家如何解問題,你才會知道解決方案。
https://www.youtube.com/watch?v=wjZofJX0v4M 這是我看過最好的AI科普影片了;現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量 影片中GPT3共儲存50257個英文單字, 每
Thumbnail
最新的AI趨勢讓人眼花撩亂,不知要如何開始學習?本文介紹了作者對AI的使用和體驗,以及各類AI工具以及推薦的選擇。最後強調了AI是一個很好用的工具,可以幫助人們節省時間並提高效率。鼓勵人們保持好奇心,不停止學習,並提出了對健康生活和開心生活的祝福。
Thumbnail
預計量子AI計算會在2032年左右來到,在這之前,我們還有充足的時間可以逐步去學習量子計算與演算法,讓我們按部就班,持續前進,做輕鬆無負擔的超前學習 !
以我的在機器學習領域工作7年的經驗, 追求更大的數據集以及更大的模型以達到更好的表現, 這件事已經持續存在15年以上。 這方面的歷史可以讀讀ImageNet的歷史故事。 你會了解到從2009年開始的 ImageNet , 如何逐步讓許多機器學習的技術民主化, 讓更
Thumbnail
AI 相關的內容每天都非常多,有聽過很多人因此感覺到焦慮,怕錯過了最新資訊就會趕不上,這篇內容會跟大家詳細的分享我自己的學習方法和經驗,並且會在最後分享一些我的學習資訊來源。
Thumbnail
前言 在AI經歷數個冰河期後,終於在後疫情時代來到了一個技術高峰,而這個破冰者就是OPen AI(ChatGPT),對於這個話題不管你是是正在接觸AI,對AI技術有些了解的人,抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。 本文想分享一些個人對於AI的理解及對於LLM模型的一些
近來AI繪圖以及如Chatgpt等可進行對話的AI進入到大眾視野,讓AI成為了熱門話題,網路媒體和論壇冒出許多相關的文章,足見AI之勢著實非同小可。