AI說書 - 從0開始 - 4
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 2，ChatGPT的根基是一種名為Transformer的Foundation Model，而Transformer依據AI說書 - 從0開始 - 3，知道核心是「Attention機制」。
因此我們來闡述「Attention機制」的想法是什麼，首先舉個例子，給一個句子如：Jay likes oranges in the morning but not in the evening，這時候想，單一個字oranges要怎麼幫助我判斷整個句子的文意呢？
沒錯，應該要思考「字與字之間的配對關係」才有辦法對整個句子有了解，例如：
- oranges 和 evening間的關係
- oranges 和 morning間的關係
- Jay 和 oranges間的關係
- Jay 和 morning間的關係
- 以此配對下去
如此一來，給定一段句子 (ML世界裡面稱Context)，針對每個字，我都和別的字執行一次配對關係的分析，也因為都是執行一次配對分析，這和AI說書 - 從0開始 - 3中說的O(1)產生連結。
176會員
467內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我是一位提示工程師
生成式AI的課程，我大概已經上過1,000人次以上，最近更花費重金，在台大霖澤館舉辦一場百人AIBOT設計課程，並在將近10位的助教協助下，完成課程的設定目標。
在生成式AI的領域中，變化實在是非常地迅速，今天表現不佳的ChatGPT，明天可能問題就可以解決。
過去還有想辦
老實說，原本的我一直認為，AI是離我很遠的東西，即使是去年的 ChatGPT 熱潮，我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過，就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後，我才逐漸加深使用AI的頻率，並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
為了充分發揮AI的潛力，我們必須深入瞭解其運作模式和思考邏輯，並學會與AI對話的技巧。《ChatGPT提問課，做個懂AI的高效工作者》這本書提供了豐富的實例，讓讀者更容易學會如何提出精準的問題，並享有提問課程的閱讀回饋。這對於想成為懂AI的高效工作者的人來說，是一本值得一看的書。
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
在晶狀智慧的時代，人類與AI共舞，共同建構更先進、更智能的未來。這是一場革命，一場改變人類命運的奇蹟，讓我們共同見證這個智慧的新紀元。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我是一位提示工程師
生成式AI的課程，我大概已經上過1,000人次以上，最近更花費重金，在台大霖澤館舉辦一場百人AIBOT設計課程，並在將近10位的助教協助下，完成課程的設定目標。
在生成式AI的領域中，變化實在是非常地迅速，今天表現不佳的ChatGPT，明天可能問題就可以解決。
過去還有想辦
老實說，原本的我一直認為，AI是離我很遠的東西，即使是去年的 ChatGPT 熱潮，我也只是跟著偶爾在工作中跟AI聊天激發靈感而已。不過，就在前一陣子看了《AI 世界的底層邏輯與生存法則》這本書後，我才逐漸加深使用AI的頻率，並且把「讓AI成為工作中的標配」當作讓自己能習慣的方向。
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
為了充分發揮AI的潛力，我們必須深入瞭解其運作模式和思考邏輯，並學會與AI對話的技巧。《ChatGPT提問課，做個懂AI的高效工作者》這本書提供了豐富的實例，讓讀者更容易學會如何提出精準的問題，並享有提問課程的閱讀回饋。這對於想成為懂AI的高效工作者的人來說，是一本值得一看的書。
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
在晶狀智慧的時代，人類與AI共舞，共同建構更先進、更智能的未來。這是一場革命，一場改變人類命運的奇蹟，讓我們共同見證這個智慧的新紀元。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些