AI說書 - 從0開始 - 18
閱讀時間約 2 分鐘
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 17中，介紹了大型語言模型 (LLM)世界裡面常用到的Token，現在我們來談談OpenAI的GPT模型如何利用Inference的Pipeline產生Token：
資料出自書籍：Transformers for Natural Language Processing and Computer Vision, Denis Rothman, 2024.
- Tokenization：利用Tokenizer將Input Sequence轉成Tokens
- Model Input：Pipeline將已經被Tokenized的Sequence匯入訓練好的GPT Model
- Model：透過多層Layer來處理輸入資料，包含Input Layer、、Multiple Transformer Layers、Output Layer
- Output Generation：Input Sequence匯入Model後產生Raw Output Logits
- Sampler：將Logits轉成Probabilities
- Next Token Selection (Next TS)：依據Sampler輸出的Probabilites來產生Next Token
- Next Token Addition：前一步驟的Selected Next Token和Input Sequence做串接，以此從步驟三開始重複執行，一直到Maximum Token Limit達到
- Token Generation Completion (Token Generation)：滿足以下任意兩情況的話，Token Generation程序結束：
- Maximum Token Limit達到
- 偵測到End-of-Sequence Token
- Text Reconstruction：Tokenizer將最後的Token Sequence轉成字串，比較容易理解的話是：縫合Any subword tokens back together to form whole words
169會員
450內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
本文會教你如何以最簡單方式使用Ollama＋Open WebUI
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
從頭開始寫大語言模型的程式碼，
是最好理解大語言模型的機制與限制的方風。
從頭開始寫大語言模型的程式碼，可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識，並應用到特定領域的數據及以及任務。
客製化大語言模型一般來說比起通用大語言模型有更好的表現。
一個具體的例子是
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些
在當今快速變化的數位時代，企業面臨著前所未有的數據處理需求。為了應對這些挑戰，企業紛紛建立自己的大型語言模型（LLM），利用大量數據進行訓練，讓模型能夠理解並生成自然語言，從而實現人機協作，優化業務流程並提升客戶體驗。
本文會教你如何以最簡單方式使用Ollama＋Open WebUI
https://www.youtube.com/watch?v=wjZofJX0v4M
這是我看過最好的AI科普影片了；現在流行的GPT使用的大語言模型 (large language model, LLM), 是把每一個單字都當作一個高維度向量
影片中GPT3共儲存50257個英文單字, 每
筆記-曲博談AI模型.群聯-24.05.05
https://www.youtube.com/watch?v=JHE88hwx4b0&t=2034s
*大型語言模型 三個步驟:
1.預訓練，訓練一次要用幾萬顆處理器、訓練時間要1個月，ChatGPT訓練一次的成本為1000萬美金。
2.微調(
AI 相關的內容每天都非常多，有聽過很多人因此感覺到焦慮，怕錯過了最新資訊就會趕不上，這篇內容會跟大家詳細的分享我自己的學習方法和經驗，並且會在最後分享一些我的學習資訊來源。
從頭開始寫大語言模型的程式碼，
是最好理解大語言模型的機制與限制的方風。
從頭開始寫大語言模型的程式碼，可以幫助我們得到預訓練與微調整開源大語言模型架構所需要的知識，並應用到特定領域的數據及以及任務。
客製化大語言模型一般來說比起通用大語言模型有更好的表現。
一個具體的例子是
大語言模型能夠生成文本，因此被認為是生成式人工智慧的一種形式。
人工智慧的學科任務，是製作機器，使其能執行需要人類智慧才能執行的任務，例如理解語言，便是模式，做出決策。
除了大語言模型，人工智慧也包含了深度學習以及機器學習。
機器學習的學科任務，是透過演算法來實踐AI。
特別
延續上週提到的，「有哪些不訓練模型的情況下，能夠強化語言模型的能力」，這堂課接續介紹其中第 3、4 個方法
大型語言模型（Large Language Model，LLM）是一項人工智慧技術，其目的在於理解和生成人類語言，可將其想像成一種高階的「文字預測機器」，然而，它們並非真正理解語言。除了在上篇介紹的技巧可以協助我們在使用 LLM 時給予指示之外，今天我們會介紹使用 LLM 的框架。
前言
在AI經歷數個冰河期後，終於在後疫情時代來到了一個技術高峰，而這個破冰者就是OPen AI(ChatGPT)，對於這個話題不管你是是正在接觸AI，對AI技術有些了解的人，抑或是專業領域上對於AI介入感到焦慮的人都希望可以文中得到收穫。
本文想分享一些個人對於AI的理解及對於LLM模型的一些