Learn AI 不 BI
首頁
三分鐘學AI
三分鐘學AI (2)
證照相關
自然語言處理相關
機率圖模型
三分鐘學AI (3)
三分鐘學AI (4)
關於
三分鐘學AI (2)
132
公開內容
這頻道將提供三分鐘以內長度的AI知識,讓你一天學一點AI知識,每天進步一點
全部
AI從0開始-第八章
AI從0開始-第九章
AI從0開始-第十章
AI從0開始-十一章
AI從0開始-十二章
AI從0開始-十三章
AI馴獸師-第三章
AI馴獸師-第四章
AI馴獸師-第五章
AI馴獸師-第六章
全部內容
免費與付費
最新發佈優先
LearnAI
2025/01/29
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 308 | 第十章額外閱讀
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 在本章中,我們測量了 Tokenization 對 Transformer 模型後續層的影響,Transformer 模型只能關注堆疊的嵌入層和位置編碼子層中的 Tok
#
AI
#
ai
#
PromptEngineering
3
留言
LearnAI
2025/01/28
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 307 | Token ID 映射品質管控
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 想要控管 Token ID 映射的品質,有鑑於此,先定義,先定義 Tokenizer: model_name = 'bert-base-uncased' token
#
AI
#
ai
#
PromptEngineering
9
留言
LearnAI
2025/01/27
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 306 | Token ID 映射顯示
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 304 | WordPiece Tokenization 介紹與偵測 講 WordPiece Tokenizer,而 AI說書 - 從
#
AI
#
ai
#
PromptEngineering
12
留言
LearnAI
2025/01/25
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 305 | Token ID 映射顯示
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 延續 AI說書 - 從0開始 - 304 | WordPiece Tokenization 介紹與偵測 講 WordPiece Tokenizer,今天來談論 Toke
#
AI
#
ai
#
PromptEngineering
10
留言
LearnAI
2025/01/24
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 304 | WordPiece Tokenization 介紹與偵測
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 以下撰寫程式來分辨,Tokenizer 究竟是 WordPiece 還是 BPE: from transformers import BertTokenizer m
#
AI
#
ai
#
PromptEngineering
10
留言
LearnAI
2025/01/23
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 303 | WordPiece Tokenization 介紹與偵測
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 WordPiece 和 Byte Pair Encoding (BPE) 一樣,以單個字符的詞彙表開始,這樣可以確保任何詞都能被 Tokenization,接著,訓練過
#
AI
#
ai
#
PromptEngineering
20
留言
LearnAI
2025/01/22
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 302 | Byte Pair Encoding 產生流程之介紹
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Byte Pair Encoding (BPE) 以單個字符的詞彙表開始,然後合併最常見的相鄰字符對,超參數決定了該過程重複的次數。 最終結果是一組合併後的字符,
#
AI
#
ai
#
PromptEngineering
8
留言
LearnAI
2025/01/21
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 301 | Sentence Piece Tokenization 展示
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Sentence Piece Tokenizer 在 Unigram 語言模型 Tokenizer (見 AI說書 - 從0開始 - 300 | Unigram Lan
#
AI
#
ai
#
PromptEngineering
8
留言
LearnAI
2025/01/19
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 300 | Unigram Language Model Tokenization 訓練展示
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Unigram 語言模型分詞由 Google 開發,它使用 Subword 單元進行訓練,並會丟棄不常見的單元,Unigram 語言模型 Tokenization 是隨
#
AI
#
ai
#
PromptEngineering
10
留言
LearnAI
2025/01/18
發佈於
三分鐘學AI (2)
AI說書 - 從0開始 - 299 | Subword Tokenizer 引言
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformer 模型是大規模的大型語言模型 (LLMs),模型的規模和它們執行的任務數量需要高效的 Tokenizer,Subword Tokenizer 是
#
AI
#
ai
#
PromptEngineering
24
留言
本週 TOP 5
1
AI說書 - 從0開始 - 303 | WordPiece Tokenization 介紹與偵測
2
AI說書 - 從0開始 - 306 | Token ID 映射顯示
3
AI說書 - 從0開始 - 299 | Subword Tokenizer 引言
4
AI說書 - 從0開始 - 304 | WordPiece Tokenization 介紹與偵測
5
AI說書 - 從0開始 - 307 | Token ID 映射品質管控