AI說書 - 從0開始 - 323 | Embedding 後透過 TensorFlow Projector 視覺化
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧目前手上有的素材：
- 載入文本並執行 Tokenization：AI說書 - 從0開始 - 314 | 載入文本並執行 Tokenization
- 文本處理以降低 Tokenization 負擔：AI說書 - 從0開始 - 315 | 文本處理以降低 Tokenization 負擔
- Tokenization 後基本資訊窺探與 Embedding 訓練：AI說書 - 從0開始 - 316 | Tokenization 後基本資訊窺探與 Embedding 訓練
- Embedding 模型描述：AI說書 - 從0開始 - 317 | Embedding 模型描述
- Embedding 模型描述：AI說書 - 從0開始 - 318 | Embedding 模型描述
- 檢視 Embedding 是否包含某詞彙：AI說書 - 從0開始 - 319 | 檢視 Embedding 是否包含某詞彙
- Embedding 後詞彙相似度計算：AI說書 - 從0開始 - 320 | Embedding 後詞彙相似度計算
- Embedding 後詞彙與 ID 映射：AI說書 - 從0開始 - 321 | Embedding 後詞彙與 ID 映射
- Embedding 後詞彙的 Cosine 相似度計算：AI說書 - 從0開始 - 322 | Embedding 後詞彙的 Cosine 相似度計算
如果 Embedding 後，想透過 TensorFlow Projector 進行視覺化，需要兩份檔案：
- 包含 Embedding 的向量檔案，通常名為 vecs.tsv 的檔案
- 包含標籤元資料檔，在這裡即為 Word，通常名為 meta.tsv 的檔案
以下撰寫產出上述兩份檔案的程式：
import csv
import os
import numpy as np
LOG_DIR = '/content'
os.makedirs(LOG_DIR, exist_ok = True)
words = list(model.wv.key_to_index.keys())
vectors = [model.wv[word] for word in words]
with open(os.path.join(LOG_DIR, "vecs.tsv"), 'w', newline = '') as f:
writer = csv.writer(f, delimiter = '\t')
writer.writerows(vectors)
with open(os.path.join(LOG_DIR, "meta.tsv"), 'w', newline = '', encoding = 'utf-8') as f:
writer = csv.writer(f, delimiter = '\t')
writer.writerows([[word] for word in words])
188會員
500內容數
這裡將提供： AI、Machine Learning、Deep Learning、Reinforcement Learning、Probabilistic Graphical Model的讀書筆記與演算法介紹，一起在未來AI的世界擁抱AI技術，不BI。
留言0
查看全部
你可能也想看
Google News 追蹤
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經完成：
Single-Head Attention 數學說明：AI說書 - 從0開始 - 52
Multi-Head Attention 數學說明：AI
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
Embedding 訓練方式：AI說書 - 從0開始 - 43
Embed
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
再度回到 Transformer 架構中的 Encoder 部分，如下圖所示：
我現在手上有的素材如下：
Embedding 訓練方式：AI說書 - 從0開始
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示：
此外我已經在AI說書 - 從0開始 - 42中，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 44說完 Embedding ，下一步就是闡述 Positional Embedding，其於原始 Transformer 架構中的角色
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 43中，闡述了 Embedding 的訓練方式，現在我們來看是否 Embedding 如我們預期般運作：
假設我的目標句子是
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
總結一下目前有的素材：
AI說書 - 從0開始 - 103：資料集載入
AI說書 - 從0開始 - 104：定義資料清洗的函數
AI說書 - 從0開始 - 105
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
先做個總回顧：
Transformer 架構總覽：AI說書 - 從0開始 - 39
Attention 意圖說明：AI說書 - 從0開始 - 40
Transfo
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
目前我們已經完成：
Single-Head Attention 數學說明：AI說書 - 從0開始 - 52
Multi-Head Attention 數學說明：AI
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
講完 Transformer 之 Encoder 架構中的 Embedding 與 Positional Encoding 部分，現在進入 Multi-Head Att
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
這裡做 Embedding 與 Postional Encoding 的邏輯梳理與結論：
Embedding 訓練方式：AI說書 - 從0開始 - 43
Embed
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
再度回到 Transformer 架構中的 Encoder 部分，如下圖所示：
我現在手上有的素材如下：
Embedding 訓練方式：AI說書 - 從0開始
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
回顧我們在AI說書 - 從0開始 - 41中，提及 Transformer 的 Encoder 架構如下圖所示：
此外我已經在AI說書 - 從0開始 - 42中，
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
延續AI說書 - 從0開始 - 44說完 Embedding ，下一步就是闡述 Positional Embedding，其於原始 Transformer 架構中的角色
我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
我們已經在AI說書 - 從0開始 - 43中，闡述了 Embedding 的訓練方式，現在我們來看是否 Embedding 如我們預期般運作：
假設我的目標句子是