AI說書 - 從0開始 - 344 | Embedding Based Search 之 t-SNE 降維

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

整理目前手上有的素材：

• AI說書 - 從0開始 - 338 | Embedding Based Search 資料集描述
• AI說書 - 從0開始 - 339 | Embedding Based Search 資料集整備
• AI說書 - 從0開始 - 340 | Embedding Based Search 資料集編碼
• AI說書 - 從0開始 - 341 | Embedding Based Search 執行 Embedding 並儲存
• AI說書 - 從0開始 - 342 | Embedding Based Search 資料清洗
• AI說書 - 從0開始 - 343 | Embedding Based Search 之 K-Means 群集

為了進行資料視覺化，我們執行 t-SNE 降維作業，目標由 1536 至 2：

from sklearn.manifold import TSNE
import matplotlib
import matplotlib.pyplot as plt

tsne = TSNE(n_components = 2, perplexity = 15, random_state = 42, init = "random", learning_rate = 200)
vis_dims2 = tsne.fit_transform(matrix)

x = [x for x, y in vis_dims2]
y = [y for x, y in vis_dims2]

for category, color in enumerate(["purple", "green", "red", "blue"]):
	xs = np.array(x)[df.Cluster == category]
	ys = np.array(y)[df.Cluster == category]
	plt.scatter(xs, ys, color = color, alpha = 0.3)
	
	avg_x = xs.mean()
	avg_y = ys.mean()
	plt.scatter(avg_x, avg_y, marker = "x", color = color, s = 100)
	
plt.title("Clusters identified visualized in language 2d using t-SNE")

結果為：