我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
- AI說書 - 從0開始 - 338 | Embedding Based Search 資料集描述
- AI說書 - 從0開始 - 339 | Embedding Based Search 資料集整備
- AI說書 - 從0開始 - 340 | Embedding Based Search 資料集編碼
- AI說書 - 從0開始 - 341 | Embedding Based Search 執行 Embedding 並儲存
- AI說書 - 從0開始 - 342 | Embedding Based Search 資料清洗
資料清洗完畢後,就可以來執行 K-Means 演算法群集:
from sklearn.cluster import KMeans
n_clusters = 4
kmeans = KMeans(n_clusters = n_clusters, init = "k-means++", n_init = 10,random_state = 42)
kmeans.fit(matrix)
labels = kmeans.labels_
df["Cluster"] = labels
df.groupby("Cluster").Score.mean().sort_values()
結果為:
