我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。
- AI說書 - 從0開始 - 327 | Embedding Based Search 問答系統前置作業
- AI說書 - 從0開始 - 328 | Embedding Based Search 選擇模型
- AI說書 - 從0開始 - 329 | Embedding Based Search GPT 的回答
- AI說書 - 從0開始 - 330 | Embedding Based Search 添加知識庫
- AI說書 - 從0開始 - 331 | Embedding Based Search 添加知識庫後的回應
- AI說書 - 從0開始 - 332 | Embedding Based Search Embedded 資料準備
為了進行兩個 Embedding 的相似度計算，我們先撰寫一函數來處理此事宜：
def strings_ranked_by_relatedness(query: str,
df: pd.DataFrame,
relatedness_fn = lambda x, y: 1 - spatial.distance.cosine(x, y),
top_n: int = 100) -> tuple[list[str], list[float]]:
接著我們的 Query 也需要匯入相同的 Embedding Model：
client = OpenAI()
query_embedding_response = client.embeddings.create(model = EMBEDDING_MODEL,
input = query)
query_embedding = query_embedding_response.data[0].embedding
同時資料庫中的資料也需要經過 Embedding Model，並逐一計算相似度：
strings_and_relatednesses = [(row["text"], relatedness_fn(query_embedding, row["embedding"])) for i, row in df.iterrows()]
再進行相似度排序，並擷取前 n 筆資料：
strings_and_relatednesses.sort(key = lambda x: x[1], reverse = True)
strings, relatednesses = zip(*strings_and_relatednesses)
return strings[:top_n], relatednesses[:top_n]
整體程式拼湊起來為：
