【資料庫寶典】ElasticSearch的Span Near
更新於 2023/08/08閱讀時間約 4 分鐘
想學習Elasticsearch搜尋引擎資料庫的夥伴歡迎參考：
另外再推薦您一個基礎知識的文章：
那這次要介紹的主題主要是在Elasticsearch 搜尋引擎中的跨詞搜尋，你知道詞與詞之間也是存在著距離的嗎？ 那這些詞可能是相近的，比如說： 打、藍球，這兩個詞之間的距離肯定是非常相近的，透過這樣的關係我們可以更加精確的找出我們的資料內容，至於為什麼能夠搜尋的這麼快呢？ 這得感謝一項重要的技術：
透過這項技術讓我們可以將一整篇文章根據文字內容切碎成詞，以「詞」為單位進行索引，顛覆了以往我們對於資料庫的認識，過往的資料庫系統是以「欄位」為索引進行資料的整理，現如今因應大數據時代的來臨，做了創新的索引技巧，讓我們更能夠精確的找出我們想要的資料。
精華區在這裡...
範例句：
假設我們有一段文章以空白隔開的方式來切割詞彙，內容如下：
為了 提升 滿意度 我們 需要 您 填寫 問卷
假設條件為：
- clauses：[提升,滿意度,問卷] 。
- slop：4。
- in_order： true
❗ 這裡的Slop代表範圍內不匹配的最大數量，從開始匹配的字詞框到最後加總一併進行計算。
查詢結構會是如此
{
"span_near": {
"clauses": [
{
"span_term": {
"dialogs": "提升"
}
},
{
"span_term": {
"dialogs": "滿意度"
}
},
{
"span_term": {
"dialogs": "問卷"
}
}
],
"slop": 4,
"in_order": true
}
}請問上述條件是否能正確搜尋出文本？
答案： 可以， 因為「提升→ 滿意度 → 問卷」之間跨詞數量為4， 而我們條件是限定跨詞距離為4，符合搜尋條件， 因此可以被正確搜尋。
如果想要正確被搜尋出來只能增加跨詞距離來囊括匹配的範圍，但這個距離要怎麼抓呢？ 勢必得根據需求以及觀察資料後才能決定這個部份的應用方式了，以上只是說明了Span Near Query的搜尋原理。
結語
原來所謂的跨詞距離就是將文字進行斷詞之後，進行逆向索引 ， 以此為根基進行儲存並記載這個「詞」在哪個文件中的哪個位置，有了這些資訊之後就能夠在搜尋上加上「詞」與「詞」之間多少距離的查詢語法，這樣就能更貼近我們語言的去搜尋資料了，但這仍然不夠，規則還是有點硬邦邦的，更聰明的技術有沒有？
當然有！ 但在這之前，務必請你閱讀一些關於自然語言處理的文章，累積一些基礎知識，之後再來談談關於Elasticsearch與自然語言之間究竟有什麼關係吧！
關於自然語言處理，也推薦你以下的免費文章進行閱讀：
- 【自然語言處理 - 概念篇】最基礎的Bag-of-Words模型是什麼呢？
- 【自然語言處理 - 概念篇】 來認識一下詞向量(Word Embedding or Word Vector)吧
- 【自然語言處理 - 概念篇】 探索TF-IDF, 關於詞的統計與索引隱含著什麼奧秘呢？
- 【自然語言處理 - 概念篇】 詞性標注POS在NLP的世界扮演什麼樣的角色呢?
- 【自然語言處理 - 概念篇】 拆解語句組成的規則, 何謂依存句法分析(Dependency Parsing)?
- 【自然語言處理 - spaCy】初探強大的工具庫spaCy， 讓機器讀懂我們的語言
- 【自然語言處理 - spaCy】善用ChatGPT幫我們訓練出自訂的Name Entity Recognition實體
為什麼會看到廣告
116會員
261內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Notion內建的日期欄位，可以調整顯示英文的日期格式
但是若想要顯示台灣的民國、中文的星期、或是日本的平成昭和幾年要怎麼做呢？
透過Notion formula只要填好日期，就可自動呈現出台灣民國年度、台灣星期、年齡計算、距離今年過了幾年/是幾年後等等，各種格式的函數Notion模板免費索取！
※什麼是資料 ：
說明：
「資料」(information/data) 是網路應用程式的核心。
使用者分享的照片、電商販賣的產品，或是搜索引擎提供的餐廳評價都是資料。
主要特徵：
生活中任何基本的事實 (fact) 或是值 (value) 都可以被稱為資料。例如：你的名字、你的生日。
因
【生活話題】要健康VS要隱私！健保資料庫違憲？
本所許惠菁律師主持央廣【生活有辦法】，憲法法庭討論「運用健保資料庫的個人健康資料做醫學研究」是否有違憲。
最近接獲一個任務，該任務的目標是替一個即將進入正式部署階段的系統，導入一個 database migration tool，以下是此任務整個思考決策的邏輯以及正式進行時技術上比較值得和大家分享的小細節。
系統背景
資料庫的設計方式，目前常見會有兩種方向，code first 以及 database
UNIX 在設計時，用 32 位元為基礎設計，Timestamp (time_t 結構) 順理成章也是 32 位元 (signed int32)，從 1970 年開始算，導致它能記錄的時間在 2038 年會溢位變負數。
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Notion內建的日期欄位，可以調整顯示英文的日期格式
但是若想要顯示台灣的民國、中文的星期、或是日本的平成昭和幾年要怎麼做呢？
透過Notion formula只要填好日期，就可自動呈現出台灣民國年度、台灣星期、年齡計算、距離今年過了幾年/是幾年後等等，各種格式的函數Notion模板免費索取！
※什麼是資料 ：
說明：
「資料」(information/data) 是網路應用程式的核心。
使用者分享的照片、電商販賣的產品，或是搜索引擎提供的餐廳評價都是資料。
主要特徵：
生活中任何基本的事實 (fact) 或是值 (value) 都可以被稱為資料。例如：你的名字、你的生日。
因
【生活話題】要健康VS要隱私！健保資料庫違憲？
本所許惠菁律師主持央廣【生活有辦法】，憲法法庭討論「運用健保資料庫的個人健康資料做醫學研究」是否有違憲。
最近接獲一個任務，該任務的目標是替一個即將進入正式部署階段的系統，導入一個 database migration tool，以下是此任務整個思考決策的邏輯以及正式進行時技術上比較值得和大家分享的小細節。
系統背景
資料庫的設計方式，目前常見會有兩種方向，code first 以及 database
UNIX 在設計時，用 32 位元為基礎設計，Timestamp (time_t 結構) 順理成章也是 32 位元 (signed int32)，從 1970 年開始算，導致它能記錄的時間在 2038 年會溢位變負數。