Elasticsearch Index 生命週期管理:自動化索引管理、提升效能與降低成本

更新 發佈閱讀 6 分鐘

Elasticsearch 的 index 會隨著時間變大,導致查詢變慢、儲存成本升高。ILM (Index Lifecycle Management) 可以自動化:

  • Index 的 rollover(建立新 index)
  • Index 的 刪除(清理舊資料)
  • Index 的 轉冷 / 凍結(降低儲存成本)

1. ILM 基本概念

ILM(Index Lifecycle Management)用來自動化索引的生命週期管理,確保資料依照時間或大小條件自動 rollover、壓縮、甚至刪除。常見的階段(phase)有:

  • hot:資料正在寫入與查詢,效能需求最高。
  • warm:資料仍需查詢,但寫入頻率下降,可以壓縮或移到較慢的節點。
  • cold:資料幾乎不查詢,僅保存,通常移到低成本儲存。
  • frozen:極少存取的資料,僅保留以供查詢,會依賴快取與搜尋快照。
  • delete:資料不再需要,直接刪除。

每個 Phase 是有順序的,可按照 Hot → Warm → Cold → Frozen → Delete 進行

2. 設定 ILM Policy

我們要建立一個 metricbeat 的 ILM 規則:

  • 每天 rollover(index 活超過 1 天就換新 index)
  • 30 天後自動刪除
PUT _ilm/policy/metricbeat
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_age": "1d", // 存活超過 1 天就 rollover
"max_primary_shard_size": "50gb" // 單 shard 達 50GB 就 rollover
}
}
},
"delete": {
"min_age": "30d", // index 存活超過 30 天就刪除
"actions": {
"delete": {}
}
}
}
}
}

3. 套用 ILM Policy 到 Index Template

建立好的 policy 需要跟 index template 綁定,這樣新建立的 index 才會自動套用。

以下範例:

  • index 名稱符合 metricbeat-8.17.7* 的,會使用 metricbeat policy
PUT _index_template/metricbeat-8.17.7
{
"index_patterns": ["metricbeat-8.17.7"],
"template": {
"settings": {
"index": {
"lifecycle": {
"name": "metricbeat" // 指定要套用的 ILM policy
},
"refresh_interval": "5s"
}
}
}
}

4. 檢查 ILM 狀態

查詢某個 index 的 ILM 狀態:

GET .ds-metricbeat-8.17.7-*/_ilm/explain

範例輸出:

{
"indices": {
".ds-metricbeat-8.17.7-2025.09.09-000012": {
"index": ".ds-metricbeat-8.17.7-2025.09.09-000012",
"managed": true,
"policy": "metricbeat",
"age": "18.25h",
"phase": "hot",
"action": "rollover",
"step": "check-rollover-ready"
}
}
}

解讀:

  • phase: hot → 現在在 Hot 階段
  • action: rollover → 正在檢查 rollover 條件
  • age: 18.25h → Index 已經活了 18 小時
  • step: check-rollover-ready → 等待超過 1d 或滿足大小條件才 rollover

5. 總結

  • ILM 幫助自動化索引管理,不用手動清理舊資料
  • index template 必須綁定 ILM policy,否則不會生效
  • 可用 _ilm/explain 查狀態,理解 index 現在在哪個階段


留言
avatar-img
留言分享你的想法!
avatar-img
小猴工程師
2會員
24內容數
小猴工程師的其他內容
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
看更多
你可能也想看
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
蝦皮分潤計畫讓我在分享旅遊文章時,也能透過推薦好物累積被動收入,貼補旅行基金。這篇文章,除了介紹計畫的操作亮點與心得,也分享我最常應用的案例:「旅行必備小物 TOP5」,包含行李鎖、免洗內衣褲、分裝瓶、折疊衣架與真空壓縮袋,幫助出國打包更輕鬆。想同時記錄旅行、分享好物又創造額外收入的你,千萬別錯過!
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
想增加被動收入?加入蝦皮分潤計畫是輕鬆上手的好方法!本文提供完整教學,包含申請流程、賺取分潤技巧,以及實際使用心得分享,助你輕鬆獲得額外收入。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
Thumbnail
這邊統整了所有過去發表過關於 QUERY 函式的教學分享,希望可以方便你按照順序閱讀和練習。 QUERY 可以用來查詢、篩選、聚集、排序資料,還可以做張簡易的資料透視表,是我在 Google 試算表上做數據分析、製作報告、製作儀表板時最常用的函式之一,既方便又好用,誠心推薦!
Thumbnail
這邊統整了所有過去發表過關於 QUERY 函式的教學分享,希望可以方便你按照順序閱讀和練習。 QUERY 可以用來查詢、篩選、聚集、排序資料,還可以做張簡易的資料透視表,是我在 Google 試算表上做數據分析、製作報告、製作儀表板時最常用的函式之一,既方便又好用,誠心推薦!
Thumbnail
1.設計與開發 1.1 精明管家系統之儀表板 portfolio 中各標的的持有數量歷史資料,累積的資料量已經逐漸變得太大,原本存在 firestore 同一個 collection 中。因此資料在運算操作績效時,預設期間是 YTD,故將資料拆成每年一個 collection,以加快報表產生速度
Thumbnail
1.設計與開發 1.1 精明管家系統之儀表板 portfolio 中各標的的持有數量歷史資料,累積的資料量已經逐漸變得太大,原本存在 firestore 同一個 collection 中。因此資料在運算操作績效時,預設期間是 YTD,故將資料拆成每年一個 collection,以加快報表產生速度
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
Thumbnail
大數據時代下,Log的多元應用至關重要。Log生成龐大,格式各異,特別金融業需合規。探討Log廣泛應用、資訊安全、IT管理和商業決策。建立Log管理系統核心深入法規,強化IT治理、權限控管。一站式Log管理平台,確保資訊安全合規。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News