Elasticsearch Index 生命週期管理:自動化索引管理、提升效能與降低成本

更新 發佈閱讀 6 分鐘

Elasticsearch 的 index 會隨著時間變大,導致查詢變慢、儲存成本升高。ILM (Index Lifecycle Management) 可以自動化:

  • Index 的 rollover(建立新 index)
  • Index 的 刪除(清理舊資料)
  • Index 的 轉冷 / 凍結(降低儲存成本)

1. ILM 基本概念

ILM(Index Lifecycle Management)用來自動化索引的生命週期管理,確保資料依照時間或大小條件自動 rollover、壓縮、甚至刪除。常見的階段(phase)有:

  • hot:資料正在寫入與查詢,效能需求最高。
  • warm:資料仍需查詢,但寫入頻率下降,可以壓縮或移到較慢的節點。
  • cold:資料幾乎不查詢,僅保存,通常移到低成本儲存。
  • frozen:極少存取的資料,僅保留以供查詢,會依賴快取與搜尋快照。
  • delete:資料不再需要,直接刪除。

每個 Phase 是有順序的,可按照 Hot → Warm → Cold → Frozen → Delete 進行

2. 設定 ILM Policy

我們要建立一個 metricbeat 的 ILM 規則:

  • 每天 rollover(index 活超過 1 天就換新 index)
  • 30 天後自動刪除
PUT _ilm/policy/metricbeat
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_age": "1d", // 存活超過 1 天就 rollover
"max_primary_shard_size": "50gb" // 單 shard 達 50GB 就 rollover
}
}
},
"delete": {
"min_age": "30d", // index 存活超過 30 天就刪除
"actions": {
"delete": {}
}
}
}
}
}

3. 套用 ILM Policy 到 Index Template

建立好的 policy 需要跟 index template 綁定,這樣新建立的 index 才會自動套用。

以下範例:

  • index 名稱符合 metricbeat-8.17.7* 的,會使用 metricbeat policy
PUT _index_template/metricbeat-8.17.7
{
"index_patterns": ["metricbeat-8.17.7"],
"template": {
"settings": {
"index": {
"lifecycle": {
"name": "metricbeat" // 指定要套用的 ILM policy
},
"refresh_interval": "5s"
}
}
}
}

4. 檢查 ILM 狀態

查詢某個 index 的 ILM 狀態:

GET .ds-metricbeat-8.17.7-*/_ilm/explain

範例輸出:

{
"indices": {
".ds-metricbeat-8.17.7-2025.09.09-000012": {
"index": ".ds-metricbeat-8.17.7-2025.09.09-000012",
"managed": true,
"policy": "metricbeat",
"age": "18.25h",
"phase": "hot",
"action": "rollover",
"step": "check-rollover-ready"
}
}
}

解讀:

  • phase: hot → 現在在 Hot 階段
  • action: rollover → 正在檢查 rollover 條件
  • age: 18.25h → Index 已經活了 18 小時
  • step: check-rollover-ready → 等待超過 1d 或滿足大小條件才 rollover

5. 總結

  • ILM 幫助自動化索引管理,不用手動清理舊資料
  • index template 必須綁定 ILM policy,否則不會生效
  • 可用 _ilm/explain 查狀態,理解 index 現在在哪個階段


留言
avatar-img
留言分享你的想法!
avatar-img
小猴工程師
2會員
28內容數
以工程師視角拆解技術與生活的連結。專長 DevOps、AI 與區塊鏈,把艱深的技術轉化為易懂的故事。 文章主題橫跨技術筆記、實作教學與個人經驗分享。 寫作理念:讓每個想靠技術改變生活的人,都能在這裡找到啟發。
小猴工程師的其他內容
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
看更多
你可能也想看
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
還在煩惱平凡日常該如何增添一點小驚喜嗎?全家便利商店這次聯手超萌的馬來貘,推出黑白配色的馬來貘雪糕,不僅外觀吸睛,層次豐富的雙層口味更是讓人一口接一口!本文將帶你探索馬來貘雪糕的多種創意吃法,從簡單的豆漿燕麥碗、藍莓果昔,到大人系的奇亞籽布丁下午茶,讓可愛的馬來貘陪你度過每一餐,增添生活中的小確幸!
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News