喬叔帶你上手Elastic Stack:Elasticsearch的最佳實踐與最佳化技巧

更新於 2023/04/20閱讀時間約 2 分鐘

📚讀後心得

當初在研究Elastic Stack,ILM這部份還不熟時,剛好搜尋到喬叔的鐵人賽文章,閱讀時彷彿挖到了寶,對於Index的管理講解得非常透徹,從Index如何被建立,使用Template以及Alias,再到導入ILM以及搭配Rollover以及Shrink等方式達到索引、搜尋、儲存等最佳化,一步一步穩定順利的完成,真的很感動。
之前使用Elastic Stack並沒有使用到ILM的配置,所以單個Index可能會超過官方建議的大小,並且使用的是以一天為單位,但實務上並非每個服務都是固定的大小,因此導入ILM對於整體的效能會有更好的幫助,並且使用三溫暖架構,讓最新的log都放在效能較好的機器上,較舊的log則隨著自定義的時間轉移到效能較差的機器上,讓搜尋能有更好的體驗。
而Rollover的使用,當資料量達到設定的條件、或是時間過太久,將Index進行rotate,產生新的Index來接收新的資料,讓原先的Index依照ILM的設定進入下一個warm phase階段。
Force Merge以及Shrink則是針對Segment Files數量以及Shards數量進行合併達到最佳化,Segment files的單檔愈大,總數愈少,空間使用率愈好,而已刪除的文件,會是透過「標示為刪除」的方式紀錄在新的Segment File,並且會等到merge時才真正的刪除,因此Force Merge將Shard中的Segment Files進行合併,可以釋放被標記要被刪除的文件在原先是read-only的Segment File所佔用的空間,藉此提升搜尋效率,;而Shrink則是減少Shards的數量,變少的規則是原先數值的因數,減少Shard的數量,增加Shard的大小,好處是可以提升搜尋的效率,儲存利用率也會較佳,壞處是如果Cluster rebalancing時成本較高,並且會限制資料被分散處理的能力,因此建議使用在較舊的資料上下去做優化處理。
書中還有提到很多最佳化的技巧,例如Shards建議的大小、memory cache的建議大小、Indexing大量資料時的處理方式等等,各種神奇的優化技巧可以讓你針對自己的使用情境下去做測試以及改善,讓你的Elastic Stack頭好壯壯,最後也感謝喬叔的經驗分享,讓我在研究Elastic Stack上少走了很多彎路,底下會放上鐵人賽的連結。
🔗【喬叔帶你上手Elastic Stack】總目錄 –> https://ithelp.ithome.com.tw/users/20129543/ironman/3148
即將進入廣告,捲動後可繼續閱讀
為什麼會看到廣告
avatar-img
17會員
83內容數
golang
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Alan的開發者天地 的其他內容
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 像管理公司一樣管理自己,像享受遊戲一樣享受生活 硬實力決定起點,軟實力決定能走多快多遠 Learning, Doing, Learning and Teaching Purpose of the
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 為了學習而寫 闡述是最有效的學習方法 簡要記述內容中提出的主要想法,而不是蒐集引文,並努力思考與其他不同內容的想法連結再一起 Purpose of the book 書的目的 提供大腦一個外部記憶
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容從歷史帶到實戰的基礎書籍 由淺入深循序漸進的步調講解每個章節的主題 極度白話文的一本書 How the Book Changed Me? 這本書為我帶來什麼改變更了解自己對的區塊鏈與加密貨幣的意義
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 天才並非真的存在,刻意練習才是真正通往專家的唯一途徑 練習的質與量勝過於單純的練習量 專注投入與信念至關重要 How the Book Changed Me? 這本書為我帶來什麼改變 讓練習在你
📚讀後心得 讀完心流這本書後,心流對我的生活有很大的改觀,心流,就是我們在做某件事情時,全神貫注進入渾然忘我的狀態,讓我想起有時候在想一段程式,如何做優化,並且一步一步漸漸達成,接著看一下時間,突然就快要下班了,原來我也體驗過心流,那種感覺真的是很美好,整個人很享受當下那種慢慢擊破目標,達成目
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 像管理公司一樣管理自己,像享受遊戲一樣享受生活 硬實力決定起點,軟實力決定能走多快多遠 Learning, Doing, Learning and Teaching Purpose of the
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 為了學習而寫 闡述是最有效的學習方法 簡要記述內容中提出的主要想法,而不是蒐集引文,並努力思考與其他不同內容的想法連結再一起 Purpose of the book 書的目的 提供大腦一個外部記憶
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容從歷史帶到實戰的基礎書籍 由淺入深循序漸進的步調講解每個章節的主題 極度白話文的一本書 How the Book Changed Me? 這本書為我帶來什麼改變更了解自己對的區塊鏈與加密貨幣的意義
👀QUICK REVIEW The book in 3 Sentences 用三段話說明這本書的內容 天才並非真的存在,刻意練習才是真正通往專家的唯一途徑 練習的質與量勝過於單純的練習量 專注投入與信念至關重要 How the Book Changed Me? 這本書為我帶來什麼改變 讓練習在你
📚讀後心得 讀完心流這本書後,心流對我的生活有很大的改觀,心流,就是我們在做某件事情時,全神貫注進入渾然忘我的狀態,讓我想起有時候在想一段程式,如何做優化,並且一步一步漸漸達成,接著看一下時間,突然就快要下班了,原來我也體驗過心流,那種感覺真的是很美好,整個人很享受當下那種慢慢擊破目標,達成目
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
​投資理財內容聲明 文內如有投資理財相關經驗、知識、資訊等內容,皆為作者個人分享行為。 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。 希望您能從這些分享內容汲取投資養份,養成獨
Thumbnail
嗨!歡迎光臨潛意心理諮商所 :) 2023年來到尾聲,這一年你過得怎麼樣呢? 歲末年初,似乎是個適合慶祝與重整自己的時刻,讓我們藉由精油香氛、乾燥花圈手作、心靈牌卡探索與療癒自己吧!
Thumbnail
PDCA四要點,分別為Plan(規劃)、Do(執行)、Check(檢查與修正)、Act(行動);與《 原則》一書提到成功5原則之中相似與雷同之處,供參考學習醒發。
Thumbnail
這是活動假牙的使用說明書,推薦給第一次戴活動假牙的患者,講述了第一次戴活動假牙的重要觀念、還有多活動假牙的題,包括活動假牙的壽命、活動假牙一天能配戴多久時間?睡覺能不能戴活動假牙?以及活動假牙需要需要用假牙黏著劑?關於活動假牙的諮詢,都可以來找我 —許明翰牙醫師喔!
Thumbnail
2-1以錢代蓍(野鶴全書析解) 〈以錢代蓍〉 以古錢三文,薰於爐上,致敬而祝。詞曰: 「天何言哉,叩之即應,神之靈矣,感而遂通。今有某人某事,罔知休咎,罔釋厥疑,惟神惟靈,望垂昭報,若可若否,尚明告之。」 祝畢擲錢,一背為單,畫▅▅。二背為拆,畫▅ ▅。三背為重,畫〇。純字為交,畫×。自下而
Thumbnail
「人道主義」是尼采蔑視、譏笑的觀念,因為它屬於奴隸道德的武器,而所謂的「人道」也不過是弱者的資本。然而,還是有另一種跟尼采的道德理論完全無干的人道觀念,不再涉及對死後懲罰的恐懼與救贖的期盼。一個人即使沒有這樣的「誘因」,還是可以規規矩矩做人。尼采事實上也明白什麼是有道德的行為,只不過在他的理論裡,它
Thumbnail
小貝好喜歡的月亮莎莎系列橋梁書,終於出第五~第八集了!!! 今年4月收到出版社邀約推廣1-4集,因為故事加入許多魔法、奇幻、歷險等元素深深吸引起小貝的興趣,我和小貝每天共讀1~2章,因為故事實在太有趣和張力,搭配充滿愛的親情與友情,讓小貝欲罷不能。立馬爬文,是否還有再出版後續集數…原來英文版已經出版
Thumbnail
是這樣的。 某天,我與曼曼,母女倆著裝完畢,我開著車,帶著她,到附近一間很美很美的書店消磨午後時光。 照慣例,她會點一杯飲料。她可以選一本她喜歡的新書,我會拿著她選的新書,到櫃檯去結帳,作為與媽媽一起逛書店的戰利品。 殊不知那天,她遲遲不肯回到座位喝她的杏仁茶,
Thumbnail
小貝媽咪這次要分享一套小女生會很喜歡的橋樑套書-月亮莎莎。 月亮莎莎是一小套的橋樑套書,一套有四本,每本故事題材都都與低幼孩子所關心及有興趣的事物,包含上學、露營、過生日、看表演。這四個主題故事,每本幾乎都與孩子的生活經驗息息相關。 介紹網頁:https://reurl.cc/AKebo3
Thumbnail
晶晶是一個很乖很乖的小女孩,但在她媽媽過世後,她變成一個很凶很凶的小女孩,就像山貓一樣凶。 有一天,晶晶的爸爸帶著小狗豆花去散步,卻把豆花搞丟了。生氣的晶晶踢了爸爸一腳,然後離家出走...
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
​投資理財內容聲明 文內如有投資理財相關經驗、知識、資訊等內容,皆為作者個人分享行為。 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。 希望您能從這些分享內容汲取投資養份,養成獨
Thumbnail
嗨!歡迎光臨潛意心理諮商所 :) 2023年來到尾聲,這一年你過得怎麼樣呢? 歲末年初,似乎是個適合慶祝與重整自己的時刻,讓我們藉由精油香氛、乾燥花圈手作、心靈牌卡探索與療癒自己吧!
Thumbnail
PDCA四要點,分別為Plan(規劃)、Do(執行)、Check(檢查與修正)、Act(行動);與《 原則》一書提到成功5原則之中相似與雷同之處,供參考學習醒發。
Thumbnail
這是活動假牙的使用說明書,推薦給第一次戴活動假牙的患者,講述了第一次戴活動假牙的重要觀念、還有多活動假牙的題,包括活動假牙的壽命、活動假牙一天能配戴多久時間?睡覺能不能戴活動假牙?以及活動假牙需要需要用假牙黏著劑?關於活動假牙的諮詢,都可以來找我 —許明翰牙醫師喔!
Thumbnail
2-1以錢代蓍(野鶴全書析解) 〈以錢代蓍〉 以古錢三文,薰於爐上,致敬而祝。詞曰: 「天何言哉,叩之即應,神之靈矣,感而遂通。今有某人某事,罔知休咎,罔釋厥疑,惟神惟靈,望垂昭報,若可若否,尚明告之。」 祝畢擲錢,一背為單,畫▅▅。二背為拆,畫▅ ▅。三背為重,畫〇。純字為交,畫×。自下而
Thumbnail
「人道主義」是尼采蔑視、譏笑的觀念,因為它屬於奴隸道德的武器,而所謂的「人道」也不過是弱者的資本。然而,還是有另一種跟尼采的道德理論完全無干的人道觀念,不再涉及對死後懲罰的恐懼與救贖的期盼。一個人即使沒有這樣的「誘因」,還是可以規規矩矩做人。尼采事實上也明白什麼是有道德的行為,只不過在他的理論裡,它
Thumbnail
小貝好喜歡的月亮莎莎系列橋梁書,終於出第五~第八集了!!! 今年4月收到出版社邀約推廣1-4集,因為故事加入許多魔法、奇幻、歷險等元素深深吸引起小貝的興趣,我和小貝每天共讀1~2章,因為故事實在太有趣和張力,搭配充滿愛的親情與友情,讓小貝欲罷不能。立馬爬文,是否還有再出版後續集數…原來英文版已經出版
Thumbnail
是這樣的。 某天,我與曼曼,母女倆著裝完畢,我開著車,帶著她,到附近一間很美很美的書店消磨午後時光。 照慣例,她會點一杯飲料。她可以選一本她喜歡的新書,我會拿著她選的新書,到櫃檯去結帳,作為與媽媽一起逛書店的戰利品。 殊不知那天,她遲遲不肯回到座位喝她的杏仁茶,
Thumbnail
小貝媽咪這次要分享一套小女生會很喜歡的橋樑套書-月亮莎莎。 月亮莎莎是一小套的橋樑套書,一套有四本,每本故事題材都都與低幼孩子所關心及有興趣的事物,包含上學、露營、過生日、看表演。這四個主題故事,每本幾乎都與孩子的生活經驗息息相關。 介紹網頁:https://reurl.cc/AKebo3
Thumbnail
晶晶是一個很乖很乖的小女孩,但在她媽媽過世後,她變成一個很凶很凶的小女孩,就像山貓一樣凶。 有一天,晶晶的爸爸帶著小狗豆花去散步,卻把豆花搞丟了。生氣的晶晶踢了爸爸一腳,然後離家出走...