ELFK-stack-monitor

閱讀時間約 2 分鐘

📔心得

因最近在研究elk-stack,藉此紀錄一下使用docker-compose建立起elk-stack的架構,在建立的過程中,比較多遇到的是記憶體使用率的配置不足,導致容器無法成功啟動,或是config檔權限的問題,因此在filebeat的部分會直接把config檔放進去並改成root權限。
之後希望能再增加logstash的pipeline功能,在實務上可多個服務做篩選,以及elasticsearch的資料安全性配置SSL和叢集架構,並導入ILM做log的空間管理。
監控的部分則是拿之前做的小專案直接套用並呈現,所以整體流程大致上差不多,多了個elasticsearch_exporter,可查看更多elasticsearch的整體狀況,例如index、shard的數量,資料大小,寫入速率等等。
🔗詳細專案位置 –> ELFK-stack-monitor

👨‍💻簡介

  • 🔰ELFK-stack:使用docker-compose建立起elk-stack的架構,主要先從alpine產生假資料並存到filebeat讀取的資料夾,接著filebeat將資料送往logstash,在實務上,會在logstash做filter的功能(未來會新增),接著送到elasticsearch存起來,並透過kibana的ui下去做搜尋所需的log資料。
  • 🔰Monitor:使用cadvisor監控所有容器以及elasticsearch_exporter監控elasticsearch的狀態,並把資料送到prometheus儲存起來,最後透過grafana的ui呈現。

🔰基礎介紹

  • ⚙️ELFK-stack : alpine+filebeat(送資料) -> logstash(filter) -> elasticsearch(db) -> kibana(ui)
  • ⚙️Monitor : cadvisor,elasticsearch_exporter(monitor) -> prometheus(db) -> grafana(ui)

🎯setup

  1. 使用docker-compose啟動服務
sudo docker-compose up -d
2. 進到localhost:5601按照以下圖示設定index pattern
3. 可進到localhost:3000查看grafana dashboard,帳密都為admin
container-dashboard
elasticsearch-dashboard
為什麼會看到廣告
17會員
79內容數
golang
留言0
查看全部
發表第一個留言支持創作者!
wang alan的沙龍 的其他內容
GCP Cloud NAT:Overview
閱讀時間約 2 分鐘
TICK-Stack-tutorial
閱讀時間約 4 分鐘
你可能也想看
用stack 模擬陣列生成 Build Array w/ Stack Operations_Leetcode 1441題目會給我們個陣列target,問我們從整數串流中1~n之中,如何透過stack 的 push和pop來模擬生成target指定的形式?
Thumbnail
avatar
小松鼠
2023-11-03
應用題 用Stack實作Queue_Leetcode #232 Implement Queue using Stacks題目會給我們一組定義好的Queue 佇列的介面,要求底層用兩個stack來實現。 也就是說,要求我們用兩個LIFO的stacks去實作出一個FIFO的Queue
Thumbnail
avatar
小松鼠
2023-10-11
Stack堆疊應用題 合法括號配對字串 Leetcode #20_Valid Parentheses題目會給定一個字串s,裡面都是由() [] {}打散交錯而成。 問我們給定的輸入字串s 是不是合法括弧自串,也就是所有的右括弧都在左括弧後面,而且可以兩兩相消。
Thumbnail
avatar
小松鼠
2023-10-05
2023 Web Full-Stack & FE Engineer 求職心得兩年前剛出社會的時候也寫過面試心得文:2021 社會新鮮人軟體工程師求職心得分享,不知不覺兩年就過了,自己也不再是這個圈子裡最年輕的那批人,在新手的光環慢慢消失後,職涯的考驗似乎才真的開始...
Thumbnail
avatar
莫力全 Kyle Mo
2023-09-28
Stack 與 Heap in JVM memory每個method都有一個自己的stack Instance Variable 會存在heap中 Local Variable 會存在stack中
Thumbnail
avatar
Genos's Coding Diary
2023-09-19
【LeetCode】946. Validate Stack Sequences 題目 Given two integer arrays pushed and popped each with distinct values, return true if this could have been the result of a sequence of push and pop
Thumbnail
avatar
2023-04-15
[懷舊遊戲週報 2023/3-3]「MSX0 Stack」迷你電腦募資中等[懷舊遊戲週報 2023/3-3] 懷舊遊戲週報收集每週與懷舊遊戲相關的新訊,預定每週五出刊。 本週主要的消息包含: ‧「MSX0 Stack」迷你電腦募資中 ‧《Little Big Adventure》系列 Remastered 版發表 ‧《MonoMax》附錄 MD 造型收納包...等其他資訊
Thumbnail
avatar
低分少年
2023-03-17
Stock Hunter我常比喻,做股票就像打獵。 獵人與獵物的差別,在於獵人沉著冷靜,耐心等待出手時機。 獵物則驚慌失措,左沖右突,徒勞無功,最終依然被生吞活剝。 現在我們就拿實際例子說明。 昨天,我發了一檔潛力股,乙盛 技術面籌碼面基本面都不錯,既然看好,這禮拜就要抓買點。 這是我在09:07分的預判 就醬。很難嗎?
Thumbnail
avatar
方小小
2022-07-25
Stocks House,免費無版權影音素材一鍵搜尋!Stocks House 可以幫助你一鍵打開多個免費無版權素材網站,你只需要在搜尋結果中篩選素材就可以了,它在一定程度上節省了部分時間,省去了da liang重複的工作。在本篇文章中,就為大家簡單的介紹一下 Stocks House 的下載安裝和使用教學。
Thumbnail
avatar
Chris
2022-05-06