ELFK-stack-monitor

更新於 2023/04/18閱讀時間約 2 分鐘

📔心得

因最近在研究elk-stack,藉此紀錄一下使用docker-compose建立起elk-stack的架構,在建立的過程中,比較多遇到的是記憶體使用率的配置不足,導致容器無法成功啟動,或是config檔權限的問題,因此在filebeat的部分會直接把config檔放進去並改成root權限。
之後希望能再增加logstash的pipeline功能,在實務上可多個服務做篩選,以及elasticsearch的資料安全性配置SSL和叢集架構,並導入ILM做log的空間管理。
監控的部分則是拿之前做的小專案直接套用並呈現,所以整體流程大致上差不多,多了個elasticsearch_exporter,可查看更多elasticsearch的整體狀況,例如index、shard的數量,資料大小,寫入速率等等。
🔗詳細專案位置 –> ELFK-stack-monitor

👨‍💻簡介

  • 🔰ELFK-stack:使用docker-compose建立起elk-stack的架構,主要先從alpine產生假資料並存到filebeat讀取的資料夾,接著filebeat將資料送往logstash,在實務上,會在logstash做filter的功能(未來會新增),接著送到elasticsearch存起來,並透過kibana的ui下去做搜尋所需的log資料。
  • 🔰Monitor:使用cadvisor監控所有容器以及elasticsearch_exporter監控elasticsearch的狀態,並把資料送到prometheus儲存起來,最後透過grafana的ui呈現。

🔰基礎介紹

  • ⚙️ELFK-stack : alpine+filebeat(送資料) -> logstash(filter) -> elasticsearch(db) -> kibana(ui)
  • ⚙️Monitor : cadvisor,elasticsearch_exporter(monitor) -> prometheus(db) -> grafana(ui)

🎯setup

  1. 使用docker-compose啟動服務
sudo docker-compose up -d
2. 進到localhost:5601按照以下圖示設定index pattern
3. 可進到localhost:3000查看grafana dashboard,帳密都為admin
container-dashboard
elasticsearch-dashboard
為什麼會看到廣告
avatar-img
17會員
83內容數
golang
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Alan的開發者天地 的其他內容
👨‍💻簡介 🔰ELFK-stack:使用docker-compose建立起tick-stack的架構,撈取的指標從config/telegraf.conf設定,並送往influxdb從起來,chronograf為ui介面,查看撈取的時間序列指標狀態,最後kapacitor則是處理告警的部分.
服務上雲後有時會需要固定一組IP主動對外發出連線,這時要考慮安全性與獨立性的問題,在爬文後發現了GCP推出的Cloud NAT,本篇文章簡單介紹一下這個工具的使用。 什麼是Cloud NAT GCP Cloud NAT是GCP上的一種服務,它提供了一個管理和部署Google Cloud上的NAT(N
CentOS 7 安裝及設定Jenkins 介紹 開源且免費的CI工具,由Java編寫的,提供了持續整合、構建以及部署的功能,是一個自動化的server 環境 CentOS 7 安裝步驟 1. 添加Jenkins Repository 2. 安裝Jenkins以及Java 3. 啟動並啟用Jenki
👨‍💻簡介 🔰ELFK-stack:使用docker-compose建立起tick-stack的架構,撈取的指標從config/telegraf.conf設定,並送往influxdb從起來,chronograf為ui介面,查看撈取的時間序列指標狀態,最後kapacitor則是處理告警的部分.
服務上雲後有時會需要固定一組IP主動對外發出連線,這時要考慮安全性與獨立性的問題,在爬文後發現了GCP推出的Cloud NAT,本篇文章簡單介紹一下這個工具的使用。 什麼是Cloud NAT GCP Cloud NAT是GCP上的一種服務,它提供了一個管理和部署Google Cloud上的NAT(N
CentOS 7 安裝及設定Jenkins 介紹 開源且免費的CI工具,由Java編寫的,提供了持續整合、構建以及部署的功能,是一個自動化的server 環境 CentOS 7 安裝步驟 1. 添加Jenkins Repository 2. 安裝Jenkins以及Java 3. 啟動並啟用Jenki
你可能也想看
Google News 追蹤
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
題目會給我們個陣列target,問我們從整數串流中1~n之中,如何透過stack 的 push和pop來模擬生成target指定的形式?
Thumbnail
題目會給我們一組定義好的Queue 佇列的介面,要求底層用兩個stack來實現。 也就是說,要求我們用兩個LIFO的stacks去實作出一個FIFO的Queue
Thumbnail
題目會給定一個字串s,裡面都是由() [] {}打散交錯而成。 問我們給定的輸入字串s 是不是合法括弧自串,也就是所有的右括弧都在左括弧後面,而且可以兩兩相消。
Thumbnail
兩年前剛出社會的時候也寫過面試心得文:2021 社會新鮮人軟體工程師求職心得分享,不知不覺兩年就過了,自己也不再是這個圈子裡最年輕的那批人,在新手的光環慢慢消失後,職涯的考驗似乎才真的開始...
Thumbnail
每個method都有一個自己的stack Instance Variable 會存在heap中 Local Variable 會存在stack中
Thumbnail
題目 Given two integer arrays pushed and popped each with distinct values, return true if this could have been the result of a sequence of push and pop
Thumbnail
[懷舊遊戲週報 2023/3-3] 懷舊遊戲週報收集每週與懷舊遊戲相關的新訊,預定每週五出刊。 本週主要的消息包含: ‧「MSX0 Stack」迷你電腦募資中 ‧《Little Big Adventure》系列 Remastered 版發表 ‧《MonoMax》附錄 MD 造型收納包...等其他資訊
Thumbnail
我常比喻,做股票就像打獵。 獵人與獵物的差別,在於獵人沉著冷靜,耐心等待出手時機。 獵物則驚慌失措,左沖右突,徒勞無功,最終依然被生吞活剝。 現在我們就拿實際例子說明。 昨天,我發了一檔潛力股,乙盛 技術面籌碼面基本面都不錯,既然看好,這禮拜就要抓買點。 這是我在09:07分的預判 就醬。很難嗎?
Thumbnail
Stocks House 可以幫助你一鍵打開多個免費無版權素材網站,你只需要在搜尋結果中篩選素材就可以了,它在一定程度上節省了部分時間,省去了da liang重複的工作。在本篇文章中,就為大家簡單的介紹一下 Stocks House 的下載安裝和使用教學。
Thumbnail
*合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
Thumbnail
題目會給我們個陣列target,問我們從整數串流中1~n之中,如何透過stack 的 push和pop來模擬生成target指定的形式?
Thumbnail
題目會給我們一組定義好的Queue 佇列的介面,要求底層用兩個stack來實現。 也就是說,要求我們用兩個LIFO的stacks去實作出一個FIFO的Queue
Thumbnail
題目會給定一個字串s,裡面都是由() [] {}打散交錯而成。 問我們給定的輸入字串s 是不是合法括弧自串,也就是所有的右括弧都在左括弧後面,而且可以兩兩相消。
Thumbnail
兩年前剛出社會的時候也寫過面試心得文:2021 社會新鮮人軟體工程師求職心得分享,不知不覺兩年就過了,自己也不再是這個圈子裡最年輕的那批人,在新手的光環慢慢消失後,職涯的考驗似乎才真的開始...
Thumbnail
每個method都有一個自己的stack Instance Variable 會存在heap中 Local Variable 會存在stack中
Thumbnail
題目 Given two integer arrays pushed and popped each with distinct values, return true if this could have been the result of a sequence of push and pop
Thumbnail
[懷舊遊戲週報 2023/3-3] 懷舊遊戲週報收集每週與懷舊遊戲相關的新訊,預定每週五出刊。 本週主要的消息包含: ‧「MSX0 Stack」迷你電腦募資中 ‧《Little Big Adventure》系列 Remastered 版發表 ‧《MonoMax》附錄 MD 造型收納包...等其他資訊
Thumbnail
我常比喻,做股票就像打獵。 獵人與獵物的差別,在於獵人沉著冷靜,耐心等待出手時機。 獵物則驚慌失措,左沖右突,徒勞無功,最終依然被生吞活剝。 現在我們就拿實際例子說明。 昨天,我發了一檔潛力股,乙盛 技術面籌碼面基本面都不錯,既然看好,這禮拜就要抓買點。 這是我在09:07分的預判 就醬。很難嗎?
Thumbnail
Stocks House 可以幫助你一鍵打開多個免費無版權素材網站,你只需要在搜尋結果中篩選素材就可以了,它在一定程度上節省了部分時間,省去了da liang重複的工作。在本篇文章中,就為大家簡單的介紹一下 Stocks House 的下載安裝和使用教學。