ELFK-stack-monitor
📔心得
因最近在研究elk-stack，藉此紀錄一下使用docker-compose建立起elk-stack的架構，在建立的過程中，比較多遇到的是記憶體使用率的配置不足，導致容器無法成功啟動，或是config檔權限的問題，因此在filebeat的部分會直接把config檔放進去並改成root權限。
之後希望能再增加logstash的pipeline功能，在實務上可多個服務做篩選，以及elasticsearch的資料安全性配置SSL和叢集架構，並導入ILM做log的空間管理。
監控的部分則是拿之前做的小專案直接套用並呈現，所以整體流程大致上差不多，多了個elasticsearch_exporter，可查看更多elasticsearch的整體狀況，例如index、shard的數量，資料大小，寫入速率等等。
🔗詳細專案位置 –> ELFK-stack-monitor
👨💻簡介
- 🔰ELFK-stack：使用docker-compose建立起elk-stack的架構，主要先從alpine產生假資料並存到filebeat讀取的資料夾，接著filebeat將資料送往logstash，在實務上，會在logstash做filter的功能(未來會新增)，接著送到elasticsearch存起來，並透過kibana的ui下去做搜尋所需的log資料。
- 🔰Monitor：使用cadvisor監控所有容器以及elasticsearch_exporter監控elasticsearch的狀態，並把資料送到prometheus儲存起來，最後透過grafana的ui呈現。
🔰基礎介紹
- ⚙️ELFK-stack : alpine+filebeat(送資料) -> logstash(filter) -> elasticsearch(db) -> kibana(ui)
- ⚙️Monitor : cadvisor,elasticsearch_exporter(monitor) -> prometheus(db) -> grafana(ui)
🎯setup
- 使用docker-compose啟動服務
sudo docker-compose up -d
2. 進到localhost:5601按照以下圖示設定index pattern
3. 可進到localhost:3000查看grafana dashboard，帳密都為admin
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka， 其中我們使用環境變數來進行kafka的配置， 但除了環境變數之外， 其實還能夠用檔案配置的方式來對kafka進行配置， 如此一來我們就可以將配置檔與啟動檔完全分開，
咦！ 怎麼啟動個docker compose up -d就出現了可疑的訊息：
+] Running 2/2d orphan containers ([xxxx]) for this project.
If you removed or renamed this service in your
為什麼要用Docker安裝？
Docker是一個容器化平台, 就類似於我們早期虛擬機的VMWare、Virtual Box…等, 虛擬機平台一般, 只是面向的是伺服端, 供企業快速、簡單、輕量的佈署開發完成的程式軟體, 並將相關的環境依賴皆封裝成一包所謂的映像檔(image), 透過這樣的方式減少
Docker-Compose負責對container做快速編排。設定檔預設名稱為docker-compose.yml，在檔案中，可以透過COMPOSE_FILE或-f對設定進行定義。
想要將專案透過Docker-Compose部署，需要創建docker-compose.yml和Dockerfile
Docker是由GO語言實現，是一個在GitHub上開發原始碼的專案。它的目標是實現羽量級的作業系統虛擬化。讓使用者操作Docker，就像是操作一個羽量級的虛擬機器。
優勢
快速發表和部署
高效的部署和擴充
資源使用率高
管理簡單
核心
Image映像檔
Docker
Docker是一種容器化技術，可以將應用程式及相關依賴項目打包到一個容器中。這篇文章介紹了安裝Docker的步驟，以及幾個比較偏向使用者的應用程式。
前言
上次我們初步體驗 Docker 快速佈署能力，今天我們要來講解 Dockerfile、Docker Image 與 Docker Container 這些常見的名詞，我們來了解在我們佈署的時候做哪些事情
Docker 佈署流程
首先看到如下圖上半部，在我們一個完整的佈署流程，我們會先將我
這篇文章教你如何搭建Kubernetes Cluster，包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後，作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時，你可能會需要做的事前準備工作。
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka， 其中我們使用環境變數來進行kafka的配置， 但除了環境變數之外， 其實還能夠用檔案配置的方式來對kafka進行配置， 如此一來我們就可以將配置檔與啟動檔完全分開，
咦！ 怎麼啟動個docker compose up -d就出現了可疑的訊息：
+] Running 2/2d orphan containers ([xxxx]) for this project.
If you removed or renamed this service in your
為什麼要用Docker安裝？
Docker是一個容器化平台, 就類似於我們早期虛擬機的VMWare、Virtual Box…等, 虛擬機平台一般, 只是面向的是伺服端, 供企業快速、簡單、輕量的佈署開發完成的程式軟體, 並將相關的環境依賴皆封裝成一包所謂的映像檔(image), 透過這樣的方式減少
Docker-Compose負責對container做快速編排。設定檔預設名稱為docker-compose.yml，在檔案中，可以透過COMPOSE_FILE或-f對設定進行定義。
想要將專案透過Docker-Compose部署，需要創建docker-compose.yml和Dockerfile
Docker是由GO語言實現，是一個在GitHub上開發原始碼的專案。它的目標是實現羽量級的作業系統虛擬化。讓使用者操作Docker，就像是操作一個羽量級的虛擬機器。
優勢
快速發表和部署
高效的部署和擴充
資源使用率高
管理簡單
核心
Image映像檔
Docker
Docker是一種容器化技術，可以將應用程式及相關依賴項目打包到一個容器中。這篇文章介紹了安裝Docker的步驟，以及幾個比較偏向使用者的應用程式。
前言
上次我們初步體驗 Docker 快速佈署能力，今天我們要來講解 Dockerfile、Docker Image 與 Docker Container 這些常見的名詞，我們來了解在我們佈署的時候做哪些事情
Docker 佈署流程
首先看到如下圖上半部，在我們一個完整的佈署流程，我們會先將我
這篇文章教你如何搭建Kubernetes Cluster，包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後，作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時，你可能會需要做的事前準備工作。
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這