[ELK]讓Kibana可以看到Nginx Log系列(0):ELK架構(Elastic)系統串接介紹

更新於 發佈於 閱讀時間約 1 分鐘

這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。

raw-image

ELK的命名分別是 Elastic Search 、Logstash、Kibana三個開源軟體的縮寫:Elastic Search:儲存資料、資料搜尋檢視的軟體,可以快速搜尋、有效地對資料進行儲存和索引。 Logstash:資料處理軟體,可以採集資料、多管道蒐集資料並送到指定位置。 Kibana:數據分析和可視化平台,可以快速分析大量的資料,並以視覺化圖表和儀表板的方式呈現。

Filebeat:開源的伺服器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據傳送指定的儲存庫中


架構圖如下:

raw-image

架設的流程如下:

STEP 1 :

先將nginx設定檔裡的access.log格式設定成logstash可以辨識的格式


STEP 2 :

設定filebeat設定檔,使其監聽access.log的變化,再傳送給logstash


STEP 3 :

修改logstash設定檔,使其可以接收filebeat傳來的訊息


STEP 4 :

使用docker-compose.yaml的ELK全部打包並且up 起來


STEP 5 :

安裝外掛Multi Elasticsearch Head,該外掛的功能是檢查Elasticsearch 是否有正常接收到訊息


STEP 6 :

設定Kibana的Dashboard



小結:

照著以上步驟設定,就可以在Dashboard內看到在nginx裡想要追蹤的足跡



每個步驟的文章會陸續上架,如果還沒看到連結,就代表我還在趕文章中。如果喜歡我寫的內容,希望能夠追蹤或分享,讓創作者們能夠有繼續創作內容的動力,感謝你們

留言
avatar-img
留言分享你的想法!
avatar-img
Daniel 的沙龍
4會員
12內容數
所有文章都是將自已工作上的經驗,透過篇章的方式,希望能夠將技術白話文,讓想入門的工程師能夠清楚的理解, 出版的頻率會是幾個月一篇,也有可能是一星期好幾篇,就看當下是否有空閒產出。某些特定文章會希望以付費方式呈現,如果有什麼問題,歡迎大家隨時留言
你可能也想看
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時,你可能會需要做的事前準備工作。
Thumbnail
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時,你可能會需要做的事前準備工作。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
在大數據的時代,提供高效能和準確的搜尋功能是Web應用的關鍵要求之一。Elasticsearch是一個分佈式、RESTful搜尋和分析引擎,能夠幫助我們快速地檢索、分析和視覺化大量數據。
Thumbnail
在大數據的時代,提供高效能和準確的搜尋功能是Web應用的關鍵要求之一。Elasticsearch是一個分佈式、RESTful搜尋和分析引擎,能夠幫助我們快速地檢索、分析和視覺化大量數據。
Thumbnail
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
Thumbnail
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
Thumbnail
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
Thumbnail
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News