這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
ELK的命名分別是 Elastic Search 、Logstash、Kibana三個開源軟體的縮寫:Elastic Search:儲存資料、資料搜尋檢視的軟體,可以快速搜尋、有效地對資料進行儲存和索引。 Logstash:資料處理軟體,可以採集資料、多管道蒐集資料並送到指定位置。 Kibana:數據分析和可視化平台,可以快速分析大量的資料,並以視覺化圖表和儀表板的方式呈現。
Filebeat:開源的伺服器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據傳送指定的儲存庫中
架構圖如下:
先將nginx設定檔裡的access.log格式設定成logstash可以辨識的格式
設定filebeat設定檔,使其監聽access.log的變化,再傳送給logstash
修改logstash設定檔,使其可以接收filebeat傳來的訊息
使用docker-compose.yaml的ELK全部打包並且up 起來
安裝外掛Multi Elasticsearch Head,該外掛的功能是檢查Elasticsearch 是否有正常接收到訊息
設定Kibana的Dashboard
小結:
照著以上步驟設定,就可以在Dashboard內看到在nginx裡想要追蹤的足跡
每個步驟的文章會陸續上架,如果還沒看到連結,就代表我還在趕文章中。如果喜歡我寫的內容,希望能夠追蹤或分享,讓創作者們能夠有繼續創作內容的動力,感謝你們