[ELK]讓Kibana可以看到Nginx Log系列(2):設定Filebeat監聽

更新於 發佈於 閱讀時間約 3 分鐘

filebeat的作用就像是一隻看門狗(watch dog),當看門狗監測到任何風吹草動(log產生變化)時,就立即事件告訴主人(logstash)。

elk

elk

上一篇已經將log正常產生了,再來要有一個監聽者,來幫我們注意log有沒有產生變化。

首先要準備filebeatF的設定檔(filebeat.yml),並且將設定檔放到指定的位置,我自已是放到 /home/filebeat/filebeat.yml。


filebeat.yml的內容如下:

filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: true
paths:
- /logs/access/* #要改成監聽的log位置 filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false output.logstash: hosts: ["10.10.10.10:5000"] #要改成logstash的所在ip及port號 processors: - add_host_metadata: when.not.contains.tags: forwarded - add_cloud_metadata: ~ - add_docker_metadata: ~ - add_kubernetes_metadata: ~

filebeat.yml設定要修改兩個地方:

1、paths: #改成監聽的log位置

2、hosts: #要改成logstash的所在ip及port號

設定檔設定完成之後,為了方便,我是使用docker來啟動filebeat的服務,指令如下:指令要注意的地方就是log位置及filebeat.yml位置是否有寫正確,沒問題的話,就可以按enter了

docker run -d --name filebeat_7 \\
-v /home/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \\
-v /var/log/nginx/access:/logs/access \\
docker.elastic.co/beats/filebeat:7.17.6


等docker起來之後,我們用指令docker ps,就可以看到 filebeat的container正確被啟動

CONTAINER ID   IMAGE                                       COMMAND                  CREATED        STATUS        PORTS                                       NAMES
4cde932784a5 docker.elastic.co/beats/filebeat:7.17.6 "/usr/bin/tini -- /u…" 2 weeks ago Up 2 weeks filebeat


到目前為止,log設定好了、filebeat也設定好了,filebeat 監聽到log變化時,就要將log主動傳送給logstatsh,下一篇文章要介紹logstatsh的安裝及設定。


每個步驟的文章會陸續上架,如果還沒看到連結,就代表我還在趕文章中。如果喜歡我寫的內容,希望能夠幫我追蹤按讚分享,讓創作者們能夠有繼續創作內容的動力,感謝你們

avatar-img
4會員
12內容數
所有文章都是將自已工作上的經驗,透過篇章的方式,希望能夠將技術白話文,讓想入門的工程師能夠清楚的理解, 出版的頻率會是幾個月一篇,也有可能是一星期好幾篇,就看當下是否有空閒產出。某些特定文章會希望以付費方式呈現,如果有什麼問題,歡迎大家隨時留言
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Daniel 的沙龍 的其他內容
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
你可能也想看
Google News 追蹤
Thumbnail
在創作的路上真的很多人問我說 到底要怎麼做出符合自己期待 但又可以表現得很有美感的作品?🥹 這個問題真的應該是每個創作者都一直在學習的課題吧!
提問的內容越是清晰,強者、聰明人越能在短時間內做判斷、給出精準的建議,他們會對你產生「好印象」,認定你是「積極」的人,有機會、好人脈會不自覺地想引薦給你
Thumbnail
可能包含敏感內容
主人是否細心注意到或者巡視的指導員有無察覺便相當的重要。第一次音樂響起,軍犬對著掛在柱子上的擴音器使命的吠叫,惹得旁邊人的側目,看在主人眼裡竟是相當的高興。主人牽著軍犬一般解釋著用途。「你的體力沒這麼弱。累了,我會注意到……不過,你越來越像隻真狗……這樣是好還是不好呢……」
Thumbnail
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka, 其中我們使用環境變數來進行kafka的配置, 但除了環境變數之外, 其實還能夠用檔案配置的方式來對kafka進行配置, 如此一來我們就可以將配置檔與啟動檔完全分開,
居家犬是否能利用嗅覺聞出我們何時感受到壓力?
Thumbnail
學習如何使用Python連接MongoDB進行憑證監控,包括建立MongoDB docker-compose、連接MongoDB、讀取yaml並寫入MongoDB、傳入env以及domain寫入MongoDB、讀取MongoDB、修改MongoDB、刪除MongoDB。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
也许....他曾经来过..... 初一假期,我每晚都会熬夜到凌晨,因为这是唯一我不需要读书的时间,我在玩腻电脑后打算先洗澡在睡觉。 蹲马桶时,我隐约听到门外有反复转动门把手的声音还有敲门声,我忽视了它,直到我听到一首歌从门外传来..... :"Love me..... :“Love yo
Thumbnail
友人Chinyi給了我五個錄音檔,是她在台灣西海岸小鎮以磁帶錄音機採集來的。Branches(Bernoulli Gate)是我最近喜歡使用的小工具之一,它可以把聲音轉變成隨機的gates,將它們送進Ripples(Liquid Filter)這類Filter之後就可以創造出與音源截然不同卻又彼此關
Thumbnail
  和昨天一樣,早上八點我家門鈴作響,聽到門鈴聲,第一個想到的就是岳翔了。起身坐在床邊,我想著我昨晚考慮的對不對,也就是再給他一次機會讓他證明自己真的知錯了。   走出房門,我先幫狗狗的碗裡裝好飼料,狗狗似乎早就在等我起床給牠準備飼料,因為牠把碗叼到廚房去了。   打開門,我面無表情的看著他。
Thumbnail
在創作的路上真的很多人問我說 到底要怎麼做出符合自己期待 但又可以表現得很有美感的作品?🥹 這個問題真的應該是每個創作者都一直在學習的課題吧!
提問的內容越是清晰,強者、聰明人越能在短時間內做判斷、給出精準的建議,他們會對你產生「好印象」,認定你是「積極」的人,有機會、好人脈會不自覺地想引薦給你
Thumbnail
可能包含敏感內容
主人是否細心注意到或者巡視的指導員有無察覺便相當的重要。第一次音樂響起,軍犬對著掛在柱子上的擴音器使命的吠叫,惹得旁邊人的側目,看在主人眼裡竟是相當的高興。主人牽著軍犬一般解釋著用途。「你的體力沒這麼弱。累了,我會注意到……不過,你越來越像隻真狗……這樣是好還是不好呢……」
Thumbnail
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka, 其中我們使用環境變數來進行kafka的配置, 但除了環境變數之外, 其實還能夠用檔案配置的方式來對kafka進行配置, 如此一來我們就可以將配置檔與啟動檔完全分開,
居家犬是否能利用嗅覺聞出我們何時感受到壓力?
Thumbnail
學習如何使用Python連接MongoDB進行憑證監控,包括建立MongoDB docker-compose、連接MongoDB、讀取yaml並寫入MongoDB、傳入env以及domain寫入MongoDB、讀取MongoDB、修改MongoDB、刪除MongoDB。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
也许....他曾经来过..... 初一假期,我每晚都会熬夜到凌晨,因为这是唯一我不需要读书的时间,我在玩腻电脑后打算先洗澡在睡觉。 蹲马桶时,我隐约听到门外有反复转动门把手的声音还有敲门声,我忽视了它,直到我听到一首歌从门外传来..... :"Love me..... :“Love yo
Thumbnail
友人Chinyi給了我五個錄音檔,是她在台灣西海岸小鎮以磁帶錄音機採集來的。Branches(Bernoulli Gate)是我最近喜歡使用的小工具之一,它可以把聲音轉變成隨機的gates,將它們送進Ripples(Liquid Filter)這類Filter之後就可以創造出與音源截然不同卻又彼此關
Thumbnail
  和昨天一樣,早上八點我家門鈴作響,聽到門鈴聲,第一個想到的就是岳翔了。起身坐在床邊,我想著我昨晚考慮的對不對,也就是再給他一次機會讓他證明自己真的知錯了。   走出房門,我先幫狗狗的碗裡裝好飼料,狗狗似乎早就在等我起床給牠準備飼料,因為牠把碗叼到廚房去了。   打開門,我面無表情的看著他。