[ELK]讓Kibana可以看到Nginx Log系列(2):設定Filebeat監聽

更新於 發佈於 閱讀時間約 3 分鐘

filebeat的作用就像是一隻看門狗(watch dog),當看門狗監測到任何風吹草動(log產生變化)時,就立即事件告訴主人(logstash)。

elk

elk

上一篇已經將log正常產生了,再來要有一個監聽者,來幫我們注意log有沒有產生變化。

首先要準備filebeatF的設定檔(filebeat.yml),並且將設定檔放到指定的位置,我自已是放到 /home/filebeat/filebeat.yml。


filebeat.yml的內容如下:

filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: true
paths:
- /logs/access/* #要改成監聽的log位置 filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false output.logstash: hosts: ["10.10.10.10:5000"] #要改成logstash的所在ip及port號 processors: - add_host_metadata: when.not.contains.tags: forwarded - add_cloud_metadata: ~ - add_docker_metadata: ~ - add_kubernetes_metadata: ~

filebeat.yml設定要修改兩個地方:

1、paths: #改成監聽的log位置

2、hosts: #要改成logstash的所在ip及port號

設定檔設定完成之後,為了方便,我是使用docker來啟動filebeat的服務,指令如下:指令要注意的地方就是log位置及filebeat.yml位置是否有寫正確,沒問題的話,就可以按enter了

docker run -d --name filebeat_7 \\
-v /home/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \\
-v /var/log/nginx/access:/logs/access \\
docker.elastic.co/beats/filebeat:7.17.6


等docker起來之後,我們用指令docker ps,就可以看到 filebeat的container正確被啟動

CONTAINER ID   IMAGE                                       COMMAND                  CREATED        STATUS        PORTS                                       NAMES
4cde932784a5 docker.elastic.co/beats/filebeat:7.17.6 "/usr/bin/tini -- /u…" 2 weeks ago Up 2 weeks filebeat


到目前為止,log設定好了、filebeat也設定好了,filebeat 監聽到log變化時,就要將log主動傳送給logstatsh,下一篇文章要介紹logstatsh的安裝及設定。


每個步驟的文章會陸續上架,如果還沒看到連結,就代表我還在趕文章中。如果喜歡我寫的內容,希望能夠幫我追蹤按讚分享,讓創作者們能夠有繼續創作內容的動力,感謝你們

avatar-img
4會員
12內容數
所有文章都是將自已工作上的經驗,透過篇章的方式,希望能夠將技術白話文,讓想入門的工程師能夠清楚的理解, 出版的頻率會是幾個月一篇,也有可能是一星期好幾篇,就看當下是否有空閒產出。某些特定文章會希望以付費方式呈現,如果有什麼問題,歡迎大家隨時留言
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Daniel 的沙龍 的其他內容
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
你可能也想看
Google News 追蹤
Thumbnail
大家好,我是woody,是一名料理創作者,非常努力地在嘗試將複雜的料理簡單化,讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程,今天想跟大家聊聊,除了料理本身,料理創作背後的成本。
Thumbnail
哈囉~很久沒跟各位自我介紹一下了~ 大家好~我是爺恩 我是一名圖文插畫家,有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快!隨著時間過去,創作這件事好像變得更忙碌了,也很開心跟很多厲害的創作者以及廠商互相合作幫忙,還有最重要的是大家的支持與陪伴🥹。  
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
可能包含敏感內容
主人是否細心注意到或者巡視的指導員有無察覺便相當的重要。第一次音樂響起,軍犬對著掛在柱子上的擴音器使命的吠叫,惹得旁邊人的側目,看在主人眼裡竟是相當的高興。主人牽著軍犬一般解釋著用途。「你的體力沒這麼弱。累了,我會注意到……不過,你越來越像隻真狗……這樣是好還是不好呢……」
Thumbnail
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka, 其中我們使用環境變數來進行kafka的配置, 但除了環境變數之外, 其實還能夠用檔案配置的方式來對kafka進行配置, 如此一來我們就可以將配置檔與啟動檔完全分開,
居家犬是否能利用嗅覺聞出我們何時感受到壓力?
Thumbnail
學習如何使用Python連接MongoDB進行憑證監控,包括建立MongoDB docker-compose、連接MongoDB、讀取yaml並寫入MongoDB、傳入env以及domain寫入MongoDB、讀取MongoDB、修改MongoDB、刪除MongoDB。
Thumbnail
在 Vue 中,watch是用於進行數據監聽的,可以用來響應式的監聽資料的變化並執行相應的操作。本文介紹watch功能,並透過實際範例讓你更好的理解。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
也许....他曾经来过..... 初一假期,我每晚都会熬夜到凌晨,因为这是唯一我不需要读书的时间,我在玩腻电脑后打算先洗澡在睡觉。 蹲马桶时,我隐约听到门外有反复转动门把手的声音还有敲门声,我忽视了它,直到我听到一首歌从门外传来..... :"Love me..... :“Love yo
Thumbnail
友人Chinyi給了我五個錄音檔,是她在台灣西海岸小鎮以磁帶錄音機採集來的。Branches(Bernoulli Gate)是我最近喜歡使用的小工具之一,它可以把聲音轉變成隨機的gates,將它們送進Ripples(Liquid Filter)這類Filter之後就可以創造出與音源截然不同卻又彼此關
Thumbnail
  和昨天一樣,早上八點我家門鈴作響,聽到門鈴聲,第一個想到的就是岳翔了。起身坐在床邊,我想著我昨晚考慮的對不對,也就是再給他一次機會讓他證明自己真的知錯了。   走出房門,我先幫狗狗的碗裡裝好飼料,狗狗似乎早就在等我起床給牠準備飼料,因為牠把碗叼到廚房去了。   打開門,我面無表情的看著他。
Thumbnail
大家好,我是woody,是一名料理創作者,非常努力地在嘗試將複雜的料理簡單化,讓大家也可以體驗到料理的樂趣而我也非常享受料理的過程,今天想跟大家聊聊,除了料理本身,料理創作背後的成本。
Thumbnail
哈囉~很久沒跟各位自我介紹一下了~ 大家好~我是爺恩 我是一名圖文插畫家,有追蹤我一段時間的應該有發現爺恩這個品牌經營了好像.....快五年了(汗)時間過得真快!隨著時間過去,創作這件事好像變得更忙碌了,也很開心跟很多厲害的創作者以及廠商互相合作幫忙,還有最重要的是大家的支持與陪伴🥹。  
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
可能包含敏感內容
主人是否細心注意到或者巡視的指導員有無察覺便相當的重要。第一次音樂響起,軍犬對著掛在柱子上的擴音器使命的吠叫,惹得旁邊人的側目,看在主人眼裡竟是相當的高興。主人牽著軍犬一般解釋著用途。「你的體力沒這麼弱。累了,我會注意到……不過,你越來越像隻真狗……這樣是好還是不好呢……」
Thumbnail
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka, 其中我們使用環境變數來進行kafka的配置, 但除了環境變數之外, 其實還能夠用檔案配置的方式來對kafka進行配置, 如此一來我們就可以將配置檔與啟動檔完全分開,
居家犬是否能利用嗅覺聞出我們何時感受到壓力?
Thumbnail
學習如何使用Python連接MongoDB進行憑證監控,包括建立MongoDB docker-compose、連接MongoDB、讀取yaml並寫入MongoDB、傳入env以及domain寫入MongoDB、讀取MongoDB、修改MongoDB、刪除MongoDB。
Thumbnail
在 Vue 中,watch是用於進行數據監聽的,可以用來響應式的監聽資料的變化並執行相應的操作。本文介紹watch功能,並透過實際範例讓你更好的理解。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
也许....他曾经来过..... 初一假期,我每晚都会熬夜到凌晨,因为这是唯一我不需要读书的时间,我在玩腻电脑后打算先洗澡在睡觉。 蹲马桶时,我隐约听到门外有反复转动门把手的声音还有敲门声,我忽视了它,直到我听到一首歌从门外传来..... :"Love me..... :“Love yo
Thumbnail
友人Chinyi給了我五個錄音檔,是她在台灣西海岸小鎮以磁帶錄音機採集來的。Branches(Bernoulli Gate)是我最近喜歡使用的小工具之一,它可以把聲音轉變成隨機的gates,將它們送進Ripples(Liquid Filter)這類Filter之後就可以創造出與音源截然不同卻又彼此關
Thumbnail
  和昨天一樣,早上八點我家門鈴作響,聽到門鈴聲,第一個想到的就是岳翔了。起身坐在床邊,我想著我昨晚考慮的對不對,也就是再給他一次機會讓他證明自己真的知錯了。   走出房門,我先幫狗狗的碗裡裝好飼料,狗狗似乎早就在等我起床給牠準備飼料,因為牠把碗叼到廚房去了。   打開門,我面無表情的看著他。