[ELK]讓Kibana可以看到Nginx Log系列(0):ELK架構(Elastic)系統串接介紹

更新 發佈閱讀 1 分鐘

這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。

raw-image

ELK的命名分別是 Elastic Search 、Logstash、Kibana三個開源軟體的縮寫:Elastic Search:儲存資料、資料搜尋檢視的軟體,可以快速搜尋、有效地對資料進行儲存和索引。 Logstash:資料處理軟體,可以採集資料、多管道蒐集資料並送到指定位置。 Kibana:數據分析和可視化平台,可以快速分析大量的資料,並以視覺化圖表和儀表板的方式呈現。

Filebeat:開源的伺服器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據傳送指定的儲存庫中


架構圖如下:

raw-image

架設的流程如下:

STEP 1 :

先將nginx設定檔裡的access.log格式設定成logstash可以辨識的格式


STEP 2 :

設定filebeat設定檔,使其監聽access.log的變化,再傳送給logstash


STEP 3 :

修改logstash設定檔,使其可以接收filebeat傳來的訊息


STEP 4 :

使用docker-compose.yaml的ELK全部打包並且up 起來


STEP 5 :

安裝外掛Multi Elasticsearch Head,該外掛的功能是檢查Elasticsearch 是否有正常接收到訊息


STEP 6 :

設定Kibana的Dashboard



小結:

照著以上步驟設定,就可以在Dashboard內看到在nginx裡想要追蹤的足跡



每個步驟的文章會陸續上架,如果還沒看到連結,就代表我還在趕文章中。如果喜歡我寫的內容,希望能夠追蹤或分享,讓創作者們能夠有繼續創作內容的動力,感謝你們

留言
avatar-img
Daniel 的沙龍
4會員
12內容數
所有文章都是將自已工作上的經驗,透過篇章的方式,希望能夠將技術白話文,讓想入門的工程師能夠清楚的理解, 出版的頻率會是幾個月一篇,也有可能是一星期好幾篇,就看當下是否有空閒產出。某些特定文章會希望以付費方式呈現,如果有什麼問題,歡迎大家隨時留言
你可能也想看
Thumbnail
創作不只是個人戰,在 vocus ,也可以是一場集體冒險、組隊升級。最具代表性的創作者社群「vocus 野格團」,現在有了更強大的新夥伴加入!除了大家熟悉的「官方主題沙龍」,這次我們徵召了 8 位領域各異的「個人主題專家」,將再度嘗試創作的各種可能,和格友們激發出更多未知的火花。
Thumbnail
創作不只是個人戰,在 vocus ,也可以是一場集體冒險、組隊升級。最具代表性的創作者社群「vocus 野格團」,現在有了更強大的新夥伴加入!除了大家熟悉的「官方主題沙龍」,這次我們徵召了 8 位領域各異的「個人主題專家」,將再度嘗試創作的各種可能,和格友們激發出更多未知的火花。
Thumbnail
vocus 最具指標性的創作者社群──「野格團」, 2026 年春季,這支充滿專業、熱情的團隊再次擴編,迎來了 8 位實力堅強的「個人主題專家」新成員 💫💫💫 從投資理財、自我成長、閱讀書評到電影戲劇,他們各自帶著獨特的「創作超能力」準備在格友大廳與大家見面。
Thumbnail
vocus 最具指標性的創作者社群──「野格團」, 2026 年春季,這支充滿專業、熱情的團隊再次擴編,迎來了 8 位實力堅強的「個人主題專家」新成員 💫💫💫 從投資理財、自我成長、閱讀書評到電影戲劇,他們各自帶著獨特的「創作超能力」準備在格友大廳與大家見面。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時,你可能會需要做的事前準備工作。
Thumbnail
本文章將說明如果您想要從頭建置一組具有Loadbalancer HA架構的Kubernetes Cluster時,你可能會需要做的事前準備工作。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
在大數據的時代,提供高效能和準確的搜尋功能是Web應用的關鍵要求之一。Elasticsearch是一個分佈式、RESTful搜尋和分析引擎,能夠幫助我們快速地檢索、分析和視覺化大量數據。
Thumbnail
在大數據的時代,提供高效能和準確的搜尋功能是Web應用的關鍵要求之一。Elasticsearch是一個分佈式、RESTful搜尋和分析引擎,能夠幫助我們快速地檢索、分析和視覺化大量數據。
Thumbnail
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
Thumbnail
此篇我們會將Nginx log修改成為Logstash可以正確辨識的格式。
Thumbnail
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
Thumbnail
這系列要介紹如何使用ELK架構(Elastic)及Filebeat來監控nginx的access.log。我會針對每個步驟寫出一篇文章來介紹系統該如何設定,如果有錯誤的地方,也麻煩多多指教。
Thumbnail
📔心得 最近,我在探索 Ansible 自動化工具的過程中,決定運用它來建立 ELK Stack,這是我之前使用 Docker 建立的經驗的延伸。在這個過程中,我想分享一下我的學習心得。
Thumbnail
📔心得 最近,我在探索 Ansible 自動化工具的過程中,決定運用它來建立 ELK Stack,這是我之前使用 Docker 建立的經驗的延伸。在這個過程中,我想分享一下我的學習心得。
Thumbnail
📔心得 因最近在研究elk-stack,藉此紀錄一下使用docker-compose建立起elk-stack的架構,在建立的過程中,比較多遇到的是記憶體使用率的配置不足,導致容器無法成功啟動,或是config檔權限的問題,因此在filebeat的部分會直接把config檔放進去並改成root權限。
Thumbnail
📔心得 因最近在研究elk-stack,藉此紀錄一下使用docker-compose建立起elk-stack的架構,在建立的過程中,比較多遇到的是記憶體使用率的配置不足,導致容器無法成功啟動,或是config檔權限的問題,因此在filebeat的部分會直接把config檔放進去並改成root權限。
Thumbnail
為了要用kibana監控nginx產生的log,所以將log位置換到其它目錄下,但是卻沒有自動壓縮並且切日期了 其實有很多方法可以解決,例如排程、寫shell、改nginx.conf… 這裡還是介紹比較方便的方式 先執行下列command 就會開啟以下畫面,nginx原本就有在幫忙做以下的事情,但只
Thumbnail
為了要用kibana監控nginx產生的log,所以將log位置換到其它目錄下,但是卻沒有自動壓縮並且切日期了 其實有很多方法可以解決,例如排程、寫shell、改nginx.conf… 這裡還是介紹比較方便的方式 先執行下列command 就會開啟以下畫面,nginx原本就有在幫忙做以下的事情,但只
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News