優化效能的關鍵: 加速 ETCD

更新於 發佈於 閱讀時間約 7 分鐘

建立Kubernetes cluster時,ETCD 是必不可少的元件,事實上Kubernetes所有資料都會存進ETCD store中,如果要讓Kubernetes的運行效能更好,其中一種方法是在部署之前對ETCD的性能進行優化設計。

本篇整理了之前研究ETCD時的一些文章和相關知識,以及在規劃時需要注意的重點,希望能夠幫助大家在部署前有一些可以參考的原則。

raw-image

同樣地,本文將分成幾個部分進行說明:

  • K8S是如何連接ETCD
  • Kubernetes 物件在ETCD的儲存路徑
  • 堆疊型的ETCD
  • 外部的ETCD cluster
  • 性能調校

1. K8S是如何連接ETCD

  • etcd是Kubernetes的後端儲存
  • 針對每個Kubernetes物件都有對應負責的儲存操作
  • 初始化kubeadm-config 中指定ETCD servers的集群,例如:
ETCD對於Kube-apiserver是一個Client的角色,需要它們的certificates並指定這些節點的位置

ETCD對於Kube-apiserver是一個Client的角色,需要它們的certificates並指定這些節點的位置

2. Kubernetes 物件在ETCD的儲存路徑

#-------------------------------------------------
# S2-1. 以以下方式找出路徑
#-------------------------------------------------​
[root]# ETCDCTL_API=3 etcdctl \
--cert /etc/kubernetes/pki/etcd/peer.crt \
--key /etc/kubernetes/pki/etcd/peer.key \
--cacert /etc/kubernetes/pki/etcd/ca.crt \
--endpoints https://10.107.88.15:2379

[root]# etcdctl get / --prefix --keys-only
* --keys-only: 只列出key不列出內容
raw-image
#----------------------------------------------
# S2-2. 將路徑的內容dump出來
#----------------------------------------------
​[root]# etcdctl get /registry/namespaces/default -w json | jq
raw-image
#--------------------------------------------
# S2-3. key還可以再解析出來
#--------------------------------------------
[root]# echo "key" | base64 --decode
/registry/namespaces/default

以上是apiserver透過/api/v1/registry/namespaces/default去get namespace時,就等於在etcd內get /registry/namespaces/default,整體邏輯是一樣的,將整段組成一支key之後儲存在ETEC內。

3. 堆疊型的ETCD

將ETCD的三個節點與三個Master結合,好處是建立容易,副本的管理容易,由於是在同一個節點,所以可以直接讀取,不用再透過網路傳輸,速度更快。缺點是當Master有一個節點故障就代表etcd cluster也會有失去一個成員的風險。

這種方式的ETCD會以Pod的型式存在,由Kubelet自行管理,方式如下:

--> kubelet讀取config,config內定義了static pod路徑,透過kubelet掃描這個路徑來看有沒有Pod,如果有就直接掛載

Note: ETCD cluster重視disk io

raw-image

4. 外部的ETCD cluster

將ETCD與Master間的關係解開,所以當一台Master出現問題後影響ETCD member的較少。缺點是需要的主機數量更多,至少要再加3台主機成為ETCD cluster。

raw-image

5. 性能調校

ETCD的回應速度會直接影響Kubernetes cluster的操作,進一步也會影響Cluster的穩定性。

平時就需要監控ETCD成員的效能表現,對於效能有問題的成員進行修復或移除,如果發現整體效能低下時,可以用以下原則進行調校。

一般影響的因素有以下二個:

  • 網路延遲(RTT)
  • Disk IO (資料實際儲存需要的時間)

以下是針對性能調校幾個考量因素:

※ 思考點-成員:

愈多愈好?

愈多愈好?

  • 成員是1個? 3個? 5個?
  • 保證高可用性是否最重要?
  • 成員如果變多會提升整體同時讀取的能力?
  • apiserver的設定連接到本地的etcd 成員?
  • 有需要動態擴展嗎?

※ 結論:

(1) 因為ETCD為投票方式決定Leader,如果偶數會出現票數相等的情況導致出現重新投票,Leader的產生就會很久,所以選擇奇數

成員數選擇:

  • 1個:沒有高可用容錯,但效能最佳,但資料無法保證安全
  • 3個:具備最基本的容錯,效能在中間
  • 5個:效能最差,但節點更多,成本更高

(2) ETCD cluster邏輯與一般不同,成員愈多時,資料寫入所需要確認的成員就愈多,效能就會更低。

(3) 所有寫入都是由Leader成員執行

(4) apiserver的設定會指定所有的ETCD 成員,但只有目前連接的etcd成員異常,apiserver才會換目標

※ 思考點 — apiserver 與ETCD之間的溝通:

有效率的溝通

有效率的溝通

要怎麼確保apiserver與ETCD之間的溝通是有效率的,可以做以下考量:

  • 將apiserver與etcd部署在同一個節點
  • 因為apiserver與etcd之間的溝通是基於gRPC,有以下特點:
gRPC:不管從同一個Client有多少請求,都會重復使用同一個connection到server,
同一個group也是共有一個gRPC connection,故pod , node都是透過同一個gRPC連到etcd
  • 問題:大規模的cluster可能link會很滿,例如:1000個pod,一次list所傳回的資料量可能會超過100M
# kubectl get pod - all-namespace | wc -l
# kubectl get pod -o yaml - all-namespace > pods
# ls -al pods

結論:

  • put 時盡量避免大量的數值。避免頻繁建立key-value(kv),例如k8s節點心跳回報機制(kube-node-lease)合理利用 apiserver 中的Cache,避免大量請求打到 etcd上,如集群異常回復後大量的Pod同步。

6.結論:

尤於篇幅過長,之後將繼續於另一篇文章進行說明。

自從深入了解ETCD之後,發現這個元件本身的知識量就很多,但因為ETCD在Kubernetes的角色的關係,個人認為如果事先規劃有做好,大致上在部署之後不會面對到太多會需要直接操作的機會(最好也不要 :) )。

當了解這些考慮因素後,進行部署前的溝通會議將可以更加清晰且具有方向。


Reference:

留言
avatar-img
留言分享你的想法!
avatar-img
超健忘閒人的沙龍
15會員
40內容數
記錄IT社畜的自我學習筆記,如同專題名稱,主要是怕自已忘記自已做過什麼、學到什麼。索性就分享我自已在學習Kubernetes這條路上的各種測試、學習心得。
2024/05/08
本文將介紹如何在Gitlab上部署和註冊runner,以進行CI/CD測試。透過Docker-compose方式進行部署,同時注意安裝時的一些注意事項。建議學習者至少掌握一種以上的Pipeline工具,以滿足實務上的需求。
Thumbnail
2024/05/08
本文將介紹如何在Gitlab上部署和註冊runner,以進行CI/CD測試。透過Docker-compose方式進行部署,同時注意安裝時的一些注意事項。建議學習者至少掌握一種以上的Pipeline工具,以滿足實務上的需求。
Thumbnail
2024/04/19
上一篇說明了如何在Kubernetes上建立基本的MySQL standalone,並加入phpmyadmin(PMA)來進行圖形化的管理,本篇就再進階一步,實作MySQL replication架構(master-salve),並進行驗證是否成功。
Thumbnail
2024/04/19
上一篇說明了如何在Kubernetes上建立基本的MySQL standalone,並加入phpmyadmin(PMA)來進行圖形化的管理,本篇就再進階一步,實作MySQL replication架構(master-salve),並進行驗證是否成功。
Thumbnail
2024/04/09
本文記錄如何在Kubernetes環境下,部署Standalone架構的MySQL Database,並透過phpmyadmin進行管理。這篇文章將分成MySQL部署在K8S內的優勢、部署MySQL DB standalone、部署PhpMyAdmin (PMA)、結論四個部分進行說明與實作的流程。
Thumbnail
2024/04/09
本文記錄如何在Kubernetes環境下,部署Standalone架構的MySQL Database,並透過phpmyadmin進行管理。這篇文章將分成MySQL部署在K8S內的優勢、部署MySQL DB standalone、部署PhpMyAdmin (PMA)、結論四個部分進行說明與實作的流程。
Thumbnail
看更多
你可能也想看
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
孩子寫功課時瞇眼?小心近視!這款喜光全光譜TIONE⁺光健康智慧檯燈,獲眼科院長推薦,網路好評不斷!全光譜LED、180cm大照明範圍、5段亮度及色溫調整、350度萬向旋轉,讓孩子學習更舒適、保護眼睛!
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
創作者營運專員/經理(Operations Specialist/Manager)將負責對平台成長及收入至關重要的 Partnership 夥伴創作者開發及營運。你將發揮對知識與內容變現、影響力變現的精準判斷力,找到你心中的潛力新星或有聲量的中大型創作者加入 vocus。
Thumbnail
這篇文章將提供一個完整的Kubernetes安裝指南,包括控制平面節點和工作節點的安裝過程。文章中還會提及一些參考資料和解決常見錯誤的方法。
Thumbnail
這篇文章將提供一個完整的Kubernetes安裝指南,包括控制平面節點和工作節點的安裝過程。文章中還會提及一些參考資料和解決常見錯誤的方法。
Thumbnail
安裝環境需求 64位元Linux,核心版本為3.1以上,且能滿足Ducker安裝環境。 機器之間要能夠互通。 外部存取權限。 硬體資源:兩核心CPU、8G記憶體、硬碟30GB以上。 安裝Kubeadm與Ducker Kubeadm是Kubernetes的一鍵部署工具。 增加Kube
Thumbnail
安裝環境需求 64位元Linux,核心版本為3.1以上,且能滿足Ducker安裝環境。 機器之間要能夠互通。 外部存取權限。 硬體資源:兩核心CPU、8G記憶體、硬碟30GB以上。 安裝Kubeadm與Ducker Kubeadm是Kubernetes的一鍵部署工具。 增加Kube
Thumbnail
本文介紹了在K8S Cluster出現問題時,透過ETCD的備份來還原Cluster的方法。包括ETCD的資料類型、備份、還原以及相關建議,並提出了自動進行ETCD備份作業和備份存放位置的重要性。
Thumbnail
本文介紹了在K8S Cluster出現問題時,透過ETCD的備份來還原Cluster的方法。包括ETCD的資料類型、備份、還原以及相關建議,並提出了自動進行ETCD備份作業和備份存放位置的重要性。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
這篇文章教你如何搭建Kubernetes Cluster,包括節點安裝前設定、軟體套件安裝、Control-Plane部署和加入運算節點等步驟。在建置之後,作者會分享一些基礎服務的安裝。希望這篇文章對你有所幫助。
Thumbnail
從官網可以知道,我們在建立一組高可用的Kubernetes Cluster時,針對ETCD有二種做法,一種是與Master節點共用,另一種則是將ETCD再獨立出來三個節點成為一組Cluster來進行運作。 本文將說明如何建置出外部的ETCD Cluster,並以Static Pod的方式運行與管理
Thumbnail
從官網可以知道,我們在建立一組高可用的Kubernetes Cluster時,針對ETCD有二種做法,一種是與Master節點共用,另一種則是將ETCD再獨立出來三個節點成為一組Cluster來進行運作。 本文將說明如何建置出外部的ETCD Cluster,並以Static Pod的方式運行與管理
Thumbnail
接續上一篇文章,本文再深入一點關於ETCD基本操作以及在其他文章中關於ETCD節點資料不一致情況的除錯內容分享
Thumbnail
接續上一篇文章,本文再深入一點關於ETCD基本操作以及在其他文章中關於ETCD節點資料不一致情況的除錯內容分享
Thumbnail
建立Kubernetes cluster時,ETCD 是必不可少的元件,事實上Kubernetes所有資料都會存進ETCD store中,如果要讓Kubernetes的運行效能更好,其中一種方法是在部署之前對ETCD的性能進行優化設計。
Thumbnail
建立Kubernetes cluster時,ETCD 是必不可少的元件,事實上Kubernetes所有資料都會存進ETCD store中,如果要讓Kubernetes的運行效能更好,其中一種方法是在部署之前對ETCD的性能進行優化設計。
Thumbnail
知道如何備份與還原ETCD才能確保當環境出現重大問題時,可以將你的環境回復回來,對於系統管理者來說,等於是救人一命。(認真來說其實也是救了你的主管一命)。
Thumbnail
知道如何備份與還原ETCD才能確保當環境出現重大問題時,可以將你的環境回復回來,對於系統管理者來說,等於是救人一命。(認真來說其實也是救了你的主管一命)。
Thumbnail
今天簡單演示如何在Kubernetes cluster利用local-path provider建構出storage class來提供應用程式進行資料的存放。
Thumbnail
今天簡單演示如何在Kubernetes cluster利用local-path provider建構出storage class來提供應用程式進行資料的存放。
Thumbnail
因為想要使用FQDN的方式連接到Kubernetes cluster內部的應用服務,加上早已使用Linux Bind為測試環境的主要DNS
Thumbnail
因為想要使用FQDN的方式連接到Kubernetes cluster內部的應用服務,加上早已使用Linux Bind為測試環境的主要DNS
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News