K8S: 探索StatefulSet實務操作

閱讀時間約 11 分鐘

本篇將補完上一篇所提到關於StatefulSet的實作部份。

話不多說,直接先把重點說明如下:

  1. Statefulset與deployment最大的不同:Deployment內的Pod replicas 使用同一個storage,而statefulset每個replica都會各自接一個storage volume
  2. 容器化最困難的點:設計有狀態分佈元件的部署結構
raw-image
  1. Statefulset建立Pod副本會升序處理(1->2->3), 更新與刪除會降序處理(3->2->1),可透過修改podManagementPolicy的方式實現
  2. 使用headless不會隨機輪詢背後的pod,而是固定在某個pod,所以不能取代一般的Service
  3. 一般很少會直接使用StatefulSet來部署有狀態服務,新的做法建議使用Operator較好。

1. StatefulSet測試

#-----------------------------------------------
# 1-1. 準備2PV: nfs-pv
#-----------------------------------------------
# vim nfs-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv001
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /var/nfsshare
server: 10.107.88.9
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv002
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /var/nfsshare
server: 10.107.88.9
#-----------------------------------------------
# 1-2. 準備2PV: nfs-sc
#-----------------------------------------------
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
provisioner: kubernetes.io/no-provisioner
parameters:
type: nfs
server: 10.107.88.9
path: /var/nfsshare
# kubectl create -f nfs-sc.yaml -n example
# kubectl create -f nfs-pv.yaml -n example
# kubectl get pv -n example
raw-image

接下來要建立好service,Statefulset才能套用,Pod會按照以下格式取得DNS/hostname:pod-specific-string.serviceName.default.svc.cluster.local
其中pod-specific-string由StatefulSet controller管理

#-----------------------------------------------
# 1-3. Claim一個StatefulSet資源清單
#-----------------------------------------------
apiVersion: v1
kind: Service
metadata:
name: nginx-headless
namespace: example
labels:
app: nginx
spec:
ports:
- name: http
port: 80
clusterIP: None
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web
namespace: example
spec:
serviceName: "nginx-headless" #指定一個headless service
replicas: 2
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx # 要與上面selector一致
spec:
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80 #這個Port不會有任何訪問的功能
name: web
volumeMounts:
- name: www
mountPath: /usr/share/nginx/html
volumeClaimTemplates: # pvc template, 會自動建立一個pvc
- metadata:
name: www
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: nfs-storage
resources:
requests:
storage: 1Gi
# kubectl create -f nginx-sts.yaml -n example
# kubectl get pod -o wide -n example
raw-image

上述做法,以圖來看如下:

raw-image
#-----------------------------------------------
# 1-4. Statefulset建立Pod副本會升序處理(1->2->3), 更新與刪除會降序處理(3->2->1)
#-----------------------------------------------
S1. 依序建立web-0 -> web-1 POD
S2. 確認hostname
# kubectl exec web-0 -n example -- hostname
# kubectl exec web-1 -n example -- hostname
#-----------------------------------------------
# 1-5. 確認由誰控制(statefulset)
#-----------------------------------------------
# kubectl describe pod web-0 -n example
raw-image
#-----------------------------------------------
# 1-6. 訪問Pod內容
#-----------------------------------------------
# kubectl get pod -o wide -n example
web-0 1/1 Running 0 3h39m 10.244.84.209 worker01.dc1.k8s.poc <none> <none>
web-1 1/1 Running 0 3h39m 10.244.84.210 worker01.dc1.k8s.poc <none> <none>

# curl 10.244.84.209
-> 出現403 error

※ 排除403問題
Cause: volumeClaimTemplates是以掛載點(mountpoint)的方式,不是volume
=> 實際上是將PV的volume掛進容器中,所以會蓋掉容器內的資料。
=> 此處直接到PV內部建立index.html確保容器的正常訪問(或進到容器裡面建立)
# for i in 0 1; do kubectl exec web-$i -n example -- sh -c 'echo hello $(hostname) > /usr/share/nginx/html/index.html'; done
# kubectl get po -o wide

2. Headless測試

目的:在容器中用DNS方式訪問headless service

#-----------------------------------------------
# 2-1.建立busybox容器
#-----------------------------------------------
# kubectl run -it --image busybox:1.28.3 test -n example \
--restart=Never --rm /bin/sh
/ #

#-----------------------------------------------
# 2-2. 使用nslookup解析headless service
#-----------------------------------------------
/ # nslookup nginx-headless
/ # ping nginx-headless

※ 使用headless不會隨機輪詢背後的pod,而是固定在某個pod,所以不能取代一般的Service

raw-image
raw-image
#-----------------------------------------------
# 2-3. 測試刪除Pod之後,看Pod生成狀態
#-----------------------------------------------
# kubectl get pod -o wide -n example --show-labels
# kubectl delete pod -l app=nginx
# kubectl run -it --image busybox:1.28.3 test -n example --restart=Never --rm /bin/sh
/ # nslookup web-0.nginx
/ # nslookup web-1.nginx

※ 確認由StatefulSet controller建立2個pod,ID沒變,IP變化但URL沒變, 一樣Bound之前的PVC,資料一樣存在
raw-image
raw-image


15會員
40內容數
記錄IT社畜的自我學習筆記,如同專題名稱,主要是怕自已忘記自已做過什麼、學到什麼。索性就分享我自已在學習Kubernetes這條路上的各種測試、學習心得。
留言0
查看全部
發表第一個留言支持創作者!
超健忘閒人的沙龍 的其他內容
本篇將說明關於StatefulSet的基本概念
所謂daemonset,簡單來說就是在每個節點上部署一個Pod副本。當今天有新的主機節點加入時,就自動再上面部署一個Pod副本。移除節點時,也會自動將Pod副本移除。
本文將說明關於Local volume 與hostPath二種類型的差異與一些注意事項。
因為想要使用FQDN的方式連接到Kubernetes cluster內部的應用服務,加上早已使用Linux Bind為測試環境的主要DNS
今天分別針對3個基本中的基本資源物件類型來說明
在建置完Kubernetes cluster之後,通常我會做的前幾件事之一就是建立一個StorageClass給應用服務使用,而NFS我認為是相對容易實現的做法。
本篇將說明關於StatefulSet的基本概念
所謂daemonset,簡單來說就是在每個節點上部署一個Pod副本。當今天有新的主機節點加入時,就自動再上面部署一個Pod副本。移除節點時,也會自動將Pod副本移除。
本文將說明關於Local volume 與hostPath二種類型的差異與一些注意事項。
因為想要使用FQDN的方式連接到Kubernetes cluster內部的應用服務,加上早已使用Linux Bind為測試環境的主要DNS
今天分別針對3個基本中的基本資源物件類型來說明
在建置完Kubernetes cluster之後,通常我會做的前幾件事之一就是建立一個StorageClass給應用服務使用,而NFS我認為是相對容易實現的做法。
你可能也想看
Google News 追蹤
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
傳遞、分享知識真的很有趣,多年專業證照、大學、勞動署、咖啡教室講師仍然意猶未竟,搬到網路上繼續開講。 長年累積的大量咖啡評鑑、烘焙、沖煮知識,請聽我娓娓道來。
Thumbnail
上一篇說明了如何在Kubernetes上建立基本的MySQL standalone,並加入phpmyadmin(PMA)來進行圖形化的管理,本篇就再進階一步,實作MySQL replication架構(master-salve),並進行驗證是否成功。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
今天來記錄版本升級的做法(z版號),Kubernetes的版本更新的很快,所以版本升級是每個管理者所必須要會的必備技能,建議版本升級之前要先去確認升級路徑,不是每個版本號都能一次升級到你需要的版本。
Thumbnail
👨‍💻簡介 今天早上在下kubectl get pods時,突然跳出了以下錯誤 Unable to connect to the server: x509: certificate has expired or is not yet valid
Thumbnail
Intro👨‍💻 在gcp環境下使用ansible playbook 建立k8s cluster,目前base image為centos 7,安裝方式類似elk stack,一樣先等master安裝完後產生token,接著安裝slave。 使用的CRI為containerd,CNI為calico
Thumbnail
👨‍💻簡介 有時候修改掛載的config檔,無法即時更新,需要重啟pod才會生效,為了解決這個問題,k8s-reloader因此而誕生,透過觀察掛載的configmap或是secret的變化自動對掛載的物件做滾動更新。 以下為在minikube環境下,透過掛載nginx-config檔並搭配re
Thumbnail
之前都介紹docker監控container,這次來點不一樣的,直接裝在k8s裡面去監控pod的一些指標。 基本的指標像是cpu, mem, pod數量, node數量等等,都能透過kube-state-metrics完成,而如果想要監控一些流量的指標,像是tcp連線數,tw數等,則是需要另外在服務
Thumbnail
這篇分享希望能讓你了解 什麼Container、與Kubernetes和Docker是什麼關係,以及Kubernetes中又包含了哪些 組件?
Thumbnail
接下來第二部分我們持續討論美國總統大選如何佈局, 以及選前一週到年底的操作策略建議 分析兩位候選人政策利多/ 利空的板塊和股票
Thumbnail
🤔為什麼團長的能力是死亡筆記本? 🤔為什麼像是死亡筆記本呢? 🤨作者巧思-讓妮翁死亡合理的幾個伏筆
Thumbnail
傳遞、分享知識真的很有趣,多年專業證照、大學、勞動署、咖啡教室講師仍然意猶未竟,搬到網路上繼續開講。 長年累積的大量咖啡評鑑、烘焙、沖煮知識,請聽我娓娓道來。
Thumbnail
上一篇說明了如何在Kubernetes上建立基本的MySQL standalone,並加入phpmyadmin(PMA)來進行圖形化的管理,本篇就再進階一步,實作MySQL replication架構(master-salve),並進行驗證是否成功。
Thumbnail
本文將探討Kubernetes內部DNS解析的相關流程,並介紹如何利用DNS來找到服務。透過瞭解DNS的工作原理,可以讓應用服務的問題處理更有效率,並提供基本測試與結論。
Thumbnail
今天來分享在建置完K8S後的基本工作之一 : 監控。 只要是任何會”運作”的物件(Object),不管平台、服務、軟體、硬體,為了要提供最高的可用性,就會需要透過大大小小的監控元件來幫助我們了解所有的狀態,以便在問題發生時能做到最快速的反應。
Thumbnail
今天來記錄版本升級的做法(z版號),Kubernetes的版本更新的很快,所以版本升級是每個管理者所必須要會的必備技能,建議版本升級之前要先去確認升級路徑,不是每個版本號都能一次升級到你需要的版本。
Thumbnail
👨‍💻簡介 今天早上在下kubectl get pods時,突然跳出了以下錯誤 Unable to connect to the server: x509: certificate has expired or is not yet valid
Thumbnail
Intro👨‍💻 在gcp環境下使用ansible playbook 建立k8s cluster,目前base image為centos 7,安裝方式類似elk stack,一樣先等master安裝完後產生token,接著安裝slave。 使用的CRI為containerd,CNI為calico
Thumbnail
👨‍💻簡介 有時候修改掛載的config檔,無法即時更新,需要重啟pod才會生效,為了解決這個問題,k8s-reloader因此而誕生,透過觀察掛載的configmap或是secret的變化自動對掛載的物件做滾動更新。 以下為在minikube環境下,透過掛載nginx-config檔並搭配re
Thumbnail
之前都介紹docker監控container,這次來點不一樣的,直接裝在k8s裡面去監控pod的一些指標。 基本的指標像是cpu, mem, pod數量, node數量等等,都能透過kube-state-metrics完成,而如果想要監控一些流量的指標,像是tcp連線數,tw數等,則是需要另外在服務
Thumbnail
這篇分享希望能讓你了解 什麼Container、與Kubernetes和Docker是什麼關係,以及Kubernetes中又包含了哪些 組件?