2023-10-05|閱讀時間 ‧ 約 9 分鐘

Kubernetes的資源是怎麼計算的?

本文針對Kubernetes內最基本的資源(cpu, ram, disk)的計算單位與一些實務操作,分享給自已與大家做參考。

一切都要計算

一切都要計算

分成以下幾點進行說明:

  1. Kubernetes支援的計算支援類型
  2. 硬體上是怎麼分配的
  3. 如果Quota爆掉了
  4. 範例:怎麼限制磁碟使用空間
  5. 常見的資源使用問題

1. Kubernetes支援的計算支援類型

最基本的計算資源與計算單位如下:

  • CPU : 以core為單位
  • Memory : 以byte為單位

註:設定Pod Spec時可以指定每個container需要多少計算資源,K8S就會在硬體資源OK的情境下,自動分配資源

並且可以透過以下方式進行限制:

spec.containers[].resources.limits.cpu
spec.containers[].resources.limits.memory
spec.containers[].resources.requests.cpu
spec.containers[].resources.requests.memory

註:這裡要注意resource limit只能套用在container不能直接套用到

接下來是最重要的計算方式,CPU比較特別:

  • 虛擬機:vCore/vCPU
  • 實體機:開HT後的1個thread

單位:m (ex: 1000m = 1 vCore;0.5 = 500m;0.3 = 300m 依此類推)

Memory相對簡單,如下說明:

最低從byte開始,可以使用E, P, T, G, M, K or Ei, Pi, Ti, Gi, Mi, Ki

2. 硬體上是怎麼分配的

(1) 帶有resource request的Pod如何被指派資源?

每個worker node都有其cpu & memory上限,故每個Pod是怎麼被指派到特定的worker上運行的原則如下:

  • 被分配的pod內所有container所要求的資源 < worker node剩餘資源
  • 就算container要求資源很低,只要worker無法滿足,schedule不會將Pod分配過去運行(確保尖峰仍可運行)

(2) 帶有resource limit的pod如何運作

最底層的container不是由k8s負責的,資源限制 & 使用只能靠各個container runtime (ex. cri-o, docker....)

  • spec.containers[].resources.requests.cpu的值在除1024之後,轉成core value再傳給docker,這就是docker run --cpu-shares的效果
  • spec.containers[].resources.limits.memory類似在docker run --memory的效果
  • spec.containers[].resources.limits.cpu的值會在除100之後,出來的結果就是container在每100ms cpu time中使用多少cpu time

(註:k8s 預設使用的quota period為100ms,最低實際可到1ms)

3. 如果Quota爆掉了

若resource使用額度爆掉或是已經資源不足的情況,k8S會照以下準則處理:

  • container使用超過設定的memory limit,可能就會被終止;如果可以重啟,K8S就會將其重啟
  • container使用超過設定的memory request,當運行的worker node碰到記憶體不足就會整個pod一起趕走
  • container使用超過cpu使用額度,不一定會被終止(但因為有cgroup限制,實際不會超過多少)
  • container要求比目前worker還多的資源,出現無法被分派到任一個worker

4. 範例:怎麼限制磁碟使用空間

(1.8版本後就可以針對ephemeral storage限制空間使用)

一般ephemeral storage會使用以下二個路徑:

  • kubelet root directory: /var/lib/kubelet
  • log directory : /var/log

只要在Pod內定義emptyDir就會用到以上路徑的空間。

apiVersion: v1
kind: Pod
metadata:
name: frontend
spec:
# 整個Pod一共要求4G ephemeral storage
# 空間限制8G
containers:
- name: db
image: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: "password"
resources:
# DB要求 2G
requests:
ephemeral-storage: "2Gi"
# db限制 4G
limits:
ephemeral-storage: "4Gi"
- nmae: wp
image: wordpress
resources:
# wp要求 2G
requests:
ephemeral-storage: "2Gi"
# wp限制 4g
limits:
ephemeral-storage: "4Gi"apiVersion: v1
kind: Pod
metadata:
name: frontend
spec:
# 整個Pod一共要求4G ephemeral storage
# 空間限制8G
containers:
- name: db
image: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: "password"
resources:
# DB要求 2G
requests:
ephemeral-storage: "2Gi"
# db限制 4G
limits:
ephemeral-storage: "4Gi"
- nmae: wp
image: wordpress
resources:
# wp要求 2G
requests:
ephemeral-storage: "2Gi"
# wp限制 4g
limits:
ephemeral-storage: "4Gi"

5. 常見的資源使用問題

Q1: 帶有ephemeral-storage request的Pod要怎麼分派?

A: 每個node上的ephemeral storage可透過kubectl describe node/xxxx查詢,並找到Allocatable > ephemeral-storage即可知道有多少空間可用

Q2:帶有ephemeral-storage limit的Pod是怎麼運作的?

A: 因為帶有limit,故k8s會持續監控pod中的container磁碟使用狀況是否有超過設定限制,有的話就會被趕走

Q3:Pod一直無法成功分派出去

A: 透過kubectl describe pod/XXX,發現有PodExceedsFreeCPU or PodExceedsFreeMemory等關鍵字。
可以透過以下方式處理:可以透過以下方式處理:
* 新增資源較充足的worker node
* 砍掉不需要的pod
* 確認pod中的container所要求的資源沒有超過目前worker node所能提供的

Q4:Pod不斷被重啟,也不是App本身造成,就是資源不足所造成

A: kubectl get pod -o json => 確認是否有terminated:map & reason關鍵字

結論:

規劃整座Cluster要多少資源或是能運行多少應用服務時,了解Kubernetes的資源計算方式是必須具備的,不管是在地端私有或是使用公有雲都非常重要,尤其是公有雲,所有的資源都直接與$正相關。

當然Kubernetes的資源不會只有這樣而已,本篇是我從最基本的開始說起,畢竟大家轉進容器世界之後還是會有CPU/RAM/Disk嘛~ (笑)

最後還是感謝大家收看,您的任何回饋都會是我繼續分享的動力!



分享至
成為作者繼續創作的動力吧!
© 2024 vocus All rights reserved.