Skip to main content
版本:v1.7

PersistentPodState

FEATURE STATE: Kruise v1.2.0

随着云原生的发展,越来越多的公司开始将有状态服务(如:Etcd、MQ)进行Kubernetes部署。K8S StatefulSet是管理有状态服务的工作负载,它在很多方面考虑了有状态服务的部署特征。 然而,StatefulSet只能保持有限的Pod状态,如:Pod Name有序且不变,PVC持久化,并不能满足其它Pod状态的保持需求,例如:固定IP调度,优先调度到之前部署的Node等。典型案例有:

  • 服务发现中间件服务对部署之后的Pod IP异常敏感,要求IP不能随意改变

  • 数据库服务将数据持久化到宿主机磁盘,所属Node改变将导致数据丢失

针对上述描述,Kruise通过自定义PersistentPodState CRD,能够保持Pod其它相关状态,例如:"固定IP调度"。 详细设计请参考:PPS Proposal

Usage

Annotations自动生成PersistentPodState

apiVersion: apps.kruise.io/v1alpha1
kind: StatefulSet
metadata:
annotations:
# 自动生成PersistentPodState对象
kruise.io/auto-generate-persistent-pod-state: "true"
# preferred node affinity,如下:Pod重建后将尽量部署到同Node
kruise.io/preferred-persistent-topology: kubernetes.io/hostname[,other node labels]
# required node affinity,如下:Pod重建后将强制部署到同Zone
kruise.io/required-persistent-topology: failure-domain.beta.kubernetes.io/zone[,other node labels]

通过 annotation 的方式能生成一些常见的PersistentPodState,来满足绝大多数的场景。而对于一些复杂场景而言,可以直接使用 PersistentPodState CRD 的方式定义。

定义PersistentPodState CRD

apiVersion: apps.kruise.io/v1alpha1
kind: PersistentPodState
metadata:
name: echoserver
namespace: echoserver
spec:
targetRef:
# 原生k8s 或 kruise StatefulSet
# 只支持 StatefulSet 类型
apiVersion: apps.kruise.io/v1beta1
kind: StatefulSet
name: echoserver
# required node affinity,如下:Pod重建后将强制部署到同Zone
requiredPersistentTopology:
nodeTopologyKeys:
- failure-domain.beta.kubernetes.io/zone[,other node labels]
# preferred node affinity,如下:Pod重建后将尽量部署到同Node
preferredPersistentTopology:
- preference:
nodeTopologyKeys:
- kubernetes.io/hostname[,other node labels]
# int, [1 - 100]
weight: 100

固定IP调度实践

"固定IP调度"应该是比较常见的有状态服务的K8S部署要求,它的含义不是"指定Pod IP部署",而是要求Pod在第一次部署之后,业务发布或机器驱逐等常规性运维操作都不会导致Pod IP发生变化。 达到上述效果,首先就需要K8S网络组件能够支持Pod IP保留以及尽量保持IP不变的能力,本文将flannel网络组件中的Host-local插件做了一些代码改造, 使之能够达到同Node下保持Pod IP不变的效果,相关原理就不在此陈述,代码请参考:host-local

"固定IP调度"好像有网络组件支持就好了,这跟PersistentPodState有什么关系呢?因为,网络组件实现"Pod IP保持不变"都有一定的限制, 例如:flannel只能支持同Node保持Pod IP不变。但是,K8S调度的最大特性就是"不确定性",所以"如何保证Pod重建后调度到同Node上"就是PersistentPodState解决的问题。

1. 部署有状态服务echoserver,通过annotations声明"固定IP调度":

apiVersion: apps.kruise.io/v1alpha1
kind: StatefulSet
metadata:
name: echoserver
labels:
app: echoserver
annotations:
kruise.io/auto-generate-persistent-pod-state: "true"
kruise.io/preferred-persistent-topology: kubernetes.io/hostname
spec:
serviceName: echoserver
replicas: 2
selector:
matchLabels:
app: echoserver
template:
metadata:
labels:
app: echoserver
annotations:
# 通知host-local插件,Pod重建保持IP不变,"10" 代表Pod删除到下次调度成功,中间最多保留10分钟
# 主要考虑到 删除、缩容等场景
io.kubernetes.cri/reserved-ip-duration: "10"
spec:
terminationGracePeriodSeconds: 5
containers:
- name: echoserver
image: cilium/echoserver:latest
imagePullPolicy: IfNotPresent

2. 根据上述配置,kruise自动生成PersistentPodState资源,且status中记录Pod第一次部署的节点状态:

apiVersion: apps.kruise.io/v1alpha1
kind: PersistentPodState
metadata:
name: configserver
namespace: configserver
spec:
targetRef:
apiVersion: apps.kruise.io/v1beta1
kind: StatefulSet
name: configserver
preferredPersistentTopology:
- preference:
nodeTopologyKeys:
- kubernetes.io/hostname
weight: 100
status:
podStates:
# status记录pod-0部署在worker2节点,pod-1部署在worker1节点
configserver-0:
nodeName: worker2
nodeTopologyLabels:
kubernetes.io/hostname: worker2
configserver-1:
nodeName: worker1
nodeTopologyLabels:
kubernetes.io/hostname: worker1

3. 业务发布或Node驱逐等导致Pod重建后,kruise将记录的Pod节点信息注入到Pod NodeAffinity中,进而实现Pod IP保持不变,如下:

apiVersion: v1
kind: Pod
metadata:
name: configserver-0
namespace: configserver
annotations:
io.kubernetes.cri/reserved-ip-duration: 10
spec:
# kruise注入
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- worker2
weight: 100
containers:
...

staticIP