Kubernetes高可用集群部署实战：kubeadm结合腾讯云CLB生产方案

时间：2026-08-15 13:49

Kubernetes高可用集群部署实战：基于kubeadm 腾讯云CLB的生产级方案引言在云原生时代，Kubernetes已成为容器编排的事实标准。对于生产环境，集群的高可用性（HA）是刚性需求——控制平面必须容忍节点故障，确保API服务连续性。本文不空谈理论，而是基于腾讯云CVM与CLB（云负载均

Kubernetes高可用集群部署实战：基于kubeadm 腾讯云CLB的生产级方案

引言

在云原生时代，Kubernetes已成为容器编排的事实标准。对于生产环境，集群的高可用性（HA）是刚性需求——控制平面必须容忍节点故障，确保API服务连续性。本文不空谈理论，而是基于腾讯云CVM与CLB（云负载均衡器），使用kubeadm工具从零部署一套符合生产级标准的Kubernetes高可用集群。全文包含完整命令、配置文件、验证步骤及故障注入测试，技术深度直面一线运维场景。

Kubernetes高可用集群部署实战：基于kubeadm + 腾讯云CLB的生产级方案

1. 架构设计

1.1 拓扑选择：堆叠etcd vs 外部etcd

堆叠etcd：etcd与控制平面组件（apiserver、controller-manager、scheduler）共宿主机，部署简单，但控制平面节点故障时etcd成员同时丢失，需至少3台控制平面节点。外部etcd：etcd独立集群，控制平面节点可水平扩展，资源隔离更佳，但运维复杂度高。

本文选用堆叠etcd 3个控制平面节点，兼顾可靠性与部署效率。控制平面通过腾讯云CLB实现四层（TCP）负载均衡，对外暴露一个VIP:6443，所有kubelet和kubectl均通过该VIP访问API Server。

1.2 节点规划

角色	主机名	内网IP（示例）	配置要求
控制平面节点1（etcd）	k8s-master-1	10.0.1.10	4C 8G SSD
控制平面节点2（etcd）	k8s-master-2	10.0.1.11	4C 8G SSD
控制平面节点3（etcd）	k8s-master-3	10.0.1.12	4C 8G SSD
工作节点1	k8s-worker-1	10.0.1.20	2C 4G
工作节点2	k8s-worker-2	10.0.1.21	2C 4G
负载均衡器（CLB）	-	10.0.1.100（VIP）	腾讯云四层CLB

2. 环境准备（所有节点统一执行）

2.1 系统基础配置

代码语言：ja vascript

复制

# 关闭swap（kubelet强制要求）swapoff -a && sed -i '/swap/d' /etc/fstab# 关闭防火墙（或放行必要端口：6443,2379-2380,10250,10259,10257等）systemctl stop firewalld && systemctl disable firewalld# 设置内核参数cat <

`2.2 安装容器运行时（Containerd）`

Kubernetes 1.26 官方更推荐使用CRI兼容的运行时环境，这里采用containerd，在性能表现和稳定性方面通常都要优于Docker，也更适合作为集群运行的基础组件。

代码语言：ja vascript复制
# 安装containerdyum install -y yum-utilsyum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum install -y containerd.io# 生成默认配置并修改cgroup驱动为systemd（与kubelet一致）mkdir -p /etc/containerdcontainerd config default > /etc/containerd/config.tomlsed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml# 配置pause镜像加速（腾讯云内网镜像）sed -i 's/sandbox_image = .*/sandbox_image = "ccr.ccs.tencentyun.com/k8s/pause:3.9"/' /etc/containerd/config.toml# 启动containerdsystemctl daemon-reload && systemctl enable containerd --now
2.3 安装kubeadm、kubelet、kubectl
使用腾讯云提供的Kubernetes YUM源（或阿里源），版本锁定为 v1.28.8（当前稳定版）。
代码语言：ja vascript复制
cat <
3. 配置腾讯云CLB作为API Server负载均衡
3.1 创建四层CLB
登录腾讯云控制台，购买内网四层CLB（带宽按需，推荐500Mbps以上），监听器配置如下：
监听协议端口：TCP 6443后端协议端口：TCP 6443健康检查：TCP，间隔5秒，超时2秒，健康阈值3，不健康阈值3后端服务器：绑定3台控制平面节点的内网IP（10.0.1.10, .11, .12），权重均等。记录CLB的VIP（例如 10.0.1.100）和监听器ID（后续用于API Server的--advertise-address？实际我们使用--control-plane-endpoint）。
3.2 所有节点配置CLB域名解析（可选）
在/etc/hosts中添加：
代码语言：ja vascript复制
10.0.1.100 apiserver.cluster.local
后续kubeadm初始化使用apiserver.cluster.local:6443作为控制平面端点。
4. 部署第一个控制平面节点（初始化集群）
4.1 生成初始化配置文件
使用kubeadm config print init-defaults生成基础模板，按需修改。关键参数：
代码语言：ja vascript复制
# init-config.yamlapiVersion: kubeadm.k8s.io/v1beta3kind: InitConfigurationlocalAPIEndpoint:advertiseAddress: 10.0.1.10 # 本机内网IPbindPort: 6443nodeRegistration:name: k8s-master-1criSocket: unix:///var/run/containerd/containerd.socktaints:- effect: NoSchedulekey: node-role.kubernetes.io/control-plane---apiVersion: kubeadm.k8s.io/v1beta3kind: ClusterConfigurationkubernetesVersion: v1.28.8controlPlaneEndpoint: "apiserver.cluster.local:6443"# CLB VIP域名apiServer:extraArgs:bind-address: 0.0.0.0# 启用etcd健康检查等certSANs:- apiserver.cluster.local- 10.0.1.100 # CLB VIP- 127.0.0.1- 10.0.1.10- 10.0.1.11- 10.0.1.12controllerManager:extraArgs:bind-address: 0.0.0.0scheduler:extraArgs:bind-address: 0.0.0.0etcd:local:dataDir: /var/lib/etcdextraArgs:listen-client-urls: https://0.0.0.0:2379advertise-client-urls: https://10.0.1.10:2379listen-peer-urls: https://0.0.0.0:2380initial-advertise-peer-urls: https://10.0.1.10:2380initial-cluster: k8s-master-1=https://10.0.1.10:2380,k8s-master-2=https://10.0.1.11:2380,k8s-master-3=https://10.0.1.12:2380initial-cluster-state: newinitial-cluster-token: etcd-cluster-1---apiVersion: kubelet.config.k8s.io/v1beta1kind: KubeletConfigurationcgroupDriver: systemdcontrolPlaneEndpoint指向CLB域名，所有kubelet和组件通过该地址访问API Server，实现负载均衡。certSANs必须包含CLB VIP和域名，否则API Server证书不认可该地址，导致连接拒绝。etcd的initial-cluster需列出全部3个控制平面节点，后续加入时自动发现。
4.2 拉取镜像（内网加速）
代码语言：ja vascript复制
# 查看所需镜像kubeadm config images list --config=init-config.yaml# 使用腾讯云镜像仓库拉取（替换registry）kubeadm config images pull --config=init-config.yaml --image-repository=ccr.ccs.tencentyun.com/k8s
4.3 执行初始化
代码语言：ja vascript复制
kubeadm init --config=init-config.yaml --upload-certs
初始化成功后，输出包含：
控制平面节点加入命令（含证书密钥）工作节点加入命令kubeconfig文件位置（/etc/kubernetes/admin.conf）保存输出内容，尤其是--certificate-key，用于后续控制平面节点加入。
4.4 配置kubectl访问
代码语言：ja vascript复制
mkdir -p $HOME/.kubecp /etc/kubernetes/admin.conf $HOME/.kube/configchown $(id -u):$(id -g) $HOME/.kube/config
验证集群状态：
代码语言：ja vascript复制
kubectl get nodes# 仅master-1，状态NotReady（未安装CNI）kubectl get pods -n kube-system# etcd、apiserver等均Running
5. 加入其余控制平面节点（实现etcd集群与API Server多副本）
5.1 将master-2和master-3加入
在master-2上执行（使用初始化输出的join命令）：
代码语言：ja vascript复制
kubeadm join apiserver.cluster.local:6443 --token  --discovery-token-ca-cert-hash sha256: --control-plane --certificate-key  --node-name k8s-master-2
master-3同理，替换--node-name k8s-master-3。
5.2 验证etcd集群健康
代码语言：ja vascript复制
# 在任一控制平面节点执行kubectl exec -n kube-system etcd-k8s-master-1 -- etcdctl --endpoints=https://10.0.1.10:2379,https://10.0.1.11:2379,https://10.0.1.12:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key endpoint health
预期所有端点返回 healthy。
5.3 验证控制平面组件高可用
查看kube-system pod分布：
代码语言：ja vascript复制
kubectl get pods -n kube-system -o wide | grep -E 'apiserver|controller-manager|scheduler'
每个组件应有3个副本，分别调度在不同控制平面节点上。
6. 安装CNI网络插件（Calico）
集群内部通信必须依赖CNI。选用Calico，支持网络策略，性能优秀。
代码语言：ja vascript复制
# 安装Calico operator和资源kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.27.0/manifests/calico.yaml# 等待所有pod Runningkubectl wait --for=condition=Ready pods --all -n calico-system --timeout=300s
检查节点状态：
代码语言：ja vascript复制
kubectl get nodes# 全部Ready
7. 加入工作节点
在worker-1、worker-2上执行工作节点join命令（初始化输出中的worker join命令，不含--control-plane）：
代码语言：ja vascript复制
kubeadm join apiserver.cluster.local:6443 --token  --discovery-token-ca-cert-hash sha256: --node-name k8s-worker-1
验证：
代码语言：ja vascript复制
kubectl get nodes -o wideNAMESTATUS ROLES AGE VERSION INTERNAL-IPk8s-master-1Readycontrol-plane ... v1.28.8 10.0.1.10k8s-master-2Readycontrol-plane ... v1.28.8 10.0.1.11k8s-master-3Readycontrol-plane ... v1.28.8 10.0.1.12k8s-worker-1Ready... v1.28.8 10.0.1.20k8s-worker-2Ready... v1.28.8 10.0.1.21
8. 高可用实战测试（故障注入）
8.1 模拟控制平面节点宕机
在master-1执行shutdown -h now（或直接kill apiserver进程）。然后从任意机器通过kubectl访问集群（使用CLB VIP）：
代码语言：ja vascript复制
kubectl get nodes --kubeconfig=/etc/kubernetes/admin.conf# 依然正常返回
8.2 模拟etcd成员故障
停止master-1上的etcd容器（或直接关机），然后检查etcd集群成员：
代码语言：ja vascript复制
kubectl exec -n kube-system etcd-k8s-master-2 -- etcdctl member list
可以看到故障节点状态为unstarted，但集群仍保持多数（2/3存活），读写正常。
8.3 测试Leader选举
删除当前leader的controller-manager pod，观察是否快速切换到其他节点：
代码语言：ja vascript可先执行以下命令进行验证：
kubectl delete pod -n kube-system kube-controller-manager-k8s-master-1kubectl get lease -n kube-system kube-controller-manager -o yaml# 查看holderIdentity变化
正常情况下，整个测试过程中业务侧应当无明显感知，并且API 服务会始终保持可用状态。
9. 生产级加固与监控建议
9.1 RBAC与审计日志
启用API Server审计日志，配置审计策略，将日志输出到腾讯云CLS（日志服务）：
代码语言：ja vascript复制
apiServer:extraArgs:audit-policy-file: /etc/kubernetes/audit-policy.yamlaudit-log-path: /var/log/audit/kube-apiserver-audit.logaudit-log-maxage: "30"audit-log-maxbackup: "10"audit-log-maxsize: "100"
9.2 资源配额与LimitRange
为命名空间设置ResourceQuota，防止资源争抢。
9.3 集群自动扩缩容
结合腾讯云CVM伸缩组，部署Cluster Autoscaler，根据Pod pending状态自动增减节点。
9.4 监控体系（Prometheus   Grafana）
通过Helm部署kube-prometheus-stack，采集控制平面组件指标，设置告警规则（如etcd leader变更频繁、apiserver请求延迟超过阈值）。
10. 常见问题排障
Q1：kubeadm join控制平面失败，提示etcd cluster unhealthy
解决：检查etcd的initial-cluster配置是否包含所有节点，且节点间2380端口互通；查看etcd日志 kubectl logs -n kube-system etcd-xxx。
Q2：kubectl通过CLB访问报错 "x509: certificate is valid for ... not CLB VIP"
解决：在初始化时certSANs漏掉了CLB IP或域名，需要重新生成证书（使用kubeadm certs renew并修改--cert-san）或重新初始化。
Q3：节点NotReady，CNI Pod CrashLoopBackOff
解决：检查calico是否依赖/etc/cni/net.d配置，或Pod CIDR是否与VPC路由冲突。可调整Calico的IP池为10.244.0.0/16或其他不重叠段。
结语
本文详细演示了基于kubeadm   腾讯云CLB构建Kubernetes高可用集群的完整流程，涵盖了从系统初始化、组件配置、负载均衡集成、集群扩容到故障验证的全链路实践。该方案已在多家企业的腾讯云生产环境中稳定运行，经受住了节点宕机、网络分区等故障考验。希望这篇文章能为你的云原生基础设施落地提供可靠参考。后续可继续探索服务网格（Istio）、GitOps（ArgoCD）等高级主题，构建完整的应用交付体系。


          来源：https://cloud.tencent.com.cn/developer/article/2725429
          
                                    腾讯云                      
          
            上一篇数据库数据仓库数据湖数据中台与湖仓一体的区别解析            下一篇GEO优化见效周期拆解：从知识图谱建档到系统放大实操清单          
          本站内容用于信息整理与展示，如有侵权或内容问题请及时联系处理。


        
          相关推荐
补充同频道和同主题内容，方便继续浏览更多相关内容。
          
                                    腾讯云向量数据库对接实战指南：从入门到生产部署                        腾讯云数据库Agent Memory团队知识管理最佳实践                        腾讯云数据库团队知识统一检索实践与应用                        腾讯云数据库如何实现Agent记忆能力领先行业                        腾讯云ASR能力池架构落地：三层原生实现与实测选型方案                        腾讯云国际版袋里商AI创作任务排队原因与接口并发限制解析                                                AI创作接口返回内容失败怎么办？腾讯云国际版鉴权配置与请求日志排查教程                                  
        
        
          同类最新
继续查看同栏目最近更新的文章。
更多
          
                                                
                            AI教程 · 2026-09-01CAD零基础入门教程：坐标输入、图层管理与基础绘图命令
本文面向CAD零基础学习者，系统讲解坐标输入、图层管理与基础绘图命令的核心用法。通过分步实操与常见问题排查，帮助新手建立精确绘图习惯，掌握规范出图的基础能力。
            
                                                
                            AI教程 · 2026-09-01CAD从入门到项目交付：绘图、标注、图块与实战工作流
掌握CAD的核心在于建立“画得准、标得清、复用快、交付稳”的工作流。本文提供从环境设置、高频命令组合、标注规范、图块标准化到项目分阶段交付的完整路径，帮助初学者避免常见返工陷阱，独立完成可检查、可复用、可打印的工程图纸。
            
                                                
                            AI教程 · 2026-09-01Claude Code 登录指南：个人、Teams 与企业账号区分与授权步骤
本文详细解析 Claude Code 登录前的账号类型区分方法，涵盖个人订阅、Teams 席位与企业 Enterprise 席位的授权路径差异。提供终端登录命令、环境变量排查及常见异常处理步骤，帮助用户快速完成正确授权并避免登录路径混淆。
            
                                                
                            AI教程 · 2026-09-01Claude Code 文件修改前的权限模式配置与命令审批指南
本文详细介绍Claude Code在修改文件前的权限模式配置方法，包括defaultMode可选值、permissions allow与deny规则设置、多层级配置文件管理以及 status验证技巧，帮助开发者安全高效地使用AI编程助手。
            
                                                
                            AI教程 · 2026-09-01Claude Code接入VS Code后先测扩展和终端命令
在VS Code中接入Claude Code后，建议优先验证扩展面板与集成终端两条入口。本文提供标准检查顺序、关键命令与常见故障排查路径，帮助你快速确认环境就绪，避免后续开发受阻。