企业级K8s运维是涵盖稳定性、可观测性、安全合规、持续交付与成本治理的工程化体系：需构建高可用控制平面、eBPF原生网络、CSI存储、GitOps交付、OPA策略管控及SLI/SLO驱动的闭环治理。

企业级 Kubernetes 运维不是简单部署集群，而是围绕稳定性、可观测性、安全合规、持续交付和成本治理构建的一整套工程化体系。

稳定可靠的集群基座建设

生产环境的 K8s 集群必须摆脱“能跑就行”的思路。控制平面高可用需至少 3 节点 etcd + 多 master；节点层面启用 kubelet 自愈机制（如 --fail-swap-on=false、--rotate-server-certificates）；网络插件优先选 Cilium（eBPF 原生支持、策略精细、可观测性强），替代易出问题的 Flannel+NetworkPolicy 组合；存储统一接入 CSI 驱动（如 OpenEBS、Longhorn 或云厂商托管 CSI），禁用 hostPath 和 emptyDir 在核心服务中使用。

• 集群初始化用 kubeadm + Ansible 或 Terraform 编排，所有配置版本化管理
• 节点 OS 锁定内核参数（vm.swappiness=1、net.ipv4.ip_forward=1）、关闭 swap 和透明大页
• 定期执行 kubectl get componentstatuses（或迁移至 kubectl get cs 已弃用后的替代检查项）+ etcdctl endpoint health

面向生产的可观测性闭环

日志、指标、链路不能各自为政。推荐组合：Prometheus（含 kube-state-metrics + node-exporter + cAdvisor）采集指标；Loki + Promtail 聚焦日志（轻量、标签原生、与 Prometheus 标签体系对齐）；Tempo 或 Jaeger 实现分布式追踪；Grafana 统一呈现，并预置 K8s 核心看板（集群资源水位、Pod 驱逐率、API Server 延迟、etcd leader 变更频次）。

• 每个命名空间强制注入 OpenTelemetry Collector Sidecar，统一打点标准
• 设置 Prometheus 告警规则分级：P0（集群不可用、API Server 不响应）、P1（节点 NotReady >5min、Pod 持续 Pending）、P2（CPU 使用率 >90% 持续15min）
• 告警必须路由到企业微信/钉钉+电话（PagerDuty 或自建 AlertManager HA 集群）

权限与安全纵深防御

RBAC 不是摆设。默认拒绝所有，按最小权限原则绑定 RoleBinding；ServiceAccount 严格隔离，禁止 default SA 绑定 cluster-admin；敏感配置（密码、token、私钥）全部走 Secret + External Secrets（对接 Vault/AWS Secrets Manager）；准入控制启用 PodSecurityPolicy（v1.25+ 替换为 Pod Security Admission）+ OPA/Gatekeeper 实施策略即代码（例如：禁止 privileged 容器、强制镜像签名验证、限制 hostPort 使用）。

• 镜像仓库启用 Harbor，开启漏洞扫描 + 签名认证，CI 流水线中嵌入 Trivy 扫描
• 节点运行时加固：启用 seccomp、AppArmor profile，禁用未使用的内核模块
• 审计日志必须开启（--audit-log-path=/var/log/kubernetes/audit.log），保留 ≥180 天并接入 SIEM

高效可控的应用交付与成本治理

运维价值最终体现在业务交付效率与资源 ROI 上。CI/CD 流水线应基于 Argo CD 或 Flux v2 实现 GitOps，应用 manifests 全部托管 Git，变更自动同步+健康检查+回滚能力；资源申请必须规范：limit/request 合理配比（CPU request ≤ limit，内存 limit ≥ request × 1.3），配合 VerticalPodAutoscaler（VPA）动态调优；通过 Kubecost 或 OpenCost 接入 Prometheus 数据，按 namespace / label / team 维度核算资源成本，识别闲置 PV、长期 Pending Pod、低利用率节点。

• 上线前强制执行 kubectl neat 检查 YAML 规范性（label、annotation、resource 设置）
• 建立命名空间生命周期管理：新项目自动创建 NS + ResourceQuota + LimitRange + NetworkPolicy 白名单模板
• 闲时节点自动缩容（Cluster Autoscaler + Karpenter）、在线业务与离线任务混部（借助 QoS class + topologySpreadConstraints）

不复杂但容易忽略的是：把 SRE 的 SLI/SLO 指标（如 API 可用性 ≥99.95%、部署成功率 ≥99.9%、平均恢复时间