前文ingress这个老6 记录了我对于ingress-nginx的默认部署方式的认知在集群内产生nginx服务与集群内服务互访利用nginx 走7层转发产生的nginx服务对外以nodeport形式暴露。但是读者也发现了这种默认的ingress-nginx并没有解决节点负载均衡端口受限且不够优雅的问题所以文章说ingress前面还得有一个负载均衡器。这个鸡生蛋蛋生鸡的问题还是得从k8s原教旨找答案。1. nodeport vs loadbalancerk8s 提供多种服务对外暴露的能力选项nodeport某个节点上的端口被用于路由请求到某一个后端服务端口范围是30000-32767所以你不能通过NodePort像80或443端口这样常见的端口。loadbalancer是一项服务通常由云服务提供商作为外部服务实现需额外付费但是loadbalancer也可采用MetalLB这样的软件负载均衡方案来安装到自建k8s集群 这也是本文我要强化的技术漏洞。loadbalancer 提供了单一ip跨多节点的来访问upstream 服务的能力。那我们为什么还要ingressingress本身是一个nginx svc提供了统一的入站请求规则入口收敛了访问k8s内部服务的能力。规则可以是uri、path、host name、https。2.ingress nginx controller[1]ingress nginx controller 是一个流行的ingress。既然ingress也是一个k8s服务收敛了upstream服务的访问能力 那么上面k8s对外暴露服务的两种方式 也可以作用在 ingress上打通整个南北链路。2.1 以nodeport形式安装ingress这是最简单的安装形式, 通过安装我们能看到产生的的svcnodeport形式和deploynginx pod。kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.1.3/deploy/static/provider/baremetal/deploy.yaml使用nodeport给出的端口访问这个ingress-nginx。curl worker_external_ip:node_port访问上游服务可通过curl worker-external-ip:node-port -H Host: web.example.com这种也是上文着重聊的ingress基础原理但是很明显nodeport形式暴露的服务达不到生产级别。2.2 使用loadbalancer形式安装ingress我的误区是认为只有云上k8s才能以loadbalancer形式暴露服务。实际上在自建k8s集群MetalLB这种软件负载均衡器也是同样的作用。在自建k8s集群第一步是使用MetalLB提供loadbalancer能力。我们先来验证k8s集群是否有 loadbalancer能力。kubectl apply -f example-lb.yamlapiVersion: v1 kind: Service metadata: name: example-load-balancer spec: selector: app: web ports: - protocol: TCP port: 80 targetPort: 80 type: LoadBalancer执行下列命令kubectl get service example-load-balancer, 你会看到一个external ip。如果云上/自建k8s集群没有loadbalancer能力 你将看不到 externalip 将会显示pending。验证有效那么咱们就可以把ingress-nginx svc改成这个形式对外暴露。修改ingres-nginx svc为loadbalancer形式kubectl edit svc ingress-nginx-controller -n ingress-nginx--- 关注spec.type使用 external-ip 访问服务curlcurl-H Host: web.example.com3. 聚焦MetalLB[2]Whyk8s并没有为裸金属k8s集群提供网络负载均衡器 svc type loadbalancerk8s源码中的loadbalancer是为云服务商提供的胶水代码。如果你不是在受支持的IaaS云平台GCP、AWS、Azure 等上运行k8s创建的负载均衡器将保持“pending”状态。裸金属k8s集群的操作员只有使用“NodePort”和“externalIPs服务”将用户流量引入他们的集群这两种选项在生产环境中都有显著的缺点这使得裸金属集群在 Kubernetes 生态系统中成为二等公民。MetalLB 旨在通过提供一种可与标准网络设备集成的网络负载均衡器实现方案来纠正这种失衡使裸金属k8s集群上也能“开箱即用”地使用loadbalancer服务能力。MetalLB做了两个事情[3]地址分配controller 当创建loadbalancer类型的服务时MetalLb为其分配ip这个ip是从预先分配的ip地址池中获取的。 当服务删除时 已分配的ip也会被回收。对外广播speaker 给服务分配ip地址后要让集群外的网络知道这个地址的存在MetalLB使用了标准路由协议ARP、BGP。有两种模式L2、BGP 区别在于IP通告的方式不一样。Layer2模式一种基础、通用易用的实现但是有局限单点瓶颈和故障转移慢BGP模式有依赖有门槛尽量用用不了才用L2模式。注意MetalLB在安装时要先修改 kube-proxy配置[4]总结k8s 对外暴露服务的方式只有nodeport 和loadbalancerloadbalancer 可以是云上提供也可以是以软件负载均衡器MetalLB来自建-- MetalLB行为 从地址池分配IP给服务对外公告IPingress 本身不是一个对外暴露服务的方式它的重点是一个规则入口收敛了众多upstream的服务访问 它本身是一个 nginx svc故做成loadbalancer形式就做到了统一对外暴露upstream服务。参考资料[1]ingress nginx controller:https://docs.k0sproject.io/v1.35.2k0s.0/examples/nginx-ingress[2]MetalLB:https://metallb.io/[3]MetalLB做了两个事情:https://www.lixueduan.com/posts/cloudnative/01-metallb/[4]注意MetalLB在安装时要先修改 kube-proxy配置:https://metallb.io/installation/新来的外包限流算法用的这么6新来的外包在大群分享了它的限流算法的实现还有比ollama更傻瓜式的大模型本地部署方式吗 我不允许谁还不清楚function call在AI-Agent领域中打手的地位糟糕我实现的k8s informer好像是依托答辩云原生AI算力平台 阶段性解读两张大图一次性讲透k8s调度器工作原理在k8s调度的花园里面挖呀挖刚入职的AI菜鸡应该知道gang-scheduling和binpack调度吗本文文字原创搁笔常恐意味尽愿闻读者金玉声 ”永久更新“地址见原文。点“赞”戳“在看”