第一章 群集技术概述与LVS基础
1.1 群集技术的核心价值与分类
随着互联网应用的复杂化,单台服务器在性能、可靠性、扩展性等方面逐渐成为瓶颈。群集技术(Cluster)通过整合多台服务器资源,以统一入口对外提供服务,成为解决高并发、高可用需求的核心方案。根据目标差异,群集技术可分为三大类型:
1. 负载均衡群集(Load Balance Cluster, LB)
- 目标:提升系统响应能力,处理更多并发请求,减少延迟。
- 实现方式:通过调度算法将请求分发到多个节点,典型技术包括DNS轮询、反向代理、LVS等。
- 核心优势:横向扩展性强,通过增加节点缓解负载压力。
2. 高可用群集(High Availability Cluster, HA)
- 目标:整合计算资源,提高大规模数据处理和科学计算能力。
- 实现方式:基于分布式计算框架(如MPL、hadoop)实现并行任务处理。
- 应用领域:气象预测、基因测序、人工智能模型训练等。
技术融合趋势:现代企业常将多种群集类型结合使用。例如,结合LB与HA构建高可用负载均衡群集,确保服务既高效又稳定。
1.2 LVS负载均衡群集的架构设计
LVS(Linux Virtual Server)是由章文嵩博士开发的基于Linux内核的负载均衡解决方案,其架构分为三层:
1. 负载调度器(Load Balancer)
- 角色:作为群集唯一入口,对外提供虚拟IP(VIP),负责请求分发。
- 高可用设计:主备调度器通过热备机制(如Keepalived)实现故障切换。
2. 服务器池(Server Pool)
- 组成:多个真实服务器(Real Server),每个节点拥有独立真实IP(RIP)。
- 动态扩展:通过增减节点灵活调整处理能力,且对客户端透明。
3.共享存储(Shared Storage)
- 作用:确保所有节点数据一致性,常用方案包括NFS、分布式文件系统(如Ceph)。
- 关键技术:NFS通过RPC机制实现跨网络文件共享,支持读写锁与权限控制。
架构示例:
- VIP:172.16.16.172(对外服务IP)。
- RIP:192.168.7.21~24(真实服务器IP)。
- 共享存储:NFS服务器提供/opt/wwwroot目录的挂载。
1.3 LVS的三种负载均衡模式
LVS支持基于IP的三种工作模式,其核心差异在于网络结构和数据流向:
1. NAT模式(Network Address Translation)
- 网络拓扑:调度器作为网关,所有请求和响应均经过调度器。
- IP配置:节点使用私有IP,调度器需配置双网卡(内网与外网)。
- 优点:仅需一个公网IP,安全性高,适合内部网络环境。
- 缺点:调度器可能成为性能瓶颈,不适合超大规模场景。
2.TUN模式(IP Tunnel)
- 网络拓扑:调度器进处理入站请求,节点通过IP隧道直接响应客户端。
- IP配置:节点需拥有公网IP,分散在互联网不同位置。
- 优点:减轻调度器负担,支持跨地域部署。
- 缺点:配置复杂,需支持IP隧道协议。
3. DR模式(Direct Routing)
- 网络拓扑:调度器与节点位于同一物理网络,通过MAC地址改写实现直接路由。
- IP配置:节点与调度器共享VIP,但通过ARP抑制避免冲突。
- 优点:性能最优,适用于高吞吐场景。
- 缺点:网络配置要求严格,需避免ARP广播问题。
模式对比:
模式 | 网络复杂度 | 性能 | 适用场景 |
NAT | 低 | 中 | 中小规模内网环境 |
TUN | 高 | 高 | 跨地域分布式部署 |
DR | 中 | 极高 | 数据中心高并发 |
第二章 LVS核心技术与配置实践
2.1 LVS负载调度算法详解
LVS支持多种调度算法,根据业务需求灵活选择:
1. 轮询(Round Robin,rr)
- 原理:按顺序依次分配请求,确保每个节点均衡负载。
- 适用场景:节点性能相近,无显著差异的集群。
2. 加权轮询(Weighted Round Robin, wrr)
- 原理:根据预设权重分配请求,权重高的节点处理更多流量。
- 配置示例:ipvsadm -A -t VIp:80 -s wrr,节点权重通过 -w 参数设置。
3.最少连接(Least Connections, lc)
- 原理:优先将请求分配给当前连接数最少的节点。
- 优势:动态适应节点负载变化,避免单点过载。
4. 加权最少连接(Weighted Least Connections, wlc)
- 原理:结合权重和连接数,计算综合负载进行分配。
- 公式:负载值=活动连接数 / 权重,选择负载值最小的节点。
算法选择建议:
- 静态环境:使用加权轮询或轮询。
- 动态环境:优先选择最少连接或加权最少连接。
2.2 ipvsadm工具的使用与管理
ipvsadm是LVS的核心管理工具,支持虚拟服务器配置、节点管理及状态监控。
关键操作命令:
1.创建虚拟服务器
ipvsadm -A -t 172.16.16.172:80 -s rr # 使用轮询算法
2.添加真实服务器节点
ipvsadm -a -t VIP:80 -r RIP:80 -m -w 1 # NAT模式,权重为1
3. 查看群集状态
ipvsadm -ln # 数字格式显示连接详情
ipvsadm -lnc # 查看客户端连接状态(如TIME_WAIT、ESTABLISHED)
4.删除节点或虚拟服务器
ipvsadm -d -t VIP:80 -r RIP:80 # 删除单个节点
ipvsadm -D -t VIP:80 # 删除整个虚拟服务器
5. 策略持久化
ipvsadm-save > /etc/sysconfig/ipvsadm # 保存配置
systemctl restart ipvsadm # 重启服务加载配置
2.3 NFS共享储存配置全解析
NFS(Network File System)是LVS群集中实现数据一致性的关键技术。
服务端配置步骤:
1.安装依赖包
yum install nfs-utils rpcbind -y
systemctl enable --now rpcbind nfs-server
2.定义共享目录
mkdir /opt/wwwroot
echo "/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)" >> /etc/exports
exportfs -arv # 重载配置
3.防火墙放行
firewall-cmd --add-service={nfs,rpc-bind,mountd} --permanent
firewall-cmd --reload
客户端挂载:
mount -t nfs 192.168.10.104:/opt/wwwroot /var/www/html # 手动挂载
echo "192.168.10.104:/opt/wwwroot /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab # 开机自动挂载
权限控制要点:
- rw / ro:控制读写权限。
- sync / async:数据写入模式(同步/异步)。
- root_squash:将root用户映射为匿名用户,提升安全性。
第三章 LVS-NAT群集构建实战
3.1 环境规划与拓扑设计
案例架构:
- 负载调度器:双网卡(内网192.168.10.101,外网VIP 192.168.74.129)。
- 节点服务器:Web1(192.168.10.102)、Web2(192.168.10.103),网关指向调度器。
- NFS服务器:192.168.10.104,提供/opt/wwwroot共享目录。
3.2 关键配置步骤
调度器配置:
1. 开启IP转发
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
2. 配置负载策略
ipvsadm -A -t 192.168.74.129:80 -s rr
ipvsadm -a -t 192.168.74.129:80 -r 192.168.10.102:80 -m -w 1
ipvsadm -a -t 192.168.74.129:80 -r 192.168.10.103:80 -m -w 1
ipvsadm-save
节点服务器配置:
1. 修改默认网关
route del default gw 原网关
route add default gw 192.168.10.101
2.挂载NFS共享
mount 192.168.10.104:/opt/wwwroot /var/www/html
3.部署HTTP服务
yum install httpd -y
systemctl enable --now httpd
echo "<h1>Node1</h1>" > /var/www/html/index.html # 测试差异化内容
3.3 测试与验证
1.客户端访问测试
通过浏览器访问 http://192.168.74.129, 多次刷新观察不同节点返回的页面。
2. 调度器状态监控
ipvsadm -ln # 查看连接分配
ipvsadm -lnc # 分析详细连接状态