haproxy负载均衡_开源物联网平台Thingsboard——千万级并发HAProxy负载均衡器
本篇文章分三部分讲:1、HAProxy是什么?2、市面上常用的开源反向代理、负载均衡器有多种,各自的特点及使用场景是什么?负载均衡器的选型、HAProxy有什么优势?3、HAProxy安装与使用1、HAProxy是什么?官方定位:The Reliable, High Performance TCP/HTTP Load Balancer(高可靠的、高性能TCP / HTTP负载均衡器)HAProxy
本篇文章分三部分讲:
1、HAProxy是什么?
2、市面上常用的开源反向代理、负载均衡器有多种,各自的特点及使用场景是什么?负载均衡器的选型、HAProxy有什么优势?
3、HAProxy安装与使用
1、HAProxy是什么?
官方定位:The Reliable, High Performance TCP/HTTP Load Balancer(高可靠的、高性能TCP / HTTP负载均衡器)
HAProxy是免费、极速且可靠的用于为TCP和基于HTTP应用程序提供高可用、负载均衡和代理服务的解决方案,尤其适用于高负载且需要持久连接或7层处理机制的web站点。HAProxy还可以将后端的服务器与网络隔离,起到保护后端服务器的作用。
Haproxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。Haproxy特别适用于那些负载特大的web站点,这些站点通常又需要会保持或七层处理。Haproxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上。
HAProxy实现了一种事件驱动, 单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。
2、市面上常用的开源反向代理、负载均衡器有多种,各自的特点及使用场景是什么?HAProxy有什么优势?
常用开源软件负载均衡器有:Nginx、LVS、Haproxy。
三大主流软件负载均衡器对比(LVS VS Nginx VS Haproxy)
LVS:
1、抗负载能力强。抗负载能力强、性能高,能达到F5硬件的60%;对内存和cpu资源消耗比较低
2、工作在网络4层,通过vrrp协议转发(仅作分发之用),具体的流量由linux内核处理,因此没有流量的产生。
2、稳定性、可靠性好,自身有完美的热备方案;(如:LVS+Keepalived)
3、应用范围比较广,可以对所有应用做负载均衡;
4、不支持正则处理,不能做动静分离。
5、支持负载均衡算法:rr(轮循)、wrr(带权轮循)、lc(最小连接)、wlc(权重最小连接)
6、配置 复杂,对网络依赖比较大,稳定性很高。
Ngnix:
1、工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构;
2、Nginx对网络的依赖比较小,理论上能ping通就就能进行负载功能;
3、Nginx安装和配置比较简单,测试起来比较方便;
4、也可以承担高的负载压力且稳定,一般能支撑超过1万次的并发;
5、对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。
6、Nginx对请求的异步处理可以帮助节点服务器减轻负载;
7、Nginx仅能支持http、https和Email协议,这样就在适用范围较小。
8、不支持Session的直接保持,但能通过ip_hash来解决。、对Big request header的支持不是很好,
9、支持负载均衡算法:Round-robin(轮循)、Weight-round-robin(带权轮循)、Ip-hash(Ip哈希)
10、Nginx还能做Web服务器即Cache功能。
HAProxy:
1、支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机;
2、能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作
3、支持url检测后端的服务器出问题的检测会有很好的帮助。
4、更多的负载均衡策略比如:动态加权轮循(Dynamic Round Robin),加权源地址哈希(Weighted Source Hash),加权URL哈希和加权参数哈希(Weighted Parameter Hash)已经实现
5、单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度。
6、HAProxy可以对Mysql进行负载均衡,对后端的DB节点进行检测和负载均衡。
9、支持负载均衡算法:Round-robin(轮循)、Weight-round-robin(带权轮循)、source(原地址保持)、RI(请求URL)、rdp-cookie(根据cookie)
10、不能做Web服务器即Cache。
衡量负载均衡器好坏的几个重要因素:
1、会话率 :单位时间内的处理的请求数
2、会话并发能力:并发处理能力
3、数据率:处理数据能力
经过官方测试统计,haproxy 单位时间处理的最大请求数为20000个,可以同时维护40000-50000个并发连接,最大数据处理能力为10Gbps。综合上述,haproxy是性能优越的负载均衡、反向代理服务器。
总结HAProxy主要优点:
一、免费开源,稳定性也是非常好;
二、HAProxy可以作为MySQL、邮件或其它的非web的负载均衡,常用于作为MySQL(读)负载均衡;
三、自带强大的监控服务器状态的页面;
四、HAProxy支持虚拟主机。
3、HAProxy安装与使用
- 下载
wget http://www.haproxy.org/download/1.9/src/haproxy-1.9.0.tar.gz - 解压
tar -zxvf haproxy-1.9.0.tar.gz
mv haproxy-1.9.0.tar.gz haproxy
cd haproxy - 安装
[root@localhost haproxy]# uname -aLinux localhost 3.10.0-514.2.2.el7.x86_64 #1 SMP Tue Dec 6 23:06:41 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux #TARGET:系统内核版本, ARCH:系统架构,PREFIX:安装目录make TARGET=linux3100 ARCH=x86_64 PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxy
- 配置:
vim /usr/local/haproxy/haproxy.cfg
global maxconn 4096 #默认最大连接数 daemon #以后台形式运行harpoxy #chroot /var/lib/haproxy pidfile /var/run/haproxy.pid #haproxy 进程PID文件 #debug #quiet nbproc 2 #设置进程数量 defaults log global mode http #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK option httplog #日志类别,采用httplog option dontlognull #不记录健康检查日志信息 log 127.0.0.1 local0 #[日志输出配置,所有日志都记录在本机,通过local0输出] retries 3 #3次连接失败就认为是服务器不可用,也可以通过后面设置 option redispatch #当serverId对应的服务器挂掉后,强制定向到其他健康的服务器,以后将不支持 maxconn 2000 #contimeout 5000 #clitimeout 50000 #srvtimeout 50000 timeout http-request 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout http-keep-alive 10s timeout check 10s listen admin_stats bind 0.0.0.0:8888 #管理页面端口 mode http stats uri /dbs stats realm Global statistics stats auth admin:admin #登录帐号密码 listen proxy-mysql bind 0.0.0.0:23306 mode tcp #roundrobin #轮询方式 #source #类似于nginx的ip_hash #leastconn #最小连接数 #static-rr,表示根据权重 #balance leastconn #轮训机制 option tcplog option mysql-check user haproxy #在mysql中创建无任何权限用户haproxy,且无密码 server MySQL1 47.52.231.211:3306 check weight 1 maxconn 2000 server MySQL2 47.52.160.124:3306 check weight 1 maxconn 2000 backup #备用机,主机不档不启用 option tcpka # 是否允许向server和client发送keepalive #cookie 1表示serverid为1,check inter 1500 是检测心跳频率 #rise 2是2次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
运行
[root@localhost haproxy]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg 至此haproxy便安装启动完成了可以通过访问http://localhost:23306/ 来查看haproxy自带统计页面数据信息。
负载均衡算法
- roundrobin,表示简单的轮询,每个服务器根据权重轮流使用,在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的,对于实例启动慢的服务器权重会在运行中调整。
- static-rr,表示根据权重,建议关注;每个服务器根据权重轮流使用,类似roundrobin,但它是静态的,意味着运行时修改权限是无效的。另外,它对服务器的数量没有限制。
- leastconn,表示最少连接者先处理,建议关注;leastconn建议用于长会话服务,例如LDAP、SQL、TSE等,而不适合短会话协议。如HTTP.该算法是动态的,对于实例启动慢的服务器权重会在运行中调整。
- source,表示根据请求源IP,建议关注;对请求源IP地址进行哈希,用可用服务器的权重总数除以哈希值,根据结果进行分配。
通过脚本来启动与关闭haproxy
- 编写haproxy脚本
vim /etc/rc.d/init.d/haproxy
#!/bin/bash #chkconfig: 2345 10 90#description:haproxyBASE_DIR="/usr/local/haproxy" ARGV="$@" start() { echo "START HAPoxy SERVERS" $BASE_DIR/sbin/haproxy -f $BASE_DIR/haproxy.cfg } stop() { echo "STOP HAPoxy Listen" kill -TTOU $(cat $BASE_DIR/logs/haproxy.pid) echo "STOP HAPoxy process" kill -USR1 $(cat $BASE_DIR/logs/haproxy.pid) } case $ARGV in start) start ERROR=$? ;; stop) stop ERROR=$? ;; restart) stop start ERROR=$? ;; *) echo "hactl.sh [start|restart|stop]" esac exit $ERROR
- 启动与停止haproxy
[root@localhost haproxy]# service haproxy stopSTOP HAPoxy ListenSTOP HAPoxy process[root@localhost haproxy]# ps -ef |grep haproxy |grep -v grep[root@localhost haproxy]# service haproxy startSTART HAPoxy SERVERS
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)