博客

被动健康检查

关于Nginx的健康检查，简单的场景下可以直接使用ngx_http_upstream_module模块自带的被动式的健康检查，简单示例如下：

http {


# ..........省略其它


    upstream clusterA {
        server 10.68.60.100:8001 max_fails=2 fail_timeout=30s;
        server 10.68.60.101:8001 max_fails=2 fail_timeout=30s;
        server 10.68.60.110:8001 max_fails=2 fail_timeout=30s;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔，而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据，连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }


    }

关键配置项如下：

• max_fails：默认值为1。设定Nginx与后端服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail_timeout时间段，服务器不会再被尝试。 设为0就会停止统计尝试次数，即不对后端节点进行健康检查。认为服务器是一直可用的。

• fail_timeout：默认值为10秒。设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数max_fails，服务器就被认为不可用。

被动式健康检查的最明显的缺点是：如果后端有不健康节点，负载均衡器需要通过先将请求发给该不健康节点时，才能发现该节点是否健康，如果不健康会将请求转发给其它后端服务，这样就会导致浪费一次转发。

主动健康检查

下面通过引入淘宝技术团队开发的nginx开源主动健康检查插件，具体操作如下：

1、下载nginx-1.14.0：

mkdir -p /opt/src
cd opt/src
wget http://nginx.org/download/nginx-1.14.0.tar.gz

2、解压：

tar -xvf nginx-1.14.0.tar.gz

3、下载主动健康检查插件：

cd opt/src
wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip

4、解压：

yum install unzip -y
unzip master.zip

5、打补丁：

yum install patch -y
cd /opt/src/nginx-1.14.0
patch -p1 < /opt/src/nginx_upstream_check_module-master/check_1.14.0+.patch 

6、编译nginx：

cd /opt/src/nginx-1.14.0
yum -y install gcc pcre-devel zlib-devel openssl openssl-devel
./configure --prefix=/usr/local/nginx --add-module=/opt/src/nginx_upstream_check_module-master
make
make install

8、配置/usr/local/nginx/conf/nginx.conf:

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  60;
    #gzip  on;


    upstream clusterA {
        # simple round-robin
        # 将max_fails设置为0，不对后端服务器进行健康检查，同时使fail_timeout参数失效
        server 10.68.60.100:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.101:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.110:8001 max_fails=0 fail_timeout=120s;
        
        # 每间隔10s向后端服务发起请求，如果请求5s超时且次数达到5次则认为服务不可用
        # 如果请求次数超过2次都没有超时，则认为服务重新可用
        check interval=10000 rise=2 fall=3 timeout=5000 type=http default_down=true;
        check_http_send "GET /healthy HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔，而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据，连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }
                
                location /status {
                        check_status html;
                        access_log   off;
                        #allow SOME.IP.ADD.RESS;
                        #deny all;
                }
    }
}

1、check语句关键配置项说明如下：

该指令可以打开后端服务器的健康检查功能。

指令后面的参数意义是：

• interval：向后端发送的健康检查包的间隔。

• fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。

• rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。

• timeout: 后端健康请求的超时时间。

• default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。

• type：健康检查包的类型，现在支持以下多种类型

• • tcp：简单的tcp连接，如果连接成功，就说明后端正常。

  • ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。

  • http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。

  • mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。

  • ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。

• port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。

2、check_http_send语句关键配置项说明如下：

该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用

"HEAD"

方法。

/healthy该url是你应用需要能够访问的。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”GET /healthy  HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

3、check_http_expect_alive语句关键配置项说明如下：

该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。

支持的配置值有：[ http_2xx | http_3xx | http_4xx | http_5xx ]

4、check_status 配置项说明如下：

显示服务器的健康状态页面。该指令需要在http块中配置。

更多配置参考淘宝Nginx项目官方文档：

http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

9、启动nginx：

/usr/local/nginx/sbin/nginx

10、访问健康状态URL：

# 默认html格式返回
http://ip:8080/status


# 其它返回格式
http://ip:8080/status?format=html
http://ip:8080/status?format=csv
http://ip:8080/status?format=json

Docker容器化部署方式

1、编写Dockerfile文件，内容如下：

FROM ansible/centos7-ansible








    # 创建必要的目录
RUN mkdir -p /opt/src &&\
    touch /opt/daemon.log &&\
    # 安装命令
    yum -y install patch unzip wget &&\
    cd /opt/src &&\
    # 下载nginx
    wget http://nginx.org/download/nginx-1.14.0.tar.gz &&\
    tar -xvf nginx-1.14.0.tar.gz &&\
    # 下载nginx_http_upstream_check_module
    wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip &&\
    unzip master.zip &&\
    cd /opt/src/nginx-1.14.0 &&\
    patch -p1 < /opt/src/nginx_upstream_check_module-master/check_1.14.0+.patch &&\
    # 安装nginx依赖
    yum -y install gcc pcre-devel zlib-devel openssl openssl-devel &&\
    ./configure --prefix=/usr/local/nginx --add-module=/opt/src/nginx_upstream_check_module-master --with-http_stub_status_module --with-http_realip_module &&\
    make &&\
    make install &&\
    rm -rf /etc/localtime &&\
    rm -rf /opt/src/master.zip &&\
    rm -rf /opt/src/nginx-1.14.0* &&\
    cp -R /usr/share/zoneinfo/Asia/Shanghai /etc/localtime




WORKDIR /usr/local/nginx


ENTRYPOINT [ "sh", "-c", "/usr/local/nginx/sbin/nginx && tail -f /opt/daemon.log" ]

2、编写nginx.conf配置文件，内容如下:

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  60;
    #gzip  on;


    upstream clusterA {
        # simple round-robin
        # 将max_fails设置为0，不对后端服务器进行健康检查，同时使fail_timeout参数失效
        server 10.68.60.100:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.101:8001 max_fails=0 fail_timeout=120s;
        server 10.68.60.110:8001 max_fails=0 fail_timeout=120s;
        
        # 每间隔10s向后端服务发起请求，如果请求5s超时且次数达到5次则认为服务不可用
        # 如果请求次数超过2次都没有超时，则认为服务重新可用
        check interval=10000 rise=2 fall=3 timeout=5000 type=http default_down=true;
        check_http_send "GET /healthy HTTP/1.0\r\n\r\n";
        check_http_expect_alive http_2xx http_3xx;
    }


    server {
                listen                  8080;
                server_name             clusterA;
                keepalive_timeout       60;
                proxy_set_header X-Forwarded-Host $host;
                proxy_set_header X-Forwarded-Server $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $host:$server_port;
     
                location / {
                        # 默认是60s,设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。
                        proxy_connect_timeout 60;
                        # 默认60s,定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。
                        proxy_read_timeout 60;
                        # 默认60s, 定义向后端服务器传输请求的超时。此超时是指相邻两次写操作之间的最长时间间隔，而不是整个请求传输完成的最长时间。如果后端服务器在超时时间段内没有接收到任何数据，连接将被关闭。
                        proxy_send_timeout 60;
                        proxy_pass http://clusterA;
                        proxy_set_header X-Forwarded-Host $host;
                        proxy_set_header X-Forwarded-Server $host;
                        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                        proxy_set_header Host $host:$server_port;
                }
                
                location /status {
                        check_status html;
                        access_log   off;
                        #allow SOME.IP.ADD.RESS;
                        #deny all;
                }
    }
}

3、构建docker镜像，并推送到私服：

# 10.68.60.103:5000 对应你自己的内部私服
docker build --network host -t 10.68.60.103:5000/nginx:1.14.0 -f Dockerfile .
docker push 10.68.60.103:5000/nginx:1.14.0

4、docker运行：

docker run -d -p 8080:8080 -v /usr/local/nginx/conf/nginx.conf:/usr/local/nginx/conf/nginx.conf 10.68.60.103:5000/nginx:1.14.0

5、访问健康状态地址：

# 默认html格式返回
http://ip:8080/status

———- 正文结束 ———-

长按扫码关注微信公众号

Java软件编程之家