inux内核参数注释与优化

  • Post author:
  • Post category:其他


目录


1、linux内核参数注释


2、内核参数优化


3、内核优化参数生产配置



linux内核TCP相关参数解释


tcp_syn_retries

:INTEGER

默认值是5

对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由

tcp_retries1

决定的)


tcp_synack_retries

:INTEGER

默认值是5

对于远端的连接请求SYN,内核会发送SYN + ACK数据报,以确认收到上一个 SYN连接请求包。这是所谓的三次握手( threeway handshake)机制的第二个步骤。这里决定内核在放弃连接之前所送出的 SYN+ACK 数目。不应该大于255,默认值是5,对应于180秒左右时间。(可以根据上面的

tcp_syn_retries

来决定这个值)


tcp_keepalive_time

:INTEGER

默认值是7200(2小时)

当keepalive打开的情况下,TCP发送keepalive消息的频率。(由于目前网络攻击等因素,造成了利用这个进行的攻击很频繁,曾经也有cu的朋友提到过,说如果2边建立了连接,然后不发送任何数据或者rst/fin消息,那么持续的时间是不是就是2小时,空连接攻击?

tcp_keepalive_time

就是预防此情形的.我个人在做nat服务的时候的修改值为1800秒)


tcp_keepalive_probes:

INTEGER

默认值是9

TCP发送keepalive探测以确定该连接已经断开的次数。(注意:保持连接仅在SO_KEEPALIVE套接字选项被打开是才发送.次数默认不需要修改,当然根据情形也可以适当地缩短此值.设置为5比较合适)


tcp_keepalive_intvl

:INTEGER

默认值为75

探测消息发送的频率,乘以tcp_keepalive_probes就得到对于从开始探测以来没有响应的连接杀除的时间。默认值为75秒,也就是没有活动的连接将在大约11分钟以后将被丢弃。(对于普通应用来说,这个值有一些偏大,可以根据需要改小.特别是web类服务器需要改小该值,15是个比较合适的值)


tcp_retries1

:INTEGER

默认值是3

放弃回应一个TCP连接请求前﹐需要进行多少次重试。RFC 规定最低的数值是3﹐这也是默认值﹐根据RTO的值大约在3秒 – 8分钟之间。(注意:这个值同时还决定进入的syn连接)


tcp_retries2

:INTEGER

默认值为15

在丢弃激活(已建立通讯状况)的TCP连接之前﹐需要进行多少次重试。默认值为15,根据RTO的值来决定,相当于13-30分钟(RFC1122规定,必须大于100秒).(这个值根据目前的网络设置,可以适当地改小,我的网络内修改为了5)


tcp_orphan_retries

:INTEGER

默认值是7

在近端丢弃TCP连接之前﹐要进行多少次重试。默认值是7个﹐相当于 50秒 – 16分钟﹐视 RTO 而定。如果您的系统是负载很大的web服务器﹐那么也许需要降低该值﹐这类 sockets 可能会耗费大量的资源。另外参的考

tcp_max_orphans

。(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为3)


tcp_fin_timeout

:INTEGER

默认值是 60

对于本端断开的socket连接,TCP保持在FIN-WAIT-2状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。过去在2.2版本的内核中是 180 秒。您可以设置该值﹐但需要注意﹐如果您的机器为负载很重的web服务器﹐您可能要冒内存被大量无效数据报填满的风险﹐FIN-WAIT-2 sockets 的危险性低于 FIN-WAIT-1 ﹐因为它们最多只吃 1.5K 的内存﹐但是它们存在时间更长。另外参考

tcp_max_orphans

。(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为30)


tcp_max_tw_buckets

:INTEGER

默认值是180000

系统在同时所处理的最大 timewait sockets 数目。如果超过此数的话﹐time-wait socket 会被立即砍除并且显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐千万不要人为的降低这个限制﹐不过﹐如果网络条件需要比默认值更多﹐则可以提高它(或许还要增加内存)。(事实上做NAT的时候最好可以适当地增加该值)


tcp_tw_recycle

:BOOLEAN

默认值是0

打开快速 TIME-WAIT sockets 回收。除非得到技术专家的建议或要求﹐请不要随意修改这个值。(做NAT的时候,建议打开它)


tcp_tw_reuse

:BOOLEAN

默认值是0

该文件表示是否允许重新应用处于TIME-WAIT状态的socket用于新的TCP连接(这个对快速重启动某些服务,而启动后提示端口已经被使用的情形非常有帮助)


tcp_max_orphans

:INTEGER

缺省值是8192

系统所能处理不属于任何进程的TCP sockets最大数量。假如超过这个数量﹐那么不属于任何进程的连接会被立即reset,并同时显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐千万不要依赖这个或是人为的降低这个限制(这个值Redhat AS版本中设置为32768,但是很多防火墙修改的时候,建议该值修改为2000)


tcp_abort_on_overflow

:BOOLEAN

缺省值是0

当守护进程太忙而不能接受新的连接,就象对方发送reset消息,默认值是false。这意味着当溢出的原因是因为一个偶然的猝发,那么连接将恢复状态。只有在你确信守护进程真的不能完成连接请求时才打开该选项,该选项会影响客户的使用。(对待已经满载的sendmail,apache这类服务的时候,这个可以很快让客户端终止连接,可以给予服务程序处理已有连接的缓冲机会,所以很多防火墙上推荐打开它)


tcp_syncookies

:BOOLEAN

默认值是0

只有在内核编译时选择了CONFIG_SYNCOOKIES时才会发生作用。当出现syn等候队列出现溢出时象对方发送syncookies。目的是为了防止syn flood攻击。

注意:该选项千万不能用于那些没有收到攻击的高负载服务器,如果在日志中出现synflood消息,但是调查发现没有收到synflood攻击,而是合法用户的连接负载过高的原因,你应该调整其它参数来提高服务器性能。参考:


tcp_max_syn_backlog


tcp_synack_retries




tcp_abort_on_overflow



syncookie严重的违背TCP协议,不允许使用TCP扩展,可能对某些服务导致严重的性能影响(如SMTP转发)。(注意,该实现与BSD上面使用的tcp proxy一样,是违反了RFC中关于tcp连接的三次握手实现的,但是对于防御syn-flood的确很有用.)


tcp_stdurg

:BOOLEAN

默认值为0

使用 TCP urg pointer 字段中的主机请求解释功能。大部份的主机都使用老旧的 BSD解释,因此如果您在 Linux 打开它﹐或会导致不能和它们正确沟通。


tcp_max_syn_backlog

:INTEGER

对于那些依然还未获得客户端确认的连接请求﹐需要保存在队列中最大数目。对于超过 128Mb 内存的系统﹐默认值是 1024 ﹐低于 128Mb 的则为 128。如果服务器经常出现过载﹐可以尝试增加这个数字。警告﹗假如您将此值设为大于 1024﹐最好修改

include/net/tcp.h

里面的

TCP_SYNQ_HSIZE

﹐以保持

TCP_SYNQ_HSIZE*16(SYN Flood攻击利用TCP协议散布握手的缺陷,伪造虚假源IP地址发送大量TCP-SYN半打开连接到目标系统,最终导致目标系统Socket队列资源耗尽而无法接受新的连接。为了应付这种攻击,现代Unix系统中普遍采用多连接队列处理的方式来缓冲(而不是解决)这种攻击,是用一个基本队列处理正常的完全连接应用(Connect()和Accept() ),是用另一个队列单独存放半打开连接。这种双队列处理方式和其他一些系统内核措施(例如Syn-Cookies/Caches)联合应用时,能够比较有效的缓解小规模的SYN Flood攻击(事实证明)



tcp_window_scaling

:INTEGER


缺省值为1


该文件表示设置tcp/ip会话的滑动窗口大小是否可变。参数值为布尔值,为1时表示可变,为0时表示不可变。tcp/ip通常使用的窗口最大可达到 65535 字节,对于高速网络,该值可能太小,这时候如果启用了该功能,可以使tcp/ip滑动窗口大小增大数个数量级,从而提高数据传输的能力(RFC 1323)。(对普通地百M网络而言,关闭会降低开销,所以如果不是高速网络,可以考虑设置为0)



tcp_timestamps

:BOOLEAN


缺省值为1


Timestamps 用在其它一些东西中﹐可以防范那些伪造的 sequence 号码。一条1G的宽带线路或许会重遇到带 out-of-line数值的旧sequence 号码(假如它是由于上次产生的)。Timestamp 会让它知道这是个 ‘旧封包’。(该文件表示是否启用以一种比超时重发更精确的方法(RFC 1323)来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。)



tcp_sack

:BOOLEAN


缺省值为1


使用 Selective ACK﹐它可以用来查找特定的遗失的数据报— 因此有助于快速恢复状态。该文件表示是否启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段)。(对于广域网通信来说这个选项应该启用,但是这会增加对 CPU 的占用。)



tcp_fack

:BOOLEAN


缺省值为1


打开FACK拥塞避免和快速重传功能。(注意,当

tcp_sack

设置为0的时候,这个值即使设置为1也无效)



tcp_dsack

:BOOLEAN


缺省值为1


允许TCP发送”两个完全相同”的SACK。



tcp_ecn

:BOOLEAN


缺省值为0


打开TCP的直接拥塞通告功能。



tcp_reordering

:INTEGER


默认值是3


TCP流中重排序的数据报最大数量 。 (一般有看到推荐把这个数值略微调整大一些,比如5)



tcp_retrans_collapse

:BOOLEAN


缺省值为1


对于某些有bug的打印机提供针对其bug的兼容性。(一般不需要这个支持,可以关闭它)



tcp_wmem

(3个INTEGER变量):

min

,

default

,

max



min

:为TCP socket预留用于发送缓冲的内存最小值。每个tcp socket都可以在建议以后都可以使用它。默认值为4096(4K)。



default

:为TCP socket预留用于发送缓冲的内存数量,默认情况下该值会影响其它协议使用的

net.core.wmem_default

值,一般要低于

net.core.wmem_default

的值。默认值为16384(16K)。



max

: 用于TCP socket发送缓冲的内存最大值。该值不会影响

net.core.wmem_max

,”静态”选择参数SO_SNDBUF则不受该值影响。默认值为131072(128K)。(对于服务器而言,增加这个参数的值对于发送数据很有帮助,在我的网络环境中,修改为了51200 131072 204800)



tcp_rmem

(3个INTEGER变量):

min

,

default

,

max



min

:为TCP socket预留用于接收缓冲的内存数量,即使在内存出现紧张情况下tcp socket都至少会有这么多数量的内存用于接收缓冲,默认值为8K。



default

:为TCP socket预留用于接收缓冲的内存数量,默认情况下该值影响其它协议使用的

net.core.wmem_default

值。该值决定了在

tcp_adv_win_scale



tcp_app_win



tcp_app_win

=0默认值情况下,TCP窗口大小为65535。默认值为87380



max

:用于TCP socket接收缓冲的内存最大值。该值不会影响 net.core.wmem_max,”静态”选择参数 SO_SNDBUF则不受该值影响。默认值为 128K。默认值为87380*2 bytes。(可以看出,.max的设置最好是default的两倍,对于NAT来说主要该增加它,我的网络里为 51200 131072 204800)



tcp_mem

(3个INTEGER变量):

low

,

pressure

,

high



low

:当TCP使用了低于该值的内存页面数时,TCP不会考虑释放内存。(理想情况下,这个值应与指定给 tcp_wmem 的第 2 个值相匹配 – 这第 2 个值表明,最大页面大小乘以最大并发请求数除以页大小 (131072 * 300 / 4096)。 )



pressure

:当TCP使用了超过该值的内存页面数量时,TCP试图稳定其内存使用,进入pressure模式,当内存消耗低于low值时则退出pressure状态。(理想情况下这个值应该是 TCP 可以使用的总缓冲区大小的最大值 (204800 * 300 / 4096)。 )



high

:允许所有tcp sockets用于排队缓冲数据报的页面量。(如果超过这个值,TCP 连接将被拒绝,这就是为什么不要令其过于保守 (512000 * 300 / 4096) 的原因了。 在这种情况下,提供的价值很大,它能处理很多连接,是所预期的 2.5 倍;或者使现有连接能够传输 2.5 倍的数据。 我的网络里为192000 300000 732000)


一般情况下这些值是在系统启动时根据系统内存数量计算得到的。



tcp_app_win

: INTEGER


默认值是31


保留max(window/2^tcp_app_win, mss)数量的窗口由于应用缓冲。当为0时表示不需要缓冲。



tcp_adv_win_scale

: INTEGER


默认值为2


计算缓冲开销bytes/2^tcp_adv_win_scale(如果tcp_adv_win_scale > 0)或者bytes-bytes/2^(-tcp_adv_win_scale)(如果tcp_adv_win_scale BOOLEAN


缺省值为0


这个开关可以启动对于在RFC1337中描述的”tcp 的time-wait暗杀危机”问题的修复。启用后,内核将丢弃那些发往time-wait状态TCP套接字的RST 包.



tcp_low_latency

: BOOLEAN


缺省值为0


允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项一般情形是的禁用。(但在构建Beowulf 集群的时候,打开它很有帮助)



tcp_westwood

:BOOLEAN


缺省值为0


启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN 通信来说应该启用这个选项。



tcp_bic

:BOOLEAN


缺省值为0


为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于 WAN 通信应该启用这个选项。

linux内核参数优化

proc/sys/net/core/wmem_max

最大socket写buffer,可参考的优化值:873200

/proc/sys/net/core/rmem_max

最大socket读buffer,可参考的优化值:873200

/proc/sys/net/ipv4/tcp_wmem

TCP写buffer,可参考的优化值: 8192 436600 873200

/proc/sys/net/ipv4/tcp_rmem

TCP读buffer,可参考的优化值: 32768 436600 873200

/proc/sys/net/ipv4/tcp_mem

同样有3个值,意思是:

net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力.

net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段.

net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket.

上述内存单位是页,而不是字节.可参考的优化值是:786432 1048576 1572864

/proc/sys/net/core/netdev_max_backlog

进入包的最大设备队列.默认是300,对重负载服务器而言,该值太低,可调整到1000

/proc/sys/net/core/somaxconn

listen()的默认参数,挂起请求的最大数量.默认是128.对繁忙的服务器,增加该值有助于网络性能.可调整到256.

/proc/sys/net/core/optmem_max

socket buffer的最大初始化值,默认10K

/proc/sys/net/ipv4/tcp_max_syn_backlog

进入SYN包的最大请求队列.默认1024.对重负载服务器,可调整到2048

/proc/sys/net/ipv4/tcp_retries2

TCP失败重传次数,默认值15,意味着重传15次才彻底放弃.可减少到5,尽早释放内核资源.

/proc/sys/net/ipv4/tcp_keepalive_time

/proc/sys/net/ipv4/tcp_keepalive_intvl

/proc/sys/net/ipv4/tcp_keepalive_probes

这3个参数与TCP KeepAlive有关.默认值是:

tcp_keepalive_time = 7200 seconds (2 hours)

tcp_keepalive_probes = 9

tcp_keepalive_intvl = 75 seconds

意思是如果某个TCP连接在idle 2个小时后,内核才发起probe.如果probe 9次(每次75秒)不成功,内核才彻底放弃,认为该连接已失效.对服务器而言,显然上述值太大. 可调整到:

/proc/sys/net/ipv4/tcp_keepalive_time 1800

/proc/sys/net/ipv4/tcp_keepalive_intvl 30

/proc/sys/net/ipv4/tcp_keepalive_probes 3

/proc/sys/net/ipv4/ip_local_port_range

指定端口范围的一个配置,默认是32768 61000,已够大.

net.ipv4.tcp_syncookies = 1

表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;

net.ipv4.tcp_tw_reuse = 1

表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;

net.ipv4.tcp_tw_recycle = 1

表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。

net.ipv4.tcp_fin_timeout = 30

表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。

net.ipv4.tcp_keepalive_time = 1200

表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分钟。

net.ipv4.ip_local_port_range = 1024 65000

表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为1024到65000。

net.ipv4.tcp_max_syn_backlog = 8192

表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。

net.ipv4.tcp_max_tw_buckets = 5000

表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。默认为 180000,改为 5000。对于Apache、Nginx等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量,但是对于Squid,效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量,避免Squid服务器被大量的TIME_WAIT套接字拖死。

Linux上的NAT与iptables

谈起Linux上的NAT,大多数人会跟你提到iptables。原因是因为iptables是目前在linux上实现NAT的一个非常好的接口。它通过和内核级直接操作网络包,效率和稳定性都非常高。这里简单列举一些NAT相关的iptables实例命令,可能对于大多数实现有多帮助。

这里说明一下,为了节省篇幅,这里把准备工作的命令略去了,仅仅列出核心步骤命令,所以如果你单单执行这些没有实现功能的话,很可能由于准备工作没有做好。如果你对整个命令细节感兴趣的话,可以直接访问我的《如何让你的Linux网关更强大》系列文章,其中对于各个脚本有详细的说明和描述。

# 案例1:实现网关的MASQUERADE

# 具体功能:内网网卡是eth1,外网eth0,使得内网指定本服务做网关可以访问外网

EXTERNAL=”eth0″

INTERNAL=”eth1″

# 这一步开启ip转发支持,这是NAT实现的前提

echo 1 > /proc/sys/net/ipv4/ip_forward

iptables -t nat -A POSTROUTING -o $EXTERNAL -j MASQUERADE

# 案例2:实现网关的简单端口映射

# 具体功能:实现外网通过访问网关的外部ip:80,可以直接达到访问私有网络内的一台主机192.168.1.10:80效果

LOCAL_EX_IP=11.22.33.44 #设定网关的外网卡ip,对于多ip情况,参考《如何让你的Linux网关更强大》系列文章

LOCAL_IN_IP=192.168.1.1  #设定网关的内网卡ip

INTERNAL=”eth1″ #设定内网卡

# 这一步开启ip转发支持,这是NAT实现的前提

echo 1 > /proc/sys/net/ipv4/ip_forward

# 加载需要的ip模块,下面两个是ftp相关的模块,如果有其他特殊需求,也需要加进来

modprobe ip_conntrack_ftp

modprobe ip_nat_ftp

# 这一步实现目标地址指向网关外部ip:80的访问都吧目标地址改成192.168.1.10:80

iptables -t nat -A PREROUTING -d $LOCAL_EX_IP -p tcp –dport 80 -j DNAT –to 192.168.1.10

# 这一步实现把目标地址指向192.168.1.10:80的数据包的源地址改成网关自己的本地ip,这里是192.168.1.1

iptables -t nat -A POSTROUTING -d 192.168.1.10 -p tcp –dport 80 -j SNAT –to $LOCAL_IN_IP

# 在FORWARD链上添加到192.168.1.10:80的允许,否则不能实现转发

iptables -A FORWARD -o $INTERNAL -d 192.168.1.10 -p tcp –dport 80 -j ACCEPT

# 通过上面重要的三句话之后,实现的效果是,通过网关的外网ip:80访问,全部转发到内网的192.168.1.10:80端口,实现典型的端口映射

# 特别注意,所有被转发过的数据都是源地址是网关内网ip的数据包,所以192.168.1.10上看到的所有访问都好像是网关发过来的一样,而看不到外部ip

# 一个重要的思想:数据包根据“从哪里来,回哪里去”的策略来走,所以不必担心回头数据的问题

# 现在还有一个问题,网关自己访问自己的外网ip:80,是不会被NAT到192.168.1.10的,这不是一个严重的问题,但让人很不爽,解决的方法如下:

iptables -t nat -A OUTPUT -d $LOCAL_EX_IP -p tcp –dport 80 -j DNAT –to 192.168.1.10

获取系统中的NAT信息和诊断错误

了解/proc目录的意义

在Linux系统中,/proc是一个特殊的目录,proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。它包含当前系统的一些参数(variables)和状态(status)情况。它以文件系统的方式为访问系统内核数据的操作提供接口

通过/proc可以了解到系统当前的一些重要信息,包括磁盘使用情况,内存使用状况,硬件信息,网络使用情况等等,很多系统监控工具(如HotSaNIC)都通过/proc目录获取系统数据。

另一方面通过直接操作/proc中的参数可以实现系统内核参数的调节,比如是否允许ip转发,syn-cookie是否打开,tcp超时时间等。

获得参数的方式:

第一种:cat /proc/xxx/xxx,如 cat /proc/sys/net/ipv4/conf/all/rp_filter

第二种:sysctl xxx.xxx.xxx,如 sysctl net.ipv4.conf.all.rp_filter

改变参数的方式:

第一种:echo value > /proc/xxx/xxx,如 echo 1 > /proc/sys/net/ipv4/conf/all/rp_filter

第二种:sysctl [-w] variable=value,如 sysctl [-w] net.ipv4.conf.all.rp_filter=1

以上设定系统参数的方式只对当前系统有效,重起系统就没了,想要保存下来,需要写入/etc/sysctl.conf文件中

通过执行 man 5 proc可以获得一些关于proc目录的介绍

查看系统中的NAT情况

和NAT相关的系统变量

/proc/slabinfo:内核缓存使用情况统计信息(Kernel slab allocator statistics)

/proc/sys/net/ipv4/ip_conntrack_max:系统支持的最大ipv4连接数,默认65536(事实上这也是理论最大值)

/proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 已建立的tcp连接的超时时间,默认432000,也就是5天

和NAT相关的状态值

/proc/net/ip_conntrack:当前的前被跟踪的连接状况,nat翻译表就在这里体现(对于一个网关为主要功能的Linux主机,里面大部分信息是NAT翻译表)

/proc/sys/net/ipv4/ip_local_port_range:本地开放端口范围,这个范围同样会间接限制NAT表规模

# 1. 查看当前系统支持的最大连接数

cat /proc/sys/net/ipv4/ip_conntrack_max

# 值:默认65536,同时这个值和你的内存大小有关,如果内存128M,这个值最大8192,1G以上内存这个值都是默认65536

# 影响:这个值决定了你作为NAT网关的工作能力上限,所有局域网内通过这台网关对外的连接都将占用一个连接,如果这个值太低,将会影响吞吐量

# 2. 查看tcp连接超时时间

cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established

# 值:默认432000(秒),也就是5天

# 影响:这个值过大将导致一些可能已经不用的连接常驻于内存中,占用大量链接资源,从而可能导致NAT ip_conntrack: table full的问题

# 建议:对于NAT负载相对本机的 NAT表大小很紧张的时候,可能需要考虑缩小这个值,以尽早清除连接,保证有可用的连接资源;如果不紧张,不必修改

# 3. 查看NAT表使用情况(判断NAT表资源是否紧张)

# 执行下面的命令可以查看你的网关中NAT表情况

cat /proc/net/ip_conntrack

# 4. 查看本地开放端口的范围

cat /proc/sys/net/ipv4/ip_local_port_range

# 返回两个值,最小值和最大值

# 下面的命令帮你明确一下NAT表的规模

wc -l /proc/net/ip_conntrack

#或者

grep ip_conntrack /proc/slabinfo | grep -v expect | awk ‘{print $1 ‘,’ $2;}’

# 下面的命令帮你明确可用的NAT表项,如果这个值比较大,那就说明NAT表资源不紧张

grep ip_conntrack /proc/slabinfo | grep -v expect | awk ‘{print $1 ‘,’ $3;}’

# 下面的命令帮你统计NAT表中占用端口最多的几个ip,很有可能这些家伙再做一些bt的事情,嗯bt的事情:-)

cat /proc/net/ip_conntrack | cut -d ‘ ‘ -f 10 | cut -d ‘=’ -f 2 | sort | uniq -c | sort -nr | head -n 10

# 上面这个命令有点瑕疵cut -d’ ‘ -f10会因为命令输出有些行缺项而造成统计偏差,下面给出一个正确的写法:

cat /proc/net/ip_conntrack | perl -pe s/^\\(.*?\\)src/src/g | cut -d ‘ ‘ -f1 | cut -d ‘=’ -f2 | sort | uniq -c | sort -nr | head -n 10


linux内核调整和内核参数详解


1

、linux内核参数注释

以下表格中红色字体为常用优化参数

根据参数文件所处目录不同而进行分表整理

下列文件所在目录:/proc/sys/net/ipv4/


名称


默认值


建议值


描述



tcp_syn_retries

5

1


对于一个新建连接,内核要发送多少个

SYN

连接请求才决定放弃。不应该大于

255

,默认值是

5

,对应于

180

秒左右时间。。

(

对于大负载而物理通信良好的网络而言

,

这个值偏高

,

可修改为

2.

这个值仅仅是针对对外的连接

,

对进来的连接

,

是由



tcp_retries1



决定的

)



tcp_synack_retries

5

1


对于远端的连接请求

SYN

,内核会发送

SYN



ACK

数据报,以确认收到上一个

SYN

连接请求包。


这是所谓的三次握手

( threeway handshake)

机制的第二个步骤。这里决定内核在放弃连接之前所送出的

SYN+ACK

数目。不应该大于

255

,默认值是

5

,对应于

180

秒左右时间。



tcp_keepalive_time

7200

600


TCP


发送


keepalive


探测消息的间隔时间(秒),用于确认


TCP


连接是否有效。


防止两边建立连接但不发送数据的攻击。



tcp_keepalive_probes

9

3


TCP


发送


keepalive


探测消息的间隔时间(秒),用于确认


TCP


连接是否有效。



tcp_keepalive_intvl

75

15


探测消息未获得响应时,重发该消息的间隔时间(秒)。


默认值为

75

秒。

(

对于普通应用来说

,

这个值有一些偏大

,

可以根据需要改小

.

特别是

web

类服务器需要改小该值

,15

是个比较合适的值

)



tcp_retries1

3

3


放弃回应一个

TCP

连接请求前﹐需要进行多少次重试。

RFC

规定最低的数值是

3



tcp_retries2

15

5


在丢弃激活

(

已建立通讯状况

)



TCP

连接之前﹐需要进行多少次重试。默认值为

15

,根据

RTO

的值来决定,相当于

13-30

分钟

(RFC1122

规定,必须大于

100



).(

这个值根据目前的网络设置

,

可以适当地改小

,

我的网络内修改为了

5)



tcp_orphan_retries

7

3


在近端丢弃

TCP

连接之前﹐要进行多少次重试。默认值是

7

个﹐相当于

50



– 16

分钟﹐视

RTO

而定。如果您的系统是负载很大的

web

服务器﹐那么也许需要降低该值﹐这类

sockets

可能会耗费大量的资源。另外参的考



tcp_max_orphans





(

事实上做

NAT

的时候

,

降低该值也是好处显著的

,

我本人的网络环境中降低该值为

3)



tcp_fin_timeout

60

2


对于本端断开的

socket

连接,

TCP

保持在

FIN-WAIT-2

状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。


默认值为

60

秒。



tcp_max_tw_buckets

180000


36000


系统在同时所处理的最大

timewait sockets

数目。如果超过此数的话﹐

time-wait socket

会被立即砍除并且显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的

DoS

攻击﹐不过﹐如果网络条件需要比默认值更多﹐则可以提高它

(

或许还要增加内存

)



(

事实上做

NAT

的时候最好可以适当地增加该值

)



tcp_tw_recycle

0

1


打开快速

TIME-WAIT sockets

回收。除非得到技术专家的建议或要求﹐请不要随意修改这个值。

(



NAT

的时候,建议打开它

)



tcp_tw_reuse

0

1


表示是否允许重新应用处于

TIME-WAIT

状态的

socket

用于新的

TCP

连接

(

这个对快速重启动某些服务

,

而启动后提示端口已经被使用的情形非常有帮助

)



tcp_max_orphans

8192

32768


系统所能处理不属于任何进程的

TCP sockets

最大数量。假如超过这个数量﹐那么不属于任何进程的连接会被立即

reset

,并同时显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的

DoS

攻击﹐千万不要依赖这个或是人为的降低这个限制。如果内存大更应该增加这个值。

(

这个值

Redhat AS

版本中设置为

32768,

但是很多防火墙修改的时候

,

建议该值修改为

2000)



tcp_abort_on_overflow

0

0


当守护进程太忙而不能接受新的连接,就象对方发送

reset

消息,默认值是

false

。这意味着当溢出的原因是因为一个偶然的猝发,那么连接将恢复状态。只有在你确信守护进程真的不能完成连接请求时才打开该选项,该选项会影响客户的使用。

(

对待已经满载的

sendmail,apache

这类服务的时候

,

这个可以很快让客户端终止连接

,

可以给予服务程序处理已有连接的缓冲机会

,

所以很多防火墙上推荐打开它

)



tcp_syncookies

0

1


只有在内核编译时选择了

CONFIG_SYNCOOKIES

时才会发生作用。当出现

syn

等候队列出现溢出时象对方发送

syncookies




目的是为了防止

syn flood

攻击。



tcp_stdurg

0

0


使用

TCP urg pointer

字段中的主机请求解释功能。大部份的主机都使用老旧的

BSD

解释,因此如果您在

Linux

打开它﹐或会导致不能和它们正确沟通。



tcp_max_syn_backlog

1024

16384


对于那些依然还未获得客户端确认的连接请求﹐需要保存在队列中最大数目。对于超过

128Mb

内存的系统﹐默认值是

1024

﹐低于

128Mb

的则为

128

。如果服务器经常出现过载﹐可以尝试增加这个数字。警告﹗假如您将此值设为大于

1024

﹐最好修改


include/net/tcp.h


里面的


TCP_SYNQ_HSIZE


﹐以保持


TCP_SYNQ_HSIZE*16(SYN Flood


攻击利用


TCP


协议散布握手的缺陷,伪造虚假源


IP


地址发送大量


TCP-SYN


半打开连接到目标系统,最终导致目标系统


Socket


队列资源耗尽而无法接受新的连接。为了应付这种攻击,现代


Unix


系统中普遍采用多连接队列处理的方式来缓冲


(


而不是解决


)


这种攻击,是用一个基本队列处理正常的完全连接应用


(Connect()





Accept() )


,是用另一个队列单独存放半打开连接。


这种双队列处理方式和其他一些系统内核措施


(


例如


Syn-Cookies/Caches)


联合应用时,能够比较有效的缓解小规模的


SYN Flood


攻击


(


事实证明


)



tcp_window_scaling

1

1


该文件表示设置

tcp/ip

会话的滑动窗口大小是否可变。参数值为布尔值,为

1

时表示可变,为

0

时表示不可变。

tcp/ip

通常使用的窗口最大可达到

65535

字节,对于高速网络,该值可能太小,这时候如果启用了该功能,可以使

tcp/ip

滑动窗口大小增大数个数量级,从而提高数据传输的能力

(RFC 1323)

。(对普通地百

M

网络而言,关闭会降低开销,所以如果不是高速网络,可以考虑设置为

0




tcp_timestamps

1

1

Timestamps

用在其它一些东西中﹐可以防范那些伪造的

sequence

号码。一条

1G

的宽带线路或许会重遇到带

out-of-line

数值的旧

sequence

号码

(

假如它是由于上次产生的

)



Timestamp

会让它知道这是个



旧封包





(

该文件表示是否启用以一种比超时重发更精确的方法(

RFC 1323

)来启用对

RTT

的计算;为了实现更好的性能应该启用这个选项。

)



tcp_sack

1

1


使用

Selective ACK

﹐它可以用来查找特定的遗失的数据报



因此有助于快速恢复状态。该文件表示是否启用有选择的应答(

Selective Acknowledgment

),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段)。

(

对于广域网通信来说这个选项应该启用,但是这会增加对

CPU

的占用。

)



tcp_fack

1

1


打开

FACK

拥塞避免和快速重传功能。

(

注意,当



tcp_sack



设置为

0

的时候,这个值即使设置为

1

也无效

)[

这个是


TCP


连接靠谱的核心功能

]



tcp_dsack

1

1


允许

TCP

发送



两个完全相同





SACK




tcp_ecn

0

0

TCP

的直接拥塞通告功能。



tcp_reordering

3

6

TCP

流中重排序的数据报最大数量




(

一般有看到推荐把这个数值略微调整大一些

,

比如

5)



tcp_retrans_collapse

1

0


对于某些有

bug

的打印机提供针对其

bug

的兼容性。

(

一般不需要这个支持

,

可以关闭它

)






tcp_wmem










min







default







max



4096

16384

131072

8192

131072


16777216


发送缓存设置


min


:为TCP socket预留用于发送缓冲的内存最小值。每个tcp socket都可以在建议以后都可以使用它。默认值为4096(4K)。


default


:为TCP socket预留用于发送缓冲的内存数量,默认情况下该值会影响其它协议使用的net.core.wmem_default 值,一般要低于net.core.wmem_default的值。默认值为16384(16K)。


max:


用于TCP socket发送缓冲的内存最大值。该值不会影响net.core.wmem_max,”静态”选择参数SO_SNDBUF则不受该值影响。默认值为131072(128K)。(对于服务器而言,增加这个参数的值对于发送数据很有帮助,在我的网络环境中,修改为了51200 131072 204800)



tcp_




r




mem









min







default







max




4096



87380


174760


32768


131072


16777216


接收缓存设置




tcp_wmem



tcp_mem









min







default







max




根据内存计算


786432


1048576 1572864



low



:当TCP使用了低于该值的内存页面数时,TCP不会考虑释放内存。即低于此值没有内存压力。(理想情况下,这个值应与指定给 tcp_wmem 的第 2 个值相匹配 – 这第 2 个值表明,最大页面大小乘以最大并发请求数除以页大小 (131072 * 300 / 4096)。 )



pressure



:当TCP使用了超过该值的内存页面数量时,TCP试图稳定其内存使用,进入pressure模式,当内存消耗低于low值时则退出pressure状态。(理想情况下这个值应该是 TCP 可以使用的总缓冲区大小的最大值 (204800 * 300 / 4096)。 )



high



:允许所有tcp sockets用于排队缓冲数据报的页面量。(如果超过这个值,TCP 连接将被拒绝,这就是为什么不要令其过于保守 (512000 * 300 / 4096) 的原因了。 在这种情况下,提供的价值很大,它能处理很多连接,是所预期的 2.5 倍;或者使现有连接能够传输 2.5 倍的数据。 我的网络里为192000 300000 732000)


一般情况下这些值是在系统启动时根据系统内存数量计算得到的。



tcp_app_win

31

31


保留

max(window/2^tcp_app_win, mss)

数量的窗口由于应用缓冲。当为

0

时表示不需要缓冲。



tcp_adv_win_scale

2

2


计算缓冲开销

bytes/2^tcp_adv_win_scale(

如果

tcp_adv_win_scale > 0)

或者

bytes-bytes/2^(-tcp_adv_win_scale)(

如果

tcp_adv_win_scale BOOLEAN>0)



tcp_low_latency

0

0


允许

TCP/IP

栈适应在高吞吐量情况下低延时的情况;这个选项一般情形是的禁用。

(

但在构建

Beowulf

集群的时候

,

打开它很有帮助

)



tcp_westwood

0

0


启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于

WAN

通信来说应该启用这个选项。



tcp_bic

0

0


为快速长距离网络启用

Binary Increase Congestion

;这样可以更好地利用以

GB

速度进行操作的链接;对于

WAN

通信应该启用这个选项。


ip_forward

0



NAT

必须开启

IP

转发支持,把该值写

1



ip_local_port_range



:


min


max

32768

61000

1024

65000


表示用于向外连接的端口范围


,默认比较小,这个范围同样会间接用于

NAT

表规模。






ip_conntrack_max


65535

65535


系统支持的最大

ipv4

连接数,默认

65536

(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存

128M

,这个值最大

8192



1G

以上内存这个值都是默认

65536



所处目录

/proc/sys/net/ipv4/netfilter/


文件需要打开防火墙才会存在


名称


默认值


建议值


描述



ip_conntrack_max

65536

65536


系统支持的最大

ipv4

连接数,默认

65536

(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存

128M

,这个值最大

8192



1G

以上内存这个值都是默认

65536,

这个值受

/proc/sys/net/ipv4/ip_conntrack_max

限制






ip_conntrack_tcp_timeout_established


432000

180


已建立的

tcp

连接的超时时间,默认

432000

,也就是

5

天。


影响:这个值过大将导致一些可能已经不用的连接常驻于内存中,占用大量链接资源,从而可能导致


NAT ip_conntrack: table full


的问题





建议:对于


NAT


负载相对本机的


NAT


表大小很紧张的时候,可能需要考虑缩小这个值,以尽早清除连接,保证有可用的连接资源;如果不紧张,不必修改






ip_conntrack_tcp_timeout_time_wait


120

120

time_wait

状态超时时间,超过该时间就清除该连接



ip_conntrack_tcp_timeout_close_wait

60

60

close_wait

状态超时时间,超过该时间就清除该连接



ip_conntrack_tcp_timeout_fin_wait

120

120

fin_wait

状态超时时间,超过该时间就清除该连接



文件所处目录




/proc/sys/net/core/


名称


默认值


建议值


描述





netdev_max_backlog







1024

16384


每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目,对重负载服务器而言,该值需要调高一点。


somaxconn




128

16384


用来限制监听(LISTEN)队列最大数据包的数量,超过这个数量就会导致链接超时或者触发重传机制。


web


应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。对繁忙的服务器,增加该值有助于网络性能





wmem_default

129024

129024


默认的发送窗口大小


(以字节为单位)


rmem_default

129024

129024


默认的接收窗口大小


(以字节为单位)







rmem_max

129024


873200


最大的TCP数据接收缓冲


wmem_max

129024


873200


最大的TCP数据发送缓冲





3

、内核生产环境优化参数

这儿所列参数是老男孩老师生产中常用的参数:

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_keepalive_time = 600

net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_keepalive_intvl =15

net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_fin_timeout = 2

net.ipv4.tcp_max_tw_buckets = 36000

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_max_orphans = 32768

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_wmem = 8192 131072 16777216

net.ipv4.tcp_rmem = 32768 131072 16777216

net.ipv4.tcp_mem = 786432 1048576 1572864

net.ipv4.ip_local_port_range = 1024 65000

net.ipv4.ip_conntrack_max = 65536

net.ipv4.netfilter.ip_conntrack_max=65536

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180

net.core.somaxconn = 16384

net.core.netdev_max_backlog = 16384

Linux内核参数优化

http://flandycheng.blog.51cto.com/855176/476769


优化Linux的内核参数来提高服务器并发处理能力

本文转自 a120518129 51CTO博客,原文链接:http://blog.51cto.com/silencezone/1871772,如需转载请自行联系原作者