WEBKT

高并发架构实战：深度调优 Linux 内核参数，压榨 Nginx 性能极限

3 0 0 0

在高性能 Web 服务的世界里，Nginx 往往被视为处理高并发的利器。然而，许多开发者在完成 nginx.conf 的基本配置后，发现压力测试下的 QPS 依然卡在瓶颈，或者频繁出现 502/504 错误。

事实上，Nginx 运行在 Linux 内核之上，其性能上限高度依赖于操作系统的网络栈配置。默认的 Linux 内核参数多是为通用服务器设计的，对于每秒承载数万次请求的边缘网关来说过于保守。本文将带你深入内核，通过调整以 net.core.somaxconn 为核心的参数，彻底释放 Nginx 的潜力。

一、 核心战区：TCP 连接队列的扩张

当一个客户端发起 TCP 连接时，内核会维护两个队列：**SYN 队列（半连接队列）**和 Accept 队列（全连接队列）。如果这两个队列满了，新的连接就会被丢弃或超时。

1. net.core.somaxconn（全连接队列）

这是题目中提到的核心参数。它定义了内核中监听（Listen）套接字的最大积压队列长度。

  • 痛点：默认值通常是 128，在高并发突发流量下，这个值会被瞬间填满，导致后续连接被拒绝。
  • 调优方案：建议将其提升至 8192 或更高。
    sysctl -w net.core.somaxconn=65535
  • 同步配置：注意，Nginx 的 listen 指令也有一个 backlog 参数，默认是 511。你必须同步修改它，内核参数的修改才会生效：
    listen 80 backlog=65535;

2. net.ipv4.tcp_max_syn_backlog（半连接队列）

记录尚未收到客户端 ACK 的连接（SYN_RECV 状态）。

  • 调优方案：在高并发环境下，建议增加该值以防止 SYN 洪水攻击或正常高频连接导致的队列溢出。
    sysctl -w net.ipv4.tcp_max_syn_backlog=65535

二、 解决端口饥饿与回收

当 Nginx 作为反向代理时，它会作为客户端去连接后端（Upstream）。每个连接都需要占用一个临时端口。

1. net.ipv4.ip_local_port_range

限制了系统可以分配的临时端口范围。

  • 调优方案：扩大范围，释放更多可用端口。
    sysctl -w net.ipv4.ip_local_port_range="1024 65535"

2. net.ipv4.tcp_tw_reuse

在 Linux 4.x 及更高版本中，这是优化 TIME_WAIT 状态连接的安全方式。

  • 作用：允许内核将处于 TIME_WAIT 状态的套接字重新用于新的 TCP 连接。
  • 注意：不要开启 tcp_tw_recycle（在 4.12 后的内核中已被移除），因为它在 NAT 环境下会导致严重的连接问题。
    sysctl -w net.ipv4.tcp_tw_reuse=1

三、 文件句柄：打破“万物皆文件”的限制

在 Linux 中，每个网络连接都是一个文件描述符（FD）。如果 FD 耗尽，Nginx 会抛出 "Too many open files" 错误。

1. fs.file-max

系统全局允许打开的最大文件数。

sysctl -w fs.file-max=2000000

2. 进程级别限制（ulimit）

除了内核参数，还需要修改 limits.conf 或在 Nginx 配置中指定。

  • Nginx 配置：
    worker_rlimit_nofile 65535;
events {
    worker_connections 65535;
}

四、 拥塞控制与超时优化

1. net.ipv4.tcp_fin_timeout

决定了套接字在 FIN-WAIT-2 状态下保持的时间。缩短它可以更快地释放系统资源。

sysctl -w net.ipv4.tcp_fin_timeout=30

2. net.ipv4.tcp_fastopen

如果客户端和服务器都支持，开启 TCP Fast Open 可以减少三次握手的往返时间（RTT），对移动端小流量请求优化明显。

sysctl -w net.ipv4.tcp_fastopen=3

五、 落地建议：如何使其永久生效？

临时修改可以使用 sysctl -w，但重启后会失效。建议将以下配置写入 /etc/sysctl.conf：

# 增大连接队列
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.core.netdev_max_backlog = 65535

# 优化端口复用与范围
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_tw_reuse = 1

# 调整超时时间
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 600

# 增大文件句柄
fs.file-max = 2097152

# 缓存与窗口调优
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

执行 sysctl -p 即可生效。

总结

压榨 Nginx 性能不仅仅是改改 nginx.conf。somaxconn 决定了连接的入口宽度，port_range 决定了向后端发起连接的资源储备，而 file-max 则是承载这一切的物理基石。

最后的小贴士：在调整参数后，一定要配合 ss -s 命令观察各状态连接的数量，以及查看 /var/log/messages 或 dmesg 中是否有 TCP: TCP: Possible SYN flooding on port 的报警，这能帮你验证调优是否真正触达了预期的效果。

架构师老K NginxLinux内核调优高并发性能

评论点评