Go 微服务百万并发：Linux TCP/IP 调优实战

在高并发的 Go 微服务中，网络 I/O 往往是性能瓶颈。除了应用层面的优化，针对底层 Linux 系统 TCP/IP 协议栈和 Socket 缓冲区的调优也至关重要。以下是一些 Go 服务特别敏感的优化点：

1. Socket 缓冲区大小 (TCP R/W Buffer):

• 问题： 默认的 Socket 缓冲区可能无法满足百万级并发的需求，导致数据包丢失或延迟。
• 优化： 适当增大 net.ipv4.tcp_rmem (接收缓冲区) 和 net.ipv4.tcp_wmem (发送缓冲区)。
  • net.ipv4.tcp_rmem = min default max
  • net.ipv4.tcp_wmem = min default max
  • min: 为每个 TCP socket 保证可用的最小缓冲区大小。
  • default: 默认的缓冲区大小。
  • max: 允许的最大的缓冲区大小。
• Go 代码层面： 可以使用 net.ListenConfig 和 net.Dialer 中的 Control 函数来设置 SO_RCVBUF 和 SO_SNDBUF。
• 注意： 缓冲区过大也会占用过多内存，需要根据实际情况权衡。

2. TCP 连接参数：

• 问题： 大量并发连接可能导致 TIME_WAIT 状态的连接过多，占用资源。
• 优化：
  • 开启 TCP 连接快速回收 (net.ipv4.tcp_tw_recycle = 1) 和重用 (net.ipv4.tcp_tw_reuse = 1): 注意：在有 NAT 的环境下，开启 tcp_tw_recycle 可能会导致问题，不建议开启。
  • 缩短 TIME_WAIT 时间 (net.ipv4.tcp_fin_timeout): 谨慎修改，可能导致连接问题。
  • 调整 TCP Keepalive 参数 (net.ipv4.tcp_keepalive_time, net.ipv4.tcp_keepalive_intvl, net.ipv4.tcp_keepalive_probes): 用于检测死连接，释放资源。
• Go 代码层面： 无法直接控制这些参数，需要在操作系统层面进行配置。

3. TCP拥塞控制算法：

• 问题： 默认的拥塞控制算法可能在高并发下表现不佳。
• 优化： 尝试不同的拥塞控制算法，例如 BBR 或 CUBIC。
  • sysctl net.ipv4.tcp_congestion_control=bbr
• 注意： 不同的算法适用于不同的网络环境，需要进行测试和评估。
• Go 代码层面： 无法直接控制拥塞控制算法，需要在操作系统层面进行配置。

4. 文件描述符限制：

• 问题： 在高并发场景下，可能会超过默认的文件描述符限制。
• 优化： 增大文件描述符限制 (ulimit -n)。同时需要修改 /etc/security/limits.conf 来永久生效。
• Go 代码层面： 无需修改，但需要确保程序能够正确处理文件描述符不足的错误。

5. 网络中断 (Network Interrupts) Affinity：

• 问题： 单个 CPU 核心处理所有网络中断可能成为瓶颈。
• 优化： 将网络中断绑定到不同的 CPU 核心 (IRQ Affinity)。
• 方法： 使用 irqbalance 或手动修改 /proc/irq/<中断号>/smp_affinity。
• Go 代码层面： 无需修改，但可以结合 runtime.GOMAXPROCS 来更好地利用多核 CPU。

6. 禁用 TCP Delayed ACK:

• 问题： 在某些场景下，Delayed ACK 会引入额外的延迟。
• 优化： 禁用 Delayed ACK (net.ipv4.tcp_delack_min = 0)。
• 注意： 禁用 Delayed ACK 可能会增加网络拥塞。
• Go 代码层面： 无法直接控制，需要在操作系统层面进行配置。

总结：

针对 Linux TCP/IP 协议栈和 Socket 缓冲区的优化是一个复杂的过程，需要根据具体的应用场景和网络环境进行调整。 监控是关键，使用诸如 netstat, ss, tcpdump, sar 等工具来观察系统性能，并根据监控结果进行调整。 此外，要充分理解每个参数的含义和潜在影响，避免盲目修改。

重要提示： 修改内核参数可能会影响系统稳定性，请在测试环境中进行充分测试后再应用到生产环境。