用eBPF揪出TCP重传和乱序包？网络性能优化工程师的排障利器

TCP重传和乱序：网络性能的隐形杀手

作为网络性能优化工程师，你是否经常遇到这样的难题：用户抱怨应用卡顿，但服务器CPU、内存一切正常，网络带宽也看似充足？这时，很可能就是TCP重传和乱序在暗中作祟。

TCP协议为了保证数据可靠传输，引入了重传机制。当数据包在传输过程中丢失或损坏时，发送端会重新发送。而乱序则是指数据包到达接收端的顺序与发送端发送的顺序不一致。这两种情况都会导致应用性能下降，影响用户体验。

为什么TCP重传和乱序会影响性能？

• 重传： 增加了网络延迟，降低了有效带宽利用率。重传的数据包需要占用额外的带宽，并且会延迟后续数据包的传输。
• 乱序： 接收端需要花费额外的CPU资源来重新排序数据包，这会增加应用的响应时间。严重的乱序甚至可能导致TCP连接超时，需要重新建立连接。

传统的排查方法有哪些局限？

传统的网络诊断工具，如tcpdump、Wireshark，虽然可以捕获网络数据包，但分析大量数据包以找出重传和乱序包，效率低下且容易出错。而且，这些工具通常只能在服务器端进行抓包分析，无法了解客户端的网络状况。

eBPF：网络性能分析的新利器

eBPF（extended Berkeley Packet Filter）是一种强大的内核技术，它允许我们在内核中安全地运行自定义代码，而无需修改内核源码或加载内核模块。eBPF具有高性能、低开销的特点，非常适合用于网络性能分析。

eBPF如何帮助我们分析TCP重传和乱序？

我们可以利用eBPF编写程序，在内核中实时监控TCP连接的各种指标，包括：

• 重传次数： 统计每个TCP连接的重传次数，快速定位发生重传的连接。
• 乱序程度： 记录数据包的序列号，计算乱序数据包的数量和最大乱序程度。
• 延迟： 测量数据包的往返时间（RTT），判断网络是否存在拥塞。

通过eBPF，我们可以获得更全面、更精确的网络性能数据，从而快速定位和解决问题。

实战：使用eBPF分析TCP重传和乱序

下面，我们将通过一个简单的例子，演示如何使用eBPF分析TCP重传和乱序。

1. 编写eBPF程序

以下是一个简单的eBPF程序，用于统计TCP重传次数：

#include <linux/bpf.h>
#include <bpf_helpers.h>
#include <linux/tcp.h>
 
struct key_t {
    __u32 saddr;
    __u32 daddr;
    __u16 sport;
    __u16 dport;
};
 
struct data_t {
    __u64 retransmits;
};
 
BPF_HASH(retransmit_map, struct key_t, struct data_t);
 
int kprobe__tcp_retransmit_skb(struct pt_regs *ctx, struct sock *sk) {
    struct key_t key = {};
    struct data_t *data;
 
    key.saddr = sk->__sk_common.skc_rcv_saddr;
    key.daddr = sk->__sk_common.skc_daddr;
    key.sport = sk->__sk_common.skc_num;
    key.dport = sk->__sk_common.skc_dport;
 
    data = retransmit_map.lookup_or_init(&key, &(struct data_t){0});
    if (data) {
        data->retransmits++;
    }
 
    return 0;
}
 
char LICENSE[] SEC("license") = "GPL";

这个程序使用kprobe技术，在tcp_retransmit_skb函数被调用时执行。tcp_retransmit_skb函数是Linux内核中用于重传数据包的函数。程序会记录TCP连接的源IP地址、目的IP地址、源端口和目的端口，并将重传次数保存在一个哈希表中。

2. 编译和加载eBPF程序

我们需要使用LLVM和libbpf库来编译和加载eBPF程序。具体的步骤可以参考libbpf的官方文档。

3. 运行eBPF程序

编译并加载eBPF程序后，它会在内核中运行，实时统计TCP重传次数。

4. 查看结果

我们可以使用用户态程序来读取eBPF程序统计的数据。例如，可以使用Python编写一个简单的程序来读取哈希表中的数据，并将其打印出来。

from bcc import BPF
 
# 加载eBPF程序
b = BPF(src_file="retransmit.c")
 
# 打印哈希表中的数据
retransmit_map = b["retransmit_map"]
for k, v in retransmit_map.items():
    print(f"Source IP: {k.saddr}, Destination IP: {k.daddr}, Source Port: {k.sport}, Destination Port: {k.dport}, Retransmits: {v.retransmits}")

通过运行这个程序，我们可以看到每个TCP连接的重传次数。如果某个连接的重传次数很高，则说明该连接可能存在网络问题。

分析乱序数据包的eBPF程序

以下是一个分析乱序数据包的eBPF程序，需要使用tracepoint技术，在tcp:tcp_receive_reset 和 tcp:tcp_receive_data 处 hook。

#include <linux/bpf.h>
#include <bpf_helpers.h>
#include <linux/tcp.h>
#include <linux/skbuff.h>
 
// 定义一个结构体用于存储连接信息
struct pkt_key_t {
    __u32 saddr;
    __u32 daddr;
    __u16 sport;
    __u16 dport;
};
 
// 定义一个结构体用于存储乱序信息
struct pkt_data_t {
    __u64 pkts_received;  // 接收到的总包数
    __u64 out_of_order;   // 乱序的包数
    __u32 last_seq;       // 上一次收到的序列号
};
 
// 定义一个哈希表用于存储每个连接的信息
BPF_HASH(pkt_stats, struct pkt_key_t, struct pkt_data_t);
 
// 定义 tracepoint 回调函数
int tracepoint__tcp__tcp_receive_data(struct pt_regs *ctx, struct sock *sk, struct sk_buff *skb, int len) {
    // 获取连接信息
    struct pkt_key_t key = {
        .saddr = sk->__sk_common.skc_rcv_saddr,
        .daddr = sk->__sk_common.skc_daddr,
        .sport = sk->__sk_common.skc_num,
        .dport = sk->__sk_common.skc_dport
    };
 
    // 查找或初始化连接的统计信息
    struct pkt_data_t *pkt_data = pkt_stats.lookup_or_init(&key, &(struct pkt_data_t){0});
    if (!pkt_data) {
        return 0; // 内存分配失败
    }
 
    // 获取当前包的序列号
    __u32 seq = TCP_SKB_CB(skb)->seq;
 
    // 统计总包数
    pkt_data->pkts_received++;
 
    // 检查是否乱序
    if (pkt_data->pkts_received > 1 && seq != pkt_data->last_seq ) {
         if(seq < pkt_data->last_seq){
            // 可能是乱序包
            pkt_data->out_of_order++;
        }
    }
 
    // 更新上一次收到的序列号
    pkt_data->last_seq = seq + len; // 假设没有分片
 
    return 0;
}
 
char LICENSE[] SEC("license") = "GPL";

程序的关键点解析：

• 数据结构： 使用 pkt_key_t 结构体来唯一标识一个TCP连接，包括源IP地址、目的IP地址、源端口和目的端口。
• 哈希表： 使用 BPF_HASH 宏定义了一个哈希表 pkt_stats，用于存储每个连接的统计信息。 key 是 pkt_key_t 结构体，value 是 pkt_data_t 结构体。
• 乱序检测： 通过比较当前数据包的序列号 seq 和上一次收到的序列号 pkt_data->last_seq 来判断是否乱序。 TCP_SKB_CB(skb)->seq 用于获取当前数据包的序列号。
• 统计信息： pkt_data_t 结构体中包含三个成员：pkts_received（接收到的总包数）、out_of_order（乱序的包数）和 last_seq（上一次收到的序列号）。
• Seq 更新： pkt_data->last_seq = seq + len; 每次接受到一个包，都要更新期望下次接收的序列号，方便后续的乱序检测。

5. 优化建议

通过eBPF分析TCP重传和乱序，我们可以更准确地了解网络状况，并采取相应的优化措施。以下是一些常见的优化建议：

• 调整TCP参数： 可以通过调整TCP的拥塞控制算法、窗口大小等参数来优化网络性能。例如，可以使用BBR拥塞控制算法来提高带宽利用率，减少延迟。
• 优化网络设备： 检查路由器、交换机等网络设备是否存在配置问题或性能瓶颈。可以升级设备固件、调整QoS策略等来优化网络性能。
• 优化应用： 优化应用的发送和接收逻辑，减少不必要的数据传输。例如，可以使用数据压缩、缓存等技术来减少网络流量。
• 使用CDN： 使用CDN（内容分发网络）可以将内容缓存在离用户更近的节点，减少网络延迟。
• 更换网络运营商： 如果网络质量较差，可以考虑更换网络运营商。

深入理解：eBPF技术原理

为了更好地理解eBPF的强大之处，我们需要深入了解其技术原理。

1. eBPF程序的运行环境

eBPF程序运行在内核的虚拟机中。这个虚拟机具有以下特点：

• 安全： eBPF程序在运行前会经过验证器的检查，确保其不会访问非法内存、死循环或导致内核崩溃。
• 高性能： eBPF程序会被JIT（Just-In-Time）编译器编译成机器码，直接在CPU上运行，性能接近原生代码。
• 隔离： eBPF程序运行在独立的命名空间中，无法直接访问内核数据结构，需要通过辅助函数（helper functions）来与内核交互。

2. eBPF程序类型

eBPF支持多种程序类型，每种程序类型都有不同的触发方式和应用场景。常见的程序类型包括：

• kprobe/kretprobe： 在内核函数调用时或返回时执行。可以用于监控内核函数的执行情况。
• tracepoint： 在内核tracepoint处执行。tracepoint是内核中预定义的事件点，可以用于跟踪特定事件的发生。
• perf_event： 在perf事件发生时执行。perf事件包括CPU性能计数器、软件事件等，可以用于性能分析。
• socket filter： 在网络数据包到达或离开socket时执行。可以用于过滤网络数据包、修改数据包内容等。
• XDP（eXpress Data Path）： 在网卡驱动程序中执行。可以用于高性能的网络数据包处理。

3. eBPF程序的开发流程

eBPF程序的开发流程通常包括以下几个步骤：

• 编写eBPF程序： 使用C语言编写eBPF程序，并使用特殊的宏定义和辅助函数。
• 编译eBPF程序： 使用LLVM编译器将eBPF程序编译成目标代码。
• 加载eBPF程序： 使用libbpf库将eBPF程序加载到内核中。
• 运行eBPF程序： 触发eBPF程序的执行，并收集数据。
• 分析数据： 使用用户态程序分析eBPF程序收集的数据，并进行可视化展示。

eBPF的优势与局限

优势：

• 高性能： 接近原生代码的性能。
• 安全： 严格的验证机制保证内核安全。
• 灵活： 可以自定义程序逻辑，满足各种需求。
• 无需修改内核： 无需修改内核源码或加载内核模块。

局限：

• 学习曲线： 需要掌握C语言、eBPF API和内核知识。
• 开发难度： eBPF程序开发需要一定的经验和技巧。
• 兼容性： 不同的内核版本可能存在兼容性问题。

总结与展望

eBPF作为一种强大的内核技术，为网络性能分析带来了革命性的变革。通过eBPF，我们可以更深入地了解网络状况，快速定位和解决问题。虽然eBPF的学习曲线较陡峭，但掌握这项技术将使你成为一名更出色的网络性能优化工程师。

随着eBPF技术的不断发展，相信它将在网络安全、容器技术、服务网格等领域发挥更大的作用。

希望这篇文章能够帮助你更好地理解eBPF技术，并将其应用到实际工作中。 祝你早日成为eBPF高手！