用eBPF监控网络流量？这几招让性能分析和故障排除事半功倍！

用eBPF监控网络流量？这几招让性能分析和故障排除事半功倍！

各位网络工程师、SRE、以及对底层技术充满好奇的开发者们，今天咱们来聊聊一个在网络监控领域越来越火的技术——eBPF（extended Berkeley Packet Filter）。 别听到“BPF”就觉得是老古董，加上个“e”，它可就脱胎换骨了！它能让我们在内核态安全高效地进行网络流量的监控和分析，简直是网络性能优化和故障排查的利器。 想象一下，不用再苦苦挣扎于 tcpdump 的汪洋大海，也不用担心传统的流量分析工具带来的性能损耗，eBPF 就像一位身怀绝技的忍者，悄无声息地潜伏在内核之中，精准地捕捉你关心的网络数据。

为什么选择 eBPF？

在深入技术细节之前，咱们先来搞清楚，为啥要选择 eBPF 呢？ 传统的网络监控方法，比如 tcpdump，虽然功能强大，但也有一些绕不开的局限性：

• 性能开销大：tcpdump 需要将所有的数据包拷贝到用户空间进行分析，这会消耗大量的 CPU 资源，在高流量场景下，服务器很容易被打爆。
• 灵活性不足：tcpdump 只能基于一些简单的过滤规则进行抓包，对于复杂的分析需求，比如自定义指标的计算，就显得力不从心。
• 安全性问题：传统的内核模块开发，风险极高，一旦出现 bug，很容易导致系统崩溃。

而 eBPF 的出现，完美地解决了这些痛点：

• 内核态执行：eBPF 程序运行在内核态，可以高效地访问网络数据包，避免了用户态和内核态之间频繁的数据拷贝。
• 可编程性：eBPF 提供了丰富的指令集和 API，允许开发者编写自定义的监控和分析逻辑，极大地提高了灵活性。
• 安全性保障：eBPF 程序在加载到内核之前，会经过严格的验证，确保程序的安全性，避免对系统造成损害。

总而言之，eBPF 就像一个“内核态的 JavaScript”，让开发者可以在内核中安全、高效地运行自定义代码，实现各种强大的功能。

eBPF 如何监控网络流量？

那么，eBPF 到底是如何监控网络流量的呢？ 简单来说，eBPF 的工作流程可以分为以下几个步骤：

1. 编写 eBPF 程序：使用 C 语言（或者其他可以编译成 BPF 字节码的语言）编写 eBPF 程序，定义需要监控的网络事件和分析逻辑。
2. 编译 eBPF 程序：将 eBPF 程序编译成 BPF 字节码。
3. 加载 eBPF 程序：将 BPF 字节码加载到内核中，并将其附加到指定的网络事件上，比如网络接口的收发包事件。
4. 内核执行 eBPF 程序：当网络事件发生时，内核会执行相应的 eBPF 程序，收集网络数据，并将其存储到 eBPF 提供的各种数据结构中，比如 Map。
5. 用户态读取数据：用户态程序可以通过 eBPF 提供的 API，读取 eBPF 程序收集到的数据，进行进一步的分析和展示。

可以用一个更形象的比喻来理解： 你可以把内核想象成一家工厂，网络数据包就是流水线上的产品。 传统的监控方法，就像是质检员需要把所有产品都搬到自己的办公室进行检查，效率很低。 而 eBPF，则相当于在流水线上安装了一个智能摄像头，可以实时监控产品的各项指标，并将结果记录下来，质检员只需要远程查看记录即可，大大提高了效率。

eBPF 实战：几个有用的例子

说了这么多理论，现在咱们来看几个 eBPF 在网络监控中的实际应用案例，让大家感受一下 eBPF 的强大之处。

1. 抓取特定协议的数据包

假设我们需要抓取所有 HTTP 协议的数据包，以便进行性能分析。 使用 tcpdump，你需要输入类似这样的命令：

tcpdump -i eth0 port 80

这条命令会抓取所有经过 eth0 网卡，且端口为 80 的数据包。 但是，tcpdump 抓取到的数据包是原始的二进制数据，你需要使用 Wireshark 等工具进行进一步的解析，才能看到 HTTP 的具体内容。 而使用 eBPF，你可以直接在内核中解析 HTTP 协议，提取你关心的信息，比如 URL、HTTP 状态码等。 下面是一个简单的 eBPF 程序，可以抓取 HTTP GET 请求的 URL：

#include <uapi/linux/bpf.h>
#include <linux/kconfig.h>
#include <linux/version.h>
#include <linux/ptrace.h>
#include <net/sock.h>
#include <net/inet_sock.h>
#include <bcc/proto.h>
 
#define MAX_URL_LENGTH 128
 
struct data_t {
    u32 pid;
    u32 tid;
    char comm[TASK_COMM_LEN];
    char url[MAX_URL_LENGTH];
};
 
BPF_PERF_OUTPUT(events);
 
int kprobe__tcp_recvmsg(struct pt_regs *ctx, struct sock *sk, struct msghdr *msg, size_t len) {
    u32 pid = bpf_get_current_pid_tgid() >> 32;
    u32 tid = bpf_get_current_pid_tgid();
 
    // 过滤不需要的进程
    if (pid == 0) {
        return 0;
    }
 
    struct inet_sock *inet = inet_sk(sk);
    u32 saddr = inet->inet_saddr;
    u32 daddr = inet->inet_daddr;
    u16 sport = inet->inet_sport;
    u16 dport = inet->inet_dport;
 
    // 只抓取 HTTP GET 请求
    char *http_get = "GET ";
    char *payload = (char *)PT_REGS_PARM3(ctx);
    if (strncmp(payload, http_get, strlen(http_get)) != 0) {
        return 0;
    }
 
    // 提取 URL
    struct data_t data = {};
    data.pid = pid;
    data.tid = tid;
    bpf_get_current_comm(&data.comm, sizeof(data.comm));
    strncpy(data.url, payload + strlen(http_get), MAX_URL_LENGTH - 1);
 
    // 发送事件到用户空间
    events.perf_submit(ctx, &data, sizeof(data));
 
    return 0;
}

这个 eBPF 程序使用了 kprobe 技术，hook 了 tcp_recvmsg 函数，该函数是内核接收 TCP 消息的入口。 程序首先过滤掉不需要的进程，然后判断消息是否以 "GET " 开头，如果是，则提取 URL，并将进程 ID、线程 ID、进程名、URL 等信息发送到用户空间。 在用户空间，你可以编写一个 Python 脚本，接收 eBPF 程序发送的事件，并将其打印出来：

from bcc import BPF
 
# 加载 eBPF 程序
b = BPF(src_file="http_monitor.c")
 
# 定义回调函数
def print_event(cpu, data, size):
    event = b["events"].event(data)
    print("PID: %d, TID: %d, COMM: %s, URL: %s" % (event.pid, event.tid, event.comm.decode(), event.url.decode()))
 
# 附加回调函数
b["events"].open_perf_buffer(print_event)
 
# 循环读取事件
while True:
    try:
        b.perf_buffer_poll()
    except KeyboardInterrupt:
        exit()

运行这个 Python 脚本，你就可以实时看到所有 HTTP GET 请求的 URL 了，是不是很方便？

2. 分析网络延迟

网络延迟是影响用户体验的关键因素之一。 使用 eBPF，你可以精确地测量网络延迟的各个环节，比如 DNS 解析延迟、TCP 连接延迟、数据传输延迟等。 下面是一个 eBPF 程序，可以测量 TCP 连接的延迟：

#include <uapi/linux/bpf.h>
#include <linux/kconfig.h>
#include <linux/version.h>
#include <linux/ptrace.h>
#include <net/sock.h>
#include <net/inet_sock.h>
#include <bcc/proto.h>
 
BPF_HASH(start, u32, u64);
BPF_PERF_OUTPUT(events);
 
struct data_t {
    u32 pid;
    u32 tid;
    char comm[TASK_COMM_LEN];
    u32 saddr;
    u32 daddr;
    u16 sport;
    u16 dport;
    u64 latency;
};
 
int kprobe__tcp_v4_connect(struct pt_regs *ctx, struct sock *sk) {
    u32 pid = bpf_get_current_pid_tgid() >> 32;
    u32 tid = bpf_get_current_pid_tgid();
 
    struct inet_sock *inet = inet_sk(sk);
    u32 saddr = inet->inet_saddr;
    u32 daddr = inet->inet_daddr;
    u16 sport = inet->inet_sport;
    u16 dport = inet->inet_dport;
 
    // 记录连接发起的时间
    u64 ts = bpf_ktime_get_ns();
    u32 key = pid;
    start.update(&key, &ts);
 
    return 0;
}
 
int kretprobe__tcp_v4_connect(struct pt_regs *ctx) {
    u32 pid = bpf_get_current_pid_tgid() >> 32;
    u32 tid = bpf_get_current_pid_tgid();
 
    // 获取连接发起的时间
    u64 *tsp = start.lookup(&pid);
    if (tsp == NULL) {
        return 0;
    }
    u64 ts = *tsp;
    start.delete(&pid);
 
    // 计算延迟
    u64 now = bpf_ktime_get_ns();
    u64 latency = now - ts;
 
    // 过滤延迟过短的连接
    if (latency < 1000) {
        return 0;
    }
 
    // 获取连接信息
    struct sock *sk = (struct sock *)PT_REGS_PARM1(ctx);
    struct inet_sock *inet = inet_sk(sk);
    u32 saddr = inet->inet_saddr;
    u32 daddr = inet->inet_daddr;
    u16 sport = inet->inet_sport;
    u16 dport = inet->inet_dport;
 
    // 发送事件到用户空间
    struct data_t data = {};
    data.pid = pid;
    data.tid = tid;
    bpf_get_current_comm(&data.comm, sizeof(data.comm));
    data.saddr = saddr;
    data.daddr = daddr;
    data.sport = sport;
    data.dport = dport;
    data.latency = latency;
    events.perf_submit(ctx, &data, sizeof(data));
 
    return 0;
}

这个 eBPF 程序使用了 kprobe 和 kretprobe 技术，分别 hook 了 tcp_v4_connect 函数的入口和出口。 在 tcp_v4_connect 入口处，程序记录下连接发起的时间戳，并将其存储到一个 BPF Map 中。 在 tcp_v4_connect 出口处，程序从 BPF Map 中取出连接发起的时间戳，计算出连接延迟，并将进程 ID、线程 ID、进程名、源 IP 地址、目标 IP 地址、源端口、目标端口、延迟等信息发送到用户空间。 在用户空间，你可以编写一个 Python 脚本，接收 eBPF 程序发送的事件，并将其打印出来，或者将其存储到数据库中，进行进一步的分析。 通过分析 TCP 连接延迟，你可以快速定位网络瓶颈，优化网络配置，提高用户体验。

3. 监控 DNS 解析

DNS 解析是网络访问的第一步，DNS 解析的延迟会直接影响用户的访问速度。 使用 eBPF，你可以监控 DNS 解析的各个环节，比如 DNS 查询的发送、DNS 响应的接收、DNS 缓存的命中等。 通过分析 DNS 解析的延迟，你可以发现 DNS 服务器的问题，优化 DNS 配置，提高 DNS 解析的速度。 具体的 eBPF 程序实现比较复杂，这里就不再赘述了，感兴趣的同学可以参考 Cilium、Calico 等开源项目的实现。

eBPF 的挑战与未来

虽然 eBPF 功能强大，但也面临着一些挑战：

• 学习曲线：eBPF 编程需要一定的内核知识和 C 语言基础，学习曲线比较陡峭。
• 调试困难：eBPF 程序运行在内核态，调试起来比较困难。
• 安全风险：虽然 eBPF 程序会经过严格的验证，但仍然存在一定的安全风险。

不过，随着 eBPF 技术的不断发展，这些挑战也在逐渐被克服。 越来越多的工具和框架，比如 BCC、bpftrace、ply 等，简化了 eBPF 程序的开发和调试。 同时，社区也在不断完善 eBPF 的安全机制，降低安全风险。 未来，eBPF 将会在网络监控、安全、性能优化等领域发挥更大的作用，成为 Linux 内核的重要组成部分。

总结

总而言之，eBPF 是一项非常强大的技术，它允许我们在内核态安全高效地进行网络流量的监控和分析，为网络性能优化和故障排查提供了新的思路。 虽然 eBPF 学习曲线比较陡峭，但只要掌握了基本原理和工具，就可以利用它解决很多实际问题。 希望本文能够帮助大家了解 eBPF，并在实际工作中应用 eBPF，提高工作效率。

最后，给大家推荐一些学习 eBPF 的资源：

• Brendan Gregg 的 eBPF 博客：Brendan Gregg 是 eBPF 领域的专家，他的博客有很多关于 eBPF 的文章，非常值得学习。
• Cilium 官方网站：Cilium 是一个基于 eBPF 的网络解决方案，它的官方网站有很多关于 eBPF 的文档和教程。
• BCC 工具：BCC 是一个 eBPF 工具包，它提供了很多实用的 eBPF 程序，可以帮助你快速入门 eBPF。

希望大家能够充分利用这些资源，掌握 eBPF 技术，成为网络领域的专家！