eBPF程序调试难？这几招让你告别玄学Bug！

eBPF（extended Berkeley Packet Filter）作为Linux内核中一项强大的技术，被广泛应用于网络性能分析、安全监控、应用跟踪等领域。然而，eBPF程序的开发和调试却并非易事，常常让人感到困惑。由于eBPF程序运行在内核态，直接调试较为困难，错误信息也往往晦涩难懂。本文旨在为eBPF开发者提供一份详尽的调试指南，介绍各种调试工具和技巧，帮助大家告别玄学Bug，提升开发效率。

1. eBPF程序调试的挑战

在深入调试技巧之前，我们首先需要了解eBPF程序调试面临的挑战：

• 内核态运行: eBPF程序运行在内核态，与用户态程序隔离，无法直接使用GDB等用户态调试器。
• 验证器限制: eBPF程序需要通过内核验证器的严格检查，任何潜在的越界访问、非法指令等都会被拒绝加载。
• 错误信息有限: 当eBPF程序出现错误时，内核提供的错误信息往往不够详细，难以定位问题根源。
• 动态性: eBPF程序通常与内核事件关联，调试需要模拟各种内核事件，才能触发相应的代码路径。

2. 调试工具箱：你的eBPF调试利器

面对这些挑战，我们需要借助各种调试工具来辅助开发。以下是一些常用的eBPF调试工具：

• bpftool: Linux内核提供的eBPF管理工具，可以用于加载、卸载、查看eBPF程序和map，以及获取eBPF程序的统计信息。
• bcc (BPF Compiler Collection): 一个Python库，提供了一系列用于创建、加载和运行eBPF程序的工具和示例。bcc简化了eBPF程序的开发流程，并提供了许多有用的调试工具。
• bpftrace: 一种高级的eBPF跟踪语言，类似于DTrace。bpftrace允许开发者编写简单的脚本来动态地跟踪内核和应用程序，无需重新编译内核或应用程序。
• perf: Linux性能分析工具，可以用于分析eBPF程序的性能瓶颈。
• LLVM: eBPF程序的编译器后端，负责将高级语言（如C）编译成eBPF字节码。
• eBPF verifier: 内核自带的验证器，负责检查eBPF程序的安全性。可以通过调整验证器的参数来控制其严格程度，方便调试。

3. bpftool：eBPF程序的瑞士军刀

bpftool是Linux内核提供的官方eBPF管理工具，功能强大且全面。通过bpftool，我们可以执行以下操作：

• 查看已加载的eBPF程序:

  bpftool prog show
  

  该命令会列出当前系统中所有已加载的eBPF程序的信息，包括程序ID、类型、名称、关联的map等。

• 查看eBPF程序的详细信息:

  bpftool prog show id <prog_id>
  

  将<prog_id>替换为实际的程序ID，可以查看该程序的详细信息，包括程序的字节码、验证器的输出等。

• 查看eBPF map的信息:

  bpftool map show
  

  该命令会列出当前系统中所有eBPF map的信息，包括map ID、类型、键值大小、最大条目数等。

• 查看eBPF map的内容:

  bpftool map dump id <map_id>
  

  将<map_id>替换为实际的map ID，可以查看该map的内容。这对于调试eBPF程序与map之间的交互非常有用。

• 加载和卸载eBPF程序:

  bpftool prog load <file> <map_name>  # 加载eBPF程序
  bpftool prog unload id <prog_id>     # 卸载eBPF程序

  其中<file>是包含eBPF字节码的文件，<map_name>是与该程序关联的map的名称。

4. bcc：简化eBPF开发的利器

bcc (BPF Compiler Collection)是一个强大的Python库，它简化了eBPF程序的开发流程，并提供了许多有用的调试工具。使用bcc，你可以用Python编写eBPF程序，并利用bcc提供的工具进行编译、加载和调试。

4.1. 安装bcc

在开始之前，你需要先安装bcc。具体的安装步骤可以参考bcc的官方文档：https://github.com/iovisor/bcc

4.2. 使用bcc编写eBPF程序

下面是一个简单的使用bcc编写的eBPF程序示例，该程序用于统计sys_enter系统调用的次数：

from bcc import BPF
 
# 定义eBPF程序
program = """
#include <uapi/linux/ptrace.h>
 
BPF_HASH(syscall_counts, int, long);
 
int count_syscall(struct pt_regs *ctx) {
  int syscall_id = ctx->regs[8];
  long *count = syscall_counts.lookup(&syscall_id);
  if (count) {
    (*count)++;
  } else {
    long zero = 1;
    syscall_counts.insert(&syscall_id, &zero);
  }
  return 0;
}
"""
 
# 创建BPF对象
bpf = BPF(text=program)
 
# 将eBPF程序附加到`sys_enter`事件
syscall_enter_fnname = bpf.get_syscall_fnname("sys_enter")
bpf.attach_kprobe(event=syscall_enter_fnname, f="count_syscall")
 
# 打印统计结果
while True:
  try:
    for k, v in bpf["syscall_counts"].items():
      print(f"syscall ID {k.value}: {v.value} calls")
    time.sleep(2)
  except KeyboardInterrupt:
    exit()

4.3. 使用bcc调试eBPF程序

bcc提供了多种调试工具，可以帮助你定位eBPF程序中的问题：

• BPF.trace_autoload: 该函数会自动加载eBPF程序，并在控制台打印程序的执行轨迹。这对于理解程序的执行流程非常有用。
• BPF.dump_func: 该函数可以将eBPF程序的字节码打印到控制台，方便你检查编译后的代码是否正确。
• BPF.get_table: 该函数可以获取eBPF程序中的map对象，方便你查看map的内容。

此外，bcc还提供了一系列预定义的eBPF工具，例如trace, profile, opensnoop等，这些工具可以用于跟踪内核事件、分析程序性能、监控文件访问等。

5. bpftrace：动态跟踪的艺术

bpftrace是一种高级的eBPF跟踪语言，它允许开发者编写简单的脚本来动态地跟踪内核和应用程序，无需重新编译内核或应用程序。bpftrace的语法类似于awk和C，易于学习和使用。

5.1. 安装bpftrace

bpftrace的安装方法可以参考官方文档：https://github.com/iovisor/bpftrace

5.2. 使用bpftrace跟踪内核事件

下面是一个简单的bpftrace脚本，用于跟踪sys_enter系统调用的参数：

#!/usr/bin/bpftrace

kprobe:sys_enter {
  printf("%s(%d, %d, %d, %d, %d, %d)\n", funcname(tid), arg0, arg1, arg2, arg3, arg4, arg5);
}

该脚本使用kprobe探针来跟踪sys_enter事件，并使用printf函数打印系统调用的名称和参数。

5.3. 使用bpftrace跟踪应用程序

bpftrace不仅可以跟踪内核事件，还可以跟踪应用程序。例如，可以使用uprobe探针来跟踪应用程序的函数调用：

#!/usr/bin/bpftrace

uprobe:/usr/bin/bash:readline {
  printf("readline called\n");
}

该脚本使用uprobe探针来跟踪bash程序的readline函数，并在每次调用该函数时打印一条消息。

6. perf：性能分析的利器

perf是Linux性能分析工具，可以用于分析eBPF程序的性能瓶颈。通过perf，你可以了解eBPF程序的CPU占用率、内存使用情况、以及执行时间等。

6.1. 使用perf分析eBPF程序的CPU占用率

可以使用以下命令来分析eBPF程序的CPU占用率：

perf record -e cpu-cycles -g -p <pid>
perf report

其中<pid>是eBPF程序的进程ID。该命令会记录eBPF程序在一段时间内的CPU周期数，并生成一个报告，显示各个函数的CPU占用率。

6.2. 使用perf分析eBPF程序的执行时间

可以使用以下命令来分析eBPF程序的执行时间：

perf record -e bpf_prog_run -g -p <pid>
perf report

该命令会记录eBPF程序每次运行的时间，并生成一个报告，显示各个函数的平均执行时间。

7. 调试技巧：经验之谈

除了使用调试工具之外，还有一些调试技巧可以帮助你更快地定位问题：

• 缩小问题范围: 尽量将问题范围缩小到最小，例如，可以先禁用一些功能，然后逐步启用，直到问题出现。
• 打印调试信息: 在eBPF程序中添加打印调试信息的代码，可以帮助你了解程序的执行流程和变量的值。可以使用bpf_trace_printk函数来打印调试信息，这些信息会输出到内核日志中。
• 使用map存储调试信息: 可以使用eBPF map来存储调试信息，例如，可以记录关键变量的值、函数调用次数等。然后，可以使用bpftool map dump命令来查看map的内容。
• 检查验证器输出: eBPF验证器会检查程序的安全性，如果程序无法通过验证，可以查看验证器的输出，了解具体的原因。可以使用bpftool prog show id <prog_id>命令来查看验证器的输出。
• 阅读内核代码: 如果遇到难以解决的问题，可以尝试阅读相关的内核代码，了解eBPF程序的运行机制。

8. 案例分析：实战演练

为了更好地理解eBPF程序的调试方法，我们来看一个实际的案例。假设我们编写了一个eBPF程序，用于统计网络数据包的长度，但是发现统计结果不准确。我们可以按照以下步骤来调试该程序：

1. 检查eBPF程序代码: 首先，我们需要仔细检查eBPF程序代码，确认是否存在逻辑错误。例如，是否正确地获取了数据包的长度，是否正确地更新了统计结果。

2. 打印调试信息: 在eBPF程序中添加打印调试信息的代码，例如，可以打印数据包的长度、以及更新后的统计结果。可以使用bpf_trace_printk函数来打印调试信息。

3. 使用map存储调试信息: 可以使用eBPF map来存储调试信息，例如，可以记录每个数据包的长度，以及对应的统计结果。然后，可以使用bpftool map dump命令来查看map的内容。

4. 使用bpftrace跟踪网络事件: 可以使用bpftrace来跟踪网络事件，例如，可以跟踪kfree_skb事件，查看数据包是否被正确释放。可以使用以下脚本来跟踪kfree_skb事件：

   #!/usr/bin/bpftrace
   
   kprobe:kfree_skb {
     printf("kfree_skb called\n");
   }
   

5. 使用perf分析eBPF程序的性能: 可以使用perf来分析eBPF程序的性能，例如，可以查看程序的CPU占用率、以及执行时间。可以使用以下命令来分析eBPF程序的CPU占用率：

   perf record -e cpu-cycles -g -p <pid>
   perf report

通过以上步骤，我们可以逐步定位问题，并最终解决Bug。

9. 总结

eBPF程序调试是一项具有挑战性的任务，但通过掌握各种调试工具和技巧，我们可以有效地定位问题，提高开发效率。本文介绍了常用的eBPF调试工具，包括bpftool、bcc、bpftrace和perf，并分享了一些调试技巧和经验。希望本文能够帮助你更好地理解和调试eBPF程序，告别玄学Bug！

记住，调试是一个不断学习和探索的过程，多实践、多思考，你终将成为eBPF调试大师！