WEBKT

告别传统监控：系统管理员如何用 eBPF 精准掌握 Web 服务器性能脉搏？

50 0 0 0

作为一名系统管理员，每天面对成百上千台 Web 服务器，压力山大！ 传统的监控工具，要么资源消耗巨大，要么数据不够精准，总是慢半拍，问题来了才手忙脚乱。直到我遇到了 eBPF，就像拥有了一双透视眼，能实时、精准地洞察 Web 服务器的每一个细节。

eBPF 是什么？它为什么这么牛？

eBPF（extended Berkeley Packet Filter）起初是为网络数据包过滤而设计的，但现在已经发展成一个强大的内核态虚拟机，允许你在内核中安全地运行自定义代码，而无需修改内核源代码或加载内核模块。这意味着什么？意味着你可以近乎零开销地对系统进行各种各样的观测和分析，简直是系统监控的瑞士军刀！

eBPF 在 Web 服务器监控中的优势，简直不要太明显！

  • 高性能：eBPF 代码运行在内核态，直接访问内核数据，避免了用户态与内核态之间频繁切换的开销，性能远超传统的监控工具。
  • 低侵入性：无需修改内核代码，无需重启服务器，对现有系统几乎没有影响，可以安全地部署在生产环境中。
  • 高灵活性：你可以根据自己的需求编写 eBPF 程序，监控任何你感兴趣的指标，定制化程度非常高。
  • 实时性：eBPF 程序可以实时收集和分析数据，及时发现潜在的问题。

如何用 eBPF 监控 Web 服务器？实战案例！

接下来，我将分享几个我实际使用的 eBPF 监控案例，希望能给你一些启发：

案例 1：监控 HTTP 请求延迟

HTTP 请求延迟是衡量 Web 服务器性能的关键指标之一。使用 eBPF，我们可以轻松地监控每个 HTTP 请求的延迟，并统计延迟分布情况。

  • 原理：通过 hook tcp_sendmsg 和 tcp_recvmsg 函数，记录 HTTP 请求发送和接收的时间戳，计算延迟。
  • 代码示例（使用 bpftrace）：
#!/usr/bin/env bpftrace
 
#include <linux/socket.h>
 
kprobe:tcp_sendmsg
/arg1->msg_name == NULL/
{
  @start[tid] = ktime_get_ns();
}
 
kretprobe:tcp_sendmsg
/arg1->msg_name == NULL && @start[tid] != 0/
{
  $latency = ktime_get_ns() - @start[tid];
  @latency_hist = hist($latency / 1000);
  delete(@start[tid]);
}
 
kprobe:tcp_recvmsg
/arg1->msg_name == NULL/
{
  @start[tid] = ktime_get_ns();
}
 
kretprobe:tcp_recvmsg
/arg1->msg_name == NULL && @start[tid] != 0/
{
  $latency = ktime_get_ns() - @start[tid];
  @latency_hist = hist($latency / 1000);
  delete(@start[tid]);
}
 
END
{
  clear(@start);
  printf("\nLatency (us):\n");
  print(@latency_hist);
}
  • 分析：通过观察延迟分布，可以快速定位性能瓶颈，例如网络拥塞、服务器负载过高等。

案例 2：监控 CPU 使用率

CPU 使用率是另一个重要的性能指标。使用 eBPF，我们可以监控每个进程的 CPU 使用率，并找出占用 CPU 最高的进程。

  • 原理：通过 hook sched_switch 函数，记录进程切换的时间戳，计算每个进程的 CPU 运行时间。
  • 代码示例（使用 bcc）：
#!/usr/bin/python
 
from bcc import BPF
import time
 
# 加载 eBPF 程序
program = BPF(text='''
#include <uapi/linux/sched.h>
 
BPF_HASH(start, u32, u64);
 
// 进程切换时触发
int sched_switch(struct trace_event_raw_sched_switch *ctx) {
  u32 pid = ctx->prev_pid;
  u64 ts = bpf_ktime_get_ns();
 
  // 记录进程离开 CPU 的时间
  start.update(&pid, &ts);
 
  pid = ctx->next_pid;
 
  // 计算进程运行时间
  u64 *tsp = start.lookup(&pid);
  if (tsp != NULL) {
    u64 delta = ts - *tsp;
    BPF_HISTOGRAM(cpu_time).increment(bpf_log2l(delta));
    start.delete(&pid);
  }
  return 0;
}
''')
 
# 附加 tracepoint
program.attach_tracepoint(tp='sched:sched_switch', fn_name='sched_switch')
 
# 打印 CPU 使用率
try:
    while True:
        time.sleep(5)
        program["cpu_time"].print_log2_hist("CPU Time (ns)")
except KeyboardInterrupt:
    pass
  • 分析：通过观察 CPU 使用率，可以快速定位占用 CPU 最高的进程，并进一步分析其性能瓶颈。

案例 3：监控内存占用

内存占用过高会导致 Web 服务器性能下降，甚至崩溃。使用 eBPF，我们可以监控每个进程的内存占用，并找出占用内存最高的进程。

  • 原理：通过 hook malloc 和 free 函数，记录内存分配和释放的情况，计算每个进程的内存占用。
  • 代码示例（使用 bcc）：
#!/usr/bin/python
 
from bcc import BPF
import time
 
# 加载 eBPF 程序
program = BPF(text='''
#include <uapi/linux/ptrace.h>
 
BPF_HASH(allocated, u32, size_t);
BPF_HASH(pid_alloc, u32, size_t);
 
int kprobe__malloc(struct pt_regs *ctx, size_t size) {
  u32 pid = bpf_get_current_pid_tgid();
  size_t *val, zero = 0;
 
  val = allocated.lookup_or_init(&pid, &zero);
  (*val) += size;
 
  pid_alloc.update(&pid, &size);
 
  return 0;
}
 
int kfree(struct pt_regs *ctx, void *addr) {
  u32 pid = bpf_get_current_pid_tgid();
  size_t *val, *size; 
 
  size = pid_alloc.lookup(&pid);
  if (!size) {
    return 0; // Shouldn't happen
  }
 
  val = allocated.lookup(&pid);
  if (val) {
    (*val) -= *size;
  }
  pid_alloc.delete(&pid);
 
  return 0;
}
''')
 
program.attach_kprobe(event="malloc", fn_name="kprobe__malloc")
program.attach_kprobe(event="kfree", fn_name="kfree")
 
# 打印内存占用
while True:
    time.sleep(2)
    print("\n-------------------\n")
    for k, v in program["allocated"].items():
        print("PID {}: {} bytes".format(k.value, v.value))
  • 分析：通过观察内存占用，可以快速定位占用内存最高的进程，并进一步分析其内存泄漏问题。

案例 4：监控网络流量

网络流量异常可能意味着遭受了攻击或者存在性能瓶颈。使用 eBPF，我们可以监控每个连接的网络流量，并找出流量异常的连接。

  • 原理：通过 hook tcp_sendmsg 和 tcp_recvmsg 函数，记录每个连接发送和接收的字节数，计算网络流量。
  • 代码示例（使用 bpftrace）：
#!/usr/bin/env bpftrace
 
#include <linux/socket.h>
 
struct sock_key {
  u32 sip;
  u32 dip;
  u16 sport;
  u16 dport;
};
 
BPF_HASH(sockets, struct sock_key, size_t);
 
int kprobe__tcp_sendmsg(struct pt_regs *ctx, struct socket *sock, struct msghdr *msg, size_t size) {
  struct sock_key key = {};
  key.sip = sock->sk_rcv_saddr;
  key.dip = sock->sk_daddr;
  key.sport = sock->sk_num;
  key.dport = sock->sk_dport;
  sockets.increment(key, size);
  return 0;
}
 
int kprobe__tcp_recvmsg(struct pt_regs *ctx, struct socket *sock, struct msghdr *msg, size_t size) {
  struct sock_key key = {};
  key.sip = sock->sk_rcv_saddr;
  key.dip = sock->sk_daddr;
  key.sport = sock->sk_num;
  key.dport = sock->sk_dport;
  sockets.increment(key, size);
  return 0;
}
 
END {
  printf("\nNetwork Traffic:\n");
  for (k, v in sockets) {
    printf("%-16s %-16s %-5d %-5d %10d\n", ntop(k.sip), ntop(k.dip), k.sport, k.dport, v);
  }
}
  • 分析：通过观察网络流量，可以快速定位流量异常的连接，并进一步分析其原因。

eBPF 工具链：选择适合你的武器！

  • bcc (BPF Compiler Collection)：一个 Python 库，提供了一组工具和示例，用于编写和运行 eBPF 程序。它使用 Clang/LLVM 将 C 代码编译成 eBPF 字节码。
  • bpftrace：一种高级的 eBPF 跟踪语言，类似于 awk 或 dtrace。它使用简单的语法，可以快速编写和运行 eBPF 程序，无需编写复杂的 C 代码。
  • ply：另一种 eBPF 跟踪工具，使用 Python 编写，可以动态地加载和卸载 eBPF 程序。
  • kubectl trace：Kubernetes 官方提供的 eBPF 工具，可以用于跟踪 Kubernetes 集群中的容器和 Pod。

学习 eBPF：从入门到精通！

  • 基础知识：了解 Linux 内核、C 语言、网络协议等基础知识。
  • 学习 eBPF 语法：掌握 eBPF 的语法和编程模型。
  • 阅读 eBPF 示例：学习 bcc 和 bpftrace 提供的示例，了解 eBPF 的常见用法。
  • 实践项目：尝试编写自己的 eBPF 程序，解决实际问题。
  • 参与社区：加入 eBPF 社区，与其他开发者交流学习。

eBPF 的未来：无限可能！

eBPF 正在改变我们监控和管理系统的方式。它不仅可以用于性能监控，还可以用于安全审计、网络分析、容器管理等领域。随着 eBPF 技术的不断发展，它将在未来的云计算和大数据领域发挥越来越重要的作用。

总结

eBPF 就像一个超级英雄，赋予了系统管理员强大的监控能力。如果你还在为 Web 服务器的性能问题而烦恼，不妨尝试一下 eBPF，相信它会给你带来惊喜！从最简单的监控 HTTP 请求延迟开始，逐步深入，你会发现 eBPF 的强大和魅力。告别传统监控的笨重和低效，拥抱 eBPF 的精准和实时，让你的 Web 服务器运行得更快、更稳！记住，学习 eBPF 并非一蹴而就，需要耐心和实践。但只要你坚持下去，就能掌握这门强大的技术，成为真正的系统管理大师！

一些额外的思考：

  • 安全问题：虽然 eBPF 提供了安全机制，但仍然需要注意 eBPF 程序的安全性，避免恶意代码的注入。
  • 可观测性：eBPF 提供了丰富的数据，但如何将这些数据可视化，并进行有效的分析，也是一个挑战。
  • 与现有监控系统的集成：如何将 eBPF 与现有的监控系统集成，也是一个需要考虑的问题。

希望这篇文章能帮助你了解 eBPF，并开始使用 eBPF 来监控你的 Web 服务器。祝你学习顺利！

性能猎手 eBPF监控Web服务器性能系统管理员

评论点评

打赏赞助
sponsor

感谢您的支持让我们更好的前行

分享

QRcode

https://www.webkt.com/article/9186