WEBKT

Fluent Bit Filter 插件深度解析：配置示例、场景应用与最佳实践

97 0 0 0

为什么需要 Filter 插件？

Filter 插件类型概览

常用 Filter 插件详解与配置示例

1. grep 插件：过滤日志记录

2. modify 插件：修改字段

3. record_transformer 插件：更强大的字段修改

4. lua 插件：自定义日志处理

5. Parser 插件: 二次解析

6. Multiline: 多行日志合并

Filter 插件的组合使用

最佳实践

总结

你好！在日志处理的世界里，Fluent Bit 就像一位高效的快递员，负责收集、处理和转发各种日志数据。而 Filter 插件，则是这位快递员的得力助手，能够对日志进行精细化处理，让日志数据更有价值。今天，咱们就来深入聊聊 Fluent Bit 的 Filter 插件，通过具体的配置示例，看看它是如何对解析后的日志数据进行过滤、修改和增强的，并一起探讨 Filter 插件的常用场景和最佳实践。

为什么需要 Filter 插件？

在日志处理流程中，Input 插件负责从各种来源收集原始日志，Parser 插件负责将原始日志解析成结构化数据。但是，解析后的日志数据可能还不能直接满足我们的需求，比如：

  • 数据冗余：日志中可能包含大量无用信息，占用存储空间，影响分析效率。
  • 格式不统一：不同来源的日志格式可能存在差异，需要进行统一。
  • 信息缺失：日志中可能缺少关键信息，需要进行补充。
  • 敏感信息：日志中可能包含敏感信息，需要进行脱敏。

Filter 插件正是为了解决这些问题而生的。它位于 Parser 插件之后，Output 插件之前，可以对解析后的日志数据进行各种处理，从而满足不同的业务需求。

Filter 插件类型概览

Fluent Bit 提供了多种 Filter 插件，每种插件都有特定的功能。下面列出了一些常用的 Filter 插件：

  • grep：根据正则表达式过滤日志记录。
  • modify：修改日志记录的内容，如添加、删除或重命名字段。
  • record_transformer：与 modify 类似，但功能更强大，支持更复杂的修改操作。
  • lua：使用 Lua 脚本进行自定义的日志处理。
  • throttle：限制日志的流量，防止日志洪峰。
  • geoip：根据 IP 地址添加地理位置信息。
  • nest：将一个字段的值提升为一个嵌套的 JSON 对象。
  • parser: 对日志记录中某个字段的值进行二次解析, 通常配合 key_name 选项使用。
  • multiline: 将多行日志合并为一条日志记录, 通常用于处理应用程序堆栈跟踪信息等。

常用 Filter 插件详解与配置示例

接下来，我们详细介绍几个常用的 Filter 插件，并通过具体的配置示例来演示它们的使用方法。

1. grep 插件：过滤日志记录

grep 插件通过正则表达式来过滤日志记录。你可以选择保留匹配的记录（Regex）或丢弃匹配的记录（Exclude）。

应用场景：

  • 只保留特定级别的日志（如只保留 ERROR 级别的日志）。
  • 排除特定来源的日志（如排除调试日志）。

配置示例：

[FILTER]
    Name grep
    Match *
    Regex level ERROR
 
[FILTER]
    Name grep
    Match *
    Exclude $log debug$

示例说明：
第一个Filter保留所有level字段值为ERROR的日志.
第二个Filter丢弃log字段以debug结尾的日志.

2. modify 插件：修改字段

modify 插件可以添加、删除或重命名字段。

应用场景：

  • 添加固定值的字段，如环境标识（env: production）。
  • 删除无用字段，减少日志体积。
  • 重命名字段，统一字段名称。

配置示例：

[FILTER]
    Name modify
    Match *
    Add env production
    Remove useless_field
    Rename old_name new_name

示例说明:
此配置将为所有日志记录添加一个名为env，值为production的字段, 同时删除useless_field字段, 并且将old_name字段重命名为new_name.

3. record_transformer 插件：更强大的字段修改

record_transformer 插件的功能与 modify 类似，但它更强大，支持更复杂的修改操作。它可以使用${record['field_name']}的语法来引用其他字段的值。

应用场景：

  • 根据已有字段的值，动态生成新字段。
  • 将多个字段的值合并成一个字段。

配置示例：

[FILTER]
    Name record_transformer
    Match *
    Record hostname ${record['hostname']} 
    Record new_field ${record['field1']}-${record['field2']}
    Remove_key field1

示例说明：

  • Record hostname ${record['hostname']}：这行配置看起来似乎没有改变任何东西，但实际上，它确保了即使原始记录中没有hostname字段，处理后的记录也会包含一个hostname字段（值可能为空）。这对于后续的处理流程非常重要，可以避免因为缺少字段而导致的错误。
  • Record new_field ${record['field1']}-${record['field2']}：根据field1和field2的值，动态生成new_field。
  • Remove_key field1: 从记录中删除 field1 键.

4. lua 插件：自定义日志处理

lua 插件允许你使用 Lua 脚本进行自定义的日志处理。这为你提供了最大的灵活性，可以实现任何复杂的日志处理逻辑。

应用场景：

  • 实现复杂的字段解析和转换。
  • 根据业务逻辑对日志进行分类和标记。

配置示例：

[FILTER]
    Name lua
    Match *
    Script my_script.lua
    Call my_filter_function

my_script.lua：

function my_filter_function(tag, timestamp, record)
    -- 在这里编写你的 Lua 代码
    -- 可以修改 record 中的字段
    if record.level == "error" then
        record.error_flag = 1
    end
 
    return 1, timestamp, record
end

示例说明:
这个例子检查如果record的level字段为error时, 添加一个error_flag字段, 并设置为1.

5. Parser 插件: 二次解析

Parser插件允许对日志记录中某个字段的值进行二次解析. 这在处理嵌套的日志格式时非常有用, 比如日志消息本身就是一个JSON字符串.

应用场景：

  • 日志消息体是JSON字符串, 需要解析为结构化数据.
  • 日志消息包含自定义格式的数据，需要使用自定义的解析器。

配置示例：

[FILTER]
    Name parser
    Match *
    Key_Name message
    Parser json_parser
 
[PARSER]
    Name json_parser
    Format json
    Time_Key time
    Time_Format %Y-%m-%dT%H:%M:%S.%L

示例说明:
这个配置会对所有日志记录的 message 字段使用名为 json_parser 的解析器进行解析。json_parser 是一个预定义的 JSON 解析器（也可以自定义）。

6. Multiline: 多行日志合并

multiline 插件可以将多行日志合并成一条日志记录。 这对于处理应用程序堆栈跟踪、Java 异常信息等多行日志非常有用.

应用场景:

  • 应用程序堆栈跟踪
  • Java异常信息

配置示例:

[INPUT]
    Name  tail
    Path  /var/log/app.log
    Parser  multiline_parser
    Tag   app.log
 
[FILTER]
    Name multiline
    Match app.log
    multiline.key_content  log
    multiline.stream_flush  5
 
[PARSER]
    Name   multiline_parser
    Format regex
    Regex  /^(?<logtime>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}.\d{3}) \[(?<thread>[^\]]+)\] (?<level>\w+) (?<class>[^ ]+) - (?<log>.*)/s
    Time_Key logtime
    Time_Format %Y-%m-%d %H:%M:%S.%L

说明:

这个例子演示了如何使用 multiline 插件处理典型的 Java 应用程序日志。 Java 日志通常包含时间戳、线程、日志级别、类名和日志消息。multiline_parser 首先使用正则表达式解析这些字段。然后，multiline 插件将多行日志消息 (例如堆栈跟踪) 合并到单个 log 字段中。stream_flush 设置为5秒，这意味着如果在5秒内没有收到新的日志行，则认为多行日志消息已完成。

Filter 插件的组合使用

在实际应用中，我们通常需要将多个 Filter 插件组合起来使用，以实现更复杂的日志处理流程。例如，我们可以先使用 grep 插件过滤出 ERROR 级别的日志，然后使用 modify 插件添加环境标识，最后使用 lua 插件进行自定义处理。

配置示例：

[FILTER]
    Name grep
    Match *
    Regex level ERROR
 
[FILTER]
    Name modify
    Match *
    Add env production
 
[FILTER]
    Name lua
    Match *
    Script my_script.lua
    Call my_filter_function

注意 Filter 插件的顺序：Filter 插件是按照配置文件中的顺序依次执行的。因此，你需要根据你的需求仔细安排 Filter 插件的顺序。

最佳实践

  • 明确需求：在配置 Filter 插件之前，首先要明确你的日志处理需求，例如需要过滤哪些日志、需要修改哪些字段、需要添加哪些信息等。
  • 逐步测试：配置 Filter 插件时，建议逐步进行，每添加一个 Filter 插件，都进行测试，确保其效果符合预期。
  • 性能优化：Filter 插件会对日志处理性能产生一定影响，因此要尽量避免使用过于复杂的正则表达式或 Lua 脚本。如果可能，尽量使用内置的 Filter 插件，因为它们的性能通常比 Lua 脚本更高。
  • 监控与调优：在生产环境中，要监控 Fluent Bit 的运行状态，并根据实际情况对 Filter 插件进行调优。
  • 善用社区资源: Fluent Bit 拥有活跃的社区, 遇到问题可以查阅官方文档, 或者在社区中寻求帮助.

总结

Fluent Bit 的 Filter 插件是日志处理流程中非常重要的一环。通过合理配置 Filter 插件，我们可以对日志数据进行精细化处理，从而满足不同的业务需求。希望今天的分享能帮助你更好地理解和使用 Fluent Bit 的 Filter 插件，让你的日志数据发挥更大的价值！

如果你有任何问题或想法，欢迎在评论区留言，我们一起交流学习！

技术宅小飞 Fluent Bit日志处理Filter

评论点评

打赏赞助
sponsor

感谢您的支持让我们更好的前行

分享

QRcode

https://www.webkt.com/article/7856