背景

在某些场景下,我们需要采集的日志会分散在多个目录,为了在一个采集配置中同时采集它们,我们往往需要把采集配置中的目录指定为这些目录的共同父目录,这在实际使用用可能会产生一些问题。以如下的目录结构为例,我们希望在一个采集配置内指定采集 dira/b/c 目录下的 *.log,就必须将采集目录指定为父目录 admin。但这样指定后,由于 logtail 递归采集子目录的规则,一方面dirs 目录下的 private.log 由于符合规则,也会被采集上来,会违背数据安全;另一方面,如果目录 dire、dirf 这些不需要的目录也会被监控,带来性能问题。

admin├── dire├── dira│   └── a.log├── dirb│   └── b.log├── dirc│   └── c.log├── dirf└── dirs    └── private.log

在当前情况下,为了避免这种问题,我们一般会通过创建多个采集配置来分别指定具体的子目录,非常麻烦。为了支撑此类场景,logtail 新增了指定采集路径黑名单的功能,可以在采集配置所指定的根目录基础上,对指定的目录、文件进行过滤,使 logtail 跳过对它们的采集。

依赖 logtail 版本:0.16.26 及以上。

功能说明及示例

目前,黑名单功能支持按照 目录路径文件路径 两种方式进行过滤,前者会跳过指定目录下所有内容(文件、子目录)的采集,后者则是跳过对指定文件的采集。为了提高使用的灵活性,在指定目录、文件的路径时,可以使用 *、? 等通配符来匹配多个目标

假设我们采集的内容是目录 /home/admin 下的 *.log,以下是一些黑名单示例以及它们的效果。

  • 按目录路径忽略 /home/admin/dir1:忽略子目录 dir1 下的所有内容。
  • 按目录路径忽略 /home/admin/dir*:忽略 /home/admin/ 下所有 dir 开头的子目录内容。
  • 按目录路径忽略 /home/admin/*/dir:忽略 /home/admin/ 下所有二级目录名为 dir 的子目录内容,比如 /home/admin/a/dir 会被忽略,而 /home/admin/a/b/dir 会被采集。
  • 按文件路径忽略 /home/admin/private*.log:忽略 /home/admin/ 目录下所有 private 开头、.log结尾的文件。
  • 按文件路径忽略 /home/admin/private*/*_inner.log:忽略 /home/admin/ 目录下 private 开头的一级子目录内,以 _inner.log 结尾的文件,比如 /home/admin/private/app_inner.log 会被忽略,而 /home/admin/private/app.log 会被采集。

控制台操作

通过【文本日志】的接入方式(比如 JSON、分隔符、单行等),根据向导进入配置页面后。启用【设置采集黑名单】,在黑名单配置中根据需要新增条目即可使用此功能。匹配黑名单过程会有计算开销,因此,建议黑名单条目数不要超过 10 条。

想了解更多资讯,关注实战云公众号

父路径_Logtail 新功能:采集路径黑名单相关推荐

  1. 配置ALB基于路径的路由功能

    关注公众号:AWS爱好者(iloveaws) 文 | 沉默恶魔(禁止转载,转载请先经过作者同意) 网站:www.iloveaws.cn Hello大家好,欢迎来到<AWS解决方案架构师认证 Pr ...

  2. Python语言编程学习:文件路径变量修改,利用os模块固定文件父路径,变换文件子路径实现代码

    Python语言编程学习:文件路径变量修改,利用os模块固定文件父路径,变换文件子路径实现代码 目录 文件路径变量修改,利用os模块固定文件父路径,变换文件子路径实现代码

  3. python替换img的路径为新的路径_以“五智”为核心 南宁电信打造5G时代数字家庭新路径...

    来源:通信信息报 本报讯(特约记者 许辉坚)近日,中国电信广西南宁分公司在协助广西自治区通信管理局主办的"电信用户委员会体验活动"中,以发挥用户委员会的平台和纽带作用,促进持续改善 ...

  4. sql服务器文件夹共享,sqlserver2017共享功能目录路径不可改的解决方法

    注意:什么路径不可改就搜索该路径进行删除注册表记录,然后重启电脑 按 win键盘+R输入 regedit 进去注册表,点击计算机按"编辑"-->查找下一个 需要等一些时间 结 ...

  5. CAD控件教程:网上打开dwg文件时,对dwg文件路径加密的功能

    软件名称: 看楼主头像... 1.增加控件状态栏文字,自定义功能, C++接口为 :   CStatusBarInformationReactor::CreateProgressBarText COM ...

  6. Linux系统中的日志管理 ---systemd-journald日志(journalctl命令的用法)和 rsyslog 日志(自定义日志采集路径、更改日志采集格式和日志的远程同步)

    一.实验环境 Horizon_carry: 172.25.254.10 carry: 172.25.254.20 Horizon_carry & carry: systemctl stop f ...

  7. Scrum认证体系培训和新CSP成长路径所需的SEU学分

    什么是SCRUM认证体系 ? Scrum认证由国际Scrum联盟(ScrumAlliance.org)制定和维护,针对个人职业发展的敏捷认证体系,Scrum认证证书由Scrum联盟官方统一颁发.其中基 ...

  8. Autoware实车测试记录(四)--全局及局部路径规划相关功能以及发送控制指令至底盘

    经过前面的一系列工作,现在小车在地图中任意位置已经可以实现实时定位以及检测到障碍物以及追踪这些障碍物.下面的内容主要是继续完成下一步-路径规划,这其中包括了全局宏观上的路径规划(全局路径规划)以及在行 ...

  9. 【飞书成长日记】飞书功能发展路径

    飞书的成长离不开每位用户的关注与支持,飞书,经历了不断地迭代打磨,从用户的角度出发,一步一步打造成为高效愉悦的办公平台. 本文为大家精心整理了飞书的成长历程,感谢每一位喜爱飞书的用户! 飞书将即时沟通 ...

最新文章

  1. Android从放弃到精通 第二天 我还好
  2. 《图解密码技术》分组密码(5) 输出反馈OFB模式
  3. Verilog功能模块——串行数据转并行数据
  4. 一个小小的知识点,关于强制类型转换
  5. Node服务一键离线部署
  6. Lambda表达式和闭包Closure
  7. spark on yarn提交任务后总是accepted以及通过yarn关闭application
  8. 1-第一个pyqt5程序
  9. 实际应用中带头节点的线性链表
  10. python不用模块调用麦克风_python调用pyaudio使用麦克风录制wav声音文件的教程
  11. git 删除本地仓库中的分支_git常用命令行 新建分支 删除分支 提交
  12. zabbix通过OMSA监控Dell服务器
  13. Spark用DSL表达式如何使用row_number函数
  14. Linux tree 命令乱码
  15. 从原子操作走向模板部署,详解云上资源自动化部署新模式
  16. 云数据库MySQL的发展史
  17. 输入一串字符串 字符串长度不超过100
  18. 3.3 伴随矩阵法求逆矩阵
  19. 第4周项目4—程序分析(2)
  20. 如何实现在线直播源码的美颜功能——接入美颜SDK

热门文章

  1. 自动化测试用java还是python_现在自动化测试用Java好还是Python好?
  2. python dataframe取一列_python DataFrame列运算
  3. 【BUG记录】在onCreate()方法handler调用方法导致程序闪退
  4. 制定交叉编译工具_配置交叉编译工具链-嵌入式Linux
  5. 安卓下载保存到本地(一)
  6. iOS 静态度制作方法详细
  7. canopen服务器协议,ZOPC_Server(ZLG通用OPC服务器)CANopen协议插件
  8. php 小数点 乘法,js小数点数字相乘、把小数点四舍五入保留两位小数
  9. Citrix XenApp应用虚拟化之RTX串号问题解决
  10. HDU——1054 Strategic Game