摘要: 基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。

什么是机器分组

上一篇中我们对机器分组进行了简单的介绍,从更通俗的角度讲:机器分组就是一批产生相同日志的机器,一般情况下是一组应用,比如Nginx、MongoDB、HDFS等集群。通常一个机器分组下会产生多种日志,会分别采集到多个logstore。而同时一个机器也可以扮演多种角色(比如同时担当前端和后端的角色,既部署了Nginx也部署了应用worker),因此一个机器也会属于多个机器分组中。所以我们有了以下的机器分组模型:

机器分组类型

目前我们支持了两种不同的机器分组,分别是IP标识和自定义标识分组。

IP标识机器组

IP标识的机器组通俗易懂,非常易于上手,只需简单的将IP输入到分组里即可完成配置,同时也支持一个分组里面输入多个IP。

IP标识的机器组虽然配置简单,但存在非常大的缺陷:不支持动态缩扩容。在实际使用中机器组中机器经常会发生变化(例如机器替换、服务扩容/缩容),尤其在使用弹性伸缩服务、Kubernetes容器服务更为明显,如果没有及时同步更新或忘记配置,新增加的机器便无法采集到日志。

自定义标识机器组

基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。

自定义标识机器分组操作非常简单:机器上设置一个或多个标识,并把机器组配置为自定义标识类型(userdefined-id),输入相应的标识,机器组即会自动匹配。

此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。只需在虚拟机镜像、DockerFile或Kubernetes的yaml模板等提前配置好标识,后续扩容的机器一上线就会立即加入到对应的机器分组中,并根据对应机器分组上的采集配置开始工作。

使用方式

详细使用方式参见自定义标识机器组。

步骤一 本地配置

  • Linux Logtail

通过文件 /etc/ilogtail/user_defined_id 来设置userdefined-id。

例如,设置自定义机器标识如下:

cat /etc/ilogtail/user_defined_id
k8s-demo
  • Windows Logtail

通过文件 C:\LogtailData\user_defined_id 来设置userdefined-id。

例如,设置自定义机器标识如下:

C:\LogtailData>more user_defined_id
k8s-demo

注意: 若目录 /etc/ilogtail/C:\LogtailData或文件 /etc/ilogtail/user_defined_idC:\LogtailData\user_defined_id不存在,请手动创建。

  • Docker 应用

如果您在容器中安装Logtail,可以在DockerFile中使用以下方式在发布时配置标识:

RUN mkdir /etc/ilogtail/
RUN echo ${您的机器组自定义标识} > /etc/ilogtail/user_defined_id
  • Kubernetes 集群

K8S使用可以参见Kubernetes日志采集。

步骤二 创建自定义标识机器组

  1. 在机器组列表页面单击右上角的创建机器组。
  2. 填写机器组配置。

    • 机器组名称。填写自定义的机器组名称。
    • 机器组标识。选择用户自定义标识。
    • 用户自定义标识。填写步骤一中配置的userdefined-id,例如k8s-demo
  3. 单击确认结束配置。后续扩容无需修改机器组。

步骤三 查看机器组心跳

在机器组列表页面,单击目标机器组右侧的查看状态,可以查看使用相同自定义标识的机器列表及其心跳状态。

原文链接

干货好文,请关注扫描以下二维码:

Logtail从入门到精通(三):机器分组配置相关推荐

  1. Kali Linux 从入门到精通(三)-入侵系统定制

    Kali Linux 从入门到精通(三)-入侵系统定制 定制 网络配置 临时IP地址 dhclient eth0 ifconfig eth0 192.168.11/24 route add defau ...

  2. C4D致富经典入门到精通(三)

    C4D样条曲线创建 C4D基础界面的介绍与常用快捷键:  C4D致富经典入门到精通(一) C4D父子关系的理解与创建参数几何体与可编辑对象: C4D致富经典入门到精通(二) C4D样条曲线创建 :  ...

  3. 视频教程-赵强老师:大数据从入门到精通(23)配置Hive On Spark-Spark

    赵强老师:大数据从入门到精通(23)配置Hive On Spark 毕业于清华大学,拥有超过13年的工作经验. Oracle认证讲师,拥有6年以上授课经验.精通Oracle数据库.中间(Weblogi ...

  4. jQuery 1.3 for Asp.Net、 CSLA.Net 3.6 for Windows 及 MOSS/WSS 一步一步从入门到精通三个系列的目录...

    jQuery for Asp.Net 一步一步从入门到精通(附 jQuery API 彩色大图) CSLA.Net 3.6 for Windows (C# 2008)一步一步从入门到精通 MOSS/W ...

  5. Logtail从入门到精通(二):开启日志采集之旅

    摘要: 为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍. Logtail相关概念 为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍. 概念介绍 ...

  6. MyBatis从入门到精通(三):MyBatis XML方式的基本用法之多表查询

    最近在读刘增辉老师所著的<MyBatis从入门到精通>一书,很有收获,于是将自己学习的过程以博客形式输出,如有错误,欢迎指正,如帮助到你,不胜荣幸! 1. 多表查询 上篇博客中,我们示例的 ...

  7. oracle从入门到精通(4)------运算符,分组查询,函数

    oracle入门到精通(4) --------------------------------------------- 1.运算符 2.分组查询 3.函数 --------------------- ...

  8. visual studio 2015 搭建python开发环境,python入门到精通[三]

    在上一篇博客Windows搭建python开发环境,python入门到精通[一]很多园友提到希望使用visual studio 2013/visual studio 2015 python做demo, ...

  9. Logtail从入门到精通(四):正则表达式Java日志采集实战

    摘要: 为简化日志接入门槛,我们提供了极简模式的日志解析方式(如[开启日志采集之旅]()中的介绍).为了更好的对日志进行分析,我们还提供了其他解析方式,例如:分隔符模式.完整正则模式.JSON模式等. ...

最新文章

  1. 如何在OS X中打印到PDF文件
  2. 数据挖掘竞赛-员工离职预测训练赛
  3. Angular的scope. apply和CRM WebClient UI的modify方法
  4. mysql5.7.18压缩包下载_Windows安装MySQL5.7教程
  5. 内核并发控制---顺序锁 (来自网易)
  6. 基于DenseNet和自注意机制融合的脐橙病虫害鉴定(DenseNet加入注意力+自然数据集扩大)
  7. jquery中Uncaught TypeError: $(...).ajaxUpload is not a function(…)错误解决方法
  8. 企业管理中使用凌云仓库管理软件免费版的优势
  9. python考勤记录_python做考勤统计
  10. Unity射线检测实例
  11. 企业对NAS私有云存储有什么样的需求,NAS网络存储又有哪些优势与功能呢?
  12. 软件测试之如何测试数据?
  13. 即时通讯软件调查报告
  14. 9flash:个人网站商业化之蜕
  15. android studio 屏幕翻转
  16. golang 读一行_与golang合作的第一步
  17. 时间序列分析中的ARMA,ARIMA,ARC…
  18. 基准价搭档“货比三家” 8thManage轻松节省采购成本
  19. 解决AndroidManifest.xml文件反编译失败
  20. 机器学习——python scikit-learn 贝叶斯

热门文章

  1. 网页设计上机考试原题_全国计算机三级信息安全考试 经验分享
  2. python类的mod_apache+mod_python
  3. linux sh 编程,Linux shell 编程入门
  4. python数据科学入门_干货!小白入门Python数据科学全教程
  5. 开设计算机应用基础这门学科意义,计算机应用基础与专业课程整合思考.doc
  6. c语言求最多啤酒数,C语言,算法、动态规划:有一个箱子的容量为v(正整数,0=v=20000),同时有n个物品(0n=30),...
  7. label y 训练集测试集x_训练集、测试集 train_test_split
  8. java字符串为空抛出异常_Java 判断字符串是否为空的四种方法,及效率比较。
  9. linux ns级定时器_linux用户空间获得ns纳秒级时间示例
  10. 数学发展重在人才,丘成桐鼓励年轻学子“无法无天”