Kubernetes集群可能存在的问题

基础架构守护程序问题： NTP服务关闭
硬件问题：CPU，内存或磁盘损坏内核问题：内核死锁，文件系统损坏
容器运行时问题：运行时守护程序无响应
…

当Kubernetes中节点发生上述问题，在整个集群中，k8s服务组件并不会感知以上问题，就会导致pod仍会调度至问题节点。

Node-problem-detector

为了解决这个问题，社区引入了守护进程node-problem-detector,从各个守护进程收集节点问题，并使它们对上游层可见。

Kubernetes节点诊断的工具，可以将节点的异常，例如：

Runtime无响应；
Linux kernel无响应；
网络异常；
文件描述符异常；
硬件问题如cpu，内存或者磁盘故障。

故障分类

问题汇报手段

Node-problem-detector通过设置NodeCondition或者创建event对象来汇报问题。

NodeCondition：针对永久性故障，会通过NodeCondition来改变节点状态
Event：临时故障通过event来提醒相关对象，比如通过当前节点运行的所有pod。

动手实践

1、下载安装包

helm repo add deliveryhero https://charts.deliveryhero.io/
helm pull deliveryhero/node-problem-detector
tar -zxvf node-problem-detector-2.0.9.tgz

2、修改image

vi node-problem-detector/values.yaml

image:repository: cncamp/node-problem-detectortag: v0.8.10pullPolicy: IfNotPresent

3、安装

helm install npd ./node-problem-detector

查看状态

4、制造异常

sudo sh -c "echo 'kernel: BUG: unable to handle kernel NULL pointer dereference at TESTING' >> /dev/kmsg"
#查看节点信息
kubectl  describe nodes ops-node-1

可以看到通过KernelOops这样的一个event把消息通知到了Kubernetes，只是起到一个通知的作用，还需要集成监控告警系统来完善。

5、使用插件pod启用npd

如果你使用的是自定义集群引导解决方案，不需要覆盖默认配置，可以利用插件Pod进一步自动化部署。
创建node-strick-detector.yaml，并在控制平面节点上保存配置到插件Pod的目录 /etc/kubernetes/addons/node-problem-detector

6、npd的异常处理行为

NPD只负责获取异常事件/并修改node condition,不会对节点状态和调度产生影响

 lastHeartbeatTime: "2022-03-02T14:12:01Z"lastTransitionTime: "2022-03-02T13:51:57Z"message: kernel has no deadlockreason: KernelHasNoDeadlockstatus: "False"type: KernelDeadlock

需要自定义控制器,监听NPD汇报的condition, taint node,阻止pod调度至故障节点
问题修复后，重启NPDPod来清理错误事件

kubernetes基于node-problem-detector实现异常节点检测相关推荐

Node Problem Detector
Have a nice day! ❤️ 什么是 NPD NPD(Node Problem Detector) 是一个可监控节点的健康状况并检测常见节点问题(例如硬件.内核或容器运行时问题等等)的开源项 ...
基于网络索引树的异常轨迹检测算法
针对轨迹数据的运动规律和特征,结合空间划分的方法,提出本文的基于网络索引的异常轨迹检测方法. 实验结果表明,该算法可提高异常轨迹挖掘效率,且更有现实意义. 该算法不足:对参数比较敏感,目前(2014) ...
ICML 2022 重思考为图结构数据异常检测设计图神经网络 | 图数据异常节点检测 | 论文解读和代码复现
文章目录一.引言二.背景与挑战三.论文主要内容四.结果分析五.代码复现 1. 环境配置 2. 结果复现一.引言 Rethinking Graph Neural Networks for A ...
【图像检测】基于 AlexNet 和 SVM 实现异常螺母检测附matlab代码
1 内容介绍考虑到异常检测问题中正负样本严重失衡,难以满足卷积神经网络训练对样本的要求,提出了基于AlexNet模型的异常检测模型.在数据预处理阶段,通过隔帧采样的方式生成3组训练数据,并利用预训练 ...
【缺陷检测】基于matlab AlexNet和SVM异常螺母检测【含Matlab源码 2147期】
一.获取代码方式获取代码方式1: 完整代码已上传我的资源: [缺陷检测]基于matlab形态学水果蔬菜缺陷检测[含Matlab源码 820期] 点击上面蓝色字体,直接付费下载,即可. 获取代码方式2 ...
Graph Anomaly Detection with Deep Learning——节点检测
节点检测算法分类 ANOS ND on Plain Graphs 平面图上的节点异常检测传统的异常检测方法基于网络表示的异常检测方法 ANOS ND on Attributed Graphs 属性 ...
【学习笔记】行人异常行为检测的综述
第一次发博客,想记录一下最近所学的东西.目前课题研究方向大致为异常检测,可能会做到校园的异常行为检测,故从知网上搜到了一篇比较新的基于深度学习的人群异常行为检测综述,在这里做一个总结,方便日后的查看. ...
视频异常行为检测网络
对视频中的异常行为进行检测十分有用,比如可以通过监控视频分析流水线车间或者实验室中的异常行为,这是一类比较简单的情形. 因为在流水线车间,设备使用正确,衣着装备佩戴正确就是正常,否则就是异常. 在实验 ...
在Unity中创建基于Node节点的编辑器（二）窗口序列化
孙广东 2018.5.13 csdn 的产品 , 真垃圾, 不想吐槽了, 文章保存就丢! 没办法 . 怎么不满意, 还是得继续用, 哎~~~ 第二部分在Unity中序列化基于节点的 ...

kubernetes基于node-problem-detector实现异常节点检测