做的操作: ceph集群扩容了几个节点。

异常现象: ceph集群同步时，总是OSD进程异常的宕掉(同步一段时间数据后)。

ceph版本:  9.2.1

日志:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
7月 25 09:25:57 ceph6 ceph-osd[26051]: 0> 2017-07-25 09:25:57.471502 7f46fe478700 -1 common /HeartbeatMap .cc: In  function  'bool ceph::HeartbeatMap::_ch
7月 25 09:25:57 ceph6 ceph-osd[26051]: common /HeartbeatMap .cc: 81: FAILED assert(0 ==  "hit suicide timeout" )
7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd)
7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x85) [0x7f47038330b5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x7dc5) [0x7f47018a6dc5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (clone()+0x6d) [0x7f470014f76d]
7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.
7月 25 09:25:57 ceph6 ceph-osd[26051]: terminate called after throwing an instance of  'ceph::FailedAssertion'
7月 25 09:25:57 ceph6 ceph-osd[26051]: *** Caught signal (Aborted) **
7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700
7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd)
7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) **
7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700
7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd)
7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d]
7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.
7月 25 09:25:57 ceph6 ceph-osd[26051]: 0> 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) **
7月 25 09:25:57 ceph6 ceph-osd[26051]:  in  thread 7f46fe478700
7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd)
7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5]
7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d]
7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.

用关键词"FAILED assert(0 == "hit suicide timeout")"搜索时，很多都为“common/HeartbeatMap.cc: 79”类开头的异常。

基本没有“common/HeartbeatMap.cc: 81”开头的。

期间找了各种尝试，巴拉巴拉好多。最后发现问题出现在新节点与老节点内核版本不一致的情况。更新后恢复正常。

本文转自 陈延宗 51CTO博客，原文链接：http://blog.51cto.com/407711169/1959914，如需转载请自行联系原作者

ceph同步数据过程OSD进程异常退出记录相关推荐

  1. 详谈 UNIX 环境进程异常退出

    原文链接:http://www.ibm.com/developerworks/cn/aix/library/1206_xiejd_unixexception/ 详谈 UNIX 环境进程异常退出 本文详 ...

  2. Nginx问题定位之监控进程异常退出

    nginx在运行过程中是否稳定,是否有异常退出过?这里总结几项平时会用到的小技巧. 1. 在error.log中查看是否有signal项,如果有,看看signal是多少. 比如,这是一个异常退出的情况 ...

  3. nodejs进程异常退出处理方法

    nodejs进程异常退出处理方法 参考文章: (1)nodejs进程异常退出处理方法 (2)https://www.cnblogs.com/mengff/p/10207154.html (3)http ...

  4. 如何防止PHP进程异常退出（进程被杀）？

    背景 通常,在cli下运行的常驻后台PHP进程,可能异常退出,比如php执行过程中出现的致命错误,或被 kill 命令手动杀死等.如下面的php代码: 1 2 3 4 5 6 7 8 9 <?p ...

  5. MHA监控进程异常退出（MHA版本：0.56）

    最近遇到一个非常诡异的问题,mha后台进程自己中断退出了.以下是报错: Mon Dec 21 20:16:07 2015 - [info] OK. Mon Dec 21 20:16:07 2015 - ...

  6. linux进程异常退出分析,ECS Linux程序异常退出提示“out of memory”的临时解决办法...

    ECS Linux上的程序会出现异常退出的情况,退出的原因多数是因为系统内存不足,Linux内存不足通常会触发 Linux 内核里的 Out of Memory (OOM) killer,OOM ki ...

  7. 服务器更换硬盘同步数据过程中其他硬盘故障后修复过程

    服务器大家应该都不陌生,这里不对服务器的概念做过多解释,直接切入主题:服务器更换硬盘后同步数据的过程中如果有其他硬盘出现故障掉线中断同步过程,此时应该如何处理才能恢复原来服务器内的数据呢?下面介绍服务 ...

  8. php进程 异常退出,记一次进程异常退出的问题排查

    机器搬家之后,之前一直稳定的PHP多进程程序子进程突然异常退出,但是退出的不是很频繁,查看进程日志并也没有发现有什么导致退出的,问题比较诡异.于是开启了一段问题排查之路. 首先查看内核日志,使用dme ...

  9. ceph osd 由于“No space left on device” 异常down,通过扩容文件系统或者显式运行osd进程解决

    文章目录 ceph版本: 环境配置: 异常问题: 问题解决: 总结 ceph版本: ceph 12.2.1 环境配置: tier_pool 16个分区大小800G 的osd容量 3副本 data_po ...

最新文章

  1. sign函数的功能oracle,Oracle中sign函数和decode函数的使用
  2. CycleGAN作者朱俊彦宣布重返CMU，担任助理教授
  3. 单用户多角色权限的MSSQL实现
  4. linux 通过命令行获取本机外网IP
  5. Android的开机流程
  6. mysql里的ibdata1文件
  7. java利用正则截取字符串中的数字
  8. 08 / LiveVideoStack主编观察：开源RTC的机会来了吗？
  9. java byte 拓展_Java项目中如何扩展第三方jar包中的类？
  10. 嵌入式linux学习
  11. 95-20-050-启动器-ServerBootstrap
  12. JavaScript：执行上下文执行上下文栈
  13. centos JDK安装
  14. java hex2bin_hex2bin / bin2hex / pack / unpack 的理解及应用
  15. 60、在Visual Studio 2019 环境下，使用C#调用C++生成的dll实现yolov5的图片检测
  16. PR预设 16个毛刺效果抖音故障特效视频转场PR预设V2版本
  17. 利用python实现对豆瓣排名电影的信息获取
  18. 如何写论文？新手小白快速入门！
  19. Linux 下文件和目录的特点
  20. 基于stm32的车辆减速灯项目——MPU6050或ADXL345

热门文章

  1. 企业实战-Kubernetes(十一)Kubernetes监控
  2. 实验：华氏温度的转换
  3. Mqtt主题那点事(topic)
  4. JavaScript 网站加密和混淆技术
  5. 计算机硬盘改造u盘,怎样把台式电脑硬盘变成U盘??
  6. 不会说话的人，怎么提高表达能力？
  7. 孕期饮食 切不可多吃甜食
  8. MVC 弹出框、确认框
  9. 怦然心栋-冲刺日志(第1天)
  10. Java类加载机制揭秘