《赵成的运维体系管理课》学习笔记（5）—

37 | 故障管理：谈谈我对故障的理解

系统正常，只是改系统无数异常情况下的一种特例。

Design for Failure：

我们的目标和注意力不应该放在消除故障，或者不允许故障发生上，因为我们无法杜绝故障。所以，我们更应该考虑的是，怎么让系统更健壮，在一般的问题面前，仍然可以岿然不动，甚至是出现了故障，也能够让业务更快恢复起来。

故障永远只是表面现象，其背后技术和管理上的问题才是根因

理解一个系统应该如何工作并不能使人成为专家，只能靠调查系统为何不能正常工作才行。

强调技术解决问题，而不是单纯地靠增加管理流程和检查环节来解决问题，技术手段暂时无法满足的，可以靠管理手段来辅助。必须尽快将人为动作转化到技术平台中去。

38 | 故障管理：故障定级和定责

故障的定级标准

P0-P4, MTBF,MTTR,MTTF

故障的定责标准

变更执行，服务依赖，第三方责任

39 | 故障管理：鼓励做事，而不是处罚错误

关于定责和处罚

绝大多数的严重故障都是因为无意识或意识薄弱导致的，并不是因为单纯的技术能力不足等技术因素。

鼓励做事，而不是处罚错误

40 | 故障管理：故障应急和故障复盘

故障应急

第一方面，业务恢复预案
优先恢复业务，而不是定位问题。
Chaos Engineering
第二方面，有效的组织协调
- 确定故障影响面及等级
- 组织应急小组
- 信息通报
功夫要下在平时，注意建设各种工具和平台，同时要尽可能地考虑和模拟各种故障场景。

故障复盘

复盘的目的是为了从故障中学习，找到我们技术和管理上的不足，然后不断改进。

技术支持的作用：

召集复盘会议
组织会议流程
对故障定级定责
明确后续改进行动及责任人，录入系统并定期跟踪

复盘的关键环节：

故障简单回顾
故障处理时间线回顾
针对时间线进行讨论
确定故障根因
故障定级定责
发出故障完结报告

定期总结故障案例

41 | 唇亡齿寒：运维与安全

运维与安全的关系

在双方工作的协作上，我一直认为运维不能只是被动响应，而应该主动与安全合作，共建安全体系，与运维体系融合，把防线建设好，从源头控制。

蘑菇街安全体系简介

入网管控
堡垒机
主机安全管控
黑盒扫描
白盒扫描（代码审计）
WAF,web application firewall
应急响应中心 SRC

42 | 树立个人品牌意识：从背景调查谈谈职业口碑的重要性

背调过程不可控，但是我们自身的表现却从来都是可控的。

如果想要树立个人的好口碑，那就需要我们付出更多，要让团队和其他成员明确你独特的个人价值。

要引以为戒的反例：

诚信问题，这是高压线，触碰不得
消极怠工问题，这一点我认为是职业道德问题，是令人厌恶的

结束语 | 学习的过程，多些耐心和脚踏实地

学习也是一个从厚到薄的过程。

软件架构的目的，是将构建和维护所需的人力资源降到最低。

专注带来效率提升。

总结回顾是最好最快的提升方式。

不要忘了时常做一下总结和回顾，而总结和回顾的最好方式就是写作。