引言
基本上每个公司都有一个NOC团队，负责整个公司技术保障的值班与运营。NOC（Network Operation Center）网络运营中心，这篇捋下NOC负责主要内容。
  • 故障关联的概念
  • 复盘中常见问题
  • 故障复盘主要点
  • 故障治理数字化
一、故障关联的概念

1、发现与恢复

目标：持续提升平均故障间隔时间，持续降平均低故障修复时间。
  • MTBF（Mean Time Between Failure）平均故障间隔时间
  • MTTR（Mean Time To Repair）平均故障修复时间
故障平均修复时间（MTTR）具体细分
  • MTTI（Mean Time To Identify）平均故障发现时间
  • MTTK（Mean Time To Know）平均故障定位时间
  • MTTF（Mean Time To Fix）平均故障解决时间
  • MTTV（Mean Time To Verify）平均故障修复和验证时间
  • MTTR=MTTI+MTTK+MTTF+MTTV
故障响应要求
  • 5-5-10：5分钟发现、5分钟定位、10分钟解决恢复
  • 3-5-10：3分钟发现、5分钟定位、10分钟恢复

2、服务质量

  • 服务质量指标（SLI）
    • 是指衡量服务质量的具体量化指标
    • 常见的指标，例如：请求延迟、错误率、系统吞吐量
    • 此外，可用性指标99.99%保障、存储系统的持久性指标
  • 服务质量目标（SLO）
    • 服务某个质量指标SLI的目标值或者目标值范围
    • 例如：该系统的平均请求延迟须小于300ms
  • 服务质量协议（SLA）
    • 描述在达到或者未达到SLO的后果
    • 如果没有明确的后果，需要重新讨论SLO
二、复盘中常见问题

1、时间线上常见问题

  • 故障发现：负责同学的电话是否及时接听、客诉发现能否转换为系统发现、告警是否有忽略
  • 故障定位：辅助决策/可视化系统根因分析能力的提升、负责同学对系统的熟悉程度
  • 故障恢复：应急预案、止血措施、配置限流/降级预案、强弱依赖以及降级措施
  • 故障解决：定位根因解决、测试验证确认

2、故障类型常见问题

  • 变更执行：变更方对受影响方的触达告知、通知是否到位、变更影响是否远超预期
  • 服务依赖：上下游依赖是否为强依赖、弱依赖降级措施是否具备、是否能兜底措施
  • 场景冲突：本次业务需求变更影响了以前业务场景、测试用例能否覆盖、针对遗落的测试用例该如何增强
  • 代码BUG：兼容性测试、性能测试、单元测试、回归测试、代码CR等能否发现、非生产环境停留期是否能进一步发现
  • 第三方责任：第三方提供的服务导致、服务是否针对第三方服务具备高可用设计、兜底方案
三、故障复盘主要点
由NOC组织复盘，一次复盘包含的内容做个整理。将故障复盘过程落入系统，方便以上相关相关指标的统计、分析以、检索。

1、故障内容总览

对故障简要描述，常见内容如下
  • 故障简要描述
  • 影响的业务域
  • 影响业务范围
  • 影响域干系人
  • 故障域责任人
  • 故障注入时间
  • 故障发生时间
  • 故障发现时间
  • 故障上报时间
  • NOC介入时间
  • 故障定位时间
  • 故障止血时间
  • 故障恢复时间

2、故障处理时间线

  • 故障发现的时间与渠道
  • 故障定位的时间与过程
  • 故障止血的时间与过程
  • 故障直接以及根本原因

3、故障影响范围

  • 详细罗列受影响的域与业务
  • 单量/客诉/资损/舆情等影响

4、故障定级与改进

  • 根据故障定级条例对该故障定级
  • 故障定责、确定该故障的责任域责任人
  • 该故障关联的改进事项
四、故障治理数字化
根据重要性、影响范围、持续时间、业务的低/高峰期、不同的业务域等制定故障等级标准。

1、故障等级划分

  • P级故障：例如将故障划分为P0~P5
  • 事件级别：未达到P级故障的事件
  • 故障责任：明确各个等级需承担的责任人
  • 例如：变更造成单量下跌超过30%被定义为P1级故障
  • 例如：P1级故障需要部门负责人承担

2、故障治理数字化

  • 将每次故障以及复盘系统化
  • 自动计算MTBF、MTTR等指标绘制大盘
  • 故障数量、级别、类型等分布情况
  • 相关指标根据业务域下钻和分析
  • 改进事项的推进跟踪管理
  • 故障的定期复盘和分析
继续阅读
阅读原文