京东智能模块化运维建设 何永成 DevOps 国际峰会 2 0 1 8 · 北 京 站 目录 DevOps 国际峰会 2 0 1 8 · 北 京 站 1 背景 2 目标 3 运营维护平台 4 思考 背景 传统运维的挑战 设备规模 – – – – 1000 10000 100000 … DevOps 国际峰会 2 0 1 8 · 北 京 站 应用需求多样化 新技术挑战 – – – 容器 微服务 … – – – – 运行环境 开发语言 运维策略 ... 目录 DevOps 国际峰会 2 0 1 8 · 北 京 站 1 背景 2 目标 3 运营维护平台 4 思考 不会喝茶的OP不是 好运维 DevOps 国际峰会 2 0 1 8 · 北 京 站 目标 智能化 精细化 运维单位 - 个性化定制 - 运营自助化 - 以应用为单位 - 资源：cpu、 mem、disk DevOps 国际峰会 2 0 1 8 · 北 京 站 - 故障智能化分析 处理 目录 DevOps 国际峰会 2 0 1 8 · 北 京 站 1 背景 2 目标 3 运营维护平台 4 思考 运营维护平台 以资源管理系统做为基础数据来源， 为京东研发体系实现应用级的精细 化运维管理。 能够通过灵活订购“Kit”，实现针 对用户的、为每个应用实现定制化 的功能、页面，并且实现了精准的 资源管理和集群管理 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 总体架构 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 资源管理系统 • 业务系统平台 • 获取系统、应用、服务器等 • 数据变更 订阅消息中心 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 KIT商店 • 工具商店、囊括任何语言脚本 • 发布者：研发、运维 • 使用者：研发、运维 • 发布、订阅、运行 • 申请、授权 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 KIT使用 • 申请KIT权限 • 提供者授权 • KIT作用在应用或系统 • KIT运行监控 • 返回结果详情 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 虎符系统 权限 多维度 管理 插件 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 虎符系统 • 发布者运维 • 使用者运维、研发 • 部署、启动、监控 • 系统优先 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 数据展现 • 插件、KIT 产生数据 • 运营平台提供数据打包传送 • 定制格式存储 • 灵活数据展现 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 响尾蛇系统 • 故障生产者与解决者隔离 • 故障、报警 • 解决故障 • 验证响应方法 DevOps 国际峰会 2 0 1 8 · 北 京 站 运营维护平台 全链路压测系统 • 高并发压测用户行为模拟 • 实现不同场景下动态并发压力 结 算 DevOps 国际峰会 2 0 1 8 · 北 京 站 支 付 运营维护平台 自动报修系统 • 故障发现 • 故障分析 • 主动报修 DevOps 国际峰会 2 0 1 8 · 北 京 站 应 用 列 表 故 障 发 现 故 障 分 析 主 动 报 修 运营维护平台 研发、运维 Kit订阅与使用 Kit商店 自动报修系统 虎符系统 资源管理 DevOps 国际峰会 2 0 1 8 · 北 京 站 故障演练 Force Bot