从0到1：蘑菇街运维技术管理体系建设分享 赵成（谦益） 蘑菇街 G O P S 2016 全 球 运 维 大 会 · 上 海 站 自我介绍 赵成，花名：谦益 2008-2015.1，华为技术有限公司，高级软件工程师 • WAP网关测试 • 移动广告业务开发 • 移动手机阅读业务开发和运维 2015.1-至今，加入蘑菇街平台技术部，运维经理 • 321\618\1111\1212，电商大促保障 • 运维体系和运维团队的建设 • CMDB&应用配置管理、运维自动化、持续集成和发布、稳定性&安全 G O P S 2016 全 球 运 维 大 会 · 上 海 站 G O P S 2016 全 球 运 维 大 会 · 上 海 站 G O P S 2016 全 球 运 维 大 会 · 上 海 站 目录 G O P S 2016 全 球 运 维 大 会 · 上 海 站 1 蘑菇街技术架构和运维体系演进历程 2 跨越篱笆，我们的运维解决方案 3 运维技术管理分享 1、蘑菇街技术架构和运维体系演进历程 G O P S 2016 全 球 运 维 大 会 · 上 海 站 蘑菇街技术架构-早期 G O P S 2016 全 球 运 维 大 会 · 上 海 站 蘑菇街业务架构-中期（2012-2014） 电商 外部频道： 社交 服饰 美妆 团购 业务平台 运营后台 业务系统： 基础应用： 动态 海淘 详情页 购物车 活动 商品管理 交易管理 商家后台 订单 会员 招商管理 客服CRM 商品 交易 基础应用 用户 G O P S 2016 全 球 运 维 大 会 · 上 海 站 店铺 促销 评价 蘑菇街技术架构-中期 速度要快 PHP是最好的语言 容量不够？扩容 维护? 脚本+简单 维护平台 G O P S 2016 全 球 运 维 大 会 · 上 海 站 运维 中期阶段（2013年-2014年） 三位数服务器、两位数网络设备 2-3名专职运维同学（主机&网络&DB&缓存&……） 问题响应式的工作方式 工具化的运维平台 • 机器资源管理（CMDB的雏形） • PHP发布系统 • 从指标维度监控系统（主机、QPS、RT、调用次数…. ） G O P S 2016 全 球 运 维 大 会 · 上 海 站 蘑菇街业务架构-现状 电 商 服饰 母婴 美妆 红人bazzar 海淘 社会化 家居 动态 相册 星座 大姨妈 品牌 小店 平台应用 运营后台 通用工具 详情页 购物车 预售 商品管理 交易管理 IM 会员 订单 分销 活动报名 投放管理 ERP 商家 活动 快抢 招商管理 客服CRM 开放平台 基础应用 用户 商品 G O P S 2016 全 球 运 维 大 会 · 上 海 站 交易 促销 店铺 评价 支付 蘑菇街技术体系现状 20% 80% 负载均衡层 LVS Lurker 代理层 Nginx Proxy Sentry ATS WEB层 平台层 业务服务组件层 中间层 基础设施层 Nginx+PHP-FPM(pool) + Java Web(pool) 平台化框架 流程编排 MWP NodeJS hulk 规则引擎 模块组装 LogAgent Java服务化（用户+商品+交易+支付+会员…….） Raptor MySQL集群 G O P S 2016 全 球 运 维 大 会 · 上 海 站 Corgi Mogucache CMDB Furion Mogubase Pigeon 实时搜索 Docker 文件存储 技术演进带来的变化和挑战 1. 技术上：PHP开始转向JAVA • • • • 各种开源组件的引入，tomcat、spring、netty、druid 多线程、JVM、GC等Java常见问题的处理 中间件技术，RPC服务化框架、消息组件、分布式DB中间件 服务治理，应用之间的调用关系复杂，链路长，是否合理？瓶颈在哪里？ 2. 管理上：单一应用（PHP）拆分成几十上百个应用 • • • • 应用的管理问题，隐含着资源分配更加频繁、发布更为频繁 发布效率问题，原来单一应用变成上百个应用的发布，回滚 资源利用率问题，引入虚拟化及私有云平台建设 稳定性问题 G O P S 2016 全 球 运 维 大 会 · 上 海 站 2、跨越篱笆，我们的运维解决方案 G O P S 2016 全 球 运 维 大 会 · 上 海 站 运维解决方案-整体思路 1. 从0到1 • 标准化及应用配置管理 • 持续集成和发布 • 运维自动化体系建设 2. 从1到100….的路上 • 稳定性平台建设 • 混合云架构尝试 G O P S 2016 全 球 运 维 大 会 · 上 海 站 运维解决方案-一切围绕标准化展开 CMDB 资源管理 应用配置管理 标准化 发布系统 G O P S 2016 全 球 运 维 大 会 · 上 海 站 监控系统 运维解决方案（0到1）-标准化及应用配置管理 1. 基础软件及配置标准化 • OS，统一到CentOS 6.5和CentOS 7，参数统一，标准KVM（2C2G、 4C4G、8C16G） 基础部件，PHP、Curl、JDK、Tomcat、ZK、Kafka、Redis • • • 应用管理，应用命名及应用与资源对应关系，CMDB 配置管理，参数配置统一，启停脚本、检测脚本、部署目录、日志目录 日志标准，为日志采集及监控告警打下基础 • • • • 接入层，LVS FullNat、Tengine、MWP 中间件技术，RPC框架Tesla，消息框架Corgi，分布式DB框架Raptor 缓存，KVStore，MoguCache DB，MySql 5.6 Percona • 2. 应用及配置标准化 3. 技术架构标准化 G O P S 2016 全 球 运 维 大 会 · 上 海 站 运维解决方案（0到1）-标准化规范样例 集团标准化体系 G O P S 2016 全 球 运 维 大 会 · 上 海 站 应用部署标准 运维解决方案（0到1）-标准化规范样例 应用部署目录及启停脚本样例 G O P S 2016 全 球 运 维 大 会 · 上 海 站 运维解决方案（0到1）-应用管理 应 用 管 理 • 公司 • 一级部门（研发部） • 二级部门（电商基础） • 业务开发部（交易） • 应用名 （trade_settle_service） • 应用分组 G O P S 2016 全 球 运 维 大 会 · 上 海 站