蘑菇街运维体系 及双11关键技术分享 演讲人：赵成 关于蘑菇街 About us 中国最大的女性时尚社交电商平台。成立于2011年，总部位于浙江杭州， 目前（2015.Q3）拥有1.3亿注册用户，双十一日UV超2000万。 11.21日宣布完成D轮融资，并实施“一街双城”战略，杭州+北京，杭 州偏电商方向，北京偏社交媒体方向。 • 2011 • • • • • • 蘑菇街网站以消费者分享社区 形态正式上线 率先推出移动端App 6个月内完成用户数从零到一百 万的增长 完成A轮千万级融资 商业模式获得市场首肯， 成为国内最大的导购网站 用户数达到600万 完成B轮融资，估值2亿美元 2012 • • • 2013 • • 在线交易体系完成， 成功转型女性垂直电商平台 完成C轮融资，估值10亿美元 发布“我的买手街”品牌战略， 深受用户青睐 构建支付与金融业务平台 广州办事处成立，进一步扩大招商 2014 • • • • • • • 2015 开放全品类招商，进一步扩展用户群体 北京研发中心成立，加强技术储备 移动端商家App“小店”上线 达人经纪平台“UNI引力”上线 签约“国民男神”李易峰为品牌代言人 开启社会化电商新时代 11.21日宣布完成D轮融资，“一街双城”战略 自我介绍 About me • 姓名：赵成 • 花名：谦益（谦受益，满招损。—《尚书·大禹谟》） • 蘑菇街-平台技术-运维经理 主要讲什么 我们的运维体系 • 蘑菇街技术架构演进 • 蘑菇街运维体系演进 • 运维该怎样提供更好服务 双11技术保障，运维做了什么？ • 全链路压测 • ATS静态化方案 蘑菇街业务架构-导购期（2011-2012） 前台业务： 社交导购 图墙 后台系统： 小组 专辑 动态 内容管理后台 商品审核 基础应用： 搭配 图片审核 帖子审核 用户审核 基础应用 用户 内容 蘑菇街技术架构-导购期（2011-2012） 速度要快-LNMP PHP是最好的语言 简单是最好的 -几十台机器 维护? 脚本搞定 运维早期情况 • 早期阶段（2011-2012年） – 两位数机器、个位数网络设备 – 没有运维，开发即运维，靠牛逼的脚本和一些开源工具搞定 蘑菇街业务架构-转型期（2013） 电商 外部频道： 社交 服饰 美妆 团购 业务平台 动态 运营后台 业务系统： 基础应用： 海淘 详情页 购物车 活动 商品管理 交易管理 商家后台 订单 会员 招商管理 客服CRM 商品 交易 基础应用 用户 店铺 促销 评价 蘑菇街技术架构-转型期 速度还要快 PHP是最好的语言 容量不够？扩容 维护? 脚本+简单 维护平台 运维的发展 • 中间阶段（2013年-2014年） – 三位数服务器、两位数网络设备 – 2-3名专职运维同学（主机&网络&DB&缓存&……） – 问题响应式的工作方式 – 工具化的运维平台 • 机器资源管理（CMDB的雏形） • PHP发布系统 • 从指标维度监控系统（主机、QPS、RT、调用次数…. ） 蘑菇街业务架构-社会化电商 电 商 服饰 母婴 美妆 红人bazzar 海淘 社会化 家居 品牌 动态 相册 星座 大姨妈 小店 平台应用 通用工具 运营后台 详情页 购物车 预售 商品管理 交易管理 IM 会员 订单 分销 活动报名 投放管理 ERP 商家 活动 快抢 招商管理 客服CRM 开放平台 基础应用 用户 商品 交易 促销 店铺 评价 支付 蘑菇街技术体系现状-社会化电商 20% 80% 负载均衡层 LVS 代理层 Nginx Proxy Lurker Sentry ATS WEB层 Nginx+PHP-FPM(pool) + Java Web(pool) 平台层（待做） 平台化框架 流程编排 MWP NodeJS CMDB hulk 规则引擎 模块组装 LogAgent 业务服务组件层 中间层 基础设施层 Java服务化（用户+商品+交易+支付+会员…….） Raptor MySQL集群 Corgi Mogucache Docker Furion Mogubase Pigeon 实时搜索 文件存储 业务的快速发展对运维带来的挑战 • 问题1：业务线越来越多，机器越来越多 CMDB – 挑战：更合理和高效的资源管理及调度效率 • 问题2：版本和代码迭代周期更短，随着服务化推进，开发速度更快 – 挑战：发布速度不能落后，减少人肉成本 发布系统 • 问题3：业务上线后，以前只要监控主机信息和通用的QPS、RT就好 了，每个应用越来越多的个性化监控怎么办？ – 挑战：统一的监控平台，提供定制化的模板 监控平台 我们应该怎么做 思路： • 建立以应用服务为核心的管理标准体系 • 打造CMDB、流程申请、持续集成和监控为一体的自动化运维系统， 而不是孤立的单点系统 • 把运维能力服务化（API），使运维的能力无处不在 关于应用服务管理 应用 服务 管理 公司 一级部门（研发部） 二级部门（电商基础） 业务开发部（交易） 应用服务 （trade_ordership_service） • 应用服务分组 • • • • • trade_ordership_service 应用服务标识 将会是后续一系列运维系统的桥梁！！ 案例介绍 让我们看一个从服务器管理—申请—代码发布—线上监控的案例 关于应用服务管理-Hestia服务和资源管理 • 从业务的维度来管理主机-CMDB的核心概念 • 支持扩容、上下线、设备保障、权限等常规流程申请 • 自动化任务的配置和下发 关于应用服务管理-Mops流程申请系统 • 资源不够了，通过应用trade_ordership_service进行扩容申请 关于应用服务管理-发布系统 • 以trade_ordership_service为标示，进行代码发布 关于应用服务管理-监控系统Sentry • 通用+自定义监控配置，运维+开发可以时刻关注自己的服务状态和质量