钟仕骏- 新东方DevOps运维门户进阶之

钟仕骏高级经理 首师大毕业，现就职于新东方教育，曾就职于搜狐、快手。搜狐大厦资深老烟民，曾在搜狗、搜狐视频移动端NO工作过，负责运维及后台数据研发。快手第一位SRE，曾负责快手「所有」运维基础化建设，规划并参与了2020年春晚红包项目。现任新东方教育运维研发高级经理，负责企业基础架构标准化体系研究、自动化平台研发等。 01 02 03 04 01 DevOps平台的建立初期困境 面临的困境：急需一体化平台集成，解决孤岛效应 数据孤岛 烟囱效应 组织熵增 问题1：哪些独立功能需要集成？ 资源申请 信息检索 流程操作 业务上线 成本控制 数据安全 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站高效稳定 问题2：集成后如何方便地进行资源分摊？ 解决办法——服务树 通过服务树关联集成业务功能 DevOps与数据平台大数据研发体系的割裂与整合 案例1：实时计算平台上下游通过流程串联 案例1：实时计算平台需求细化，功能模块拆分 实时计算平台初版包括：7个功能模块，14个功能点。 案例1：实时计算平台集成方案和功能实现 模块一：数据源管理模块二：队列权限管理模块三：任务ITEM管理模块四：任务约束表达式管理模块五：FLINK-SQL配置管理模块六：实时计算表单创建模块七：CI配置管理模块八：任务列表模块九：任务配置列表模块十：任务全盘操作历史模块十一：SINK操作模块十二：资源统计模块十三：SOURCE树白名单模块十四：宏管理模块十五：监控创建 案例1：实时计算平台数据处理能力升级-实时数据研发平台 建立自动化数据研发管理模型，由割裂变集成，通过数据驱动，将业务库表联动服务树，利用报警组机制将风险快速反馈至研发人员，推动研发改进分析模型，提升数据分析效率。目前上线了16个业务线，130+个分析任务，累积提单5300+节省了30%以上的跨平台人工调用、邮件数据传递成本。 DevOps与安全中心关于DevSecOps的一些CASE 安全项目驱动开发-部分项目展示 案例2：APP闭环检测系统流程 基于现有的APP安全检测设备的基础上，从管理和技术两个方面，对于集团下属APP进行安全合规管理，从而减低APP的安全风险。 案例2：APP闭环检测系统架构 目的 为了进一步增强集团及下属分支机构所开发APP的安全合规性，降低相关APP因安全合规风险被外部主监管部门的风险，充分利用集团现有的App安全检测设备，实现应用市场APP下载—>APP安全合规检查—>安全合规问题展示—>APP安全合规问题通报—>APP修复检查的全流程管理。 任务 统一两款三方系统的交互模式，封装出高质量且具有一致性的后端接口，考虑到三方系统不可控因素过多，需要完善报错信息与检测状态的多样性，防止因外部系统崩溃导致程序不可预估的风险，另因外部系统接口不完善，还要建立人为结果录入的机制。2 成果 对于存在的APP高危风险的APP问题，触发问题工单或邮件通知到各应用负责人，帮助其了解自己所负责的APP的风险的同时也变向的支持了公司的安全战略规划。3 关键业务数据 pAPP纳管数量：8pAPP检测次数：390p当前纳管APP检测平均分：60p线上高危漏洞：12p线上中危漏洞：16 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 案例2：APP闭环检测系统DashBoard和详情页 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 案例3：CA认证中心 传统密码认证 优点：认证相对方便简单缺点：易于拷贝传递背诵 公私密钥对认证 优点：难于拷贝背诵缺点：仍可传递，且不常变 CA机构自签认证 优点：需要三方共同认证身份，传递无效缺点：实现较复杂，业内实践少 案例3：CA认证流程图 案例3：CA认证中心实现安全登录 04 经验沉淀 项目开发过程经验总结 1.分为降本（资金和时间成本）和增效两环节；2.约整体降本30%，增效40%，加速投产。 技术提效思维 避免重复造轮子 复制牛人经验，提高作战能力 核心模块抽象，高内聚低耦合 实现基础能力可重用 利用网关接口路由 架构微服务化，增加通用接口 文档定期沉淀，鼓励知识共享 wiki、技术公众号 运维业务研发精进过程 Thanks DevOps时代社区荣誉出品