钟仕骏高级经理在新东方教育、快手、搜狐等公司的工作经历,展现了其在DevOps、运维及后台数据研发领域的深厚积累。报告核心围绕DevOps平台建立初期面临的困境及解决方案展开,并分享了多个实践案例。
DevOps平台建立初期困境
- 面临的困境:急需一体化平台集成,解决数据孤岛、烟囱效应和组织熵增问题。
- 问题1:哪些独立功能需要集成?(资源申请、信息检索、流程操作、业务上线、成本控制、数据安全等)
- 问题2:集成后如何方便地进行资源分摊?
- 解决办法:通过服务树关联集成业务功能,实现资源分摊。
DevOps与数据平台大数据研发体系的割裂与整合
- 案例1:实时计算平台
- 初版功能:7个模块,14个功能点。
- 集成方案:15个模块(数据源管理、队列权限管理、任务ITEM管理、任务约束表达式管理、FLINK-SQL配置管理、实时计算表单创建、CI配置管理、任务列表、任务配置列表、任务全盘操作历史、SINK操作、资源统计、SOURCE树白名单、宏管理、监控创建)。
- 升级方案:建立自动化数据研发管理模型,通过数据驱动将业务库表联动服务树,利用报警组机制快速反馈风险,提升数据分析效率。
- 成果:上线16个业务线,130+个分析任务,累积提单5300+,节省30%以上的跨平台人工调用、邮件数据传递成本。
DevOps与安全中心关于DevSecOps的一些CASE
- 案例2:APP闭环检测系统
- 目的:增强集团APP安全合规性,实现应用市场APP下载—>安全合规检查—>问题展示—>通报—>修复检查的全流程管理。
- 任务:统一两款三方系统交互模式,封装高质量接口,建立人为结果录入机制。
- 成果:纳管APP数量8p,检测次数390p,平均分60p,线上高危漏洞12p,中危漏洞16p。
- 系统展示:提供DashBoard和详情页。
- 案例3:CA认证中心
- 传统密码认证:方便简单,但易于拷贝传递。
- 公私密钥对认证:难于拷贝背诵,但可传递且不常变。
- CA机构自签认证:需要三方共同认证,传递无效,但实现复杂。
- 实现安全登录:通过CA认证中心实现。
经验沉淀
- 项目开发过程经验总结:
- 分为降本(资金和时间成本)和增效两环节。
- 约整体降本30%,增效40%,加速投产。
- 技术提效思维:
- 避免重复造轮子。
- 复制牛人经验,提高作战能力。
- 核心模块抽象,高内聚低耦合,实现基础能力可重用。
- 利用网关接口路由,架构微服务化,增加通用接口。
- 文档定期沉淀,鼓励知识共享(wiki、技术公众号)。
- 运维业务研发精进过程: