行业研究公司研究宏观策略财报招股书会议纪要稀土低空经济 DeepSeek AIGC 智能驾驶大模型

刘明刚-B站一站式大数据集群管理平台

信息技术2024-12-06DataFunSummit2024：数据产品在线峰会L***

AI智能总结

BMR发展历程与核心能力总结

背景介绍

BMR（Big Data Management and Release）平台经历了四个发展阶段：

阶段一（求生存）：聚焦环境配置标准化，满足核心组件的快速发布。
阶段二（追温饱）：建设元仓沉淀数据，服务组件全面覆盖，进行场景化建设。
阶段三（奔小康）：升级智能运维（故障预测、智能问答），推出定制化Manager。
阶段四（共富裕）：构建发布验收、预警诊断自愈定位、资源管理一站式解决方案。

集群管理

BMR集群管理具备高效安全生产的核心能力：

核心能力：可视化流程编辑、安全变更与防御、服务优雅下线、自动适配异构环境、节点服务生命周期管理、跨组件依赖管理。
降本利器：潮汐混部实现弹性伸缩，分级保障资源利用，节省1000+机器，总核数达60,000+。

元仓建设

元仓建设实现数据互通、元数据一致性和历史回放：

元仓应用：提供概览式黄金指标展示，支持主机诊断（覆盖100+硬件故障、异常日志、指标）和任务诊断（沉淀20+诊断类型，包括失败、耗时、报错、资源、效率分析）。

智能运维

智能运维通过巡检、自愈和问答系统实现主动防御与高效支持：

巡检系统：主动发现风险（硬件故障、操作系统风险、配置错误、组件部署问题），内置10+巡检项，支持快速创建修改。
故障自愈：智能分析诊断实现自动恢复，变被动为主动。
智能问答：利用元仓数据和LLM技术直达用户，提供快速问题解答。

定制化Manager

BMR提供针对不同组件的定制化管理工具：

FlinkManager：任务管理、版本管理、模板管理、节点管理、测试管理。
SparkManager：任务管理、版本管理、迭代管理、测试管理（基准、性能、数据质量验证），支持多版本管理、精确任务回滚、灰度发布、变更防御。
KafkaManager：Topic管理（读写限流、治理、回收站、Leader修复、Offset重置、Partition重分配），集群管理（容量Quota、负载分析、Label、磁盘、多机房）。

未来展望

未来BMR将：

完善大数据测试平台，打通变更与测试流程。
加强变更管控。
增强容量管理、风险预测和自愈能力。
探索更多大模型应用场景。

刘明刚/资深工程师 DataFunSummit#2024 目录背景介绍集群管理元仓建设智能运维定制化Manager 未来展望 01 背景介绍 BMR的诞生 BMR发展阶段 l聚焦环境、配置标准化l满足核心组件的快速发布阶段一：求生存 l建设元仓、沉淀数据l服务组件全面覆盖l场景化建设阶段二：追温饱 l拥抱云原生、扩展容器化管理能力l元仓应用l智能运维（巡检平台、故障自愈）阶段三：奔小康 l智能运维升级（故障预测、智能问答）l定制化Manager 阶段四：共富裕 BMR-产品蓝图 l迭代？安全变更？高效稳定Ø用BMR，构建、发布、验收一站式l查问题？高效稳定Ø用BMR，预警、诊断、自愈、定位一站式l资源不够？降本稳定Ø用BMR，Quota、用量清晰透明一站式 02 集群管理 BMR-集群管理常见操作扩容、缩容、重启、升级等迭代操作核心能力（高效&&安全生产） l可视化流程编辑能力l安全变更、变更防御l服务优雅的下线l自动适配异构机器/环境l节点、服务生命周期管理l跨组件依赖管理 BMR-集群管理降本利器-潮汐混部l错峰出行 l弹性伸缩l分级保障 1,000+节省机器数60,000+总核数收益显著 03 元仓建设 BMR-元仓建设 l数据互通l元数据一致性l历史回放 BMR-元仓应用概览一眼看尽“黄金指标” BMR-主机诊断 l覆盖100+硬件故障、异常日志、异常监控指标l当前故障、历史故障一目了然l故障趋势清晰可见元仓应用-任务诊断沉淀20+诊断类型 l失败分析l耗时分析l报错分析l资源分析l效率分析 04 智能运维 BMR-智能运维 l巡检系统：主动发现风险，自助诊断l故障自愈：智能分析诊断，故障自动恢复l智能问答：让真相直达用户巡检平台-应用场景 l主机硬件故障l操作系统风险l核心配置错误l组件部署不符合预期巡检平台-产品能力 l巡检项管理Ø内置10+个巡检项 Ø巡检项快速创建、修改、删除故障自愈-变被动为主动故障自愈-产品能力智能问答-直达用户利用元仓数据+LLM技术 05 定制化Manager BMR-定制化Manager lFlinkManager lSparkManager ØFlink任务管理ØFlink版本管理Ø模板管理Ø节点管理Ø测试管理 ØSpark任务管理ØSpark版本管理ØSpark迭代管理Ø测试管理 BMR-KafkaManager lTopic管理 ØTopic读写限流ØTopic治理ØTopic回收站管理ØLeader-1修复Ø重置consumeroffsetØPartitionReassign l集群管理 Ø容量、Quota管理Ø负载分析ØLable管理Ø磁盘管理Ø多机房管理 BMR-SparkManager Ø多版本管理Ø精确到任务Ø快速回滚 Ø按任务灰度Ø变更防御Ø打通测试平台ü基准测试ü性能测试ü数据质量验证 06 未来展望未来展望 l完善大数据测试平台、打通变更和测试l加强变更管控l继续增强容量管理、风险预测、自愈能力l探索更多大模型的应用场景 THANKS

点击免费查看完整报告