登录
注册
个人信息
我的订单
我的报告豆
我的优惠券
我的笔记
我的阅读
我的收藏
我的下载
我的上传
我的订阅
在线客服
退出登录
回到首页
AI
搜索
发现报告
发现数据
发现专题
专题报告
专题百科
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
seedance2.0
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
1-3 数据治理驱动下的开发治理平台建设
信息技术
2022-11-02
DataFunSummit2022:数据产品经理峰会
carry~强
大数据开发治理平台建设
大数据开发治理平台概述
平台构成
:包含开发模块和治理模块,覆盖数据生产、消费和治理三种场景,服务于数据分析师、RD、算法RD和数据运营等四类用户。
背景
:大数据技术快速迭代、业务多元化、组织复杂化及数据指数级增长,推动企业建设开发治理平台。
B站选择
:采用自研berserker平台,兼顾成本、集成能力和性能需求。
平台建设之痛
问题
:平台稳定性不足、业务自建集群效率高、短期收益难、数据治理配合度低。
挑战
:如何提升数据生产力、落地治理方法论、完善数据驱动成熟度。
数据治理驱动平台建设
B站平台规模
:10000+集群,1000亿日均新增数据,15w+日均作业量,3000+DAU。
演进里程碑
:
2017-2018:存通用赋能
(数据集成、开发IDE、即席查询等)。
2019-2020:数据集成能力
(业务数据库接入、流式数据汇聚、元数据集成)。
2020-2022:开发运维能力
(任务调度系统、依赖策略支持、监控告警)。
2022:质量治理驱动
(SLA保障、智能基线、DQC、回刷工具)。
2022:成本治理驱动
(工作空间、用量账单、治理标准)。
关键功能与策略
数据集成
:支持全量/增量、批流处理,异构数据同步。
开发运维
:任务调度、依赖管理、代码调试、日志诊断、回刷工具。
质量治理
:SLA监控、智能基线预警、DQC分级治理、回刷工具修复。
成本治理
:工作空间管理、用量账单、成本分析、优化策略。
产品策略
:业务合作优先、新技术调研决策、自持业务、优先级(质量>成本>安全)、运营数据。
你可能感兴趣
技术进步驱动下平台企业治理模式转变及其对劳动力福利影响的研究
商贸零售
财新智库&中国ESG30人论坛&东方证券
2025-09-04
数据开发治理平台 EasyData
商贸零售
网易
2023-11-29
尹春光 - 翼支付云原生数据开发与治理平台实践
商贸零售
DataFunSummit2022:智能金融在线峰会
2022-11-24
期货行业大数据平台数据治理与建设方案
商贸零售
未知机构
2022-09-27
8-3 货拉拉数据治理平台建设实践 - 陈元
商贸零售
DataFunSummit2022:数据治理在线峰会
2022-09-15