大数据国产平台实践

大数据国产趋势与腾讯云大数据实践

国产替代背景

• 对华出口管制：自2018年起，某国持续加强对华半导体、计算等领域出口管制。
• CentOS停服：CentOS8于2021年12月31日停止维护，CentOS7于2024年6月30日停止维护。
• 国资委79号令：要求央企100%完成信息化系统安可(XC)替代，2027年完成，每季度汇报进展。
• XC替代加速：替代进度与国际形势复杂度正相关，未来将显著加速。

传统平台与开源社区版问题

• 传统平台四大核心需求：
  • 降本增效需求
  • 复杂业务需求
  • 数据治理需求
  • 国产需求
• 开源社区版问题：
  • 无法贴合企业复杂业务场景
  • 缺乏顶层设计和技术迭代
  • 组件间架构松散，版本混乱
  • 无法支持国产软硬件适配

腾讯云大数据XC大数据平台框架

• 方案理念：依托湖仓统一存算底座引擎、DataOps工具链、XC适配能力解决传统平台问题。
• 核心产品：
  • TBDS（Tencent Big DataSuite）：一站式大数据平台，支持数据全生命周期。
  • TCHouse：分布式超大规模在线分析数仓，支持行列混存、极速OLAP响应。
  • WeData：一站式敏捷数据开发治理平台，提供全链路开发治理能力。
• 六大核心能力：
  • 生态兼容&开箱即用
  • 全景湖仓能力
  • 统一管控服务
  • 极致性能与可扩展性
  • 多场景生态融合
  • 国产适配安全可信

腾讯云大数据产品优势

• 国产适配：全面支持国产软硬件生态，涵盖主流芯片、操作系统等。
• 自主创新：国产生态全面适配，平台组件自主创新，主导发布Hadoop、Spark等版本。
• 安全可信：高可用热备，严格的数据安全分类管理策略，完整4A安全体系。
• 高效运维：TBDS-Manager全场景管控，问题工单下降超过50%。
• 云数一体融合：大数据平台与云平台结合，降低建设及使用成本。

成功案例

• 某大型能源电力企业数据湖案例：
  • 承载4大平台数据实时入湖，入湖效率提升30%。
  • 实现服务贯通、数据贯通、平台贯通、网络贯通。
• 某大型机械制造数据中台案例：
  • 助力精准营销、售后服务增长和供应链库存优化。
  • 实现4个贯通，推动系统整合、融合开放。

研究结论

企业部署自主创新的国产大数据平台已成必然趋势，腾讯云大数据平台通过自主创新和国产适配能力，可有效解决传统平台问题，满足企业降本增效、复杂业务、数据治理及国产需求，助力产业数字化转型升级。