腾讯云TCHouse-D实时湖仓构建与进化
1. 选型思考
- 挑战：云数据仓库面临多种挑战，包括性能、稳定性、兼容性等。
- 选择Doris：基于开源、高性能、丰富的功能和广泛的社区支持，Doris成为腾讯云的选择。
- 优势：
- 性能：支持向量化、多核pipeline、先进优化器和缓存技术，提供极致的查询和写入性能。
- 兼容性：兼容MySQL协议及其相关生态，支持Hive/Iceberg/Hudi等数据格式。
- 稳定性：支持实时数据流动和增量计算，具备高并发、高可用特性。
2. 产品介绍
- 定位：腾讯云TCHouse-D是一款基于Apache Doris内核构建的全托管云数据仓库，提供实时OLAP分析和湖仓统一解决方案。
- 功能：
- 实时查询：支持多维分析、日志分析、在线分析业务等。
- 湖仓融合：支持Hadoop、MySQL、Kafka等多种数据源。
- 生态兼容：兼容腾讯云EMR、DLC等大数据产品，提供一站式数据集成/开发/分析平台。
- 特点：
- 易用性：支持标准SQL，兼容MySQL协议。
- 安全性：提供集群管理、安全审计等功能。
- 运维简便：支持一键资源扩缩、自动数据重分布。
3. 后续规划及社区共建计划
- 产品规划：
- 3.0版本：持续迭代优化SQL方言、大数据落盘、异步物化视图等功能。
- 智能功能：集成AI助手、智能巡检、智能调优等自动化工具。
- 资源弹性：支持分时/规则弹性扩缩容，实现存储/计算资源按需计费。
- 数据集成：实现Zero ETL，支持极速湖仓一体化。
- 社区贡献：
- PR贡献：团队累计贡献超过1000个PR，2024年度贡献400余个。
- 文档优化：参与社区文档优化，提供用户备份恢复、数据迁移等功能支持。
- 技术布道：参与多个外部大会和技术分享，联合主办Doris Summit Asia线下峰会，推广社区贡献。
- 功能合入：将更多功能合入社区，支持用户、权限备份恢复等。
总结
腾讯云TCHouse-D通过选择Doris内核构建，提供了一站式实时湖仓解决方案，具备出色的性能、丰富的功能和强大的社区支持。未来，腾讯云将继续推动产品的持续优化和社区共建，进一步提升产品的稳定性和用户体验。
