Apache Doris助力企业实现数据智能化应用

赵书贤启高科技联创&方案架构师 目录 关于启高科技01 零售业数据特征02 基于ApacheDoris+启数道的数据平台03 Q&A04 分享嘉宾–上海启高信息科技有限公司 赵书贤 超过18年企业大数据BI咨询规划与实施落地经验，为超过百家大中型企业提供大数据BI咨询实施服务，对零售、制造行业有丰富经验，对SAPBW/HANA、大数据各组件、数据开发平台均拥有丰富实践经验。 启高科技，企业数据领域的持久伙伴与坚强后盾 总部上海虹桥辐射全国 1个产品启数道DataOps平台 让数据成为驱动力 专注于大数据BI产品与实施服务 100+名顾问技术团队规模 启高科技陪跑企业数据价值化全过程 深耕行业，专注企业数据深加工，聚焦数据模型 纺织服装企业全方位数字化转型，消除牛鞭效应 牛鞭效应（BullwhipEffect）是指在供应链中，较小的需求变化或波动逐渐放大，从而在上游供应链环节引发更大的波动和不稳定现象。 服装企业数字化转型过程的困境 充分利用大数据将供需实时连结在一起，实现全链路拉通 •通过算法从海量数据中挖掘时尚趋势，将数据反馈给庞大的设计和打板团队进行后续生产；数据中台管理库存、生产能力数据，直接连结工厂车间与客户；借助强大的数据和算法支持，实现快速增长 存、算、查询分离的大数据平台，解决复杂零售场景数据应用 Doris作为企业大数据存储查询引擎的几大亮点 数据更改能力（随机写） 数据拉取能力（增量数据流） 数据查询效率 数据写入效率 1.支持多种方式的高效写入，尤其是StreamLoad性能非常高2.单表导入性能，在并发数为1，单次导入数据量达到10MB，导入吞吐量能达到160MB/秒，或者10W行/s。 1.Doris2.1版本之前，默认使用Merge_on_read机制2.Doris2.1版本开始，默认使用Merge_on_write机制：在更新数据时，完成所有数据合并的工作，以便提高查询性能 1.Doris的一些特性，如分区分桶，数据模型，物化视图，优化器等提升查询效率2.高并发 1.Doris提供的UniqueKey数据模型，根据key列，修改value列。 Doris在零售行业数据应用适用场景 Doris是一款分布式查询数据库，在拥有较高的查询性能的同时能够保持数据一致性、并支持Join及标准SQL，简单运维等特性，适合集数据仓库与数据查询于一体的应用场景。 •Doris提供同步/异步导入，对所有导入提供原子性保证，通过Label机制保证对应数据最多被导入一次•Doris可以实现类似财务分摊等强一致性的计算逻辑，支持标准SQL操作 •Doris支持视图预计算，可默认以视图方式实现逻辑 •面对变化较频繁的场景，可以通过Doris视图方式实现，不用重新上数，每次修改代码后可直接查询视图结果，提升响应效率 •结合视图计算，可以通过Flink将数据进入到Doris，然后在Doris视图中写加工逻辑，以达到实时场景•即：业务数据只有一次接入过程，然后就是视图计算了 启高科技打造的覆盖全链路的大数据服务平台：启数道 实时接入、调度管控、数据查询加速与可插拔的OLAP引擎架构 统一数据接入、加工、建模、治理及服务发布 与BI可视化、数据产品集成 架构开放 实施简单 高效数据应用 图形化的便捷的数据功能管理页面是加速实施、降低运维的基础 大数据平台门槛越来越高实时场景开发代价太大 KPI可视化不是唯一的数据应用通过API集成业务场景才是数据价值的发现 ThanksforWatching！ 上海启高信息科技有限公司赵书贤15821001961