Doris Bitmap 精确去重优化实践

去重场景：主要用于计算PV、UV、日活用户数、订单量、客户留存率等指标。
业界解决方案：
- 数仓生产：提前计算指标，但依赖数仓生产，灵活性差。
- 模糊去重（HyperLogLog）：通过哈希函数和LZC计算基数，适用于近似场景。
- 精确去重：导入预聚合数据，减少现场计算量。
精确去重的必要性：重要指标需精确计算，避免近似误差导致误判，支持灵活维度分析。
MPP架构下精确去重：采用两阶段聚合（StreamingAgg和MergeAgg），使用HashSet（明细模型）和Bitmap（聚合模型，基于RoaringBitmap实现）。
RoaringBitmap简介：
- 数据结构：基于位图思想，保存聚合后的明细数据（64位非负整数），支持rollup和任意维度上卷分析。
- Container类型：包括ArrayContainer和BitsetContainer，后者面向空间优化。
- Union时间复杂度：BitsetContainer的Union操作为常数时间开销。
- 优化要点：尽量将计算卸载到BitsetContainer的Union操作，数据不宜太离散，低位连续以减少Container数量膨胀。

现有性能瓶颈：
- 高基数场景：多次ArrayContainer Union操作导致内存分配和计算开销增加。
- Bitmap列拷贝开销：Bitmap对象较大，大量内存拷贝影响并发性能。
基于输入数据布局的优化：
- 高基数字典：Tablet编码列分布稀疏，单个BitmapContainer数量多，内部元数数量少。
- 字典优化：
  - 按日独立编码：每天一个字典表，减少基数，但无法解决跨天查询。
  - 正交编码优化：Container数据连续紧凑，优化二阶段聚合，但预聚合度降低、数据易倾斜、无法满足多列去重场景。
基于计算流程的优化：
- 高基数场景：直接使用BitsetContainer跳过ArrayContainer，优化Bitmap序列化shuffle时的降级逻辑。

内存使用优化：
- 触发列拷贝的case：表达式计算和Join Probe场景。
- Bitmap列拷贝开销：大量内存拷贝影响性能。
- Bitmap列拷贝优化：使用Jemalloc替换Tcmalloc，开启Copy OnWrite，优化后Expr计算时长占比从56%降至14%。
Fast Union：延迟合并、减少数据移动，优化端到端时延。
聚合下推：
- 解决的问题：AggNode和Scanner吞吐不匹配，长范围查询瓶颈。
- Scan轻量聚合：数据有序，无需HashTable，Block相邻行聚合，缓解一阶段聚合瓶颈，提高聚合吞吐。

基于输入数据分布的优化：
- 独立编码：基数从十亿降至亿，提升5倍。
- 正交编码：基数从十亿降至千万，提升10倍。
基于计算流程的优化：
- 高基数场景：不使用ArrayContainer，端到端时延减少20~30%。
结合Doris引擎相关优化：
- Bitmap COW：QPS 50以上，端到端时延减少50%。
- Fast Union：端到端时延减少20%。
- 聚合下推：分区时间范围超过1年，端到端时延减少20%。