DMS智驾数据管理一站式平台

自动驾驶数据闭环发展难点

完整的数据驱动闭环包括量产车在路端采集交通场景、通过技术手段还原仿真场景、用于算法测试并更新量产车的过程。当前行业尚未出现能提供统一视野、融合所有环节、一体化打通整条链路的产品或平台。

真实场景信息转换为统一数据

1. 真信息提取手段缺失：不同供应商拥有不同的数据采集方案和存储格式，仿真数据管理不统一。
2. 原始数据误差和噪声：复杂场景增加数据挖掘难度。
3. 海量数据处理的高本低效：
   • 上下游链路割裂，数据流转困难。
   • 大数据时代带来的海量数据难以用传统方法处理；人工数据标注成本高昂。
   • 数据采集与算法研发团队割裂，缺乏高效的数据处理和挖掘能力。

DMS能力与平台能力

1. 核心功能：
   • 对多源数据进行统一接入、加工、标准化、检索、开放，通过场景化能力对路测数据、采集数据、标注成果、场景数据进行分类管理。
   • 提供海量存储、高效运算、数据压缩引擎和场景智能提取等能力，构建一站式开发、测试、运营数字化基础设施。
2. 关键问题：
   • 数据多点分散、难以管理、利用率低、成本高。
3. 价值：
   • 服务于自动驾驶感知、定位、预测、决策、控制等算法研发数据管理需求。
   • 支持智能网联、智慧交通、智慧出行和自动驾驶等多个领域商业落地。
   • 在线预览回放加工、统一的非结构化数据管理中台。
   • 场景数据自动挖掘提取、数据多粒度统一管理（采集、标注、评测等）、数据内容检索。

系统架构

基于腾讯地图、合规云、AI的能力构建智驾数据处理平台，一站式覆盖数据接入、预处理、脱敏加密、数据挖掘、标注、管理各环节，加速自动驾驶数据闭环研发。

数据架构

1. 数据接入：
   • 采集车数据注入&量产回传：数据注入可视化、可审计，保障数据一致性、完整性，传输监控、设备监控、操作日志。
   • 车云数据配置拉取：车端上电查询、配置更新可扩展、配置加载上报。
   • 车端脱敏&国密回传。
2. 数据管理：
   • 标签元数据管理。
   • 数据血缘管理。
3. 数据存储/查询技术优化：
   • 存储优化：冷热温分层，支持生命周期配置；热点数据GooseFS缓存，温数据一般传感器、点云、图像数据，冷数据自动沉降到低频数据存储降本。
   • 查询优化：事件分析、批量分析走DLC，按需调度计算任务；故障类数据走OLAP进行实时查询分析，无需数仓；Doris索引结构设计，列式数据库查询加速；Query索引设计优化。
   • 复杂多路数据可视化渲染优化：ZeroCopy技术实现，GPU渲染优化，点云数据加载优化，多线程并发异步数据加载优化，数据缓存加速优化。
   • 数据导出技术优化：批量异步导出任务机制设计。
4. 数据存储：
   • COS存储架构概览。
   • 冷数据降频，低成本。
   • 热数据基于GooseFx加速。
5. 数据缓存能力。
6. 多模态数据检索：
   • 向量检索过程：基于CLIP模型技术原理，联合训练图像编码器和文本编码器，预测(image, text)对正确配对。
   • 向量检索原理：倒排文件（IVF）分桶，HNSW算法，乘积量化（PQ）压缩。
   • 最终结果。
7. 任务调度：海量任务调度。
8. 场景回放：
   • 可视化技术方案（高性能渲染）。
   • 可视化回放：原始数据以及场景数据可回放操作，查看和编辑标签和标记。