交通大数据质量评价体系 设备感知类

T/ITS0242-2023 城市交通大数据质量评价体系设备感知类 Urbantrafficbigdataqualityevaluationsystem--devicesensingdata （征求意见稿） 本稿完成日期：2024年9月20日 在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上 中 国 智 能 交 通 产 业 联 盟发 布 目次 前言.................................................................................21范围.................................................................................12规范性引用文件.......................................................................13术语和定义...........................................................................14缩略语...............................................................................25数据质量评价体系.....................................................................26质量评价模型.........................................................................3附录A..................................................................................8 前言 本文件按照GB/T1.1-2020给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件起草单位：青岛海信网络科技股份有限公司、青岛市交通运输局、南京慧尔视智能科技有限公司、东南大学、交通运输部公路科学研究院、金陵科技学院、北京工业大学。 本文件主要起草人：***。 城市交通大数据质量评价体系设备感知类 1范围 本文件规定了设备感知类交通大数据进行质量评估的通用规则、规范流程与评价方法。 本文件适用于企业、公安交警等开展设备感知类数据质量评价、业务应用层级数据支撑度相关评价工作，保证数据集在业务应用中的可用性，促进业务引用的开展。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T29101道路交通信息服务数据服务质量规范GB/T35775-2017智慧城市时空基础设施评价指标体系GB/T36344-2018信息技术数据质量评价指标NB/T11083-2023风电信息管理数据质量评估及治理技术规范DB5227/T112-2022智慧黔南数据质量评价规范T/CITSA10-2021城市交通时空大数据格式标准 3术语和定义 下列术语和定义适用于本文件。 3.1 数据质量dataquality 数据质量是指在特定的业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。 3.2 数据质量评价体系dataqualityevaluationsystem 数据质量评价体系是一套用于评估和监控数据质量的标准和方法，其目标是确保数据质量满足业务需求，提高数据的可用性和可信度。 3.3 设备感知类数据deviceperception data 设备感知类数据指的是交通设备设施，如交通信号灯、交通监控摄像头、车载传感器等收集的关于交通状况的数据。主要包括过车数据、交通流量、车辆GPS等数据。这些数据对于交通管理、交通规划、智能交通系统等领域具有重要价值。 4缩略语 下列缩略语适用于本文件。 GPS:全球定位系统（GlobalPositioning System） 5数据质量评价体系 5.1数据范围 设备感知数据作为交通大数据的重要来源之一，其定义为城市交通运行过程中交通建设的设备设施收集到的交通信息数据。设备感知类数据包括基础信息与设备检测信息，按照来源包括电警卡口数据、交通流数据、视频数据、车载GPS数据四类： a）电警卡口数据：基础信息包括电警设备基础信息、设备安装点位信息；电警卡口检测数据为设备检测的过车记录或违法行为信息，包括号牌号码、号牌类型、过车时间等信息。主要应用交通运行态势、信号控制、指挥调度等场景;b）交通流数据：基础信息包括多目标雷达、微波、超声波等设备基础信息、设备点位信息；交通流检测数据为设备检测的交通流量信息，主要应用于交通运行态势、违法分析、缉查布控等场景;c）事件检测数据：基础信息包括设备基础信息、设备安装点位信息；事件检测包括了炸街车声呐检测器、不礼让行人、违法停车、大货车闯禁行、不礼让行人、抛洒物、逆行等事件检测信息;d）车载GPS数据：基础信息为车载机信息、车辆信息、车载机与车辆关联信息；GPS数据是车辆出行实时的记录信息。 5.2评价体系 数据质量评价体系是从数据综合应用的角度考虑，从单一数据质量评价与业务支撑度两个层次进行全面的考察和评价，为数据治理与数据决策提供支撑。 单一数据质量评价是对某一项数据开展质量评价，业务支撑度是对与业务相关联的多项数据项开展质量评价，对评价流程、评价维度与指标、评价方法、评价等级进行规范。 6质量评价模型 6.1评价流程 数据质量评估一般步骤由数据评价与业务支撑度评价两部分组成，如图2所示。 6.1.1单一数据质量评价 单一数据评价流程包括： a）明确数据质量需求，定义评估目标和范围。根据实际的业务需要，明确数据质量需求目标，确定数 据的时空范围。 b）确定评价数据内容，依据数据评价目标根据设立不同数据项的数据评价指标，得到数据质量评价规则项。c）定义数据质量规则，包括指标计算规则、各规则权重、字段重要程度分级、评分规则、评定质量分级。指标计算规则定义了各指标的计算方法，各规则权重与字段重要程度分级根据实际业务需要定义值，评分规则定义了综合评价得分的计算方法，评定质量分级定义了设定数据质量的三等级标准，明确各等级的划分依据。d）确定数据质量评估方法并开展数据质量评价。按照既定方法和规则开展数据质量评估，记录评估过程和结果。e）输出质量评价值。对比评估结果与预期的质量需求目标，进行数据信息的判断，可依据指标结果分析数据质量存在的问题及原因，输出质量评估报告。 6.1.2业务数据支撑度评价 业务支撑度评价流程包括： a）明确业务的数据质量数据，定义评估目标和范围。根据实际的业务需求，明确开展某些业务需要的数据项以及需求目标，明确业务范围。b）确定要评估的数据集与范围，根据业务需求和范围确认涉及的数据源、数据源的时空范围。c）业务关联数据源进行综合评分判定，即该业务关联数据源评分按照单一数据质量评价流程进行。d）确认数据重要度，根据该业务对不同数据源的需求与依赖程度设置权重。e）输出业务支撑度，使用业务支撑度评价方法计算业务支撑度，对比评估结果与预期的质量需求目标，进行数据信息的判断，可依据指标结果分析数据质量存在的问题及原因，输出质量评估报告。 6.2评价维度与指标 数据质量评价维度包括规范性、完整性、准确性、唯一性、时效性五个维度： a）数据规范性（𝐀）：数据是否符合标准，数据规范性体现为数据格式、类型、值域和业务规则的有效性。 b）数据完整性（𝐀）：包括数据属性缺失和字段值缺失两部分。 c）数据准确性（C）：与描述的客观实体是否一致，包括数据错误和数据异常两部分。数据异常主要指数据异常大、异常或数据值异常为零。 d）数据唯一性（𝐀）：主要用于衡量实体的重复性。 e）数据时效性（𝐀）:衡量数据时效是否符合用户需求，交通大数据中涉及的数据检测、存储、展示数据的时间属性，体现为数据更新及时性与数据校时准确性。感知类交通大数据评价指标及计算方法如表1和表2所示。 6.3评价方法 6.3.1重要字段分级定权重 根据数据表中关键字段，按照数据影响业务的重要性程度对数据字段进行分级定义，梳理待评价的数据项，数据项重要等级从高到低分别为一级、二级、三级。 6.3.2维度指标权重 根据实际业务与评价需求设定各维度与指标权重值。其中： 维度权重设置要求为： 指标权重设置要求为： 6.3.3质量评分 综合质量得分值： 指标得分值由指标计算公式得到，若单个指标涉及多个字段的数据评价内容，如指标字段空值率涉及到数据表中字段1的空值率、字段2的空值率，则根据字段等级权重计算指标字段空值率的综合得分。 6.4评价等级 数据质量等级根据数据质量评分划分为质优、质中、质差，数据质量等级的划分规则按照表4的规定确定。 表4质量评价等级表 附录A （资料性附录） A.1过车数据 业务涉及过车数据需求字段：号牌号码、号牌种类、过车时间、设备编号、行政区划、数据来源。 A.2设备数据 业务涉及设备数据需求字段：设备编号、设备名称、设备安装点位、经度、纬度、设备类型。 A.3车辆轨迹还原业务 车辆轨迹还原业务所需数据源：过车数据、设备数据。分别对过车数据和设备数据两类数据进行评价计算业务支撑度。 中国智能交通产业联盟标准城市交通大数据质量评价体系设备感知类T/ITS0242-2023 北京市海淀区西土城路8号（100088）中国智能交通产业联盟印刷网址：http://www.c-its.org.cn 2024年×月第一版2024年×月第一次印刷