成果背景
自十八大以来,国家及南网公司均强调数据治理的重要性,将其视为释放数据要素价值、抢占数字竞争制高点的关键。构建数据要素国家治理体系是推进国家治理现代化、释放数据价值的迫切需求。南方电网公司明确数字化转型目标,要求强化数据资产管理,夯实数据治理基础,促进数据价值释放。
数据治理面临的问题
传统数据治理存在多源异构数据定义与标准不统一、数据覆盖不全、治理效率低、标准和规则时效性无法保障、治理专家知识利用率低、治理知识融合程度低等问题。这些问题导致传统数据治理手段无法适应大数据时代的需求。
数据治理发展趋势
智能化是数据治理的发展趋势。增强型数据管理利用ML和AI技术优化运营,促进元数据角色转变,支持动态系统。知识图谱、智能分析、智能识别等技术支持数据治理智能化发展。
智能数据治理目标
云南电网基于元数据的智能治理以“以智促质、以质增值”为目标,通过理论研究、平台建设、场景应用三个阶段,从“治理知识图谱化”、元数据自动化管理、数据标准自动生成、数据规则自动生成、数据质量问题智能分析等五个关键方向进行突破。
成果内容
云南电网基于元数据的智能治理体系分为两层:基础数据治理底层技术服务能力和智能数据治理平台。基础层基于机器学习、自然语言处理等技术,构建面向电力数据治理问题的基础技术服务能力;智能层在应用基础技术服务能力的基础上,搭建智能数据治理平台。
关键技术包括:
- 非结构化数据的元数据智能感知技术:利用自然语言处理、图像特征识别等技术,快速识别图像、文档、音频、视频等非结构化数据的元数据信息。
- 构建电力元数据知识图谱:通过业务系统数据库采集技术元数据,结合业务元数据和管理元数据,构建体系化、一站式的知识图谱。
- 数据标准智能挖掘技术:通过数据特征算法计算出字段的数据类型特征分布情况,生成数据标准。
- 数据质量规则自生成自适应技术:利用规则生成引擎,根据元数据关系信息组装参数和标准信息,形成可执行的SQL脚本,并支持自适应更新。
- 质量问题自动化归因分析技术:基于治理案例信息,采用特征相似度计算,分析匹配,形成最佳的综合治理建议推荐。
成果价值
经过一年的实践,基于元数据的智能治理已覆盖银行、新能源、客户服务等应用场景,有效促进了电力数据要素价值挖掘与释放。具体数据如下:
- 已管理的元数据:15000+
- 支持数据服务:4100+
- 支撑大数据应用:10+
- 支撑应用场景:520+
- 自动生成规则:62300+
- 处理数据问题:31000+
- 数据问题处理时间减少:60%
- 释放全职人力工时:50%
- 数据质量指数:93.8% - 99.7%
典型应用案例
- 云电贷:通过对用户电力数据的元数据定义和元模型构建,将应用落地推广时间提前半年,成功由用电客户自主申请达成首单。数据服务访问的成功率从81.3%提升至95.7%,产品已有2118次访问量,累计对50余家云南中小微企业开展30余次的授信,成功放出贷款1000余万元。
- 彩云充:通过对充电数据的分析和治理,将数据问题从8%下降到2%,支撑了新能源汽车及充电设施的实时数据统计服务,以及新能源汽车及充电设施一体化的大数据应用分析服务。通过对充电数据和电网布局数据进行协同治理,为充电桩精准定位和布局夯实基础,解决新能源汽车用户找桩难、充电难的业务困境。通过电网数据接口与其他平台数据接口标准化的元数据统一定义,优化数据交互的兼容性。