大数据资源平台概要设计方案
大数据中心发展背景
市大数据中心为建设卓越全球城市和实现政府治理能力现代化,在政务数据管理和互联网政务服务方面开展实践工作。前期已在“一网通办”领域进行信息化建设,提升政府治理能力和公共服务水平,并产生汇聚全市政务公共数据、探索政务服务领域应用的需求。市大数据中心作为全市政务数据主要管理单位,承担政策本地化落实、数据交换、应用研究、信息化建设运维等职责,计划从“枢纽中转中心”转变为“归集管理中心”,为城市管理领域提供数据支撑。
规划公共数据发展路线
数据科学管理以支持城市高效运行,包括数据完整归集、实时同步、资源目录健全、全面治理;数据共享交换以促进社会治理、宏观经济、市场监管、生态保护等领域发展;数据服务开放以推动公共数据按需共享和开放。
大数据共享交换平台建设与使用情况
平台于2019年1月开始试运行,建设内容包括总集成及部分应用开发、数据治理子系统、数据共享交换子系统、数据质量监管及支撑子系统、大数据支撑管理子系统。平台接入52个委办局的公共数据,每月16亿条以上,数据总容量176.0 TB,其中人口库46.75 TB,法人库1.78 TB,空间地理库7.99 TB,电子证照库91.05 TB。
前期平台建设问题分析
存在问题包括:源端数据标准各异、数据共享时效性不足、城市管理数据缺乏、数据共享开放能力不全面、应用创新动能不足、全生命周期安全管控能力有待提升。
本期平台建设目标分析
本期平台建设目标为“聚、管、通、用、安”,即推进数据源整合、构建数据资产可视化管理、实现数据资源授权管理机制、开展主题数据库建设和数据应用模型研究、打造整体安全管控体系。
本期平台建设内容分析
建设内容包括数据开放子系统(含开放门户)、市级数据库、数据管理子系统、大数据综合应用、数据治理子系统、数据安全管理子系统、平台集成门户。
总体架构设计
平台部署架构包括移动云(怒江机房)的150台虚拟机设备和80台实体服务器。数据架构分为大数据资源区(数据湖和市级数据库)、对内共享交换区和对外开放区。权限架构实现数据管理、共享交换、开放等环节的权限控制。
平台功能设计
数据管理子系统实现批数据接入、流数据接入、数据支撑平台、数据资产管理、数据开发调度管理、数据分析及可视化、数据共享服务等功能。数据治理子系统实现国家资源平台级联。平台集成门户实现共享及运营门户功能。数据开放子系统实现数据开放管理、数据开放门户、数据沙箱功能。数据安全管理子系统实现全生命周期安全管理设计、数据抽取流程安全设计、共享交换流程安全设计、主题库建设流程安全设计、身份认证控制、流量数据采集、数据脱敏、数据加密/密钥管理、数字水印/签名管理、日志采集、安全审计、告警管理、安全合规性审查等功能。
项目实施方案
构建市级数据库,包括公共基础库和主题库,建立基础库和主题库运营支撑体系。主题库/专题库由责任委办局负责需求、建设方案、开发和主题应用,大数据中心负责制定标准、提供平台、数据和工具,并负责建成后的服务开放和运行维护。大数据综合应用以民生幸福专题为例,通过事件触点、规则匹配、委办平台对接等实现数据应用。
项目实施组织架构
未详细说明,但涉及大数据中心、委办局等单位参与。