城市大数据资源平台概要设计方案：促进城市科学管理，优化城市资源配给

大数据资源平台概要设计方案 目录 大数据管理中心发展背景 为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。 市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。 规划公共数据发展路线支撑城市服务能效提升 数据科学管理 城市高效运行 ü数据完整归集ü数据实时同步ü资源目录健全ü数据全面治理 ü公共数据共享ü社会数据协同ü条线业务协同ü数据服务开放 ü社会治理ü宏观经济ü市场监管ü生态保护 大数据共享交换平台建设与使用情况 大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。 平台建设内容包括： 1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合； 2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用； 3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换； 4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理； 5、大数据支撑管理子系统：包含市级数据湖和市级数据库，汇聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源； 平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0 TB，人口库预计46.75TB，法人库预计1 . 7 8 T B， 空 间 地 理 库 预 计7 . 9 9 T B， 电 子 证 照 库 预 计91.05TB。 前期平台建设问题分析 在数据共享交换平台项目试运行期间，随着数据存储量的增长、数据交换共享需求量的增加，逐渐发现平台存在一些问题。 源端数据标准各异，加工存在技术壁垒 数据共享时效性要求无法满足业务需要 •前期平台未规划数据实时采集技术，无法支撑高效业务协同•数据治理层面未考虑国家资源平台建设要求，需重新设计系统功能实现 •数据湖&数据库缺乏统一规划，数据标准需继续制定完善•现有平台应用支撑能力较为薄弱，容易形成数据沼泽 城市管理数据缺乏，精准服务无法开展 全生命周期安全管控能力有待提升 •数据共享和数据开放能力不全面，开放门户使用价值不高•未规划主题/专题领域的数据综合应用，应用创新动能不足，需进行补充完善 •数据安全管控仅考虑部分安全应用，数据全生命周期的安全管控存在短板，需整体提升安全防护能力 本期平台建设目标分析 •聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数据等采集汇聚 •管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据的全过程管理，以及各环节安全监管 •通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能 •用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新 •安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力 本期平台建设内容分析 结合项目的建设分项目标分析，认为本次大数据资源平台的建设内容应包括： 本期平台建设内容分析 数据开放子系统（含开放门户） 市级数据库 主要实现公共基础库建设（含人口库、法人库、空间地理库）、支持公共主题库建设（含经济活动库、公共事业库、社会关系库、人员密度库）、支持公共专题库建设（含经济运行监测、宏观经济预测等19个专题库）。 主要实现数据应用方管理、开放清单管理（含开放清单维护、开放目录关联、开放数据集维护）、数据开放管理等功能。主要实现首页、数据目录、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户的建设。 数据管理子系统 主要实现数据架构管理、数据关系管理、数据分级分类管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。 大数据综合应用 通过宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设，构建大数据综合应用示范辅助领导决策，构建应用管理中心支撑数据应用，以为各部门提供优质的数据服务。 数据治理子系统 通过国家资源管理子系统实现资源申请、撤销、审核、查询、消息、配置、应用及事项、使用单位对接、目录对接、业务流程对接、通知、监控模块对接等功能。 数据安全管理子系统 平台集成门户 主要实现安全基础功能管理、数据安全审计、风险识别管理、数据安全管理、敏感数据管理、安全监管中心、数据安全采集等功能，以及对大数据资源平台各功能模块的安全嵌入。 主要实现多租户功能、运营中心、开发中心、消息推送、数据推送、个人信息管理、系统管理功能。 目录 总体架构·大数据资源平台功能架构设计 总体架构——大数据资源平台部署架构 本期项目设备部署如下图所示，将在移动云（怒江机房）新增申请150台虚拟机设备、80台实体服务器用于本期软件部署。 总体架构·大数据资源平台数据架构 大数据资源平台支撑数据共享交换（生产职能）、数据分析、数据开放三大核心数据服务，包括大数据资源区、对内共享交换区和对外开放区三大数据区。 n大数据资源区：包括市级数据湖和市级数据库两大数据资源-数据湖：主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构化、非结构化等多种类型的数据。-市级数据库：主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源。n对内共享交换区：主要用于存放全市各部门、各区政务数据资源汇集和共享交换过程中的数据，包括直接共享交换的数据和来自市级数据库加工后的数据。n对外开放区：主要用于存放对外开放的数据，通过单独的对外开发区与大数据资源区隔离，可以提供更高级别的数据安全保护。 总体架构·大数据资源平台权限架构 目录 整体对应关系 1、数据管理子系统·批数据接入 批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。 1、数据管理子系统·流数据接入 流数据处理通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。 1、数据管理子系统·数据支撑平台 1、数据管理子系统·数据支撑平台 批数据处理： 各类批数据通过数据采集功能进入数据支撑平台，经过存储、清洗、汇总和关联汇总等，产生应用数据，并实现数据共享或开放。流数据处理： 流数据通过数据采集功能进入数据支撑平台后，根据不同需求，可实现实时数据计算后的开放，也可实现通过实时数据分析后汇总产生应用数据，进而实现数据共享或开放。 1、数据管理子系统·数据资产管理 1、根据提供方供数责任，对接入数据资源进行编目，维护其业务属性和管理属性，使其初步具备共享条件。2、参照数据标准设计数据模型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控。3、通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入。 1、数据管理子系统·数据资产管理 系统集成功能： •与共享及运营门户对接：实现统一授权、统一登录以及任务工单同步•与数据开放门户对接：实现开放清单的编制发布•与大数据支撑平台对接：实现流数据接入以及支撑数据资产的管理•与数据开发调度管理对接：实现资源目录的双向同步维护更新•与批数据接入对接：实现数据的归集与共享下发 1、数据管理子系统·数据开发调度管理 数据开发调度管理能够支撑多种混搭数据库环境的开发调度功能，实现数据从“采集→加工→对外应用服务”的全生命周期管理。基于元数据以及日志数据提供端到端的全过程数据开发质量管控能力。 支撑数据架构管理、数据关系管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。 1、数据管理子系统·数据开发调度管理 1、数据管理子系统·数据开发调度管理 边界集成说明： •与数据采集平台集成：数据采集平台的采集任务完成后，通知开发调度管理平台的库内处理程序进行调度任务的衔接•与数据支撑平台集成：数据支撑平台提供JDBC接口，供开发调度管理平台调用，实现数据库操作的调度开发调度管理平台对数据支撑平台发布流数据处理任务•与数据资产管理平台集成：数据资产管理平台提供元数据同步接口，把模型元数据同步给开发调度管理平台做库内处理开发 1、数据管理子系统·数据分析及可视化 用户对拥有权限的数据资源进行数据探索及数据可视化分析。 u数据可视化工具：专题数据，主题数据加工完成后，用户可利用可视化工具开发可视化报表，经过测试发布上线后，对外提供可视化服务； u数据探索工具：用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。 1、数据管理子系统·数据共享服务 数据共享交换服务基于大数据区共享层的数据目录，对各委办局及其应用系统间进行数据共享、交换。 2、数据治理子系统·国家资源平台级联 国家数据资源共享交换平台体系由国家共享平台、省级共享平台、地市共享平台等多级平台组成。各级共享平台横向连通所辖区域政务部门的政务信息资源，纵向多级平台对接，形成横向联动、纵向贯通的数据共享交换体系。其中国家资源管理子系统是国家与上海市两级数据共享交换平台的重要组成部分，通过国家资源管理子系统的上线运行，可以更加高效的实现国家与上海市的资源交换，更加快速满足政务部门业务办理的需要。 2、数据治理子系统·国家资源平台级联 3、平台集成门户·共享及运营门户 共享及运营门户 •门户集成数据治理子系统、数据管理子系统、事件中心、数据开发子系统等业务系统。提供统一的待办工单流转和个人消息提醒功能，通过门户入口实现对业务的协同管理。 •门户提供统一的权限管理并适配各管理子系统。提供角色互斥配置，实现权限的管、用、审分离。各用户单位可自主管理用户和授权。 •门户实现CA认证、统一身份认证和单点登录。 •门户集成的各个系统界面风格上实现统一，包括列表样式、页面布局页面颜色搭配、字体大小、按钮风格等。 3、平台集成门户·共享及运营门户 4、数据开放子系统·数据开放管理 4、数据开放子系统·数据开放门户 4、数据开放子系统·数据沙箱 u数据开放主体可以把无条件开放数据或有条件开放的数据经脱敏脱密处理后存放于安全沙箱中； u数据利用主体基于允许开放的数据，在沙箱安全隔离的计算环境中执行计算任务，生成计算结果； u用户全生命周期使用日志可供监管方审查。 u对于已经通过数据开放主体审核的结果，数据利用主体可以按照约定的方式进行使用。 5、数据安全管理子系统·全生命周期安全管理设计 5、数据安全管理子系统