元数据管理
元数据定义为“关于数据的数据”,描述了数据的内容、结构、来源、使用方式等信息,是数据管理和使用的基础。元数据管理通过计划、实施和控制活动,确保组织能够访问到高质量的、整合的元数据,从而更好地理解、管理和利用其数据资产。
元数据管理的重要性
元数据管理对组织至关重要,它能够:
- 提高数据共享和复用能力:建立统一的数据资产目录,实现数据资源共享和交换,减少重复投资。
- 提高数据溯源能力:清晰地了解数据的来龙去脉,支持数据仓库和BI系统的成长。
- 建立规范的数据资产体系:建立统一口径、标准规范的数据资产及指标体系,实现知识共享。
- 建立数据质量稽核体系:提高数据完整性、准确性,为数据质量监控提供基础素材。
- 支持企业信息化的知识传承:建立标准的企业内部知识传承的信息承载平台,实现知识共享。
元数据类型
元数据通常分为三种类型:
- 业务元数据:关注数据的内容和条件,包括主题域、概念、实体、属性等。
- 技术元数据:提供有关数据的技术细节,如物理数据库表名和字段名、字段属性、数据库对象的属性等。
- 操作元数据:描述了处理和访问数据的细节,如数据的访问方式、访问时间、访问限制等。
元数据来源
元数据的来源包括:
- 应用程序中元数据存储库:如业务术语表、商务智能工具、配置管理工具、数据字典等。
- 数据集成工具:如ETL工具、数据映射管理工具、数据质量工具等。
- 数据库管理与系统目录:如数据库目录、数据映射管理工具等。
- 事件消息工具:如事件消息工具等。
- 建模工具和存储库:如数据建模工具、参考数据库等。
- 服务注册:如服务注册等。
- 其他元数据存储:如其他元数据存储等。
元数据管理活动
元数据管理的主要活动包括:
- 定义元数据战略:确定组织如何管理其元数据,以及元数据从当前状态到未来状态的实施路线。
- 理解元数据需求:确定需要哪些元数据和哪种详细级别。
- 定义元数据架构:创建元模型、应用元数据标准、管理元数据存储。
- 创建和维护元数据:整合元数据,分发和传递元数据。
- 查询、报告和分析元数据:提供前端应用程序,支持查询和获取功能。
元数据管理工具
元数据管理的主要工具是元数据存储库,它提供以下功能:
- 元数据采集和存储:从各种数据源采集元数据,并将其存储在中央存储库中。
- 元数据管理:对元数据进行分析、审核、维护、版本管理和变更管理。
- 元数据应用:提供数据资产地图、元数据血缘分析、冷热度分析、运营驾驶舱等功能。
- 元数据接口:提供统一的元数据查询、访问接口规范。
元数据管理实施指南
实施元数据管理时,建议采取渐进的步骤,从试点项目开始,逐步扩展到整个组织。同时,需要评估组织的准备情况,制定元数据治理计划,并建立正式的角色和职责。
元数据管理的国际标准
CWM(公共仓库元模型)是为数据仓库及商业智能环境间方便地交换元数据而制定的一个标准,其主要目的是在异构环境下,帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。
非结构化数据管理
非结构化数据管理需要关注智能搜索、元数据管理、数据分类、文档状态管理、操作权限、高效集成和存储功能加强等方面。通过建立统一的非结构化数据平台,实现非结构化数据的有效管理和利用。