数据智能——开发用于从各种工具收集元数据的扫描仪

客户背景

客户是一家私营计算机软件公司，向国际客户开发和销售企业软件，提供降低成本、减轻风险并改进IT服务交付的软件解决方案。

业务挑战

随着产品演进，客户面临数据量急剧增长的问题，导致数据变得杂乱无章且难以管理。数据虽然可快速找到并分析，但存在不一致性，依赖关系消失使得数据变得无用。

解决方案

客户与SoftServe合作开发扫描器，用于从Apache Hadoop框架组件（包括Hive、HDFS、Falcon、Flume、Sqoop）中收集元数据。扫描器通过REST或Java API收集元数据，转换为特定格式供元数据存储库使用，并创建元数据项之间的链接，用于进一步分析和血缘关系创建。

扫描器特点

• 数据智能扫描器：为收集元数据而开发，支持从多种工具中提取数据。
• 元数据和内容管理：提供系统解决方案，包括性能管理、工作负载自动化、应用管理和服务质量与控制。
• 灵活性：产生结构化数据输出（XML），支持多种编程语言进行额外处理。
• 跨平台：兼容Cloudera、Hortonworks、IBM BigInsights 和 Talend Studio等主流Hadoop发行版。
• 模块化：每台扫描仪独立运行，可单独使用或与其他工具组合。

客户价值

• 数据整合：将杂乱数据整理成可用格式，节省时间。
• 数据一致性：通过元数据链接和分析，解决数据不一致问题。
• 数据血缘关系：创建数据依赖关系图，提升数据可用性。

关于SoftServe

SoftServe提供开放式创新，赋能企业和软件公司识别差异化、加速解决方案开发，并在数字经济中竞争。其工作和客户经验基于以同情心、以人为本的设计，确保从概念到发布的一致性。

关于软银

软银是全球领先的技术顾问和提供者，提供端到端解决方案，帮助客户在医疗保健、零售、媒体、金融服务、软件等领域实现创新、品质与速度。