1-1 何婵-小米AI数据管理落地实践

小米AI数据管理落地实践总结

01 小米表格数据管理方案概述

• 小米大数据开发平台：面向数据开发、算法、分析等工程师，提供全链路分布式基础设施，助力业务数据驱动决策。
• 平台架构：包含统一元数据管理、SQL/Scala开发、作业调度、智能运维监控等核心能力。
• 数据治理能力：涵盖数据血缘链路、权限管理、作业产出、成本管理、生命周期管理等。

02 小米"Data+AI"建设背景与思路

• 现状问题：
  • 平台割裂：Data平台（大数据开发平台）与AI平台（AI训推平台）链路不互通，权限分离，通过HDFS路径对接，存在路径不规范、无法追溯审计、治理困难等问题。
  • 数据使用问题：存储类型多、体量大、使用不规范，算法数据资产管理痛点突出。
  • 安全与效率：本地管理大量AI数据资产导致安全隐私风险，本地调试模型代码操作繁琐，数据使用效率低下。
  • 资产治理：血缘缺失导致AI数据资产浪费（一数多存）、低价值（冷数据热存、过期未清理）问题普遍。
• 设计思路：
  • 统一元数据管理：通过Fileset实现统一元数据管理。
  • 在线开发：通过Python Notebook提供在线开发环境。

03 平台落地实践与收益

• 核心功能：
  • 非表格数据管理：统一管理非表格数据。
  • 非表格数据治理：实现非表格数据的治理。
  • Notebook在线开发：提供Python Notebook在线开发，包含代码调试环境。
  • AI开发小助手：作业运维诊断大、开发助手、平台智能助手。
• 常见问题解答：
  • Notebook开发流程定位：SQL查询支持交互式分析，Notebook支持报表式分析及算法开发；Notebook与开发作业均提供调试环境，但开发作业支持定时调度和运维监控。
  • Notebook平台作用：在Data、AI平台中均发挥重要作用，支持SQL查询和表格数据处理，同时提供算法开发环境。