Data+AI一体化平台——数据智能融合,数字化转型新方向
智能体应用开发挑战及场景需求融合平台需求背景
- AI智能体应用现状:AI智能体在车企已广泛应用,覆盖研、产、销、服等环节,并在座舱、车机、销售、客服等场景落地。
- 行业趋势:大数据与AI融合是未来主要方向,Gartner数据显示行业具备4倍增长空间,国内大数据市场(224亿人民币)中AI需求市场容量约28亿人民币。
- 现有AI训练平台挑战:主机厂内部算法部门(如自动驾驶、营销部门)面临非一体化平台、数据与资源独立、效率低、弹性差等问题。
- 常见AI训练平台架构:大数据处理与IDC架构、云上自建平台架构,均存在数据孤岛和资源分离问题。
- GenAI任务示例:通过行业+数据+大模型实现更广阔的应用场景,如自动生成朋友圈内容。
- 现有平台挑战:行业趋势预测、客户需求、现有方案遇到的挑战,业界领先方案(如Databricks、BigQuery)诉求一体化操作、存储、融合系统。
- 用户期望:端到端、更易用的一站式数据智能平台,融合DataOps+MLOps体验。
- 一体化平台目标:深度融合数据全生命周期管理与AI开发能力,覆盖数据集成、开发、治理、模型训练及智能应用构建全链路。
一站式融合平台落地路径融合平台关键能力
关键能力1:大数据计算+AI模型训练一体化
- 问题与挑战:大数据及AI计算资源不统一、资源弹性需求、成本与效率要求。
- 解决方案:一体化计算融合,包括数据计算与LLM任务统一调度融合、数据计算与ML计算资源融合、数据计算与ML引擎融合。
- 核心增强点:统一DataFrame+ML计算框架Xpark,解决Spark与Python生态隔离、SparkMLlib独立等问题,实现统一接口、优化器、高性能向量化计算、Ray调度开箱即用。
- 核心增强点:统一资源调度框架,解决大数据调度与AI场景不适应问题,提供K8S+Ray一体化调度方案,提升资源利用率30%+。
- 核心增强点:全托管Ray解决方案,提供完全免运维、多租户资源强隔离、增强安全能力的企业级Ray服务。
关键能力2:One Env + One Workflow + One Data一体化平台
- 问题与挑战:大数据与AI开发体验割裂、数据使用与管理割裂、两套体系下的运维割裂。
- 解决方案:一体化平台,包括统一元数据服务TC-Catalog、一站式DataOps+MLOps开发工具、统一的数据目录服务。
- 核心增强点:一站式的DataOps+MLOps开发工具,覆盖数据准备、数据探索、特征工程、模型训练、模型验证、模型管理、模型部署、模型监控等全链路。
- 核心增强点:统一的数据目录服务TC-Catalog,提供覆盖传统结构化数据、半/非结构化数据、AI模型的统一元数据管理服务,并具备完整的统一权限管理功能。
关键能力3:一站式大模型+RAG应用
- 困难与挑战:数据规模大、运维成本高、开发成本高、查询性能要求高、稳定性要求高。
- 主要收益:低门槛、高性能、更精准、更智能。
- 解决方案:基于腾讯云ES的一站式RAG方案,包含全文检索、向量检索、向量化服务。
- ES为RAG应用提供一站式RAG方案:包含向量生成->向量存储/索引->向量检索,降低企业算法工程接入复杂度和成本,支持百万级QPS、向量规模十亿级,与LLM大模型无缝集成,轻松构建AI智能问答应用。