大模型时代的数据管理
数据要素时代的数据管理
随着数字经济发展,数据要素在生产中的地位日益重要,其流动性和动态性对传统数据科学提出了新挑战。2020年4月,数字中国建设框架强调夯实数据资源体系;2022年1月,《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》将数据列为新型生成要素;2023年2月,《“十四五”数字经济发展规划》提出初步建立数据要素市场体系;2022年12月,《关于数据基础制度更好发挥数据要素作用的意见》(“数据二十条”)提出构建数据产权、流通交易、收益分配、安全治理等制度。党的十九届五中全会将“要素市场化配置”和“数据价值化”列为经济体制改革和数字经济发展的重点。数据作为现代战略资源,与土地、劳动力、资本、技术并列成为五大生产要素,对其他要素的配置作用日益显著,有效盘活土地、提高劳动要素配置效率、优化投资策略、促进技术升级。
数据价值变现需求迫切、进程加速
我国各行业的高质量发展与数字化转型对数据价值变现的理论与技术提出了迫切需求。然而,当前的数据科学理论与方法难以支撑数据价值变现,世界日益复杂,系统和数据日益复杂,数据数字经济时代的内涵发生变化,数据科学日益面临新环境、承担新使命。
数据要素特征
数据要素具有持续流动、多方主体、开放生态、动态增值等特征。数据只有流入生产、分配、流通、服务和管理等各个环节,形成完整的数据驱动闭环,才能释放出数据要素的价值。数据流动不畅的原因在于数据采集、管理、分析、应用等环节存在技术短板,各部件缺乏同步与协同,数据驱动闭环尚未形成。数据要素的多方主体对数据权属、安全可控提出了新的要求。数据要素的开放生态对统一的、标准化的、互操作的数据管理提出了较高要求。数据只有经过动态处理才能形成增值,数据才能变成资产。
大模型时代的智能数据管理
大模型的开发世界建模能力、语言认知能力、数据理解能力、数据操控能力对于实现低成本、自动化、智能化的数据管理带来全新机遇。大模型是海量的参数化知识容器,语言模型以参数化形式编码了数据中蕴含的知识,当前平均效果最优的GPT-4在众多测试基准中都能取得50%以上的正确率,且还存在巨大的领域微调空间。大模型是人类认知能力的引擎,GPT-4等大规模生成式语言模型在“形式上”具备了人类思维的核心能力,具备了常识理解能力,日益成为自治智能体的大脑,使得自动化数据治理、数据管理成为可能。大模型为价值变现提供了一种端到端的实现方式,但大模型驱动数据要素价值变现仍存在巨大挑战,如幻觉现象、缺乏领域忠实度、领域知识匮乏、解题能力有限、难以编辑控制、难以理解解释、评测体系不完善、智能体难以适配场景、成本仍需降低等。通用大模型仍然难以理解私域数据,私域数据库的专业性和私有性和大模型的通用性存在巨大的鸿沟。大模型仍然难以理解复杂schema,在理解复杂schema方面仍存在显著不足,需要针对专业领域进行优化。
大模型驱动数据管理实践
大模型驱动下,DB系统的自然语言交互、多数据组件协同、DB系统的智能运维、智能化的数据治理等问题取得进展。大模型刷新对于数据语义的认识,摆脱了数据查询的语义假设。实现异构、多模态数据的统一价值变现,大模型Agent协同异质数据管理,从基础模型到复合AI系统,通过集成多种AI技术,增强系统的适应性和灵活性,更高效地解决复杂问题并实现更精准的决策。大模型为数据库系统专业化运维故障检索提供了价值变现的道路,实现智能化的数据库系统“运检维优”。大模型实现自动化数据治理,数据错误类型多样,具有开放性,无法预设错误,错误推理复杂。大模型提升数据质量一规范化,基于大模型驱动的属性值规范化,利用大模型的常识和容错能力发现知识库中的同义词组。大模型实现数据系统的自然语言交互,SQL 查询作为一种形式化语言,NL2SQL的本质是模型将自然语言转换为形式化语言的中间表示,再生成SQL查询的过程。大模型实现智能化数据分析,GPT-4在数据查询、统计图表生成、数据结论分析以及文本阅读理解等任务中都有接近人类分析师的表现,同时能够大幅缩短分析时间,隆低分析成本。
结论
数据要素流动性增长需要智能化的数据管理手段,大模型成为智能化数据管理的重要引擎。大模型驱动的智能数据管理能够实现数据要素价值变现,但仍然面临诸多挑战,需要进一步研究和优化。