“云智一体”技术与应用解析白皮书：智能大数据篇

CONTENS 一、云智一体，促进数字化转型与智能化升级一步到位02 1.1 产业智能化，数字经济发展新阶段1.2 百度智能云战略升级1.3 云智一体的百度智能云架构2.0，加速产业智能化030304 二、云智一体的智能大数据产品架构全景图05 2.1 数据要素成为数字经济时代的新战略资源2.2 大数据驱动千行百业数字化转型和业务创新2.3 大数据的未来发展趋势2.4 企业构建大数据平台的原则2.4.1 成效为先2.4.2 治理为要2.4.3 安全为本2.4.4 持续运营2.5 百度智能云大数据产品架构全景图060708080909090910 三、云原生湖仓架构，构建企业大数据基础设施11 3.1 云原生3.1.1 按需创建3.1.2 存算分离3.1.3 弹性扩缩容3.1.4 运维托管3.2 数据湖架构3.2.1 BOS数据湖存储3.2.2 丰富的数据湖分析引擎3.3 一体化平台3.3.1 元数据统一管理3.3.2 自动数据集成3.3.3 全流程可视化数据治理开发3.3.4 数据湖分析3.4 成功实践1212121314141516192020212122 四、智能数据挖掘，驱动数据资产价值最大化24 4.1 数据资产管理与运营平台DAMP4.1.1 数据资产目录4.1.2 数据在线应用工具4.1.3 数据服务超市4.1.4 数据资产看板4.2 数据可视化Sugar BI262626262727 4.2.1 直连多数据源4.2.2 丰富的图表和拖拽式编辑4.2.3 炫酷大屏与智能交互4.3 全功能AI开发平台BML4.3.1 BML总体架构4.3.2 BML为数据科学提供的核心功能4.3.3 面向行业的智能数据挖掘解决方案4.4 智能数据挖掘成功实践4.4.1 邮储大脑机器学习平台4.4.2 某集团研发中心设备健康管理系统27282829293031323233 五、隐私计算铸就安全防护新体系36 5.1 数据安全的落实规则38 5.1.1 覆盖数据全生命周期的安全体系5.1.2 隐私数据的安全保护闭环5.1.3 安全合规的数据流通形式5.1.4 主流的隐私计算核心引擎5.2 百度全生命周期数据安全防护体系5.2.1 资产安全5.2.2 隐私保护5.2.3 隐私计算5.3 百度点石成功实践383939404041414143 六、企业数据资产构建与应用实践45 6.1 数据治理6.1.1 搭班子6.1.2 做盘点6.1.3 定标准6.1.4 稳实施6.2 资产管理与运营6.2.1 资产管理6.2.2 资产运营6.3 业务应用6.4 企业数据资产应用实践6.4.1 徐工综合经营管理决策驾驶舱6.4.2 陕西广电媒体融合数据资产建设464647484849494950515152 七、更多行业案例参考56 八、关于本报告57 云智一体，促进数字化转型与智能化升级一步到位 >> 1.1 产业智能化，数字经济发展新阶段 当前，我们正处在科技创新和产业发展最好的时代，以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展，驱动新一轮科技革命和产业变革。 在产业应用新兴技术和数据资源转型升级的过程中，数字化是基础；而随着人工智能等新一代信息技术的发展，以及数据的爆发式增长，产业加快应用智能技术，从海量数据中发现规律、训练模型、提炼知识，促进产出增加和效率提升，实现企业生产经营的智能化，进而实现整个产业的智能化升级。 因此，数字经济既包括数字化转型，也包括智能化升级，产业智能化是数字经济发展的新阶段。 1.2 百度智能云战略升级 百度是拥有强大互联网基础的领先AI公司。从成立的第一天起，百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践，百度已形成了全面布局，从基础的算力和数据技术、深度学习算法及框架，到语音、视觉、自然语言处理等感知、认知技术，以及飞桨深度学习开源开放平台等，具备云智一体的独特优势。 基于百度的技术优势和对产业发展的洞察，经过跟合作伙伴的共同成长与产业实践，百度智能云的战略升级为：以“云计算为基础”支撑企业数字化转型，以“人工智能为引擎”加速产业智能化升级，云智一体“赋能千行百业”，促进经济高质量发展。 云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座，“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做，一步到位，这样效率更高，效果更好。 同时，如果客户只做数字化转型，我们有丰富的云计算产品可以支持；或者客户已经有了数字化基础，我们的智能化引擎也可以助力智能化应用。 百度智能云的“云”，不仅为数字化转型提供安全稳定、弹性灵活的云计算服务，同时也是适合跑AI的云，我们称之为“AI原生云”，继承云原生的优势，面向AI场景，提供极致弹性的高性能异构算力，打造简洁、高效的AI应用开发架构。 “云智一体”的智，是百度将深耕十余年的AI技术，以及AI赋能产业的实践经验，沉淀为助力产业智能化升级的技术、平台及方法论，是以加速产业智能化升级为己任、懂场景的AI。 1.3 云智一体的百度智能云架构2.0，加速产业智能化 基于百度智能云的战略升级，云智一体的百度智能云架构2.0同时发布，包含数字化底座、智能化引擎和全场景应用（如图1.3 - 1所示）。 数字化底座，包括基础云、数据库、物联网、边缘计算、区块链等基础平台，以及视频云、大数据、云原生开发和地图服务等；同时还有安全模块，为技术创新和产业转型升级保驾护航。 在数字化底座之上是智能化引擎，百度自主研发的飞桨深度学习平台为核心，软硬一体AI大生产平台--百度大脑为支撑，包括AI中台和知识中台等。智能化引擎与行业深度融合，帮助企业建设自己的智能化中台，助力智能化升级。 基于数字化底座和智能化引擎，百度智能云深入行业场景，打造智能应用，同时与生态伙伴一起，在制造、能源、城市、金融、医疗、媒体等领域，助力数字化转型和智能化升级一步到位。 我们希望以百度智能云为纽带，联合技术和产业生态伙伴，通过开源开放平台降低AI开发的门槛，加快人工智能融入传统产业，帮助越来越多的行业大步快跑，加入产业智能化的大潮。 云智一体的智能大数据产品架构全景图>> 2.1 数据要素成为数字经济时代的新战略资源 随着新一轮科技和产业革命的浪潮席卷而来，特别是大数据、人工智能、移动互联网、云计算、5G等新一代信息技术的应用，人类进入数字经济时代。数字经济是以数字化的知识和信息作为关键生产要素，以数字技术为核心驱动力量，以现代信息网络为重要载体，通过数字技术与实体经济深度融合，不断提高经济社会的数字化、网络化、智能化水平，加速重构经济发展与治理模式的新型经济形态。 2019年，高收入国家的数字经济占GDP比重达到47.9%，其中发达国家这一比例高达51.3%，美国、德国等国家则超过60%。中国信通院发布的《中国数字经济发展白皮书(2021)》显示，2020年我国数字经济规模达到39.2万亿元，占GDP比重为38.6%，保持9.7%的高位增长速度，成为稳定经济增长的关键动力。 “十四五”规划纲要中将“数字经济核心产业增加值占GDP比重”作为创新驱动的关键指标之一，并预期“数字经济核心产业增加值占GDP比重”将从2020年的7.8%上升到2025年的10%，大数据将成为驱动未来数字经济发展的强大推动力。 数字经济成为“十四五”期间高质量发展新引擎 《上海加快发展数字经济推动实体经济高质量发展的实施意见》《打造上海市数字化转型示范区全面推进杨浦区城市数字化转型行动方案（2021-2023年）》《北京市关于加快建设全球数字经济标杆城市的实施方案》…… 在数字经济中，数据要素是数字经济时代的新战略资源。2020年，国务院发布了关于要素市场化配置的指导意见，明确把“数据”与土地、劳动力、资本、技术等并列为五大生产要素。新产业、新业态、新模式放大劳动力、资本等要素价值 和其他生产要素相比，数据生产要素有两个作用，即创造和放大。创造创新方面，数据作为一种新的生产能力，直接驱动了很多新模式、新经济形态、新产业。特别近两年疫情不断反复期间，很多产业实现了彻底的数字化和线上化，而今年大火的“元宇宙”概念，也是数字化产业发展的新方向。放大方面，数据要和资本、土地、劳动力、技术等其他生产要素协同，发挥乘数作用，解决供需优化、创新价值链流转方式等问题，放大其他要素价值。零售大数据金融大数据制造大数据政务大数据视频大数据智慧选址智能投顾预测性维护城市驾驶舱智能推荐 2.2 大数据驱动千行百业数字化转型和业务创新零售大数据金融大数据制造大数据政务大数据视频大数据智慧选址智能投顾预测性维护城市驾驶舱智能推荐 回顾近几年可以发现，大数据已经驱动零售、政务、城市治理、金融、创造业、教育、医疗等很多行业，进行了数字化转型或者业务创新的尝试与实践。医疗大数据交通大数据教育大数据能源大数据农业大数据临床辅助诊疗数字指挥中心个性化施教能耗优化农作物生产供应链54.3%60%高收入国家《上海加快发展数字经济推动实体经济高质量发展的实施意见》 在零售行业，开店选址对最终业务成功非常关键，结合大数据技术和目标客群定位，实现精准智能选址，从源头降低经营的不确定性和风险；在制造业，以前设备交付给用户后，还面临着维护售后等运营问题，结合大数据和物联网技术，可以及时了解设备状态，实现预测性维护，大大提升了制造业的服务效率和用户体验；在视频行业，长、短视频等信息载体，已经实现了个性化推荐，这背后也是基于大数据技术，提升用户体验，创造新的增长空间。大数据和 AI 深度融合4V 特性更凸显数据安全是生命线38.6%39.2万亿发达国家美英德中国《打造上海市数字化转型示范区全面推进杨浦区城市数字化转型行动方案（2021-2023年）》《北京市关于加快建设全球数字经济标杆城市的实施方案》…… 通过这些例子可以看到，大数据在各行各业的数字化转型和业务创新里面有非常多的实践和案例，驱动着千行百业的数字化转型和业务创新。场景繁杂需高效和智能分析更多数据需要深度价值挖掘规模指数增长、类型更多样实时性强、价值密度低数据安全法规政策密集出台安全合规数据流通和运营有价值的数据资源催生和创造数字经济数据对其他要素发挥乘数作用 2.3 大数据的未来发展趋势39.2万亿方案》…… 首先，4V特性更凸显（规模性- 多样性- 实时性- 价值型）。随着5G、IoT等技术的发展，以及企业更加重视数字化发展，数据总量成指数级增长，数据价值密度越来越低。同时，除传统结构化数据外，视频、语音、图像等海量非结构化数据不断积累，且随着企业数字化程度的提高，数据处理的实时性也越来越高。有价值的数据资源催生和创造数字经济新产业、新业态、新模式数据驱动供需优化、创新价值链流转方式放大劳动力、资本等要素价值创造放大 其次，大数据和AI深度融合。AI也是一种数据处理技术，它与大数据的深度融合，让数据处理更高效，帮助企业从海量业务数据中挖掘更多价值。 第三，数据安全是生命线。关于数据安全，近几年国际和国内范围内都密集出台了多个数据安全类法规。从数据安全趋势来看，社会各方在数据流通与运营过程中，数据安全合规是基础生命线，必须满足。零售大数据金融大数据制造大数据政务大数据视频大数据智慧选址智能投顾预测性维护城市驾驶舱智能推荐 综上，新型的数据基础设施、深度挖掘数据价值，以及保障数据安全，是构建大数据平台的关键。 大数据领域发展趋势交通大数据 2.4 企业构建大数据平台的原则产业实践数据资产管理与数据可视化全功能 AI 开发智慧能源智能制造智能媒体智慧金融 2.4.1 成效为先挖掘平台应用超市 随着人工智能等新一代信息技术的发展，数据以指数级速度成倍增长，海量数据的存储和计算带来了巨大的IT成本和复杂性。云计算的发展有效实现了企业IT基础设施的弹性灵活性和成本低廉性；而当企业面对更大规模、类型更多样、更实时、价值密度低等数据挑战时