腾讯智慧文旅：博物馆大数据平台解决方案

博物馆大数据平台解决方案 博物馆大数据建设总体需求：打造博物馆数字资产库，沉淀数字资产，支撑业务发展 数据库 大数据融合AI、云计算、5G、物联网等技术，为博物馆打造云数智一体化平台发展，“准标准化”方式为大数据平台解决方案 融合 •架构：面向博物馆事务处理、获取数据为主•特征：面向博物馆结构化数据、业务数据•业务：交易、经营、crm、erp、 隐私保护与数据安全越来越重要，政府立法、民众安全意识升级等都会推动文博领域大数据下全方位隐私安全技术的发展 安全 数据仓库•架构：面向博物馆大量数据 (TB)、面向业务分析•特征：面向博物馆结构化数据、历史数据•业务：报表、即席查询、统计分析 可控 文博领域需要大数据软硬件系统信创、安可以及自主可控，完全国产化进程加快 大数据体系 •架构：面向博物馆海量数据(PB)批流处理•特征：含非结构、湖仓一体、实时计算•业务：海量存算、复杂分析、数据科学 数字化转型逐渐在博物馆领域发挥数据价值，通过预测未来、指导实践来进行数字变现意识不断增强 变现 建设目标 打造国际一流的博物馆大数据平台 建设博物馆大数据标准体系规范和平台支撑底座服务博物馆从征集、修复、典藏、陈列、保护、研究到传播、教育的全链条智慧化应用大数据需求 以多元、多维、多态大数据平台能力支撑“一馆多址”运营管理模式和服务体系利用大数据深度挖掘分析场馆、藏品、观众之间的关联关系，将博物馆塑造成为文化前沿窗口和博物馆数字化创新典范，促进公共文化供给多元化、服务方式智能化、文化产业数字化和教育传播国际化。 实现多维度文博数据的聚合 实现数据驱动文博服务 实现文博数据资产管理 实现文物和博物馆的数据化、数据资产化、资产服务化、服务应用化、应用智能化，持续赋能文博数据应用闭环，提高文博数据的服务效果与质量。促进文博数据服务过程中各要素之间的数据融通，推动文博大数据与文博大数据应用之间的深度耦合，打造文博数据驱动博物馆智能服务的数据生态系统。 建立起“采存管用”全链条数据管理流程，构建起跨部门、跨层级的一体化数据资源管理体系，不断丰富自身的数字资源积累，沉淀数据资产。 对文博数据进行全量整合和完善，打造适用、适配、成熟、完善的一站式大数据平台，实现数据采集、交换等任务配置以及监控管理，构建数据的深层次的挖掘和应用。 流计算和批处理统一，数据仓库和数据湖统一，在线和离线资源调度统一 【业务痛点】开发：•数据孤岛、重复建设、资源浪费、泄露风险使用：•数据不一致、数据不准确、延时产出 【产品价值】 1.「质量」：全链路数据质量监控保障数据一致、准确、及时、唯一、有效、完整的数据产出2.「安全」：从生产到使用支持全周期数据安全保护3.「成本」：周期性资源占用统计分析提供成本治理，解决资源浪费问题4.「运营」：全局数据可视化管理避免重复建设；数据温度、血缘关系网，拒绝数据孤岛；从查找、理解、分析，应用到业务支持便捷的一体化运营服务 平台关键技术——大数据存算平台 大数据平台创新点——数据服务中台 高效率数仓建模和指标生产 数据资产治理与运营体系 多源异构数据统一汇聚 敏捷数据开发 通过事前规划、事中异常阻断、事后质量和成本分析以及数据流通安全管控为博物馆数据的生产和使用提供有力的质量和安全保障 为博物馆数据集成提供高效稳定的数据同步，支持离线和实时场景下在丰富的异构数据源之间高速稳定的数据移动及同步能力 统一数仓规范定义标准并拉通数据管理全流程，集成关系/维度建模标准设计方法并统一流程，集成多种指标维度标签分类定义与口径规则管理 基于DataOps敏捷迭代、自动化流程和工具提升数据可靠性，加快博物馆数据生产和分析链路 大数据平台创新点——数据服务中台 效率 协同 质量 围绕数据价值链基于协作空间使数据团队不同的角色更好的协作，打破博物馆各数据孤岛，缩短从原始数据到数据价值的路径 贯穿事博物馆大数据前中后的数据质量控制，融入DataOps管道式开发流程，全面保障数据质量提升 基于DataOps敏捷迭代、自动化流程和工具提升数据可靠性，加快数据生产和分析链路效率 大数据平台创新点：数据服务中台——协同创新 实现过程 协同创新理念 •数据任务开发完后需进行版本提交，以反映在工作流中•不同版本任务可以快速在同一工作流中调试•不同项目相同工作流基于不同任务版本实现灰度发布•在发布管理中按照日期进行增量发布，快速迭代 •支持提交、对比、回溯等版本管理能力，以支持任务的灰度发布•支持任务、事件、参数、函数的增量发布，而非传统的周期性发布•敏捷开发、快速迭代，以整体上缩短数据资产化的周期 应用示例 大数据平台创新点：数据服务中台——效率创新 效率创新理念 实现过程 •在博物馆大规模任务开发场景下，可以高并发的在线执行数据开发与测试➢各包开发人员专注任务开发与单元测试，避免业务逻辑学习成本➢编排人员专注任务编排与调度配置，专人专项缩短落地周期•在敏捷开发场景下，开发与编排的一体化以提高效率➢在编排业务逻辑实现的过程中完成数据任务开发➢可以同时测试数据逻辑与业务逻辑 •先开发，后编排：工作流设计不阻塞开发工作，开发无需理解编排逻辑➢开发空间完成后导入编排空间，有专人进行任务编排➢适合中心团队大规模高并发的开发任务•先编排，后开发：开发人员理解业务逻辑，先设计工作流后开发➢直接在编排空间进行任务编排与开发测试，更敏捷➢适合局点团队小规模或增量任务的敏捷开发模式 应用示例 大数据平台创新点：数据服务中台——质量创新 效率创新理念 实现过程 •为博物馆提供从事后的质量评分转为事中的质量监控，一体化测试由代码测试与数据测试两方面组成，以保证数据分析的高质量•从事后的标准对标转为事前的标准落标，以保证数据分析时的数据质量、统计口径的一致性 •数据任务/工作流提交版本前要求通过在线调试，在线调试会自动拉起数据表对应的质量监控任务•敏捷数仓建模工具在数据建模时支持直接引用事前定义好的数据标准，在源头上做到落标•遵从数据标准的表在进行数据集成任务时，支持对脏数据设置零容忍阈值来做到贯标 应用示例 大数据平台创新点——大数据存算平台 更高效地处理和应用大数据资源，为博物馆提供更好的业务洞察和决策支持 安全合规性 业务场景支持 成本效益 降低技术门槛 高效运维管控 •开箱 即用、灵活 搭配 的组件能 力，极致 优化 性能稳定性，降低 其他 包使用 门槛•集群 高可 用和多 场景容 灾备份 工具，确保 博物 馆数据持久性和系统稳定性 •提供 了丰 富的安 全功能 和合规 性控 制，确保 博物 馆数据的安全性和隐私保护•提供 多租 户资源 隔离，确保安 全条 件下的 博物馆 资源数据协同共享 •充分 利用 弹性化 资源，实现更 灵活 的成本 控制和 预算管理•自动 化工 具、极致 性能 和扩展性极大降低运维成本 •提供 博物 馆多种 数据需 求解决 方案，适配 复合 业务需求•按需 进行 资源弹 性扩展 和缩减，快速响应需求变化•生态兼容与开放API能力，支持数据协同共享 •提供 快速 部署和 扩展的 能力，无需 繁琐 软硬件 参数设置•自动 化工 具策略 实现可 观测智 能运 维，配合 迁移 灾备工具降低运维复杂度 大数据平台创新点——大数据存算平台 超大规模存储集群支持 接口友好 提供行业领先的集群内通信融合技术，支持10PB+级数据存储计算，满足博物馆扩展存储需求 •满足博物馆场景各种数据接口需求•完整兼容SQL2003•对ORACLE语法兼容性达到95%，是ORACLE数仓替换最佳选择 极速OLAP响应 行列混合存储 集合业界多项先进技术的OLAP执行技术，为博物馆业务场景提供多维数据分析和数据挖掘 同一个数据库中同时支持行表和列表，并提供行列混合查询能力 存储计算分离能力 高效数据压缩 提供多种数据压缩方法，可以针对数据内容进行针对性的压缩，最高压缩达到400：1，大幅降低博物馆数据存储业务成本 提供高效的存储计算分离能力，更好的连接多种博物馆业务计算数据源 案例：三星堆博物馆大数据平台 •通过搭建数据融合联动的文博数据中台，通过建立人-物-数之间的关系，并以三维渲染模拟、虚拟空间演示、沉浸式展示等创新应用加以呈现。•实现“数据汇集、提质增效、安全智能、孪生可视”的“一图统管”数字孪生运营底座建设，解决了博物馆运营当中存在的业务模块割裂、管理效率低等问题。•解决了传统博物馆运营中存在的数据信息和实际管理链条脱节的问题，现全面智慧化管理，提升了管理效率与游客使用体验感。 案例：首都博物馆大数据平台 藏品与展览视图 感谢聆听