MySQL ： 基于 MySQL HeatWave 的数据仓库和湖库快速定量分析(英文版)

Gaurav ChadhaMySQL HeatWave 高级开发经理 2024 年 5 月 1 日 安全港声明 以下旨在概述我们产品的 geral 发展方向。本文件仅作参考之用，不得纳入任何合同。这不构成对交付任何材料、代码或功能的承诺，也不应成为购买决策的依据。Oracle的产品中所描述的任何特性或功能的开发、发布、时间安排和定价都可能发生变化，并由 Oracle 公司独家决定。 MySQL HeatWave 在一个数据库服务中进行交易 ， 跨数据仓库和数据湖的实时分析以及机器学习 使用 HeatWave Lakehouse 处理所有工作负载 解析函数 - CUBE 、 HLL促进非 MYSQL 工作负载的迁移 99.5% 99.5% 的收集数据仍未使用 HeatWave 湖屋表界面 作为外部表的对象存储中的数据的简单接口• 使用现有语法提供特定于 Lakehouse 的功能 ， 并且是可扩展的 在可扩展 JSON 接口中指定的外部源文件位置• 文件可以分布在多个对象存储桶 100% 符合标准 MySQL 语法 MySQL Autopilot - 自动并行加载从文件自动生成 DDL 创建不存在的表 • 使用推断的列类型 • 长度 • 精度 • 设置引擎 • 设置引擎属性 •可以提取列名 数据库或对象存储中的数据具有相同的性能使用对象存储上的数据开发应用程序 ， 而不会影响性能 HeatWave Lakehouse 可扩展至 500 TB HeatWave Lakehouse 将支持扩展到半结构化数据 • CSV ， 镶木地板和 Avro 文件格式的 JSON 数据现在可以由 HeatWave 处理 • 支持扩展到换行符分隔的 JSON 文件• 易于解析和流式传输使其成为最流行的 JSON 格式 • NDJSON 数据摄取和处理规模类似于结构化文件格式 … {"name": "简", "学术背景": {"本科": "麻省理工学院", "研究生": "德克萨斯大学奥斯汀分校"}}, "年龄": 24} {"name": "吉尔", "学术背景": {"本科": "麦迪逊", "研究生": "斯坦福大学"}}, "年龄": 27}… Lakehouse 表中的增量数据加载功能 功能 ： 更新 Lakehouse 表数据以反映用户数据中的修改 • 在任意时间点提供用户数据与湖屋表数据之间的1对1映射• 仅增量应用用户数据的变化部分到现有表数据上• 通过SQL命令手动触发增量加载 •已读 - 已提交&快照隔离： Lakehouse 表上的查询永远不会被阻止• 查询在查询开始时提交的数据版本上运行 • 集成到现有的 AutoLoad 接口 •数据更新的粒度是对应于数千个记录的对象 • 用户存储桶中的对象可以是已添加,已删除, or已更新• 将当前对象列表与上次表加载或增量加载的列表进行比较计算的增量 •Delta 应用设计 ： 将每个对象视为表格的新水平切片 • 对于添加或更新的对象，以水平扩展的方式在HeatWave集群类似的表加载过程中进行转换和摄取 • 批量插入操作：通过文件内外层的并行处理实现HeatPump的扩展性 • 对于删除的对象，执行快速的内存操作，通过更新表版本来移除表切片 在 HeatWave 中为对象存储中的数据执行部分查询在 HeatWave 中执行部分查询 ， 在 MySQL 中休息 MySQL HeatWave 中的本机向量处理 • MySQL 和 HeatWave 支持新的矢量数据类型 • 矢量列的内存混合列式存储格式 矢量处理 • 利用 SIMD 指令进行矢量处理 • 处理接近内存带宽 • 端到端数据管理 ， 包括嵌入生成 • 与绑定复制等功能集成 使用 HeatWave Lakehouse 扩展矢量存储创建使用 OutsideIn (OIT) 和跨节点的并发嵌入生成来解析源文件 使用 SQL 的精确最近邻搜索 选择数字,imagenameFROMmnistORDER BYVECTOR _ DISTANCE(嵌入 ， @query _ embeding)LIMIT3; 使用 HeatWave 矢量存储 创建矢量存储 ＃ 从对象存储中摄取文档 ， 就像任何 Lakehouse 表一样CALLsys. heatwave _ load ("vector _ store", @ load _ params); 查询向量存储本机 SQL 语法 ＃ 示例 ： 查找语义上最类似于输入的书籍 ， 并且是打印的选择id, 标题FROMbooks b, books _ in _ print ipWHEREb. title = ip. titleORDER BY距离(b. segment _ embeding, @ query _ embeding ",DOT“) 作为距离DESCLIMIT 10; 查询向量存储ML _ RAG ＃ 示例 ： 使用摄取到 Vector Store 中的文档中的数据回答问题CALLsys. ML _ RAG(“哪个状态具有最大碳 ？ ” ， @ output) ； 示例 ： 员工助理自然语言 员工助理 ： 提高员工生产力 矢量存储摄取 IoT 事件 挑战 Metrics • 摄取TB 的数据 ， 数千个文件 • 不同文件格式 • 查询应该需要几秒钟或几分钟 - 而不是几小时 • 配置新的 ML服务? • Get ERP,SCMdata • 传感器记录温度、扭矩、转速和湿度• 每个传感器通过遥测方式将数据发送回系统• 数据以CSV/JSON格式存储• 存储为单独的文件• 只读数据 • 异常热点 • 有多少部分差异超出范围 • 我有part库存？ • 哪个供应商可能以最快的速度完成订单 • 哪些部分可能会失败 • 什么是影响零件故障 HeatWave Lakehouse 允许我们轻松快速地将对象存储中的数据加载到 HeatWave，并将其与 MySQL 数据结合进行分析。 Kinoshita TakashiNTT SOLMARE CORPORATION 电子书部首席制片人 MySQL HeatWave Lakehouse 的行业分析师 组织在云数据湖屋市场寻求最佳价值时必须认真考虑MySQL HeatWave Lakehouse。.”— Carl Olofson ， 数据管理软件研究副总裁 “MySQL HeatWave 演示Lakehouse 性能可以与事务查询性能相同—闻所未闻 ，甚至不可想象。 "- Holger Mueller ， 副总裁兼首席分析师 “HeatWave 的能力在如此海量的节点上并行加载和查询数据是业内首创。 ”- Marc Staimer ， 高级分析师 “MySQL HeatWave Lakehouse 可以简化数据管理专业人员的生活并且应该改善客户体验.” — Matt Kimball ， 副总裁兼首席分析师 “简单地说 ： MySQL HeatWave Lakehouse通过对有意义的业务见解采取迅速行动 ， 使您能够在竞争中保持领先地位。 "— Steve McDowell ， 首席分析师兼创始合伙人 Resources ••Web• Oracle. com / heatwaveYouTube • youtube. com/ @ mysql ••••••Blog• https: / / blogs. oracle. com / mysql /文档• https: / / dev. mysql. com / doc / heatwave / en /技术白皮书• 技术解决方案简介动手实验室• 新的 MySQL HeatWave 湖屋动手实验室认证• https: / / education. oracle. com /免费试用• https: / / cloud. oracle. com 媒体报道 • 福布斯：甲骨文在大数据湖和查询速度方面超越Databricks、Snowflake和BigQuery• 《The 65播客》：MySQL HeatWave 湖仓一体“极具强大且令人惊叹”• Futurum：MySQL 提供新的竞争水平• TechTarget：“HeatWave 应该获得奥斯卡奖，以表彰其最快创新”• VentureBeat：MySQL HeatWave 正式发布以查询数据• Chat GPT 全球：甲骨文释放 MySQL HeatWave 湖仓一体的强大功能以进行高效的数据查询• 《注册簿》：MySQL HeatWave 潜入对象存储数据湖 我们的使命是帮助人们以新的方式看待数据 ， 发现见解 ， 释放无限的可能性。 MySQL HeatWave 针对多个云进行了优化最大的灵活性和选择 以最低的价格查询和加载在行业中的最佳性能TPC - DS 100TB 查询性能不匹配 数据加载比竞争对手快得多