拥抱开源，网易杭研 Apache Kyuubi 项目实践主讲人：姚琴网易数帆资深大数据技术专家 目录0102030405项目介绍Project开放社区Community用户案例User开源收益未来展望ForesightProfit 20202022项目介绍2018开源2021孵化2023毕业项目介绍开放合作共赢Apache License v2.0厂商中立合作共赢非营利商业友好高质量发布The Apache Way隶属 Apache 软件基金会社区开放开源软件顶级项目免费使用 Spark as a Service海量 Hive 任务迁移 Spark 的挑战 重新定义用户使用 Spark 的方式项目介绍Serverless SQL on Lakehouse服务及计算全部容器化，All in Kubernetes 从 Spark 生态扩展到 Flink、Trino、Hive, Hbase...Unified Gateway统一的跨数据源安全访问 多种轻量化编程接口 多种工作负载支持010203 目录0102030405项目介绍Project开放社区Community用户案例User开源收益未来展望ForesightProfit 开放的组织结构Vice President/Chair项目管理委员会 PMCs(14)提交者 Committers(24)贡献者 Contributors(150+)用户 UsersASF Board网易、eBay、亚⻢逊、字节跳动、携程旅行、中国移动云、广发证券、丁香园、T3 出行、神策数据...百度、Platform24、蚂蚁金服、哔哩哔哩、亚信科技、小米、爱奇艺...思科、英伟达、海康威视、大华、腾讯、阿里、知乎、丰巢、Kt NexR、观远数据、Nvidia、Moon Studio、豆瓣、育碧游戏、⻢蜂窝、Incorta、AccuKnox、Nousot、Zillow...基于︻贡献︼出于︻热爱︼ 如何加入社区文档提交一个 Bug Report代码社区巩固和提升现有技能投产需要享受编码的乐趣巩固和磨练英语技能投产需要热衷于写作喜欢组织活动乐于分享享受助人为乐的快感提交一个 Pull Request开发者活动（4-5月，10-11月）Review 一个 Pull Request用户群答疑Meetup（3月，9月）公众号投稿 目录0102030405项目介绍Project开放社区Community用户案例User开源收益未来展望ForesightProfit 开源用户 用户案例 - eBay - 统一 Serverless Spark 网关-统一网关-多套 Hadoop 集群-多种任务类型支持-SQL / Scala / Python-Jar使用场景:- 日均30万+交互式查询- 日均1万+批任务作业规模: (2021)-2位PMC成员，1位Committer-ASF 孵化器导师，初始成员-380+ 提交核心贡献: 用户案例 - 携程集团 - 离线计算平台-实现离线作业服务化演进-无缝迁移升级-SQL 快速重放-客户端兼容-服务高可用使用场景:- 50%以上离线作业- 日均运行超过30万查询作业规模:(2023)-1位PMC成员，多位贡献者-引擎状态管理等增强核心贡献: 用户案例 - T3 出行 - 大数据平台-替换 Hive， 提升 3-6 倍查询性能-跨数据源联邦查询使用场景:- 80% 以上离线作业- 日均运行超过1万查询作业规模: (2021)-1位PMC成员，多位贡献者-Flink Engine 的支持核心贡献: 用户案例 - 广发证券 - 构建“提效可控”金融级大数据赋能层-金融数据安全-用户统一接入认证-数据统一访问鉴权与审计-列级权限控制-敏态数据过滤及遮蔽使用场景:- 80% 覆盖核心指标体系建设- 日均运行超过1万查询作业规模: (2022)-1位PMC成员-250+ 提交，权限控制模块核心贡献:全生命周期提效- 事前、事后、事后提升数据作业运行效率•充分发挥引擎能力•在SQL不变下充分发挥CBO、RBO、PushDown等特性降低对接成本开发人力效率•统一以SQL抽象方式查询和加工数据•显著降低对接入成本•降低语言环境要求提以兼顾现状为提升基准•兼容已有数据作业和数据载荷，避免引入破坏性变更统一低成本SQL接入方式和界面•遮蔽基座基础设施对任务的依赖要求•轻量级的接入方式•降低对语言环境的要求统一应对多种不同用途•ETL、BI、数据加工、即席查询、数据探查•统一调优，令多数场景受益效可可持续迭代•持续升级底层引擎界面•充分发挥业界在执行计划中的优化可持续演进•在统一赋能层下持续提供新的大数据技术和能力补充可用性•支持高可用能力•通过服务发现解耦实例关系控细粒度数据权限控制•行权限及过滤•库表权限•数据遮蔽•可审计资源管控•多租户隔离•对不同场景不同用户进行区别管控监控观察和查询定位 用户案例 - Cisco - Kyuubi on AWS-集成 AWS IAM / Glue / S3-资源按需分配-使用场景:- 5K+ 独立作业作业规模: (2022)-多位贡献者-Kyuubi Web UI核心贡献: 目录0102030405项目介绍Project开放社区Community用户案例User开源收益未来展望ForesightProfit 企业利益社区发展开发者成功开源收益 开发者成功获得成⻓获得朋友完成工作 社区发展93.5%外部贡献者占比65.8%3500+累计提交多元化社区始终如一的高质量发布延⻓软件生命周期网聚今日之人，创造明日代码分布式协同扩展边界共同成⻓顶级项目外部提交占比高效迭代社区发展互相帮助社区胜于代码150+贡献者 企业利益-作为网易数帆商业化产品 EasyData 及 NDH 的有力组件-通过与客户开源共建获得商业合作的机会-开源用户、开源基金会信誉背书省钱赚钱影响力-吸引外部贡献控制研发人力成本-免费的开发工具、CI/CD 服务-网易首款 Apache 基金会顶级项目-中国科协- 2021 “科创中国”开源创新榜-信通院-可信开源社区共同体 -2022 OSCAR 开源产业大会尖峰开源项目及开源社-中央网信办信息化发展局-2023 中国开源创新大赛二等奖 目录0102030405项目介绍Project开放社区Community用户案例User开源收益未来展望ForesightProfit 未来展望AIGC在 Kyuubi 独特的生态位上探索 AIGC 的想象空间Native Engine结合 Gluten 和 Velox 等开源项目实现 Kyuubi 性能的⻜跃Global Community立足中国，放眼全球，吸引更多国家和地区的开发者加入社区，构建更加多元化的社区 THANKS!