Byzer 产品与技术概述
公司与项目背景
Kyligence 公司是全球领先的大数据 OLAP 领导者,中国首个 Apache 顶级开源项目,拥有 1500+ 全球生产用户。Byzer 是其推出的面向 Data+AI 领域的云原生类 SQL 语言,由资深数据工程师祝海林主导开发,并于 2016 年开源。
产品架构与功能
Byzer 采用云原生架构,支持桌面版和 Web IDE,提供 Byzer Notebook、VS Code 插件、Shell 和命令行等多种使用方式。其架构分为产品层和引擎层:
- 产品层:包括 Byzer Notebook、VS Code 插件、桌面 Shell 和命令行等,通过路由层连接引擎。
- 引擎层:基于 Byzer Language Engine,支持 HTTP/JDBC 接口,提供词法分析、预处理、代码生成、解释器和运行时环境(Spark/Ray),并可通过 Java/Scala 实现原生扩展。
核心特性
- 类 SQL 语法:支持类 SQL 语法,简单易学,覆盖数据抽取、处理、可视化、绘图和特征工程等全流程。
- 机器学习支持:支持类 SQL 机器学习,覆盖数据抽取、处理、特征工程和模型训练全程分布式。
- 深度学习支持:通过 Byzer-python 支持深度学习,实现 SQL 和 Python 代码共存、数据互通、真分布式执行。
- 环境隔离与融合:提供 Spark/Ray 环境隔离,屏蔽 Python 复杂环境,支持 Ray 作为模型部署底座。
案例与应用
- 某消费金融公司:使用 Byzer 完成大数据中心平台迁移和升级,2 人研发团队支撑生产环境开发和运维,累计执行数据处理任务 700 万次,单日调度任务超 4000 个,平台服务用户日活 50+。
- 厦门某技术公司:通过 Byzer 赋能客户,实现数据融合分析,支持多系统数据接入和结果推送。
- Kyligence 工时管理分析系统:整合 Azure Blob、飞书、Jira、CRM 和 Excel 等数据源,实现工时信息融合分析和定时推送。
- 企业自助式分析平台:提供权限管理、运维监控、告警、定时任务等功能,支持云端 RDBMS、云数据仓库、云对象存储、流式数据、IoT 设备、在线数据日志等数据接入,实现数据分析、BI、机器学习等服务。
社区与愿景
- 一线社区:释放分析师/工程师/运维的生产力。
- 企业社区:低成本、高效率落地数据平台,完成 AI 工程化。
- 核心社区:聚焦 Byzer-lang 开源项目。
联系方式
Kyligence Inc.:http://kyligence.io, info@kyligence.io, @Kyligence
Byzer Org:https://github.com/byzer-org, pmc@byzer.org