从孵化到突破 - 网易杭研院的持续探索

主讲人：张晓龙网易杭州研究院基础平台总监 杭研是谁网易集团重点投入且唯一的研究院机构 杭研创新历程从产品创新到技术创新 2 当前创新工作一切从实际需求出发 3 To C到ToB业务孵化 基础技术研究 •ToC：网易云音乐、邮箱、有道成人教育、严选、Lofter•ToB：网易数帆、数创、智企 •2006年成立，为互联网浪潮而生•紧跟前沿技术发展浪潮：人工智能大语言模型 数字人才培养 公共基础平台研发 •健全的研发/产品/运营/设计/运维等IT人才培养体系•硕博占比50%+，名校毕业生占比37% •提供云计算、大数据、人工智能、低代码开发平台等能力•支撑网易互联网产品线以及部分游戏业务 省部级以上创新专项 省级以上平台载体 国 家 企 业 技 术 中 心 、国 家 级 博 士 后 工 作 站 、大 数 据 系 统 软 件 浙 江省 工 程 实 验 室 、 浙 江省 增 强 现 实 与 智 能 交互 工 程 技 术 研 究 中 心 、浙 江 省 大 数 据 重 点 企业 研 、 浙 江 省 数 字 工厂 标 杆 企 业 、 浙 江 省双 创 示 范 基 地 科 技 部 国 家 重 点 研 发 计划 项 目 、 国 家 下 一 代 互联 网 示 范 城 市 建 设 重 点项 目 、 工 信 部 大 数 据 产业 发 展 试 点 示 范 项 目 、浙 江 省 重 点 研 发 计 划 项目 、 浙 江 省 软 件 产 业 高质 量 发 展 重 点 项目 20 开源贡献 创新奖项 697 •8大自研开源项目，其中1个Apache基金会顶级项目•9位Apache PMC/Committer，其中两位SparkCommitter，国内公司仅5位•国内唯一Envoy Proxy Senior Maintainer 网易集团创新奖网易集团技术奖杭研院微创新奖AIGC创新大赛1024黑客马拉松 网易AIGC创新大赛项目提报 110 近一年杭研院微创新项目提报 政企服务 Web2.0技术储备 轻舟云原生平台 CodeWave智能开发平台 EasyData数据开发治理平台 满足OA/HR/采购/运营等大量经营管理需求 应对考拉/严选电商业务爆发增长 打破严选/音乐/新闻等烟囱式数据架构 •传统服务数量近千•系统庞大架构复杂•业务迭代速度慢•迭代容易引入bug •指标口径不一致•数据质量问题频发•数据分析效率低下•存储成本指数级增长 •长尾需求未信息化•线下表格流程低效•创新需求众多•开发人力成为瓶颈 60%平均人力成本50%项目交付效率+30集团部门覆盖 技术复杂性从业务解耦 提高数据交付质效 智能大模型X全栈低代码（可视化编程语言NASL） 容器、微服务/网格、网关、中间件、DevOps DataOps+数据中台方法论 慧眼智能可观测平台 数据库变更稳保平台 变更难度高风险大 一站式可观测平台 数据库变更稳保平台 有监控无洞察 •实现数据库变更操作的规范化管理、自动化执行，辅助DBA管好变更任务，提高变更效率 •数据库系统稳定性要求高•变更任务重：每天多达上百次变更•对DBA经验要求高 •“零侵入”的可观测性数据采集•“零配置”的业务异常自动检测和根因分析 •传统“物理机监控”思维无法适应云原生时代监控对象特点•监控数据（Metric/Log/Trace）呈现孤岛化 方案 •在网易内部因变更失误而造成的稳定性事故降低90%+•DBA团队的整体效能提升20%+ •eBPF与Java字节码增强数据采集•实现多维度数据统一观测•基于机器学习和AIGC的故障自动检测和根因分析创新点 创新点 •实现DBA变更经验即代码•全流程数据库变更管控 •已经在网易内部作为基础的可观测系统落地，平台智能监控对象超过50万 智能物联网应用平台 Curve存储 大数据存储降本 智能物联网应用平台 节能减排 业务需求 •大数据数据存储具有累积效应，存储成本占据大数据成本近70%•大数据存储具有典型的冷热特点 •研发高性能Curve文件存储，支持百亿级文件的存算分离及冷热分层存储，同时提供高性价比的大数据存储方案 •模组层级直连物联网平台•统一采用开源MQTT协议•支持关联应用的联动创新，实现节能减排 方案 •设备连接协议五花八门，应用开发适配困难•设备数据分散各系统、格式缺乏统一性 方案 •在大数据HDFS存储场景下，使用Curve文件存储+对象存储方案整体可实现存储成本降低30%+ •物联网与暖通、电气行业跨界融合，让传统自动化复杂的连接简化，便于程序员在能耗机电上开发创新 •高可靠、高可扩、高性能的元数据引擎•基于多级缓存、低成本对象存储实现高性价比文件存储 创新点 •空调水泵变频控制使单月空调节能20+%。•照明控制系统使地下车库的节电率达到90%，办公区域节电率达到50% 创新点 支持多租户的分布式统一大数据网关 湖仓管理系统 多种表格式兼容 数据自优化服务 对业务透明的小文件合并，数据去重，流文件和批文件的自动合并转换，为业务提供在湖仓体系下的湖仓管理能力 支持不同的表格式，如Iceberg、Mixed-Iceberg和Mixed-Hive，以满足不同的场景需求，并提供统一的管理功能 丰富的管理工具 领先的查询性能 提供各种管理工具，包括WEB UI和标准SQL命令行，帮助您更快上手，更轻松地与其他系统集成 数据自动分桶，更加优化的读时合并性能 ●AIGC能力赋能增强网易数帆产品● ●知识增强领域大模型● CodeWave EasyData 数据分析 软件开发 数据开发 通过多轮对话，智能分析需求粒度，自动完成低代码应用开发。 用户通过和助理机器人对话及SQL补全，提升数据开发效率。 用户只需要与AI助手对话，即可轻松获取数据。