您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[网易]:从孵化到突破 - 网易杭研院的持续探索 - 发现报告
当前位置:首页/其他报告/报告详情/

从孵化到突破 - 网易杭研院的持续探索

2023-11-22网易晓***
从孵化到突破 - 网易杭研院的持续探索

主讲人:张晓龙网易杭州研究院 基础平台总监从孵化到突破—网易杭研院的持续探索 1杭研是谁网易集团重点投入且唯一的研究院机构2杭研创新历程从产品创新到技术创新3当前创新工作一切从实际需求出发 •提供云计算、大数据、人工智能、低代码开发平台等能力•支撑网易互联网产品线以及部分游戏业务•2006年成立,为互联网浪潮而生•紧跟前沿技术发展浪潮:人工智能大语言模型基础技术研究•ToC:网易云音乐、邮箱、有道成人教育、严选、Lofter•ToB:网易数帆、数创、智企To C 到 ToB 业务孵化公共基础平台研发•健全的研发/产品/运营/设计/运维等IT人才培养体系•硕博占比50%+,名校毕业生占比37%数字人才培养网易数智创新引擎技术创新业务孵化 授权发明专利1748授权发明专利件905件软件著作权授权发明专利省级以上平台载体7个国家企业技术中心、国家级博士后工作站、大数据系统软件浙江省工程实验室、浙江省增强现实与智能交互工程技术研究中心、浙江省大数据重点企业研、浙江省数字工厂标杆企业、浙江省双创示范基地省部级以上创新专项科技部国家重点研发计划项目、国家下一代互联网示范城市建设重点项目、工信部大数据产业发展试点示范项目、浙江省重点研发计划项目、浙江省软件产业高质量发展重点项目20项 开源贡献•8大自研开源项目,其中1个Apache基金会顶级项目•9位Apache PMC/Committer,其中两位Spark Committer,国内公司仅5位•国内唯一Envoy Proxy Senior Maintainer创新奖项网易集团创新奖网易集团技术奖杭研院微创新奖AIGC创新大赛1024黑客马拉松697网易AIGC创新大赛项目提报110近一年杭研院微创新项目提报 Web2.0技术储备移动互联网多元化支撑前沿技术持续研究移动应用创新孵化个性化音乐社区•歌单智能推荐•乐评智能理解政企服务•严选ODM(原始设计制造商)模式•在线职业教育•互动直播•课程录播PC应用创新孵化•分布式数据库•分布式文件系统•分布式搜索引擎博客相册个人表达和交流 AI•语音识别Big Data•Spark & 离线计算Cloud Native•微服务•自然语言处理•计算机视觉•机器学习平台•实时计算•数据仓库•BI•融合网关•混部 & 统一资源调度•容器集群管理 轻舟云原生平台CodeWave智能开发平台EasyData数据开发治理平台应对考拉/严选电商业务爆发增长满足OA/HR/采购/运营等大量经营管理需求打破严选/音乐/新闻等烟囱式数据架构技术复杂性从业务解耦低门槛+高上限,赋能业务专家提高数据交付质效60%数据质量问题350%数据开发效率2000+指标统一管控•指标口径不一致•数据质量问题频发•数据分析效率低下•存储成本指数级增长60%平均人力成本50%项目交付效率+30集团部门覆盖•长尾需求未信息化•线下表格流程低效•创新需求众多•开发人力成为瓶颈99.99%业务连续性200%CICD开发效率+2000应用系统•传统服务数量近千•系统庞大架构复杂•业务迭代速度慢•迭代容易引入bug容器、微服务/网格、网关、中间件、DevOps智能大模型 X 全栈低代码(可视化编程语言NASL)DataOps+数据中台方法论 数据库变更稳保平台•数据库系统稳定性要求高•变更任务重:每天多达上百次变更•对DBA经验要求高业务挑战•实现DBA变更经验即代码•全流程数据库变更管控创新点•在网易内部因变更失误而造成的稳定性事故降低90%+•DBA团队的整体效能提升20%+应用成效•实现数据库变更操作的规范化管理、自动化执行,辅助DBA管好变更任务,提高变更效率方案变更难度高风险大慧眼智能可观测平台•已经在网易内部作为基础的可观测系统落地,平台智能监控对象超过50万•eBPF与Java字节码增强数据采集•实现多维度数据统一观测•基于机器学习和AIGC的故障自动检测和根因分析一站式可观测平台•“零侵入”的可观测性数据采集•“零配置”的业务异常自动检测和根因分析•传统“物理机监控”思维无法适应云原生时代监控对象特点•监控数据(Metric/Log/Trace)呈现孤岛化有监控无洞察创新点业务挑战方案应用成效数据库变更稳保平台 Curve存储•大数据数据存储具有累积 效应,存储成本占据大数 据成本近70%•大数据存储具有典型的冷 热特点业务需求•高可靠、高可扩、高性能的元数据引擎•基于多级缓存、低成本对象存储实现高性价比文件存储创新点•在大数据HDFS存储场景下,使用Curve文件存储+对象存储方案整体可实现存储成本降低30%+应用成效•研发高性能Curve文件存储,支持百亿级文件的存算分离及冷热分层存储,同时提供高性价比的大数据存储方案方案大数据存储降本智能物联网应用平台•空调水泵变频控制使单月空调节能20+%。•照明控制系统使地下车库的节电率达到90%,办公区域节电率达到50% •物联网与暖通、电气行业跨界融合,让传统自动化复杂的连接简化,便于程序员在能耗机电上开发创新智能物联网应用平台•模组层级直连物联网平台•统一采用开源MQTT协议•支持关联应用的联动创新, 实现节能减排•设备连接协议五花八门, 应用开发适配困难•设备数据分散各系统、格 式缺乏统一性 节能减排创新点业务挑战方案应用成效 支持多租户的分布式统一大数据网关湖仓管理系统从任何地方访问以任何规模部署连接到任何数据支持不同的表格式,如 Iceberg、Mixed-Iceberg 和 Mixed-Hive,以满足不同的场景需求,并提供统一的管理功能 多种表格式兼容对业务透明的小文件合并,数据去重,流文件和批文件的自动合并转换,为业务提供在湖仓体系下的湖仓管理能力 数据自优化服务提供各种管理工具,包括 WEB UI 和标准 SQL 命令行,帮助您更快上手,更轻松地与其他系统集成 丰富的管理工具数据自动分桶,更加优化的读时合并性能 领先的查询性能 ● AIGC能力赋能增强网易数帆产品 ●● 知识增强领域大模型 ●网易玉言大模型NL2SQL领域模型SQL补全领域模型NL2NASL领域模型通用代码领域模型大模型基座 杭研 X 伏羲)领域大模型ChatBI数据分析用户只需要与AI助手对话,即可轻松获取数据。EasyData数据开发用户通过和助理机器人对话及SQL补全,提升数据开发效率。CodeWave软件开发通过多轮对话,智能分析需求粒度,自动完成低代码应用开发。