林清山（阿里云中间件）：阿里云中间件持续进化：从分布式应用架构向云原生AI应用架构全面升级

林清山（阿里云中间件）从分布式应用架构向云原生AI应用架构全面升级 •1.阿里云中间件简介 中 间 件 是 介 于 操 作 系 统 和 在其 上 运 行 的 应 用 程 序 之 间 的软 件 ， 实 现 了 分 布 式 系 统 的通 信 和 数 据 管 理 。 中 间 件 消 息R o c k e t M QM Q T TE v e n t B r i d g eN o t i f yO p e n m e s s a g i n g 微 服 务 高 可 用 可 观 测 D u b b oN a c o sS e a t aS p r i n gA l i b a b aH i g r e s sH S F I l o g t a i lE a g l e E y eT l o gA r t h a s O p e n s e r g oS e n t i n e lA p pa c t i v eC h a o s B l a d eA m a z o n 阿 里 云 中 间 件 包 括 消 息 、 微服 务 、 高 可 用 、 可 观 测 等 类别 ， 几 乎 全 开 源 。 基 础 设 施 计 算 （ 物 理 机/虚 拟 机/容 器 ） 存 储 （ 块 存 储/对 象 存 储/ D F S） 阶段1分布式互联网架构 五 彩 石 项 目 ， 分 布 式 应 用 ， 业 务 快 速 迭 代双 十 一 ， 超 大 规 模 秒 杀 ， 无 限 横 向 扩 展 ， 高 性 能 ， 低 成 本 （ 去I O E） 统 一 中 间 件 的 复 利 ： •全 链 路t r a c e I D•全 链 路 观 测•全 链 路 压 测•全 局 高可 用 ：异 地多 活 、 单 元 化 2 0 1 2年 阿 里 中 间 件 开 源R o c k e t M Q、D u b b o， 开 启 了 持 续 十 多 年 的 开 源 旅 程 云 计 算 ：需 求-全 行 业 数 字 化 转 型供 给-互 联 网 公 司 技 术 输 出 、大 规 模 资 源 多 租 共 享 、 规 模效 应 。 面 向 云 原 生 应 用 架 构 •拥 抱 微 服 务 生 态 ， 发 布S p r i n g C l o u dA l i b a b a； 支 持S e r v i c e M e s h，支 持S i d e c a r、P r o x y l e s s等 多 种M e s h形 态接 入 方 案 ； 治 理 能 力 增 强 ， 如 高 可 用 、 混 沌测 试•助 力S e r v e r l e s s应 用 落 地 ，R o c k e t M Q轻量 无 状 态S D K ,无 分 区 负 载 均 衡 ；D u b b o基于G r a a l V M完 成 对N a t i v e I m a g e的 支 持 ；发 布S e r v e r l e s s d e v， 提 供 全 方 位 的S e r v e r l e s s应 用 工 具 链•拥 抱K 8 s生 态 ，H i g r e s s支 持I n g r e s sK 8 s的 网 络 通 信 标 准 规 范 、 支 持x D S协 议•拥 抱 云 原 生 观 测 标 准 ， 发 布i l o g t a i l， 支 持O p e nt e l e m e t r y•消 息 引 擎 云 原 生 架 构 升 级 ，R o c k e t M Q发 布5 . 0， 基 于 云 存 储 的 存 算 分 离 架 构 ， 支 持 多 种开 源 标 准 协 议 ，g R P C、M Q T T、A M Q P、C l o u d E v e n t A I原 生 应 用 架 构是 一 种 以A I为 中 心 进 行 设 计的 系 统 架 构 ， 应 用 架 构 全 面 拥 抱 大 模 型 服务，通 过 模 型 能 力 组 织 系 统 架 构 ， 将 模 型 、后 端 、 前 端 放 在 同 等 地 位 ， 共 同 构 成 完 整 的系 统 架 构 。 A I应 用 架 构 的 新 变 化 ： •请 求 响 应 耗 时 数 十 秒 ， 算 力 消 耗 增 大•请 求 响 应 耗 时 方 差 大 ， 文 生 文 、 文 生 图 、文 生 视 频•从 短 连 接 走 向 长 连 接•更 高 的 数 据 集 成 ， 数 据 驱 动 面 向A I原 生 应 用 架 构 A I开 发 框 架+A I观 测 能 力+A I网 关+事 件 驱 动 ， 一 站 式 助力 大 模 型 应 用 落 地 •拥 抱S p r i n g A I生 态 ， 发 布S p r i n g A I A l i b a b a， 简 化A I应 用 开发•面 向A I场 景 的 可 观 测 ， 阿 里 云 可 观 测 探 针 基 于 开 源O p e nT e l e m e t r y P y t h o n S D K进 行 扩 展 ， 能 够 自 动 获 取 大 模 型 调 用 各个 阶 段 的 数 据 ， 例 如R A G阶 段 检 索 出 来 的 文 档 内 容 ， 模 型 调 用 的输 入 输 出 ， 执 行 时 间 ， 消 耗 的t o k e n等 等 数 据 ， 全 面 提 升L L M应 用 的 可 观 测 性•面 向A I场 景 的 网 关 能 力 增 强 ，H i g r e s s支 持 多 模 型 适 配 ， 已 支 持主 流 大 模 型 供 应 商 ， 包 括通 义 千 问 ，O p e n A I/ A z u r e O p e n A I，月 之 暗 面 ， 百 川 智 能 等 ； 支 持 流 式 输 出 、 请 求/ T o k e n s限 流 防 护 、长 连 接 无 损 热 更 新 ，支 持 最 小 请 求 数 负 载 均 衡•面 向A I场 景 的 事 件 驱 动 ，R o c k e t M Q支 持 主 动P o p消 费 模 式 ， 自适 应 负 载 均 衡 ， 动 态 消 费 超 时 时 长 ， 适 应 不 同 算 力 消 耗 的 请 求 ； 实时 数 据 驱 动R A G架 构 和 开 源 社 区 一 路 同 行 ， 社 区 大 于 代 码 和 开 源 开 发 者 一 路 同 行 ， 共 同 成 长 每 一 年 的 开 源 之 夏 ，从 不 缺 席9个 开 源 项 目 ，2 5个 可 选 课 题 A I加 持 的 开 发 者加 速 开 源 创 新 一 年 一 度 云 原 生 编 程 挑 战 赛挑 战 开 源 性 能 极 限 在 数 千 开 发 者 的 共 同 建 设 下 ： •A p a c h e D u b b o、A p a c h e R o c k e t M Q进 入A p a c h e软 件 基 金 会 中 国 项 目 领 导 者 象 限 ， 入 选 “ 科 创 中 国 ” 开 源 创 新 榜 单•A p a c h e D u b b o、N a c o s入 选 开 放 原 子 年 度 生 态 开 源 项 目•A p a c h e R o c k e t M Q、N a c o s获 得I n f o Q十 大 开 源 新 锐 项 目•A p a c h e R o c k e t M Q、A p a c h e S e a t a、N a c o s入 选I n f o Q开 源 指 数t o p 1 0榜 单•A p a c h e D u b b o、N a c o s进 入C S D N最 具 开 源 影 响 力 项 目 榜 单•A p a c h e D u b b o、A p a c h e S e a t a、N a c o s获 得 信 通 院 开 源 项 目 优 秀 评 级•A p a c h e R o c k e t M Q开 源 商 业 化 生 态 走 向 繁 荣 ， 有1 0 +厂 商 提 供 对 应 的 商 业 化 服 务•G i t h u b s t a r数 突 破2 0 w，c o n t r i b u t o r数3 0 0 0 + 欢 迎 大 家 加 入 ， 共 建 开 源 社 区 Thanks QingshanLin 通义灵码 70% 30% 事务性工作 价值创造活动 开发者的诉求 编码效率高 聚焦技术设计 沉浸式心流 减少编写重复性编码、单元测试、注释等投入，更加聚焦技术设计 写的快：编码时能够提高“写”代码的效率，更高效地完成工作 写代码时，识别编码意图实时续写，保证编码心流 遇到编码问题能够集中且及时地获取解答和帮助，无需切换工具 解的快：遇到运行异常、编码问题时，能够快速找到排查思路，解决问题 面对不同编程语言的工作，不受语言差异限制，能够专注技术设计和业务实现 单元测试生成 代码注释生成 自然语言生成代码 代码优化建议等 SDK/API使用建议 技术文档搜索 代码片段搜索 代码解释 企业数据报表 代码、文档检索增强 专属模型微调训练 Agent插件体系 OpenAPI 支持多IDE、多主流语言 支持Java、Python、Go、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala等主流编程语言，Visual Studio Code、Visual Studio、JetBrains IDEs等主流IDE，兼容Windows 7以上/macOS/ Linux操作系统。 整体产品方案 为每位开发者的体验而设计 新项目、新技术，需要频繁学习新知识 大量的框架、SDK、API，需要满网去找资料 重复、琐碎的代码编写，费时又费力 代码质量、性能、可维护性等优化难度大 运行异常报错时，排查繁杂，也难找到头绪 新语言新框架，如何开始新项目 编码问题随时解答 维护遗留系统的代码库 产品亮点与优势 开发者心流体验 贴合代码库场景 安全、可控 跨文件上下文 贴合开发者使用习惯不打扰不等待 支持身份鉴权、内容安全防护代码数据仅用于推理，不会进行二次训练 双模引擎，自由切换 阿里云使用场景友好 沉浸式编码 针对阿里云的云服务使用、SDK/OpenAPI使用等场景调优 技术资料检索、技术难题解答的诉求 极速本地模型、云端大模型补全 客户实际落地效果 代码生成提效 研发问答提效 公共云用户AI代码生成占比在30%左右（以java语言为例），也就是说可以为开发者节省约30%左右写代码的时间。 平均每个开发者每天会执行7个以上的任务，按照平均每个任务节省10分钟计算，每日可节省超过70分钟开发时间。 大模型回答效果 主观调研数据 问答点赞比例在70%左右，也就是说大模型的大部分回答对于开发者是有效的，可以实际解决问题，提升开发效率。 在最近一次用户调用中，收集到超过850分问卷，总满意度超过80%。VSCode插件市场评分4.3分（5分制）。 根据线上实际数据分析，国外相关实验，结合每日开发者编码时间在30%左右进行推算，综合人效预计可以提升10%-15%。 企业数据看板通过AI代码生成占比看效果 阿里云 谢谢 Spring Cloud Alibaba AI 面向Java开发者的AI应用开发框架 刘军阿里云工程师 1.Spring AI&Concepts2.SpringCloud Alibaba AI3.Patterns&Examples CONTENTS AI Core Concepts•Model•Prompt•OutParser•Function Call•Embedding•Vector Store•ETL•Evaluation A