AI原生应用架构演进及痛点
- AI应用生态蓬勃发展，涵盖GPT、Llama、Qwen等通用大模型及LangChain、LlamaIndex等应用编排框架，以及Coze、阿里云百炼、Hugging Face等服务平台。
- AI应用面临数据质量、模型推理性能、成本控制等核心痛点，如推理性能慢、模型输出准确性、Token消耗控制等。
阿里云AI全栈可观测解决方案
- 架构包含GenAI应用大模型服务平台（MaaS）、AI平台（PaaS）、容器Kubernetes（CaaS）、智算服务器（IaaS），提供全栈统一监控、模型调用全链路诊断、模型日志评估分析等功能。
- 解决方案基于OpenTelemetry实现端到端可观测，包括Tracing（模型调用全链路诊断）、Metrics（模型性能分析、Token成本分析）、Logging（模型日志评估分析）。
大模型应用可观测技术实践
- Tracing: 基于OpenTelemetry实现LLM ChatBot应用全链路追踪，记录Prompt、Input/Output、Token、TTFT等关键信息，并以会话串联用户交互问答过程。
- Metrics: 关注TTFT、TPOT等指标，分析推理性能，并监控显存带宽利用率、GPU利用率等资源使用情况。
- Logging: 基于OpenTelemetry Python Agent实现无侵入埋点，采集大模型领域语义规范数据，保障稳定高可用。
- 流式场景处理: 采用客户端分段采集+服务端合并还原的方式，平衡客户端性能与数据分析易用性。
Dify生产级部署及可观测最佳实践
- Dify生产级部署建议：调整Nginx配置、增加PGSQL数据库连接池大小、使用Redis哨兵模式或消息队列、采用第三方向量数据库、使用外置可观测组件、使用云存储。
- 对比Dify原生可观测与OTel原生可观测，阿里云自研Python探针接入成本低、观测维度多、分析维度全面、观测链路端到端，性能和稳定性更优。
vLLM/SGLang推理性能可观测实战
- 通过端到端调用链分析和指标关联，排查vLLM/SGLang推理性能问题，如请求数量过多导致排队，建议增大推理引擎请求队列大小配置。
模型生成结果自动化评估系统
- 通过内置模板或自定义评估，实现模型生成结果的自动化定量/定性评估，如合规性检查、用户意图提取，提升生成效果。
MCP带来的变化和挑战
- MCP（ModelContext Protocol）解决“N×M”集成问题，但多轮交互导致“熵增”，形成token黑洞，可观测是降低“熵增”的有效方法。
Serverless+AI全新云应用开发平台
- Serverless+AI目标：降低成本、提升效率、满足定制需求，通过按需付费、极简运维、丰富的云服务集成等实现。
- FunctionAI平台提供模型托管、模型服务、部署、应用、开发等功能，支持一键快速拉起AI应用，解决开发者困境。
FunctionAI开发范式
- 提供丰富的AI应用模版，支持一键部署服务、插拔业务、定制流程、二次开发，实现组装式研发。
- Serverless运行时：极致弹性、按量付费、镜像加速，降低业务成本，提升开发效率。
- 流程服务：提供易用的流程式开发工具，支持业务拆分到函数粒度，资源利用率达100%，研发提效10倍。
FunctionAI架构及优势
- 第四代神龙架构，毫秒级弹性调度，内置可观测，支持100+云产品事件集成，应用中心50+热门应用模板。
函数服务
- 提供Web后端服务、业务消息处理、AI应用网关、应用场景等功能，支持HTTP触发、自定义域名、大数据ETL处理等。
模型服务
- Serverless GPU提供GPU资源的按需和极速模式，降低AI落地成本，保证模型冷启动推理耗时，支持闲置模式、预留模式、无冷启动模式。
FunctionAI客户故事
- 支持设计师定制个人工作助手、开发者开发有趣的Web项目、初创公司自媒体、大型企业灵活可定制等场景。
Spring AI Alibaba Graph深入介绍
- Spring AI提供基础AI抽象与能力，包括文本、语音、图片模型、多模态支持、任意模型适配、聊天记忆、Prompt声明、Tool工具等。
- 基于ChatClient的Single Agent 架构存在局限性，如工具选择困难、上下文过大、维护性差等。
面向复杂AI业务场景的解决方案
- 使用MultiAgent和Workflow模式解决复杂AI业务场景，支持低代码应用开发平台和开源multi-agent框架。
Spring AI Alibaba Graph示例
- 示例一：基于workflow的客户评价处理系统，通过预定义节点和条件边实现多层次分类。
- 示例二：实现ReActAgent的天气预报系统，结合推理和行动能力。
- 示例三：实现OpenManus通用智能体。
Spring AI Alibaba Graph设计理念
- 面向Java开发者的工作流、多智能体框架，支持流程构建和结果构建，与Langgraph、AutoGen、MetaGPT等框架对标。
Spring AI Alibaba Graph核心能力
- 工作流声明式API、Graph设计、上下文状态统一管理、记忆与持久存储、人类确认、流式输出、并行结点、嵌套Graph、支持工作流与多智能体、内置大量预置结点。
Spring AI Alibaba Graph规划
- 支持低代码平台百炼、Dify到高代码Graph的导出，配套本地可视化调试与可观测工具，内置更多通用多智能体Pattern。
