阿里视觉AI开放之路：从公共云走向端云协同谢宣松达摩院资深算法专家Let more people use better AI Contents目录AI平台化之路阿里云视觉智能开放平台发布：云端协同框架OpenSDK进化与未来01020304 AI平台化之路Way of AI platformization01 AI有效供求之间的矛盾距离：需求/供给GAP缩短：开发和效率工具核心能力、典型案例其他用户需求降本提效易用/高效竞争力/讲故事需求方快速创新/试错供给方价值体现阵地/品牌优化迭代学术认可Voronoi腔价值：1：提供核心AI能力和典型案例；2：缩短供给与需求GAP的工具 如何建设AI“供给”和“需求”最短路径A1：提供满足视觉基本面的多样、标准化的能力，完善的能力供应链体系A2：提供全生命周期的能力体验和使用流程，稳定高效的平台基础设施支撑A3：通过单能力极致优化，多能力系统优化，降低平台成本；通过定额免费满足中小AI需求。Q1：如何一站式、最大程度满足用户的主流AI需求Q2：如何快速接入、低门槛、稳定的使用Q3：如何低成本的使用能力，实现较高ROI多快省好路径：公共云平台是一个有效最短路径 数字内容消费实体服务消费服务商品相对确定的在线/离线服务能力商品看得见摸得着实物商品有不确定性可进化AI能力公有AI能力Openfunction专有AI能力Exclusive functionAI平台上的“商品”特性 AI平台开放普惠生态高性价比公共云AI平台的特性需求Open、供给Open拿来即用，切换成本低中长尾用户多样化、碎片化的AI市场天然被集成，自然需普惠 供给方需求方平台方存量：降本提效高性价比增量：助力创新快速试错真需求：市场驱动放大器：价值体现可进化：数据场景大环境鼓励普惠品牌生态入口阵地助力业务竞争力AI平台给各方带来的价值 阿里云视觉智能开放平台Alibaba Cloud Visual Intelligence Open Platform02 让更多的人用更好的AILet more peopleuse better AI 普惠立足，通过定额免费满足中小AI需求，以及高性价比的商用能力。出发点：让更多的人用更好的AI让天下没有难用的AI阿里集团及阿里云强大用户生态，公共云大流量用户访问,常态化运营，成为开发者、中小用户的机遇之地。提供覆盖视觉基本面的多样化、多粒度、标准化的能力，完善的供应链体系，一站式满足用户主流AI需求提供全生命周期的能力体验和使用流程，稳定高效的平台基础设施支撑，快速接入低门槛使用AI能力，省心省力汇聚达摩院及阿里巴巴其它BU科学家和工程师沉淀的极具竞争力的视觉AI能力，拥有从海量实际场景中，反复锤炼的最佳案例，强调实战价值有的用（全面）有人用好用（专业）易用用的起（普惠） 方案：视觉智能开放平台搭平台聚能力造能力建品牌/生态1：提供核心AI能力和典型案例；2：缩短供给与需求GAP的工具。•视觉AI能力开放中心•视觉AI能力再生产中心•场景应用和孵化中心功能：定位：降本提效高性价比能力荟聚拿来即用服务增殖持续进化助力创新快速试错 历程：视觉智能开放平台1.0 到3.02019.4 序曲üMind能力清单梳理ü视觉小组年度治理扬帆启程项目启动2019.8ü视觉技术小组发起ü集团能力梳理ü项目目标确定ü项目团队建立从无到有V1.0发布上线2019.12ü12个大类，110个API能力ü开通用户：数百ü调用：百万级üvision.aliyun.com上线ü能力中心上线从有到多ü官网升级2.0ü优势能力开始商业化ü开发者体验中心ü新闻中心上线ü数据评测中心上线V2.0上线ü14个大类，140个API能力ü开通用户：上万ü调用：千万级ü收入：第一笔4002020.10从多到优ü官网升级3.0ü能力中心重构üSDK能力上线ü场景实验室上线ü行业能力中心上线V3.0发布ü200个API能力，20个SDKü开通用户：4万ü调用：亿级ü收入：数万/日2021.5 平台底座算力管理持续集成算法管理成本优化测试调试检索引擎基础平台智能标注在线训练组合编排增量学习自学习少样本学习能力再生产数据案例交付形态公有云API一体化套件离线SDKC端工具智能摄像头AIBox软硬一体端上私有化公有云智能存储数字门店...智能修图互娱营销矩阵增强修复智能监考场景化技术解决方案场景应用...智能监考构架图：视觉智能开放平台分割抠图增强编辑视觉理解内容审核文字识别通用能力中心互联网行业能力中心SDK中心能力中心工业教育医疗直播互娱社交人的理解 平台能力中心vision.aliyun.com(专业、全面、实用、易用)人的理解文字识别商品理解内容安全图像识别图像生产分割抠图目标检测视频生产视频理解视觉搜索分析处理3D视觉行业视觉能力视觉SDK15200+API能力亿级日均调用普惠限免+低成本能力大类 AI能力的分层分类必须要有的基本面能力有竞争力的特色能力业务需要的场景化能力确保满足主流AI需求自研优势AI能力开箱即用的完整AI能力簇肺结节口罩识别老片修复证件检测美容美妆尺寸变换生成美体超分分割商品识别新冠评估关键点检测打标OCR尺寸变换识别 供需GAP缩短：能力再生产在线学习结构/参数自调整大模型预训练增量学习DAG图解析少样本自监督阿里云PAI平台能力组合编排能力再生产能力在线进化 能力示例：分割钉钉视频会议虚拟背景精细到发丝级别首创去杂色技术对运动模糊鲁棒无需高端显卡 能力示例：老片修复核心技术开源：https://github.com/yangxy/GPEN 应用示例：机器修图原始RAW图转档JPG面部/身体液化肤质优化全自动、高品质、智能化、低成本 应用示例：智能存储视觉智能开放平台OSS订阅分析主题媒体上传推送分析结果媒体批处理人事物结构化分析多模态检索事件通知支持大规模存储依靠平台的弹性架构实现TB级数据的准实时处理。低接入成本可视化配置事件订阅；面向事件数据编程，无需感知API差异。隐私合规兼容BYOK、HTTPS传输等安全措施；支持租户隔离和灵活授权机制。应用厂商IPC平台相机&相册Apps...... 发布:端云协同框架OpenSDK1.0OpenSDK：End-cloudcollaboration framework03 解决多个单点的行业AI需求能力组合，汇集为分子能力或行业方案端侧离在线能力，切入更广泛的AI场景原子AI能力的平台化由云端API到端云一体üSDK能力中心上线üIPC边云一体方案上线ü离线SDK能力集上线ü原子能力上线ü开发者体验中心ü数据评测中心上线由原子能力到分子能力ü能力中心重构ü场景实验室上线ü行业能力中心上线实现阿里多样化原子能力的平台化输出以行业实用视角整合并结构化能力端云结合，普惠AI到各类终端1. 多点起步2. 能力结构化3. 端云一体由公有云到端云协同 如何在延时敏感场景实现AI应用？用例：实时背景分割、AR游戏云端训练端侧推理如何高效处理海量传感器数据？用例：智慧安防端云多级处理云端融合如何在隐私场景增强智能体验？端侧迁移学习联邦学习用例：FaceID、语音助理、推荐更实时的AI更高效的AI更可信的AI个性化协同计算富交互端云协同的意义 OpenSDK端云协同的技术架构工作台与基础设施端侧任务框架可信执行环境端侧训练框架Android平台iOS平台其它平台RK/海思系列设备平台视觉任务引擎可信消息通道任务沙箱数据工具调度器模型开发设备管理可信存储模型部署训练引擎数据网关任务开发 先进分割技术高效性能跨平台部署多篇顶会论文及创新专利云API服务大规模调用•1280*720大图实时处理•覆盖低端机支持window x86/64、Macos、Android、IOS四端本地部署；支持云上API远程调用OpenSDK示例：分割 OpenSDK示例：增强•模型压缩•8bit量化•芯片适配OpenSDK封装能力仓库通用超分人像修复智能调色顺滑插帧核心特征30FPS实时处理效率1080p高清视频增强云上大模型增强效果低功耗长续航保障云端一体全场景适配 OpenSDK示例：AI体育基础：关键点+人体姿态估计应用：体育动作自动计数•千元级机型20fps•精度高，鲁棒性好•帧间识别稳定•计数平均准确度95%以上，千元级机型20fps•覆盖常见健身动作如跳绳、开合跳、仰卧起坐、深蹲、俯卧撑等15个动作•落地场景乐动力、健身镜等应用：姿态匹配打分左右匹配度:98.1%左右匹配度:59.7%•千元级机型20fps•精度高，鲁棒性好•使用场景可以为姿态打分、动作纠正等 进化与未来Evolution and future04 能力聚合供求聚合中介之地搜索推荐效率提升导流之地聚合之地匹配之地互动之地机会之地开发能力UGC/PGC体验之地生态聚拢新价值创造场景孵化之地AI平台的演进逻辑能力广场场景实验室能力再生产品牌和生态运营做深生态做厚平台 几个判断AI能力业界SOTA-AI汇聚和使用之地原创AI算法的孵化之地AI案例AI最佳案例的分享和体验之地规模化AI应用实践之地AI生态AI流量入口及开发者阵地中长尾AI用户普惠和机遇之地AI机制市场驱动的AI研发使用模式在线高效的AI能力进化之路AI平台未来畅想 钉钉扫码了解本文介绍的能力和解决方案THANKS