腾讯云助力人居企业AI生图降本增效的技术实践

腾讯云助力人居企业AI生图降本增效的技术实践 腾讯云建筑中心高级架构师张斌 2024.12.24 1.腾讯云AI生图的实践 目录 2.腾讯云助力人居企业AI生图降本增效实践 腾讯云技术底座 AIGC图像生成技术加速发展 各种图片/视频生成产品 SDXL2023.7StabilityAI Midjourney2022.2Midjourney DALL·E2021.1OpenAI DiscoDiffusion2021.10Google DALL·E32023.10OpenAI StableDiffusion2022.8StabilityAI ComfyUI：高效的AIGC工作流创作工具 在AI生图领域，Stable Diffusion开源的效应获得了强大的社区能力加持，在SD社区背后聚拢了众多插件开发者和内容创作者。目前逐渐成为主流AIGC创作引擎的ComfyUI，作为一个模块化的Stable DiffusionGUI和后端，ComfyUI因其可高度定制化、能够以API形式批量调用、快速复用和传播，发展势头迅猛 ComfyUI的优势和不足 不足： 优势：ComfyUI工作流，通过图形、节点、流程的界面设计， ComfyUI虽然功能强大，但也存在一些挑战： 让专业用户能够轻松设计、控制不同模型、插件节点、参数，以执行复杂的稳定扩散流程，去定制更加丰富和可控的AIGC管线。无论是文本编码、模型加载、图像采样还是最终的图像保存，每个步骤都可以根据需求调整参数。在生成过程中，ComfyUI能够实时展示处理数据，方便调试和问题解决。市面上很多AI生图和生视频的端到端应用，正式基于comfyui工作流去搭建的。 【ComfyUI的学习门槛较高】新手用户需要花费大量时间来熟悉其复杂的配置和操作【工作流环境复杂，启动困难】由于模块化和高度可定 制的特性，面对一些复杂的环境、节点插件、模型问题，在缺乏开发经验的情况下，设计师和产品很难复用社区工作流，难以顺畅运行【缺少沉淀分享复用】公司内部缺乏系统化的分享和交 流渠道导致知识和经验难以传递和共享。这些问题使得团队在使用ComfyUI时面临效率低下和重复劳动的困境。 ComfyUI还具备以下优势：【快速复用】：支持工作流的导出、导入和共享，方便 用户在不同项目中快速复用。【社区资源】：拥有大量社区创作者提供的工作流资源， 对此，腾讯云推出便捷应用ComfyUI的解决方案，能够大量减少不必要的重复导入、环境开发、节点报错处理等工作，提升业务探索AI的效率。同时，平台提供了多样的AIGC工作流模板，适用于不同业务场景（视频、图像、AI玩法），帮助内部团队快速上手。快速启动ComfyUI工作流、导入外部工作流使用创意市场提供多种工作流模板、并支持一键使用应用API服务部署、服务加速等能力 用户可以基于已有工作流进行改造，加速项目开发和从设计到落地的过程。【批量调用】：适用于大规模图像生成的应用场景，如 图像编辑、营销海报、小说插图等，能够通过ComfyUI服务API批量调用。【性能】：内存管理和加载机制良好，即使在资源有限 的情况下，也能加载大模型并生成高质量内容。 ComfyUI在腾讯的应用—创意市场 创作流程 创作流程 工作流导入AIDraw创意市场 创作流程 创作流程 服务部署成功后，可以直接测试工作流 创作流程 服务部署成功后，可以直接测试工作流 应用案例——个性化人脸 应用案例——视频生成 应用案例——一键高清放大 上传需放大的图片，选择放大倍数，一键启动。倍数越大，生成时间越长 应用案例——一键高清放大 生成效果预览：（高清放大前/高清放大后） 应用案例——2D转3D 生成效果预览：（生成前/生成后） 应用案例——一键换脸 应用案例——一键换脸 生成效果预览：（换脸前/换脸后） 应用案例——一键扩图 根据图示上传图片，外扩画板可以自行选择方向填写扩大的分辨率 应用案例——一键扩图 生成效果预览：（扩图前/扩图后） 应用案例——图像生成及换装 应用案例——小游戏背景图片生成 1.腾讯云AI生图实践 目录 2.腾讯云助力人居企业AI生图降本增效实践 XX客户生图使用现状 方案一：云函数 方案二：高性能应用服务HAI 推荐方案：EdgeOne边缘AI产品 EdgeOne边缘AI的文生图推理流程 底模选择 推理生成工作流 生成结果 基础底模（2G~30G） •SDXL•FLUX.1•Hunyuan-DiT CheckPoint底模（2G~30G） •迭代次数•CFG•分辨率•采样方法 •二次元模型：Anything•真实细模型：Deliberate•2.5D风模型：NeverEndingDream 体验问题：生图流程涉及到模型切换加载以及推理，耗时长 成本问题：GPU成本占文生图业务成本的绝大部分 ①模型加载切换（10秒~分钟级）：海量LoRA微调模型持久化存储在中心，如果使用低成本边缘算力，受限于显存大小和磁盘大小，需要频繁从中心下载模型内容，消耗大量时长②生图推理（5秒）：文生图模型推理耗时较大，在L20上使用SD webui的SDXL模型生成1024*1024 20迭代的图片需要5秒左右③图片下载（2~3秒）：生成高清大图/超分后原图大小有数MB，传输需要2~3秒 ①4090边缘单卡租用：1000+元/月②包月/包时存在算力浪费：当前文生图主要用于办公场景（商品广告图设计、装修设计等），非工作时间负载极低，算力无法充分使用 EdgeOne边缘AI的优势 EdgeOne边缘AI可以帮助文生图应用大幅降低流量和算力成本 结合Serverless，只需要为真正的计算付费 EdgeOne边缘函数Serverless模式按请求付费，闲时不计费 •无需预购资源：边缘函数以分布式部署的方式运行在边缘节点，一次部署全球运行，无需提前购买资源。 •无需为闲时付费：按调用量付费，不使用不计费，尤其计算场景下，无需购买服务器，始终只需要为真正的计算付费。•无需关注资源维护：Serverless平台负责完成扩缩容、容灾切换等日常运营工作，无需用户介入。 EdgeOne边缘AI的优势 EdgeOne边缘推理端到端延迟可优化到10秒内，并节省算力成本 EdgeOne边缘AI的接入方式——RESTful API 第一步：注册&上传LoRA模型 第二步：执行推理 第三步：获取结果（异步） •如果使用异步模式推理，需要轮询推理结果 2.上传LoRA模型 •模型支持：SD1.5、SDXL、FLUX.1[dev]、FLUX.1[schnell]模型，正在支持自定义底模•支持参数：CFG、CLIP跳过层、分辨率等•微调能力：已经支持LoRA微调，正在支持ControlNet EdgeOne边缘AI的接入方式——RESTful API Demo 推理生图 注册&上传LoRA