百度AI营销认证 | AIGC在图片素材制作中的实践探索

AIGC在图片素材制作中的实践探索致维科技| 杨琨2023.112023百度AI营销认证初级公开课 时间任职职责2011-2016百度营销策略部金融行业IMS负责人2016致维科技初创团队从0到12017-2019华东区/华南区-运营+创意2020-2021华东区-运营+创意+商务2022至今全国-创意+研究院13年互联网老兵亲身经历互联网营销领域的风起云涌潮起潮落拥有运营/平面设计/短视频/商务/研究院等多类型团队的管理经验 AIGCAI Generated ContentAI自动生成的内容AI自动生成内容的生产方式内容自动生成的AI技术集合专注于内容生成的任务执行专注于支持任务执行的技术基础人工智能的一个分支，可以根据已经学习的内容生成新的内容；从现有的内容中学习的过程叫做训练，训练的结果是创建一个统计模型；当用户给出提示内容，生成式AI 将会使用统计模型去预测答案，生成新的内容来回答问题Generative AI≈ AIGC行业概览爆发前提—数据访问能力、计算资源硬件的提升三大因素：1、深度学习领域骨干架构的升级（Transformer的应用）；2、生成内容的算法模型进步（从GAN到扩散模型）；3、多模态大规模预训练模型的产生； ArtificialGeneral Intelligence，通用人工智能，与狭义人工智能(ArtificalNarrow intelligence如AlphaGO）不同，旨在构建与人类智能相媲美的人工智能AGI人工智能的分支领域, 旨在使计算机系统能够从数据中学习和提高性能，机器学习通过从大量数据中自动学习模式、规律和知识，能够自主地做出预测、决策和推断Machine Learning一种机器学习方法，通过构建和训练多层神经网络来模拟和学习复杂的数据表达和特征。深度学习的优势在于它能够自动学习特征表示，并从大规模数据中发现复杂的模式和关系Deep LearningLarge Language Model，大语言模型，指具有庞大参数和训练数据的语言模型，可用于自然语言处理，如文本生成、机器翻译、对话等，但生成式语言模型基于上下文的推理能力并未融合世界知识LLM预训练模型是先通过超大规模语料，采用无监督或弱监督的方式训练模型，然后在这个初步训练好的模型基础上，再继续训练或者进行微调，以适应广泛的下游任务Pre-Trained Model模态(Modal)指不同的数据类型或感知方式，如文本/图像/视频/音频等。多模态大模型可以接受文字、图像、语音等多种不同类型数据的输入、处理、分析，并将结果以不同的模态形式对外输出Multimodal 100, 83, 21363, 129, 24690, 243, 25354, 255, 175251, 50, 104255, 228, 13AIGC应用之图片AIGC应用之文本AIGC应用之视频 1973年首部利用预设编程进行AIGC绘画的机器人AARON2014年生成对抗网络GAN模型诞生2020年去噪扩散模型DDPM诞生2022.04 DALL-E 2.02022.07 Midjourney2022.08 Stable Diffusion2022年三大主流AIGC绘图工具诞生 Jason Allen引起争议的作品Théâtre D’opéraSpatial2022年8月MidjourneyV5模型创作的怀旧风“中国情侣”2023年3月 Photoshop beta版本中的Generative Fill功能2023年3月Drag GAN2023年5月DALL·E 32023年9月 2021年12月多模态大模型文心ERNIE-ViLG可实现文生图2022年8月文心一格发布AI艺术和创意辅助创作平台2023年3月文心一言(ERNIE Bot)发布•文心一格是百度依托飞桨、文心大模型技术创新推出的“AI 作画”首款产品。•主要功能包含图片生成、快速编辑、图像融合、线稿上色、模型训练等。•用户使用文心一格可以实现一语成画，只需输入一段自己的创想文字，就可以生成创意精美的画作。文心一格支持国风、油画、水彩、水粉、动漫、写实等十余种不同风格高清画作的生成，还支持不同画幅选择。•发布之后，文心一格进行了多次迭代升级，新增了例如图生图、可控的增删改等图片二次编辑和一键生成视频等功能。•截至2023年5月，参与文心一格测试的生态伙伴超过了900家，文心一格的注册用户数量超过了600万。2023年10月文心大模型4.0正式发布 2023年7月阿里云通义大模型旗下AI绘画创作模型腾讯-混元大模型字节-云雀大模型华为-盘古大模型......2023年8月讯飞星火认知大模型2.0升级多模态功能2023年4月AI内容创作社区平台商汤秒画sensemirage2023年4月复旦团队开发的多模态模型 默认风格-提示词：美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落2023.72023.92023.72023.11文心4.0 2023.11 默认风格-提示词：美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落提示语理解、风格变化、出图质量上各有千秋2023.112023.11 默认风格-提示词：美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落2023.92023.112023.92023.112023.112023.9 Prompt: beautiful girl head portrait, gold fine armor, metal reflection light, Mech style美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落 Prompt: beautiful girl head portrait, gold fine armor, metal reflection light, Mech style --ar1:1 转化效果好投放起量高投放目标多创意方向测试CTR/CVR持续优化优质素材模仿衍生指标优化素材产出思路全线推进重点突破创意劣质化素材同质化成本飙升行业痛点速度快操作便捷成本合理产量大理想工具应具备的能力创意丰富精准可控效率效果前提效率+效果双效合一 动态商品广告DPA需有结构化商品资料库主要价值是实现“千人千面”“生成”图片无法完成程序化素材生成工具拼接素材质量波动大图片易有拼接感模板有限同质化难以避免 GAN图片生成工具AI开始介入基于对商品图片的学习可提取图片要素进行全自动生成更侧重“模仿”而非“创造”“生成”能力先天不足GANGenerative Adversarial Networks对抗生成网络DDPMDenoising Diffusion Probabilistic Models去噪扩散模型 Stable DiffusionMidjourneyDALL-E成本免费开源付费（每月10-60美金）不对中国用户开放注册部署云端部署/本地化部署/本机安装云端使用（需翻墙）安全性本地数据安全性和隐私性保证若非最高级付费等级作图指令和生成图像均暴露在公共频道扩展性扩展插件和模型丰富无版权使用自己GPU则拥有版权商用版权仅针对付费用户开放功能文生图、图生图文生图（图生图控制力差）图片质量上手有一定难度质量波动较大，与使用者熟练度相关上手简单艺术风格浓重，质量高适合场景大团队共享化、批量化、定制化使用个人或小团队创意探索、风格探索、艺术风格尝试使用建议以正合：常规出图，数量保证以奇胜：创意脑暴，前沿实验 图片生成速度惊人512×768分辨率RTX4090显卡速度1.37秒每张矩阵出图无人值守Dynamic Prompts插件随机出图命令和排列命令概率抽卡快速修改整体重绘法（外绘）局部重绘法（内绘）图片涂抹编辑/文本控制编辑 操作便捷潜力极大使用门槛较低但精准控制需持续付出时间精力 主体Subject生理/物理特征姿态动作衣着配饰物理空间视角构图色彩色调光线照明情绪氛围承载媒介艺术流派前景中景背景艺术家渲染引擎分辨率长宽比色深色域材料特质场景Scene风格Style参数Parameter表情呈现材质颜色版本设置绘图工具时代特征地域文化着色器摄影/像类别镜头胶片光圈快门焦距景深明暗对比亮度锐度 A beautiful girl kneeling in prayerin a magic forestspotlight, IllustrationStained Glass, sophisticated color, award winningBy Rebecca Guay, by alfansemuchaultra detailed, 8k, best quality --ar9:16 --q 2 --v 5 StyleSubjectStyleStyleParameterScene Prompt: best quality, masterpiece, highres, 1girl, China dress, beautifulface, smile, closedmouth, lips, browneyes, lookingat viewer, upperbody, hairornament, long sleeves, widesleeves, fallingpetals, outdoor,depthof field, blurrybackground, pastel colors, chibi, <lora:blindbox_V1Mix:1>Negative Prompt: NSFW, lowres,badanatomy,badhands, text, error, missingfingers,extradigit, fewerdigits, cropped, worstquality, lowquality, normal quality,jpegartifacts,signature, watermark, username,blurry,badfeet, bad_pictures, ng_deepnegative_v1_75t, verybadimagenegative_v1.3ParameterSubjectSceneStyleSubjectSubjectStyle 左图：portrait of a charmingand elegantancientChineselady, hairflower, hairornament, jewelry, long hair, smile, lookingat viewer, necklace, earrings, ultra-detailded, TraditionalChineseMeticulousPainting, pastel color, pure background, 8k, best quality右图：Chinesepainting of noble maid, solo, chineseelaborate-style painting, light brown左图：playing Guqin右图：playing Chinese instrument Prompt辅助撰写工具模仿、消化与微创新以AI制AIpromptomania.com/prompt-builder/www.midjourney.com/app/feedclaude.ai/chat light brownand tealdimensionalpaperkirigamicraftAndreas Gurskyminimalism CKPT动画模型ACKPT动画模型BCKPT动画模型CCKPT真人模型DCKPT真人模型E模型A+水彩风LoRA模型B+连环画风LoRA模型C+飘带LoRA模型D+