百度AI营销认证 | AIGC在图片素材制作中的实践探索

13年互联网老兵亲身经历互联网营销领域的风起云涌潮起潮落拥有运营/平面设计/短视频/商务/研究院等多类型团队的管理经验 Generative AI 从现有的内容中学习的过程叫做训练，训练的结果是创建一个统计模型；当用户给出提示内容，生成式AI将会使用统计模型去预测答案，生成新的内容来回答问题 AIGC行业概览 爆发前提—数据访问能力、计算资源硬件的提升 1、深度学习领域骨干架构的升级（Transformer的应用）；2、生成内容的算法模型进步（从GAN到扩散模型）；3、多模态大规模预训练模型的产生； Large Language Model，大语言模型，LLM 预训练模型是先通过超大规模语料，采Pre-Trained Model 人工智能的分支领域,旨在使计算机系Machine Learning 用无监督或弱监督的方式训练模型，然后在这个初步训练好的模型基础上，再继续训练或者进行微调，以适应广泛的下游任务 指具有庞大参数和训练数据的语言模型，可用于自然语言处理，如文本生成、机器翻译、对话等，但生成式语言模型基于上下文的推理能力并未融合世界知识 统能够从数据中学习和提高性能，机器学习通过从大量数据中自动学习模式、规律和知识，能够自主地做出预测、决策和推断 模态(Modal)指不同的数据类型或感知方式，如文本/图像/视频/音频等。多模 一种机器学习方法，通过构建和训练多层神经网络来模拟和学习复杂的数据表 ArtificialGeneral Intelligence，通用 态大模型可以接受文字、图像、语音等多种不同类型数据的输入、处理、分析，并将结果以不同的模态形式对外输出 人工智能，与狭义人工智能(ArtificalNarrow intelligence如AlphaGO）不同，旨在构建与人类智能相媲美的人工智能 达和特征。深度学习的优势在于它能够自动学习特征表示，并从大规模数据中发现复杂的模式和关系 去噪扩散模型DDPM诞生三大主流AIGC绘图工具诞生 生成对抗网络GAN模型诞生 首部利用预设编程进行AIGC绘画的机器人AARON 2022年8月 2023年3月 多模态大模型文心ERNIE-ViLG可实现文生图 •文心一格是百度依托飞桨、文心大模型技术创新推出的“AI作画”首款产品。•主要功能包含图片生成、快速编辑、图像融合、线稿上色、模型训练等。•用户使用文心一格可以实现一语成画，只需输入一段自己的创想文字，就可以生成创意精美的画作。文心一格支持国风、油画、水彩、水粉、动漫、写实等十余种不同风格高清画作的生成，还支持不同画幅选择。•发布之后，文心一格进行了多次迭代升级，新增了例如图生图、可控的增删改等图片二次编辑和一键生成视频等功能。•截至2023年5月，参与文心一格测试的生态伙伴超过了900家，文心一格的注册用户数量超过了600万。 2022年8月文心一格发布 AI艺术和创意辅助创作平台 2023年7月阿里云通义大模型旗下AI绘画创作模型 商汤秒画sensemirage 腾讯-混元大模型字节-云雀大模型华为-盘古大模型…… 2023年8月 讯飞星火认知大模型2.0升级多模态功能 美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落 美丽的少女头像，二次元，机甲风格，赛博朋克，穿着黄金盔甲，金属反射光，背景有火焰和闪光，花瓣飘落 拼接素材质量波动大图片易有拼接感模板有限同质化难以避免 需有结构化商品资料库主要价值是实现“千人千面” “生成”图片无法完成 AI开始介入基于对商品图片的学习 Generative AdversarialNetworks对抗生成网络 去噪扩散模型 可提取图片要素进行全自动生成更侧重“模仿”而非“创造”“生成”能力先天不足 矩阵出图无人值守Dynamic Prompts插件 图片生成速度惊人512×768分辨率 概率抽卡快速修改整体重绘法（外绘） 随机出图命令和排列命令 RTX4090显卡速度1.37秒每张 局部重绘法（内绘） 使用门槛较低但精准控制需持续付出时间精力 A beautiful girl kneeling in prayerin a magic forestspotlight, IllustrationStained Glass, sophisticated color, award winningBy RebeccaGuay, byalfansemuchaultra detailed, 8k, best quality--ar9:16--q 2--v 5StyleSubjectStyleStyleParameterScene Prompt:bestquality,masterpiece,highres, ParameterSubjectSubjectSubject 1girl, Chinadress,beautifulface,smile,closedmouth,lips,browneyes,lookingatviewer,upperbody,hairornament, long sleeves,widesleeves,fallingpetals,outdoor,depthoffield,blurrybackground, pastelcolors,chibi, <lora:blindbox_V1Mix:1>SceneStyleStyle NSFW,lowres,badanatomy,badhands,text,error,missingfingers,extradigit,fewerdigits,cropped,worstquality,lowquality, normalquality,jpegartifacts,signature,watermark,username,blurry,badfeet,bad_pictures, ng_deepnegative_v1_75t, verybadimagenegative_v1.3 necklace,earrings, ultra-detailded,TraditionalChineseMeticulousPainting, pastelcolor, pure background, 8k, bestquality右图：Chinesepainting of noblemaid, solo,chineseelaborate-stylepainting, lightbrown 风格扩展 AI可理解和创作数千种不同的画作/艺术风格大模型和小模型（LoRA）的自由搭配组合（SD） Low-Rank Adaptation，低阶自适应。可将LoRA理解为某种图像风格的适配 器。LoRA模型体积不大，微调质量上乘，好比是底层大模型之上的小模型 主体创造人物的高自由度 增加模特选择，规避法律风险，降低实拍成本，打造专属模特 创意辅助由草图/线稿/涂鸦等衍生 出指定风格图片 整图衍生给出参考图片（垫图）、 控制重绘幅度的外绘、锁定种子 图片延展以种子图为起始 朝着画面的特定方向进行补充延展 精细控制SD-LoRA/ControlNet功 能插件的强大应用 表情姿态保持后的主体更换艺术字 ControlNet是一个用于控制AI图像生成的插件，可以帮助用户精准 控制AI图像的生成，协助创作者从博概率的“抽卡式”创作进入规划可控的“设计式”创作 精细控制 能插件的强大应用 10样本学习后的模型生成40样本学习后的模型生成 一致性保持文心一格的小样本快速 学习能力；通过小样本学习保持风格/主体一致性 Negativeprompt:<lora:FilmG2:0.7>, <lora:epi_noiseoffset2:1> ,astunningphotographof beautifulwoman,colorfilmphotograph,FilmG, 8k,rawphoto,darkstudio,(film grain:1.0), (floatingdustparticle:1.2),awardwinningphoto, 50mm, onfocus, spotlight,rimlight, in thedark,dimlylit,deepshadow,lookingatviewer,(highlydetailedskin:1.2) Negativeprompt:ng_deepnegative_v1_75t, painting, 3d, cartoon, sketch,cgi,doll, (worst quality:1.4), (lowquality:1.4),sephia, monochrome,child,deformed,malformed,deformedface,badhands,badfingers,badeyes, long body,blurry, duplicate,cloned, duplicate body parts,disfigured, extralimbs,fusedfingers, extrafingers,twisted,distorted,malformedhands,mutatedhands andfingers,conjoined,missinglimbs,badanatomy,badproportions, logo, signature,(watermark),text,lowres,mutated,mutilated,artifacts,gross,ugly, stretch,(bad-hands-5:1.3),Steps: 30, Sampler: DPM++ SDEKarras, CFGscale: 7,Seed: 2305188992, Size: 512x768, Model hash: a158dc2e8a, Model: lofi_V21, Clip skip: 2, ENSD: 31337 力所不逮 的素材（GAN更适合）带有特定IP的素材“不适合”而非“不能” 使用甜区 与风格开放性高低AIGC的绘图舒适区与不适区GAN工具的有效补充 侵权风险未经授权使用真人照片 版权界定使用AIGC绘图工具时， 或形象、知名虚拟IP等极易导致隐私泄露和侵害肖像权/知识产权，需特别留意 一定要仔细阅读用户协议合理衍生模仿，不应直接抄袭复制，有足够差异度的二创 前期一次性学习成本的投入不可忽视，但AIGC工具使用的效益会呈加速度增长 航天大事件 吸引用户参与品牌AIGC内容创作人数高达6w人实现声量提升、形象建立、品牌认可，品牌资讯指数同比增长247%。 中联重科成立三十年 与百度在AIGC深度合作，推出ICT首家AI定制服务；联想官网私人定制业务全面引入文心一格；消费者可通过官网活动定制笔记本电脑外观，利用AIGC自定义生成图片，达成新潮消费者的个性化诉求 联想官网十四周年庆 设计团队架构优化效率与成本极致的架构尖兵设置重要性资深设计师的AI赋能 设计师能力重构工程师+艺术评论家+项目经理多角色结合三大学习能力 双钻石模型重心调整素材理解描述模块化 与AIGC核心能力拥有者/资源方 深度合作，在核心资源方与客户间搭建起AIGC落地细化执行的便捷桥梁 工程师 理解系统使用和模型特点Prompt Engineering的思路 艺术评论家 三大学习能力 专业知识体系英文阅读理解能力 快速学习-实操验证知识累积-专题迭代 整合资源、沟通协调、计划 组织 构建基于自身实践经验累积知识库 工作流重心调整 过往强调产出效率，快出快测试；现今强调沟通理解、学习拓展和归纳总结