生成式人工智能治理与实践白皮书

生成式人工智能治理与实践白皮书 生成式人工智能的治理愿景和框架 生成式人工智能的发展以及担忧 生成式人工智能风险治理实践和探索 生成式人工智能治理与实践白皮书 指导委员会 专家委员会 闻佳阿里巴巴集团公共事务总裁郑俊芳阿里云智能集团首席风险官兼首席财务官孙文龙中国电子技术标准化研究院副院长吴泽明阿里巴巴集团首席技术官 钱磊阿里巴巴集团安全部总裁欧阳欣阿里云智能集团首席安全官朱红儒阿里云智能集团标准化业务副总裁安筱鹏阿里云研究院院长范科峰中国电子技术标准化研究院信息技术研究中心主任建中国电子技术标准化研究院信息技术研究中心副主任 特别鸣谢 编写组主要成员 马宇诗毛潇锋徐国海李晓军孙宁朱琳洁黄龙涛司靖辉王鹏成晨李金纯郎一宁沈晖贾一君杜东为李进锋安叶 陈岳峰杨雨泽傅宏宇肖哲晖彭骏涛蒋哲琪杨易侗 编写单位 阿里巴巴集团中国电子技术标准化研究院阿里云智能集团达摩院 编写单位 编写组组长 薛晖阿里巴巴人工智能治理与可持续发展研究中心主任徐洋中国电子技术标准化研究院人工智能研究室主任 编写组副组长 张荣阿里云智能集团算法安全负责人袁媛阿里研究院执行副院长李娅莉阿里巴巴达摩院安全与法务负责人 关于我们 阿里巴巴人工智能治理与可持续发展研究中心（AAG）是阿里巴巴集团旗下的人工智能顶级研发团队，致力于利用AI技术解决安全风险问题，并推动AI技术迈向更加可用、可靠、可信和可控。团队成员百余名，学术研究能力和工程实践能力兼备，在计算机视觉、自然语言理解、数据挖掘与网络安全等领域的国际顶级会议和期刊上发表论文100多篇，多次在国际国内知名赛事中取得冠军，获授权国际国内专利60余项，申请中专利达到200多项，参与多项技术标准的制定。 AAIG贯彻“科技创新是最好的网络安全”的理念，所研发的人工智能产品涵盖内容安全、业务风控、数字安防、数据安全与算法安全等多个领域，为集团在全球的千万商家和十亿消费者提供安全保障，并通过技术服务方式赋能阿里云上一万多家中小企业构筑安全防线。 联系我们 aaig@list.alibaba-inc.com 目录 生成式人工智能的治理愿景和框架 .生成式人工智能的发展以及担忧 1.生成式人工智能的技术与应用突破14 1.国际社会治理特点26 1.1治理目标：坚持促发展与重监管并行26 1.1文生文突飞猛进14 1.2治理模式：强调多元主体协同共治26 1.2文生图效果惊艳15 1.3治理手段：创设例外保留创新空间27 1.3行业应用广泛16 1.4治理细则：技术规范逐渐明晰27 1.4使用门槛降低18 2.我国的治理特点28 2.生成式人工智能的内生问题与社会担优 2.1促进发展：对人工智能发展给予更多政策支持、配套发布一系列产业政策文件28 2.1个人信息的实时交互担忧20 2.2重视治理：确定了现阶段算法治理的重点场景，推动建立算法治理的法治之网”28 2.2内容安全的源头敏捷控制21 2.3伦理约束：加强科技伦理治理顶层设计，明确人工智能伦理原则及治理要求28 2.3模型安全的全生命周期内控22 2.4知识产权的溯源与权属挑战22 3.本书观点：发展多主体协同敏捷治理体系，构建全生命周期风险分类治理框架30 四·生成式人工智能风险治理实践和探索 生成式人工智能风险产生原因三.生的分析 1.综述：构建生成式大模型的条件34 1.生成式人工智能治理格局建设48 1.1算力34 1.1以针对性立法回应技术发展与产业需求48 1.2数据34 1.2以政策完善构建与技术发展需求相匹配的治理机制48 1.3算法35 1.3产业自律自治筑成负责任创新治理机制49 1.4生态35 2.生成式人工智能不同环节的风险治理51 1.5人才35 2.1模型训练阶段的风险治理52 2.语言大模型36 2.2服务上线阶段的风险治理53 2.1Transformer网络36 2.3内容生成阶段的风险治理53 2.2训练过程和使用的数据36 2.4内容传播阶段的风险治理54 2.3语言大模型的生成过程39 24小结：语言大模型的风险来源.40 3.1大模型与个人信息的关系56 3.视觉大模型41 3.2训练数据中的个人信息56 3.1模型原理41 3.3算法服务时拒绝生成个人信息58 3.2训练过程42 3.3生成过程44 3.4小结：视觉大模型的风险来源45 四·生成式人工智能风险治理实践和探索 生成式人工智能风险产生原因三.生的分析 1.综述：构建生成式大模型的条件34 1.生成式人工智能治理格局建设48 1.1算力34 1.1以针对性立法回应技术发展与产业需求48 1.2数据34 1.2以政策完善构建与技术发展需求相匹配的治理机制48 1.3算法35 1.3产业自律自治筑成负责任创新治理机制49 1.4生态35 2.生成式人工智能不同环节的风险治理51 1.5人才35 2.1模型训练阶段的风险治理52 2.语言大模型36 2.2服务上线阶段的风险治理53 2.1Transformer网络36 2.3内容生成阶段的风险治理53 2.2训练过程和使用的数据36 2.4内容传播阶段的风险治理54 2.3语言大模型的生成过程39 24小结：语言大模型的风险来源.40 3.1大模型与个人信息的关系56 3.视觉大模型41 3.2训练数据中的个人信息56 3.1模型原理41 3.3算法服务时拒绝生成个人信息58 3.2训练过程42 3.3生成过程44 3.4小结：视觉大模型的风险来源45 I生成式人工智能治理与实践白皮书 4.内容安全保障59 4.1内容安全视角里，AIGC与UGC的异同59 7.1虚拟模特塔玑促进生产力提升75 4.2生成式模型风险评测60 7.2数据驱动下的虚拟模特与个人信息保护76 4.3模型层内生安全61 7.3内容安全保障76 4.4应用层安全机制62 4.5生成信息的信任机制63 5.模型安全防控68 5.1鲁棒性68 5.3公平性68 5.4防溢用机制69 5.5实践案例：鲁棒评估基准与增强框架69 6.知识产权探索73 6.1训练数据的知识产权合法性治理探索73 6.2生成物知识产权治理探索74 五.生成式人工智能多主体协同敏六·总结与展望（88）捷治理体系 1.敏捷治理的理念与特点80专有名词解释（92） 2.多主体协同下的敏捷治理探索与实践81 2.1政府规范引导82 2.2产业守正创新82 2.3社会监督理解t8 CHAPTER.壹 生成式人工智能的发展以及担忧 1.生成式人工智能的技术与应用突破2.生成式人工智能的内生问题与社会担忧 CHAPTER.壹 生成式人工智能的发展以及担忧 1.生成式人工智能的技术与应用突破2.生成式人工智能的内生问题与社会担忧 1.生成式人工智能的技术与应用突破 1.1文生文突飞猛进 2022年11月30日，OpenAI发布了对话式通用人工智能服务ChatGPT。仅推出5天，用户数就超过100万；上线两个月后，用户数突破1亿，成为AI界的顶流。ChatGPT能遵循人类指令完成各种认知型任务，包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及在逻辑运算方面有大幅提升，还支持多模态输入，进一步扩展了应用场景。 ChatGPT成功背后的技术突破主要有以下三个方面 （1）超大规模参数的预训练语言模型 为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。GPT-3.5的模型参数已经达到1750亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例如上下文学习（in-contextLearning），以及思维链（ChainOfThought）等推理能力。 （2）多任务的自然语高预训练模型 自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进行针对性的算法设计，迁移性差。而ChatGPT采用了多任务预训练的方式，不同任务共享模型参数。这使得模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性能。 （3）基于人工反馈机制的强化学习 OpenAI通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。具体来看，指令微调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。同时，通过人工反馈和标注数据，借助强化学习进行微调，从而确保模型具备正确的价值观。 在应用上，语言大模型构建了“多场景、低门槛、高效率”的共创应用新模式，具有丰富的应用场景，在医疗，教育、零售、媒体等行业完成产品落地应用。根据全球管理咨询公司麦肯锡（McKinsey）的报告，生成式人 工智能的新兴主导地位为新一轮经济革命奠定了基础，估算每年能为全球经济增加4.4方亿美元收入。 1.2文生图效果惊艳 2022年2月，开源工具Al绘画工具DiscoDiffusion发布，这是一个在GoogleColab上运行的代码，其原理是使用了CLiP-GuidedDiffusion，只需要输入文本提示，就能生成对应的图片。同年4月，OpenAl发布了Dall-E2，能够生成更高分辨率和真实性的图像。同时，AI绘画工具Midjourney发布。Google在5月、6月分别发布AI作画的技术，Imagen和Parti，7月份，StabilityAI在LAION5B开源数据集上训练了文生图扩散模型StableDiffusion，生成的图像形象逼真，画质细腻。 技术的开源，极大地推动了图像生成领域的发展。2022年8月，在美国科罗拉多州举办的新兴数字艺术家竞赛中，参赛者提交了使用模型生成的绘画作品《太空歌剧院》，获得了“数字艺术/数字修饰照片”类别一等奖。参赛者并没有绘画基础，通过Al绘图软件Midjourney耗时80个小时创作了该作品。这意味着Al绘画的质量已经达到了专业水平。 进入到2023年，AI绘画继续井喷式发展。2023年3月，百度发布的文心一言支持了文本生成图像，Adobe也发布了Al工具Firefly。也是在3月，MidjourneyV5发布，生成质量更高，而且支持自然语言的描述输入，使得AI绘画的门槛进一步降低。阿里巴巴于7月推出了新的绘画AI“通义万相”。科大讯飞、商汤、华为等人工智能企业也陆续推出文生图大模型产品，国内呈现“百模大战”的竞争格局。 AI绘画的技术突破式发展依赖以下3个技术的积累和突破： （1）在生成式模型方面，扩散模型的提出使得图像生成技术在基础理论上取得了突破。扩散模型（DiffusionModels）相比生成对抗网络（GAN）和变分自编码器（VAE），具有训练更加稳定，采样过程可控，生成的样本质量更好等优点。 （2）在图文对齐模型上，OpenAI的CLIP模型的提出为文本和图像两个模态构建了桥梁，奠定了文本生成图片的技术基座。 （3）VVQGAN，VQVAE这类视觉量化生成模型，可以将图像压缩到量化的隐空间，从而为高效的隐空间扩散模型训练提供了基础。 生成式人工智能治理与实践白皮书 此外，可以通过微调开源的StableDiffusion模型来开发定制化的Al绘画模型，这使得AI绘画模型出现了百花齐放的现象。同时，AI绘画的技术也通过引入更多的其他信息辅助生成想要的图片，使得结果更加可控。例 文生图在多个行业上具有广泛的应用前景，例如在广告行业，AI制作宣传海报在设计行业，AI辅助艺术创作服装设计等；在电商行业，有虚拟模特、虚拟试衣等应用场景。另外，文生图在游戏和漫囤等行业的应用也会加速内容制作的速度。 1