生成式人工智能治理与实践白皮书
生花式人工智能治理与实践白皮书GENERATIVEARTIFICIALINTELLIGENCEGOVERNANCE&PRACTICEWHITEPAPERAlibaba Group阿里巴巴集团中国电子技术标准化研究院China Electronics Standardization institute阿里云達摩院aliyun.com 生成式人工智能治理与实践白皮书 生成式人工智能的发展以及担忧生成式人工智能的治理愿景和框架川IV生成式人工智能风险产生原因的分析生成式人工智能风险治理实践和探索V生成式人工智能多主体协同敏捷治理体系总结与展望 【生成式人工智能治理与实践白皮书！研发&服务生命周期治理要点个人信息训练模型训练数据模型评测增强内告安全治理实践及探索拒绝生训练模型选用模型核验调用工具管理合规动作数内容类生成账号管理个人信息保护分级添加标识风险监测应急处置开源模型平台OPENSOURCE算力产业发展模型共享社区AIGCCOMMUNITY生成式人工智能模型即服务生态算法 内容安全模型安全知识产权政策引领生成信数据合法用再规性用规获取不加持用生啦14成多主体协同敏捷治理产业应用LARGELANGUAGEMODELS语言大模型行业大模型社会影响DOMAIN-SPECIFICLARGEMODELS视觉大模型LARGEVISIONMODELS 【生成式人工智能治理与实践白皮书！生成式人工智能治理与实践白皮书指导委员会专家委员会闻佳阿里巴巴集团公共事务总裁钱磊阿里巴巴集团安全部总裁郑俊芳阿里云智能集团首席风险官兼欧阳欣阿里云智能集团首席安全官首席财务官朱红儒阿里云智能集团标准化业务副总裁孙文龙中国电子技术标准化研究院副安筱鹏阿里云研究院院长院长范科峰中国电子技术标准化研究院信息技术研究中心主任吴泽明阿里巴巴集团首席技术官建中国电子技术标准化研究院信息技术研究中心副主任编写组主要成员特别鸣谢陈岳峰杨雨泽马宇诗毛潇锋徐国海李晓军孙宁傅宏宇肖哲晖朱琳洁黄龙涛司靖辉王鹏成晨彭骏涛蒋哲琪李金纯郎一宁沈晖贾一君杨易侗杜东为李进锋安叶编写单位阿里巴巴集团中国电子技术标准化研究院阿里云智能集团达摩院6 编写单位阿里巴巴集团China Electronics Stanedardization阿里云逢摩院编写组组长薛晖阿里巴巴人工智能治理与可持续发展研究中心主任徐洋中国电子技术标准化研究院人工智能研究室主任编写组副组长张荣阿里云智能集团算法安全负责人袁媛阿里研究院执行副院长李娅莉阿里巴巴达摩院安全与法务负责人关于我们阿里巴巴人工智能治理与可持续发展研究中心（AAG）是阿里巴巴集团旗下的人工智能顶级研发团队，致力于利用AI技术解决安全风险问题，并推动AI技术迈向更加可用、可靠、可信和可控。团队成员百余名，学术研究能力和工程实践能力兼备，在计算机视觉、自然语言理解、数据挖掘与网络安全等领域的国际顶级会议和期刊上发表论文100多篇，多次在国际国内知名赛事中取得冠军，获授权国际国内专利60余项，申请中专利达到200多项，参与多项技术标准的制定。AAIG贯彻“科技创新是最好的网络安全”的理念，所研发的人工智能产品涵盖内容安全、业务风控、数字安防、数据安全与算法安全等多个领域，为集团在全球的千万商家和十亿消费者提供安全保障，并通过技术服务方式赋能阿里云上一万多家中小企业构筑安全防线。联系我们aaig@list.alibaba-inc.com 【生成式人工智能治理与实践白皮书目录.生成式人工智能的发展以及生成式人工智能的治理愿景和担忧框架1.生成式人工智能的技术与应用突破141.国际社会治理特点261.1文生文突飞猛进141.1治理目标：坚持促发展与重监管并行261.2文生图效果惊艳151.2治理模式：强调多元主体协同共治261.3行业应用广泛161.3治理手段：创设例外保留创新空间271.4使用门槛降低181.4治理细则：技术规范逐渐明晰272.生成式人工智能的内生问题与社会担优2.我国的治理特点28202.1促进发展：对人工智能发展给予更多政策支持、配套发布一系列产业政策文件282.1个人信息的实时交互担忧202.2重视治理：确定了现阶段算法治理的重点场景，推动建立算法治理的法治之网”282.2内容安全的源头敏捷控制212.3伦理约束：加强科技伦理治理顶层设计，明确人2.3模型安全的全生命周期内控22工智能伦理原则及治理要求282.4知识产权的溯源与权属挑战223.本书观点：发展多主体协同敏捷治理体系，构建全生命周期风险分类治理框架308 生成式人工智能风险产生原因三.生四·生成式人工智能风险治理实践的分析和探索1.综述：构建生成式大模型的条件341.生成式人工智能治理格局建设481.1算力341.1以针对性立法回应技术发展与产业需求481.2数据341.2以政策完善构建与技术发展需求相匹配的治理机制481.3算法351.3产业自律自治筑成负责任创新治理机制491.4生态351.5人才352.生成式人工智能不同环节的风险治理512.1模型训练阶段的风险治理522.语言大模型362.2服务上线阶段的风险治理532.1Transformer网络362.3内容生成阶段的风险治理532.2训练过程和使用的数据362.4内容传播阶段的风险治理542.3语言大模型的生成过程3924小结：语言大模型的风险来源.403.个人信息合规563.1大模型与个人信息的关系563.视觉大模型413.2训练数据中的个人信息563.1模型原理413.3算法服务时拒绝生成个人信息583.2训练过程423.3生成过程443.4小结：视觉大模型的风险来源456 生成式人工智能风险产生原因三.生四·生成式人工智能风险治理实践的分析和探索1.综述：构建生成式大模型的条件341.生成式人工智能治理格局建设481.1算力341.1以针对性立法回应技术发展与产业需求481.2数据341.2以政策完善构建与技术发展需求相匹配的治理机制481.3算法351.3产业自律自治筑成负责任创新治理机制491.4生态351.5人才352.生成式人工智能不同环节的风险治理512.1模型训练阶段的风险治理522.语言大模型362.2服务上线阶段的风险治理532.1Transformer网络362.3内容生成阶段的风险治理532.2训练过程和使用的数据362.4内容传播阶段的风险治理542.3语言大模型的生成过程3924小结：语言大模型的风险来源.403.个人信息合规563.1大模型与个人信息的关系563.视觉大模型413.2训练数据中的个人信息563.1模型原理413.3算法服务时拒绝生成个人信息583.2训练过程423.3生成过程443.4小结：视觉大模型的风险来源456 I生成式人工智能治理与实践白皮书4.内容安全保障597.实践案例：虚拟模特塔玑754.1内容安全视角里，AIGC与UGC的异同597.1虚拟模特塔玑促进生产力提升754.2生成式模型风险评测607.2数据驱动下的虚拟模特与个人信息保护764.3模型层内生安全617.3内容安全保障764.4应用层安全机制627.4模型安全控制774.5生成信息的信任机制637.5生成式标识与知识产权保护775.模型安全防控685.1鲁棒性685.2可解释性685.3公平性685.4防溢用机制695.5实践案例：鲁棒评估基准与增强框架696.知识产权探索736.1训练数据的知识产权合法性治理探索736.2生成物知识产权治理探索7410 五.生成式人工智能多主体协同敏六·总结与展望（88）捷治理体系1.敏捷治理的理念与特点80专有名词解释（92）2.多主体协同下的敏捷治理探索与实践812.1政府规范引导822.2产业守正创新822.3社会监督理解t811 CHAPTER.壹生成式人工智能的发展以及担忧1.生成式人工智能的技术与应用突破2.生成式人工智能的内生问题与社会担忧 CHAPTER.壹生成式人工智能的发展以及担忧1.生成式人工智能的技术与应用突破2.生成式人工智能的内生问题与社会担忧 生成式人工智能治理与实践白皮书1.生成式人工智能的技术与应用突破1.1文生文突飞猛进2022年11月30日，OpenAI发布了对话式通用人工智能服务ChatGPT。仅推出5天，用户数就超过100万；上线两个月后，用户数突破1亿，成为AI界的顶流。ChatGPT能遵循人类指令完成各种认知型任务，包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及在逻辑运算方面有大幅提升，还支持多模态输入，进一步扩展了应用场景。ChatGPT成功背后的技术突破主要有以下三个方面（1）超大规模参数的预训练语言模型为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。GPT-3.5的模型参数已经达到1750亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例如上下文学习（in-contextLearning），以及思维链（ChainOfThought）等推理能力。（2）多任务的自然语高预训练模型自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进行针对性的算法设计，迁移性差。而ChatGPT采用了多任务预训练的方式，不同任务共享模型参数。这使得模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性能。（3）基于人工反馈机制的强化学习OpenAI通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。具体来看，指令微调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。同时，通过人工反馈和标注数据，借助强化学习进行微调，从而确保模型具备正确的价值观。在应用上，语言大模型构建了“多场景、低门槛、高效率”的共创应用新模式，具有丰富的应用场景，在医疗，教育、零售、媒体等行业完成产品落地应用。根据全球管理咨询公司麦肯锡（McKinsey）的报告，生成式人14 工智能的新兴主导地位为新一轮经济革命奠定了基础，估算每年能为全球经济增加4.4方亿美元收入。1.2文生图效果惊艳2022年2月，开源工具Al绘画工具DiscoDiffusion发布，这是一个在GoogleColab上运行的代码，其原理是使用了CLiP-GuidedDiffusion，只需要输入文本提示，就能生成对应的图片。同年4月，OpenAl发布了Dall-E2，能够生成更高分辨率和真实性的图像。同时，AI绘画工具Midjourney发布。Google在5月、6月分别发布AI作画的技术，Imagen和Parti，7月份，StabilityAI在LAION5B开源数据集上训练了文生图扩散模型StableDiffusion，生成的图像形象逼真，画质细腻。技术的开源，极大地推动了图像生成领域的发展。2022年8月，在美国科罗拉多州举办的新兴数字艺术家竞赛中，参赛者提交了使用模型生成的绘画作品《太空歌剧院》，获得了“数字艺术/数字修饰照片”类别一等奖。参赛者并没有绘画基础，通过Al绘图软件Midjourney耗时80个小时创作了该作品。这意味着Al绘画的质量已经达到了专业水平。进入到2023年，AI绘画继续井喷式发展。2023年3月，百度发布的文心一言支持了文本生成图像，Adobe也发布了Al工具Firefly。也是在3月，MidjourneyV5发布，生成质量更高，而且支持自然语言的描述输入，使得AI绘画的门槛进一步降低。阿里巴巴于7月推出了新的绘画AI“通义万相”。科大讯飞、商汤、华为等人工智能企业也陆续推出文生图大模型产品，国内呈现“百模大战”的竞争格局。AI绘画的技术突破式发展依赖以下3个技术的积累和突破：（1）在生成式模型方面，扩散模型的提出使得图像生成技术在基础理论上取得了突破。扩散模型（DiffusionModels）相比生成对抗网络（GAN）和变分自编码器（
