2023大模型可信赖研究报告

版权声明 本报告版权属于上海商汤智能科技有限公司与中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：上海商汤智能科技有限公司和中国信息通信研究院”。违反上述声明者，编者将追究其相关法律责任。 编制说明 本研究报告自2023年09月启动编制，分为前期研究、框架设计、文稿起草、征求意见和修改完善五个阶段，针对大模型可信赖问题面向大模型的技术提供方、服务应用方开展了深度访谈和调研等工作。 本报告由上海商汤智能科技有限公司和中国信息通信研究院云计算与大数据研究所共同撰写，撰写过程得到了人工智能关键技术和应用评测工业和信息化部重点实验室的大力支持。 本报告主要贡献单位(排名不分先后)包括:蚂蚁科技集团股份有限公司、阿里巴巴集团、阿里云计算有限公司、北京百度网讯科技有限公司。 前言 近年来，深度学习技术取得了突破性进展，大模型作为其中的典型代表，已经在自然语言处理、图像处理、多模态应用等领域取得了令人瞩目的成果，为经济社会发展带来新机遇。但随着大模型应用规模扩大、应用场景拓展，其风险问题也逐渐凸显，如安全漏洞、隐私泄露、易受攻击、偏见歧视、侵权滥用等，如何有效防范治理大模型风险、推动大模型可信落地引起社会各界高度关注。 全球各界对大模型的可信赖问题展开了广泛的探索研究。在国际层面，政府间国际组织从人工智能伦理准则等基本共识出发，逐步深入推动大模型政策法规监管和产业治理实践落地。在国家层面，各主要经济体正加快推进大模型治理监管相关政策制定步伐。在产业层面，各行业机构与科技企业积极关注大模型风险，通过行业自律、技术及管理等具体实践措施推进大模型可信赖落地。 本报告重点针对产业界大模型可信赖实践开展研究。首先，重点梳理了大模型发展现状，点明大模型的风险来源。其次，从大模型涉及的关键要素和可信维度出发，全面分析大模型面临的各项风险并进行整理归纳，形成大模型风险全景视图。再次，针对大模型在框架、数据、模型和生成内容等层面的风险，系统梳理了产业界保障大模型可信赖的关键举措。最后，本报告指出了当前大模型可信赖发展面临的问题及挑战，从多个维度提出了参考建议。 大模型与行业融合正不断加深，风险问题仍在不断暴露，相应的可信赖实践也在持续涌现。本研究报告对大模型可信赖实践的认识和理解还有待加强，报告中如有不足之处，还请各方专家读者不吝指正。 目录 一、大模型发展现状...................................................................................................................1 （一）大模型驱动新一轮科技革命...............................................................................1（二）大模型加速赋能产业应用....................................................................................1（三）大模型可信赖备受关注.........................................................................................3二、大模型风险分析...................................................................................................................7（一）大模型风险视图......................................................................................................7（二）框架层面，软件漏洞是现有深度学习框架短板..........................................8（三）数据层面，隐私风险与有害数据导致模型不可靠......................................9（四）模型层面，提示词攻击诱发模型脆弱性风险.............................................11（五）生成内容层面，安全风险和不可追溯是重点难题....................................14三、大模型可信赖实践............................................................................................................17（一）框架层面，可信框架与执行环境保障运行安全........................................17（二）数据层面，安全检测及处理助力大模型可靠.............................................19（三）模型层面，全流程防控增强大模型可信......................................................21（四）生成内容层面，过滤与标识实现内容可控可问责....................................25四、总结与展望..........................................................................................................................27（一）总结...........................................................................................................................27（二）展望...........................................................................................................................28附录.........................................................................................................................................31可信赖实践案例1：商汤科技SenseTrust可信AI基础设施...............................31可信赖实践案例2：蚂蚁集团蚁鉴2.0-AI安全检测平台.....................................35可信赖实践案例3：阿里巴巴生成式人工智能发展与治理探索.......................37可信赖实践案例4：百度大模型安全解决方案......................................................40 图目录 图12023年企业大模型可信赖实践汇总...................................................................7图2大模型可信赖实践方案.......................................................................................8图3微软“BingChat”提示泄露事件..........................................................................12图4大模型健壮性风险.............................................................................................13图5大模型预训练阶段的长尾问题.........................................................................14图6数据安全沙箱技术.............................................................................................20图7商汤伦理风险分类分级管理评估.....................................................................22图8思维链技术.........................................................................................................24图9大模型“机器+人工”内容审核机制....................................................................27图10数字水印技术流程图.......................................................................................27图11“SenseTrust”——商汤可信AI基础设施.........................................................31图12蚁鉴2.0-AI安全检测平台...............................................................................35图13阿里巴巴生成式AI治理实践及探索概览.....................................................37图14百度大模型安全解决方案...............................................................................40图15百度大模型内容安全与评测体系...................................................................41 一、大模型发展现状 （一）大模型驱动新一轮科技革命 近十余年间，人工智能技术泛化能力、创新能力及应用效能不断提升，成为了推动经济及社会发展的重要引擎。2015年前后，人脸识别算法达到接近人眼的识别能力，被视为人工智能技术工业级应用水平的代表性事件。2022年，以ChatGPT为代表的大模型为用户带来了全新交互体验。通过其在内容生成、文本转化和逻辑推理等任务下的高效、易操作表现，大模型正逐步成为当前主流应用程序的重要组成部分。 随着数据、算法和算力的不断突破，大模型将不断优化演进。在数据方面，海量、多模态数据将持续应用于大模型预训练，提升大模型的知识、理解和推理能力。在算法方面，将转向跨知识领域、跨语种、多模态特征的海量知识挖掘及执行等复杂任务的处理。在算力方面，智算中心及算力网络等基础设施加速建设，为大模型的开发和服务提供充足性能支持。到2026年，Gartner预测超过80%的企业将使用生成式人工智能的API或模型，或在生产环境中部署支持大模型应用。以通用智能体、具身智能和类脑智能等为代表的大模型应用可能