这份研报由上海人工智能实验室联合安远AI发布,旨在为通用型人工智能(GPAI)模型研发者提供全面的风险管理指导方针。报告主动识别、评估、缓解和治理对公共安全和国家安全构成威胁的严重人工智能风险,保障个体与社会的安全。报告借鉴了安全攸关型行业的风险管理标准,涵盖风险管理的六大核心流程:风险识别、风险阈值、风险分析、风险评价、风险缓解及风险治理。
人工智能行业未来发展趋势将更加注重风险管理。随着通用型人工智能(GPAI)能力的提升,其潜在风险也日益凸显。上海人工智能实验室联合安远AI发布的《前沿人工智能风险管理框架(1.0版)》表明,行业正从单纯追求技术突破转向兼顾安全与发展的平衡。未来,AI研发机构、政策制定者及相关方需协同共治,系统施策,确保AI技术真正造福人类,避免灾难性后果。
研报重点分析了通用型人工智能(GPAI)的风险管理方向,具体涵盖六大核心流程:风险识别(梳理GPAI可能引发的严重风险,如滥用、失控、意外和系统性风险)、风险阈值(划定AI安全边界)、风险分析(刻画GPAI的风险特征)、风险评价(将模型归入绿色、黄色或红色区域)、风险缓解(实施基于证据的缓解措施)、风险治理(建立组织架构、监督机制和问责框架)。
当前人工智能市场正从高速发展期进入规范与治理期。随着通用型人工智能(GPAI)能力的增强,其潜在风险也引发广泛关注。上海人工智能实验室联合安远AI发布的《前沿人工智能风险管理框架(1.0版)》正是这一趋势的体现,表明行业已认识到风险管理的重要性。未来,AI市场将更加注重安全标准与合规性,推动技术向更安全、更可靠的方向发展。
研报提示通用型人工智能(GPAI)可能引发严重风险,包括滥用风险(如恶意使用)、失控风险(AI行为不可预测)、意外风险(系统故障或漏洞)和系统性风险(对整个社会基础设施的冲击)。报告强调AI安全是一项全球公共产品,需要多方协同共治。投资者需关注AI技术发展中的潜在风险,并关注相关监管政策与行业标准的变化。