可信人工智能治理调研报告（2024-2025）

OQOCQOOQQ 版权声明 本调研报告版权属于ISACA中国办公室(北京阿萨卡信息技术有限公司)。转载、摘编或利用其他方式使用本报告中的全部或部分文字、图标或者观点的，应注明来源。违反上述声明者，本司将追究其相关法律责任。ISA 执行摘要 本报告围绕可信人工智能治理展开，探讨其全球状况、行业实践并展望未来。 当前人工智能已经在多个行业中得到应用和部署，例如营销服务、教育、技术服务/咨询业和金融/银行业等，且集中于客户服务和经营管理场景。但大多数企业仍处于技术规划阶段，成熟度较低。在技术使用模式上，多数企业自研能力不足，主要依赖外部产品。在人工智能投入方面，企业呈现两极分化，大多数投入不足100万元人民币，少数超过2000万元人民币。多数企业认为业务改进效果“一般”，显示出投入与产出效果的优化空间。在人工智能应用过程中，企业面临的主要挑战包括技术和业务流程融合问题(算法复杂、业务场景的适用性)、数据安全(如隐私保护、数据可靠性)和算法合规性问题。虽然伦理性问题目前关注度较低，但其重要性将日益凸显，企业需重视公平性、透明性、可解释性和安全性，以确保技术的可持续发展。可信人工智能治理是破解风险、实现长期价值的关键路径。 在行业实践中，互联网、医疗健康、智能制造和金融行业均结合自身特点，针对数据隐私、算法安全等问题采取了相应的风险应对策略。各行业需要结合自身特点，动态平衡创新与风险控制，强化数据治理、提升算法透明性与伦理性、应用场景设计、应用有效性宣导、应用技能培训、应用团队与技术团队的认知和能力建设，同时通过跨部门协作、全员培训和体系化风险治理推动人工智能技术的安全高效应用和可持续发展。 架，开展专业团队职责定位和能力建设，平衡技术与伦理、加强AI技术和应用案例宣导，建立闭环评估机制并加强协作培训。行业需建立标准化框架，加强数据管理、伦理审核、安全防护及评估认证机制，以推动可信人工智能发展，让其更好地服务社会。ISAHttps://www.isaca.org.cn 关键发现 1.企业投入两极分化：45%的企业人工智能投入不足100万元人民币，15%的企业投入超过2000万元，表明行业资源分配不均，中小企业技术应用能力受限。2.伦理关注不足：仅24.2%的企业在选择人工智能模型时考虑伦理问题，反映出伦理治理在技术开发中的优先级较低，未来需加强公平性与透明性。3.行业治理差异显著：电信/通信行业对人工智能风险评估的重视度最高(50%)，医疗行业通过审批流程使数据泄露率降低30%，显示行业治理效果显著。4.技术规划为主：39.7%的企业处于技术规划阶段，进入成熟度评估的不足10%，表明大多数企业仍处于人工智能应用的早期阶段。5.性能优先：70.4%的企业选择模型时最看重性能指标，伦理问题关注度最低，反映出企业在技术应用中更注重短期效益而非长期风险。6.数据安全挑战：27%的企业最关注数据安全和隐私保护，31%的企业强调数据可用性与隐私平衡，显示数据管理仍是人工智能应用的核心难题。7.模型偏见问题：16%的企业面临算法偏见或歧视风险，金融行业投诉率最高，表明算法公平性治理驱待加强。8.本土化趋势：41%的企业在海外工具受限时选择本土化替代，34%的企业视能力而定，反映出地缘政治对技术应用的深远影响。9.跨部门协作不足：仅41%的受访者了解公司人工智能业务环境，跨部门协作函待加强，以实现技术与业务的深度融合。10.治理框架滞后：企业投入与治理水平无显著正相关，治理框架设计需加速优化，以匹配技术应用的快速发展。 目录 执行摘要关键发现 1.1可信人工智能治理的意义和调研目1.2全球人工智能的治理现状1.3人工智能治理框架1.4可信人工智能治理的机遇与挑战 2.1人工智能的使用情况2.2人工智能的投入与产出效果152.3人工智能使用过程中的风险与挑战72.4可信人工智能治理现状与展望 3.可信人工智能治理的行业实践 3.1互联网行业3.2医疗健康行业303.3智能制造行313.4金融行业323.5行业实践小结33 4.1人工智能治理最佳实践35364.3人工智能治理行业性建议374.4总结. 1.全球可信人工智能治理现状及挑战 1.1可信人工智能治理的意义和调研目标 科技创新浪潮席卷全球，人工智能作为新一轮科技革命和产业变革的重要驱动力量，正深刻改变着人类生产生活方式，并对未来充满期待。从自动驾驶到精准医疗，从智能制造到智慧城市，人工智能技术的应用日益广泛，为人类社会带来了前所未有的机遇，也同步催生了新的社会、经济和地缘政治变革。然而，技术进步的背后也潜藏着巨大的挑战。算法歧视、数据隐私泄露的潜在威胁、质量稳定性、对就业市场的冲击等问题日益凸显，对个人权益、社会公平以及国家安全构成考验。人工智能的“双刃剑”效应日益凸显，如何确保其安全、可靠和可控，成为全球共同关注的焦点。 可信人工智能的提出，正是为了应对这一挑战，其核心在于确保人工智能系统的设计、开发、部署和使用符合伦理原则，产出可靠性得到保障，并有效降低潜在风险。一个可信的人工智能系统应具备公平性、透明性、稳健性/安全性、隐私保护、责任可追溯性以及人类可控性等关键特征。构建可信人工智能治理框架的目标，不仅在于规避风险还在于积极引导人工智能技术朝着造福人类的方向发展，最大化其正面效应。 本调研报告旨在深入探讨可信人工智能治理的重要性、现状、挑战和机遇，关注可信人工智能在不同行业中的实际应用，旨在全面、客观地呈现当前人工智能治理的图景，助力塑造可信人工智能的未来。 1.2全球人工智能的治理现状 全球人工智能治理格局呈现多元化发展态势，各国基于自身国情、社会文化背景和发展战略，探索不同的治理路径，形成了各具特色的治理模式。以下仅对部分关键内容进行概述，并非详尽无遗，更多细节请参阅相关文件。 1）国际人工智能治理现状 欧盟采取以风险为本的全面监管路径。2024年8月1日生效的欧盟的《人工智能法案》作为全球首部针对人工智能的综合性立法，确立了以风险等级为导向的监管框架，将人工智能系统根据其潜在风险划分为四个等级：不可接受风险、高风险、有限风险和轻微的风险，并实施差异化监管措施。2024年11月14日，欧盟委义务提供指导。 美国采取灵活监管与行业自律并行，分散的监管体系。2023年10月30日，美国总统拜登签行政令，发布了《关于安全、可靠和值得信赖地开发和使用人工智能的行政命令》，旨在确保人工智能技术的发展和使用符合安全可靠和可信赖的标准，同时保护公众的安全和隐私。NIST于2023年1月26日发布的人工智能风险管模型安全创新法案》则对大型人工智能模型的开发者提出了更具体的安全要求，例如强制安全测试和信息披露。这种模式在保持灵活性的同时，也可能导致监管碎片化。美国注重人工智能创新发展，通过发布政策文件、加大资金和人才支持，以及引导最佳实践和标准的建立，同时辅以先进芯片出口管制等措施，以维持其在人工智能领域的竞争优势。 可信人工智能治理调研报告 英国将人工智能视为提升其全球影响力的机遇，2021年9月22日发布《国家人工智能战略》文件，采取“支持创新”的监管方式。2023年3月29日，英国发布《促进创新的人工智能监管方法》白皮书，提出其基于原则的人工智能治理方法，一套以安全、透明、公平、责任为核心原则的人工智能治理框架，旨在增强企业和公众对人工智能应用的信心，并为行业提供确定性和一致性的监管环境。12023年11月1日举办了首届全球人工智能安全峰会并推动签署首个人工智能安全国际性声明一一《布莱切利宣言》2。 其他国家和地区也积极探索适合自身情况的人工智能治理模式。2024年5月30日，新加坡政府发布了《生成式人工智能治理模型框架》，建议从问责制、数据、可信开发和部署等9个维度全面审视生成式人工智能的开发，2024年1月19日，日本发布《人工智能运营商指南(草案)》，旨在应对生成式人工智能技术变化，提供统一的人工智能治理指导原则。一些发展中国家也开始积极参与人工智能治理，肯尼亚将人工智能和区块链视为“关键的经济和商业支持技术”，2024年推出了《信息技术-人工智能-人工智能应用实践守则》；埃及2019年组建国家人工智能委员会，相继发布《国家人工智能战略》等文件；哈萨克斯坦2024年发布《2024-2029年人工智能发展构想(草案)3，加快构建本国人工智能生态系统。G20里约热内卢领导人重申对可信赖人工智能的承诺，更进一步凸显了全球范围内对构建人工智能治理体系的共识与努力。 2）中国人工智能治理现状 中国在人工智能治理领域秉持发展与安全并重的原则，强调顶层设计和政策引导，致力于构建一个鼓励创新、保障安全、促进人工智能产业健康可持续发展的良好生态环境。近年来，中国积极推进人工智能治理的法律法规、伦理规范和政策框架建设，并取得了显著进展。 中国在人工智能发展和安全之间寻求平衡，逐步构建起一套涵盖发展规划、伦理规范、安全管理等方面的综合治理体系。重要里程碑包括：2017年7月8日《新一代人工智能发展规划》的发布，为中国人工智能发展提供政策保障和发展规划，2019年6月17日《新一代人工智能治理原则》和2021年9月25日《新一代人工智能伦理规范》的出台，确立了中国人工智能发展的伦理底线；以及全球首部针对生成式人工智能的管理办法一一2023年8月15日起施行的《生成式人工智能服务管理暂行办法》，为中国生成式人工智能的规范发展提供了重要的法律依据。 同时，2024年9月9日，全国网络安全标准化技术委员会发布的《人工智能安全治理框架》1.0版，提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对、开放合作、共治共享等人工智能安全治理的原则。 这些举措体现了中国对人工智能治理的高度重视和积极探索，为构建更加安全、可靠、可控的人工智能发展环境，推动人工智能技术造福人类做出了重要贡献。 1.上海社会科学院、武汉大学和同济大学等，《全球人工智能治理研究报告》，2024年11月22日2.上海社会科学院、武汉大学和同济大学等，《全球人工智能治理研究报告》，2024年11月22日3.上海社会科学院、武汉大学和同济大学等，《全球人工智能治理研究报告》，2024年11月22日or 下表为文中提到的部分国家和组织发布的人工智能相关政策文件示例： 1.3人工智能治理框架 构建可信人工智能离不开强有力的治理框架。当前，全球已涌现出多元化的框架和标准，共同勾勒出可信人工智能治理的实践路径。从高层原则到具体标准、行业最佳实践，乃至国家层面的立法和监管，都在为可信人工智能的构建添砖加瓦。尤其值得关注的是，像ISACA这类专注于信息治理、控制、安全和审计的国际组织，也为可信人工智能治理提供了宝贵的视角和框架。可以从以下几个维度来看一下当前可信人工智能治理框架的现状：ca.org 1)高层原则与伦理基础 OECD的人工智能原则、G20的人工智能原则、联合国教科文组织的《人工智能伦理建议书》等，为人工智能治理奠定了以人为本、公平、透明、安全和问责的伦理基石。 2)国际标准和框架 NIST的人工智能风险管理框架、ISO/IEC的人工智能标准等提供了更具操作性的指南，涵盖风险管理、生命周期管理、质量管理和伦理考量等方面。这些标准有助于将抽象的原则转化为可执行的实践。例如： 可信人工智能治理调研报告 ISO/EC42001:2023人工智能管理体系标准，为组织建立、实施、维护和持续改进人工智能管理体系提供了框架，涵盖了人工智能生命周期的各个阶段，旨在帮助组织管理人工智能风险，并确保人工智能系统的可信度和可靠性。此外，一些信息系统审计和控制框架也为人工智能治理提供了重要的补充。 ISACA的COBIT框架，凭借其在企业IT治理和管理方面的丰富经验，可以为人工智能治理提供全面的指导，涵盖风险识别与评估、控制措施设计与实施、以及人工智能系统运行监控等方面。同时，ISACA的数字信任生态系统框架DTEF专注于构建和维护数字信任，可以帮助组织识别和管理与