您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[启明星辰]:2025年AI-R-IAM:AI就绪的大模型身份与访问管理白皮书 - 发现报告

2025年AI-R-IAM:AI就绪的大模型身份与访问管理白皮书

信息技术2025-02-24-启明星辰晓***
AI智能总结
查看更多
2025年AI-R-IAM:AI就绪的大模型身份与访问管理白皮书

Al-ReadyIdentityandAccessManagement 版权申明 北京启明星辰信息安全技术有限公司版权所有,并保留对本文档及本声明的最终释释权和修改权。 本文档中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容,除另有特动注明外,其者作权成具他相关极利均属于北京启明星辰信息安全技术有限公司,未经北京启明早辰信息安全技术有限公司书面同意,任何人不得以任何方式或形式对本手册内的任何部分进行复制、摘录、备份、修改、传播、翻译成其它语言、将其全部或部分用于商业用途。 免责申明 本文档依据现有信息制作,其内容如有更改,恕不另行通知。 北京启明早辰信息安全技术有限公司在编写该文档的时候已尽最大努力保证其内容准确可章,但北京启明星辰信息安全技术有限公司不对本支档中的遗漏、不准确、或错误导致的损失和损害承担责任。 信息反馈 如有任何宝贵意见,请反馈: 信箱:北京市海淀区东北旺西路8号中关村软件园21号楼启明呈辰人大厦邮陶晶 100193电话:010-82779088 传真:01082779000 您可以访问启明星辰网站:www.venustech.com.cn获得品新技术和产品信息。 目录 1公司简介2 大模型的发展与风险2.1新质牛产力“大模型2.2大模型应用中安全挑战2.2.1身份与访问控制的安全挑战2.2.2故据安全排战3身份与访问管理系统(IAM)114AI就绪的大模型身份与访问管理134.1可信身份治理154.2可信权限管理164.3可信故据管理174.4可信行为审计195 应用场215.1人模型应用场录数据流.215.2场景一:用户访问人模型应用场景215.3场景二:应用访问大模型应用场景.265.4场景三:用户-AI智能体的安全应用管理场景286发属趋势展望 1 公司简介 启明星辰公司成立于1996年,由留关博上严型女士创建,是国内最具实力的、拥有完全自主知识产权的网络安全产品、可信安全管理平台、安全服务与解决方案的综合提供商。2010年6月23日,启明星辰在深交所中小板正式挂牌上币, 启明呈辰拥有完善的专业安全产品线,横跨防火墙告/UTM、入侵检测管理、网络审计、整端管理、加密认证等技术领域,共有百余个产品型号,并根据客户需求不断增加。启明呈辰解决方案为客户的安全需求与信点安全产品、服务之间梁起侨梁,将客户的安全保障体系与信息安全核心技术紧密相连,帮助其建立完善的安全保障体系。 自2002年起,启明星辰就持续保持国内入侵检测、漏洞扫描市场占有率第一。近年来发展成为国内统一威助管理、安全管理平台国内市场第一位,安全性审计、安全专业服务市场领导者。目前,公司在全国名省市白治区设立三十多家分支机构,拥有覆盖全国的案道和售后服务体察 长期以来,启明星辰公司得到了党和国家领导人的关怀与鼓励。2000年1月,江泽民李岗洁、曾庆红等党和国家领导人亲切视察启明呈辰公司:2003年1月,胡锦涛总书记亲切接见了启明皇辰公司CEO严望佳博士, 凭借多年来的潜心研发,启明早辰获得国家规划布局内重点软件企业,国家火炬计划软件产业优秀企业,中国电子政务IT100强等荣普,及拥有最高级别的涉及国家秘密的计算机信息系统集成资质证书。 启明星辰目前足我国规模最大的国家级网络安全研究基地。完成包括国家发改委产业化示范工程,国家科技部863计划、国家科技支撑计划等国家级科研项目近百项。创造了否 余项专利和款件著作权,参与制订国家及行业网络安全标准,填补了国信息安全科研领域的多项空白。 作为信息安全行亚的领军企亚,启明呈晨以用户需求为限本动力,研究开发了完善的专业安全产品线,适过不断耕耘,已经成为在收府、电信、金融、能源、交、军队、军工制造等国内高端企业级客户的首选品牌:启明辰在政府和军队拥有95%的市场占有率为世界五百强中80%的中国企业客户提供安全产品及服务:在金融领域,启明皇辰对政策性银行、国有控股商业银行、全国性股份制商业银行实现90%的重盖率。在电信领域,启明星辰为中国移动、中国电信、中国联通大运营商提供安全产品、安全服务和薛决方案。 作为北京奥组委独家中标的核心信息安全产品、服及障决方案提供商,奥组委唯一信息安全供应商,启明呈辰受到独家官片授权,全面负责奥运会主体网络系统的安全保障,得到了国家主管部门的大力亮奖,此外,启明皇辰还为上海世博会、广州亚运会等多项世界级大型活动提供全方位信息安全保障 在公司快速稳定发展的同时,启明堂辰公司坚持以爱心回馈社会,截裁止自前,已紧计资助资困学子、受灾、贫困酵众上亿元人民币,并在江西、青海、新疆等地援建了5所希望小学, 高明堂辰公奇将来承诚信和包新精神,致力提供具有国际亮争力的自全创新的度全产品和最佳实服务,帮助客户全面提升其IT基础设询的安全性和生产效能,为打造和提开国际化的民族信息安全产业第一品牌而不祥努力。 2 大模型的发展与风险 2.1新质生产力“大模型” 近年来,大模型技术取得了突破性进展,成为人工智能额域的核心驱动力。从ChatGPT,再到后度文心一言,阿里通义干问、九天大模型、DeepSeek等,大模型在白然语言处理计算机视觉、语音识别等领域或展现出强天的能力。这些模型通过在海量数据上进行训练,能够学习到丰高的语言知识、语义理解和逻倡准理能力,从而实现支本生成、智能问答、图像生成、代码综弓等多样化的任务,大模型发展的历程分为四个阶段: ●准备期(2022年11月) 2022年11月,OpenAI发布ChatGPT,其强人的自然语言处理能力意撼全球,开启大模型发展浪潮,促使各方加大在该领域的股入与研究 ·成长期(2023年) (1)国外:OpenAl持续优化ChatGPT,并拓展其应用领域,谷歌、微软等科技巨头积极布局。 (2)国内:百度推出文心一言,整合自身技术优势;阿里爱布义干问,立足丰富业务场景;科大讯飞推出星火大模型,专注语音交互。高校和科研机构也积极开展研究,为人模型发展提供支术储备。 ·爆发期(2024年) (1)国外:OpenAl、谷歌等公司不断升级大模型,性能显著提升。开源人模型社区活跃,降低了人模型开发门槛,加速技术昔及。 (2)国内:2024年5月24日,在中国移动人工智能生态大会上,中国移动正式发布了“九天”人工智能基座,包含万卡级智算集群、干亿多模态大模型,汇聚古大要素的生态 平台。大厂持续加大研发投入,“百模大战激烈上演。百度、字节跳动、腾讯等大的大模型不断选代,众多初创企业也凭借特色大模型在细分领域薪露以角 ●大规模应用期(2025年1月-) (1)国外:大模型深入医疗、金融、教音等多行业,助力疾病诊断、风险评估、个性化学习等。OpenAl还在探索新应用领域。 (2)国内:DeepSeek凭借创新算法和架构,展现出低成本、高效能以及开源优势,迅速火爆全球。DeepSeek现象带动了国内大模型在政务、金融、医疗、教育、制造、电商等行业大规模应用,推动落行业数字化、智能化转型。 人模型技术作为新代生产力的代表,正以前所未有的速度和深度渗送到企业运营和个人生活的方方面面,成为推动社会进步和经济发展的关键力量,它不仅虽塑了传统行业的运作模式,还催生了全新的应用场景和商业模式,真正实现了“智能能”的愿景 2.2大模型应用中安全挑战 2.2.1身份与访问控制的安全挑战 在大模型深度应用的时代背景下,身份安全面临者前所未有的挑战。随者人与设备、人与应用、AlAgent与数据、人与Al Agent之间交互量呈指数级增长。 根据埃森哲的《2025年技术愿景调查,78%的高管同意在未来必须为AlAgent构与人类同等连要的做学生态系统,这意味者传统身份概念不断延伸至AI领域,在大模型应用中产生了三类身份划分,即人美身价Alldentity以及非人类身份(Non-HumanIdentity,NHI),都露出诸多安全问题 1、人类身份安全题:人美身份代表自然人身份实体,在大模型应用交互场景中的背最下,容易出现口用身份非法访问大模型系统窃取数据,多应用使用大模型服务时,权限管理难,易出现滥用和泄精问题,人模型对用户数据使用不透明也可能泄蒂隐私 2、Alldentity安全问题:越来越多的AlAgent在大模型场景下应用,AlAgent具备了从数据处理到决策执行的功能,2024年12月,IT咨询机构kuppingercole在发表的人工智能代理的身份中指出AlAgent其有复杂的身份关系,需要身份和专用身份管理。AlAgent应视为其有身份的不同员工的新兴范式.应中新思考AlAgent作为员工,在大模型应用场景下建立身份层,即Alldentity,它既有管理者叉有访问者,自身其备身份属性,会出现如下岗险: (1)访尚院过:攻击者可能针对AlAgent所使用的模型讲行攻击,如通过对抗样本攻击,尚模型入精心构造的恶意数居,使模型产生谱误的输出,从而绕过身份验证成获取非法访问权限 (2)访问权限放大:与人美身份不同,AlAgent不会以可预测的方式请求访问权限如果限管理机制不完善,可能导致用户或应用程序获得超出其应有的极限,从而能够访问和操作敏感资源,造成效据泄器或系统破坏, (3)自身安全:AIAgent身份系统通常存储大量用户的个人信息,行为数据等。如果系统遭受黑客攻击,这些数据可能被窃取,导效用户隐私泄露,进而可能被用十精难诈骗定向广告骚扰等。 3、非人类身份(NHI)安全问题:非人类身份定义为企业技术内的应用程序、服务或机器等实体绑定的数字身份,这些包括机器人,API密钥、服务帐号、OAUth令牌、云服务和其他充许机器或软件进行身份验证、访问资源和在系统内通信的凭据,OWASP组织2025年2月发布十大内H门风险20253,如下图所示, NHI在大模型应用中,大多数存在于大模型基出设施交互过程中,NHI的身份生命周期管理薄弱,存在诸多安全风险与问题 (1)纯文本/未加密凭证:大模型开发应用时,很多NHI硬编码在代码库等位置,容易被内外部威胁者发现. (2)子账号:大模型应用选代快,加之生命周期流程弱,账号使用信息不可见,许多NHI账号不活跃,增加改击面。 (3)缺乏账号所有权:多故参与大模型应用的组织中,NHI无明确所有权信息,而明确管理者对安全维护和问题补教很关键, (4)缺乏环境隔离:在许多情况下,相同NHI会在生产和生产环境中使用,或者相同的逻辑 NHI在每个环境中都有相同的密码,从而增加了横向移动的风险。 (5)凭证共享:大模型应用的多程序间共享NHI,违反原则,使密码循坏环等安全探作复杂,难以掌握所有依赖关系。 2.2.2数据安全挑战 大模型应用在数据安全片面呈现如下排战: (1)用户提示词输入输出风险:用户提示词可能包含敏感信息,若大模型系统对输入提示词的验证和过滤机制不完善,敏感信息可能在输入环节直接暴露。在输出结果时,若对输出内容审查不足,可能泄需用户隐私,商业机邀等敏感信息。如用户输入涉及个人健康状况的提示词用于医疗大模型进行诊断辅助,输出结果未脱敏处理,可能导教个人健康隐私泄籍。 (2)大模型API调用风险:API调用过程中,若身份认证和授权机制存在漏洞,不法分子可能目用合法身份调用API,获取敏感数据或进行恶意操作,同时,API接口著缺乏有效安全防护,易逆受攻击,导致数据池露或奠改。比如击者通过漏同获取API调用权限非法获取金融大模型中的用户资产数据。 (3)RAG如识库查询岚险:RAG知识库整合大量数据,若查询权限控制不当,用户可能超出授校范围获取敏感知识数据,而且如识库中的数居来源复杂,若数居棕注、整合环书出现错误或被恶意幕改,查询结果的准确性和安全性难以保障,可能误导用户并造成决策失误 (4)数据股每风险:在大模型训陈阶段,攻击者故意向训练数据中注人恶意数据,这查数据被模型学习后,可能导致模型在后续应用中出现错误的出或行为。例,在图像识别模型的训练敌据居中混入大量被恶意标注的图像,使模型在识别相关图像时出现严