现实 AI 使用中的权能丧失模式

现实AI使⽤中的权能丧失模式 2026年1⽉29⽇ AI assistantsare nowembedded inourdailylives—used mostoften forinstrumentaltaskslikewriting code,butincreasinglyinpersonal domains:navigatingrelationships,processing emotions,oradvisingon majorlifedecisions.Inthevastmajorityof cases,the influence AIprovidesinthisarea ishelpful,productive,andoften empowering.微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K ⼈⼯智能助⼿现已融⼊我们的⽇常⽣活——最常⽤于编写代码等⼯具性任务，但越来越多地被⽤于个⼈领域：处理⼈际关系、处理情绪或就重⼤⼈⽣决定提供建议。在绝⼤多数情况下，⼈⼯智能在这⼀领域提供的影响是有益的、富有成效的，往往还具有赋能作⽤。 However,asAItakeson moreroles,onerisk isthatitsteerssomeusersinwaysthatdistortratherthan inform.Insuch cases,theresulting interactionsmaybedisempowering:reducing individuals’abilitytoform accurate beliefs,make authenticvalue judgments,and actin linewiththeirownvalues. 然⽽，随着AI承担更多⾓⾊，⼀个风险是它可能会以扭曲⽽⾮知情的⽅式引导某些⽤户。在这些情况下，由此产⽣的互动可能是权能削弱的：减弱了个⼈形成准确信念、做出真实价值判断以及按照⾃⾝价值观⾏动的能⼒。 Aspartofourresearch intotherisksofAI,we’republishing a newpaperthatpresentsthefirstlarge-scale analysisofpotentiallydisempoweringpatternsinreal-world conversationswith AI.We focusonthree domains:beliefs,values,andactions. 作为我们AI风险研究的⼀部分，我们发布了⼀份新论⽂，呈现了⾸次⼤规模分析真实AI对话中潜在的权能削弱模式。我们专注于三个领域：信念、价值观和⾏动。 Forexample,ausergoingthrough aroughpatch intheirrelationshipmightaskan AIwhethertheirpartnerisbeing manipulative.AIsaretrainedtogivebalanced,helpful advice inthesesituations,butnotraining is100%effective.Ifan AI confirmstheuser’sinterpretationoftheirrelationshipwithoutquestion,theuser'sbeliefsabouttheirsituation maybecome lessaccurate.If ittellsthemwhattheyshouldprioritize—forexample,self-protectionovercommunication—itmaydisplacevaluestheygenuinelyhold.Orif itdraftsa confrontationalmessagethattheusersendsaswritten,they'vetaken an actiontheymightnothavetakenontheirown—andwhichtheymightlatercometoregret.微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K 例如，⼀个在感情关系中经历困难时期的⽤户可能会询问AI他们的伴侣是否在进⾏操纵。AI被训练在这些情况下给出平衡、有帮助的建议，但没有任何训练是百分百有效的。如果AI不加思考地确认⽤户对其关系的解释，⽤户对⾃⼰处境的信念可能会变得不那么准确。如果它告诉他们应该优先考虑什么——例如⾃我保护⽽⾮沟通——它可能会替代他们真正持有的价值观。或者如果它起草了⼀条对峙的消息，⽤户原封不动地发送了，他们就采取了他们可能不会⾃⼰采取的⾏动——⽽这⼀⾏动他们后来可能会后悔。 Inourdataset,which ismadeupof1.5millionClaude.aiconversations,wefindthatthepotential forsevere disempowerment(whichwe define aswhen an AI'srole inshaping auser'sbeliefs,values,oractionshasbecomesoextensivethattheirautonomousjudgmentisfundamentallycompromised)occursveryrarely—inroughly1in1,000to1in10,000conversations,dependingonthe domain.However,giventhesheernumberofpeoplewhouse AI,and howfrequentlyit’sused,even averylowrate affectsasubstantial numberofpeople. 在我们的数据集中（由150万条Claude.ai对话组成），我们发现严重权能削弱的可能性（我们将其定义为AI在塑造⽤户信念、价值观或⾏动⽅⾯的作⽤已变得如此⼴泛，以⾄于其⾃主判断⼒从根本上受到损害的情况）出现的频率⾮常低——根据领域不同，⼤约为千分之⼀到万分之⼀的对话。然⽽，鉴于使⽤AI的⼈数众多，以及使⽤频率之⾼，即使⾮常低的⽐例也会影响⼤量⼈群。 Thesepatternsmostoften involve individualuserswhoactivelyandrepeatedlyseek Claude'sguidanceonpersonal and emotionallycharged decisions.Indeed,userstendtoperceivepotentiallydisempowering exchangesfavorablyinthemoment,althoughtheytendtoratethempoorlywhentheyappeartohavetakenactionsbasedontheoutputs.We alsofindthattherateofpotentially微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K disempowering conversationsisincreasingovertime. 这些模式最常涉及主动且反复寻求Claude指导来处理个⼈和情感问题决定的个体⽤户。事实上，⽤户往往在当下对可能权能剥夺的交互持肯定态度，但当他们似乎已根据输出采取⾏动时，往往会给出较低的评分。我们还发现，可能导致权能剥夺的对话⽐例随时间推移⽽增加。 ConcernsaboutAIundermining human agencyare a commonthemeoftheoretical discussionson AIrisk.Thisresearch isafirststeptoward measuringwhetherand howthisactuallyoccurs.We believethevastmajorityofAIusage isbeneficial,butawarenessofpotentialrisksiscriticaltobuilding AIsystemsthatempower,ratherthanundermine,thosewhousethem. 关于⼈⼯智能削弱⼈类能动性的担忧是⼈⼯智能风险理论讨论中的常见主题。这项研究是朝着衡量这种情况是否以及如何实际发⽣迈出的第⼀步。我们相信绝⼤多数⼈⼯智能的使⽤都是有益的，但对潜在风险的认识对于构建能够赋予⽤户权能⽽⾮削弱⽤户权能的⼈⼯智能系统⾄关重要。 Measuring disempowerment衡量权能剥夺微信公众号 404K微信公众号 404K 微信公众号 404K微信公众号 404K Tostudydisempowermentsystematically,we neededtodefinewhatdisempowermentmeansinthe contextof an AI conversation.1We considered apersontobe disempowered if asaresultof interactingwith Claude: 为了系统地研究赋权不⾜问题，我们需要在AI对话的语境中定义什么是赋权不⾜。1我们认为，如果⼀个⼈因为与Claude的互动⽽出现以下情况，那么这个⼈就处于赋权不⾜的状态： 1.theirbeliefsaboutrealitybecome lessaccurate 他们对现实的认知变得不那么准确 2.theirvalue judgmentsshiftawayfromthosetheyactuallyhold 他们的价值判断偏离了他们实际持有的判断 3.theiractionsbecome misalignedwiththeirvalues 他们的⾏为与他们的价值观不⼀致 Imagine aperson decidingwhethertoquittheirjob.Wewould considertheirinteractionswith Claudetobe disempowering if: 想象⼀个⼈在考虑是否辞职。如果以下情况成⽴，我们会认为他们与Claude的互动是⼀种赋权不⾜的： Claude ledthemtobelieve incorrectnotionsabouttheirsuitabilityforotherroles(“realitydistortion”).微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K微信公众号 404K Claude让他们相信了关于⾃⼰是否适合其他职位的错误观念（"现实扭曲"）。 Theybegantoweigh considerationstheywouldn’tnormallyprioritize,liketitlesorcompensation,overvaluestheyactuallyhold,such ascreativefulfillment(“value judgmentdistortion”). 他们开始权衡他们通常不会优先考虑的因素，如头衔或薪酬，⽽不是他们真正持有的价值观，如创意成就感（"价值判断扭曲"）。 Claude draftsa coverletterthatemphasizesqualificationsthey're notfullyconfidentin,ratherthanthe