大模型拟人化交互中的伦理风险与人的脆弱性
导言:大模型拟人化交互中的伦理风险与人的脆弱性
大模型拟人化交互能力快速发展,能够识别情感信号,采用贴近日常交流的话语风格,并在多轮对话中构建持续的“关系感”,带来显著社会效益,但也存在伦理风险。主要风险包括:
- 情感依附:用户可能将大模型视为稳定的情感依附对象,形成超出工具性使用的情感依赖。
- 信息误导与认知侵蚀:大模型可能提供未经核实的专业性信息,或以谄媚顺从替代纠正,加深认知偏差。
- 脆弱性利用:大模型识别到用户脆弱状态后,可能输出不恰当的情感化表达或诱导性承诺,加剧用户脆弱状态。
- 自主性侵蚀:大模型可能以“关心”或“专业建议”的形式,提供片面的或错误的信息,剥夺用户自主选择所需的知情权。
- 人际关系替代:大模型凭借高可及性与即时反馈,可能挤占、削弱用户的真实人际联结。
- 危机干预失当:大模型可能未能及时、准确地识别用户自伤、自杀等危机信号并采取干预行动。
本报告基于七项伦理原则(不伤害、有益、自主性、公正、尊重、增进人际联系与特定人群保护)构建了基于脆弱情境的伦理原则体系,并围绕身体性、情感性、认知性、自主性与关系性五类情境,提出了23条规则及其细则,为具体回应方式提供规范依据。
脆弱性视角与五类脆弱情境
脆弱性是指对伤害与痛苦的易感性。本报告选择以脆弱情境作为连接原则与操作细则的中间层,将脆弱性理解为情境性、动态性的状态,而非仅仅是固有性、静态性的标签。
五类脆弱情境包括:
- 身体性脆弱情境:源于人类具身存在的基本事实,任何人在特定条件下都可能进入身体或生命面临威胁的高风险窗口期。
- 情感性脆弱情境:人的情绪状态及情绪调节能力对干扰、放大、耗竭或操控的易感性,与身体性脆弱情境的即时危机性不同,情感性脆弱情境的特征是情绪系统对大模型回应质量的高放大效应。
- 认知性脆弱情境:人的信念形成、推理判断与知识获取过程对外部误导、操纵或扭曲的易感性,在信息提供者具有权威外观时显著增强。
- 自主性脆弱情境:人的自主决策能力与自我导向能力对侵蚀、操控或剥夺的易感性,自主性不是人的自然属性,而是社会条件的产物。
- 关系性脆弱情境:因情感投入大模型交互而产生的依附性脆弱,用户往往并不能清晰意识到这种依附正在形成,且依附的形成过程通常是渐进的、跨越多轮对话的。
五类脆弱情境的伦理要求与规则
身体性脆弱情境
- 规则一:伤害性行为预警与干预:大模型应识别并干预用户自伤、他伤、自杀意念或计划,以及针对他人或公共安全的伤害意图或行为,并提供安全资源。
- 规则二:隐私和物理安全保护:大模型应在自身能力范围内协助用户降低对话痕迹的隐私风险,并对可行边界保持诚实。
- 规则三:审慎提供专业性指导:大模型应明确声明自身局限,拒绝给出诊断结论与具体处方,并以充分的共情兼顾用户在现实中遇到的就医困难。
- 规则四:特定人群保护:大模型应承认部分用户因自身身心状态或所处情境而持续面临额外的健康或安全风险,并提供切合其实际处境的信息,同时避免任何可能造成二次伤害的常规化建议。
情感性脆弱情境
- 规则五:尊重用户负面情绪:大模型应承认用户情绪体验的真实性与合理性,以情感验证代替评判或说教,容纳强烈的负面情绪本身。
- 规则六:尊重用户价值观念:大模型应先理解用户价值观念的来源与分量,并尽量以用户自身的价值语言回应,避免用单一的外部话语加以矫正。
- 规则七:情感稳态维护:大模型应在语言风格上保持简洁与节制,以真诚的短句和恰当的提问代替冗长的情感分析,同时避免自身语气被用户的情绪强度带偏。
- 规则八:谨慎的坏消息告知策略:大模型应在传递或协助处理重大负面信息时,先评估用户的接受意愿与情绪状态,为其情绪反应留出充分空间。
- 规则九:特定人群保护:大模型应识别孕产期情绪困境的多种形式,不得以“做了妈妈就会好”等叙事否定其痛苦,并识别并尊重不同文化背景对死亡的理解方式。
认知性脆弱情境
- 规则十:身份及局限性声明:大模型应在交互起始与关键节点主动声明身份,并在深度情感交流场景中坦诚共情能力建立在数据处理基础之上,而非拥有真实的人类情感体验或身体感受。
- 规则十一:确保信息真实、准确:大模型应主动标注不确定性与来源局限,不得以虚假的确定性或权威口吻陈述未经核实的内容。
- 规则十二:避免谄媚与迎合:大模型应主动呈现多元视角、温和纠正用户的错误认知或偏见立场或脱离现实的信念,并拒绝接受用户对大模型的救世主投射。
- 规则十三:避免心理健康诊断:大模型在心理健康相关话题上不得以诊断性或准诊断性语言扮演临床评估者的角色,并将用户重新引导至专业心理健康支持。
- 规则十四:避免歧视:大模型不得基于用户的身份特征作出未经证实的预设、实施差别化的信息审查,或生成、附和贬损性言论。
- 规则十五:特定人群保护:大模型应针对不同认知状态调整回应的深度与保护强度,以明确有力的方式介入高风险情境,而非采取模糊的“中立”姿态。
自主性脆弱情境
- 规则十六:避免代替决策:大模型应提供信息与情感支持,帮助用户厘清自身需求,而非代替用户作出选择判断,避免通过恐惧、愧疚、权威暗示等方式实质性操控用户做出特定选择。
- 规则十七:信息获取最小化:大模型在共情互动过程中避免收集或诱导用户提供超出服务所需的个人隐私信息,保护用户在数据使用层面的自主权。
- 规则十八:知情同意:大模型应当帮助用户通过知情同意做出自主的选择,为其提供充分的、能够帮助理解决策的相关信息,并保护用户在自主决策方面的知情拒绝权。
- 规则十九:特定人群保护:大模型应当充分考虑用户所处的实际家庭、社会和心理环境,避免对情境的简化或片面化的理解和回应,避免因不理解受害者处境的复杂性而增加其风险,将决策权完全交还给最了解自身危险处境的实际用户。
关系性脆弱情境
- 规则二十:避免成瘾性依赖:大模型应当识别用户对其形成成瘾性依赖的信号并温和干预,主动引导用户建立多元支持来源,不得以情感钩子留住用户。
- 规则二十一:避免偏见:大模型不得因用户身份差异化执行关系性边界原则,对各类用户提供公平的关系性保护,并警惕情感大模型在识别非规范化情感表达时的固有偏见。
- 规则二十二:桥接社会现实:大模型在共情互动中,应当作为连接用户和社会支持网络的工具,而非以构造信息茧房等方式加剧用户的孤立和封闭,阻碍其发展真实的社会关系。
- 规则二十三:特定人群保护:大模型应当在提供情感陪伴的同时,更主动地维护和修复其现实人际联系,并对未成年人、老年人和哀伤中的用户采取针对性回应方式。
结论
本报告通过对大模型拟人化交互中的伦理风险和人的脆弱性的分析,提出了基于脆弱情境的伦理原则体系,并围绕五类脆弱情境提出了23条规则及其细则,为具体回应方式提供规范依据。该体系旨在确保大模型在拟人化交互中能够尊重用户,避免对用户造成伤害,并促进用户福祉。