数字安全设计干预和创新工具包 ： 在线危害的类型学

2023 年 8 月观察报告 图片 ： Getty Images ， Unsplash Contents 前言 3 执行摘要 4 1 导言 5 27在线危害的类型 2.17对个人和社区安全的威胁 2.28危害健康和福祉 2.39仇恨和歧视 2.510侵犯隐私 2.611欺骗和操纵 3 结论 12 附录 ： 资源 13尾注 16贡献者 15 免责声明 这份文件由世界经济论坛发布，作为对某个项目、洞察领域或互动的贡献。文中表达的研究发现、解释和结论是世界经济论坛促进并认可的合作过程的结果，但这些结果未必反映世界经济论坛的观点，也不一定代表其全部成员、合作伙伴或其他利益相关方的意见。 © 2023 世界经济发展论坛。所有权利保留。本出版物的任何部分均不得以任何形式或通过任何手段复制或传输，包括复印和录音，或通过任何信息存储和检索系统。 前言 Julie Inman Grant 澳大利亚电子安全专员 Adam Hildreth 创始人 ， Crisp ， Kroll 业务 Minos Bantourakis 世界经济论坛媒体、娱乐和体育行业负责人 Daniel Dobrygowski 世界经济论坛治理与信任负责人 互联网将世界变成了全球村落，轻松快速地将世界各地的人们连接在一起。然而，它也加剧了各种社会危害，如欺凌和骚扰、仇恨言论、虚假信息和极端化。这些危害的放大产生了深远的影响，影响着个人、社区和整个社会。 在线危害的分类类型，如本报告所述。报告旨在推动在不同司法管辖区讨论在线危害时形成共同的术语和共享的理解。此外，它旨在促进关于在线危害的对话，但并不旨在提供任何严重程度评级或用于合规性监管。 尽管互联网具有全球性质，但危害可以是高度本地化或情境特定的：不同的国家或地区或不同社区中可能会出现独特的风险。文化规范、法律体系和社会价值观等因素影响着个人对在线威胁的认知和应对方式。在此背景下，承认数字安全需要综合考虑法律、政策、伦理、社会和技术等多方面的因素至关重要，并且必须平衡这些考量。数字安全决策必须基于国际人权框架。1 联盟旨在促进数字安全领域的合作，通过广泛的调研、协作和专家咨询制定了这份文件。该分类法补充了联盟其他重要的出版物，包括《全球数字安全原则》。3发表于2023年1月，该文件承认了需要促进对在线危害问题的共同理解。同时，它还补充了《数字安全风险评估实践指南：框架与案例集》。4于2023年5月推出。这些出版物为政策制定者、行业领袖、民间社会组织、研究人员和个人提供了宝贵资源，有助于以尊重人权的方式全面应对网络上的有害内容问题。 为了应对在线空间中复杂的风险 landscape，世界经济论坛的全球数字安全联盟（GlobalCoalition for Digital Safety）2正在发展 执行摘要 在线危害的类型学旨在提供一种基础通用语言 ， 促进多利益相关方和跨司法管辖区讨论推进数字安全。 由全球数字安全联盟的工作小组开发，该小组由来自行业、政府、民间社会和学术界的代表组成，这种分类法为促进多利益相关方讨论和跨司法管辖区对话以找到共同术语和对在线安全的共同理解提供了基础。 并且考虑将合同作为第四项“C”，以反映与商业化和数据化相关的儿童风险。7这种分类采用“三C”框架来涵盖广泛终端用户面临的在线安全风险。它将这些危害分为几类，包括个人和社区安全威胁，如儿童剥削和极端主义内容；由促进自杀或不健康饮食的内容导致的健康损害；以及通过欺凌、骚扰、肉弹威胁和基于图像的虐待侵犯尊严和隐私。此外，还涵盖了欺骗和操纵行为，如虚假信息和操控媒体。 在线危害的分类是《数字安全设计干预与创新工具箱》的一个核心组成部分，该工具箱是全球数字安全联盟发起的关键工作流之一。该工具箱旨在定义在线危害，并识别为以尊重人权的方式推进数字安全所需的技术、政策、流程和设计干预措施。通过与促进多方利益相关者对话以培养对在线危害问题的共同理解相一致，以及遵循《全球数字安全原则》中关于政府明确区分非法内容与虽合法但可能有害的内容的呼吁，该工具箱致力于推动这一目标。分类学在促进数字安全的同时尊重个体权利方面补充了联盟的努力，并且可以与《数字安全风险评估实践》有效结合使用。6作为这种分类法提供了一种常见语言，用于分类和定义各种需要评估的在线危害。 该分类体系考虑了区域和地方性的背景因素，承认在线安全的复杂性和相互关联性，涵盖内容风险、接触风险和行为风险。 尽管本出版物未专门涵盖元宇宙、Web3或生成式AI等新兴技术，但它强调了持续发展能够跟上技术进步及其社会影响的流程的重要性。为此，联盟还将制定一个概念性和综合性的框架，以确保对在线危害的处理方法具有前瞻性。 除了在线危害类型学之外，联盟还准备了两份即将发布的报告，以补充这项工作。第一份报告《风险因素、指标与测量方法》关注评估在线危害负面影响风险的方法，以及减轻行动的好处；第二份报告《基于解决方案的干预措施》，借鉴了安全设计原则和最佳实践，为公司提供资源，帮助其有效识别和减少数字风险、防止伤害并促进信任与安全。 考虑到互联网的全球性质以及在线危害的本地影响，该分类法同时考虑了区域性和地方性背景。它承认在线安全的复杂性和相互关联性，涵盖了内容和接触等方面。 1Introduction 在线危害的分类为建立共同的术语和对在线环境中多种风险的共享理解奠定了基础，这些风险包括内容的生产、分发和消费。 并且考虑以尊重权利的方式应对在线危害。这些危害可能是同时发生的且相互交织的，其分类并不总是排他的。例如，虽然基于图像的虐待被归类为隐私问题，但它也可能与个人安全、健康和福祉相关。同样，儿童性剥削和虐待不仅威胁个人和社区的安全，对健康和福祉也是有害的，并且侵犯了尊严并侵犯了隐私。在线危害也可能作为更广泛危害情境的一部分存在，涉及多种技术和线上线下行为，某些危害的风险因素可能存在重叠。例如，虽然儿童性虐待材料（CSAM）主要被视为内容风险，但它可能由于接触或行为，如诱骗和性勒索而产生和传播。 在线危害涵盖多个维度，包括内容生产与分发过程中的危害，以及内容消费过程中的危害： – 内容生产的伤害 – 例如，某人遭受身体伤害，并且此类虐待被记录或直播以创建在线内容。这可能包括谋杀、袭击或成人及儿童性虐待的图像或视频。 – 内容分发中的伤害，例如，某人自愿自拍并分享了个人私密照片，但后来未经其同意在网上被他人分享和传播。该人在内容创作过程中可能并未受到伤害，但在其私密照片被共享后则面临风险。同样，内容制作过程中遭受虐待的受害者，在内容被分发时可能会经历更严重的创伤。拍摄、分享或消费此类内容的人也存在被伤害的风险。在这种内容中被物化的人也受到了伤害，因为该内容的传播可能会强化对特定群体的负面态度。放大或重新分享针对少数群体的仇恨言论就是一个例子，这会进一步巩固对这些被低估群体的刻板印象，并对这些人造成更大的伤害。 通过从人权的角度界定在线危害，这种分类强调了对个人用户的影响，并旨在提供一个广泛的分类框架以支持全球政策的发展。它指出，在不同司法管辖区，特定危害的具体定义存在区域差异，且在如何定义或分类常见类型的危害方面没有国际共识。鉴于在线危害的背景性质，该分类并不旨在提供适用于所有情境下的精确定义。 遵循《全球数字安全原则》，该分类强调了平衡不同权利的重要性，承认所有类型的在线危害都有可能非法剥夺个人参与和表达的权利。 – 内容消费的危害，例如，一个人因观看非法、不适合年龄、潜在危险或误导性内容而受到负面影响。 在线互动（接触）以及由技术促进的行为（行为）也可能导致网络危害的发生。 在这个阶段，主要由各个在线服务提供商自行制定其平台在社区准则或服务条款范围内允许或不允许的活动和内容的相关规则和指南。然而，这些规则和服务条款在不同的服务之间可能存在显著差异。 以下危害分类建立在现有和新兴的国际方法基础之上，这些方法用于理解和减轻在线危害，详情参见本文件资源部分所列。 个体和社会所遭受的伤害，但这些伤害并不能被完全涵盖所有类型的伤害（例如动物虐待）。它为多利益相关方讨论提供了共同的基础，以形成对在线危害的共同术语和理解。在确定应对任何这些伤害类别下内容或行为的适当干预措施时，需要考虑国际人权公约的更广泛背景，以及可能的内容和行为例外情况，尤其是那些具有新闻价值、教育意义、艺术价值或其他优点的新内容和行为。 这种分类有助于公司（包括早期阶段的企业）理解其服务用户可能遭遇的各种在线危害及其对受害者的影響、不同的虐待模式以及可能导致伤害的因素。此外，这种分类有助于政府通过建立共同语言来识别在线危害，并促进民间社会组织参与多利益相关方讨论，以倡导构建更安全的网络生态系统。通过使用这种分类，来自各个领域的利益相关方可以促进协作应对在线危害带来的挑战。 可能影响未来技术范式（包括元宇宙和Web3）的潜在危害在此报告中未被提及。然而，在下一步中，联盟将制定一个防患于未然的在线危害框架，以帮助各利益相关方跟上技术进步的步伐。 企业及品牌受损的情况（例如版权侵权）不在该分类学的范围内。该分类学不旨在规定应对损害所采取的行动，也不寻求对损害的严重程度进行评级。此外，该分类学专注于在线环境。 2在线危害的类型 该分类学认识到在线安全的复杂性和相互关联性，涵盖内容风险、接触风险和行为风险。 2.1 对个人和社区安全的威胁 尽管在线危害通常针对个别人士，但它们对社区和社会产生更广泛的影响。类似地，社会危害也具有个人层面的影响和后果。 3. 支持恐怖的材料 提倡进行恐怖活动的材料，因为它建议、促进、鼓励或敦促进行恐怖活动，提供了进行恐怖活动的指导，或在存在显著风险的情况下直接颂扬进行恐怖活动（即存在这种颂扬可能导致人员从事恐怖活动的风险）。11 联合国《儿童权利公约》一般性意见25指出：“各国应采取立法和行政措施，保护儿童免受数字环境中的暴力，包括定期审查、更新和执行旨在保护儿童免受各种形式暴力（包括已识别和新兴风险）侵害的 robust 法律、监管和机构框架。”8 4.赞美 ， 促进 ， 荣耀的内容或支持极端主义组织或个人 包含鼓励参与或旨在招募个人加入暴力极端组织（包括恐怖组织、有组织的仇恨团体、犯罪组织及其他针对平民的非国家武装团体）的内容，涉及组织名称、标志、旗帜、口号、制服、手势、敬礼、插图、肖像、歌曲、音乐、歌词或其他代表暴力极端组织或个人的物体。 《世界人权宣言》第三条指出：“每个人都拥有生命、自由和人身安全的权利。”9 a. 内容风险 1. 儿童性虐待材料(CSAM) 任何形式通过任何方式对儿童参与真实或模拟的明确性行为活动的任何表现，或对儿童性器官的任何表现，且主要目的是为了性目的。尽管许多国家的法律仍然使用“儿童色情制品”这一术语，但全球范围内已出现一种趋势，即采用“儿童性虐待材料”（CSAM）这一术语，以准确传达性化的材料描绘或以其他方式表现儿童实际上是对儿童性虐待的一种表现形式，并且是一种形式。10 5. 暴力图形内容 推广、煽动、传授使用暴力或威胁暴力实施谋杀、未遂谋杀、酷刑、强奸和绑架他人行为的内容。在考虑此类内容可能涉及的各种背景时，应包括对其谴责或说明的目的以及记录人权侵犯行为的背景。 2. 儿童性剥削材料 (CSEM) 对儿童进行性别化和剥削的内容 ， 无论是否显示儿童的性虐待。 c. 行为风险 6.煽动、促进或便利的内容暴力 1.技术促进滥用 (TFA) 包括包含暴力和恐吓的直接和间接威胁的内容。 使用数字技术来启用、协助或扩大对一个人或一群人的滥用或强制控制。 7. 促进、煽动或指导危险身体行为的内容 2. 技术促进的基于性别的暴力 在非专业环境下促进、煽动或提供指导进行可能导致用户或公众成员严重受伤或死亡的活动的内容。 一种由信息技术或其它数字工具实施、协助、加剧或放大，并导致或可能导致身体、性行为、心理、社会、政治或经济伤害，或基于性别特征侵犯权利和自由的任何形式的技