数字安全工具包设计干预措施和创新 ：在线危害的类型I N S I G H T R E P O R TA U G U S T 2 0 2 3 图片:Getty Images ， UnsplashContents前言34执行摘要1 Introduction52 在线危害的类型2.1 对个人和社区安全的威胁2.2 对健康和福祉的危害2.3 仇恨和歧视2.4 侵犯尊严2.5 侵犯隐私2.6 欺骗和操纵3 结论778910101112131516附录 ： 资源贡献者尾注免责声明本文档由世界经济论坛作为贡献到项目、洞察区域或交互。fi 的定义、解释和这里表达的结论是一个结果促进和世界经济论坛但其结果不一定代表世界经济的观点论坛 ， 或其全体成员 ，合作伙伴或其他利益相关者。© 2023 年世界经济论坛。所有权利reserved. No part of this publication may以任何形式复制或传播或以任何方式 ， 包括影印和记录 ， 或通过任何信息存储和检索系统。数字安全设计干预和创新工具包2 2023 年 8 月数字安全设计工具包干预和创新 ：在线危害的类型前言朱莉 · 英曼 · 格兰特澳大利亚电子安全专员亚当 · 希尔德里斯创始人 Crisp Kroll业务Minos Bantourakis头, 媒体, 娱乐体育产业,Daniel Dobrygowski头 ， 治理和信任 ，世界经济论坛世界经济论坛互联网将世界变成了一个全球性的村庄 ， 连接来自不同角落的人们世界轻松快捷。然而 ， 它也有加剧了各种社会危害 ， 如欺凌骚扰、仇恨言论、虚假信息和激进化。这些危害的放大 fi 阳离子有深远的后果 ， 影响个人 ，社区和社会。在线危害的类型学 ， 如这份报告。这份报告打算努力创建通用术语和共享术语在讨论在线危害时理解跨司法管辖区。此外 ， 它旨在促进关于在线危害的对话 ， 但它没有着手提供任何严重性评级或将被使用为了遵守法规。虽然互联网本质上是全球性的 ， 但危害可能是高度局部或上下文特定的 fi c ： 独特的风险可能出现在不同的国家或地区或不同的社区。文化规范等因素 ，法律制度和社会价值在 fi uence 中如何个人感知和响应在线威胁。在这种情况下 ， 重要的是要承认数字安全需要一系列复杂的审议、平衡法律、政策、伦理、社会和技术考虑。数字安全决策必须植根于国际人类联盟 ， 打算促进合作数字安全 ， 通过创建此文档广泛的研究、合作和专家协商。这种类型学补充了其他Signi fi Cant 联盟的出版物 ， 包括全球数字安全原则, 已发布32023 年 1 月 ， 它认识到有必要推进对在线危害的共同理解问题。它也补充数字安全风险行动中的评估 ： 框架和银行案例研究， 于 2023 年 5 月推出。一起 ，4权利框架。1这些出版物提供了宝贵的资源政策制定者 ， 行业领导者 ， 公民社会组织、研究人员和个人 ， 帮助解决网上有害内容的问题以全面和尊重权利的方式。为了解决复杂的景观危害在网络空间中 ， 世界经济论坛的全球数字安全联盟正在发展2数字安全设计干预和创新工具包3 执行摘要在线危害的类型学旨在提供一种基础通用语言 ， 促进多利益相关方和跨司法管辖区讨论推进数字安全。由全球工作组开发数字安全联盟 ， 包括和进行风险。同时认识到作为第四个 “C ” 的合同 ， 对儿童的影响风险来自行业、政府、公民社会和学术界 ， 这种类型学服务作为促进多利益相关方的基础讨论和跨辖区对话到 fi 和通用术语并共享了解在线安全。与商业化和数据 fi 阳离子有关 ， 这7类型学使用 “三 C ” 框架来包含广泛的最终用户的在线安全风险。它对这些危害进行分类 ， 包括对个人的威胁和社区安全 ， 如儿童剥削和极端主义内容 ， 对健康造成的伤害内容促进自杀或饮食失调和通过欺凌侵犯尊严和隐私以及骚扰、欺骗和基于形象的虐待。欺骗和操纵 ， 如虚假信息和被操纵的媒体 ， 也得到了解决。类型学考虑到区域和本地上下文。它承认复杂和互连的性质在线安全 ，在线危害的类型学是不可或缺的一部分数字安全设计干预工具包和创新 ， 关键工作流之一由全球数字安全联盟发起。此工具包旨在 de fi ne 在线危害和确定潜在的技术、政策、流程和设计需要推进的干预措施以尊重权利的方式提供数字安全。由与促进共享的承诺保持一致通过 A 了解在线危害问题多利益攸关方对话 ， 以及呼吁政府明确区分非法内容和合法但可能是有害的概述全球数字原则虽然本出版物不特别涵盖 fi新兴技术 ， 如隐喻 ，Web3 或生成 AI ， 它强调需要不断发展的进程随着技术进步和他们的社会影响。为此 ， 联盟还将在开发一个概念和全面的框架 ， 以确保在线方法危害是未来的证明。包含内容, 联系人和进行风险。安全， 类型学补充了联盟的5努力促进数字安全 ， 同时尊重个人的权利。它也可以被有效地利用与数字安全风险评估除了在线危害的类型学之外 ，联盟正在准备两份即将发布的报告 ，将补充这项工作。 fi 第一次报告 ，风险因素、度量和测量， 重点是评估不利影响风险的方法来自在线危害 ， 以及 fi 的好处缓解行动 ， 第二个 ，基于解决方案干预措施， 借鉴设计安全原则和最佳实践 ， 以提供资源来协助公司在有效识别和减少数字风险 ， 防止伤害 ， 促进信任和安全。在行动中， 因为这种类型提供了一种常见的6用于分类和 de fi 的语言需要评估的在线危害类型。考虑到互联网的全球性和在线危害的当地影响 ， 类型考虑到区域和当地的情况。它认识到复杂和相互联系的性质在线安全 ， 包括内容 ， 联系人数字安全设计干预和创新工具包4 Introduction1在线危害的类型学作为一种建立通用术语的基础以及对多样化的共同理解在线出现的风险范围 ， 包括在生产、分销和内容消费。在线危害包括各个方面 ，包括伤害内容生产和分布 ， 以及内容的危害消耗量:并认为有必要解决在线危害尊重权利的方式。危害可能是并发的并且相交 ， 并且它们的分类不是始终独占。例如 ， 虽然基于图像滥用包括在隐私标题下 ，它也可能与对人身安全的危害有关和健康和福祉。同样 ， 儿童性剥削和虐待是对个人和社区安全 ， 有害健康和福祉 ，侵犯尊严和侵犯隐私.在线危害也可能构成更广泛的一部分可能发生在一系列技术 ， 包括实施的行为在线和 fi 线 ， 风险向量可能重叠对于某些伤害。例如 ， 当儿童性滥用材料 (CSAM) 主要被列为内容风险 ， 它可以作为接触或行为的结果 ， 如修饰性勒索.–内容生产的危害 - 对于例如 ， 当一个人受到身体伤害时 ，并按顺序记录或流式传输虐待创建在线材料。这可能包括谋杀、袭击或对成人或儿童的性虐待。–内容分配的危害 - 对于例如 ， 一个人的亲密形象是自产自销和自愿分享的 ，后来在网上共享和分发 ， 没有他们的同意。那个人可能不是在内容的生产中受到损害 ， 但一旦他们的亲密形象受到伤害shared. Similarly, victors who are the subject在制作内容时可能面临的滥用当内容为分布式。那些 fi lm 、分享或消费的人内容也有受到伤害的风险。那个人此类内容中的客观 fi 也受到损害因为该内容的分发可以强化对某些人的消极态度人口。扩增或重新分享仇恨关于少数群体的评论是加强对代表性不足的群体 ， 长期存在的偏见并进一步伤害这些人。通过在网上陷害人权镜头 ， 这种类型学强调对个人用户 ， 旨在提供广泛的对危害进行分类以支持全球政策发展。它指出 ， 有区域关于特定 fi c 危害如何被 De fi Ned 的差异在不同的司法管辖区 ， 并且没有关于如何去 fi ne 或分类常见的危害类型。考虑在线伤害的上下文性质 ， 类型学并不旨在提供精确的 de fi 定义在所有情况下普遍适用。–内容消费的危害 - 对于例如 ， 一个人受到负面影响由于看到非法的 ， 年龄不合适的 ，潜在危险或误导性内容。根据全球数字安全原则 ，这种类型强调了平衡不同的权利 ， 承认所有在线伤害的类型有可能非法剥夺个人参与和参与的权利在网上表达自己。在线危害也可能由于在线而发生与他人互动 (联系人) 并通过技术促进的行为 (行为).在这个阶段 ， 这在很大程度上取决于个人在线服务提供商建立规则和准则对于属于或属于的活动和内容的类型不允许在社区内的平台上准则或服务条款。但是 ， 这些可以在服务之间显著发散 fi 。以下危害类型建立在现有和新兴的国际方法理解和减轻在线危害 ， 如在本文档的参考资料部分中列出 ，数字安全设计干预和创新工具包5 这种类型可以帮助公司 ， 包括那些在早期阶段 ， 了解范围可能对其用户造成的在线危害服务 - 以及它们对受害者的影响 ，不同的滥用模式和可能的因素有助于伤害。此外 ， 类型学可以帮助政府通过建立共享语言识别在线危害并促进寻求参与的民间社会组织在多利益相关方讨论中 ， 倡导一个更安全的在线生态系统。通过使用这种类型 ，所有部门的利益相关者都可以促进应对挑战的协作方法由在线危害构成。危害影响个人和社会 ， 但是不能被认为是完全详尽的所有类型的伤害 (例如虐待动物) 。它确实为多利益相关方提供共同的基础讨论以开发共享术语和对在线危害的理解。在确定对内容或行为的适当干预属于这些伤害类别中的任何一个 ，更广泛的国际人权背景公约需要考虑 ， 就像内容和内容的潜在上下文异常具有新闻价值、教育性、艺术性或还有其他优点。可能影响未来技术的危害范式 ， 包括隐喻和 Web3 ， 是本报告中没有概述。然而 ， 作为下一步 ，联盟将开发一个面向未来的框架关于在线危害 ， 以帮助不同的利益相关者保持随着技术的进步。对公司和品牌的损害 (例如版权侵权) 不在本范围内类型学。类型学不旨在规定为应对危害而采取的行动它是否试图为危害分配严重等级。此外 ， 类型学侧重于在线数字安全设计干预和创新工具包6 在线的类型学危害2类型学识别复杂的和互联的在线性质安全、包含内容、联系和进行风险。2.1对个人和社区安全的威胁尽管在线危害通常针对一个人 ， 他们有更广泛的社区和社会影响。同样 ， 社会危害有个人影响和后果。3. 支持恐怖的材料鼓吹从事恐怖分子的材料采取行动是因为它建议、促进、鼓励或敦促从事恐怖行为 ， 提供关于从事恐怖行为或直接赞扬在存在重大风险的情况这样的赞美可能会产生领导的效果从事恐怖行为的人。11《联合国人权公约》儿童第 25 号一般性意见断言 ： “国家各方应采取立法和行政保护儿童免受暴力侵害的措施数字环境 ， 包括定期审查 ，更新和执行强有力的立法 ，监管和体制框架保护来自所有公认和新兴风险的儿童4. 赞美、促进、荣耀 fi es 的内容或支持极端主义组织或个人数字环境中的暴力形式。 “8《世界人权宣言》第三条权利指出 ： “每个人都有生命权 ，包括鼓励参与的内容在 ， 或打算招募个人 ， 暴力极端主义组织 - 包括恐怖分子组织, 有组织的仇恨团体, 犯罪组织和其他非国家武装团体以平民为目标 - 带有名字 ， 符号 ，标志、 flags 、口号、制服、手势、致敬, 插图, 肖像, 歌曲, 音乐,歌词或其他旨在代表暴力的对象极端主义组织或个人。“人的自由和安全 ” 。9a. 内容风险1. 儿童性虐待材料 （ CSAM ）以任何方式表示儿童从事真实或模拟的露骨性行为活动或任何性的表现孩子的部分主要用于性目的。虽然许多国家的法律继续使用 “儿童色情 ” 一词 ， 有是一场全球性的使用运动“儿童性虐待材料 ” （ CSAM ）正确传达性别化的材料描绘或以其他方式代表儿童是确实是孩子的一种代表和形式性虐待。105. 暴力图形内容促进、煽动、提供指示或描绘包括谋杀在内的行为 ，谋杀、酷刑、强奸和绑架未遂另一个人使用暴力或威胁暴力。重要的是要考虑此内容可能存在的各种上下文出现 ， 包括谴责 / 提供信息目的和在记录的上下文中侵犯人权。2. 儿童性剥削材料 (CSEM)性化和剥削性的内容孩子 ， 无论它是否显示了孩子的性虐待。数字