携手：学校拥抱人工智能与学生风险增加的关联

学校对人工智能的采用与学生对学生的风险增加有关 伊丽莎白·莱尔德 马迪·德怀尔汉娜·奎-德·拉瓦利 The民主与科技中心 (CDT)是最具影响力的非党派、非营利组织，致力于在数字时代推进公民权利和公民自由。我们专注于公平和民主价值观，塑造技术政策、治理和设计。成立于1994年，CDT自互联网早期就一直是数字权利的坚定倡导者。该组织总部位于华盛顿特区，并在比利时布鲁塞尔设有欧洲办事处。 随着政府扩大其技术使用和数据应用，确保其以确认个人隐私、尊重公民权利、促进包容性参与体系、推动透明和问责的监督、并在更广泛社群中促进公正社会结构的方式进行，是至关重要的。 公民技术项目中的CDT股权通过提供平衡的倡导来促进数据和技术负责任的使用，同时保护个人的隐私和公民权利，从而推进这些目标。我们从技术和政策导向的角度参与这些问题，创造以解决方案为导向的政策资源和可操作的技術指导。 本报告根据知识共享署名 4.0 国际许可证授权。 手牵手 学校对人工智能的采用与学生对学生的风险增加有关 伊丽莎白·莱尔德，玛迪·德怀尔，和汉娜·奎·德·瓦勒 封面插画：高松杜思特 图形设计：有形设计/下一章传播 本报告的尾注包含原始链接以及由Perma.cc服务存档和缩短的链接。Perma.cc 链接还包含检索日期和存档的信息。 内容 152430343945505659626363尾注64移民学生：隐私和安全面临风险本报告使用的关键术语额外资源方法论性别流动学生与隐私：各学校在政策与保护措施上有所不同聊天机器人和学生：与人工智能的互动影响现实生活中的关系引言：人工智能在学校中的应用现状及潜在风险5人工智能与个别教育计划：教师使用量在残疾学生担忧加剧中增长学生活动监控：技术仍然无处不在，对学生造成的危害依然存在课堂中的AI：应用扩展伴随着关于什么构成优质教学与学习的疑问人工智能素养：培训与指导被认为有帮助，但未能跟上人工智能的采用或已知风险学生隐私：与现有担忧和威胁相关的AI使用深度伪造与NCII：技术扩展了现有的性骚扰和欺凌威胁 引言：人工智能在学校中的应用现状及潜在风险 01 人工智能（AI）在2024-25学年持续改变着教师、学生和家长的教育体验。AI使用的频率和多样性不断增加；与此同时，教育环境中AI的日益普及与学生面临的风险加剧相关。下一节将详细说明当前状态关于在学校中使用人工智能四项新兴风险与这项技术相关，所有这些都随着学校更多地使用人工智能而增加： • 数据泄露或勒索软件攻击； • 基于技术的性骚扰和欺凌； • 不按预期运行的AI系统；和 • 学生与技术之间的困扰互动。 识别学校使用人工智能所带来的具体风险，使教育工作者、学校管理者、政策制定者和社区能够采取预防和应对措施，从而确保人工智能的积极用途不会无意中伤害学生。 当前学校中使用人工智能的现状 绝大多数教师、学生和家长表示他们使用过人工智能，个人使用比工作或学校使用更普遍。 收入较高或居住在城市和郊区的家长报告了更高的自己和孩子使用人工智能的比率，这可能表明存在人工智能鸿沟。 理解人工智能在学校中的应用 尽管大多数教师和学生表示自己使用过人工智能，但他们报告在学校中使用人工智能的方式数量差异很大。ii 新兴风险 报告的老师和学生许多与学校相关的用途也更容易报告暴露于如下风险： • 数据泄露或勒索软件攻击； • 技术支持的性骚扰和欺凌； • 无法按预期运行的AI系统；以及 • 学生与技术之间的令人担忧的互动。 越是教师和学生报告他们的学校使用人工智能，他们就越有可能报告在上一学年（2024-25）听说深度伪造和/或描绘与他们的学校有关人士的非自愿亲密图像（NCII）。iv 那些学校出于多种原因使用AI的学生更有可能报告说他们或他们的朋友与AI进行了来回对话，例如聊天机器人，并且这种方式可能令人困扰。 课堂中的AI：应用扩展伴随着关于什么构成优质教学与学习的疑问 02 课堂中使用人工智能的深度和广度正以飞快的速度不断扩展。与此同时，人工智能的日益广泛应用也引发了关于学术诚信和教师职业的基本问题。事实上，一起悬而未决的诉讼引发了关于因涉嫌不当使用人工智能而处分学生的法律问题，一起投诉（以及退费要求）则声称一位大学教授由于使用人工智能而未能提供一流的教育。1教育领导者可以预计，随着人工智能的使用增加，这些问题将会增加： • 人工智能的扩展使用如何影响关系学生和老师之间？ • 人工智能如何影响了教师的工作？• 学生的AI使用是否削弱了他们的批判性思维能力？• 学生可能以何种方式使用AI的影响是什么不允许? 百分之八十五的教师报告称，他们在上个学年（2024-25）期间在课堂上使用了人工智能，并且学校政策正朝着允许使用人工智能的方向发展。 学生和家长是否认为某种人工智能的使用是个好主意，以及教师是否确实以这种方式使用人工智能，有很大的差异。 老师们可能并不总是有权选择是否使用人工智能工具。 百分之二十四的教师他们报告说，AI被自动添加到了他们已经使用的教育工具中。 课堂中AI的使用日益增多，也带来了新出现的问题，其中一些问题是提供高质量教学与学习核心： • 人工智能的扩展使用如何影响关系学生和老师之间？2• 人工智能如何影响了老师的职责?3• 学生使用人工智能是否减少他们的批判性思维能力?4• 学生可能以何种方式使用AI的影响是什么不允许?5 人工智能的广泛使用如何影响学生与教师之间的关系？ 人工智能如何影响了教师的工作？ 超过三分之二的教师表示，学生使用人工智能创造了新的挑战。 学生使用人工智能会削弱他们的批判性思维能力吗？ 尽管出现越来越多的报道称人工智能会损害批判性思维能力，教师、学生和家长担心使用人工智能会导致关键技能受损。 学生可能以不被允许的方式使用AI的影响是什么？ 人工智能内容检测工具在解决学术诚信问题上的作用日益增强。 聊天机器人和学生： 03 与人工智能的互动影响现实生活中的关系 随着人工智能在学校中的使用日益普遍，越来越多的关于年轻人与人工智能工具产生困扰性互动的故事涌现出来，这些互动通常是通过与聊天机器人的来回对话进行的。6理解人工智能在课堂使用中的潜在联系及其与非学术使用的关联，包括是 否通过学校提供的应用程序发生，对于教育领导者来说很重要，这样他们就能向学校利益相关者提供信息和支持，以最大程度地减少对学生造成的风险。7 调查定义 人工智能用于来回对话这指的是使用交互式人工智能系统，通常是聊天机器人，允许用户输入信息并从系统接收响应。这些可能是独立的工具，也可能已作为学生已使用的其他工具的一部分而包含在内。这些工具可用于学校或任何地方。 大多数学生表示，他们或他们的朋友与人工智能进行过来回的交流，并出于广泛的目的，包括学术和非学术的目的。 当学生对AI系统进行与个人原因相关的来回对话时（即，非为作业），几乎三分之一（31%）说他们使用学校提供的设备、工具或软件来做这样的事情。 教师和家长报告了对经常使用人工智能进行来回对话如何影响学生的各种担忧，并且他们大多同意哪些结果最让他们担忧。 人工智能与个别教育计划：教师使用量在残疾学生担忧加剧中增长 04 人工智能工具，包括生成式人工智能工具，可以在学校的几个领域中使用。残疾社群特别关注的一个领域是这些工具在创建个别教育计划（IEP）和/或504计划中的使用。尽管使用人工智能为此目的可能具有潜在的好处，但它也带来了风险，包括这种做法可能会如何违反联邦残疾和隐私法律。 超过一半的持证特殊教育教师报告称他们使用人工智能来帮助他们处理个别教育计划（IEP）和/或504计划，而大多数学生和家长同意这是一个好主意。 n = 275 名持证特殊教育教师 n = 394 名有 IEP 或504 计划的学生 n = 336 名有 IEP 或 504 计划的儿童家长 尽管这些有 IEP 或 504 计划的学生越来越多地使用人工智能，他们也更有可能同意关于在学校使用人工智能的若干担忧。 人工智能素养：培训与指导被认为有帮助，但未能跟上人工智能的采用或已知风险 05 在学校发展人工智能素养（理解、评估和负责任地有效使用人工智能系统的能力）的努力已获得显著动力，在政策指导方针和大量资金的涌入下得到强力推动。8然而，教育领域并未等待这项培训和使用人工智能的指导——85%据教师报告，在过去一个学年（2024-25）中，他们至少用了一种方式在课堂上使用了AI。86%有学生表示他们曾使用AI进行学校或个人方面的活动。此外，当涉及到AI指导与培训应涵盖的内容时，家长、学生以及教师有不同的优先事项。这些脱节的风险在于会让教师、学生和家长不了解AI使用所带来的危害，也未做好应对技术失败的准备。9 图30. 有多少比例（%）的教师参与了学校或学区提供的任何涵盖指导教师课堂使用AI的学校政策和程序的培训或专业发展，并认为有帮助；有多少比例（%）的学生说学校里有某个人向学生提供了关于如何为学业或个人使用AI的信息，并认为有帮助 少数学生和教师正在接受关于风险的培训或信息，例如如果用户在使用人工智能系统时遇到问题，或者如果学生使用人工智能对他们身心健康有害该怎么办。 深度伪造与NCII：技术扩展了现有的性骚扰和欺凌威胁 06 在整个上一个学年（2024-25年），深度伪造和NCII的分享仍然是K-12学校的问题。学校在提供指导和资源方面仍然落后，尤其是考虑到AI驱动技术的快速发展的能力，这使得学生可以轻松地创建深度伪造NCII。 调査定义 深度伪造：深度伪造是指看似真实但实际上经过数字处理或伪造的视频、照片或音频录音，给人一种某人说了或做了他们实际上没有做的事情的印象。深度伪造是由人工智能创建的，非常逼真，使人难以区分真实内容和虚假内容。 非自愿色情图片（NCII）：在这份报告中，NCII既指真实NCII，也指深度伪造NCII。 真实非自愿亲密影像（真实NCII）有时被称为“报复性色情”（在基于图像的性虐待背景下，该术语已被弃用，因为其不足以描述内容真实虐待的性质），真实的NCII涉及某人未经所描绘人物同意，分享现实生活中的色情或亲密视频、照片或音频录音。 深度伪造非同意性亲密影像（深度伪造非同意性亲密影像）有时被称为“深度伪造复仇色情”或“合成NCII”，深度伪造NCII是看似真实但实际上经过数字操控或伪造的视频、照片或音频录音，目的是展示某人实际上并未做过的不雅或私密性行为。深度伪造NCII是在未经被描绘人物同意的情况下传播，非常逼真。 同样，虽然学生们从学校获得的关于深度伪造NCII的整体信息水平较低，但40%的学生表示他们至少对该主题进行过一些讨论或指导。 学生和家长表示，严厉惩罚和教育或修复途径相结合将最有效地阻止学生分享深度伪造的NCII。 学生活动监控：技术仍然无处不在，对学生造成的危害依然存在 07 今年带来了关于学校使用学生活动监控软件造成的危害和长期影响的新的第一手报告和诉讼。10同时，学生活动监控仍普遍存在于K-12学校中，诸如学生惹上麻烦、被执法部门接触以及被曝光（例如，当学生性别认同或性取向在未获得其同意或批准的情况下被公开）等常见问题仍具有重要意义，尽管其出现频率自2023-24学年以来并未增加。 调查定义 学生活动监控：学生活动监控是指利用技术追踪学生的在线活动，例如学生登录系统的时间、学生的屏幕内容或电子邮件，以及/或学生的网络搜索。学生活动监控还可以让学生在电脑上正在查看的内容实现实时可见性，并可能发生在学习管理系统内或通过单独的软件程序。 在学校个人设备上安装监控软件的学生更有可能报告说他们本人或他们认识的人因监控而受到处罚，但不会因为是学生在网上做的事情而惹上麻烦。 学生隐私：与现有担忧和威胁相关的AI使用 08 使用涉及收集和存储学生个人身份信息的全新系统会带来增加的隐私和安全风险，人工智能也不例外。随着教育科技工具，尤其是人工智能驱动工具的日益普及，学