以人为中心的AI：对英语学习和评估的启示

以人为中心的AI：对英语学习和评估的启示 教育是我们社会的一部分‘ty’社会总是在不断变化，作为教育工作者，我们有责任进行创新，以培养学习者适应未来。 巴里·奥沙利文教授 OBE，英国文化教育协会英语语言研究总监 目录 我们的未来愿景 14人工智能普及 13我们的道德承诺11研究和创新在英国文化教育协会06准备成功08作者和贡献者03引言05 作者和贡献者 Mariano Felice 博士 马里奥负责英国文化委员会的语言学习和评估领域的人工智能（AI）战略。他的职责包括研究自然语言处理（NLP）在语言评估中的应用，为人工智能解决方案的开发和采用提供战略指导，以及推广人工智能素养和新技术负责任的使用。 理查德·斯皮比 理查德从事英国文化教育协会全系列考试的研制与验证工作。他的职责包括测试分析和研究新评估和现有评估的组成部分。 巴里·奥沙利文教授 OBE 巴里从事语言测试工作已超过三十年。他的工作包括开发和验证英国文化协会的Aptis测试（2012年）以及测试开发和验证的社会认知模型构想。 亚当·埃德梅特博士 Adam是英国文化教育协会的EdTech创新部门负责人，拥有27年英语语言教学和数字学习技术的经验，曾在14个国家担任过职务。他毕业于巴斯大学，获得在线教育博士学位，以及开放大学获得的教育硕士学位。 教育行业必须在道德人工智能实践中起到引领作用，以确保为每一位学习者提供更智能、更公平的解决方案。 乔安娜·皮尔森，英国文化教育协会新产品开发部总监 引言 随着人工智能（AI）继续改变教育行业，该领域的组织必须制定应对这种变化的策略，并学会利用新技术以获取优势。尽管许多人可能将人工智能日益强大的功能视为威胁，但它们同时也提供了一个宝贵的创新机会。在语言教学、学习和评估（TLA）的背景下，人工智能可以推动至今为止可能性的边界，使新的方法能够使整个学习旅程更加引人入胜、个性化和高效。 作为TLA领域的关键参与者，我们必须抵制使用技术而不明确目的或策略的想法。将新技术，如人工智能，融入教学和评估实践可以带来极大的益处，但只有当它们建立在稳固的理论支柱和实证研究之上时。因此，我们对我们所有利益相关者的承诺的关键部分是确保我们评估工具的有效性，这不应因包含技术而受到损害。1. “生成式AI”似乎智能的能力，以及更具体地说，像ChatGPT这样的大型语言模型（LLMs），并不能抹去教育者和语言专家在几个世纪中积累的知识和经验。我们的集体专业知识不能被LLM取代，更不用说被简化为一个“提示”。然而，我们不能忽视这些工具在完成复杂任务和产生高质量输出方面所展现出的非凡能力，因此，今天不使用它们将是一个错误。关键是批判性地和战略性地使用它们。通过采用平衡的方法，将AI的最佳与人类专业知识相结合，我们可以确保我们提供现代且高效的解决方案，提升所有利益相关者的TLA体验。 组织若不能与时俱进并利用这种潜力，将发现越来越难以维持运营，因为个人继续将更快、更便宜、更高效的获得所需的需求放在首位。然而，这并不意味着技术应该决定我们教学、学习和评估的方式。TLA中的基本原理和方法仍然适用。没有这些，技术只是空壳。 以下内容，我们概述了当前我们对将人工智能融入语言学习和评估的看法和 approach，并鼓励组织和个体反思这些原则在我们领域的重要性。 人工智能融入教学和评估实践可以带来极大的益处，但只有当其建立在坚实的理论基础和实证研究之上时。 研究和创新在英国文化教育协会 英国文化协会在英语语言教育和评估领域拥有悠久的创新历史，从20世纪40年代初在口语测试中引入留声机，到十多年前开发Aptis考试服务。秉承这种先锋精神，我们认识到人工智能在现代世界的重要性，并热情地拥抱它，以构建下一代学习和评估产品。 为确保技术成为教育促进者而非障碍，它必须无缝集成到学习和评估生态系统中。这意味着要确定其增值的位置和方式，遵循最佳实践，并在学习过程中展示其有效性。3. 在英皇书院，我们将语言教育整个过程视为一个单一的集成系统，即综合学习系统（CLS）。4这个CLS由三个要素组成：课程、交付系统和评估系统（图1）。 我们的技术应用建立在坚实的理论基础和不断增长的研究成果之上，这些成果支撑着我们所有在TLA领域的工作。我们的方法以人为中心，以学习者为先，优先考虑所有利益相关者的需求和福祉，尤其是学习者。2通过使用人工智能，我们旨在帮助学习者以更高效、更真实、更可靠、更公平和更快的途径展示他们的能力。 课程与所教授的内容相关，涉及被研究的潜在结构或特征的定义。交付涉及课程的所有交付方面，包括教学、教材和基础设施。评估包括所有评估活动，包括形成性和总结性评估。 除了学习者外，人工智能还可以惠及我们使用场景中的其他利益相关者，因为它有潜力对CLS的所有组成部分产生积极影响。例如，LLMs（大型语言模型）可以帮助课程设计、内容生成、题目编写和反馈。语音识别和合成对于设计自然虚拟导师至关重要。自动评分模型使得按需实时评估成为现实。可能性是无限的。然而，我们始终必须确保我们使用正确的工具来实现我们的目的，并在部署前后仔细评估我们解决方案的影响。 CLS，与其他所有学习系统一样，在其关键利益相关者定义的使用环境中运行，学习者被视为最重要的一方。这意味着将学习者置于我们所做的一切的中心，包括我们使用的技术。 在此背景下，将技术置于首位是不明智的，同样也令人不快。再次强调，技术应被视为一种赋能工具，而非驱动因素。数字评估解决方案必须是将我们的评估需求（情境、任务、结构、测量）转换为技术工具（人工智能、硬件）的战略组合的结果，而不是相反。从技术能做什么开始，逆向工作来定义我们的评估目标，这会破坏评估的基本原则，即结构的识别（我们要测量什么）必须逻辑上先于其实施（我们将如何进行）。评估目标不能由技术能力来决定。5我们作为教育领域的领导者，致力于确保任何数字解决方案都是建立在稳固的理论基础之上，并且从其诞生之初就与明确的学习目标相一致。 准备成功 AI系统在TLA领域的成功实施很大程度上取决于创造一个适宜的环境。即使是最优秀的系统，如果我们的生态系统中的关键玩家不愿意拥抱技术，也将注定失败。恐惧、怀疑和误解可能会产生强烈的抵制，并阻碍本应非常适合的系统成功。不能低估也不能想当然地认为利益相关者对技术的态度不重要。 在英国文化协会，我们相信任何成功的AI采用都必须基于以下基础： 人工智能素养 自从几年前初次涉足人工智能评估领域以来，英国文化委员会在推广其工作及提升人工智能素养方面发挥了非常积极的作用。这包括会议（如“新方向”会议）、网络研讨会、研讨会、旗舰活动、培训机会和公开报告。我们坚信，只有通过适当的教育，个人才能充分挖掘新兴技术的潜力。 所有利益相关者都必须学习人工智能的基本概念、其工作原理以及它在我们数字产品中的使用方式。不同利益相关者所需的识字水平将取决于他们在CLS内部角色中做出知情决策所需了解的内容，并应赋予他们在采用工具之前进行批判性评估的能力。对于教育工作者来说，这可能意味着评估自动评分解决方案的适用性；对于学习者来说，决定数字测试是否有助于他们实现目标；对于政策制定者来说，评估使用特定工具是否可能对学生群体产生不良后果。 AI素养在涉及跨学科团队的项目中也同样至关重要，因为这些团队需要共同理解概念以有效沟通。团队成员必须意识到AI的能力、局限性和潜在影响，以便评估这如何影响他们的工作流程。这种理解将使他们获得竞争优势，并以批判性思维和现实期望来接触AI。 人工智能系统在教学、学习和评估方面的成功实施很大程度上取决于创建一个合适的环境。 专业知识 在技术不断变革的时代，非专业人士跟上最新发展颇具挑战。现代技术的复杂性及其影响需要不同领域的专业知识，这些知识必须汇聚起来以实现最佳效果。随着我们认识到不同学科在塑造教育未来中的重要性，我们积极鼓励与领域内外专家的互动。 与使命相符，英国文化协会与世界各地的大学、公司、政府、组织以及杰出个人建立并繁荣合作关系，共同高效地解决当今英语学习者的需求。实际上，我们现有的所有数字解决方案都是与多个学科领域的专家合作的结果。 负责任的使用 将学习者置于我们所做的一切的核心意味着我们对待技术的使用持谨慎态度，这最小化了不必要的或不可预见的影响。通过优先考虑个人的权利和福祉，我们确保我们的数字解决方案在不妥协安全、隐私或伦理标准的前提下提升学习体验。 确保技术按预期工作的一个关键方面是在开发过程中持续测试我们的产品。这是通过广泛的模拟和用户测试来完成的，专家和潜在用户都可以测试新产品并提供反馈。从这些互动中获得的认识对于识别潜在问题并确保我们不违反伦理原则至关重要。 然而，尽管遵守当前法律法规在保护用户方面扮演着主要角色，我们同时采用伦理和保障措施来确保我们的承诺，即对所有利益相关者进行可靠和公平的评估。这种方法确保我们与核心价值观保持一致，并提供人人可信赖的解决方案。 人力资源领导和监管 采用以人为本的方法对于确保人工智能模型符合我们的需求和价值观至关重要。通过及时做出决策，我们保持控制权，并能够最小化机器可能产生的任何潜在有害或去人性化的影响。 我们作为“人机协同”的一部分，负责在部署前、部署中和部署后评估AI模型，以确保它们按预期工作。这种持续监控有助于我们提前识别潜在问题，并对任何必要的调整进行干预，以防止不希望的结果。同样，在必要时保留覆盖自动化系统输出的能力以及在高风险场景中签署决策也是至关重要的。 这四个原则为我们提供了使用人工智能的方向，使我们能够高效、道德、可靠地使用人工智能，最大化我们成功的可能性。 这四个原则为我们提供了在高效、道德和可靠的方式下使用人工智能的方向，最大化我们成功的机会。此外，我们方法的一个显著优势是涉及到一个多样化的利益相关者群体，他们在发展的不同阶段参与其中。这使我们能够从不同的角度收集见解，持续评估我们解决方案的有效性和影响，并在最终产品公开发布之前进行任何必要的调整。 我们的道德承诺 在技术普遍可用且易被滥用的世界中，我们识别并努力最小化其对用户的潜在有害影响至关重要。作为这些技术解决方案的提供者，我们有责任确保我们的产品不会对用户或环境产生负面影响。未能做到这一点不仅会损害我们对产品和组织的信任，还可能导致法律后果，损害我们的声誉。 为了防止这些问题，英国文化协会遵循并倡导一种“设计中的伦理”方法，旨在从开发的早期阶段识别和解决潜在的伦理问题。6这个框架基于六个原则（见下一页）。 未能遵循这些原则会使我们的系统变得不道德，因此我们必须努力维护并将这些价值观融入我们的实践中。确保遵守这些指南的一种方式是通过在开发过程中的定期评估，随后在部署后进行审计，理想情况下与专家合作。 尽管这不是一个法律框架，因此法律上没有义务遵循这一实践，但许多这些原则最近已被纳入国家和国际立法，现在成为法律要求。然而，作为人工智能系统的提供者和使用者，我们应该将道德考量作为优先事项，因为它们鼓励我们以公平、安全、包容的方式使用技术。 尊重人类能动性 系统应尊重人的自主性、尊严和自由。 隐私与数据治理 个人信息必须依法处理，处理方式应确保安全，并能够被人审计。 公平 系统必须平等地对待所有人，避免歧视，减少偏见和负面影响。 个人、社会和环境影响 系统应尊重人的自主性、尊严和自由。 透明度 用户必须知道他们何时在与计算机系统互动，任何自动化决策都必须是可解释和可追溯的。 责任与监督 系统必须有一个“人在回路中”的负责人，负责其监控和操作。 道德考量应作为我们作为人工智能系统的提供者和使用者的一项优先事项，因为它们鼓励我们以公平、安全和包容的方式使用技术。 人工智能，人人可用。 与上述伦理原则相符，我们应认识到个人和组织设计并实施人工智能工具的责任，以便它们增加获取教育的机会。当然，人工智能有潜力成为一种包容性教育工具。通过同时具备针对大量学习者进行扩展和针对个别学习者需求进行调整的