审查公共部门技术供应商的指导框架

©福特基金会审查在公共部门运营的技术供应商的指导框架1 慈善组织的项目官员，他们经常收到被框定为“向善的技术”、“正义技术”或公共利益技术的提案。公共机构的员工，其工作是采购数字服务/产品并评估技术供应商评估公共机构采购和/或部署的数字技术的社会影响的第三方审计师和倡导者这是什么指导框架和它是谁?该指导框架有助于分析基于数字技术的新提案可能影响美国公共部门的方式，特别关注它们对人权、社会和经济正义以及民主价值观的影响。该框架可以与您当前的尽职调查流程结合使用。您是否在审查过程中遵循变革理论方法，还是进行详细的影响评估（例如，《联合国工商业与人权指导原则》进行人权影响评估的方法，1 算法的影响评估,2 隐私影响评估3），解决以下危险信号的指南可以很容易地集成到这些流程中。主要受众:其他组:1 “人权影响评估指南和工具箱”，丹麦人权研究所，https:// www.humanrights.dk/tools/human-rights-impact-assessment-guidance 工具箱2“算法影响评估：公共机构问责制的实用框架”，AI Now Institute，https://ainowinstitute.org/aiareport2018.pdf3“隐私影响评估”，美国卫生与公众服务部，https:// www.hhs.gov/pia/index.html©福特基金会2希望为公共机构构建数字服务的供应商和社会企业家。它帮助他们评估自己服务的社会危害和意外后果。 该框架由一系列危险信号组成，分为七类：1.理论的变化和价值主张2.商业模式和资金3.组织治理、政策和实践4.产品设计、开发和维护第三方关系、基础设施和供应链 政府关系社区参与©福特基金会5.6.7.每一个红旗伴随着:几个问题来帮助识别红旗的提议假设的例子或场景显示在特定背景下，该危险信号如何可能导致社会危害资源学习更多的关于一个给定的红旗3 你为什么需要这个指导框架?在慈善领域，许多与技术相关的提案都在争夺注意力。他们的方法和主题差异很大，但他们中的许多人有一个共同点，那就是他们不仅会使用技术来减少低效率，而且会增加公平和正义。评估提出这些索赔的项目的潜在成本和收益是一项复杂的任务。该框架旨在创建指南，帮助资助者、采购官员、倡导者和供应商评估和评估拟议项目的正义、公平和人权影响。至少在过去十年中，“科技向善”一直是公共部门的一个普遍主题，特别是在刑事法律制度、公共福利制度、公共卫生和移民管理方面。有人认为，这些项目往往重复现状，为根深蒂固的系统性社会问题提供简单或不切实际的解决方案，而在某些情况下却重复了它们试图缓解的不平等或不公正现象。例如，法庭上使用的自动风险评估工具声称可以根据被告与执法部门的互动来衡量累犯的可能性。这些工具通常旨在使法庭的决定更快、更公平，但事实证明，它们对黑人和棕色人种有偏见。系统性种族主义不仅融入了这些系统的设计中，而且还通过使用这些系统而长期存在。4与此同时，数字时代大量的数据使资助者、非营利组织和社会企业家对寻找新的方法将数据作为社会正义的工具感到兴奋。然而，“数据越多越好”的心态存在相当大的风险，即在利用与历史上受压迫和受排斥群体有关的数据的项目中引入有害监视和监测的机会。这些风险不仅仅是名义上的：它们的历史至少可以追溯到1960年代末和1970年代初，当时福利权利运动导致了防止与福利服务资格标准有关的歧视的工具的创建。从那时起，许多简化、自动化或合理化政府服务的尝试都被框定为减少不平等或不公正的项目。然而，意想不到的后果已成为常态。5 这些公私伙伴关系的性质往往导致问责机制、公共监督和对受影响社区伤害的补救减少。这项工作大部分源于与当代硅谷相关的精神，即应用工程技术可以以政治家和政策制定者从未预见到的方式解决棘手的社会问题——这是一个令人着迷但经常被证明的想法，可以追溯到 1930 年代的技术官僚运动。6倡导者一直呼吁慈善机构通过考虑数字技术支持和数据驱动的提案的意外和长期后果，更负责任地提供资金。7 这就是以下指导框架的用武之地。4Julia Angwin et al， “Machine Bias”， ProPublica， May 2016， https:// www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing5弗吉尼亚州尤班克斯。自动化不平等：高科技工具如何描述、监管和惩罚穷人。圣马丁出版社，2018年。另见1996年《个人责任和工作机会协调法》（P.L.104-193）。6 威索夫，格兰特。“硅谷自我监管的尝试是反民主的。它们也不新鲜。《华盛顿邮报》，2018年8月17日。https:// www.washingtonpost.com/outlook/silicon-valleys-attempts-to-self-police-are-anti-democratic-theyre-also-not- new/2018/08/17/cd44fb22-9b1d-11e8-843b-36e177f3081c_story.html7避风港、珍妮特和达娜。博伊德。“慈善事业的技术解决方案主义问题。民主与公民生活：慈善事业的长期游戏是什么（2020年）。https:// www.kettering.org/sites/default/files/boyd-philanthropys_techno-solution-problem.pdf©福特基金会4 何时以及如何使用这个指导框架?初步评估:一份快速备忘单，用于决定如何继续处理您可能通过推荐、电子邮件或会议收到的“技术向善”提案，或作为对信息请求 （RFI） 的回应。组织能力建设:作为跨部门培训材料和/或在您的入职培训期间为新计划官员入职。评估审查您现有受助人提出的新的附加“技术造福人类”计划：有时，您当前的受助人可能会在他们现有的工作领域内提出一个“技术向善”项目。假设而言，例子可以包括一个人道主义非政府组织提议使用移动应用程序，以更精简和集中的方式向其客户传达可用资源;一个生殖司法组织，寻求开发一个安全的沟通渠道，与庇护州值得信赖的诊所合作;一个学术机构，希望部署一种算法来帮助改善难民重新安置后的结果）。©福特基金会5 ©福特基金会红旗类别理论的变化和价值主张 ©福特基金会1红旗该项目没有提供明确的变革理论——或者，即使提供，也是脆弱的、误导的或过于简化的。乍一看一个清晰的变革理论对于理解拟议的项目将如何产生一定的影响是必要的。“技术向善”项目中的变革理论可能由于对问题的理解不足或对技术解决方案过于自信而被过度简化或误导。要确定变革理论是否被误导，请考虑项目背后的假设，并在与受赠人或供应商的对话中质疑它们。变革理论描述了一个拟议的项目如何以及为什么被假定会导致某种影响。有时，“技术向善”项目中的变革理论可能过于线性、过于简单或误导。这可能是由于开发人员对问题空间或处于问题中心的社会问题了解不足。这也可能是由于对数十年（或数百年）社会问题的技术解决方案过于自信，有时被称为“技术解决方案主义”或“技术沙文主义”。例如，工具、程序或合同可能会提供这样的假设，即增加监控可以改善警务工作，从而实现更大的公共安全，鉴于警务对低收入黑人、土著和有色人种 （BIPOC） 社区的不成比例的影响，这种假设过于简单化和误导。要了解变革理论是否被误导或过于简单，请关注为项目构思提供信息的假设。在与潜在受赠人或供应商的对话中，尝试挑战这些假设，了解为这些假设提供信息的来源，并引入项目带来的假设风险。在这些对话中，您还可以确定项目是否为超本地问题提供了宏观级别的解决方案，或者假设了“一刀切”的心态。例子一所大学的研究人员转向基于机器学习的解决方案——使用卫星图像、温度异常和粮食生产指数等各种数据源——来预测未来的“气候难民”流动。他们的主要目标是帮助人道主义行为者根据对难民人数、抵达时间、入境点等的估计，及时分配资源。他们的目标也是帮助政府为未来的人口涌入做好准备，制定融合政策，评估就业市场需求等。然而，许多人道主义倡导者批评这些类型的预测框架过于简化了难民潮背后的原因，而难民潮往往取决于复杂而不可预测的政治、经济和社会因素网络。因此，合乎逻辑的是，这种善意的预测实验和对政府协助寻求庇护者的政治意愿的乐观假设可能会导致更大的移民控制或边境军事化。©福特基金会红旗# 1 |变化和理论价值命题7 您的假设可能导致哪些风险，您的项目的变革理论将如何容忍或适应这些风险？哪些假设为该项目的开发提供了信息？哪些信息和经验指导了这些假设？问题确定这红旗资源•为了避免六个理论变化的陷阱•运动生态•如何识别AI蛇油，AI蛇油子堆•“好”是不够的你从那些与你有共同目标的人那里听到了哪些关于这个项目的批评？©福特基金会红旗# 1 |变化和理论价值命题8您组织范围内的变革理论是什么，这个项目如何融入变革理论？你的变革理论与社区中为同一问题带来不同变革理论的其他人有什么关系？有哪些例子？ ©福特基金会2红旗该提案在战略上不合适;该产品与潜在受赠人从事的其他项目/赠款无关。随着数据的激增，资助者对资助数据驱动和数字技术支持的解决方案表现出浓厚的兴趣。因此，一些非政府组织和非营利组织——包括许多可能没有任何数字解决方案经验的非政府组织和非营利组织——在没有充分准备的情况下进入这一领域，通过与技术公司合作或培养内部能力来开发数字服务。然而，由于以下因素，这些项目可能容易失败：需求评估不足，缺乏部署和维护服务方面的培训和内部专业知识，过度依赖服务，以及将资金从已经证明的方法转移到新的和闪亮的数字解决方案。例子一个人道主义组织开始开发一个聊天机器人，为寻求庇护者填写表格提供翻译服务和法律援助。因此，他们决定减少人工翻译和志愿个案工作者的数量。聊天机器人依赖于自动翻译服务。对于某些语言，它会导致“翻译中丢失”问题。但是，没有足够的人工帮助来解决问题。这会导致客户之间的延误和混乱。由于缺乏技术专长和政策保障，人们还担心数据泄露、身份盗用以及寻求庇护者的个人身份信息（PII）暴露给母国和东道国的政府机构。乍一看拟议项目可能与受赠方当前的项目/赠款不一致。这种战略不合适可能是由于准备不足，包括需求评估不力、缺乏培训/专业知识以及从行之有效的方法中重新分配资金。要识别此危险信号，请询问先前的经验，需求评估工作，成功定义以及衡量/恢复计划。©福特基金会红旗# 2 |变化和理论价值命题9 组织是否有实施技术支持解决方案的经验？如果没有，您获得技术专长的计划是什么？您是否考虑过与拥有更多技术专长的团队合作？如果是这样，您是如何决定选择它们的？开发此项目后，您将经历哪些类型的组织变革？（例如，多样化的资金、重组团队、新的合作伙伴关系、新的角色、新的组织培训）您进行了哪些类型的评估来了解该项目的必要性？您与谁一起进行了这些需求评估？您衡量项目成功的计划是什么，在失败的情况下，您的恢复计划是什么？问题确定这红旗©福特基金会红旗# 2 |变化和理论价值命题10此项目如何适应您组织的当前工作？它如何适应您的长期组织目标？成功是什么样子的？您打算影响的社区如何看待成功？ ©福特基金会3红旗该项目只是一个新产品，没有前景政策、文化或系统变革。解决方案承诺为长期存在的问题提供快速修复（“创可贴”）。乍一看拟议的项目可能只能提供快速解决方案，而不会产生政策、文化或系统性变化。它缺乏批判性思维和足够的指标来衡量长期影响，导致关注短期可量化的指标并强化系统性歧视。要识别这一危险信号，请询问项目的社会和经济影响，过去成功/失败的证据以及支持必要政策变革的策略。在我们对一位民间社会成员的采访中，他们提到公共部门的“技术向善”项目通常是“在没有批判性地思考他们试图实现的目标以及技术是否是实现这些目标的最佳方式的情况下建立的。1这个问题的出现不仅是因为缺乏批判性思维，还因为缺乏足够的指标来定义和衡量成功。在软件系统中，“成功”的标准通常是公开定量的。这些可量化