ACT® WorkKeys® Talent与ACT® WorkKeys® Essential Skills结构的对应

费尔南多·J·梅纳和凯特·E·沃尔顿 摘要 在这项研究中，我们考察了ACT的WorkKeys人才评估与ACT的WorkKeys核心技能电池之间的概念对应关系，以确定前者的有效性证据是否可以告知后者。11位学科专家审查了由12个人才特质结构与6个WorkKeys核心技能结构交叉产生的所有72对，按照0-3的重叠度量表进行评分，该量表也进行了二分（0和1的评分被重新编码为0[不匹配]，2和3的评分被重新编码为1[匹配]）。WorkKeys核心技能中的五个结构（职业道德、协作、韧性、领导力和创造力）至少与它们理论上的才能对应者有一个强烈匹配，这表明结构收敛性显著，支持证据转移。诚信只显示出中等的一致性，与其在HEXACO诚信-谦卑中的独特基础一致，而老练特质缺乏清晰的WorkKeys核心技能对应者。可靠性诊断强化了这些发现，因为平均测量类内相关系数（ICC）总体上非常出色（ICC = .95），尽管Fleiss的κ值降至诚信和老练的“轻微”，这可能是定义模糊而不是随机评分者错误的信号。总体而言，结果证实了两个框架之间稳健的桥梁，并确定了在全面证据整合之前需要改进的领域。 ACT工作技能评估和ACT工作技能基础 The WorkKeys Talent assessment (hereinafter referred to as Talent) measures 12 work-related personality characteristics grounded in the Five Factor Model (FFM or Big Five; Digman, 1990 - ). These traits, which are listed -)且情感智力理论（ACT，2009）在表1和表2中定义，捕捉与工作表现、团队合作和反生产性行为相关的 性格特质。《WorkKeys基础技能评估》（以下简称WKES；ACT，2024）于2024年推出，测量六个广泛的领域。其中五个与FFM相一致，而诚信反映了HEXACO模型中的诚实谦卑因素（Ashton & Lee，2007；表1和表2）。表3显示了WKES与才能量表基于其潜在的大五/HEXACO因素的预期一致性。 人才量表已被用于选拔和发展场景，它们在最小负面影响下预测工作绩效、组织公民行为和留存率（ACT，2009），与选拔和发展场景中使用的个性评估文献相符（Hough，1998；Schmidt & Hunter，1998）。初步的构建效度和标准效度证据显示，WKES得分预测工作绩效，并与它们预期的理论因素相一致（ACT，2024）。 两种工具在个性理论方面有着共同的根基，但它们采用了不同的框架；才能理论集中于更狭窄的特质面，而工作场所技能框架（WKES）强调更广泛的技能领域。这种概念上的重叠表明，需要一个标准来明确框架之间的对应关系。这种对齐——即系统的比较——标准对齐可以对两组不同的标准进行判断，以确定它们的内容、认知需求和/或理论期望之间的对应程度。在实践中，可以采用专家小组和文件分析来编码这两个标准，比较主题和预期的知识深度，并生成一个交叉映射，识别两组标准之间的全部或部分匹配、差距和不匹配（Roach & Elliott，2004；Webb，1997）。 一个强大的概念一致性存在于“人才”和“WKES”结构之间，这为使用为“人才”积累的广泛效度证据来支持对“WKES”的解释和应用提供了可能性。如果“WKES”领域被证明衡量相同的潜在结构，这一系列证据可以使“WKES”的有效性论证更加有力。 通过本次研究，我们旨在确定12个才能尺度在实证上与WKES中操作的六个行为能力领域的吻合程度，进而评估为才能评估积累的有效性证据能否为WKES的解释论证提供信息和加强。 方法 我们邀请了11位主题专家（SMEs），其中82%为女性，18%为男性；64%为白人，18%为西班牙裔，18%为亚洲人。所有SMEs都拥有与核心技能相关的领域的博士学位，或在核心技能评估和课程方面有经验，平均拥有10年的专业实践。根据表格1和2中提供的结构定义（12个才能和6个WKES结构），SMEs独立评估了72种可能的成对组合。对于每一对组合，他们使用4点量表（0=无一致性/重叠，1=低一致性/重叠，2=中一致性/重叠，3=高一致性/重叠）进行评级。 评分以两种方式进行分析：(a) 作为其原始的0-3分，(b) 作为二元分类指标，表示一致性，其中2或3分被重新编码为1（一致）和0或1分记录为0（不一致）。这种二元处理方式便于在表达一致性必须以是/否结果呈现时进行解读。 除了描述性统计之外，我们还考察了评分者间的一致性，以评估判断的可靠性。组内相关系数（ICC）评估了原始0-3分的一致性，其解释由Koo和Li（2016年）提出的阈值指导。Fleiss的κ将Cohen的κ推广到多个评分者，量化了二元评分的一致性，并使用Landis和Koch（1977年）提出的基准进行解释。ICC和κ共同提供了关于专家对中小企业全面板以及每个个体判断可靠性的补充证据。 结果 平均对齐得分 当我们比较了成对平均对齐分数时，我们发现六个组合达到了高度的对齐/重叠程度/。M≥2.8在0到3的评分尺度上）：与协作（2.9）、与创造力（3.0）、与影响力（2.9）、与稳定性（3.0）、与纪律（3.0）以及与奋斗（2.8）的合作；因此，除了正直，每个WKES结构都至少与一个才能结构高度匹配。结果见表4。 如预期的那样，专家们认为，共享FFM构念的才能和工作胜任力结构之间有很强的重叠。在工作道德方面，纪律表现出强烈的吻合度（3.0），而细致（2.1）和秩序（2.4）显示出中等的吻合度。工作道德还显示出与奋斗（2.8）有很强的对应性。尽管奋斗原本意图与FFM的外向性相联系，但其定义与工作道德等与责任心相关的因素非常相似。弹性与稳定性（3.0）高度一致，与乐观（2.1）中度一致。协作显示出与协作（2.9）的高度匹配，与善意（2.4）有中度关联。领导力与影响力（2.9）显示出最高的吻合度，同时与社交性（2.1）和乐观（2.1）有中度联系，与奋斗（1.2）有较弱联系。创造力与其同名特质完美吻合（3.0）。在 对比来看，诚信未能超越1.5的平均一致性指标与任何才能结构，而敏锐度未能超越1.6与任何WKES结构。诚信和敏锐度均与FFM没有概念上的联系。 请注意.N= 11位评分者。可能的分数范围为0到3，其中0表示没有对齐/重叠，1表示低对齐/重叠，2表示适度对齐/重叠，3表示高度对齐/重叠。用*突出显示的值代表根据潜在FFM因素预期重叠的才能和WKES结构。 如表5所示，我们将原始的0-3评分合并为二元指标后，有11对指标超过了80%的一致性阈值：合作与协作（80%）和善意（80%）；创意与创意（100%）；领导力与影响力（100%）、乐观（80%）和社交能力（80%）；韧性与稳定性（100%）；以及职业道德与细致（80%）、纪律（100%）、秩序（90%）和奋斗（100%）。这意味着除了诚信之外，每个WKES结构都与至少一个才能结构有强烈的联系，而除了敏锐之外，每个才能结构都与至少一个WKES结构高度一致。 这证实了先前的发现，同时突出了跨领域的显著模式。工作态度是最紧密相关的基本技能，与三个与责任心相关的才能结构（纪律，100%；秩序，90.9%；细致，81.2%）有强烈的一致性，但也与追求（100%）有很强的关联。韧性只有一个与稳定性（100%）的强联系，与乐观（63.6%）有适度的关联。协作与协作（100%）和善意（81.2%）表现出稳健的重叠，领导力与影响力（100%）和社交能力（81.2%）紧密相连，正如预期的那样，但还与乐观（81.2%）相连，这个尺度理论上与韧性相关。创造力与相应的才能结构（100%）完美一致。 尽管诚信与任何才能结构的高一致性都未能实现，它最强、尽管仍然适中的匹配是善意；在11位评分者中，两人看到没有重叠，两人指出低重叠，六人表示适度重叠，一人判断为高度重叠。对于老练的才能结构，最佳匹配的WKES结构是领导力（得到了两个无重叠、三个低重叠、三个适度重叠和三个高度重叠的评分）和协作（一个无重叠、三个低重叠和七个适度重叠的评分）。这种广泛的回应范围突显了专家们对这些结构如何紧密对齐的看法存在一些分歧。 评分者间一致性分析 尽管评分一致性不是研究的主要焦点，但在解读对齐结果时却至关重要。如果评分者之间的协议度低，表示中等或低对齐的分数可能反映了评分者对定义的分歧，而不是对重叠的真正共识。 表6中所示的平均测量ICC分析表现出非常稳定的共识评分。对于72组标准对中的整个集合，ICC为.946（95% CI = .921–.965），属于优秀范围。在WKES结构中，六个中有五个达到了类似的可靠性，其中职业道德最高（.979），其次是创造力（.964）、协作（.958）、韧性（.942）和领导力（.918），而诚信虽然较低，但仍然达到了良好的可靠性，为.756。才能的可靠性也很强：15个结构中有13个达到了优秀的一致性，以创造力（.990）和影响力（.987）为领导；只有细心（.849）和精明（.868）仍然保持在 高水平的好。这些发现表明，一旦将11位专家的评分平均，一致性估计所含的评分者噪声非常少。 另一方面，使用二分化的协议评分（表7；一致=1，不一致=0），专家们在72对标准配对上表现出适中的整体一致性（Fleiss的κ = .498，95% CI [.466, .529]）。一致性在构建间差异很大。在WKES构建中，职业道德显示出最强的符合度（κ = .809，“显著”），而正直性仅表现出轻微的可靠性（κ = .138）。WKES创造力也达到了显著的一致性（κ = .635），而韧性领导和领导力分别处于中等到适中的范围内（κ = .410和.318）。至于才能构建，创造力达到了近乎完美的一致性（κ = .898），其次是影响力（κ = .746）和合作（κ =.618）的高可靠性。相反，谨慎和机敏显示出较差到轻微的一致性（κ = .209和.187），这表明评分者存在较大的差异。 表7评分者间一致性（Fleiss的κ）针对二分对齐评分，总体及按WorkKeys基本技能和才能结构 指标的差异可能源于统计方法的不同。Fleiss的κ将数据视为名义变量并对偶然性进行校正，因此边缘比例的任何变化都会降低系数。相比之下，ICC将0-3分的评分视为区间，并衡量平均评分围绕每个真实得分的紧密程度。对11名专家的评分进行平均显著减少了随机误差并提高了可靠性。因此，κ标记了评分者在类别决策本身上存在分歧的地方，而ICC则表明一旦对这些不同的评分进行平均，共识评分非常稳定。 研究结果支持使用所有评审者的方法来计算对齐得分，并突出了需要关注的结构。WKES 整体性结构以及人才谨慎性和机智性结构需要进一步审查，因为它们的 κ 值表明评审者对“对齐”究竟是什么存在真正的意见分歧，而它们的 ICC 值，尽管可以接受，但明显低于其他结构。这可能是专家们难以将整体性与其他人才结构对齐，以及将机智性与其他 WKES 结构对齐的难度的原因之一。 结果摘要 基于0-3全量表分析以及二分编码，结合理论预期和评分者间可靠性指数，表明大多数WKES结构在Talent结构中都有明确的对应物，并且这些关联反映了真正的专家共识，而非评分噪声。表8显示，除了诚信之外，每个WKES结构都至少获得了一个“强烈”的对应关系，其中职业道德与其三个与勤勉有关的特征（细心、纪律和秩序）表现出高度一致性。另外两个配对，职业道德与努力和领导力与乐观，也 超出了强关联阈值，尽管这些结构在FFM中不共享一个潜在因素。 结论 这项对齐研究展示了两个ACT框架之间坚实的概念桥梁；六个WKES结构（职业道德、协作、韧性、创造力和领导力）中的五个至少与它们的理论对应才能结构实现了至少一个强烈的配对。这种趋同提供了强有力的证据