人工智能

Inside Amazon Connect Talent:结构化 AI 面试背后的科学
对于需要招聘数百或数千人的组织来说,每一场面试都面临同样的挑战:如何让候选人获得一致的机会来展示自己的技能,同时收集做出明智招聘决策所需的证据?
结构化行为面试为这一挑战提供了一种有研究支持的方法。它使用一致的、与岗位相关的问题和明确的评分标准,让候选人有机会展示自己的技能。工业与组织(I-O)心理学数十年的研究表明,结构化面试有助于组织评估候选人并预测工作绩效(Schmidt & Hunter, 1998; Sackett et al., 2022)。然而,大规模实施结构化面试需要大量时间和专业知识,用于开发胜任力模型、设计问题、培训面试官以及一致地评估回答。
Amazon Connect Talent 将成熟的招聘科学引入大规模 AI 主导的面试。Connect Talent 使用结构化问题、自适应追问和基于证据的评分,帮助组织收集一致的、与岗位相关的信息,同时让更多候选人有机会展示自己的优势。
我们围绕三项核心设计原则构建了 Connect Talent,并通过内部研究和独立专家评审相结合的方式,评估了该服务对这些原则的应用程度。这些发现让我们得以更深入地了解 Connect Talent 的 AI 主导结构化面试背后的科学。
三项核心设计原则
1. 围绕与岗位相关的证据构建面试
Connect Talent 围绕该岗位所需的胜任力来构建每一场面试。该服务利用岗位要求和成熟的职业框架来创建行为锚定评分卡。每张评分卡都定义了具体的优势信号和顾虑信号,每一道面试问题都针对其旨在揭示的行为。
AI 面试官还会根据每个回答进行调整。每次回答之后,它会检查候选人是否提供了足够的证据来评估所考察的胜任力。当细节缺失时,它会提出有针对性的追问。这种方法在保持面试结构的同时,为候选人提供了更多解释自身经历的机会。
2. 将面试与评分分离
Connect Talent 将面试对话与评估分开。AI 面试官负责收集证据,但不分配分数。随后,一个独立的评估流程会识别候选人展示了哪些行为,并引用支持性的转录片段。
该服务使用固定公式计算每项胜任力 1 至 5 的分数。当转录内容缺乏足够证据时,Connect Talent 会标记该胜任力,而不是给出分数。招聘团队可以查看每个评分背后的证据,而缺失证据不会自动对候选人不利。
3. 将公平性保护融入设计
Connect Talent 评估转录后的候选人回答,不使用视频、语音语调或外貌来计算胜任力分数。该服务还将候选人身份信息排除在评分之外,并单独评估每项胜任力。这些保护措施有助于将评估聚焦于与岗位相关的行为,并限制无关信息的影响。
研究显示的内容
要了解这些设计原则在实践中的效果如何,我们将独立的工业与组织心理学(I-O psychology)评估与内部研究相结合。我们考察了该服务是否生成与工作相关的面试内容、是否识别出与专家评估一致的行为证据、是否通过追问收集到更完整的回答,以及是否能够区分不同水平的胜任力表现。
Connect Talent 让面试问题聚焦于与工作相关的技能
结构化面试的质量始于其所衡量的技能。候选人需要能够反映岗位要求的问题,招聘团队则需要确信面试评估了这些技能。
Amazon 委托一家独立的 I-O 心理学公司对 Connect Talent 的 AI 生成面试内容进行评估。该公司审查了该服务在人工编辑前的基线输出,并考察了其胜任力、问题和评分标准与岗位要求的契合程度。评估发现,Connect Talent 在 100% 的受审职位描述中保留了关键工作信息。在生成的胜任力中,91% 可以清晰地追溯到职位描述。该公司的心理学家还发现,98% 的面试问题针对的是预期胜任力,94% 的评分标准信号清晰地衡量了预期胜任力。
这些发现表明,在绝大多数情况下,Connect Talent 生成的与工作相关的面试内容符合独立专家标准。招聘团队随后可以在使用前审查、选择和编辑胜任力、评分卡和问题。这种人工监督使组织能够掌控面试流程,同时帮助其大规模应用结构化招聘实践。
Connect Talent 的候选人评分在超过 89% 的情况下与独立专家的判定一致
相关的问题为结构化面试奠定了基础。下一个挑战是一致地评估候选人提供的证据。
为考察这一点,一家独立的 I-O 心理学公司审查了 36 场面试,评估候选人是否展现出特定的优势与顾虑,共创建了 252 个评分标准信号。
Connect Talent 评估了相同的面试记录,审查了数百个评分标准信号,并在 89.3% 的情况下与专家评分判定一致。当候选人提供清晰证据时,评分一致性达到 97.6%;仅考虑候选人顾虑信号(用于识别可能表明不适合目标岗位的行为)时,一致性为 92.9%。
该评估还得出 Cohen’s kappa 值为 0.79,这是一种排除随机巧合的统计指标。Cohen’s kappa 值 0.79 略低于 0.81 的“几乎完全一致”标准。这一结果表明 Connect Talent 与独立专家候选人评分之间存在高度一致。
追问让候选人有更多机会展示自身优势
候选人可能具备相关经验,但在首次回答中遗漏了重要细节。在传统单向视频面试中,候选人可能收到一个固定问题,且只有一次回答机会。招聘团队随后必须基于现有信息进行评估,即使回答留下了许多重要问题未解答。
Connect Talent 使用自适应追问来收集更完整的证据。例如,候选人可能描述了自己如何改进一个缓慢的系统。AI 面试官可以询问发生了什么变化、候选人采取了哪些行动,以及他们如何衡量改进效果。这些问题帮助候选人更详细地说明自己的贡献和成果。
文章标题:走进 Amazon Connect Talent:结构化 AI 面试的科学
正文: 我们通过比较基于候选人首次回答的评估与基于完整面试对话的评估,研究了追问问题的影响。在一项初步评估中,仅基于首次回答的分数在五分制上比基于完整对话的分数最多低 1.14 分。使用完整对话的评估也更接近专家评估。
在没有追问问题的情况下,评分过程识别出的优势信号更少,担忧信号更多。在某些情况下,候选人的初始回答根本缺乏展示相关行为所需的信息。完整对话捕获了候选人展示的更多内容,并为招聘团队提供了更完整的经历记录。
结构化评分帮助招聘团队识别有意义的差异
招聘团队需要能够反映所展示技能中有意义差异的分数。然而研究发现,一些 AI 评分方法会将评分集中在狭窄的范围内,使这些差异更难被识别(Zhu et al., 2026)。
Connect Talent 使用行为锚定评分卡来评估特定的优势信号和担忧信号。该服务不是让 AI 模型给出总体评分,而是识别每种行为的证据,并使用预定义公式计算能力分数。
以“协作”这一能力为例。通用的 AI 评分方法可能会根据面试记录评估候选人的整体协作技能。Connect Talent 则考察具体行为,例如候选人在做决定之前是否征求了同事的意见。每一项发现都会计入最终分数。
我们在数百份由专家评分的面试评估中评估了这种方法。Connect Talent 的结构化评分使用了评分量表的全部五个分值,而整体式 LLM-as-judge 评分则将评分集中在中间三个分值。
这种更广泛的分布使评分系统能够体现更多层次的能力展示水平。行为锚定评分卡还帮助招聘团队理解每个评分背后的证据。
将招聘科学带入 AI 主导的面试
Connect Talent 将结构化面试的严谨性带给更多人,同时让每位候选人都有有意义的机会展示自己的技能。这为大规模招聘的组织带来了新的机遇:更多候选人可以展示自己的能力,更多招聘团队可以基于真正重要的证据做出决策。
在 AWS re:Invent 2026 了解更多
欢迎参加 AWS re:Invent 2026 的 BIZ332:Every Candidate, Every Time: AI-Led Structured Interviews with Amazon Connect Talent,这是一场由 Sunitha Srivatsa 和 Gerald Friedland 主持的互动式 Chalk Talk。
本次会议将探讨 Connect Talent 背后的科学,包括结构化面试、自适应追问问题和基于证据的评分。
第一场:2026 年 11 月 30 日(星期一),上午 10:00–11:00,Caesars Forum – Level 1, Academy 409。
重复场次:2026 年 12 月 3 日(星期四),下午 3:00–4:00,MGM Grand, Premier 309。
注册 AWS re:Invent 2026
参考文献
Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068. https://doi.org/10.1037/apl0000994
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research. Psychological Bulletin, 124(2), 262–274.
Booth, B. M., Hickman, L., Subburaj, S. K., Tay, L., Woo, S. E., & D’Mello, S. K. (2021). Bias and Fairness in Multimodal Machine Learning: A Case Study of Automated Video Interviews. Proceedings of the 2021 International Conference on Multimodal Interaction, 268–277. https://doi.org/10.1145/3462244.3479897
文章标题:深入解析 Amazon Connect Talent:结构化 AI 面试的科学
正文: Zhu, K., Sheng, Z., Liu, Z., & Tan, J. (2026). Scale Collapse, Model Disagreement, and False Precision: A Multi-Model Audit of LLM Behavioral Interview Scoring.
关于作者
资源
- 入门指南
博客主题
- Amazon Bedrock
- Amazon Comprehend
- Amazon Kendra
- Amazon Polly
- Amazon Rekognition
- Amazon SageMaker
- Amazon Textract
关注
- 邮件更新