Newshot

微软将大规模邮件服务中断归咎于7月修复补丁引入的软件缺陷

Translation(model translation, not the source's own text)

Microsoft 将大规模邮件服务中断归咎于七月修复引入的软件缺陷

夏季的代码改动酿成了秋季的故障——手忙脚乱的工程师们不得不给补丁打补丁,而不是回滚。

延伸阅读

  • Microsoft Outlook 服务中断被归咎于酒店泳池氯气事故致 15 人受伤 26 分钟前

Microsoft Outlook 服务中断被归咎于酒店泳池氯气事故致 15 人受伤

  • 我们不需要什么教育平台演进。嘿,Redmond,别管那些孩子 5 小时前

我们不需要什么教育平台演进。嘿,Redmond,别管那些孩子

  • Microsoft 的 Azure Linux 换上 Fedora,为主流工作负载梳妆打扮 9 小时前

Microsoft 的 Azure Linux 换上 Fedora,为主流工作负载梳妆打扮

  • Microsoft 将印度云服务价格上调 15%,在中国降低成本 15 小时前

Microsoft 将印度云服务价格上调 15%,在中国降低成本

  • FAA 将地面停飞归咎于铜线故障 2 天前

FAA 将地面停飞归咎于铜线故障

Microsoft 将上周的大规模中断归咎于其在七月所做的一项改动,该改动一直潜伏在网络网关服务器中,直到负载激增与容量下降共同触发了这一缺陷,让整个 Microsoft 365 世界放了一天电子邮件假。

根据 Microsoft 于 11 月 15 日发布的初步事故后报告,该缺陷是在 2026 年 7 月引入的。Microsoft 表示,该更新当时看起来没问题,通过了负载测试,部署后也没有造成任何影响。

然而,测试做得还不够好。Microsoft 的报告称:“我们的负载测试往往集中在核心数较少的较弱硬件上。”该缺陷导致“内部 Windows 进程中出现锁争用,致使机器资源(CPU 与内存)被耗尽。”

“在核心数更多、硬件更新的机器上,争用问题会更加严重。”

包含该缺陷的修复是专门为 Microsoft 365 网络网关服务器准备的。随后两件事同时发生。Teams 故障转移到支持 Exchange Online 的“主”网关,造成负载激增,而这本身并不特别异常。与此同时,网络网关近 14% 的服务器容量停止服务,这本身也不是问题:它正在逐步恢复中,而且据 Microsoft 称,“服务有足够的容量余量。”两者叠加,将网关推入了该缺陷,混乱随之而来。

这是一个典型的级联故障场景。当一台服务器失去连接时,流量会被路由到下一个健康的端点。而该端点也遇到了同样的问题。于是流量再次被重路由,然后……你能看出事情会往哪个方向发展。在两小时内,该缺陷波及了 Microsoft 的整个服务器集群。报告称:“在最低谷时,超过 80% 的服务器无响应。”

那么,该怎么办?让服务器恢复服务并没有帮助——它们立刻被压垮,再次倒下。

“我们通常的自动化恢复流程并不是为从这种大面积无响应状态中恢复服务而设计的。”直接回滚也不可能,因为该缺陷已经存在了数月之久。

于是,工程师们开发了补丁的补丁,或者用 Microsoft 的话说,“一个将代码路径恢复到 Windows 中先前已知良好状态的更新。”该补丁被应用到一批批服务器上,服务逐步恢复。

Microsoft 将大规模电子邮件中断归咎于 7 月修复引入的软件缺陷

时间线显示了客户所经历的痛苦,以及 Microsoft 在努力查明 Exchange Online 和其他云服务为何表现如此糟糕时,雷德蒙德方面的手足无措。事后证明是此次中断一个因素的 Teams 故障转移,发生在 11 月 12 日 0107 UTC。当天,负载开始攀升,直到 1603 UTC,Microsoft 的连接异常检测监控器发现连接问题增加。

1633 UTC,第一个支持案例进来了。

不难想象,在接下来的 15 个小时里,工程师们承受了多大压力:他们尝试的一切都未能解决问题。所有正在进行和计划中的部署及配置更改都被暂停,团队试图恢复服务。增加了额外容量。流量被重新路由。然而服务器仍不断宕机。

报告称:“那些能够故障转移的服务——如 Teams、OneDrive、SharePoint 和 Office 应用——从有故障的网络网关基础设施中切了出去。但并非所有服务都能因规模原因从该网络网关故障转移出去,例如 Exchange Online。”

因此,Exchange Online(或者从许多用户的角度看,Outlook)停摆了很久。

到 11 月 13 日 0030 UTC,Microsoft 已确定连接协商是访问失败的主要原因,并得出结论:相互竞争的进程阻止了连接被处理。

然而,直到 0720 UTC,才等到“我们确定了一项缓解措施并应用了该缓解措施——一项回退了有缺陷更改的更新”。

1610 UTC,Microsoft 确认情况再次看起来健康,并在 11 月 14 日 0415 发布了最终客户更新。

最终的事后事件报告预计于 11 月 20 日发布。然而,这份初步报告几乎无法安抚紧张的神经。三个月前应用的一项更新竟然在全球范围内造成 Exchange Online(及其他服务)中断?而负载测试还没有反映 Microsoft 可控范围内的场景?

那些为恢复服务而拼命工作的工程师值得嘉奖,希望他们再也不必在雷德蒙德自己买饮料(或者至少躲过下一轮裁员)。然而,导致一个带有潜在缺陷的更新进入生产的流程,值得长时间、认真地审视。®

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗