Newshot

微软大规模 Outlook 故障内幕

AI summary

上周四上午 9 点,一切看似正常:微软员工陆续抵达园区,准备开始又一个收发邮件、开会的普通工作日。但仅仅一小时后,微软历史上最严重的故障之一开始上演,让员工、企业和许多政府机构在近 24 小时内无法访问 Outlook 邮件。据一位了解此次故障的消息人士称,故障始于瑞士:支撑 Outlook 的 Exchange Online 服务器开始下线,问题迅速蔓延到墨西哥,随后又扩散到全球其他国家,微软的故障转移系统试图将邮件流量转移到别处。……在 The Verge 阅读完整报道。

Translation(model translation, not the source's own text)
STK153_MICROSOFT_OUTLOOK_D
STK153_MICROSOFT_OUTLOOK_D

上周四上午9点,一切似乎正常。Microsoft 员工正抵达园区,准备迎接平常的邮件和会议日。但仅仅一小时后,Microsoft 历史上最严重的宕机之一开始上演,使员工、企业和许多政府机构在近24小时内无法访问 Outlook 邮件。

据一位熟悉此次宕机的消息人士称,一切始于瑞士。为 Outlook 提供支持的 Exchange Online 服务器开始离线。问题迅速蔓延到墨西哥,随后又扩展到世界其他国家和地区,因为 Microsoft 的故障转移系统试图将邮件流量转移到别处。几个小时内,超过80%的 Exchange 服务器失去响应。

消息人士告诉我,Microsoft 在其内部事件跟踪系统中将此次宕机标记为“sev0”,这是最高级别,表明服务中断达到灾难性程度。数百名工程师开始试图弄清出了什么问题,以及如何恢复服务。服务器在某些情况下发生故障并不罕见,但 Microsoft 拥有多种系统,本应将流量路由到健康服务器以保持更广泛系统在线。在此次事件中,故障转移系统履行了职责,但也扩散了问题。

在宕机初期,工程师们分析崩溃报告、跟踪日志和内核转储,试图寻找这场大规模宕机的线索。一些服务器进入维护模式,并因异常高的 CPU 负载而失去响应。工程师试图让服务器重新上线,但它们几乎立即被等待访问的流量压垮。

Exchange 服务器通过网络启动并运行操作系统(Preboot Execution Environment),这一过程允许 Microsoft 的支持人员和工程师远程管理操作系统更新。据我了解,服务器重启带来的突发流量淹没了监控它们的系统,导致一种重启循环:服务器不断尝试重新上线却失败。

随着工程师继续寻找根本原因,Microsoft 甚至难以用其常规流程回滚最近的更改,使服务器恢复到健康状态。当外界开始怀疑此次宕机是否与网络攻击或草率的 AI 编码有关时,Microsoft 的工程师已在调查潜在攻击途径,并与 DDoS 专家联络,以判断这是否可能是一场攻击。

我被告知,崩溃报告和日志很快排除了攻击的可能性;在最近的回滚失败后,Microsoft 的工程师开始更仔细地检查服务器的网络栈,并发现了一个不寻常的 bug。它不寻常,是因为这个 bug 自7月以来一直存在于 Microsoft 365 网络网关服务器上,却没有对服务器造成任何影响。

“一个潜在缺陷导致服务器在某些负载条件下不堪重负并失去响应,”Charles Lamanna 在 X 上的一篇帖子中写道,此人是 Microsoft 的 Copilot, Agents, and Platform (CAP) 团队负责人。在上个月 Office 和 Teams 负责人 Ryan Roslansky 离开公司后,Office、Outlook 和 Microsoft Teams 背后的团队都开始向 Lamanna 汇报。

Microsoft 的初步事后报告将这一 bug 描述为影响部分 Windows 服务器,“原因是内部 Windows 进程内的锁争用”。该 bug 不影响常规版本的 Windows,因为它是专为 Microsoft 365 网络网关服务器准备的修复所导致的结果。

微软大规模 Outlook 故障内幕

Microsoft 直到这次大规模故障才发现这个缺陷,并承认这是因为其测试实验室中使用的流量组合和硬件。“在核心更多、硬件更新的机器上,争用问题会更严重;而我们的负载测试往往集中在核心更少、性能较弱的硬件上,” Lamanna 写道。

这个缺陷之所以变得明显,是因为另外两起事件增加了负载并减少了服务器容量。在这次 Outlook 故障开始前十五个小时,Microsoft Teams 从一个备用网络网关故障转移到支持 Exchange Online 的主网关。“这增加了网络网关的负载,并改变了其流量模式,” Lamanna 写道。平时这不会成为问题,但与此同时,这个网关约 14% 的服务器容量“因前一天一个无关问题而停止服务”。

一个缺陷、Microsoft Teams 故障转移以及服务器容量减少这三重因素,共同导致网络网关触发了自 7 月以来一直潜伏的问题。Microsoft 花了将近 24 小时才让其 Exchange 服务器再次稳定下来,而我被告知,试图修复问题的各团队之间相互重叠的干预,有时使协调变得复杂。

Microsoft 工程师全程保持一个电话桥会议持续运行,一度达到 1000 名参与者的上限。这说明有多少团队参与尝试找出这场大规模故障的根本原因,而故障始于美国流量高峰时段。

“恢复耗时比平时更长,因为随着服务器恢复服务,它们立即被等待中的流量压垮,并再次变得无响应,” Lamanna 写道。“我们通常的自动化恢复流程并非为从这种大范围无响应状态恢复服务而设计。此外,由于主要代码缺陷是几个月前遗留的潜伏缺陷,我们正常的回滚、flighting 和功能标志无法快速还原该变更。”

Microsoft 现在正在完成一份最终事故后审查,将于本周晚些时候发布。即使没有那份完整审查,也很清楚该公司需要在其测试流程上投入更多,以确保当类似情况再次发生时,能更早发现该问题。故障每天都在发生,但这种级联故障对 Microsoft 来说是一个罕见时刻,可以从中吸取教训,并确保同样的事件序列不会再次让数百万人的 Outlook 瘫痪。

Notepad 将在下周感恩节假期后于 12 月回归。

我一直很愿意听取读者反馈,所以请在这里留言,或者如果你想讨论其他任何事情,可以通过 [email protected] 联系我。如果你听说过 Microsoft 的任何秘密项目,可以通过电子邮件 [email protected] 联系我,或在 Signal 即时通讯应用上与我私下交谈,我在那里的用户名是 tomwarren.01。如果你更愿意在 Telegram 上聊天,我在 Telegram 上也是 tomwarren。

感谢订阅 Notepad。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by The Verge
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗