Newshot

微软高管解释 Microsoft 365 服务为何全球宕机:三重故障引发连锁反应,击垮 80% 服务器

Summary

IT之家 11 月 16 日消息,当地时间 11 月 12 日,微软旗下 Microsoft 365 多项核心云服务发生大规模故障,导致 Outlook、Exchange Online、Teams、SharePoint 等在全世界范围宕机,数百万名用户超 12 小时无法访问电子邮件。 今天微软发布了此次事故的初步报告。据初步判断, 此次故障根本原因在于一个 7 月的软件缺陷 , 然后和另外两个基础设施问题共同发作 ,引发连锁故障,一度导致微软 80% 网络服务器失去响应。 如今,微软高管查尔斯 · 拉曼纳(Charles Lamanna)在 X 平台分享了故障原因的详细说明,IT之家附核心内容如下: 今年 7 月,微软在修复 Microsoft 365 网络网关问题时弄出了一个软件缺陷。该漏洞导致服务器进程出现锁竞争(Lock Contention),无法响应特定工作负载。但包含缺陷的软件通过了微软常规测试,并在数周内部署至全球各地,期间没有出现任何问题。 微软发现,当时的测试没有发现软件缺陷,是因为测试环境主要使用型号较旧、性能较弱的 CPU 和硬件,然而在核心数更多的新型服务器上,这一漏洞更容易触发。 在此次大规模故障发生前几个小时,微软将 Teams 流量从备用网络网关转移到主网络网关。该网关同时负责处理 Exchange Online 流量,此次调整是为了确保 Teams 能够正常运行。虽然这是微软基础设施的常规故障切换操作,但此举增加了 Exchange Online 主网络网关负载,并改变其流量分布。 由于前一天发生的另一起无关问题,网络网关约 14% 的服务器容量已经无法使用。此时剩余的 86% 容量仍足以应对正常工作负载。 当上述三个问题同时触发时,服务中断正式发生。增加的 Teams 流量与减少的服务器容量,共同触发了此前一直没有发现的软件漏洞。 当服务器无响应时,微软的基础设施会自动将流量转发至运行正常的服务器上。但这种机制反而让情况进一步恶化。服务器接收到大量转发流量后负载增加,这时候又触发了同一个软件漏洞,导致越来越多的服务器如连锁反应般倒下。不到两小时,故障就蔓延至微软 80% 网络网关服务器。 通常情况下,微软会通过独立容量分区和区域来限制此类故障的影响范围。然而另一个问题导致这些保护机制未能阻止连锁故障,最终使其蔓延至全球。 微软计划本…

Original text(via IT之家)

微软高管解释 Microsoft 365 服务为何全球宕机:三重故障引发连锁反应,击垮 80% 服务器

IT之家 11 月 16 日消息,当地时间 11 月 12 日,微软旗下 Microsoft 365 多项核心云服务发生大规模故障,导致 Outlook、Exchange Online、Teams、SharePoint 等在全世界范围宕机,数百万名用户超 12 小时无法访问电子邮件。

今天微软发布了此次事故的初步报告。据初步判断,此次故障根本原因在于一个 7 月的软件缺陷,然后和另外两个基础设施问题共同发作,引发连锁故障,一度导致微软 80% 网络服务器失去响应。

如今,微软高管查尔斯 · 拉曼纳(Charles Lamanna)在 X 平台分享了故障原因的详细说明,IT之家附核心内容如下:

  • 今年 7 月,微软在修复 Microsoft 365 网络网关问题时弄出了一个软件缺陷。该漏洞导致服务器进程出现锁竞争(Lock Contention),无法响应特定工作负载。但包含缺陷的软件通过了微软常规测试,并在数周内部署至全球各地,期间没有出现任何问题。
  • 微软发现,当时的测试没有发现软件缺陷,是因为测试环境主要使用型号较旧、性能较弱的 CPU 和硬件,然而在核心数更多的新型服务器上,这一漏洞更容易触发。
  • 在此次大规模故障发生前几个小时,微软将 Teams 流量从备用网络网关转移到主网络网关。该网关同时负责处理 Exchange Online 流量,此次调整是为了确保 Teams 能够正常运行。虽然这是微软基础设施的常规故障切换操作,但此举增加了 Exchange Online 主网络网关负载,并改变其流量分布。
  • 由于前一天发生的另一起无关问题,网络网关约 14% 的服务器容量已经无法使用。此时剩余的 86% 容量仍足以应对正常工作负载。
  • 当上述三个问题同时触发时,服务中断正式发生。增加的 Teams 流量与减少的服务器容量,共同触发了此前一直没有发现的软件漏洞。
  • 当服务器无响应时,微软的基础设施会自动将流量转发至运行正常的服务器上。但这种机制反而让情况进一步恶化。服务器接收到大量转发流量后负载增加,这时候又触发了同一个软件漏洞,导致越来越多的服务器如连锁反应般倒下。不到两小时,故障就蔓延至微软 80% 网络网关服务器。
  • 通常情况下,微软会通过独立容量分区和区域来限制此类故障的影响范围。然而另一个问题导致这些保护机制未能阻止连锁故障,最终使其蔓延至全球。

微软计划本周晚些时候发布详细报告,届时将公布更多技术细节。

相关文章

  • 微软为 Win11 企业设备测试远程锁定功能,丢失电脑可即时冻结且无法本地解锁
  • 网友发现微软 Win11 的初次开机流程 OOBE 不支持纯 IPv6 网络
  • 微软 Win11 被曝 SignDrop 零日漏洞:普通用户可提权至 SYSTEM,目前尚无专用修复补丁
  • 开发者推出 WinPopBit 计划,让 AMD K8、英特尔奔腾 4 等老处理器也能运行微软 Win11
  • 微软全新 WinUI3“中文输入法”悄悄上架:可导入个人词库,主打无广告并支持必应搜索
  • 微软为 XBOX Series X|S、XBOX One 主机推送初代 XBOX / XBOX 360 开机动画

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗