Facebook 从互联网上删除了自己。六小时。

本视频涵盖的内容

• Facebook 移除了自己的地址
• 依据：Meta 工程部、Cloudflare、Hacker News
• 这是 The Daily Diff，事后分析
• 时间线：15:39 命令 → 15:40 撤回 → 21:20 恢复
• 机制：将你删除的健康检查、30 倍 DNS 风暴、门

翻译的文字记录

译自英文原版旁白。可用音频和字幕由 YouTube 控制。

Facebook 移除了自己的地址

0:00 Facebook 从互联网上移除了自己的地址，当其工程师 赶到现场恢复时，门禁读卡器也失灵了， 因为它们也在 Facebook 上运行。 Meta 自己次日的事后分析：一条例行维护命令导致每个 骨干链接中断，而旨在阻止此类命令的工具存在一个错误。

依据：Meta 工程部、Cloudflare、Hacker News

0:16 Cloudflare，从外部观察：世界标准时间 15:40，通往 Facebook 域名服务器的路由 消失，并且在地球上任何地方 dig facebook.com 都返回 SERVFAIL。 事情如何发生，为何一个安全功能反而使其更糟，以及谁应该承担责任。 这是 The Daily Diff，事后分析。 世界标准时间下午早些时候。

这是 The Daily Diff，事后分析

0:34 一个旨在检查骨干网空闲容量的命令，反而导致 Facebook 数据中心 之间的所有链接中断，而旨在精确捕获此情况的审计工具

时间线：15:39 命令 → 15:40 撤回 → 21:20 恢复

0:41 却放行了它。 15:40。Cloudflare 的 BGP 路由信息流充满了撤回通知；Facebook 的 DNS 前缀离开了路由表。 一分钟内，Cloudflare 的工程师们在房间里疑惑他们 是不是弄坏了 1.1.1.1。15:45，Hacker News，两千六百 点赞。16:07，Facebook 的发言人，竟然在 Twitter 上发声：有些人 无法访问我们的应用程序。 有些人是指三十五亿人。

1:06 18:51，《纽约时报》：员工被锁在办公楼外， 门禁卡失效。19:52，首席技术官道歉。 21:00，中断五小时后，路由恢复；21:20，facebook.com 可解析。为什么骨干网故障会从互联网上删除 Facebook？

机制：将你删除的健康检查、30 倍 DNS 风暴、门

1:20 其域名服务器有一条规则：无法访问数据中心， 就声明自己不健康，停止宣传你的地址。 当一个站点出现问题时，这是明智的。 当整个骨干网都出现问题时，所有域名服务器都会同时这样做。 服务器是开着的。 但没人能找到它们。 一个安全功能将网络故障变成了存在性故障。 然后互联网蜂拥而至：应用程序重试，用户重新加载，

1:39 Cloudflare 的解析器看到了三十倍于正常负载的流量， 却是一个不存在的网站。 还有那些门。 工具、带外访问、门禁卡：都在同一个网络上。 工程师们开车前往数据中心，却无法进入，然后面对经过强化的机架， 以防任何有物理访问权限的人。 它旨在减慢攻击者，也减慢了所有者。 骨干网恢复；他们有意缓慢地增加流量。

1:59 每个数据中心都已切断了数十兆瓦的电力，一步到位地恢复 将导致第二次中断。

git blame — 分裂

2:05 git blame。Facebook，百分之五十五：命令经过审计， 审计器有 bug，一条命令到达了所有路由器。 DNS 设计，百分之二十五：一个毫无比例感的健康检查。 一个网络，百分之十五：工具、带外、门禁卡。 机架，百分之五，因为它们完成了自己的任务。 影响范围：三十五亿用户，近六小时。 股票收盘下跌百分之五，扎克伯格账面损失六十亿，

影响范围

2:27 纸面上。Telegram 声称当天增加了七千万注册用户。 裁决，事后分析：NEEDS REVIEW。 当晚声明，一日内具名作者的事后分析， 用通俗易懂的语言承认了审计工具的 bug。

裁决 + 星期一的底线

2:38 修复清单：加强测试和演练。 没有提及将门从生产网络上拆除。 星期一：将你的带外访问，和你的门，放到一个你没有 操作的网络上。 在评论中，或者发送到 the daily diff dot dev，将你仍然不被允许谈论的事件发给我。 在评论中，或者发送到 the daily diff dot dev，将你仍然不被允许谈论的事件发给我。 这就是今天的 The Daily Diff。 我是来自 Axrisi 的 Niko。

2:58 负责任地合并。

来源

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com