Facebook s'est effacé d'Internet. Six heures.

Ce que cette vidéo couvre

• Facebook retire sa propre adresse
• Les preuves : Meta Engineering, Cloudflare, Hacker News
• Ceci est The Daily Diff, post-mortem
• Chronologie : 15h39 commande → 15h40 retiré → 21h20 de retour
• Mécanisme : le contrôle de santé qui vous supprime, la tempête DNS 30×, les portes

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

Facebook retire sa propre adresse

0:00 Facebook retire sa propre adresse d'Internet, et lorsque ses ingénieurs arrivent pour la remettre, les lecteurs de badges sont également hors service, parce qu'ils fonctionnent sur Facebook. Le propre post-mortem de Meta, le lendemain : une commande de maintenance de routine met hors service chaque lien dorsal, et l'outil conçu pour bloquer de telles commandes a un bogue.

Les preuves : Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, de l'extérieur : à 15h40 UTC, les routes vers les serveurs de noms de Facebook disparaissent, et dig facebook.com renvoie SERVFAIL partout sur la planète. Comment cela se produit, pourquoi une fonction de sécurité aggrave la situation, et à qui la faute. Ceci est The Daily Diff, post-mortem. Début d'après-midi, UTC.

Ceci est The Daily Diff, post-mortem

0:34 Une commande destinée à vérifier la capacité libre de l'épine dorsale met plutôt hors service chaque lien entre les centres de données de Facebook, et l'outil d'audit conçu pour intercepter exactement cela

Chronologie : 15h39 commande → 15h40 retiré → 21h20 de retour

0:41 le laisse passer. 15h40. Le flux BGP de Cloudflare se remplit de retraits ; le DNS de Facebook les préfixes quittent la table de routage. En une minute, les ingénieurs de Cloudflare sont dans une salle à se demander s'ils ont cassé 1.1.1.1. 15h45, Hacker News, vingt-six cents points. 16h07, le porte-parole de Facebook, sur Twitter de toutes les places : certaines personnes ont du mal à accéder à nos applications. « Certaines personnes » représentent trois milliards et demi.

1:06 18h51, le New York Times : des employés enfermés hors de leurs bâtiments, badges inactifs. 19h52, le CTO s'excuse. 21h00, cinq heures plus tard, les routes reviennent ; 21h20, facebook.com se résout. Pourquoi une panne de l'épine dorsale supprime-t-elle Facebook d'Internet ?

Mécanisme : le contrôle de santé qui vous supprime, la tempête DNS 30×, les portes

1:20 Ses serveurs de noms ont une règle : ne peuvent pas atteindre les centres de données, déclarez-vous malsain, arrêtez de diffuser votre adresse. Sensé lorsqu'un site tombe en panne. Lorsque toute l'épine dorsale tombe, chaque serveur de noms le fait en même temps. Les serveurs sont actifs. Personne ne peut les trouver. Une fonction de sécurité transforme une panne réseau en une panne d'existence. Ensuite, Internet s'en mêle : les applications réessayent, les utilisateurs rechargent,

1:39 et le résolveur de Cloudflare voit trente fois sa charge normale, pour un site qui n'est pas là. Et les portes. Outils, accès hors bande, badges : même réseau. Les ingénieurs se rendent aux centres de données, ne peuvent pas entrer, puis rencontrent des racks renforcés contre quiconque ayant un accès physique. Conçu pour ralentir un attaquant, il ralentit aussi le propriétaire. L'épine dorsale revient ; ils augmentent le trafic lentement, exprès.

1:59 Chaque centre de données a perdu des dizaines de mégawatts, et inverser cela en une seule étape est une deuxième panne.

git blame — la séparation

2:05 git blame. Facebook, cinquante-cinq pour cent : la commande a été auditée, l'auditeur avait le bogue, une commande a atteint chaque routeur. La conception DNS, vingt-cinq : un contrôle de santé sans sens de la proportion. Un réseau, quinze : outils, hors bande, badges. Les racks, cinq, pour avoir fait leur travail. Rayon d'action : trois milliards et demi d'utilisateurs, près de six heures. L'action clôture en baisse de cinq pour cent, six milliards en moins pour Zuckerberg,

Rayon d'action

2:27 sur papier. Telegram revendique soixante-dix millions d'inscriptions ce jour-là. Verdict, post-mortem : NEEDS REVIEW. Déclaration le soir même, post-mortem par un auteur nommé dans la journée, bogue de l'outil d'audit admis en français clair.

Verdict + la ligne du lundi

2:38 La liste des correctifs : renforcer les tests et les exercices. Rien sur le fait d'enlever les portes du réseau de production. Lundi : mettez votre accès hors bande, et votre porte, sur un réseau que vous n'exploitez pas. Envoyez-moi l'incident dont vous n'avez toujours pas le droit de parler, dans les commentaires, ou à the daily diff dot dev. Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi.

2:58 Fusionnez de manière responsable.

Sources

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com