Facebook s'est auto-supprimé d'Internet. Six heures.

Ce que couvre cette vidéo

• Facebook retire sa propre adresse
• Les preuves : Meta Engineering, Cloudflare, Hacker News
• Ceci est The Daily Diff, post-mortem
• Chronologie : 15:39 commande → 15:40 retiré → 21:20 rétabli
• Mécanisme : la vérification de santé qui vous supprime, la tempête DNS 30x, les portes

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

Facebook retire sa propre adresse

0:00 Facebook retire sa propre adresse d'Internet, et quand ses ingénieurs arrivent pour la remettre, les lecteurs de badges sont en panne aussi, parce qu'ils fonctionnent sur Facebook. Le propre post-mortem de Meta, le lendemain : une commande de maintenance de routine coupe tous les liens de l'épine dorsale, et l'outil conçu pour bloquer de telles commandes a un bogue.

Les preuves : Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, de l'extérieur : à 15h40 UTC, les routes vers les serveurs de noms de Facebook disparaissent, et dig facebook.com renvoie SERVFAIL partout sur la planète. Comment ça se passe, pourquoi une fonction de sécurité aggrave les choses, et qui est à blâmer. Ceci est The Daily Diff, post-mortem. Début d'après-midi, UTC.

Ceci est The Daily Diff, post-mortem

0:34 Une commande censée vérifier la capacité libre de l'épine dorsale coupe au lieu de cela toutes les liaisons entre les centres de données de Facebook, et l'outil d'audit construit pour détecter exactement cela

Chronologie : 15:39 commande → 15:40 retiré → 21:20 rétabli

0:41 le laisse passer. 15:40. Le flux BGP de Cloudflare se remplit de retraits ; les préfixes DNS de Facebook quittent la table de routage. En une minute, les ingénieurs de Cloudflare sont dans une pièce à se demander s'ils ont cassé 1.1.1.1. 15:45, Hacker News, vingt-six cents points. 16:07, le porte-parole de Facebook, sur Twitter de tous les endroits : certaines personnes ont des difficultés à accéder à nos applications. Certaines personnes, c'est trois milliards et demi.

1:06 18:51, le New York Times : les employés sont enfermés hors de leurs bâtiments, les badges sont morts. 19:52, le CTO s'excuse. 21:00, cinq heures plus tard, les routes reviennent ; 21:20, facebook.com résout. Pourquoi une panne de l'épine dorsale supprime-t-elle Facebook d'Internet ?

Mécanisme : la vérification de santé qui vous supprime, la tempête DNS 30x, les portes

1:20 Ses serveurs de noms ont une règle : ne peuvent pas atteindre les centres de données, se déclarer malsain, arrêter d'annoncer son adresse. Sensé quand un site tombe en panne. Quand toute l'épine dorsale tombe, chaque serveur de noms le fait en même temps. Les serveurs sont actifs. Personne ne peut les trouver. Une fonction de sécurité transforme une panne réseau en une panne d'existence. Ensuite, Internet s'y met : les applications réessayent, les utilisateurs rechargent,

1:39 et le résolveur de Cloudflare voit trente fois sa charge normale, pour un site qui n'est pas là. Et les portes. Outils, accès hors bande, badges : même réseau. Les ingénieurs se rendent aux centres de données, ne peuvent pas entrer, puis rencontrent des racks renforcés contre toute personne ayant un accès physique. Construit pour ralentir un attaquant, il ralentit aussi le propriétaire. L'épine dorsale revient ; ils augmentent le trafic lentement, exprès.

1:59 Chaque centre de données a perdu des dizaines de mégawatts, et inverser cela en une seule étape est une deuxième panne.

git blame — la scission

2:05 git blame. Facebook, cinquante-cinq pour cent : la commande a été auditée, l'auditeur avait le bogue, une commande a atteint tous les routeurs. La conception DNS, vingt-cinq : une vérification de santé sans aucun sens des proportions. Un réseau, quinze : outils, hors bande, badges. Les racks, cinq, pour avoir fait leur travail. Rayon d'impact : trois milliards et demi d'utilisateurs, près de six heures. L'action clôture en baisse de cinq pour cent, six milliards de moins pour Zuckerberg,

Rayon d'impact

2:27 sur le papier. Telegram revendique soixante-dix millions d'inscriptions ce jour-là. Verdict, post-mortem : NEEDS REVIEW. Déclaration le soir même, post-mortem d'un auteur nommé en moins d'une journée, bogue de l'outil d'audit admis en clair.

Verdict + la ligne du lundi

2:38 La liste des correctifs : renforcer les tests et les exercices. Rien sur le fait de retirer les portes du réseau de production. Lundi : mettez votre accès hors bande, et votre porte, sur un réseau que vous n'opérez pas. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff dot dev. Et c'est la diff pour aujourd'hui. Je suis Niko d'Axrisi.

2:58 SHIP IT de manière responsable.

Sources

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com