Facebook si è cancellato da internet. Sei ore.

Contenuto di questo video

• Facebook rimuove il proprio indirizzo
• Le prove: Meta Engineering, Cloudflare, Hacker News
• Questo è The Daily Diff, postmortem
• Cronologia: comando 15:39 → ritiro 15:40 → ripristino 21:20
• Meccanismo: il controllo di integrità che ti elimina, la tempesta DNS 30×, le porte

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

Facebook rimuove il proprio indirizzo

0:00 Facebook rimuove il proprio indirizzo da internet, e quando i suoi ingegneri arrivano per rimetterlo a posto, anche i lettori di badge non funzionano, perché girano su Facebook. Il postmortem di Meta, il giorno dopo: un comando di manutenzione di routine disabilita ogni collegamento della backbone, e lo strumento costruito per bloccare comandi del genere ha un bug.

Le prove: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, dall'esterno: alle 15:40 UTC le rotte ai server dei nomi di Facebook spariscono, e dig facebook.com restituisce SERVFAIL ovunque sul pianeta. Come succede, perché una funzione di sicurezza peggiora le cose, e di chi è la colpa. Questo è The Daily Diff, postmortem. Primo pomeriggio, UTC.

Questo è The Daily Diff, postmortem

0:34 Un comando destinato a verificare la capacità libera della backbone invece disabilita ogni collegamento tra i data center di Facebook, e lo strumento di audit costruito per rilevare esattamente questo

Cronologia: comando 15:39 → ritiro 15:40 → ripristino 21:20

0:41 lo lascia passare. 15:40. Il feed BGP di Cloudflare si riempie di ritiri; i prefissi DNS di Facebook lasciano la tabella di routing. Entro un minuto gli ingegneri di Cloudflare sono in una stanza a chiedersi se hanno rotto 1.1.1.1. 15:45, Hacker News, duemilaseicento punti. 16:07, il portavoce di Facebook, su Twitter di tutti i posti: alcune persone stanno avendo problemi ad accedere alle nostre app. Alcune persone sono tre miliardi e mezzo.

1:06 18:51, il New York Times: dipendenti bloccati fuori dai loro edifici, badge inattivi. 19:52, il CTO si scusa. 21:00, cinque ore dopo, le rotte ritornano; 21:20, facebook.com si risolve. Perché un guasto alla backbone cancella Facebook da internet?

Meccanismo: il controllo di integrità che ti elimina, la tempesta DNS 30×, le porte

1:20 I suoi server dei nomi hanno una regola: non riescono a raggiungere i data center, dichiarati non in salute, smetti di pubblicizzare il tuo indirizzo. Ragionevole quando un sito va male. Quando tutta la backbone va, ogni server dei nomi lo fa contemporaneamente. I server sono attivi. Nessuno riesce a trovarli. Una funzione di sicurezza trasforma un guasto di rete in un guasto di esistenza. Poi internet si accoda: le app riprovano, gli utenti ricaricano,

1:39 e il resolver di Cloudflare vede trenta volte il suo carico normale, per un sito che non c'è. E le porte. Strumenti, accesso out-of-band, badge: stessa rete. Gli ingegneri guidano verso i data center, non riescono ad entrare, poi incontrano rack rinforzati contro chiunque abbia accesso fisico. Costruito per rallentare un attaccante, rallenta anche il proprietario. La backbone ritorna; aumentano il traffico lentamente, di proposito.

1:59 Ogni data center ha perso decine di megawatt, e invertire ciò in un solo passo è una seconda interruzione.

git blame — la divisione

2:05 git blame. Facebook, cinquantacinque percento: il comando è stato controllato, l'auditor aveva il bug, un comando ha raggiunto ogni router. Il design DNS, venticinque: un controllo di integrità senza senso di proporzione. Una rete, quindici: strumenti, out-of-band, badge. I rack, cinque, per aver fatto il loro lavoro. Raggio d'azione: tre miliardi e mezzo di utenti, quasi sei ore. Il titolo chiude in calo del cinque percento, sei miliardi in meno per Zuckerberg,

Raggio d'azione

2:27 sulla carta. Telegram dichiara settanta milioni di iscrizioni quel giorno. Verdetto, postmortem: NEEDS REVIEW. Dichiarazione la sera stessa, postmortem con autore nominato entro un giorno, bug dello strumento di audit ammesso in chiaro italiano.

Verdetto + la linea di lunedì

2:38 L'elenco delle correzioni: rafforzare test ed esercitazioni. Niente sul togliere le porte dalla rete di produzione. Lunedì: metti il tuo accesso out-of-band, e la tua porta, su una rete che non gestisci. Inviami l'incidente di cui non ti è ancora permesso parlare, nei commenti, o a the daily diff dot dev. E questa è la differenza per oggi. Sono Niko di Axrisi.

2:58 Merge responsabilmente.

Fonti

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com