Facebook s-a șters singur de pe internet. Șase ore.

Ce acoperă acest videoclip

• Facebook își retrage propria adresă
• Dovezile: Meta Engineering, Cloudflare, Hacker News
• Acesta este The Daily Diff, postmortem
• Cronologie: comandă 15:39 → retragere 15:40 → înapoi 21:20
• Mecanism: verificarea de sănătate care te șterge, furtuna DNS de 30×, ușile

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

Facebook își retrage propria adresă

0:00 Facebook își retrage propria adresă de pe internet, iar când inginerii săi sosesc să o repună, cititoarele de ecusoane sunt și ele defecte, pentru că funcționează pe Facebook. Propriul postmortem al Meta, a doua zi: o comandă de rutină de mentenanță întrerupe fiecare legătură principală, iar instrumentul construit pentru a bloca astfel de comenzi are o eroare.

Dovezile: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, din exterior: la 15:40 UTC rutele către serverele de nume ale Facebook dispar, și dig facebook.com returnează SERVFAIL peste tot pe planetă. Cum se întâmplă, de ce o funcționalitate de siguranță o înrăutățește, și cine este de vină. Acesta este The Daily Diff, postmortem. După-amiaza devreme, UTC.

Acesta este The Daily Diff, postmortem

0:34 O comandă menită să verifice capacitatea liberă a rețelei principale întrerupe în schimb fiecare legătură între centrele de date ale Facebook, iar instrumentul de audit construit pentru a prinde exact acest lucru

Cronologie: comandă 15:39 → retragere 15:40 → înapoi 21:20

0:41 o lasă să treacă. 15:40. Feed-ul BGP al Cloudflare se umple cu retrageri; prefixele DNS ale Facebook părăsesc tabela de rutare. În decurs de un minut, inginerii Cloudflare sunt într-o sală întrebându-se dacă ei au stricat 1.1.1.1. 15:45, Hacker News, două mii șase sute de puncte. 16:07, purtătorul de cuvânt al Facebook, pe Twitter dintre toate locurile: unii oameni au probleme la accesarea aplicațiilor noastre. Unii oameni înseamnă trei miliarde și jumătate.

1:06 18:51, New York Times: angajați blocați în afara clădirilor lor, ecusoane moarte. 19:52, CTO își cere scuze. 21:00, după cinci ore, rutele revin; 21:20, facebook.com se rezolvă. De ce o eroare de rețea principală șterge Facebook de pe internet?

Mecanism: verificarea de sănătate care te șterge, furtuna DNS de 30×, ușile

1:20 Serverele sale de nume au o regulă: nu pot ajunge la centrele de date, declară-te nesănătos, încetează să-ți mai publici adresa. Rezonabil când un singur site se strică. Când întreaga rețea principală cedează, fiecare server de nume face acest lucru deodată. Serverele sunt active. Nimeni nu le poate găsi. O funcționalitate de siguranță transformă o eroare de rețea într-o eroare de existență. Apoi internetul se adună: aplicațiile reîncearcă, utilizatorii reîncarcă,

1:39 iar resolver-ul Cloudflare vede de treizeci de ori încărcarea sa normală, pentru un site care nu există. Și ușile. Instrumente, acces în afara benzii, ecusoane: aceeași rețea. Inginerii conduc la centrele de date, nu pot intra, apoi întâlnesc rack-uri fortificate împotriva oricui cu acces fizic. Construit pentru a încetini un atacator, încetinește și proprietarul. Rețeaua principală revine; ei cresc traficul lent, intenționat.

1:59 Fiecare centru de date a scăzut zeci de megawați, iar inversarea acestui lucru într-un singur pas este o a doua întrerupere.

git blame — divizarea

2:05 git blame. Facebook, cincizeci și cinci la sută: comanda a fost auditată, auditorul a avut eroarea, o comandă a ajuns la fiecare router. Designul DNS, douăzeci și cinci: o verificare a sănătății fără simțul proporției. O rețea, cincisprezece: instrumente, out-of-band, ecusoane. Rack-urile, cinci, pentru că și-au făcut treaba. Raza de impact: trei miliarde și jumătate de utilizatori, aproape șase ore. Acțiunile închid în scădere cu cinci procente, șase miliarde pierdute de Zuckerberg,

Raza de impact

2:27 pe hârtie. Telegram revendică șaptezeci de milioane de înscrieri în acea zi. Verdict, postmortem: NEEDS REVIEW. Declarație în aceeași seară, postmortem cu autor numit în decurs de o zi, eroarea instrumentului de audit admisă în termeni simpli.

Verdict + linia de luni

2:38 Lista de remedieri: consolidarea testării și a exercițiilor. Nimic despre scoaterea ușilor din rețeaua de producție. Luni: puneți accesul out-of-band și ușa dvs. pe o rețea pe care nu o operați. Trimiteți-mi incidentul despre care încă nu aveți voie să vorbiți, în comentarii, sau la the daily diff dot dev. Și acesta este the diff pentru azi. Sunt Niko de la Axrisi.

2:58 Mergeți responsabil.

Surse

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com