Facebook se izbrisao s interneta. Šest sati.

Šta ovaj video pokriva

• Facebook uklanja vlastitu adresu
• Računi: Meta Engineering, Cloudflare, Hacker News
• Ovo je The Daily Diff, postmortem
• Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad
• Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Facebook uklanja vlastitu adresu

0:00 Facebook uklanja vlastitu adresu s interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka su također u kvaru, jer rade na Facebooku. Metin vlastiti postmortem, sljedećeg dana: rutinska komanda za održavanje ruši svaku okosničnu vezu, a alat napravljen da blokira takve komande ima grešku.

Računi: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, izvana: u 15:40 UTC rute do Facebookovih poslužitelja imena nestaju, i dig facebook.com vraća SERVFAIL svugdje na planeti. Kako se to događa, zašto sigurnosna značajka pogoršava situaciju i ko je kriv. Ovo je The Daily Diff, postmortem. Rano popodne, UTC.

Ovo je The Daily Diff, postmortem

0:34 Komanda namijenjena provjeri slobodnog kapaciteta okosnice umjesto toga ruši svaku vezu između Facebookovih podatkovnih centara, a alat za reviziju napravljen da uhvati upravo ovo

Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad

0:41 propusti je. 15:40. Cloudflareov BGP feed se puni povlačenjima; Facebookovi DNS prefiksi napuštaju tabelu rutiranja. U roku od minute Cloudflareovi inženjeri su u sobi pitajući se jesu li pokvarili 1.1.1.1. 15:45, Hacker News, dvadeset šest stotina bodova. 16:07, Facebookov glasnogovornik, na Twitteru među svim mjestima: neki ljudi imaju probleme s pristupom našim aplikacijama. Neki ljudi je tri i po milijarde.

1:06 18:51, New York Times: zaposlenici zaključani iz svojih zgrada, značke mrtve. 19:52, CTO se izvinjava. 21:00, pet sati, rute se vraćaju; 21:20, facebook.com se rješava. Zašto kvar na okosnici briše Facebook s interneta?

Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

1:20 Njegovi poslužitelji imena imaju pravilo: ne mogu doći do podatkovnih centara, proglasite se nezdravim, prestanite oglašavati svoju adresu. Razumno kada jedno mjesto ode loše. Kada cijela okosnica ode, svaki poslužitelj imena to radi odjednom. Serveri su uključeni. Nitko ih ne može pronaći. Sigurnosna značajka pretvara mrežni kvar u kvar postojanja. Zatim se internet nagomilava: aplikacije pokušavaju ponovo, korisnici osvježavaju,

1:39 a Cloudflareov resolver vidi trideset puta svoje normalno opterećenje, za stranicu koja ne postoji. I vrata. Alati, vanjski pristup, značke: ista mreža. Inženjeri voze do podatkovnih centara, ne mogu ući, zatim susreću rekove ojačane protiv bilo koga s fizičkim pristupom. Izgrađen da uspori napadača, usporava i vlasnika. Okosnica se vraća; promet rampaju polako, namjerno.

1:59 Svaki podatkovni centar je ispustio desetine megavata, i preokretanje toga u jednom koraku je drugi prekid.

git blame — podjela

2:05 git blame. Facebook, pedeset pet posto: komanda je revidirana, revizor je imao grešku, jedna komanda je dosegla svaki ruter. DNS dizajn, dvadeset pet: provjera zdravlja bez osjećaja za proporciju. Jedna mreža, petnaest: alati, vanjski, značke. Rekovi, pet, za obavljanje svog posla. Radijus eksplozije: tri i po milijarde korisnika, gotovo šest sati. Dionice zatvaraju s padom od pet posto, šest milijardi manje za Zuckerberga,

Radijus eksplozije

2:27 na papiru. Telegram tvrdi sedamdeset miliona prijava tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem s imenovanim autorom u roku od dana, greška alata za reviziju priznata jasnim engleskim jezikom.

Presuda + ponedjeljak linija

2:38 Popis popravaka: pojačati testiranje i vježbe. Ništa o uklanjanju vrata s produkcijske mreže. Ponedjeljak: stavite svoj vanjski pristup, i svoja vrata, na mrežu koju ne upravljate. Pošaljite mi incident o kojem još uvijek ne smijete pričati, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.

2:58 Spojite odgovorno.

Izvori

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com