Facebook je izbrisao sam sebe sa interneta. Šest sati.
Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku.
Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku. 4. oktobar 2021, 15:40 UTC: rutinska komanda za održavanje okosnice mreže obara svaku vezu između Facebookovih centara podataka; alat za reviziju, napravljen da to spreči, ima grešku; Facebookovi serveri imena, nesposobni da pristupe centrima podataka, povlače sopstvene BGP rute po dizajnu — i facebook.com, Instagram, WhatsApp i Messenger nestaju sa DNS-a na skoro šest sati. Interni alati, vanmrežni pristup i službene značke koriste istu mrežu, pa je za popravku potrebna prisutnost ljudi kod rekova.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- Facebook uklanja sopstvenu adresu
- Računi: Meta Engineering, Cloudflare, Hacker News
- Ovo je The Daily Diff, postmortem
- Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad
- Mehanizam: provera ispravnosti koja vas briše, 30× DNS oluja, vrata
Preveden transkript
Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.
Facebook uklanja sopstvenu adresu
0:00 Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku. Metin sopstveni postmortem, sledećeg dana: rutinska komanda za održavanje obara svaku vezu okosnice mreže, a alat napravljen da blokira takve komande ima grešku.
Računi: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, spolja: u 15:40 UTC rute do Facebookovih servera imena nestaju, i dig facebook.com vraća SERVFAIL svuda na planeti. Kako se to događa, zašto sigurnosna funkcija pogoršava stvari, i ko je kriv. Ovo je The Daily Diff, postmortem. Rano popodne, UTC.
Ovo je The Daily Diff, postmortem
0:34 Komanda namenjena proveri slobodnog kapaciteta okosnice mreže umesto toga obara svaku vezu između Facebookovih centara podataka, a alat za reviziju, napravljen da uhvati upravo ovo,
Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad
0:41 propusuje je. 15:40. Cloudflareov BGP fid se puni povlačenjima; Facebookovi DNS prefiksi napuštaju tabelu rutiranja. U roku od minuta Cloudflareovi inženjeri su u sobi i pitaju se da li su pokvarili 1.1.1.1. 15:45, Hacker News, dve hiljade šesto poena. 16:07, Facebookov portparol, na Twitteru između ostalog: neki ljudi imaju problema sa pristupom našim aplikacijama. Neki ljudi su tri i po milijarde.
1:06 18:51, The New York Times: zaposleni zaključani van svojih zgrada, značke mrtve. 19:52, CTO se izvinjava. 21:00, pet sati kasnije, rute se vraćaju; 21:20, facebook.com se rešava. Zašto kvar okosnice mreže briše Facebook sa interneta?
Mehanizam: provera ispravnosti koja vas briše, 30× DNS oluja, vrata
1:20 Njegovi serveri imena imaju pravilo: ne mogu da pristupe centrima podataka, proglasi se nezdravim, prestani da reklamiraš svoju adresu. Razumno kada jedna lokacija pokvari. Kada celokupna okosnica mreže padne, svaki server imena to radi odjednom. Serveri su uključeni. Niko ih ne može pronaći. Sigurnosna funkcija pretvara mrežni kvar u kvar postojanja. Tada se internet nagomilava: aplikacije ponovo pokušavaju, korisnici ponovo učitavaju,
1:39 a Cloudflareov rešavač vidi trideset puta veće opterećenje od uobičajenog, za sajt koji ne postoji. I vrata. Alati, vanmrežni pristup, značke: ista mreža. Inženjeri voze do centara podataka, ne mogu da uđu, a zatim se susreću sa rekova otpornim na svakoga sa fizičkim pristupom. Napravljeno da uspori napadača, usporava i vlasnika. Okosnica mreže se vraća; oni namerno polako povećavaju promet.
1:59 Svaki centar podataka je ispustio desetine megavata, a to poništavanje u jednom koraku je drugi prekid.
git blame — podela
2:05 git blame. Facebook, pedeset pet posto: komanda je revidirana, revizor je imao grešku, jedna komanda je stigla do svakog rutera. Dizajn DNS-a, dvadeset pet: provera ispravnosti bez osećaja za proporciju. Jedna mreža, petnaest: alati, vanmrežni, značke. Rekovi, pet, jer su obavljali svoj posao. Radijus eksplozije: tri i po milijarde korisnika, skoro šest sati. Akcije zatvaraju sa padom od pet posto, šest milijardi manje za Zuckerberga,
Radijus eksplozije
2:27 na papiru. Telegram tvrdi sedamdeset miliona novih registracija tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem sa imenovanim autorom u roku od jednog dana, greška u alatu za reviziju priznata jasnim engleskim jezikom.
Presuda + ponedeljkom linija
2:38 Lista popravki: ojačati testiranje i vežbe. Ništa o uklanjanju vrata sa proizvodne mreže. Ponedeljak: postavite svoj vanmrežni pristup i svoja vrata na mrežu koju ne operišete. Pošaljite mi incident o kome vam još uvek nije dozvoljeno da govorite, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.
2:58 SHIP IT responsibly.
Izvori
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
