Facebook eyddi sjálfu sér af internetinu. Sex klukkustundir.
Facebook fjarlægir eigið heimilisfang af internetinu og þegar verkfræðingar þess koma til að setja það aftur inn eru kortalesarar líka óvirkir, vegna þess að þeir ganga á Facebook.
Facebook fjarlægir eigið heimilisfang af internetinu og þegar verkfræðingar þess koma til að setja það aftur inn eru kortalesarar líka óvirkir, vegna þess að þeir ganga á Facebook. 4. október 2021, 15:40 UTC: venjubundin viðhaldskipun á burðarneti slær út alla tengingu milli gagnavera Facebook; endurskoðunartólið sem var byggt til að loka fyrir það hefur galla; nafnþjónar Facebook, sem geta ekki náð til gagnaveranna, draga til baka eigin BGP-leiðir að hönnun — og facebook.com, Instagram, WhatsApp og Messenger hverfa af DNS í næstum sex klukkustundir. Innri verkfæri, úth-band aðgangur og skrifstofumerki ganga á sama neti, svo aðgerðin þarf fólk við rekka.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- Facebook fjarlægir sitt eigið heimilisfang
- Kvittanirnar: Meta Engineering, Cloudflare, Hacker News
- Þetta er The Daily Diff, eftirfylgni
- Tímalína: 15:39 skipun → 15:40 afturkallað → 21:20 aftur
- Verkunarmáti: heilsufarsskoðunin sem eyðir þér, 30× DNS stormurinn, hurðirnar
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
Facebook fjarlægir sitt eigið heimilisfang
0:00 Facebook fjarlægir sitt eigið heimilisfang af internetinu, og þegar verkfræðingar þess koma til að setja það aftur inn, eru kortalesarar líka niðri, vegna þess að þeir keyra á Facebook. Eigin eftirfylgni Meta, næsta dag: venjubundin viðhaldskipun slær út alla burðarásartengingu, og tólið sem byggt var til að hindra slíkar skipanir hefur galla.
Kvittanirnar: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, utan frá: klukkan 15:40 UTC hverfa leiðir til nafnþjóna Facebook, og dig facebook.com skilar SERVFAIL alls staðar á jörðinni. Hvernig það gerist, hvers vegna öryggiseiginleiki gerir það verra, og hver fær skömmina. Þetta er The Daily Diff, eftirfylgni. Snemma eftirmiðdag, UTC.
Þetta er The Daily Diff, eftirfylgni
0:34 Skipun sem átti að athuga lausa burðarásargetu slær í staðinn út allar tengingar milli gagnavera Facebook, og endurskoðunartólið sem byggt var til að ná nákvæmlega þessu
Tímalína: 15:39 skipun → 15:40 afturkallað → 21:20 aftur
0:41 sleppir því í gegn. 15:40. BGP-straumur Cloudflare fyllist af afturköllunum; DNS-forskeyti Facebook yfirgefa leiðartöfluna. Innan mínútu eru verkfræðingar Cloudflare í herbergi að velta fyrir sér hvort þeir hafi brotið 1.1.1.1. 15:45, Hacker News, tvö þúsund og sex hundruð stig. 16:07, talsmaður Facebook, á Twitter af öllum stöðum: sumir eiga í vandræðum með aðgang að forritunum okkar. Sumir eru þrír og hálfur milljarður.
1:06 18:51, New York Times: starfsmenn læstir úti úr byggingum sínum, kort óvirk. 19:52, tæknistjórinn biðst afsökunar. 21:00, fimm klukkustundum síðar, leiðir snúa aftur; 21:20, facebook.com leysist. Hvers vegna eyðir burðarásarbilun Facebook af internetinu?
Verkunarmáti: heilsufarsskoðunin sem eyðir þér, 30× DNS stormurinn, hurðirnar
1:20 Nafnþjónar þess hafa reglu: geta ekki náð til gagnaveranna, lýsa yfir sjálfum sér óheilbrigðum, hætta að auglýsa heimilisfang sitt. Skynsamlegt þegar ein síða fer úrskeiðis. Þegar allur burðarásinn fer, gera allir nafnþjónar það í einu. Þjónarnir eru uppi. Enginn finnur þá. Öryggiseiginleiki breytir netbilun í tilvistargalla. Síðan hellist internetið yfir: forrit reyna aftur, notendur endurhlaða,
1:39 og resolver Cloudflare sér þrjátíu sinnum eðlilegt álag, fyrir síðu sem er ekki til. Og hurðirnar. Verkfæri, utanáliggjandi aðgangur, skírteini: sama net. Verkfræðingar keyra til gagnaveranna, komast ekki inn, hittast síðan á rekka sem eru hertir gegn öllum með líkamlegan aðgang. Byggt til að hægja á árásarmanni, það hægir líka á eigandanum. Burðarásinn snýr aftur; þeir auka umferð hægt, viljandi.
1:59 Hvert gagnaver hefur misst tugi megawatta, og að snúa því við í einu skrefi er önnur truflun.
git blame — skiptingin
2:05 git blame. Facebook, fimmtíu og fimm prósent: skipunin var endurskoðuð, endurskoðandinn hafði villuna, ein skipun náði til allra beina. DNS hönnunin, tuttugu og fimm: heilsufarsskoðun án nokkurs skynsamlegs hlutfalls. Eitt net, fimmtán: verkfæri, útbands, skírteini. Rekkanir, fimm, fyrir að vinna sína vinnu. Útbreiðslusvæði: þrír og hálfur milljarður notenda, næstum sex klukkustundir. Hlutabréfin loka niður um fimm prósent, sex milljarða af Zuckerberg,
Útbreiðslusvæði
2:27 á pappír. Telegram heldur því fram að sjötíu milljónir hafi skráð sig þann dag. Dómur, eftirfylgni: NEEDS REVIEW. Yfirlýsing sama kvöld, nafngreindur höfundur eftirfylgni innan dags, endurskoðunartól villa viðurkennd á einföldu máli.
Dómur + mánudagslínan
2:38 Listi yfir lagfæringar: styrkja prófanir og æfingar. Ekkert um að taka hurðirnar af framleiðslunetinu. Mánudagur: settu utanaðkomandi aðgang þinn, og hurðina þína, á net sem þú reknar ekki. Sendu mér atvikið sem þú mátt enn ekki tala um, í athugasemdum, eða á the daily diff dot dev. Og þetta er munurinn fyrir í dag. Ég er Niko frá Axrisi.
2:58 Sameinaðu á ábyrgan hátt.
Heimildir
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
