Facebook fshiu veten nga interneti. Gjashtë orë.

Çfarë mbulon kjo video

• Facebook heq adresën e vet
• Dëshmitë: Meta Engineering, Cloudflare, Hacker News
• Ky është The Daily Diff, postmortem
• Kronologjia: 15:39 komandë → 15:40 e tërhequr → 21:20 kthimi
• Mekanizmi: kontrolli i shëndetit që të fshin, stuhia 30× DNS, dyert

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

Facebook heq adresën e vet

0:00 Facebook heq adresën e vet nga interneti, dhe kur inxhinierët e saj mbërrijnë për ta rikthyer, lexuesit e kartave janë gjithashtu jashtë funksionit, sepse ato funksionojnë në Facebook. Postmortemi i Meta-s, të nesërmen: një komandë rutinë mirëmbajtjeje rrëzon çdo lidhje kryesore, dhe mjeti i ndërtuar për të bllokuar komanda të tilla ka një gabim.

Dëshmitë: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, nga jashtë: në 15:40 UTC rrugët drejt serverëve të emrave të Facebook-ut zhduken, dhe dig facebook.com kthen SERVFAIL kudo në planet. Si ndodh, pse një veçori sigurie e përkeqëson, dhe kush merr fajin. Ky është The Daily Diff, postmortem. Pasdite herët, UTC.

Ky është The Daily Diff, postmortem

0:34 Një komandë e destinuar për të kontrolluar kapacitetin e lirë kryesor në vend të kësaj rrëzon çdo lidhje midis qendrave të të dhënave të Facebook-ut, dhe mjeti i auditimit i ndërtuar për të kapur pikërisht këtë

Kronologjia: 15:39 komandë → 15:40 e tërhequr → 21:20 kthimi

0:41 e lejon të kalojë. 15:40. Burimi BGP i Cloudflare mbushet me tërheqje; prefikset DNS të Facebook-ut largohen nga tabela e rrugëzimit. Brenda një minute inxhinierët e Cloudflare janë në një dhomë duke u pyetur nëse ata prishën 1.1.1.1. 15:45, Hacker News, dymijë e gjashtëqind pikë. 16:07, zëdhënësi i Facebook-ut, në Twitter nga të gjitha vendet: disa njerëz po kanë probleme me aksesimin e aplikacioneve tona. Disa njerëz janë tre miliardë e gjysmë.

1:06 18:51, New York Times: punonjës të bllokuar jashtë ndërtesave të tyre, kartat e aksesit të vdekura. 19:52, CTO kërkon falje. 21:00, pas pesë orësh, rrugët kthehen; 21:20, facebook.com zgjidhet. Pse një defekt kryesor e fshin Facebook-un nga interneti?

Mekanizmi: kontrolli i shëndetit që të fshin, stuhia 30× DNS, dyert

1:20 Serverët e tij të emrave kanë një rregull: nuk mund të arrijnë qendrat e të dhënave, shpall veten të pasigurt, ndalo reklamimin e adresës tënde. E arsyeshme kur një faqe prishet. Kur e gjithë shpina bie, çdo server emri e bën atë menjëherë. Serverët janë lart. Askush nuk mund t'i gjejë. Një veçori sigurie e kthen një defekt rrjeti në një defekt ekzistence. Pastaj interneti grumbullohet: aplikacionet rishikojnë, përdoruesit rifreskojnë,

1:39 dhe zgjidhësi i Cloudflare sheh tridhjetë herë ngarkesën e tij normale, për një faqe që nuk është aty. Dhe dyert. Mjetet, qasja jashtë brezit, kartat e aksesit: i njëjti rrjet. Inxhinierët shkojnë me makinë në qendrat e të dhënave, nuk mund të hyjnë, pastaj takojnë rafte të forta kundër kujtdo me qasje fizike. Ndërtuar për të ngadalësuar një sulmues, ai ngadalëson edhe pronarin. Shpina kthehet; ata rritin trafikun ngadalë, me qëllim.

1:59 Çdo qendër të dhënash ka rënë me dhjetëra megavat, dhe kthimi i kësaj në një hap është një ndërprerje e dytë.

git blame — ndarja

2:05 git blame. Facebook, pesëdhjetë e pesë për qind: komanda u auditua, audituesi kishte gabimin, një komandë arriti çdo ruter. Dizajni i DNS, njëzet e pesë: një kontroll shëndetësor pa sens proporcionit. Një rrjet, pesëmbëdhjetë: mjete, jashtë brezit, karta aksesit. Raftet, pesë, për kryerjen e punës së tyre. Rrezja e shpërthimit: tre miliardë e gjysmë përdorues, gati gjashtë orë. Aksionet mbyllen me pesë për qind rënie, gjashtë miliardë humbje për Zuckerberg-un,

Rrezja e shpërthimit

2:27 në letër. Telegram pretendon shtatëdhjetë milionë regjistrime atë ditë. Vendimi, postmortem: NEEDS REVIEW. Deklaratë e së njëjtës mbrëmje, postmortem me autor të emëruar brenda një dite, gabimi i mjetit të auditimit i pranuar në anglisht të thjeshtë.

Vendimi + linja e së hënës

2:38 Lista e rregullimeve: forco testimet dhe stërvitjet. Asgjë për heqjen e dyerve nga rrjeti i prodhimit. E hënë: vendos qasjen tënde jashtë brezit, dhe derën tënde, në një rrjet që ti nuk operon. Më dërgo incidentin për të cilin ende nuk të lejohet të flasësh, në komente, ose te the daily diff dot dev. Dhe ky është ndryshimi për sot. Unë jam Niko nga Axrisi.

2:58 Bashko me përgjegjësi.

Burimet

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com