Facebook es va esborrar d'internet. Sis hores.

Què cobreix aquest vídeo

• Facebook elimina la seva pròpia adreça
• Els rebuts: Meta Engineering, Cloudflare, Hacker News
• Aquest és The Daily Diff, postmortem
• Cronologia: 15:39 comanda → 15:40 retirada → 21:20 tornada
• Mecanisme: la comprovació de salut que t'elimina, la tempesta DNS 30×, les portes

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Facebook elimina la seva pròpia adreça

0:00 Facebook elimina la seva pròpia adreça d'internet, i quan els seus enginyers arriben per tornar-la a posar, els lectors de credencials també estan caiguts, perquè funcionen amb Facebook. El propi postmortem de Meta, l'endemà: una comanda de manteniment rutinària fa caure tots els enllaços de la columna vertebral, i l'eina construïda per bloquejar comandes com aquesta té un error.

Els rebuts: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, des de fora: a les 15:40 UTC les rutes als servidors de noms de Facebook desapareixen, i dig facebook.com retorna SERVFAIL a tot arreu del planeta. Com passa, per què una funció de seguretat ho empitjora i qui en té la culpa. Aquest és The Daily Diff, postmortem. Primera hora de la tarda, UTC.

Aquest és The Daily Diff, postmortem

0:34 Una comanda destinada a comprovar la capacitat lliure de la columna vertebral en lloc d'això fa caure tots els enllaços entre els centres de dades de Facebook, i l'eina d'auditoria construïda per detectar exactament això

Cronologia: 15:39 comanda → 15:40 retirada → 21:20 tornada

0:41 ho deixa passar. 15:40. L'alimentació BGP de Cloudflare s'omple de retirades; els prefixos DNS de Facebook abandonen la taula d'encaminament. En un minut, els enginyers de Cloudflare estan en una sala preguntant-se si van trencar 1.1.1.1. 15:45, Hacker News, dos mil sis-cents punts. 16:07, el portaveu de Facebook, a Twitter de tots els llocs: algunes persones estan tenint problemes per accedir a les nostres aplicacions. Algunes persones són tres mil cinc-cents milions.

1:06 18:51, el New York Times: empleats tancats fora dels seus edificis, credencials mortes. 19:52, el CTO es disculpa. 21:00, cinc hores després, les rutes tornen; 21:20, facebook.com es resol. Per què una fallada de la columna vertebral esborra Facebook d'internet?

Mecanisme: la comprovació de salut que t'elimina, la tempesta DNS 30×, les portes

1:20 Els seus servidors de noms tenen una regla: no poden arribar als centres de dades, declara't no saludable, deixa d'anunciar la teva adreça. Sensat quan un lloc falla. Quan tota la columna vertebral falla, cada servidor de noms ho fa alhora. Els servidors estan en funcionament. Ningú els pot trobar. Una funció de seguretat converteix una fallada de xarxa en una fallada d'existència. Aleshores internet s'hi llança: les aplicacions tornen a intentar-ho, els usuaris recarreguen,

1:39 i el resolutor de Cloudflare veu trenta vegades la seva càrrega normal, per a un lloc que no hi és. I les portes. Eines, accés fora de banda, credencials: mateixa xarxa. Els enginyers condueixen als centres de dades, no poden entrar, després troben racks endurits contra qualsevol amb accés físic. Construït per ralentir un atacant, també retarda el propietari. La columna vertebral torna; augmenten el trànsit lentament, a propòsit.

1:59 Cada centre de dades ha caigut desenes de megawatts, i revertir això en un pas és una segona interrupció.

git blame — la divisió

2:05 git blame. Facebook, cinquanta-cinc per cent: la comanda va ser auditada, l'auditor tenia l'error, una comanda va arribar a tots els routers. El disseny DNS, vint-i-cinc: una comprovació de salut sense sentit de la proporció. Una xarxa, quinze: eines, fora de banda, credencials. Els racks, cinc, per fer la seva feina. Radi de blast: tres mil cinc-cents milions d'usuaris, gairebé sis hores. Les accions tanquen amb una caiguda del cinc per cent, sis mil milions menys per a Zuckerberg,

Radi de blast

2:27 sobre el paper. Telegram afirma setanta milions de registres aquell dia. Veredicte, postmortem: NEEDS REVIEW. Declaració la mateixa tarda, postmortem d'autor amb nom en un dia, error de l'eina d'auditoria admès en català clar.

Veredicte + la línia de dilluns

2:38 La llista de correccions: reforçar les proves i els simulacres. Res sobre treure les portes de la xarxa de producció. Dilluns: posa el teu accés fora de banda, i la teva porta, en una xarxa que no operes. Envia'm l'incident del qual encara no se't permet parlar, als comentaris, o a the daily diff dot dev. I aquesta és la diferència d'avui. Sóc en Niko d'Axrisi.

2:58 Merge responsibly.

Fonts

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com