Facebook eliminouse a si mesmo da internet. Seis horas.

Que abrangue este vídeo

• Facebook elimina o seu propio enderezo
• Os recibos: Meta Engineering, Cloudflare, Hacker News
• Isto é The Daily Diff, postmortem
• Cronoloxía: 15:39 comando → 15:40 retirado → 21:20 de volta
• Mecanismo: a comprobación de saúde que te elimina, a tormenta DNS 30×, as portas

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

Facebook elimina o seu propio enderezo

0:00 Facebook elimina o seu propio enderezo da internet, e cando os seus enxeñeiros chegan para poñelo de volta, os lectores de insignias tamén están caídos, porque funcionan con Facebook. O propio postmortem de Meta, ao día seguinte: un comando de mantemento rutineiro desactiva cada ligazón da rede principal, e a ferramenta construída para bloquear comandos coma ese ten un erro.

Os recibos: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, desde fóra: ás 15:40 UTC as rutas aos servidores de nomes de Facebook desaparecen, e dig facebook.com devolve SERVFAIL en todas partes do planeta. Como ocorre, por que unha característica de seguridade o empeora e quen leva a culpa. Isto é The Daily Diff, postmortem. Primeira hora da tarde, UTC.

Isto é The Daily Diff, postmortem

0:34 Un comando destinado a comprobar a capacidade libre da rede principal desactiva todas as ligazóns entre os centros de datos de Facebook, e a ferramenta de auditoría construída para detectar exactamente isto

Cronoloxía: 15:39 comando → 15:40 retirado → 21:20 de volta

0:41 déixao pasar. 15:40. O feed BGP de Cloudflare énchese de retiradas; os prefixos DNS de Facebook saen da táboa de enrutamento. Nun minuto, os enxeñeiros de Cloudflare están nunha sala preguntándose se romperon 1.1.1.1. 15:45, Hacker News, dous mil seiscentos puntos. 16:07, o voceiro de Facebook, en Twitter: algunhas persoas están tendo problemas para acceder ás nosas aplicacións. Algunhas persoas son tres mil cincocentos millóns.

1:06 18:51, The New York Times: empregados pechados fóra dos seus edificios, insignias mortas. 19:52, o CTO pide desculpas. 21:00, cinco horas despois, as rutas volven; 21:20, facebook.com resolve. Por que un fallo na rede principal elimina Facebook da internet?

Mecanismo: a comprobación de saúde que te elimina, a tormenta DNS 30×, as portas

1:20 Os seus servidores de nomes teñen unha regra: non poden acadar os centros de datos, decláranse non saudables, deixan de anunciar o seu enderezo. Sensato cando un sitio falla. Cando toda a rede principal falla, cada servidor de nomes o fai á vez. Os servidores están activos. Ninguén pode atopalos. Unha característica de seguridade converte un fallo de rede nun fallo de existencia. Entón, a internet acumúlase: as aplicacións reintentan, os usuarios recargan,

1:39 e o resolvedor de Cloudflare ve trinta veces a súa carga normal, para un sitio que non existe. E as portas. Ferramentas, acceso fóra de banda, insignias: a mesma rede. Os enxeñeiros conducen aos centros de datos, non poden entrar, despois atopan racks endurecidos contra calquera con acceso físico. Construído para frear a un atacante, tamén frea ao propietario. A rede principal volve; aumentan o tráfico lentamente, a propósito.

1:59 Cada centro de datos deixou caer decenas de megavatios, e reverter iso nun só paso é unha segunda interrupción.

git blame — a división

2:05 git blame. Facebook, cincuenta e cinco por cento: o comando foi auditado, o auditor tiña o erro, un comando chegou a todos os enrutadores. O deseño DNS, vinte e cinco: unha comprobación de saúde sen sentido de proporción. Unha rede, quince: ferramentas, fóra de banda, insignias. Os racks, cinco, por facer o seu traballo. Radio de explosión: tres mil cincocentos millóns de usuarios, case seis horas. A acción pecha un cinco por cento á baixa, seis mil millóns menos para Zuckerberg,

Radio de explosión

2:27 no papel. Telegram afirma setenta millóns de rexistros ese día. Veredito, postmortem: NEEDS REVIEW. Declaración esa mesma noite, postmortem con autor nomeado nun día, erro da ferramenta de auditoría admitido en galego sinxelo.

Veredito + a liña do luns

2:38 A lista de solucións: fortalecer as probas e os simulacros. Nada sobre quitar as portas da rede de produción. Luns: pon o teu acceso fóra de banda, e a túa porta, nunha rede que non operas. Envía-me o incidente do que aínda non tes permitido falar, nos comentarios, ou en the daily diff dot dev. E ese é o diff de hoxe. Son Niko de Axrisi.

2:58 SHIP IT. Merge responsibly.

Fontes

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com