Facebook se eliminó de internet. Seis horas.

Qué cubre este vídeo

• Facebook elimina su propia dirección
• Los recibos: Meta Engineering, Cloudflare, Hacker News
• Esto es The Daily Diff, postmortem
• Cronología: 15:39 comando → 15:40 retirado → 21:20 de vuelta
• Mecanismo: la comprobación de estado que te borra, la tormenta DNS 30×, las puertas

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.

Facebook elimina su propia dirección

0:00 Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de credenciales también están caídos, porque funcionan con Facebook. El propio postmortem de Meta, al día siguiente: un comando de mantenimiento rutinario desconecta todos los enlaces troncales, y la herramienta creada para bloquear comandos como ese tiene un error.

Los recibos: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, desde fuera: a las 15:40 UTC las rutas a los servidores de nombres de Facebook desaparecen, y dig facebook.com devuelve SERVFAIL en todo el planeta. Cómo sucede, por qué una función de seguridad lo empeora y quién tiene la culpa. Esto es The Daily Diff, postmortem. Primera hora de la tarde, UTC.

Esto es The Daily Diff, postmortem

0:34 Un comando destinado a verificar la capacidad libre de la red troncal, en cambio, desconecta todos los enlaces entre los centros de datos de Facebook, y la herramienta de auditoría creada para detectar exactamente esto

Cronología: 15:39 comando → 15:40 retirado → 21:20 de vuelta

0:41 lo deja pasar. 15:40. La fuente BGP de Cloudflare se llena de retiradas; los prefijos DNS de Facebook salen de la tabla de enrutamiento. En un minuto, los ingenieros de Cloudflare están en una sala preguntándose si rompieron 1.1.1.1. 15:45, Hacker News, dos mil seiscientos puntos. 16:07, el portavoz de Facebook, en Twitter nada menos: algunas personas están teniendo problemas para acceder a nuestras aplicaciones. Algunas personas son tres mil quinientos millones.

1:06 18:51, The New York Times: empleados encerrados fuera de sus edificios, credenciales muertas. 19:52, el CTO se disculpa. 21:00, cinco horas después, las rutas regresan; 21:20, facebook.com se resuelve. ¿Por qué una falla en la red troncal elimina a Facebook de internet?

Mecanismo: la comprobación de estado que te borra, la tormenta DNS 30×, las puertas

1:20 Sus servidores de nombres tienen una regla: no pueden llegar a los centros de datos, declárate no saludable, deja de anunciar tu dirección. Sensato cuando un sitio va mal. Cuando toda la red troncal falla, cada servidor de nombres lo hace a la vez. Los servidores están levantados. Nadie puede encontrarlos. Una función de seguridad convierte una falla de red en una falla de existencia. Luego internet se aglomera: las aplicaciones reintentan, los usuarios recargan,

1:39 y el resolvedor de Cloudflare ve treinta veces su carga normal, para un sitio que no está ahí. Y las puertas. Herramientas, acceso fuera de banda, credenciales: la misma red. Los ingenieros conducen a los centros de datos, no pueden entrar, luego encuentran racks endurecidos contra cualquiera con acceso físico. Construido para ralentizar a un atacante, también ralentiza al propietario. La red troncal regresa; aumentan el tráfico lentamente, a propósito.

1:59 Cada centro de datos ha perdido decenas de megavatios, y revertir eso en un solo paso es una segunda interrupción.

git blame — la división

2:05 git blame. Facebook, cincuenta y cinco por ciento: el comando fue auditado, el auditor tenía el error, un comando llegó a cada router. El diseño de DNS, veinticinco: una comprobación de estado sin sentido de la proporción. Una red, quince: herramientas, fuera de banda, credenciales. Los racks, cinco, por hacer su trabajo. Radio de impacto: tres mil quinientos millones de usuarios, casi seis horas. Las acciones cierran un cinco por ciento a la baja, seis mil millones menos para Zuckerberg,

Radio de impacto

2:27 en papel. Telegram afirma setenta millones de inscripciones ese día. Veredicto, postmortem: NEEDS REVIEW. Declaración la misma noche, postmortem de autor nombrado en un día, error de la herramienta de auditoría admitido en inglés sencillo.

Veredicto + la línea del lunes

2:38 Lista de soluciones: fortalecer las pruebas y los simulacros. Nada sobre quitar las puertas de la red de producción. Lunes: pon tu acceso fuera de banda, y tu puerta, en una red que no operas. Envíame el incidente del que todavía no se te permite hablar, en los comentarios, o en the daily diff dot dev. Y esa es la diferencia de hoy. Soy Niko de Axrisi.

2:58 Merge responsibly.

Fuentes

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com