Un reinicio envió a Telstra a 2006. Nueve millones de teléfonos.
Un ingeniero en Melbourne vuelve a encender un chasis de sincronización a las 2:50 a.m., y para el desayuno, la red móvil más grande de Australia concuerda en que es noviembre de 2006.
Un ingeniero en Melbourne vuelve a encender un chasis de sincronización a las 2:50 a.m., y para el desayuno, la red móvil más grande de Australia concuerda en que es noviembre de 2006. 8 de julio de 2026: una tarjeta GPS en el chasis NTP de Telstra se reinicia durante una reparación de la fuente de alimentación, su firmware nunca recibió la actualización de la "reversión de semana" del GPS, por lo que elige la época antigua y retrocede 1.024 semanas en el pasado. Debido a que una solución provisional de octubre de 2025 había convertido esa tarjeta en la única fuente de estrato 1 de la red —y un cambio en 2020 a la interconexión NTP había dejado todas las demás fuentes por debajo de ella—, la fecha incorrecta gana la votación. Los nodos de transferencia se reinician a partir de las 4 a.m., el 45 % de todas las llamadas y sesiones de datos se ven afectadas, casi 9 millones de clientes pierden llamadas, mensajes de texto o datos, 604 llamadas al Triple Cero dan error, los trenes regionales de Victoria se detienen y la mayoría de los servicios vuelven a funcionar a las 12:12. Las propias alarmas de Telstra estaban en una plataforma que se revisaba en horario laboral; la compañía se dio cuenta porque los clientes buscaban en Google "corte de Telstra".
Leer la edición escrita (inglés) ↗
Qué cubre este vídeo
- Una tarjeta GPS se despierta en noviembre de 2006
- Cronología: diseño de 2010 → chasis de 2020 → tarjeta GPS de octubre de 2025 → 02:50
- La mañana: 04:00 restablecimientos de MME → 04:20 tormenta de alarmas → 12:12 restaurado
- Mecanismo: NTP vota por acuerdo, no por plausibilidad
- git blame — Telstra 55 · interconexión 25 · firmware 15 · la fuente de alimentación 5
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.
Una tarjeta GPS se despierta en noviembre de 2006
0:00 Un ingeniero en Melbourne vuelve a encender un chasis de sincronización a las dos y cincuenta de la mañana, y para el desayuno, la red móvil más grande de Australia concuerda en que es noviembre de dos mil seis. El informe externo de Telstra dice que la fecha se fue a una tarjeta GPS y toda la red votó por ella. Casi nueve millones de clientes pierden llamadas, mensajes de texto o datos, y los trenes regionales de Victoria se detienen por el día. Cómo sucedió, por qué una tarjeta superó al reloj nacional,
0:23 y quién tiene la culpa. Esto es The Daily Diff, post mortem.
Cronología: diseño de 2010 → chasis de 2020 → tarjeta GPS de octubre de 2025 → 02:50
0:28 Dos mil diez. El diseño es de libro de texto. Tres fuentes de tiempo nacionales alimentan dos servidores, esos alimentan tres más abajo, y cada nodo toma el tiempo solo de arriba. Los auditores lo consideran apto para su propósito. Dos mil veinte. Chasis nuevo. No puede alimentar su propio servidor inferior, por lo que Sídney y Melbourne se cruzan los cables y cada sitio se reduce a una referencia. Luego, todo se cambia a interconexión, donde cualquier servidor puede tomar el
0:50 tiempo de cualquier servidor que encuentre. Las palabras "bucle de sincronización" no aparecen en ningún documento. Octubre de dos mil veinticinco. Melbourne sigue perdiendo Sídney, y sus alarmas dicen estrato cinco, lo que significa que toma el tiempo de sus propios clientes. Nadie abre un ticket. En su lugar, los ingenieros encienden una tarjeta GPS que había estado inactiva durante cinco años. Las alarmas se detienen.
1:07 Melbourne es ahora estrato uno, el rango del instituto nacional, y nadie lo revisa. Ocho de julio, dos y cincuenta de la mañana. Una fuente de alimentación necesita ser reemplazada, por lo que el chasis se reinicia, y la tarjeta GPS con él. Su firmware nunca fue actualizado, por lo que elige la época antigua y retrocede mil veinticuatro semanas en el pasado. Melbourne es la cima del árbol, y el resto empieza a concordar.
La mañana: 04:00 restablecimientos de MME → 04:20 tormenta de alarmas → 12:12 restaurado
1:26 Cuatro de la mañana, los nodos de transferencia empiezan a reiniciarse. Cuatro y veinte, una tormenta de alarmas, en una plataforma cuyas alarmas se leen en horario laboral. Cuatro y veintinueve, Telstra se da cuenta, porque los clientes buscan en Google "corte de Telstra". Los ingenieros que hicieron el cambio están en descanso obligatorio, y encontrar la fecha lleva horas. Para las doce y doce, la mayoría de los clientes han vuelto.
Mecanismo: NTP vota por acuerdo, no por plausibilidad
1:47 ¿Por qué fue posible? NTP tiene dos defensas. El estrato inferior gana, y los valores atípicos son eliminados por votación. La tarjeta GPS hizo que la fuente rota tuviera el rango más alto, y cada fuente que podía discrepar estaba río abajo, repitiéndola. NTP nunca pregunta si una fecha es plausible, solo si los demás están de acuerdo. El protocolo funcionó.
2:06 La arquitectura no.
git blame — Telstra 55 · interconexión 25 · firmware 15 · la fuente de alimentación 5
2:07 git blame. Telstra, cincuenta y cinco por ciento. Nadie era dueño del reloj, así que nadie revisó el cambio, y dos boletines del proveedor sobre este error exacto quedaron sin leer. Modo de interconexión, veinticinco, por permitir que los servidores voten con su propio eco. El firmware, quince, publicado y nunca instalado. Cinco por ciento a la fuente de alimentación, por elegir las dos menos diez de un miércoles. Radio de impacto. Cuarenta y cinco por ciento de todas las llamadas y
Radio de impacto: 45 % de las sesiones, una multa de 30 millones de dólares por una caja de 30 mil dólares
2:30 sesiones de datos ese día, le dice el CEO al Senado. La multa sobre la mesa es de treinta millones de dólares, por una actualización gratuita que faltaba en una caja de treinta mil dólares. La tarjeta había sobrevivido a la reversión real en dos mil diecinueve porque nadie la apagó. La reparación la mató. Veredicto, post mortem: SHIP IT, en la respuesta.
Veredicto + la frase del lunes: un reloj con tres sombreros
2:46 Telstra contrata auditores externos, publica el informe sin editar, con la frase de que nunca consideró el tiempo como crítico, y mueve los tres sitios fuera de los servidores antiguos antes de que llegue. Frase del lunes: ejecuta un rastreo NTP y cuenta cuántas de tus fuentes de tiempo son un solo reloj con tres sombreros. Envíame el incidente del que todavía no se te permite hablar, en los comentarios, o en thedailydiff.dev. Y esa es la diferencia de hoy.
3:10 Soy Niko de Axrisi. Fusiona responsablemente.
Fuentes
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
