Um reboot enviou a Telstra para 2006. Nove milhões de telefones.

O que este vídeo aborda

• Uma placa de GPS acorda em novembro de 2006
• Linha do tempo: design de 2010 → chassi de 2020 → placa GPS de outubro de 2025 → 02:50
• A manhã: 04:00 redefinições MME → 04:20 tempestade de alarmes → 12:12 restaurado
• Mecanismo: NTP vota no acordo, não na plausibilidade
• git blame — Telstra 55 · peering 25 · firmware 15 · a fonte de alimentação 5

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Uma placa de GPS acorda em novembro de 2006

0:00 Um engenheiro em Melbourne religa um chassi de temporização às duas e cinquenta da manhã, e no café da manhã a maior rede móvel da Austrália concorda que é novembro de dois mil e seis. O relatório externo da Telstra diz que a data deixou uma placa de GPS e toda a rede votou por ela. Quase nove milhões de clientes perdem chamadas, textos ou dados, e os trens regionais de Victoria param pelo dia. Como aconteceu, por que uma placa superou o relógio nacional,

0:23 e quem leva a culpa. Este é The Daily Diff, post-mortem.

Linha do tempo: design de 2010 → chassi de 2020 → placa GPS de outubro de 2025 → 02:50

0:28 Dois mil e dez. O design é de livro. Três fontes de tempo nacionais alimentam dois servidores, estes alimentam três abaixo, e cada nó pega o tempo apenas de cima. Os auditores o consideram adequado para o propósito. Dois mil e vinte. Novo chassi. Ele não consegue alimentar seu próprio servidor inferior, então Sydney e Melbourne são interligados e cada site cai para uma referência. Então tudo é mudado para peering, onde qualquer servidor pode pegar o tempo de qualquer

0:50 servidor que encontrar. As palavras loop de temporização não aparecem em nenhum documento. Outubro de dois mil e vinte e cinco. Melbourne continua perdendo Sydney, e seus alarmes dizem estrato cinco, significando que ele pega o tempo de seus próprios clientes. Ninguém abre um chamado. Em vez disso, os engenheiros ligam uma placa de GPS que estava ociosa por cinco anos. Os alarmes param.

1:07 Melbourne agora é estrato um, o nível do instituto nacional, e ninguém a revisa. Oito de julho, duas e cinquenta da manhã. Uma fonte de alimentação precisa ser substituída, então o chassi reinicia, e a placa de GPS junto. Seu firmware nunca foi atualizado, então ele escolhe a época antiga e aterrissa mil e vinte e quatro semanas no passado. Melbourne é o topo da árvore, e os a jusante começam a concordar.

A manhã: 04:00 redefinições MME → 04:20 tempestade de alarmes → 12:12 restaurado

1:26 Quatro da manhã, os nós de handover começam a reiniciar. Quatro e vinte, uma tempestade de alarmes, em uma plataforma cujos alarmes são lidos em horário comercial. Quatro e vinte e nove, a Telstra percebe, porque os clientes estão pesquisando no Google por "Telstra outage". Os engenheiros que fizeram a mudança estão em descanso obrigatório, e encontrar a data leva horas. Por doze e doze a maioria dos clientes está de volta.

Mecanismo: NTP vota no acordo, não na plausibilidade

1:47 Por que foi possível? NTP tem duas defesas. Estrato inferior vence, e os outliers são votados para fora. A placa de GPS tornou a fonte quebrada a mais alta classificação, e toda fonte que poderia discordar estava a jusante, repetindo-a. NTP nunca pergunta se uma data é plausível, apenas se os outros concordam. O protocolo funcionou.

2:06 A arquitetura não.

git blame — Telstra 55 · peering 25 · firmware 15 · a fonte de alimentação 5

2:07 git blame. Telstra, cinquenta e cinco por cento. Ninguém era dono do relógio, então ninguém revisou a mudança, e dois boletins de fornecedores sobre este exato bug não foram lidos. Modo de peering, vinte e cinco, por deixar os servidores votarem com seu próprio eco. O firmware, quinze, publicado e nunca instalado. Cinco por cento para a fonte de alimentação, por escolher duas e cinquenta da manhã de uma quarta-feira. Raio de impacto. Quarenta e cinco por cento de todas as chamadas e sessões de dados naquele dia,

Raio de impacto: 45% das sessões, uma multa de US$ 30 milhões por uma caixa de US$ 30 mil

2:30 diz o CEO ao Senado. A multa em questão é de trinta milhões de dólares, por uma atualização gratuita faltando em uma caixa de trinta mil dólares. A placa havia sobrevivido à verdadeira rolagem em dois mil e dezenove porque ninguém a desligou. O reparo a matou. Veredito, post-mortem: SHIP IT, na resposta.

Veredito + a linha de segunda-feira: um relógio usando três chapéus

2:46 A Telstra contrata auditores externos, publica o relatório sem edição, com a linha de que nunca tratou o tempo como crítico, e move todos os três sites para fora dos servidores antigos antes que ele aterrisse. Linha de segunda-feira: execute um trace de NTP e conte quantas de suas fontes de tempo são um relógio usando três chapéus. Envie-me o incidente sobre o qual você ainda não tem permissão para falar, nos comentários, ou em thedailydiff.dev. E esse é o diff de hoje.

3:10 Sou Niko da Axrisi. Faça a fusão com responsabilidade.

Fontes

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au