Restart poslal Telstru do roku 2006. Devět milionů telefonů.
Inženýr v Melbourne zapnul časovací šasi ve 2:50 ráno a do snídaně se největší australská mobilní síť shodla, že je listopad 2006.
Inženýr v Melbourne zapnul časovací šasi ve 2:50 ráno a do snídaně se největší australská mobilní síť shodla, že je listopad 2006. 8. července 2026: GPS karta v Telstra NTP šasi se restartuje během opravy napájecího zdroje, její firmware nikdy neměl aktualizaci pro převrácení týdnů GPS, takže si vybere starou epochu a přistane o 1024 týdnů v minulosti. Protože oprava z října 2025 učinila tuto kartu jediným zdrojem stratum-1 sítě – a přechod na NTP peering v roce 2020 ponechal všechny ostatní zdroje pod ní – špatné datum vyhrává hlasování. Uzly předání se resetují od 4 ráno, je ovlivněno 45 % všech hovorů a datových relací, téměř 9 milionů zákazníků ztratí hovory, textové zprávy nebo data, 604 volání na Triple Zero selže, regionální vlaky ve Victorii se zastaví a většina služeb se vrátí ve 12:12. Vlastní alarmy Telstra byly na platformě kontrolované v pracovní době; společnost si toho všimla, protože zákazníci vyhledávali „Telstra outage“ (výpadek Telstra).
Přečtěte si psané vydání (anglicky) ↗
Co toto video pokrývá
- Karta GPS se probudí v listopadu 2006
- Časová osa: návrh 2010 → šasi 2020 → karta GPS říjen 2025 → 02:50
- Ráno: 04:00 MME restarty → 04:20 alarmová bouře → 12:12 obnoveno
- Mechanismus: NTP hlasuje o shodě, nikoli o věrohodnosti
- git blame — Telstra 55 · peering 25 · firmware 15 · napájecí zdroj 5
Přeložený přepis
Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.
Karta GPS se probudí v listopadu 2006
0:00 Inženýr v Melbourne zapnul časovací šasi v deset minut na tři ráno, a do snídaně se největší australská mobilní síť shodla, že je listopad dva tisíce šest. Externí zpráva Telstry říká, že datum opustilo jednu GPS kartu a celá síť pro něj hlasovala. Téměř devět milionů zákazníků ztratí hovory, textové zprávy nebo data, a regionální vlaky ve Victorii se na den zastaví. Jak se to stalo, proč jedna karta předčila národní hodiny,
0:23 a kdo nese vinu. Toto je The Daily Diff, postmortem.
Časová osa: návrh 2010 → šasi 2020 → karta GPS říjen 2025 → 02:50
0:28 Dva tisíce deset. Návrh je učebnicový. Tři národní časové zdroje napájejí dva servery, ty napájejí tři níže, a každý uzel bere čas pouze shora. Auditoři to označují za účelné. Dva tisíce dvacet. Nové šasi. Nemůže napájet svůj vlastní nižší server, takže Sydney a Melbourne se propojí a každá lokalita se sníží na jeden odkaz. Poté se vše přepne na peering, kde jakýkoli server může brát čas z jakéhokoli
0:50 serveru, který najde. Slova „časová smyčka“ se neobjevují v žádném dokumentu. Říjen dva tisíce dvacet pět. Melbourne stále ztrácí Sydney a jeho alarmy říkají stratum pět, což znamená, že bere čas od svých vlastních zákazníků. Nikdo nezakládá tiket. Místo toho inženýři zapnou GPS kartu, která ležela pět let nečinná. Alarmy se zastaví.
1:07 Melbourne je nyní stratum jedna, hodnost národního institutu, a nikdo to nereviduje. Osmého července, dvě padesát ráno. Napájecí zdroj je třeba vyměnit, takže se šasi restartuje, a s ním i GPS karta. Její firmware nebyl nikdy aktualizován, takže si vybere starou epochu a přistane o tisíc dvacet čtyři týdnů v minulosti. Melbourne je na vrcholu stromu a podřazené prvky začínají souhlasit.
Ráno: 04:00 MME restarty → 04:20 alarmová bouře → 12:12 obnoveno
1:26 Čtyři ráno, uzly předání se začnou resetovat. Čtyři dvacet, alarmová bouře, na platformě, jejíž alarmy se čtou v pracovní době. Čtyři dvacet devět, Telstra si toho všimne, protože zákazníci hledají „výpadek Telstra“. Inženýři, kteří provedli změnu, jsou na povinném odpočinku, a zjištění data trvá hodiny. Do dvanácti dvanácti je většina zákazníků zpět.
Mechanismus: NTP hlasuje o shodě, nikoli o věrohodnosti
1:47 Proč to bylo možné? NTP má dvě obrany. Nižší stratum vítězí a odlehlé hodnoty jsou odhlasovány. GPS karta učinila poškozený zdroj nejvyššího ranku, a každý zdroj, který mohl nesouhlasit, byl podřízený, opakoval to. NTP se nikdy neptá, zda je datum věrohodné, pouze zda ostatní souhlasí. Protokol fungoval.
2:06 Architektura nikoli.
git blame — Telstra 55 · peering 25 · firmware 15 · napájecí zdroj 5
2:07 git blame. Telstra, padesát pět procent. Nikdo nevlastnil hodiny, takže nikdo neschválil změnu, a dva bulletiny dodavatele o této přesné chybě zůstaly nepřečteny. Režim peeringu, dvacet pět, za to, že servery hlasují s vlastním echem. Firmware, patnáct, zveřejněn a nikdy nenainstalován. Pět procent na napájecí zdroj, za výběr deset minut na tři ve středu. Rozsah dopadu. Čtyřicet pět procent všech hovorů a datových relací ten den,
Poloměr dopadu: 45 % relací, pokuta 30 milionů dolarů za krabičku za 30 tisíc dolarů
2:30 říká generální ředitel Senátu. Pokuta na stole je třicet milionů dolarů, za bezplatnou aktualizaci chybějící z krabice za třicet tisíc dolarů. Karta přežila skutečné převrácení v roce dva tisíce devatenáct, protože ji nikdo nevypnul. Oprava ji zabila. Verdikt, postmortem: SHIP IT, na reakci.
Verdikt + pondělní rada: jedny hodiny s třemi funkcemi
2:46 Telstra najímá externí auditory, publikuje zprávu bez úprav, s tvrzením, že čas nikdy nepovažovala za kritický, a přesouvá všechny tři lokality ze starých serverů, než se to stane. Pondělní rada: spusťte NTP trace a spočítejte, kolik vašich časových zdrojů je jedny hodiny nosící tři klobouky. Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na thedailydiff.dev. A to je dnešní diff.
3:10 Jsem Niko z Axrisi. Spojujte zodpovědně.
Zdroje
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
