Reštart poslal Telstru do roku 2006. Deväť miliónov telefónov.
Inžinier v Melbourne o 2:50 ráno znova zapína synchronizačnú skriňu a do raňajok sa najväčšia austrálska mobilná sieť zhodne, že je november 2006.
Inžinier v Melbourne o 2:50 ráno znova zapína synchronizačnú skriňu a do raňajok sa najväčšia austrálska mobilná sieť zhodne, že je november 2006. 8. júla 2026: GPS karta v NTP skrini Telstry sa reštartuje počas opravy napájacieho zdroja, jej firmvér nikdy nemal aktualizáciu pre prevrátenie týždňa GPS, takže si vyberie starú epochu a pristane o 1 024 týždňov v minulosti. Pretože riešenie z októbra 2025 urobilo z tejto karty jediný zdroj stratum-1 siete — a prechod na NTP peering v roku 2020 nechal každý iný zdroj pod ňou — vyhrá hlasovanie nesprávny dátum. Prepojovacie uzly sa resetujú od 4:00, postihnutých je 45 % všetkých hovorov a dátových relácií, takmer 9 miliónov zákazníkov stráca hovory, texty alebo dáta, 604 hovorov na linku Triple Zero zlyhá, regionálne vlaky štátu Victoria zastavia a väčšina služieb sa vráti do 12:12. Vlastné alarmy Telstry boli na platforme kontrolovanej počas pracovných hodín; spoločnosť si to všimla, pretože zákazníci hľadali na Google „Telstra outage“.
Prečítajte si písanú edíciu (anglicky) ↗
Čo toto video pokrýva
- GPS karta sa prebudí v novembri 2006
- Časová os: návrh 2010 → skriňa 2020 → GPS karta október 2025 → 02:50
- Ráno: 04:00 resetovanie MME → 04:20 alarmová búrka → 12:12 obnovené
- Mechanizmus: NTP hlasuje o zhode, nie o vierohodnosti
- git blame — Telstra 55 · peering 25 · firmware 15 · napájací zdroj 5
Preložený prepis
Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.
GPS karta sa prebudí v novembri 2006
0:00 Inžinier v Melbourne o trištvrte na tri ráno znova zapína synchronizačnú skriňu a do raňajok najväčšia austrálska mobilná sieť súhlasí, že je november dvetisícšesť. Externá správa Telstry hovorí, že dátum opustil jednu GPS kartu a celá sieť zaň hlasovala. Takmer deväť miliónov zákazníkov stratí hovory, texty alebo dáta, a regionálne vlaky štátu Victoria na deň zastavia. Ako sa to stalo, prečo jedna karta prekonala národné hodiny,
0:23 a kto je na vine. Toto je The Daily Diff, postmortem.
Časová os: návrh 2010 → skriňa 2020 → GPS karta október 2025 → 02:50
0:28 Dvetisíc desať. Návrh je učebnicový. Tri národné zdroje času napájajú dva servery, tie napájajú tri pod nimi, a každý uzol preberá čas iba zhora. Audítori to nazývajú vhodné na účel. Dvetisíc dvadsať. Nová skriňa. Nemôže napájať svoj vlastný nižší server, takže Sydney a Melbourne sa prepoja a každé miesto klesne na jeden referenčný bod. Potom sa všetko prepne na peering, kde ktorýkoľvek server môže preberať čas z ktoréhokoľvek
0:50 servera, ktorý nájde. Slová „časová slučka“ sa v žiadnom dokumente nenachádzajú. Október dvetisíc dvadsaťpäť. Melbourne neustále stráca Sydney a jeho alarmy hlásia stratum päť, čo znamená, že preberá čas od svojich vlastných zákazníkov. Nikto nezaloží lístok. Namiesto toho inžinieri zapnú GPS kartu, ktorá päť rokov nečinne ležala. Alarmy prestanú.
1:07 Melbourne je teraz stratum jeden, hodnosť národného inštitútu, a nikto to nekontroluje. Ôsmeho júla, dve päťdesiat ráno. Napájací zdroj potrebuje vymeniť, takže skriňa sa reštartuje, a s ňou aj GPS karta. Jej firmvér nebol nikdy aktualizovaný, takže si vyberie starú epochu a pristane tisíc dvadsaťštyri týždňov v minulosti. Melbourne je na vrchole stromu a podriadené systémy začínajú súhlasiť.
Ráno: 04:00 resetovanie MME → 04:20 alarmová búrka → 12:12 obnovené
1:26 Štyri ráno, prepojovacie uzly sa začnú resetovať. Štyri dvadsať, búrka alarmov, na platforme, ktorej alarmy sa čítajú počas pracovných hodín. Štyri dvadsaťdeväť, Telstra si všimne, pretože zákazníci hľadajú na Google „Telstra outage“. Inžinieri, ktorí vykonali zmenu, sú na povinnej dovolenke, a zistenie dátumu trvá hodiny. Do dvanásť dvanásť je väčšina zákazníkov späť.
Mechanizmus: NTP hlasuje o zhode, nie o vierohodnosti
1:47 Prečo to bolo možné? NTP má dve obrany. Nižšie stratum vyhráva a odľahlé hodnoty sú odhlasované. GPS karta urobila z poškodeného zdroja najvyššiu hodnosť, a každý zdroj, ktorý mohol nesúhlasiť, sedel pod ním, opakujúc to. NTP sa nikdy nepýta, či je dátum vierohodný, iba či ostatní súhlasia. Protokol fungoval.
2:06 Architektúra nie.
git blame — Telstra 55 · peering 25 · firmware 15 · napájací zdroj 5
2:07 git blame. Telstra, päťdesiatpäť percent. Nikto nevlastnil hodiny, takže nikto nekontroloval zmenu, a dva bulletiny od dodávateľa o presne tomto bugu zostali neprečítané. Režim peeringu, dvadsaťpäť, za to, že servery môžu hlasovať vlastnou ozvenou. Firmvér, pätnásť, vydaný a nikdy nenainštalovaný. Päť percent pre napájací zdroj, za výber trištvrte na tri v stredu. Rozsah dopadu. Štyridsaťpäť percent všetkých hovorov a dátových relácií v ten deň,
Rozsah dopadu: 45 % relácií, pokuta 30 miliónov dolárov za krabičku za 30 tisíc dolárov
2:30 hovorí generálny riaditeľ Senátu. Pokuta na stole je tridsať miliónov dolárov, za bezplatnú aktualizáciu chýbajúcu z krabičky za tridsaťtisíc dolárov. Karta prežila skutočné prevrátenie v dvetisíc devätnásť, pretože ju nikto nevypol. Oprava ju zabila. Verdikt, postmortem: SHIP IT, pre reakciu.
Verdikt + pondelková rada: jedny hodiny s tromi klobúkmi
2:46 Telstra najíma externých audítorov, zverejňuje správu bez úprav, s tvrdením, že nikdy nepovažovala čas za kritický, a presúva všetky tri miesta z old serverov pred ich dopadom. Pondelková rada: spustite NTP trace a spočítajte, koľko z vašich časových zdrojov je jedny hodiny s tromi klobúkmi. Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch, alebo na thedailydiff.dev. A to je rozdiel pre dnešok.
3:10 Som Niko z Axrisi. Spojte zodpovedne.
Zdroje
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
