En genstart sendte Telstra tilbage til 2006. Ni millioner telefoner.

Hvad denne video dækker

• Et GPS-kort vågner op i november 2006
• Tidslinje: 2010 design → 2020 chassis → Okt 2025 GPS-kort → 02:50
• Morgenen: 04:00 MME nulstiller → 04:20 alarmstorm → 12:12 genoprettet
• Mekanisme: NTP stemmer om enighed, ikke sandsynlighed
• git blame — Telstra 55 · peering 25 · firmware 15 · strømforsyningen 5

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Et GPS-kort vågner op i november 2006

0:00 En ingeniør i Melbourne tænder et timingschassis igen klokken ti minutter i tre om morgenen, og til morgenmaden er Australiens største mobilnetværk enig i, at det er november to tusind og seks. Telstras eksterne rapport siger, at datoen forlod ét GPS-kort, og hele netværket stemte for det. Næsten ni millioner kunder mister opkald, sms'er eller data, og Victorias regionaltog stopper for dagen. Hvordan det skete, hvorfor ét kort overgik det nationale ur,

0:23 og hvem der får skylden. Dette er The Daily Diff, postmortem.

Tidslinje: 2010 design → 2020 chassis → Okt 2025 GPS-kort → 02:50

0:28 To tusind og ti. Designet er lærebogseksempel. Tre nationale tidskilder forsyner to servere, de forsyner tre nedenunder, og hver node tager kun tid ovenfra. Revisorerne kalder det egnet til formålet. To tusind og tyve. Nyt chassis. Det kan ikke forsyne sin egen nedre server, så Sydney og Melbourne bliver krydskoblet, og hvert sted falder til én reference. Derefter skiftes alt til peering, hvor enhver server kan tage tid fra enhver

0:50 server, den finder. Ordene timing-loop optræder ikke i noget dokument. Oktober to tusind og femogtyve. Melbourne mister konstant Sydney, og dets alarmer siger stratum fem, hvilket betyder, at det tager tid fra sine egne kunder. Ingen opretter en sag. I stedet tænder ingeniørerne et GPS-kort, der har stået inaktivt i fem år. Alarmerne stopper.

1:07 Melbourne er nu stratum et, den nationale institutions rang, og ingen gennemgår det. Den ottende juli, to femti om morgenen. En strømforsyning skal udskiftes, så chassiset genstarter, og GPS-kortet med det. Dets firmware blev aldrig opdateret, så det vælger den gamle epoke og lander et tusind fireogtyve uger tilbage i tiden. Melbourne er toppen af hierarkiet, og nedstrøms begynder at blive enig.

Morgenen: 04:00 MME nulstiller → 04:20 alarmstorm → 12:12 genoprettet

1:26 Klokken fire om morgenen begynder håndover-noderne at nulstille. Klokken fire tyve, en alarmstorm, på en platform, hvis alarmer læses i arbejdstiden. Klokken fire niogtyve, Telstra lægger mærke til det, fordi kunderne googler Telstra outage. Ingeniørerne, der foretog ændringen, er på obligatorisk hvile, og at finde datoen tager timer. Klokken tolv tolv er de fleste kunder tilbage.

Mekanisme: NTP stemmer om enighed, ikke sandsynlighed

1:47 Hvorfor var det muligt? NTP har to forsvar. Lavere stratum vinder, og afvigere stemmes ud. GPS-kortet gjorde den ødelagte kilde til den højeste rang, og enhver kilde, der kunne være uenig, sad nedstrøms, og gentog den. NTP spørger aldrig, om en dato er sandsynlig, kun om de andre er enige. Protokollen virkede.

2:06 Arkitekturen gjorde det ikke.

git blame — Telstra 55 · peering 25 · firmware 15 · strømforsyningen 5

2:07 git blame. Telstra, femoghalvfems procent. Ingen ejede uret, så ingen gennemgik ændringen, og to leverandørmeddelelser om netop denne fejl blev ikke læst. Peering-tilstand, femogtyve, for at lade servere stemme med deres eget ekko. Firmwaren, femten, udgivet og aldrig installeret. Fem procent til strømforsyningen, for at vælge ti minutter i tre en onsdag. Påvirkningsradius. Femogfyrre procent af alle opkalds- og datasessioner den dag,

Påvirkningsradius: 45 % af sessioner, en $30M bøde for en $30K boks

2:30 fortæller CEO'en Senatet. Bøden på bordet er tredive millioner dollars, for en gratis opdatering, der manglede fra en tredive tusind dollars boks. Kortet havde overlevet den rigtige rollover i to tusind og nitten, fordi ingen slukkede det. Reparationen dræbte det. Dom, postmortem: SHIP IT, om reaktionen.

Dom + mandagsnoten: ét ur, der bærer tre hatte

2:46 Telstra hyrer eksterne revisorer, udgiver rapporten uredigeret, med den linje, at de aldrig behandlede tid som kritisk, og flytter alle tre steder væk fra de gamle servere, før det lander. Mandagsnoten: kør en NTP-trace og tæl, hvor mange af dine tidskilder der er ét ur, der bærer tre hatte. Send mig hændelsen, du stadig ikke må tale om, i kommentarerne, eller på thedailydiff.dev. Og det er diff'en for i dag.

3:10 Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au