Egy újraindítás 2006-ba küldte a Telstrát. Kilencmillió telefon.

Amit ez a videó tartalmaz

• Egy GPS kártya 2006 novemberében ébred fel
• Idővonal: 2010 tervezés → 2020 alváz → 2025. okt. GPS kártya → 02:50
• A reggel: 04:00 MME visszaállítások → 04:20 riasztási vihar → 12:12 visszaállítva
• Mechanizmus: Az NTP egyetértésről, nem valószínűségről szavaz
• git blame — Telstra 55 · peering 25 · firmware 15 · a tápegység 5

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

Egy GPS kártya 2006 novemberében ébred fel

0:00 Egy mérnök Melbourne-ben hajnali háromnegyed hármakor bekapcsol egy időzítő alvázat, és reggelire Ausztrália legnagyobb mobilhálózata egyetért abban, hogy kétezerhat november van. A Telstra külső jelentése szerint a dátumot egy GPS kártya adta, és az egész hálózat erre szavazott. Majdnem kilencmillió ügyfél elveszíti a hívásait, szöveges üzeneteit vagy adatait, és Victoria regionális vonatai leállnak az egész napra. Hogyan történt, miért múlta felül egy kártya a nemzeti órát,

0:23 és ki a hibás. Ez a The Daily Diff, postmortem.

Idővonal: 2010 tervezés → 2020 alváz → 2025. okt. GPS kártya → 02:50

0:28 Kétezer tíz. A tervezés tankönyvszerű. Három nemzeti időforrás táplál két szervert, azok hármat alatta, és minden csomópont csak felülről vesz időt. Az ellenőrök célra megfelelőnek nevezik. Kétezerhúsz. Új alváz. Nem tudja táplálni a saját alsóbb szerverét, így Sydney és Melbourne keresztbe van kötve és minden helyszín egyetlen referenciára esik vissza. Ezután mindent peeringre állítanak, ahol bármely szerver bármely

0:50 talált szervertől vehet időt. Az időzítési hurok szavak egyetlen dokumentumban sem szerepelnek. Kétezerhuszonöt október. Melbourne folyamatosan elveszíti Sydney-t, és a riasztásai szerint stratum ötös, ami azt jelenti, hogy saját ügyfeleitől vesz időt. Senki sem rögzít hibajegyet. Ehelyett a mérnökök bekapcsolnak egy GPS kártyát, amely öt éve tétlenül állt. A riasztások leállnak.

1:07 Melbourne most stratum egyes, a nemzeti intézet rangja, és senki sem ellenőrzi. Július nyolcadika, hajnali kettő ötven. Egy tápegység cserére szorul, így az alváz újraindul, és a GPS kártya is vele. A firmware-jét sosem frissítették, így a régi epochát választja, és ezer huszonnégy héttel a múltba kerül. Melbourne van a fa tetején, és az alsóbb rendszerek is egyetértenek.

A reggel: 04:00 MME visszaállítások → 04:20 riasztási vihar → 12:12 visszaállítva

1:26 Hajnali négy, a handover csomópontok újraindulnak. Négy húsz, riasztási vihar, egy olyan platformon, melynek riasztásait munkaidőben olvassák. Négy huszonkilenc, a Telstra észreveszi, mert az ügyfelek „Telstra outage” kifejezésre keresnek a Google-on. A változtatást végző mérnökök kötelező pihenőn vannak, és a dátum megtalálása órákba telik. Tizenkét tizenkettőre a legtöbb ügyfél visszatér.

Mechanizmus: Az NTP egyetértésről, nem valószínűségről szavaz

1:47 Miért volt lehetséges? Az NTP-nek két védelme van. Az alacsonyabb stratum nyer, és a kiugró értékeket kiszavazzák. A GPS kártya tette a hibás forrást a legmagasabb rangúvá, és minden forrás, amely ellent mondhatott volna, lent ült, ismételve azt. Az NTP sosem kérdezi, hogy egy dátum hihető-e, csak azt, hogy a többiek egyetértenek-e. A protokoll működött.

2:06 Az architektúra nem.

git blame — Telstra 55 · peering 25 · firmware 15 · a tápegység 5

2:07 git blame. Telstra, ötvenöt százalék. Senki sem birtokolta az órát, így senki sem ellenőrizte a változtatást, és két gyártói közlemény erről a pontos hibáról olvasatlan maradt. Peering mód, huszonöt, amiért engedte a szervereknek, hogy saját visszhangjukkal szavazzanak. A firmware, tizenöt, kiadva és sosem telepítve. Öt százalék a tápegységnek, amiért hajnali háromnegyed hármat választott szerdán. Robbanási sugár. Az aznapi hívások és adatforgalom negyvenöt százaléka,

Robbanási sugár: az ülések 45%-a, 30M dolláros büntetés egy 30K dolláros dobozért

2:30 mondja a vezérigazgató a Szenátusnak. A kiszabott bírság harmincmillió dollár, egy ingyenes frissítés hiánya miatt, egy harmincezer dolláros dobozból. A kártya túlélte a tényleges átfordulást kétezer tizenkilencben, mert senki sem kapcsolta ki. A javítás végzett vele. Ítélet, postmortem: SHIP IT, a válaszra vonatkozóan.

Ítélet + a hétfői sor: egy óra három sapkában

2:46 A Telstra külső ellenőröket bérel fel, kiadja a jelentést szerkesztetlenül, azzal a mondattal, hogy sosem kezelte az időt kritikusként, és mindhárom helyszínt áthelyezi a régi szerverekről, mielőtt ez bekövetkezik. Hétfői sor: futtasson egy NTP nyomkövetést, és számolja meg, hány időforrása van egy órában három sapkában. Küldje el nekem azt az incidenst, amiről még mindig nem beszélhet, a hozzászólásokban, vagy a thedailydiff.dev címen. És ez a mai diff.

3:10 Niko vagyok az Axrisitől. Felelősségteljesen egyesítse.

Források

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au