Taaskäivitus saatis Telstra aastasse 2006. Üheksa miljonit telefoni.

Mida see video hõlmab

• GPS-kaart ärkab novembris 2006
• Ajaskaala: 2010 disain → 2020 šassii → okt 2025 GPS-kaart → 02:50
• Hommik: 04:00 MME lähtestused → 04:20 häirete torm → 12:12 taastatud
• Mehhanism: NTP hääletab kokkuleppe, mitte usaldusväärsuse üle
• git blame — Telstra 55 · peering 25 · püsivara 15 · toiteallikas 5

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

GPS-kaart ärkab novembris 2006

0:00 Melbourne'is asuv insener lülitab ajastusšassii uuesti sisse veerand kolme ajal hommikul ja hommikusöögiks nõustub Austraalia suurim mobiilivõrk, et on november kakstuhat kuus. Telstra välisaruanne ütleb, et kuupäev jättis ühe GPS-kaardi ja kogu võrk hääletas selle poolt. Ligi üheksa miljonit klienti kaotavad kõned, sõnumid või andmed, ja Victoria piirkondlikud rongid peatuvad päevaks. Kuidas see juhtus, miks üks kaart edestas riiklikku kella,

0:23 ja kes saab süüdistuse. See on The Daily Diff, järelkaja.

Ajaskaala: 2010 disain → 2020 šassii → okt 2025 GPS-kaart → 02:50

0:28 Kakstuhat kümme. Disain on õpikunäide. Kolm riiklikku ajaallikat toidavad kahte serverit, need toidavad kolme allpool, ja iga sõlm võtab aega ainult ülalt. Audiitorid nimetavad seda otstarbekohaseks. Kakstuhat kakskümmend. Uus šassii. See ei saa toita oma madalamat serverit, nii et Sydney ja Melbourne ühendatakse ristumisega ja iga sait langeb ühe viite juurde. Seejärel lülitatakse kõik peeringule, kus iga server võib võtta aega igalt

0:50 serverilt, mille ta leiab. Sõnad ajastus-silmus ei esine üheski dokumendis. Oktoober kakstuhat kakskümmend viis. Melbourne kaotab pidevalt Sydney't ja selle alarmid ütlevad stratum viis, mis tähendab, et see võtab aega oma klientidelt. Keegi ei esita piletit. Selle asemel lülitavad insenerid sisse GPS-kaardi, mis on viis aastat jõude seisnud. Alarmid peatuvad.

1:07 Melbourne on nüüd stratum üks, riikliku instituudi auaste, ja keegi ei vaata seda üle. Kaheksas juuli, veerand kolm hommikul. Toiteallikas vajab asendamist, nii et šassii taaskäivitub, ja GPS-kaart koos sellega. Selle püsivara ei värskendatud kunagi, nii et see valib vana ajastu ja maandub tuhat kakskümmend neli nädalat minevikus. Melbourne on puu tipus ja allavoolu hakkab nõustuma.

Hommik: 04:00 MME lähtestused → 04:20 häirete torm → 12:12 taastatud

1:26 Kell neli hommikul hakkavad üleandmisõlmed lähtestuma. Kell neli kakskümmend, häirete torm platvormil, mille häireid loetakse tööajal. Kell neli kakskümmend üheksa, Telstra märkab, sest kliendid guugeldavad Telstra katkestust. Muudatuse teinud insenerid on kohustuslikul puhkusel, ja kuupäeva leidmine võtab tunde. Kella kaksteist kaksteist on enamik kliente tagasi.

Mehhanism: NTP hääletab kokkuleppe, mitte usaldusväärsuse üle

1:47 Miks see oli võimalik? NTP-l on kaks kaitset. Madalam stratum võidab ja kõrvalekalded hääletatakse välja. GPS-kaart tegi katkise allika kõrgeima astmega, ja iga allikas, mis võis eriarvamusele jääda, asus allavoolu, seda korrates. NTP ei küsi kunagi, kas kuupäev on usaldusväärne, ainult seda, kas teised nõustuvad. Protokoll töötas.

2:06 Arhitektuur mitte.

git blame — Telstra 55 · peering 25 · püsivara 15 · toiteallikas 5

2:07 git blame. Telstra, viiskümmend viis protsenti. Keegi ei omanud kella, seega keegi ei vaadanud muudatust üle, ja kaks tarnija teadet selle täpse vea kohta jäid lugemata. Peering režiim, kakskümmend viis, selle eest, et serverid hääletasid oma kajaga. Püsivara, viisteist, avaldatud ja kunagi installimata. Viis protsenti toiteallikale, selle eest, et ta valis kolmveerand kolm kolmapäeval. Mõjuala. Nelikümmend viis protsenti kõigist kõnedest ja andmesessioonidest sel päeval,

Mõjuala: 45% sessioonidest, 30 miljoni dollari trahv 30 tuhande dollari kasti eest

2:30 ütleb tegevjuht Senatile. Trahv laual on kolmkümmend miljonit dollarit, tasuta uuenduse puudumise eest kolmekümne tuhande dollari kastist. Kaart oli üle elanud tõelise ümberlülituse kakstuhat üheksateist, sest keegi ei lülitanud seda välja. Remont tappis selle. Kohtuotsus, järelkaja: SHIP IT, vastuse osas.

Kohtuotsus + esmaspäevane rida: üks kell kandmas kolme mütsi

2:46 Telstra palkab välisaudiitorid, avaldab aruande muutmata, jutuga, et ta pole kunagi aega kriitiliselt käsitlenud, ja viib kõik kolm saiti vanadest serveritest maha enne selle maandumist. Esmaspäevane rida: käivitage NTP jälitus ja loendage, kui mitu teie ajaallikat on üks kell, mis kannab kolme mütsi. Saatke mulle intsident, millest te ikka veel rääkida ei tohi, kommentaarides või aadressil thedailydiff.dev. Ja see on tänane diff.

3:10 Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au