Перезавантаження відкинуло Telstra у 2006 рік. Дев'ять мільйонів телефонів.

Що охоплює це відео

• GPS-карта прокидається в листопаді 2006 року
• Хроніка: дизайн 2010 → шасі 2020 → GPS-карта жовтень 2025 → 02:50
• Ранок: 04:00 MME скидаються → 04:20 шквал тривог → 12:12 відновлено
• Механізм: NTP голосує за згоду, а не за правдоподібність
• git blame — Telstra 55 · піринг 25 · прошивка 15 · блок живлення 5

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

GPS-карта прокидається в листопаді 2006 року

0:00 Інженер у Мельбурні знову вмикає шасі синхронізації о десятій до третьої ранку, і до сніданку найбільша мобільна мережа Австралії погоджується, що зараз листопад дві тисячі шостого року. Зовнішній звіт Telstra говорить, що дата пішла від однієї GPS-карти, і вся мережа проголосувала за неї. Майже дев'ять мільйонів клієнтів втрачають дзвінки, текстові повідомлення або дані, а регіональні потяги Вікторії зупиняються на день. Як це сталося, чому одна карта мала вищий ранг, ніж національний годинник,

0:23 і хто отримує провину. Це The Daily Diff, посмертний аналіз.

Хроніка: дизайн 2010 → шасі 2020 → GPS-карта жовтень 2025 → 02:50

0:28 Дві тисячі десятий рік. Дизайн — зразок. Три національні джерела часу живлять два сервери, ті живлять три нижче, і кожен вузол бере час тільки зверху. Аудитори називають це придатним для цільового використання. Дві тисячі двадцятий рік. Нове шасі. Воно не може живити свій власний нижній сервер, тому Сідней і Мельбурн перехресно підключаються, і кожен сайт зменшується до однієї точки відліку. Потім усе перемикається на піринг, де будь-який сервер може брати час з будь-якого

0:50 сервера, який він знаходить. Слова "петля синхронізації" не з'являються в жодному документі. Жовтень дві тисячі двадцять п'ятого року. Мельбурн продовжує втрачати Сідней, і його сигнали тривоги кажуть stratum five, що означає, що він бере час від своїх власних клієнтів. Ніхто не створює квиток. Замість цього інженери вмикають GPS-карту, яка простоювала п'ять років. Сигнали тривоги зупиняються.

1:07 Мельбурн тепер stratum one, ранг національного інституту, і ніхто не перевіряє це. Восьме липня, дві п'ятдесят ранку. Блок живлення потребує заміни, тому шасі перезавантажується, і GPS-карта разом з ним. Його прошивка ніколи не оновлювалася, тому він обирає стару епоху і повертається на тисячу двадцять чотири тижні в минуле. Мельбурн — вершина дерева, і нижні рівні починають погоджуватися.

Ранок: 04:00 MME скидаються → 04:20 шквал тривог → 12:12 відновлено

1:26 Четверта ранку, вузли передачі починають скидатися. Чотири двадцять, шквал тривог на платформі, чиї тривоги читаються в робочий час. Чотири двадцять дев'ять, Telstra помічає, тому що клієнти шукають у Google збій Telstra. Інженери, які зробили зміни, перебувають на обов'язковому відпочинку, і пошук дати займає години. До дванадцяти дванадцяти більшість клієнтів відновлюються.

Механізм: NTP голосує за згоду, а не за правдоподібність

1:47 Чому це було можливо? NTP має два захисти. Нижчий stratum виграє, а викиди виключаються голосуванням. GPS-карта зробила пошкоджене джерело найвищим рангом, і кожне джерело, яке могло не погодитися, знаходилося нижче, повторюючи його. NTP ніколи не питає, чи є дата правдоподібною, тільки чи погоджуються інші. Протокол спрацював.

2:06 Архітектура ні.

git blame — Telstra 55 · піринг 25 · прошивка 15 · блок живлення 5

2:07 git blame. Telstra, п'ятдесят п'ять відсотків. Ніхто не відповідав за годинник, тому ніхто не перевіряв зміну, і два повідомлення від постачальників про цю точну помилку залишилися непрочитаними. Режим пірингу, двадцять п'ять, за те, що дозволяє серверам голосувати власним відлунням. Прошивка, п'ятнадцять, опублікована, але ніколи не встановлена. П'ять відсотків блоку живлення, за вибір десятої до третьої в середу. Радіус ураження. Сорок п'ять відсотків усіх дзвінків і сесій даних того дня,

Радіус ураження: 45 % сесій, штраф 30 мільйонів доларів за коробку вартістю 30 тисяч доларів

2:30 говорить генеральний директор Сенату. Штраф, що стоїть на столі, становить тридцять мільйонів доларів, за безкоштовне оновлення, відсутнє в коробці вартістю тридцять тисяч доларів. Карта пережила справжній перехід у дві тисячі дев'ятнадцятому році, тому що ніхто її не вимикав, ремонт її вбив. Вирок, посмертний аналіз: SHIP IT, щодо відповіді.

Вирок + рядок понеділка: один годинник виконує три ролі

2:46 Telstra наймає зовнішніх аудиторів, публікує звіт без редагування, з твердженням, що вона ніколи не вважала час критичним, і переміщує всі три сайти зі старих серверів, перш ніж це станеться. Рядок понеділка: виконайте NTP-трасування та порахуйте, скільки ваших джерел часу — це один годинник, який виконує три ролі. Надішліть мені інцидент, про який вам досі не дозволяють говорити, у коментарях або на thedailydiff.dev. І це The Daily Diff за сьогодні.

3:10 Я Ніко з Axrisi. Об'єднуйте відповідально.

Джерела

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au