Перазагрузка адправіла Telstra ў 2006 год. Дзевяць мільёнаў тэлефонаў.

Што ахоплівае гэта відэа

• Карта GPS прачынаецца ў лістападзе 2006 года
• Храналогія: дызайн 2010 → шасі 2020 → карта GPS кастрычнік 2025 → 02:50
• Раніца: 04:00 MME скідаецца → 04:20 шквал трывог → 12:12 адноўлена
• Механізм: NTP галасуе за згоду, а не за праўдападобнасць
• віна git — Telstra 55 · пірынг 25 · прашыўка 15 · крыніца сілкавання 5

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Карта GPS прачынаецца ў лістападзе 2006 года

0:00 Інжынер у Мельбурне ўключае шасі сінхранізацыі ў дзесяць хвілін трэцяй раніцы, і да сняданку найбуйнейшая мабільная сетка Аўстраліі пагаджаецца, што зараз лістапад дзве тысячы шостага года. Знешні справаздачу Telstra кажа, што дата пакінула адну карту GPS, і ўся сетка прагаласавала за яе. Амаль дзевяць мільёнаў абанентаў губляюць званкі, паведамленні або даныя, і рэгіянальныя цягнікі Вікторыі спыняюцца на ўвесь дзень. Як гэта адбылося, чаму адна карта пераўзышла нацыянальны гадзіннік,

0:23 і хто нясе адказнасць. Гэта The Daily Diff, пасмяротны аналіз.

Храналогія: дызайн 2010 → шасі 2020 → карта GPS кастрычнік 2025 → 02:50

0:28 Дзве тысячы дзесяты год. Дызайн падручнікавы. Тры нацыянальныя крыніцы часу сілкуюць два серверы, тыя сілкуюць тры ніжэй, і кожны вузел бярэ час толькі зверху. Аўдытары называюць яго прыдатным для мэты. Дзве тысячы дваццаты год. Новае шасі. Яно не можа сілкаваць свой ніжні сервер, таму Сідней і Мельбурн атрымліваюць перакрыжаваныя злучэнні і кожны сайт зводзіцца да адной спасылкі. Затым усё пераключаецца на пірынг, дзе любы сервер можа браць час ад любога

0:50 сервера, які ён знойдзе. Словы «петля сінхранізацыі» не сустракаюцца ні ў адным дакуменце. Кастрычнік дзве тысячы дваццаць пятага года. Мельбурн працягвае губляць Сідней, і яго сігналізацыі паказваюць пяты ўзровень (stratum five), што азначае, што ён бярэ час ад сваіх уласных кліентаў. Ніхто не стварае білет. Замест гэтага інжынеры ўключаюць карту GPS, якая праляжала без справы пяць гадоў. Сігналізацыі спыняюцца.

1:07 Мельбурн цяпер першы ўзровень (stratum one), ранг нацыянальнага інстытута, і ніхто гэта не пераглядае. Восьмага ліпеня, дзве пяцьдзесят раніцы. Крыніца сілкавання патрабуе замены, таму шасі перазагружаецца, і разам з ім карта GPS. Яе прашыўка ніколі не абнаўлялася, таму яна выбірае старую эпоху і вяртаецца на тысячу дваццаць чатыры тыдні ў мінулае. Мельбурн знаходзіцца на вяршыні дрэва, і ніжэй па плыні пачынае згаджацца.

Раніца: 04:00 MME скідаецца → 04:20 шквал трывог → 12:12 адноўлена

1:26 Чатыры гадзіны раніцы, вузлы перадачы пачынаюць скідацца. Чатыры дваццаць, шквал трывог, на платформе, чые сігналізацыі чытаюцца ў працоўны час. Чатыры дваццаць дзевяць, Telstra заўважае, таму што кліенты гугляць «адключэнне Telstra». Інжынеры, якія зрабілі змяненне, знаходзяцца на абавязковым адпачынку, і пошук даты займае гадзіны. Да дванаццаці дванаццаці большасць кліентаў вяртаецца.

Механізм: NTP галасуе за згоду, а не за праўдападобнасць

1:47 Чаму гэта было магчыма? NTP мае дзве абароны. Ніжэйшы ўзровень выйграе, і выкіды адгалошваюцца. Карта GPS зрабіла зламаную крыніцу найвышэйшым рангам, і ўсе крыніцы, якія маглі б не пагадзіцца, знаходзіліся ніжэй па плыні, паўтараючы гэта. NTP ніколі не пытаецца, ці праўдападобная дата, толькі ці згаджаюцца іншыя. Пратакол працаваў.

2:06 Архітэктура — не.

віна git — Telstra 55 · пірынг 25 · прашыўка 15 · крыніца сілкавання 5

2:07 віна git. Telstra, пяцьдзесят пяць працэнтаў. Ніхто не валодаў гадзіннікам, таму ніхто не пераглядаў змяненне, і два бюлетэні пастаўшчыка пра гэтую ж памылку засталіся непрачытанымі. Рэжым пірынгу, дваццаць пяць, за тое, што дазволіў серверам галасаваць сваім уласным рэхам. Прашыўка, пятнаццаць, апублікаваная і ніколі не ўсталяваная. Пяць працэнтаў на крыніцу сілкавання, за выбар дзесяці да трэцяй у сераду. Радыус паражэння. Сорак пяць працэнтаў усіх званкоў і сеансаў перадачы даных у той дзень,

Радыус паражэння: 45% сеансаў, штраф $30М за скрынку $30К

2:30 кажа генеральны дырэктар Сенату. Штраф на стале — трыццаць мільёнаў долараў, за бясплатнае абнаўленне, якое адсутнічае ў скрынцы коштам трыццаць тысяч долараў. Карта перажыла сапраўднае пераключэнне ў дзве тысячы дзевятнаццатым, таму што ніхто не выключаў яе. Рамонт забіў яе. Вердыкт, пасмяротны аналіз: SHIP IT, па рэакцыі.

Вердыкт + ранішняя лінія: адзін гадзіннік носіць тры капелюшы

2:46 Telstra наймае знешніх аўдытараў, публікуе справаздачу без рэдагавання, з заявай, што ніколі не лічыла час крытычным, і перамяшчае ўсе тры сайты са старых сервераў, перш чым ён прызямліцца. Ранішняя лінія: запусціце трасіроўку NTP і падлічыце, колькі вашых крыніц часу — гэта адзін гадзіннік, які носіць тры капелюшы. Дашліце мне інцыдэнт, пра які вам усё яшчэ не дазваляецца гаварыць, у каментарах або на thedailydiff.dev. І гэта diff на сёння.

3:10 Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au