Кайра жүктөлгөн Telstraны 2006-жылга кайтарды. Тогуз миллион телефон.

Бул видео эмнелерди камтыйт

• GPS картасы 2006-жылдын ноябрында ойгонот
• Убакыт тилкеси: 2010 дизайн → 2020 шасси → 2025-жылдын октябрындагы GPS картасы → 02:50
• Эртең менен: 04:00 MME баштапкы абалга келтирүүлөрү → 04:20 сигнал бороону → 12:12 калыбына келтирилди
• Механизм: NTP ырастоого добуш берет, ишенимдүүлүккө эмес
• git blame — Telstra 55 · peering 25 · firmware 15 · энергия менен камсыздоо 5

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

GPS картасы 2006-жылдын ноябрында ойгонот

0:00 Мельбурндагы инженер таңкы саат үчкө он калганда убакыт шассисин кайра иштетет, ал эми эртең менен Австралиянын эң чоң мобилдик тармагы 2006-жылдын ноябры экенине макул болот. Telstraнын тышкы отчетунда дата бир GPS картасынан кеткенин жана бүтүндөй тармак ага добуш бергенин айтат. Дээрлик тогуз миллион кардар чалууларды, SMS же маалыматтарды жоготот, жана Викториянын аймактык поезддери күнү бою токтойт. Кантип болгон, эмне үчүн бир карта улуттук сааттан жогору турган,

0:23 жана күнөөлүү ким. Бул The Daily Diff, постмортем.

Убакыт тилкеси: 2010 дизайн → 2020 шасси → 2025-жылдын октябрындагы GPS картасы → 02:50

0:28 Эки миң он. Дизайн окуу китебиндегидей. Үч улуттук убакыт булагы эки серверди азыктандырат, алар үч төмөнкү серверди азыктандырат, жана ар бир түйүн убакытты жогорудан гана алат. Аудиторлор аны максатка ылайыктуу деп аташат. Эки миң жыйырма. Жаңы шасси. Ал өзүнүн төмөнкү серверин азыктандыра албайт, ошондуктан Сидней менен Мельбурн кайчылаш туташтырылып, ар бир сайт бир шилтемеге түшөт. Андан кийин бардыгы пирингге өткөрүлүп, ал жерде каалаган сервер өзү тапкан

0:50 каалаган серверден убакыт ала алат. Убакыт циклы деген сөздөр эч бир документте кездешпейт. Эки миң жыйырма бештин октябры. Мельбурн Сиднейди жоготуп жатат, жана анын сигналдары stratum бешти көрсөтөт, бул анын убакытты өзүнүн кардарларынан алып жатканын билдирет. Эч ким билет тапшырбайт. Анын ордуна инженерлер беш жылдан бери иштебей турган GPS картасын иштетишет. Сигналдар токтойт.

1:07 Мельбурн азыр stratum бир, улуттук институттун даражасы, жана эч ким аны карап чыкпайт. 8-июль, таңкы эки жарым. Энергия булагын алмаштыруу керек, ошондуктан шасси кайра жүктөлөт, жана аны менен бирге GPS картасы да. Анын микропрограммасы эч качан жаңыртылган эмес, ошондуктан ал эски доорду тандап, миң жыйырма төрт жумага артта калат. Мельбурн дарактын башында, жана төмөнкү жагы макул боло баштайт.

Эртең менен: 04:00 MME баштапкы абалга келтирүүлөрү → 04:20 сигнал бороону → 12:12 калыбына келтирилди

1:26 Таңкы саат төрттө, өткөрүп берүү түйүндөрү баштапкы абалга келтириле баштайт. Төрт жыйырмада, сигнал бороону, сигналдары иш сааттарында окулган платформада. Төрт жыйырма тогузда, Telstra байкайт, анткени кардарлар "Telstra үзгүлтүккө учурады" деп издеп жатышат. Өзгөртүүнү жасаган инженерлер милдеттүү эс алууда, жана датаны табууга сааттар кетет. Он эки он экиге карата көпчүлүк кардарлар кайра иштешет.

Механизм: NTP ырастоого добуш берет, ишенимдүүлүккө эмес

1:47 Эмне үчүн бул мүмкүн болду? NTPнин эки коргоосу бар. Төмөнкү stratum жеңет, жана четкилер добуш берүүдөн чыгарылат. GPS картасы бузулган булакты эң жогорку даражага чыгарды, жана макул болбогон ар бир булак төмөн жагында турган, аны кайталап. NTP эч качан датанын ишенимдүү экенин сурабайт, болгону башкалар макул болобу деп сурайт. Протокол иштеди.

2:06 Архитектура иштеген жок.

git blame — Telstra 55 · peering 25 · firmware 15 · энергия менен камсыздоо 5

2:07 git blame. Telstra, элүү беш пайыз. Эч ким саатты көзөмөлдөгөн эмес, ошондуктан эч ким өзгөрүүнү карап чыккан эмес, жана ушул так ката жөнүндө эки сатуучунун бюллетени окулбай калган. Peering режими, жыйырма беш, серверлердин өзүнүн жаңырыгы менен добуш беришине жол бергени үчүн. Микропрограмма, он беш, жарыяланган, бирок эч качан орнотулган эмес. Энергия булагына беш пайыз, шаршемби күнү саат үчкө он калганын тандаганы үчүн. Жабыркаган аймак. Ошол күнү бардык чалуулардын жана маалымат сессияларынын кырк беш пайызы,

Жабыркаган аймак: сессиялардын 45%, $30 миң долларлык куту үчүн $30 млн айып

2:30 деп айтат CEO Сенатка. Үстөлдө турган айып отуз миллион доллар, отуз миң долларлык кутудан жок болгон акысыз жаңыртуу үчүн. Карта 2019-жылы чыныгы ролловерден аман калган, анткени эч ким аны өчүргөн эмес. Оңдоо аны өлтүрдү. Өкүм, постмортем: SHIP IT, жооп боюнча.

Өкүм + дүйшөмбү линиясы: үч функцияны аткарган бир саат

2:46 Telstra тышкы аудиторлорду жалдайт, отчетту редакциялабай жарыялайт, убакытты эч качан маанилүү деп эсептебегенин айтып, жана ал келгенге чейин бардык үч сайтты эски серверлерден көчүрөт. Дүйшөмбү линиясы: NTP изин иштетип, убакыт булактарыңыздын канчасы үч функцияны аткарган бир саат экенин санаңыз. Мага дагы эле сүйлөөгө уруксат берилбеген окуяны жөнөтүңүз, комментарийлерде, же thedailydiff.dev дарегинде. Бүгүнкү айырма ушул.

3:10 Мен Axrisiден Нико. Жоопкерчилик менен бириктириңиз.

Булактар

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au