ഒരു റീബൂട്ട് ടെൽസ്ട്രായെ 2006-ലേക്ക് അയച്ചു. തൊണ്ണൂറ് ലക്ഷം ഫോണുകൾ.
മെൽബണിലെ ഒരു എഞ്ചിനീയർ പുലർച്ചെ 2:50-ന് ഒരു ടൈമിംഗ് ചേസിസ് വീണ്ടും ഓൺ ചെയ്തു, പ്രഭാതഭക്ഷണത്തോടെ ഓസ്ട്രേലിയയിലെ ഏറ്റവും വലിയ മൊബൈൽ നെറ്റ്‌വർക്ക് 2006 നവംബറാണെന്ന് അംഗീകരിച്ചു.
മെൽബണിലെ ഒരു എഞ്ചിനീയർ പുലർച്ചെ 2:50-ന് ഒരു ടൈമിംഗ് ചേസിസ് വീണ്ടും ഓൺ ചെയ്തു, പ്രഭാതഭക്ഷണത്തോടെ ഓസ്ട്രേലിയയിലെ ഏറ്റവും വലിയ മൊബൈൽ നെറ്റ്‌വർക്ക് 2006 നവംബറാണെന്ന് അംഗീകരിച്ചു. 2026 ജൂലൈ 8: ടെൽസ്ട്രായുടെ NTP ചേസിസിലെ ഒരു GPS കാർഡ് ഒരു പവർ സപ്ലൈ റിപ്പയറിനിടെ റീബൂട്ട് ചെയ്തു, അതിന്റെ ഫേംവെയറിന് GPS വീക്ക്-റോൾഓവർ അപ്ഡേറ്റ് ലഭിച്ചിട്ടില്ലായിരുന്നു, അതിനാൽ അത് പഴയ കാലഘട്ടം തിരഞ്ഞെടുക്കുകയും 1,024 ആഴ്ച പിന്നോട്ട് പോകുകയും ചെയ്തു. 2025 ഒക്ടോബറിലെ ഒരു താൽക്കാലിക പരിഹാരം ആ കാർഡിനെ നെറ്റ്‌വർക്കിന്റെ ഏക സ്ട്രാറ്റം-1 ഉറവിടമാക്കി മാറ്റിയതുകൊണ്ടും — 2020-ൽ NTP പീറിംഗിലേക്ക് മാറിയത് മറ്റ് എല്ലാ ഉറവിടങ്ങളെയും അതിന് താഴെയാക്കിയതുകൊണ്ടും — തെറ്റായ തീയതിക്ക് വോട്ട് ലഭിച്ചു. കൈമാറ്റ നോഡുകൾ പുലർച്ചെ 4 മണി മുതൽ റീസെറ്റ് ചെയ്തു, എല്ലാ കോളുകളുടെയും ഡാറ്റാ സെഷനുകളുടെയും 45% ബാധിച്ചു, ഏകദേശം 9 ദശലക്ഷം ഉപഭോക്താക്കൾക്ക് കോളുകളോ ടെക്സ്റ്റുകളോ ഡാറ്റയോ നഷ്ടപ്പെട്ടു, 604 ട്രിപ്പിൾ സീറോ കോളുകൾക്ക് പിഴവ് സംഭവിച്ചു, വിക്ടോറിയയിലെ പ്രാദേശിക ട്രെയിനുകൾ നിലച്ചു, മിക്ക സേവനങ്ങളും 12:12-ന് തിരികെ വന്നു. ടെൽസ്ട്രായുടെ സ്വന്തം അലാറമുകൾ ഓഫീസ് സമയങ്ങളിൽ പരിശോധിക്കുന്ന ഒരു പ്ലാറ്റ്‌ഫോമിലായിരുന്നു; ഉപഭോക്താക്കൾ "Telstra outage" എന്ന് ഗൂഗിൾ ചെയ്തതുകൊണ്ടാണ് കമ്പനി ഇത് ശ്രദ്ധിച്ചത്.
എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗
ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ
- ഒരു GPS കാർഡ് 2006 നവംബറിൽ ഉണർന്നു
- സമയരേഖ: 2010 ഡിസൈൻ → 2020 ചേസിസ് → 2025 ഒക്ടോബർ GPS കാർഡ് → 02:50
- പ്രഭാതം: 04:00 MME റീസെറ്റുകൾ → 04:20 അലാറം കൊടുങ്കാറ്റ് → 12:12 പുനഃസ്ഥാപിച്ചു
- മെക്കാനിസം: NTP അംഗീകാരത്തിന് വോട്ട് ചെയ്യുന്നു, സാധുതയ്ക്കല്ല
- git blame — ടെൽസ്ട്ര 55 · പീറിംഗ് 25 · ഫേംവെയർ 15 · പവർ സപ്ലൈ 5
വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്
യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.
ഒരു GPS കാർഡ് 2006 നവംബറിൽ ഉണർന്നു
0:00 മെൽബണിലെ ഒരു എഞ്ചിനീയർ പുലർച്ചെ മൂന്നേകാലിന് ഒരു ടൈമിംഗ് ചേസിസ് വീണ്ടും ഓൺ ചെയ്യുന്നു, പ്രഭാതഭക്ഷണത്തോടെ ഓസ്ട്രേലിയയിലെ ഏറ്റവും വലിയ മൊബൈൽ നെറ്റ്‌വർക്ക് രണ്ടായിരത്തി ആറ് നവംബറാണെന്ന് അംഗീകരിക്കുന്നു. ടെൽസ്ട്രായുടെ പുറത്തുള്ള റിപ്പോർട്ട് പറയുന്നത്, ആ തീയതി ഒരു GPS കാർഡിൽ അവശേഷിക്കുകയും മുഴുവൻ നെറ്റ്‌വർക്കും അതിനായി വോട്ട് ചെയ്യുകയും ചെയ്തു. ഏകദേശം ഒൻപത് ദശലക്ഷം ഉപഭോക്താക്കൾക്ക് കോളുകളോ ടെക്സ്റ്റുകളോ ഡാറ്റയോ നഷ്ടപ്പെടുന്നു, വിക്ടോറിയയിലെ പ്രാദേശിക ട്രെയിനുകൾ ആ ദിവസത്തേക്ക് നിലയ്ക്കുന്നു. ഇത് എങ്ങനെ സംഭവിച്ചു, ഒരു കാർഡ് ദേശീയ ക്ലോക്കിനെക്കാൾ ഉയർന്ന സ്ഥാനത്ത് എങ്ങനെയായി,
0:23 ആർക്കാണ് കുറ്റം. ഇതാണ് The Daily Diff, പോസ്റ്റ്‌മോർട്ടം.
സമയരേഖ: 2010 ഡിസൈൻ → 2020 ചേസിസ് → 2025 ഒക്ടോബർ GPS കാർഡ് → 02:50
0:28 രണ്ടായിരത്തി പത്ത്. ഡിസൈൻ പാഠപുസ്തകമാണ്. മൂന്ന് ദേശീയ സമയ ഉറവിടങ്ങൾ രണ്ട് സെർവറുകൾക്ക് ഭക്ഷണം നൽകുന്നു, അവ താഴെയുള്ള മൂന്നെണ്ണത്തിന് ഭക്ഷണം നൽകുന്നു, ഓരോ നോഡും മുകളിൽ നിന്ന് മാത്രം സമയം എടുക്കുന്നു. ഓഡിറ്റർമാർ ഇതിനെ ആവശ്യത്തിന് അനുയോജ്യമാണെന്ന് വിളിക്കുന്നു. രണ്ടായിരത്തി ഇരുപത്. പുതിയ ചേസിസ്. അതിന് സ്വന്തം താഴെയുള്ള സെർവറിന് ഭക്ഷണം നൽകാൻ കഴിയില്ല, അതിനാൽ സിഡ്നിയും മെൽബണും ക്രോസ്-വയർ ചെയ്യപ്പെടുന്നു, ഓരോ സൈറ്റും ഒരു റഫറൻസിലേക്ക് ചുരുങ്ങുന്നു. പിന്നീട് എല്ലാം പീറിംഗിലേക്ക് മാറ്റുന്നു, അവിടെ ഏതൊരു സെർവറിനും അതിന് കണ്ടെത്താൻ കഴിയുന്ന
0:50 ഏതൊരു സെർവറിൽ നിന്നും സമയം എടുക്കാം. ടൈമിംഗ് ലൂപ്പ് എന്ന വാക്കുകൾ ഒരു രേഖയിലും കാണുന്നില്ല. രണ്ടായിരത്തി ഇരുപത്തിയഞ്ച് ഒക്ടോബർ. മെൽബണിന് സിഡ്നിയെ നഷ്ടപ്പെട്ടുകൊണ്ടിരിക്കുന്നു, അതിന്റെ അലാറമുകൾ സ്ട്രാറ്റം അഞ്ച് എന്ന് പറയുന്നു, അതായത് അത് സ്വന്തം ഉപഭോക്താക്കളിൽ നിന്ന് സമയം എടുക്കുന്നു. ആരും ഒരു ടിക്കറ്റ് ഫയൽ ചെയ്യുന്നില്ല. പകരം എഞ്ചിനീയർമാർ അഞ്ച് വർഷമായി നിഷ്ക്രിയമായി കിടന്നിരുന്ന ഒരു GPS കാർഡ് ഓൺ ചെയ്യുന്നു. അലാറമുകൾ നിലയ്ക്കുന്നു.
1:07 മെൽബൺ ഇപ്പോൾ സ്ട്രാറ്റം ഒന്നാണ്, ദേശീയ ഇൻസ്റ്റിറ്റ്യൂട്ടിന്റെ റാങ്ക്, ആരും ഇത് അവലോകനം ചെയ്യുന്നില്ല. ജൂലൈ എട്ട്, പുലർച്ചെ രണ്ടര. ഒരു പവർ സപ്ലൈ മാറ്റിസ്ഥാപിക്കേണ്ടതുണ്ട്, അതിനാൽ ചേസിസ് റീബൂട്ട് ചെയ്യുന്നു, അതിനൊപ്പം GPS കാർഡും. അതിന്റെ ഫേംവെയർ ഒരിക്കലും അപ്ഡേറ്റ് ചെയ്തിട്ടില്ലായിരുന്നു, അതിനാൽ അത് പഴയ കാലഘട്ടം തിരഞ്ഞെടുക്കുകയും ആയിരത്തി ഇരുപത്തിനാല് ആഴ്ച പിന്നോട്ട് പോകുകയും ചെയ്യുന്നു. മെൽബൺ വൃക്ഷത്തിന്റെ മുകളിലാണ്, താഴെയുള്ളവ അംഗീകരിക്കാൻ തുടങ്ങുന്നു.
പ്രഭാതം: 04:00 MME റീസെറ്റുകൾ → 04:20 അലാറം കൊടുങ്കാറ്റ് → 12:12 പുനഃസ്ഥാപിച്ചു
1:26 പുലർച്ചെ നാല് മണിക്ക്, ഹാൻഡ്ഓവർ നോഡുകൾ റീസെറ്റ് ചെയ്യാൻ തുടങ്ങുന്നു. നാല് ഇരുപതിന്, ഒരു അലാറം കൊടുങ്കാറ്റ്, ഓഫീസ് സമയങ്ങളിൽ അലാറമുകൾ വായിക്കുന്ന ഒരു പ്ലാറ്റ്‌ഫോമിൽ. നാല് ഇരുപത്തിയൊൻപതിന്, ടെൽസ്ട്ര ശ്രദ്ധിക്കുന്നു, കാരണം ഉപഭോക്താക്കൾ Telstra outage എന്ന് ഗൂഗിൾ ചെയ്യുന്നു. മാറ്റം വരുത്തിയ എഞ്ചിനീയർമാർ നിർബന്ധിത വിശ്രമത്തിലാണ്, തീയതി കണ്ടെത്താൻ മണിക്കൂറുകൾ എടുക്കുന്നു. പന്ത്രണ്ട് പന്ത്രണ്ടോടെ മിക്ക ഉപഭോക്താക്കളും തിരികെ വരുന്നു.
മെക്കാനിസം: NTP അംഗീകാരത്തിന് വോട്ട് ചെയ്യുന്നു, സാധുതയ്ക്കല്ല
1:47 ഇത് എങ്ങനെ സാധ്യമായി? NTP-ക്ക് രണ്ട് പ്രതിരോധങ്ങളുണ്ട്. താഴ്ന്ന സ്ട്രാറ്റം വിജയിക്കുന്നു, ഔട്ട്ലിയറുകൾക്ക് വോട്ട് നഷ്ടപ്പെടുന്നു. GPS കാർഡ് തകർന്ന ഉറവിടത്തെ ഉയർന്ന റാങ്കുള്ളതാക്കി മാറ്റി, വിയോജിക്കാൻ കഴിയുന്ന എല്ലാ ഉറവിടങ്ങളും താഴെയായി ഇരുന്നു, അത് ആവർത്തിച്ചു. ഒരു തീയതിക്ക് സാധുതയുണ്ടോ എന്ന് NTP ഒരിക്കലും ചോദിക്കുന്നില്ല, മറ്റുള്ളവർക്ക് അംഗീകാരമുണ്ടോ എന്ന് മാത്രം. പ്രോട്ടോക്കോൾ പ്രവർത്തിച്ചു.
2:06 ആർക്കിടെക്ചർ പ്രവർത്തിച്ചില്ല.
git blame — ടെൽസ്ട്ര 55 · പീറിംഗ് 25 · ഫേംവെയർ 15 · പവർ സപ്ലൈ 5
2:07 git blame. ടെൽസ്ട്ര, അമ്പത്തിയഞ്ച് ശതമാനം. ആരും ക്ലോക്കിന്റെ ഉടമസ്ഥാവകാശം ഏറ്റെടുത്തില്ല, അതിനാൽ ആരും മാറ്റം അവലോകനം ചെയ്തില്ല, ഈ കൃത്യമായ ബഗ്ഗിനെക്കുറിച്ചുള്ള രണ്ട് വെണ്ടർ ബുള്ളറ്റിനുകൾ വായിക്കാതെ പോയി. പീറിംഗ് മോഡ്, ഇരുപത്തിയഞ്ച്, സെർവറുകളെ അവയുടെ സ്വന്തം പ്രതിധ്വനിയോടെ വോട്ട് ചെയ്യാൻ അനുവദിച്ചതിന്. ഫേംവെയർ, പതിനഞ്ച്, പ്രസിദ്ധീകരിച്ചു, ഒരിക്കലും ഇൻസ്റ്റാൾ ചെയ്തിട്ടില്ല. പവർ സപ്ലൈക്ക് അഞ്ച് ശതമാനം, ബുധനാഴ്ച രാവിലെ മൂന്നേകാലിന് തിരഞ്ഞെടുത്തതിന്. സ്ഫോടന ആരം. ആ ദിവസത്തെ എല്ലാ കോളുകളുടെയും ഡാറ്റാ സെഷനുകളുടെയും നാൽപ്പത്തിയഞ്ച് ശതമാനം,
സ്ഫോടന ആരം: 45% സെഷനുകൾ, ഒരു $30K ബോക്സിന് $30M പിഴ
2:30 സിഇഒ സെനറ്റിനോട് പറയുന്നു. മേശപ്പുറത്തുള്ള പിഴ മുപ്പത് ദശലക്ഷം ഡോളറാണ്, ഒരു മുപ്പതിനായിരം ഡോളർ പെട്ടിയിൽ നിന്ന് കാണാതായ ഒരു സൗജന്യ അപ്‌ഡേറ്റിന്. കാർഡ് രണ്ടായിരത്തി പത്തൊൻപതിലെ യഥാർത്ഥ റോൾഓവറിനെ അതിജീവിച്ചു, കാരണം ആരും അത് ഓഫ് ചെയ്തില്ല. അറ്റകുറ്റപ്പണി അതിനെ കൊന്നു. വിധി, പോസ്റ്റ്‌മോർട്ടം: പ്രതികരണത്തിൽ SHIP IT.
വിധി + തിങ്കളാഴ്ചത്തെ വരി: മൂന്ന് തൊപ്പികൾ ധരിച്ച ഒരു ക്ലോക്ക്
2:46 ടെൽസ്ട്ര പുറത്തുള്ള ഓഡിറ്റർമാരെ നിയമിക്കുന്നു, റിപ്പോർട്ട് എഡിറ്റ് ചെയ്യാതെ പ്രസിദ്ധീകരിക്കുന്നു, സമയം നിർണായകമായി കണ്ടിരുന്നില്ല എന്ന വരിയോടുകൂടി, അത് വരുന്നതിന് മുമ്പ് എല്ലാ മൂന്ന് സൈറ്റുകളും പഴയ സെർവറുകളിൽ നിന്ന് മാറ്റുന്നു. തിങ്കളാഴ്ചത്തെ വരി: ഒരു NTP ട്രേസ് പ്രവർത്തിപ്പിക്കുക, നിങ്ങളുടെ എത്ര സമയ ഉറവിടങ്ങളാണ് ഒരു ക്ലോക്ക് മൂന്ന് തൊപ്പികൾ ധരിക്കുന്നത് എന്ന് എണ്ണുക. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയക്കുക, കമന്റുകളിലോ thedailydiff.dev-ലോ. അതാണ് ഇന്നത്തെ diff.
3:10 ഞാൻ Axrisi-ൽ നിന്നുള്ള നിക്കോ ആണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.
ഉറവിടങ്ങൾ
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
