გადატვირთვამ Telstra 2006 წელში დააბრუნა. ცხრა მილიონი ტელეფონი.

რას მოიცავს ეს ვიდეო

• GPS ბარათი 2006 წლის ნოემბერში იღვიძებს
• ქრონოლოგია: 2010 წლის დიზაინი → 2020 წლის შასი → 2025 წლის ოქტომბრის GPS ბარათი → 02:50
• დილა: 04:00 MME გადატვირთვები → 04:20 განგაშის ქარიშხალი → 12:12 აღდგენილი
• მექანიზმი: NTP ხმას აძლევს შეთანხმებას, არა სანდოობას
• git blame — Telstra 55 · peering 25 · firmware 15 · კვების წყარო 5

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

GPS ბარათი 2006 წლის ნოემბერში იღვიძებს

0:00 მელბურნელმა ინჟინერმა დილის სამის ათ წუთზე ჩართო ქრონომეტრაჟის შასი, და საუზმისთვის ავსტრალიის უდიდესმა მობილურმა ქსელმა დაასკვნა, რომ ეს არის ორი ათას ექვსი წლის ნოემბერი. Telstra-ს გარე ანგარიშში ნათქვამია, რომ თარიღი ერთმა GPS ბარათმა დატოვა და მთელმა ქსელმა ხმა მას მისცა. თითქმის ცხრა მილიონმა მომხმარებელმა დაკარგა ზარები, შეტყობინებები ან მონაცემები, და ვიქტორიას რეგიონალური მატარებლები მთელი დღით გაჩერდა. როგორ მოხდა ეს, რატომ აჯობა ერთმა ბარათმა ეროვნულ საათს,

0:23 და ვინ არის დამნაშავე. ეს არის The Daily Diff, შემდგომი ანალიზი.

ქრონოლოგია: 2010 წლის დიზაინი → 2020 წლის შასი → 2025 წლის ოქტომბრის GPS ბარათი → 02:50

0:28 ორი ათი წელი. დიზაინი სახელმძღვანელოა. სამი ეროვნული დროის წყარო კვებავს ორ სერვერს, ისინი კვებავენ სამს ქვემოთ, და ყოველი კვანძი დროს მხოლოდ ზემოდან იღებს. აუდიტორები მას მიზნისთვის შესაფერისად მიიჩნევენ. ორი ათ ოცი წელი. ახალი შასი. მას არ შეუძლია საკუთარი ქვედა სერვერის კვება, ამიტომ სიდნეი და მელბურნი ჯვარედინად უკავშირდებიან და თითოეული საიტი ერთ საცნობარო წერტილამდე ვარდება. შემდეგ ყველაფერი გადადის peering-ზე, სადაც ნებისმიერ სერვერს შეუძლია დრო ნებისმიერი

0:50 ნაპოვნი სერვერიდან აიღოს. სიტყვები „timing loop“ არცერთ დოკუმენტში არ ჩანს. ოქტომბერი, ორი ათ ოცდახუთი წელი. მელბურნი კვლავ კარგავს სიდნეის, და მისი სიგნალიზაცია ამბობს stratum ხუთს, რაც ნიშნავს, რომ ის დროს საკუთარი მომხმარებლებისგან იღებს. არავინ არ აგზავნის ბილეთს. ამის ნაცვლად ინჟინრები ჩართავენ GPS ბარათს, რომელიც ხუთი წლის განმავლობაში უმოქმედოდ იდგა. სიგნალიზაცია ჩერდება.

1:07 მელბურნი ახლა არის stratum ერთი, ეროვნული ინსტიტუტის რანგი, და არავინ არ აანალიზებს მას. რვა ივლისი, დილის ორმოცდაათი წუთი. კვების წყაროს შეცვლა სჭირდება, ამიტომ შასი გადაიტვირთება, და GPS ბარათიც მასთან ერთად. მისი firmware არასდროს განახლებულა, ამიტომ ის ირჩევს ძველ ეპოქას და ათას ოცდაოთხი კვირით უკან აღმოჩნდება. მელბურნი არის ხის სათავე, და ქვედა ნაწილი იწყებს შეთანხმებას.

დილა: 04:00 MME გადატვირთვები → 04:20 განგაშის ქარიშხალი → 12:12 აღდგენილი

1:26 დილის ოთხი საათი, გადაცემის კვანძები იწყებენ გადატვირთვას. ოთხის ოცი წუთი, განგაშის ქარიშხალი, პლატფორმაზე, რომლის განგაშები სამუშაო საათებში იკითხება. ოთხის ოცდაცხრა წუთი, Telstra ამჩნევს, რადგან მომხმარებლები Google-ში ეძებენ Telstra outage-ს. ინჟინრები, რომლებმაც ცვლილება განახორციელეს, სავალდებულო დასვენებაზე არიან, და თარიღის პოვნა საათებს იკავებს. თორმეტის თორმეტი წუთისთვის მომხმარებლების უმეტესობა დაბრუნებულია.

მექანიზმი: NTP ხმას აძლევს შეთანხმებას, არა სანდოობას

1:47 რატომ იყო ეს შესაძლებელი? NTP-ს ორი დაცვა აქვს. ქვედა stratum იმარჯვებს, და გადახრები ხმით გაუქმდება. GPS ბარათმა გაუმართავი წყარო უმაღლესი რანგის გახადა, და ყველა წყარო, რომელსაც შეეძლო არ დაეთანხმებინა, ქვემოთ იჯდა, იმეორებდა მას. NTP არასდროს ეკითხება, სანდოა თუ არა თარიღი, მხოლოდ იმას, ეთანხმებიან თუ არა სხვები. პროტოკოლმა იმუშავა.

2:06 არქიტექტურამ არა.

git blame — Telstra 55 · peering 25 · firmware 15 · კვების წყარო 5

2:07 git blame. Telstra, ორმოცდათხუთმეტი პროცენტი. არავინ ფლობდა საათს, ამიტომ არავინ შეამოწმა ცვლილება, და ამ ზუსტი ბაგის შესახებ ორი გამყიდველის ბიულეტენი წაუკითხავი დარჩა. Peering რეჟიმი, ოცდახუთი, სერვერების მიცემის გამო, ხმის მიცემის საშუალება საკუთარი ექოთი. Firmware, თხუთმეტი, გამოქვეყნებული და არასდროს დაყენებული. ხუთი პროცენტი კვების წყაროს, ოთხშაბათს სამის ათ წუთზე არჩევის გამო. დაზიანების რადიუსი. იმ დღეს ყველა ზარისა და მონაცემთა სესიების ორმოცდახუთი პროცენტი,

დაზიანების რადიუსი: სესიების 45%, $30 მილიონი ჯარიმა $30K ყუთისთვის

2:30 ეუბნება აღმასრულებელი დირექტორი სენატს. მაგიდაზე დადებული ჯარიმა ოცდაათი მილიონი დოლარია, უფასო განახლების გამო, რომელიც არ იყო ოცდაათი ათასი დოლარის ყუთში. ბარათმა გადაურჩა რეალურ გადახვევას ორი ათ ცხრამეტი წელს, რადგან არავინ გამორთო იგი. შეკეთებამ მოკლა იგი. განაჩენი, შემდგომი ანალიზი: SHIP IT, პასუხზე.

განაჩენი + ორშაბათის ხაზი: ერთი საათი სამი ქუდით

2:46 Telstra ქირაობს გარე აუდიტორებს, აქვეყნებს ანგარიშს დაურედაქტირებლად, იმ ხაზით, რომ მას არასდროს უყურებია დროს კრიტიკულად, და გადააქვს ყველა სამი საიტი ძველი სერვერებიდან მის დაფრენამდე. ორშაბათის ხაზი: გაუშვით NTP trace და დათვალეთ, რამდენი თქვენი დროის წყაროა ერთი საათი სამი ქუდით. გამომიგზავნეთ ინციდენტი, რომელზეც ჯერ კიდევ არ გაქვთ საუბრის უფლება, კომენტარებში, ან thedailydiff.dev-ზე. და ეს არის დღევანდელი diff.

3:10 მე ვარ ნიკო Axrisi-დან. პასუხისმგებლობით გააერთიანეთ.

წყაროები

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au