Facebook internetdan o‘zini o‘chirdi. Olti soat.

Bu video nimani qamrab oladi

• Facebook o‘z manzilini olib tashladi
• Cheklar: Meta Engineering, Cloudflare, Hacker News
• Bu The Daily Diff, postmortem
• Vaqt jadvali: 15:39 buyruq → 15:40 qaytarildi → 21:20 qayta tiklandi
• Mexanizm: sizni o‘chiradigan sog‘liq tekshiruvi, 30× DNS bo‘roni, eshiklar

Tarjima qilingan transkript

Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.

Facebook o‘z manzilini olib tashladi

0:00 Facebook o‘z manzilini internetdan olib tashladi va uning muhandislari uni qaytarish uchun kelishganida, bej o‘quvchi qurilmalari ham ishlamay qoldi, chunki ular Facebookda ishlaydi. Metaning o‘z postmortemi, keyingi kun: muntazam texnik xizmat ko‘rsatish buyrug‘i har bir magistral bog‘lanishni uzib qo‘ydi va bunday buyruqlarni bloklash uchun yaratilgan vositada xato bor edi.

Cheklar: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, tashqaridan: 15:40 UTCda Facebookning nom serverlariga marshrutlar g‘oyib bo‘ldi va dig facebook.com sayyoraning hamma joyida SERVFAIL qaytardi. Bu qanday sodir bo‘ladi, nima uchun xavfsizlik funksiyasi uni yomonlashtiradi va kim ayblanadi. Bu The Daily Diff, postmortem. Tushdan keyin, UTC.

Bu The Daily Diff, postmortem

0:34 Bo‘sh magistral quvvatini tekshirish uchun mo‘ljallangan buyruq buning o‘rniga har bir bog‘lanishni uzib qo‘ydi Facebookning ma’lumotlar markazlari orasidagi, va aynan buni ushlash uchun yaratilgan audit vositasi

Vaqt jadvali: 15:39 buyruq → 15:40 qaytarildi → 21:20 qayta tiklandi

0:41 uni o‘tkazib yubordi. 15:40. Cloudflar'ning BGP tasmasi qaytarishlar bilan to‘ldi; Facebookning DNS prefiksleri marshrutlash jadvalidan chiqib ketdi. Bir daqiqa ichida Cloudflar'ning muhandislari xonada 1.1.1.1ni buzishganmi yoki yo‘qmi deb o‘ylashardi. 15:45, Hacker News, yigirma olti yuz ball. 16:07, Facebook matbuot kotibi, aynan Twitterda: ba’zi odamlar bizning ilovalarimizga kirishda muammolarga duch kelishmoqda. Ba’zi odamlar uch yarim milliarddir.

1:06 18:51, The New York Times: xodimlar o‘z binolariga kirishga ruxsat berilmadi, bejlari o‘lik. 19:52, CTO uzr so‘raydi. 21:00, besh soatdan so‘ng, marshrutlar qaytdi; 21:20, facebook.com ishladi. Nima uchun magistraldagi xato Facebookni internetdan o‘chirib tashlaydi?

Mexanizm: sizni o‘chiradigan sog‘liq tekshiruvi, 30× DNS bo‘roni, eshiklar

1:20 Uning nom serverlarida qoida bor: ma’lumotlar markazlariga kira olmasangiz, o‘zingizni sog‘lomsiz deb e’lon qiling, manzilingizni reklama qilishni to‘xtating. Bitta sayt buzilganida mantiqiy. Butun magistral ishdan chiqqanda, har bir nom serveri buni bir vaqtda qiladi. Serverlar ishlayapti. Hech kim ularni topa olmaydi. Xavfsizlik funksiyasi tarmoq xatosini mavjudlik xatosiga aylantiradi. Keyin internet qo‘shimcha yuklaydi: ilovalar qayta urinadi, foydalanuvchilar qayta yuklaydi,

1:39 va Cloudflar'ning rezolveri odatiy yukining o‘ttiz barobarini ko‘radi, mavjud bo‘lmagan sayt uchun. Va eshiklar. Vositalar, tashqi tarmoqqa ulanish, bejlar: bir xil tarmoq. Muhandislar ma’lumotlar markazlariga borishadi, kira olishmaydi, keyin jismoniy kirishga qarshi mustahkamlangan tokchalarni ko‘rishadi. Hujumchini sekinlashtirish uchun qurilgan, u egasini ham sekinlashtiradi. Hujumchini sekinlashtirish uchun qurilgan, u egasini ham sekinlashtiradi. Magistral qaytadi; ular trafikni sekin, ataylab oshiradilar.

1:59 Har bir ma’lumotlar markazi o‘nlab megavattni tashlab yuborgan va buni bir qadamda teskarisiga aylantirish ikkinchi uzilishdir.

git blame — bo‘linish

2:05 git blame. Facebook, ellik besh foiz: buyruq tekshirilgan edi, tekshiruvchida xato bor edi, bitta buyruq har bir routerga yetib bordi. DNS dizayni, yigirma besh: mutanosiblik hissi bo‘lmagan sog‘liq tekshiruvi. Bitta tarmoq, o‘n besh: vositalar, tashqi tarmoq, bejlar. Tokchalar, besh, o‘z ishini qilgani uchun. Zarar radiusi: uch yarim milliard foydalanuvchi, deyarli olti soat. Aksiya besh foizga tushdi, Zuckerbergdan olti milliard zarar,

Zarar radiusi

2:27 qog‘ozda. Telegram o‘sha kuni yetmish million ro‘yxatdan o‘tganini da’vo qilmoqda. Hukm, postmortem: NEEDS REVIEW. O‘sha oqshom bayonoti, bir kun ichida muallifi ko‘rsatilgan postmortem, audit-vosita xatosi oddiy ingliz tilida tan olingan.

Hukm + Dushanba liniyasi

2:38 Tuzatish ro‘yxati: sinov va mashg‘ulotlarni kuchaytirish. Eshiklarni ishlab chiqarish tarmog‘idan olib tashlash haqida hech narsa yo‘q. Dushanba: tashqi tarmoqqa ulanishingizni va eshigingizni o‘zingiz ishlatmaydigan tarmoqqa joylashtiring. ishlatmaydigan tarmoqqa joylashtiring. Hali ham gapirishga ruxsat berilmagan hodisani menga yuboring, izohlarda yoki daily diff dot dev manzilida. Va bugungi farq shu. Men Axrisidan Nikoman.

2:58 Mas’uliyat bilan birlashtiring.

Manbalar

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com