فيسبوك حذفت نفسها من الإنترنت. ست ساعات.

ما يغطيه هذا الفيديو

• فيسبوك تزيل عنوانها الخاص
• الإيصالات: هندسة ميتا، Cloudflare، Hacker News
• هذا هو The Daily Diff، تقرير ما بعد الكارثة
• الجدول الزمني: أمر 15:39 ← سحب 15:40 ← عودة 21:20
• الآلية: الفحص الصحي الذي يحذفك، عاصفة DNS بقوة 30×، الأبواب

النص المترجم

مترجم من السرد الإنجليزي الأصلي. يتم التحكم في الصوت والتعليقات التوضيحية المتاحة بواسطة YouTube.

فيسبوك تزيل عنوانها الخاص

0:00 فيسبوك تزيل عنوانها الخاص من الإنترنت، وعندما يصل مهندسوها لإعادته، تكون قارئات الشارات معطلة أيضًا، لأنها تعمل على فيسبوك. تقرير ميتا الخاص بما بعد الكارثة، في اليوم التالي: يؤدي أمر صيانة روتيني إلى إيقاف كل رابط أساسي، وتحتوي الأداة المصممة لحظر مثل هذه الأوامر على خطأ.

الإيصالات: هندسة ميتا، Cloudflare، Hacker News

0:16 Cloudflare، من الخارج: في الساعة 15:40 بالتوقيت العالمي المنسق، تختفي المسارات إلى خوادم أسماء فيسبوك، وتُرجع dig facebook.com SERVFAIL في كل مكان على الكوكب. كيف يحدث ذلك، ولماذا تزيد ميزة الأمان الأمر سوءًا، ومن يتحمل اللوم. هذا هو The Daily Diff، تقرير ما بعد الكارثة. أوائل بعد الظهر، بالتوقيت العالمي المنسق.

هذا هو The Daily Diff، تقرير ما بعد الكارثة

0:34 أمر كان من المفترض أن يتحقق من سعة العمود الفقري المجانية يؤدي بدلاً من ذلك إلى إيقاف كل رابط بين مراكز بيانات فيسبوك، وتمرره أداة التدقيق المصممة لالتقاط هذا الأمر بالضبط.

الجدول الزمني: أمر 15:39 ← سحب 15:40 ← عودة 21:20

0:41 وتمرره. 15:40. تتملأ خلاصة BGP الخاصة بـ Cloudflare بالانسحابات؛ تغادر بادئات DNS الخاصة بفيسبوك جدول التوجيه. في غضون دقيقة، يكون مهندسو Cloudflare في غرفة يتساءلون عما إذا كانوا قد عطلوا 1.1.1.1. 15:45، Hacker News، ألفان وستمائة نقطة. 16:07، المتحدث باسم فيسبوك، على تويتر بالذات: يواجه بعض الأشخاص مشكلة في الوصول إلى تطبيقاتنا. بعض الناس هم ثلاثة مليارات ونصف.

1:06 18:51، نيويورك تايمز: الموظفون محبوسون خارج مبانيهم، الشارات ميتة. 19:52، الرئيس التنفيذي للتكنولوجيا يعتذر. 21:00، بعد خمس ساعات، تعود المسارات؛ 21:20، facebook.com يحل. لماذا يتسبب عطل في العمود الفقري في حذف فيسبوك من الإنترنت؟

الآلية: الفحص الصحي الذي يحذفك، عاصفة DNS بقوة 30×، الأبواب

1:20 خوادم أسماء النطاقات لديها قاعدة: لا يمكنها الوصول إلى مراكز البيانات، تعلن عن نفسها غير صحية، وتتوقف عن الإعلان عن عنوانها. معقول عندما يصبح موقع واحد سيئًا. عندما يتعطل العمود الفقري بأكمله، تفعل كل خوادم أسماء النطاقات ذلك في وقت واحد. الخوادم تعمل. لا أحد يستطيع العثور عليها. ميزة أمان تحول عطلًا في الشبكة إلى عطل وجودي. ثم يتراكم الإنترنت: تعيد التطبيقات المحاولة، يعيد المستخدمون التحميل،

1:39 ويرى محلل Cloudflare ثلاثين ضعف حمولته العادية، لموقع غير موجود. والأبواب. الأدوات، الوصول خارج النطاق، الشارات: نفس الشبكة. يتوجه المهندسون إلى مراكز البيانات، لا يمكنهم الدخول، ثم يواجهون رفوفًا محصنة ضد أي شخص لديه وصول مادي. مصممة لإبطاء المهاجم، لكنها تبطئ المالك أيضًا. يعود العمود الفقري؛ يرفعون حركة المرور ببطء، عن قصد.

1:59 كل مركز بيانات قد فقد عشرات الميغاواط، وعكس ذلك في خطوة واحدة هو انقطاع ثانٍ.

git blame — الانقسام

2:05 git blame. فيسبوك، خمسة وخمسون بالمائة: تم تدقيق الأمر، المدقق كان به الخطأ، أمر واحد وصل إلى كل موجه. تصميم DNS، خمسة وعشرون: فحص صحي بدون إحساس بالتناسب. شبكة واحدة، خمسة عشر: أدوات، خارج النطاق، شارات. الرفوف، خمسة، لأداء وظيفتها. نطاق الانفجار: ثلاثة مليارات ونصف مستخدم، ما يقرب من ست ساعات. أغلق السهم بانخفاض خمسة بالمائة، ستة مليارات من ثروة زوكربيرغ،

نطاق الانفجار

2:27 على الورق. يدعي تيليجرام سبعين مليون مشترك في ذلك اليوم. الحكم، تقرير ما بعد الكارثة: NEEDS REVIEW. بيان في نفس المساء، تقرير ما بعد الكارثة بمؤلف محدد خلال يوم، تم الإقرار بخطأ أداة التدقيق باللغة الإنجليزية الواضحة.

الحكم + خط الاثنين

2:38 قائمة الإصلاح: تعزيز الاختبارات والتدريبات. لا شيء عن إزالة الأبواب من شبكة الإنتاج. الاثنين: ضع وصولك خارج النطاق، وبابك، على شبكة لا تديرها. أرسل لي الحادث الذي ما زلت غير مسموح لك بالتحدث عنه، في التعليقات، أو على the daily diff dot dev. وهذا هو الـ diff لليوم. أنا نيكو من Axrisi.

2:58 Merge responsibly.

المصادر

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com