फेसबुक ने खुद को इंटरनेट से हटा दिया। छह घंटे।

इस वीडियो में क्या शामिल है

• फेसबुक ने अपना पता हटा दिया
• रसीदें: मेटा इंजीनियरिंग, क्लाउडफ्लेयर, हैकर न्यूज
• यह The Daily Diff, पोस्टमॉर्टम है
• समयरेखा: 15:39 कमांड → 15:40 वापस लिया गया → 21:20 वापस
• तंत्र: स्वास्थ्य जांच जो आपको हटा देती है, 30× डीएनएस तूफान, दरवाजे

अनुवादित प्रतिलेख

मूल अंग्रेजी कथन से अनुवादित। उपलब्ध ऑडियो और कैप्शन YouTube द्वारा नियंत्रित होते हैं।

फेसबुक ने अपना पता हटा दिया

0:00 फेसबुक इंटरनेट से अपना पता हटा देता है, और जब उसके इंजीनियर इसे वापस लाने के लिए पहुंचते हैं, तो बैज रीडर भी बंद हो जाते हैं, क्योंकि वे फेसबुक पर चलते हैं। मेटा का अपना पोस्टमॉर्टम, अगले दिन: एक नियमित रखरखाव कमांड हर एक को नीचे ले जाता है बैकबोन लिंक, और इस तरह के कमांड को ब्लॉक करने के लिए बनाए गए टूल में एक बग है।

रसीदें: मेटा इंजीनियरिंग, क्लाउडफ्लेयर, हैकर न्यूज

0:16 क्लाउडफ्लेयर, बाहर से: 15:40 यूटीसी पर फेसबुक के नाम सर्वर के मार्ग गायब हो जाते हैं, और dig facebook.com ग्रह पर हर जगह SERVFAIL लौटाता है। यह कैसे होता है, सुरक्षा सुविधा इसे क्यों बदतर बनाती है, और किसे दोष मिलता है। यह The Daily Diff, पोस्टमॉर्टम है। दोपहर की शुरुआत, यूटीसी।

यह The Daily Diff, पोस्टमॉर्टम है

0:34 एक कमांड जिसका उद्देश्य मुक्त बैकबोन क्षमता की जांच करना था, इसके बजाय हर लिंक को नीचे ले जाता है फेसबुक के डेटा केंद्रों के बीच, और ठीक इसी को पकड़ने के लिए बनाया गया ऑडिट टूल

समयरेखा: 15:39 कमांड → 15:40 वापस लिया गया → 21:20 वापस

0:41 इसे पास कर देता है। 15:40. क्लाउडफ्लेयर का बीजीपी फीड निकासी से भर जाता है; फेसबुक का डीएनएस उपसर्ग रूटिंग टेबल छोड़ देते हैं। एक मिनट के भीतर क्लाउडफ्लेयर के इंजीनियर एक कमरे में यह सोच रहे हैं कि क्या उन्होंने 1.1.1.1 को तोड़ दिया। 15:45, हैकर न्यूज, छब्बीस सौ पॉइंट्स। 16:07, फेसबुक के प्रवक्ता, ट्विटर पर ही: कुछ लोगों को हमारे ऐप्स तक पहुंचने में परेशानी हो रही है। कुछ लोग साढ़े तीन अरब हैं।

1:06 18:51, द न्यूयॉर्क टाइम्स: कर्मचारियों को उनकी इमारतों से बाहर निकाल दिया गया, बैज मृत। 19:52, सीटीओ माफी मांगता है। 21:00, पांच घंटे में, मार्ग वापस आते हैं; 21:20, facebook.com हल हो जाता है। एक बैकबोन खराबी फेसबुक को इंटरनेट से क्यों हटा देती है?

तंत्र: स्वास्थ्य जांच जो आपको हटा देती है, 30× डीएनएस तूफान, दरवाजे

1:20 इसके नाम सर्वर का एक नियम है: डेटा केंद्रों तक नहीं पहुंच सकते, खुद को अस्वस्थ घोषित करें, अपने पते का विज्ञापन करना बंद करें। समझदार जब एक साइट खराब हो जाती है। जब पूरा बैकबोन चला जाता है, तो हर नाम सर्वर एक साथ ऐसा करता है। सर्वर चालू हैं। कोई उन्हें ढूंढ नहीं सकता। एक सुरक्षा सुविधा एक नेटवर्क खराबी को एक अस्तित्वगत खराबी में बदल देती है। फिर इंटरनेट पर ढेर हो जाता है: ऐप्स फिर से कोशिश करते हैं, उपयोगकर्ता फिर से लोड करते हैं,

1:39 और क्लाउडफ्लेयर का रिजॉल्वर अपने सामान्य भार का तीस गुना देखता है, एक ऐसी साइट के लिए जो वहां नहीं है। और दरवाजे। उपकरण, आउट-ऑफ-बैंड एक्सेस, बैज: एक ही नेटवर्क। इंजीनियर डेटा केंद्रों तक ड्राइव करते हैं, अंदर नहीं जा सकते, फिर रैक से मिलते हैं जो कठोर हैं किसी भी भौतिक पहुंच वाले व्यक्ति के खिलाफ। हमलावर को धीमा करने के लिए बनाया गया, यह मालिक को भी धीमा कर देता है। बैकबोन वापस आता है; वे जानबूझकर धीरे-धीरे यातायात बढ़ाते हैं।

1:59 प्रत्येक डेटा केंद्र ने दसियों मेगावाट गिरा दिए हैं, और इसे एक कदम में उलटना एक दूसरा आउटेज है।

git blame — विभाजन

2:05 git blame. फेसबुक, पचपन प्रतिशत: कमांड का ऑडिट किया गया था, ऑडिटर में बग था, एक कमांड हर राउटर तक पहुंच गया। डीएनएस डिजाइन, पच्चीस: अनुपात की भावना के बिना एक स्वास्थ्य जांच। एक नेटवर्क, पंद्रह: उपकरण, आउट-ऑफ-बैंड, बैज। रैक, पांच, अपना काम करने के लिए। विस्फोट त्रिज्या: साढ़े तीन अरब उपयोगकर्ता, लगभग छह घंटे। स्टॉक पांच प्रतिशत नीचे बंद होता है, जुकरबर्ग के छह अरब नीचे,

विस्फोट त्रिज्या

2:27 कागज पर। टेलीग्राम उस दिन सत्तर मिलियन साइन-अप का दावा करता है। निर्णय, पोस्टमॉर्टम: NEEDS REVIEW। उसी शाम का बयान, एक दिन के भीतर नामित-लेखक पोस्टमॉर्टम, ऑडिट-टूल बग को सादे अंग्रेजी में स्वीकार किया गया।

निर्णय + सोमवार की पंक्ति

2:38 फिक्स सूची: परीक्षण और अभ्यास को मजबूत करें। उत्पादन नेटवर्क से दरवाजे हटाने के बारे में कुछ भी नहीं। सोमवार: अपनी आउट-ऑफ-बैंड एक्सेस, और अपना दरवाजा, एक ऐसे नेटवर्क पर रखें जिसे आप संचालित नहीं करते हैं संचालित करते हैं। मुझे वह घटना भेजें जिसके बारे में आपको अभी भी बात करने की अनुमति नहीं है, टिप्पणियों में, या the daily diff dot dev पर। और आज के लिए यही अंतर है। मैं Axrisi से Niko हूं।

2:58 Merge responsibly.

स्रोत

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com