فیس بک نے خود کو انٹرنیٹ سے حذف کر دیا۔ چھ گھنٹے۔
فیس بک نے انٹرنیٹ سے اپنا پتہ ہٹا دیا، اور جب اس کے انجینئر اسے واپس ڈالنے آئے تو بیج ریڈرز بھی ڈاؤن تھے، کیونکہ وہ فیس بک پر چلتے ہیں۔
فیس بک نے انٹرنیٹ سے اپنا پتہ ہٹا دیا، اور جب اس کے انجینئر اسے واپس ڈالنے آئے تو بیج ریڈرز بھی ڈاؤن تھے، کیونکہ وہ فیس بک پر چلتے ہیں۔ 4 اکتوبر 2021، 15:40 UTC: ایک معمول کا بیک بون مینٹیننس کمانڈ فیس بک کے ڈیٹا سینٹرز کے درمیان ہر لنک کو بند کر دیتا ہے؛ اسے بلاک کرنے کے لیے بنایا گیا آڈٹ ٹول میں ایک بگ ہے؛ فیس بک کے نام سرورز، ڈیٹا سینٹرز تک رسائی حاصل کرنے میں ناکام، ڈیزائن کے مطابق اپنے BGP روٹس واپس لے لیتے ہیں - اور facebook.com، Instagram، WhatsApp اور Messenger تقریباً چھ گھنٹے تک DNS سے غائب ہو جاتے ہیں۔ اندرونی ٹولز، آؤٹ آف بینڈ رسائی اور دفتری بیجز اسی نیٹ ورک پر چلتے ہیں، لہذا اس مسئلے کو حل کرنے کے لیے لوگوں کو ریکس پر ہونا ضروری ہے۔
تحریری ایڈیشن پڑھیں (انگریزی) ↗
اس ویڈیو میں کیا شامل ہے
- فیس بک نے اپنا پتہ ہٹا دیا
- رسیدیں: Meta Engineering، Cloudflare، Hacker News
- یہ The Daily Diff، پوسٹ مارٹم ہے۔
- ٹائم لائن: 15:39 کمانڈ → 15:40 واپس لے لیا گیا → 21:20 واپس
- طریقہ کار: وہ ہیلتھ چیک جو آپ کو حذف کر دیتا ہے، 30× DNS طوفان، دروازے
ترجمہ شدہ ٹرانسکرپٹ
اصل انگریزی بیان سے ترجمہ کیا گیا۔ دستیاب آڈیو اور کیپشنز یوٹیوب کے زیر انتظام ہیں۔
فیس بک نے اپنا پتہ ہٹا دیا
0:00 فیس بک نے انٹرنیٹ سے اپنا پتہ ہٹا دیا، اور جب اس کے انجینئرز اسے واپس ڈالنے آئے تو بیج ریڈرز بھی ڈاؤن تھے، کیونکہ وہ فیس بک پر چلتے ہیں۔ میٹا کا اپنا پوسٹ مارٹم، اگلے دن: ایک معمول کی مینٹیننس کمانڈ ہر بیک بون لنک کو ڈاؤن کر دیتی ہے، اور ایسی کمانڈز کو بلاک کرنے کے لیے بنائے گئے ٹول میں ایک بگ ہے۔
رسیدیں: Meta Engineering، Cloudflare، Hacker News
0:16 کلاؤڈ فلیر، باہر سے: 15:40 UTC پر فیس بک کے نام سرورز تک کے روٹس غائب ہو جاتے ہیں، اور dig facebook.com سیارو پر ہر جگہ SERVFAIL لوٹاتا ہے۔ یہ کیسے ہوتا ہے، ایک حفاظتی خصوصیت اسے مزید خراب کیوں کرتی ہے، اور الزام کس پر آتا ہے۔ یہ The Daily Diff، پوسٹ مارٹم ہے۔ دوپہر کا آغاز، UTC۔
یہ The Daily Diff، پوسٹ مارٹم ہے۔
0:34 ایک کمانڈ جس کا مقصد بیک بون کی خالی صلاحیت کو جانچنا تھا اس کے بجائے فیس بک کے ڈیٹا سینٹرز کے درمیان ہر لنک کو ڈاؤن کر دیتی ہے، اور اس کو پکڑنے کے لیے بنایا گیا آڈٹ ٹول
ٹائم لائن: 15:39 کمانڈ → 15:40 واپس لے لیا گیا → 21:20 واپس
0:41 اسے گزرنے دیتا ہے۔ 15:40۔ کلاؤڈ فلیر کی BGP فیڈ انخلا سے بھر جاتی ہے؛ فیس بک کے DNS پریفکس راؤٹنگ ٹیبل سے ہٹ جاتے ہیں۔ ایک منٹ کے اندر کلاؤڈ فلیر کے انجینئرز ایک کمرے میں یہ سوچ رہے ہوتے ہیں کہ کیا انہوں نے 1.1.1.1 کو تو نہیں توڑ دیا۔ 15:45، ہیکر نیوز، چھبیس سو پوائنٹس۔ 16:07، فیس بک کا ترجمان، ٹویٹر پر ہی: کچھ لوگوں کو ہماری ایپس تک رسائی حاصل کرنے میں مسئلہ ہو رہا ہے۔ کچھ لوگ سے مراد ساڑھے تین ارب ہیں۔
1:06 18:51، نیویارک ٹائمز: ملازمین اپنی عمارتوں سے باہر بند کر دیے گئے، بیجز بے کار۔ 19:52، CTO معافی مانگتا ہے۔ 21:00، پانچ گھنٹے بعد، روٹس واپس آتے ہیں؛ 21:20، facebook.com حل ہو جاتا ہے۔ بیک بون میں خرابی فیس بک کو انٹرنیٹ سے کیوں ہٹا دیتی ہے؟
طریقہ کار: وہ ہیلتھ چیک جو آپ کو حذف کر دیتا ہے، 30× DNS طوفان، دروازے
1:20 اس کے نام سرورز کا ایک اصول ہے: ڈیٹا سینٹرز تک رسائی نہیں ہو سکتی، خود کو غیر صحت مند قرار دیں، اپنے ایڈریس کی تشہیر بند کر دیں۔ جب ایک سائٹ خراب ہو جائے تو یہ سمجھداری کی بات ہے۔ جب پورا بیک بون چلا جاتا ہے، تو ہر نام سرور ایک ساتھ ایسا کرتا ہے۔ سرورز چل رہے ہیں۔ کوئی انہیں نہیں ڈھونڈ سکتا۔ ایک حفاظتی خصوصیت نیٹ ورک کی خرابی کو وجود کی خرابی میں بدل دیتی ہے۔ پھر انٹرنیٹ کا بوجھ بڑھ جاتا ہے: ایپس دوبارہ کوشش کرتی ہیں، صارفین دوبارہ لوڈ کرتے ہیں،
1:39 اور کلاؤڈ فلیر کا ریزولور اپنی معمول کی لوڈ سے تیس گنا زیادہ لوڈ دیکھتا ہے، ایک ایسی سائٹ کے لیے جو وہاں نہیں ہے۔ اور دروازے۔ ٹولز، آؤٹ آف بینڈ رسائی، بیجز: ایک ہی نیٹ ورک۔ انجینئرز ڈیٹا سینٹرز تک جاتے ہیں، اندر نہیں جا سکتے، پھر ریکس سے ملتے ہیں جو کسی بھی جسمانی رسائی والے کے خلاف سخت کیے گئے ہیں۔ حملہ آور کو سست کرنے کے لیے بنایا گیا، یہ مالک کو بھی سست کر دیتا ہے۔ بیک بون واپس آتا ہے؛ وہ جان بوجھ کر ٹریفک کو آہستہ آہستہ بڑھاتے ہیں۔
1:59 ہر ڈیٹا سینٹر نے دسیوں میگاواٹ گرا دیا ہے، اور اسے ایک ہی قدم میں تبدیل کرنا ایک دوسری بندش ہے۔
git blame — تقسیم
2:05 git blame۔ فیس بک، پچپن فیصد: کمانڈ کا آڈٹ کیا گیا، آڈیٹر میں بگ تھا، ایک کمانڈ ہر راؤٹر تک پہنچی۔ DNS ڈیزائن، پچیس: تناسب کے احساس کے بغیر ایک ہیلتھ چیک۔ ایک نیٹ ورک، پندرہ: ٹولز، آؤٹ آف بینڈ، بیجز۔ ریکس، پانچ، اپنا کام کرنے کے لیے۔ دھماکے کا دائرہ: ساڑھے تین ارب صارفین، تقریباً چھ گھنٹے۔ اسٹاک پانچ فیصد نیچے بند ہوا، زکربرگ کو چھ ارب کا نقصان،
دھماکے کا دائرہ
2:27 کاغذ پر۔ ٹیلی گرام نے اس دن ستر ملین سائن اپس کا دعویٰ کیا۔ فیصلہ، پوسٹ مارٹم: NEEDS REVIEW۔ اسی شام کا بیان، ایک دن کے اندر نامزد مصنف کا پوسٹ مارٹم، آڈٹ ٹول بگ کو سادہ انگریزی میں تسلیم کیا گیا۔
فیصلہ + پیر کی لائن
2:38 فکس کی فہرست: جانچ اور مشقوں کو مضبوط بنائیں۔ پروڈکشن نیٹ ورک سے دروازے ہٹانے کے بارے میں کچھ نہیں۔ پیر: اپنی آؤٹ آف بینڈ رسائی، اور اپنا دروازہ، ایک ایسے نیٹ ورک پر ڈالیں جسے آپ نہیں چلاتے۔ مجھے وہ واقعہ بھیجیں جس کے بارے میں آپ کو ابھی بھی بات کرنے کی اجازت نہیں ہے، تبصروں میں، یا daily diff dot dev پر۔ اور آج کے لیے یہی فرق ہے۔ میں Axrisi سے نیکو ہوں۔
2:58 Merge responsibly۔
ذرائع
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
