ফেসবুক ইন্টারনেট থেকে নিজেকে মুছে ফেলেছে। ছয় ঘন্টা।

এই ভিডিওতে যা আছে

• ফেসবুক তার নিজস্ব ঠিকানা মুছে ফেলে
• রসিদগুলি: Meta Engineering, Cloudflare, Hacker News
• এটি The Daily Diff, ময়নাতদন্ত
• সময়রেখা: ১৫:৩৯ কমান্ড → ১৫:৪০ প্রত্যাহার → ২১:২০ ফিরে আসে
• পদ্ধতি: স্বাস্থ্য পরীক্ষা যা আপনাকে মুছে ফেলে, ৩০× DNS ঝড়, দরজাগুলো

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

ফেসবুক তার নিজস্ব ঠিকানা মুছে ফেলে

0:00 ফেসবুক ইন্টারনেট থেকে তার নিজস্ব ঠিকানা সরিয়ে ফেলে, এবং যখন এর প্রকৌশলীরা এটি ফিরিয়ে আনতে আসে, তখন ব্যাজ রিডারগুলোও বন্ধ হয়ে যায়, কারণ সেগুলো ফেসবুকের উপর চলে। মেটার নিজস্ব ময়নাতদন্ত, পরের দিন: একটি রুটিন রক্ষণাবেক্ষণ কমান্ড প্রতিটি ব্যাকবোন লিঙ্ক বন্ধ করে দেয়, এবং এরকম কমান্ড আটকাতে তৈরি টুলে একটি বাগ ছিল।

রসিদগুলি: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, বাইরে থেকে: ১৫:৪০ UTC-তে ফেসবুকের নেম সার্ভারগুলোর রুট উধাও হয়ে যায়, এবং dig facebook.com পৃথিবীর সর্বত্র SERVFAIL ফেরত দেয়। এটি কীভাবে ঘটে, কেন একটি সুরক্ষা বৈশিষ্ট্য এটিকে আরও খারাপ করে, এবং কে দোষ পায়। এটি The Daily Diff, ময়নাতদন্ত। দুপুরের প্রথম ভাগ, UTC।

এটি The Daily Diff, ময়নাতদন্ত

0:34 একটি কমান্ড যা মুক্ত ব্যাকবোন ক্ষমতা পরীক্ষা করার জন্য ছিল, তার পরিবর্তে ফেসবুকের ডেটা সেন্টারগুলির মধ্যেকার প্রতিটি লিঙ্ক বন্ধ করে দেয়, এবং ঠিক এটি ধরার জন্য তৈরি অডিট টুল

সময়রেখা: ১৫:৩৯ কমান্ড → ১৫:৪০ প্রত্যাহার → ২১:২০ ফিরে আসে

0:41 এটি পাশ করে দেয়। ১৫:৪০। Cloudflare-এর BGP ফিড প্রত্যাহারে ভরে যায়; ফেসবুকের DNS প্রিফিক্সগুলি রাউটিং টেবিল ছেড়ে চলে যায়। এক মিনিটের মধ্যে Cloudflare-এর প্রকৌশলীরা একটি কক্ষে বসে ভাবছেন যে তারা 1.1.1.1 ভেঙে ফেলেছে কিনা। ১৫:৪৫, Hacker News, ছাব্বিশ শত পয়েন্ট। ১৬:০৭, ফেসবুকের মুখপাত্র, সব জায়গার মধ্যে টুইটারে: কিছু লোক আমাদের অ্যাপস অ্যাক্সেস করতে সমস্যা হচ্ছে। কিছু লোক মানে সাড়ে তিন বিলিয়ন।

1:06 ১৮:৫১, New York Times: কর্মীরা তাদের ভবন থেকে তালাবদ্ধ, ব্যাজ অচল। ১৯:৫২, CTO ক্ষমা চান। ২১:০০, পাঁচ ঘন্টা পর, রুট ফিরে আসে; ২১:২০, facebook.com সমাধান হয়। একটি ব্যাকবোন ত্রুটি কেন ফেসবুককে ইন্টারনেট থেকে মুছে ফেলে?

পদ্ধতি: স্বাস্থ্য পরীক্ষা যা আপনাকে মুছে ফেলে, ৩০× DNS ঝড়, দরজাগুলো

1:20 এর নেম সার্ভারগুলোর একটি নিয়ম আছে: ডেটা সেন্টারগুলিতে পৌঁছাতে পারছে না, নিজেকে অসুস্থ ঘোষণা করো, তোমার ঠিকানা বিজ্ঞাপন করা বন্ধ করো। যখন একটি সাইট খারাপ হয় তখন এটি বুদ্ধিমান। যখন পুরো ব্যাকবোন চলে যায়, তখন প্রতিটি নেম সার্ভার একসাথে এটি করে। সার্ভারগুলি চালু আছে। কেউ তাদের খুঁজে পায় না। একটি সুরক্ষা বৈশিষ্ট্য একটি নেটওয়ার্ক ত্রুটিকে একটি অস্তিত্বের ত্রুটিতে পরিণত করে। তারপর ইন্টারনেট ঝাঁপিয়ে পড়ে: অ্যাপস পুনরায় চেষ্টা করে, ব্যবহারকারীরা পুনরায় লোড করে,

1:39 এবং Cloudflare-এর রেজল্ভার তার স্বাভাবিক লোডের ত্রিশ গুণ বেশি দেখে, এমন একটি সাইটের জন্য যা সেখানে নেই। এবং দরজাগুলো। সরঞ্জাম, আউট-অব-ব্যান্ড অ্যাক্সেস, ব্যাজ: একই নেটওয়ার্ক। প্রকৌশলীরা ডেটা সেন্টারগুলিতে গাড়ি চালিয়ে যান, প্রবেশ করতে পারেন না, তারপর এমন র্যাকগুলোর মুখোমুখি হন যা শারীরিক অ্যাক্সেস আছে এমন যেকোনো ব্যক্তির বিরুদ্ধে সুরক্ষিত। আক্রমণকারীকে ধীর করার জন্য তৈরি, এটি মালিককেও ধীর করে। ব্যাকবোন ফিরে আসে; তারা ইচ্ছাকৃতভাবে ধীরে ধীরে ট্র্যাফিক বৃদ্ধি করে। প্রতিটি ডেটা সেন্টার দশ মেগাওয়াট করে হ্রাস করেছে, এবং এক ধাপে এটি উল্টানো

1:59 একটি দ্বিতীয় বিভ্রাট। git blame। ফেসবুক, পঞ্চান্ন শতাংশ: কমান্ডটি অডিট করা হয়েছিল,

git blame — বিভাজন

2:05 অডিটরটির বাগ ছিল, একটি কমান্ড প্রতিটি রাউটারে পৌঁছেছিল। DNS ডিজাইন, পঁচিশ: অনুপাতের বোধ ছাড়া একটি স্বাস্থ্য পরীক্ষা। এক নেটওয়ার্ক, পনেরো: সরঞ্জাম, আউট-অব-ব্যান্ড, ব্যাজ। র্যাকগুলো, পাঁচ, তাদের কাজ করার জন্য। বিস্ফোরণ ব্যাসার্ধ: সাড়ে তিন বিলিয়ন ব্যবহারকারী, প্রায় ছয় ঘন্টা। স্টক পাঁচ শতাংশ কমে বন্ধ হয়, জুকারবার্গের ছয় বিলিয়ন কমে যায়, কাগজে। টেলিগ্রাম সেদিন সত্তর মিলিয়ন সাইন-আপ দাবি করে।

বিস্ফোরণ ব্যাসার্ধ

2:27 রায়, ময়নাতদন্ত: NEEDS REVIEW। একই-সন্ধ্যার বিবৃতি, এক দিনের মধ্যে নাম-লেখক ময়নাতদন্ত, সাধারণ ইংরেজিতে অডিট-টুল বাগ স্বীকার করা হয়েছে। মেরামত তালিকা: পরীক্ষা এবং ড্রিল শক্তিশালী করা।

রায় + সোমবারের লাইন

2:38 প্রোডাকশন নেটওয়ার্ক থেকে দরজাগুলো সরানোর বিষয়ে কিছু নেই। সোমবার: আপনার আউট-অব-ব্যান্ড অ্যাক্সেস এবং আপনার দরজা, এমন একটি নেটওয়ার্কে রাখুন যা আপনি পরিচালনা করেন না। আপনি যে ঘটনাটি নিয়ে এখনও কথা বলতে পারবেন না, তা আমাকে পাঠান, মন্তব্যে, অথবা the daily diff dot dev-এ। এবং এটাই আজকের diff। আমি Axrisi থেকে Niko। Merge responsibly।

2:58 SHIP IT।

উৎস

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com