Facebook သည် အင်တာနက်ပေါ်မှ သူ့ကိုယ်သူ ဖျက်ခဲ့သည်။ ခြောက်နာရီကြာ။
Facebook သည် အင်တာနက်ပေါ်မှ ၎င်း၏လိပ်စာကို ဖယ်ရှားလိုက်ပြီး ၎င်း၏အင်ဂျင်နီယာများ ပြန်လည်ထားရှိရန် ရောက်ရှိလာသောအခါ တံဆိပ်ဖတ်စက်များလည်း ပျက်သွားခဲ့သည်၊ အကြောင်းမှာ ၎င်းတို့သည် Facebook တွင် လုပ်ဆောင်နေသောကြောင့်ဖြစ်သည်။
Facebook သည် အင်တာနက်ပေါ်မှ ၎င်း၏လိပ်စာကို ဖယ်ရှားလိုက်ပြီး ၎င်း၏အင်ဂျင်နီယာများ ပြန်လည်ထားရှိရန် ရောက်ရှိလာသောအခါ တံဆိပ်ဖတ်စက်များလည်း ပျက်သွားခဲ့သည်၊ အကြောင်းမှာ ၎င်းတို့သည် Facebook တွင် လုပ်ဆောင်နေသောကြောင့်ဖြစ်သည်။ ၂၀၂၁ ခုနှစ် အောက်တိုဘာလ ၄ ရက်၊ ၁၅:၄၀ UTC တွင်- ပုံမှန် backbone-maintenance command တစ်ခုသည် Facebook ၏ data centre များကြားရှိ လင့်ခ်တိုင်းကို ဖြတ်တောက်ခဲ့သည်; ၎င်းကို ပိတ်ဆို့ရန် တည်ဆောက်ထားသော audit tool တွင် bug တစ်ခုရှိသည်; Facebook ၏ name server များသည် data centre များသို့ မရောက်ရှိနိုင်သောကြောင့် ၎င်းတို့၏ကိုယ်ပိုင် BGP လမ်းကြောင်းများကို ဒီဇိုင်းအရ ရုပ်သိမ်းခဲ့သည် — ထို့ကြောင့် facebook.com, Instagram, WhatsApp နှင့် Messenger တို့သည် DNS မှ ခြောက်နာရီနီးပါး ပျောက်ကွယ်သွားခဲ့သည်။ ပြည်တွင်းသုံး ကိရိယာများ၊ out-of-band access နှင့် ရုံးတံဆိပ်များသည် ကွန်ရက်တစ်ခုတည်းတွင် ရှိနေသောကြောင့် ပြင်ဆင်ရန်အတွက် racks များရှိ လူများ လိုအပ်သည်။
ရေးသားထားသော ထုတ်ဝေမှု (အင်္ဂလိပ်) ကို ဖတ်ရန် ↗
ဤဗီဒီယိုတွင် ဖော်ပြထားသောအရာများ
- Facebook သည် ၎င်း၏ကိုယ်ပိုင်လိပ်စာကို ဖယ်ရှားခဲ့သည်
- ပြေစာများ: Meta Engineering, Cloudflare, Hacker News
- ၎င်းသည် The Daily Diff, postmortem ဖြစ်သည်
- အချိန်ဇယား: ၁၅:၃၉ command → ၁၅:၄၀ ရုပ်သိမ်း → ၂၁:၂၀ ပြန်လည်ရောက်ရှိ
- ယန္တရား: သင့်ကိုဖျက်ဆီးသော health check, 30× DNS မုန်တိုင်း, တံခါးများ
ဘာသာပြန်ထားသော စာသားမှတ်တမ်း
မူရင်း အင်္ဂလိပ်စကားပြောမှ ဘာသာပြန်ထားသည်။ ရရှိနိုင်သော အသံနှင့် စာတန်းထိုးများကို YouTube မှ ထိန်းချုပ်ထားသည်။
Facebook သည် ၎င်း၏ကိုယ်ပိုင်လိပ်စာကို ဖယ်ရှားခဲ့သည်
0:00 Facebook သည် အင်တာနက်ပေါ်မှ ၎င်း၏ကိုယ်ပိုင်လိပ်စာကို ဖယ်ရှားလိုက်ပြီး ၎င်း၏အင်ဂျင်နီယာများ ပြန်လည်ထားရှိရန် ရောက်ရှိလာသောအခါ တံဆိပ်ဖတ်စက်များလည်း ပျက်သွားခဲ့သည်၊ အကြောင်းမှာ ၎င်းတို့သည် Facebook တွင် လုပ်ဆောင်နေသောကြောင့်ဖြစ်သည်။ Meta ၏ကိုယ်ပိုင် postmortem၊ နောက်တစ်နေ့တွင်: ပုံမှန်ပြုပြင်ထိန်းသိမ်းမှု command တစ်ခုသည် လင့်ခ်တိုင်းကို ဖြတ်တောက်ခဲ့သည် backbone link, ထိုသို့သော command များကို ပိတ်ဆို့ရန် တည်ဆောက်ထားသော tool တွင် bug တစ်ခုရှိသည်။
ပြေစာများ: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare၊ အပြင်ဘက်မှ: ၁၅:၄၀ UTC တွင် Facebook ၏ name server များသို့ လမ်းကြောင်းများ ပျောက်ကွယ်သွားခဲ့ပြီး dig facebook.com သည် ကမ္ဘာပေါ်ရှိ နေရာတိုင်းတွင် SERVFAIL ပြန်လည်ပြသခဲ့သည်။ ၎င်းမည်သို့ဖြစ်ပွားခဲ့ပုံ၊ ဘေးကင်းရေးအင်္ဂါရပ်တစ်ခုက ၎င်းကို အဘယ်ကြောင့် ပိုဆိုးစေခဲ့ပုံ၊ နှင့် အပြစ်တင်ခံရသူများ။ ၎င်းသည် The Daily Diff, postmortem ဖြစ်သည်။ နေ့လယ်ခင်းအစောပိုင်း၊ UTC။
၎င်းသည် The Daily Diff, postmortem ဖြစ်သည်
0:34 လွတ်လပ်သော backbone စွမ်းရည်ကို စစ်ဆေးရန် ရည်ရွယ်ထားသော command တစ်ခုသည် လင့်ခ်တိုင်းကို ဖြတ်တောက်ခဲ့သည် Facebook ၏ data centre များကြားတွင်၊ ထိုကဲ့သို့သောအခြေအနေကို ဖမ်းမိရန် တည်ဆောက်ထားသော audit tool သည်
အချိန်ဇယား: ၁၅:၃၉ command → ၁၅:၄၀ ရုပ်သိမ်း → ၂၁:၂၀ ပြန်လည်ရောက်ရှိ
0:41 ၎င်းကို လျစ်လျူရှုလိုက်သည်။ ၁၅:၄၀။ Cloudflare ၏ BGP feed သည် ရုပ်သိမ်းမှုများဖြင့် ပြည့်နှက်ခဲ့သည်; Facebook ၏ DNS prefixes များသည် routing table မှ ထွက်ခွာသွားခဲ့သည်။ တစ်မိနစ်အတွင်း Cloudflare ၏အင်ဂျင်နီယာများသည် ၎င်းတို့ 1.1.1.1 ကို ဖျက်ဆီးမိပြီလားဟု တွေးတောနေကြသည်။ ၁၅:၄၅ တွင် Hacker News၊ နှစ်ထောင့်ခြောက်ရာ အမှတ်များ။ ၁၆:၀၇ တွင် Facebook ၏ပြောရေးဆိုခွင့်ရှိသူ၊ Twitter တွင်ပင်: လူအချို့သည် ကျွန်ုပ်တို့၏ apps များကို ဝင်ရောက်အသုံးပြုရာတွင် အခက်အခဲများ ကြုံတွေ့နေရသည်။ လူအချို့ဆိုသည်မှာ သုံးဘီလီယံခွဲ ဖြစ်သည်။
1:06 ၁၈:၅၁ တွင် New York Times: ဝန်ထမ်းများသည် ၎င်းတို့၏အဆောက်အအုံများမှ ပိတ်မိနေသည်၊ တံဆိပ်များ သေနေသည်။ ၁၉:၅၂ တွင် CTO မှ တောင်းပန်သည်။ ၂၁:၀၀ တွင် ငါးနာရီအတွင်း လမ်းကြောင်းများ ပြန်လည်ရောက်ရှိ; ၂၁:၂၀ တွင် facebook.com ဖြေရှင်းခဲ့သည်။ backbone ချွတ်ယွင်းချက်တစ်ခုက Facebook ကို အင်တာနက်မှ အဘယ်ကြောင့် ဖျက်ပစ်ခဲ့ရသနည်း။
ယန္တရား: သင့်ကိုဖျက်ဆီးသော health check, 30× DNS မုန်တိုင်း, တံခါးများ
1:20 ၎င်း၏ name server များတွင် စည်းမျဉ်းတစ်ခုရှိသည်: data centre များသို့ မရောက်ရှိနိုင်ပါက၊ မိမိကိုယ်ကို မကျန်းမာကြောင်း ကြေငြာပြီး သင်၏လိပ်စာကို ကြော်ငြာခြင်း ရပ်ဆိုင်းလိုက်ပါ။ ဆိုက်တစ်ခု ချွတ်ယွင်းသွားသည့်အခါ ကျိုးကြောင်းဆီလျော်သည်။ backbone တစ်ခုလုံး ချွတ်ယွင်းသွားသောအခါ name server တိုင်းသည် တစ်ပြိုင်နက်တည်း ပြုလုပ်သည်။ server များသည် လုပ်ဆောင်နေဆဲဖြစ်သည်။ မည်သူမျှ ၎င်းတို့ကို ရှာမတွေ့နိုင်ပါ။ ဘေးကင်းရေးအင်္ဂါရပ်တစ်ခုသည် ကွန်ရက်ချွတ်ယွင်းချက်ကို တည်ရှိမှုချွတ်ယွင်းချက်အဖြစ် ပြောင်းလဲစေသည်။ ထို့နောက် အင်တာနက်က စုပြုံလာသည်: apps များ ပြန်လည်ကြိုးစား၊ အသုံးပြုသူများ ပြန်လည်တင်၊
1:39 Cloudflare ၏ resolver သည် ပုံမှန် load ထက် အဆ ၃၀ ပိုမိုမြင့်မားသော load ကို မြင်တွေ့ရသည်၊ တည်ရှိမနေသော ဆိုက်တစ်ခုအတွက်။ ထို့နောက် တံခါးများ။ ကိရိယာများ၊ out-of-band access, တံဆိပ်များ: ကွန်ရက်တစ်ခုတည်း။ အင်ဂျင်နီယာများသည် data centre များသို့ ကားမောင်းသွားသော်လည်း ဝင်ရောက်၍မရဘဲ၊ ထို့နောက် ကာကွယ်ထားသော racks များနှင့် တွေ့ဆုံသည် ရုပ်ပိုင်းဆိုင်ရာ ဝင်ရောက်အသုံးပြုခွင့်ရှိသူ မည်သူမဆိုကို တားဆီးရန် တည်ဆောက်ထားသည်။ တိုက်ခိုက်သူကို နှေးကွေးစေရန် တည်ဆောက်ထားသော်လည်း ပိုင်ရှင်ကိုလည်း နှေးကွေးစေသည်။ backbone ပြန်လည်ရောက်ရှိလာသည်; ၎င်းတို့သည် traffic ကို တမင်တကာ ဖြည်းဖြည်းချင်း တိုးမြှင့်သည်။
1:59 data centre တစ်ခုစီသည် megawatts ဆယ်ပေါင်းများစွာကို ကျဆင်းစေခဲ့ပြီး ၎င်းကို တစ်ကြိမ်တည်းဖြင့် ပြန်လည်ပြောင်းပြန်လှန်ခြင်းသည် ဒုတိယအကြိမ် ပြတ်တောက်မှုဖြစ်သည်။
git blame — ကွဲပြားမှု
2:05 git blame။ Facebook, ၅၅ ရာခိုင်နှုန်း: command ကို စစ်ဆေးခဲ့သည်၊ စစ်ဆေးသူတွင် bug ရှိသည်၊ command တစ်ခုသည် router တိုင်းသို့ ရောက်ရှိခဲ့သည်။ DNS ဒီဇိုင်း၊ ၂၅ ရာခိုင်နှုန်း: အချိုးအစားမညီသော health check တစ်ခု။ ကွန်ရက်တစ်ခု၊ ၁၅ ရာခိုင်နှုန်း: ကိရိယာများ၊ out-of-band, တံဆိပ်များ။ racks များ၊ ၅ ရာခိုင်နှုန်း၊ ၎င်းတို့၏အလုပ်ကို လုပ်ဆောင်ခြင်းအတွက်။ ထိခိုက်မှုပမာဏ: အသုံးပြုသူ သုံးဘီလီယံခွဲ၊ ခြောက်နာရီနီးပါး။ စတော့ရှယ်ယာသည် ငါးရာခိုင်နှုန်း ကျဆင်းခဲ့ပြီး Zuckerberg မှ ခြောက်ဘီလီယံ လျော့ကျခဲ့သည်၊
ထိခိုက်မှုပမာဏ
2:27 စာရင်းအရ။ Telegram က ထိုနေ့တွင် အကောင့်သစ်ပေါင်း သန်း ၇၀ တိုးလာသည်ဟု ဆိုသည်။ စီရင်ချက်၊ postmortem: NEEDS REVIEW။ ညနေပိုင်းထုတ်ပြန်ချက်၊ တစ်ရက်အတွင်း အမည်ဖော်ပြထားသော စာရေးသူ၏ postmortem၊ audit-tool bug ကို ရိုးရှင်းသော အင်္ဂလိပ်ဘာသာဖြင့် ဝန်ခံခဲ့သည်။
စီရင်ချက် + Monday လိုင်း
2:38 ပြင်ဆင်ရမည့်စာရင်း: စမ်းသပ်မှုနှင့် လေ့ကျင့်မှုများကို အားကောင်းအောင် လုပ်ဆောင်ပါ။ production network မှ တံခါးများကို ဖယ်ရှားခြင်းအကြောင်း ဘာမျှမပါဝင်ပါ။ တနင်္လာနေ့: သင်၏ out-of-band access, နှင့် သင်၏တံခါးကို သင်မလည်ပတ်သော ကွန်ရက်ပေါ်တွင် ထားပါ။ သင်မလည်ပတ်သော ကွန်ရက်ပေါ်တွင် ထားပါ။ သင်မပြောရသေးသော ဖြစ်ရပ်ကို ကျွန်ုပ်ထံ ပို့ပေးပါ၊ comments များတွင် သို့မဟုတ် the daily diff dot dev တွင်။ ထိုမျှပင် ယနေ့အတွက် diff ဖြစ်သည်။ ကျွန်ုပ်သည် Axrisi မှ Niko ဖြစ်သည်။
2:58 Merge responsibly။
ရင်းမြစ်များ
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
