Facebook-ը ջնջեց իրեն համացանցից։ Վեց ժամ։

Ինչ է ընդգրկում այս տեսանյութը

• Facebook-ը հեռացնում է իր սեփական հասցեն
• Ապացույցները. Meta Engineering, Cloudflare, Hacker News
• Սա The Daily Diff-ն է, հետմահու վերլուծություն
• Ժամանակացույց. 15:39 հրաման → 15:40 հետկանչված → 21:20 վերականգնված
• Մեխանիզմ. առողջության ստուգում, որը ջնջում է ձեզ, 30× DNS փոթորիկը, դռները

Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

Facebook-ը հեռացնում է իր սեփական հասցեն

0:00 Facebook-ը հեռացնում է իր սեփական հասցեն ինտերնետից, և երբ նրա ինժեներները գալիս են այն վերականգնելու, կրծքանշանների ընթերցողները ևս անջատված են, քանի որ դրանք աշխատում են Facebook-ի միջոցով։ Meta-ի սեփական հետմահու վերլուծությունը, հաջորդ օրը. սովորական սպասարկման հրամանը անջատում է բոլոր միջքաղաքային կապերը, և նման հրամաններն արգելափակելու համար ստեղծված գործիքն ունի սխալ։

Ապացույցները. Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare-ը, դրսից. 15:40 UTC-ին Facebook-ի անունների սերվերների երթուղիները անհետանում են, և dig facebook.com-ը ամբողջ մոլորակում վերադարձնում է SERVFAIL։ Ինչպես է դա տեղի ունենում, ինչու է անվտանգության գործառույթն ավելի վատացնում այն, և ով է մեղավոր։ Սա The Daily Diff-ն է, հետմահու վերլուծություն։ Վաղ կեսօր, UTC։

Սա The Daily Diff-ն է, հետմահու վերլուծություն

0:34 Հրամանը, որը նախատեսված էր ստուգելու ողնաշարի ազատ հզորությունը, փոխարենը անջատում է բոլոր կապերը Facebook-ի տվյալների կենտրոնների միջև, և այս երևույթը բռնելու համար ստեղծված աուդիտի գործիքը

Ժամանակացույց. 15:39 հրաման → 15:40 հետկանչված → 21:20 վերականգնված

0:41 թույլ է տալիս դա։ 15:40։ Cloudflare-ի BGP հոսքը լցվում է հետկանչներով. Facebook-ի DNS նախածանցները հեռանում են երթուղային աղյուսակից։ Մեկ րոպեի ընթացքում Cloudflare-ի ինժեներները սենյակում են՝ մտածելով, թե արդյոք իրենք փչացրել են 1.1.1.1-ը։ 15:45, Hacker News, երկու հազար վեց հարյուր միավոր։ 16:07, Facebook-ի խոսնակը, Twitter-ում, ինչպես միշտ. որոշ մարդիկ դժվարություններ ունեն մեր հավելվածներ մուտք գործելու հարցում։ Որոշ մարդիկ նշանակում է երեքուկես միլիարդ։

1:06 18:51, The New York Times. աշխատակիցները փակված են իրենց շենքերից, կրծքանշանները մեռած են։ 19:52, CTO-ն ներողություն է խնդրում։ 21:00, հինգ ժամ անց, երթուղիները վերադառնում են. 21:20, facebook.com-ը լուծվում է։ Ինչու է ողնաշարի խափանումը Facebook-ը ջնջում ինտերնետից։

Մեխանիզմ. առողջության ստուգում, որը ջնջում է ձեզ, 30× DNS փոթորիկը, դռները

1:20 Նրա անունների սերվերներն ունեն կանոն. չեն կարողանում հասնել տվյալների կենտրոններին, հայտարարեք ձեզ անառողջ, դադարեցրեք ձեր հասցեն գովազդելը։ Խելամիտ է, երբ մեկ կայք է վատանում։ Երբ ամբողջ ողնաշարը անջատվում է, յուրաքանչյուր անունների սերվեր դա անում է միանգամից։ Սերվերներն աշխատում են։ Ոչ ոք չի կարող գտնել դրանք։ Անվտանգության գործառույթը ցանցային խափանումը վերածում է գոյության խափանման։ Այնուհետև ինտերնետը կուտակվում է. հավելվածները կրկին փորձում են, օգտատերերը վերաբեռնում են,

1:39 և Cloudflare-ի լուծողը տեսնում է իր նորմալ բեռի երեսուն անգամ ավելին, մի կայքի համար, որը գոյություն չունի։ Եվ դռները։ Գործիքներ, արտաքին հասանելիություն, կրծքանշաններ. նույն ցանցը։ Ինժեներները մեքենայով մեկնում են տվյալների կենտրոններ, չեն կարողանում ներս մտնել, այնուհետև հանդիպում են ամրացված դարակաշարերի, որոնք պաշտպանված են ֆիզիկական հասանելիություն ունեցող ցանկացած մարդուց։ Ստեղծված հարձակվողին դանդաղեցնելու համար, այն դանդաղեցնում է նաև սեփականատիրոջը։ Ողնաշարը վերադառնում է. նրանք կամաց-կամաց ավելացնում են տրաֆիկը, հատուկ նպատակով։

1:59 Յուրաքանչյուր տվյալների կենտրոն կորցրել է տասնյակ մեգավատ, և դա մեկ քայլով շրջելը երկրորդ անջատում է։

git blame — բաժանումը

2:05 git blame։ Facebook, հիսունհինգ տոկոս. հրամանը աուդիտի էր ենթարկվել, աուդիտորը սխալ ուներ, մեկ հրաման հասավ յուրաքանչյուր երթուղիչի։ DNS դիզայնը, քսանհինգ. առողջության ստուգում՝ առանց համաչափության զգացումի։ Մեկ ցանց, տասնհինգ. գործիքներ, արտաքին, կրծքանշաններ։ Դարակաշարերը, հինգ, իրենց աշխատանքը կատարելու համար։ Պայթյունի շառավիղ. երեքուկես միլիարդ օգտատեր, գրեթե վեց ժամ։ Բաժնետոմսերը փակվում են հինգ տոկոսով, վեց միլիարդով ցածր Ցուկերբերգից,

Պայթյունի շառավիղ

2:27 թղթի վրա։ Telegram-ը պնդում է յոթանասուն միլիոն գրանցում այդ օրը։ Դատավճիռ, հետմահու վերլուծություն. NEEDS REVIEW։ Նույն երեկոյան հայտարարություն, անվանական հեղինակի հետմահու վերլուծություն մեկ օրվա ընթացքում, աուդիտի գործիքի սխալն ընդունվեց պարզ անգլերենով։

Դատավճիռ + երկուշաբթիի գիծը

2:38 Շտկումների ցանկ. ուժեղացնել փորձարկումները և վարժությունները։ Ոչինչ դռները արտադրական ցանցից հանելու մասին։ Երկուշաբթի. դրեք ձեր արտաքին հասանելիությունը և ձեր դուռը մի ցանցի վրա, որը դուք չեք շահագործում։ Ուղարկեք ինձ այն միջադեպը, որի մասին դուք դեռ թույլտվություն չունեք խոսելու, մեկնաբանություններում, կամ daily diff dot dev կայքում։ Եվ սա այսօրվա տարբերությունն է։ Ես Նիկոն եմ Axrisi-ից։

2:58 Merge responsibly։

Աղբյուրներ

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com