Facebook интернеттен өзүн өчүрдү. Алты саат.

Бул видео эмнелерди камтыйт

• Facebook өз дарегин алып салат
• Квитанциялар: Meta Engineering, Cloudflare, Hacker News
• Бул The Daily Diff, постмортем
• Убакыт тилкеси: 15:39 буйрук → 15:40 алынды → 21:20 кайра
• Механизм: сизди жок кылган ден соолукту текшерүү, 30× DNS бороону, эшиктер

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Facebook өз дарегин алып салат

0:00 Facebook интернеттен өз дарегин алып салат, ал эми анын инженерлери аны кайра орнотууга келгенде, бейджик окугучтар да иштебей калат, анткени алар Facebookта иштейт. Метанын өзүнүн постмортеми, эртеси: кезектеги тейлөө буйругу ар бир магистралдык байланышты үзөт, жана андай буйруктарды бөгөттөө үчүн түзүлгөн куралда мүчүлүштүк бар.

Квитанциялар: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, сырттан: 15:40 UTC убагында Facebookтун аталыш серверлерине болгон маршруттар жоголот, жана dig facebook.com планетанын бардык жеринде SERVFAIL кайтарат. Кантип болот, эмне үчүн коопсуздук өзгөчөлүгү абалды начарлатат жана ким күнөөлүү. Бул The Daily Diff, постмортем. Күндүн эртең мененки бөлүгү, UTC.

Бул The Daily Diff, постмортем

0:34 Бош магистралдык кубаттуулукту текшерүү үчүн арналган буйрук анын ордуна ар бир байланышты үзөт Facebookтун маалымат борборлорунун ортосунда, жана дал ушуну кармаш үчүн түзүлгөн аудит куралы

Убакыт тилкеси: 15:39 буйрук → 15:40 алынды → 21:20 кайра

0:41 аны өткөрүп жиберет. 15:40. Cloudflare'дин BGP каналы алынып салуулар менен толот; Facebookтун DNS префикстери маршруттук таблицадан чыгат. Бир мүнөттүн ичинде Cloudflare'дин инженерлери бир бөлмөдө алар 1.1.1.1ди бузуп алыштыбы деп ойлонуп отурушат. 15:45, Hacker News, жыйырма алты жүз упай. 16:07, Facebookтун басма сөз катчысы, Twitterде: кээ бир адамдар биздин колдонмолорго кирүүдө кыйынчылыктарга туш болууда. Кээ бир адамдар – бул үч жарым миллиард.

1:06 18:51, New York Times: кызматкерлер имараттарынан кулпуланып калышты, бейджиктери иштебей калды. 19:52, CTO кечирим сурайт. 21:00, беш сааттан кийин, маршруттар кайтып келет; 21:20, facebook.com чечилет. Эмне үчүн магистралдык ката Facebookту интернеттен жок кылат?

Механизм: сизди жок кылган ден соолукту текшерүү, 30× DNS бороону, эшиктер

1:20 Анын аталыш серверлеринде эреже бар: маалымат борборлоруна жете албайт, өзүңүздү ден-соолугу начар деп жарыялаңыз, дарегиңизди жарнамалоону токтотуңуз. Бир сайт начар болгондо акылга сыярлык. Бардык магистрал иштебей калганда, ар бир аталыш сервери аны бир убакта аткарат. Серверлер иштейт. Эч ким аларды таба албайт. Коопсуздук функциясы тармактык катаны бар болуу катасына айландырат. Андан кийин интернет толуп кетет: колдонмолор кайра аракет кылат, колдонуучулар кайра жүктөйт,

1:39 жана Cloudflare'дин чечүүчүсү кадимки жүктөмүнөн отуз эсе көп жүктү көрөт, жок сайт үчүн. Жана эшиктер. Куралдар, тармактан тышкаркы жетүү, бейджиктер: ошол эле тармак. Инженерлер маалымат борборлоруна барышат, кире алышпайт, анан физикалык жеткиликтүүлүгү бар ар бир адамга каршы бекемделген стеллаждарды табышат. Кол салуучуну жайлатуу үчүн курулган, ал ээсин да жайлатат. Магистрал кайтып келет; алар трафикти атайын жай ылдамдатышат.

1:59 Ар бир маалымат борбору ондогон мегаваттты жоготту, жана муну бир кадамда артка кайтаруу экинчи өчүрүү болуп саналат.

git blame — бөлүштүрүү

2:05 git blame. Facebook, элүү беш пайыз: буйрук текшерилген, текшерүүчүдө мүчүлүштүк болгон, бир буйрук ар бир роутерге жеткен. DNS дизайны, жыйырма беш: пропорция сезими жок ден соолукту текшерүү. Бир тармак, он беш: куралдар, тармактан тышкары, бейджиктер. Стеллаждар, беш, өз ишин аткарганы үчүн. Жарылуу радиусу: үч жарым миллиард колдонуучу, дээрлик алты саат. Акция беш пайызга төмөндөйт, Цукербергден алты миллиард, кагаз жүзүндө.

Жарылуу радиусу

2:27 Телеграм ошол күнү жетимиш миллион каттоодон өтүүнү талап кылат. Өкүм, постмортем: карап чыгуу керек. Ошол эле кечиндеги билдирүү, бир күндүн ичинде аты-жөнү көрсөтүлгөн автордун постмортеми, аудит куралындагы мүчүлүштүк ачык англисче моюнга алынды.

Өкүм + дүйшөмбү линиясы

2:38 Оңдоо тизмеси: тестирлөөнү жана машыгууларды күчөтүү. Өндүрүш тармагынан эшиктерди алуу жөнүндө эч нерсе жок. Дүйшөмбү: тармактан тышкаркы кирүү мүмкүнчүлүгүңүздү жана эшигиңизди, сиз иштетпеген тармакка коюңуз. Мага дагы эле сүйлөөгө уруксат берилбеген окуяны жөнөтүңүз, комментарийлерде, же the daily diff dot dev дарегине. Жана бүгүнкү айырма ушул. Мен Axrisi'ден Никомун.

2:58 Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com