Facebook видалив себе з інтернету. Шість годин.

Що охоплює це відео

• Facebook видаляє власну адресу
• Квитанції: Meta Engineering, Cloudflare, Hacker News
• Це The Daily Diff, посмертний аналіз
• Хронологія: 15:39 команда → 15:40 відкликано → 21:20 відновлено
• Механізм: перевірка працездатності, яка вас видаляє, DNS-шторм у 30 разів, двері

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

Facebook видаляє власну адресу

0:00 Facebook видаляє власну адресу з інтернету, і коли її інженери прибувають, щоб відновити її, зчитувачі перепусток також не працюють, тому що вони працюють на Facebook. Власний посмертний аналіз Meta, наступного дня: звичайна команда з обслуговування вимикає кожен магістральний зв'язок, а інструмент, створений для блокування таких команд, має помилку.

Квитанції: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, ззовні: о 15:40 UTC маршрути до серверів імен Facebook зникають, і dig facebook.com повертає SERVFAIL по всьому світу. Як це відбувається, чому функція безпеки погіршує ситуацію і хто винен. Це The Daily Diff, посмертний аналіз. Рано вдень, UTC.

Це The Daily Diff, посмертний аналіз

0:34 Команда, призначена для перевірки вільної ємності магістралі, замість цього вимикає кожен зв'язок між центрами обробки даних Facebook, а інструмент аудиту, створений для виявлення саме цього,

Хронологія: 15:39 команда → 15:40 відкликано → 21:20 відновлено

0:41 пропускає її. 15:40. Стрічка BGP Cloudflare заповнюється відкликаннями; DNS Facebook префікси залишають таблицю маршрутизації. Протягом хвилини інженери Cloudflare перебувають у кімнаті, задаючись питанням, чи не зламали вони 1.1.1.1. 15:45, Hacker News, дві тисячі шістсот балів. 16:07, речник Facebook, серед усіх місць у Twitter: деякі люди мають проблеми з доступом до наших додатків. Деякі люди — це три з половиною мільярди.

1:06 18:51, The New York Times: співробітники заблоковані у своїх будівлях, перепустки не працюють. 19:52, технічний директор вибачається. 21:00, через п'ять годин, маршрути повертаються; 21:20, facebook.com вирішується. Чому збій у магістралі видаляє Facebook з інтернету?

Механізм: перевірка працездатності, яка вас видаляє, DNS-шторм у 30 разів, двері

1:20 Його сервери імен мають правило: не можуть досягти центрів обробки даних, оголосіть себе нездоровими, припиніть рекламувати свою адресу. Розумно, коли один сайт виходить з ладу. Коли вся магістраль виходить з ладу, кожен сервер імен робить це одночасно. Сервери працюють. Ніхто не може їх знайти. Функція безпеки перетворює мережевий збій на збій існування. Потім інтернет накопичується: додатки повторюють спроби, користувачі перезавантажуються,

1:39 і резольвер Cloudflare бачить у тридцять разів більше звичайного навантаження, для сайту, якого немає. І двері. Інструменти, позасмуговий доступ, перепустки: та ж мережа. Інженери їдуть до центрів обробки даних, не можуть потрапити всередину, потім зустрічають стійки, укріплені проти будь-кого з фізичним доступом. Створено для уповільнення зловмисника, але це також уповільнює власника. Магістраль повертається; вони повільно, навмисно нарощують трафік.

1:59 Кожен центр обробки даних скинув десятки мегават, і зворотний процес за один крок є другим відключенням.

git blame — розкол

2:05 git blame. Facebook, п'ятдесят п'ять відсотків: команда була перевірена, аудитор мав помилку, одна команда досягла кожного маршрутизатора. Дизайн DNS, двадцять п'ять: перевірка працездатності без почуття пропорції. Одна мережа, п'ятнадцять: інструменти, позасмуговий доступ, перепустки. Стійки, п'ять, за виконання своєї роботи. Радіус ураження: три з половиною мільярди користувачів, майже шість годин. Акції закриваються з падінням на п'ять відсотків, шість мільярдів від Цукерберга,

Радіус ураження

2:27 на папері. Telegram заявляє про сімдесят мільйонів реєстрацій того дня. Вердикт, посмертний аналіз: NEEDS REVIEW. Заява того ж вечора, посмертний аналіз з іменем автора протягом дня, помилка інструмента аудиту визнана простою мовою.

Вердикт + понеділкова лінія

2:38 Список виправлень: посилити тестування та навчання. Нічого про зняття дверей з виробничої мережі. Понеділок: розмістіть свій позасмуговий доступ і свої двері в мережі, якою ви не керуєте. Надішліть мені інцидент, про який вам досі не дозволено говорити, у коментарях, або на the daily diff dot dev. І це The Daily Diff за сьогодні. Я Ніко з Axrisi.

2:58 Зливайте відповідально.

Джерела

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com