Facebook удалил себя из интернета. Шесть часов.

Что освещается в этом видео

• Facebook удаляет собственный адрес
• Источники: Meta Engineering, Cloudflare, Hacker News
• Это The Daily Diff, постмортем
• Хронология: 15:39 команда → 15:40 отозвано → 21:20 восстановлено
• Механизм: проверка работоспособности, которая вас удаляет, 30-кратный DNS-шторм, двери

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Facebook удаляет собственный адрес

0:00 Facebook удаляет собственный адрес из интернета, и когда его инженеры приходят, чтобы вернуть его, считыватели пропусков тоже не работают, потому что они работают на Facebook. Собственный постмортем Meta, на следующий день: рутинная команда обслуживания отключает все магистральные соединения, а инструмент, созданный для блокировки таких команд, имеет ошибку.

Источники: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, со стороны: в 15:40 UTC маршруты к серверам имен Facebook исчезают, и dig facebook.com возвращает SERVFAIL по всей планете. Как это происходит, почему функция безопасности ухудшает ситуацию, и кто виноват. Это The Daily Diff, постмортем. Ранний полдень, UTC.

Это The Daily Diff, постмортем

0:34 Команда, предназначенная для проверки свободной пропускной способности магистрали, вместо этого отключает все соединения между центрами обработки данных Facebook, а инструмент аудита, созданный для перехвата именно этого,

Хронология: 15:39 команда → 15:40 отозвано → 21:20 восстановлено

0:41 пропускает её. 15:40. Лента BGP Cloudflare заполняется отзывами; DNS-префиксы Facebook покидают таблицу маршрутизации. В течение минуты инженеры Cloudflare находятся в комнате, задаваясь вопросом, не сломали ли они 1.1.1.1. 15:45, Hacker News, две тысячи шестьсот баллов. 16:07, представитель Facebook, в Twitter, откуда угодно: у некоторых людей возникают проблемы с доступом к нашим приложениям. «Некоторые люди» — это три с половиной миллиарда.

1:06 18:51, The New York Times: сотрудники заблокированы вне своих зданий, пропуска не работают. 19:52, технический директор извиняется. 21:00, спустя пять часов, маршруты возвращаются; 21:20, facebook.com разрешается. Почему сбой магистрали удаляет Facebook из интернета?

Механизм: проверка работоспособности, которая вас удаляет, 30-кратный DNS-шторм, двери

1:20 Его серверы имен имеют правило: не могу достичь центров обработки данных, объяви себя неработоспособным, прекрати рекламировать свой адрес. Разумно, когда один сайт выходит из строя. Когда выходит из строя вся магистраль, каждый сервер имен делает это одновременно. Серверы работают. Никто не может их найти. Функция безопасности превращает сетевой сбой в сбой существования. Затем интернет наваливается: приложения повторяют попытки, пользователи перезагружают,

1:39 и резолвер Cloudflare видит в тридцать раз обычную нагрузку, для сайта, которого нет. И двери. Инструменты, внеполосный доступ, пропуска: та же сеть. Инженеры едут в центры обработки данных, не могут попасть внутрь, затем сталкиваются со стойками, защищенными от любого физического доступа. Созданный для замедления злоумышленника, он замедляет и владельца. Магистраль возвращается; они медленно наращивают трафик, намеренно.

1:59 Каждый центр обработки данных отключил десятки мегаватт, и обратное действие за один шаг — это второе отключение.

git blame — разделение

2:05 git blame. Facebook, пятьдесят пять процентов: команда была проверена, у аудитора была ошибка, одна команда достигла каждого маршрутизатора. Дизайн DNS, двадцать пять: проверка работоспособности без чувства меры. Одна сеть, пятнадцать: инструменты, внеполосный доступ, пропуска. Стойки, пять, за выполнение своей работы. Радиус поражения: три с половиной миллиарда пользователей, почти шесть часов. Акции закрываются на пять процентов ниже, шесть миллиардов от Цукерберга,

Радиус поражения

2:27 на бумаге. Telegram заявляет о семидесяти миллионах регистраций в тот день. Вердикт, постмортем: NEEDS REVIEW. Заявление тем же вечером, постмортем с указанием автора в течение дня, признана ошибка инструмента аудита на простом английском языке.

Вердикт + понедельничная строка

2:38 Список исправлений: усилить тестирование и тренировки. Ничего о снятии дверей с производственной сети. Понедельник: разместите свой внеполосный доступ и свою дверь в сети, которую вы не эксплуатируете. Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на daily diff dot dev. И это The Daily Diff на сегодня. Я Нико из Axrisi.

2:58 Merge responsibly.

Источники

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com