O Facebook se excluiu da internet. Seis horas.

O que este vídeo aborda

• O Facebook remove seu próprio endereço
• Os recibos: Meta Engineering, Cloudflare, Hacker News
• Este é o The Daily Diff, post-mortem
• Linha do tempo: 15:39 comando → 15:40 retirado → 21:20 de volta
• Mecanismo: a verificação de saúde que te exclui, a tempestade DNS 30×, as portas

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

O Facebook remove seu próprio endereço

0:00 O Facebook remove seu próprio endereço da internet e, quando seus engenheiros chegam para recolocá-lo, os leitores de crachás também não funcionam, porque eles rodam no Facebook. O próprio post-mortem da Meta, no dia seguinte: um comando de manutenção de rotina derruba todos os links de backbone, e a ferramenta criada para bloquear comandos como esse tem um bug.

Os recibos: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, de fora: às 15:40 UTC as rotas para os servidores de nomes do Facebook desaparecem, e dig facebook.com retorna SERVFAIL em todos os lugares do planeta. Como acontece, por que um recurso de segurança piora a situação e quem leva a culpa. Este é o The Daily Diff, post-mortem. Início da tarde, UTC.

Este é o The Daily Diff, post-mortem

0:34 Um comando destinado a verificar a capacidade livre do backbone derruba todos os links entre os data centers do Facebook, e a ferramenta de auditoria criada para detectar exatamente isso

Linha do tempo: 15:39 comando → 15:40 retirado → 21:20 de volta

0:41 permite que passe. 15:40. O feed BGP da Cloudflare se enche de retiradas; os prefixos DNS do Facebook saem da tabela de roteamento. Em um minuto, os engenheiros da Cloudflare estão em uma sala se perguntando se eles quebraram 1.1.1.1. 15:45, Hacker News, vinte e seis mil pontos. 16:07, o porta-voz do Facebook, no Twitter de todos os lugares: algumas pessoas estão tendo problemas para acessar nossos aplicativos. Algumas pessoas são três bilhões e meio.

1:06 18:51, o New York Times: funcionários trancados fora de seus edifícios, crachás inoperantes. 19:52, o CTO pede desculpas. 21:00, cinco horas depois, as rotas retornam; 21:20, facebook.com resolve. Por que uma falha de backbone exclui o Facebook da internet?

Mecanismo: a verificação de saúde que te exclui, a tempestade DNS 30×, as portas

1:20 Seus servidores de nomes têm uma regra: não conseguem alcançar os data centers, declaram-se não saudáveis, param de anunciar seu endereço. Sensato quando um site está ruim. Quando todo o backbone falha, cada servidor de nomes faz isso de uma vez. Os servidores estão funcionando. Ninguém consegue encontrá-los. Um recurso de segurança transforma uma falha de rede em uma falha de existência. Então a internet se acumula: aplicativos tentam novamente, usuários recarregam,

1:39 e o resolvedor da Cloudflare vê trinta vezes sua carga normal, para um site que não existe. E as portas. Ferramentas, acesso fora de banda, crachás: mesma rede. Engenheiros dirigem até os data centers, não conseguem entrar, e então encontram racks endurecidos contra qualquer um com acesso físico. Construído para desacelerar um atacante, também desacelera o proprietário. O backbone retorna; eles aumentam o tráfego lentamente, de propósito.

1:59 Cada data center derrubou dezenas de megawatts, e reverter isso em uma etapa é uma segunda interrupção.

git blame — a divisão

2:05 git blame. Facebook, cinquenta e cinco por cento: o comando foi auditado, o auditor tinha o bug, um comando alcançou todos os roteadores. O design do DNS, vinte e cinco: uma verificação de saúde sem senso de proporção. Uma rede, quinze: ferramentas, fora de banda, crachás. Os racks, cinco, por fazerem seu trabalho. Raio de explosão: três bilhões e meio de usuários, quase seis horas. A ação fecha em queda de cinco por cento, seis bilhões a menos para Zuckerberg,

Raio de explosão

2:27 no papel. O Telegram reivindica setenta milhões de inscrições naquele dia. Veredito, post-mortem: NEEDS REVIEW. Declaração na mesma noite, post-mortem com autor nomeado em um dia, bug da ferramenta de auditoria admitido em português claro.

Veredito + a linha de segunda-feira

2:38 A lista de correções: fortalecer testes e exercícios. Nada sobre remover as portas da rede de produção. Segunda-feira: coloque seu acesso fora de banda, e sua porta, em uma rede que você não opera. Envie-me o incidente sobre o qual você ainda não pode falar, nos comentários, ou em the daily diff dot dev. E esse é o diff de hoje. Sou Niko da Axrisi.

2:58 SHIP IT com responsabilidade.

Fontes

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com