Facebook kustutas end internetist. Kuus tundi.
Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis.
Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis. 4. oktoober 2021, 15:40 UTC: rutiinne põhivõrgu hoolduskäsk viib alla kõik lingid Facebooki andmekeskuste vahel; selle blokeerimiseks loodud auditeerimistööriistal on viga; Facebooki nimeserverid, mis ei suuda andmekeskusteni jõuda, eemaldavad oma BGP-marsruudid disaini järgi — ja facebook.com, Instagram, WhatsApp ja Messenger kaovad DNS-ist peaaegu kuueks tunniks. Sisemised tööriistad, "out-of-band" ligipääs ja kontori pääsukaardid sõidavad samas võrgus, seega vajab parandamine inimesi riiulite juurde.
Loe kirjalikku väljaannet (inglise keeles) ↗
Mida see video hõlmab
- Facebook eemaldab oma aadressi
- Kviitungid: Meta Engineering, Cloudflare, Hacker News
- See on The Daily Diff, järelkaja
- Ajakava: 15:39 käsk → 15:40 eemaldati → 21:20 tagasi
- Mehhanism: tervisekontroll, mis kustutab su, 30× DNS-torm, uksed
Tõlgitud transkriptsioon
Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.
Facebook eemaldab oma aadressi
0:00 Facebook eemaldab oma aadressi internetist ja kui selle insenerid saabuvad seda tagasi panema, on ka pääsukaardilugejad maas, sest need töötavad Facebookis. Meta enda järelkaja, järgmisel päeval: rutiinne hoolduskäsk viib alla iga põhivõrgu lingi ja selliste käskude blokeerimiseks loodud tööriistal on viga.
Kviitungid: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, väljastpoolt: kell 15:40 UTC kaovad marsruudid Facebooki nimeserveriteni ja dig facebook.com tagastab SERVFAIL-i kõikjal planeedil. Kuidas see juhtub, miks turvafunktsioon seda halvendab ja kes saab süüdistuse. See on The Daily Diff, järelkaja. Varajane pärastlõuna, UTC.
See on The Daily Diff, järelkaja
0:34 Käsk, mis pidi kontrollima vaba põhivõrgu mahtu, viib hoopis alla iga lingi Facebooki andmekeskuste vahel ja auditeerimistööriist, mis on loodud just seda
Ajakava: 15:39 käsk → 15:40 eemaldati → 21:20 tagasi
0:41 püüdmiseks, laseb selle läbi. 15:40. Cloudflare'i BGP-voog täitub eemaldamistega; Facebooki DNS-i eestliited lahkuvad marsruutimistabelist. Minuti jooksul on Cloudflare'i insenerid toas, mõeldes, kas nad rikkusid 1.1.1.1. 15:45, Hacker News, kakskümmend kuussada punkti. 16:07, Facebooki pressiesindaja, Twitteris kõigist kohtadest: mõnedel inimestel on raskusi meie rakenduste kasutamisega. Mõned inimesed on kolm ja pool miljardit.
1:06 18:51, New York Times: töötajad on oma hoonetest välja lukustatud, pääsukaardid surnud. 19:52, tehniline juht vabandab. 21:00, viis tundi möödas, marsruudid naasevad; 21:20, facebook.com laheneb. Miks kustutab põhivõrgu rike Facebooki internetist?
Mehhanism: tervisekontroll, mis kustutab su, 30× DNS-torm, uksed
1:20 Selle nimeserveritel on reegel: ei pääse andmekeskusteni, deklareeri end ebatervaks, lõpeta oma aadressi reklaamimine. Mõistlik, kui üks sait läheb halvaks. Kui kogu põhivõrk läheb, teeb seda iga nimeserver korraga. Serverid on üleval. Keegi ei leia neid. Turvafunktsioon muudab võrgurikke eksistentsirikkeks. Siis kuhjub internet: rakendused proovivad uuesti, kasutajad laadivad uuesti,
1:39 ja Cloudflare'i resolver näeb kolmkümmend korda oma tavalisest koormusest, saidi jaoks, mida seal pole. Ja uksed. Tööriistad, out-of-band ligipääs, pääsukaardid: sama võrk. Insenerid sõidavad andmekeskustesse, ei saa sisse, siis kohtuvad riiulitega, mis on tugevdatud igasuguse füüsilise juurdepääsu vastu. Ehitatud ründaja aeglustamiseks, aeglustab see ka omanikku. Põhivõrk naaseb; nad suurendavad liiklust aeglaselt, meelega.
1:59 Iga andmekeskus on kaotanud kümneid megavatte ja selle ühes sammus tagasipööramine on teine katkestus.
git blame — jagunemine
2:05 git blame. Facebook, viiskümmend viis protsenti: käsk auditeeriti, audiitoril oli viga, üks käsk jõudis iga ruuterini. DNS-i disain, kakskümmend viis: tervisekontroll ilma proportsioonitundeta. Üks võrk, viisteist: tööriistad, out-of-band, pääsukaardid. Riiulid, viis, oma töö tegemise eest. Mõju ulatus: kolm ja pool miljardit kasutajat, peaaegu kuus tundi. Aktsia sulgub viis protsenti madalamal, kuus miljardit Zuckerbergilt maha,
Mõju ulatus
2:27 paberil. Telegram väidab sel päeval seitsekümmend miljonit registreerumist. Otsus, järelkaja: NEEDS REVIEW. Samaõhtune avaldus, nimega autori järelkaja ühe päeva jooksul, auditeerimistööriista viga tunnistatud selges eesti keeles.
Otsus + esmaspäevane rida
2:38 Paranduste nimekiri: tugevdada testimist ja harjutusi. Midagi uste tootmisvõrgust eemaldamise kohta pole. Esmaspäev: pane oma "out-of-band" ligipääs ja oma uks võrku, mida sa ei halda. Saada mulle intsident, millest sa ikka veel rääkida ei tohi, kommentaarides või the daily diff dot dev aadressile. Ja see on tänane "diff". Olen Niko Axrisi'st.
2:58 SHIP IT vastutustundlikult.
Allikad
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
