Binura ng Facebook ang sarili mula sa internet. Anim na oras.

Ang sakop ng video na ito

• Inalis ng Facebook ang sarili nitong address
• Ang mga resibo: Meta Engineering, Cloudflare, Hacker News
• Ito ang The Daily Diff, postmortem
• Timeline: 15:39 command → 15:40 binawi → 21:20 bumalik
• Mekanismo: ang health check na nagbubura sa iyo, ang 30× DNS storm, ang mga pinto

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

Inalis ng Facebook ang sarili nitong address

0:00 Inalis ng Facebook ang sarili nitong address mula sa internet, at pagdating ng mga inhinyero para ibalik, sira rin ang mga badge reader, dahil tumatakbo ang mga ito sa Facebook. Ang sariling postmortem ng Meta, kinabukasan: isang karaniwang command sa pagpapanatili ang nagpatumba sa bawat koneksyon ng backbone, at may bug ang tool na binuo upang pigilan ang mga ganoong command.

Ang mga resibo: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, mula sa labas: dakong 15:40 UTC nawala ang mga ruta papunta sa mga name server ng Facebook, at ang dig facebook.com ay nagbalik ng SERVFAIL sa lahat ng dako ng planeta. Paano ito nangyari, bakit lumala ito dahil sa isang tampok na pangkaligtasan, at sino ang sisisihin. Ito ang The Daily Diff, postmortem. Maagang hapon, UTC.

Ito ang The Daily Diff, postmortem

0:34 Isang command na nilayon upang suriin ang libreng kapasidad ng backbone ang nagpatumba sa bawat koneksyon sa pagitan ng mga data center ng Facebook, at ang audit tool na binuo upang mahuli ang eksaktong ito

Timeline: 15:39 command → 15:40 binawi → 21:20 bumalik

0:41 ay pinayagan ito. 15:40. Puno ang BGP feed ng Cloudflare ng mga withdrawal; ang mga DNS prefix ng Facebook ay umalis sa routing table. Sa loob ng isang minuto, nasa isang silid ang mga inhinyero ng Cloudflare na nagtataka kung sila ang sumira sa 1.1.1.1. 15:45, Hacker News, dalawampu't anim na raan puntos. 16:07, ang tagapagsalita ng Facebook, sa Twitter pa: may ilang tao ang nahihirapan sa pag-access sa aming mga app. Ang ilang tao ay tatlo at kalahating bilyon.

1:06 18:51, The New York Times: mga empleyado na naka-lock out sa kanilang mga gusali, patay ang mga badge. 19:52, nag-apologize ang CTO. 21:00, limang oras na, bumalik ang mga ruta; 21:20, nag-resolve ang facebook.com. Bakit binubura ng isang fault sa backbone ang Facebook mula sa internet?

Mekanismo: ang health check na nagbubura sa iyo, ang 30× DNS storm, ang mga pinto

1:20 Ang mga name server nito ay may panuntunan: hindi maabot ang mga data center, ideklara ang sarili bilang unhealthy, ihinto ang pag-advertise ng iyong address. Makatuwiran kapag isang site ang nasira. Kapag buong backbone ang nasira, sabay-sabay itong ginagawa ng bawat name server. Buhay ang mga server. Walang makahanap sa kanila. Ginagawa ng isang tampok na pangkaligtasan ang isang fault sa network sa isang fault sa pagkakaroon. Pagkatapos ay nagpatong-patong ang internet: nagre-retry ang mga app, nagre-reload ang mga user,

1:39 at nakikita ng resolver ng Cloudflare ang tatlumpung beses ng normal nitong load, para sa isang site na wala. At ang mga pinto. Mga tool, out-of-band access, mga badge: parehong network. Nagmamaneho ang mga inhinyero sa mga data center, hindi makapasok, pagkatapos ay nakaharap sa mga racks na pinatigas laban sa sinumang may pisikal na access. Binuo upang pabagalin ang isang umaatake, pinapabagal din nito ang may-ari. Bumalik ang backbone; dahan-dahan nilang pinapataas ang trapiko, sadyang.

1:59 Ang bawat data center ay nag-drop ng sampu-sampung megawatts, at ang pagbaliktad nito sa isang hakbang ay isang pangalawang outage.

git blame — ang paghihiwalay

2:05 git blame. Facebook, limampu't limang porsyento: na-audit ang command, may bug ang auditor, isang command ang nakarating sa bawat router. Ang disenyo ng DNS, dalawampu't lima: isang health check na walang sense of proportion. Isang network, labinlima: mga tool, out-of-band, mga badge. Ang mga racks, lima, sa paggawa ng kanilang trabaho. Laki ng pinsala: tatlo at kalahating bilyong user, halos anim na oras. Nagsara ang stock ng limang porsyento, anim na bilyon ang nawala kay Zuckerberg,

Laki ng pinsala

2:27 sa papel. Sinabi ng Telegram na pitumpung milyong sign-up noong araw na iyon. Hatol, postmortem: NEEDS REVIEW. Pahayag sa parehong gabi, postmortem na may pangalang may-akda sa loob ng isang araw, bug sa audit-tool na inamin sa simpleng Ingles.

Hatol + ang linya ng Lunes

2:38 Ang listahan ng pag-aayos: palakasin ang pagsubok at mga drill. Walang tungkol sa pagtanggal ng mga pinto mula sa production network. Lunes: ilagay ang iyong out-of-band access, at ang iyong pinto, sa isang network na hindi mo pinapatakbo. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagang pag-usapan, sa mga komento, o sa the daily diff dot dev. At iyan ang diff para ngayon. Ako si Niko mula sa Axrisi.

2:58 Merge responsably.

Mga Pinagmulan

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com