Facebook-ek bere burua ezabatu zuen internetetik. Sei ordu.

Bideo honek zer jorratzen duen

• Facebook-ek bere helbidea kentzen du
• Frogarik: Meta Engineering, Cloudflare, Hacker News
• Hau The Daily Diff da, postmortem
• Denbora-lerroa: 15:39 komandoa → 15:40 erretiratua → 21:20 berriz martxan
• Mekanismoa: zu ezabatzen zaituen osasun-egiaztapena, 30× DNS ekaitza, ateak

Itzulitako transkripzioa

Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.

Facebook-ek bere helbidea kentzen du

0:00 Facebook-ek bere helbidea internetetik kentzen du, eta ingeniariak itzultzeko iristen direnean, txartel irakurgailuak ere behera daude, Facebook-en funtzionatzen dutelako. Metaren postmortem-a, hurrengo egunean: ohiko mantentze-komando batek jaisten du sare nagusiaren lotura bakoitza, eta horrelako komandoak blokeatzeko eraikitako tresnak akats bat du.

Frogarik: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare-k, kanpotik: 15:40 UTC-an Facebook-en izen-zerbitzarien ibilbideak desagertu egiten dira, eta dig facebook.com-ek SERVFAIL itzultzen du planetako leku guztietan. Nola gertatzen den, zergatik segurtasun-eginbide batek okerrago egiten duen, eta nork duen errua. Hau The Daily Diff da, postmortem. Arratsalde hasiera, UTC.

Hau The Daily Diff da, postmortem

0:34 Sare nagusiaren gaitasun librea egiaztatzeko komando batek, horren ordez, lotura guztiak jaisten ditu Facebook-en datu-zentroen artean, eta hau harrapatzeko eraikitako auditoria-tresnak

Denbora-lerroa: 15:39 komandoa → 15:40 erretiratua → 21:20 berriz martxan

0:41 pasatzen uzten du. 15:40. Cloudflare-ren BGP jarioa erretiratzeez betetzen da; Facebook-en DNS aurrizkiak bideratze-taulatik ateratzen dira. Minutu batean Cloudflare-ren ingeniariak gela batean daude, ea beraiek 1.1.1.1. apurtu duten galdetzen. 15:45, Hacker News, hogeita sei mila puntu. 16:07, Facebook-en bozeramailea, Twitter-en, hain zuzen ere: batzuek arazoak dituzte gure aplikazioetara sartzeko. Batzuk hiru mila bostehun milioi dira.

1:06 18:51, The New York Times: langileak beren eraikinetatik kanpo blokeatuta, txartelak hilda. 19:52, CTO-k barkamena eskatzen du. 21:00, bost ordu igaro eta gero, ibilbideak itzuli dira; 21:20, facebook.com ebazten da. Zergatik sare nagusiaren akats batek Facebook internetetik ezabatzen du?

Mekanismoa: zu ezabatzen zaituen osasun-egiaztapena, 30× DNS ekaitza, ateak

1:20 Bere izen-zerbitzariek arau bat dute: ezin dute datu-zentroetara iritsi, osasungaitz deklaratu, zure helbidea iragartzeari utzi. Zentzuzkoa gune bat gaizki doanean. Sare nagusi osoa jaisten denean, izen-zerbitzari bakoitzak aldi berean egiten du. Zerbitzariak martxan daude. Inork ezin ditu aurkitu. Segurtasun-eginbide batek sare-akats bat existentzia-akats bihurtzen du. Gero internetek gehitu egiten du: aplikazioek berriro saiatzen dira, erabiltzaileek berriro kargatzen dute,

1:39 eta Cloudflare-ren ebazleak ohiko karga hogeita hamar aldiz handiagoa ikusten du, existitzen ez den gune baterako. Eta ateak. Tresnak, bandatik kanpoko sarbidea, txartelak: sare bera. Ingeniariak datu-zentroetara joaten dira, ezin dira sartu, gero apal gogortuak aurkitzen dituzte sarbide fisikoa duen edonoren aurka. Erasotzaile bat moteltzeko eraikia, jabea ere moteltzen du. Sare nagusia itzultzen da; trafikoa poliki-poliki handitzen dute, nahita.

1:59 Datu-zentro bakoitzak hamarnaka megawatt galdu ditu, eta hori pauso batean atzera botatzea bigarren etenaldi bat da.

git blame — banaketa

2:05 git blame. Facebook, ehuneko berrogeita hamabost: komandoa auditatu zen, auditoreak akatsa zuen, komando batek bideratzaile guztietara iritsi zen. DNS diseinua, hogeita bost: proportzio-zentzurik gabeko osasun-egiaztapen bat. Sare bat, hamabost: tresnak, bandatik kanpo, txartelak. Apalak, bost, beren lana egiteagatik. Lehertze-erradioa: hiru mila bostehun milioi erabiltzaile, ia sei ordu. Akzioak ehuneko bost jaitsiz ixten dira, sei mila milioi Zuckerberg-en diru-sarreretatik,

Lehertze-erradioa

2:27 paperean. Telegram-ek hirurogeita hamar milioi alta aldarrikatzen ditu egun horretan. Epaia, postmortem: berrikustea behar du. Arratsalde bereko adierazpena, egile izendatua duen postmortem bat egun batean, auditoria-tresnaren akatsa argi eta garbi aitortua.

Epaia + asteleheneko lerroa

2:38 Konponketa-zerrenda: probak eta ariketak indartu. Ez dago ezer ekoizpen-saretik ateak kentzeari buruz. Astelehena: jarri zure bandatik kanpoko sarbidea, eta zure atea, zuk funtzionatzen ez duzun sare batean funtzionatzen ez duzun sare batean. Bidali oraindik hitz egiteko baimenik ez duzun gertaera, iruzkinetan, edo the daily diff dot dev-en. Eta hori da gaurko diff-a. Niko naiz, Axrisi-koa.

2:58 Fusio arduratsuan.

Iturriak

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com