Тогтмол илэрхийлэл нь Cloudflare-г 27 минутын турш унагав.

Энэ видео юуг хамардаг

• 13:31–13:42 UTC: PR нийлсэн, CI ногоон (CPU тестгүй), Quicksilver дүрмийг 180+ хотод түгээсэн; WAF дүрмүүд НОХОЙ → ГАХАЙ → Канари үе шатуудыг алгассан
• 13:45–14:07: эхний хуудас; Дэлхий даяар CPU 100%, траффик -82%, хаа сайгүй 502; дотоод хяналтын самбар нь Cloudflare Access-ийн ард байдаг бөгөөд энэ нь унасан; зарим нэвтрэх мэдээлэл хугацаа нь дууссан; ховор хэрэглэгддэг тойрох зам
• 14:07–14:09: глобал WAF зогсоох; 27 минутын дараа траффик болон CPU хэвийн болсон; 14:52 WAF дүрэмгүйгээр эргэн ирсэн
• 7-р сарын 2 (15:50 UTC) болон 7-р сарын 12: Cloudflare тухайн өдрийн тэмдэглэл болон бүрэн задлан шинжилгээг нийтэлсэн; CPU хамгаалалтыг буцааж нэмсэн, 3,868 дүрмийг дахин уншсан, үе шаттайгаар нэвтрүүлсэн, шугаман цагийн тогтмол илэрхийллийн хөдөлгүүрт шилжсэн

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

0:00 Нэг тогтмол илэрхийлэл Cloudflare-ийн сервер бүр дээр нэгэн зэрэг ашиглалтад орж, дараагийн хорин долоон минутын турш түүний ард байрлах сайтууд нь 502 хуудас байв, энэ нь галт ханын хувьд хамгийн хатуу тохиргоо юм. 2019 оны 7-р сарын 2, 13:42 UTC. Cloudflare хоёр цагийн дотор нийтэлсэн нь: халдлага биш, буруу нэвтрүүлэлт, траффик 82 хувиар буурсан. Арав хоногийн дараа CTO Жон Грэхэм-Камминг бүрэн задлан шинжилгээг нийтэлсэн, тогтмол илэрхийллийг багтаасан, харин Hacker News үүнд 698 оноо өгсөн,

0:26 энэ нь тасалдалтын хувьд алга ташилт юм. Энэ нь хэрхэн болсон, яагаад боломжтой болсон, мөн хэн үнэндээ буруутай вэ. Энэ бол The Daily Diff, задлан шинжилгээ. 13:31. Нэг "pull request" нэгдсэн: хөндлөн сайтын эсрэг нэг шинэ галт ханын дүрэм симуляцийн горимоор, тиймээс юу ч хаагаагүй. 13:37, тестүүд давсан; хэн ч CPU-г хэмжээгүй. 13:42, дүрэм хоёр секундын дотор 180 хотод тархсан, учир нь WAF дүрмүүд бусад хувилбаруудын авдаг нохой, гахай, канари үе шатуудыг алгассан.

0:54 13:45, эхний хуудас. 13:49, Hacker News статусын хуудсан дээр сэдэв нээсэн, энэ нь одоо ч бүх систем ажиллаж байна гэж хэлсэн. Дүрэм нь цэг-од, цэг-од, тэнцүү, цэг-одын тэмдгээр төгссөн: юу ч байсан, дараа нь юу ч байсан, дараа нь тэнцүү тэмдэг. PCRE шунахайгаар таамаглаж, бүтэлгүйтэж, бусад бүх хуваалтаар буцаж хянасан. x тэнцүү x нь 23 алхам шаарддаг. Тэнцүүгийн дараах хорин x: 555.

1:15 Хорин x, тэнцүү тэмдэггүй: юу ч олохгүйгээр 4,067 алхам. Үүнийг хүсэлт болгон дээр ажиллуулахад цөм бүр зуун хувь ажиллаж, юу ч хийхгүйгээр, маш нарийн. Хоёр хамгаалалт үүнийг барьж авах ёстой байсан. Дүрмүүдийн CPU хязгаарлалтыг хэдэн долоо хоногийн өмнө андуурч авсан, WAF-ийг бага CPU хэрэглүүлэх зорилготой дахин зохион байгуулалтын үеэр. Мөн журам нь аливаа дүрмийг шалгах үе шатыг алгасахыг зөвшөөрсөн, учир нь дүрмүүд нь идэвхтэй халдлагыг зогсоох зорилготой байдаг; энэ нь яаралтай биш байсан ч дэлхий даяар тархсан. аюултай биш байсан ч энэ нь дэлхий даяар тархсан.

1:37 14:00, WAF-ийг тодорхойлсон; халдлага биш. 14:02, хэн нэгэн дэлхийн хэмжээнд зогсоохыг санал болгов: нэг бүрэлдэхүүн хэсэг, дэлхий даяар унтраах. Унтраалга нь Cloudflare Access-ийн ард байна. Cloudflare Access нь Cloudflare-ийн ард байна. Зарим нэвтрэх мэдээлэл ашиглагдаагүйгээс хугацаа нь дууссан тул, интернетийн хамгийн хурдан сүлжээ хэн ч сургагдаагүй тойрох замд таван минут зарцуулсан. 14:07, унтраав. 14:09, траффик хэвийн. git blame: нэг хурдтай, дэлхийн хэмжээний нэвтрүүлэлт; санамсаргүйгээр дахин зохион байгуулагдсан CPU хамгаалалт; дээд хязгааргүй тогтмол илэрхийллийн хөдөлгүүр.

2:04 Санамсаргүйгээр устгагдсан CPU хамгаалалт; дээд хязгааргүй тогтмол илэрхийллийн хөдөлгүүр. Дүрэм бичсэн инженер биш: задлан шинжилгээнд арван нэгэн шалтгааныг жагсааж, хэнийг ч нэрлээгүй. Нөлөөллийн цар хүрээ: 27 минут, траффикийн 82 хувь, хот бүрийн цөм бүр дээр 100 хувийн CPU ачаалал. Хяналтын самбар болон API нь ижил ирмэгийн ард байрладаг тул хэрэглэгчид унтраах боломжгүй. Hacker News, задлан шинжилгээний доор: тэдэнд нэг асуудал байсан, тогтмол илэрхийлэл ашигласан, одоо хоёр асуудалтай болсон. Хуучин хошигнол. Одоо ч ажилладаг.

2:28 Дүгнэлт, задлан шинжилгээ: SHIP IT. CPU хамгаалалт буцаж ирсэн, бүх 3,868 дүрмийг гараар уншсан, дүрмүүд шалгах үе шатыг дамжуулсан, мөн хөдөлгүүр 1968 онд Кен Томпсоны нийтэлсэн шугаман цагийн баталгаатай болсон. Даваа гариг: хүсэлт болгон дээр ажилладаг зүйлд цэг-од, цэг-од байхгүй, мөн унтраах товчлуурыг унтраадаг зүйлээс нь хол байлга. Таны одоо ч ярихыг хориглодог үйл явдлыг надад илгээнэ үү, сэтгэгдэл хэсэгт, эсвэл dailydiff.dev хаягаар.

2:53 Тэгээд энэ өдрийн ялгаа энэ байна. Би Axrisi-ийн Нико байна. Хариуцлагатайгаар нэгтгээрэй.

Эх сурвалжууд

1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
8. TechCrunch, Jul 2, 2019techcrunch.com