Google Cloud се срина заради празно поле. Три часа.

Какво обхваща този видеоклип

• Празно поле, нулев указател, всеки регион
• Хронология: 29 май → 17:45 → цикъл на сривове → червен бутон → 17:52 Cloudflare
• us-central1: ефектът на стадото
• Механизъм: проверка в пътя на заявката, глобална репликация, един доставчик
• git blame — разделянето

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

Празна поле, нулев указател, всеки регион

0:00 Ред от политика с празни полета удря нулев указател и Google Cloud се срива в всеки регион наведнъж — и Cloudflare пада с него, след което нарича Google „доставчик от трета страна“. 12 юни 2025 г., 17:49 UTC. Докладът на Google: Service Control, бинарният файл, който одобрява всяка API заявка, в цикъл на сривове за три часа. Този на Cloudflare, същата вечер: Workers KV, деветдесет процента неуспешни, два часа двадесет и осем.

0:23 Как се случи, защо едно празно поле стана глобално за секунди, и кой е виновен. Това е The Daily Diff, аутопсия. 29 май. Service Control получава нова проверка на квотата, изпратена регион по регион с

Хронология: 29 май → 17:45 → цикъл на сривове → червен бутон → 17:52 Cloudflare

0:35 червен бутон — но новият път на кода никога не се изпълнява по време на внедряване; нищо не го задейства все още. Без проверка за нулева стойност. Без флаг за функция. 17:45. Промяна в политиката с празни полета попада в таблицата Spanner. Квотата е глобална, така че редът се репликира навсякъде за секунди. Всеки бинарен файл на Service Control го прочита, удря нулевия указател, срива се, рестартира, прочита го отново. Всяко API повикване: 503.

0:55 Google е бърз: отстраняване на проблеми за две минути, основна причина за десет. Червеният бутон е изключен за четиридесет, а малките региони се възстановяват първи. Страницата за състоянието публикува първата си актуализация след час, защото работи на Google Cloud. 17:52. Екипът на WARP на Cloudflare вижда, че новите устройства не успяват да се регистрират. Workers KV, хранилището, което половината от Cloudflare използва за конфигурация и идентичност, живее в облак на трета страна. Access отказва всяко влизане — по дизайн, то се затваря при отказ.

1:20 Workers AI отказва всяко извеждане. 19:11, Гергели Орош: два независими облака паднаха едновременно, никога не е виждано преди. 19:32, поддръжката на Google казва на потребител, че няма известни смущения — опитайте да изчистите бисквитките си. Всичко останало се възстановява до 19:48.

us-central1: ефектът на стадото

1:34 us-central1 не: рестартиращите задачи нахлуват в същата Spanner таблица, без рандомизиран закъснителен механизъм, така че Google ги регулира ръчно. Два часа и четиридесет. Едно: проверката на политиката се намира в пътя на заявката; когато проверката умре,

Механизъм: проверка в пътя на заявката, глобална репликация, един доставчик

1:46 API умира. Две: данни за квотата стават глобални без стейджинг; лошият ред е глобален ред. Три: Cloudflare знаеше. Workers KV беше в процес на миграция към собствен R2, до един доставчик — аутопсията го нарича пропуск в покритието.

git blame — разделянето

2:00 git blame. Google, петдесет и пет процента: без проверка за нулева стойност, без флаг за функция, без закъснителен механизъм — техният доклад казва, че флаг би го уловил на стейджинг. Глобална репликация, двадесет: един ред, всеки регион, секунди. Cloudflare, двадесет: половината продуктова линия в магазина на един доставчик, и аутопсия, която никога не споменава Google. Страницата за състоянието, пет, за това, че живее върху това, за което докладва. Радиус на взрива: седемдесет продукта на Google Cloud, десет приложения на Workspace,

Радиус на взрива

2:23 всеки регион. Три часа. В Cloudflare: Access, WARP, Workers AI, Pages, Stream — два и половина. Hacker News, хиляда и четиристотин точки; най-добър коментар: страницата за състоянието е зелена.

Присъда + линията от понеделник

2:33 Присъда, аутопсия: SHIP IT. И двете аутопсии излизат до тридесет часа, и двете се обвиняват сами, и корекциите на Google са конкретни: провал отворен, флагове изключени по подразбиране, експоненциален закъснителен механизъм. Линията за понеделник: нов код зад флаг, който се изпраща изключен, и проверка за нулева стойност, където идват данните. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на the daily diff dot dev. И това е разликата за днес.

2:53 Аз съм Нико от Axrisi. Обединявайте отговорно.

Източници

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com