Google Cloud бос өріске байланысты істен шықты. Үш сағат.

Бұл бейне не туралы

• Бос өріс, null көрсеткіш, әр аймақ
• Хронология: 29 мамыр → 17:45 → апат циклі → қызыл батырма → 17:52 Cloudflare
• us-central1: тобыр әсері
• Механизм: сұрау жолында тексеру, жаһандық репликация, бір жеткізуші
• git blame — бөліну

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

Бос өріс, null көрсеткіш, әр аймақ

0:00 Бос өрістері бар саясат жолы null көрсеткішке тап болып, Google Cloud істен шығады бірден барлық аймақта — және Cloudflare онымен бірге құлайды, содан кейін Google-ды "үшінші тарап провайдері" деп атайды. 2025 жылғы 12 маусым, 17:49 UTC. Google есебі: Service Control, әрбір API сұрауын мақұлдайтын екілік файл, үш сағат бойы апаттық циклде. Cloudflare-дікі, сол кеште: Workers KV, тоқсан пайызы істен шыққан, екі сағат жиырма сегіз.

0:23 Бұл қалай болды, неге бір бос өріс бірнеше секунд ішінде жаһандық деңгейге тарады, және кінәлі кім. Бұл The Daily Diff, постмортем. 29 мамыр. Service Control жаңа квота тексеруін алады, аймақ бойынша

Хронология: 29 мамыр → 17:45 → апат циклі → қызыл батырма → 17:52 Cloudflare

0:35 қызыл батырмамен жіберілді — бірақ жаңа код жолы іске қосу кезінде ешқашан жұмыс істемейді; ештеңе әлі іске қоспайды. Null тексеруі жоқ. Функция жалаушасы жоқ. 17:45. Бос өрістері бар саясат өзгерісі Spanner кестесіне түседі. Квота жаһандық, сондықтан жол бірнеше секунд ішінде барлық жерде көшіріледі. Әрбір Service Control екілік файлы оны оқиды, null көрсеткішке тап болады, істен шығады, қайта іске қосылады, оны қайта оқиды. Әрбір API шақыруы: 503.

0:55 Google жылдам: екі минутта сұрыптау, он минутта түпкі себеп. Қызыл батырма қырық минутта шығарылады, және кішігірім аймақтар бірінші қалпына келеді. Мәртебе беті бірінші жаңартуды бір сағаттан кейін жариялайды, себебі ол Google Cloud-та жұмыс істейді. 17:52. Cloudflare-дің WARP командасы жаңа құрылғылардың тіркелмей жатқанын көреді. Workers KV, Cloudflare конфигурация мен сәйкестендіру үшін қолданатын қойманың жартысы, үшінші тарап бұлтында орналасқан. Access әрбір кіруді сәтсіз аяқтайды — әдейі, ол жабық сәтсіз аяқтайды.

1:20 Workers AI әрбір қорытындыны сәтсіз аяқтайды. 19:11, Гергели Орос: бірден екі тәуелсіз бұлт істен шықты, бұрын-соңды болмаған. 19:32, Google қолдау қызметі пайдаланушыға белгілі үзілістер жоқ деп айтады — кукилеріңізді тазалап көріңіз. Басқа жерлердің барлығы 19:48-ге дейін қалпына келеді.

us-central1: тобыр әсері

1:34 us-central1 қалпына келмейді: қайта іске қосылып жатқан тапсырмалар бір Spanner кестесіне бірінен соң бірі шабуыл жасайды, кездейсоқ кідіріс жоқ, сондықтан Google оларды қолмен тежейді. Екі сағат қырық. Бірінші: саясат тексеруі сұрау жолының ішінде орналасқан; тексеру тоқтағанда,

Механизм: сұрау жолында тексеру, жаһандық репликация, бір жеткізуші

1:46 API тоқтайды. Екінші: квота деректері сатысыз жаһандық деңгейге таралады; жаман жол – жаһандық жол. Үшінші: Cloudflare білген. Workers KV өзінің R2-ге көшу үстінде болды, бір провайдерге дейін — постмортем оны қамтудағы олқылық деп атайды.

git blame — бөліну

2:00 git blame. Google, елу бес пайыз: null тексеру жоқ, функция жалаушасы жоқ, кері шегініс жоқ — олардың есебінде жалауша оны сатыда ұстап қалар еді делінген. Жаһандық репликация, жиырма: бір жол, әр аймақ, секунд. Cloudflare, жиырма: бір жеткізушінің дүкеніндегі өнім желісінің жартысы, және ешқашан Google деп айтылмайтын постмортем. Мәртебе беті, бес, ол хабарлайтын нәрседе өмір сүргені үшін. Жару радиусы: жетпіс Google Cloud өнімі, он Workspace қолданбасы,

Жару радиусы

2:23 әр аймақ. Үш сағат. Cloudflare-де: Access, WARP, Workers AI, Pages, Stream — екі жарым сағат. Hacker News, он төрт жүз ұпай; үздік пікір: мәртебе беті жасыл.

Үкім + дүйсенбі сызығы

2:33 Үкім, постмортем: SHIP IT. Екі постмортем де отыз сағат ішінде жарияланды, екеуі де өздерін кінәлайды, және Google түзетулері нақты: ашық сәтсіз аяқтау, жалаушалар әдепкі бойынша өшірілген, экспоненциалды кері шегініс. Дүйсенбі сызығы: өшірілген жалаушаның артындағы жаңа код, және деректер келген жерде null тексеруі. Әлі де айтуға рұқсат етілмейтін оқиғаны жіберіңіз, пікірлерде, немесе the daily diff dot dev мекенжайына. Және бүгінгі айырмашылық осы.

2:53 Мен Axrisi-ден Никомын. Жауапкершілікпен біріктіріңіз.

Дереккөздер

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com