Google Cloud hrundi vegna auðs reits. Þrjár klukkustundir.
Stöðustillingarlína með nokkrum auðum reitum veldur núllvísunarvillu og Google Cloud hrynur á öllum svæðum í einu – síðan fellur Cloudflare með því.
Stöðustillingarlína með nokkrum auðum reitum veldur núllvísunarvillu og Google Cloud hrynur á öllum svæðum í einu – síðan fellur Cloudflare með því. 12. júní 2025, 17:49 UTC: Service Control, forritið sem samþykkir hverja Google Cloud API beiðni, les kvóta-stefnubreytingu með „óvart auðum reitum“, lendir í kóðabraut sem var send út tveimur vikum fyrr án núllprófunar og án eiginleikafána, og fer í hrunferli á öllum svæðum – línan hafði verið afrituð á heimsvísu á nokkrum sekúndum. Ytri API skilja 503 eftir í þrjár klukkustundir; us-central1 tekur 2 klst. 40 mín. vegna þess að endurræsingarverkefnin rjúka á sömu Spanner töfluna án tilviljanakenndrar biðtíma. Þremur mínútum eftir truflun Google missir Workers KV hjá Cloudflare – en uppspretta sannleikans er á „þriðja aðila skýþjónustu“ – 90% af beiðnum, og Access, WARP, Workers AI, Pages, Stream og Turnstile falla með því í 2 klst. 28 mín. Stöðusíða Google birtir fyrstu uppfærslu sína klukkustund of seint, vegna þess að hún keyrir á Google Cloud.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- Auður reitur, núllvísir, hvert svæði
- Tímalína: 29. maí → 17:45 → hrunferill → rauður hnappur → 17:52 Cloudflare
- us-central1: hjarðáhrifin
- Vélbúnaður: athugun í beiðnileiðinni, alþjóðleg afritun, einn söluaðili
- git blame — skiptingin
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
Auður reitur, núllvísir, hvert svæði
0:00 Stöðustillingarlína með auðum reitum veldur núllvísunarvillu og Google Cloud hrynur í öllum svæðum í einu — og Cloudflare fellur með því, kallar Google síðan „þriðja aðila þjónustuaðila“. 12. júní 2025, 17:49 UTC. Skýrsla Google: Service Control, forritið sem samþykkir hverja API beiðni, í hrunferli í þrjár klukkustundir. Cloudflare's, sama kvöld: Workers KV, nítíu prósent bilað, tvær klukkustundir tuttugu og átta.
0:23 Hvernig þetta gerðist, hvers vegna einn auður reitur fór á heimsvísu á sekúndum, og hverjum er um að kenna. Þetta er The Daily Diff, eftirfylgni. 29. maí. Service Control fær nýja kvótaathugun, send út svæði fyrir svæði með
Tímalína: 29. maí → 17:45 → hrunferill → rauður hnappur → 17:52 Cloudflare
0:35 rauðum hnappi — en nýja kóðaleiðin keyrir aldrei við útfærslu; ekkert virkjar hana ennþá. Engin núllathugun. Enginn eiginleikafáni. 17:45. Stöðustillingabreyting með auðum reitum lendir í Spanner töflunni. Kvóti er alþjóðlegur, svo línan afritast alls staðar innan nokkurra sekúndna. Hvert Service Control forrit les hana, lendir í núllvísi, hrynur, endurræsir, les hana aftur. Hvert API kall: 503.
0:55 Google er hratt: forgangsröðun á tveimur mínútum, rótarástæða á tíu. Rauði hnappurinn er úti á fjörutíu, og minni svæði jafna sig fyrst. Stöðusíðan birtir fyrstu uppfærslu sína klukkutíma of seint, því hún keyrir á Google Cloud. 17:52. WARP teymi Cloudflare sér ný tæki ekki skrá sig. Workers KV, geymsluhelmingurinn sem Cloudflare notar fyrir stillingar og auðkenni, er á skýi þriðja aðila. Access mistekst allar innskráningar — samkvæmt hönnun, mistekst hún lokað.
1:20 Workers AI mistekst allar ályktanir. 19:11, Gergely Orosz: tvö óháð ský niðri í einu, aldrei séð áður. 19:32, þjónustudeild Google segir notanda að engar þekktar truflanir séu — prófið að hreinsa vafrakökurnar ykkar. Alls staðar annars staðar jafnar sig fyrir 19:48.
us-central1: hjarðáhrifin
1:34 us-central1 gerir það ekki: endurræsingarverkefni rjúka á sömu Spanner töfluna, engin tilviljanakennd biðtími, svo Google hamlar þeim handvirkt. Tvær klukkustundir fjörutíu. Eitt: stöðustillingarathugunin er inni í beiðnileiðinni; þegar athugunin deyr,
Vélbúnaður: athugun í beiðnileiðinni, alþjóðleg afritun, einn söluaðili
1:46 deyr API. Tvö: kvótagögn fara á heimsvísu án stigsetningar; slæm lína er alþjóðleg lína. Þrjú: Cloudflare vissi. Workers KV var í miðri flutningi á eigin R2, niður í einn þjónustuaðila — eftirfylgnin kallar þetta skarð í umfjöllun.
git blame — skiptingin
2:00 git blame. Google, fimmtíu og fimm prósent: engin núllathugun, enginn eiginleikafáni, enginn biðtími — skýrsla þeirra segir að fáni hefði náð því í stigsetningu. Alþjóðleg afritun, tuttugu: ein lína, hvert svæði, sekúndur. Cloudflare, tuttugu: helmingur af vörulínu á verslun eins söluaðila, og eftirfylgni sem segir aldrei Google. Stöðusíðan, fimm, fyrir að vera á því sem hún segir frá. Sprengisvæði: sjötíu Google Cloud vörur, tíu Workspace forrit,
Sprengisvæði
2:23 hvert svæði. Þrjár klukkustundir. Hjá Cloudflare: Access, WARP, Workers AI, Pages, Stream — tvær og hálf. Hacker News, fjórtán hundruð stig; efsta athugasemd: stöðusíðan er græn.
Dómur + mánudagslínan
2:33 Dómur, eftirfylgni: SHIP IT. Báðar eftirfylgnirnar berast innan þrjátíu klukkustunda, báðar kenna sjálfum sér um, og lagfæringar Google eru áþreifanlegar: opna fyrir bilun, fánar slökktir sjálfgefið, veldisvísis biðtími. Mánudagslínan: nýr kóði á bak við fána sem sendur er út, og núllathugun þar sem gögnin koma inn. Sendið mér atvikið sem ykkur er enn ekki leyft að tala um, í athugasemdum, eða á the daily diff dot dev. Og það er munurinn fyrir í dag.
2:53 Ég er Niko frá Axrisi. Sameinið á ábyrgan hátt.
Heimildir
- Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
- Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
- Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
- Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
- @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
- Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
- Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
- Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
- Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com
