+− THE DAILY DIFFdev & AI news
Vaizdo įrašai / postmortem
SHIP IT

„Google Cloud“ sugedo dėl tuščio lauko. Trys valandos.

Paskelbta 2026-09-19 · 2:57 · Niko from Axrisi

Politikos eilutė su keliais tuščiais laukais sukelia „null pointer“ klaidą, ir „Google Cloud“ vienu metu sugenda visuose regionuose – tada „Cloudflare“ taip pat sugenda.

Politikos eilutė su keliais tuščiais laukais sukelia „null pointer“ klaidą, ir „Google Cloud“ vienu metu sugenda visuose regionuose – tada „Cloudflare“ taip pat sugenda. 2025 m. birželio 12 d., 17:49 UTC: „Service Control“, dvejetainė programa, kuri patvirtina kiekvieną „Google Cloud“ API užklausą, nuskaito kvotų politikos pakeitimą su „netyčiniais tuščiais laukais“, pasiekia prieš dvi savaites išsiųstą kodo kelią be „null“ patikrinimo ir be funkcijos žymės, ir patenka į gedimų ciklą kiekviename regione – eilutė per kelias sekundes buvo replikuota visame pasaulyje. Išorinės API grąžina 503 tris valandas; us-central1 trunka 2 val. 40 min., nes persikraunančios užduotys užplūsta tą pačią „Spanner“ lentelę be atsitiktinio atsitraukimo. Praėjus trims minutėms nuo „Google“ gedimo, „Cloudflare“ „Workers KV“ – kurios tiesos šaltinis yra „trečiosios šalies debesies paslaugų teikėjas“ – praranda 90 % užklausų, o „Access“, WARP, „Workers AI“, „Pages“, „Stream“ ir „Turnstile“ nustoja veikti 2 val. 28 min. „Google“ būsenos puslapis pirmąjį atnaujinimą paskelbia valanda vėliau, nes jis veikia „Google Cloud“ sistemoje.

Skaityti rašytinę versiją (anglų k.) ↗

Kas aptariama šiame vaizdo įraše

  • Tuščias laukas, „null pointer“, kiekvienas regionas
  • Laiko juosta: gegužės 29 d. → 17:45 → gedimų ciklas → raudonas mygtukas → 17:52 „Cloudflare“
  • us-central1: bandos efektas
  • Mechanizmas: patikrinimas užklausos kelyje, pasaulinė replikacija, vienas tiekėjas
  • git blame — suskaidymas

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Tuščias laukas, „null pointer“, kiekvienas regionas

0:00 Politikos eilutė su tuščiais laukais sukelia „null pointer“ klaidą, ir „Google Cloud“ sugenda kiekviename regione iš karto – ir „Cloudflare“ kartu su ja sugenda, tada „Google“ vadina „trečiosios šalies teikėju“. 2025 m. birželio 12 d., 17:49 UTC. „Google“ ataskaita: „Service Control“, dvejetainė programa, kuri patvirtina kiekvieną API užklausą, gedimų cikle tris valandas. „Cloudflare“, tą patį vakarą: „Workers KV“, devyniasdešimt procentų nesėkmingų, dvi valandos dvidešimt aštuonios.

0:23 Kaip tai nutiko, kodėl vienas tuščias laukas per kelias sekundes pasklido visame pasaulyje, ir kas kaltas. Tai „The Daily Diff“, pomirtinė analizė. Gegužės 29 d. „Service Control“ gauna naują kvotų patikrinimą, išsiųstą po regioną su

Laiko juosta: gegužės 29 d. → 17:45 → gedimų ciklas → raudonas mygtukas → 17:52 „Cloudflare“

0:35 raudonu mygtuku – bet naujas kodo kelias niekada neveikia diegimo metu; niekas neaktyvuoja jo dar. Nėra „null“ patikrinimo. Nėra funkcijos žymės. 17:45. Politikos pakeitimas su tuščiais laukais patenka į „Spanner“ lentelę. Kvota yra globali, todėl eilutė per kelias sekundes replikuojama visur. Kiekviena „Service Control“ dvejetainė programa ją nuskaito, pasiekia „null pointer“ klaidą, sugenda, persikrauna, vėl ją nuskaito. Kiekvienas API iškvietimas: 503.

0:55 „Google“ yra greita: rūšiavimas per dvi minutes, pagrindinė priežastis per dešimt. Raudonas mygtukas pasiekiamas per keturiasdešimt, ir maži regionai atsigauna pirmieji. Būsenos puslapis pirmąjį atnaujinimą paskelbia po valandos, nes jis veikia „Google Cloud“ sistemoje. 17:52. „Cloudflare“ WARP komanda mato, kad nauji įrenginiai nesugeba užsiregistruoti. „Workers KV“, parduotuvė, kurią pusė „Cloudflare“ naudoja konfigūracijai ir tapatybei, veikia trečiosios šalies debesyje. „Access“ nepavyksta kiekvieno prisijungimo – pagal numatymą, jis sugenda uždarytas.

1:20 „Workers AI“ nepavyksta kiekvienos išvados. 19:11, Gergely Orosz: du nepriklausomi debesys sugenda vienu metu, niekada anksčiau nematytas. 19:32, „Google“ palaikymas praneša vartotojui, kad nėra žinomų trikdžių – pabandykite išvalyti savo slapukus. Visur kitur atsigauna iki 19:48.

us-central1: bandos efektas

1:34 us-central1 neatsigauna: persikraunančios užduotys užplūsta tą pačią „Spanner“ lentelę, nėra atsitiktinio atsitraukimo, todėl „Google“ jas riboja rankiniu būdu. Dvi valandos keturiasdešimt. Pirma: politikos patikrinimas yra užklausos kelyje; kai patikrinimas žūsta,

Mechanizmas: patikrinimas užklausos kelyje, pasaulinė replikacija, vienas tiekėjas

1:46 API žūsta. Antra: kvotos duomenys tampa globalūs be etapo; bloga eilutė yra globali eilutė. Trečia: „Cloudflare“ žinojo. „Workers KV“ buvo migracijos viduryje į savo R2, iki vieno teikėjo – pomirtinėje analizėje tai vadinama aprėpties spraga.

git blame — suskaidymas

2:00 git blame. „Google“, penkiasdešimt penki procentai: nėra „null“ patikrinimo, nėra funkcijos žymės, nėra atsitraukimo – jų ataskaita teigia, kad žyma būtų tai pastebėjusi etapo metu. Pasaulinė replikacija, dvidešimt: viena eilutė, kiekvienas regionas, sekundėmis. „Cloudflare“, dvidešimt: pusė produkto linijos vieno tiekėjo parduotuvėje, ir pomirtinė analizė, kurioje niekada neminima „Google“. Būsenos puslapis, penki, už tai, kad veikia ten, apie ką praneša. Poveikio spindulys: septyniasdešimt „Google Cloud“ produktų, dešimt „Workspace“ programų,

Poveikio spindulys

2:23 kiekvienas regionas. Trys valandos. „Cloudflare“: „Access“, WARP, „Workers AI“, „Pages“, „Stream“ – du su puse. „Hacker News“, keturiolika šimtų taškų; populiariausias komentaras: būsenos puslapis yra žalias.

Verdiktas + pirmadienio linija

2:33 Verdiktas, pomirtinė analizė: SHIP IT. Abi pomirtinės analizės atliktos per trisdešimt valandų, abi kaltina save, ir „Google“ pataisymai yra konkretūs: atidarymas sugedus, numatytosios žymos išjungtos, eksponentinis atsitraukimas. Pirmadienio linija: naujas kodas už žymos, kuri išjungiama, ir „null“ patikrinimas ten, kur gaunami duomenys. Atsiųskite man incidentą, apie kurį vis dar neleidžiama kalbėti, komentaruose, arba daily diff dot dev. Ir tai yra skirtumas šiandien.

2:53 Aš esu Niko iš Axrisi. Sujunkite atsakingai.

Šaltiniai

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

Susiję vaizdo įrašai