+− THE DAILY DIFFdev & AI news
SHIP IT

ఖాళీ క్షేత్రంలో గూగుల్ క్లౌడ్ క్రాష్ అయింది. మూడు గంటలు.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది.

కొన్ని ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ ఒకేసారి అన్ని ప్రాంతాలలో క్రాష్ అయ్యింది — ఆ తర్వాత క్లౌడ్‌ఫ్లేర్ కూడా పడిపోయింది. జూన్ 12, 2025, 17:49 UTC: సర్వీస్ కంట్రోల్, ప్రతి గూగుల్ క్లౌడ్ API అభ్యర్థనను ఆమోదించే బైనరీ, "అనుకోని ఖాళీ క్షేత్రాలతో" కూడిన కోటా-పాలసీ మార్పును చదువుతుంది, రెండు వారాల ముందు నల్ చెక్ లేకుండా మరియు ఫీచర్ ఫ్లాగ్ లేకుండా పంపబడిన కోడ్ పాత్‌ను తాకుతుంది, మరియు ప్రతి ప్రాంతంలో క్రాష్ లూప్‌లోకి వెళుతుంది — ఈ అడ్డువరుస కొన్ని సెకన్లలో ప్రపంచవ్యాప్తంగా ప్రతిరూపం చేయబడింది. బాహ్య APIలు మూడు గంటల పాటు 503ని తిరిగి ఇస్తాయి; us-central1కి 2 గం 40 నిమి పడుతుంది, ఎందుకంటే పునఃప్రారంభించే పనులు ఒకే స్పానర్ టేబుల్‌ను ఎటువంటి యాదృచ్ఛిక బ్యాకఆఫ్ లేకుండా ముట్టడిస్తాయి. గూగుల్ అంతరాయం ప్రారంభమైన మూడు నిమిషాల్లో, క్లౌడ్‌ఫ్లేర్ యొక్క వర్కర్స్ KV — దీని సత్యానికి మూలం "థర్డ్-పార్టీ క్లౌడ్ ప్రొవైడర్"పై ఉంది — 90% అభ్యర్థనలను కోల్పోతుంది, మరియు యాక్సెస్, WARP, వర్కర్స్ AI, పేజీలు, స్ట్రీమ్ మరియు టర్న్‌స్టైల్ 2 గం 28 నిమిషాల పాటు దానితో పాటు పడిపోతాయి. గూగుల్ యొక్క స్టేటస్ పేజీ దాని మొదటి అప్‌డేట్‌ను ఒక గంట ఆలస్యంగా పోస్ట్ చేస్తుంది, ఎందుకంటే అది గూగుల్ క్లౌడ్‌లో నడుస్తుంది.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • ఒక ఖాళీ క్షేత్రం, ఒక నల్ పాయింటర్, ప్రతి ప్రాంతం
  • కాలక్రమం: మే 29 → 17:45 → క్రాష్ లూప్ → రెడ్ బటన్ → 17:52 క్లౌడ్‌ఫ్లేర్
  • us-central1: మంద ప్రభావం
  • యంత్రాంగం: అభ్యర్థన మార్గంలో తనిఖీ, ప్రపంచవ్యాప్త ప్రతిరూపణ, ఒక విక్రేత
  • git blame — విభజన

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

ఒక ఖాళీ క్షేత్రం, ఒక నల్ పాయింటర్, ప్రతి ప్రాంతం

0:00 ఖాళీ క్షేత్రాలతో కూడిన పాలసీ అడ్డువరుస నల్ పాయింటర్‌ని తాకింది, మరియు గూగుల్ క్లౌడ్ క్రాష్ అయింది ఒకేసారి అన్ని ప్రాంతాలలో — మరియు క్లౌడ్‌ఫ్లేర్ కూడా దానితో పాటు పడిపోయింది, ఆ తర్వాత గూగుల్‌ను "థర్డ్-పార్టీ ప్రొవైడర్" అని పిలిచింది. జూన్ 12, 2025, 17:49 UTC. గూగుల్ నివేదిక: సర్వీస్ కంట్రోల్, ప్రతి API అభ్యర్థనను ఆమోదించే బైనరీ, మూడు గంటల పాటు క్రాష్ లూప్‌లో. క్లౌడ్‌ఫ్లేర్ యొక్క, అదే సాయంత్రం: వర్కర్స్ KV, తొంభై శాతం విఫలమవుతోంది, రెండు గంటల ఇరవై ఎనిమిది.

0:23 అది ఎలా జరిగింది, ఒక ఖాళీ క్షేత్రం సెకన్లలో ప్రపంచవ్యాప్తంగా ఎలా విస్తరించింది, మరియు ఎవరు నిందించబడతారు. ఇది The Daily Diff, పోస్ట్‌మార్టమ్. మే 29. సర్వీస్ కంట్రోల్‌కు కొత్త కోటా చెక్ వస్తుంది, రెడ్ బటన్‌తో ప్రాంతాల వారీగా పంపబడింది —

కాలక్రమం: మే 29 → 17:45 → క్రాష్ లూప్ → రెడ్ బటన్ → 17:52 క్లౌడ్‌ఫ్లేర్

0:35 కానీ కొత్త కోడ్ పాత్ రోల్‌అవుట్ సమయంలో ఎప్పుడూ అమలు కాదు; ఇంకా ఏదీ దానిని ట్రిగ్గర్ చేయదు. నల్ చెక్ లేదు. ఫీచర్ ఫ్లాగ్ లేదు. 17:45. ఖాళీ క్షేత్రాలతో కూడిన పాలసీ మార్పు స్పానర్ టేబుల్‌లో చేరుతుంది. కోటా ప్రపంచవ్యాప్తంగా ఉంది, కాబట్టి అడ్డువరుస కొన్ని సెకన్లలో అన్ని చోట్ల ప్రతిరూపం చేయబడింది. ప్రతి సర్వీస్ కంట్రోల్ బైనరీ దానిని చదువుతుంది, నల్ పాయింటర్‌ని తాకుతుంది, క్రాష్ అవుతుంది, పునఃప్రారంభమవుతుంది, మళ్ళీ చదువుతుంది. ప్రతి API కాల్: 503.

0:55 గూగుల్ వేగంగా ఉంది: రెండు నిమిషాల్లో ట్రైయేజ్, పది నిమిషాల్లో మూల కారణం. రెడ్ బటన్ నలభైలో బయటపడింది, మరియు చిన్న ప్రాంతాలు ముందుగా కోలుకుంటాయి. స్టేటస్ పేజీ ఒక గంట ఆలస్యంగా దాని మొదటి అప్‌డేట్‌ను పోస్ట్ చేస్తుంది, ఎందుకంటే అది గూగుల్ క్లౌడ్‌లో నడుస్తుంది. 17:52. క్లౌడ్‌ఫ్లేర్ యొక్క WARP బృందం కొత్త పరికరాలు నమోదు చేయడంలో విఫలమవడాన్ని చూస్తుంది. వర్కర్స్ KV, క్లౌడ్‌ఫ్లేర్ కాన్ఫిగ్ మరియు ఐడెంటిటీ కోసం ఉపయోగించే స్టోర్ సగం, మూడవ పక్ష క్లౌడ్‌లో నివసిస్తుంది. యాక్సెస్ ప్రతి లాగిన్‌ను విఫలం చేస్తుంది — డిజైన్ ప్రకారం, అది క్లోజ్డ్ విఫలమవుతుంది.

1:20 వర్కర్స్ AI ప్రతి ఇన్ఫరెన్స్‌ను విఫలం చేస్తుంది. 19:11, గెర్గెలీ ఒరోస్జ్: రెండు స్వతంత్ర క్లౌడ్‌లు ఒకేసారి పడిపోయాయి, ముందు ఎప్పుడూ చూడలేదు. 19:32, గూగుల్ మద్దతు ఒక వినియోగదారుడికి ఎటువంటి అంతరాయాలు లేవని చెబుతుంది — మీ కుకీలను క్లియర్ చేయడానికి ప్రయత్నించండి. అన్ని చోట్ల 19:48 నాటికి కోలుకుంటాయి.

us-central1: మంద ప్రభావం

1:34 us-central1 కాదు: పునఃప్రారంభించే పనులు ఒకే స్పానర్ టేబుల్‌ను ముట్టడిస్తాయి, యాదృచ్ఛిక బ్యాకఆఫ్ లేదు, కాబట్టి గూగుల్ వాటిని చేతితో థ్రాటిల్ చేస్తుంది. రెండు గంటల నలభై. ఒకటి: పాలసీ చెక్ అభ్యర్థన మార్గంలో కూర్చుంటుంది; చెక్ చనిపోయినప్పుడు,

యంత్రాంగం: అభ్యర్థన మార్గంలో తనిఖీ, ప్రపంచవ్యాప్త ప్రతిరూపణ, ఒక విక్రేత

1:46 API చనిపోతుంది. రెండు: కోటా డేటా స్టేజింగ్ లేకుండా ప్రపంచవ్యాప్తంగా వెళుతుంది; చెడ్డ అడ్డువరుస ఒక ప్రపంచవ్యాప్త అడ్డువరుస. మూడు: క్లౌడ్‌ఫ్లేర్‌కు తెలుసు. వర్కర్స్ KV దాని స్వంత R2కి మధ్య-వ్యాప్తిలో ఉంది, ఒక ప్రొవైడర్‌కు — పోస్ట్‌మార్టమ్ దానిని కవరేజ్‌లో లోపం అని పిలుస్తుంది.

git blame — విభజన

2:00 git blame. గూగుల్, యాభై ఐదు శాతం: నల్ చెక్ లేదు, ఫీచర్ ఫ్లాగ్ లేదు, బ్యాకఆఫ్ లేదు — వారి నివేదిక ప్రకారం ఒక ఫ్లాగ్ దానిని స్టేజింగ్‌లో పట్టుకునేది. ప్రపంచవ్యాప్త ప్రతిరూపణ, ఇరవై: ఒక అడ్డువరుస, ప్రతి ప్రాంతం, సెకన్లు. క్లౌడ్‌ఫ్లేర్, ఇరవై: ఒక విక్రేత స్టోర్‌లో సగం ఉత్పత్తి శ్రేణి, మరియు గూగుల్ అని ఎప్పుడూ చెప్పని ఒక పోస్ట్‌మార్టమ్. స్టేటస్ పేజీ, ఐదు, అది నివేదించే దానిపై నివసించినందుకు. విస్ఫోటన వ్యాసార్థం: డెబ్బై గూగుల్ క్లౌడ్ ఉత్పత్తులు, పది వర్క్‌స్పేస్ యాప్‌లు,

విస్ఫోటన వ్యాసార్థం

2:23 ప్రతి ప్రాంతం. మూడు గంటలు. క్లౌడ్‌ఫ్లేర్‌లో: యాక్సెస్, WARP, వర్కర్స్ AI, పేజీలు, స్ట్రీమ్ — రెండున్నర. హ్యాకర్ న్యూస్, పద్నాలుగు వందల పాయింట్లు; టాప్ వ్యాఖ్య: స్టేటస్ పేజీ పచ్చగా ఉంది.

తీర్పు + సోమవారం పంక్తి

2:33 తీర్పు, పోస్ట్‌మార్టమ్: SHIP IT. రెండు పోస్ట్‌మార్టమ్‌లు ముప్పై గంటల్లోపు చేరుతాయి, రెండూ తమను తాము నిందించుకుంటాయి, మరియు గూగుల్ పరిష్కారాలు స్పష్టంగా ఉన్నాయి: ఓపెన్ విఫలం, ఫ్లాగ్‌లు డిఫాల్ట్‌గా ఆఫ్, ఘాతాంక బ్యాకఆఫ్. సోమవారం పంక్తి: ఆఫ్ అయ్యే ఫ్లాగ్ వెనుక కొత్త కోడ్ షిప్పులు, మరియు డేటా వచ్చే చోట ఒక నల్ చెక్. మీరు ఇంకా మాట్లాడటానికి అనుమతి లేని సంఘటనను నాకు పంపండి, వ్యాఖ్యలలో, లేదా The Daily Diff.dev వద్ద. మరియు అది ఈ రోజుకు diff.

2:53 నేను Axrisi నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

సంబంధిత వీడియోలు

postmortem · te · 16 సెప్టెం, 2026

ఫేస్‌బుక్ ఇంటర్నెట్ నుండి తనను తాను తొలగించుకుంది. ఆరు గంటలు.

ఫేస్‌బుక్ తన అడ్రస్‌ను ఇంటర్నెట్ నుండి తొలగించింది, మరియు దాని ఇంజనీర్లు దాన్ని తిరిగి పెట్టడానికి వచ్చినప్పుడు, బ్యాడ్జ్ రీడర్‌లు కూడా పనిచేయలేదు, ఎందుకంటే అవి ఫేస్‌బుక్‌పై పనిచేస్తాయి. అక్టోబర్ 4, 2

3:01 ↗
postmortem · te · 25 సెప్టెం, 2026

ఒక మిల్లీసెకను బగ్ UK విమాన ట్రాఫిక్‌ను ఆపింది. ఆరు గంటలు.

సెప్టెంబర్ 8, మంగళవారం 10:00 గంటలకు, NATS యొక్క నేషనల్ ఎయిర్‌స్పేస్ సిస్టమ్ (NAS) లోపల ఒక సాధారణ స్క్వాక్-కోడ్ అభ్యర్థన ఒక విలువను అప్‌డేట్ చేస్తున్నప్పుడు అధిక-ప్రాధాన్యత సందేశం ద్వారా అంతరాయం కలిగిం

3:06 ↗
postmortem · te · 22 సెప్టెం, 2026

రీబూట్ టెల్స్ట్రాను 2006కి పంపింది. తొంభై లక్షల ఫోన్‌లు.

మెల్‌బోర్న్‌లోని ఒక ఇంజనీర్ తెల్లవారుజామున 2:50కి ఒక టైమింగ్ ఛాసిస్‌ను తిరిగి ఆన్ చేస్తారు, అల్పాహారం సమయానికి ఆస్ట్రేలియాలోని అతిపెద్ద మొబైల్ నెట్‌వర్క్ అది నవంబర్ 2006 అని అంగీకరిస్తుంది. జూలై 8, 20

3:15 ↗
postmortem · te · 12 సెప్టెం, 2026

ఒక రెగ్యులర్ ఎక్స్‌ప్రెషన్ క్లౌడ్‌ఫ్లేర్‌ను డౌన్ చేసింది. 27 నిమిషాలు.

జూలై 2, 2019, 13:42 UTC: క్లౌడ్‌ఫ్లేర్ వెబ్ అప్లికేషన్ ఫైర్‌వాల్ కోసం ఒక కొత్త నియమం 180+ నగరాల్లో సుమారు రెండు సెకన్లలో ప్రత్యక్షమవుతుంది. ఇది సిమ్యులేట్ మోడ్‌లో ఒక XSS నియమం, కాబట్టి ఇది దేనినీ నిరో

3:00 ↗