Google Cloud-ը խափանվեց դատարկ դաշտի պատճառով։ Երեք ժամ։

Ինչ է ընդգրկում այս տեսանյութը

• Դատարկ դաշտ, null ցուցիչ, յուրաքանչյուր տարածաշրջան
• Ժամանակացույց՝ Մայիս 29 → 17:45 → խափանումների ցիկլ → կարմիր կոճակ → 17:52 Cloudflare
• us-central1՝ հոտի էֆեկտ
• Մեխանիզմ՝ ստուգում հարցման ուղու մեջ, գլոբալ կրկնօրինակում, մեկ վաճառող
• git blame — բաժանումը

Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

Դատարկ դաշտ, null ցուցիչ, յուրաքանչյուր տարածաշրջան

0:00 Դատարկ դաշտերով քաղաքականության տողը հանդիպում է null ցուցիչի, և Google Cloud-ը խափանվում է միանգամից բոլոր տարածաշրջաններում — և Cloudflare-ը ևս դադարում է աշխատել, ապա Google-ին անվանում է «երրորդ կողմի մատակարար»։ 2025 թվականի հունիսի 12, 17:49 UTC։ Google-ի զեկույցը՝ Service Control-ը, որը հաստատում է API-ի յուրաքանչյուր հարցում, խափանումների ցիկլի մեջ երեք ժամ։ Cloudflare-ի, նույն երեկոյան՝ Workers KV, իննսուն տոկոսը ձախողվում է, երկու ժամ քսանութ րոպե։

0:23 Ինչպես դա տեղի ունեցավ, ինչու մեկ դատարկ դաշտը գլոբալ դարձավ վայրկյանների ընթացքում, և ով է մեղավոր։ Սա The Daily Diff-ն է, հետմահու վերլուծություն։ Մայիսի 29։ Service Control-ը ստանում է քվոտայի նոր ստուգում, որը թողարկվում է տարածաշրջան առ տարածաշրջան՝

Ժամանակացույց՝ Մայիս 29 → 17:45 → խափանումների ցիկլ → կարմիր կոճակ → 17:52 Cloudflare

0:35 կարմիր կոճակով — բայց նոր կոդի ուղին երբեք չի աշխատում գործարկման ընթացքում. ոչինչ չի գործարկում այն դեռևս։ Ոչ մի null ստուգում։ Ոչ մի ֆունկցիոնալ դրոշակ։ 17:45։ Դատարկ դաշտերով քաղաքականության փոփոխությունն ընկնում է Spanner աղյուսակի մեջ։ Քվոտան գլոբալ է, ուստի տողը կրկնօրինակվում է ամենուր վայրկյանների ընթացքում։ Յուրաքանչյուր Service Control binary կարդում է այն, հանդիպում է null ցուցիչին, խափանվում է, վերագործարկվում, նորից կարդում է այն։ Յուրաքանչյուր API կանչ՝ 503։

0:55 Google-ն արագ է. տրիաժ երկու րոպեում, հիմնական պատճառը՝ տասը րոպեում։ Կարմիր կոճակը հանվում է քառասուն րոպեում, և փոքր տարածաշրջանները վերականգնվում են առաջինը։ Կարգավիճակի էջը իր առաջին թարմացումը տեղադրում է մեկ ժամ անց, քանի որ այն աշխատում է Google Cloud-ի վրա։ 17:52։ Cloudflare-ի WARP թիմը տեսնում է, որ նոր սարքերը չեն կարողանում գրանցվել։ Workers KV-ն, Cloudflare-ի կողմից կոնֆիգուրացիայի և ինքնության համար օգտագործվող պահեստի կեսը, գտնվում է երրորդ կողմի ամպում։ Access-ը ձախողում է յուրաքանչյուր մուտք — ըստ դիզայնի, այն ձախողվում է փակ վիճակում։

1:20 Workers AI-ը ձախողում է յուրաքանչյուր ինֆերենցիա։ 19:11, Gergely Orosz. երկու անկախ ամպեր միանգամից խափանվել են, նախկինում երբեք չի տեսնվել։ 19:32, Google-ի աջակցությունը օգտվողին հայտնում է, որ հայտնի խափանումներ չկան — փորձեք մաքրել ձեր քուքիները։ Մնացած ամենուր վերականգնվում է մինչև 19:48։

us-central1՝ հոտի էֆեկտ

1:34 us-central1-ը չի վերականգնվում. վերագործարկվող առաջադրանքները գերբեռնում են նույն Spanner աղյուսակը, առանց պատահական հետաձգման, ուստի Google-ը դրանք ձեռքով է սահմանափակում։ Երկու ժամ քառասուն րոպե։ Մեկ՝ քաղաքականության ստուգումը գտնվում է հարցման ուղու մեջ. երբ ստուգումը դադարում է,

Մեխանիզմ՝ ստուգում հարցման ուղու մեջ, գլոբալ կրկնօրինակում, մեկ վաճառող

1:46 API-ը դադարում է։ Երկու՝ քվոտայի տվյալները գլոբալ են դառնում առանց փուլերի. վատ տողը գլոբալ տող է։ Երեք՝ Cloudflare-ը գիտեր։ Workers KV-ն գտնվում էր իր սեփական R2-ի միգրացիայի կեսին, մինչև մեկ մատակարար — հետմահու վերլուծությունը այն անվանում է ծածկույթի բացակայություն։

git blame — բաժանումը

2:00 git blame։ Google, հիսունհինգ տոկոս՝ ոչ մի null ստուգում, ոչ մի ֆունկցիոնալ դրոշակ, ոչ մի հետաձգում — նրանց զեկույցում ասվում է, որ դրոշակը կբռներ այն փուլում։ Գլոբալ կրկնօրինակում, քսան տոկոս՝ մեկ տող, յուրաքանչյուր տարածաշրջան, վայրկյաններ։ Cloudflare, քսան տոկոս՝ ապրանքի կեսը մեկ վաճառողի պահեստում, և հետմահու վերլուծություն, որը երբեք չի նշում Google։ Կարգավիճակի էջը, հինգ տոկոս, այն բանի համար, որ ապրում է այն ամենի վրա, ինչի մասին զեկուցում է։ Պայթյունի շառավիղը՝ յոթանասուն Google Cloud արտադրանք, տասը Workspace հավելված,

Պայթյունի շառավիղը

2:23 յուրաքանչյուր տարածաշրջան։ Երեք ժամ։ Cloudflare-ում՝ Access, WARP, Workers AI, Pages, Stream — երկուսուկես։ Hacker News, տասնչորս հարյուր միավոր. լավագույն մեկնաբանություն՝ կարգավիճակի էջը կանաչ է։

Դատավճիռ + երկուշաբթիի գիծը

2:33 Դատավճիռ, հետմահու վերլուծություն՝ SHIP IT։ Երկու հետմահու վերլուծություններն էլ հայտնվում են երեսուն ժամվա ընթացքում, երկուսն էլ մեղադրում են իրենց, և Google-ի ուղղումները կոնկրետ են՝ բաց ձախողում, դրոշակները լռելյայն անջատված, էքսպոնենցիալ հետաձգում։ Երկուշաբթիի գիծը՝ նոր կոդը դրոշակի հետևում, որը առաքվում է անջատված, և null ստուգում այնտեղ, որտեղ տվյալները մտնում են։ Ուղարկեք ինձ այն միջադեպը, որի մասին դուք դեռ չեք կարող խոսել, մեկնաբանություններում, կամ the daily diff dot dev հասցեով։ Եվ դա է այսօրվա տարբերությունը։

2:53 Ես Նիկոն եմ Axrisi-ից։ Միավորել պատասխանատվությամբ։

Աղբյուրներ

1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com