+− THE DAILY DIFFdev & AI news
SHIP IT

Google Cloud به دلیل یک فیلد خالی از کار افتاد. سه ساعت.

یک ردیف سیاست با چند فیلد خالی به یک اشاره‌گر Null برخورد می‌کند و Google Cloud به طور همزمان در هر منطقه از کار می‌افتد — سپس Cloudflare نیز با آن سقوط می‌کند.

یک ردیف سیاست با چند فیلد خالی به یک اشاره‌گر Null برخورد می‌کند و Google Cloud به طور همزمان در هر منطقه از کار می‌افتد — سپس Cloudflare نیز با آن سقوط می‌کند. 12 ژوئن 2025، 17:49 UTC: Service Control، باینری که هر درخواست API Google Cloud را تأیید می‌کند، تغییر سیاست سهمیه را با «فیلدهای خالی ناخواسته» می‌خواند، به مسیری از کد که دو هفته قبل بدون بررسی Null و بدون پرچم ویژگی منتشر شده بود برخورد می‌کند و در هر منطقه وارد یک حلقه خرابی می‌شود — این ردیف در عرض چند ثانیه به صورت جهانی تکثیر شده بود. API‌های خارجی برای سه ساعت کد 503 برمی‌گردانند؛ us-central1 به مدت 2 ساعت و 40 دقیقه طول می‌کشد زیرا وظایف راه‌اندازی مجدد، همان جدول Spanner را بدون پس‌روی تصادفی تحت فشار قرار می‌دهند. سه دقیقه پس از قطعی Google، Workers KV از Cloudflare — که منبع اصلی آن بر روی «یک ارائه‌دهنده ابری شخص ثالث» قرار دارد — 90 درصد از درخواست‌ها را از دست می‌دهد و Access, WARP, Workers AI, Pages, Stream و Turnstile نیز برای 2 ساعت و 28 دقیقه از کار می‌افتند. صفحه وضعیت Google اولین به روزرسانی خود را یک ساعت دیرتر منتشر می‌کند، زیرا بر روی Google Cloud اجرا می‌شود.

نسخه نوشتاری را بخوانید (انگلیسی) ↗

این ویدیو چه مواردی را پوشش می‌دهد

  • یک فیلد خالی، یک اشاره‌گر Null، هر منطقه
  • جدول زمانی: 29 مه ← 17:45 ← حلقه خرابی ← دکمه قرمز ← 17:52 Cloudflare
  • us-central1: اثر گله‌ای
  • مکانیزم: بررسی در مسیر درخواست، تکثیر جهانی، یک فروشنده
  • git blame — تقسیم‌بندی

رونوشت ترجمه شده

ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.

یک فیلد خالی، یک اشاره‌گر Null، هر منطقه

0:00 یک ردیف سیاست با فیلدهای خالی به یک اشاره‌گر Null برخورد می‌کند و Google Cloud از کار می‌افتد در هر منطقه به طور همزمان — و Cloudflare نیز با آن سقوط می‌کند، سپس Google را «یک ارائه‌دهنده شخص ثالث» می‌نامد. 12 ژوئن 2025، 17:49 UTC. گزارش Google: Service Control، باینری که هر درخواست API را تأیید می‌کند، در یک حلقه خرابی برای سه ساعت. Cloudflare، همان شب: Workers KV، نود درصد با شکست مواجه می‌شود، دو ساعت و بیست و هشت دقیقه.

0:23 چگونه اتفاق افتاد، چرا یک فیلد خالی در عرض چند ثانیه جهانی شد، و چه کسی مقصر است. این The Daily Diff است، پس از حادثه. 29 مه. Service Control یک بررسی سهمیه جدید دریافت می‌کند، که منطقه به منطقه با یک

جدول زمانی: 29 مه ← 17:45 ← حلقه خرابی ← دکمه قرمز ← 17:52 Cloudflare

0:35 دکمه قرمز منتشر می‌شود — اما مسیر کد جدید هرگز در طول انتشار اجرا نمی‌شود؛ هیچ چیزی آن را هنوز فعال نمی‌کند. بدون بررسی Null. بدون پرچم ویژگی. 17:45. یک تغییر سیاست با فیلدهای خالی در جدول Spanner قرار می‌گیرد. سهمیه جهانی است، بنابراین ردیف در عرض چند ثانیه در همه جا تکثیر می‌شود. هر باینری Service Control آن را می‌خواند، به اشاره‌گر Null برخورد می‌کند، خراب می‌شود، دوباره راه‌اندازی می‌شود، دوباره آن را می‌خواند. هر تماس API: 503.

0:55 Google سریع است: ارزیابی در دو دقیقه، علت اصلی در ده دقیقه. دکمه قرمز در چهل دقیقه فعال می‌شود، و مناطق کوچک‌تر ابتدا بهبود می‌یابند. صفحه وضعیت اولین به روزرسانی خود را یک ساعت پس از شروع منتشر می‌کند، زیرا بر روی Google Cloud اجرا می‌شود. 17:52. تیم WARP از Cloudflare می‌بیند که دستگاه‌های جدید قادر به ثبت‌نام نیستند. Workers KV، فروشگاهی که نیمی از Cloudflare برای تنظیمات و هویت استفاده می‌کند، بر روی یک ابر شخص ثالث قرار دارد. Access هر ورود را با شکست مواجه می‌کند — طبق طراحی، آن به صورت بسته شکست می‌خورد.

1:20 Workers AI هر استنباطی را با شکست مواجه می‌کند. 19:11، Gergely Orosz: دو ابر مستقل به طور همزمان از کار افتاده‌اند، هرگز قبلاً دیده نشده بود. 19:32، پشتیبانی Google به یک کاربر می‌گوید هیچ اختلال شناخته شده‌ای وجود ندارد — سعی کنید کوکی‌های خود را پاک کنید. همه جاهای دیگر تا 19:48 بهبود می‌یابند.

us-central1: اثر گله‌ای

1:34 us-central1 این کار را نمی‌کند: وظایف راه‌اندازی مجدد، همان جدول Spanner را تحت فشار قرار می‌دهند، بدون پس‌روی تصادفی، بنابراین Google آن‌ها را به صورت دستی محدود می‌کند. دو ساعت و چهل دقیقه. یک: بررسی سیاست در مسیر درخواست قرار دارد؛ وقتی بررسی از بین می‌رود،

مکانیزم: بررسی در مسیر درخواست، تکثیر جهانی، یک فروشنده

1:46 API از بین می‌رود. دو: داده‌های سهمیه بدون مرحله‌بندی جهانی می‌شوند؛ یک ردیف بد یک ردیف جهانی است. سه: Cloudflare می‌دانست. Workers KV در حال مهاجرت به R2 خودش بود، به یک ارائه‌دهنده — پس از حادثه آن را یک شکاف در پوشش می‌نامد.

git blame — تقسیم‌بندی

2:00 git blame. Google، پنجاه و پنج درصد: بدون بررسی Null، بدون پرچم ویژگی، بدون پس‌روی — گزارش آن‌ها می‌گوید یک پرچم آن را در مرحله‌بندی می‌گرفت. تکثیر جهانی، بیست: یک ردیف، هر منطقه، ثانیه. Cloudflare، بیست: نیمی از خط تولید یک محصول بر روی فروشگاه یک فروشنده، و یک پس از حادثه که هرگز از Google نام نمی‌برد. صفحه وضعیت، پنج، به دلیل زندگی بر روی چیزی که درباره آن گزارش می‌دهد. شعاع انفجار: هفتاد محصول Google Cloud، ده برنامه Workspace،

شعاع انفجار

2:23 هر منطقه. سه ساعت. در Cloudflare: Access, WARP, Workers AI, Pages, Stream — دو و نیم. Hacker News، چهارده صد امتیاز؛ بالاترین نظر: صفحه وضعیت سبز است.

حکم + خط دوشنبه

2:33 حکم، پس از حادثه: SHIP IT. هر دو پس از حادثه در عرض سی ساعت منتشر می‌شوند، هر دو خود را مقصر می‌دانند، و اصلاحات Google مشخص است: fail open، پرچم‌ها به طور پیش‌فرض خاموش، پس‌روی نمایی. خط دوشنبه: کد جدید پشت یک پرچم که خاموش منتشر می‌شود، و یک بررسی Null در جایی که داده‌ها وارد می‌شوند. حادثه‌ای را که هنوز اجازه صحبت درباره آن را ندارید، برای من ارسال کنید، در نظرات، یا در the daily diff dot dev. و این The Daily Diff امروز است.

2:53 من Niko از Axrisi هستم. Merge responsibly.

منابع

  1. Google Cloud Service Health, Incident Report (Jun 13, 2025) + Mini Incident Report (Jun 12)status.cloud.google.com
  2. Cloudflare, "Cloudflare service outage June 12, 2025" (Jun 12, 2025, 22:00 UTC)blog.cloudflare.com
  3. Cloudflare Status, "Broad Cloudflare service outages" (18:19–21:31 UTC)www.cloudflarestatus.com
  4. Gergely Orosz, 19:11 UTC, "Their infra is fully independent AFAIK"x.com
  5. @Google support, 19:32 UTC, "there aren't any known service disruptions"x.com
  6. Thomas Kurian (Google Cloud CEO), Jun 13 01:35 UTCx.com
  7. Hacker News, "GCP Outage" (1,468 points)news.ycombinator.com
  8. Hacker News, "Cloudflare was down" (341 points)news.ycombinator.com
  9. Hacker News, "Google Cloud Incident Report – 2025-06-13" (209 points)news.ycombinator.com

ویدیوهای مرتبط

postmortem · fa · ۳ مهر ۱۴۰۵

یک باگ یک میلی‌ثانیه‌ای ترافیک هوایی بریتانیا را شش ساعت متوقف کرد.

در ساعت ۱۰:۰۰ روز سه‌شنبه، ۸ سپتامبر، یک درخواست معمول کد اسکواک در سیستم ملی حریم هوایی NATS (NAS) توسط یک پیام با اولویت بالاتر، در حین به‌روزرسانی مقداری از آن، قطع می‌شود. پنجره تماس حدود یک میلی‌

3:06 ↗
postmortem · fa · ۳۱ شهریور ۱۴۰۵

یک راه‌اندازی مجدد تلسترا را به سال 2006 بازگرداند. نه میلیون تلفن.

یک مهندس در ملبورن یک شاسی زمان‌سنجی را ساعت 2:50 صبح دوباره روشن می‌کند، و تا زمان صبحانه بزرگترین شبکه تلفن همراه استرالیا با این موضوع موافقت می‌کند که نوامبر 2006 است. 8 ژوئیه 2026: یک کارت GPS در

3:15 ↗