ایک اضافی فیلڈ نے 8.5 ملین PCs کو کریش کر دیا۔ 78 منٹ۔
19 جولائی 2024، 04:09 UTC: CrowdStrike نے چینل فائل 291 — ایک ریپڈ رسپانس مواد کی تازہ کاری — ہر آن لائن ونڈوز فالکن سینسر کو بھیجی۔
19 جولائی 2024، 04:09 UTC: CrowdStrike نے چینل فائل 291 — ایک ریپڈ رسپانس مواد کی تازہ کاری — ہر آن لائن ونڈوز فالکن سینسر کو بھیجی۔ یہ جس ٹیمپلیٹ کو فیڈ کرتا ہے اسے فروری میں 21 ان پٹ فیلڈز کے ساتھ ڈکلیئر کیا گیا تھا؛ ان پٹ فراہم کرنے والا کوڈ 20 کا ایک سرنی بناتا ہے۔ چار ماہ تک کوئی بھی فیلڈ 21 نہیں پڑھتا، کیونکہ ہر اصول اسے ایک وائلڈ کارڈ کے طور پر چھوڑ دیتا ہے۔ یہ اپ ڈیٹ وہاں ایک حقیقی پیٹرن ڈالتا ہے۔ کلاؤڈ سائیڈ مواد کی توثیق کرنے والا (Content Validator) ڈیکلریشن کے خلاف 21 کو گنتا ہے اور اسے پاس کر دیتا ہے؛ سینسر کا مواد کا مترجم (Content Interpreter)، بغیر کسی باؤنڈز چیک کے، کرنل موڈ میں سلاٹ 21 پڑھتا ہے اور ونڈوز پیج فالٹ کرتا ہے: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys۔ ڈرائیور بوٹ میں جان بوجھ کر جلدی لوڈ ہوتا ہے، وہی فائل پڑھتا ہے، دوبارہ کریش ہو جاتا ہے — بوٹ لوپ۔ 05:27 UTC پر، 78 منٹ بعد، ریورٹ کر دیا گیا، لیکن 8.5 ملین مشینیں (مائیکروسافٹ کی گنتی، ونڈوز کے 1% سے کم) پہلے ہی فائل حاصل کر چکی ہیں، اور حل ہر کی بورڈ پر ایک انسان ہے: سیف موڈ، C-00000291*.sys کو حذف کریں، BitLocker ریکوری کی (key)۔ ایئرلائنز، ہسپتال، بینک اور 911 مراکز رک گئے؛ ڈیلٹا نے تقریباً 7,000 پروازیں منسوخ کر دیں اور CrowdStrike اور Microsoft سے کم از کم $500 ملین کا دعویٰ کیا؛ Parametrix نے Fortune 500 کا بل تقریباً $5.4 بلین بتایا۔ CrowdStrike کے اپنے Root Cause Analysis، Preliminary Post Incident Review، Microsoft کے بلاگ، Delta کے 8-K اور ایوان کی گواہی سے پوسٹ مارٹم۔ گٹ بلیم: 65 CrowdStrike / 25 کرنل موڈ ڈیزائن / 10 جمعہ۔ فکس پر فیصلہ: SHIP IT، بمشکل۔
تحریری ایڈیشن پڑھیں (انگریزی) ↗
اس ویڈیو میں کیا شامل ہے
- 28 فروری – 24 اپریل 2024: سینسر 7.11 IPC ٹیمپلیٹ ٹائپ فراہم کرتا ہے (21 فیلڈز ڈکلیئر کیے گئے، 20 فراہم کیے گئے)؛ سٹریس ٹیسٹ 5 مارچ کو پاس ہوتا ہے؛ چار مثالیں کام کرتی ہیں کیونکہ فیلڈ 21 ایک وائلڈ کارڈ ہے۔
- 19 جولائی، 04:09 UTC: دو نئے ٹیمپلیٹ انسٹنسز؛ مواد کی توثیق کرنے والے کی منطقی غلطی غیر وائلڈ کارڈ والے کو گزرنے دیتی ہے؛ کرنل میں آؤٹ آف باؤنڈز ریڈ؛ 05:27 UTC ریورٹ کر دیا گیا۔
- 19-29 جولائی: دستی اصلاح (سیف موڈ، فائل حذف کرنا، BitLocker کی)؛ 24 جولائی تک ~97% سینسرز واپس، 29 جولائی تک ~99%۔
- 25 جولائی – 19 اگست: رن ٹائم باؤنڈز چیک، کمپائل ٹائم فیلڈ کاؤنٹ کی توثیق، توثیق کرنے والے کے چیک، کینری + تعیناتی کی حلقے، ریپڈ رسپانس مواد پر کسٹمر کا کنٹرول، دو آزادانہ جائزے؛ 6 اگست کو کریش ڈمپ کے ساتھ مکمل RCA۔
ترجمہ شدہ ٹرانسکرپٹ
اصل انگریزی بیان سے ترجمہ کیا گیا۔ دستیاب آڈیو اور کیپشنز یوٹیوب کے زیر انتظام ہیں۔
0:00 ایک سیکیورٹی اپ ڈیٹ اکیس فیلڈز کو ایک ڈرائیور میں لے جاتا ہے جو بیس کے لیے بنا تھا، اور ساڑھے آٹھ ملین ونڈوز مشینیں ناشتے سے پہلے بلیو سکرین ہو جاتی ہیں۔ 19 جولائی 2024، 04:09 UTC۔ CrowdStrike چینل فائل 291 کو ہر فالکن سینسر پر دھکیلتا ہے۔ اٹھہتر منٹ بعد وہ اسے واپس لیتے ہیں؛ تب تک ایئر لائنز، ہسپتال اور بینک اسی نیلے مستطیل کو گھور رہے ہوتے ہیں۔ سی ای او کی پہلی پوسٹ کہتی ہے کہ یہ سائبر اٹیک نہیں تھا، سچ ہے، اور یہ اصل نکتہ نہیں ہے۔ یہ کیسے ہوتا ہے، کیوں یہ ممکن ہے، اور کس کو ذمہ دار ٹھہرایا جاتا ہے۔
0:27 یہ ہے The Daily Diff، پوسٹ مارٹم۔ 28 فروری۔ سینسر 7.11 نامی پائپس کے لیے ایک نیا ڈیٹیکٹر فراہم کرتا ہے۔ یہ اکیس ان پٹ فیلڈز کا اعلان کرتا ہے؛ وہ کوڈ جو اسے فیڈ کرتا ہے ایک سرنی بناتا ہے بیس کا۔ کوئی نہیں دیکھتا: چار ماہ تک ہر اصول فیلڈ اکیس کو ایک وائلڈ کارڈ کے طور پر چھوڑ دیتا ہے، اور کوئی وائلڈ کارڈ نہیں پڑھتا۔ ایک سٹریس ٹیسٹ پاس ہوتا ہے، چار اصول جاری ہوتے ہیں، سب ٹھیک ہے۔ 19 جولائی، 04:09۔ دو نئے اصول؛ ایک فیلڈ اکیس میں ایک حقیقی پیٹرن ڈالتا ہے۔
0:51 کلاؤڈ ویلیڈیٹر ڈیکلریشن کے خلاف اکیس کو گنتا ہے اور کہتا ہے ٹھیک ہے۔ ہر آن لائن ونڈوز ہوسٹ اسے ایک ساتھ ڈاؤن لوڈ کرتا ہے، کیونکہ کوئی کینری رنگ نہیں ہے۔ سینسر سلاٹ اکیس پڑھتا ہے، جو اس کی میموری نہیں ہے، اور کرنل وہی کرتا ہے جو کرنل کرتے ہیں۔ 05:27، واپس لیا گیا۔ کسی کے لیے بھی بہت دیر ہو گئی جس نے ریبوٹ کیا: ڈرائیور جلدی لوڈ ہوتا ہے بوٹ میں، وہی فائل پڑھتا ہے، اور دوبارہ کریش ہو جاتا ہے۔ بوٹ لوپ۔ یہ کیوں ممکن ہے؟ اصول کلاؤڈ سے دھکیلی گئی کنفیگریشن ہیں، لہذا کوڈ کوڈ کو نہیں چھوڑتا
1:16 پائپ لائن۔ انٹرپریٹر میں کوئی باؤنڈز چیک نہیں ہے؛ یہ ویلیڈیٹر پر بھروسہ کرتا ہے، اور ویلیڈیٹر ڈیکلریشن پر بھروسہ کرتا ہے۔ اور یہ سب کرنل موڈ میں چلتا ہے، جہاں ایک خراب پوائنٹر ایک استثنا نہیں بلکہ ایک پیج فالٹ ہے جسے ونڈوز کہتا ہے کہ ٹرائی-ایکسسیپٹ کے ذریعے محفوظ نہیں کیا جا سکتا۔ پیٹرک وارڈل نے اس دوپہر کو ایک کریش ڈمپ سے اسے پڑھا: انڈیکس زیرو ایکس چودہ، سلاٹ اکیس۔ فکس دستی ہے۔ سیف موڈ، C-00000291 کو حذف کریں، ریبوٹ کریں۔ BitLocker کے ساتھ، پہلے اڑتالیس ہندسوں کا ٹائپ کریں
1:43 ریکوری کی جو ایک پر رہتی ہے سرور جو بھی نیلا ہے۔ گٹ بلیم۔ CrowdStrike، پینسٹھ فیصد: RCA چھ نتائج کی فہرست دیتا ہے، اور چھٹا نتیجہ ایک مکمل جملہ ہے: ٹیمپلیٹ انسٹنسز کی اسٹیجڈ ہونی چاہیے تعیناتی۔ کرنل موڈ ڈیزائن، پچیس: CrowdStrike کہتا ہے کہ ونڈوز نہیں کر سکتا ابھی تک کرنل کے باہر سیکیورٹی ہوسٹ کرے، مائیکروسافٹ کہتا ہے کہ یہ مائیکروسافٹ کا واقعہ نہیں ہے، اور پیج فالٹ کو پرواہ نہیں ہے۔
2:05 جمعہ، دس۔ کمٹ میسج کہتا ہے کہ کوڈ نہیں ہے۔ بلاست ریڈیئس: ساڑھے آٹھ ملین ڈیوائسز، ونڈوز کے ایک فیصد سے کم۔ ڈیلٹا نے سات ہزار پروازیں منسوخ کیں اور پانچ سو ملین کا دعویٰ کیا، مائیکروسافٹ بھی شامل ہے۔ انشورنس کمپنیوں نے Fortune 500 کا بل پانچ بلین کے قریب رکھا۔ ہیکر نیوز: پینتالیس سو پوائنٹس۔ ستم ظریفی: ایک اپ ڈیٹ جس کا مقصد نئے حملے کی تکنیکوں کا پتہ لگانا تھا اس نے ایک کو فراہم کیا۔ فیصلہ، پوسٹ مارٹم: SHIP IT، بمشکل۔
2:27 چھ دنوں میں باؤنڈز چیک، اسٹیجڈ رنگز، مواد کی تازہ کاریوں پر کسٹمر کا کنٹرول، دو بیرونی جائزے۔ بمشکل، کیونکہ یہ سب پہلے سے معیاری عمل تھا۔ پیر: آپ کا ایجنٹ جو بھی کلاؤڈ سے کھینچتا ہے اسے کینری رنگ ملتا ہے۔ کنفیگریشن کوڈ ہے اس لمحے جب کوئی چیز اسے پارس کرتی ہے جہاں وہ پھینک نہیں سکتی۔ مجھے وہ واقعہ بھیجیں جس کے بارے میں آپ کو ابھی تک بات کرنے کی اجازت نہیں ہے، تبصروں میں، یا daily diff dot dev پر۔ اور یہی آج کا فرق ہے۔
2:48 میں Axrisi سے نیکو ہوں۔ مسئولیت کے ساتھ ضم کریں۔
ذرائع
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



