ఒక అదనపు ఫీల్డ్ 8.5 మిలియన్ PCలను క్రాష్ చేసింది. 78 నిమిషాలు.
జూలై 19, 2024, 04:09 UTC: CrowdStrike ప్రతి Windows Falcon ఆన్‌లైన్ సెన్సార్‌కు ఛానల్ ఫైల్ 291 — Rapid Response Content అప్‌డేట్‌ను పంపుతుంది.
జూలై 19, 2024, 04:09 UTC: CrowdStrike ప్రతి Windows Falcon ఆన్‌లైన్ సెన్సార్‌కు ఛానల్ ఫైల్ 291 — Rapid Response Content అప్‌డేట్‌ను పంపుతుంది. అది అందించే టెంప్లేట్ ఫిబ్రవరిలో 21 ఇన్‌పుట్ ఫీల్డ్‌లతో ప్రకటించబడింది; ఇన్‌పుట్‌లను అందించే కోడ్ 20 శ్రేణిని నిర్మిస్తుంది. నాలుగు నెలల పాటు ఏదీ ఫీల్డ్ 21ని చదవదు, ఎందుకంటే ప్రతి నియమం దానిని వైల్డ్‌కార్డ్‌గా వదిలివేస్తుంది. ఈ అప్‌డేట్ అక్కడ ఒక నిజమైన నమూనాను ఉంచుతుంది. క్లౌడ్-సైడ్ కంటెంట్ వాలిడేటర్ డిక్లరేషన్‌కు వ్యతిరేకంగా 21ని లెక్కిస్తుంది మరియు దానిని పాస్ చేస్తుంది; సెన్సార్ యొక్క కంటెంట్ ఇంటర్‌ప్రెటర్, ఎటువంటి బౌండ్స్ చెక్ లేకుండా, కెర్నల్ మోడ్‌లో స్లాట్ 21ని చదువుతుంది మరియు విండోస్ పేజ్-ఫాల్ట్స్: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. డ్రైవర్ ఉద్దేశపూర్వకంగా బూట్‌లో ముందుగానే లోడ్ అవుతుంది, అదే ఫైల్‌ను చదువుతుంది, మళ్లీ క్రాష్ అవుతుంది — బూట్ లూప్. 05:27 UTC వద్ద, 78 నిమిషాల తర్వాత తిరిగి మార్చబడింది, అయితే 8.5 మిలియన్ల యంత్రాలు (మైక్రోసాఫ్ట్ లెక్క, విండోస్‌లో 1% కంటే తక్కువ) ఇప్పటికే ఫైల్‌ను కలిగి ఉన్నాయి, మరియు పరిష్కారం ప్రతి కీబోర్డ్‌లో ఒక మానవుడు: సేఫ్ మోడ్, C-00000291*.sysని తొలగించు, BitLocker రికవరీ కీ. విమానయాన సంస్థలు, ఆసుపత్రులు, బ్యాంకులు మరియు 911 కేంద్రాలు ఆగిపోతాయి; డెల్టా సుమారు 7,000 విమానాలను రద్దు చేస్తుంది మరియు CrowdStrike మరియు Microsoft నుండి కనీసం $500 మిలియన్లను క్లెయిమ్ చేస్తుంది; Parametrix Fortune 500 బిల్లును $5.4 బిలియన్లకు దగ్గరగా ఉంచుతుంది. CrowdStrike యొక్క స్వంత Root Cause Analysis, Preliminary Post Incident Review, Microsoft బ్లాగ్, Delta యొక్క 8-K మరియు House సాక్ష్యం నుండి పోస్ట్‌మార్టం. Git blame: 65 CrowdStrike / 25 కెర్నల్-మోడ్ డిజైన్ / 10 శుక్రవారం. పరిష్కారంపై తీర్పు: SHIP IT, తక్కువగా.
వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗
ఈ వీడియో ఏమి కవర్ చేస్తుంది
- ఫిబ్రవరి 28 – ఏప్రిల్ 24, 2024: సెన్సార్ 7.11 IPC టెంప్లేట్ రకాన్ని (21 ఫీల్డ్‌లు ప్రకటించబడ్డాయి, 20 సరఫరా చేయబడ్డాయి) రవాణా చేస్తుంది; మార్చి 5న స్ట్రెస్ టెస్ట్ పాస్ అవుతుంది; ఫీల్డ్ 21 వైల్డ్‌కార్డ్ కాబట్టి నాలుగు సందర్భాలు పనిచేస్తాయి
- జూలై 19, 04:09 UTC: రెండు కొత్త టెంప్లేట్ సందర్భాలు; కంటెంట్ వాలిడేటర్ యొక్క లాజిక్ ఎర్రర్ నాన్-వైల్డ్‌కార్డ్ దానిని అనుమతిస్తుంది; కెర్నల్‌లో అవుట్-ఆఫ్-బౌండ్స్ రీడ్; 05:27 UTC తిరిగి మార్చబడింది
- జూలై 19–29: మాన్యువల్ రెమెడియేషన్ (సేఫ్ మోడ్, ఫైల్‌ను తొలగించు, BitLocker కీ); జూలై 24 నాటికి ~97% సెన్సార్‌లు తిరిగి వచ్చాయి, జూలై 29 నాటికి ~99%
- జూలై 25 – ఆగస్టు 19: రన్‌టైమ్ బౌండ్స్ చెక్, కంపైల్-టైమ్ ఫీల్డ్-కౌంట్ వాలిడేషన్, వాలిడేటర్ తనిఖీలు, కానరీ + డిప్లాయ్‌మెంట్ రింగ్‌లు, Rapid Response Contentపై కస్టమర్ నియంత్రణ, రెండు స్వతంత్ర సమీక్షలు; ఆగస్టు 6న క్రాష్ డంప్‌తో పూర్తి RCA
అనువదించబడిన ట్రాన్స్క్రిప్ట్
అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.
0:00 ఒక భద్రతా అప్‌డేట్ ఇరవై ఒకటి ఫీల్డ్‌లను ఇరవై కోసం నిర్మించిన డ్రైవర్‌లోకి తీసుకువెళుతుంది, మరియు ఎనిమిదిన్నర మిలియన్ విండోస్ యంత్రాలు అల్పాహారం ముందు బ్లూ-స్క్రీన్ అవుతాయి. జూలై 19, 2024, 04:09 UTC. CrowdStrike ఛానల్ ఫైల్ 291ని ప్రతి ఫాల్కన్ సెన్సార్‌కి పంపుతుంది. డెబ్బై ఎనిమిది నిమిషాల తర్వాత వారు దానిని లాగుతారు; అప్పటికి విమానయాన సంస్థలు, ఆసుపత్రులు మరియు బ్యాంకులు అదే నీలం దీర్ఘచతురస్రాన్ని చూస్తాయి. CEO మొదటి పోస్ట్ సైబర్‌టాక్ కాదని చెబుతుంది, నిజం, మరియు అది ముఖ్యం కాదు. ఇది ఎలా జరుగుతుంది, ఇది ఎందుకు సాధ్యం, మరియు ఎవరిని నిందించాలి.
0:27 ఇది The Daily Diff, పోస్ట్‌మార్టం. ఫిబ్రవరి 28వ తేదీ. సెన్సార్ 7.11 పేరుగల పైప్‌ల కోసం కొత్త డిటెక్టర్‌ను రవాణా చేస్తుంది. ఇది ఇరవై ఒకటి ఇన్‌పుట్ ఫీల్డ్‌లను ప్రకటిస్తుంది; దానికి ఫీడ్ చేసే కోడ్ ఒక శ్రేణిని నిర్మిస్తుంది ఇరవై. ఎవరూ గమనించరు: నాలుగు నెలల పాటు ప్రతి నియమం ఫీల్డ్ ఇరవై ఒకటిని ఒక వైల్డ్‌కార్డ్‌గా వదిలివేస్తుంది, మరియు ఎవరూ వైల్డ్‌కార్డ్‌ను చదవరు. ఒక స్ట్రెస్ టెస్ట్ పాస్ అవుతుంది, నాలుగు నియమాలు రవాణా అవుతాయి, అంతా బాగుంది. జూలై 19వ తేదీ, 04:09. రెండు కొత్త నియమాలు; ఒకటి ఫీల్డ్ ఇరవై ఒకటిలో నిజమైన నమూనాను ఉంచుతుంది.
0:51 క్లౌడ్ వాలిడేటర్ డిక్లరేషన్‌కు వ్యతిరేకంగా ఇరవై ఒకటిని లెక్కిస్తుంది మరియు బాగుంది అని చెబుతుంది. ప్రతి ఆన్‌లైన్ విండోస్ హోస్ట్ దానిని ఒకేసారి డౌన్‌లోడ్ చేస్తుంది, ఎందుకంటే కానరీ రింగ్ లేదు. సెన్సార్ స్లాట్ ఇరవై ఒకటిని చదువుతుంది, అది దాని మెమరీ కాదు, మరియు కెర్నల్ కెర్నల్‌లు చేసే పనిని చేస్తుంది. 05:27, తిరిగి మార్చబడింది. రీబూట్ చేసిన ఎవరికైనా చాలా ఆలస్యం: డ్రైవర్ బూట్‌లో ముందుగానే లోడ్ అవుతుంది, అదే ఫైల్‌ను చదువుతుంది, మరియు మళ్లీ క్రాష్ అవుతుంది. బూట్ లూప్. ఇది ఎందుకు సాధ్యం? నియమాలు క్లౌడ్ నుండి పంపబడిన కాన్ఫిగరేషన్, కాబట్టి కోడ్ పైప్‌లైన్‌ను కోడ్ దాటవేయదు.
1:16 ఇంటర్‌ప్రెటర్‌కు బౌండ్స్ చెక్ లేదు; ఇది వాలిడేటర్‌ను నమ్ముతుంది, మరియు వాలిడేటర్ డిక్లరేషన్‌ను నమ్ముతుంది. మరియు ఇదంతా కెర్నల్ మోడ్‌లో నడుస్తుంది, అక్కడ చెడ్డ పాయింటర్ ఒక మినహాయింపు కాదు కానీ ఒక పేజ్ ఫాల్ట్ విండోస్ ట్రై-ఎక్సెప్ట్ ద్వారా రక్షించబడదు అని చెబుతుంది. ప్యాట్రిక్ వార్డల్ ఆ మధ్యాహ్నం క్రాష్ డంప్ నుండి దానిని చదువుతాడు: ఇండెక్స్ జీరో ఎక్స్ పద్నాలుగు, స్లాట్ ఇరవై ఒకటి. పరిష్కారం మాన్యువల్. సేఫ్ మోడ్, C-00000291ని తొలగించు, రీబూట్ చేయి. BitLockerతో, ముందుగా నలభై ఎనిమిది అంకెల
1:43 రికవరీ కీని టైప్ చేయండి, అది ఒక సర్వర్‌లో కూడా నీలం రంగులో ఉంటుంది. git blame. CrowdStrike, అరవై ఐదు శాతం: RCA ఆరు ఫలితాలను జాబితా చేస్తుంది, మరియు ఆరవ ఫలితం పూర్తి వాక్యం: టెంప్లేట్ సందర్భాలు స్టేజ్డ్ డిప్లాయ్‌మెంట్ కలిగి ఉండాలి. కెర్నల్-మోడ్ డిజైన్, ఇరవై ఐదు: విండోస్ చేయలేదని CrowdStrike చెబుతుంది ఇంకా కెర్నల్ వెలుపల భద్రతను హోస్ట్ చేయండి, మైక్రోసాఫ్ట్ మైక్రోసాఫ్ట్ సంఘటన కాదని చెబుతుంది, మరియు పేజ్ ఫాల్ట్ పట్టించుకోదు.
2:05 శుక్రవారం, పది. కమిట్ సందేశం కోడ్ కాదని చెబుతుంది. బ్లాస్ట్ వ్యాసార్థం: ఎనిమిదిన్నర మిలియన్ పరికరాలు, విండోస్‌లో ఒక శాతం కంటే తక్కువ. డెల్టా ఏడు వేల విమానాలను రద్దు చేస్తుంది మరియు ఐదు వందల మిలియన్లకు దావా వేస్తుంది, మైక్రోసాఫ్ట్ చేర్చబడింది. బీమాదారులు Fortune 500 బిల్లును ఐదు బిలియన్ల దగ్గర ఉంచుతారు. Hacker News: నలభై ఐదు వందల పాయింట్లు. వ్యంగ్యం: నవల దాడి పద్ధతులను గుర్తించడానికి ఉద్దేశించిన అప్‌డేట్ ఒకటి అందించింది. తీర్పు, పోస్ట్‌మార్టం: SHIP IT, తక్కువగా.
2:27 ఆరు రోజుల్లో బౌండ్స్ చెక్, స్టేజ్డ్ రింగ్‌లు, కంటెంట్ అప్‌డేట్‌లపై కస్టమర్ నియంత్రణ, రెండు బయటి సమీక్షలు. తక్కువగా, ఎందుకంటే అదంతా ఇప్పటికే ప్రామాణిక పద్ధతి. సోమవారం: మీ ఏజెంట్ క్లౌడ్ నుండి లాగేది ఏమైనా కానరీ రింగ్‌ను పొందుతుంది. కాన్ఫిగరేషన్ అనేది కోడ్, ఏదైనా దానిని విశ్లేషించినప్పుడు అది త్రో చేయలేని చోట. మీరు ఇంకా మాట్లాడటానికి అనుమతించబడని సంఘటనను నాకు పంపండి, వ్యాఖ్యలలో, లేదా daily diff dot devలో. మరియు అది ఈ రోజుకి diff.
2:48 నేను Axrisi నుండి Niko. బాధ్యతాయుతంగా విలీనం చేయండి.
మూలాలు
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org
