Een ekstra veld het 8,5 miljoen rekenaars laat ineenstort. 78 minute.

Wat hierdie video dek

• 28 Feb – 24 Apr 2024: sensor 7.11 stuur die IPC Sjabloon Tipe (21 velde verklaar, 20 verskaf); strestoets slaag 5 Maart; vier gevalle werk omdat veld 21 'n wildcard is
• 19 Jul, 04:09 UTC: twee nuwe Sjabloon Instansies; die Inhouds Valideerder se logikafout laat die nie-wildcard een deur; buite-grense lees in die kern; 05:27 UTC teruggerol
• 19–29 Jul: handmatige regstelling (Veilige Modus, vee die lêer uit, BitLocker sleutel); ~97% van sensors terug teen 24 Jul, ~99% teen 29 Jul
• 25 Jul – 19 Aug: runtime grens-kontrole, saamstel-tyd veld-telling validering, Valideerder kontroles, kanarie + ontplooiingsringe, kliëntbeheer oor Rapid Response Content, twee onafhanklike hersienings; volledige RCA met crash dump op 6 Aug

Vertaalde transkripsie

Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.

0:00 Een sekuriteitsopdatering dra een-en-twintig velde in 'n drywer in wat vir twintig gebou is, en agt en 'n half miljoen Windows-masjiene kry 'n blou skerm voor ontbyt. 19 Julie 2024, 04:09 UTC. CrowdStrike stuur Kanaallêer 291 na elke Falcon-sensor. Sewe-en-sewentig minute later trek hulle dit terug; teen daardie tyd staar lugrederye, hospitale en banke na dieselfde blou reghoek. Die HUB se eerste plasing sê nie 'n kuberaanval nie, waar, en nie die punt nie. Hoe dit gebeur, waarom dit moontlik is, en wie die skuld kry.

0:27 Dit is The Daily Diff, postmortem. 28 Februarie. Sensor 7.11 stuur 'n nuwe detektor vir benoemde pype. Dit verklaar een-en-twintig invoervelde; die kode wat dit voed bou 'n array van twintig. Niemand merk op nie: vir vier maande laat elke reël veld een-en-twintig as 'n wildcard, en niemand lees 'n wildcard nie. 'n Strestoets slaag, vier reëls word gestuur, alles reg. 19 Julie, 04:09. Twee nuwe reëls; een plaas 'n regte patroon in veld een-en-twintig.

0:51 Die wolk valideerder tel een-en-twintig teen die verklaring en sê reg. Elke aanlyn Windows-gasheer laai dit onmiddellik af, want daar is geen kanariering nie. Die sensor lees gleuf een-en-twintig, wat nie sy geheue is nie, en die kern doen wat kerne doen. 05:27, teruggerol. Te laat vir enigiemand wat weer begin het: die drywer laai vroeg in opstart, lees dieselfde lêer, en stort weer ineen. Opstartlus. Waarom is dit moontlik? Die reëls is konfigurasie wat uit die wolk gestoot word, so nie kode om die kode

1:16 pyplyn oor te slaan nie. Die tolk het geen grens-kontrole nie; dit vertrou die valideerder, en die valideerder vertrou die verklaring. En dit alles loop in kernmodus, waar 'n slegte wyser nie 'n uitsondering is nie, maar 'n bladsy fout wat Windows sê nie deur try-except beskerm kan word nie. Patrick Wardle lees dit daardie middag uit 'n crash dump: indeks nul x veertien, gleuf een-en-twintig. Die oplossing is handmatig. Veilige Modus, vee C-00000291 uit, herlaai. Met BitLocker, tik eers 'n agt-en-veertig-syfer

1:43 herstelsleutel wat op 'n bediener woon wat ook blou is. git blame. CrowdStrike, vyf-en-sestig persent: die RCA lys ses bevindinge, en bevinding ses is 'n volsin: Sjabloon Instansies moes gefaseerde ontplooiing gehad het. Die kernmodus-ontwerp, vyf-en-twintig: CrowdStrike sê Windows kan nog nie sekuriteit buite die kern huisves nie, Microsoft sê nie 'n Microsoft-insident nie, en die bladsy fout gee nie om nie.

2:05 Die Vrydag, tien. Die commit-boodskap sê nie kode nie. Impakradius: agt en 'n half miljoen toestelle, minder as een persent van Windows. Delta kanselleer sewe duisend vlugte en dagvaar vir vyf honderd miljoen, Microsoft ingesluit. Versekeraars skat die Fortune 500-rekening naby vyf miljard. Hacker News: vierduisend-vyfhonderd punte. Die ironie: 'n opdatering wat bedoel was om nuwe aanvalstegnieke op te spoor, het self een gelewer. Uitspraak, postmortem: SHIP IT, net-net.

2:27 Grens-kontrole binne ses dae, gefaseerde ringe, kliëntbeheer oor inhoudsopdaterings, twee eksterne hersienings. Net-net, want dit alles was reeds standaard praktyk. Maandag: wat jou agent ook al uit die wolk trek, kry 'n kanariering. Konfigurasie is kode sodra iets dit ontleed waar dit nie 'n uitsondering kan gooi nie. Stuur vir my die insident waaroor jy nog nie mag praat nie, in die kommentaar, of by die daily diff dot dev. En dit is die diff vir vandag.

2:48 Ek is Niko van Axrisi. Voeg verantwoordelik saam.

Bronne

1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org