Bir fazla alan 8.5 milyon bilgisayarı çökertti. 78 dakika.
19 Temmuz 2024, 04:09 UTC: CrowdStrike, Channel File 291 — Rapid Response İçerik güncellemesi — her çevrimiçi Windows Falcon sensörüne gönderdi.
19 Temmuz 2024, 04:09 UTC: CrowdStrike, Channel File 291 — Rapid Response İçerik güncellemesi — her çevrimiçi Windows Falcon sensörüne gönderdi. Beslediği şablon Şubat ayında 21 giriş alanıyla beyan edilmişti; girişleri sağlayan kod 20 elemanlı bir dizi oluşturuyordu. Dört ay boyunca hiçbir şey 21. alanı okumadı, çünkü her kural onu bir joker karakter olarak bıraktı. Bu güncelleme oraya gerçek bir desen yerleştirdi. Bulut tarafındaki İçerik Doğrulayıcı, beyana karşı 21 saydı ve geçirdi; sensörün İçerik Yorumlayıcısı, sınır kontrolü olmaksızın, çekirdek modunda 21. alanı okudu ve Windows sayfa hatalarına yol açtı: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Sürücü kasten önyüklemenin başında yüklenir, aynı dosyayı okur, tekrar çöker — önyükleme döngüsü. 05:27 UTC'de, 78 dakika sonra geri alındı, ancak 8.5 milyon makine (Microsoft'un sayımı, Windows'un %1'inin altında) dosyaya zaten sahipti ve düzeltme her klavyede bir insan gerektiriyordu: Güvenli Mod, C-00000291*.sys'i sil, BitLocker kurtarma anahtarı. Havayolları, hastaneler, bankalar ve 911 merkezleri durdu; Delta yaklaşık 7.000 uçuşu iptal etti ve CrowdStrike ve Microsoft'tan en az 500 milyon dolar talep etti; Parametrix, Fortune 500 faturasını 5.4 milyar dolar civarında tahmin ediyor. Postmortem CrowdStrike'ın kendi Kök Neden Analizi, Ön Olay Sonrası İnceleme, Microsoft'un blogu, Delta'nın 8-K belgesi ve Temsilciler Meclisi'nin ifadesinden. Git blame: 65 CrowdStrike / 25 çekirdek modu tasarımı / 10 Cuma günü. Düzeltme kararı: SHIP IT, kıl payı.
Yazılı sürümü oku (İngilizce) ↗
Bu video neleri kapsar
- 28 Şubat – 24 Nisan 2024: sensör 7.11 IPC Şablon Tipi'ni (21 alan beyan edildi, 20 sağlandı) gönderir; stres testi 5 Mart'ta geçer; 21. alan bir joker karakter olduğu için dört örnek çalışır
- 19 Temmuz, 04:09 UTC: iki yeni Şablon Örneği; İçerik Doğrulayıcı'nın mantık hatası joker karakter olmayan birinin geçmesine izin verir; çekirdekte sınır dışı okuma; 05:27 UTC geri alındı
- 19-29 Temmuz: manuel düzeltme (Güvenli Mod, dosyayı sil, BitLocker anahtarı); sensörlerin ~%97'si 24 Temmuz'a kadar, ~%99'u 29 Temmuz'a kadar geri döner
- 25 Temmuz – 19 Ağustos: çalışma zamanı sınır kontrolü, derleme zamanı alan sayısı doğrulama, Doğrulayıcı kontrolleri, canary + dağıtım halkaları, Rapid Response İçeriği üzerinde müşteri kontrolü, iki bağımsız inceleme; 6 Ağustos'ta çökme dökümü ile tam RCA
Çevrilmiş deşifre
Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.
0:00 Bir güvenlik güncellemesi, yirmi alan için tasarlanmış bir sürücüye yirmi bir alan taşır, ve sekiz buçuk milyon Windows makinesi kahvaltıdan önce mavi ekran verir. 19 Temmuz 2024, 04:09 UTC. CrowdStrike, Channel File 291'i her Falcon sensörüne gönderir. Yetmiş sekiz dakika sonra onu geri çekerler; o zamana kadar havayolları, hastaneler ve bankalar aynı mavi dikdörtgene bakar. CEO'nun ilk paylaşımı bir siber saldırı olmadığını söyler, doğru, ve mesele bu değil. Nasıl oluyor, neden mümkün ve suç kimde?
0:27 Bu The Daily Diff, postmortem. 28 Şubat. Sensör 7.11 adlandırılmış borular için yeni bir dedektör gönderir. Yirmi bir giriş alanı beyan eder; onu besleyen kod yirmi elemanlı bir dizi oluşturur. Kimse fark etmez: dört ay boyunca her kural yirmi birinci alanı bir joker karakter olarak bırakır, ve kimse bir joker karakteri okumaz. Bir stres testi geçer, dört kural gönderilir, hepsi iyi. 19 Temmuz, 04:09. İki yeni kural; biri yirmi birinci alana gerçek bir desen yerleştirir.
0:51 Bulut doğrulayıcı, beyana karşı yirmi bir sayar ve tamam der. Her çevrimiçi Windows ana bilgisayarı onu hemen indirir, çünkü canary halkası yoktur. Sensör, kendi belleği olmayan yirmi birinci alanı okur, ve çekirdek, çekirdeklerin yaptığı şeyi yapar. 05:27, geri alındı. Yeniden başlatan herkes için çok geç: sürücü önyüklemenin başında yüklenir, aynı dosyayı okur ve tekrar çöker. Önyükleme döngüsü. Bu neden mümkün? Kurallar buluttan itilen yapılandırmadır, bu yüzden kod kod ardışık düzenini atlamaz.
1:16 Yorumlayıcının sınır kontrolü yoktur; doğrulayıcıya güvenir, ve doğrulayıcı beyana güvenir. Ve hepsi çekirdek modunda çalışır, burada kötü bir işaretçi bir istisna değil, Windows'un try-except ile korunamayacağını söylediği bir sayfa hatasıdır. sayfa hatasıdır. Patrick Wardle o öğleden sonra bir çökme dökümünden okur: sıfır x on dört dizini, yirmi birinci alan. Düzeltme manueldir. Güvenli Mod, C-00000291'i sil, yeniden başlat. BitLocker ile, önce kırk sekiz haneli bir
1:43 kurtarma anahtarı yazın, o da mavi olan bir sunucuda bulunur. git blame. CrowdStrike, yüzde altmış beş: RCA altı bulgu listeler, ve altıncı bulgu tam bir cümledir: Şablon Örnekleri aşamalı dağıtıma sahip olmalıydı. Çekirdek modu tasarımı, yirmi beş: CrowdStrike Windows'un çekirdek dışında güvenliği henüz barındıramayacağını söyler, Microsoft bir Microsoft olayı olmadığını söyler, ve sayfa hatası umursamaz.
2:05 Cuma, on. Commit mesajı kod değil der. Etki alanı: sekiz buçuk milyon cihaz, Windows'un yüzde birinden azı. Delta yedi bin uçuşu iptal eder ve beş yüz milyon dava açar, Microsoft dahil. Sigortacılar Fortune 500 faturasını beş milyar civarında tahmin eder. Hacker News: kırk beş yüz puan. İronik olan: yeni saldırı tekniklerini tespit etmek için tasarlanmış bir güncelleme, kendisi bir saldırı tekniği sunmuş oldu. Karar, postmortem: SHIP IT, kıl payı.
2:27 Altı gün içinde sınır kontrolü, aşamalı halkalar, içerik güncellemeleri üzerinde müşteri kontrolü, iki harici inceleme. Kıl payı, çünkü bunların hepsi zaten standart uygulamaydı. Pazartesi: aracınızın buluttan çektiği her şey bir canary halkası alır. Yapılandırma, bir şey onu atamayacağı bir yerde ayrıştırdığı anda koddur. Hakkında henüz konuşmanıza izin verilmeyen olayı bana gönderin, yorumlar kısmında veya daily diff dot dev adresinden. Ve bugünün farkı bu.
2:48 Ben Axrisi'den Niko. Sorumlu bir şekilde birleştirin.
Kaynaklar
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



