+− THE DAILY DIFFdev & AI news
SHIP IT

એક વધારાના ક્ષેત્રે 8.5 મિલિયન પીસી ક્રેશ કર્યા. 78 મિનિટ.

જુલાઈ 19, 2024, 04:09 UTC: CrowdStrike દ્વારા Channel File 291 — એક Rapid Response Content અપડેટ — દરેક Windows Falcon સેન્સર ઓનલાઈન પર મોકલવામાં આવે છે.

જુલાઈ 19, 2024, 04:09 UTC: CrowdStrike દ્વારા Channel File 291 — એક Rapid Response Content અપડેટ — દરેક Windows Falcon સેન્સર ઓનલાઈન પર મોકલવામાં આવે છે. જે ટેમ્પલેટ તે ફીડ કરે છે તેને ફેબ્રુઆરીમાં 21 ઇનપુટ ફીલ્ડ્સ સાથે જાહેર કરવામાં આવ્યું હતું; જે કોડ ઇનપુટ્સ સપ્લાય કરે છે તે 20 નું એરે બનાવે છે. ચાર મહિના સુધી કોઈ ફીલ્ડ 21 વાંચતું નથી, કારણ કે દરેક નિયમ તેને વાઇલ્ડકાર્ડ તરીકે છોડી દે છે. આ અપડેટ ત્યાં એક વાસ્તવિક પેટર્ન મૂકે છે. ક્લાઉડ-સાઇડ કન્ટેન્ટ વેલિડેટર ઘોષણા સામે 21 ગણે છે અને તેને પસાર કરે છે; સેન્સરનું કન્ટેન્ટ ઇન્ટરપ્રિટર, કોઈ બાઉન્ડ્સ ચેક વિના, કર્નલ મોડમાં સ્લોટ 21 વાંચે છે અને વિન્ડોઝ પેજ-ફોલ્ટ થાય છે: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ડ્રાઇવર બુટમાં વહેલા હેતુસર લોડ થાય છે, તે જ ફાઇલ વાંચે છે, ફરીથી ક્રેશ થાય છે — બુટ લૂપ. 05:27 UTC, 78 મિનિટ પછી, તેને પાછું ખેંચવામાં આવ્યું, પરંતુ 8.5 મિલિયન મશીનો (માઇક્રોસોફ્ટની ગણતરી, વિન્ડોઝના 1% થી ઓછું) પાસે પહેલેથી જ ફાઇલ છે, અને સુધારો એ દરેક કીબોર્ડ પર એક માનવ છે: Safe Mode, C-00000291*.sys ડિલીટ કરો, BitLocker રિકવરી કી. એરલાઇન્સ, હોસ્પિટલો, બેંકો અને 911 કેન્દ્રો અટકી જાય છે; ડેલ્ટા લગભગ 7,000 ફ્લાઇટ્સ રદ કરે છે અને CrowdStrike અને Microsoft પાસેથી ઓછામાં ઓછા $500 મિલિયનનો દાવો કરે છે; Parametrix ફોર્ચ્યુન 500 નું બિલ $5.4 બિલિયન આસપાસ મૂકે છે. CrowdStrike ના પોતાના Root Cause Analysis, Preliminary Post Incident Review, Microsoft ના બ્લોગ, Delta ના 8-K અને House ની જુબાનીમાંથી પોસ્ટમોર્ટમ. Git blame: 65 CrowdStrike / 25 કર્નલ-મોડ ડિઝાઇન / 10 શુક્રવાર. સુધારા પરનો ચુકાદો: SHIP IT, થોડાક અંશે.

લખેલી આવૃત્તિ વાંચો (અંગ્રેજી) ↗

આ વીડિયોમાં શું આવરી લેવામાં આવ્યું છે

  • ફેબ્રુઆરી 28 – એપ્રિલ 24, 2024: સેન્સર 7.11 IPC ટેમ્પલેટ પ્રકાર મોકલે છે (21 ફીલ્ડ જાહેર, 20 પૂરા પાડવામાં આવેલ); સ્ટ્રેસ ટેસ્ટ માર્ચ 5 ના રોજ પાસ થાય છે; ચાર ઇન્સ્ટન્સ કામ કરે છે કારણ કે ફીલ્ડ 21 વાઇલ્ડકાર્ડ છે
  • જુલાઈ 19, 04:09 UTC: બે નવા ટેમ્પલેટ ઇન્સ્ટન્સ; કન્ટેન્ટ વેલિડેટરની લોજિક ભૂલ નોન-વાઇલ્ડકાર્ડને પસાર થવા દે છે; કર્નલમાં આઉટ-ઓફ-બાઉન્ડ્સ રીડ; 05:27 UTC પાછું ખેંચવામાં આવ્યું
  • જુલાઈ 19–29: મેન્યુઅલ ઉપચાર (Safe Mode, ફાઇલ ડિલીટ કરો, BitLocker કી); ~97% સેન્સર જુલાઈ 24 સુધીમાં પાછા, ~99% જુલાઈ 29 સુધીમાં
  • જુલાઈ 25 – ઓગસ્ટ 19: રનટાઇમ બાઉન્ડ્સ ચેક, કમ્પાઇલ-ટાઇમ ફીલ્ડ-કાઉન્ટ વેલિડેશન, વેલિડેટર ચેક્સ, કેનેરી + ડિપ્લોયમેન્ટ રિંગ્સ, રેપિડ રિસ્પોન્સ કન્ટેન્ટ પર ગ્રાહક નિયંત્રણ, બે સ્વતંત્ર સમીક્ષાઓ; ઓગસ્ટ 6 ના રોજ ક્રેશ ડમ્પ સાથે સંપૂર્ણ RCA

અનુવાદિત ટ્રાન્સક્રિપ્ટ

મૂળ અંગ્રેજી કથામાંથી અનુવાદિત. ઉપલબ્ધ ઑડિઓ અને કૅપ્શન્સ YouTube દ્વારા નિયંત્રિત થાય છે.

0:00 એક સુરક્ષા અપડેટ વીસ માટે બનાવેલા ડ્રાઇવરમાં એકવીસ ક્ષેત્રો વહન કરે છે, અને સાડા આઠ મિલિયન વિન્ડોઝ મશીનો સવારના નાસ્તા પહેલાં બ્લુ-સ્ક્રીન થાય છે. જુલાઈ 19, 2024, 04:09 UTC. CrowdStrike દરેક Falcon સેન્સરને Channel File 291 મોકલે છે. સિત્તોર મિનિટ પછી તેઓ તેને પાછા ખેંચે છે; ત્યાં સુધીમાં એરલાઇન્સ, હોસ્પિટલો અને બેંકો એ જ વાદળી લંબચોરસને જુએ છે. સીઇઓનો પહેલો પોસ્ટ કહે છે કે સાયબરએટેક નથી, સાચું છે, અને મુદ્દો નથી. તે કેવી રીતે થાય છે, શા માટે તે શક્ય છે, અને કોને દોષ મળે છે.

0:27 આ The Daily Diff છે, પોસ્ટમોર્ટમ. ફેબ્રુઆરી 28. સેન્સર 7.11 નામવાળી પાઇપ્સ માટે નવો ડિટેક્ટર મોકલે છે. તે એકવીસ ઇનપુટ ફીલ્ડ્સ જાહેર કરે છે; જે કોડ તેને ફીડ કરે છે તે એક એરે બનાવે છે વીસ. કોઈને ખબર નથી પડતી: ચાર મહિના સુધી દરેક નિયમ ફીલ્ડ એકવીસને એક વાઇલ્ડકાર્ડ તરીકે છોડી દે છે, અને કોઈ વાઇલ્ડકાર્ડ વાંચતું નથી. એક સ્ટ્રેસ ટેસ્ટ પાસ થાય છે, ચાર નિયમો મોકલવામાં આવે છે, બધું બરાબર છે. જુલાઈ 19, 04:09. બે નવા નિયમો; એક ફીલ્ડ એકવીસમાં એક વાસ્તવિક પેટર્ન મૂકે છે.

0:51 ક્લાઉડ વેલિડેટર ઘોષણા સામે એકવીસ ગણે છે અને કહે છે કે બરાબર છે. દરેક ઓનલાઈન વિન્ડોઝ હોસ્ટ તેને તરત જ ડાઉનલોડ કરે છે, કારણ કે ત્યાં કોઈ કેનેરી રિંગ નથી. સેન્સર સ્લોટ એકવીસ વાંચે છે, જે તેની મેમરી નથી, અને કર્નલ તે જ કરે છે જે કર્નલ કરે છે. 05:27, પાછું ખેંચવામાં આવ્યું. જેણે રીબુટ કર્યું તેના માટે ખૂબ મોડું: ડ્રાઇવર વહેલા લોડ થાય છે બુટ, તે જ ફાઇલ વાંચે છે, અને ફરીથી ક્રેશ થાય છે. બુટ લૂપ. આ શા માટે શક્ય છે? નિયમો ક્લાઉડમાંથી ધકેલવામાં આવેલી ગોઠવણી છે, તેથી કોઈ કોડ કોડને છોડતો નથી

1:16 પાઈપલાઈન. ઇન્ટરપ્રિટર પાસે કોઈ બાઉન્ડ્સ ચેક નથી; તે વેલિડેટર પર વિશ્વાસ કરે છે, અને વેલિડેટર ઘોષણા પર વિશ્વાસ કરે છે. અને તે બધું કર્નલ મોડમાં ચાલે છે, જ્યાં એક ખરાબ પોઈન્ટર અપવાદ નથી પરંતુ એક પેજ ફોલ્ટ વિન્ડોઝ કહે છે કે ટ્રાય-એક્સેપ્ટ દ્વારા સુરક્ષિત કરી શકાતો નથી. પેટ્રિક વોર્ડલ તે બપોરે એક ક્રેશ ડમ્પમાંથી વાંચે છે: ઇન્ડેક્સ ઝીરો x ચૌદ, સ્લોટ એકવીસ. સુધારો મેન્યુઅલ છે. Safe Mode, C-00000291 ડિલીટ કરો, રીબુટ કરો. BitLocker સાથે, પહેલાં અડતાળીસ-અંકનો ટાઈપ કરો

1:43 રિકવરી કી જે એક પર રહે છે સર્વર જે પણ વાદળી છે. git blame. CrowdStrike, પાંસઠ ટકા: RCA છ તારણો સૂચિબદ્ધ કરે છે, અને તારણ છ એક સંપૂર્ણ વાક્ય છે: ટેમ્પલેટ ઇન્સ્ટન્સનું સ્ટેજ્ડ હોવું જોઈએ ડિપ્લોયમેન્ટ. કર્નલ-મોડ ડિઝાઇન, પચ્ચીસ: CrowdStrike કહે છે કે વિન્ડોઝ કરી શકતું નથી હજુ પણ કર્નલની બહાર સુરક્ષા હોસ્ટ કરો, Microsoft કહે છે કે Microsoft ઘટના નથી, અને પેજ ફોલ્ટને તેની પરવા નથી.

2:05 શુક્રવાર, દસ. કમિશન મેસેજ કહે છે કે કોડ નથી. બ્લાસ્ટ રેડિયસ: સાડા આઠ મિલિયન ઉપકરણો, વિન્ડોઝના એક ટકાથી ઓછું. ડેલ્ટા સાત હજાર ફ્લાઇટ્સ રદ કરે છે અને પાંચસો મિલિયન માટે દાવો કરે છે, માઇક્રોસોફ્ટનો સમાવેશ થાય છે. વીમા કંપનીઓ ફોર્ચ્યુન 500 નું બિલ પાંચ અબજની નજીક મૂકે છે. હેકર ન્યૂઝ: પાંસઠસો પોઈન્ટ. વ્યંગ: નવી હુમલાની તકનીકો શોધવા માટેનો અપડેટ એક લાવ્યો. ચુકાદો, પોસ્ટમોર્ટમ: SHIP IT, થોડાક અંશે.

2:27 છ દિવસમાં બાઉન્ડ્સ ચેક, સ્ટેજ્ડ રિંગ્સ, કન્ટેન્ટ અપડેટ્સ પર ગ્રાહક નિયંત્રણ, બે બહારની સમીક્ષાઓ. થોડાક અંશે, કારણ કે તે બધું પહેલેથી જ પ્રમાણભૂત પ્રથા હતી. સોમવાર: તમારો એજન્ટ ક્લાઉડમાંથી જે પણ ખેંચે છે તેને કેનેરી રિંગ મળે છે. જ્યારે કંઈક તેને પાર્સ કરે છે જ્યાં તે ફેંકી શકતું નથી ત્યારે ગોઠવણી કોડ છે. મને તે ઘટના મોકલો જેના વિશે તમને હજી પણ વાત કરવાની પરવાનગી નથી, ટિપ્પણીઓમાં, અથવા the daily diff dot dev પર. અને આજ માટે આ diff છે.

2:48 હું Axrisi થી નિકો છું. જવાબદારીપૂર્વક મર્જ કરો.

સ્ત્રોતો

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

સંબંધિત વીડિયો

postmortem · gu · 12 સપ્ટે, 2026

એક રેગ્યુલર એક્સપ્રેશને ક્લાઉડફ્લેરને નીચે લાવ્યું. ૨૭ મિનિટ.

૨ જુલાઈ, ૨૦૧૯, ૧૩:૪૨ UTC: ક્લાઉડફ્લેરના વેબ એપ્લિકેશન ફાયરવોલ માટે એક નવો નિયમ લગભગ બે સેકન્ડમાં ૧૮૦+ શહેરોમાં લાઇવ થાય છે. તે સિમ્યુલેટ મોડમાં XSS નિયમ છે, તેથી તે કંઈપણ અવરોધિત કરતું નથી, પરંતુ તે હ

3:00 ↗
postmortem · gu · 25 સપ્ટે, 2026

એક મિલિસેકન્ડના બગે યુકેના હવાઈ ટ્રાફિકને રોકી દીધો. છ કલાક સુધી.

મંગળવાર, 8 સપ્ટેમ્બરના રોજ સવારે 10:00 વાગ્યે, NATSના નેશનલ એરસ્પેસ સિસ્ટમ (NAS) માં એક રૂટિન સ્ક્વૉક-કોડ વિનંતીને ઉચ્ચ-પ્રાથમિકતાવાળા સંદેશ દ્વારા અટકાવવામાં આવે છે જ્યારે તે મૂલ્યને અપડેટ કરવાની પ્ર

3:06 ↗
postmortem · gu · 22 સપ્ટે, 2026

એક રીબૂટે ટેલ્સ્ટ્રાને 2006માં મોકલી દીધું. નવ મિલિયન ફોન.

મેલબોર્નમાં એક એન્જિનિયર સવારે 2:50 વાગ્યે ટાઈમિંગ ચેસિસને ફરીથી ચાલુ કરે છે, અને સવારના નાસ્તા સુધીમાં ઓસ્ટ્રેલિયાનું સૌથી મોટું મોબાઈલ નેટવર્ક સહમત થાય છે કે તે નવેમ્બર 2006 છે. 8 જુલાઈ, 2026: ટેલ્સ

3:15 ↗
postmortem · gu · 19 સપ્ટે, 2026

એક ખાલી ક્ષેત્ર પર Google Cloud ક્રેશ થયું. ત્રણ કલાક.

ખાલી ક્ષેત્રોવાળી એક પોલિસી રો નલ પોઇન્ટર સાથે અથડાય છે, અને Google Cloud એક સાથે દરેક ક્ષેત્રમાં ક્રેશ થાય છે — પછી Cloudflare તેની સાથે નિષ્ફળ જાય છે. 12 જૂન, 2025, 17:49 UTC: સર્વિસ કંટ્રોલ, જે દરે

2:57 ↗