ໜຶ່ງຟິວພິເສດເຮັດໃຫ້ຄອມພິວເຕີ 8.5 ລ້ານໜ່ວຍລົ້ມເຫຼວ. 78 ນາທີ.

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

• 28 ກຸມພາ – 24 ເມສາ 2024: ເຊັນເຊີ 7.11 ໄດ້ສົ່ງ IPC Template Type (ປະກາດ 21 ຟິວ, ສະໜອງ 20); ການທົດສອບຄວາມທົນທານຜ່ານໃນວັນທີ 5 ມີນາ; ສີ່ຕົວຢ່າງເຮັດວຽກໄດ້ເພາະຟິວ 21 ເປັນ wildcard
• 19 ກໍລະກົດ, 04:09 UTC: ສອງ Template Instances ໃໝ່; ຂໍ້ຜິດພາດທາງຕັນກະລັກຂອງ Content Validator ເຮັດໃຫ້ຕົວທີ່ບໍ່ແມ່ນ wildcard ຜ່ານໄປ; ການອ່ານນອກຂອບເຂດໃນ kernel; 05:27 UTC ຖືກແກ້ໄຂຄືນ
• 19–29 ກໍລະກົດ: ການແກ້ໄຂດ້ວຍຕົນເອງ (Safe Mode, ລຶບໄຟລ໌, BitLocker key); ປະມານ 97% ຂອງເຊັນເຊີກັບຄືນມາໃນວັນທີ 24 ກໍລະກົດ, ປະມານ 99% ໃນວັນທີ 29 ກໍລະກົດ
• 25 ກໍລະກົດ – 19 ສິງຫາ: ການກວດສອບຂອບເຂດໃນເວລາເຮັດວຽກ, ການຢືນຢັນຈໍານວນຟິວໃນເວລາຄອມໄພລ໌, ການກວດສອບ Validator, canary + deployment rings, ການຄວບຄຸມ Rapid Response Content ຂອງລູກຄ້າ, ການທົບທວນເອກະລາດສອງຄັ້ງ; RCA ເຕັມຮູບແບບພ້ອມ crash dump ໃນວັນທີ 6 ສິງຫາ

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

0:00 ການອັບເດດຄວາມປອດໄພໜຶ່ງອັນມີ 21 ຟິວໃສ່ໃນໄດເວີທີ່ສ້າງຂຶ້ນສຳລັບ 20, ແລະເຄື່ອງຈັກ Windows 8.5 ລ້ານໜ່ວຍເກີດ blue-screen ກ່ອນອາຫານເຊົ້າ. ວັນທີ 19 ກໍລະກົດ 2024, 04:09 UTC. CrowdStrike ໄດ້ສົ່ງ Channel File 291 ໄປຫາເຊັນເຊີ Falcon ທຸກໜ່ວຍ. 78 ນາທີຕໍ່ມາພວກເຂົາກໍດຶງມັນຄືນ; ໃນເວລານັ້ນສາຍການບິນ, ໂຮງໝໍ ແລະ ທະນາຄານກໍເຫັນສີ່ຫຼ່ຽມສີຟ້າດຽວກັນ. ຂໍ້ຄວາມທຳອິດຂອງ CEO ບອກວ່າບໍ່ແມ່ນການໂຈມຕີທາງໄຊເບີ, ແມ່ນຄວາມຈິງ, ແລະບໍ່ແມ່ນຈຸດສຳຄັນ. ມັນເກີດຂຶ້ນແນວໃດ, ເປັນຫຍັງຈຶ່ງເປັນໄປໄດ້, ແລະໃຜເປັນຜູ້ຮັບຜິດຊອບ.

0:27 ນີ້ແມ່ນ The Daily Diff, ການສືບສວນຫຼັງເກີດເຫດ. ວັນທີ 28 ກຸມພາ. ເຊັນເຊີ 7.11 ໄດ້ສົ່ງເຄື່ອງກວດຈັບໃໝ່ສຳລັບ named pipes. ມັນປະກາດ 21 ຟິວປ້ອນຂໍ້ມູນ; ລະຫັດທີ່ໃຫ້ຂໍ້ມູນປ້ອນເຂົ້າສ້າງອາເຣຂອງ 20. ບໍ່ມີໃຜສັງເກດເຫັນ: ເປັນເວລາສີ່ເດືອນທຸກກົດລະບຽບປ່ອຍໃຫ້ຟິວ 21 ເປັນ wildcard, ແລະບໍ່ມີໃຜອ່ານ wildcard. ການທົດສອບຄວາມທົນທານຜ່ານ, ສີ່ກົດລະບຽບຖືກສົ່ງ, ທັງໝົດເປັນປົກກະຕິ. ວັນທີ 19 ກໍລະກົດ, 04:09. ສອງກົດລະບຽບໃໝ່; ອັນໜຶ່ງໃສ່ຮູບແບບທີ່ແທ້ຈິງໃນຟິວ 21.

0:51 cloud validator ນັບ 21 ທຽບກັບການປະກາດ ແລະບອກວ່າປົກກະຕິ. ທຸກໂຮສ Windows ອອນລາຍດາວໂຫຼດມັນພ້ອມກັນ, ເພາະບໍ່ມີ canary ring. ເຊັນເຊີອ່ານຊ່ອງ 21, ເຊິ່ງບໍ່ແມ່ນໜ່ວຍຄວາມຈຳຂອງມັນ, ແລະ kernel ເຮັດສິ່ງທີ່ kernels ເຮັດ. 05:27, ຖືກແກ້ໄຂຄືນ. ຊ້າເກີນໄປສຳລັບຜູ້ທີ່ຣີບູດເຄື່ອງ: ໄດເວີໂຫຼດແຕ່ຕົ້ນໃນ ການບູດເຄື່ອງ, ອ່ານໄຟລ໌ດຽວກັນ, ແລະລົ້ມເຫຼວອີກຄັ້ງ. Boot loop. ເປັນຫຍັງຈຶ່ງເປັນໄປໄດ້? ກົດລະບຽບແມ່ນການຕັ້ງຄ່າທີ່ຖືກສົ່ງມາຈາກຄລາວ, ສະນັ້ນບໍ່ແມ່ນລະຫັດຂ້າມລະຫັດ

1:16 pipeline. ຕົວແປພາສາບໍ່ມີການກວດສອບຂອບເຂດ; ມັນໄວ້ໃຈ validator, ແລະ validator ໄວ້ໃຈການປະກາດ. ແລະທັງໝົດນີ້ເຮັດວຽກໃນໂໝດ kernel, ບ່ອນທີ່ bad pointer ບໍ່ແມ່ນຂໍ້ຍົກເວັ້ນ ແຕ່ເປັນ page fault ທີ່ Windows ບອກວ່າບໍ່ສາມາດປ້ອງກັນໄດ້ໂດຍ try-except. Patrick Wardle ອ່ານມັນອອກຈາກ crash dump ໃນຕອນບ່າຍນັ້ນ: index zero x fourteen, slot 21. ວິທີແກ້ໄຂແມ່ນດ້ວຍຕົນເອງ. Safe Mode, ລຶບ C-00000291, ຣີບູດ. ກັບ BitLocker, ທຳອິດໃສ່ຕົວເລກ 48 ຫຼັກ

1:43 ລະຫັດກູ້ຄືນທີ່ຢູ່ເທິງ ເຊີເວີເຊິ່ງກໍເປັນສີຟ້າຄືກັນ. git blame. CrowdStrike, 65 ເປີເຊັນ: RCA ລະບຸ 6 ຂໍ້ຄົ້ນພົບ, ແລະຂໍ້ຄົ້ນພົບທີ່ຫົກແມ່ນປະໂຫຍກເຕັມ: Template Instances ຄວນມີການ ຈັດການນຳໃຊ້ເປັນຂັ້ນຕອນ. ການອອກແບບໂໝດ kernel, 25 ເປີເຊັນ: CrowdStrike ບອກວ່າ Windows ບໍ່ສາມາດ ຮອງຮັບຄວາມປອດໄພນອກ kernel ໄດ້ເທື່ອ, Microsoft ບອກວ່າບໍ່ແມ່ນເຫດການຂອງ Microsoft, ແລະ page fault ບໍ່ສົນໃຈ.

2:05 ວັນສຸກ, 10 ເປີເຊັນ. ຂໍ້ຄວາມ commit ບອກວ່າບໍ່ແມ່ນລະຫັດ. ຂອບເຂດຄວາມເສຍຫາຍ: 8.5 ລ້ານອຸປະກອນ, ຕ່ຳກວ່າ 1 ເປີເຊັນຂອງ Windows. Delta ຍົກເລີກ 7,000 ຖ້ຽວບິນ ແລະຟ້ອງຮ້ອງຂໍ 500 ລ້ານໂດລາ, ລວມທັງ Microsoft. ບໍລິສັດປະກັນໄພປະເມີນຄ່າໃຊ້ຈ່າຍຂອງ Fortune 500 ຢູ່ໃກ້ 5 ຕື້ໂດລາ. Hacker News: 4,500 ຄະແນນ. ຄວາມແປກ: ການອັບເດດທີ່ຕັ້ງໃຈຈະກວດຈັບເຕັກນິກການໂຈມຕີໃໝ່ໄດ້ສົ່ງເຕັກນິກໜຶ່ງອອກມາ. ຄຳຕັດສິນ, ຫຼັງເກີດເຫດ: SHIP IT, ຢ່າງໃກ້ຊິດ.

2:27 ກວດສອບຂອບເຂດໃນ 6 ວັນ, staged rings, ການຄວບຄຸມການອັບເດດເນື້ອຫາຂອງລູກຄ້າ, ການທົບທວນພາຍນອກສອງຄັ້ງ. ຢ່າງໃກ້ຊິດ, ເພາະທັງໝົດນັ້ນແມ່ນການປະຕິບັດມາດຕະຖານຢູ່ແລ້ວ. ວັນຈັນ: ສິ່ງໃດກໍຕາມທີ່ຕົວແທນຂອງເຈົ້າດຶງມາຈາກຄລາວຈະໄດ້ canary ring. ການຕັ້ງຄ່າແມ່ນລະຫັດທັນທີທີ່ບາງສິ່ງບາງຢ່າງ parses ມັນບ່ອນທີ່ມັນບໍ່ສາມາດສ້າງຂໍ້ຜິດພາດໄດ້. ສົ່ງເຫດການທີ່ເຈົ້າຍັງບໍ່ໄດ້ຮັບອະນຸຍາດໃຫ້ເວົ້າເຖິງມາຫາຂ້ອຍ, ໃນຄຳເຫັນ, ຫຼືທີ່ the daily diff dot dev. ແລະນັ້ນຄື diff ສໍາລັບມື້ນີ້.

2:48 ຂ້ອຍແມ່ນ Niko ຈາກ Axrisi. Merge ຢ່າງມີຄວາມຮັບຜິດຊອບ.

ແຫຼ່ງຂໍ້ມູນ

1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org