+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

ເຟສບຸກໄດ້ລຶບຕົວເອງອອກຈາກອິນເຕີເນັດ. ຫົກຊົ່ວໂມງ.

ເຟສບຸກໄດ້ລຶບທີ່ຢູ່ຂອງຕົນເອງອອກຈາກອິນເຕີເນັດ, ແລະເມື່ອວິສະວະກອນຂອງເຂົາມາຮອດເພື່ອເອົາກັບຄືນ, ເຄື່ອງອ່ານບັດກໍ່ລົ້ມເຫຼວເຊັ່ນກັນ, ເພາະວ່າພວກມັນໃຊ້ງານໃນເຟສບຸກ.

ເຟສບຸກໄດ້ລຶບທີ່ຢູ່ຂອງຕົນເອງອອກຈາກອິນເຕີເນັດ, ແລະເມື່ອວິສະວະກອນຂອງເຂົາມາຮອດເພື່ອເອົາກັບຄືນ, ເຄື່ອງອ່ານບັດກໍ່ລົ້ມເຫຼວເຊັ່ນກັນ, ເພາະວ່າພວກມັນໃຊ້ງານໃນເຟສບຸກ. ວັນທີ 4 ຕຸລາ 2021, ເວລາ 15:40 ໂມງ UTC: ຄຳສັ່ງບຳລຸງຮັກສາໂຄງຂ່າຍຫຼັກປະຈຳວັນໄດ້ເຮັດໃຫ້ທຸກລິ້ງລະຫວ່າງສູນຂໍ້ມູນຂອງເຟສບຸກລົ້ມເຫຼວ; ເຄື່ອງມືກວດສອບທີ່ສ້າງຂຶ້ນມາເພື່ອສະກັດມັນມີຂໍ້ບົກພ່ອງ; ເຊີບເວີຊື່ຂອງເຟສບຸກ, ບໍ່ສາມາດເຂົ້າເຖິງສູນຂໍ້ມູນໄດ້, ໄດ້ຖອນເສັ້ນທາງ BGP ຂອງຕົນເອງຕາມການອອກແບບ — ແລະ facebook.com, Instagram, WhatsApp ແລະ Messenger ຫາຍໄປຈາກ DNS ເປັນເວລາເກືອບຫົກຊົ່ວໂມງ. ເຄື່ອງມືພາຍໃນ, ການເຂົ້າເຖິງນອກລະບົບ ແລະບັດເຂົ້າຫ້ອງການໃຊ້ເຄືອຂ່າຍດຽວກັນ, ດັ່ງນັ້ນການແກ້ໄຂຕ້ອງການຄົນຢູ່ທີ່ຕູ້ເຊີບເວີ.

ອ່ານສະບັບລາຍລັກອັກສອນ (ພາສາອັງກິດ) ↗

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

  • ເຟສບຸກລຶບທີ່ຢູ່ຂອງຕົນເອງ
  • ໃບຮັບເງິນ: Meta Engineering, Cloudflare, Hacker News
  • ນີ້ແມ່ນ The Daily Diff, ບົດລາຍງານຫຼັງເກີດເຫດ
  • ເສັ້ນເວລາ: 15:39 ຄຳສັ່ງ → 15:40 ຖອນຄືນ → 21:20 ກັບຄືນ
  • ກົນໄກ: ການກວດສອບສຸຂະພາບທີ່ລຶບທ່ານ, ພາຍຸ DNS 30×, ປະຕູ

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

ເຟສບຸກລຶບທີ່ຢູ່ຂອງຕົນເອງ

0:00 ເຟສບຸກລຶບທີ່ຢູ່ຂອງຕົນເອງອອກຈາກອິນເຕີເນັດ, ແລະເມື່ອວິສະວະກອນ ມາຮອດເພື່ອເອົາກັບຄືນ, ເຄື່ອງອ່ານບັດກໍ່ລົ້ມເຫຼວເຊັ່ນກັນ, ເພາະວ່າພວກມັນໃຊ້ງານໃນເຟສບຸກ. ບົດລາຍງານຫຼັງເກີດເຫດຂອງ Meta ເອງ, ມື້ຕໍ່ມາ: ຄຳສັ່ງບຳລຸງຮັກສາປະຈຳວັນໄດ້ເຮັດໃຫ້ທຸກ ລິ້ງຫຼັກລົ້ມເຫຼວ, ແລະເຄື່ອງມືທີ່ສ້າງຂຶ້ນເພື່ອສະກັດຄຳສັ່ງແບບນັ້ນມີຂໍ້ບົກພ່ອງ.

ໃບຮັບເງິນ: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, ຈາກພາຍນອກ: ເວລາ 15:40 ໂມງ UTC ເສັ້ນທາງໄປຫາເຊີບເວີຊື່ຂອງເຟສບຸກ ຫາຍໄປ, ແລະ dig facebook.com ສົ່ງຄືນ SERVFAIL ຢູ່ທຸກບ່ອນໃນໂລກ. ມັນເກີດຂຶ້ນແນວໃດ, ເປັນຫຍັງຄຸນສົມບັດຄວາມປອດໄພຈຶ່ງເຮັດໃຫ້ມັນຮ້າຍແຮງຂຶ້ນ, ແລະໃຜເປັນຜູ້ຮັບຜິດຊອບ. ນີ້ແມ່ນ The Daily Diff, ບົດລາຍງານຫຼັງເກີດເຫດ. ຕອນບ່າຍ, UTC.

ນີ້ແມ່ນ The Daily Diff, ບົດລາຍງານຫຼັງເກີດເຫດ

0:34 ຄຳສັ່ງທີ່ໝາຍເຖິງການກວດສອບຄວາມສາມາດຫຼັກທີ່ວ່າງເປົ່າ ແທນທີ່ຈະເຮັດໃຫ້ທຸກລິ້ງ ລະຫວ່າງສູນຂໍ້ມູນຂອງເຟສບຸກລົ້ມເຫຼວ, ແລະເຄື່ອງມືກວດສອບທີ່ສ້າງຂຶ້ນມາເພື່ອຈັບສິ່ງນີ້

ເສັ້ນເວລາ: 15:39 ຄຳສັ່ງ → 15:40 ຖອນຄືນ → 21:20 ກັບຄືນ

0:41 ໄດ້ຜ່ານໄປ. 15:40. BGP feed ຂອງ Cloudflare ເຕັມໄປດ້ວຍການຖອນຄືນ; DNS ຂອງເຟສບຸກ prefixes ອອກຈາກຕາຕະລາງ routing. ພາຍໃນໜຶ່ງນາທີ ວິສະວະກອນຂອງ Cloudflare ຢູ່ໃນຫ້ອງທີ່ສົງໄສວ່າພວກເຂົາ ໄດ້ທຳລາຍ 1.1.1.1 ບໍ່. 15:45, Hacker News, ສອງພັນຫົກຮ້ອຍ ຄະແນນ. 16:07, ໂຄສົກຂອງເຟສບຸກ, ໃນ Twitter ຈາກທຸກບ່ອນ: ບາງຄົນກຳລັງ ມີບັນຫາໃນການເຂົ້າເຖິງແອັບຂອງພວກເຮົາ. ບາງຄົນແມ່ນສາມພັນຫ້າຮ້ອຍລ້ານຄົນ.

1:06 18:51, The New York Times: ພະນັກງານຖືກລັອກອອກຈາກອາຄານຂອງພວກເຂົາ, ບັດໝົດອາຍຸ. 19:52, CTO ຂໍໂທດ. 21:00, ຫ້າຊົ່ວໂມງຜ່ານໄປ, ເສັ້ນທາງກັບຄືນ; 21:20, facebook.com ແກ້ໄຂໄດ້. ເປັນຫຍັງຄວາມຜິດປົກກະຕິຂອງໂຄງຂ່າຍຫຼັກຈຶ່ງລຶບເຟສບຸກອອກຈາກອິນເຕີເນັດ?

ກົນໄກ: ການກວດສອບສຸຂະພາບທີ່ລຶບທ່ານ, ພາຍຸ DNS 30×, ປະຕູ

1:20 ເຊີບເວີຊື່ຂອງມັນມີກົດລະບຽບ: ບໍ່ສາມາດເຂົ້າເຖິງສູນຂໍ້ມູນໄດ້, ປະກາດຕົວເອງວ່າບໍ່ສຸຂະພາບດີ, ຢຸດການໂຄສະນາທີ່ຢູ່ຂອງເຈົ້າ. ສົມເຫດສົມຜົນເມື່ອເວັບໄຊດຽວເກີດບັນຫາ. ເມື່ອໂຄງຂ່າຍຫຼັກທັງໝົດລົ້ມເຫຼວ, ທຸກເຊີບເວີຊື່ເຮັດພ້ອມກັນ. ເຊີບເວີກຳລັງເຮັດວຽກ. ບໍ່ມີໃຜສາມາດຊອກຫາພວກມັນໄດ້. ຄຸນສົມບັດຄວາມປອດໄພປ່ຽນຄວາມຜິດປົກກະຕິຂອງເຄືອຂ່າຍໄປສູ່ຄວາມຜິດປົກກະຕິຂອງການມີຢູ່. ຫຼັງຈາກນັ້ນ, ອິນເຕີເນັດກໍ່ລົ້ມເຫຼວ: ແອັບພະຍາຍາມອີກຄັ້ງ, ຜູ້ໃຊ້ໂຫຼດຄືນ,

1:39 ແລະ Cloudflare's resolver ເຫັນການໂຫຼດສາມສິບເທົ່າຂອງປົກກະຕິ, ສຳລັບເວັບໄຊທີ່ບໍ່ມີຢູ່. ແລະປະຕູ. ເຄື່ອງມື, ການເຂົ້າເຖິງນອກລະບົບ, ບັດ: ເຄືອຂ່າຍດຽວກັນ. ວິສະວະກອນຂັບລົດໄປຫາສູນຂໍ້ມູນ, ເຂົ້າບໍ່ໄດ້, ຫຼັງຈາກນັ້ນພົບກັບຕູ້ເຊີບເວີທີ່ແຂງແຮງ ເພື່ອປ້ອງກັນຜູ້ໃດຜູ້ໜຶ່ງທີ່ມີການເຂົ້າເຖິງທາງກາຍະພາບ. ສ້າງຂຶ້ນມາເພື່ອຊ້າຜູ້ໂຈມຕີ, ມັນກໍ່ຊ້າເຈົ້າຂອງເຊັ່ນກັນ. ໂຄງຂ່າຍຫຼັກກັບຄືນມາ; ພວກເຂົາເລັ່ງການຈະລາຈອນຊ້າໆ, ໂດຍເຈດຕະນາ.

1:59 ແຕ່ລະສູນຂໍ້ມູນໄດ້ຫຼຸດລົງຫຼາຍສິບເມກາວັດ, ແລະການກັບຄືນນັ້ນໃນຂັ້ນຕອນດຽວ ແມ່ນການຢຸດເຊົາຄັ້ງທີສອງ.

git blame — ການແຍກ

2:05 git blame. ເຟສບຸກ, ຫ້າສິບຫ້າເປີເຊັນ: ຄຳສັ່ງໄດ້ຖືກກວດສອບແລ້ວ, ຜູ້ກວດສອບມີຂໍ້ບົກພ່ອງ, ຄຳສັ່ງໜຶ່ງໄປເຖິງທຸກ router. ການອອກແບບ DNS, ຊາວຫ້າ: ການກວດສອບສຸຂະພາບທີ່ບໍ່ມີຄວາມສົມດຸນ. ໜຶ່ງເຄືອຂ່າຍ, ສິບຫ້າ: ເຄື່ອງມື, ນອກລະບົບ, ບັດ. ຕູ້ເຊີບເວີ, ຫ້າ, ສໍາລັບການເຮັດວຽກຂອງພວກເຂົາ. ຂອບເຂດຄວາມເສຍຫາຍ: ສາມພັນຫ້າຮ້ອຍລ້ານຜູ້ໃຊ້, ເກືອບຫົກຊົ່ວໂມງ. ຫຼັກຊັບປິດລົງຫ້າເປີເຊັນ, ຫົກຕື້ຈາກ Zuckerberg,

ຂອບເຂດຄວາມເສຍຫາຍ

2:27 ໃນເຈ້ຍ. Telegram ອ້າງວ່າເຈັດສິບລ້ານຄົນລົງທະບຽນໃນມື້ນັ້ນ. ຄຳຕັດສິນ, ຫຼັງເກີດເຫດ: NEEDS REVIEW. ຄຳຖະແຫຼງການໃນຕອນແລງດຽວກັນ, ບົດລາຍງານຫຼັງເກີດເຫດທີ່ມີຊື່ຜູ້ຂຽນພາຍໃນໜຶ່ງມື້, ຂໍ້ບົກພ່ອງຂອງເຄື່ອງມືກວດສອບຖືກຍອມຮັບເປັນພາສາອັງກິດຢ່າງຈະແຈ້ງ.

ຄຳຕັດສິນ + ເສັ້ນວັນຈັນ

2:38 ລາຍການແກ້ໄຂ: ເສີມສ້າງການທົດສອບ ແລະການຝຶກຊ້ອມ. ບໍ່ມີຫຍັງກ່ຽວກັບການຖອດປະຕູອອກຈາກເຄືອຂ່າຍການຜະລິດ. ວັນຈັນ: ເອົາການເຂົ້າເຖິງນອກລະບົບຂອງທ່ານ, ແລະປະຕູຂອງທ່ານ, ໃສ່ເຄືອຂ່າຍທີ່ທ່ານບໍ່ ໄດ້ດໍາເນີນການ. ສົ່ງເຫດການທີ່ທ່ານຍັງບໍ່ໄດ້ຮັບອະນຸຍາດໃຫ້ເວົ້າເຖິງ, ໃນຄຳເຫັນ, ຫຼືທີ່ the daily diff dot dev. ແລະນັ້ນຄືຄວາມແຕກຕ່າງສໍາລັບມື້ນີ້. ຂ້ອຍແມ່ນ Niko ຈາກ Axrisi.

2:58 Merge responsibly.

ແຫຼ່ງຂໍ້ມູນ

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

ວິດີໂອທີ່ກ່ຽວຂ້ອງ

postmortem · lo · 19 ກ.ຍ. 2026

Google Cloud ຂັດຂ້ອງໃນພື້ນທີ່ຫວ່າງເປົ່າ. ສາມຊົ່ວໂມງ.

ແຖວນະໂຍບາຍທີ່ມີຊ່ອງຫວ່າງເປົ່າສອງສາມຊ່ອງພົບຕົວຊີ້ null, ແລະ Google Cloud ຂັດຂ້ອງພ້ອມກັນໃນທຸກພາກພື້ນ – ຈາກນັ້ນ Cloudflare ກໍລົ້ມລົງໄປພ້ອມກັນ. ວັນທີ 12 ມິຖຸນາ 2025, 17:49 UTC: Service Control, ໄບນາຣີທີ່ອ

2:57 ↗
postmortem · lo · 25 ກ.ຍ. 2026

ຂໍ້ຜິດພາດໜຶ່ງມິນລິວິນາທີ ໄດ້ຢຸດຕິການຈະລາຈອນທາງອາກາດຂອງອັງກິດ. ຫົກຊົ່ວໂມງ.

ເວລາ 10:00 ໂມງ ຂອງວັນອັງຄານທີ 8 ກັນຍາ, ການຮ້ອງຂໍລະຫັດ squawk ປົກກະຕິອັນໜຶ່ງພາຍໃນລະບົບນ່ານຟ້າແຫ່ງຊາດ (NAS) ຂອງ NATS ຖືກຂັດຂວາງໂດຍຂໍ້ຄວາມທີ່ມີຄວາມສຳຄັນສູງກວ່າໃນຂະນະທີ່ມັນກຳລັງອັບເດດຄ່າໜຶ່ງຢູ່. ໄລຍະເວລາສ

3:06 ↗
postmortem · lo · 22 ກ.ຍ. 2026

ການຣີບູດເຮັດໃຫ້ Telstra ກັບຄືນສູ່ປີ 2006. ໂທລະສັບເກົ້າລ້ານເຄື່ອງ.

ວິສະວະກອນຢູ່ Melbourne ເປີດເຄື່ອງຈັບເວລາຄືນໃໝ່ໃນເວລາ 2:50 ໂມງເຊົ້າ, ແລະເມື່ອຮອດຕອນເຊົ້າເຄືອຂ່າຍໂທລະສັບມືຖືທີ່ໃຫຍ່ທີ່ສຸດຂອງອົດສະຕາລີກໍຕົກລົງວ່າມັນແມ່ນເດືອນພະຈິກ 2006. ວັນທີ 8 ກໍລະກົດ 2026: ບັດ GPS ໃນເຄ

3:15 ↗
postmortem · lo · 12 ກ.ຍ. 2026

Regex ໄດ້ເຮັດໃຫ້ Cloudflare ລົ້ມ. 27 ນາທີ.

ວັນທີ 2 ກໍລະກົດ 2019, ເວລາ 13:42 UTC: ກົດລະບຽບໃໝ່ໜຶ່ງຂໍ້ສຳລັບ Web Application Firewall ຂອງ Cloudflare ເລີ່ມໃຊ້ງານໃນຫຼາຍກວ່າ 180 ເມືອງໃນເວລາປະມານສອງວິນາທີ. ມັນເປັນກົດລະບຽບ XSS ໃນໂໝດຈຳລອງ, ດັ່ງນັ້ນມັນບໍ

3:00 ↗