ፌስቡክ ራሱን ከኢንተርኔት ሰርዞ ነበር። ስድስት ሰዓታት።

ይህ ቪዲዮ ምን ይሸፍናል

• ፌስቡክ የራሱን አድራሻ አጠፋ
• ደረሰኞች: Meta Engineering, Cloudflare, Hacker News
• ይህ The Daily Diff, postmortem ነው
• የጊዜ ሰሌዳ: 15:39 ትዕዛዝ → 15:40 ተቋርጧል → 21:20 ተመልሷል
• አሰራር: የሚያጠፋዎት የጤና ምርመራ፣ የ30× DNS ማዕበል፣ በሮቹ

የተተረጎመ ግልባጭ

ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።

ፌስቡክ የራሱን አድራሻ አጠፋ

0:00 ፌስቡክ የራሱን አድራሻ ከኢንተርኔት አጠፋ፣ እና መሃንዲሶቹ መልሰው ለማስቀመጥ ሲመጡ፣ ባጅ አንባቢዎቹም አይሰሩም ምክንያቱም እነሱ በፌስቡክ ላይ ስለሚሰሩ ነው። የሜታ የራሱ ከብልሽት በኋላ ምርመራ፣ በሚቀጥለው ቀን፡- የተለመደ የጥገና ትዕዛዝ ሁሉንም የጀርባ አጥንት ግንኙነት ያቋርጣል፣ እና እንደዚህ አይነት ትዕዛዞችን ለመከላከል የተሰራው መሳሪያ ስህተት አለበት።

ደረሰኞች: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare፣ ከውጪ፡ በ15:40 UTC የፌስቡክ ስም አገልጋዮች መስመሮች ይጠፋሉ፣ እና dig facebook.com በፕላኔቷ ላይ በሁሉም ቦታ SERVFAILን ይመልሳል። እንዴት እንደሚሆን፣ የደህንነት ባህሪው ለምን እንደሚያባብሰው፣ እና ተጠያቂው ማነው። ይህ The Daily Diff, postmortem ነው። ከሰዓት በኋላ፣ UTC።

ይህ The Daily Diff, postmortem ነው

0:34 ነጻ የጀርባ አጥንት አቅምን ለመፈተሽ የታሰበ ትዕዛዝ በምትኩ ሁሉንም ግንኙነት ያቋርጣል በፌስቡክ የውሂብ ማዕከላት መካከል፣ እና በትክክል ይህንን ለመያዝ የተሰራው የኦዲት መሳሪያ

የጊዜ ሰሌዳ: 15:39 ትዕዛዝ → 15:40 ተቋርጧል → 21:20 ተመልሷል

0:41 ያሳልፈዋል። 15:40። የCloudflare BGP ፍሰት በማቋረጦች ይሞላል፤ የፌስቡክ DNS ቅድመ ቅጥያዎች የራውቲንግ ሰንጠረዡን ይተዋሉ። በአንድ ደቂቃ ውስጥ የCloudflare መሃንዲሶች 1.1.1.1 ሰበሩ እንደሆነ እያሰቡ ክፍል ውስጥ ናቸው። 15:45፣ Hacker News፣ ሁለት ሺህ ስድስት መቶ ነጥቦች። 16:07፣ የፌስቡክ ቃል አቀባይ፣ ከሁሉም ቦታ ትዊተር ላይ: አንዳንድ ሰዎች መተግበሪያዎቻችንን ለመድረስ ችግር አለባቸው። አንዳንድ ሰዎች ማለት ሦስት ተኩል ቢሊዮን ናቸው።

1:06 18:51፣ ኒው ዮርክ ታይምስ፡ ሰራተኞች ከህንፃዎቻቸው ተዘግተዋል፣ ባጆች ሞተዋል። 19:52፣ CTO ይቅርታ ይጠይቃል። 21:00፣ አምስት ሰዓታት ውስጥ፣ መስመሮች ይመለሳሉ፤ 21:20፣ facebook.com ይፈታል. የጀርባ አጥንት ስህተት ፌስቡክን ከኢንተርኔት ለምን ያጠፋል?

አሰራር: የሚያጠፋዎት የጤና ምርመራ፣ የ30× DNS ማዕበል፣ በሮቹ

1:20 የስም አገልጋዮቹ ህግ አላቸው: የውሂብ ማዕከላቱን መድረስ ካልቻሉ፣ ራሳችሁን ጤናማ ያልሆኑ አድርጉ፣ አድራሻችሁን ማስተዋወቅ አቁሙ። አንድ ጣቢያ ሲበላሽ ምክንያታዊ ነው። መላው የጀርባ አጥንት ሲበላሽ፣ እያንዳንዱ ስም አገልጋይ በአንድ ጊዜ ያደርገዋል። አገልጋዮቹ በርተዋል። ማንም ሊያገኛቸው አይችልም። የደህንነት ባህሪ የአውታረ መረብ ስህተትን ወደ ህልውና ስህተት ይለውጠዋል። ከዚያ ኢንተርኔቱ ይከመራል: መተግበሪያዎች እንደገና ይሞክራሉ፣ ተጠቃሚዎች እንደገና ይጫናሉ፣

1:39 እና የCloudflare መፍቻ የራሱን መደበኛ ጭነት ሠላሳ እጥፍ ያያል፣ ለሌለ ጣቢያ። እና በሮቹ። መሳሪያዎች፣ ከጥቅም ውጪ መዳረሻ፣ ባጆች፡ ተመሳሳይ አውታረ መረብ። መሃንዲሶች ወደ የውሂብ ማዕከላት ይነዳሉ፣ መግባት አይችሉም፣ ከዚያ አካላዊ መዳረሻ ባለው ማንኛውም ሰው ላይ የተጠናከሩ ራኮችን ያገኛሉ። አጥቂን ለማዘግየት የተሰራ ቢሆንም፣ ባለቤቱንም ያዘገየዋል። የጀርባ አጥንት ይመለሳል፤ ትራፊክን ቀስ ብለው ያሳድጋሉ፣ ሆን ተብሎ።

1:59 እያንዳንዱ የውሂብ ማዕከል አስር ሜጋዋት ወርዷል፣ እና ይህንን በአንድ እርምጃ መቀልበስ ሁለተኛ መቋረጥ ነው።

git blame — ክፍፍሉ

2:05 git blame. ፌስቡክ፣ ሃምሳ አምስት በመቶ: ትዕዛዙ ተመርምሯል፣ የኦዲት ሰሪው ስህተት ነበረበት፣ አንድ ትዕዛዝ እያንዳንዱን ራውተር ደረሰ። የDNS ንድፍ፣ ሃያ አምስት: ምንም ዓይነት የተመጣጠነ ስሜት የሌለው የጤና ምርመራ። አንድ አውታረ መረብ፣ አስራ አምስት: መሳሪያዎች፣ ከጥቅም ውጪ፣ ባጆች። ራኮቹ፣ አምስት፣ ስራቸውን ስለሰሩ። የፍንዳታ መጠን: ሦስት ተኩል ቢሊዮን ተጠቃሚዎች፣ ወደ ስድስት ሰዓታት ያህል። አክሲዮኑ አምስት በመቶ ቀንሶ ይዘጋል፣ ስድስት ቢሊዮን ከዙከርበርግ ቀንሷል፣

የፍንዳታ መጠን

2:27 በወረቀት ላይ። ቴሌግራም በዚያ ቀን ሰባ ሚሊዮን የተመዘገቡ ተጠቃሚዎችን ይገባኛል ይላል። ፍርድ፣ ከብልሽት በኋላ ምርመራ: NEEDS REVIEW. በዚያው ምሽት የተሰጠ መግለጫ፣ ስም የተጠቀሰለት ደራሲ ከብልሽት በኋላ ምርመራ በአንድ ቀን ውስጥ፣ የኦዲት መሳሪያ ስህተት በእንግሊዝኛ ተቀባይነት አግኝቷል።

ውሳኔ + የሰኞው መስመር

2:38 የጥገና ዝርዝር: ምርመራን እና ልምምዶችን ማጠናከር። በምርት አውታረ መረብ ላይ በሮቹን ስለማንሳት ምንም የለም። ሰኞ: ከጥቅም ውጪ የሆነውን መዳረሻዎን፣ እና በርዎን፣ እርስዎ በማይሰሩበት አውታረ መረብ ላይ ያድርጉ። ያሰራጩት። እስካሁን ስለእሱ ማውራት የማይፈቀድልዎትን ክስተት ይላኩልኝ፣ በአስተያየቶች ውስጥ፣ ወይም በ daily diff dot dev። እና የዛሬው ልዩነት ይህ ነው። እኔ ከAxrisi ኒኮ ነኝ።

2:58 ኃላፊነት በተሞላበት መንገድ ያዋህዱ።

ምንጮች

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com