এজন অভিযন্তাই GitLab-ৰ উৎপাদন ডাটাবেছ ডিলিট কৰিলে। ৩০০ গিগাবাইট।

এই ভিডিঅ’টোত কি আছে

• জানুৱাৰী ৩১, ২০১৭: প্ৰাথমিকৰ ডাটা ডিৰেক্টৰীত rm -Rvf; ~৩০০ GB আঁতৰোৱা হ'ল, ৪.৫ GB বাকী থাকিল
• ৫টাৰ ভিতৰত ৫টা বেকআপ বিফল: খালী S3 বাকেট (pg_dump সংস্কৰণ অমিল), DB-ত কোনো এজুৰ স্ন্যাপশ্বট নাই, মচি পেলোৱা ৰিপ্লিকা, ৱেবহুক নোহোৱাকৈ দৈনিক LVM কপি
• ফেৱ্ৰুৱাৰী ১, ১৮:০০ UTC: GitLab.com এটা ৬ ঘণ্টা পুৰণি মেনুৱেল স্ন্যাপশ্বটৰ পৰা পুনৰুদ্ধাৰ; লাইভ ডক, লাইভ ষ্ট্ৰীম, এটা ফিক্স লিষ্টৰ সৈতে দোষমুক্ত পোষ্টমৰ্টেম

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

0:00 GitLab-ৰ এজন অভিযন্তাই ভুল ডাটাবেছ ছাৰ্ভাৰত rm -rf চলায়, আৰু GitLab ডট কমৰ তিনিশ গিগাবাইট এক বা দুই ছেকেণ্ডৰ ভিতৰতে নোহোৱা হয়, এটা হ'ষ্টনেম পঢ়িবলৈ যিমান সময় লাগে। ৩১ জানুৱাৰী, ২০১৭, নিশা ১১:২৭ বজা UTC। GitLab-এ টুইট কৰে যে ই ভুলবশতঃ প্ৰডাকচন ডাটা ডিলিট কৰিছে, ইণ্টাৰনেটত ইয়াৰ ইনচিডেন্ট নোট মুকলি কৰে, আৰু YouTube-ত ৰিকোভাৰী ষ্ট্ৰীম কৰে, প্লেটফৰ্মৰ দ্বিতীয় নম্বৰ লাইভ ষ্ট্ৰীম। পিছদিনা, লিখি থোৱা আছে: পাঁচটা বেকআপ কৌশলৰ ভিতৰত,

0:25 এটাও নিৰ্ভৰযোগ্যভাৱে কাম নকৰে। এইটো কেনেকৈ হয়, কিয় সম্ভৱ, আৰু কোনে আচলতে দোষ পায়। এইটো The Daily Diff, পোষ্টমৰ্টেম। সন্ধিয়া ৫:২০ বজা: এজন অভিযন্তাই প্ৰডাকচনৰ স্ন্যাপশ্বট লয় ষ্টেজিংত এটা লোড বেলেঞ্চাৰ পৰীক্ষা কৰিবলৈ। সন্ধিয়া ৭ বজা: স্পামে ডাটাবেছত হেমাৰ কৰে, লগতে এটা কামে GitLab কৰ্মচাৰীক হাৰ্ড-ডিলিট কৰে ট্ৰলে অপব্যৱহাৰৰ বাবে ৰিপোৰ্ট কৰিছিল। নিশা ১১ বজা: ৰিপ্লিকা ইমান পিছ পৰি যায় যে প্ৰাথমিকজনে ইতিমধ্যে

0:48 তাৰ প্ৰয়োজনীয় লগ বাতিল কৰিছে; একমাত্ৰ সমাধান হৈছে ৰিপ্লিকা মচি পেলাই প্ৰাথমিকটো পুনৰ কপি কৰা pg_basebackup কোনো আউটপুট নোহোৱাকৈ আৱদ্ধ হৈ পৰে। ই আচলতে, নিৰৱে, প্ৰাথমিকৰ বাবে অপেক্ষা কৰি আছে; কোনেও নাজানে যে, আৰু ৰাণবুকে নকয়। অভিযন্তা জনে, যি এঘাৰ বজাত চাইন অফ কৰিব বিচাৰিছিল, সিদ্ধান্ত লয় যে খালী ডাটা ডিৰেক্টৰী সমস্যাটো আৰু ইয়াক আঁতৰাই দিয়ে। db1-ত। প্ৰাথমিক। তেওঁ এক বা দুই ছেকেণ্ডৰ পিছত লক্ষ্য কৰে; প্ৰায় তিনিশ গিগাবাইটৰ ভিতৰত,

1:11 ৪.৫ বাকী থাকে। বেকআপবোৰ। এক: S3-লৈ pg_dump, দৈনিক। বাকেটটো খালী। ক্ৰন জবটো কোনো ডাটাবেছ নোহোৱা এটা এপ ছাৰ্ভাৰত চলে, সেয়েহে পেকেজে ৯.৬ ডাটাবেছৰ বাবে PostgreSQL ৯.২ বাইনাৰী বাছনি কৰে, বিফল হয়, আৰু ইমেইল কৰে বিফলতা, যি DMARC নোহোৱাৰ বাবে বাউন্স হয়। দুই: এজুৰ ডিস্ক স্ন্যাপশ্বট, ফাইল ছাৰ্ভাৰৰ বাবে সক্ষম কৰা হৈছে, ডাটাবেছৰ বাবে নহয়।

1:32 তিনি: ৰিপ্লিকা, এঘণ্টা আগতে উদ্দেশ্যপ্ৰণোদিতভাৱে মচি পেলোৱা হৈছে। চাৰি: দৈনিক স্ন্যাপশ্বট, ২৪ ঘণ্টা পুৰণি, ষ্টেজিং ছিন্কৰ দ্বাৰা প্ৰতিটো ৱেবহুক আঁতৰোৱা হৈছে। পাঁচ: ৫:২০ বজাৰ মেনুৱেল স্ন্যাপশ্বট, এটা অপ্ৰাসংগিক পৰীক্ষাৰ বাবে। সেইটোৱে জয় কৰে। ৰিষ্টোৰ কৰাৰ অৰ্থ হৈছে ষ্টেজিং ডিস্কক পুনৰ প্ৰডাকচনলৈ এজুৰৰ সস্তা প্ৰতি ছেকেণ্ডত ষাঠি মেগাবাইটত ষ্টোৰেজৰ ওপৰত কপি কৰা: ওঠৰ ঘণ্টা। GitLab ডট কম ফেব্ৰুৱাৰী ১ তাৰিখে সন্ধিয়া ছয় বজাত পুনৰুদ্ধাৰ হয় UTC, ছয় ঘণ্টাৰ ডাটা পুৰণি।

1:58 git blame: দুটা হ'ষ্টনেম এটা আখৰৰ পাৰ্থক্যত, আৰু পাঁচটা বেকআপ ছিষ্টেম যাৰ পৰা কোনেও কেতিয়াও ৰিষ্টোৰ কৰা নাই। অভিযন্তা নহয়। চিইও-ৰ দ্বাৰা স্বাক্ষৰিত পোষ্টমৰ্টেমটোৱে তেওঁক বেনামী ৰাখে, প্ৰডাকচন প্ৰম্পটক ৰঙা ৰঙত ৰং কৰে, আৰু ডাটা দুৰ্বলতাৰ এটা মালিক দিয়ে, কিয়নো এতিয়ালৈকে ইয়াৰ এটা নাছিল। ব্লাষ্ট ৰেডিয়াছে: ওঠৰ ঘণ্টা ডাউন, ছয় ঘণ্টাৰ ডাটা হেৰাল, প্ৰায় পাঁচ হাজাৰ প্ৰজেক্ট, পাঁচ হাজাৰ মন্তব্য,

2:18 সাতশ নতুন ব্যৱহাৰকাৰী, আৰু পাঁচ হাজাৰ লোকে এটা প্ৰগ্ৰেছ বাৰ চাই আছে। হেকাৰ নিউজে লাইভ ডকক ১,১৬২ পইণ্ট দিয়ে আৰু এটা লাইন তেওঁলোকলৈ ওভতাই দিয়ে: পাঁচটা বেকআপৰ ভিতৰত, এটাও নহয়। ৰায়, পোষ্টমৰ্টেম: SHIP IT, সঁহাৰিৰ ওপৰত। তেওঁলোকে ঘটনাটো ৰাজহুৱাভাৱে চলায়, প্ৰক্ৰিয়াটোক দোষ দিয়ে, আৰু সমস্যা নম্বৰৰ সৈতে ফিক্স লিষ্ট প্ৰকাশ কৰে। সোমবাৰৰ কাৰ্য: এটা বেকআপ ৰিষ্টোৰ কৰা। যদি আপুনি ইয়াক কেতিয়াও ৰিষ্টোৰ কৰা নাই, তেন্তে আপোনাৰ এটা নাই।

2:42 আপুনি এতিয়াও কথা পাতিবলৈ অনুমতি নথকা ঘটনাটো মোক পঠিয়াওক, মন্তব্যত, বা daily diff dot dev-ত। আৰু এইটোৱেই আজিৰ বাবে diff। মই Axrisi-ৰ পৰা Niko। দায়িত্বশীলভাৱে একত্ৰিত কৰক।

উৎসসমূহ

1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
4. @gitlabstatus, emergency maintenance noticetwitter.com
5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
6. Hacker News, the postmortem thread (377 points)news.ycombinator.com