+− THE DAILY DIFFdev & AI news
REVERT

8টি সার্ভারের মধ্যে 7টিতে একটি ডেপ্লয়মেন্টের কারণে $460 মিলিয়ন লোকসান হয়েছে। 45 মিনিট।

১ আগস্ট, ২০১২, সকাল ৯:৩০ ইটি: নাইট ক্যাপিটাল, যা সমস্ত মার্কিন স্টক ট্রেডিংয়ের প্রায় এক-দশমাংশ বাজারের নির্মাতা, তাদের আটটি SMARS সার্ভারের মধ্যে সাতটিতে নতুন অর্ডার-রাউটিং কোড ডেপ্লয় করেছে।

১ আগস্ট, ২০১২, সকাল ৯:৩০ ইটি: নাইট ক্যাপিটাল, যা সমস্ত মার্কিন স্টক ট্রেডিংয়ের প্রায় এক-দশমাংশ বাজারের নির্মাতা, তাদের আটটি SMARS সার্ভারের মধ্যে সাতটিতে নতুন অর্ডার-রাউটিং কোড ডেপ্লয় করেছে। অষ্টমটিতে এখনও “Power Peg” চলছে, যা ২০০৩ সালে অবসর নেওয়া কোড ছিল, এবং নতুন ফিচারটি যে ফ্ল্যাগটি পুনরায় ব্যবহার করে তার পিছনেই এটি ছিল। ৪৫ মিনিট ধরে এটি এমন চাইল্ড অর্ডার পাঠাতে থাকে যা কখনও থামে না: ৪ মিলিয়ন এক্সিকিউশন, ৩৯৭ মিলিয়ন শেয়ার, প্রায় $৭ বিলিয়ন পজিশন, $৪৬০ মিলিয়ন লোকসান। বাজার খোলার আগে ৯৭টি সতর্কতামূলক ই-মেইল এসেছিল। পোস্টমর্টেম, SEC-এর নিজস্ব আদেশ থেকে: ম্যানুয়াল ডেপ্লয় যা কেউ পর্যালোচনা করেনি, দুটি অর্থ সহ ফ্ল্যাগ, ২০০৫ সালে স্থানান্তরিত হওয়া স্টপ-কাউন্টার যা কখনও পুনরায় পরীক্ষা করা হয়নি, কিল সুইচ যা অস্তিত্বে ছিল না এবং লাইভ মার্কেটে “ফিক্স” যা পরিস্থিতি আরও খারাপ করে তুলেছিল। ফিক্সের রায়: REVERT।

লিখিত সংস্করণ পড়ুন (ইংরেজি) ↗

এই ভিডিওতে যা আছে

  • ২৭-৩১ জুলাই, ২০১২: RLP কোড হাতে করে 8টি SMARS সার্ভারের মধ্যে 7টিতে কপি করা হয়েছিল; দ্বিতীয় কোনো পর্যালোচনাকারী, কোনো লিখিত পদ্ধতি ছিল না
  • ১ আগস্ট, সকাল ৮:০১: বাজার খোলার আগে ৯৭টি "Power Peg disabled" ই-মেইল; অ্যালার্ট হিসাবে ডিজাইন করা হয়নি, পড়া হয়নি
  • ১ আগস্ট, ৯:৩০-১০:১৫: ২১২টি অর্ডার থেকে ১৫৪টি স্টকে ৪এম এক্সিকিউশন; $৩.৫ বিলিয়ন লং, $৩.১৫ বিলিয়ন শর্ট; $৪৬০ মিলিয়ন লোকসান; নতুন কোড আনইনস্টল করলে পরিস্থিতি আরও খারাপ হয়
  • ২ আগস্ট – ১৯ ডিসেম্বর: শেয়ার -৬৩% কমে $২.৫৮-তে, $১.৫০/শেয়ারে $৪০০ মিলিয়ন উদ্ধার, GETCO-এর সাথে একীভূতকরণ; অক্টোবর ২০১৩: $১২ মিলিয়ন SEC জরিমানা, প্রথম মার্কেট অ্যাক্সেস রুল কেস

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

0:00 একটি ট্রেডিং ফার্ম আটটি সার্ভারের মধ্যে সাতটিতে নতুন কোড ডেপ্লয় করে, এবং অষ্টমটি প্রায় সাত বিলিয়ন ডলারের স্টক কেনাবেচা করে পঁয়তাল্লিশ মিনিটে, যা অনেক বেশি, এমনকি বুধবারের জন্যও। ১লা আগস্ট, ২০১২। নাইট ক্যাপিটাল, যা সমস্ত মার্কিন স্টকের এক-দশমাংশ স্টক ট্রেডিং, $৪৪০ মিলিয়ন ক্ষতির খবর দেয়। SEC পরে ৪৬০ মিলিয়নেরও বেশি গণনা করে, নাইটকে বারো মিলিয়ন জরিমানা করে, এবং পোস্টমর্টেমটি নিজেই লেখে: দশ পৃষ্ঠা, শূন্য বিশেষণ।

0:25 এটি কীভাবে ঘটে, কেন এটি সম্ভব, এবং কে আসলে দোষী। এটি The Daily Diff, পোস্টমর্টেম। ২৭শে জুলাই। নিউ ইয়র্ক স্টক এক্সচেঞ্জ একটি খুচরা তারল্য প্রোগ্রাম চালু করে ১লা আগস্ট, তাই নাইট তার অর্ডার রাউটার SMARS-এ নতুন কোড কপি করে, প্রতিদিন হাতে করে কয়েকটি সার্ভারে। একজন টেকনিশিয়ান, আটটি সার্ভার, সাতটি কপি। কেউ পরীক্ষা করে না; কোনো নিয়ম বলে না কাউকে করতে হবে। সকাল ৮:০১। একটি অভ্যন্তরীণ সিস্টেম কর্মীদের একটি ত্রুটি ইমেল করা শুরু করে যা পড়ে: পাওয়ার

0:51 পেগ অক্ষম করা হয়েছে। খোলার আগে সাতাশটি ইমেল। এগুলি অ্যালার্ট হিসাবে ডিজাইন করা হয়নি, তাই কেউ এগুলি পড়ে না, যা একটি ডিজাইন সিদ্ধান্ত যার একটি মূল্য ট্যাগ আছে। ৯:৩০, বাজার খোলে। সাতটি সার্ভার নতুন কোড চালায়। অষ্টমটি একই ফ্ল্যাগ দেখে এবং পরিবর্তে Power Peg চালায়: নাইট ২০০৩ সালে অবসর নেওয়া কোড এবং কখনও মুছে ফেলা হয়নি। এটি ২১২টি গ্রাহক অর্ডারের জন্য চাইল্ড অর্ডার পাঠায় এবং কখনও থামে না।

1:13 চার মিলিয়ন এক্সিকিউশন। ৩২৭ মিলিয়ন শেয়ার। একটি হোল্ডিং অ্যাকাউন্ট তার দুই মিলিয়ন ডলারের সীমা ছাড়িয়ে ফুলে ওঠে, যা কিছুর সাথে সংযুক্ত নয়। ইঞ্জিনিয়ররা, একটি লাইভ বাজারে, সাতটি ভালো সার্ভার থেকে নতুন কোড আনইনস্টল করে, যা সব জায়গায় Power Peg চালু করে দেয়। প্রায় ১০:১৫ নাগাদ এটি থামে: সাড়ে তিন বিলিয়ন লং, ৩.১৫ বিলিয়ন শর্ট।

1:31 এক: Power Peg-এর স্টপ কন্ডিশন, যে কাউন্টারটি বলে যে প্যারেন্ট অর্ডারটি পূর্ণ হয়েছে, সেটি ২০০৫ সালে সরানো হয়েছিল এবং কখনও পুনরায় পরীক্ষা করা হয়নি, তাই অবসরপ্রাপ্ত কোডটি চিরকাল লুপ করে। দুই: নতুন ফিচারটি Power Peg-এর পুরনো ফ্ল্যাগ পুনরায় ব্যবহার করে, তাই একই 'হ্যাঁ' দুটি সার্ভারে দুটি ভিন্ন জিনিস বোঝায়। তিন: কোনো কিল সুইচ নেই। কোনো কিছু আউট অর্ডারকে ইন অর্ডারের সাথে তুলনা করে না; কোনো কিছু SMARS-কে থামায় না। ঝুঁকি মনিটর হল মানুষের দ্বারা দেখা একটি স্ক্রিন; এটি সীমা দেখায় না। git blame: একটি নতুন ফ্ল্যাগের পরিবর্তে একটি পুরনো ফ্ল্যাগ পুনরায় ব্যবহার করা হয়েছে, নয় বছর ধরে কলযোগ্য

2:00 ডেড কোড, এবং একটি ম্যানুয়াল ডেপ্লয় যেখানে দ্বিতীয় কোনো চোখ দেখেনি। টেকনিশিয়ান নয়। SEC-এর আদেশ কখনও তার নাম উল্লেখ করেনি, আমিও করব না। বিস্ফোরণের ব্যাসার্ধ: ৪৬০ মিলিয়ন ডলার, প্রায় প্রতি মিনিটে দশ মিলিয়ন। শেয়ার ৬৩ শতাংশ কমে দুই ডলার আটান্ন সেন্টে, এক ডলার পঞ্চাশ সেন্ট প্রতি শেয়ারে $৪০০ মিলিয়ন উদ্ধার, ক্রিসমাসের মধ্যে Getco-এর সাথে একীভূতকরণ। হ্যাঁকার নিউজ, বৃহস্পতিবার: কিভাবে ৪৫ মিনিট চলল কোনো মানুষের হস্তক্ষেপ ছাড়া? এটি হয়নি। মানুষেরা এটিকে আরও খারাপ করে দিয়েছে।

2:25 রায়, পোস্টমর্টেম: REVERT। নাইট কখনও নিজস্ব পোস্টমর্টেম লেখে না; নিয়ন্ত্রক লেখে, চোদ্দ মাস পরে, এবং সমাধান হল একটি জরিমানা এবং একটি একীভূতকরণ। সোমবার: নতুন ফিচার, নতুন ফ্ল্যাগ; ডেড কোড মুছে ফেলা হয়, অক্ষম করা হয় না; যে কোনো কিছু অর্ডার পাঠায় তাতে একটি অফ সুইচ থাকে। আমাকে সেই ঘটনাটি পাঠান যা নিয়ে আপনি এখনও কথা বলতে পারবেন না, মন্তব্যে, অথবা daily diff dot dev-এ। এবং এটি আজকের জন্য diff।

2:48 আমি Axrisi থেকে Niko। দায়িত্বের সাথে মার্জ করুন।

উৎস

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

সম্পর্কিত ভিডিও

postmortem · bn · ১৯ সেপ, ২০২৬

একটি ফাঁকা ক্ষেত্রে গুগল ক্লাউড ক্র্যাশ করেছে। তিন ঘণ্টা।

কয়েকটি ফাঁকা ক্ষেত্র সহ একটি নীতি সারি একটি শূন্য পয়েন্টারকে আঘাত করে এবং গুগল ক্লাউড একই সাথে প্রতিটি অঞ্চলে ক্র্যাশ করে — তারপরে ক্লাউডফ্লেয়ারও এর সাথে পড়ে যায়। ১২ জুন, ২০২৫, ১৭:৪৯ ইউটিসি: সার্

2:57 ↗
postmortem · bn · ১২ সেপ, ২০২৬

একটি রেগুলার এক্সপ্রেশন ক্লাউডফ্লেয়ারকে ২৭ মিনিটের জন্য অচল করে দিয়েছে।

২ জুলাই, ২০১৯, ১৩:৪২ ইউটিসি: ক্লাউডফ্লেয়ারের ওয়েব অ্যাপ্লিকেশন ফায়ারওয়ালের জন্য একটি নতুন নিয়ম প্রায় দুই সেকেন্ডের মধ্যে ১৮০+ শহরে চালু হয়। এটি সিমুলেট মোডে একটি XSS নিয়ম, তাই এটি কিছুই ব্লক ক

3:00 ↗
postmortem · bn · ২৫ সেপ, ২০২৬

এক-মিলিসেকেন্ডের একটি ত্রুটি যুক্তরাজ্যের বিমান চলাচল বন্ধ করে দিয়েছে। ছয় ঘণ্টা ধরে।

মঙ্গলবার, ৮ সেপ্টেম্বর সকাল ১০:০০ টায়, NATS-এর ন্যাশনাল এয়ারস্পেস সিস্টেম (NAS)-এর মধ্যে একটি রুটিন স্কোয়াক-কোড অনুরোধ একটি উচ্চ-অগ্রাধিকার বার্তার দ্বারা বাধাগ্রস্ত হয় যখন এটি একটি মান আপডেট করার

3:06 ↗
postmortem · bn · ২২ সেপ, ২০২৬

একটি রিবুট টেলস্ট্রাকে ২০০৬ সালে ফিরিয়ে নিয়ে যায়। নব্বই লক্ষ ফোন।

মেলবোর্নের একজন প্রকৌশলী ভোর ২:৫০ টায় একটি টাইমিং চ্যাসিস পুনরায় চালু করেন এবং সকালের নাস্তার সময় অস্ট্রেলিয়ার বৃহত্তম মোবাইল নেটওয়ার্ক একমত হয় যে এটি ২০০৬ সালের নভেম্বর মাস। ৮ জুলাই, ২০২৬: টেলস

3:15 ↗