Isang deploy sa 7 sa 8 server ang nalugi ng $460 milyon. 45 minuto.

Ang sakop ng video na ito

• Hulyo 27–31, 2012: Kinopya nang mano-mano ang RLP code sa 7 sa 8 SMARS server; walang pangalawang tagarepaso, walang nakasulat na pamamaraan
• Agosto 1, 8:01 a.m.: 97 na e-mail na "Power Peg disabled" bago magbukas; hindi idinisenyo bilang mga alerto, hindi nabasa
• Agosto 1, 9:30–10:15: Ang 212 order ay naging 4M executions sa 154 na stock; $3.5B long, $3.15B short; $460M nawala; ang pag-uninstall ng bagong code ay nagpalala rito
• Agosto 2 – Disyembre 19: shares −63% sa $2.58, $400M na pagliligtas sa $1.50/share, merger sa GETCO; Oktubre 2013: $12M na multa ng SEC, unang kaso ng Market Access Rule

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

0:00 Isang firm sa trading ang nag-deploy ng bagong code sa pito sa walong server, at ang ikawalo ay bumibili at nagbebenta ng halos pitong bilyong dolyar ng stock sa apatnapu't limang minuto, na marami, kahit para sa isang Miyerkules. Agosto 1, 2012. Knight Capital, isang ikasampu ng lahat ng U.S. stock trading, nag-ulat ng 440 milyong dolyar na pagkalugi. Kalaunan ay binilang ng SEC ang higit sa 460, pinagmulta ang Knight ng labindalawang milyon, at isinulat mismo ang postmortem: sampung pahina, zero adjectives.

0:25 Paano ito nangyari, bakit ito posible, at sino talaga ang may kasalanan. Ito ang The Daily Diff, postmortem. Hulyo 27. Inilunsad ng New York Stock Exchange ang isang retail liquidity program sa Agosto 1, kaya kinopya ng Knight ang bagong code sa SMARS, ang order router nito, ilang server kada araw, nang mano-mano. Isang technician, walong server, pitong kopya. Walang nagche-check; walang panuntunan ang nagsasaad na kailangan. 8:01 a.m. Isang panloob na sistema ang nagsimulang mag-email ng error sa staff na nagsasaad: Power

0:51 Peg disabled. Siyamnapu't pitong email bago magbukas. Hindi sila idinisenyo bilang mga alerto, kaya walang nagbabasa sa kanila, na isang desisyon sa disenyo na may presyo. 9:30, magbubukas ang merkado. Pitong server ang nagpapatakbo ng bagong code. Ang ikawalo ay nakikita ang parehong flag at nagpapatakbo ng Power Peg sa halip: code na inalis ng Knight noong 2003 at hindi kailanman binura. Nagpapadala ito ng mga child order para sa 212 customer order, at hindi humihinto.

1:13 Apat na milyong executions. 397 milyong shares. Ang isang holding account ay lumobo lampas sa dalawang milyong dolyar na limitasyon nito, na walang koneksyon sa anuman. Ang mga inhinyero, sa isang live na merkado, ay in-uninstall ang bagong code mula sa pitong magandang server, na nagbukas ng Power Peg sa lahat ng dako. Bandang 10:15 ito humihinto: tatlo at kalahating bilyong long, tatlong punto kinse bilyong short.

1:31 Isa: ang stop condition ng Power Peg, ang counter na nagsasaad na ang parent order ay puno, ay inilipat noong 2005 at hindi na muling nasubukan, kaya ang retired code naglo-loop magpakailanman. Dalawa: ang bagong feature ay muling ginamit ang lumang flag ng Power Peg, kaya ang parehong oo ay nangangahulugang dalawang bagay sa dalawang server. Tatlo: walang kill switch. Walang naghahambing ng mga order out laban sa mga order in; walang nagpapahinto sa SMARS. Ang risk monitor ay isang screen na pinapanood ng mga tao; hindi nito ipinapakita ang mga limitasyon. git blame: isang flag na muling ginamit sa halip na bago, dead code na maaaring tawagan sa loob ng siyam

2:00 na taon, at isang manual deploy na walang pangalawang pares ng mata. Hindi ang technician. Hindi siya kailanman pinangalanan ng order ng SEC, at hindi rin ako. Blast radius: 460 milyong dolyar, humigit-kumulang sampung milyon kada minuto. Ang mga shares ay bumaba ng 63 porsiyento sa dalawang dolyar limampu't walo, isang 400 milyong dolyar na pagliligtas sa isang dolyar limampu kada share, isang merger sa Getco bago Pasko. Hacker News, Huwebes: paano ito tumakbo ng 45 minuto nang walang taong pumasok? Hindi. Pinagpalala ng mga tao.

2:25 Verdict, postmortem: revert. Hindi kailanman isinulat ng Knight ang sarili nitong postmortem; ang regulator ang gumawa, labing-apat na buwan mamaya, at ang solusyon ay isang multa at isang merger. Lunes: bagong feature, bagong flag; burado ang dead code, hindi disabled; anumang nagpapadala ng order ay magkakaroon ng off switch. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagang pag-usapan, sa mga komento, o sa the daily diff dot dev. At iyan ang diff para sa ngayon.

2:48 Ako si Niko mula sa Axrisi. Merge responsibly.

Mga Pinagmulan

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com