Postavljanje na 7 od 8 poslužitelja uzrokovalo je gubitak od 460 milijuna dolara. 45 minuta.
1.
1. kolovoza 2012., 9:30 ujutro ET: Knight Capital, tržišni sudionik odgovoran za otprilike desetinu cjelokupnog američkog trgovanja dionicama, upravo je implementirao novi kôd za usmjeravanje naloga na sedam od svojih osam SMARS poslužitelja. Osmi još uvijek koristi "Power Peg", kôd povučen 2003., iza iste zastavice koju nova značajka ponovno koristi. 45 minuta šalje podnaloge koji nikad ne prestaju: 4 milijuna izvršenja, 397 milijuna dionica, pozicije u vrijednosti oko 7 milijardi dolara, gubitak od 460 milijuna dolara. Prije otvaranja stiglo je 97 upozoravajućih e-mailova. Postmortem, iz naloga same SEC-a: ručno postavljanje koje nitko nije pregledao, zastavica s dva značenja, brojač zaustavljanja premješten 2005. i nikad ponovno testiran, prekidač za hitno zaustavljanje koji nije postojao, i "popravak" na živom tržištu koji je pogoršao situaciju. Presuda o popravku: REVERT.
Pročitajte pisano izdanje (engleski) ↗
Što ovaj video pokriva
- 27. – 31. srpnja 2012.: RLP kôd ručno kopiran na 7 od 8 SMARS poslužitelja; bez drugog recenzenta, bez pisane procedure
- 1. kolovoza, 8:01 ujutro: 97 e-mailova "Power Peg disabled" prije otvaranja; nisu dizajnirani kao upozorenja, nisu pročitani
- 1. kolovoza, 9:30 – 10:15: 212 naloga postaje 4M izvršenja u 154 dionice; 3,5 milijardi dolara duga, 3,15 milijardi dolara kratka; 460 milijuna dolara izgubljeno; deinstaliranje novog koda pogoršava situaciju
- 2. kolovoza – 19. prosinca: dionice −63% na 2,58 USD, spašavanje od 400 milijuna USD po 1,50 USD/dionici, spajanje s GETCO-om; listopad 2013.: kazna SEC-a od 12 milijuna USD, prvi slučaj pravila o pristupu tržištu
Prevedeni transkript
Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.
0:00 Trgovačka tvrtka postavlja novi kôd na sedam od osam poslužitelja, a osmi kupuje i prodaje dionice u vrijednosti od gotovo sedam milijardi dolara u četrdeset pet minuta, što je puno, čak i za srijedu. 1. kolovoza 2012. Knight Capital, desetina svih američkih trgovanja dionicama, prijavljuje gubitak od 440 milijuna dolara. SEC kasnije broji više od 460, kažnjava Knight s dvanaest milijuna, i sama piše postmortem: deset stranica, nula pridjeva.
0:25 Kako se to događa, zašto je moguće i tko je zapravo kriv. Ovo je The Daily Diff, postmortem. 27. srpnja. Njujorška burza pokreće program likvidnosti za maloprodaju 1. kolovoza, pa Knight kopira novi kôd na SMARS, svoj usmjerivač naloga, nekoliko poslužitelja dnevno, ručno. Jedan tehničar, osam poslužitelja, sedam kopija. Nitko ne provjerava; nijedno pravilo ne kaže da itko mora. 8:01 ujutro. Interni sustav počinje slati osoblju e-poštom pogrešku koja glasi: Power
0:51 Peg onemogućen. Devedeset i sedam e-mailova prije otvaranja. Nisu dizajnirani kao upozorenja, pa ih nitko ne čita, što je odluka o dizajnu s cijenom. 9:30, tržište se otvara. Sedam poslužitelja pokreće novi kôd. Osmi vidi istu zastavicu i umjesto toga pokreće Power Peg: kôd koji je Knight povukao 2003. i nikada nije izbrisao. Šalje podnaloge za 212 korisničkih naloga i nikada ne prestaje.
1:13 Četiri milijuna izvršenja. 397 milijuna dionica. Račun za držanje premašuje ograničenje od dva milijuna dolara, koji nije povezan ni s čim. Inženjeri, na živom tržištu, deinstaliraju novi kôd sa sedam dobrih poslužitelja, što uključuje Power Peg posvuda. Oko 10:15 prestaje: tri i pol milijarde duga, tri točka petnaest milijardi kratka.
1:31 Prvo: uvjet zaustavljanja Power Pega, brojač koji kaže da je roditeljski nalog ispunjen, premješten je 2005. i nikada nije ponovno testiran, tako da se povučeni kôd beskonačno vrti. Drugo: nova značajka ponovno koristi staru zastavicu Power Pega, tako da isto da znači dvije stvari na dva poslužitelja. Treće: nema prekidača za hitno zaustavljanje. Ništa ne uspoređuje odlazne naloge s ulaznim nalozima; ništa ne zaustavlja SMARS. Monitor rizika je zaslon koji prate ljudi; ne prikazuje ograničenja. git blame: zastavica ponovno korištena umjesto nove, mrtvi kôd pozivljiv devet
2:00 godina i ručno postavljanje bez drugog para očiju. Ne tehničar. Nalog SEC-a ga nikada ne imenuje, pa neću ni ja. Radijus eksplozije: 460 milijuna dolara, otprilike deset milijuna po minuti. Dionice pale 63 posto na dva dolara pedeset osam, spašavanje od 400 milijuna dolara po dolar pedeset po dionici, spajanje s Getcoom do Božića. Hacker News, četvrtak: kako je radio 45 minuta bez ljudske intervencije? Nije. Ljudi su ga pogoršali.
2:25 Presuda, postmortem: revert. Knight nikada ne piše svoj vlastiti postmortem; regulator to čini, četrnaest mjeseci kasnije, a rješenje je kazna i spajanje. Ponedjeljak: nova značajka, nova zastavica; mrtvi kôd se briše, ne onemogućuje; sve što šalje naloge dobiva prekidač za isključivanje. Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas.
2:48 Ja sam Niko iz Axrisija. Spojite odgovorno.
Izvori
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com
