Rakenduse juurutamine 7-le 8-st serverist tõi kaasa 460 miljoni dollari suuruse kahju. 45 minutit.
1.
1. august 2012, kell 9:30 ET: Knight Capital, turukorraldaja, mis vastutab umbes kümnendiku kõigist USA aktsiatehingutest, juurutas just uue tellimuste marsruutimise koodi seitsmele oma kaheksast SMARS serverist. Kaheksas käitas endiselt "Power Peci", 2003. aastal maha võetud koodi, uue funktsiooni taaskasutatava lipu taga. 45 minuti jooksul saatis see alamkorraldusi, mis kunagi ei peatunud: 4 miljonit täitmist, 397 miljonit aktsiat, umbes 7 miljardi dollari väärtuses positsioone, 460 miljoni dollari suurune kahjum. Enne avamist oli saabunud 97 hoiatusmeili. Lahang, SEC-i enda korraldusest: käsitsi juurutamine, mida keegi ei vaadanud üle, kahe tähendusega lipp, 2005. aastal teisaldatud ja kunagi uuesti testimata stopploendur, olematu tapmislüliti ja "parandus" reaalajas turul, mis tegi olukorra hullemaks. Paranduse otsus: REVERT.
Loe kirjalikku väljaannet (inglise keeles) ↗
Mida see video hõlmab
- 27.–31. juuli 2012: RLP kood kopeeriti käsitsi 7-le 8-st SMARS serverist; puudus teine ülevaataja, puudus kirjalik protseduur
- 1. august, 8:01: 97 e-kirja "Power Peg keelatud" enne avamist; ei olnud mõeldud hoiatustena, neid ei loetud
- 1. august, 9:30–10:15: 212 korraldusest saab 4M täitmist 154 aktsias; 3,5 miljardit dollarit pikk, 3,15 miljardit dollarit lühike; 460 miljonit dollarit kaotatud; uue koodi eemaldamine teeb olukorra hullemaks
- 2. august – 19. detsember: aktsiate hind –63% kuni 2,58 dollarini, 400 miljoni dollari suurune pääste 1,50 dollari eest aktsia kohta, ühinemine GETCO-ga; oktoober 2013: 12 miljoni dollari suurune SEC-i trahv, esimene turulepääsu reegli juhtum
Tõlgitud transkriptsioon
Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.
0:00 Kaubandusettevõte juurutab uue koodi seitsmele kaheksast serverist, ja kaheksas ostab ja müüb ligi seitse miljardit dollarit aktsiaid neljakümne viie minutiga, mis on palju, isegi kolmapäeva kohta. 1. august 2012. Knight Capital, kümnendik kogu USA aktsiakaubandusest, teatab 440 miljoni dollari suurusest kahjumist. SEC loendab hiljem üle 460 miljoni, trahvib Knighti kaksteist miljonit, ja kirjutab lahkamise ise: kümme lehekülge, null omadussõna.
0:25 Kuidas see juhtub, miks see on võimalik ja keda tegelikult süüdistatakse. See on The Daily Diff, lahkamine. 27. juuli. New Yorgi börs käivitab jaemüügi likviidsusprogrammi 1. augustil, nii et Knight kopeerib uue koodi SMARS-i, oma korralduse marsruuterile, mõned serverid päevas, käsitsi. Üks tehnik, kaheksa serverit, seitse koopiat. Keegi ei kontrolli; ükski reegel ei nõua, et keegi peaks. 8:01. Sisemine süsteem hakkab personalile saatma veateadet: Power
0:51 Peg keelatud. Üheksakümmend seitse e-kirja enne avamist. Neid ei ole mõeldud hoiatustena, nii et keegi ei loe neid, mis on disainiotsus, millel on oma hind. 9:30, turg avaneb. Seitse serverit käitavad uut koodi. Kaheksas näeb sama lippu ja käitab Power Pegi asemel: koodi, mille Knight pani kinni aastal 2003 ja kunagi ei kustutanud. See saadab alamkorraldused 212 kliendi korraldusele ja kunagi ei peatu.
1:13 Neli miljonit täitmist. 397 miljonit aktsiat. Hoiumaaklerkonto paisub üle oma kahe miljoni dollari piiri, mis ei ole millegagi ühendatud. Insenerid, reaalajas turul, desinstallivad uue koodi seitsmest heast serverist, mis lülitab Power Peci sisse igal pool. Umbes 10:15 see peatub: kolm ja pool miljardit pikk, kolm koma viisteist miljardit lühike.
1:31 Üks: Power Peci peatamise tingimus, loendur, mis ütleb, et peari tellimus on täidetud, teisaldati 2005. aastal ja kunagi ei testitud uuesti, nii et vananenud kood kordub lõputult. Kaks: uus funktsioon taaskasutab Power Peci vana lippu, nii et sama jah tähendab kahel serveril kahte asja. Kolm: tapmislülitit pole. Miski ei võrdle sissetulevaid korraldusi väljaminevatega; miski ei peata SMARS-i. Riskimonitor on inimeste jälgitav ekraan; see ei näita piiranguid. git blame: uue asemel taaskasutatud lipp, surnud kood, mida saab kutsuda üheksa
2:00 aastat, ja käsitsi juurutamine ilma teise silmapaarita. Mitte tehnik. SEC-i korralduses ei mainita teda kunagi, ja mina ka mitte. Plahvatusraadius: 460 miljonit dollarit, umbes kümme miljonit minutis. Aktsiad langesid 63 protsenti kahe dollari viiekümne kaheksani, 400 miljoni dollari suurune pääste ühe dollari viiekümne sendi eest aktsia kohta, ühinemine Getcoga jõuludeks. Hacker News, neljapäev: kuidas see 45 minutit ilma inimese sekkumiseta töötas? Ei töötanud. Inimesed tegid selle hullemaks.
2:25 Otsus, lahkamine: REVERT. Knight ei kirjuta kunagi oma lahkamist; seda teeb regulaator, neliteist kuud hiljem, ja parandus on trahv ja ühinemine. Esmaspäev: uus funktsioon, uus lipp; surnud kood kustutatakse, mitte ei keelata; kõik, mis korraldusi saadab, saab väljalülituslüliti. Saatke mulle intsident, millest teil ikka veel ei ole lubatud rääkida, kommentaarides või aadressil daily diff dot dev. Ja see on tänane vahe.
2:48 Mina olen Niko Axrisist. Ühendage vastutustundlikult.
Allikad
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com
