+− THE DAILY DIFFdev & AI news
Videoposnetki / postmortem
REVERT

Uvedba na 7 od 8 strežnikov je povzročila izgubo 460 milijonov dolarjev. 45 minut.

Objavljeno 11. sep. 2026 · 2:52 · Niko from Axrisi

1.

1. avgust 2012, 9:30 ET: Knight Capital, tržni posrednik, ki stoji za približno desetino celotnega trgovanja z delnicami v ZDA, je pravkar uvedel novo kodo za usmerjanje naročil na sedem od osmih strežnikov SMARS. Osmi še vedno poganja "Power Peg", kodo, upokojeno leta 2003, za isto zastavico, ki jo ponovno uporablja nova funkcija. 45 minut pošilja podrejena naročila, ki se nikoli ne ustavijo: 4 milijone izvršb, 397 milijonov delnic, približno 7 milijard dolarjev pozicij, izguba 460 milijonov dolarjev. Pred odprtjem je prispelo 97 opozorilnih e-poštnih sporočil. Postmortem, iz lastnega naloga SEC: ročna uvedba, ki je nihče ni pregledal, zastavica z dvema pomenoma, števec zaustavitve, premaknjen leta 2005 in nikoli ponovno preizkušen, stikalo za izklop, ki ni obstajalo, in "popravek" na živem trgu, ki je stvari poslabšal. Sodba o popravku: REVERT.

Preberi pisno izdajo (angleščina) ↗

Kaj zajema ta videoposnetek

  • 27.–31. julij 2012: RLP koda ročno kopirana na 7 od 8 strežnikov SMARS; brez drugega pregledovalca, brez pisnega postopka
  • 1. avgust, 8:01 zjutraj: 97 e-poštnih sporočil "Power Peg disabled" pred odprtjem; niso bila zasnovana kot opozorila, niso bila prebrana
  • 1. avgust, 9:30–10:15: 212 naročil postane 4M izvršb v 154 delnicah; 3,5 milijarde dolarjev dolgih, 3,15 milijarde dolarjev kratkih; 460 milijonov dolarjev izgubljenih; odstranitev nove kode poslabša situacijo
  • 2. avgust – 19. december: delnice -63% na 2,58 $, reševanje s 400 milijoni $ po 1,50 $/delnico, združitev z GETCO; oktober 2013: kazen SEC v višini 12 milijonov $, prvi primer pravila o dostopu do trga

Preveden prepis

Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.

0:00 Trgovalno podjetje uvede novo kodo na sedem od osmih strežnikov, in osmi kupi in proda za skoraj sedem milijard dolarjev delnic v petinštiridesetih minutah, kar je veliko, tudi za sredo. 1. avgust 2012. Knight Capital, desetina celotnega trgovanja z delnicami v ZDA, prijavi 440 milijonov dolarjev izgube. SEC kasneje prešteje več kot 460, Knightu naloži dvanajst milijonov kazni, in sam napiše postmortem: deset strani, nič pridevnikov.

0:25 Kako se zgodi, zakaj je to mogoče in kdo je dejansko kriv. To je The Daily Diff, postmortem. 27. julij. Newyorška borza sproži program likvidnosti za maloprodajo na 1. avgust, zato Knight ročno kopira novo kodo na SMARS, svoj usmerjevalnik naročil, nekaj strežnikov na dan. En tehnik, osem strežnikov, sedem kopij. Nihče ne preverja; nobeno pravilo ne določa, da bi moral kdo. 8:01 zjutraj. Notranji sistem začne osebju pošiljati e-pošto z napako, ki se glasi: Power

0:51 Peg onemogočen. Sedemindevetdeset e-poštnih sporočil pred odprtjem. Niso zasnovana kot opozorila, zato jih nihče ne bere, kar je odločitev o oblikovanju z visoko ceno. 9:30, trg se odpre. Sedem strežnikov poganja novo kodo. Osmi vidi isto zastavico in namesto tega poganja Power Peg: kodo, ki jo je Knight upokojil leta 2003 in je nikoli ni izbrisal. Pošlje podrejena naročila za 212 naročil strank in se nikoli ne ustavi.

1:13 Štiri milijone izvršb. 397 milijonov delnic. Imetniški račun naraste prek svoje omejitve dveh milijonov dolarjev, ki ni povezana z ničemer. Inženirji na živem trgu odstranijo novo kodo s sedmih dobrih strežnikov, kar vklopi Power Peg povsod. Okoli 10:15 se ustavi: tri in pol milijarde dolgih, tri točke petnajst milijard kratkih.

1:31 Ena: Pogoj za zaustavitev Power Pega, števec, ki pravi, da je glavno naročilo izpolnjeno, je premaknjen leta 2005 in nikoli ponovno preizkušen, zato upokojena koda neskončno zanke. Dve: nova funkcija ponovno uporabi staro zastavico Power Pega, tako da isti da pomeni dve stvari na dveh strežnikih. Tri: ni stikala za izklop. Nič ne primerja vhodnih naročil z izhodnimi; nič ne ustavi SMARS. Monitor tveganj je zaslon, ki ga spremljajo ljudje; ne prikazuje omejitev. git blame: zastavica ponovno uporabljena namesto nove, mrtva koda klicana devet

2:00 let, in ročna uvedba brez drugega para oči. Ne tehnik. Nalog SEC ga nikoli ne imenuje, in tudi jaz ga ne bom. Polmer eksplozije: 460 milijonov dolarjev, približno deset milijonov na minuto. Delnice padle za 63 odstotkov na dva dolarja osemindvajset, rešitev s 400 milijoni dolarjev po dolar petdeset na delnico, združitev z Getco do božiča. Hacker News, četrtek: kako je delovalo 45 minut, ne da bi človek posegel? Ni. Ljudje so stvari poslabšali.

2:25 Sodba, postmortem: REVERT. Knight nikoli ne napiše lastnega postmortema; regulator to stori, štirinajst mesecev kasneje, in popravek je globa in združitev. Ponedeljek: nova funkcija, nova zastavica; mrtva koda se izbriše, ni onemogočena; kar koli pošilja naročila, dobi stikalo za izklop. Pošljite mi incident, o katerem še vedno ne smete govoriti, v komentarjih ali na the daily diff dot dev. In to je razlika za danes.

2:48 Sem Niko iz Axrisi. Odgovorno združujte.

Viri

  1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
  2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
  3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
  4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
  5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
  6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
  7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
  8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com

Povezani videoposnetki