Izvietošana 7 no 8 serveriem zaudēja 460 miljonus USD. 45 minūtes.
2012.
2012. gada 1. augusts, plkst. 9:30 pēc ET: Knight Capital, tirgus veidotājs, kas nodrošina aptuveni desmito daļu no visiem ASV akciju tirdzniecības darījumiem, tikko ir izvietojis jaunu pasūtījumu maršrutēšanas kodu uz septiņiem no saviem astoņiem SMARS serveriem. Astotajā joprojām darbojas "Power Peg" kods, kas tika pārtraukts 2003. gadā, aiz tā paša karoga, ko jaunā funkcija atkārtoti izmanto. 45 minūtes tas sūta pēcnosūtījumus, kas nekad neapstājas: 4 miljoni izpildījumu, 397 miljoni akciju, aptuveni 7 miljardi USD pozīciju, 460 miljonu USD zaudējumi. Pirms atvēršanas bija saņemti 97 brīdinājuma e-pasti. Pēc incidenta analīze, no SEC paša rīkojuma: manuāla izvietošana, ko neviens nepārbaudīja, karogs ar divām nozīmēm, apturēšanas skaitītājs, kas tika pārvietots 2005. gadā un nekad netika atkārtoti pārbaudīts, "kill switch", kas neeksistēja, un "labojums" reālā tirgū, kas situāciju pasliktināja. Spriedums par labojumu: REVERT.
Lasiet rakstisko izdevumu (angļu valodā) ↗
Ko aptver šis video
- 2012. gada 27.–31. jūlijs: RLP kods manuāli nokopēts uz 7 no 8 SMARS serveriem; nav otra recenzenta, nav rakstiskas procedūras
- 1. augusts, plkst. 8:01: 97 e-pasti "Power Peg atspējots" pirms atvēršanas; nav paredzēti kā brīdinājumi, nav lasīti
- 1. augusts, 9:30–10:15: 212 pasūtījumi kļūst par 4 miljoniem izpildījumu 154 akcijās; 3,5 miljardi USD garā, 3,15 miljardi USD īsā; zaudēti 460 miljoni USD; jaunā koda atinstalēšana situāciju pasliktina
- 2. augusts – 19. decembris: akcijas −63% līdz 2,58 USD, 400 miljonu USD glābšana par 1,50 USD/akcija, apvienošanās ar GETCO; 2013. gada oktobris: 12 miljonu USD SEC sods, pirmais Tirgus piekļuves noteikumu gadījums
Tulkotais transkripts
Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.
0:00 Tirdzniecības uzņēmums izvieto jaunu kodu uz septiņiem no astoņiem serveriem, un astotais pērk un pārdod gandrīz septiņus miljardus dolāru akciju četrdesmit piecās minūtēs, kas ir daudz, pat trešdienai. 2012. gada 1. augusts. Knight Capital, desmitā daļa no visām ASV akciju tirdzniecības, ziņo par 440 miljonu dolāru zaudējumiem. SEC vēlāk saskaita vairāk nekā 460, sodu Knightam piespriež divpadsmit miljonus, un pats uzraksta pēcnosūtījumu: desmit lapas, nulle īpašības vārdu.
0:25 Kā tas notiek, kāpēc tas ir iespējams un kas patiesībā ir vainīgs. Šis ir The Daily Diff, pēcnosūtījums. 27. jūlijs. Ņujorkas fondu birža uzsāk mazumtirdzniecības likviditātes programmu 1. augustā, tāpēc Knight kopē jaunu kodu uz SMARS, savu pasūtījumu maršrutētāju, dažus serverus dienā, manuāli. Viens tehniķis, astoņi serveri, septiņas kopijas. Neviens nepārbauda; neviens noteikums neliek nevienam to darīt. 8:01. Iekšējā sistēma sāk sūtīt e-pastu personālam ar kļūdu, kurā rakstīts: Power
0:51 Peg atspējots. Deviņdesmit septiņi e-pasti pirms atvēršanas. Tie nav paredzēti kā brīdinājumi, tāpēc neviens tos nelasa, kas ir dizaina lēmums ar cenu zīmi. 9:30, tirgus atveras. Septiņi serveri darbina jauno kodu. Astotais redz to pašu karogu un tā vietā darbina Power Peg: kodu, ko Knight pārtrauca 2003. gadā un nekad neizdzēsa. Tas sūta pēcnosūtījumus 212 klientu pasūtījumiem un nekad neapstājas.
1:13 Četri miljoni izpildījumu. 397 miljoni akciju. Konts, kurā tiek turētas akcijas, pārsniedz divu miljonu dolāru limitu, kas nav saistīts ar neko. Inženieri, reālā tirgū, atinstalē jauno kodu no septiņiem labajiem serveriem, kas ieslēdz Power Peg visur. Ap 10:15 tas apstājas: trīs ar pusi miljardi gara pozīcija, trīs komats piecpadsmit miljardi īsā pozīcija.
1:31 Viens: Power Peg apturēšanas nosacījums, skaitītājs, kas saka, ka mātes pasūtījums ir aizpildīts, tiek pārvietots 2005. gadā un nekad netiek atkārtoti pārbaudīts, tāpēc pārtrauktais kods darbojas bezgalīgā ciklā. Divi: jaunā funkcija atkārtoti izmanto Power Peg veco karogu, tāpēc tas pats "jā" nozīmē divas lietas uz diviem serveriem. Trīs: nav avārijas izslēdzēja (kill switch). Nekas nesalīdzina ienākošos un izejošos pasūtījumus; nekas neaptur SMARS. Riska monitors ir ekrāns, ko vēro cilvēki; tas nerāda limitus. git blame: atkārtoti izmantots karogs jauna vietā, miris kods izsaucams deviņus
2:00 gadus, un manuāla izvietošana bez otrā acu pāra. Ne tehniķis. SEC rīkojums nekad viņu nenosauc, un es arī to nedarīšu. Sprādziena rādiuss: 460 miljoni dolāru, aptuveni desmit miljoni minūtē. Akcijas kritās par 63 procentiem līdz diviem dolāriem piecdesmit astoņiem, 400 miljonu dolāru glābšana par dolāru piecdesmit par akciju, apvienošanās ar Getco līdz Ziemassvētkiem. Hacker News, ceturtdiena: kā tas darbojās 45 minūtes bez cilvēka iejaukšanās? Tas nedarbojās. Cilvēki situāciju pasliktināja.
2:25 Spriedums, pēcnosūtījums: REVERT. Knight nekad pats neraksta savu pēcnosūtījumu; regulators to dara, četrpadsmit mēnešus vēlāk, un labojums ir naudas sods un apvienošanās. Pirmdiena: jauna funkcija, jauns karogs; mirušais kods tiek dzēsts, nevis atspējots; jebkas, kas sūta pasūtījumus, saņem izslēgšanas slēdzi. Nosūtiet man incidentu, par kuru jums joprojām nav atļauts runāt, komentāros vai vietnē the daily diff dot dev. Un tas ir šodienas atšķirība.
2:48 Esmu Niko no Axrisi. Apvienojiet atbildīgi.
Avoti
- SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
- SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
- Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
- Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
- Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
- NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
- Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
- Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com
