Un déploiement sur 7 des 8 serveurs a coûté 460 millions de dollars. 45 minutes.

Ce que cette vidéo couvre

• 27-31 juil. 2012 : Le code RLP est copié à la main sur 7 des 8 serveurs SMARS ; pas de deuxième réviseur, pas de procédure écrite
• 1er août, 8 h 01 : 97 courriels "Power Peg disabled" avant l'ouverture ; non conçus comme des alertes, non lus
• 1er août, 9 h 30 – 10 h 15 : 212 ordres deviennent 4 millions d'exécutions dans 154 actions ; 3,5 milliards de dollars en position longue, 3,15 milliards de dollars en position courte ; 460 millions de dollars de pertes ; la désinstallation du nouveau code aggrave la situation
• 2 août – 19 déc. : actions −63 % à 2,58 $, 400 millions de dollars de sauvetage à 1,50 $/action, fusion avec GETCO ; oct. 2013 : 12 millions de dollars de pénalité de la SEC, première affaire de la règle d'accès au marché

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

0:00 Une société de trading déploie un nouveau code sur sept des huit serveurs, et le huitième achète et vend près de sept milliards de dollars d'actions en quarante-cinq minutes, ce qui est beaucoup, même pour un mercredi. 1er août 2012. Knight Capital, un dixième de toutes les transactions boursières américaines, déclare une perte de 440 millions de dollars. La SEC en compte plus de 460 plus tard, inflige une amende de douze millions à Knight, et rédige elle-même le post-mortem : dix pages, zéro adjectif.

0:25 Comment cela arrive, pourquoi c'est possible, et qui est réellement responsable. Voici The Daily Diff, post-mortem. 27 juillet. La Bourse de New York lance un programme de liquidité de détail le 1er août, donc Knight copie le nouveau code sur SMARS, son routeur d'ordres, quelques serveurs par jour, à la main. Un technicien, huit serveurs, sept copies. Personne ne vérifie ; aucune règle n'oblige qui que ce soit à le faire. 8 h 01. Un système interne commence à envoyer un courriel au personnel avec une erreur indiquant : Power

0:51 Peg désactivé. Quatre-vingt-dix-sept courriels avant l'ouverture. Ils ne sont pas conçus comme des alertes, donc personne ne les lit, ce qui est une décision de conception avec un coût. 9 h 30, le marché ouvre. Sept serveurs exécutent le nouveau code. Le huitième voit le même drapeau et exécute Power Peg à la place : un code que Knight a retiré en 2003 et n'a jamais supprimé. Il envoie des ordres enfants pour 212 ordres clients, et ne s'arrête jamais.

1:13 Quatre millions d'exécutions. 397 millions d'actions. Un compte de titres dépasse sa limite de deux millions de dollars, qui n'est connecté à rien. Les ingénieurs, dans un marché en direct, désinstallent le nouveau code des sept bons serveurs, ce qui active Power Peg partout. Vers 10 h 15, ça s'arrête : trois milliards et demi de positions longues, trois virgule quinze milliards de positions courtes.

1:31 Un : la condition d'arrêt de Power Peg, le compteur qui indique que l'ordre parent est exécuté, est déplacé en 2005 et n'est jamais retesté, de sorte que le code retiré boucle à l'infini. Deux : la nouvelle fonctionnalité réutilise l'ancien drapeau de Power Peg, donc le même oui signifie deux choses sur deux serveurs. Trois : pas d'interrupteur d'urgence. Rien ne compare les ordres sortants aux ordres entrants ; rien n'arrête SMARS. Le moniteur de risques est un écran surveillé par des humains ; il ne montre pas les limites. git blame : un drapeau réutilisé au lieu d'un nouveau, du code mort appelable pendant neuf

2:00 ans, et un déploiement manuel sans deuxième paire d'yeux. Pas le technicien. L'ordonnance de la SEC ne le nomme jamais, et moi non plus. Rayon d'action : 460 millions de dollars, environ dix millions par minute. Actions en baisse de 63 % à deux dollars cinquante-huit, un sauvetage de 400 millions de dollars à un dollar cinquante par action, une fusion avec Getco avant Noël. Hacker News, jeudi : comment cela a-t-il fonctionné 45 minutes sans intervention humaine ? Ça n'a pas été le cas. Les humains ont aggravé la situation.

2:25 Verdict, post-mortem : REVERT. Knight n'écrit jamais son propre post-mortem ; le régulateur le fait, quatorze mois plus tard, et le correctif est une amende et une fusion. Lundi : nouvelle fonctionnalité, nouveau drapeau ; le code mort est supprimé, pas désactivé ; tout ce qui envoie des ordres reçoit un interrupteur d'arrêt. Envoyez-moi l'incident dont vous n'avez toujours pas le droit de parler, dans les commentaires, ou à the daily diff dot dev. Et c'est le diff pour aujourd'hui.

2:48 Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com