Un déploiement sur 7 des 8 serveurs a coûté 460 millions de dollars. 45 minutes.

Ce que couvre cette vidéo

• 27-31 juil. 2012 : le code RLP est copié à la main sur 7 des 8 serveurs SMARS ; pas de deuxième relecteur, pas de procédure écrite
• 1er août, 8h01 : 97 e-mails "Power Peg désactivé" avant l'ouverture ; non conçus comme des alertes, non lus
• 1er août, 9h30-10h15 : 212 ordres deviennent 4M d'exécutions sur 154 titres ; 3,5 milliards de dollars à l'achat, 3,15 milliards de dollars à la vente ; 460 millions de dollars perdus ; la désinstallation du nouveau code aggrave la situation
• 2 août – 19 déc. : actions −63% à 2,58 $, sauvetage de 400M $ à 1,50 $/action, fusion avec GETCO ; oct. 2013 : pénalité de 12M $ de la SEC, première affaire de la règle d'accès au marché

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.

0:00 Une société de négoce déploie un nouveau code sur sept de ses huit serveurs, et le huitième achète et vend près de sept milliards de dollars d'actions en quarante-cinq minutes, ce qui est beaucoup, même pour un mercredi. 1er août 2012. Knight Capital, un dixième de toutes les transactions boursières américaines, déclare une perte de 440 millions de dollars. La SEC en comptera plus de 460, infligera une amende de douze millions à Knight, et rédigera elle-même le postmortem : dix pages, zéro adjectif.

0:25 Comment cela se produit, pourquoi c'est possible, et qui est réellement à blâmer. Ceci est The Daily Diff, postmortem. 27 juillet. La Bourse de New York lance un programme de liquidité de détail le 1er août, alors Knight copie le nouveau code sur SMARS, son routeur d'ordres, quelques serveurs par jour, à la main. Un technicien, huit serveurs, sept copies. Personne ne vérifie ; aucune règle n'impose à qui que ce soit de le faire. 8h01. Un système interne commence à envoyer un e-mail au personnel avec une erreur indiquant : Power

0:51 Peg désactivé. Quatre-vingt-dix-sept e-mails avant l'ouverture. Ils ne sont pas conçus comme des alertes, donc personne ne les lit, ce qui est une décision de conception qui a un coût. 9h30, le marché ouvre. Sept serveurs exécutent le nouveau code. Le huitième voit le même drapeau et exécute Power Peg à la place : un code que Knight a retiré en 2003 et n'a jamais supprimé. Il envoie des ordres enfants pour 212 ordres clients, et ne s'arrête jamais.

1:13 Quatre millions d'exécutions. 397 millions d'actions. Un compte de titres gonfle au-delà de sa limite de deux millions de dollars, qui n'est connecté à rien. Les ingénieurs, sur un marché en direct, désinstallent le nouveau code des sept bons serveurs, ce qui active Power Peg partout. Vers 10h15, ça s'arrête : trois milliards et demi à l'achat, trois virgule quinze milliards à la vente.

1:31 Un : la condition d'arrêt de Power Peg, le compteur qui dit que l'ordre parent est rempli, est déplacée en 2005 et jamais retestée, donc le code retiré boucle à l'infini. Deux : la nouvelle fonctionnalité réutilise l'ancien drapeau de Power Peg, donc le même oui signifie deux choses sur deux serveurs. Trois : pas d'interrupteur d'urgence. Rien ne compare les ordres sortants avec les ordres entrants ; rien n'arrête SMARS. Le moniteur de risque est un écran surveillé par des humains ; il n'affiche pas les limites. git blame : un drapeau réutilisé au lieu d'un nouveau, du code mort appelable pendant neuf

2:00 ans, et un déploiement manuel sans deuxième paire d'yeux. Pas le technicien. L'ordonnance de la SEC ne le nomme jamais, et moi non plus. Rayon d'action : 460 millions de dollars, environ dix millions par minute. Actions en baisse de 63 pour cent à deux dollars cinquante-huit, un sauvetage de 400 millions de dollars à un dollar cinquante l'action, une fusion avec Getco avant Noël. Hacker News, jeudi : comment cela a-t-il fonctionné 45 minutes sans intervention humaine ? Ça n'a pas fonctionné. Les humains ont aggravé la situation.

2:25 Verdict, postmortem : revert. Knight n'a jamais rédigé son propre postmortem ; le régulateur l'a fait, quatorze mois plus tard, et le correctif est une amende et une fusion. Lundi : nouvelle fonctionnalité, nouveau drapeau ; le code mort est supprimé, pas désactivé ; tout ce qui envoie des ordres a un interrupteur d'arrêt. Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à the daily diff dot dev. Et c'est la différence pour aujourd'hui.

2:48 Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. SEC Administrative Order, Release No. 34-70694 (Oct 16, 2013), In the Matter of Knight Capital Americas LLCwww.sec.gov
2. SEC press release 2013-222, "SEC Charges Knight Capital With Violations of Market Access Rule"www.sec.gov
3. Knight Capital Group 8-K, Aug 2, 2012 (the $440M statement)www.sec.gov
4. Knight Capital Group 8-K, Aug 6, 2012 (the $400M convertible preferred)www.sec.gov
5. Knight / GETCO merger announcement, Dec 19, 2012www.sec.gov
6. NYT DealBook, "Knight Capital Says Trading Glitch Cost It $440 Million" (Aug 2, 2012)archive.nytimes.com
7. Hacker News, Aug 2, 2012 (73 points)news.ycombinator.com
8. Hacker News, "The $440M software error at Knight Capital" (294 points)news.ycombinator.com