Un redémarrage a renvoyé Telstra en 2006. Neuf millions de téléphones.
Un ingénieur de Melbourne remet sous tension un châssis de synchronisation à 2h50 du matin, et au petit-déjeuner, le plus grand réseau mobile d'Australie convient que nous sommes en novembre 2006.
Un ingénieur de Melbourne remet sous tension un châssis de synchronisation à 2h50 du matin, et au petit-déjeuner, le plus grand réseau mobile d'Australie convient que nous sommes en novembre 2006. 8 juillet 2026 : une carte GPS dans le châssis NTP de Telstra redémarre lors d'une réparation de l'alimentation électrique, son firmware n'a jamais eu la mise à jour de la "semaine glissante" GPS, elle choisit donc l'ancienne époque et atterrit 1024 semaines dans le passé. Parce qu'une solution de contournement d'octobre 2025 avait fait de cette carte la seule source de stratum-1 du réseau — et qu'un passage en 2020 au peering NTP avait laissé toutes les autres sources en aval d'elle — la mauvaise date remporte le vote. Les nœuds de transfert se réinitialisent à partir de 4h du matin, 45 % de tous les appels et sessions de données sont affectés, près de 9 millions de clients perdent des appels, des SMS ou des données, 604 appels au Triple Zéro sont en erreur, les trains régionaux de Victoria s'arrêtent, et la plupart des services reviennent à 12h12. Les propres alarmes de Telstra se trouvaient sur une plateforme vérifiée pendant les heures ouvrables ; l'entreprise a remarqué le problème parce que les clients cherchaient "Telstra panne" sur Google.
Lire l'édition écrite (anglais) ↗
Ce que couvre cette vidéo
- Une carte GPS se réveille en novembre 2006
- Chronologie : conception 2010 → châssis 2020 → carte GPS octobre 2025 → 02h50
- Le matin : 04h00 réinitialisations MME → 04h20 tempête d'alarmes → 12h12 restauré
- Mécanisme : NTP vote sur l'accord, pas sur la plausibilité
- git blame — Telstra 55 · peering 25 · firmware 15 · l'alimentation électrique 5
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.
Une carte GPS se réveille en novembre 2006
0:00 Un ingénieur de Melbourne remet sous tension un châssis de synchronisation à deux heures cinquante du matin, et au petit-déjeuner, le plus grand réseau mobile d'Australie convient que nous sommes en novembre deux mille six. Le rapport externe de Telstra indique que la date provenait d'une seule carte GPS et que tout le réseau l'a votée. Près de neuf millions de clients perdent appels, SMS ou données, et les trains régionaux de Victoria s'arrêtent pour la journée. Comment c'est arrivé, pourquoi une carte a supplanté l'horloge nationale,
0:23 et qui est à blâmer. Ceci est The Daily Diff, postmortem.
Chronologie : conception 2010 → châssis 2020 → carte GPS octobre 2025 → 02h50
0:28 Deux mille dix. La conception est classique. Trois sources d'heure nationales alimentent deux serveurs, ceux-ci en alimentent trois en dessous, et chaque nœud ne prend le temps que d'en haut. Les auditeurs la jugent adaptée à l'objectif. Deux mille vingt. Nouveau châssis. Il ne peut pas alimenter son propre serveur inférieur, donc Sydney et Melbourne sont connectés de manière croisée et chaque site se réduit à une seule référence. Ensuite, tout est basculé en mode "peering", où n'importe quel serveur peut prendre le temps de n'importe quel
0:50 serveur qu'il trouve. Les mots "boucle de synchronisation" n'apparaissent dans aucun document. Octobre deux mille vingt-cinq. Melbourne continue de perdre Sydney, et ses alarmes indiquent stratum cinq, ce qui signifie qu'il prend le temps de ses propres clients. Personne ne dépose de ticket. Au lieu de cela, les ingénieurs activent une carte GPS qui était inactive depuis cinq ans. Les alarmes s'arrêtent.
1:07 Melbourne est maintenant stratum un, le rang de l'institut national, et personne ne le révise. Huit juillet, deux heures cinquante du matin. Une alimentation électrique doit être remplacée, donc le châssis redémarre, et la carte GPS avec. Son firmware n'a jamais été mis à jour, elle choisit donc l'ancienne époque et atterrit mille vingt-quatre semaines dans le passé. Melbourne est en haut de l'arbre, et l'aval commence à s'accorder.
Le matin : 04h00 réinitialisations MME → 04h20 tempête d'alarmes → 12h12 restauré
1:26 Quatre heures du matin, les nœuds de transfert commencent à se réinitialiser. Quatre heures vingt, une tempête d'alarmes, sur une plateforme dont les alarmes sont lues pendant les heures ouvrables. Quatre heures vingt-neuf, Telstra s'en aperçoit, car les clients cherchent sur Google Panne Telstra. Les ingénieurs qui ont effectué le changement sont en repos obligatoire, et trouver la date prend des heures. À douze heures douze, la plupart des clients sont de retour.
Mécanisme : NTP vote sur l'accord, pas sur la plausibilité
1:47 Pourquoi était-ce possible ? NTP a deux défenses. Le stratum inférieur l'emporte, et les valeurs aberrantes sont éliminées par vote. La carte GPS a fait de la source défectueuse le rang le plus élevé, et toutes les sources qui auraient pu être en désaccord se trouvaient en aval, la répétant. NTP ne demande jamais si une date est plausible, seulement si les autres sont d'accord. Le protocole a fonctionné.
2:06 L'architecture non.
git blame — Telstra 55 · peering 25 · firmware 15 · l'alimentation électrique 5
2:07 git blame. Telstra, cinquante-cinq pour cent. Personne ne possédait l'horloge, donc personne n'a examiné le changement, et deux bulletins de fournisseurs concernant ce bug exact sont restés non lus. Mode "peering", vingt-cinq, pour avoir laissé les serveurs voter avec leur propre écho. Le firmware, quinze, publié et jamais installé. Cinq pour cent à l'alimentation électrique, pour avoir choisi deux heures cinquante un mercredi. Rayon d'action. Quarante-cinq pour cent de tous les appels et sessions de données ce jour-là,
Rayon d'action : 45 % des sessions, une amende de 30 millions de dollars pour un boîtier de 30 000 dollars
2:30 déclare le PDG au Sénat. L'amende sur la table est de trente millions de dollars, pour une mise à jour gratuite manquante dans un boîtier de trente mille dollars. La carte avait survécu au vrai rollover en deux mille dix-neuf parce que personne ne l'avait éteinte. La réparation l'a tuée. Verdict, post-mortem : SHIP IT, concernant la réponse.
Verdict + la ligne du lundi : une horloge avec trois casquettes
2:46 Telstra engage des auditeurs externes, publie le rapport sans modification, avec la mention qu'elle n'avait jamais traité le temps comme critique, et déplace les trois sites des anciens serveurs avant que cela n'arrive. Ligne du lundi : exécutez un trace NTP et comptez combien de vos sources de temps sont une horloge portant trois casquettes. Envoyez-moi l'incident dont vous n'avez toujours pas le droit de parler, dans les commentaires, ou sur thedailydiff.dev. Et c'est la "diff" pour aujourd'hui.
3:10 Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
