Πώς να ανιχνεύσετε μια αποδυνάμωση του Claude (με πραγματικά δεδομένα)

Τι καλύπτει αυτό το βίντεο

• Ο Claude γίνεται πιο ανόητος μετά την κυκλοφορία: η θεωρία συναντά ένα χρονόμετρο ημέρας-μηδέν
• livenerf: ένα 30ήμερο χρονόμετρο στο Opus 5.5 από την εβδομάδα κυκλοφορίας
• Πώς να πιάσετε μια αποδυνάμωση: 78 μερικές φορές σωστές ερωτήσεις
• Τι μπορεί να δει: 7.5 σημεία, και ο αριθμός των tokens κινείται πρώτος
• Το τυφλό σημείο: μια ανταλλαγή Opus 5 και 8 λάθος κλειδιά απαντήσεων

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

Ο Claude γίνεται πιο ανόητος μετά την κυκλοφορία: η θεωρία συναντά ένα χρονόμετρο ημέρας-μηδέν

0:00 Όλοι γνωρίζουν ότι ο Claude γίνεται πιο ανόητος λίγες εβδομάδες μετά την κυκλοφορία. Έτσι, ένας προγραμματιστής έθεσε το Opus πέντε κόμμα πέντε σε ένα χρονόμετρο από την εβδομάδα κυκλοφορίας, και το χρονόμετρο λέει ότι κανείς δεν μπορούσε να το γνωρίζει ακόμα. Σε αυτό το βίντεο, τρεις ερωτήσεις. Πώς πιάνετε μια αποδυνάμωση; Τι μπορεί να δει αυτός ο μετρητής; Και τι λέει η Anthropic; Και μια γραμμή στις πιστώσεις του αποθετηρίου με έκανε να γελάσω δυνατά.

0:20 Θα το αναφέρω στο τέλος. Είναι Τετάρτη, τριάντα Σεπτεμβρίου, και αυτό είναι το The Daily Diff. Τρεις ιστορίες σήμερα, και η μεγάλη είναι ένα αποθετήριο GitHub που ονομάζεται live nerf.

livenerf: ένα 30ήμερο χρονόμετρο στο Opus 5.5 από την εβδομάδα κυκλοφορίας

0:30 Για μήνες, οι άνθρωποι έλεγαν ότι η Anthropic υποβαθμίζει κρυφά τα μοντέλα της μετά την κυκλοφορία. Οι συνήθεις θεωρίες είναι ένα συμπιεσμένο μοντέλο, ένα μικρότερο μοντέλο με το ίδιο όνομα ή απλά λιγότερη σκέψη. Το αποθετήριο χαρακτηρίζει κάθε επιχείρημα μέχρι στιγμής ως vibes έναντι vibes. Το Opus πέντε κόμμα πέντε κυκλοφόρησε στις είκοσι δύο Σεπτεμβρίου, και πριν από μία εβδομάδα σας είπα ότι βρέθηκε στην κορυφή του ανεξάρτητου πίνακα γράφοντας τρεις φορές περισσότερες λέξεις από το μέσο μοντέλο. Δύο και μισή μέρες μετά, ένας προγραμματιστής ονόματι ninja hawk ξεκίνησε το χρονόμετρο,

0:59 μία φορά την ημέρα για τριάντα ημέρες, με αρχεία καταγραφής που κανείς δεν μπορεί να επεξεργαστεί. Το νήμα του Hacker News έφτασε σχεδόν οκτακόσια σημεία και διαχωρίστηκε σαν μια ομαδική συνομιλία. Ένας σχολιαστής λέει ότι η υποβάθμιση των μοντέλων δεν είναι πραγματική στην συντριπτική πλειονότητα των αναφερόμενων περιπτώσεων. Ένας άλλος λέει ότι οι άνθρωποι απλά συνηθίζουν το νέο επίπεδο νοημοσύνης. Και ένας χρήστης του Claude Code με προηγμένες γνώσεις απορρίπτει πλέον το αναδυόμενο παράθυρο αξιολόγησης-αυτής-της-συνεδρίας κάθε φορά, γιατί η αξιολόγηση του Claude φαινόταν να το χειροτερεύει. Αξιολόγηση από ομοτίμους. Λοιπόν, ερώτηση πρώτη, πώς πιάνετε μια αποδυνάμωση;

Πώς να πιάσετε μια αποδυνάμωση: 78 μερικές φορές σωστές ερωτήσεις

1:27 Ξεκινάτε με περίπου δύο χιλιάδες τριακόσιες δύσκολες ερωτήσεις εξετάσεων, και το Opus έχει ενενήντα τρία τοις εκατό σωστές απαντήσεις στην πρώτη προσπάθεια, πράγμα που είναι άχρηστο για έναν ανιχνευτή, αφού μια ερώτηση στην οποία απαντά πάντα σωστά δεν μπορεί να πέσει. Ενενήντα επτά τοις εκατό ήταν πάντα σωστές ή πάντα λανθασμένες, και οι εβδομήντα οκτώ που μερικές φορές μόνο απαντά σωστά αποτέλεσαν το πάνελ. Ίδια προτροπή, χωρίς εργαλεία, και βαθμολόγηση ακριβούς αντιστοιχίας χωρίς κριτή AI, γιατί και ο κριτής θα παρέκκλινε. Λειτουργεί με συνδρομή Max μέσω headless Claude Code,

1:55 αφού η έκδοση API τιμολογήθηκε σε περίπου δεκαέξι χιλιάδες δολάρια το μήνα. Και η έκδοση Claude Code είναι καρφωμένη, γιατί, σύμφωνα με τα λόγια του αποθετηρίου, ένας αλλαγμένος μηχανισμός μοιάζει ακριβώς με ένα αλλαγμένο μοντέλο. Οι στατιστικές προέρχονται από μια εργασία με τίτλο «Προσθήκη γραμμών σφάλματος στις αξιολογήσεις», από τον Evan Miller στην Anthropic. Έτσι, τα μαθηματικά της Anthropic ελέγχουν τώρα την Anthropic, που είναι η ακαδημαϊκή έκδοση του να παραθέτεις τους όρους υπηρεσίας στην υποστήριξη πελατών.

Τι μπορεί να δει: 7.5 σημεία, και ο αριθμός των tokens κινείται πρώτος

2:19 Ερώτηση δύο, τι μπορεί να δει; Ανά δεκαήμερο παράθυρο, μια πτώση περίπου επτάμισι μονάδων. Για να αποδείξει ότι το σύστημα λειτουργεί, ο συγγραφέας μείωσε επίτηδες την προσπάθεια του Claude. Μέτρια προσπάθεια μείωσε την απόδοση κατά περίπου το ένα τέταρτο, και τη βαθμολογία κατά μόνο τέσσερις μονάδες. Χαμηλή προσπάθεια μείωσε την απόδοση κατά σχεδόν τα δύο τρίτα, για οκτώ μονάδες. Αυτό είναι το μέρος που πρέπει να κλέψεις. Λιγότερη σκέψη εμφανίζεται στον αριθμό των tokens πριν εμφανιστεί στις απαντήσεις.

2:43 Οπότε, ορίστε την έκδοση του μοντέλου σας, καταγράψτε τα tokens εξόδου ανά εργασία, και κρατήστε μερικές δικές σας παγωμένες ερωτήσεις. Εάν ο πράκτοράς σας ξαφνικά γράφει πιο σύντομα, ελέγξτε τα αρχεία καταγραφής σας πριν ελέγξετε το Reddit. Και εδώ είναι το ειλικρινές μέρος.

Το τυφλό σημείο: μια ανταλλαγή Opus 5 και 8 λάθος κλειδιά απαντήσεων

2:54 Η αθόρυβη αντικατάσταση με το παλαιότερο Opus πέντε ήταν μια πολύ μικρή αλλαγή για να το αναφέρει το σύστημα, και το readme το λέει εκ των προτέρων. Ο έλεγχος βρήκε επίσης οκτώ κλειδιά απαντήσεων που φαίνονται λανθασμένα, οπότε ο ανιχνευτής αποδυνάμωσης βρήκε σφάλματα στο σημείο αναφοράς πριν βρει μια αποδυνάμωση.

Anthropic: ποτέ δεν μειώνουμε την ποιότητα του μοντέλου

3:08 Ερώτηση τρίτη, τι λέει η Anthropic; Πέρυσι, μετά από ένα κύμα παραπόνων, η Anthropic δημοσίευσε μια μετά θάνατον ανάλυση. Λέει, εντός εισαγωγικών, ποτέ δεν μειώνουμε την ποιότητα του μοντέλου λόγω ζήτησης, ώρας της ημέρας ή φόρτου διακομιστή. Η ίδια ανάρτηση παραδέχεται ότι τρία σφάλματα είχαν υποβαθμίσει τον Claude, και σχεδόν το ένα τρίτο των χρηστών του Claude Code έφτασαν στους λάθος διακομιστές τουλάχιστον μία φορά. Οπότε οι καταγγελίες ήταν αληθινές και η αιτία ήταν σφάλματα, γι' αυτό το αποθετήριο προειδοποιεί ότι η εβδομάδα κυκλοφορίας μπορεί να είναι η χειρότερη εβδομάδα.

3:35 Έξι από τις τριάντα ημέρες έχουν περάσει. Η πρώτη πιθανή κλήση προσγειώνεται γύρω στις είκοσι τέσσερις Οκτωβρίου, οπότε η ειλικρινής απάντηση είναι ότι κανείς δεν ξέρει, συμπεριλαμβανομένου όλων όσων ήταν σίγουροι. Μιλώντας για αριθμούς που κανείς δεν δημοσιεύει.

Τα κέντρα δεδομένων κρατούν τους αριθμούς τους μυστικούς· η Backblaze δημοσιεύει

3:46 Η Lighthouse Reports και η ολλανδική εφημερίδα Trouw διαπίστωσαν ότι η συντριπτική πλειονότητα των ευρωπαϊκών κέντρων δεδομένων κρατούν μυστική την κατανάλωση ενέργειας και νερού τους, αν και ένας κανόνας της ΕΕ απαιτεί αναφορά για τρία χρόνια. Στην Ολλανδία, λιγότερο από το ένα τέταρτο δημοσιεύει. Ένα μόνο κέντρο δεδομένων της Microsoft χρησιμοποιεί περίπου το ένα τοις εκατό της ολλανδικής ηλεκτρικής ενέργειας. Εν τω μεταξύ, η Backblaze έκανε πάλι το βαρετό πράγμα. Οι τριμηνιαίες στατιστικές των σκληρών της δίσκων καλύπτουν περίπου τριακόσιες πενήντα χιλιάδες σκληρούς δίσκους, και το ποσοστό αποτυχίας αυξήθηκε στο ένα κόμμα επτά τρία τοις εκατό,

4:16 το υψηλότερο εδώ και καιρό. Τρία μοντέλα Seagate είχαν μηδενικές βλάβες. Αυτό είναι πώς μοιάζει μια δημόσια βάση αναφοράς, τρίμηνο μετά το τρίμηνο, για δεκατρία χρόνια.

Η γραμμή των πιστώσεων: Ο Claude βοήθησε στην κατασκευή του μετρητή

4:25 Τώρα, αυτή η γραμμή των πιστώσεων. Το readme παραδέχεται ότι μεγάλο μέρος του αποθετηρίου γράφτηκε με τη βοήθεια του Claude, που είναι το μοντέλο που μετράται. Έτσι, ο Claude βοήθησε στην κατασκευή του μετρητή που ελέγχει αν ο Claude έγινε πιο ανόητος. Γι' αυτό οι βαθμολογητές είναι απλές συναρτήσεις. Σύμφωνα με τα λόγια του συγγραφέα, δεν πρέπει να εμπιστεύεστε τον συγγραφέα, ανθρώπινο ή άλλο. Αν προτιμάτε να το διαβάσετε αυτό παρά να με ακούσετε να το λέω, το diff φτάνει στα εισερχόμενά σας

4:46 κάθε πρωί, δωρεάν στο the daily diff dot dev, σύνδεσμος παρακάτω. Έτσι, η σημερινή ετυμηγορία για το live nerf.

Ετυμηγορία: SHIP IT, και μην το αναφέρετε πριν τις 24 Οκτωβρίου

4:51 SHIP IT. Θα το δημοσίευα γιατί είναι το πρώτο επιχείρημα για αποδυνάμωση που έχω δει με χρονοσφραγίδα, ένα δημόσιο βιβλίο κανόνων και ένα δηλωμένο τυφλό σημείο. Απλά μην το αναφέρετε πριν τις είκοσι τέσσερις Οκτωβρίου. Και αυτό είναι το diff για σήμερα. Είμαι ο Νίκος από την Axrisi. Συγχωνεύστε υπεύθυνα.

Πηγές

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com