Cum să detectezi o slăbire Claude (cu date reale)

Ce acoperă acest videoclip

• Claude devine mai puțin inteligent după lansare: teoria întâlnește un cronometru de zi zero
• livenerf: un cronometru de 30 de zile pe Opus 5.5 din săptămâna lansării
• Cum să prinzi o slăbire: 78 de întrebări uneori corecte
• Ce poate vedea: 7,5 puncte, și numărul de token-uri se mișcă primul
• Pata oarbă: un schimb de Opus 5 și 8 chei de răspuns greșite

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

Claude devine mai puțin inteligent după lansare: teoria întâlnește un cronometru de zi zero

0:00 Toată lumea știe că Claude devine mai puțin inteligent la câteva săptămâni după lansare. Așa că un dezvoltator a pus Opus cinci virgulă cinci sub un cronometru din săptămâna lansării, și cronometrul spune că nimeni nu ar fi putut ști încă. În acest videoclip, trei întrebări. Cum prinzi o slăbire? Ce poate vedea acest contor? Și ce spune Anthropic? Și o replică din creditele repo-ului m-a făcut să râd în hohote.

0:20 Voi ajunge la ea la final. Este miercuri, treizeci septembrie, și acesta este The Daily Diff. Trei povești astăzi, iar cea mare este un depozit GitHub numit live nerf.

livenerf: un cronometru de 30 de zile pe Opus 5.5 din săptămâna lansării

0:30 De luni de zile, oamenii au spus că Anthropic își slăbește în liniște modelele după lansare. Teoriile obișnuite sunt un model comprimat, un model mai mic sub același nume sau pur și simplu mai puțină gândire. Repo-ul numește fiecare argument de până acum vibes versus vibes. Opus cinci virgulă cinci a fost lansat pe douăzeci și doi septembrie, și acum o săptămână v-am spus că a depășit clasamentul independent, scriind de trei ori mai multe cuvinte decât modelul median. După două zile și jumătate, un dezvoltator numit ninja hawk a pornit cronometrul,

0:59 o dată pe zi, timp de treizeci de zile, cu jurnale pe care nimeni nu le poate edita. Discuția de pe Hacker News a atins aproape opt sute de puncte și s-a împărțit ca un chat de echipă. Un comentator spune că slăbirea modelelor nu este reală în majoritatea covârșitoare a cazurilor raportate. Altul spune că oamenii se obișnuiesc pur și simplu cu noul nivel de inteligență. Iar un utilizator avansat de Claude Code ignoră acum fereastra pop-up „evaluează această sesiune” de fiecare dată, deoarece evaluarea lui Claude părea să-l înrăutățească. Evaluare inter pares. Deci, întrebarea unu, cum prinzi o slăbire?

Cum să prinzi o slăbire: 78 de întrebări uneori corecte

1:27 Începi cu aproximativ două mii trei sute de întrebări de examen dificile, și Opus obține nouăzeci și trei la sută corect la prima încercare, ceea ce este inutil pentru un detector, deoarece o întrebare la care răspunde întotdeauna corect nu poate scădea. Nouăzeci și șapte la sută au fost întotdeauna corecte sau întotdeauna greșite, iar cele șaptezeci și opt la care răspunde doar uneori corect au devenit panelul. Același prompt, fără instrumente, și notare cu potrivire exactă, fără judecător AI, deoarece și judecătorul ar deriva. Rulează pe un abonament Max prin Claude Code headless,

1:55 deoarece versiunea API era prețuită la aproximativ o mie șase sute de dolari pe lună. Și versiunea Claude Code este fixată, deoarece, în cuvintele repo-ului, un sistem schimbat arată exact ca un model schimbat. Statisticile provin dintr-o lucrare numită Adăugarea de bare de eroare la evaluări, de Evan Miller de la Anthropic. Așadar, matematica proprie a Anthropic auditează acum Anthropic, ceea ce este versiunea academică de a cita termenii serviciului înapoi către asistența pentru clienți.

Ce poate vedea: 7,5 puncte, și numărul de token-uri se mișcă primul

2:19 Întrebarea doi, ce poate vedea? Pe o fereastră de zece zile, o scădere de aproximativ șapte puncte și jumătate. Pentru a demonstra că sistemul funcționează, autorul a redus intenționat efortul lui Claude. Efortul mediu a redus rezultatul cu aproximativ un sfert, și scorul cu doar patru puncte. Efortul scăzut a redus rezultatul cu aproape două treimi, pentru opt puncte. Aceasta este partea de furat. Mai puțină gândire apare în numărul de token-uri înainte de a apărea în răspunsuri.

2:43 Așa că fixați versiunea modelului, înregistrați token-urile de ieșire per sarcină, și păstrați câteva întrebări fixe ale voastre. Dacă agentul vostru scrie brusc mai scurt, verificați jurnalele înainte de a verifica Reddit. Și iată partea onestă.

Pata oarbă: un schimb de Opus 5 și 8 chei de răspuns greșite

2:54 Schimbarea în liniște cu vechiul Opus cinci a fost o schimbare prea mică pentru ca sistemul să o detecteze, și readme-ul o spune din start. Auditul a găsit, de asemenea, opt chei de răspuns care par greșite, așa că detectorul de slăbire a găsit erori în benchmark înainte de a găsi o slăbire.

Anthropic: nu reducem niciodată calitatea modelului

3:08 Întrebarea trei, ce spune Anthropic? Anul trecut, după un val de plângeri, Anthropic a publicat o analiză post-mortem. Spune, citez, nu reducem niciodată calitatea modelului din cauza cererii, orei din zi sau încărcării serverului. Aceeași postare admite că trei erori au degradat Claude, și aproape o treime dintre utilizatorii Claude Code au accesat servere greșite cel puțin o dată. Așadar, plângerile erau reale și cauza erau erorile, motiv pentru care repo-ul avertizează că săptămâna lansării ar putea fi cea mai proastă săptămână.

3:35 Șase din treizeci de zile au trecut. Primul apel posibil aterizează în jurul datei de douăzeci și patru octombrie, așa că răspunsul onest este că nimeni nu știe, inclusiv toți cei care erau siguri. Apropo de numere pe care nimeni nu le publică.

Centrele de date își păstrează numerele secrete; Backblaze publică

3:46 Lighthouse Reports și ziarul olandez Trouw au descoperit că marea majoritate a centrelor de date europene își păstrează secret consumul de energie și apă, deși o regulă a UE a impus raportarea de trei ani. În Olanda, mai puțin de un sfert publică. Un singur centru de date Microsoft utilizează aproximativ un procent din electricitatea olandeză. Între timp, Backblaze a făcut din nou lucrul plictisitor. Statisticile trimestriale ale unităților sale acoperă aproximativ trei sute cincizeci de mii de hard disk-uri, și rata de eșec a crescut la unu virgulă șaptezeci și trei la sută,

4:16 cea mai mare de ceva timp. Trei modele Seagate au avut zero eșecuri. Așa arată o linie de referință publică, trimestru după trimestru, timp de treisprezece ani.

Linia de credite: Claude a ajutat la construirea contorului

4:25 Acum, acea linie de credite. Readme-ul admite că o mare parte din repo a fost scrisă cu ajutorul lui Claude, care este modelul măsurat. Așadar, Claude a ajutat la construirea contorului care verifică dacă Claude a devenit mai puțin inteligent. De aceea, evaluatorii sunt funcții simple. În cuvintele autorului, nu ar trebui să ai încredere în autor, uman sau altfel. Dacă preferați să citiți asta decât să mă auziți spunând-o, diff-ul ajunge în inbox-ul vostru

4:46 în fiecare dimineață, gratuit la the daily diff dot dev, link mai jos. Deci, verdictul de astăzi despre live nerf.

Verdict: SHIP IT, și nu-l citați înainte de 24 octombrie

4:51 SHIP IT. L-aș trimite pentru că este primul argument de slăbire pe care l-am văzut cu un timestamp, o carte de reguli publică și o pată oarbă declarată. Doar nu-l citați înainte de douăzeci și patru octombrie. Și asta e diff-ul pentru azi. Sunt Niko de la Axrisi. Îmbină responsabil.

Surse

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com