Kā atklāt Claude vājināšanu (ar reāliem datiem)

Ko aptver šis video

• Claude kļūst dumjāks pēc palaišanas: teorija saskaras ar nulles dienas pulksteni
• livenerf: 30 dienu pulkstenis Opus 5.5 no palaišanas nedēļas
• Kā noķert vājināšanu: 78 reizēm pareizi jautājumi
• Ko tas var redzēt: 7,5 punkti, un žetonu skaits mainās pirmais
• Aklais punkts: Opus 5 nomaiņa un 8 nepareizas atbildes atslēgas

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

Claude kļūst dumjāks pēc palaišanas: teorija saskaras ar nulles dienas pulksteni

0:00 Ikviens zina, ka Claude kļūst dumjāks dažas nedēļas pēc palaišanas. Tāpēc kāds izstrādātājs ieslēdza Opus pieci punktu pieci uz pulksteņa no palaišanas nedēļas, un pulkstenis saka, ka neviens vēl to nevarēja zināt. Šajā video trīs jautājumi. Kā noķert vājināšanu? Ko šis mērītājs var redzēt? Un ko saka Anthropic? Un viena rinda repo kredītos mani smīdināja skaļi.

0:20 Es pie tā nonākšu beigās. Ir trešdiena, trīsdesmitais septembris, un šis ir The Daily Diff. Šodien trīs stāsti, un lielais ir GitHub repo ar nosaukumu live nerf.

livenerf: 30 dienu pulkstenis Opus 5.5 no palaišanas nedēļas

0:30 Mēnešiem ilgi cilvēki teica, ka Anthropic klusi vājināja savus modeļus pēc palaišanas. Parastās teorijas ir saspiests modelis, mazāks modelis ar to pašu nosaukumu vai vienkārši mazāk domāšanas. Repo katru argumentu līdz šim sauc par "noskaņojums pret noskaņojumu". Opus pieci punktu pieci tika piegādāts divdesmit otrajā septembrī, un pirms nedēļas es jums teicu, ka tas ieņēma pirmo vietu neatkarīgajā sarakstā, uzrakstot trīs reizes vairāk vārdu nekā vidējais modelis. Pēc divarpus dienām izstrādātājs, vārdā ninja hawk, ieslēdza pulksteni,

0:59 reizi dienā trīsdesmit dienas, ar žurnāliem, kurus neviens nedrīkst rediģēt. Hacker News pavediens sasniedza gandrīz astoņsimt punktus un sadalījās kā komandas čats. Kāds komentētājs saka, ka modeļu vājināšana nav reāla lielākajā daļā ziņoto gadījumu. Cits saka, ka cilvēki vienkārši pierod pie jaunā inteliģences līmeņa. Un viens Claude Code pieredzējis lietotājs tagad katru reizi atceļ "novērtējiet šo sesiju" uznirstošo logu, jo Claude novērtēšana šķietami pasliktināja to. Savstarpēja pārbaude. Tātad, pirmais jautājums, kā noķert vājināšanu?

Kā noķert vājināšanu: 78 reizēm pareizi jautājumi

1:27 Jūs sākat ar aptuveni divtūkstoš trīssimts sarežģītiem eksāmena jautājumiem, un Opus pirmajā mēģinājumā iegūst deviņdesmit trīs procentus pareizi, kas ir bezjēdzīgi detektoram, jo jautājums, uz kuru tas vienmēr atbild pareizi, nevar samazināties. Deviņdesmit septiņi procenti vienmēr bija pareizi vai vienmēr nepareizi, un septiņdesmit astoņi, uz kuriem tas tikai dažreiz atbild pareizi, kļuva par paneli. Tas pats uzvedne, bez rīkiem un precīza atbilstības vērtēšana bez AI tiesneša, jo arī tiesnesis novirzītos. Tas darbojas ar Max abonementu, izmantojot bezgalvas Claude Code,

1:55 jo API versija tika novērtēta aptuveni tūkstoš sešsimt dolāru mēnesī. Un Claude Code versija ir piesaistīta, jo, repo vārdiem sakot, mainīta sistēma izskatās tieši tāpat kā mainīts modelis. Statistika nāk no dokumenta ar nosaukumu "Adding Error Bars to Evals", autors Evans Millers no Anthropic. Tātad Anthropic pašu matemātika tagad auditē Anthropic, kas ir akadēmiskā versija pakalpojumu noteikumu citēšana klientu atbalstam.

Ko tas var redzēt: 7,5 punkti, un žetonu skaits mainās pirmais

2:19 Otrais jautājums, ko tas var redzēt? Uz desmit dienu periodu, kritums par aptuveni septiņarpus punktiem. Lai pierādītu, ka iekārta darbojas, autors apzināti samazināja Claude piepūli. Vidēja piepūle samazināja izvadi par aptuveni ceturtdaļu un rezultātu tikai par četriem punktiem. Zema piepūle samazināja izvadi gandrīz par divām trešdaļām, par astoņiem punktiem. Tā ir daļa, ko nozagt. Mazāk domāšanas parādās žetonu skaitā, pirms tas parādās atbildēs.

2:43 Tāpēc piesaistiet sava modeļa versiju, reģistrējiet izvades žetonus uz uzdevumu, un saglabājiet dažus savus iesaldētos jautājumus. Ja jūsu aģents pēkšņi raksta īsāk, pārbaudiet savus žurnālus, pirms pārbaudāt Reddit. Un šeit ir godīgā daļa.

Aklais punkts: Opus 5 nomaiņa un 8 nepareizas atbildes atslēgas

2:54 Klusa vecā Opus pieci nomaiņa bija pārāk maza izmaiņa, lai iekārta to konstatētu, un readme to saka jau pašā sākumā. Audits atklāja arī astoņas atbildes atslēgas, kas izskatās nepareizas, tāpēc vājināšanas detektors atklāja kļūdas etalonā, pirms tas atklāja vājināšanu.

Anthropic: mēs nekad nesamazinām modeļa kvalitāti

3:08 Trešais jautājums, ko saka Anthropic? Pagājušajā gadā, pēc sūdzību viļņa, Anthropic publicēja pēcpārbaudes ziņojumu. Tas saka, citējot: mēs nekad nesamazinām modeļa kvalitāti pieprasījuma dēļ, dienas laika vai servera slodzes dēļ. Tas pats ziņojums atzīst, ka trīs kļūdas bija pasliktinājušas Claude, un gandrīz trešdaļa Claude Code lietotāju vismaz vienreiz nonāca uz nepareiziem serveriem. Tātad sūdzības bija reālas un iemesls bija kļūdas, tāpēc repo brīdina, ka palaišanas nedēļa varētu būt sliktākā nedēļa.

3:35 Sešas no trīsdesmit dienām ir pagājušas. Pirmo iespējamo izsaukumu varētu veikt aptuveni divdesmit ceturtajā oktobrī, tāpēc godīga atbilde ir, ka neviens nezina, ieskaitot visus, kas bija pārliecināti. Runājot par skaitļiem, ko neviens nepublicē.

Datu centri savus numurus tur slepenībā; Backblaze publicē

3:46 Lighthouse Reports un Nīderlandes laikraksts Trouw atklāja, ka lielākā daļa Eiropas datu centru tur slepenībā savu enerģijas un ūdens patēriņu, lai gan ES noteikums jau trīs gadus prasa ziņošanu. Nīderlandē mazāk nekā ceturtdaļa publicē datus. Viens Microsoft datu centrs viens pats izmanto aptuveni vienu procentu Nīderlandes elektroenerģijas. Tikmēr Backblaze atkal izdarīja garlaicīgu lietu. Tās ceturkšņa disku statistika aptver aptuveni trīssimt piecdesmit tūkstošus cieto disku, un kļūmju līmenis pieauga līdz vienam punktam septiņdesmit trīs procentiem,

4:16 augstākais kādu laiku. Trīs Seagate modeļiem nebija kļūmju. Tā izskatās publiska bāzes līnija, ceturksnis pēc ceturkšņa, trīspadsmit gadus.

Kredītu rinda: Claude palīdzēja uzbūvēt mērītāju

4:25 Tagad, tā kredītu līnija. Readme atzīst, ka liela daļa repo tika uzrakstīta ar Claude palīdzību, kas ir modelis, ko mēra. Tātad Claude palīdzēja uzbūvēt mērītāju, kas pārbauda, vai Claude kļuva dumjāks. Tāpēc vērtētāji ir vienkāršas funkcijas. Autora vārdiem sakot, jums nevajadzētu uzticēties autoram, cilvēkam vai citādi. Ja vēlaties to lasīt, nevis dzirdēt mani sakām, atšķirība nonāk jūsu iesūtnē

4:46 katru rītu, bez maksas vietnē daily diff dot dev, saite zemāk. Tātad, šodienas spriedums par live nerf.

Spriedums: SHIP IT, un necitu pirms 24. oktobra

4:51 SHIP IT. Es to nosūtītu, jo tas ir pirmais vājināšanas arguments, ko esmu redzējis ar laika zīmogu, publisku noteikumu grāmatu un norādītu aklo punktu. Tikai necitu to pirms divdesmit ceturtā oktobra. Un tā ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com