Како детектовати ослабљење Claude-а (са стварним подацима)

Шта овај видео покрива

• Claude постаје глупљи након покретања: теорија се сусреће са сатом од првог дана
• livenerf: 30-дневни сат на Opus 5.5 од недеље покретања
• Како ухватити ослабљење: 78 понекад тачних питања
• Шта може да види: 7.5 поена, а број токена се прво помера
• Слепа мрља: замена Opus 5 и 8 погрешних кључева одговора

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

Claude постаје глупљи након покретања: теорија се сусреће са сатом од првог дана

0:00 Сви знају да Claude постаје глупљи неколико недеља након покретања. Тако је један програмер ставио Opus пет тачка пет на сат од недеље покретања, и сат каже да нико још није могао знати. У овом видеу, три питања. Како ухватити ослабљење? Шта овај мерач може да види? И шта каже Anthropic? И једна реченица у кредитима репозиторијума ме је насмејала наглас.

0:20 Доћи ћу до тога на крају. Среда је, тридесети септембар, и ово је The Daily Diff. Данас три приче, а велика је GitHub репозиторијум под називом live nerf.

livenerf: 30-дневни сат на Opus 5.5 од недеље покретања

0:30 Месецима, људи су говорили да Anthropic тихо ослабљује своје моделе након покретања. Уобичајене теорије су компресовани модел, мањи модел под истим именом или једноставно мање размишљања. Репозиторијум назива сваки досадашњи аргумент осећајима против осећаја. Opus пет тачка пет је испоручен двадесет другог септембра, и пре недељу дана сам вам рекао да је био на врху независне листе док је писао три пута више речи од медијанског модела. После два и по дана, програмер по имену ninja hawk је покренуо сат,

0:59 једном дневно током тридесет дана, са логовима које нико не сме да мења. Тема на Hacker News-у је достигла скоро осам стотина поена и поделила се као тимски чат. Један коментатор каже да ослабљење модела није стварно у великој већини пријављених случајева. Други каже да се људи само навикавају на нови ниво интелигенције. И један искусни корисник Claude Кода сада сваки пут одбацује поскачући прозор за оцењивање ове сесије, јер се чинило да је оцењивање Claude-а погоршало. Рецензија. Дакле, питање једно, како ухватити ослабљење?

Како ухватити ослабљење: 78 понекад тачних питања

1:27 Почињете са око две хиљаде три стотине тешких испитних питања, и Opus добија деведесет три процента тачних одговора из првог покушаја, што је бескорисно за детектор, јер питање на које увек добије тачан одговор не може пасти. Деведесет седам процената је увек било тачно или увек погрешно, а седамдесет осам на које понекад добије тачан одговор постало је панел. Исти упит, без алата, и оцењивање тачним подударањем без АИ судије, јер би и судија одлутао. Ради на Макс претплати преко headless Claude Кода,

1:55 јер је АПИ верзија била по цени од око хиљаду шест стотина долара месечно. И верзија Claude Кода је закачена, јер, по речима репозиторијума, промењена платформа изгледа исто као промењени модел. Статистика потиче из рада под називом Додавање трака грешке евалуацијама, који је написао Еван Милер из Anthropic-а. Дакле, Anthropic-ова сопствена математика сада врши ревизију Anthropic-а, што је академска верзија цитирања услова услуге назад корисничкој подршци.

Шта може да види: 7.5 поена, а број токена се прво помера

2:19 Питање два, шта може да види? По десетодневном прозору, пад од око седам и по поена. Да би доказао да уређај ради, аутор је намерно смањио Claude-ов напор. Средњи напор је смањио излаз за око четвртину, а резултат за само четири поена. Низак напор је смањио излаз за скоро две трећине, за осам поена. То је део који треба украсти. Мање размишљања се показује у броју токена пре него што се покаже у одговорима.

2:43 Дакле, закачите верзију свог модела, евидентирајте излазне токене по задатку, и задржите неколико својих замрзнутих питања. Ако ваш агент изненада пише краће, проверите своје логове пре него што проверите Reddit. А ево и искреног дела.

Слепа мрља: замена Opus 5 и 8 погрешних кључева одговора

2:54 Тиха замена старијег Opus пет била је премала промена да би је уређај пријавио, и у readme фајлу то пише унапред. Ревизија је такође пронашла осам кључева одговора који изгледају погрешно, тако да је детектор ослабљења пронашао грешке у бенчмарку пре него што је пронашао ослабљење.

Anthropic: никада не смањујемо квалитет модела

3:08 Питање три, шта каже Anthropic? Прошле године, након таласа жалби, Anthropic је објавио постмортем. Каже, цитирам, никада не смањујемо квалитет модела због потражње, доба дана или оптерећења сервера. Исти пост признаје да су три грешке деградирале Claude-а, и скоро трећина корисника Claude Кода је барем једном погодила погрешне сервере. Дакле, жалбе су биле стварне, а узрок су биле грешке, због чега репозиторијум упозорава да недеља покретања може бити најгора недеља.

3:35 Шест од тридесет дана је прошло. Први могући позив долази око двадесет четвртог октобра, тако да је искрен одговор да нико не зна, укључујући све који су били сигурни. Када говоримо о бројевима које нико не објављује.

Дата центри чувају своје бројеве у тајности; Backblaze објављује

3:46 Lighthouse Reports и холандски лист Trouw открили су да велика већина европских дата центара чува своју потрошњу енергије и воде у тајности, иако ЕУ правило захтева извештавање већ три године. У Холандији, мање од четвртине објављује. Један Microsoft дата центар сам користи око један проценат холандске електричне енергије. У међувремену, Backblaze је поново урадио досадну ствар. Његове кварталне статистике о дисковима покривају око три стотине педесет хиљада хард дискова, и стопа кварова је порасла на један тачка седамдесет три процента,

4:16 највиша у последње време. Три Seagate модела нису имала кварова. Тако изгледа јавна основа, квартал за кварталом, тринаест година.

Кредитна линија: Claude је помогао у изградњи мерача

4:25 Сада, та кредитна линија. Readme признаје да је велики део репозиторијума написан уз помоћ Claude-а, што је модел који се мери. Дакле, Claude је помогао у изградњи мерача који проверава да ли је Claude постао глупљи. Зато су оцењивачи једноставне функције. По речима аутора, не би требало да верујете аутору, људском или другом. Ако бисте радије ово прочитали него чули како ја говорим, The Daily Diff стиже у ваше сандуче

4:46 сваког јутра, бесплатно на the daily diff dot dev, линк испод. Дакле, данашња пресуда о live nerf-у.

Пресуда: SHIP IT, и не цитирајте га пре 24. октобра

4:51 SHIP IT. Испоручио бих га јер је то први аргумент о ослабљењу који сам видео са временском ознаком, јавним правилником и наведеном слепом мрљом. Само га не цитирајте пре двадесет четвртог октобра. И то је Diff за данас. Ја сам Нико из Axrisi-а. Спајајте одговорно.

Извори

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com