Jak detekovat oslabení Claude (s reálnými daty)

Co toto video pokrývá

• Claude po spuštění hloupne: teorie se setkává s nulovým dnem
• livenerf: 30denní hodiny na Opus 5.5 od týdne spuštění
• Jak chytit oslabení: 78 někdy správných otázek
• Co vidí: 7,5 bodu a počet tokenů se hýbe jako první
• Slepá skvrna: výměna Opus 5 a 8 špatných klíčů odpovědí

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Claude po spuštění hloupne: teorie se setkává s nulovým dnem

0:00 Každý ví, že Claude hloupne několik týdnů po spuštění. Takže jeden vývojář spustil Opus 5.5 na hodiny od týdne spuštění, a hodiny říkají, že nikdo nemohl ještě vědět. V tomto videu tři otázky. Jak chytíte oslabení? Co tento měřič vidí? A co říká Anthropic? A jeden řádek v poděkování repozitáře mě rozesmál nahlas.

0:20 Dostanu se k tomu na konci. Je středa 30. září a toto je The Daily Diff. Dnes tři příběhy a ten velký je GitHub repozitář s názvem live nerf.

livenerf: 30denní hodiny na Opus 5.5 od týdne spuštění

0:30 Měsíce lidé říkají, že Anthropic tiše oslabuje své modely po spuštění. Obvyklé teorie jsou stlačený model, menší model pod stejným názvem nebo prostě méně přemýšlení. Repozitář nazývá každý argument dosud pocity versus pocity. Opus 5.5 bylo spuštěno 22. září, a před týdnem jsem vám řekl, že se umístilo na čele nezávislé tabulky a napsalo třikrát více slov než mediánový model. Dva a půl dne poté vývojář jménem ninja hawk spustil hodiny,

0:59 jednou denně po třicet dní, se záznamy, které nikdo nesmí upravovat. Vlákno na Hacker News dosáhlo téměř osmi set bodů a rozčíslo se jako týmový chat. Jeden komentátor říká, že oslabování modelů není ve většině hlášených případů skutečné. Jiný říká, že si lidé jen zvykají na novou úroveň inteligence. A jeden pokročilý uživatel Claude Code nyní pokaždé odmítá vyskakovací okno pro hodnocení této relace, protože hodnocení Claude se zdálo, že to zhoršuje. Vzájemné hodnocení. Takže otázka jedna, jak chytíte oslabení?

Jak chytit oslabení: 78 někdy správných otázek

1:27 Začnete s přibližně 2300 obtížnými zkušebními otázkami, a Opus získá 93 procent správně na první pokus, což je pro detektor k ničemu, protože otázka, kterou vždy správně zodpoví, nemůže klesnout. 97 procent bylo vždy správně nebo vždy špatně, a 78, které někdy správně zodpoví, se stalo panelem. Stejný prompt, žádné nástroje a přesné hodnocení bez AI soudce, protože i soudce by se odchýlil. Běží na předplatném Max přes headless Claude Code,

1:55 protože verze API byla naceněna na přibližně 1600 dolarů měsíčně. A verze Claude Code je připnutá, protože, slovy repozitáře, změněný postroj vypadá přesně jako změněný model. Statistiky pocházejí z článku nazvaného Přidávání chybových pruhů k hodnocením, od Evana Millera z Anthropic. Takže vlastní matematika Anthropic nyní audituje Anthropic, což je akademická verze citování podmínek služby zpět zákaznické podpoře.

Co vidí: 7,5 bodu a počet tokenů se hýbe jako první

2:19 Otázka dvě, co vidí? Za desetidenní okno pokles o přibližně sedm a půl bodu. Aby dokázal, že zařízení funguje, autor schválně snížil úsilí Claude. Střední úsilí snížilo výstup o přibližně čtvrtinu a skóre jen o čtyři body. Nízké úsilí snížilo výstup téměř o dvě třetiny, za osm bodů. To je ta část, kterou je třeba ukrást. Méně přemýšlení se projevuje v počtu tokenů dříve, než se projeví v odpovědích.

2:43 Takže připněte verzi svého modelu, zaznamenávejte výstupní tokeny za úkol, a uchovejte si několik vlastních zmrazených otázek. Pokud váš agent náhle píše kratší, zkontrolujte své záznamy, než zkontrolujete Reddit. A tady je ta upřímná část.

Slepá skvrna: výměna Opus 5 a 8 špatných klíčů odpovědí

2:54 Tiché prohození staršího Opus 5 bylo příliš malou změnou pro zařízení, a readme to uvádí hned na začátku. Audit také našel osm klíčů odpovědí, které vypadají špatně, takže detektor oslabení našel chyby v benchmarku dříve, než našel oslabení.

Anthropic: nikdy nesnižujeme kvalitu modelu

3:08 Otázka tři, co říká Anthropic? Loni, po vlně stížností, Anthropic zveřejnil postmortem. Říká, cituji, nikdy nesnižujeme kvalitu modelu kvůli poptávce, denní době nebo zatížení serveru. Stejný příspěvek přiznává, že tři chyby zhoršily Claude, a téměř třetina uživatelů Claude Code se alespoň jednou dostala na špatné servery. Takže stížnosti byly skutečné a příčinou byly chyby, což je důvod, proč repozitář varuje, že týden spuštění by mohl být nejhorší týden.

3:35 Šest z třiceti dnů je za námi. První možné vyhodnocení přichází kolem 24. října, takže upřímná odpověď je, že nikdo neví, včetně všech, kdo si byli jisti. Když už mluvíme o číslech, která nikdo nezveřejňuje.

Datová centra tají svá čísla; Backblaze je zveřejňuje

3:46 Lighthouse Reports a nizozemský list Trouw zjistili, že drtivá většina evropských datových center tají svou spotřebu energie a vody, ačkoli pravidlo EU vyžaduje hlášení po dobu tří let. V Nizozemsku zveřejňuje méně než čtvrtina. Jedno datové centrum Microsoftu samo spotřebovává asi jedno procento nizozemské elektřiny. Mezitím Backblaze udělal opět tu nudnou věc. Jeho čtvrtletní statistiky disků pokrývají asi tři sta padesát tisíc pevných disků, a míra selhání vzrostla na 1,73 procenta,

4:16 nejvyšší za dlouhou dobu. Tři modely Seagate neměly žádné selhání. Takto vypadá veřejná základní linie, čtvrtletí po čtvrtletí, po třináct let.

Řádek s poděkováním: Claude pomohl sestavit měřidlo

4:25 Teď ten řádek s poděkováním. Readme přiznává, že velká část repozitáře byla napsána s pomocí Claude, což je model, který se měří. Takže Claude pomohl sestavit měřidlo, které kontroluje, zda Claude hloupnul. Proto jsou hodnotitelé prosté funkce. Slova autora: neměli byste důvěřovat autorovi, lidskému ani jinému. Pokud si to raději přečtete, než abyste to slyšeli ode mě, diff vám přistane ve schránce

4:46 každé ráno, zdarma na the daily diff dot dev, odkaz níže. Takže dnešní verdikt na live nerf.

Verdikt: SHIP IT, a necitujte to před 24. říjnem

4:51 SHIP IT. Doporučil bych to, protože je to první argument o oslabení, který jsem viděl s časovým razítkem, veřejným souborem pravidel a uvedenou slepou skvrnou. Jen to necitujte před 24. říjnem. A to je dnešní diff. Jsem Niko z Axrisi. Slučujte zodpovědně.

Zdroje

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com