Claudeの弱体化を検出する方法（実際のデータを使用）

この動画の要点

• Claudeはリリース後に賢さが低下する：理論とゼロ日からの監視
• livenerf：Opus 5.5のリリース週から30日間の時計
• 弱体化を検出する方法：78の時に正解する質問
• 何が見えるか：7.5ポイント、そしてトークン数が最初に動く
• 死角：Opus 5の交換と8つの間違った解答キー

翻訳されたトランスクリプト

オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。

Claudeはリリース後に賢さが低下する：理論とゼロ日からの監視

0:00 Claudeはリリースから数週間で賢さが低下することは誰もが知っています。 そこで、ある開発者がOpus 5.5をリリース週から監視し始めました。 そして、その監視結果は、これまで誰も知ることができなかったことを示しています。 このビデオでは、3つの質問があります。 弱体化をどうやって検出しますか？ このメーターは何が見えますか？ そしてAnthropicは何と言っていますか？ そして、リポジトリのクレジットにある一文には笑ってしまいました。

0:20 それは最後にお話しします。 9月30日水曜日、The Daily Diffです。 今日のニュースは3つあり、その中でも大きなものは「live nerf」というGitHubリポジトリです。

livenerf：Opus 5.5のリリース週から30日間の時計

0:30 数ヶ月間、Anthropicはリリース後にモデルを密かに弱体化させていると言われています。 一般的な説は、モデルが圧縮されている、同じ名前でより小さなモデルが使われている、 あるいは単に思考が少なくなっているというものです。 このリポジトリは、これまでのすべての議論を「雰囲気対雰囲気」と呼んでいます。 Opus 5.5は9月22日にリリースされ、 1週間前、私はそれが独立したボードでトップになり、中央値のモデルの3倍の単語を書き出したと伝えました。 リリースから2日半後、ninja hawkという開発者が監視を開始しました。 30日間、毎日1回、誰も編集できないログと共に記録されます。

0:59 Hacker Newsのスレッドは800近いポイントに達し、チームチャットのように意見が分かれました。 あるコメント投稿者は、報告されたケースの大多数において、モデルの弱体化は現実ではないと言います。 別の投稿者は、人々が単に新しいレベルの知能に慣れてきただけだと言います。 そして、あるClaude Codeのパワーユーザーは、Claudeの評価がモデルを悪化させるように思えたため、 セッションを評価するポップアップを毎回無視しています。 ピアレビュー。さて、質問1、弱体化をどうやって検出しますか？ 約2300の難しい試験問題から始めます。

弱体化を検出する方法：78の時に正解する質問

1:27 Opusは最初の試行で93％を正解しますが、 これは検出器としては役に立ちません。常に正解する質問は低下しようがないからです。 97％は常に正解か常に不正解で、 時に正解する78の質問がパネルになりました。 同じプロンプト、ツールなし、AIの判定なしの完全一致採点です。 判定者もドリフトするからです。 ヘッドレスClaude Codeを介してMaxサブスクリプションで実行されます。 API版は月額約1600ドルだったからです。

1:55 そしてClaude Code版はピン留めされています。 リポジトリの言葉を借りれば、ハーネスが変更されるとモデルが変更されたのと全く同じに見えるからです。 統計はAnthropicのEvan Millerによる論文「Adding Error Bars to Evals」から来ています。 つまり、Anthropic自身の数学がAnthropicを監査しているのです。 これは、カスタマーサポートに利用規約を引用する学術版です。 質問2、何が見えますか？ 10日間のウィンドウあたり約7.5ポイントの低下です。

何が見えるか：7.5ポイント、そしてトークン数が最初に動く

2:19 このリグが機能することを証明するために、著者は意図的にClaudeの労力を下げました。 中程度の労力では出力が約4分の1減り、スコアはわずか4ポイント減りました。 低い労力では出力がほぼ3分の2減り、 8ポイント減りました。 これが盗むべき部分です。 思考の減少は、解答に現れる前にトークン数に現れます。 したがって、モデルのバージョンを固定し、タスクごとの出力トークンをログに記録し、 独自の凍結された質問をいくつか保持してください。

2:43 もしエージェントが突然短く書き始めたら、Redditをチェックする前にログをチェックしてください。 そして、これが正直な部分です。 古いOpus 5に密かに交換することは、このリグが検出するにはあまりにも小さな変更であり、 readmeにもその旨が記載されています。

死角：Opus 5の交換と8つの間違った解答キー

2:54 監査では、間違っているように見える8つの解答キーも見つかりました。 したがって、弱体化検出器は、弱体化を発見する前にベンチマークのバグを発見しました。 質問3、Anthropicは何と言っていますか？ 昨年、苦情の波を受けて、Anthropicは事後分析を発表しました。

Anthropic：モデルの品質を低下させることは決してありません

3:08 それには、「需要、時間帯、サーバー負荷のためにモデルの品質を低下させることは決してない」と書かれています。 同じ投稿で、3つのバグがClaudeの性能を低下させ、Claude Codeユーザーの約3分の1が 少なくとも1回は間違ったサーバーに接続したことを認めています。 したがって、苦情は現実のものであり、原因はバグでした。 だからこそ、リポジトリはリリース週が最悪の週になる可能性があると警告しています。 30日中6日が経過しました。 最初の可能性のある呼び出しは10月24日頃に行われるため、 正直な答えは、確信していたすべての人を含め、誰も知らないということです。

3:35 誰も公開しない数字といえば。 Lighthouse Reportsとオランダの新聞Trouwは、ヨーロッパのデータセンターの大多数が電力と水の使用量を秘密にしていることを発見しました。 EUの規則では3年間報告が義務付けられているにもかかわらずです。 オランダでは、4分の1未満しか公開していません。

データセンターは数値を秘密にしています。Backblazeは公開しています

3:46 Microsoftの1つのデータセンターだけで、オランダの電力の約1％を使用しています。 一方、Backblazeは再び地味なことを行いました。 四半期ごとのドライブ統計は、約35万台のハードドライブを対象としており、 故障率は1.73％に上昇し、 しばらくぶりの高水準となりました。 3つのSeagateモデルは故障ゼロでした。 これが、13年間、四半期ごとに公開されるベースラインです。 さて、そのクレジットラインです。

4:16 readmeには、リポジトリの多くがClaudeの助けを借りて書かれたと記載されています。 これは測定されているモデルです。 つまり、ClaudeはClaudeが賢くなったかどうかをチェックするメーターの構築を手伝ったのです。 だからこそ、採点者は単純な関数なのです。

クレジットライン：Claudeがメーターの構築を手伝った

4:25 著者の言葉を借りれば、「人間であろうとなかろうと、著者を信頼する必要はない」ということです。 これを読むよりも聞きたい場合は、毎朝The Daily Diff.devで無料でメールボックスに届きます。リンクは下にあります。 今日のライブナーフに関する評決です。 SHIP IT。タイムスタンプ、公開されたルールブック、そして明記された死角を持つ弱体化の議論を初めて見たので、私はこれをSHIP ITとします。 ただし、10月24日までは引用しないでください。 今日の差分は以上です。 AxrisiのNikoでした。 責任を持ってマージしてください。

4:46 責任を持ってマージしてください。 SHIP IT。

評決：SHIP IT、10月24日までは引用しないでください

4:51 私はSHIP ITと判断します。タイムスタンプ、公開されたルールブック、そして明記された死角を持つ初めての弱体化に関する議論だからです。 ただし、10月24日までは引用しないでください。 今日の差分は以上です。 AxrisiのNikoです。 責任を持ってマージしてください。 責任を持ってマージしてください。

情報源

1. livenerfgithub.com
2. Validationgithub.com
3. Hacker Newsnews.ycombinator.com
4. Anthropic postmortem (Sep 2025)www.anthropic.com
5. Adding Error Bars to Evals (Evan Miller)arxiv.org
6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
7. NL Timesnltimes.nl
8. Hacker Newsnews.ycombinator.com
9. Backblaze Drive Stats Q2 2026www.backblaze.com
10. Hacker Newsnews.ycombinator.com