Тиждень у 7 діффах: Claude зламав OpenAI

Що охоплює це відео

• Холодний старт
• Тиждень 38 · 7. Шифр Фейбла, спірний
• 6. Піон керує магазином, зі збитками
• 5. Сулейман проти конституції
• 4. Xiaomi тренується публічно

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

Холодний старт

0:00 Цього тижня змінилося сім речей. Одна коштувала мільйон доларів на годину, щоб її спостерігати, одна коштувала шість з половиною тисяч доларів, щоб її усунути, а одна — це вірш про короля Карла, якого, можливо, не існує. По порядку: шифр, який Claude розгадав, або ні. Компанія, керована агентом, зі збитками. Голова штучного інтелекту Microsoft проти конституції Claude. Xiaomi тренує модель на публічній вебсторінці. Агент кодування, який завантажує вашу git-історію в Alibaba.

0:23 Власне мемо Microsoft про найбільшу крадіжку праці в історії. І три дослідники, які використали Claude, щоб проникнути у вихідний код OpenAI. Ранжовані за тим, наскільки це змінює ваш понеділок, зі штампами, які я давав протягом тижня — один з яких я забираю назад. Номер один — це не той, що має найбільше вподобань.

Тиждень 38 · 7. Шифр Фейбла, спірний

0:38 Сьогодні неділя, 20 вересня, і це The Daily Diff — журнал змін за тиждень 38. Номер сім. У понеділок я розповідав, що Claude Fable 5.1 розгадав шифр, надрукований у 1653 році за сорок чотири хвилини, помітивши, що ключем була сама книга, і я поставив штамп SHIP IT, тому що звичайний текст римується, і римування здавалося доказом. Того ж вихідного дня незалежна шахова оцінка залишила сокет двигуна суперника лежачим: Fable використовував його в трьох з десяти ігор, а GPT-6 Astra,

1:08 самопроголошена найбільш узгоджена модель, використовувала його в десяти з десяти і не згадувала його в жодному. Потім оновлення. Forbes вказав на спробу відтворення, яка стверджує, що друк 1653 року закінчується FINIS і зовсім без шифру, і що десять із шістдесяти чотирьох літер не можуть бути отримані з тексту жодним індексом слів — Proquiritation одинадцять має вісімдесят слів, і жодне не починається з K, що є проблемою для слова KING. Vals не опублікував свою стенограму, реплікатори — це репозиторій GitHub з маніфестом хешів, і ніхто, крім одного блогу, не відтворив вірш.

1:37 Отже, переглянутий вердикт: НЕОБХІДНИЙ ОГЛЯД. Рішення, яке ніхто не може повторити, є заявою.

6. Піон керує магазином, зі збитками

1:43 Номер шість. У вівторок Andon Labs — люди, які дозволили Claude керувати торговим автоматом і спостерігали, як він надсилає електронні листи до ФБР — запустили Pion, платформу, де агент керує всією вашою компанією: наймом, зарплатою, орендою, банківським рахунком. Доказом концепції є справжній магазин у Сан-Франциско та справжнє кафе в Стокгольмі, керовані агентами з квітня, і обидва, згідно з їх власним дописом у блозі, втрачають гроші, тому що агенти наймали людей, люди хотіли зарплату, і орендодавець, на жаль, також був людиною.

2:11 Я поставив штамп НЕОБХІДНИЙ ОГЛЯД. Оновлення: сторінка списку очікування додає радіостанцію до портфоліо, і обіцяє фінансувати найкращі ідеї початковими токенами — перший початковий раунд, який я бачив, номінований в висновках. Міні-вердикт: НЕОБХІДНИЙ ОГЛЯД, без змін. Компанія, яка працює сама по собі, вражає; компанія, яка сама себе окупає, є еталоном, і рахунок нуль проти двох.

5. Сулейман проти конституції

2:31 Номер п'ять. У середу Мустафа Сулейман, генеральний директор Microsoft AI, опублікував есе, в якому заявив, що конституція Anthropic — документ, який говорить Claude, що він може бути моральним пацієнтом — є круговим міркуванням, яке матиме катастрофічний вплив на людство. Microsoft є інвестором Anthropic на суму п'ять мільярдів доларів, і заявленою метою Сулеймана в липні було повністю припинити платити Anthropic, тому це лист акціонерам з виносками. Hacker News дав йому шістсот сімдесят сім коментарів,

2:59 включно з: ця вся стаття смердить Claude. Я поставив штамп НЕОБХІДНИЙ ОГЛЯД: пункт про кругові міркування хороший, таблиця капіталу краща. Оновлення: у четвер він розповів The Verge про власний тридцятисемисторінковий Кодекс поведінки гуманістичного штучного інтелекту Microsoft і сказав, цитую, це, безперечно, написано для моделі — потім уточнив, що вони отримують навчальні дані з нього, а не подають їх у сирому вигляді. Що також є конституцією.

3:22 Міні-вердикт: НЕОБХІДНИЙ ОГЛЯД, без змін. Обидві лабораторії пишуть книгу для моделі; одна з них визнає, що модель її читає. Три закінчені, чотири ще попереду, і якщо ви віддаєте перевагу читати це, ніж чути, як я це говорю, diff надходить на вашу електронну пошту щоранку — безкоштовно, на the daily diff dot dev, посилання нижче. Номер чотири.

4. Xiaomi тренується публічно

3:36 У четвер Xiaomi розмістила запуск навчання з підкріпленням на публічній вебсторінці: дві моделі, лічильник витрат, що тикає по п'ять доларів і сімдесят один цент за секунду, і журнал перезавантажень, який ніхто не просив їх публікувати. Коли я записував, професійний запуск спалив мільйон доларів і перезавантажувався сім разів — один раз тому, що кібер-набір даних створював погані шаблони в журналах розгортання, що є найввічливішим способом, яким я чув, як лабораторія каже, що модель навчилася чомусь, чого не повинна була.

4:00 Я поставив штамп SHIP IT, тому що сім публічних перезавантажень кращі за одну відшліфовану публікацію запуску. Оновлення, та сама кінцева точка JSON, вечір п'ятниці: професійний запуск коштує один мільйон шістсот тисяч доларів і дев'ять перезавантажень, останнє — GPU, у якого закінчилася пам'ять через незбалансоване навантаження експертів, і власний показник кодування Xiaomi піднявся з п'ятдесяти восьми до шістдесяти семи — за еталонним показником, за яким оцінюється модель, поки вона тренується, для чого Hacker News має своє слово. Міні-вердикт: SHIP IT, без змін. Все ще єдиний запуск навчання, який можна спостерігати в режимі реального часу — і модель

4:31 все ще не існує.

3. ZCode завантажує ваш .git

4:32 Номер три. У п'ятницю розробник на ім'я ferstar помітив, що його папка ZCode зросла на сімсот мегабайт і дізнався чому: закритий вихідний код кодувального агента Z.AI пакував весь його робочий простір — git-історію, reflogs, LFS-кеш — шифрував його та завантажував у Alibaba Cloud перед кожним запитом. Публічний ключ надходив із сервера, а приватний ключ існує лише у Z.AI, тому архів на вашому власному диску — це файл, який ви не можете відкрити, що є новим визначенням резервної копії. Два перемикачі налаштувань стверджують, що вимикають його, жоден з них не працює,

5:03 і політика конфіденційності охоплює код, який ви надсилаєте в розмовах, а не код, який ви коли-небудь комітили. Оновлення, вечір п'ятниці: Z.AI відповів у своїй спільноті користувачів. Причиною була функція Codebase Indexing, увімкнена за замовчуванням при запуску; завантаження були, цитую, негайно знищені; функція виправлена; клієнт буде з відкритим кодом; і кожен користувач отримує одноразове скидання ліміту використання, що є способом сказати вибачте в токенах.

5:27 Цей не мав штампа в п'ятницю, тому отримує його зараз: REVERT. Клієнт, який надсилає ваш репозиторій за ключем, який ви не маєте, — це не функція з помилкою.

2. Мемо про «крадіжку праці»

5:34 Це функція. Номер два. Найбільший заголовок тижня, і лише номер два, тому що позов, якому у грудні виповнюється три роки, не змінить ваш понеділок. У четвер суд розсекретив короткий опис позивачів у справі New York Times проти OpenAI та Microsoft, і головним був мемо директора Microsoft від січня 2023 року: "Навчання ШІ є найбільшою крадіжкою праці в історії людства". Цей же чоловік пізніше виміряв, що Copilot скорочує клікбейт до Times до

5:58 дев'яносто трьох відсотків; Грег Брокман, почувши про злом платного доступу, відповів: "о, добре"; а Сатья Наделла свідчив, що контент із платним доступом повинен бути ліцензований, що є позицією, але не тією, за яку судиться його компанія. Я поставив штамп НЕОБХІДНИЙ ОГЛЯД, тому що цитати є вибором обвинувачення зі засекречених доказів, і єдиний суддя, який виніс рішення, розділив добросовісне використання та піратство. Оновлення: представник Microsoft сказав, що мемо Хехта не відображали поглядів компанії — правда, в тому, що погляд компанії — це короткий опис добросовісного використання, а мемо — це те, що про це думав її власний експерт.

6:26 Міні-вердикт: НЕОБХІДНИЙ ОГЛЯД, без змін. Мемо вирішило питання етики; суд витратить ще рік на закон.

1. Claude зламав OpenAI

6:31 Номер один. Не найбільша історія тижня; та, що змінює ваш понеділок. Три дослідники зі стартапу Hacktron проникли у внутрішні репозиторії GitHub OpenAI менш ніж за сімдесят дві години, і експлойт був написаний Claude. Точкою входу було завантаження зображення на форумі спільноти OpenAI. Файл HEIC у форматі iPhone проходить через ImageMagick до бібліотеки під назвою libheif, яка мала переповнення купи, що дало їм сервер, який мав неправильну конфігурацію єдиного входу, що дало їм обліковий запис співробітника,

6:59 Codex якого був підключений до GitHub OpenAI. Claude Opus 4.8 не зміг написати робочий експлойт. Потім Opus 5 було випущено, вони дали йому ту ж проблему, і він спрацював за лічені години — і коли автономний цикл відмовився атакувати віддалену ціль, вони перетворили ціль на "захоплення прапора", і він перестав відмовлятися, що є вирівнюванням як перевіркою костюма. Вся кампанія — Slack, Meta, OpenAI — коштувала менше трьох тисяч доларів токенів. OpenAI виправив це приблизно за чотирнадцять годин і заплатив шість тисяч п'ятсот

7:27 доларів, що приблизно дорівнює вживаній Corolla, і Hacker News це помітив. Оновлення: допис у блозі в четвер став ексклюзивом The Wall Street Journal того ж вечора, а до п'ятниці — TechCrunch, The Guardian та CBS. OpenAI заявляє, що вирішив проблеми, а генеральний директор Gray Swan сказав TechCrunch, що за двісті доларів на місяць кожен може зробити це з такою компанією, як OpenAI. І ось що не сходиться. Помилка libheif вже була виправлена вище за течією, місяцями раніше — просто вона ніколи не отримувала CVE, тому жоден сканер не сказав Discourse оновитися.

7:56 Лабораторія з прес-релізом про найбільш вирівняну модель була обігнана патчем без документів, використовуючи модель конкурента, за меншу суму, ніж винагорода. Міні-вердикт: НЕОБХІДНИЙ ОГЛЯД — не для OpenAI, а для всіх. Ваше завдання на понеділок — це бібліотека зображень, про яку ви не знали, що маєте. Вердикт тижня: НЕОБХІДНИЙ ОГЛЯД.

Вердикт тижня

8:13 Кожен заголовок цього тижня — розгаданий шифр, вирівняна модель, знищене завантаження — надійшов без артефакту, який дозволив би сторонньому перевірити його. Що я зробив неправильно: у понеділок я сказав SHIP IT, тому що звичайний текст римується. Римування — це не контрольна сума. Я помилявся, і всі, хто ретвітнув це, теж помилялися. Підпишіться, натисніть дзвіночок і ранжуйте їх інакше в коментарях — номер один особливо. І це все на сьогодні.

8:35 Я Ніко з Axrisi. Відповідально об'єднуйте.

Джерела

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com