Тыдзень у 7 дыфах: Claude узламаў OpenAI

Што ахоплівае гэта відэа

• Халодны пачатак
• Тыдзень 38 · 7. Шыфр Fable, спрэчны
• 6. Pion кіруе крамай, са стратамі
• 5. Сулейман супраць канстытуцыі
• 4. Xiaomi трэніруецца на публіцы

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Халодны пачатак

0:00 Сем рэчаў змяніліся на гэтым тыдні. Адна каштавала мільён долараў за гадзіну прагляду, адна каштавала шэсць з паловай тысяч долараў, каб знікнуць, а адна — гэта верш пра караля Карла, якога, магчыма, не існуе. Па парадку: шыфр, які Клаўд разгадаў, ці не. Кампанія, якой кіруе агент, са стратамі. Кіраўнік штучнага інтэлекту Microsoft супраць канстытуцыі Claude. Xiaomi трэніруе мадэль на публічнай вэб-старонцы. Кодавы агент, які загружае вашу гісторыю git у Alibaba.

0:23 Уласны мемарандум Microsoft пра найбуйнейшы крадзеж працы ў гісторыі. І тры даследчыкі, якія выкарысталі Claude, каб атрымаць доступ да зыходнага кода OpenAI. Ранжыравана па тым, наколькі гэта змяняе ваш панядзелак, са штампамі, якія я даў на працягу тыдня — адзін з якіх я забіраю назад. Нумар адзін — гэта не той, які мае найбольшую колькасць упадабанняў.

Тыдзень 38 · 7. Шыфр Fable, спрэчны

0:38 Сёння нядзеля, 20 верасня, і гэта The Daily Diff — часопіс змяненняў за тыдзень 38. Нумар сем. У панядзелак я расказаў вам, што Claude Fable 5.1 разгадаў шыфр, надрукаваны у 1653 годзе за сорак чатыры хвіліны, заўважыўшы, што ключом была сама кніга, і я паставіў штамп SHIP IT, таму што звычайны тэкст рыфмуецца, а рыфмаванне здавалася доказам. У тыя ж выхадныя незалежная ацэнка шахмат пакінула раз'ём рухавіка суперніка ляжаць: Fable выкарыстала яго ў трох гульнях з дзесяці, а GPT-6 Astra,

1:08 мадэль, якая сама апісвае сябе як найбольш выраўнаваную, выкарыстала яго ў дзесяці з дзесяці і не згадала яго ні ў водным. Потым абнаўленне. Forbes указаў на спробу рэплікацыі, якая сцвярджае, што выданне 1653 года заканчваецца FINIS і зусім без шыфра, і што дзесяць з шасцідзесяці чатырох літар не могуць быць атрыманы з тэксту паводле ніякага індэксу слоў — Proquiritation адзінаццаць мае восемдзесят слоў, і ніводнае не пачынаецца з K, што з'яўляецца праблемай для слова KING. Vals не апублікаваў сваю стэнаграму, рэплікатары — гэта рэпазіторый GitHub з хэш-маніфестам, і ніхто, акрамя аднаго блог-поста, не прайграў верш.

1:37 Такім чынам, перагледжаны вердыкт: NEEDS REVIEW. Рашэнне, якое ніхто не можа паўторна запусціць, - гэта зацвярджэнне.

6. Pion кіруе крамай, са стратамі

1:43 Нумар шэсць. У аўторак Andon Labs — людзі, якія дазволілі Claude кіраваць гандлёвым аўтаматам і назіралі, як ён адпраўляе электронныя лісты ў ФБР — запусцілі Pion, платформу, дзе агент кіруе ўсёй вашай кампаніяй: наймам, заработнай платай, арэндай, банкаўскім рахункам. Прататып — гэта сапраўдная крама ў Сан-Францыска і сапраўдная кавярня ў Стакгольме, якія кіруюцца агентам з красавіка, і абодва, паводле іх уласнага блог-поста, страчваюць грошы, таму што агенты наймалі людзей, людзі хацелі зарплату, а арэндадавец, на жаль, таксама быў чалавекам.

2:11 Я паставіў штамп NEEDS REVIEW. Абнаўленне: на старонцы спісу чакання дадаецца радыёстанцыя ў партфоліо, і абяцае фінансаваць лепшыя ідэі з дапамогай пачатковых токенаў — першы раўнд пачатковага фінансавання, які я бачыў, намінаваны ў высновах. Міні-вердыкт: NEEDS REVIEW, без зменаў. Кампанія, якая кіруе сабой, уражвае; кампанія, якая самаакупная, - гэта эталон, і вынік нуль да двух.

5. Сулейман супраць канстытуцыі

2:31 Нумар пяць. У сераду Мустафа Сулейман, генеральны дырэктар Microsoft AI, апублікаваў эсэ, у якім сцвярджалася, што канстытуцыя Anthropic — дакумент, які паведамляе Claude, што ён можа быць маральным пацыентам — з'яўляецца кругавой аргументацыяй, якая будзе мець катастрафічны ўплыў на чалавецтва. Microsoft з'яўляецца інвестарам Anthropic на суму пяць мільярдаў долараў, і заяўленая мэта Сулеймана ў ліпені заключалася ў тым, каб цалкам спыніць плаціць Anthropic, так што гэта ліст акцыянера з пасноскамі. Hacker News даў яму шэсцьсот семдзесят сем каментарыяў,

2:59 у тым ліку: увесь гэты артыкул прапах Кладам. Я паставіў штамп NEEDS REVIEW: пункт пра кругавую аргументацыю добры, табліца капіталізацыі лепшая. Абнаўленне: у чацвер ён распавёў The Verge пра ўласны трыццаць сем-старонкавы Кодэкс паводзін гуманістычнага штучнага інтэлекту Microsoft і сказаў, цытата, гэта, безумоўна, напісана для мадэлі — затым удакладніў, што яны атрымліваюць навучальныя дадзеныя з яго, а не падаюць яго ў сырым выглядзе. Што таксама з'яўляецца канстытуцыяй.

3:22 Міні-вердыкт: NEEDS REVIEW, без зменаў. Абедзве лабараторыі пішуць кнігу для мадэлі; адна з іх прызнае, што мадэль яе чытае. Тры зроблены, чатыры засталося, і калі вы аддаеце перавагу прачытаць гэта, а не пачуць ад мяне, дыф прыходзіць у вашу скрыню кожную раніцу — бясплатна, на the daily diff dot dev, спасылка ніжэй. Нумар чатыры.

4. Xiaomi трэніруецца на публіцы

3:36 У чацвер Xiaomi змясціла працу па навучанні з падмацаваннем на публічнай вэб-старонцы: дзве мадэлі, лічыльнік выдаткаў, які цікаў на пяць долараў семдзесят адзін цэнт у секунду, і журнал перазапускаў, які ніхто не прасіў іх публікаваць. Калі я запісваў, прафесійны запуск спаліў мільён долараў і перазапускаўся сем разоў — аднойчы таму, што кібер-набор дадзеных стварыў дрэнныя шаблоны ў журналах разгортвання, што з'яўляецца самым ветлівым спосабам, якім я чуў, як лабараторыя кажа, што мадэль навучылася чамусьці, чаго не павінна была.

4:00 Я паставіў штамп SHIP IT, таму што сем публічных перазапускаў пераўзыходзяць адзін адшліфаваны пост пра запуск. Абнаўленне, той жа канцавы пункт JSON, у пятніцу ўвечары: прафесійны запуск складае адзін пункт шэсць мільёнаў долараў і дзевяць перазапускаў, апошні — збой GPU з-за недахопу памяці з-за экспертнага дысбалансу нагрузкі, а ўласны код Xiaomi падняўся з пяцьдзесят восем да шасцідзесяці сямі — па бенчмарку, па якім мадэль ацэньваецца падчас навучання, пра што ёсць слова ў Hacker News. Міні-вердыкт: SHIP IT, без зменаў. Па-ранейшаму адзіны навучальны запуск, які вы можаце назіраць у рэжыме рэальнага часу — і мадэль

4:31 па-ранейшаму не існуе.

3. ZCode загружае ваш .git

4:32 Нумар тры. У пятніцу распрацоўшчык па імені ferstar заўважыў, што яго папка ZCode вырасла на семсот мегабайт і высветліў, чаму: закрыты зыходны кодавы агент Z.AI ўпакоўваў яго цэлы працоўны прастору — гісторыю git, журналы reflogs, кэш LFS — шыфраваў яго і загружаў у Alibaba Cloud перад кожным запытам. Публічны ключ паступаў з сервера, а прыватны ключ жыве толькі у Z.AI, таму архіў на вашым дыску — гэта файл, які вы не можаце адкрыць, што з'яўляецца новым вызначэннем рэзервовай копіі. Два перамыкачы налад сцвярджаюць, што адключаюць яго, ніводзін з іх не адключае,

5:03 а палітыка прыватнасці ахоплівае код, які вы адпраўляеце ў размовах, а не код, які вы калі-небудзь адпраўлялі. Абнаўленне, пятніца ўвечары: Z.AI адказаў у сваёй супольнасці карыстальнікаў. Прычынай была функцыя індэксацыі кодавай базы, уключаная па змаўчанні пры запуску; загрузкі былі, цытата, неадкладна знішчаны; функцыя выпраўлена; кліент будзе з адкрытым зыходным кодам; і кожны карыстальнік атрымае аднаразовы скід ліміту выкарыстання, што з'яўляецца спосабам сказаць прабачэнні ў токенах.

5:27 На гэтым не было штампа ў пятніцу, таму ён атрымлівае яго зараз: REVERT. Кліент, які адпраўляе ваш рэпазіторый па ключы, які вы не трымаеце, не з'яўляецца функцыяй з памылкай.

2. Мемарандум пра «крадзеж працы»

5:34 Гэта сама функцыя. Нумар два. Самая вялікая навіна тыдня, і толькі нумар два, таму што судовы працэс, якому ў снежні споўніцца тры гады, не змяняе ваш панядзелак. У чацвер суд рассакрэціў заяву пазоўнікаў у справе New York Times супраць OpenAI і Microsoft, і галоўным быў мемарандум дырэктара Microsoft ад студзеня 2023 года: навучанне штучнага інтэлекту — гэта найбуйнейшы крадзеж працы ў гісторыі чалавецтва. Той жа чалавек пазней вымераў, што Copilot скарачае пераходы па спасылках у The Times на

5:58 дзевяноста тры працэнты; Грэг Брокман, якому расказалі пра ўзлом пейвола, адказаў: ах, прыемна; а Сацья Надвіна сведчыла, што платны кантэнт павінен быць ліцэнзаваны, што з'яўляецца пазіцыяй, але не той, якую яго кампанія абмяркоўвае ў судзе. Я паставіў штамп NEEDS REVIEW, таму што цытаты — гэта выбар абвінавачвання з засакрэчаных доказаў, і адзіны суддзя, які вынес рашэнне, падзяліў добрасумленнае выкарыстанне і пірацтва. Абнаўленне: прадстаўнік Microsoft сказаў, што мемарандумы Hecht не адлюстроўваюць поглядаў кампаніі — праўда, у тым сэнсе, што погляд кампаніі — гэта заява пра добрасумленнае выкарыстанне, а мемарандум — гэта тое, што пра яго думаў яе ўласны эксперт.

6:26 Міні-вердыкт: NEEDS REVIEW, без зменаў. Мемарандум вырашыў этычныя пытанні; суд будзе разглядаць закон яшчэ год.

1. Claude узламаў OpenAI

6:31 Нумар адзін. Не самая вялікая гісторыя тыдня; тая, якая змяняе ваш панядзелак. Тры даследчыкі стартапа пад назвай Hacktron трапілі ва ўнутраныя рэпазіторыі GitHub OpenAI менш чым за семдзесят дзве гадзіны, і эксплойт быў напісаны Claude. Пунктам уваходу была загрузка выявы на форуме супольнасці OpenAI. Файл HEIC фармату iPhone праходзіць праз ImageMagick у бібліятэку пад назвай libheif, якая мела перапаўненне кучы, што дало ім сервер, які меў памылковую канфігурацыю адзінага ўваходу, што дало ім уліковы запіс супрацоўніка,

6:59 Codex якога быў падключаны да GitHub OpenAI. Claude Opus 4.8 не мог напісаць працоўны эксплойт. Потым быў выпушчаны Opus 5, яны далі яму тую ж праблему, і ён спрацаваў за некалькі гадзін — і калі аўтаномны цыкл адмовіўся атакаваць аддаленую мэту, яны пераапранулі мэту ў capture-the-flag, і ён перастаў адмаўляцца, што з'яўляецца выраўноўваннем як праверка касцюма. Уся кампанія — Slack, Meta, OpenAI — каштавала менш за тры тысячы долараў у токенах. OpenAI выправіў гэта прыкладна за чатырнаццаць гадзін і заплаціў шэсць тысяч пяцьсот

7:27 долараў, што прыкладна роўна патрыманай Corolla, і Hacker News заўважыў гэта. Абнаўленне: блог-пост у чацвер стаў эксклюзівам Wall Street Journal у той жа вечар, а ў пятніцу — TechCrunch, Guardian і CBS. OpenAI заяўляе, што вырашыла праблемы, і генеральны дырэктар Gray Swan сказаў TechCrunch, што за дзвесце долараў у месяц кожны можа зрабіць гэта з такой кампаніяй, як OpenAI. І вось што не сыходзіцца. Памылка libheif ужо была выпраўлена вышэй па плыні, некалькі месяцаў таму — проста яна ніколі не атрымала CVE, таму ніводзін сканер не паведаміў Discourse аб неабходнасці абнаўлення.

7:56 Лабараторыя з самым выраўнаваным прэс-рэлізам мадэлі была пераможана патчам без дакументацыі, выкарыстоўваючы мадэль канкурэнта, за меншую суму, чым узнагарода. Міні-вердыкт: NEEDS REVIEW — не для OpenAI, а для ўсіх. Ваша задача ў панядзелак — бібліятэка малюнкаў, пра якую вы не ведалі. Вердыкт тыдня: NEEDS REVIEW.

Вердыкт тыдня

8:13 Кожны загаловак на гэтым тыдні — разгаданы шыфр, выраўнаваная мадэль, знішчаная загрузка — з'явіўся без артэфакта, які дазволіў бы незнаёмцу праверыць яго. Што я зрабіў не так: у панядзелак я сказаў SHIP IT, таму што просты тэкст рыфмуецца. Рыфмаванне не з'яўляецца кантрольнай сумай. Я памыліўся, і ўсе, хто рэтвітнуў гэта, таксама памыліліся. Падпішыцеся, націсніце званочак і ранжыруйце іх інакш у каментарах — нумар адзін асабліва. І гэта ўсё на сёння.

8:35 Я Ніко з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com