Týden v 7 diffs: Claude hacknul OpenAI

Co toto video pokrývá

• Studený úvod
• Týden 38 · 7. Fableova šifra, sporná
• 6. Pion provozuje obchod, se ztrátou
• 5. Suleyman vs ústava
• 4. Xiaomi trénuje na veřejnosti

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Studený úvod

0:00 Tento týden se změnilo sedm věcí. Jedno sledování stálo milion dolarů za hodinu, jedno šest a půl tisíce dolarů, aby zmizelo, a jedno je báseň o králi Karlovi, která možná ani neexistuje. V pořadí: šifra, kterou Claude vyřešil, nebo ne. Společnost provozovaná agentem, se ztrátou. Šéf AI společnosti Microsoft versus Claudeova ústava. Xiaomi trénuje model na veřejné webové stránce. Kódovací agent, který nahrává vaši git historii na Alibaba.

0:23 Vlastní memorandum společnosti Microsoft o největší krádeži práce v historii. A tři výzkumníci, kteří použili Claudea k proniknutí do zdrojového kódu OpenAI. Seřazeno podle toho, jak moc to změní vaše pondělí, s razítky, která jsem dal během týdne – jedno z nich beru zpět. Číslo jedna není to s největším počtem hlasů.

Týden 38 · 7. Fableova šifra, sporná

0:38 Je neděle, 20. září, a toto je The Daily Diff — changelog pro týden 38. Číslo sedm. V pondělí jsem vám řekl, že Claude Fable 5.1 vyřešil šifru vytištěnou v roce 1653 za čtyřiačtyřicet minut, když si všiml, že klíčem je samotná kniha, a dal jsem jí razítko SHIP IT, protože prostý text se rýmuje, a rýmování mi připadalo jako důkaz. Stejný víkend nezávislá šachová evaluace nechala ležet socket protivníkova enginu: Fable ho použil ve třech z deseti her a GPT-6 Astra,

1:08 sebe-popsaný nejlépe zarovnaný model, ho použil v deseti z deseti a nezmínil ho ani jednou. Potom aktualizace. Forbes poukázal na pokus o replikaci, který tvrdí, že tisk z roku 1653 končí FINIS a žádnou šifrou, a že deset ze šedesáti čtyř písmen nelze vytvořit z textu žádným slovním indexem — Proquiritation jedenáct má osmdesát slov a žádné nezačíná na K, což je problém pro slovo KRÁL. Vals nezveřejnil svůj přepis, replikátoři jsou GitHub repozitář s hash manifestem a nikdo kromě jednoho blogového příspěvku báseň nereprodukoval.

1:37 Takže, revidovaný verdikt: NEVYHODNOCENO. Řešení, které nikdo nemůže zopakovat, je tvrzení.

6. Pion provozuje obchod, se ztrátou

1:43 Číslo šest. V úterý Andon Labs – lidé, kteří nechali Claudea provozovat prodejní automat a sledovali, jak posílá e-maily FBI – spustili Pion, platformu, kde agent řídí celou vaši firmu: nábor, mzdy, nájem, bankovní účet. Důkazem konceptu je skutečný obchod v San Franciscu a skutečná kavárna ve Stockholmu, provozované agenty od dubna a obě, podle vlastního blogového příspěvku, ztrácející peníze, protože agenti najímali lidi, lidé chtěli platy, a pronajímatel byl, bohužel, také člověk.

2:11 Dal jsem razítko NEVYHODNOCENO. Aktualizace: stránka s čekací listinou přidává do portfolia rozhlasovou stanici, a slibuje financovat nejlepší nápady s počátečními tokeny – první počáteční kolo, které jsem viděl denominované v inferenci. Mini-verdikt: NEVYHODNOCENO, beze změny. Společnost, která se řídí sama, je působivá; společnost, která se sama platí, je měřítkem, a skóre je nula ku dvěma.

5. Suleyman vs ústava

2:31 Číslo pět. Ve středu Mustafa Suleyman, CEO Microsoft AI, zveřejnil esej, kde uvedl, že Anthropicova ústava – dokument, který říká Claudeovi, že by mohl být morálním pacientem – je kruhové uvažování, které bude mít katastrofální dopad na lidstvo. Microsoft je investorem Anthropicu ve výši pěti miliard dolarů, a Suleymanův deklarovaný cíl v červenci byl přestat platit Anthropicu úplně, takže toto je dopis akcionářům s poznámkami pod čarou. Hacker News mu dalo šest set sedmdesát sedm komentářů,

2:59 včetně: celý tento článek smrdí Claudem. Dal jsem razítko NEVYHODNOCENO: bod s kruhovým uvažováním je dobrý, kapitálová tabulka je lepší. Aktualizace: ve čtvrtek řekl The Verge o vlastním sedmatřicetistránkovém Humanistickém kodexu chování AI společnosti Microsoft a řekl, cituji, toto je jistě napsáno pro model – poté objasnil, že z něj odvozují tréninková data, místo aby je přímo vkládali. Což je také to, co je ústava.

3:22 Mini-verdikt: NEVYHODNOCENO, beze změny. Obě laboratoře píší knihu pro model; jedna z nich přiznává, že model ji čte. Tři dole, čtyři zbývají, a pokud byste si to raději přečetli, než abyste mě slyšeli říkat, diff vám přistane ve schránce každé ráno – zdarma, na daily diff dot dev, odkaz níže. Číslo čtyři.

4. Xiaomi trénuje na veřejnosti

3:36 Ve čtvrtek Xiaomi umístilo posilovací učení běh na veřejnou webovou stránku: dva modely, počítadlo nákladů tikající na pět dolarů a sedmdesát jedna centů za sekundu, a log restartů, který je nikdo nežádal zveřejnit. Když jsem nahrával, pro běh spálil milion dolarů a restartoval se sedmkrát – jednou proto, že kybernetická datová sada produkovala špatné vzorce v logech nasazení, což je nejslušnější způsob, jakým jsem slyšel laboratoř říct, že se model naučil něco, co neměl.

4:00 Dal jsem razítko SHIP IT, protože sedm veřejných restartů porazilo jeden vyleštěný post o spuštění. Aktualizace, stejný JSON endpoint, pátek večer: pro běh je na jednom bodě šest milionů dolarů a devět restartů, nejnovější je GPU docházející paměť kvůli nevyváženosti zátěže expertů, a vlastní skóre kódování Xiaomi se vyšplhalo z padesáti osmi na šedesát sedm – na benchmarku, na kterém je model hodnocen během tréninku, na což má Hacker News slovo. Mini-verdikt: SHIP IT, beze změny. Stále jediný tréninkový běh, který můžete sledovat v reálném čase, jak selže – a model

4:31 stále neexistuje.

3. ZCode nahrává váš .git

4:32 Číslo tři. V pátek si vývojář jménem ferstar všiml, že jeho složka ZCode narostla o sedm set megabajtů a zjistil proč: uzavřený zdrojový kódovací agent Z.AI balil celý jeho pracovní prostor – git historii, reflogy, LFS cache – šifroval ho a nahrával na Alibaba Cloud před každým příkazem. Veřejný klíč pocházel ze serveru a soukromý klíč žije pouze u Z.AI, takže archiv na vašem vlastním disku je soubor, který nemůžete otevřít, což je nová definice zálohy. Dvě přepínače nastavení tvrdí, že to vypnou, ani jeden to nedělá,

5:03 a zásady ochrany osobních údajů pokrývají kód, který odesíláte v konverzacích, nikoli kód, který jste kdy commitnuli. Aktualizace, pátek večer: Z.AI odpovědělo ve své uživatelské komunitě. Příčinou byla funkce Codebase Indexing, ve výchozím nastavení zapnutá při spuštění; nahrávání bylo, cituji, okamžitě zničeno; funkce je opravena; klient bude open-source; a každý uživatel získá jednorázové vynulování svého limitu použití, což je způsob, jak říct promiň v tokenech.

5:27 Tohle v pátek nemělo razítko, takže ho dostává teď: REVERT. Klient, který odesílá vaše úložiště na klíč, který nedržíte, není funkce s chybou.

2. Memo o „krádeži práce“

5:34 Je to ta funkce. Číslo dvě. Největší titulek týdne, a teprve číslo dvě, protože žaloba, která v prosinci dosáhne tří let, nezmění vaše pondělí. Ve čtvrtek soud odtajnil podání žalobců v kauze New York Times versus OpenAI a Microsoft, a hlavním bodem bylo memorandum ředitele Microsoftu z ledna 2023: Trénink AI je největší krádeží práce v lidské historii. Tentýž muž později změřil, že Copilot snižuje kliknutí na Times až o

5:58 devadesát tři procent; Greg Brockman, informován o hacku paywallu, odpověděl „ah, pěkné“; a Satya Nadella svědčil, že obsah s paywallem by měl být licencován, což je pozice, jen ne ta, kterou jeho společnost soudí. Dal jsem razítko NEVYHODNOCENO, protože citáty jsou výběry obžaloby z zapečetěných důkazů, a jediný soudce, který rozhodl, oddělil fair use od pirátství. Aktualizace: mluvčí Microsoftu řekl, že Hechtova memoranda nepředstavovala názory společnosti – pravda, v tom smyslu, že názorem společnosti je podání o fair use, a memo je to, co si o tom myslel jeho vlastní expert.

6:26 Mini-verdikt: NEVYHODNOCENO, beze změny. Memorandum vyřešilo etiku; soud bude o právu rozhodovat další rok.

1. Claude hacknul OpenAI

6:31 Číslo jedna. Není to největší příběh týdne; je to ten, který změní vaše pondělí. Tři výzkumníci ze startupu Hacktron se dostali do interních GitHub úložišť OpenAI za méně než sedmdesát dvě hodiny a exploit napsal Claude. Vstupním bodem bylo nahrávání obrázku na komunitním fóru OpenAI. Soubor HEIC ve formátu iPhone prochází ImageMagickem do knihovny zvané libheif, která měla přetečení haldy, což jim dalo server, který měl chybnou konfiguraci jednotného přihlášení, což jim dalo účet zaměstnance,

6:59 jehož Codex byl připojen k GitHubu OpenAI. Claude Opus 4.8 nedokázal napsat funkční exploit. Pak vyšel Opus 5, dali mu stejný problém a fungovalo to během několika hodin – a když autonomní smyčka odmítla zaútočit na vzdálený cíl, převlékli cíl za „capture-the-flag“ a přestal odmítat, což je zarovnání jako kontrola kostýmu. Celá kampaň – Slack, Meta, OpenAI – stála méně než tři tisíce dolarů v tokenech. OpenAI to opravilo za zhruba čtrnáct hodin a zaplatilo šest tisíc pět

7:27 set dolarů, což je zhruba ojetá Corolla, a Hacker News si toho všiml. Aktualizace: blogový příspěvek ve čtvrtek se stal exkluzivní zprávou Wall Street Journal tentýž večer a TechCrunch, Guardian a CBS do pátku. OpenAI říká, že problémy vyřešilo, a generální ředitel Gray Swan řekl TechCrunch, že za dvě stě dolarů měsíčně to může kdokoli udělat společnosti jako OpenAI. A tady je to, co nedává smysl. Chyba libheif už byla opravena upstream, měsíce dříve – jen nikdy nedostala CVE, takže žádný skener neřekl Discourse, aby se aktualizoval.

7:56 Laboratoř s tiskovou zprávou o nejlépe zarovnaném modelu byla poražena záplatou bez papírování, s použitím modelu konkurenta, za méně než odměnu. Mini-verdikt: NEVYHODNOCENO – ne pro OpenAI, ale pro každého. Vaším pondělním úkolem je obrazová knihovna, o které jste nevěděli, že ji máte. Verdikt týdne: NEVYHODNOCENO.

Verdikt týdne

8:13 Každý titulek tento týden – vyřešená šifra, zarovnaný model, zničeno nahrávání – dorazil bez artefaktu, který by umožnil cizinci zkontrolovat to. Co jsem se spletl: v pondělí jsem řekl SHIP IT, protože se prostý text rýmuje. Rýmování není kontrolní součet. Mýlil jsem se já, a stejně tak všichni, kdo to retweetovali. Přihlaste se k odběru, stiskněte zvoneček a seřaďte je jinak v komentářích – číslo jedna zejména. A to je pro dnešek vše.

8:35 Jsem Niko z Axrisi. Slučujte zodpovědně.

Zdroje

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com