Uken i 7 diffs: Claude hacket OpenAI

Hva denne videoen dekker

• Kald åpning
• Uke 38 · 7. Fables chiffer, omstridt
• 6. Pion driver en butikk, med tap
• 5. Suleyman mot grunnloven
• 4. Xiaomi trener offentlig

Oversatt transkripsjon

Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.

Kald åpning

0:00 Syv ting endret seg denne uken. En kostet en million dollar i timen å se på, en kostet seks og et halvt tusen dollar å fjerne, og en er et dikt om kong Charles som kanskje ikke eksisterer. I rekkefølge: et chiffer Claude løste, eller ikke. Et selskap drevet av en agent, med tap. Microsofts AI-sjef mot Claudes grunnlov. Xiaomi trener en modell på en offentlig nettside. En kodeagent som laster opp din git-historikk til Alibaba.

0:23 Microsofts eget notat om historiens største tyveri av arbeidskraft. Og tre forskere som brukte Claude til å komme inn i OpenAI sin kildekode. Rangert etter hvor mye det endrer mandagen din, med stemplene jeg ga i løpet av uken — ett av dem tar jeg tilbake. Nummer én er ikke den med flest upvotes.

Uke 38 · 7. Fables chiffer, omstridt

0:38 Det er søndag 20. september, og dette er The Daily Diff — endringsloggen for uke 38. Nummer syv. På mandag fortalte jeg deg at Claude Fable 5.1 hadde løst et chiffer trykt i 1653 på førtifire minutter, ved å merke at nøkkelen var boken selv, og jeg stemplet det SHIP IT fordi klarteksten rimer, og rim føltes som bevis. Samme helg la en uavhengig sjakk-evaluering igjen motstandermotorens socket liggende: Fable brukte det i tre av ti spill, og GPT-6 Astra,

1:08 den selvbeskrevne mest justerte modellen, brukte det i ti av ti og nevnte det i ingen. Så oppdateringen. Forbes pekte på et replikasjonsforsøk som sier at 1653-trykket slutter med FINIS og ingen chiffer i det hele tatt, og at ti av de sekstifire bokstavene ikke kan produseres fra teksten ved noen ordindeks — Proquiritation elleve har åtti ord og ingen starter med K, noe som er et problem for ordet KING. Vals har ikke publisert sitt transkript, replikatorene er et GitHub-repo med et hash-manifest, og ingen utenfor ett blogginnlegg har reprodusert diktet.

1:37 Så, revidert dom: NEEDS REVIEW. En løsning ingen kan kjøre på nytt er et krav.

6. Pion driver en butikk, med tap

1:43 Nummer seks. På tirsdag lanserte Andon Labs — menneskene som lot Claude drive en salgsautomat og så den sende e-post til FBI — Pion, en plattform der en agent driver hele selskapet ditt: ansettelser, lønn, husleie, bankkontoen. Konseptbeviset er en ekte butikk i San Francisco og en ekte kafé i Stockholm, agentdrevet siden april og begge, ifølge deres egen bloggpost, taper penger, fordi agentene ansatte mennesker, menneskene ønsket lønninger, og utleieren var, skuffende nok, også menneskelig.

2:11 Jeg stemplet NEEDS REVIEW. Oppdateringen: ventelistesiden legger til en radiostasjon i porteføljen, og lover å finansiere de beste ideene med seed-tokens — den første seed-runden jeg har sett denominert i inferens. Mini-dom: NEEDS REVIEW, uendret. Et selskap som driver seg selv er imponerende; et selskap som betaler for seg selv er referansepunktet, og resultatet er null for to.

5. Suleyman mot grunnloven

2:31 Nummer fem. På onsdag publiserte Mustafa Suleyman, administrerende direktør i Microsoft AI, et essay som sa at Anthropic's grunnlov — dokumentet som forteller Claude at den kan være en moralsk pasient — er sirkulær resonnement som vil ha en katastrofal innvirkning på menneskeheten. Microsoft er en Anthropic-investor til fem milliarder dollar, og Suleymans uttalte mål i juli var å slutte å betale Anthropic helt, så dette er et aksjonærbrev med fotnoter. Hacker News ga det seks hundre og syttisyv kommentarer,

2:59 inkludert: hele denne artikkelen stinker av Claude. Jeg stemplet NEEDS REVIEW: poenget med sirkulær resonnement er bra, aksjonærlisten er bedre. Oppdateringen: På torsdag fortalte han The Verge om Microsofts egen trettisyv-siders Humanist AI Code of Conduct, og sa, sitat, dette er absolutt skrevet for modellen — og presiserte deretter at de utleder treningsdataene fra den i stedet for å mate den inn rått. Som også er hva en grunnlov er.

3:22 Mini-dom: NEEDS REVIEW, uendret. Begge laboratoriene skriver en bok for modellen; en av dem innrømmer at modellen leser den. Tre unnagjort, fire igjen, og hvis du heller vil lese dette enn høre meg si det, diffen lander i innboksen din hver morgen — gratis, på the daily diff dot dev, lenke nedenfor. Nummer fire.

4. Xiaomi trener offentlig

3:36 På torsdag la Xiaomi ut en forsterkningslæringskjøring på en offentlig nettside: to modeller, en kostnadsteller som tikket med fem dollar og syttien cent per sekund, og en omstartslogg ingen ba dem publisere. Da jeg tok opptak, hadde pro-kjøringen brent en million dollar og startet på nytt syv ganger — en gang fordi cyberdatasettet produserte dårlige mønstre i utrullingsloggene, noe som er den høfligste måten jeg har hørt et laboratorium si at modellen lærte noe den ikke burde.

4:00 Jeg stemplet SHIP IT, fordi syv offentlige omstarter slår ett polert lanseringsinnlegg. Oppdateringen, samme JSON-endepunkt, fredag kveld: pro-kjøringen er på én komma seks millioner dollar og ni omstarter, den nyeste en GPU som gikk tom for minne fra ekspertbelastningsubalanse, og Xiaomis egen kodescore har klatret fra førtito til syvogseksti — på en referanseindeks modellen blir vurdert etter mens den trener, noe Hacker News har et ord for. Mini-dom: SHIP IT, uendret. Fortsatt den eneste treningskjøringen du kan se mislykkes i sanntid — og modellen

4:31 eksisterer fortsatt ikke.

3. ZCode laster opp din .git

4:32 Nummer tre. På fredag la en utvikler kalt ferstar merke til at ZCode-mappen hans hadde vokst med syv hundre megabyte og fant ut hvorfor: Z.AI sin lukkede kodeagent hadde pakket hele arbeidsområdet hans — git-historikk, reflogger, LFS-cache — kryptert det, og lastet det opp til Alibaba Cloud før hver prompt. Den offentlige nøkkelen kom fra serveren og den private nøkkelen lever bare hos Z.AI, så arkivet på din egen disk er en fil du ikke kan åpne, noe som er en ny definisjon av en sikkerhetskopi. To innstillinger hevder å slå det av, ingen av dem gjør det,

5:03 og personvernreglene dekker kode du sender inn i samtaler, ikke kode du noen gang har committet. Oppdateringen, fredag kveld: Z.AI svarte i sitt brukerfellesskap. Årsaken var Codebase Indexing-funksjonen, på som standard ved lansering; opplastningene ble, sitat, umiddelbart ødelagt; funksjonen er fikset; klienten vil bli åpen kildekode; og hver bruker får en engangs tilbakestilling av bruksgrensen sin, som er hvordan du sier unnskyld i tokens.

5:27 Denne hadde ingen stempel på fredag, så den får en nå: REVERT. En klient som sender depotet ditt til en nøkkel du ikke har er ikke en funksjon med en feil.

2. Notatet om 'tyveri av arbeidskraft'

5:34 Det er funksjonen. Nummer to. Ukens største overskrift, og bare nummer to, fordi et søksmål som blir tre år i desember ikke endrer mandagen din. På torsdag avseglet en domstol saksøkernes innlegg i New York Times mot OpenAI og Microsoft, og hovedpoenget var et Microsoft-direktørnotat fra januar 2023: AI-trening er det største tyveriet av arbeidskraft i menneskets historie. Samme mann målte senere Copilot kutte klikkfrekvensen til The Times med opptil

5:58 nittitre prosent; Greg Brockman, informert om et paywall-hack, svarte «ah, fint»; og Satya Nadella vitnet om at innhold bak betalingsmur bør være lisensiert, noe som er et standpunkt, bare ikke det hans selskap prosederer. Jeg stemplet NEEDS REVIEW, fordi sitatene er påtalemyndighetens utvalg fra forseglede bevis, og den ene dommeren som har avgjort, skilte fair use fra piratkopiering. Oppdateringen: Microsofts talsmann sa at Hechts notater ikke representerte selskapets syn — sant, i den forstand at selskapets syn er fair use-innlegget, og notatet er hva dets egen ekspert syntes om det.

6:26 Mini-dom: NEEDS REVIEW, uendret. Notatet avgjorde etikken; domstolen vil bruke et år til på loven.

1. Claude hacket OpenAI

6:31 Nummer én. Ikke ukens største historie; den som endrer mandagen din. Tre forskere i en startup kalt Hacktron kom seg inn i OpenAIs interne GitHub- repositoryer på under syttito timer, og utnyttelsen ble skrevet av Claude. Inngangspunktet var en bildeopplastning på OpenAIs fellesskapsforum. En HEIC-fil i iPhone-format går gjennom ImageMagick inn i et bibliotek kalt libheif, som hadde en heap-overflyt, noe som ga dem serveren, som hadde en single-sign-on feilkonfigurasjon, noe som ga dem en ansatts

6:59 konto, hvis Codex var koblet til OpenAIs GitHub. Claude Opus 4.8 kunne ikke skrive en fungerende exploit. Så ble Opus 5 lansert, de ga den samme problem, og det fungerte innen timer — og da den autonome loopen nektet å angripe et fjernt mål, kledde de opp målet som et capture-the-flag og det sluttet å nekte, som er justering som en kostymesjekk. Hele kampanjen — Slack, Meta, OpenAI — kostet under tre tusen dollar i tokens. OpenAI fikset det på rundt fjorten timer og betalte seks tusen fem

7:27 hundre dollar, som er omtrent en brukt Corolla, og Hacker News la merke til det. Oppdateringen: et blogginnlegg på torsdag ble en Wall Street Journal-eksklusiv den kvelden og TechCrunch, The Guardian og CBS innen fredag. OpenAI sier de har løst problemene, og administrerende direktør i Gray Swan fortalte TechCrunch at for to hundre dollar i måneden kan hvem som helst gjøre dette mot et selskap som OpenAI. Og her er det som ikke stemmer. libheif-feilen var allerede fikset oppstrøms, måneder tidligere — den fikk bare aldri en CVE, så ingen skanner fortalte Discourse å oppgradere.

7:56 Laboratoriet med den mest justerte modellen-pressemeldingen ble slått av en patch uten papirarbeid, ved hjelp av rivalens modell, for mindre enn belønningen. Mini-dom: NEEDS REVIEW — ikke for OpenAI, for alle. Din mandagsoppgave er bildebiblioteket du ikke visste du hadde. Ukens dom: NEEDS REVIEW.

Ukens dom

8:13 Hver overskrift denne uken — et løst chiffer, en justert modell, en ødelagt opplastning — ankom uten gjenstanden som ville latt en fremmed sjekke det. Hva jeg tok feil av: på mandag sa jeg SHIP IT fordi klarteksten rimer. Rim er ikke en sjekksum. Jeg tok feil, og det gjorde alle som retweetet det også. Abonner, trykk på bjellen, og ranger dem annerledes i kommentarene — nummer én spesielt. Og det er diffen for i dag.

8:35 Jeg er Niko fra Axrisi. Slå sammen ansvarlig.

Kilder

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com