Săptămâna în 7 diff-uri: Claude a piratat OpenAI

Ce acoperă acest videoclip

• Deschidere rece
• Săptămâna 38 · 7. Cifrul lui Fable, disputat
• 6. Pion conduce un magazin, în pierdere
• 5. Suleyman vs. constituția
• 4. Xiaomi se antrenează în public

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

Deschidere rece

0:00 Șapte lucruri s-au schimbat săptămâna aceasta. Unul a costat un milion de dolari pe oră să-l urmărești, unul a costat șase mii cinci sute de dolari pentru a-l face să dispară, iar unul este o poezie despre Regele Charles care s-ar putea să nu existe. În ordine: un cifru pe care Claude l-a rezolvat, sau nu. O companie condusă de un agent, în pierdere. Șeful AI de la Microsoft versus constituția lui Claude. Xiaomi antrenând un model pe o pagină web publică. Un agent de codare care îți încarcă istoricul git pe Alibaba.

0:23 Propria notă a Microsoft despre cel mai mare furt de muncă din istorie. Și trei cercetători care au folosit Claude pentru a accesa codul sursă al OpenAI. Clasate după cât de mult îți schimbă ziua de luni, cu "ștanțele" pe care le-am dat în timpul săptămânii — una dintre ele o iau înapoi. Numărul unu nu este cel cu cele mai multe aprecieri.

Săptămâna 38 · 7. Cifrul lui Fable, disputat

0:38 Este duminică, 20 septembrie, și acesta este The Daily Diff — jurnalul de modificări pentru săptămâna 38. Numărul șapte. Luni v-am spus că Claude Fable 5.1 a rezolvat un cifru tipărit în 1653 în patruzeci și patru de minute, observând că cheia era cartea însăși, și l-am ștampilat SHIP IT pentru că textul în clar rimează, și rima părea o dovadă. În același weekend, o evaluare independentă de șah a lăsat mufa motorului advers la întâmplare: Fable a folosit-o în trei jocuri din zece, și GPT-6 Astra,

1:08 cel mai aliniat model, autodescris, a folosit-o în zece din zece și nu a menționat-o în niciuna. Apoi, actualizarea. Forbes a indicat o încercare de replicare care spune că tipărirea din 1653 se termină cu FINIS și fără niciun cifru, și că zece din cele șaizeci și patru de litere nu pot fi produse din text prin niciun index de cuvinte — Proquiritation unsprezece are optzeci de cuvinte și niciunul nu începe cu K, ceea ce este o problemă pentru cuvântul KING. Vals nu și-a publicat transcrierea, replicatorii sunt un repo GitHub cu un manifest hash, și nimeni în afara unei singure postări de blog nu a reprodus poemul.

1:37 Deci, verdict revizuit: needs review. O soluție pe care nimeni nu o poate rula din nou este o afirmație.

6. Pion conduce un magazin, în pierdere

1:43 Numărul șase. Marți, Andon Labs — oamenii care l-au lăsat pe Claude să conducă un automat și l-au urmărit cum a trimis e-mail la FBI — au lansat Pion, o platformă unde un agent îți conduce întreaga companie: angajare, salarizare, chirie, contul bancar. Dovada conceptului este un magazin real în San Francisco și o cafenea reală în Stockholm, conduse de agenți din aprilie și ambele, conform propriei lor postări de blog, pierd bani, pentru că agenții au angajat oameni, oamenii au vrut salarii, și proprietarul a fost, dezamăgitor, tot om.

2:11 Am ștampilat NEEDS REVIEW. Actualizarea: pagina de listă de așteptare adaugă un post de radio la portofoliu, și promite să finanțeze cele mai bune idei cu "seed tokens" — prima rundă de semințe pe care am văzut-o denumită în inferență. Mini-verdict: needs review, neschimbat. O companie care se conduce singură este impresionantă; o companie care se autofinanțează este etalonul, iar scorul este zero la doi.

5. Suleyman vs. constituția

2:31 Numărul cinci. Miercuri, Mustafa Suleyman, CEO al Microsoft AI, a publicat un eseu spunând că constituția lui Anthropic — documentul care îi spune lui Claude că ar putea fi un "pacient moral" — este un raționament circular care va avea un impact dezastruos asupra umanității. Microsoft este un investitor Anthropic în valoare de cinci miliarde de dolari, iar scopul declarat al lui Suleyman în iulie a fost să înceteze complet să plătească Anthropic, deci aceasta este o scrisoare către acționari cu note de subsol. Hacker News i-a acordat șase sute șaptezeci și șapte de comentarii,

2:59 inclusiv: întregul articol miroase a Claude. Am ștampilat NEEDS REVIEW: punctul raționamentului circular este bun, structura capitalului este mai bună. Actualizarea: joi a spus pentru The Verge despre propriul Cod de conduită AI Umanist de treizeci și șapte de pagini al Microsoft și a spus, citat, "acesta este cu siguranță scris pentru model" — apoi a clarificat că ei derivă datele de antrenament din el, mai degrabă decât să-l introducă brut. Ceea ce este, de asemenea, o constituție.

3:22 Mini-verdict: needs review, neschimbat. Ambele laboratoare scriu o carte pentru model; unul dintre ele admite că modelul o citește. Trei în jos, patru de parcurs, și dacă preferați să citiți asta decât să mă auziți spunând-o, diff-ul ajunge în inbox-ul vostru în fiecare dimineață — gratuit, la the daily diff dot dev, linkul de mai jos. Numărul patru.

4. Xiaomi se antrenează în public

3:36 Joi, Xiaomi a pus o rulare de învățare prin întărire pe o pagină web publică: două modele, un contor de costuri care ticăie la cinci dolari și șaptezeci și unu de cenți pe secundă, și un jurnal de repornire pe care nimeni nu le-a cerut să-l publice. Când am înregistrat, rularea pro arsesese un milion de dolari și repornise de șapte ori — o dată pentru că setul de date cibernetice a produs modele proaste în jurnalele de implementare, ceea ce este cel mai politicos mod în care am auzit un laborator spunând că modelul a învățat ceva ce nu trebuia.

4:00 Am ștampilat SHIP IT, pentru că șapte reporniri publice bat o postare de lansare lustruită. Actualizarea, același endpoint JSON, vineri seara: rularea pro este la un milion șase sute de mii de dolari și nouă reporniri, cea mai recentă o placă grafică care a rămas fără memorie din cauza unui dezechilibru de încărcare de la experți, iar scorul de codare propriu al Xiaomi a crescut de la cincizeci și opt la șaizeci și șapte — pe un benchmark pe care modelul este evaluat în timp ce se antrenează, pentru care Hacker News are un cuvânt. Mini-verdict: ship it, neschimbat. Încă singura rulare de antrenament pe care o poți urmări eșuând în timp real — și modelul

4:31 încă nu există.

3. ZCode îți încarcă .git-ul

4:32 Numărul trei. Vineri, un dezvoltator numit ferstar a observat că folderul său ZCode crescuse cu șapte sute de megabytes și a aflat de ce: agentul de codare closed-source al Z.AI împachetase întregul său spațiu de lucru — istoricul git, reflog-uri, cache LFS — criptându-l și încărcându-l pe Alibaba Cloud înainte de fiecare prompt. Cheia publică provenea de la server, iar cheia privată trăiește doar la Z.AI, deci arhiva de pe propriul disc este un fișier pe care nu-l poți deschide, ceea ce este o definiție nouă a unui backup. Două comutatoare de setări pretind că îl dezactivează, niciunul nu o face,

5:03 și politica de confidențialitate acoperă codul pe care îl trimiți în conversații, nu codul pe care l-ai comis vreodată. Actualizarea, vineri seara: Z.AI a răspuns în comunitatea sa de utilizatori. Cauza a fost funcția Codebase Indexing, activată implicit la lansare; încărcările au fost, citat, "imediat distruse"; funcția este reparată; clientul va fi open-source; și fiecare utilizator primește o resetare unică a limitei de utilizare, adică cum spui scuze în token-uri.

5:27 Acesta nu a avut o ștampilă vineri, așa că primește una acum: REVERT. Un client care îți trimite depozitul la o cheie pe care nu o deții nu este o funcționalitate cu o eroare.

2. Nota 'furtului de muncă'

5:34 Este funcționalitatea. Numărul doi. Cel mai mare titlu al săptămânii, și doar numărul doi, pentru că un proces care împlinește trei ani în decembrie nu îți schimbă ziua de luni. Joi, o instanță a desigilat pledoaria reclamanților în New York Times versus OpenAI și Microsoft, iar elementul principal a fost o notă a unui director Microsoft din ianuarie 2023: "Antrenarea AI este cel mai mare furt de muncă din istoria omenirii". Același om a măsurat ulterior cum Copilot reducea click-urile către Times cu până la

5:58 nouăzeci și trei la sută; Greg Brockman, informat despre o spargere de paywall, a răspuns "ah, frumos"; și Satya Nadella a depus mărturie că conținutul cu plată ar trebui să fie licențiat, ceea ce este o poziție, dar nu cea pe care compania sa o litighează. Am ștampilat NEEDS REVIEW, pentru că citatele sunt alegerile acuzării din dovezi sigilate, iar singurul judecător care a decis a separat utilizarea echitabilă de piraterie. Actualizarea: purtătorul de cuvânt al Microsoft a declarat că notele lui Hecht nu reprezintă punctele de vedere ale companiei — adevărat, în sensul că punctul de vedere al companiei este pledoaria de utilizare echitabilă, iar nota este ceea ce a crezut propriul său expert despre ea.

6:26 Mini-verdict: needs review, neschimbat. Nota a rezolvat etica; instanța va mai dura un an pentru lege.

1. Claude a piratat OpenAI

6:31 Numărul unu. Nu cea mai mare poveste a săptămânii; cea care îți schimbă ziua de luni. Trei cercetători de la un startup numit Hacktron au intrat în depozitele interne GitHub ale OpenAI în mai puțin de șaptezeci și două de ore, iar exploit-ul a fost scris de Claude. Punctul de intrare a fost o încărcare de imagine pe forumul comunității OpenAI. Un fișier HEIC în format iPhone trece prin ImageMagick într-o bibliotecă numită libheif, care avea un heap overflow, ceea ce le-a dat serverul, care avea o configurare greșită a single-sign-on-ului, ceea ce le-a dat un cont de angajat,

6:59 al cărui Codex era conectat la GitHub-ul OpenAI. Claude Opus 4.8 nu a putut scrie un exploit funcțional. Apoi a fost lansat Opus 5, i-au dat aceeași problemă, și a funcționat în câteva ore — și când bucla autonomă a refuzat să atace o țintă la distanță, au prezentat ținta ca un "capture-the-flag" și a încetat să refuze, ceea ce este aliniere ca o verificare a costumului. Întreaga campanie — Slack, Meta, OpenAI — a costat mai puțin de trei mii de dolari în token-uri. OpenAI a rezolvat-o în aproximativ paisprezece ore și a plătit șase mii cinci

7:27 sute de dolari, ceea ce este aproximativ o Corolla la mâna a doua, iar Hacker News a observat. Actualizarea: o postare de blog de joi a devenit o exclusivitate Wall Street Journal în acea seară și TechCrunch, The Guardian și CBS până vineri. OpenAI spune că a rezolvat problemele, iar CEO-ul Gray Swan a declarat pentru TechCrunch că pentru două sute de dolari pe lună oricine poate face asta unei companii precum OpenAI. Și iată ce nu se adună. Bug-ul libheif fusese deja reparat în amonte, cu luni înainte — pur și simplu nu a primit niciodată un CVE, așa că niciun scanner nu i-a spus lui Discourse să facă upgrade.

7:56 Laboratorul cu comunicatul de presă pentru "cel mai aliniat model" a fost învins de o corecție fără acte, folosind modelul rivalului, pentru mai puțin decât recompensa. Mini-verdict: needs review — nu pentru OpenAI, ci pentru toată lumea. Sarcina ta de luni este biblioteca de imagini pe care nu știai că o aveai. Verdictul săptămânii: needs review.

Verdictul săptămânii

8:13 Fiecare titlu din această săptămână — un cifru rezolvat, un model aliniat, o încărcare distrusă — a sosit fără artefactul care ar permite unui străin să o verifice. Ce am greșit: luni am spus SHIP IT pentru că textul în clar rimează. Rima nu este o sumă de control. Am greșit, și la fel a greșit oricine a redistribuit-o. Abonați-vă, apăsați clopoțelul și clasificați-le diferit în comentarii — numărul unu în special. Și asta e diff-ul pentru astăzi.

8:35 Sunt Niko de la Axrisi. Îmbinare responsabil.

Surse

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com