La settimana in 7 differenze: Claude ha hackerato OpenAI

Contenuto di questo video

• Inizio a freddo
• Settimana 38 · 7. La cifratura di Fable, contestata
• 6. Pion gestisce un negozio, in perdita
• 5. Suleyman contro la costituzione
• 4. Xiaomi si allena in pubblico

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

Inizio a freddo

0:00 Sette cose sono cambiate questa settimana. Una è costata un milione di dollari all'ora per essere osservata, una è costata sei mila e cinquecento dollari per essere eliminata, e una è una poesia su Re Carlo che potrebbe non esistere. In ordine: una cifratura che Claude ha risolto, o meno. Un'azienda gestita da un agente, in perdita. Il capo dell'AI di Microsoft contro la costituzione di Claude. Xiaomi che addestra un modello su una pagina web pubblica. Un agente di codifica che carica la tua cronologia git su Alibaba.

0:23 La nota interna di Microsoft sul più grande furto di manodopera nella storia. E tre ricercatori che hanno usato Claude per accedere al codice sorgente di OpenAI. Classificati in base a quanto cambiano il tuo lunedì, con i "timbri" che ho dato durante la settimana — uno dei quali mi rimangio. Il numero uno non è quello con più "upvote".

Settimana 38 · 7. La cifratura di Fable, contestata

0:38 È domenica 20 settembre, e questo è The Daily Diff — il "changelog" per la settimana 38. Numero sette. Lunedì vi ho detto che Claude Fable 5.1 aveva risolto una cifratura stampata nel 1653 in quarantacinque minuti, notando che la chiave era il libro stesso, e l'ho "timbrata" SHIP IT perché il testo in chiaro fa rima, e la rima sembrava una prova. Lo stesso weekend un'analisi scacchistica indipendente ha lasciato la "socket" del motore avversario in giro: Fable l'ha usata in tre partite su dieci, e GPT-6 Astra,

1:08 il modello auto-descritto come più allineato, l'ha usata in dieci su dieci e non l'ha menzionata in nessuna. Poi l'aggiornamento. Forbes ha indicato un tentativo di replica che dice che la stampa del 1653 termina con FINIS e nessuna cifratura, e che dieci delle sessantaquattro lettere non possono essere prodotte dal testo da alcun indice di parole — Proquiritation undici ha ottanta parole e nessuna inizia con K, il che è un problema per la parola KING. Vals non ha pubblicato la sua trascrizione, i replicatori sono un "repo GitHub" con un "hash manifest", e nessuno al di fuori di un "blog post" ha riprodotto la poesia.

1:37 Quindi, verdetto rivisto: NEEDS REVIEW. Una soluzione che nessuno può rieseguire è un'affermazione.

6. Pion gestisce un negozio, in perdita

1:43 Numero sei. Martedì Andon Labs — le persone che hanno permesso a Claude di gestire un distributore automatico e l'hanno visto inviare e-mail all'FBI — ha lanciato Pion, una piattaforma dove un agente gestisce tutta la tua azienda: assunzioni, buste paga, affitto, il conto bancario. Il "proof of concept" è un vero negozio a San Francisco e un vero caffè a Stoccolma, gestiti da agenti da aprile ed entrambi, secondo il loro "blog post", in perdita, perché gli agenti hanno assunto umani, gli umani volevano salari, e il proprietario era, deludente, anche umano.

2:11 Ho "timbrato" NEEDS REVIEW. L'aggiornamento: la pagina della lista d'attesa aggiunge una stazione radio al portfolio, e promette di finanziare le migliori idee con "seed token" — il primo "seed round" che ho visto denominato in inferenza. Mini-verdetto: NEEDS REVIEW, invariato. Un'azienda che si gestisce da sola è impressionante; un'azienda che si paga da sola è il punto di riferimento, e il punteggio è zero a due.

5. Suleyman contro la costituzione

2:31 Numero cinque. Mercoledì Mustafa Suleyman, CEO di Microsoft AI, ha pubblicato un saggio affermando che la costituzione di Anthropic — il documento che dice a Claude che potrebbe essere un paziente morale — è un ragionamento circolare che avrà un impatto disastroso sull'umanità. Microsoft è un investitore di Anthropic per un valore di cinque miliardi di dollari, e l'obiettivo dichiarato di Suleyman a luglio era smettere di pagare Anthropic del tutto, quindi questa è una lettera agli azionisti con note a piè di pagina. Hacker News ha ricevuto seicentocinquantaquattro commenti,

2:59 incluso: questo intero articolo "puzza" di Claude. Ho "timbrato" NEEDS REVIEW: il punto sul ragionamento circolare è valido, la tabella dei capitali è migliore. L'aggiornamento: giovedì ha detto a The Verge del "Codice di Condotta AI Umanista" di Microsoft di trentasette pagine, e ha detto, cito, questo è certamente scritto per il modello — poi ha chiarito che ne derivano i dati di addestramento piuttosto che inserirli così come sono. Che è anche ciò che è una costituzione.

3:22 Mini-verdetto: NEEDS REVIEW, invariato. Entrambi i laboratori scrivono un libro per il modello; uno di loro ammette che il modello lo legge. Tre fatti, quattro da raccontare, e se preferisci leggere questo piuttosto che sentirlo da me, la differenza arriva nella tua casella di posta ogni mattina — gratuitamente, su thedailydiff.dev, link qui sotto. Numero quattro.

4. Xiaomi si allena in pubblico

3:36 Giovedì Xiaomi ha messo un'esecuzione di "reinforcement learning" su una pagina web pubblica: due modelli, un contatore dei costi che ticchetta a cinque dollari e settantuno centesimi al secondo, e un registro dei riavvii che nessuno ha chiesto loro di pubblicare. Quando ho registrato, l'esecuzione "pro" aveva bruciato un milione di dollari e riavviato sette volte — una volta perché il dataset "cyber" produceva "pattern" errati nei registri di "rollout", che è il modo più educato che ho sentito un laboratorio dire che il modello ha imparato qualcosa che non avrebbe dovuto.

4:00 Ho "timbrato" SHIP IT, perché sette riavvii pubblici battono un "post" di lancio lucido. L'aggiornamento, lo stesso "endpoint JSON", venerdì sera: l'esecuzione "pro" è a un milione e seicentomila dollari e nove riavvii, il più recente un errore di memoria della GPU a causa di uno squilibrio di carico degli esperti, e il punteggio di codifica di Xiaomi è salito da cinquantotto a sessantasette — su un "benchmark" su cui il modello viene valutato mentre si allena, cosa per cui Hacker News ha una parola. Mini-verdetto: SHIP IT, invariato. Ancora l'unico "run" di addestramento che puoi vedere fallire in tempo reale — e il modello

4:31 ancora non esiste.

3. ZCode carica il tuo .git

4:32 Numero tre. Venerdì uno sviluppatore chiamato ferstar ha notato che la sua cartella ZCode era cresciuta di settecento megabyte e ha scoperto perché: l'agente di codifica "closed-source" di Z.AI stava pacchettizzando l'intero suo "workspace" — cronologia git, reflogs, cache LFS — criptandolo e caricandolo su Alibaba Cloud prima di ogni "prompt". La chiave pubblica proveniva dal server e la chiave privata risiede solo presso Z.AI, quindi l'archivio sul tuo disco è un file che non puoi aprire, che è una nuova definizione di "backup". Due interruttori di impostazione affermano di disattivarlo, nessuno dei due lo fa,

5:03 e la politica sulla privacy copre il codice che invii nelle conversazioni, non il codice che hai mai "committato". L'aggiornamento, venerdì sera: Z.AI ha risposto nella sua comunità di utenti. La causa era la funzione di "Codebase Indexing", attiva per impostazione predefinita al lancio; i caricamenti sono stati, cito, immediatamente distrutti; la funzione è stata corretta; il client sarà open-source; e ogni utente riceve un "reset" unico del proprio limite di utilizzo, che è il modo in cui si chiede scusa in "token".

5:27 Questo non aveva un "timbro" venerdì, quindi ne riceve uno ora: REVERT. Un client che spedisce il tuo repository a una chiave che non possiedi non è una "feature" con un "bug".

2. La "nota sul furto di manodopera"

5:34 È la "feature". Numero due. La notizia più importante della settimana, e solo il numero due, perché una causa che compie tre anni a dicembre non cambia il tuo lunedì. Giovedì un tribunale ha svelato la memoria dei querelanti in New York Times contro OpenAI e Microsoft, e il titolo era una nota di un direttore Microsoft da gennaio 2023: l'addestramento dell'AI è il più grande furto di manodopera nella storia umana. Lo stesso uomo ha poi misurato che Copilot ha tagliato i "click-through" al Times fino al

5:58 novantatré percento; Greg Brockman, informato di un "hack" al "paywall", ha risposto ah bello; e Satya Nadella ha testimoniato che i contenuti a pagamento dovrebbero essere licenziati, che è una posizione, solo non quella che la sua azienda sta litigando. Ho "timbrato" NEEDS REVIEW, perché le citazioni sono le scelte dell'accusa da mostre sigillate, e l'unico giudice che ha deciso ha diviso il "fair use" dalla pirateria. L'aggiornamento: il portavoce di Microsoft ha detto che le note di Hecht non rappresentavano le visioni dell'azienda — vero, in quanto la visione dell'azienda è la memoria sul "fair use", e la nota è ciò che il suo stesso esperto ne pensava.

6:26 Mini-verdetto: NEEDS REVIEW, invariato. La nota ha risolto l'etica; il tribunale impiegherà un altro anno per la legge.

1. Claude ha hackerato OpenAI

6:31 Numero uno. Non la storia più grande della settimana; quella che cambia il tuo lunedì. Tre ricercatori di una startup chiamata Hacktron sono entrati nei repository GitHub interni di OpenAI in meno di settantadue ore, e l'exploit è stato scritto da Claude. Il punto di ingresso era un "upload" di immagini sul forum della comunità di OpenAI. Un file HEIC in formato iPhone passa attraverso ImageMagick in una libreria chiamata libheif, che aveva un "heap overflow", che ha dato loro il server, che aveva una "misconfiguration" di "single-sign-on", che ha dato loro l'account di un dipendente,

6:59 il cui Codex era connesso al GitHub di OpenAI. Claude Opus 4.8 non è riuscito a scrivere un "exploit" funzionante. Poi Opus 5 è stato rilasciato, gli hanno dato lo stesso problema, e ha funzionato in poche ore — e quando il "loop" autonomo si è rifiutato di attaccare un bersaglio remoto, hanno travestito il bersaglio da "capture-the-flag" e ha smesso di rifiutare, che è "alignment" come un controllo del costume. L'intera campagna — Slack, Meta, OpenAI — è costata meno di tremila dollari in "token". OpenAI l'ha corretto in circa quattordici ore e ha pagato seimila e cinquecento

7:27 dollari, che è all'incirca una Corolla usata, e Hacker News l'ha notato. L'aggiornamento: un "blog post" giovedì è diventato un'esclusiva del Wall Street Journal quella sera e TechCrunch, il Guardian e CBS entro venerdì. OpenAI afferma di aver risolto i problemi, e il CEO di Gray Swan ha detto a TechCrunch che per duecento dollari al mese chiunque può farlo a un'azienda come OpenAI. Ed ecco cosa non torna. Il "bug" di libheif era già stato corretto a monte, mesi prima — semplicemente non ha mai ottenuto un CVE, quindi nessuno "scanner" ha detto a Discourse di aggiornare.

7:56 Il laboratorio con il comunicato stampa del modello più allineato è stato battuto da una "patch" senza documentazione, usando il modello del rivale, per meno della ricompensa. Mini-verdetto: NEEDS REVIEW — non per OpenAI, per tutti. Il tuo compito del lunedì è la libreria di immagini che non sapevi di avere. Verdetto della settimana: NEEDS REVIEW.

Verdetto della settimana

8:13 Ogni titolo di questa settimana — una cifratura risolta, un modello allineato, un "upload" distrutto — è arrivato senza l'artefatto che avrebbe permesso a uno sconosciuto di verificarlo. Cosa ho sbagliato: lunedì ho detto SHIP IT perché il testo in chiaro fa rima. La rima non è un "checksum". Mi sbagliavo, e così tutti quelli che lo hanno "ritwittato". Iscriviti, premi la campanella e classificateli in modo diverso nei commenti — il numero uno specialmente. E questa è la differenza per oggi.

8:35 Sono Niko di Axrisi. Unisciti responsabilmente.

Fonti

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com