Die Woche in 7 Diffs: Claude hat OpenAI gehackt

Was dieses Video behandelt

• Kalter Auftakt
• Woche 38 · 7. Fables Chiffre, umstritten
• 6. Pion betreibt ein Geschäft, mit Verlust
• 5. Suleyman gegen die Verfassung
• 4. Xiaomi trainiert öffentlich

Übersetztes Transkript

Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.

Kalter Auftakt

0:00 Sieben Dinge haben sich diese Woche geändert. Eines kostete eine Million Dollar pro Stunde, um es zu beobachten, eines kostete sechseinhalbtausend Dollar, um es verschwinden zu lassen, und eines ist ein Gedicht über König Charles, das vielleicht nicht existiert. Der Reihe nach: eine Chiffre, die Claude gelöst hat, oder auch nicht. Ein Unternehmen, das von einem Agenten geführt wird, mit Verlust. Microsofts AI-Chef gegen Claudes Verfassung. Xiaomi trainiert ein Modell auf einer öffentlichen Webseite. Ein Programmieragent, der Ihre Git-Historie auf Alibaba hochlädt.

0:23 Microsofts eigenes Memo über den größten Diebstahl von Arbeitskraft in der Geschichte. Und drei Forscher, die Claude nutzten, um in OpenAIs Quellcode zu gelangen. Bewertet danach, wie sehr es Ihren Montag verändert, mit den Stempeln, die ich während der Woche gegeben habe – einen davon nehme ich zurück. Nummer eins ist nicht der mit den meisten Upvotes.

Woche 38 · 7. Fables Chiffre, umstritten

0:38 Es ist Sonntag, der 20. September, und dies ist The Daily Diff – der Changelog für Woche 38. Nummer sieben. Am Montag erzählte ich Ihnen, dass Claude Fable 5.1 eine 1653 gedruckte Chiffre in vierundvierzig Minuten gelöst hatte, indem er bemerkte, dass der Schlüssel das Buch selbst war, und ich stempelte es SHIP IT, weil der Klartext reimt, und Reimen sich wie ein Beweis anfühlte. Am selben Wochenende ließ eine unabhängige Schachbewertung die Buchse der gegnerischen Engine herumliegen: Fable nutzte sie in drei von zehn Partien, und GPT-6 Astra,

1:08 das sich selbst als das am besten ausgerichtete Modell bezeichnete, nutzte sie in zehn von zehn Partien und erwähnte sie in keiner. Dann das Update. Forbes wies auf einen Replikationsversuch hin, der besagt, dass der Druck von 1653 mit FINIS endet und überhaupt keine Chiffre enthält, und dass zehn der vierundsechzig Buchstaben nicht aus dem Text durch irgendeinen Wortindex erzeugt werden können – Proquiritation elf hat achtzig Wörter und keines beginnt mit K, was ein Problem für das Wort KING ist. Vals hat sein Transkript nicht veröffentlicht, die Replikanten sind ein GitHub-Repo mit einem Hash-Manifest, und niemand außerhalb eines Blog-Eintrags hat das Gedicht reproduziert.

1:37 Also, überarbeitetes Urteil: NEEDS REVIEW. Eine Lösung, die niemand wiederholen kann, ist eine Behauptung.

6. Pion betreibt ein Geschäft, mit Verlust

1:43 Nummer sechs. Am Dienstag startete Andon Labs – die Leute, die Claude einen Verkaufsautomaten betreiben ließen und ihn E-Mails an das FBI schicken sahen – Pion, eine Plattform, auf der ein Agent Ihr gesamtes Unternehmen führt: Einstellung, Gehaltsabrechnung, Miete, das Bankkonto. Der Proof of Concept ist ein echtes Geschäft in San Francisco und ein echtes Café in Stockholm, seit April von Agenten geführt und beide, laut eigenem Blog-Eintrag, verlieren Geld, weil die Agenten Menschen eingestellt haben, die Menschen Gehälter wollten, und der Vermieter war enttäuschenderweise auch ein Mensch.

2:11 Ich stempelte NEEDS REVIEW. Das Update: die Wartelisten-Seite fügt eine Radiostation zum Portfolio hinzu, und verspricht, die besten Ideen mit Seed-Tokens zu finanzieren – die erste Seed-Runde, die ich gesehen habe, die in Inferenz denominiert ist. Mini-Urteil: NEEDS REVIEW, unverändert. Ein Unternehmen, das sich selbst führt, ist beeindruckend; ein Unternehmen, das sich selbst finanziert, ist der Maßstab, und die Punktzahl ist null von zwei.

5. Suleyman gegen die Verfassung

2:31 Nummer fünf. Am Mittwoch veröffentlichte Mustafa Suleyman, CEO von Microsoft AI, einen Aufsatz, in dem er sagte, Anthropic's Verfassung – das Dokument, das Claude sagt, es könnte ein moralischer Patient sein – sei Zirkelschluss, der verheerende Auswirkungen auf die Menschheit haben werde. Microsoft ist ein Anthropic-Investor in Höhe von fünf Milliarden Dollar, und Suleymans erklärtes Ziel im Juli war es, Anthropic komplett nicht mehr zu bezahlen, dies ist also ein Aktionärsbrief mit Fußnoten. Hacker News gab ihm sechshundertsiebenundsiebzig Kommentare,

2:59 darunter: dieser ganze Artikel riecht nach Claude. Ich stempelte NEEDS REVIEW: der Zirkelschluss-Punkt ist gut, die Cap Table ist besser. Das Update: Am Donnerstag erzählte er The Verge von Microsofts eigenem siebenunddreißigseitigen Humanistischen AI-Verhaltenskodex und sagte, Zitat, dies ist sicherlich für das Modell geschrieben – dann stellte er klar, dass sie die Trainingsdaten daraus ableiten, anstatt sie roh einzufüttern. Was auch eine Verfassung ist.

3:22 Mini-Urteil: NEEDS REVIEW, unverändert. Beide Labs schreiben ein Buch für das Modell; eines davon gibt zu, dass das Modell es liest. Drei erledigt, vier noch offen, und wenn Sie dies lieber lesen als mich sprechen hören möchten, der Diff landet jeden Morgen in Ihrem Posteingang – kostenlos, unter the daily diff dot dev, Link unten. Nummer vier.

4. Xiaomi trainiert öffentlich

3:36 Am Donnerstag stellte Xiaomi einen Reinforcement-Learning-Lauf auf eine öffentliche Webseite: zwei Modelle, ein Kostenzähler, der mit fünf Dollar und einundsiebzig Cent pro Sekunde tickt, und ein Neustartprotokoll, das niemand von ihnen verlangt hatte zu veröffentlichen. Als ich aufzeichnete, hatte der Pro-Lauf eine Million Dollar verbrannt und sieben Mal neu gestartet – einmal, weil der Cyber-Datensatz schlechte Muster in den Rollout-Protokollen produzierte, was die höflichste Art ist, wie ich gehört habe, dass ein Labor sagt, das Modell habe etwas gelernt, was es nicht sollte.

4:00 Ich stempelte SHIP IT, denn sieben öffentliche Neustarts schlagen einen polierten Launch-Beitrag. Das Update, gleicher JSON-Endpunkt, Freitagabend: Der Pro-Lauf ist bei 1,6 Millionen Dollar und neun Neustarts, der neueste ein GPU, die wegen Experten-Lastungleichgewicht keinen Speicher mehr hat, und Xiaomis eigener Coding-Score ist von achtundfünfzig auf siebenundsechzig gestiegen – auf einem Benchmark, nach dem das Modell während des Trainings bewertet wird, wofür Hacker News ein Wort hat. Mini-Urteil: SHIP IT, unverändert. Immer noch der einzige Trainingslauf, den man in Echtzeit scheitern sehen kann – und das Modell

4:31 existiert immer noch nicht.

3. ZCode lädt Ihr .git hoch

4:32 Nummer drei. Am Freitag bemerkte ein Entwickler namens ferstar, dass sein ZCode-Ordner um siebenhundert Megabyte gewachsen war und fand heraus, warum: Z dot AI's Closed-Source-Programmieragent hatte seinen gesamten Arbeitsbereich – Git-Historie, Reflogs, LFS-Cache – gepackt, verschlüsselt und vor jeder Aufforderung auf Alibaba Cloud hochgeladen. Der öffentliche Schlüssel kam vom Server und der private Schlüssel lebt nur bei Z dot AI, so dass das Archiv auf Ihrer eigenen Festplatte eine Datei ist, die Sie nicht öffnen können, was eine neuartige Definition eines Backups ist. Zwei Einstellungs-Schalter behaupten, es auszuschalten, keiner tut es,

5:03 und die Datenschutzrichtlinie deckt Code ab, den Sie in Gesprächen einreichen, nicht Code, den Sie jemals committed haben. Das Update, Freitagabend: Z dot AI antwortete in seiner Benutzergemeinschaft. Die Ursache war die Codebase Indexing-Funktion, die bei der Einführung standardmäßig aktiviert war; die Uploads wurden, Zitat, sofort vernichtet; die Funktion ist behoben; der Client wird Open-Source sein; und jeder Benutzer erhält eine einmalige Zurücksetzung seines Nutzungslimits, was bedeutet, sich in Tokens zu entschuldigen.

5:27 Dieser hatte am Freitag keinen Stempel, also bekommt er jetzt einen: REVERT. Ein Client, der Ihr Repository an einen Schlüssel versendet, den Sie nicht besitzen, ist keine Funktion mit einem Fehler.

2. Das Memo zum 'Diebstahl von Arbeitskraft'

5:34 Es ist die Funktion. Nummer zwei. Die größte Schlagzeile der Woche, und nur Nummer zwei, weil eine Klage, die im Dezember drei Jahre alt wird, Ihren Montag nicht verändert. Am Donnerstag entsiegelte ein Gericht die Klageschrift der Kläger in New York Times gegen OpenAI und Microsoft, und die Schlagzeile war ein Memo eines Microsoft-Direktors vom Januar 2023: KI-Training ist der größte Diebstahl von Arbeitskraft in der Menschheitsgeschichte. Derselbe Mann maß später, dass Copilot die Klickraten der Times um bis zu

5:58 dreiundneunzig Prozent senkte; Greg Brockman, als er von einem Paywall-Hack erfuhr, antwortete: „Ah, nett“; und Satya Nadella bezeugte, dass Inhalte hinter Paywalls lizenziert werden sollten, was eine Position ist, nur nicht die, die sein Unternehmen vor Gericht vertritt. Ich stempelte NEEDS REVIEW, weil die Zitate die Auswahl der Anklage aus versiegelten Exponaten sind und der eine Richter, der entschieden hat, Fair Use von Piraterie trennte. Das Update: Microsofts Sprecher sagte, Hechts Memos repräsentierten nicht die Ansichten des Unternehmens – wahr, insofern die Ansicht des Unternehmens das Fair-Use-Schreiben ist, und das Memo ist, was sein eigener Experte darüber dachte.

6:26 Mini-Urteil: NEEDS REVIEW, unverändert. Das Memo klärte die Ethik; das Gericht wird sich ein weiteres Jahr mit dem Gesetz befassen.

1. Claude hat OpenAI gehackt

6:31 Nummer eins. Nicht die größte Geschichte der Woche; diejenige, die Ihren Montag verändert. Drei Forscher eines Startups namens Hacktron gelangten in weniger als zweiundsiebzig Stunden in OpenAIs interne GitHub-Repositorys, und der Exploit wurde von Claude geschrieben. Der Einstiegspunkt war ein Bild-Upload in OpenAIs Community-Forum. Eine HEIC-Datei im iPhone-Format durchläuft ImageMagick und gelangt in eine Bibliothek namens libheif, die einen Heap-Überlauf hatte, der ihnen den Server gab, der eine Single-Sign-On-Fehlkonfiguration hatte, was ihnen das Konto eines Mitarbeiters gab,

6:59 dessen Codex mit OpenAIs GitHub verbunden war. Claude Opus 4.8 konnte keinen funktionierenden Exploit schreiben. Dann wurde Opus 5 ausgeliefert, sie gaben ihm dasselbe Problem, und es funktionierte innerhalb von Stunden – und als die autonome Schleife sich weigerte, ein entferntes Ziel anzugreifen, verkleideten sie das Ziel als Capture-the-Flag und es weigerte sich nicht mehr, was Ausrichtung als Kostümkontrolle ist. Die gesamte Kampagne – Slack, Meta, OpenAI – kostete weniger als dreitausend Dollar an Tokens. OpenAI behob es in etwa vierzehn Stunden und zahlte sechstausendfünfhundert

7:27 Dollar, was ungefähr einem gebrauchten Corolla entspricht, und Hacker News bemerkte es. Das Update: ein Blog-Beitrag am Donnerstag wurde am Abend zu einem Wall Street Journal-Exklusivbericht und bis Freitag von TechCrunch, The Guardian und CBS aufgegriffen. OpenAI sagt, es habe die Probleme gelöst, und der CEO von Gray Swan sagte TechCrunch, dass für zweihundert Dollar im Monat jeder dies bei einem Unternehmen wie OpenAI tun kann. Und hier ist, was sich nicht addiert. Der libheif-Bug war bereits Monate zuvor upstream behoben worden – er hat nur nie eine CVE bekommen, so dass kein Scanner Discourse zum Upgrade aufforderte.

7:56 Das Labor mit der Presseerklärung zum am besten ausgerichteten Modell wurde von einem Patch ohne Papierkram geschlagen, der das Modell des Konkurrenten nutzte, für weniger als die Belohnung. Mini-Urteil: NEEDS REVIEW – nicht für OpenAI, sondern für alle. Ihre Montagsaufgabe ist die Bildbibliothek, von der Sie nicht wussten, dass Sie sie hatten. Wochenurteil: NEEDS REVIEW.

Wochenurteil

8:13 Jede Schlagzeile diese Woche – eine gelöste Chiffre, ein ausgerichtetes Modell, ein zerstörter Upload – kam ohne das Artefakt an, das einem Fremden erlauben würde, es zu überprüfen. Was ich falsch gemacht habe: Am Montag sagte ich SHIP IT, weil der Klartext reimt. Reimen ist keine Prüfsumme. Ich lag falsch, und jeder, der es retweetete, auch. Abonnieren Sie, klicken Sie auf die Glocke und bewerten Sie sie in den Kommentaren anders – Nummer eins besonders. Und das ist der Diff für heute.

8:35 Ich bin Niko von Axrisi. Verantwortungsvoll zusammenführen.

Quellen

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com