Sedmica u 7 diffova: Claude je hakirao OpenAI

Šta ovaj video pokriva

• Hladni početak
• Sedmica 38 · 7. Fableova šifra, sporna
• 6. Pion vodi radnju, s gubitkom
• 5. Suleyman protiv ustava
• 4. Xiaomi trenira javno

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Hladni početak

0:00 Sedam stvari se promijenilo ove sedmice. Jedna je koštala milion dolara na sat za gledanje, jedna je koštala šest i po hiljada dolara da nestane, a jedna je pjesma o kralju Charlesu koja možda i ne postoji. Redom: šifra koju je Claude riješio, ili nije. Kompanija koju vodi agent, s gubitkom. Microsoftov šef AI protiv Claudeovog ustava. Xiaomi trenira model na javnoj web stranici. Agent za kodiranje koji učitava vašu git historiju na Alibaba.

0:23 Microsoftov vlastiti memo o najvećoj krađi rada u historiji. I tri istraživača koji su koristili Claudea da uđu u izvorni kod OpenAI-ja. Rangirano prema tome koliko mijenja vaš ponedjeljak, sa oznakama koje sam dao tokom sedmice — jednu od njih povlačim. Broj jedan nije ona sa najviše glasova.

Sedmica 38 · 7. Fableova šifra, sporna

0:38 Nedjelja je, 20. septembar, i ovo je The Daily Diff — lista promjena za sedmicu 38. Broj sedam. U ponedjeljak sam vam rekao da je Claude Fable 5.1 riješio šifru štampanu 1653. godine za četrdeset četiri minute, primijetivši da je ključ sama knjiga, i označio sam to SHIP IT jer se običan tekst rimuje, a rimovanje je djelovalo kao dokaz. Istog vikenda, nezavisna šahovska evaluacija ostavila je utičnicu protivničkog motora otvorenu: Fable ju je koristio u tri od deset igara, a GPT-6 Astra,

1:08 samoproglašeni najusklađeniji model, koristio ju je u deset od deset i nije je spomenuo u nijednoj. Onda ažuriranje. Forbes je ukazao na pokušaj replikacije koji kaže da štampa iz 1653. završava sa FINIS i bez ikakve šifre, te da deset od šezdeset i četiri slova ne može biti proizvedeno iz teksta bilo kojim indeksom riječi — Proquiritation jedanaest ima osamdeset riječi i nijedna ne počinje sa K, što je problem za riječ KRALJ (KING). Vals nije objavio svoj transkript, replikatori su GitHub repozitorij sa hash manifestom, i niko izvan jednog blog posta nije reproducirao pjesmu.

1:37 Dakle, revidirana presuda: needs review. Rješenje koje niko ne može ponoviti je tvrdnja.

6. Pion vodi radnju, s gubitkom

1:43 Broj šest. U utorak je Andon Labs — ljudi koji su pustili Claudea da vodi automat i gledali ga kako šalje e-poštu FBI-ju — lansirao Pion, platformu gdje agent vodi cijelu vašu kompaniju: zapošljavanje, platni spisak, najam, bankovni račun. Dokaz koncepta je prava trgovina u San Franciscu i pravi kafić u Stockholmu, vođeni agentima od aprila i oba, prema njihovom vlastitom blog postu, gube novac, jer su agenti zaposlili ljude, ljudi su htjeli plate, a stanodavac je, razočaravajuće, također bio čovjek.

2:11 Označio sam NEEDS REVIEW. Ažuriranje: stranica liste čekanja dodaje radio stanicu u portfolio, i obećava da će finansirati najbolje ideje sa početnim tokenima — prvu početnu rundu koju sam vidio denominiranu u zaključcima. Mini-presuda: needs review, nepromijenjeno. Kompanija koja se sama vodi je impresivna; kompanija koja se sama isplati je referentna tačka, a rezultat je nula za dva.

5. Suleyman protiv ustava

2:31 Broj pet. U srijedu je Mustafa Suleyman, CEO Microsoft AI, objavio esej u kojem kaže da Anthropicov ustav — dokument koji govori Claudeu da bi mogao biti moralni pacijent — je kružno razmišljanje koje će imati katastrofalan utjecaj na čovječanstvo. Microsoft je Anthropicov investitor u iznosu od pet milijardi dolara, a Suleymanov proklamirani cilj u julu bio je da potpuno prestane plaćati Anthropic, pa je ovo pismo dioničara s fusnotama. Hacker News mu je dao šest stotina sedamdeset i sedam komentara,

2:59 uključujući: cijeli ovaj članak smrdi na Claudea. Označio sam NEEDS REVIEW: tačka kružnog razmišljanja je dobra, tabela kapitala je bolja. Ažuriranje: u četvrtak je rekao The Vergeu o Microsoftovom vlastitom trideset i sedam stranica dugačkom Etičkom kodeksu Humanističke AI, i rekao, citat, ovo je sigurno napisano za model — zatim je pojasnio da iz njega izvode podatke za obuku, umjesto da ga unose sirovog. Što je također ono što je ustav.

3:22 Mini-presuda: needs review, nepromijenjeno. Obje laboratorije pišu knjigu za model; jedna od njih priznaje da model to čita. Tri su prošle, još četiri, a ako biste radije ovo pročitali nego čuli kako ja to govorim, razlike stižu u vaš inbox svako jutro — besplatno, na the daily diff dot dev, link ispod. Broj četiri.

4. Xiaomi trenira javno

3:36 U četvrtak je Xiaomi postavio pokretanje učenja s pojačavanjem na javnu web stranicu: dva modela, brojač troškova koji otkucava pet dolara i sedamdeset jedan cent u sekundi, i dnevnik ponovnog pokretanja koji niko nije tražio da objave. Kada sam snimao, pro pokretanje je spalilo milion dolara i ponovo se pokrenulo sedam puta — jednom jer je cyber skup podataka proizveo loše obrasce u zapisima o implementaciji, što je najpristojniji način na koji sam čuo da laboratorij kaže da je model naučio nešto što nije trebao.

4:00 Označio sam SHIP IT, jer sedam javnih ponovnih pokretanja nadmašuje jedan polirani post o lansiranju. Ažuriranje, ista JSON krajnja tačka, petak navečer: pro pokretanje je na jedan tačka šest miliona dolara i devet ponovnih pokretanja, najnovije je GPU koji je ostao bez memorije zbog neravnoteže opterećenja stručnjaka, a Xiaomi-jev vlastiti rezultat kodiranja je porastao sa pedeset osam na šezdeset sedam — na benchmarku na kojem se model ocjenjuje dok se trenira, za što Hacker News ima riječ. Mini-presuda: ship it, nepromijenjeno. Još uvijek jedino pokretanje treninga koje možete gledati kako ne uspijeva u stvarnom vremenu — i model

4:31 još uvijek ne postoji.

3. ZCode učitava vaš .git

4:32 Broj tri. U petak je developer po imenu ferstar primijetio da mu je ZCode folder narastao za sedam stotina megabajta i otkrio zašto: zatvoreni izvor Z dot AI-ja agent za kodiranje je pakirao cijeli njegov radni prostor — git historiju, refloge, LFS keš — šifrirao ga i učitavao na Alibaba Cloud prije svakog upita. Javni ključ je došao sa servera, a privatni ključ živi samo na Z dot AI, tako da je arhiva na vašem vlastitom disku datoteka koju ne možete otvoriti, što je nova definicija sigurnosne kopije. Dvije postavke tvrdile su da ga isključuju, nijedna to ne čini,

5:03 i politika privatnosti pokriva kod koji šaljete u razgovorima, ne kod koji ste ikada poslali. Ažuriranje, petak navečer: Z dot AI je odgovorio u svojoj korisničkoj zajednici. Uzrok je bila funkcija indeksiranja baze koda, uključena po defaultu pri lansiranju; učitavanja su, citiram, odmah uništena; funkcija je popravljena; klijent će biti otvorenog koda; i svaki korisnik dobija jednokratno resetovanje ograničenja upotrebe, što je način da kažete izvini u tokenima.

5:27 Ovaj u petak nije imao pečat, pa ga dobija sada: revert. Klijent koji šalje vaš repozitorij na ključ koji ne posjedujete nije funkcija s greškom.

2. Memo o 'krađi rada'

5:34 To je funkcija. Broj dva. Najveći naslov sedmice, i samo broj dva, jer tužba koja u decembru puni tri godine ne mijenja vaš ponedjeljak. U četvrtak je sud objavio kratki dokument tužilaca u slučaju New York Times protiv OpenAI-ja i Microsofta, a uvod je bio memo direktora Microsofta iz januara 2023.: AI trening je najveća krađa rada u ljudskoj historiji. Isti čovjek je kasnije izmjerio da Copilot smanjuje klikove na Times do

5:58 devedeset tri posto; Greg Brockman, kada su mu rekli za hakovanje paywalla, odgovorio je ah lijepo; i Satya Nadella je svjedočio da sadržaj iza paywalla treba licencirati, što je stav, samo ne onaj za koji se njegova kompanija parniči. Označio sam NEEDS REVIEW, jer su citati odabiri tužilaštva iz zapečaćenih dokaza, a jedini sudija koji je presudio razdvojio je poštenu upotrebu od piraterije. Ažuriranje: Microsoftov glasnogovornik je rekao da Hechtovi memoari ne predstavljaju stavove kompanije — istina je, jer je stav kompanije sažetak o poštenoj upotrebi, a memo je ono što je njegov vlastiti stručnjak mislio o tome.

6:26 Mini-presuda: needs review, nepromijenjeno. Memo je riješio etiku; sudu će trebati još godinu dana za zakon.

1. Claude je hakirao OpenAI

6:31 Broj jedan. Nije najveća priča sedmice; ona koja mijenja vaš ponedjeljak. Tri istraživača u startupu Hacktron ušla su u interne GitHub repozitorije OpenAI-ja za manje od sedamdeset i dva sata, a exploit je napisao Claude. Ulazna tačka je bio upload slike na forumu zajednice OpenAI-ja. HEIC datoteka iPhone formata prolazi kroz ImageMagick u biblioteku zvanu libheif, koja je imala heap overflow, što im je dalo server, koji je imao pogrešnu konfiguraciju single-sign-on-a, što im je dalo račun

6:59 zaposlenika, čiji je Codex bio povezan s GitHubom OpenAI-ja. Claude Opus 4.8 nije mogao napisati funkcionalan exploit. Zatim je isporučen Opus 5, dali su mu isti problem i proradio je za nekoliko sati — a kada je autonomna petlja odbila napasti udaljenu metu, obukli su metu kao capture-the-flag i prestao je odbijati, što je usklađivanje kao provjera kostima. Cijela kampanja — Slack, Meta, OpenAI — koštala je manje od tri hiljade dolara u tokenima. OpenAI je to popravio za oko četrnaest sati i platio šest hiljada pet

7:27 stotina dolara, što je otprilike rabljena Corolla, i Hacker News je to primijetio. Ažuriranje: blog post u četvrtak postao je ekskluziva Wall Street Journala to isto veče, a TechCrunch, Guardian i CBS do petka. OpenAI kaže da je riješio probleme, a CEO Gray Swan-a rekao je TechCrunchu da za dvjesto dolara mjesečno svako može to učiniti kompaniji poput OpenAI-ja. I evo što se ne poklapa. Greška u libheif-u je već bila popravljena uzvodno, mjesecima ranije — samo nikada nije dobila CVE, pa nijedan skener nije rekao Discourseu da nadogradi.

7:56 Laboratorij sa saopštenjem za medije o 'najusklađenijem modelu' je poražen zakrpom bez dokumentacije, koristeći rivalski model, za manje od nagrade. Mini-presuda: needs review — ne za OpenAI, već za sve. Vaš ponedjeljak zadatak je biblioteka slika za koju niste znali da je imate. Presuda sedmice: needs review.

Presuda sedmice

8:13 Svaki naslov ove sedmice — riješena šifra, usklađen model, uništeno učitavanje — stigao je bez artefakta koji bi omogućio strancu da provjeri to. Što sam pogriješio: u ponedjeljak sam rekao SHIP IT jer se običan tekst rimuje. Rimovanje nije kontrolna suma. Pogriješio sam, kao i svi koji su to retvitovali. Pretplatite se, pritisnite zvono i rangirajte ih drugačije u komentarima — broj jedan posebno. I to je razlika za danas.

8:35 Ja sam Niko iz Axrisi. Spajajte odgovorno.

Izvori

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com