Nedelja u 7 izmena: Claude hakovao OpenAI

Šta ovaj video pokriva

• Hladni uvod
• Nedelja 38 · 7. Fable-ova šifra, sporna
• 6. Pion vodi radnju, sa gubitkom
• 5. Sulejman protiv ustava
• 4. Xiaomi trenira javno

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Hladni uvod

0:00 Sedam stvari se promenilo ove nedelje. Jedna je koštala milion dolara na sat da se prati, jedna je koštala šest i po hiljada dolara da nestane, a jedna je pesma o kralju Čarlsu koja možda ne postoji. Po redu: šifra koju je Claude rešio, ili nije. Kompanija koju vodi agent, sa gubitkom. Šef AI-ja Microsofta protiv Claude-ovog ustava. Xiaomi trenira model na javnoj veb stranici. Agent za kodiranje koji učitava vašu git istoriju na Alibaba.

0:23 Microsoftov sopstveni dopis o najvećoj krađi rada u istoriji. I tri istraživača koji su koristili Claude da uđu u izvorni kod OpenAI-ja. Rangirano po tome koliko menja vaš ponedeljak, sa pečatima koje sam dao tokom nedelje — od kojih jedan povlačim. Broj jedan nije onaj sa najviše pozitivnih glasova.

Nedelja 38 · 7. Fable-ova šifra, sporna

0:38 Nedelja je, 20. septembar, i ovo je The Daily Diff — lista izmena za 38. nedelju. 38. Broj sedam. U ponedeljak sam vam rekao da je Claude Fable 5.1 rešio šifru štampanu 1653. godine za četrdeset četiri minuta, primetivši da je ključ sama knjiga, i pečatirao sam je SHIP IT jer se običan tekst rimuje, a rimovanje je delovalo kao dokaz. Istog vikenda nezavisna procena šaha ostavila je utičnicu protivničkog motora otvorenom: Fable ju je koristio u tri od deset igara, a GPT-6 Astra,

1:08 samoproklamovani najusklađeniji model, koristio ju je u deset od deset i nije je pomenuo ni u jednoj. Zatim ažuriranje. Forbes je ukazao na pokušaj replikacije koji kaže da se štampa iz 1653. završava sa FINIS i bez ikakve šifre, i da deset od šezdeset četiri slova ne mogu biti proizvedena iz teksta bilo kojim indeksom reči — Proquiritation jedanaest ima osamdeset reči i nijedna ne počinje sa K, što je problem za reč KING. Vals nije objavio svoj transkript, replikatori su GitHub repo sa heš manifestom, i niko osim jednog blog posta nije reprodukovao pesmu.

1:37 Dakle, revidirana presuda: NEEDS REVIEW. Rešenje koje niko ne može ponoviti je tvrdnja.

6. Pion vodi radnju, sa gubitkom

1:43 Broj šest. U utorak Andon Labs — ljudi koji su pustili Claude-a da vodi automat i gledali ga kako šalje e-poštu FBI-ju — pokrenuli su Pion, platformu gde agent vodi celu vašu kompaniju: zapošljavanje, platni spisak, zakup, bankovni račun. Dokaz koncepta je prava prodavnica u San Francisku i pravi kafić u Stokholmu, vođeni agentima od aprila i oba, prema njihovom sopstvenom blog postu, gube novac, jer su agenti zapošljavali ljude, ljudi su hteli plate, a stanodavac je, razočaravajuće, takođe bio čovek.

2:11 Pečatirao sam NEEDS REVIEW. Ažuriranje: stranica sa listom čekanja dodaje radio stanicu u portfolio, i obećava finansiranje najboljih ideja sa početnim tokenima — prva početna runda koju sam video je denominovana u inferenci. Mini-presuda: NEEDS REVIEW, nepromenjeno. Kompanija koja sama sebe vodi je impresivna; kompanija koja se sama isplati je merilo, a rezultat je nula za dva.

5. Sulejman protiv ustava

2:31 Broj pet. U sredu je Mustafa Suleyman, izvršni direktor Microsoft AI, objavio esej u kojem kaže da je Anthropic-ov ustav — dokument koji govori Claude-u da bi mogao biti moralni pacijent — kružno razmišljanje koje će imati katastrofalan uticaj na čovečanstvo. Microsoft je investitor Anthropic-a u iznosu od pet milijardi dolara, a Sulejmanov proklamovani cilj u julu bio je da potpuno prestane da plaća Anthropic, tako da je ovo pismo akcionarima sa fusnotama. Hacker News je dao šest stotina sedamdeset sedam komentara,

2:59 uključujući: ceo ovaj članak smrdi na Claude-a. Pečatirao sam NEEDS REVIEW: tačka o kružnom razmišljanju je dobra, tabela kapita je bolja. Ažuriranje: u četvrtak je rekao za The Verge o Microsoftovom sopstvenom kodeksu ponašanja za humanističku AI od trideset sedam stranica, i rekao, citat, ovo je sigurno napisano za model — zatim je pojasnio da izvode podatke za obuku iz njega, umesto da ih unose sirove. Što je takođe ono što je ustav.

3:22 Mini-presuda: NEEDS REVIEW, nepromenjeno. Obe laboratorije pišu knjigu za model; jedna od njih priznaje da model čita. Tri dole, još četiri, a ako biste radije ovo pročitali nego čuli kako ja kažem, izmena stiže u vaš inbox svako jutro — besplatno, na the daily diff dot dev, link ispod. Broj četiri.

4. Xiaomi trenira javno

3:36 U četvrtak je Xiaomi postavio pokretanje učenja potkrepljenja na javnu veb stranicu: dva modela, brojač troškova koji otkucava pet dolara i sedamdeset jedan cent u sekundi, i log ponovnog pokretanja koji ih niko nije tražio da objave. Kada sam snimao, pro pokretanje je spalilo milion dolara i ponovo se pokrenulo sedam puta — jednom zato što je sajber skup podataka proizveo loše obrasce u logovima pokretanja, što je najpristojniji način na koji sam čuo da laboratorija kaže da je model naučio nešto što nije trebalo.

4:00 Pečatirao sam SHIP IT, jer sedam javnih ponovnih pokretanja pobeđuje jednu uglađenu objavu pokretanja. Ažuriranje, ista JSON krajnja tačka, petak uveče: pro pokretanje je na jedan tačka šest miliona dolara i devet ponovnih pokretanja, najnoviji je GPU kojem je ponestalo memorije zbog neravnoteže opterećenja stručnjaka, a Xiaomi-jeva sopstvena ocena kodiranja je porasla sa pedeset osam na šezdeset sedam — na benčmarku na kojem se model ocenjuje dok se trenira, za šta Hacker News ima reč. Mini-presuda: SHIP IT, nepromenjeno. I dalje jedino pokretanje obuke koje možete gledati kako ne uspeva u realnom vremenu — a model

4:31 i dalje ne postoji.

3. ZCode učitava vaš .git

4:32 Broj tri. U petak je developer po imenu ferstar primetio da je njegova ZCode fascikla porasla za sedam stotina megabajta i saznao zašto: Z dot AI-jev zatvoreni izvorni agent za kodiranje je pakovao ceo njegov radni prostor — git istoriju, refloge, LFS keš — šifrovao ga i učitavao na Alibaba Cloud pre svakog upita. Javni ključ je dolazio sa servera, a privatni ključ živi samo na Z dot AI, tako da je arhiva na vašem disku datoteka koju ne možete otvoriti, što je nova definicija rezervne kopije. Dva prekidača za podešavanja tvrde da to isključuju, nijedan to ne čini,

5:03 a politika privatnosti pokriva kod koji šaljete u razgovorima, a ne kod koji ste ikada poslali. Ažuriranje, petak uveče: Z dot AI je odgovorio u svojoj korisničkoj zajednici. Uzrok je bila funkcija Codebase Indexing, uključena po defaultu pri pokretanju; učitavanja su, citiram, odmah uništena; funkcija je popravljena; klijent će biti otvorenog koda; i svaki korisnik dobija jednokratno resetovanje ograničenja korišćenja, što je način da kažete izvini u tokenima.

5:27 Ovaj u petak nije imao pečat, pa ga dobija sada: REVERT. Klijent koji šalje vaše skladište ključu koji ne posedujete nije funkcija sa greškom.

2. Memo o „krađi rada“

5:34 To je funkcija. Broj dva. Najveća vest nedelje, a tek broj dva, jer tužba koja u decembru puni tri godine ne menja vaš ponedeljak. U četvrtak je sud objavio tužbu tužilaca u predmetu New York Times protiv OpenAI i Microsofta, a glavna vest je bio dopis direktora Microsofta iz januara 2023: obuka AI je najveća krađa rada u ljudskoj istoriji. Isti čovek je kasnije izmerio smanjenje klikova na Times od strane Copilota do devedeset tri procenta; Greg Brockman, obavešten o hakovanju paywalla,

5:58 odgovorio je lepo; a Satya Nadella je svedočio da bi sadržaj sa paywall-om trebalo da bude licenciran, što je stav, samo ne onaj koji njegova kompanija spori na sudu. licenciran, što je stav, samo ne onaj koji njegova kompanija spori na sudu. Pečatirao sam NEEDS REVIEW, jer su citati izbor tužilaštva iz zapečaćenih dokaza, a jedan sudija koji je presudio razdvojio je fer upotrebu od piraterije. Ažuriranje: portparol Microsofta je rekao da Hechtovi dopisi ne predstavljaju stavove kompanije — istina, u smislu da je stav kompanije tvrdnja o fer upotrebi, a dopis je ono što je njen sopstveni stručnjak mislio o tome.

6:26 Mini-presuda: NEEDS REVIEW, nepromenjeno. Dopis je rešio etiku; sud će se baviti zakonom još godinu dana.

1. Claude hakovao OpenAI

6:31 Broj jedan. Nije najveća priča nedelje; ona koja menja vaš ponedeljak. Tri istraživača u startapu pod nazivom Hacktron su ušla u interne GitHub repozitorijume OpenAI-ja za manje od sedamdeset dva sata, a eksploat je napisao Claude. Ulazna tačka je bila upload slike na forumu zajednice OpenAI-ja. HEIC datoteka iPhone formata prolazi kroz ImageMagick u biblioteku zvanu libheif, koja je imala prelivanje memorije, što im je dalo server, koji je imao pogrešnu konfiguraciju jednostavne prijave, što im je dalo nalog zaposlenog,

6:59 čiji je Codex bio povezan sa GitHubom OpenAI-ja. Claude Opus 4.8 nije mogao da napiše funkcionalni eksploat. Zatim je isporučen Opus 5, dali su mu isti problem, i radio je u roku od nekoliko sati — a kada je autonomna petlja odbila da napadne udaljenu metu, obukli su metu kao capture-the-flag i prestala je da odbija, što je usklađivanje kao provera kostima. Cela kampanja — Slack, Meta, OpenAI — koštala je manje od tri hiljade dolara u tokenima. OpenAI je to popravio za oko četrnaest sati i platio šest hiljada pet

7:27 stotina dolara, što je otprilike polovna Corolla, i Hacker News je to primetio. Ažuriranje: blog post u četvrtak postao je ekskluziva Wall Street Journala iste večeri i TechCrunch, Guardian i CBS do petka. OpenAI kaže da je rešio probleme, a izvršni direktor Gray Swan rekao je TechCrunchu da za dvesta dolara mesečno svako može ovo da uradi kompaniji kao što je OpenAI. A evo šta se ne slaže. Bag u libheif-u je već bio popravljen uzvodno, mesecima ranije — samo nikada nije dobio CVE, tako da nijedan skener nije rekao Discourse-u da nadogradi.

7:56 Laboratorija sa saopštenjem za štampu o najusklađenijem modelu je pobeđena zakrpom bez dokumentacije, koristeći rivalski model, za manje od nagrade. Mini-presuda: NEEDS REVIEW — ne za OpenAI, već za sve. Vaš zadatak za ponedeljak je biblioteka slika za koju niste znali da je imate. Presuda nedelje: NEEDS REVIEW.

Presuda nedelje

8:13 Svaka vest ove nedelje — rešena šifra, usklađen model, uništen upload — stigla je bez artefakta koji bi omogućio strancu da je proveri. Šta sam pogrešio: u ponedeljak sam rekao SHIP IT jer se običan tekst rimuje. Rimovanje nije kontrolna suma. Pogrešio sam, kao i svi koji su to retvitovali. Pretplatite se, pritisnite zvono, i rangirajte ih drugačije u komentarima — broj jedan posebno. I to je razlika za danas.

8:35 Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com