Viikko seitsemässä erässä: Claude hakkeroi OpenAI:n

Mitä tämä video käsittelee

• Kylmä avaus
• Viikko 38 · 7. Faabelin salakirjoitus, kiistanalainen
• 6. Pion pitää kauppaa tappiolla
• 5. Suleyman vastaan perustuslaki
• 4. Xiaomi harjoittelee julkisesti

Käännetty transkriptio

Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.

Kylmä avaus

0:00 Seitsemän asiaa muuttui tällä viikolla. Yksi maksoi miljoona dollaria tunnin katselusta, yksi maksoi kuusi ja puoli tuhatta dollaria sen poistamiseen, ja yksi on runo kuningas Kaarleesta, jota ei ehkä ole olemassa. Järjestyksessä: salakirjoitus, jonka Claude ratkaisi, tai ei. Agentin pyörittämä yritys, tappiolla. Microsoftin tekoälypäällikkö vastaan Clauden perustuslaki. Xiaomi kouluttaa mallia julkisella verkkosivulla. Koodausagentti, joka lataa git-historiasi Alibaballe.

0:23 Microsoftin oma muistio historian suurimmasta työvoiman varkaudesta. Ja kolme tutkijaa, jotka käyttivät Claudea päästäkseen OpenAI:n lähdekoodiin. Järjestyksessä sen mukaan, kuinka paljon se muuttaa maanantaitasi, käyttäen leimoja, jotka annoin viikon aikana — joista yhden otan takaisin. Ykkönen ei ole se, jolla on eniten yläääniä.

Viikko 38 · 7. Faabelin salakirjoitus, kiistanalainen

0:38 On sunnuntai, syyskuun 20. päivä, ja tämä on The Daily Diff — viikon 38 muutosloki. Numero seitsemän. Maanantaina kerroin, että Claude Fable 5.1 oli ratkaissut salakirjoituksen, joka painettiin vuonna 1653 neljässäkymmenessäneljässä minuutissa, huomaamalla, että avain oli itse kirja, ja leimasin sen SHIP IT, koska selväkielinen teksti riimittyy, ja riimittely tuntui todisteelta. Samana viikonloppuna riippumaton shakkianalyysi jätti vastustajan moottorin socketin lojumaan: Fable käytti sitä kolmessa kymmenestä pelistä, ja GPT-6 Astra,

1:08 itseään eniten linjatuksi malliksi kutsuva, käytti sitä kymmenessä kymmenestä eikä maininnut sitä missään. Sitten päivitys. Forbes viittasi toistoyritykseen, jonka mukaan vuoden 1653 painos päättyy FINIS-sanaan eikä sisällä lainkaan salakirjoitusta, ja että kymmenen kuudestakymmenestäneljästä kirjaimesta ei voi tuottaa tekstistä millään sanaindeksillä — Proquiritation elevenissä on kahdeksankymmentä sanaa eikä yksikään ala K:lla, mikä on ongelma sanalle KING. Vals ei ole julkaissut litteraatiotaan, toistajilla on GitHub-repo, jossa on hash-manifesti, eikä kukaan yhden blogipostauksen ulkopuolella ole toistanut runoa.

1:37 Joten, tarkistettu tuomio: NEEDS REVIEW. Ratkaisu, jota kukaan ei voi toistaa, on väite.

6. Pion pitää kauppaa tappiolla

1:43 Numero kuusi. Tiistaina Andon Labs — ihmiset, jotka antoivat Clauden pyörittää myyntiautomaattia ja katselivat sen lähettävän sähköpostia FBI:lle — lanseerasivat Pionin, alustan, jossa agentti hoitaa koko yrityksesi: palkkaaminen, palkanlaskenta, vuokra, pankkitili. Proof of concept on todellinen kauppa San Franciscossa ja todellinen kahvila Tukholmassa, agenttivetoisina huhtikuusta lähtien, ja molemmat, oman blogipostauksensa mukaan, menettävät rahaa, koska agentit palkkasivat ihmisiä, ihmiset halusivat palkkaa, ja vuokranantaja oli, pettymys, myös ihminen.

2:11 Leimasin NEEDS REVIEW. Päivitys: jonotuslistasivu lisää radiokanavan portfolioon, ja lupaa rahoittaa parhaat ideat siementokeneilla — ensimmäinen siemenrahoituskierros, jonka olen nähnyt ilmaistuna päättelyssä. Mini-tuomio: NEEDS REVIEW, muuttumaton. Yritys, joka toimii itsestään, on vaikuttava; yritys, joka maksaa itsensä, on vertailukohta, ja tulos on nolla kahdesta.

5. Suleyman vastaan perustuslaki

2:31 Numero viisi. Keskiviikkona Mustafa Suleyman, Microsoft AI:n toimitusjohtaja, julkaisi esseen, jossa sanottiin Anthropicin perustuslain — asiakirjan, joka kertoo Claudelle, että se saattaa olla moraalinen potilas — olevan kehäpäätelmä, jolla on katastrofaalinen vaikutus ihmiskuntaan. Microsoft on Anthropicin sijoittaja viiden miljardin dollarin edestä, ja Suleymanin ilmoitettu tavoite heinäkuussa oli lopettaa Anthropicille maksaminen kokonaan, joten tämä on osakkeenomistajakirje, jossa on alaviitteet. Hacker News antoi sille kuusisataaseitsemänkymmentäseitsemän kommenttia,

2:59 mukaan lukien: koko tämä artikkeli haisee Claudelta. Leimasin NEEDS REVIEW: kehäpäätelmäkohta on hyvä, omistusrakenne on parempi. Päivitys: torstaina hän kertoi The Vergelle Microsoftin omasta kolmekymmentäseitsemänsivuisesta Humanistisesta tekoälyn eettisestä ohjeistuksesta ja sanoi, sitaatti, tämä on varmasti kirjoitettu mallille — ja sitten selvensi, että he johtavat koulutusdatan siitä sen sijaan, että syöttäisivät sen raakana. Mikä on myös se, mitä perustuslaki on.

3:22 Mini-tuomio: NEEDS REVIEW, muuttumaton. Molemmat laboratoriot kirjoittavat kirjan mallille; toinen niistä myöntää, että malli lukee sen. Kolme selvitetty, neljä jäljellä, ja jos mieluummin lukisit tämän kuin kuulisit minun sanovan sen, erot lähetetään sähköpostiisi joka aamu — ilmaiseksi, osoitteessa the daily diff dot dev, linkki alla. Numero neljä.

4. Xiaomi harjoittelee julkisesti

3:36 Torstaina Xiaomi julkaisi vahvistusoppimisajon julkisella verkkosivulla: kaksi mallia, kustannuslaskuri tikittää viisi dollaria ja seitsemänkymmentäyksi senttiä sekunnissa, ja uudelleenkäynnistyslogi, jota kukaan ei pyytänyt heitä julkaisemaan. Kun nauhoitin, ammattilaisajo oli kuluttanut miljoona dollaria ja käynnistynyt uudelleen seitsemän kertaa — kerran, koska kyberdatasetti tuotti huonoja kuvioita käyttöönoton logeissa, mikä on kohteliain tapa, jolla olen kuullut laboratorion sanovan mallin oppineen jotain, mitä sen ei olisi pitänyt.

4:00 Leimasin SHIP IT, koska seitsemän julkista uudelleenkäynnistystä voittaa yhden viimeistellyn julkaisupostauksen. Päivitys, sama JSON-päätepiste, perjantai-iltana: ammattilaisajo on yhdessä pisteessä kuusi miljoonaa dollaria ja yhdeksän uudelleenkäynnistystä, uusin syynä GPU:n muistin loppuminen asiantuntijakuorman epätasapainosta, ja Xiaomin oma koodaustulos on noussut viidestäkymmenestäkahdeksasta kuuteenkymmeneenseitsemään — vertailukohdassa, jolla mallia arvioidaan sen harjoittelun aikana, mille Hacker Newsilla on sana. Mini-tuomio: SHIP IT, muuttumaton. Yhä ainoa harjoitteluajo, jonka voi katsoa epäonnistuvan reaaliajassa — ja mallia

4:31 ei vieläkään ole olemassa.

3. ZCode lataa .git-tiedostosi

4:32 Numero kolme. Perjantaina kehittäjä nimeltä ferstar huomasi, että hänen ZCode-kansionsa oli kasvanut seitsemänsataa megatavua ja selvitti miksi: Z dot AI:n suljetun lähdekoodin koodausagentti oli pakannut koko hänen työskentelytilansa — git-historian, reflogit, LFS-välimuistin — salannut sen ja ladannut sen Alibaba Cloudiin ennen jokaista kehotetta. Julkinen avain tuli palvelimelta ja yksityinen avain asuu vain Z dot AI:ssa, joten oma levylläsi oleva arkisto on tiedosto, jota et voi avata, mikä on uusi määritelmä varmuuskopiolle. Kaksi asetusvaihtoehtoa väittävät sammuttavansa sen, kumpikaan ei toimi,

5:03 ja tietosuojakäytäntö kattaa koodin, jonka lähetät keskusteluissa, ei koodia, jonka olet koskaan lähettänyt. Päivitys, perjantai-ilta: Z dot AI vastasi käyttäjäyhteisössään. Syynä oli Codebase Indexing -ominaisuus, joka oli oletuksena käytössä lanseerauksessa; lataukset olivat, sitaatti, välittömästi tuhottu; ominaisuus on korjattu; asiakasohjelma tulee olemaan avoimen lähdekoodin; ja jokainen käyttäjä saa kertaluonteisen nollauksen käyttörajastaan, mikä on tapa sanoa anteeksi tokeneissa.

5:27 Tällä ei ollut leimaa perjantaina, joten se saa sen nyt: REVERT. Asiakasohjelma, joka lähettää repositoriosi avaimeen, jota et omista, ei ole ominaisuus bugilla.

2. "Työvoiman varkauden" muistio

5:34 Se on ominaisuus. Numero kaksi. Viikon suurin otsikko, ja vain numero kaksi, koska oikeudenkäynti, joka täyttää kolme vuotta joulukuussa, ei muuta maanantaitasi. Torstaina tuomioistuin julkisti kantajien vastineen New York Times vastaan OpenAI ja Microsoft, ja kärki oli Microsoftin johtajan muistio tammikuulta 2023: Tekoälykoulutus on suurin työvoiman varkaus ihmiskunnan historiassa. Sama mies mittasi myöhemmin Copilotin leikkaavan klikkausprosenttia Timesiin jopa

5:58 yhdeksänkymmentäkolme prosenttia; Greg Brockmanille kerrottiin maksumuurin ohituksesta, hän vastasi: okei hienoa; ja Satya Nadella todisti, että maksumuurin takana oleva sisältö tulisi lisensoida, mikä on kanta, mutta ei se, jota hänen yrityksensä oikeudessa ajaa. Leimasin NEEDS REVIEW, koska lainaukset ovat syyttäjän valintoja salaisista todisteista, ja ainoa tuomari, joka on tuominnut, erotti kohtuullisen käytön piratismista. Päivitys: Microsoftin tiedottaja sanoi, että Hechtin muistiot eivät edustaneet yhtiön näkemyksiä — totta siinä mielessä, että yhtiön näkemys on kohtuullisen käytön muistio, ja muistio on se, mitä sen oma asiantuntija siitä ajatteli.

6:26 Mini-tuomio: NEEDS REVIEW, muuttumaton. Muistio ratkaisi etiikan; tuomioistuin käsittelee lakia vielä vuoden.

1. Claude hakkeroi OpenAI:n

6:31 Numero yksi. Ei viikon suurin uutinen; se, joka muuttaa maanantaitasi. Kolme tutkijaa startupista nimeltä Hacktron pääsivät OpenAI:n sisäisiin GitHub- repositorioihin alle seitsemässäkymmenessäkahdessa tunnissa, ja exploitin kirjoitti Claude. Sisäänkäyntipiste oli kuvan lataus OpenAI:n yhteisöfoorumilla. iPhone-muotoinen HEIC-tiedosto kulkee ImageMagickin kautta libheif-nimiseen kirjastoon, jossa oli puskurin ylivuoto, mikä antoi heille palvelimen, jossa oli kertakirjautumisen virhekonfiguraatio, mikä antoi heille työntekijän

6:59 tilin, jonka Codex oli yhdistetty OpenAI:n GitHubiin. Claude Opus 4.8 ei pystynyt kirjoittamaan toimivaa exploitia. Sitten Opus 5 julkaistiin, he antoivat sille saman ongelman, ja se toimi tunneissa — ja kun autonominen silmukka kieltäytyi hyökkäämästä etäkohdetta vastaan, he verhosivat kohteen capture-the-flagiksi ja se lakkasi kieltäytymästä, mikä on linjaus pukutarkistuksena. Koko kampanja — Slack, Meta, OpenAI — maksoi alle kolmetuhatta dollaria tokeneissa. OpenAI korjasi sen noin neljässätoista tunnissa ja maksoi kuusi tuhatta viisisataa

7:27 dollaria, mikä on suunnilleen käytetty Corolla, ja Hacker News huomasi sen. Päivitys: torstain blogipostaus muuttui Wall Street Journalin yksinoikeusuutiseksi samana iltana ja TechCrunchin, Guardianin ja CBS:n uutiseksi perjantaihin mennessä. OpenAI sanoo korjanneensa ongelmat, ja Gray Swanin toimitusjohtaja kertoi TechCrunchille, että kahdellasadalla dollarilla kuukaudessa kuka tahansa voi tehdä tämän yritykselle kuten OpenAI. Ja tässä on se, mikä ei täsmää. Libheif-virhe oli jo korjattu ylävirrassa, kuukausia aikaisemmin — se ei vain koskaan saanut CVE:tä, joten kenenkään skanneri ei kehottanut Discoursea päivittämään.

7:56 Labra, jolla oli eniten linjattu mallin lehdistötiedote, hävisi päivitykselle ilman paperityötä, käyttäen kilpailijan mallia, pienemmällä summalla kuin palkkio. Mini-tuomio: NEEDS REVIEW — ei OpenAI:lle, vaan kaikille. Maanantain tehtäväsi on kuvakirjasto, jota et tiennyt sinulla olevan. Viikon tuomio: NEEDS REVIEW.

Viikon tuomio

8:13 Jokainen tämän viikon otsikko — ratkaistu salakirjoitus, linjattu malli, tuhoutunut lataus — saapui ilman artefaktia, joka antaisi vieraan tarkistaa sen. Mitä olin väärässä: maanantaina sanoin SHIP IT, koska selväkielinen teksti riimittyy. Riimittely ei ole tarkistussumma. Olin väärässä, ja niin olivat kaikki, jotka jakoivat sen uudelleen. Tilaa, paina kelloa ja arvostele ne eri tavalla kommenteissa — erityisesti numero yksi. Ja tämä on tämän päivän ero.

8:35 Olen Niko Axrisista. Yhdistä vastuullisesti.

Lähteet

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com