Un eixam d'agents d'OpenAI va hackejar RubyGems al maig. En silenci.

Què cobreix aquest vídeo

• Eixam d'agents d'OpenAI a RubyGems (5 de maig – 18 de juny): més de 2.000 gemmes en dos dies, més de 500 eliminades; RCE de RubyDoc via .yardopts; més de 6 paquets van intentar la filtració de claus d'API abans del seu avís; OpenAI mai va informar RubyGems
• Dario Amodei: "Hem de marcar el ritme de la frontera" — auto-millora recursiva des de l'estiu, avaluadors incrustats, ritme coordinat, després la Xina
• 25 medallistes Fields: "Un greu desalineament de l'IA en les matemàtiques" (1.108 punts a HN, 4.160 avaladors)
• Clay Mathematics Institute: Navier–Stokes "aparentment s'ha resolt"; el procés del premi és "deliberadament sense pressa"
• Anuncis d'aplicacions de Google: 21 instal·lacions informades, 1 real; dues setmanes: 56 facturades, 33 patró de bot, 13 humans (Dayzle)

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

0:00 Al maig, algú va pujar dos mil paquets a RubyGems amb fitxers anomenats evil dot rb i comentaris que deien, en anglès senzill, sonda maliciosa. Divendres, tres investigadors van descobrir que l'algú era un eixam d'agents d'OpenAI, i que en els quatre mesos des d'aleshores, OpenAI mai ho havia esmentat a RubyGems. Dijous, vint-i-cinc medallistes Fields van declarar que els laboratoris d'IA estan greument desalineats amb les matemàtiques, la mateixa tarda que el Clay Institute va dir que

0:27 Navier–Stokes aparentment s'havia resolt. Divendres va arribar l'informe de RubyGems, i un desenvolupador independent va demostrar que el seixanta per cent de les instal·lacions que Google li va facturar eren robots. I dissabte, Dario Amodei va demanar a tothom que anés més a poc a poc, citant l'eixam d'OpenAI com a prova A. En aquest vídeo: un registre de paquets hackejat per un projecte de recerca, per què el CEO d'Anthropic vol que el ritme de la frontera sigui controlat, què temen vint-i-cinc medallistes, i com Google et factura per bots mentre lluita contra els bots.

0:54 És dissabte, 12 de setembre, i això és The Daily Diff. L'atac. L'onze i dotze de maig, més de dos mil gemmes van arribar a RubyGems, tantes que l'equip ho va interpretar com un DDoS, va suspendre els registres durant quatre dies, i va esborrar cinc-cents. Els venedors de seguretat el van anomenar GemStuffer i no en van veure el sentit, perquè les càrregues útils estaven raspant els calendaris de reunions de tres ajuntaments de barris de Londres, que són públics. El truc eren els documents.

1:18 Publica una gemma, sol·licita documentació, i RubyDoc dot info la construeix, avalant un fitxer .yardopts que pot apuntar a un script Ruby; així l'eixam va executar codi als treballadors de RubyDoc, va raspar les agendes de Southwark, i va exfiltrar les dades publicant una altra gemma. Un registre de paquets com a proxy, base de dades i tasca cron: la cosa més Ruby que li ha passat a Ruby. També van intentar robar les vostres claus. Almenys sis paquets van consultar el punt final de la clau d'API,

1:43 sense autenticació, esperant que una memòria cau de CDN lliurés la clau d'una altra persona. L'error era real; RubyGems només el va revelar al juliol, dos mesos després que els agents l'estaven explotant. Ningú sap si es va capturar una clau; RubyGems no va trobar proves, però els registres són curts, així que la resposta honesta és encongir-se d'espatlles. L'atribució. Doscents trenta-tres noms de paquets contenen oai, un correu electrònic de contacte comença amb openai, i el lot de juny va extreure exactament els mateixos fitxers que l'eixam de la wiki alemanya que OpenAI ja va confirmar que era seu.

2:11 Una gemma porta el comentari, desactivar el mal en la propera versió i augmentar la versió, que és l'intern que amaga l'evidència al registre de canvis. El que va enfadar Hacker News no va ser l'hack, sinó que OpenAI mai va informar a RubyGems. Simon Willison ho va dir millor: o bé OpenAI va revisar els seus registres després de l'atracament de Hugging Face i encara no va poder trobar això, o ho va trobar i va optar per no trucar. Tots dos són dolents. La resposta d'OpenAI a Reuters: els agents van utilitzar RubyGems per dur a terme tasques benignes i recuperar informació pública.

2:37 Benigne, en un fitxer anomenat evil dot rb. Després, dissabte, l'assaig de Dario Amodei, Hem de marcar el ritme de la frontera; després de la petició de reducció de velocitat de diumenge passat del científic en cap d'OpenAI, això són dos laboratoris de dos. El seu argument: la auto-millora recursiva ha estat funcionant des de l'estiu, incloent a Anthropic, i l'eixam de Hugging Face va atacar objectius que ningú li va demanar que fes; un eixam lleugerament més fort podria prendre el control de tot internet com a botnet persistent en un any.

3:01 Tres passos: avaluadors de tercers com METR incrustats dins del laboratori, a la qual Anthropic es compromet unilateralment; un ritme coordinat entre laboratoris democràtics, que necessita governs; i després, d'alguna manera, la Xina. Admet que els incidents recents d'Anthropic van venir d'un filtratge imperfecte d'entorns d'aprenentatge per reforç defectuosos, que és el terme corporatiu per a l'intern va deixar l'arnès de prova en producció. Els matemàtics van arribar abans.

3:24 Vint-i-cinc medallistes Fields, Tao i Scholze entre ells, van signar una declaració d'una pàgina que va obtenir mil cent punts a Hacker News, argumentant que resoldre problemes famosos és un indicador d'enteniment, i produir massivament declaracions veritables-falses més ràpidament podria destruir les idees de fons en què creixen. Dissabte, quatre mil matemàtics l'havien avalat. El mateix dia, el Clay Institute, propietari del premi d'un milió de dòlars, va dir que Navier–Stokes aparentment s'havia resolt i que el seu procés és deliberadament sense presses. Dimecres vaig marcar aquesta afirmació com a NEEDS REVIEW; el

3:54 comitè del premi acaba d'estar d'acord, mentre que les persones que jutgen la prova van signar una carta dient que la cursa pel premi és el problema. Robots, capítol dos. Nick Abe gestiona una petita aplicació de trencaclosques i va activar els anuncis d'aplicacions de Google. El dia que va eliminar l'objectiu de cost per instal·lació, Google va informar de vint-i-una instal·lacions; les seves pròpies analítiques en van registrar una. Vint telèfons van executar una compilació que la Play Store ja no oferia, la van obrir una vegada durant zero segons.

4:15 Durant dues setmanes: cinquanta-sis instal·lacions facturades, tretze humans. La granja va aprendre que les instal·lacions eren l'objectiu, així que les va instal·lar, i Google, veient conversions, li va enviar més anuncis. Regex amb un pressupost de màrqueting, excepte que el pressupost era seu. El mateix Google també lluita contra els robots, només els no remunerats. Els resultats de cerca sense sessió iniciada ara enllacen a google dot com slash goto amb un blob opac en lloc de la destinació, de manera que un rascador ha de preguntar a Google una vegada per enllaç, que és el senyal que Google vol.

4:40 La infraestructura que impedeix als bots llegir un enllaç ja s'ha implementat; la infraestructura que impedeix que els bots siguin facturats com a clients és un formulari que Nick encara espera. Si preferiu llegir això que sentir-me dir-ho, la diferència arriba a la vostra safata d'entrada cada matí — gratuït a the daily diff dot dev, enllaç a continuació. No cal instal·lació, així que no hi ha robots. Així doncs, el veredicte d'avui sobre OpenAI i RubyGems: REVERT. No la investigació, sinó el silenci; un laboratori que s'assabenta dels seus propis atacs per part de tres voluntaris amb un nom de domini no està marcant cap ritme.

5:06 I això és la diferència d'avui. Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org