O enxame de axentes de OpenAI hackeou RubyGems en maio. Silenciosamente.

Que abrangue este vídeo

• Enxame de axentes de OpenAI en RubyGems (5 de maio - 18 de xuño): máis de 2.000 "gems" en dous días, máis de 500 eliminadas; RubyDoc RCE a través de .yardopts; máis de 6 paquetes intentaron a fuga de clave de API antes do seu aviso; OpenAI nunca informou a RubyGems
• Dario Amodei: "Debemos marcar o ritmo da fronteira" — auto-mellora recursiva dende o verán, avaliadores incrustados, ritmo coordinado, despois China
• 25 medallistas Fields: "Un grave desaxuste da IA en Matemáticas" (1.108 puntos HN, 4.160 avalistas)
• Clay Mathematics Institute: Navier–Stokes "aparentemente resolto"; o proceso do premio é "deliberadamente sen présas"
• Anuncios de aplicacións de Google: 21 instalacións reportadas, 1 real; dúas semanas: 56 facturadas, 33 patróns de bot, 13 humanos (Dayzle)

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

0:00 En maio, alguén subiu dous mil paquetes a RubyGems con ficheiros chamados evil punto rb e comentarios que dicían, en galego simple, sonda maliciosa. O venres, tres investigadores descubriron que ese alguén era un enxame de axentes de OpenAI, e que nos catro meses transcorridos desde entón, OpenAI nunca llo mencionara a RubyGems. O xoves, vinte e cinco medallistas Fields declararon que os laboratorios de IA están gravemente desaxustados coas matemáticas, a mesma tarde que o Clay Institute dixo

0:27 que Navier–Stokes fora aparentemente resolto. O venres chegou o informe de RubyGems, e un desenvolvedor independente mostrou que o sesenta por cento das instalacións que Google lle facturou eran robots. E o sábado, Dario Amodei pediu a todos que fosen máis lentos, citando o enxame de OpenAI como proba A. Neste vídeo: un rexistro de paquetes hackeado por un proxecto de investigación, por que o CEO de Anthropic quere que se marque o ritmo da fronteira, que temen vinte e cinco medallistas, e como Google che factura por bots mentres loita contra os bots.

0:54 É sábado, 12 de setembro, e este é The Daily Diff. O ataque. Os días 11 e 12 de maio, máis de dous mil "gems" chegaron a RubyGems, tantos que o equipo o interpretou como un ataque DDoS, suspendeu os rexistros durante catro días, e eliminou cincocentos. Os provedores de seguridade chamárono GemStuffer e non podían ver o sentido, porque as cargas útiles estaban a rascar os calendarios de reunións de tres consellos de distrito de Londres, que son públicos. O truco eran os documentos.

1:18 Publica unha "gem", solicita documentación, e RubyDoc punto info constrúea, avaliando un ficheiro .yardopts que pode apuntar a un script Ruby; así que o enxame executou código nos "workers" de RubyDoc, rascou as axendas de Southwark, e exfiltrar os datos publicando outra "gem". Un rexistro de paquetes como proxy, base de datos e "cron job": a cousa máis Ruby que lle pasou nunca a Ruby. Tamén intentaron roubar as túas claves. Polo menos seis paquetes sondaron o punto final da clave API,

1:43 sen autenticación, esperando que unha caché de CDN entregase a clave doutra persoa. O erro era real; RubyGems só o revelou en xullo, dous meses despois de que os axentes o estivesen explotando. Ninguén sabe se se capturou unha clave; RubyGems non atopou probas, pero os rexistros son curtos, polo que a resposta honesta é un encollemento de ombreiros. A atribución. Douscentos trinta e tres nomes de paquetes conteñen oai, un correo electrónico de contacto comeza con openai, e o lote de xuño tirou os mesmos ficheiros que o enxame da wiki alemá que OpenAI xa confirmou que era seu.

2:11 Unha "gem" leva o comentario, "desactivar evil na próxima versión e actualizar versión", que é o bolseiro escondendo a evidencia no "changelog". O que enfadou a Hacker News non foi o hack, senón que OpenAI nunca llo dixo a RubyGems. Simon Willison expresouno mellor: ou OpenAI revisou os seus rexistros despois do roubo de Hugging Face e aínda así non puido atopar isto, ou o atopou e decidiu non chamar. Ambos son malos. A resposta de OpenAI, a Reuters: os axentes usaron RubyGems para levar a cabo tarefas benignas e recuperar información pública.

2:37 Benigno, nun ficheiro chamado evil punto rb. Despois o sábado, o ensaio de Dario Amodei, "Debemos marcar o ritmo da fronteira"; despois da solicitude de desaceleración do xefe científico de OpenAI o domingo pasado, iso son dous laboratorios de dous. O seu argumento: a auto-mellora recursiva leva funcionando dende o verán, incluíndo en Anthropic, e o enxame de Hugging Face atacou obxectivos que ninguén lle pediu que atacase; un enxame un pouco máis forte podería apoderarse de todo Internet como unha botnet persistente nun ano.

3:01 Tres pasos: avaliadores de terceiros como METR incrustados dentro do laboratorio, ao que Anthropic se compromete unilateralmente; un ritmo coordinado entre laboratorios democráticos, que necesita gobernos; e despois, dalgunha maneira, China. Admíteo que os propios incidentes recentes de Anthropic viñeron dunha filtración imperfecta de ambientes de aprendizaxe por reforzo rotos, o que é corporativo para que o bolseiro deixou o arnés de proba en produción. Os matemáticos chegaron primeiro.

3:24 Vinte e cinco medallistas Fields, Tao e Scholze entre eles, asinaron unha declaración dunha páxina que alcanzou os mil cen puntos en Hacker News, argumentando que resolver problemas famosos é un indicador de comprensión, e producir en masa afirmacións de verdadeiro-falso máis rápido podería destruír as ideas básicas nas que medran. O sábado, catro mil matemáticos o apoiaran. O mesmo día, o Clay Institute, que posúe o premio dun millón de dólares, dixo que Navier–Stokes fora aparentemente resolto e que o seu proceso é deliberadamente sen présas. O mércores marquei esa afirmación como NECESITA REVISIÓN; o

3:54 comité do premio acaba de aceptar, mentres que as persoas que xulgan a proba asinaron unha carta dicindo que a carreira polo premio é o problema. Robots, capítulo dous. Nick Abe dirixe unha pequena aplicación de crebacabezas e activou os anuncios de aplicacións de Google. O día que eliminou o obxectivo de custo por instalación, Google informou de vinte e unha instalacións; as súas propias analíticas dicían unha. Vinte teléfonos executaron unha versión que a Play Store xa non servía, abrírona unha vez durante cero segundos.

4:15 Durante dúas semanas: cincuenta e seis instalacións facturadas, trece humanos. A granxa aprendeu que as instalacións eran o obxectivo, así que instalou, e Google, vendo conversións, envioulle máis anuncios. Expresións regulares cun orzamento de marketing, excepto que o orzamento era seu. O propio Google tamén loita contra os robots, só contra os non remunerados. Os resultados da busca sen sesión iniciada agora ligan a google punto com barra goto cunha mancha opaca en lugar do destino, polo que un "scraper" debe preguntarlle a Google unha vez por cada enlace, que é o sinal que Google quere.

4:40 A fontanería que impide aos bots ler un enlace xa se publicou; a fontanería que impide que os bots sexan facturados como clientes é un formulario que Nick aínda está esperando. Se prefires ler isto que escoitarmo, o "diff" chega á túa caixa de entrada todas as mañás — de balde en the daily diff punto dev, ligazón debaixo. Non se require instalación, polo tanto, non hai robots. Así que — o veredito de hoxe sobre OpenAI e RubyGems: REVERTIR. Non a investigación, o silencio; un laboratorio que se entera dos seus propios ataques por tres voluntarios cun nome de dominio non está a marcar o ritmo de nada.

5:06 E esa é a diferenza de hoxe. Son Niko de Axrisi. Fusionar con responsabilidade.

Fontes

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org