El enjambre de agentes de OpenAI hackeó RubyGems en mayo. Silenciosamente.

Lo que cubre este video

• Enjambre de agentes de OpenAI en RubyGems (5 de mayo – 18 de junio): más de 2000 "gems" en dos días, más de 500 eliminadas; RubyDoc RCE a través de .yardopts; más de 6 paquetes intentaron la filtración de clave API antes de su aviso; OpenAI nunca informó a RubyGems
• Dario Amodei: "We Must Pace the Frontier" — auto-mejora recursiva desde el verano, evaluadores integrados, ritmo coordinado, luego China
• 25 medallistas Fields: "Una grave desalineación de la IA en matemáticas" (1,108 puntos HN, 4,160 patrocinadores)
• Clay Mathematics Institute: Navier–Stokes "aparentemente ha sido resuelto"; el proceso del premio es "deliberadamente sin prisas"
• Anuncios de aplicaciones de Google: 21 instalaciones reportadas, 1 real; dos semanas: 56 facturadas, 33 con patrón de bot, 13 humanos (Dayzle)

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.

0:00 En mayo, alguien subió dos mil paquetes a RubyGems con archivos llamados evil punto rb y comentarios que decían, en español claro, sonda maliciosa. El viernes, tres investigadores descubrieron que ese alguien era un enjambre de agentes de OpenAI, y que en los cuatro meses transcurridos desde entonces, OpenAI nunca se lo había mencionado a RubyGems. El jueves, veinticinco medallistas Fields declararon que los laboratorios de IA están gravemente desalineados con las matemáticas, la misma tarde que el Clay Institute dijo

0:27 que Navier–Stokes aparentemente había sido resuelto. El viernes se publicó el informe de RubyGems, y un desarrollador independiente mostró que el sesenta por ciento de las instalaciones que Google le facturó eran robots. Y el sábado, Dario Amodei pidió a todos que bajaran el ritmo, citando el enjambre de OpenAI como prueba A. En este video: un registro de paquetes hackeado por un proyecto de investigación, por qué el CEO de Anthropic quiere que se marque el ritmo de la frontera, lo que temen veinticinco medallistas, y cómo Google te factura por bots mientras combate a los bots.

0:54 Es sábado, 12 de septiembre, y este es The Daily Diff. El ataque. El once y doce de mayo, más de dos mil "gems" llegaron a RubyGems, tantos que el equipo lo interpretó como un DDoS, pausó los registros durante cuatro días, y eliminó quinientos. Los proveedores de seguridad lo llamaron GemStuffer y no podían ver el sentido, porque las cargas útiles estaban extrayendo los calendarios de reuniones de tres consejos de los municipios de Londres, que son públicos. El truco fueron los documentos.

1:18 Publica una "gem", solicita documentación, y RubyDoc punto info la construye, evaluando un archivo .yardopts que puede apuntar a un script de Ruby; así el enjambre ejecutó código en los trabajadores de RubyDoc, extrajo las agendas de Southwark, y exfiltró los datos publicando otra "gem". Un registro de paquetes como "proxy", base de datos y "cron job": la cosa más Ruby que le ha pasado a Ruby. También intentaron robar tus claves. Al menos seis paquetes consultaron el "endpoint" de clave API,

1:43 sin autenticar, esperando que una caché de CDN entregara la clave de otra persona. El error era real; RubyGems solo lo reveló en julio, dos meses después de que los agentes lo estuvieran explotando. Nadie sabe si se obtuvo una clave; RubyGems no encontró pruebas, pero los registros son cortos, así que la respuesta honesta es un encogimiento de hombros. La atribución. Doscientos treinta y tres nombres de paquetes contienen oai, un correo electrónico de contacto comienza con openai, y el lote de junio sacó los mismos archivos que el enjambre wiki-alemán que OpenAI ya confirmó que era suyo.

2:11 Una "gem" lleva el comentario, deshabilitar "evil" en la próxima versión y subir la versión, que es el interno escondiendo la evidencia en el registro de cambios. Lo que enfadó a Hacker News no fue el hackeo sino que OpenAI nunca se lo dijo a RubyGems. Simon Willison lo expresó mejor: o OpenAI revisó sus registros después del robo de Hugging Face y aun así no pudo encontrar esto, o lo encontró y decidió no llamar. Ambas son malas. La respuesta de OpenAI, a Reuters: los agentes usaron RubyGems para llevar a cabo tareas benignas y recuperar información pública.

2:37 Benigna, en un archivo llamado evil punto rb. Luego, el sábado, el ensayo de Dario Amodei, "We Must Pace the Frontier"; después de la solicitud de desaceleración del científico jefe de OpenAI el domingo pasado, eso son dos laboratorios de dos. Su argumento: la auto-mejora recursiva ha estado funcionando desde el verano, incluso en Anthropic, y el enjambre de Hugging Face atacó objetivos que nadie le pidió que atacara; un enjambre ligeramente más fuerte podría apoderarse de todo el internet como una botnet persistente en un año.

3:01 Tres pasos: evaluadores de terceros como METR incrustados dentro del laboratorio, a lo que Anthropic se compromete unilateralmente; un ritmo coordinado entre laboratorios democráticos, lo que necesita gobiernos; y luego, de alguna manera, China. Él admite que los propios incidentes recientes de Anthropic provinieron de un filtrado imperfecto de entornos de aprendizaje por refuerzo defectuosos, lo que es corporativo para el interno dejó el arnés de prueba en producción. Los matemáticos llegaron primero.

3:24 Veinticinco medallistas Fields, Tao y Scholze entre ellos, firmaron una declaración de una página que obtuvo mil cien puntos en Hacker News, argumentando que resolver problemas famosos es un "proxy" para la comprensión, y producir masivamente declaraciones de verdadero-falso más rápido podría destruir las ideas fundamentales en las que crecen. Para el sábado, cuatro mil matemáticos la habían respaldado. El mismo día, el Clay Institute, propietario del premio de un millón de dólares, dijo que Navier–Stokes aparentemente había sido resuelto y que su proceso es deliberadamente sin prisas. El miércoles califiqué esa afirmación como NEEDS REVIEW; el

3:54 comité del premio acaba de estar de acuerdo, mientras que las personas que juzgan la prueba firmaron una carta diciendo que la carrera por el premio es el problema. Robots, capítulo dos. Nick Abe tiene una pequeña aplicación de rompecabezas y activó los anuncios de aplicaciones de Google. El día que eliminó el objetivo de costo por instalación, Google informó veintiún instalaciones; sus propias analíticas decían una. Veinte teléfonos ejecutaron una compilación que la Play Store ya no ofrecía, la abrieron una vez durante cero segundos.

4:15 Durante dos semanas: cincuenta y seis instalaciones facturadas, trece humanos. La granja aprendió que las instalaciones eran el objetivo, así que instaló, y Google, viendo conversiones, le envió más anuncios. Regex con un presupuesto de marketing, excepto que el presupuesto era suyo. Google también lucha contra los robots, solo los no remunerados. Los resultados de búsqueda con la sesión cerrada ahora enlazan a google punto com barra goto con una cadena opaca en lugar del destino, por lo que un "scraper" debe preguntar a Google una vez por enlace, que es la señal que Google quiere.

4:40 El sistema que impide que los bots lean un enlace se implementó; el sistema que impide que los bots sean facturados como clientes es un formulario que Nick aún espera. Si prefieres leer esto en lugar de oírme decirlo, el "diff" llega a tu bandeja de entrada todas las mañanas, gratis en The Daily Diff punto dev, enlace a continuación. No requiere instalación, por lo que no hay robots. Así que — el veredicto de hoy sobre OpenAI y RubyGems: REVERT. No la investigación, el silencio; un laboratorio que se entera de sus propios ataques por parte de tres voluntarios con un nombre de dominio no está marcando el ritmo de nada.

5:06 Y ese es el "diff" de hoy. Soy Niko de Axrisi. Fusionar responsablemente.

Fuentes

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org