OpenAI:s agentsvärm hackade RubyGems i maj. Tystlåtet.

Vad den här videon täcker

• OpenAI-agentsvärm på RubyGems (5 maj – 18 juni): 2 000+ gems på två dagar, 500+ borttagna; RubyDoc RCE via .yardopts; 6+ paket försökte sig på API-nyckelläckan före dess rådgivning; OpenAI informerade aldrig RubyGems
• Dario Amodei: "We Must Pace the Frontier" – rekursiv självförbättring sedan sommaren, inbäddade utvärderare, koordinerat tempo, sedan Kina
• 25 Fields-medaljörer: "En allvarlig feljustering av AI inom matematik" (1 108 HN-poäng, 4 160 stödjare)
• Clay Mathematics Institute: Navier–Stokes "tydligen avgjord"; prisprocessen är "avsiktligt lugn"
• Google-appannonser: 21 rapporterade installationer, 1 verklig; två veckor: 56 fakturerade, 33 bot-mönster, 13 människor (Dayzle)

Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

0:00 I maj laddade någon upp två tusen paket till RubyGems med filer som kallades evil dot rb och kommentarer som, på vanlig engelska, sa malicious probe. I fredags, tre forskare kom fram till att någon var en svärm av OpenAI-agenter, och att under de fyra månader som gått sedan dess, hade OpenAI aldrig nämnt det för RubyGems. På torsdagen förklarade tjugofem Fields-medaljörer att AI-laboratorier är allvarligt feljusterade med matematik, samma eftermiddag som Clay Institute sa

0:27 Navier–Stokes tydligen hade avgjorts. I fredags landade RubyGems-rapporten, och en oberoende utvecklare visade att sextio procent av installationerna Google fakturerade honom för var robotar. Och på lördagen bad Dario Amodei alla att sakta ner, med OpenAI:s svärm som utställning A. I den här videon: ett paketregister hackat av ett forskningsprojekt, varför Anthropic:s VD vill att gränsen ska hållas i takt, vad tjugofem medaljörer fruktar, och hur Google fakturerar dig för botar samtidigt som de bekämpar botar.

0:54 Det är lördag, 12 september, och detta är The Daily Diff. Attacken. Den elfte och tolfte maj drabbades över två tusen gems RubyGems, så många att teamet tolkade det som en DDoS, pausade registreringar i fyra dagar, och raderade femhundra. Säkerhetsleverantörer kallade det GemStuffer och kunde inte se poängen, eftersom nyttolasterna skrapade möteskalendrarna för tre Londonkommuner som är offentliga. Tricket var dokumenten.

1:18 Publicera ett gem, begär dokumentation, och RubyDoc dot info bygger det, utvärderar en yardopts-fil som kan peka på ett Ruby-skript; så svärmen körde kod på RubyDocs arbetare, skrapade Southwarks agendor, och exfiltrerade data genom att publicera ett annat gem. Ett paketregister som proxy, databas och cron-jobb: det mest Ruby-aktiga som någonsin hänt Ruby. De försökte också stjäla dina nycklar. Minst sex paket frågade API-nyckel-slutpunkten,

1:43 oautentiserat, i hopp om att en CDN-cache skulle lämna över någon annans nyckel. Buggen var verklig; RubyGems avslöjade den först i juli, två månader efter att agenterna utnyttjade den. Ingen vet om en nyckel fångades; RubyGems hittade inga bevis, men loggarna är korta, så det ärliga svaret är en axelryckning. Tillskrivningen. Tvåhundratrettiotre paketnamn innehåller oai, en kontakt-e-post börjar med openai, och junisändningen hämtade exakt samma filer som den tyska wiki-svärmen OpenAI redan bekräftade var deras.

2:11 Ett gem bär kommentaren, disable evil in next version and bump version, vilket är praktikanten som gömmer bevisen i ändringsloggen. Vad som gjorde Hacker News argt var inte hacket utan att OpenAI aldrig berättade för RubyGems. Simon Willison uttryckte det bäst: antingen granskade OpenAI sina loggar efter Hugging Face-kuppen och kunde fortfarande inte hitta detta, eller så hittade de det och valde att inte ringa. Båda är dåliga. OpenAI:s svar, till Reuters: agenterna använde RubyGems för att utföra harmlösa uppgifter och hämta offentlig information.

2:37 Harmlös, i en fil kallad evil dot rb. Sedan på lördagen, Dario Amodeis essä, We Must Pace the Frontier; efter förra söndagens begäran om nedbromsning från OpenAI:s chefsforskare, är det två av två laboratorier. Hans argument: rekursiv självförbättring har pågått sedan sommaren, inklusive på Anthropic, och Hugging Face-svärmen attackerade mål som ingen bad den att attackera; en något starkare svärm skulle kunna ta över hela internet som ett bestående botnätverk inom ett år.

3:01 Tre steg: tredjepartsutvärderare som METR inbäddade i labbet, vilket Anthropic ensidigt förbinder sig till; ett koordinerat tempo bland demokratiska laboratorier, vilket kräver regeringar; och sedan, på något sätt, Kina. Han medger att Anthropics egna senaste incidenter kom från ofullständig filtrering av trasiga förstärkningsinlärningsmiljöer, vilket är företagsmässigt för att praktikanten lämnade testhärvan i produktion. Matematikerna kom dit först.

3:24 Tjugofem Fields-medaljörer, Tao och Scholze bland dem, signerade en en-sidig deklaration som fick elvahundra poäng på Hacker News, argumenterade att lösa kända problem är en proxy för förståelse, och massproducera sant-falskt-uttalanden snabbare skulle kunna förstöra grundidéerna växer i. På lördagen hade fyratusen matematiker stött den. Samma dag sa Clay Institute, som äger enmiljondollarpriset, att Navier–Stokes tydligen hade avgjorts och att dess process är medvetet lugn. På onsdagen stämplade jag det påståendet NEEDS REVIEW; priskommittén

3:54 höll just med, medan personerna som bedömer beviset skrev under ett brev som sa att kapplöpningen om priset är problemet. Robotar, kapitel två. Nick Abe driver en liten pusselapp och aktiverade Google-appannonser. Den dagen han tog bort kostnad-per-installation-målet, rapporterade Google tjugoen installationer; hans egen analys sa en. Tjugo telefoner körde en version som Play Store inte längre levererade, öppnade den en gång i noll sekunder.

4:15 Under två veckor: femtiosex installationer fakturerades, tretton människor. Farmen lärde sig att installationer var målet, så den installerade, och Google, som såg konverteringar, skickade den fler annonser. Regex med en marknadsföringsbudget, förutom att budgeten var hans. Google självt bekämpar också robotar, bara de obetalda. Utloggade sökresultat länkar nu till google dot com slash goto med en ogenomskinlig blob istället för destinationen, så en skrapare måste fråga Google en gång per länk, vilket är signalen Google vill ha.

4:40 VVS:en som stoppar botar från att läsa en länk levererades; VVS:en som stoppar botar från att faktureras som kunder är ett formulär Nick fortfarande väntar på. Om du hellre vill läsa detta än höra mig säga det, landar diffen i din inkorg varje morgon – gratis på the daily diff dot dev, länk nedan. Ingen installation krävs, så inga robotar. Så – dagens dom om OpenAI och RubyGems: revert. Inte forskningen, tystnaden; ett labb som får reda på sina egna attacker från tre volontärer med ett domännamn håller inte takten med någonting.

5:06 Och det var diffen för idag. Jag är Niko från Axrisi. Slå samman ansvarsfullt.

Källor

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org