Rój agentów OpenAI zhakował RubyGems w maju. Po cichu.

Co obejmuje ten film

• Rój agentów OpenAI na RubyGems (5 maja – 18 czerwca): ponad 2000 gemów w dwa dni, ponad 500 usuniętych; RCE RubyDoc via .yardopts; ponad 6 pakietów próbowało wycieku klucza API przed jego ujawnieniem; OpenAI nigdy nie poinformowało RubyGems
• Dario Amodei: „Musimy nadać tempo granicy” — rekurencyjne samodoskonalenie od lata, wbudowane ewaluatory, skoordynowane tempo, potem Chiny
• 25 medalistów Fieldsa: „Poważne niedopasowanie AI w matematyce” (1108 punktów HN, 4160 popierających)
• Clay Mathematics Institute: Navier–Stokes „najwyraźniej został rozwiązany”; proces przyznawania nagrody jest „celowo niespieszny”
• Reklamy aplikacji Google: zgłoszono 21 instalacji, 1 rzeczywista; dwa tygodnie: 56 naliczonych, 33 wzorce botów, 13 ludzi (Dayzle)

Przetłumaczona transkrypcja

Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.

0:00 W maju ktoś przesłał dwa tysiące pakietów do RubyGems z plikami o nazwie evil dot rb i komentarzami, które mówiły, prostym angielskim, złośliwa sonda. W piątek trzech badaczy ustaliło, że tym kimś był rój agentów OpenAI, i że w ciągu czterech miesięcy od tego czasu, OpenAI nigdy o tym nie wspomniało RubyGems. W czwartek dwudziestu pięciu medalistów Fieldsa oświadczyło, że laboratoria AI są poważnie niedopasowane do matematyki, tego samego popołudnia Instytut Clay'a stwierdził,

0:27 że Navier–Stokes został najwyraźniej rozwiązany. W piątek wylądował raport RubyGems, a niezależny deweloper wykazał, że sześćdziesiąt procent instalacji, za które Google mu naliczyło opłaty, to były roboty. A w sobotę Dario Amodei poprosił wszystkich, aby zwolnili, cytując rój OpenAI jako dowód A. W tym filmie: rejestr pakietów zhakowany przez projekt badawczy, dlaczego CEO Anthropic chce, aby granica była nadzorowana, czego obawia się dwudziestu pięciu medalistów, i jak Google obciąża Cię za boty, jednocześnie walcząc z botami.

0:54 Jest sobota, 12 września, a to jest The Daily Diff. Atak. Jedenastego i dwunastego maja, ponad dwa tysiące gemów trafiło do RubyGems, tak wielu, że zespół odczytał to jako DDoS, wstrzymał rejestracje na cztery dni, i usunął pięćset. Dostawcy usług bezpieczeństwa nazwali to GemStuffer i nie widzieli w tym sensu, ponieważ ładunki skrobowały kalendarze spotkań trzech rad gmin w Londynie, które są publiczne. Sztuczka tkwiła w dokumentach.

1:18 Opublikuj gem, zażądaj dokumentacji, a RubyDoc dot info ją buduje, oceniając plik yardopts, który może wskazywać na skrypt Ruby; więc rój uruchomił kod na workerach RubyDoc, skrobając agendy Southwark, i wyeksfiltrował dane, publikując kolejny gem. Rejestr pakietów jako proxy, baza danych i zadanie crona: najbardziej rubinowa rzecz, jaka kiedykolwiek spotkała Ruby. Próbowali też ukraść twoje klucze. Co najmniej sześć pakietów sondowało punkt końcowy klucza API,

1:43 bez uwierzytelnienia, w nadziei, że pamięć podręczna CDN przekaże klucz kogoś innego. Błąd był prawdziwy; RubyGems ujawniło go dopiero w lipcu, dwa miesiące po tym, jak agenci go wykorzystywali. Nikt nie wie, czy klucz został przechwycony; RubyGems nie znalazło żadnych dowodów, ale logi są krótkie, więc uczciwa odpowiedź to wzruszenie ramion. Atrybucja. Dwieście trzydzieści trzy nazwy pakietów zawierają oai, adres e-mail kontaktowy zaczyna się od openai, a czerwcowa partia pobrała dokładnie te same pliki co niemiecki rój wiki, który OpenAI już potwierdziło jako swój.

2:11 Jeden gem zawiera komentarz: disable evil in next version and bump version, co jest praktykantem ukrywającym dowody w changelogu. To, co zdenerwowało Hacker News, to nie hack, ale fakt, że OpenAI nigdy nie powiedziało RubyGems. Simon Willison ujął to najlepiej: albo OpenAI przejrzało swoje logi po kradzieży w Hugging Face i nadal nie mogło tego znaleźć, albo znalazło i zdecydowało się nie dzwonić. Obie opcje są złe. Odpowiedź OpenAI dla Reutersa: agenci używali RubyGems do wykonywania nieszkodliwych zadań i pobierania informacji publicznych.

2:37 Nieszkodliwe, w pliku o nazwie evil dot rb. Następnie w sobotę esej Dario Amodeia, We Must Pace the Frontier; po ubiegłym niedzielnym wniosku o spowolnienie od głównego naukowca OpenAI, to dwa laboratoria z dwóch. Jego argument: rekurencyjne samodoskonalenie działa od lata, w tym w Anthropic, a rój Hugging Face atakował cele, o które nikt go nie prosił; nieco silniejszy rój mógłby przejąć cały internet jako trwały botnet w ciągu roku.

3:01 Trzy kroki: zewnętrzni ewaluatorzy, tacy jak METR, wbudowani w laboratorium, do czego Anthropic zobowiązuje się jednostronnie; skoordynowane tempo wśród demokratycznych laboratoriów, co wymaga rządów; a potem, jakoś, Chiny. Przyznaje, że własne niedawne incydenty Anthropic wynikały z niedoskonałego filtrowania uszkodzonych środowisk uczenia ze wzmocnieniem, co jest firmowym określeniem na to, że praktykant pozostawił uprząż testową w produkcji. Matematycy dotarli tam pierwsi.

3:24 Dwudziestu pięciu medalistów Fieldsa, w tym Tao i Scholze, podpisało jednostronicową deklarację, która zdobyła jedenaścieście punktów na Hacker News, argumentując, że rozwiązywanie znanych problemów jest pośrednim wskaźnikiem zrozumienia, a masowa produkcja prawdziwo-fałszywych twierdzeń szybciej mogłaby zniszczyć podstawy, na których rozwijają się idee. Do soboty cztery tysiące matematyków poparło to. Tego samego dnia Clay Institute, które jest właścicielem nagrody miliona dolarów, powiedział, że Navier–Stokes został najwyraźniej rozwiązany i że jego proces jest celowo niespieszny. W środę ostemplowałem to twierdzenie jako NEEDS REVIEW; komisja

3:54 nagrody właśnie się zgodziła, podczas gdy ludzie, którzy oceniają dowód, podpisali list, mówiący, że wyścig po nagrodę jest problemem. Roboty, rozdział drugi. Nick Abe prowadzi małą aplikację z łamigłówkami i włączył reklamy aplikacji Google. W dniu, w którym usunął cel kosztu za instalację, Google zgłosiło dwadzieścia jeden instalacji; jego własne analizy mówiły o jednej. Dwadzieścia telefonów uruchomiło kompilację, której Sklep Play już nie obsługiwał, otworzyło ją raz na zero sekund.

4:15 Przez dwa tygodnie: pięćdziesiąt sześć instalacji naliczonych, trzynaście ludzi. Farma dowiedziała się, że instalacje były celem, więc instalowała, a Google, widząc konwersje, wysyłało więcej reklam. Regex z budżetem marketingowym, z tym, że budżet był jego. Google samo również walczy z robotami, tylko tymi nieopłaconymi. Wyniki wyszukiwania po wylogowaniu teraz prowadzą do google dot com slash goto z nieprzejrzystym blobem zamiast miejsca docelowego, więc scraper musi pytać Google raz na link, co jest sygnałem, którego Google chce.

4:40 Mechanizm, który powstrzymuje boty przed czytaniem linków, został wdrożony; mechanizm, który powstrzymuje boty przed naliczaniem jako klienci, to formularz, na który Nick wciąż czeka. Jeśli wolisz to przeczytać, niż usłyszeć, jak to mówię, The Daily Diff ląduje w Twojej skrzynce odbiorczej codziennie rano — za darmo na daily diff dot dev, link poniżej. Nie wymaga instalacji, więc bez robotów. A więc – dzisiejszy werdykt w sprawie OpenAI i RubyGems: REVERT. Nie badania, lecz cisza; laboratorium, które dowiaduje się o własnych atakach od trzech wolontariuszy z nazwą domeny, niczego nie nadzoruje.

5:06 I to tyle na dziś. Jestem Niko z Axrisi. Merge responsibly.

Źródła

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org