Рой агентаў OpenAI у маі ўзламаў RubyGems. Па-ціхаму.

Што ахоплівае гэта відэа

• Рой агентаў OpenAI на RubyGems (5 мая – 18 чэрвеня): 2000+ "гемаў" за два дні, 500+ выдалены; RubyDoc RCE праз .yardopts; 6+ пакетаў спрабавалі выкарыстаць уцечку API-ключаў да апавяшчэння; OpenAI ніколі не інфармаваў RubyGems
• Дарыё Амадэй: "Мы павінны задаваць тэмп на мяжы" — рэкурсіўнае самаўдасканаленне з лета, убудаваныя ацэньшчыкі, скаардынаваны тэмп, потым Кітай
• 25 медалістаў Філдса: "Супярэчнасць штучнага інтэлекту ў матэматыцы" (1 108 пунктаў HN, 4 160 падтрымліваючых)
• Інстытут матэматыкі Клэя: Наўе-Стокса "відавочна вырашаны"; працэс прысуджэння прэміі "наўмысна неспешны"
• Рэклама прыкладанняў Google: 21 заяўленая ўстаноўка, 1 рэальная; два тыдні: 56 аплачаных, 33 паводзіны бота, 13 людзей (Dayzle)

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

0:00 У маі хтосьці загрузіў дзве тысячы пакетаў на RubyGems з файламі пад назвай evil.rb і каментарамі, якія казалі, па-англійску, шкоднасны зонд. У пятніцу тры даследчыкі высветлілі, што "хтосьці" быў роем агентаў OpenAI, і што за чатыры месяцы з таго часу OpenAI ніколі не згадваў пра гэта RubyGems. У чацвер дваццаць пяць медалістаў Філдса заявілі, што лабараторыі штучнага інтэлекту сур'ёзна не адпавядаюць матэматыцы, у той жа дзень, калі Інстытут Клэя сказаў,

0:27 што Наўе-Стокса, відавочна, быў вырашаны. У пятніцу з'явіўся справаздача RubyGems, і незалежны распрацоўшчык паказаў, што шэсцьдзесят працэнтаў установак, за якія Google выставіў яму рахунак, былі робатамі. А ў суботу Дарыё Амадэй папрасіў усіх запаволіцца, прыводзячы рой OpenAI як доказ А. У гэтым відэа: рэестр пакетаў, узламаны даследчым праектам, чаму генеральны дырэктар Anthropic хоча, каб тэмп быў умераны, чаго баяцца дваццаць пяць медалістаў, і як Google бярэ плату за ботаў, змагаючыся з ботамі.

0:54 Сёння субота, 12 верасня, і гэта The Daily Diff. Атака. 11 і 12 мая больш за дзве тысячы "гемаў" трапілі ў RubyGems, настолькі шмат, што каманда расцаніла гэта як DDoS, прыпыніла рэгістрацыю на чатыры дні, і выдаліла пяцьсот. Пастаўшчыкі бяспекі назвалі гэта GemStuffer і не змаглі зразумець сэнсу, таму што карысныя нагрузкі скрэйпілі календары сустрэч трох лонданскіх раённых саветаў, якія з'яўляюцца публічнымі. Трык быў у дакументах.

1:18 Публікуеце "гем", запытваеце дакументацыю, і RubyDoc.info стварае яе, ацэньваючы файл yardopts, які можа паказваць на скрыпт Ruby; такім чынам, рой запускаў код на рабочых серверах RubyDoc, скрэйпіў парадкі дня Саўтуарка, і эксфільтраваў дадзеныя, апублікаваўшы яшчэ адзін "гем". Рэестр пакетаў як проксі, база дадзеных і крон-задача: самая рубінавая рэч, якая калі-небудзь здаралася з Ruby. Яны таксама спрабавалі скрасці вашы ключы. Прынамсі шэсць пакетаў апытвалі канцавую кропку API-ключа,

1:43 без аўтэнтыфікацыі, спадзеючыся, што кэш CDN перадасць чужы ключ. Памылка была рэальнай; RubyGems раскрыў яе толькі ў ліпені, праз два месяцы пасля таго, як агенты яе эксплуатавалі. Ніхто не ведае, ці быў перахоплены ключ; RubyGems не знайшоў доказаў, але журналы кароткія, таму шчыры адказ — пацісканне плячыма. Атрыбуцыя. Дзвесце трыццаць тры назвы пакетаў утрымліваюць oai, кантактны адрас электроннай пошты пачынаецца з openai, а чэрвеньская партыя выцягнула тыя ж самыя файлы, што і нямецкі вікі-рой, які OpenAI ужо пацвердзіў як свой.

2:11 Адзін "гем" змяшчае каментар: "адключыць зло ў наступнай версіі і павялічыць версію", што азначае, што стажор хавае доказы ў журнале змяненняў. Што раззлавала Hacker News, дык гэта не ўзлом, а тое, што OpenAI ніколі не паведаміў RubyGems. Сайман Уілісан найлепш сфармуляваў: альбо OpenAI прагледзеў свае журналы пасля крадзяжу Hugging Face і ўсё роўна не змог гэтага знайсці, альбо знайшоў і вырашыў не званіць. Абодва варыянты дрэнныя. Адказ OpenAI для Reuters: агенты выкарыстоўвалі RubyGems для выканання бяскрыўдных задач і атрымання публічнай інфармацыі.

2:37 Бяскрыўдныя, у файле пад назвай evil.rb. Затым у суботу эсэ Дарыё Амадэя "Мы павінны задаваць тэмп на мяжы"; пасля мінулага нядзельнага запыту аб запаволенні ад галоўнага навукоўца OpenAI, гэта дзве лабараторыі з двух. Яго аргумент: рэкурсіўнае самаўдасканаленне працуе з лета, у тым ліку ў Anthropic, і рой Hugging Face атакаваў мэты, якія ніхто не прасіў яго атакаваць; крыху мацнейшы рой мог бы захапіць увесь інтэрнэт як пастаянны ботнет на працягу года.

3:01 Тры крокі: староннія ацэньшчыкі, такія як METR, убудаваныя ў лабараторыю, на што Anthropic абавязваецца ў аднабаковым парадку; скаардынаваны тэмп сярод дэмакратычных лабараторый, для чаго патрэбны ўрады; а затым, нейкім чынам, Кітай. Ён прызнае, што апошнія інцыдэнты Anthropic узніклі з-за недасканалай фільтрацыі пашкоджаных асяроддзяў навучання з падмацаваннем, што на карпаратыўнай мове азначае, што стажор пакінуў тэставую сістэму ў вытворчасці. Матэматыкі дабраліся да гэтага першымі.

3:24 Дваццаць пяць медалістаў Філдса, у тым ліку Тао і Шольц, падпісалі аднастаронкавую дэкларацыю, якая набрала адзінаццацьсот пунктаў на Hacker News, сцвярджаючы, што вырашэнне вядомых праблем з'яўляецца паказчыкам разумення, і масавая вытворчасць праўдзівых-ілжывых сцвярджэнняў хутчэй магла б знішчыць асноўныя ідэі, на якіх яны растуць. Да суботы чатыры тысячы матэматыкаў падтрымалі гэта. У той жа дзень Інстытут Клэя, які валодае прэміяй у мільён долараў, заявіў, што Наўе-Стокса, відавочна, быў вырашаны і што яго працэс наўмысна неспешны. У сераду я паставіў на гэтую заяву "NEEDS REVIEW";

3:54 камітэт па прэміі проста пагадзіўся, у той час як людзі, якія ацэньваюць доказ, падпісалі ліст, у якім гаворыцца, што гонка за прэмію з'яўляецца праблемай. Робаты, глава другая. Нік Абе кіруе невялікім дадаткам-галаваломкай і ўключыў рэкламу прыкладанняў Google. У дзень, калі ён выдаліў мэтавую цану за ўстаноўку, Google паведаміў пра дваццаць адну ўстаноўку; яго ўласная аналітыка паказала адну. Дваццаць тэлефонаў запусцілі зборку, якую Play Store больш не абслугоўваў, адкрылі яе адзін раз на нуль секунд.

4:15 За два тыдні: пяцьдзесят шэсць аплачаных установак, трынаццаць чалавек. Ферма даведалася, што ўстаноўкі былі мэтай, таму яна ўсталявала, і Google, бачачы канверсіі, адправіў ёй больш рэкламы. Regex з маркетынгавым бюджэтам, за выключэннем таго, што бюджэт быў яго. Сам Google таксама змагаецца з робатамі, толькі з неаплачанымі. Вынікі пошуку з выключаным уваходам цяпер спасылаюцца на google.com/goto з непразрыстым блокам замест пункта прызначэння, так што скрэйпер павінен запытваць Google адзін раз за спасылку, што з'яўляецца сігналам, які Google хоча.

4:40 Сантэхніка, якая спыняе чытанне спасылак ботамі, пастаўлена; сантэхніка, якая спыняе выстаўленне рахункаў ботам як кліентам, — гэта форма, якую Нік усё яшчэ чакае. Калі вы аддасце перавагу прачытаць гэта, чым пачуць ад мяне, "diff" прыходзіць у вашу скрыню кожную раніцу — бясплатна на thedailydiff.dev, спасылка ніжэй. Устаноўка не патрабуецца, таму няма робатаў. Такім чынам, сённяшні вердыкт па OpenAI і RubyGems: REVERT. Не даследаванне, а маўчанне; лабараторыя, якая даведваецца пра ўласныя атакі ад трох валанцёраў з даменным імем, нічога не задае тэмп.

5:06 І гэта ўсё на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org