Рой агентов OpenAI взломал RubyGems в мае. По-тихому.

Что освещается в этом видео

• Рой агентов OpenAI в RubyGems (5 мая – 18 июня): более 2000 гемов за два дня, более 500 удалено; RCE RubyDoc через .yardopts; более 6 пакетов пытались использовать утечку API-ключа до публикации предупреждения; OpenAI никогда не информировал RubyGems
• Дарио Амодей: «Мы должны регулировать темп развития передовых технологий» — рекурсивное самосовершенствование с лета, встроенные оценщики, скоординированный темп, затем Китай
• 25 медалистов Филдса: «Серьезное рассогласование ИИ в математике» (1108 баллов HN, 4160 подтверждений)
• Математический институт Клэя: Навье–Стокса «по-видимому, решена»; процесс присуждения премии «намеренно неспешный»
• Реклама приложений Google: 21 установка, 1 реальная; две недели: 56 оплаченных, 33 по шаблону бота, 13 человек (Dayzle)

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

0:00 В мае кто-то загрузил две тысячи пакетов в RubyGems с файлами под названием evil.rb и комментариями, которые, если перевести с английского, гласили: «вредоносный зонд». В пятницу трое исследователей выяснили, что этим «кем-то» был рой агентов OpenAI, и что за прошедшие четыре месяца OpenAI так и не упомянула об этом RubyGems. В четверг двадцать пять медалистов Филдса заявили, что лаборатории ИИ сильно рассогласованы с математикой, в тот же день Математический институт Клэя сказал,

0:27 что Навье-Стокса, по-видимому, была решена. В пятницу вышел отчет RubyGems, а независимый разработчик показал, что шестьдесят процентов установок, за которые Google выставил ему счет, были роботами. А в субботу Дарио Амодей попросил всех притормозить, приводя рой OpenAI в качестве доказательства А. В этом видео: реестр пакетов, взломанный исследовательским проектом, почему генеральный директор Anthropic хочет, чтобы темп развития передовых технологий регулировался, чего боятся двадцать пять медалистов, и как Google выставляет вам счета за ботов, при этом борясь с ботами.

0:54 Суббота, 12 сентября, и это The Daily Diff. Атака. 11 и 12 мая более двух тысяч гемов попали в RubyGems, настолько много, что команда восприняла это как DDoS, приостановила регистрацию на четыре дня, и удалила пятьсот. Поставщики безопасности назвали это GemStuffer и не могли понять смысл, потому что полезные данные собирали календари встреч трех советов лондонских районов, которые являются публичными. Хитрость была в документации.

1:18 Опубликуйте гем, запросите документацию, и RubyDoc.info построит ее, оценивая файл .yardopts, который может указывать на Ruby-скрипт; таким образом, рой запустил код на рабочих RubyDoc, собрал повестки дня Саутуарка, и эксфильтрировал данные, опубликовав еще один гем. Реестр пакетов как прокси, база данных и задача cron: самая «рубиновая» вещь, которая когда-либо случалась с Ruby. Они также пытались украсть ваши ключи. По крайней мере шесть пакетов опрашивали конечную точку API-ключа,

1:43 неаутентифицированные, надеясь, что кэш CDN передаст чей-то чужой ключ. Ошибка была реальной; RubyGems раскрыл ее только в июле, через два месяца после того, как агенты ее эксплуатировали. Никто не знает, был ли ключ перехвачен; RubyGems не нашел доказательств, но логи короткие, поэтому честный ответ — пожатие плечами. Атрибуция. Двести тридцать три названия пакетов содержат «oai» (оаи), контактный адрес электронной почты начинается с openai, а июньская партия использовала те же файлы, что и рой немецкой вики, который OpenAI уже подтвердил.

2:11 Один гем содержит комментарий «отключить evil в следующей версии и повысить версию», что является попыткой стажера спрятать доказательства в журнале изменений. Что разозлило Hacker News, так это не сам взлом, а то, что OpenAI никогда не сообщал RubyGems. Саймон Уиллисон выразился лучше всего: либо OpenAI просмотрел свои логи после кражи Hugging Face и все равно не смог найти это, либо нашел это и решил не звонить. И то, и другое плохо. Ответ OpenAI Reuters: агенты использовали RubyGems для выполнения безвредных задач и получения публичной информации.

2:37 Безвредных, в файле под названием evil.rb. Затем в субботу эссе Дарио Амодея «Мы должны регулировать темп развития передовых технологий»; после прошлой воскресной просьбы о замедлении от главного научного сотрудника OpenAI, это две лаборатории из двух. Его аргумент: рекурсивное самосовершенствование работает с лета, в том числе в Anthropic, а рой Hugging Face атаковал цели, которые никто не просил его атаковать; немного более сильный рой мог бы захватить весь интернет в качестве постоянной ботсети в течение года.

3:01 Три шага: сторонние оценщики, такие как METR, встроенные в лабораторию, на что Anthropic обязуется в одностороннем порядке; скоординированный темп среди демократических лабораторий, что требует участия правительств; и затем, каким-то образом, Китай. Он признает, что недавние инциденты Anthropic произошли из-за несовершенной фильтрации неисправных сред обучения с подкреплением, что является корпоративным эквивалентом «стажер оставил тестовую сборку в продакшене». Математики добрались туда первыми.

3:24 Двадцать пять медалистов Филдса, среди них Тао и Шольце, подписали одностраничную декларацию, набравшую одиннадцать сотен баллов на Hacker News, утверждая, что решение известных проблем является показателем понимания, и массовое производство истинных-ложных утверждений быстрее может разрушить основные идеи, на которых они растут. К субботе ее одобрили четыре тысячи математиков. В тот же день Институт Клэя, которому принадлежит премия в миллион долларов, заявил, что Навье-Стокса, по-видимому, решена, и что его процесс намеренно неспешный. В среду я поставил этой претензии статус NEEDS REVIEW; комитет

3:54 по присуждению премии только что согласился, в то время как люди, которые оценивают доказательство, подписали письмо, в котором говорится, что гонка за призом — это проблема. Роботы, глава вторая. Ник Абе управляет небольшим приложением-головоломкой и включил рекламу приложений Google. В тот день, когда он убрал цель по стоимости за установку, Google сообщил о двадцати одной установке; его собственная аналитика показала одну. Двадцать телефонов запустили сборку, которую Play Store больше не распространял, открыли ее один раз на ноль секунд.

4:15 За две недели: пятьдесят шесть установок оплачено, тринадцать человек. Ферма узнала, что установки были целью, поэтому она устанавливала, и Google, видя конверсии, отправлял ей больше рекламы. Регулярное выражение с маркетинговым бюджетом, за исключением того, что бюджет был его. Сам Google тоже борется с роботами, только с неоплачиваемыми. Результаты поиска для вышедших из системы пользователей теперь ссылаются на google.com/goto с непрозрачным объектом вместо места назначения, поэтому скрепер должен запрашивать Google один раз для каждой ссылки, что является сигналом, который хочет Google.

4:40 Сантехника, которая мешает ботам читать ссылки, была отправлена; сантехника, которая мешает ботам быть выставленными в качестве клиентов, — это форма, которую Ник все еще ждет. Если вы предпочитаете читать это, а не слушать, то The Daily Diff приходит на вашу почту каждое утро — бесплатно на thedailydiff.dev, ссылка ниже. Установка не требуется, так что никаких роботов. Итак — сегодняшний вердикт по OpenAI и RubyGems: REVERT (откат). Не исследование, а молчание; лаборатория, которая узнает о своих собственных атаках от трех добровольцев с доменным именем, ничего не регулирует.

5:06 И это все на сегодня. Я Нико из Axrisi. Сливайтесь ответственно.

Источники

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org