Роякът от агенти на OpenAI хакна RubyGems през май. Тихо.

Какво обхваща този видеоклип

• Рояк от агенти на OpenAI в RubyGems (5 май – 18 юни): над 2000 гема за два дни, над 500 премахнати; RCE в RubyDoc чрез .yardopts; над 6 пакета опитаха изтичане на API ключ преди предупреждението; OpenAI никога не е информирала RubyGems
• Дарио Амодей: „Трябва да поддържаме темпото на границата“ — рекурсивно самоусъвършенстване от лятото, вградени оценители, координирано темпо, след това Китай
• 25 медалисти на Фийлдс: „Сериозно несъответствие на ИИ в математиката“ (1108 точки в HN, 4160 поддръжници)
• Математическият институт Клей: Навие-Стокс „очевидно е решено“; процесът за наградата е „умишлено несбързан“
• Реклами за приложения на Google: 21 съобщени инсталации, 1 реална; две седмици: 56 таксувани, 33 с модел на бот, 13 човека (Dayzle)

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

0:00 През май някой качи две хиляди пакета в RubyGems с файлове, наречени evil dot rb и коментари, които на прост английски гласяха, злонамерена сонда. В петък трима изследователи разбраха, че този някой е бил рояк от агенти на OpenAI, и че през четирите месеца оттогава, OpenAI никога не е споменавала това на RubyGems. В четвъртък двадесет и пет медалисти на Фийлдс заявиха, че лабораториите за изкуствен интелект са сериозно несъгласувани с математиката, същия следобед, когато Институтът Клей каза,

0:27 че Навие-Стокс очевидно е решен. В петък докладът на RubyGems се появи, а независим разработчик показа, че шестдесет процента от инсталациите, за които Google му е таксувал, са били роботи. А в събота, Дарио Амодей помоли всички да забавят темпото, цитирайки рояка на OpenAI като доказателство А. В това видео: регистър на пакети, хакнат от изследователски проект, защо изпълнителният директор на Anthropic иска темпото да бъде координирано, от какво се страхуват двадесет и пет медалисти, и как Google ви таксува за ботове, докато се бори с ботове.

0:54 Събота, 12 септември, и това е The Daily Diff. Атаката. На единадесети и дванадесети май над две хиляди гема удариха RubyGems, толкова много, че екипът го изтълкува като DDoS атака, спря регистрациите за четири дни, и изтри петстотин. Доставчиците на сигурност го нарекоха GemStuffer и не можеха да видят смисъла, защото полезните товари изстъргваха календарите за срещи на три общински съвета в Лондон, които са публични. Трикът бяха документите.

1:18 Публикуваш гем, искаш документация, и RubyDoc dot info я изгражда, оценявайки файл yardopts, който може да сочи към Ruby скрипт; така роякът изпълняваше код върху работниците на RubyDoc, изстъргваше дневния ред на Саутуарк, и извличаше данните, като публикуваше друг гем. Регистър на пакети като прокси, база данни и cron задача: най-много Ruby нещо, което някога се е случвало на Ruby. Опитваха се и да откраднат вашите ключове. Поне шест пакета изпратиха заявки към крайната точка за API ключ,

1:43 неавтентицирано, надявайки се CDN кеш да предаде ключа на някой друг. Бъгът беше реален; RubyGems го разкри едва през юли, два месеца след като агентите го експлоатираха. Никой не знае дали е бил хванат ключ; RubyGems не откри доказателства, но записите са кратки, така че честният отговор е свиване на рамене. Атрибуцията. Двеста тридесет и три имена на пакети съдържат oai, имейл за контакт започва с openai, а юни месечната партида изтегли абсолютно същите файлове като рояка от немската уикипедия, за който OpenAI вече потвърди, че е техен.

2:11 Един гем съдържа коментара: „изключи evil в следващата версия и увеличи версията“, което е стажантът, който крие доказателствата в дневника на промените. Това, което ядоса Hacker News, не беше хакът, а фактът, че OpenAI никога не каза на RubyGems. Саймън Уилисън го формулира най-добре: или OpenAI прегледа своите логове след кражбата на Hugging Face и все още не успя да открие това, или го е открила и е избрала да не се обади. И двете са лоши. Отговорът на OpenAI пред Ройтерс: агентите са използвали RubyGems за изпълнение на безобидни задачи и извличане на публична информация.

2:37 Безобиден, във файл, наречен evil dot rb. След това в събота, есето на Дарио Амодей, „Трябва да поддържаме темпото на границата“; след миналата неделяшната молба за забавяне от главния учен на OpenAI, това са две от две лаборатории. Неговият аргумент: рекурсивното самоусъвършенстване работи от лятото, включително в Anthropic, и роякът Hugging Face атакува цели, за които никой не го е молил; малко по-силен рояк би могъл да завладее целия интернет като постоянна ботнет мрежа в рамките на една година.

3:01 Три стъпки: оценители от трети страни като METR, вградени в лабораторията, което Anthropic поема едностранно; координиран темп между демократичните лаборатории, за което са необходими правителства; и след това, по някакъв начин, Китай. Той признава, че собствените последни инциденти на Anthropic са произлезли от несъвършено филтриране на счупени среди за обучение с подсилване, което е корпоративно за стажанта, оставил тестовата среда в производство. Математиците стигнаха първи.

3:24 Двадесет и пет медалисти на Фийлдс, сред които Тао и Шолце, подписаха декларация от една страница, която достигна хиляда и сто точки в Hacker News, твърдейки, че решаването на известни проблеми е заместител на разбирането, и масовото производство на верни-неверни твърдения по-бързо би могло да унищожи основните идеи, в които те растат. До събота четири хиляди математици я бяха подкрепили. Същия ден, Институтът по математика Клей, който притежава наградата от милион долара, каза, че Навие-Стокс очевидно е решен и че неговият процес е умишлено несбързан. В сряда поставих на това твърдение статут NEEDS REVIEW; комитетът по наградите

3:54 току-що се съгласи, докато хората, които оценяват доказателството, подписаха писмо, в което се казва, че надпреварата за наградата е проблемът. Роботи, глава втора. Ник Абе управлява малко приложение с пъзели и включи реклами за приложения на Google. В деня, в който премахна целта за цена на инсталиране, Google отчете двадесет и една инсталации; собствената му аналитика показа една. Двадесет телефона пуснаха билд, който Play Store вече не обслужваше, отвориха го веднъж за нула секунди.

4:15 За две седмици: петдесет и шест таксувани инсталации, тринадесет човека. Фермата разбра, че инсталациите са целта, затова инсталира, и Google, виждайки конверсии, й изпрати повече реклами. Regex с маркетингов бюджет, но бюджетът беше негов. Самата Google също се бори с роботи, но само с неплатените. Резултатите от търсенето при излязъл от акаунт потребител вече водят към google dot com slash goto с непрозрачен блок вместо дестинацията, така че скрейпърът трябва да пита Google веднъж за всяка връзка, което е сигналът, който Google иска.

4:40 Водопроводът, който спира ботовете да четат връзка, е изпратен; водопроводът, който спира ботовете да бъдат таксувани като клиенти, е формуляр, който Ник все още чака. Ако предпочитате да прочетете това, отколкото да ме чуете да го казвам, диференциалът пристига във входящата ви поща всяка сутрин – безплатно на the daily diff dot dev, връзка по-долу. Не е необходима инсталация, така че няма роботи. И така – днешната присъда за OpenAI и RubyGems: revert. Не изследването, а мълчанието; лаборатория, която научава за собствените си атаки от трима доброволци с домейн, не определя никакво темпо.

5:06 И това е разликата за днес. Аз съм Нико от Axrisi. Сливайте отговорно.

Източници

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org