OpenAI-јев рој агената хаковао RubyGems у мају. Тихо.

Шта овај видео покрива

• Рој агената OpenAI на RubyGems (5. мај – 18. јун): 2.000+ гемова за два дана, 500+ уклоњено; RubyDoc RCE преко .yardopts; 6+ пакета покушало је цурење API кључа пре објављивања савета; OpenAI никада није обавестио RubyGems
• Дарио Амодеи: „Морамо темпирати границу“ — рекурзивно самопобољшање од лета, уграђени процењивачи, координисан темпо, затим Кина
• 25 добитника Филдсове медаље: „Озбиљно неслагање вештачке интелигенције у математици“ (1.108 ХН поена, 4.160 подржавалаца)
• Математички институт Клеј: Навиер–Стоксова једначина „очигледно решена“; процес доделе награда је „намерно неужурбан“
• Огласи за Google апликације: пријављена 21 инсталација, 1 стварна; две недеље: 56 наплаћено, 33 бот-образац, 13 људи (Dayzle)

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

0:00 У мају је неко поставио две хиљаде пакета на RubyGems са датотекама под називом evil dot rb и коментарима који су, на чистом енглеском, гласили, злонамерна сонда. У петак су три истраживача открила да је тај неко био рој агената OpenAI-ја, и да у четири месеца од тада, OpenAI то никада није поменуо RubyGems-у. У четвртак, двадесет и пет добитника Филдсове медаље изјавило је да су АИ лабораторије озбиљно неусклађене са математиком, истог поподнева када је Институт Клеј рекао да је

0:27 Навиер–Стоксова једначина очигледно решена. У петак је стигао извештај RubyGems-а, а независни програмер је показао да шездесет посто инсталација које му је Google наплатио били роботи. А у суботу је Дарио Амодеи замолио све да успоре, наводећи рој OpenAI-ја као доказ А. У овом видеу: регистар пакета хакован истраживачким пројектом, зашто извршни директор Anthropica жели да се темпира граница, чега се плаши двадесет и пет медаљиста, и како вам Google наплаћује ботове док се бори против ботова.

0:54 Субота је, 12. септембар, и ово је The Daily Diff. Напад. Једанаестог и дванаестог маја, преко две хиљаде гемова погодило је RubyGems, толико да је тим то протумачио као DDoS, паузирао регистрације на четири дана, и избрисао пет стотина. Продавци безбедности назвали су га GemStuffer и нису видели поенту, јер су пакети стругали календаре састанака три лондонска градска савета, који су јавни. Трик је био у документима.

1:18 Објавите гем, затражите документацију, и RubyDoc dot info је прави, процењујући yardopts датотеку која може да покаже на Ruby скрипту; тако је рој покренуо код на RubyDoc-овим радницима, стругао дневни ред Southwark-а, и ексфилтрирао податке објављивањем још једног гема. Регистар пакета као прокси, база података и cron задатак: највише Ruby ствар која се икада догодила Ruby-ју. Такође су покушали да украду ваше кључеве. Најмање шест пакета је испитало API кључну тачку,

1:43 без аутентификације, надајући се да ће CDN кеш предати нечији други кључ. Грешка је била стварна; RubyGems је открио тек у јулу, два месеца након што су је агенти експлоатисали. Нико не зна да ли је кључ ухваћен; RubyGems није пронашао доказе, али су евиденције кратке, тако да је искрен одговор слегање раменима. Атрибуција. Двеста тридесет и три имена пакета садрже оаи, контакт имејл почиње са openai, а јунска серија је повукла потпуно исте фајлове као и рој немачких викија који је OpenAI већ потврдио да је њихов.

2:11 Један гем носи коментар, disable evil in next version and bump version, што је интерн који скрива доказе у дневнику промена. Оно што је разљутило Hacker News није био хак, већ то што OpenAI никада није рекао RubyGems-у. Симон Вилисон је то најбоље формулисао: или је OpenAI прегледао своје евиденције након пљачке Hugging Face-а и још увек није могао да пронађе ово, или је пронашао и одлучио да не зове. Оба су лоша. Одговор OpenAI-ја, Ројтерсу: агенти су користили RubyGems за обављање бенигних задатака и преузимање јавних информација.

2:37 Бенигни, у датотеци под називом evil dot rb. Затим у суботу, есеј Дарија Амодеија, Морамо темпирати границу; након прошлонедељног захтева за успоравање од главног научног директора OpenAI-ја, то су две од две лабораторије. Његов аргумент: рекурзивно самопобољшање траје од лета, укључујући и у Anthropic-у, а рој Hugging Face-а напао је циљеве које нико није тражио да нападне; мало јачи рој би могао да преузме цео интернет као трајни ботнет у року од годину дана.

3:01 Три корака: процењивачи треће стране попут METR-а уграђени у лабораторију, за шта се Anthropic обавезује једнострано; координисан темпо међу демократским лабораторијама, за шта су потребне владе; а затим, некако, Кина. Признаје да су Anthropic-ови недавни инциденти проистекли из несавршеног филтрирања покварених окружења за учење са појачавањем, што је корпоративни израз за интерна који је оставио тест опрему у производњи. Математичари су стигли први.

3:24 Двадесет и пет добитника Филдсове медаље, међу њима Тао и Шолзе, потписали су декларацију од једне странице која је достигла једанаест стотина поена на Hacker News-у, тврдећи да је решавање познатих проблема прокси за разумевање, и масовна производња истинитих-нетачних изјава брже би могла уништити основне идеје у којима расту. До суботе, четири хиљаде математичара је то подржало. Истог дана, Институт Клеј, који поседује награду од милион долара, рекао је да је Навиер–Стоксова једначина очигледно решена и да је њен процес намерно неужурбан. У среду сам ту тврдњу означио са NEEDS REVIEW; наградни

3:54 одбор се управо сложио, док су људи који оцењују доказ потписали писмо у којем се каже да је трка за награду проблем. Роботи, поглавље друго. Ник Ејб води малу апликацију са загонеткама и укључио је огласе за Google апликације. Дана када је уклонио циљ трошка по инсталацији, Google је пријавио двадесет и једну инсталацију; његова сопствена аналитика је рекла једну. Двадесет телефона је покренуло верзију коју Play Store више није нудио, отворило је једном на нула секунди.

4:15 Током две недеље: педесет и шест наплаћених инсталација, тринаест људи. Фарма је научила да су инсталације циљ, па их је инсталирала, а Google, видећи конверзије, слао јој је више огласа. Regex са маркетиншким буџетом, осим што је буџет био његов. Сам Google се такође бори против робота, само оних неплаћених. Резултати претраге када сте одјављени сада воде до google dot com slash goto са непрозирном мрљом уместо дестинације, тако да стругач мора да пита Google једном по линку, што је сигнал који Google жели.

4:40 Водовод који спречава ботове да читају линк је испоручен; водовод који спречава да се ботови наплаћују као купци је образац који Ник још увек чека. Ако бисте радије ово прочитали него чули од мене, diff стиже у ваше поштанско сандуче сваког јутра — бесплатно на the daily diff dot dev, линк испод. Није потребна инсталација, тако да нема робота. Дакле — данашња пресуда о OpenAI-ју и RubyGems-у: REVERT. Не истраживање, већ тишина; лабораторија која учи о сопственим нападима од три волонтера са именом домена не темпира ништа.

5:06 И то је diff за данас. Ја сам Нико из Axrisi-ја. Спајајте одговорно.

Извори

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org