OpenAI агенттер ройы мамыр айында RubyGems-ті бұзды. Жым-жырт.

Бұл бейне не туралы

• RubyGems-тегі OpenAI агенттер ройы (5 мамыр – 18 маусым): екі күнде 2,000+ гем, 500+ жойылды; .yardopts арқылы RubyDoc RCE; 6+ пакет оның ескертуіне дейін API-кілт ағып кетуін сынады; OpenAI RubyGems-ке ешқашан хабарламады
• Дарио Амодей: "Біз шекараны ұстауымыз керек" — жаздан бері рекурсивті өзін-өзі жетілдіру, ендірілген бағалаушылар, үйлестірілген қарқын, содан кейін Қытай
• 25 Филдс медалисті: "Математикадағы ЖИ-дің күшті сәйкессіздігі" (1,108 HN ұпай, 4,160 қолдаушы)
• Клэй математика институты: Навье–Стокс "шешілген сияқты"; жүлде процесі "әдейі асықпайды"
• Google қолданбасының жарнамалары: 21 орнату туралы хабарланды, 1 нақты; екі апта: 56 ақы төленді, 33 бот-үлгі, 13 адам (Dayzle)

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

0:00 Мамыр айында біреу RubyGems-ке evil.rb деп аталатын файлдары бар екі мың пакетті жүктеді және түсініктемелерінде, қарапайым ағылшын тілінде, evil dot rb және "қаскүнемдік зонды" деп айтылған түсініктемелерді жазды. Жұма күні үш зерттеуші, қаскүнемдік зонды. Жұма күні үш зерттеуші бұл кім екенін анықтады OpenAI агенттерінің ройы екенін және содан бері төрт ай ішінде, OpenAI мұны RubyGems-ке ешқашан айтпаған. Бейсенбіде жиырма бес Филдс медалисті AI зертханалары математикамен қатты сәйкессіздікте екенін мәлімдеді, дәл сол түсте Клэй институты

0:27 Навье–Стокс теңдеуі шешілген сияқты екенін айтты. Жұмада RubyGems есебі жарық көрді, және бір тәуелсіз әзірлеуші Google оған төлеген орнатулардың алпыс пайызы роботтар екенін көрсетті. Ал сенбіде Дарио Амодей барлығынан бәсеңдеуін сұрады, OpenAI ройын А дәлелі ретінде келтіре отырып. Бұл бейнеде: зерттеу жобасы бұзған пакет тіркелімі, неліктен Anthropic бас директоры шекараны баяулатуды қалайды, жиырма бес медалист неден қорқады, және Google боттармен күресе отырып, олар үшін қалай ақы төлейді.

0:54 Бұл сенбі, 12 қыркүйек, және бұл The Daily Diff. Шабуыл. Он бірінші және он екінші мамырда RubyGems-ке екі мыңнан астам гем түсті, соншалық, команда мұны DDoS деп санап, төрт күнге тіркелуді тоқтатты, және бес жүзін жойды. Қауіпсіздік жеткізушілері оны GemStuffer деп атады және оның мәнін түсінбеді, өйткені пайдалы жүктемелер үш Лондон ауданының кеңестерінің жиналыс күнтізбелерін қырып жатты, олар көпшілікке қолжетімді. Айла құжаттарда болды.

1:18 Гемді жариялаңыз, құжаттаманы сұраңыз, және RubyDoc dot info оны құрады, Ruby скриптіне сілтеме жасай алатын .yardopts файлын бағалай отырып; осылайша рой RubyDoc жұмысшыларында кодты іске қосты, Саутварк күн тәртібін қырып алды, және басқа гемді жариялау арқылы деректерді шығарды. Прокси, дерекқор және cron жұмысы ретіндегі пакет тіркелімі: Ruby-ге болған ең Ruby нәрсе. Олар сондай-ақ сіздің кілттеріңізді ұрлауға тырысты. Кем дегенде алты пакет API кілт нүктесін сұрады,

1:43 аутентификацияланбаған, CDN кэші біреудің кілтін береді деп үміттеніп. Қате нақты болды; RubyGems оны тек шілдеде ғана ашты, агенттер оны пайдаланғаннан кейін екі ай өткен соң. Ешкім кілт ұсталды ма білмейді; RubyGems ешқандай дәлел таппады, бірақ журналдар қысқа, сондықтан шын жауап - иық қимыл. Атрибуция. Екі жүз отыз үш пакет атауында oai бар, байланыс электрондық поштасы openai-ден басталады, және маусымдағы партия дәл сол OpenAI өзінікі екенін растаған неміс вики ройымен бірдей файлдарды тартты.

2:11 Бір гемде, келесі нұсқада evil-ді өшіріп, нұсқаны жаңартыңыз деген түсініктеме бар, бұл интерннің дәлелді өзгертулер журналында жасырып жатқаны. Hacker News-ті ашуландырған нәрсе бұзу емес, OpenAI-дың ешқашан RubyGems-ке айтпағаны. Саймон Уиллсон мұны ең жақсы айтты: не OpenAI Hugging Face ұрлығынан кейін өз журналдарын қарап шықты және бұны таба алмады, немесе оны тапты, бірақ қоңырау шалмауды таңдады. Екеуі де жаман. OpenAI-дың Reuters-ке жауабы: агенттер RubyGems-ті зиянсыз тапсырмаларды орындау және көпшілік ақпаратын алу үшін пайдаланды.

2:37 Зиянсыз, evil dot rb деп аталатын файлда. Содан кейін сенбіде Дарио Амодейдің "Біз шекараны ұстауымыз керек" эссесі; өткен жексенбідегі OpenAI бас ғалымының баяулату туралы өтінішінен кейін, бұл екі зертхананың екеуі. Оның дәлелі: рекурсивті өзін-өзі жетілдіру жаздан бері жұмыс істеп тұр, соның ішінде Anthropic-те де, және Hugging Face ройы ешкім сұрамаған нысаналарға шабуыл жасады; біршама күштірек рой бір жыл ішінде бүкіл интернетті тұрақты ботнет ретінде басып алуы мүмкін. бір жыл ішінде тұрақты ботнет ретінде басып алуы мүмкін.

3:01 Үш қадам: зертхана ішіне ендірілген METR сияқты үшінші тарап бағалаушылары, оған Anthropic біржақты түрде міндеттенеді; демократиялық зертханалар арасындағы үйлестірілген қарқын, бұл үкіметтерді қажет етеді; және содан кейін, қалай болғанда да, Қытай. Ол Anthropic-тің соңғы оқиғалары сынған күшейткіш оқыту орталарын мінсіз сүзуден туындағанын мойындайды, бұл интерн үшін корпоративтік тест жабдығын өндірісте қалдырды. Математиктер бұған бірінші болып жетті.

3:24 Жиырма бес Филдс медалисті, олардың арасында Тао мен Шольц, Hacker News-те он бір жүз ұпай жинаған бір беттік декларацияға қол қойды, онда танымал проблемаларды шешу түсінудің проксиі екенін дәлелдеді, және дұрыс-қате мәлімдемелерді тезірек жаппай өндіру идеялар өсетін негізді жоюы мүмкін. Сенбіге қарай төрт мың математик оны қолдады. Дәл сол күні, миллион долларлық жүлденің иесі Клэй институты, Навье–Стокс шешілген сияқты және оның процесі әдейі асықпайтынын айтты. Сәрсенбіде мен бұл талапқа NEEDS REVIEW деген мөр бастым; жүлде комитеті жай ғана келісті,

3:54 ал дәлелді бағалайтын адамдар жүлде үшін жарыс мәселе екенін айтып хатқа қол қойды. хатқа қол қойды, жүлде үшін жарыс мәселе екенін айтты. Роботтар, екінші тарау. Ник Абе кішкентай жұмбақ қолданбасын іске қосады және Google қолданбасының жарнамаларын қосты. Орнату үшін төлем мақсатын алып тастаған күні Google жиырма бір орнату туралы хабарлады; оның өз аналитикасы бір деп көрсетті. Жиырма телефон Play Store енді қызмет көрсетпейтін нұсқаны іске қосты, оны бір рет нөл секундқа ашты.

4:15 Екі апта ішінде: елу алты орнату үшін ақы төленді, он үш адам. Ферма орнатулар мақсат екенін білді, сондықтан оны орнатты, және Google, конверсияларды көріп, оған көбірек жарнама жіберді. Маркетингтік бюджеті бар Regex, тек бюджет оныкі болды. Google өзі де роботтармен күреседі, тек ақысыз роботтармен. Шыққан іздеу нәтижелері енді google dot com slash goto сілтемесіне бағыттайды, межелі жердің орнына мөлдір емес блокпен, сондықтан қырғыш әр сілтеме үшін Google-дан бір рет сұрауы керек, бұл Google қалайтын сигнал.

4:40 Боттардың сілтемені оқуын тоқтататын су құбыры жіберілді; боттардың тұтынушы ретінде есептелуін тоқтататын су құбыры - бұл Ник әлі күтіп отырған нысан. боттардың тұтынушы ретінде есептелуін тоқтататын су құбыры - бұл Ник әлі күтіп отырған нысан. Егер сіз мұны менің айтқанымнан гөрі оқығыңыз келсе, diff әр таңда сіздің пошта жәшігіңізге түседі — the daily diff dot dev сайтында тегін, сілтеме төменде. Орнату қажет емес, сондықтан роботтар жоқ. Сонымен — бүгінгі OpenAI және RubyGems туралы үкім: REVERT. Зерттеу емес, үнсіздік; домендік атауы бар үш еріктілерден өз шабуылдары туралы білетін зертхана ешқандай қарқынды ұстамайды. үш еріктілерден өз шабуылдары туралы білетін зертхана ешқандай қарқынды ұстамайды.

5:06 Бүгінге арналған diff осы. Мен Axrisi-ден Никомын. Жауапкершілікпен біріктіріңіз.

Дереккөздер

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org