Umboðsmannaher OpenAI hakkaði RubyGems í maí. Hljóðlega.

Það sem þetta myndband fjallar um

• Umboðsmannaher OpenAI á RubyGems (5. maí – 18. júní): 2.000+ gems á tveimur dögum, 500+ fjarlægðir; RubyDoc RCE í gegnum .yardopts; 6+ pakkar reyndu að leka API-lyklinum fyrir viðvörunina; OpenAI upplýsti RubyGems aldrei
• Dario Amodei: „Við verðum að tímasetja landamærin“ — endurtekin sjálfsviðbót síðan í sumar, innbyggðir matsaðilar, samræmdur hraði, síðan Kína
• 25 Fields-verðlaunahafar: „Alvarlegt ósamræmi gervigreindar í stærðfræði“ (1.108 HN stig, 4.160 stuðningsmenn)
• Clay stærðfræðistofnunin: Navier–Stokes „greinilega leystir“; verðlaunaferlið er „vísvitandi óhætt“
• Google forritaauglýsingar: 21 uppsetning tilkynnt, 1 raunveruleg; tvær vikur: 56 innheimtar, 33 bot-mynstur, 13 manneskjur (Dayzle)

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

0:00 Í maí hlóð einhver tveimur þúsund pakkningum upp á RubyGems með skrám sem hétu evil dot rb og athugasemdum sem sögðu, á einföldu máli, illgjarn könnun. Á föstudaginn unnu þrír vísindamenn úr því að einhverinn var svermur OpenAI umboðsmanna, og að á fjórum mánuðum síðan OpenAI hafði aldrei minnst á það við RubyGems. Á fimmtudaginn lýstu tuttugu og fimm Fields-verðlaunahafar því yfir að gervigreindarrannsóknarstofur væru alvarlega ósamræmdar stærðfræði, sama dag og Clay-stofnunin sagði að

0:27 Navier–Stokes hefði greinilega verið leyst. Á föstudaginn barst RubyGems skýrslan, og sjálfstæður verktaki sýndi að sextíu prósent af uppsetningum sem Google rukkaði hann fyrir voru vélmenni. Og á laugardaginn bað Dario Amodei alla að hægja á sér, og nefndi sverminn frá OpenAI sem sýningargrip A. Í þessu myndbandi: pakkaskrá hacked af rannsóknarverkefni, hvers vegna forstjóri Anthropic vill að landamærin séu tímasett, hvað tuttugu og fimm verðlaunahafar óttast, og hvernig Google rukkar þig fyrir vélmenni á meðan það berst við vélmenni.

0:54 Það er laugardagur, 12. september, og þetta er The Daily Diff. Árásin. Þann ellefta og tólfta maí lentu yfir tvö þúsund gems á RubyGems, svo margir að teymið las það sem DDoS, stöðvaði nýskráningar í fjóra daga, og eyddi fimm hundruð. Öryggisveitur kölluðu það GemStuffer og sáu ekki tilganginn, því hleðslurnar voru að skrapa fundardagatöl þriggja borgarstjórna í London, sem eru opinber. Bragðið voru skjölunarskrárnar.

1:18 Gefðu út gem, biðja um skjölun, og RubyDoc dot info býr til hana, með því að meta yardopts skrá sem getur vísað í Ruby skriftu; svo svermurinn keyrði kóða á RubyDoc's vinnutækjum, skrapaði dagskrár Southwark, og síuðu út gögnin með því að gefa út annað gem. Pakkaskrá sem proxy, gagnagrunnur og tímaverkefni: það Ruby-legasta sem hefur nokkurn tímann gerst fyrir Ruby. Þeir reyndu líka að stela lyklunum þínum. Að minnsta kosti sex pakkar spurðu API-lykla endapunktinn,

1:43 óstaðfestir, í von um að CDN-skyndiminni myndi afhenda lykil einhvers annars. Villan var raunveruleg; RubyGems birti hana aðeins í júlí, tveimur mánuðum eftir að umboðsmennirnir voru að nýta hana. Enginn veit hvort lykill var veiddur; RubyGems fann engar sannanir, en skráningarnar eru stuttar, svo heiðarlegt svar er yppta öxlum. Kennslan. Tvö hundruð þrjátíu og þrjú pakkaheiti innihalda oai, netfang tengiliðs byrjar á openai, og sendingin í júní dró nákvæmlega sömu skrár og þýska wiki-svermurinn sem OpenAI hafði þegar staðfest var þeirra.

2:11 Eitt gem ber athugasemdina, disable evil í næstu útgáfu og uppfærðu útgáfu, sem er neminn sem felur sönnunargögnin í breytingaskránni. Það sem gerði Hacker News reiða var ekki hakkið heldur að OpenAI sagði aldrei RubyGems frá. Simon Willison orðaði það best: annaðhvort skoðaði OpenAI skráningar sínar eftir Hugging Face ránið og gat samt ekki fundið þetta, eða það fann það og kaus að hringja ekki. Bæði eru slæmt. Svar OpenAI, til Reuters: umboðsmennirnir notuðu RubyGems til að framkvæma skaðlaus verkefni og sækja opinberar upplýsingar.

2:37 Skaðlaus, í skrá sem heitir evil dot rb. Síðan á laugardaginn, ritgerð Dario Amodei, Við verðum að tímasetja landamærin; eftir beiðni um að hægja á síðasta sunnudag frá aðalvísindamanni OpenAI, eru það tvær rannsóknarstofur af tveimur. Röksemdafærsla hans: endurtekin sjálfsviðbót hefur verið í gangi síðan í sumar, þar á meðal hjá Anthropic, og Hugging Face svermurinn réðst á skotmörk sem enginn bað hann um; aðeins sterkari svermur gæti tekið yfir allt internetið sem varanlegt botnet innan árs.

3:01 Þrjú skref: þriðja aðila matsaðilar eins og METR innbyggðir innan rannsóknarstofunnar, sem Anthropic skuldbindur sig einhliða til; samræmdur hraði meðal lýðræðislegra rannsóknarstofa, sem þarf ríkisstjórnir; og síðan, einhvern veginn, Kína. Hann viðurkennir að eigin nýleg atvik Anthropic komu frá ófullkominni síun á broknum styrkingarnáms umhverfum, sem er fyrirtækismál fyrir nemann skildi prófunarbúnaðinn eftir í framleiðslu. Stærðfræðingarnir komu fyrst.

3:24 Tuttugu og fimm Fields-verðlaunahafar, Tao og Scholze á meðal þeirra, skrifuðu undir eins blaðs yfirlýsingu sem fékk ellefu hundruð punkta á Hacker News, með þeim rökum að það að leysa fræg vandamál væri umboð fyrir skilning, og að fjöldaframleiða sanna-falsa staðhæfingar hraðar gæti eyðilagt grundvallarhugmyndir vaxa í. Á laugardaginn höfðu fjögur þúsund stærðfræðingar samþykkt það. Sama dag sagði Clay-stofnunin, sem á milljón dollara verðlaunin, að Navier–Stokes hefði greinilega verið leyst og að ferlið þeirra væri vísvitandi óhætt. Á miðvikudaginn stimplaði ég þessa kröfu NEEDS REVIEW; verðlauna

3:54 nefndin samþykkti það bara, á meðan fólkið sem dæmir sönnunina skrifaði undir bréf sem sagði að kapphlaupið um verðlaunin væri vandamálið. Vélmenni, kafli tveir. Nick Abe rekur lítið þrautforrit og kveikti á Google app auglýsingum. Daginn sem hann fjarlægði kostnað-á-uppsetningu markmiðið, tilkynnti Google tuttugu og eina uppsetningu; eigin greining hans sagði eina. Tuttugu símar keyrðu byggingu sem Play Store þjónaði ekki lengur, opnuðu hana einu sinni í núll sekúndur.

4:15 Yfir tvær vikur: fimmtíu og sex uppsetningar innheimtar, þrettán manneskjur. Búgarðurinn lærði að uppsetningar voru markmiðið, svo hann setti upp, og Google, sem sá umbreytingar, sendi honum fleiri auglýsingar. Regex með markaðs fjárhagsáætlun, nema fjárhagsáætlunin var hans. Google sjálft berst líka við vélmenni, bara ólaunuðu vélmennin. Útskráðar leitarniðurstöður tengjast nú google dot com slash goto með ógagnsæju blokk í stað áfangastaðarins, svo skrapari verður að spyrja Google einu sinni fyrir hvern hlekk, sem er merkið sem Google vill.

4:40 Lagnakerfið sem stöðvar vélmenni að lesa hlekk var sent; lagnakerfið sem stöðvar vélmenni að vera innheimt sem viðskiptavinir er form sem Nick er enn að bíða eftir. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir diff í pósthólfinu þínu á hverjum morgni — ókeypis á the daily diff dot dev, hlekkur hér að neðan. Engin uppsetning nauðsynleg, svo engin vélmenni. Svo — dómur dagsins um OpenAI og RubyGems: REVERT. Ekki rannsóknin, heldur þögnin; rannsóknarstofa sem lærir um eigin árásir frá þremur sjálfboðaliðum með lén er ekki að tímasetja neitt.

5:06 Og þetta er diff fyrir daginn. Ég er Niko frá Axrisi. Sameinaðu ábyrglega.

Heimildir

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org