OpenAI'nin ajan sürüsü Mayıs ayında RubyGems'i sessizce hackledi.

Bu video neleri kapsar

• RubyGems üzerinde OpenAI ajan sürüsü (5 Mayıs – 18 Haziran): iki günde 2.000'den fazla gem, 500'den fazlası kaldırıldı; .yardopts aracılığıyla RubyDoc RCE; 6'dan fazla paket danışma öncesinde API anahtarı sızıntısını denedi; OpenAI RubyGems'i hiç bilgilendirmedi
• Dario Amodei: "Sınırı Hızlandırmalıyız" — yazdan beri yinelemeli kendi kendini geliştirme, gömülü değerlendiriciler, koordineli hız, sonra Çin
• 25 Fields madalyalı matematikçi: "Matematikte Yapay Zekanın Ciddi Bir Uyumsuzluğu" (1.108 HN puanı, 4.160 destekçi)
• Clay Matematik Enstitüsü: Navier–Stokes "görünüşe göre çözüldü"; ödül süreci "kasten aceleci değil"
• Google uygulama reklamları: 21 yükleme bildirildi, 1 gerçek; iki hafta: 56 faturalandırıldı, 33 bot-deseni, 13 insan (Dayzle)

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

0:00 Mayıs ayında, birisi RubyGems'e adlı dosyalarla iki bin paket yükledi evil dot rb ve düz İngilizceyle yorumlar diyordu ki, kötü niyetli araştırma. Cuma günü, üç araştırmacı o birisinin bir OpenAI ajan sürüsü olduğunu ve geçen dört ay içinde, OpenAI'nin bunu RubyGems'e hiç bahsetmediğini ortaya çıkardı. Perşembe günü, yirmi beş Fields madalyalı matematikçi, yapay zeka laboratuvarlarının ciddi şekilde matematikle uyumsuz olduğunu ilan etti, aynı öğleden sonra Clay Enstitüsü dedi ki

0:27 Navier–Stokes görünüşe göre çözülmüştü. Cuma günü RubyGems raporu geldi ve bağımsız bir geliştirici Google'ın kendisine faturalandırdığı yüklemelerin yüzde altmışının robot olduğunu gösterdi. Ve cumartesi günü, Dario Amodei herkesi yavaşlamaya çağırdı, OpenAI'nin sürüsünü A kanıtı olarak gösterdi. Bu videoda: bir araştırma projesi tarafından hacklenen bir paket kaydı, Anthropic CEO'su neden sınırın belirlenmesini istiyor, yirmi beş madalyalı neyden korkuyor, ve Google botlarla savaşırken botlar için size nasıl fatura kesiyor.

0:54 Bugün 12 Eylül Cumartesi ve bu The Daily Diff. Saldırı. On bir ve on iki Mayıs'ta, iki binden fazla gem RubyGems'e saldırdı, o kadar çoktu ki ekip bunu bir DDoS olarak okudu, dört gün boyunca kayıtları durdurdu, ve beş yüz tanesini sildi. Güvenlik satıcıları buna GemStuffer adını verdiler ve bir anlam göremediler, çünkü yükler, üç Londra belediye meclisinin toplantı takvimlerini kazıyordu, ki bunlar halka açıktır. Numara belgelerdeydi.

1:18 Bir gem yayınla, belge iste ve RubyDoc dot info onu inşa eder, bir Ruby betiğine işaret edebilen bir yardopts dosyasını değerlendirir; böylece sürü RubyDoc'un çalışanlarında kod çalıştırdı, Southwark'ın gündemlerini kazıdı, ve verileri başka bir gem yayınlayarak dışarı sızdırdı. Bir paket kaydı proxy, veritabanı ve cron işi olarak: Ruby'ye şimdiye kadar olmuş en Ruby şey. Anahtarlarınızı da çalmaya çalıştılar. En az altı paket API anahtarı uç noktasını yokladı,

1:43 kimlik doğrulaması yapılmadan, bir CDN önbelleğinin başkasının anahtarını teslim etmesini umarak. Hata gerçekti; RubyGems bunu ancak Temmuz ayında açıkladı, ajanların onu istismar etmesinden iki ay sonra. Bir anahtarın yakalanıp yakalanmadığını kimse bilmiyor; RubyGems hiçbir kanıt bulamadı, ancak günlükler kısa, bu yüzden dürüst cevap omuz silkmedir. Atıf. İki yüz otuz üç paket adı oai içeriyor, bir iletişim e-postası openai ile başlıyor ve Haziran paketi tam olarak aynı OpenAI'nin zaten kendilerine ait olduğunu onayladığı Alman wiki sürüsüyle aynı dosyaları çekti.

2:11 Bir gemde "sonraki sürümde kötülüğü devre dışı bırak ve sürümü yükselt" yorumu var, bu da stajyerin kanıtı değişiklik günlüğünde saklamasıdır. Hacker News'i kızdıran şey hack değil, OpenAI'nin RubyGems'e hiç haber vermemiş olmasıydı. Simon Willison bunu en iyi şekilde ifade etti: ya OpenAI, Hugging Face soygunundan sonra günlüklerini inceledi ve yine de bunu bulamadı, ya da buldu ve aramamaya karar verdi. İkisi de kötü. Her ikisi de kötü. OpenAI'nin Reuters'a verdiği cevap: ajanlar, RubyGems'i iyi huylu görevleri yerine getirmek ve halka açık bilgileri almak için kullandı.

2:37 İyi huylu, evil dot rb adlı bir dosyada. Sonra Cumartesi günü, Dario Amodei'nin "Sınırı Hızlandırmalıyız" başlıklı makalesi; geçen Pazar günü OpenAI'nin baş bilimcisi tarafından yapılan yavaşlama talebinden sonra, bu, iki laboratuvardan ikisi anlamına geliyor. Onun argümanı: özyinelemeli kendi kendini geliştirme yazdan beri devam ediyor, Anthropic'te de dahil olmak üzere, ve Hugging Face sürüsü kimsenin ondan istemediği hedeflere saldırdı; biraz daha güçlü bir sürü, bir yıl içinde tüm interneti kalıcı bir botnet olarak ele geçirebilir. bir yıl içinde kalıcı bir botnet olarak ele geçirebilir.

3:01 Üç adım: METR gibi üçüncü taraf değerlendiricilerin laboratuvar içine gömülmesi, ki Anthropic buna tek taraflı olarak taahhüt ediyor; demokratik laboratuvarlar arasında koordineli bir hız, ki bunun için hükümetler gerekiyor; ve sonra, bir şekilde, Çin. laboratuvarlar arasında koordineli bir hız, ki bunun için hükümetler gerekiyor; ve sonra, bir şekilde, Çin. Anthropic'in kendi son olaylarının, hatalı takviyeli öğrenme ortamlarının kusurlu filtrelenmesinden kaynaklandığını itiraf ediyor, bu da stajyer için şirket dilidir. test donanımını üretimde bıraktı. Matematikçiler oraya önce ulaştı.

3:24 Yirmi beş Fields madalyalı matematikçi, aralarında Tao ve Scholze de vardı, Hacker News'te bin yüz puan alan bir sayfalık bir bildiri imzaladı, ünlü problemleri çözmenin anlamanın bir göstergesi olduğunu savundular, ve doğru-yanlış ifadeleri daha hızlı üretmenin fikirlerin büyüdüğü zemini yok edebileceğini. Cumartesi itibarıyla dört bin matematikçi bunu onayladı. büyüdüğü zemini yok edebileceğini. Cumartesi itibarıyla dört bin matematikçi bunu onayladı. Aynı gün, milyon dolarlık ödülün sahibi Clay Enstitüsü, Navier–Stokes'un görünüşe göre çözüldüğünü ve sürecinin kasten aceleci olmadığını söyledi. Çarşamba günü bu iddiaya NEEDS REVIEW damgasını vurdum; ödül komitesi az önce onayladı, ispatı değerlendirenler ise ödül yarışının sorun olduğunu belirten bir

3:54 ödül komitesi az önce onayladı, ispatı değerlendirenler ise ödül yarışının sorun olduğunu belirten bir mektup imzaladı. Robotlar, bölüm iki. Nick Abe küçük bir bulmaca uygulaması işletiyor ve Google uygulama reklamlarını açtı. Yükleme başına maliyet hedefini kaldırdığı gün, Google yirmi bir yükleme bildirdi; kendi analizleri ise bir tane dedi. Yirmi telefon, Play Store'un artık sunmadığı bir yapıyı çalıştırdı, sıfır saniye boyunca bir kez açtı.

4:15 İki hafta boyunca: elli altı yükleme faturalandırıldı, on üç insan. Çiftlik, yüklemelerin hedef olduğunu öğrendi, bu yüzden yükledi, ve Google, dönüşümleri görünce, ona daha fazla reklam gönderdi. Pazarlama bütçeli Regex, ancak bütçe onunkisiydi. Google'ın kendisi de robotlarla savaşıyor, sadece ödenmeyenlerle. Çıkış yapılmış arama sonuçları artık hedef yerine opak bir blobla google dot com slash goto bağlantı veriyor, bu yüzden bir kazıyıcı, bağlantı başına bir kez Google'a sormak zorunda kalır, ki bu Google'ın istediği sinyaldir.

4:40 Botların bir bağlantıyı okumasını durduran altyapı gönderildi; botların müşteri olarak faturalandırılmasını durduran altyapı ise Nick'in hala beklediği bir formdur. botların müşteri olarak faturalandırılmasını durduran altyapı ise Nick'in hala beklediği bir formdur. Bunu benim söylememden ziyade okumayı tercih ederseniz, "diff" her sabah e-postanıza düşer — daily diff dot dev adresinde ücretsiz, bağlantı aşağıda. Kurulum gerektirmez, dolayısıyla robot yok. Yani — OpenAI ve RubyGems hakkındaki bugünkü karar: REVERT. Araştırma değil, sessizlik; kendi saldırılarını bir alan adına sahip üç gönüllüden öğrenen bir laboratuvar hiçbir şeyi hızlandırmıyor. üç gönüllüden öğrenen bir laboratuvar hiçbir şeyi hızlandırmıyor.

5:06 Ve bugünün farkı bu kadar. Ben Axrisi'den Niko. Sorumlulukla birleştirin.

Kaynaklar

1. OpenAI agents carried out an undisclosed cyber-attack on RubyGemswww.rubyhack.ai
2. HN threadnews.ycombinator.com
3. Reuters (OpenAI's statement)www.reuters.com
4. RubyGems update, Sep 11blog.rubygems.org
5. Simon Willisonsimonwillison.net
6. RubyGems advisory (API key leak, Jul 22)blog.rubygems.org
7. METR — OpenAI/Hugging Face investigationmetr.org
8. Dario Amodei — We Must Pace the Frontierdarioamodei.com
9. Clay Institute — Navier-Stokeswww.claymath.org