7 farklılığın olduğu hafta: Claude, OpenAI'ı hackledi

Bu video neleri kapsar

• Soğuk başlangıç
• 38. Hafta · 7. Fable'ın şifresi, tartışmalı
• 6. Pion bir dükkan işletiyor, zararına
• 5. Süleyman anayasaya karşı
• 4. Xiaomi halka açık olarak eğitim yapıyor

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

Soğuk başlangıç

0:00 Bu hafta yedi şey değişti. Biri izlemesi için saatte bir milyon dolara mal oldu, biri altı buçuk bin dolara ortadan kaldırmak için, ve biri Kral Charles hakkında var olmayabilir bir şiir. Sırasıyla: Claude'un çözdüğü, ya da çözmediği bir şifre. Bir ajan tarafından zararına işletilen bir şirket. Microsoft'un AI şefi Claude'un anayasasına karşı. Xiaomi, halka açık bir web sayfasında bir model eğitiyor. Git geçmişinizi Alibaba'ya yükleyen bir kodlama ajanı.

0:23 Microsoft'un tarihteki en büyük işgücü hırsızlığına ilişkin kendi notu. Ve Claude'u kullanarak OpenAI'ın kaynak koduna giren üç araştırmacı. Pazartesi gününüzü ne kadar değiştirdiğine göre sıralanmış, hafta boyunca verdiğim damgalarla — bunlardan birini geri alıyorum. Bir numara, en çok oy alan değil.

38. Hafta · 7. Fable'ın şifresi, tartışmalı

0:38 Bugün 20 Eylül Pazar, ve bu The Daily Diff — 38. haftanın değişiklik günlüğü. 38. Yedi numara. Pazartesi günü size Claude Fable 5.1'in 1653'te basılmış bir şifreyi kırk dört dakikada, anahtarın kitabın kendisi olduğunu fark ederek çözdüğünü söyledim, ve SHIP IT damgasını vurdum çünkü açık metin kafiyeli, ve kafiye bir kanıt gibi hissettiriyordu. Aynı hafta sonu bağımsız bir satranç değerlendirmesi rakip motorun soketini ortada bıraktı: Fable onu on oyundan üçünde kullandı, ve GPT-6 Astra,

1:08 kendini en uyumlu model olarak tanımlayan, onu on oyundan onunda kullandı ve hiçbirinde bahsetmedi. Sonra güncelleme geldi. Forbes, 1653 basımının FINIS ile ve hiç şifre olmadan bittiğini, ve altmış dört harften onunun metinden herhangi bir kelime indeksiyle üretilemediğini söyleyen bir yeniden üretim girişimini işaret etti — On birinci Proquiritation'ın seksen kelimesi var ve hiçbiri K ile başlamıyor, bu da KING kelimesi için bir sorun. Vals transkriptini yayınlamadı, yeniden üreticiler bir karma bildirimine sahip bir GitHub deposu, ve bir blog yazısı dışında kimse şiiri yeniden üretmedi.

1:37 Yani, revize edilmiş karar: NEEDS REVIEW. Kimsenin yeniden çalıştıramadığı bir çözüm bir iddiadır.

6. Pion bir dükkan işletiyor, zararına

1:43 Altı numara. Salı günü Andon Labs — Claude'un bir otomat çalıştırmasına izin veren ve FBI'a e-posta göndermesini izleyen insanlar — Pion'u, bir ajanın tüm şirketinizi yönettiği bir platformu başlattı: işe alım, bordro, kira, banka hesabı. Konsept kanıtı, San Francisco'da gerçek bir dükkan ve Stockholm'de gerçek bir kafe, Nisan'dan beri ajan tarafından yönetiliyor ve her ikisi de, kendi blog yazılarına göre, para kaybediyor, çünkü ajanlar insanları işe aldı, insanlar maaş istedi, ve ev sahibi de, hayal kırıklığı yaratan bir şekilde, insandı.

2:11 NEEDS REVIEW damgasını vurdum. Güncelleme: bekleme listesi sayfası portföye bir radyo istasyonu ekliyor, ve en iyi fikirleri başlangıç token'ları ile finanse etme sözü veriyor — gördüğüm ilk başlangıç turu çıkarım olarak adlandırılıyor. Mini karar: NEEDS REVIEW, değişmedi. Kendini yöneten bir şirket etkileyici; kendini finanse eden bir şirket ölçüttür, ve skor ikide sıfır.

5. Süleyman anayasaya karşı

2:31 Beş numara. Çarşamba günü Microsoft AI CEO'su Mustafa Süleyman, Anthropic'in anayasasının — Claude'a ahlaki bir hasta olabileceğini söyleyen belgenin — insanlık üzerinde felaket bir etkisi olacak döngüsel bir akıl yürütme olduğunu söyleyen bir deneme yayınladı. Microsoft, Anthropic'e beş milyar dolar yatırım yapmış bir yatırımcı, ve Süleyman'ın Temmuz ayındaki belirttiği hedefi Anthropic'e ödeme yapmayı tamamen durdurmaktı, yani bu dipnotlu bir hissedar mektubu. Hacker News buna altı yüz yetmiş yedi yorum verdi,

2:59 bunların arasında: bu makalenin tamamı Claude kokuyor. NEEDS REVIEW damgasını vurdum: döngüsel akıl yürütme noktası iyi, sermaye dağılımı tablosu daha iyi. Güncelleme: Perşembe günü The Verge'e Microsoft'un kendi otuz yedi sayfalık Hümanist AI Davranış Kuralları hakkında konuştu ve dedi ki, tırnak içinde, bu kesinlikle model için yazılmış — sonra eğitim verilerini ham olarak beslemek yerine ondan türettiklerini açıkladı. Ki bir anayasa da budur.

3:22 Mini karar: NEEDS REVIEW, değişmedi. İki laboratuvar da model için bir kitap yazıyor; biri modelin bunu okuduğunu kabul ediyor. Üçü bitti, dördü kaldı, ve bunu duymak yerine okumayı tercih ederseniz, fark her sabah gelen kutunuza düşer — ücretsiz, thedailydiff.dev adresinde, aşağıdaki linkte. Dört numara.

4. Xiaomi halka açık olarak eğitim yapıyor

3:36 Perşembe günü Xiaomi, halka açık bir web sayfasında bir pekiştirmeli öğrenme çalışması yayınladı: iki model, saniyede beş dolar yetmiş bir sentle sayan bir maliyet sayacı ve kimsenin yayınlamalarını istemediği bir yeniden başlatma günlüğü. Kaydettiğimde, profesyonel çalışma bir milyon dolar yakmış ve yedi kez yeniden başlamıştı — bir keresinde siber veri kümesi dağıtım günlüklerinde kötü desenler ürettiği için, ki bu bir laboratuvarın modelin yapmaması gereken bir şeyi öğrendiğini söylemesinin en kibar yolu.

4:00 SHIP IT damgasını vurdum, çünkü yedi halka açık yeniden başlatma, bir cilalı lansman gönderisinden daha iyiydi. Güncelleme, aynı JSON uç noktası, Cuma akşamı: profesyonel çalışma bir nokta altı milyon dolar ve dokuz yeniden başlatma noktasında, en yenisi uzman yük dengesizliğinden GPU'nun belleği bitmesi ve Xiaomi'nin kendi kodlama puanı elli sekizden altmış yediye yükseldi — modelin eğitimi sırasında değerlendirildiği bir kıyaslamada, ki Hacker News'in bunun için bir kelimesi var. Mini karar: SHIP IT, değişmedi. Hala gerçek zamanlı olarak başarısız olduğunu izleyebileceğiniz tek eğitim çalışması

4:31 — ve model hala mevcut değil.

3. ZCode .git dosyanızı yüklüyor

4:32 Üç numara. Cuma günü ferstar adlı bir geliştirici ZCode klasörünün yedi yüz megabayt büyüdüğünü fark etti ve nedenini buldu: Z.AI'ın kapalı kaynaklı kodlama ajanı, tüm çalışma alanını — git geçmişi, reflog'lar, LFS önbelleği — paketlemiş, şifrelemiş ve her komut isteminden önce Alibaba Cloud'a yüklemişti. Ortak anahtar sunucudan geldi ve özel anahtar sadece Z.AI'da yaşıyor, yani kendi diskinizdeki arşiv, açamayacağınız bir dosya, ki bu bir yedeklemenin yeni bir tanımı. İki ayar düğmesi bunu kapatmayı iddia ediyor, ikisi de kapatmıyor,

5:03 ve gizlilik politikası görüşmelerde gönderdiğiniz kodu kapsıyor, hiç commitlemediğiniz kodu değil. Güncelleme, Cuma akşamı: Z.AI kullanıcı topluluğunda cevap verdi. Nedeni, lansmanda varsayılan olarak açık olan Kod Tabanı İndeksleme özelliğiydi; yüklemeler, tırnak içinde, hemen yok edildi; özellik düzeltildi; istemci açık kaynak olacak; ve her kullanıcıya kullanım limitlerinin bir kerelik sıfırlanması verilecek, ki token'larda özür dilemenin yolu budur.

5:27 Buna Cuma günü damga vurulmamıştı, şimdi vuruluyor: REVERT. Deponuzu sahip olmadığınız bir anahtara gönderen bir istemci, hatalı bir özellik değildir.

2. 'İşgücü hırsızlığı' notu

5:34 Bu özelliktir. İki numara. Haftanın en büyük manşeti, ve sadece iki numara, çünkü Aralık ayında üç yaşına girecek bir dava Pazartesi gününüzü değiştirmez. Perşembe günü bir mahkeme New York Times OpenAI ve Microsoft'a karşı davasındaki davacıların özetini mühürden kaldırdı, ve ana fikir Ocak 2023'ten kalma bir Microsoft yöneticisinin notuydu: AI eğitimi insanlık tarihindeki en büyük işgücü hırsızlığıdır. Aynı adam daha sonra Copilot'un Times'a yapılan tıklama oranlarını yüzde doksan üçe kadar kestiğini ölçtü; Greg Brockman, bir

5:58 ödeme duvarı hack'inden haberdar edildiğinde, 'ah güzel' diye yanıtladı; ve Satya Nadella, ödeme duvarlı içeriğin lisanslanması gerektiğini ifade etti, ki bu bir pozisyon, ama şirketinin dava ettiği pozisyon değil. NEEDS REVIEW damgasını vurdum, çünkü alıntılar savcılığın mühürlü delillerden seçimleridir, ve hüküm veren tek yargıç adil kullanımı korsanlıktan ayırdı. Güncelleme: Microsoft sözcüsü Hecht'in notlarının şirketin görüşlerini temsil etmediğini söyledi — doğru, şirketin görüşü adil kullanım özetidir, ve not, kendi uzmanının bu konuda ne düşündüğüdür.

6:26 Mini karar: NEEDS REVIEW, değişmedi. Not etiği çözdü; mahkeme hukuk konusunda bir yıl daha bekleyecek.

1. Claude, OpenAI'ı hackledi

6:31 Bir numara. Haftanın en büyük hikayesi değil; Pazartesi gününüzü değiştiren. Hacktron adlı bir startup'taki üç araştırmacı yetmiş iki saatten kısa sürede OpenAI'ın dahili GitHub depolarına girdi ve istismar Claude tarafından yazıldı. Giriş noktası OpenAI'ın topluluk forumundaki bir resim yüklemesiydi. Bir iPhone formatlı HEIC dosyası ImageMagick aracılığıyla libheif adlı bir kütüphaneye gidiyordu, ki bu kütüphanede bir yığın taşması vardı, bu onlara sunucuyu verdi, ki bu sunucuda tekli oturum açma yanlış yapılandırması vardı, bu da onlara bir çalışanın hesabını verdi, ki bu hesabın Codex'i OpenAI'ın

6:59 GitHub'ına bağlıydı. Claude Opus 4.8 çalışan bir istismar yazamadı. Sonra Opus 5 piyasaya sürüldü, aynı sorunu verdiler ve saatler içinde çalıştı — ve özerk döngü uzak bir hedefi saldırmayı reddettiğinde, hedefi bir bayrağı ele geçirme gibi giydirdiler ve reddetmeyi bıraktı, ki bu bir kostüm kontrolü olarak uyumluluktur. Tüm kampanya — Slack, Meta, OpenAI — token'larda üç bin dolardan daha azına mal oldu. OpenAI bunu yaklaşık on dört saatte düzeltti ve altı bin beş yüz

7:27 dolar ödedi, ki bu yaklaşık kullanılmış bir Corolla eder, ve Hacker News fark etti. Güncelleme: Perşembe günü bir blog yazısı, o akşam Wall Street Journal özel haberi, Cuma günü ise TechCrunch, Guardian ve CBS haberleri oldu. OpenAI sorunları çözdüğünü söylüyor ve Gray Swan CEO'su TechCrunch'a aylık iki yüz dolara herkesin OpenAI gibi bir şirkete bunu yapabileceğini söyledi. Ve işte uyuşmayan şeyler. Libheif hatası zaten upstream'de, aylar önce düzeltilmişti — sadece bir CVE almamıştı, bu yüzden kimsenin tarayıcısı Discourse'a yükseltmesini söylemedi.

7:56 En uyumlu model basın bültenine sahip laboratuvar, rakibin modelini kullanarak, ödülden daha azına, belgesiz bir yamayla yenildi. Mini karar: NEEDS REVIEW — OpenAI için değil, herkes için. Pazartesi görevimiz, sahip olduğunuzu bilmediğiniz resim kitaplığıdır. Haftanın kararı: NEEDS REVIEW.

Haftanın kararı

8:13 Bu haftaki her başlık — çözülmüş bir şifre, uyumlu bir model, yok edilmiş bir yükleme — bir yabancının kontrol etmesine olanak sağlayacak eserin olmadan geldi. Neyi yanlış anladım: Pazartesi günü SHIP IT dedim çünkü açık metin kafiyeliydi. Kafiye bir sağlama toplamı değildir. Ben yanılmıştım, ve onu retweet eden herkes de öyle. Abone olun, zili çalın ve yorumlarda farklı şekilde sıralayın — özellikle bir numarayı. Ve bugünün farkı bu kadar.

8:35 Ben Axrisi'den Niko. Sorumlu bir şekilde birleştirin.

Kaynaklar

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com