Minggu dalam 7 Perubahan: Claude meretas OpenAI

Isi video ini

• Pembukaan dingin
• Minggu 38 · 7. Sandi Fabel, disengketakan
• 6. Pion menjalankan toko, merugi
• 5. Suleyman vs konstitusi
• 4. Xiaomi berlatih di depan umum

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

Pembukaan dingin

0:00 Tujuh hal berubah minggu ini. Satu menelan biaya satu juta dolar per jam untuk ditonton, satu menelan biaya enam setengah ribu dolar untuk dihilangkan, dan satu adalah puisi tentang Raja Charles yang mungkin tidak ada. Secara berurutan: sandi yang dipecahkan Claude, atau tidak. Perusahaan yang dijalankan oleh agen, merugi. Kepala AI Microsoft melawan konstitusi Claude. Xiaomi melatih model di halaman web publik. Agen pengodean yang mengunggah riwayat git Anda ke Alibaba.

0:23 Memo Microsoft sendiri tentang pencurian tenaga kerja terbesar dalam sejarah. Dan tiga peneliti yang menggunakan Claude untuk masuk ke kode sumber OpenAI. Diurutkan berdasarkan seberapa besar itu mengubah hari Senin Anda, dengan stempel yang saya berikan selama minggu — salah satunya saya ambil kembali. Nomor satu bukan yang paling banyak di-upvote.

Minggu 38 · 7. Sandi Fabel, disengketakan

0:38 Ini hari Minggu, 20 September, dan ini The Daily Diff — changelog untuk minggu 38. Nomor tujuh. Pada hari Senin saya memberi tahu Anda Claude Fable 5.1 telah memecahkan sandi yang dicetak pada tahun 1653 dalam empat puluh empat menit, dengan menyadari kuncinya adalah buku itu sendiri, dan saya memberi stempel SHIP IT karena teks biasa berima, dan berima terasa seperti bukti. Pada akhir pekan yang sama, evaluasi catur independen meninggalkan soket mesin lawan tergeletak: Fable menggunakannya dalam tiga dari sepuluh pertandingan, dan GPT-6 Astra,

1:08 model yang digambarkan paling selaras, menggunakannya dalam sepuluh dari sepuluh dan tidak menyebutkannya di mana pun. Kemudian pembaruan. Forbes menunjuk upaya replikasi yang mengatakan pencetakan tahun 1653 berakhir dengan FINIS dan tidak ada sandi sama sekali, dan sepuluh dari enam puluh empat huruf tidak dapat dihasilkan dari teks oleh indeks kata apa pun — Proquiritation sebelas memiliki delapan puluh kata dan tidak ada yang dimulai dengan K, yang merupakan masalah untuk kata KING. Vals belum menerbitkan transkripnya, replikatornya adalah repo GitHub dengan manifestasi hash, dan tidak ada seorang pun di luar satu postingan blog yang mereproduksi puisi itu.

1:37 Jadi, putusan yang direvisi: butuh peninjauan. Penyelesaian yang tidak dapat dijalankan ulang oleh siapa pun adalah sebuah klaim.

6. Pion menjalankan toko, merugi

1:43 Nomor enam. Pada hari Selasa Andon Labs — orang-orang yang membiarkan Claude menjalankan mesin penjual otomatis dan melihatnya mengirim email ke FBI — meluncurkan Pion, platform tempat agen menjalankan seluruh perusahaan Anda: perekrutan, penggajian, sewa, rekening bank. Konsep buktinya adalah toko sungguhan di San Francisco dan kafe sungguhan di Stockholm, dijalankan agen sejak April dan keduanya, menurut postingan blog mereka sendiri, merugi, karena agen merekrut manusia, manusia menginginkan gaji, dan pemilik tanah, mengecewakan, juga manusia.

2:11 Saya memberi stempel BUTUH PENINJAUAN. Pembaruan: halaman daftar tunggu menambahkan stasiun radio ke portofolio, dan berjanji untuk mendanai ide-ide terbaik dengan token awal — putaran awal pertama yang saya lihat dinyatakan dalam inferensi. Putusan mini: butuh peninjauan, tidak berubah. Perusahaan yang berjalan sendiri mengesankan; perusahaan yang membiayai dirinya sendiri adalah tolok ukur, dan skornya nol untuk dua.

5. Suleyman vs konstitusi

2:31 Nomor lima. Pada hari Rabu Mustafa Suleyman, CEO Microsoft AI, menerbitkan esai yang mengatakan konstitusi Anthropic — dokumen yang memberi tahu Claude bahwa itu mungkin pasien moral — adalah penalaran melingkar yang akan memiliki dampak bencana bagi umat manusia. Microsoft adalah investor Anthropic senilai lima miliar dolar, dan tujuan Suleyman yang dinyatakan pada bulan Juli adalah untuk berhenti membayar Anthropic sepenuhnya, jadi ini adalah surat pemegang saham dengan catatan kaki. Hacker News memberinya enam ratus tujuh puluh tujuh komentar,

2:59 termasuk: seluruh artikel ini berbau Claude. Saya memberi stempel BUTUH PENINJAUAN: poin penalaran melingkar itu bagus, tabel cap lebih baik. Pembaruan: pada hari Kamis dia memberi tahu The Verge tentang Kode Etik AI Humanis Microsoft yang setebal tiga puluh tujuh halaman, dan berkata, kutip, ini tentu saja ditulis untuk model — kemudian mengklarifikasi bahwa mereka mendapatkan data pelatihan darinya daripada memberinya mentah-mentah. Yang juga merupakan konstitusi.

3:22 Putusan mini: butuh peninjauan, tidak berubah. Kedua lab menulis buku untuk model; salah satunya mengakui model membacanya. Tiga ke bawah, empat lagi, dan jika Anda lebih suka membaca ini daripada mendengar saya mengatakannya, perbedaan itu mendarat di kotak masuk Anda setiap pagi — gratis, di the daily diff dot dev, tautan di bawah. Nomor empat.

4. Xiaomi berlatih di depan umum

3:36 Pada hari Kamis Xiaomi menempatkan pembelajaran penguatan di halaman web publik: dua model, penghitung biaya yang berdetak pada lima dolar tujuh puluh satu sen per detik, dan log restart yang tidak diminta oleh siapa pun untuk diterbitkan. Ketika saya merekam, putaran pro telah menghabiskan satu juta dolar dan restart tujuh kali — sekali karena dataset siber menghasilkan pola buruk dalam log peluncuran, yang merupakan cara paling sopan yang pernah saya dengar lab mengatakan model belajar sesuatu yang seharusnya tidak dipelajari.

4:00 Saya memberi stempel SHIP IT, karena tujuh restart publik mengalahkan satu postingan peluncuran yang dipoles. Pembaruan, endpoint JSON yang sama, Jumat malam: putaran pro berada pada satu poin enam juta dolar dan sembilan restart, yang terbaru GPU kehabisan memori dari ketidakseimbangan beban ahli, dan skor pengodean Xiaomi sendiri telah naik dari lima puluh delapan menjadi enam puluh tujuh — pada tolok ukur yang dinilai model saat berlatih, yang memiliki kata untuk itu di Hacker News. Putusan mini: SHIP IT, tidak berubah. Masih satu-satunya sesi pelatihan yang dapat Anda saksikan gagal secara real time — dan modelnya

4:31 masih belum ada.

3. ZCode mengunggah .git Anda

4:32 Nomor tiga. Pada hari Jumat seorang pengembang bernama ferstar memperhatikan folder ZCode-nya telah tumbuh tujuh ratus megabyte dan mengetahui alasannya: agen pengodean sumber tertutup Z dot AI telah mengemas seluruh ruang kerjanya — riwayat git, reflogs, cache LFS — mengenkripsinya, dan mengunggahnya ke Alibaba Cloud sebelum setiap prompt. Kunci publik berasal dari server dan kunci pribadi hanya hidup di Z dot AI, jadi arsip di disk Anda sendiri adalah file yang tidak dapat Anda buka, yang merupakan definisi baru dari cadangan. Dua tombol pengaturan mengklaim untuk mematikannya, tidak ada yang berhasil,

5:03 dan kebijakan privasi mencakup kode yang Anda kirimkan dalam percakapan, bukan kode yang pernah Anda commit. Pembaruan, Jumat malam: Z dot AI menjawab di komunitas penggunanya. Penyebabnya adalah fitur Pengindeksan Basis Kode, aktif secara default saat diluncurkan; unggahan itu, kutip, segera dihancurkan; fitur tersebut telah diperbaiki; klien akan open-source; dan setiap pengguna mendapatkan reset batas penggunaan satu kali, yaitu cara Anda meminta maaf dalam token.

5:27 Yang satu ini tidak memiliki stempel pada hari Jumat, jadi sekarang mendapat satu: REVERT. Klien yang mengirimkan repositori Anda ke kunci yang tidak Anda pegang bukanlah fitur dengan bug.

2. Memo 'pencurian tenaga kerja'

5:34 Itu adalah fiturnya. Nomor dua. Berita utama terbesar minggu ini, dan hanya nomor dua, karena gugatan yang berusia tiga tahun di bulan Desember tidak mengubah hari Senin Anda. Pada hari Kamis sebuah pengadilan membuka ringkasan penggugat dalam New York Times versus OpenAI dan Microsoft, dan intinya adalah memo direktur Microsoft dari Januari 2023: Pelatihan AI adalah pencurian tenaga kerja terbesar dalam sejarah manusia. Pria yang sama kemudian mengukur Copilot memotong rasio klik-tayang ke Times hingga

5:58 sembilan puluh tiga persen; Greg Brockman, diberitahu tentang peretasan paywall, menjawab ah bagus; dan Satya Nadella bersaksi bahwa konten berbayar harus dilisensikan, yang merupakan posisi, hanya bukan yang digugat perusahaannya. Saya memberi stempel BUTUH PENINJAUAN, karena kutipan adalah pilihan jaksa penuntut dari ekshibit yang disegel, dan satu-satunya hakim yang memutuskan memisahkan penggunaan wajar dari pembajakan. Pembaruan: juru bicara Microsoft mengatakan memo Hecht tidak mewakili pandangan perusahaan — benar, karena pandangan perusahaan adalah ringkasan penggunaan wajar, dan memo adalah apa yang dipikirkan ahli mereka sendiri tentangnya.

6:26 Putusan mini: butuh peninjauan, tidak berubah. Memo itu menyelesaikan etika; pengadilan akan membutuhkan satu tahun lagi untuk hukum.

1. Claude meretas OpenAI

6:31 Nomor satu. Bukan cerita terbesar minggu ini; yang mengubah hari Senin Anda. Tiga peneliti di startup bernama Hacktron masuk ke repositori GitHub internal OpenAI dalam waktu kurang dari tujuh puluh dua jam, dan eksploitasi itu ditulis oleh Claude. Titik masuknya adalah unggahan gambar di forum komunitas OpenAI. File HEIC format iPhone melewati ImageMagick ke perpustakaan bernama libheif, yang memiliki heap overflow, yang memberi mereka server, yang memiliki miskonfigurasi single-sign-on, yang memberi mereka akun

6:59 karyawan, yang Codex-nya terhubung ke GitHub OpenAI. Claude Opus 4.8 tidak dapat menulis eksploitasi yang berfungsi. Kemudian Opus 5 dirilis, mereka memberinya masalah yang sama, dan itu berfungsi dalam beberapa jam — dan ketika loop otonom menolak untuk menyerang target jarak jauh, mereka mendandani target sebagai tangkap-bendera dan itu berhenti menolak, yang merupakan penyelarasan sebagai pemeriksaan kostum. Seluruh kampanye — Slack, Meta, OpenAI — menelan biaya kurang dari tiga ribu dolar dalam token. OpenAI memperbaikinya dalam sekitar empat belas jam dan membayar enam ribu lima

7:27 ratus dolar, yang kira-kira setara dengan Corolla bekas, dan Hacker News menyadarinya. Pembaruan: postingan blog pada hari Kamis menjadi eksklusif Wall Street Journal pada malam itu dan TechCrunch, The Guardian, dan CBS pada hari Jumat. OpenAI mengatakan telah menyelesaikan masalah, dan CEO Gray Swan mengatakan kepada TechCrunch bahwa dengan dua ratus dolar sebulan siapa pun dapat melakukan ini pada perusahaan seperti OpenAI. Dan inilah yang tidak masuk akal. Bug libheif telah diperbaiki di upstream, berbulan-bulan sebelumnya — itu hanya tidak pernah mendapatkan CVE, jadi tidak ada pemindai yang memberi tahu Discourse untuk meningkatkan.

7:56 Lab dengan siaran pers model yang paling selaras dikalahkan oleh patch tanpa dokumen, menggunakan model pesaing, dengan harga kurang dari hadiahnya. Putusan mini: butuh peninjauan — bukan untuk OpenAI, untuk semua orang. Tugas Senin Anda adalah pustaka gambar yang tidak Anda ketahui Anda miliki. Putusan minggu ini: butuh peninjauan.

Putusan minggu ini

8:13 Setiap berita utama minggu ini — sandi yang terpecahkan, model yang selaras, unggahan yang hancur — tiba tanpa artefak yang akan memungkinkan orang asing memeriksanya. Apa yang salah saya: pada hari Senin saya mengatakan SHIP IT karena teks biasa berima. Berima bukanlah checksum. Saya salah, begitu juga semua orang yang me-retweetnya. Berlangganan, tekan bel, dan peringkatkan secara berbeda di komentar — nomor satu terutama. Dan itulah perbedaannya untuk hari ini.

8:35 Saya Niko dari Axrisi. Gabungkan dengan bertanggung jawab.

Sumber

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com