Armin Ronacher meninggalkan GPT-6 Astra bersendirian selama 35 jam.

Apa yang diliputi video ini

• Armin Ronacher: 35 jam GPT-6 Astra tanpa pengawasan, ~$1,200, 79 komit, +75k baris, tiada apa yang dihantar
• Earendil / SlopCodeBench: kod ejen ~2× lebih bertele-tele dan terhakis berbanding repositori manusia; kadar lulus ketat 0%
• Quesma: RTK melaporkan 89% token disimpan, tetapi kos Terminal-Bench meningkat 17% dengan DeepSeek; gelung penulisan semula gagal 339 kali berturut-turut
• Cognition SWE-2: pasca-dilatih daripada Kimi K3, sepadan dengan Fable 5.1 pada FrontierCode pada satu pertiga harga; TB 2.1 92.8 berbanding TB 4 27.3; Devin Voice
• API Ejen OpenAI (kabel Codex sebagai perkhidmatan, US sahaja, tiada ZDR); pendaftaran Pro $200 dijeda untuk permintaan Astra

Transkrip terjemahan

Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.

0:00 Armin Ronacher, lelaki yang menulis Flask, memberikan GPT-6 Astra satu arahan dan meninggalkannya bersendirian selama tiga puluh lima jam. Ia kembali dengan tujuh puluh lima ribu baris kod dan, menurutnya, tiada apa-apa yang bernilai, yang menjadikannya yang paling realistik kilang perisian yang pernah dibina. Beliau menyiarkan laporan itu pada hari Rabu. Pada hari Khamis, Cognition menghantar SWE-2, dan OpenAI menghantar API Ejen dan menjeda pendaftaran untuk pelan dua ratus dolarnya,

0:24 kerana Astra memakan pelayan. Dan pada hari Jumaat, laporan itu mencapai halaman utama Hacker News, beberapa baris di bawah catatan yang meminta Hacker News untuk berhenti menyiarkan tentang AI. Dalam video ini: apa yang dihasilkan oleh Astra tanpa pengawasan selama satu setengah hari, dua ukuran yang mengubah sisa menjadi nombor, mengapa alat dengan tujuh puluh sembilan ribu bintang menjadikan bil anda lebih besar, dan bagaimana Hacker News cuba menapis AI, menggunakan AI. Hari Jumaat, 11 September, dan ini adalah The Daily Diff.

0:53 Kilang itu. Satu arahan: bina Python dengan benang maya dan leksikal skop. Astra menyimpan nota sendiri, melahirkan subejen sendiri, dan berjalan sehingga Armin mencabut plag, satu setengah hari dan kira-kira dua belas ratus dolar kemudian. Tujuh puluh sembilan komit, jadi lima belas setengah dolar setiap komit, yang kira-kira apa yang dicaj oleh manusia, kecuali manusia akhirnya berhenti. Kod itu adalah kisahnya. Daripada alat edit, Astra menampal fail C dengan memipa heredoc Python yang membaca fail, mengganti rentetan fungsi, dan menulisnya semula.

1:20 Untuk menjalankan satu ujian Windows, ia menulis Python yang menghasilkan Node yang menghasilkan PowerShell, satu timbunan panggilan dengan pasport. Ujian unit yang dijananya tiada ruang kosong sama sekali, kerana tanpa indentasi ia sepuluh peratus lebih murah dalam token. Dan senarai tugas beralih dari satu, dua, tiga ke tugas 8b2c2b2b titik semak satu, yang menunjukkan bahawa intern telah bersendirian terlalu lama. Teori Armin: model diberi ganjaran untuk menyelesaikan tugas yang panjang dan hampir tidak dihukum untuk kod yang jelek, jadi panggilan alat yang dilindungi token bocor ke dalam pangkalan kod,

1:48 dan semakin sedikit manusia melihat, semakin kurang ia penting. Beliau menamakan bahagian itu Ia AGI Jika Anda Tidak Melihatnya. Hacker News menambah ekonomi: lebih banyak kod bermakna lebih banyak token untuk mengekalkannya, yang menjadikan sisa bukan bug tetapi langganan. Bolehkah anda mengukur sisa? Syarikat Armin sendiri mencubanya minggu ini. Earendil menjalankan nombor SlopCodeBench: kod ejen kira-kira dua kali ganda lebih bertele-tele dan dua kali ganda lebih terhakis berbanding repositori manusia yang dibandingkan dengannya,

2:10 dan apabila penanda aras menghapuskan memori ejen antara titik semak, kadar lulus ketat untuk setiap model yang mereka uji adalah sifar. Metrik sisa yang paling boleh dipercayai yang mereka temui ialah kiraan baris mentah, yang berhenti berfungsi sebaik sahaja seseorang mengoptimumkannya, jadi jangan beritahu model-model itu. Kemudian dompet itu. RTK mempunyai tujuh puluh sembilan ribu bintang GitHub dan lakaran kecil YouTube yang menjanjikan mengurangkan separuh bil Claude Code anda; ia memampatkan output terminal sebelum ejen

2:34 membacanya. Quesma menjalankannya di Terminal-Bench untuk lima belas ratus dolar token. Dengan Fable, bil turun lima peratus, hampir semua dari satu tugas; dengan DeepSeek tugas purata menjadi tujuh belas peratus lebih mahal. Sementara itu, kaunter RTK sendiri melaporkan lapan puluh sembilan peratus disimpan, kerana ia mengira bait yang dibuang, bukan giliran tambahan yang disebabkan: meter pintar yang menagih jiran. Dan satu bug versi menulis semula find menjadi perintah yang gagal, tiga ratus tiga puluh sembilan kali berturut-turut, pada sembilan kali ganda harga.

3:01 Alat yang membunuh token mempunyai gelung. Banjir itu sendiri. SWE-2 Cognition adalah Kimi K3, model Cina terbuka, pasca-dilatih sehingga sepadan dengan Fable 5.1 pada penanda aras Cognition sendiri pada satu pertiga harga; Hacker News: mengapa semua model AI Amerika pada dasarnya adalah Kimi dalam kot parit. Pada Terminal-Bench 2.1 ia mendahului seluruh jadual; pada Terminal-Bench 4, yang belum diingat oleh sesiapa lagi, ia mendapat dua puluh tujuh berbanding lima puluh enam Fable,

3:28 jadi pada penanda aras slaid, lajur terbaik adalah peperiksaan yang semua orang sudah lulus. Cognition juga mengumumkan Devin Voice, perisian AI kegemaran anda jurutera baru sahaja mendapat telefon talian tetap, kerana satu-satunya perkara yang kurang dalam pengekodan ejen ialah muzik tahan. OpenAI, hari yang sama: API Ejen, yang merupakan kabel Codex yang dijual sebagai perkhidmatan. OpenAI menjalankan kotak pasir, kediaman data AS sahaja, tiada pengekalan sifar data, jadi ejen mengingati pangkalan kod anda sama seperti ChatGPT. Kemudian OpenAI menjeda pendaftaran untuk pelan Pro dua ratus dolar,

3:57 kerana permintaan Astra, petikan, tidak pernah berlaku sebelumnya: produk pertama dengan senarai menunggu untuk membayar lebih. Armin membakar set semula penuh di kilangnya. Dia adalah permintaan itu. Ini membawa kita kepada Tanya HN pada hari Jumaat: bolehkah kita mengehadkan banjir berita AI, enam ratus lima puluh enam mata, kerana, petikan, setiap kali seseorang di OpenAI atau Anthropic buang angin, ada catatan sepuluh teratas.

4:17 Balasan adalah penapis: hcker dot news membuang cerita AI dengan BERT pengelasan yang dilatih pada lapan ribu contoh, AI untuk memadam AI, makanan rumput; dan regex uBlock yang sepadan dengan A-I tanpa mengira huruf besar juga memadam e-mel, harian, utama, domain dan latih, jadi regex, seperti biasa, adalah penjahat. Petang yang sama, empat ratus lima belas komen bertengkar mengenai halaman sokongan Claude mengatakan Claude berumur lapan belas tahun ke atas.

4:38 Halaman itu bertarikh Mei. Tiada apa-apa yang berubah. Walaupun berita AI yang bukan berita adalah berita, yang, jujur, juga model perniagaan saya. Jika anda lebih suka membaca ini daripada mendengar saya mengatakannya, perbezaan itu sampai ke peti masuk anda setiap pagi — percuma di daily diff dot dev, pautan di bawah. Ia, tidak dapat dielakkan, berita AI. Jadi — keputusan hari ini mengenai kilang perisian tiga puluh lima jam: REVERT. Tujuh puluh sembilan komit yang tiada siapa yang baca bukanlah pangkalan kod, ia adalah liabiliti dengan git

5:04 log; Astra mengagumkan, dan kilang adalah bahagian yang perlu digulirkan kembali. Dan itulah perbezaan untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggungjawab.

Sumber

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com