Armins Ronahers atstāja GPT-6 Astra vienu uz 35 stundām.

Ko aptver šis video

• Armins Ronahers: 35 h bez uzraudzības GPT-6 Astra, ~1200 ASV dolāri, 79 izpildes, +75k rindas, nekas netika piegādāts
• Earendil / SlopCodeBench: aģenta kods ~2× izvērstāks un bojātāks nekā cilvēka repozitoriji; stingra caurlaides pakāpe 0%
• Quesma: RTK ziņo par 89% ietaupītiem žetoniem, bet Terminal-Bench izmaksas pieaug par 17% ar DeepSeek; pārrakstīšanas cikls neizdevās 339 reizes pēc kārtas
• Cognition SWE-2: pēcapmācīts no Kimi K3, atbilst Fable 5.1 uz FrontierCode par trešdaļu cenas; TB 2.1 92,8 pret TB 4 27,3; Devin Voice
• OpenAI Agents API (Codex sistēma kā pakalpojums, tikai ASV, bez ZDR); 200 ASV dolāru Pro reģistrācija apturēta Astra pieprasījuma dēļ

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

0:00 Armins Ronahers, vīrs, kurš rakstīja Flask, iedeva GPT-6 Astra vienu uzvedni un atstāja to vienu uz trīsdesmit piecām stundām. Tas atgriezās ar septiņdesmit pieciem tūkstošiem koda rindu un, pēc viņa vārdiem, absolūti neko vērtīgu, kas padara to par visreālistiskāko programmatūras rūpnīcu, kas jebkad uzbūvēta. Viņš publicēja ziņojumu trešdien. Ceturtdien Cognition piegādāja SWE-2, un OpenAI piegādāja Agents API un apturēja reģistrāciju savam divsimt dolāru plānam,

0:24 jo Astra apēda serverus. Un piektdien ziņojums sasniedza Hacker News pirmo lapu, dažas rindas zem ieraksta, kas lūdza Hacker News, lai, lūdzu, pārtrauc publicēt par AI. Šajā video: ko rada pusotra diena bez uzraudzības Astra, divi mērījumi, kas pārvērš nekārtību skaitlī, kāpēc rīks ar septiņdesmit deviņiem tūkstošiem zvaigžņu palielina jūsu rēķinu, un kā Hacker News mēģināja filtrēt AI, izmantojot AI. Ir piektdiena, 11. septembris, un tas ir The Daily Diff.

0:53 Rūpnīca. Viena uzvedne: izveidot Python ar virtuālām pavedieniem un leksisko tvērumu. Astra paturēja savas piezīmes, palaida savus apakšaģentus, un darbojās, līdz Armins izvilka kontaktdakšu, pusotra diena un apmēram divpadsmit simti dolāru vēlāk. Septiņdesmit deviņas izpildes, tātad piecpadsmit ar pusi dolāru par izpildi, kas ir aptuveni tas, ko prasa cilvēks, izņemot to, ka cilvēks galu galā apstājas. Kods ir stāsts. Tā vietā, lai izmantotu rediģēšanas rīku, Astra labo C failus, pārvirzot Python heredocs, kas nolasīt failu, virknē-aizstāt funkciju un rakstīt to atpakaļ.

1:20 Lai palaistu vienu Windows testu, tas uzrakstīja Python, kas palaida Node, kas palaida PowerShell, zvanu steku ar pasi. Vienību testiem, ko tas veica, nav nekādu atstarpju, jo bez atkāpēm tie ir par desmit procentiem lētāki žetonos. Un uzdevumu saraksts novirzījās no viens, divi, trīs uz uzdevumu 8b2c2b2b kontrolpunkts viens, kas ir tas, kā jūs zināt, ka praktikants ir bijis viens pārāk ilgi. Armina teorija: modelis tiek atalgots par garu uzdevumu pabeigšanu un gandrīz sodīts par neglītu kodu, tāpēc žetonu-golfētās rīku izsaukumi ieplūst koda bāzē,

1:48 un jo mazāk cilvēku skatās, jo mazāk tas ir svarīgi. Viņš šo sadaļu nosauca par Tas ir AGI, ja jūs neskatāties. Hacker News pievienoja ekonomiku: vairāk koda nozīmē vairāk žetonu tā uzturēšanai, kas padara nekārtību nevis par kļūdu, bet par abonementu. Vai jūs varat izmērīt nekārtību? Armina paša uzņēmums mēģināja šonedēļ. Earendil palaida SlopCodeBench skaitļus: aģenta kods ir apmēram divreiz izvērstāks un divreiz bojātāks nekā cilvēka repozitoriji, ar kuriem tas tiek salīdzināts,

2:10 un kad etalons izdzēš aģenta atmiņu starp kontrolpunktiem, stingra caurlaides pakāpe katram modelim, ko viņi testēja, ir nulle. Visuzticamākā nekārtības metrika, ko viņi atrada, bija neapstrādāts rindu skaits, kas pārtrauc darboties brīdī, kad kāds to optimizē, tāpēc, lūdzu, nestāstiet modeļiem. Tad maks. RTK ir septiņdesmit deviņi tūkstoši GitHub zvaigžņu un YouTube sīktēlu, kas sola samazināt jūsu Claude Code rēķinu uz pusi; tas saspiež termināla izvadi pirms aģents

2:34 to lasa. Quesma palaida to uz Terminal-Bench par piecpadsmit simtiem dolāru žetonu. Ar Fable rēķins samazinājās par pieciem procentiem, gandrīz viss no viena uzdevuma; ar DeepSeek vidējais uzdevums kļuva par septiņpadsmit procentiem dārgāks. Tikmēr RTK pats skaitītājs ziņoja par astoņdesmit deviņiem procentiem ietaupītiem, jo tas skaita noņemtos baitus, nevis papildu apgriezienus: viedais skaitītājs, kas izraksta rēķinu kaimiņam. Un viena versijas kļūda pārrakstīja find par komandu, kas neizdevās, trīssimts trīsdesmit deviņas reizes pēc kārtas, par deviņām reizēm lielāku cenu.

3:01 Rīkam, kas nogalina žetonus, ir cilpa. Pats plūdi. Cognition's SWE-2 ir Kimi K3, atvērtais ķīniešu modelis, pēcapmācīts, līdz tas atbilst Fable 5.1 uz Cognition paša etalona par trešdaļu cenas; Hacker News: kāpēc visi amerikāņu AI modeļi būtībā ir Kimi mētelī. Uz Terminal-Bench 2.1 tas ierindojas pirmajā vietā visā tabulā; uz Terminal-Bench 4, tas, ko neviens vēl nav iegaumējis, tas gūst divdesmit septiņus punktus pret Fable piecdesmit sešiem,

3:28 tātad slaidu prezentāciju etalonos labākā kolonna ir eksāmens, ko visi jau nokārtoja. Cognition arī paziņoja par Devin Voice, jūsu iecienītākais AI programmatūras inženieris tikko ieguva fiksēto tālruni, jo viena lieta, kas aģenturālajai kodēšanai trūka, bija gaidīšanas mūzika. OpenAI, tajā pašā dienā: Agents API, kas ir Codex sistēma, ko pārdod kā pakalpojumu. OpenAI vada smilškasti, tikai ASV datu rezidence, bez nulles datu saglabāšanas, tāpēc aģents atceras jūsu koda bāzi tieši tāpat kā ChatGPT. Tad OpenAI apturēja reģistrāciju divsimt dolāru Pro plānam,

3:57 jo Astra pieprasījums ir, citējot, "bezprecedenta": pirmais produkts ar gaidīšanas sarakstu lai maksātu vairāk. Armins veica pilnīgu atjaunošanu savā rūpnīcā. Viņš ir pieprasījums. Kas mūs noved pie piektdienas "Jautājiet HN": vai mēs, lūdzu, varam ierobežot AI ziņu plūdus, sešsimt piecdesmit seši punkti, jo, citējot, "katru reizi, kad kāds OpenAI vai Anthropic izpūš gaisu, ir top-desmit ieraksts."

4:17 Atbildes bija filtri: hcker.news noņem AI stāstus ar BERT klasifikatoru, kas apmācīts uz astoņiem tūkstošiem piemēru, AI, lai dzēstu AI, ar zāli barots; un uBlock regex, kas atbilst A-I, neņemot vērā burtu lielumu, arī dzēš e-pastu, ikdienas, galveno, domēnu un vilcienu, tāpēc regex, kā vienmēr, ir nelietis. Tajā pašā pēcpusdienā, četrsimt piecpadsmit komentāri strīdējās par Claude atbalsta lapu sakot, ka Claude ir astoņpadsmit plus.

4:38 Lapa datēta maijā. Nekas nemainījās. Pat AI ziņas, kas nav ziņas, ir ziņas, kas, godīgi sakot, ir arī mans biznesa modelis. Ja jūs labprātāk lasītu to, nevis dzirdētu mani to sakām, diff nonāk jūsu iesūtnē katru rītu — bez maksas daily diff dot dev, saite zemāk. Tas ir, neizbēgami, AI ziņas. Tātad — šodienas spriedums par trīsdesmit piecu stundu programmatūras rūpnīcu: atjaunot. Septiņdesmit deviņas izpildes, ko neviens nav lasījis, nav koda bāze, tā ir saistības ar git

5:04 žurnālu; Astra ir iespaidīga, un rūpnīca ir daļa, kas jāatceļ. Un tas ir šodienas diff. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com