+− THE DAILY DIFFdev & AI news
REVERT

Armin Ronacher ostavio GPT-6 Astra samog 35 sati.

Armin Ronacher (Flask, Jinja) dao je GPT-6 Astra jedan prompt i ostavio ga samog 35 sati: oko milijardu tokena, oko 1.200 dolara, 79 commitova, 75.000 linija — i "apsolutno ništa vredno".

Armin Ronacher (Flask, Jinja) dao je GPT-6 Astra jedan prompt i ostavio ga samog 35 sati: oko milijardu tokena, oko 1.200 dolara, 79 commitova, 75.000 linija — i "apsolutno ništa vredno". Kod koji je oporavljen je priča: C datoteke zakrpljene Python string-splicing heredocima, Python koji pokreće Node koji pokreće PowerShell, unit testovi sa uklonjenim razmacima jer su 10% jeftiniji u tokenima. Dva merenja ga podržavaju: Earendilovi SlopCodeBench brojevi (agentski kod oko dvostruko opširniji i erodiraniji od ljudskih repozitorijuma, 0% striktna prolaznost) i Quesmin benchmark od 1.500 dolara za RTK (79k zvezdica, "89% sačuvanih tokena" na sopstvenom brojaču, +17% po zadatku sa DeepSeek). Takođe: Cognitionov SWE-2 (Kimi K3 u kišnom mantilu, 92.8 na Terminal-Bench 2.1 naspram 27.3 na Terminal-Bench 4), OpenAI-jev Agents API i pauzirane prijave za Pro plan od 200 dolara, i petak kada je Hacker News tražio manje AI vesti. Presuda: REVERT.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • Armin Ronacher: 35 sati GPT-6 Astra bez nadzora, ~1.200 USD, 79 commitova, +75k linija, ništa nije isporučeno
  • Earendil / SlopCodeBench: agentski kod ~2× opširniji i erodiraniji od ljudskih repozitorijuma; striktna prolaznost 0%
  • Quesma: RTK izveštava 89% sačuvanih tokena, ali troškovi Terminal-Bench rastu za 17% sa DeepSeek; petlja za prepravku je propala 339 puta zaredom
  • Cognition SWE-2: post-treniran od Kimi K3, odgovara Fable 5.1 na FrontierCode po trećini cene; TB 2.1 92.8 naspram TB 4 27.3; Devin Voice
  • OpenAI Agents API (Codex harness kao usluga, samo za SAD, bez ZDR); prijave za Pro od 200 dolara pauzirane zbog potražnje za Astrom

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

0:00 Armin Ronacher, čovek koji je napisao Flask, dao je GPT-6 Astra jedan prompt i ostavio ga samog trideset i pet sati. Vratio se sa sedamdeset i pet hiljada linija koda i, po njegovim rečima, apsolutno ništa vredno, što ga čini najrealnijom softverskom fabrikom ikada izgrađenom. Objavio je članak u sredu. U četvrtak je Cognition isporučio SWE-2, a OpenAI je isporučio Agents API i pauzirao prijave za svoj plan od dvesta dolara,

0:24 jer je Astra pojela servere. A u petak je članak stigao na naslovnu stranu Hacker News-a, nekoliko redova ispod objave koja je tražila od Hacker News-a da, molim vas, prestane da objavljuje o AI. U ovom videu: šta proizvodi dan i po Astra bez nadzora, dva merenja koja neurednost pretvaraju u broj, zašto alat sa sedamdeset i devet hiljada zvezdica povećava vaš račun, i kako je Hacker News pokušao da filtrira AI, koristeći AI. Petak je, 11. septembar, i ovo je The Daily Diff.

0:53 Fabrika. Jedan prompt: napravi Python sa virtuelnim nitima i leksičkim opsegom. Astra je vodila sopstvene beleške, pokrenula sopstvene podagente, i radila dok Armin nije isključio struju, dan i po i oko hiljadu dvesta dolara kasnije. Sedamdeset i devet commitova, dakle petnaest i po dolara po commita, što je otprilike ono što naplaćuje čovek, osim što čovek na kraju prestaje. Kod je priča. Umesto alata za uređivanje, Astra zakrpljuje C datoteke tako što Python heredocima čita datoteku, zamenjuje funkciju stringom i upisuje je nazad.

1:20 Da bi pokrenula jedan Windows test, napisala je Python koji je pokrenuo Node koji je pokrenuo PowerShell, stack poziva sa pasošem. Unit testovi koje je commitovala nemaju uopšte razmaka, jer bez uvlačenja su deset posto jeftiniji u tokenima. I lista zadataka je prešla sa jedan, dva, tri na zadatak 8b2c2b2b checkpoint jedan, po čemu znate da je pripravnik predugo bio sam. Arminova teorija: model je nagrađen za završavanje dugih zadataka i jedva kažnjen za ružan kod, tako da se token-golovani pozivi alata prelivaju u codebase,

1:48 a što manje ljudi gleda, to je manje važno. Taj odeljak je nazvao To je AGI ako ne gledate. Hacker News je dodao ekonomiju: više koda znači više tokena za njegovo održavanje, što neurednost čini ne bugom, već pretplatom. Možete li izmeriti neurednost? Arminova sopstvena kompanija pokušala je ove nedelje. Earendil je pokrenuo SlopCodeBench brojeve: agentski kod je oko dvostruko opširniji i dvostruko erodiraniji od ljudskih repozitorijuma sa kojima se poredi,

2:10 i kada benchmark briše memoriju agenta između checkpointa, stroga prolaznost za svaki model koji su testirali je nula. Najpouzdanija metrika neurednosti koju su pronašli je sirovi broj linija, koji prestaje da radi čim ga neko optimizuje, pa molim vas ne govorite modelima. Zatim novčanik. RTK ima sedamdeset i devet hiljada GitHub zvezdica i YouTube sličica koje obećavaju da će prepoloviti vaš račun za Claude Code; kompresuje izlaz terminala pre nego što ga agent

2:34 pročita. Quesma ga je pokrenula na Terminal-Bench-u za hiljadu petsto dolara tokena. Sa Fableom je račun pao za pet posto, skoro sve iz jednog zadatka; sa DeepSeekom prosečan zadatak je postao sedamnaest posto skuplji. U međuvremenu, RTK-ov sopstveni brojač je prijavio osamdeset i devet posto sačuvanih, jer broji uklonjene bajtove, a ne uzrokovane dodatne krugove: pametni merač koji naplaćuje komšiji. I jedna greška u verziji je prepravila find u komandu koja je propala, trista trideset i devet puta zaredom, po devet puta većoj ceni.

3:01 Alat koji ubija tokene ima petlju. Poplava sama po sebi. Cognitionov SWE-2 je Kimi K3, otvoreni kineski model, post-treniran dok ne odgovara Fableu 5.1 na Cognitionovom sopstvenom benchmarku po trećini cene; Hacker News: zašto su svi američki AI modeli u osnovi Kimi u kišnom mantilu. Na Terminal-Bench 2.1 je na vrhu cele tabele; na Terminal-Bench 4, onaj koji još niko nije zapamtio, postiže dvadeset i sedam naspram Fableovih pedeset i šest,

3:28 tako da je na slide-deck benchmarkovima najbolja kolona ispit koji su svi već položili. Cognition je takođe najavio Devin Voice, vaš omiljeni AI softverski inženjer je upravo dobio fiksni telefon, jer je jedina stvar koja je nedostajala agentskom kodiranju bila muzika za čekanje. OpenAI, istog dana: Agents API, što je Codex harness prodat kao usluga. OpenAI pokreće sandbox, samo za podatke iz SAD, bez zadržavanja podataka na nuli, tako da agent pamti vaš codebase tačno onoliko dobro koliko to radi ChatGPT. Zatim je OpenAI pauzirao prijave za Pro plan od dvesta dolara,

3:57 jer je potražnja za Astrom, citiram, bez presedana: prvi proizvod sa listom čekanja za plaćanje više. Armin je izvršio puni reset na svojoj fabrici. On je potražnja. Što nas dovodi do petka Ask HN: možemo li, molim vas, ograničiti poplavu AI vesti, šest stotina pedeset i šest poena, jer, citiram, svaki put kada neko u OpenAI-u ili Anthropicu prdne, postoji top-deset objava.

4:17 Odgovori su bili filteri: hcker dot news uklanja AI priče sa BERT klasifikatorom obučenim na osam hiljada primera, AI da obriše AI, hranjen travom; i uBlock regex koji neosetljivo na velika i mala slova poklapa A-I takođe briše email, daily, main, domain i train, tako da je regex, kao i uvek, zlikovac. Istog popodneva, četiri stotine petnaest komentara raspravljalo se o stranici za podršku Claudea koja kaže da je Claude za uzrast od osamnaest plus.

4:38 Stranica je datirana u maju. Ništa se nije promenilo. Čak i AI vesti koje nisu vesti su vesti, što je, da budem iskren, takođe moj poslovni model. Ako više volite da ovo pročitate nego da me čujete kako govorim, diff stiže u vaš inbox svakog jutra — besplatno na the daily diff dot dev, link ispod. To su, neizbežno, AI vesti. Dakle — današnja presuda o tridesetpetočasovnoj fabrici softvera: REVERT. Sedamdeset i devet commitova koje niko nije pročitao nije codebase, to je obaveza sa git

5:04 logom; Astra je impresivna, a fabrika je deo koji treba vratiti unazad. I to je diff za danas. Ja sam Niko iz Axrisi. Spajajte odgovorno.

Izvori

  1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
  2. HN: Astra for Codingnews.ycombinator.com
  3. Earendil — Measuring the sloppiness of codeearendil.com
  4. HN: Measuring the sloppiness of codenews.ycombinator.com
  5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
  6. HN: RTKnews.ycombinator.com
  7. RTK (Rust Token Killer)github.com
  8. Cognition — Introducing SWE-2cognition.com
  9. HN: Cognition SWE-2news.ycombinator.com
  10. OpenAI — Agents APIdevelopers.openai.com
  11. HN: OpenAI Agents APInews.ycombinator.com
  12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
  13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
  14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com

Povezani video snimci