Armin Ronacher paliko GPT-6 Astra vieną 35 valandoms.

Kas aptariama šiame vaizdo įraše

• Armin Ronacher: 35 val. neprižiūrimos GPT-6 Astra, ~1 200 USD, 79 įsipareigojimai, +75 tūkst. eilučių, nieko neišleista
• Earendil / SlopCodeBench: agento kodas ~2 kartus išsamesnis ir labiau erozijos paveiktas nei žmogaus saugyklos; griežtas praėjimo koeficientas 0%
• Quesma: RTK praneša, kad sutaupyta 89% žetonų, tačiau Terminal-Bench išlaidos su DeepSeek padidėja 17%; perrašymo ciklas nepavyko 339 kartus iš eilės
• Cognition SWE-2: patobulintas iš Kimi K3, atitinka Fable 5.1 „FrontierCode“ už trečdalį kainos; TB 2.1 92.8 prieš TB 4 27.3; Devin Voice
• OpenAI Agents API (Codex įrankių rinkinys kaip paslauga, tik JAV, be ZDR); 200 USD Pro registracijos sustabdytos dėl Astra paklausos

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

0:00 Armin Ronacher, žmogus, parašęs Flask, davė GPT-6 Astra vieną užklausą ir paliko ją vieną trisdešimt penkioms valandoms. Ji grįžo su septyniasdešimt penkiais tūkstančiais kodo eilučių ir, pasak jo, absoliučiai nieko vertingo, o tai daro ją realistiškiausia kada nors sukurta programinės įrangos gamykla. Jis paskelbė aprašymą trečiadienį. Ketvirtadienį Cognition išleido SWE-2, o OpenAI išleido Agents API ir sustabdė registracijas savo dviejų šimtų dolerių planui,

0:24 nes Astra užėmė serverius. O penktadienį aprašymas pasiekė „Hacker News“ pirmąjį puslapį, kelios eilutės žemiau įrašo, prašančio „Hacker News“ nustoti skelbti apie AI. Šiame vaizdo įraše: ką sukuria pusantros dienos neprižiūrimos Astros, du matavimai, kurie paverčia „slop“ į skaičių, kodėl įrankis su septyniasdešimt devyniais tūkstančiais žvaigždžių padidina jūsų sąskaitą ir kaip „Hacker News“ bandė filtruoti AI, naudodama AI. Penktadienis, rugsėjo 11 d., ir tai yra „The Daily Diff“.

0:53 Gamykla. Viena užklausa: sukurti Python su virtualiomis gijomis ir leksiniu apibrėžimo sritimi. Astra pati rašė užrašus, sukūrė savo subagentus, ir veikė, kol Armin ištraukė kištuką, pusantros dienos ir apie tūkstantį du šimtus dolerių vėliau. Septyniasdešimt devyni įsipareigojimai, taigi penkiolika su puse dolerio už įsipareigojimą, kas yra maždaug tiek, kiek ima žmogus, išskyrus tai, kad žmogus galiausiai sustoja. Kodas yra istorija. Vietoj redagavimo įrankio, Astra taiso C failus, nukreipdama Python heredoc'us, kurie nuskaito failą, įterpia funkciją ir įrašo ją atgal.

1:20 Norėdama paleisti vieną „Windows“ testą, ji parašė Python, kuri paleido Node, kuri paleido PowerShell, iškvietimų seka su pasu. Jos įsipareigoti vienetų testai visai neturi tarpų, nes be įtraukimo jie yra dešimt procentų pigesni žetonais. Ir užduočių sąrašas nukrypo nuo vienas, du, trys iki užduoties 8b2c2b2b patikrinimo taško vienas, ir tai yra ženklas, kad praktikantas per ilgai buvo vienas. Armino teorija: modelis apdovanojamas už ilgų užduočių atlikimą ir vos baudžiamas už negražų kodą, todėl žetonais „golfinti“ įrankių iškvietimai patenka į kodų bazę,

1:48 ir kuo mažiau žmonių žiūri, tuo mažiau tai svarbu. Jis pavadino tą skyrių „Tai AGI, jei nežiūrėsi“. „Hacker News“ pridėjo ekonomiką: daugiau kodo reiškia daugiau žetonų jam prižiūrėti, o tai daro „slop“ ne klaida, o prenumerata. Ar galima išmatuoti „slop“? Armino paties įmonė bandė šią savaitę. Earendil'as išanalizavo „SlopCodeBench“ skaičius: agento kodas yra maždaug dvigubai išsamesnis ir dvigubai labiau erozijos paveiktas nei žmogaus saugyklos, su kuriomis jis lyginamas,

2:10 ir kai etalonas išvalo agento atmintį tarp patikrinimo taškų, griežtas visų išbandytų modelių praėjimo koeficientas yra nulis. Patikimiausias „slop“ rodiklis, kurį jie rado, buvo žalių eilučių skaičius, kuris nustoja veikti, kai tik kas nors jį optimizuoja, taigi, prašau, nesakykite modeliams. Tada piniginė. RTK turi septyniasdešimt devynis tūkstančius „GitHub“ žvaigždžių ir „YouTube“ miniatiūrų, žadančių perpus sumažinti jūsų „Claude Code“ sąskaitą; jis suspaudžia terminalo išvestį prieš agentui

2:34 ją perskaitant. Quesma paleido jį „Terminal-Bench“ už penkiolika šimtų dolerių žetonų. Su „Fable“ sąskaita sumažėjo penkiais procentais, beveik viskas iš vienos užduoties; su „DeepSeek“ vidutinė užduotis pabrango septyniolika procentų. Tuo tarpu RTK savo skaitiklis pranešė apie aštuoniasdešimt devynis procentus sutaupytų, nes jis skaičiuoja pašalintus baitus, o ne sukeltus papildomus posūkius: išmanusis skaitiklis, kuris išrašo sąskaitas kaimynui. Ir viena versijos klaida perrašė „find“ į komandą, kuri nepavyko, tris šimtus trisdešimt devynis kartus iš eilės, devynis kartus brangiau.

3:01 Įrankis, kuris naikina žetonus, turi ciklą. Pats potvynis. „Cognition“ SWE-2 yra Kimi K3, atviras Kinijos modelis, patobulintas, kol jis atitinka „Fable 5.1“ „Cognition“ etalonu už trečdalį kainos; „Hacker News“: kodėl visi Amerikos AI modeliai iš esmės yra Kimi su tranšėjos paltu. „Terminal-Bench 2.1“ jis užima pirmą vietą visoje lentelėje; „Terminal-Bench 4“, kurio niekas dar neįsiminė, jis gauna dvidešimt septynis, o „Fable“ – penkiasdešimt šešis,

3:28 taigi skaidrių etalonuose geriausia skiltis yra egzaminas, kurį jau visi išlaikė. „Cognition“ taip pat paskelbė „Devin Voice“, jūsų mėgstamiausias AI programinės įrangos inžinierius ką tik gavo laidinį telefoną, nes vienintelis dalykas, ko trūko agentiniam kodavimui, buvo laukimo muzika. OpenAI, tą pačią dieną: Agents API, kuri yra Codex įrankių rinkinys, parduodamas kaip paslauga. OpenAI valdo smėlio dėžę, tik JAV duomenų saugojimas, jokio nulio duomenų saugojimo, taigi agentas prisimena jūsų kodo bazę lygiai taip pat gerai, kaip ir ChatGPT. Tada OpenAI sustabdė registracijas dviejų šimtų dolerių Pro planui,

3:57 nes Astra paklausa, cituojant, yra beprecedentė: pirmasis produktas su laukiančiųjų sąrašu mokėti daugiau. Armin visiškai atstatė savo gamyklą. Jis yra paklausa. O tai atveda mus prie penktadienio „Ask HN“: ar galime, prašau, apriboti AI naujienų srautą, šeši šimtai penkiasdešimt šeši taškai, nes, cituojant, kiekvieną kartą, kai kas nors „OpenAI“ ar „Anthropic“ nusičiaudi, atsiranda įrašas dešimtuke.

4:17 Atsakymai buvo filtrai: „hcker dot news“ pašalina AI istorijas su BERT klasifikatoriumi, apmokytu aštuoniais tūkstančiais pavyzdžių, AI, skirtas ištrinti AI, žole šertas; ir „uBlock“ reguliariosios išraiškos, atitinkančios A-I be skirtumo tarp didžiųjų ir mažųjų raidžių, taip pat ištrina el. paštą, kasdien, pagrindinį, domeną ir traukinį, taigi reguliariosios išraiškos, kaip visada, yra piktadarys. Tą patį popietę, keturi šimtai penkiolika komentarų ginčijosi dėl „Claude“ palaikymo puslapio sakydami, kad „Claude“ skirta aštuoniolikos ir vyresniems.

4:38 Puslapis datuotas gegužės mėnesiu. Nieko nepasikeitė. Net AI naujienos, kurios nėra naujienos, yra naujienos, o tai, tiesą sakant, yra ir mano verslo modelis. Jei norėtumėte tai perskaityti, o ne išgirsti, kaip aš tai sakau, „diff“ kas rytą patenka į jūsų pašto dėžutę — nemokamai daily diff dot dev, nuoroda žemiau. Tai, neišvengiamai, yra AI naujienos. Taigi – šiandieninis verdiktas dėl trisdešimt penkių valandų programinės įrangos gamyklos: grąžinti. Septyniasdešimt devyni įsipareigojimai, kurių niekas neskaitė, nėra kodo bazė, tai yra įsipareigojimas su „git“

5:04 žurnalu; Astra yra įspūdinga, o gamyklos dalį reikia atšaukti. Ir tai yra šiandienos „diff“. Aš esu Nikas iš Axrisi. Jungtis atsakingai.

Šaltiniai

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com