Google je upravo isporučio model za hakiranje. Evo razlike.

Što ovaj video pokriva

• Google isporučuje Gemini 3.8 Flash + Flash Cyber (86,2% CyberGym, Fairwind Program)
• Meta isporučuje Muse Spark 1.3: 1,25 USD/4,25 USD, ili 0,10 USD/0,20 USD ako Meta smije trenirati na njemu
• Tri stranice napravile su 215.128 lažnih stranica "najbolji softver"; Perplexity ih citira

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

0:00 Google je danas isporučio svoj treći Flash model u šest tjedana, plus verziju treniranu za hakiranje, a četiri sata kasnije Meta je isporučila model koji košta deset centi po milijunu tokena ako dopustite Zuckerbergu da čita vaš kod, tako da rat cijena AI-ja sada ima odjel za kibernetičku sigurnost. Srijeda je, a razlika je velika. Gemini 3.8 Flash je dosegao jedanaest stotina bodova na Hacker News-u, Muse Spark 1.3 je uzeo gotovo sedam stotina više, a između njih, istraživačka radionica pronašla je tri web stranice koje su objavile dvjesto petnaest tisuća

0:28 lažnih stranica o najboljem softveru isključivo zato da ih Perplexity citira. Također danas: objava koja vas moli da se držite svog Firefoxa dobila je devet stotina osamdeset osam bodova, a Mistralova stranica pomoći o odustajanju od treninga dobila je gotovo pet stotina, uglavnom od Europljana koji su otkrili da suverena opcija trenira na vašim upitima prema zadanim postavkama. U ovom videu: koliko zapravo košta Gemini 3.8 Flash, model za hakiranje koji Google će prodavati samo šesto pedeset partnera, Metina razina od deset centi i ono što ona zapravo naplaćuje, i jedno mjerilo koje nijedna tvrtka nije napisala.

0:59 Srijeda je, 2. rujna, i ovo je The Daily Diff. Gemini 3.8 Flash je sedamdeset pet centi po milijunu tokena ulaz i tri sedamdeset pet izlaz, isto kao 3.7 Flash od prije tri tjedna, s fusnotom koja kaže da se cijena udvostručuje 1. siječnja, što je besplatna proba s dodatnim koracima. Na slide-deck mjerilima, koja su nepobjediva, postiže 54,9 posto na HLE-Verified, X kaže da nadmašuje Sol i Opus 5 na Terminal-Bench-u, a Logan Kilpatrick objavio je 73,7 na DeepSWE, jedinom dugoročnom

1:29 mjerilu za kodiranje koje još nije memorizirano, navodno. Simon Willison ga je zamolio da napravi cool stvar u HTML-u i dobio je simulaciju čestica za trinaest sekundi za 1,8 centi, koja radi na šezdeset sličica u sekundi, jer je šezdeset bilo tvrdo kodirano u stranici. Googleova vlastita objava objašnjava dobitke rečenicom koju bih uokvirio: 3.8 Flash više radi. Izvodi dodatne korake zaključivanja, iterativno poziva alate, i, citiram, možda koristi više tokena, što je korporativno za brže okretanje mjerača. Neovisni odbor DeepSWE slaže se s oba aspekta: Flash postiže sedamdeset četiri

2:02 posto, izjednačen s Opusom 5 po petini cijene po zadatku, ali mu je trebalo sto šezdeset šest koraka i sto četrdeset tri tisuće izlaznih tokena da bi to postigao, više nego dvostruko više od onoga što je Sol potrošio. Artificial Analysis je spalio sto četrdeset milijuna tokena i tisuću sedamdeset osam dolara samo da bi ga ocijenio. Jeftin po tokenu, pričljiv po zadatku, a prvi token stiže nakon dvanaest sekundi razmišljanja. Zatim zanimljiva polovica.

2:23 Gemini 3.8 Flash Cyber je isti model s popuštenim sigurnosnim ogradama za, citiram, pouzdane branitelje, a Sundar kaže da postiže 86,2 posto na CyberGymu, mjerilu za autonomno pronalaženje ranjivosti. Također krpa: 47,2 posto na CWE-Benchu u odnosu na 47,8 za vodeći granični model, tim Chromea kaže da je proizveo 2,6 puta više ispravnih zakrpa nego mnogo veći komercijalni modeli, a Googleovi istraživači u oblaku koristili su ga za pronalaženje kritične ranjivosti za manje od dva sata, posao koji obično traje mjesecima, ili jednog motiviranog tinejdžera.

2:54 Google inzistira da je prioritet dao popravljanju, a ne iskorištavanju, što je pristojan način da se kaže da model apsolutno može proći kroz rupe, samo su ga zamolili da to ne čini. Dakle, ne možete ga imati. Pristup ide kroz novi Fairwind Program: vlade, kritična infrastruktura i šesto pedeset provjerenih partnera s obaveznim dvofaktorski. Svaki granični laboratorij sada posjeduje model za hakiranje koji vam neće prodati, a ovaj tjedan je to jeftin model.

3:16 Četiri sata kasnije, Meta je objavila Muse Spark 1.3, a Zuck ga je nazvao graničnim performansama koje su gotovo prejeftine za mjerenje, što je istina, s jednom zvjezdicom veličine Menlo Parka. Normalna krajnja točka je dolar dvadeset pet centi ulaz i četiri dolara dvadeset pet centi izlaz, više od Geminija. Krajnja točka za suradnike je deset centi ulaz, dvadeset centi izlaz, čitanje predmemorije za petinu centa, do dvadeset puta jeftinije, a jedina razlika je stupac koji kaže 'koristi se za poboljšanje naših proizvoda'.

3:40 Dakle, popust je transkript vaše sesije, i za promjenu nitko ne mora čitati licencu, jer je Meta napisala licencu kao cjenik. Glavni komentar: sada je potpuno očito koliko vrijedi krađa mojih tokena. Drugi komentar se pita koliko dugo će trebati dok netko ne izvuče AWS ključ iz modela obučenog na upitima suradnika. Na Metinoj vlastitoj tablici rezultata, Spark 1.3 dobiva 75,4 na DeepSWE, iznad Sol i Opus 5, a Meta kaže da koristi dvadeset posto manje poziva alata

4:06 i dvadeset pet posto manje tokena od 1.2, točno suprotno od Googlea, tako da se danas dvije najveće oglasne tvrtke na svijetu ne slažu oko toga je li više razgovora dobro. U međuvremenu, Trellner Research je zamolio Perplexity za najbolji softver u tri stotine osamdeset kategorija i pročitao svaku citaciju: 59,8 posto je došlo sa stranica izvan top sto tisuća, Wikipedia je citirana tri puta od sedam i pol tisuća, a tri sestrinske stranice s dvjesto petnaest tisuća

4:34 generiranih vodiča za kupnju naslovljuju svoje početne stranice 'Činjenice i stranica s osnovama', namijenjeno pretraživaču, a ne vama. Rat AI SEO je počeo, a njegovo prvo oružje je regex s marketinškim proračunom. To je puno cijena za jednu srijedu; ako ovo radije čitate nego slušate mene, 'The Daily Diff' stiže u vašu pristiglu poštu svako jutro — besplatno na thedailydiff.dev, link ispod. Dakle, današnja presuda: SHIP IT. Gemini 3.8 Flash izjednačuje Opus 5 na jednoj ploči koju Google nije napisao,

5:00 za petinu cijene. Samo pročitajte račun za tokene i pročitajte zaglavlja Metinih stupaca. To je današnji The Daily Diff. Ja sam Niko iz Axrisi. REVERT responsibly.

Izvori

1. Introducing Gemini 3.8 Flash and 3.8 Flash Cyberblog.google
2. Fairwind Programblog.google
3. DeepSWE v1.1 leaderboarddeepswe.datacurve.ai
4. Artificial Analysis: Gemini 3.8 Flashartificialanalysis.ai
5. Muse Spark 1.3 pricingdeveloper.meta.com
6. Introducing Muse Spark 1.3research.meta.ai
7. Hang on to Your Firefoxwww.newsonaut.com
8. Mistral: opting out of traininghelp.mistral.ai
9. HN: Gemini 3.8 Flashnews.ycombinator.com
10. HN: Muse Spark 1.3news.ycombinator.com
11. HN: 215,128 "best software" pagesnews.ycombinator.com