Gornje granice potrošnje AWS-a mogu izbrisati vaš projekat

Šta ovaj video pokriva

• Šta zapravo može zaštititi gornja granica potrošnje u oblaku?
• Kako AWS zapravo zaustavlja potrošnju projekta?
• Ko dobija nova ograničenja potrošnje AWS-a?
• Šta Google ograničava, a šta se i dalje naplaćuje?
• Koliko je mali novi nemački model otvorenog koda?

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Šta zapravo može zaštititi gornja granica potrošnje u oblaku?

0:00 Ograničenje potrošnje znači da je vaš sporedni projekat siguran. Novo ograničenje AWS-a može ga pauzirati, a ostavljajući ga pauziranim, na kraju se može izbrisati podaci. U ovom videu, šta zaustavlja račun? Koja je zamka? Ko zapravo dobija ova ograničenja? Postoji odbrojavanje u dokumentaciji AWS-a. Pratićemo ga sve do dugmeta za brisanje. Nedelja je, četvrti oktobar, i ovo je The Daily Diff.

0:20 U subotu, Simon Willison je pozvao na podrazumevane gornje granice potrošnje jer agenti čine lakše postavljanje softvera. Nemačka je objavila Kolibri, dok su održavaoci Cosmica povukli liniju oko doprinosa AI. Willisonova argumentacija je bolno poznata. Mejl upozorenja stiže u ponoć, usluga nastavlja da troši, i budite se kao nevoljni sponzor svoje beskonačne petlje. AWS je u septembru uveo ograničenja potrošnje projekta u svom pojednostavljenom iskustvu graditelja.

Kako AWS zapravo zaustavlja potrošnju projekta?

0:44 Kada upotreba dostigne limit, AWS pauzira projekat i zaustavlja njegove resurse. Vaši podaci su u početku sačuvani. To je stvarna promena u ugovoru o proizvodu. Kupac može autorizovati oblak da prekine eksperiment. Upozorenje o potrošnji ostavlja odluku onome ko čita svoj inboks. Agent za kodiranje može obezbediti resurse dok pripremate večeru. Račun pripada vlasniku naloga, koji je nekako postao i inženjersko odeljenje i finansijsko odeljenje.

1:09 Uvođenje je ograničeno i potreban vam je plaćeni plan da biste postavili ograničenje.

Ko dobija nova ograničenja potrošnje AWS-a?

1:13 Ovo pripada novom iskustvu projekta. Proverite dostupnost pre nego što pretpostavite da vaš postojeći nalog ima iste kontrole. Gornja granica se odnosi na troškove pre oporezivanja i isključuje kredite. Minimum je dvadeset dolara ili AWS-ova konzervativna procena potrošnje, šta god je veće. Već pokrenuti resursi mogu podići taj minimum. To je važno za zanemarenu sandboxu punu skupih mašina. Možda ćete morati da ih zaustavite pre postavljanja manjeg limita.

1:36 Finansijski saveti oblaka počinju isključivanjem računara. AWS takođe nudi opcione rane kontrole. Otprilike nedelju dana pre predviđenog limita, može blokirati nove resurse. Vaše postojeće instance nastavljaju da rade, dok grupa za automatsko skaliranje može izgubiti dozvolu za proširenje. Druge opcije pauziraju neaktivne resurse, zatim glavne pokretače troškova kako se prognoza približava. SageMaker endpoint sa nula poziva dve nedelje kvalifikuje se kao neaktivan. Vaš zaboravljeni demo konačno dobija izlazni intervju.

2:03 Willison želi da se čvrste granice podrazumevano uključe, sa neograničenom potrošnjom kao eksplicitnim izborom. To je njegov predlog. Dokumentacija AWS-a opisuje kontrole koje konfigurišete, sa ograničenim pristupom tokom ovog uvođenja. Google je najavio svoje limite potrošnje u julu.

Šta Google ograničava, a šta se i dalje naplaćuje?

2:17 U javnoj pretpreglednoj verziji, ciljaju jednu uslugu unutar jednog projekta, a Google kaže da se AI limiti aktiviraju u roku od nekoliko minuta od dostizanja praga. Navedene usluge uključuju Gemini i Cloud Run. Ostale usluge ostaju nepromenjene. Fiksne ugovorne obaveze se i dalje naplaćuju, tako da pauziranje nove upotrebe i dalje ostavlja sve obaveze koje ste već potpisali na računu. Za posao, neočekivano gašenje takođe može biti skupo. AWS eksplicitno postavlja ova ograničenja oko eksperimenata i sandboxova,

2:43 sa proizvodnom upotrebom zavisno od toga da li je pauza resursa prihvatljiva. Moj zaključak za programere je jednostavan. Stavite eksperimentalne agente u poseban projekat, proverite koje naknade pokriva limit, i testirajte svoj proces oporavka. Zaštitna ograda treba vlasnika koji primećuje kada se aktivira.

Koliko je mali novi nemački model otvorenog koda?

2:57 U međuvremenu, Aleph Alpha je objavio Kolibri, model otvorene težine za nemački i engleski. Njegova lansirna animacija kaže mala ptica, brza krila. Težine su dostupne pod Apache 2.0 licencom. Chubby ga je nazvao iznenađujuće jakim izdanjem iz Nemačke. Korisni deo je kontrola implementacije. Kompanija može da drži težine i pokreće svoje dokumente kroz infrastrukturu koju poseduje. Oko tri i po milijarde parametara rade na svakom tokenu, ali puni model ima sedamdeset osam milijardi.

3:22 Objavljene težine zauzimaju oko sedamdeset osam gigabajta, tako da maloj ptici i dalje treba veliki kavez. Tejas Kumar je nezavisno testirao njegov tokenizator na nemačkom ustavu. Koristio je oko petnaest posto manje tokena nego OpenAI-jev tokenizator na nemačkom. Na engleskom prevodu, bili su praktično izjednačeni. To je usko, korisno merenje efikasnosti nemačkog teksta. Kaže da sam model nije pokrenuo. Zapamtite tu razliku kada se prijateljski grafikon lansiranja pokušava pretvoriti u vaš

3:46 odeljenje za nabavku. I Cosmic compositor Systema 76 sada traži

Šta tačno COSMIC odbija u zahtevima za povlačenje?

3:50 od saradnika da potvrde da njihov zahtev za povlačenje ne sadrži sadržaj generisan modelom jezika. Predložak eksplicitno uključuje kod, komentare i opise. Saradnici takođe obećavaju da razumeju i testiraju promenu. Flatpak repozitorijum ima izuzetak za sopstveni izvor aplikacije i manifest. Pročitajte stvarni predložak pre nego što tretirate ceo projekat kao jedno pravilo. Mašina može proizvesti drugu zakrpu za nekoliko sekundi. Neko to i dalje mora da pročita.

4:14 Danas oblak postavlja ograničenja na eksperiment, a održavaoci postavljaju ograničenja na red za pregled. Nazad na taj pauzirani AWS projekat. Povećanje limita potrošnje može ga ponovo aktivirati, a neki resursi će možda zahtevati ručne resete. Oporavak je procedura koju bi trebalo da razumete pre nego što agent potroši dozvoljeni iznos. Odbrojavanje je devedeset dana.

Kada pauza postaje trajan gubitak podataka?

4:31 AWS kaže da ako ne preduzmete nikakvu akciju u tom roku nakon što je projekat pauziran, trajno briše podatke projekta. Napravite rezervnu kopiju izvan radijusa udara tog projekta. Zaustavljen račun i zadržana rezervna kopija su dva odvojena posla. Želim ograničenje i želim plan oporavka. Moj napušteni vikend prototip treba da ode u penziju dostojanstveno. Ako više volite da ovo pročitate nego da me slušate kako to govorim, diff stiže u vaš inboks svakog jutra, besplatno na thedaily diff dot dev, link ispod.

Kakva je moja presuda o novim kontrolama potrošnje?

4:55 Dakle, današnja presuda, NEEDS REVIEW. Pozdravljam nametnuta ograničenja potrošnje. Proverio bih dostupnost, pokrivene troškove i oporavak pre nego što agentu dam nalog. Devedesetodnevni sat za brisanje zaslužuje vrlo vidljivo upozorenje. I to je diff za danas. Ja sam Niko iz Axrisi-ja. Spojite odgovorno.

Izvori

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com