Stropy výdavkov AWS môžu vymazať váš projekt

Čo toto video pokrýva

• Čo môže limit cloudových výdavkov skutočne chrániť?
• Ako AWS skutočne zastaví výdavky projektu?
• Kto získa nové limity výdavkov AWS?
• Čo Google obmedzuje a čo sa naďalej účtuje?
• Aký malý je nový model s otvorenou váhou Nemecka?

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Čo môže limit cloudových výdavkov skutočne chrániť?

0:00 Limit výdavkov znamená, že váš vedľajší projekt je v bezpečí. Nový limit AWS ho môže pozastaviť a ponechanie v pozastavenom stave môže nakoniec vymazať dáta. V tomto videu, čo zastaví účet? Aký je háčik? Kto vlastne dostane tieto limity? V dokumentácii AWS je odpočítavanie. Budeme ho sledovať až po tlačidlo odstrániť. Je nedeľa, štvrtého októbra, a toto je The Daily Diff.

0:20 V sobotu Simon Willison vyzval na predvolené stropy výdavkov, keďže agenti uľahčujú nasadenie softvéru. Nemecko vydalo Kolibri, zatiaľ čo správcovia Cosmicu vytýčili hranicu okolo AI príspevkov. Willisonov argument je bolestne známy. O polnoci príde varovný e-mail, služba neustále utráca, a vy sa zobudíte ako nedobrovoľný sponzor vlastnej nekonečnej slučky. AWS zaviedla limity výdavkov na projekt v rámci svojej zjednodušenej skúsenosti s tvorbou v

Ako AWS skutočne zastaví výdavky projektu?

0:44 septembri. Keď spotreba dosiahne limit, AWS pozastaví projekt a zastaví jeho prostriedky. Vaše dáta sú spočiatku zachované. To je skutočná zmena v zmluve o produkte. Zákazník môže povoliť cloudu prerušiť experiment. Upozornenie na výdavky ponecháva rozhodnutie na toho, kto číta svoju schránku. Kódujúci agent môže poskytovať prostriedky, kým si pripravujete večeru. Účet patrí majiteľovi účtu, ktorý sa nejako stal zároveň inžinierskym oddelením aj finančným oddelením.

1:09 Nasadenie je obmedzené a na nastavenie limitu potrebujete platený plán.

Kto získa nové limity výdavkov AWS?

1:13 Toto patrí do novej skúsenosti s projektom. Predpokladajte, že váš existujúci účet má rovnaké ovládacie prvky. Strop sa vzťahuje na poplatky pred zdanením a nezahŕňa kredity. Minimum je dvadsať dolárov alebo konzervatívny odhad výdavkov AWS, podľa toho, čo je vyššie. Už bežiace prostriedky môžu toto minimum zvýšiť. To je dôležité pre zanedbané testovacie prostredie plné drahých strojov. Možno ich budete musieť zastaviť pred nastavením menšieho limitu.

1:36 Finančné poradenstvo cloudu začína vypnutím počítača. AWS tiež ponúka voliteľné skoré ovládacie prvky. Približne týždeň pred predpokladaným limitom môže blokovať nové prostriedky. Vaše existujúce inštancie zostanú bežať, zatiaľ čo skupina automatického škálovania môže stratiť povolenie na rozšírenie. Ďalšie možnosti pozastavia nečinné prostriedky, potom najvyššie ovládače nákladov, keď sa predpoveď približuje. Koncový bod SageMaker s nulovými volaniami po dobu dvoch týždňov sa kvalifikuje ako nečinný. Vaša zabudnutá ukážka konečne dostane výstupný pohovor.

2:03 Willison chce, aby boli pevné stropy predvolene zapnuté, s neobmedzenými výdavkami ako explicitnou voľbou. To je jeho návrh. Dokumentácia AWS popisuje ovládacie prvky, ktoré konfigurujete, s obmedzeným prístupom počas tohto nasadenia. Google oznámil svoje vlastné stropy výdavkov v júli.

Čo Google obmedzuje a čo sa naďalej účtuje?

2:17 Vo verejnom náhľade sa zameriavajú na jednu službu v rámci jedného projektu, a Google hovorí, že limity AI sa spustia do niekoľkých minút po dosiahnutí prahu. Uvedené služby zahŕňajú Gemini a Cloud Run. Ostatné služby zostávajú neovplyvnené. Pevné zmluvné záväzky naďalej účtujú, takže pozastavenie nového používania stále ponecháva akékoľvek záväzky, ktoré ste už podpísali, na faktúre. Pre firmu môže byť neočakávané vypnutie tiež drahé. AWS výslovne formuluje tieto limity okolo experimentov a testovacích prostredí,

2:43 s produkčným používaním v závislosti od toho, či je pozastavenie prostriedkov prijateľné. Môj vývojársky poznatok je jednoduchý. Umiestnite experimentálnych agentov do samostatného projektu, skontrolujte, ktoré poplatky limit pokrýva, a otestujte svoj proces obnovy. Ochranná zábrana potrebuje majiteľa, ktorý si všimne, keď sa spustí.

Aký malý je nový model s otvorenou váhou Nemecka?

2:57 Medzitým Aleph Alpha vydala Kolibri, model s otvorenou váhou pre nemčinu a angličtinu. Jeho úvodná animácia hovorí malý vták, rýchle krídla. Váhy sú k dispozícii pod licenciou Apache 2.0. Chubby to nazval prekvapivo silným vydaním z Nemecka. Užitočná časť je kontrola nasadenia. Spoločnosť môže držať váhy a spúšťať svoje dokumenty cez infraštruktúru, ktorú vlastní. Na každý token pracuje asi tri a pol miliardy parametrov, ale celý model má sedemdesiatosem miliárd.

3:22 Jeho publikované váhy zaberajú asi sedemdesiatosem gigabajtov, takže malý vták stále potrebuje veľkú klietku. Tejas Kumar nezávisle otestoval jeho tokenizér na ústave Nemecka. Použil asi o pätnásť percent menej tokenov ako tokenizér OpenAI v nemčine. Pri anglickom preklade boli v podstate rovnako dobré. To je úzke, užitočné meranie efektivity nemeckého textu. Hovorí, že samotný model nespustil. Majte na pamäti tento rozdiel, keď sa priateľský úvodný graf snaží stať vaším

3:46 nákupným oddelením. A kompozítor Cosmic od System76 teraz žiada

Čo presne COSMIC odmieta v požiadavkách na stiahnutie?

3:50 prispievateľov, aby potvrdili, že ich žiadosť o stiahnutie neobsahuje žiadny obsah generovaný jazykovým modelom. Šablóna explicitne zahŕňa kód, komentáre a popisy. Prispievatelia tiež sľubujú, že zmenu rozumejú a otestovali. Repozitár Flatpak má výnimku pre ich vlastný zdroj aplikácie a manifest. Prečítajte si skutočnú šablónu predtým, ako budete celý projekt považovať za jedno pravidlo. Stroj dokáže vyrobiť ďalšiu záplatu za sekundy. Niekto ju stále musí prečítať.

4:14 Dnes cloud obmedzuje experiment a správcovia obmedzujú frontu na kontrolu. Späť k pozastavenému projektu AWS. Zvýšenie limitu výdavkov ho môže znova aktivovať a niektoré prostriedky môžu potrebovať manuálne reštarty. Obnova je postup, ktorý by ste mali pochopiť predtým, ako agent minie povolené prostriedky. Odpočítavanie je deväťdesiat dní.

Kedy sa pauza stane trvalou stratou dát?

4:31 AWS hovorí, že ak do tohto času po pozastavení projektu neurobíte žiadnu akciu, trvalo vymaže dáta projektu. Umiestnite zálohu mimo dosahu tohto projektu. Zastavený účet a uchovaná záloha sú dve samostatné úlohy. Chcem limit a chcem plán obnovy. Môj opustený víkendový prototyp by mal ísť do dôchodku s dôstojnosťou. Ak si to radšej prečítate, než aby ste ma počúvali, diff vám pristane v schránke každé ráno, zadarmo na thedailydiff.dev, odkaz nižšie.

Aký je môj verdikt k novým kontrolám výdavkov?

4:55 Takže dnešný verdikt: POTREBNÁ KONTROLA. Vítam vynútené limity výdavkov. Pred odovzdaním účtu agentovi by som overil dostupnosť, pokryté poplatky a obnovu. Deväťdesiatdňové hodiny na vymazanie si zaslúžia veľmi viditeľné varovanie. A to je dnešný diff. Som Niko z Axrisi. Spojte zodpovedne.

Zdroje

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com