Strop výdajů AWS může smazat váš projekt

Co toto video pokrývá

• Co dokáže limit útraty v cloudu skutečně ochránit?
• Jak AWS skutečně zastavuje útratu projektu?
• Kdo dostane nové limity útraty AWS?
• Co omezuje Google a co stále účtuje?
• Jak malý je nový německý model s otevřenou vahou?

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Co dokáže limit útraty v cloudu skutečně ochránit?

0:00 Limit útraty znamená, že váš vedlejší projekt je v bezpečí. Nový limit AWS ho může pozastavit, a ponechání pozastaveného projektu může nakonec vymazat data. V tomto videu, co zastaví účet? V čem je háček? Kdo skutečně dostane tyto limity? V dokumentaci AWS je odpočet. Budeme ho sledovat až k tlačítku pro smazání. Je neděle, čtvrtého října, a toto je The Daily Diff.

0:20 V sobotu Simon Willison vyzval k výchozím limitům útraty, jelikož agenti usnadňují nasazování softwaru. Německo vydalo Kolibri, zatímco správci Cosmicu stanovili hranici kolem AI příspěvků. Willisonův argument je bolestně známý. Upozorňující e-mail dorazí o půlnoci, služba stále utrácí, a probudíte se jako nedobrovolný sponzor své vlastní nekonečné smyčky. AWS zavedlo limity útraty projektu ve svém zjednodušeném prostředí pro vývojáře v

Jak AWS skutečně zastavuje útratu projektu?

0:44 září. Když využití dosáhne limitu, AWS pozastaví projekt a zastaví jeho zdroje. Vaše data jsou zpočátku uchována. To je skutečná změna v produktové smlouvě. Zákazník může povolit cloudu přerušit experiment. Upozornění na útratu ponechává rozhodnutí na tom, kdo čte jejich doručenou poštu. Kódující agent může poskytovat zdroje, zatímco vy připravujete večeři. Účet patří majiteli účtu, který se nějak stal jak inženýrským oddělením, tak finančním oddělením.

1:09 Zavedení je omezené a k nastavení limitu potřebujete placený plán.

Kdo dostane nové limity útraty AWS?

1:13 Toto patří k nové zkušenosti s projektem. Zkontrolujte dostupnost, než budete předpokládat, že váš stávající účet má stejné ovládací prvky. Strop se vztahuje na poplatky před zdaněním a nezahrnuje kredity. Minimum je dvacet dolarů nebo konzervativní odhad útraty AWS, podle toho, co je vyšší. Již běžící zdroje mohou toto minimum zvýšit. To je důležité pro zanedbaný sandbox plný drahých strojů. Možná je budete muset zastavit, než nastavíte menší limit.

1:36 Finanční poradenství cloudu začíná vypnutím počítače. AWS také nabízí volitelné rané kontroly. Asi týden před předpokládaným limitem může blokovat nové zdroje. Vaše stávající instance zůstanou spuštěny, zatímco skupina pro automatické škálování může ztratit povolení k rozšíření. Jiné možnosti pozastaví nečinné zdroje a poté hlavní faktory nákladů, jak se předpověď blíží. Koncový bod SageMaker s nulovými voláními po dobu dvou týdnů se kvalifikuje jako nečinný. Vaše zapomenuté demo konečně obdrží výstupní pohovor.

2:03 Willison chce, aby byly tvrdé limity zapnuty ve výchozím nastavení, s neomezenou útratou jako explicitní volbou. To je jeho návrh. Dokumentace AWS popisuje ovládací prvky, které konfigurujete, s omezeným přístupem během tohoto zavedení. Google oznámil své vlastní limity útraty v červenci.

Co omezuje Google a co stále účtuje?

2:17 Ve veřejné preview cílí na jednu službu v rámci jednoho projektu, a Google říká, že limity AI se spustí během minut po dosažení prahu. Mezi uvedené služby patří Gemini a Cloud Run. Ostatní služby zůstávají nedotčeny. Pevné smluvní závazky stále účtují, takže pozastavení nového využití stále ponechává jakékoli závazky, které jste již podepsali, na faktuře. Pro podnik může být neočekávané vypnutí také drahé. AWS explicitně rámuje tyto limity kolem experimentů a sandboxů,

2:43 s produkčním využitím v závislosti na tom, zda je pozastavení zdroje přijatelné. Můj vývojářský závěr je jednoduchý. Umístěte experimentální agenty do samostatného projektu, zkontrolujte, které poplatky limit pokrývá, a otestujte svůj proces obnovy. Bezpečnostní zábrana potřebuje majitele, který si všimne, když se spustí.

Jak malý je nový německý model s otevřenou vahou?

2:57 Mezitím Aleph Alpha vydala Kolibri, model s otevřenou vahou pro němčinu a angličtinu. Jeho spouštěcí animace říká malý pták, rychlá křídla. Váhy jsou k dispozici pod licencí Apache 2.0. Chubby to nazval překvapivě silným vydáním z Německa. Užitečnou částí je kontrola nasazení. Společnost může držet váhy a spouštět své dokumenty přes infrastrukturu, kterou vlastní. Asi tři a půl miliardy parametrů pracují na každém tokenu, ale celý model má sedmdesát osm miliard.

3:22 Jeho publikované váhy zabírají asi sedmdesát osm gigabajtů, takže malý pták stále potřebuje velkou klec. Tejas Kumar nezávisle otestoval jeho tokenizátor na německé ústavě. Použil asi o patnáct procent méně tokenů než tokenizátor OpenAI v němčině. U anglického překladu byly v podstatě shodné. To je úzké, užitečné měření účinnosti německého textu. Říká, že samotný model nespouštěl. Zachovejte tento rozdíl, když se přátelský spouštěcí graf snaží stát vaším

3:46 nákupním oddělením. A System76's Cosmic compositor nyní žádá

Co přesně COSMIC odmítá v pull requestech?

3:50 přispěvatele, aby potvrdili, že jejich pull request neobsahuje žádný obsah generovaný jazykovým modelem. Šablona explicitně zahrnuje kód, komentáře a popisy. Přispěvatelé také slibují, že změnu chápou a testovali ji. Repozitář Flatpak má výjimku pro jejich vlastní zdroj aplikace a manifest. Přečtěte si skutečnou šablonu, než budete celý projekt považovat za jedno pravidlo. Stroj může vygenerovat další patch během několika sekund. Někdo to stále musí přečíst.

4:14 Dnes cloud stanovuje limity na experiment, a správci stanovují limity na frontu recenzí. Zpět k tomu pozastavenému projektu AWS. Zvýšení limitu útraty ho může reaktivovat, a některé zdroje mohou potřebovat manuální restarty. Obnova je procedura, kterou byste měli pochopit, než agent utratí povolenou částku. Odpočet je devadesát dní.

Kdy se pauza stane trvalou ztrátou dat?

4:31 AWS říká, že pokud v této době po pozastavení projektu nepodniknete žádnou akci, trvale smaže data projektu. Udělejte zálohu mimo dosah tohoto projektu. Zastavený účet a uchovaná záloha jsou dvě samostatné práce. Chci limit a chci plán obnovy. Můj opuštěný víkendový prototyp by měl odejít s důstojností. Pokud si to raději přečtete, než abyste mě poslouchali, diff vám přistane v doručené poště každé ráno, zdarma na thedailydiff.dev, odkaz níže.

Jaký je můj verdikt k novým kontrolám útrat?

4:55 Takže dnešní verdikt, NEEDS REVIEW. Vítám vynucené limity útraty. Před předáním účtu agentovi bych ověřil dostupnost, pokryté poplatky a obnovu. Devadesátidenní odpočet smazání si zaslouží velmi viditelné varování. A to je dnešní diff. Jsem Niko z Axrisi. Slučujte zodpovědně.

Zdroje

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com