AWS išlaidų apribojimai gali ištrinti jūsų projektą

Kas aptariama šiame vaizdo įraše

• Ką iš tikrųjų gali apsaugoti debesies išlaidų apribojimas?
• Kaip AWS iš tikrųjų sustabdo projekto išlaidas?
• Kam taikomi nauji AWS išlaidų apribojimai?
• Ką „Google“ riboja, ir kas toliau apmokestina?
• Koks mažas yra naujas Vokietijos atviro svorio modelis?

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Ką iš tikrųjų gali apsaugoti debesies išlaidų apribojimas?

0:00 Išlaidų apribojimas reiškia, kad jūsų šalutinis projektas yra saugus. Naujas AWS limitas gali jį pristabdyti, o palikus jį sustabdytą, galiausiai gali būti ištrinti duomenys. Šiame vaizdo įraše, kas sustabdo sąskaitą? Kokia yra problema? Kam iš tikrųjų taikomi šie limitai? AWS dokumentacijoje yra atgalinis skaičiavimas. Mes jį seksime iki pat ištrynimo mygtuko. Sekmadienis, spalio ketvirtoji, ir tai yra The Daily Diff.

0:20 Šeštadienį Simonas Willisonas paragino nustatyti numatytuosius išlaidų apribojimus, kadangi agentai daro programinės įrangos diegimą lengvesniu. Vokietija išleido Kolibri, o Cosmic prižiūrėtojai nustatė ribą aplink AI indėlius. Willisono argumentas yra skausmingai pažįstamas. Įspėjamasis el. laiškas ateina vidurnaktį, paslauga toliau išleidžia, ir jūs pabundate kaip priverstinis savo paties begalinės kilpos rėmėjas. AWS pristatė projektų išlaidų limitus savo supaprastintoje kūrėjo aplinkoje

Kaip AWS iš tikrųjų sustabdo projekto išlaidas?

0:44 rugsėjį. Kai naudojimas pasiekia limitą, AWS sustabdo projektą ir sustabdo jo resursus. Jūsų duomenys iš pradžių išsaugomi. Tai tikras produkto sutarties pakeitimas. Klientas gali leisti debesiai nutraukti eksperimentą. Išlaidų įspėjimas palieka sprendimą tam, kas skaito savo gautuosius. Kodavimo agentas gali aprūpinti resursus, kol jūs gaminate vakarienę. Sąskaita priklauso sąskaitos savininkui, kuris kažkaip tapo ir inžinerijos skyrius, ir finansų skyrius.

1:09 Įdiegimas yra ribotas, ir jums reikia mokamo plano, kad nustatytumėte limitą.

Kam taikomi nauji AWS išlaidų apribojimai?

1:13 Tai priklauso naujai projekto patirčiai. Prieš manydami, kad jūsų esama paskyra turi tas pačias kontrolės priemones, patikrinkite prieinamumą. Lubos taikomos mokesčiams prieš mokesčius ir neįskaito kreditų. Minimumas yra dvidešimt dolerių arba AWS konservatyvus išlaidų įvertinimas, atsižvelgiant į tai, kuris yra didesnis. Jau veikiantys resursai gali padidinti tą minimumą. Tai svarbu apleistam smėlio dėžei, pilnai brangių mašinų. Jums gali tekti juos sustabdyti prieš nustatant mažesnį limitą.

1:36 Debesies finansiniai patarimai prasideda nuo kompiuterio išjungimo. AWS taip pat siūlo pasirinktines ankstyvas kontrolės priemones. Maždaug savaitę prieš numatomą limitą, ji gali blokuoti naujus resursus. Jūsų esami egzemplioriai lieka veikti, o automatinio mastelio keitimo grupė gali prarasti leidimą plėstis. Kitos parinktys sustabdo nenaudojamus resursus, tada didžiausius išlaidų veiksnius, kai prognozė tampa artimesnė. SageMaker galinis punktas su nulio skambučių dviem savaitėms laikomas nenaudojamu. Jūsų pamiršta demonstracija pagaliau gauna išėjimo interviu.

2:03 Willisonas nori, kad griežti apribojimai būtų įjungti pagal numatytuosius nustatymus, o neribotos išlaidos būtų aiškus pasirinkimas. Tai jo pasiūlymas. AWS dokumentacijoje aprašomos jūsų konfigūruojamos kontrolės priemonės, su ribota prieiga šio diegimo metu. „Google“ paskelbė savo išlaidų apribojimus liepą.

Ką „Google“ riboja, ir kas toliau apmokestina?

2:17 Viešojoje peržiūroje jie nukreipti į vieną paslaugą viename projekte, ir „Google“ sako, kad AI apribojimai įsijungia per kelias minutes po slenksčio pasiekimo. Į sąrašą įtrauktos paslaugos yra Gemini ir Cloud Run. Kitos paslaugos lieka nepaveiktos. Fiksuoti sutartiniai įsipareigojimai toliau apmokestina, todėl sustabdžius naują naudojimą vis tiek lieka visi įsipareigojimai, kuriuos jau pasirašėte, sąskaitoje. Verslui netikėtas išjungimas taip pat gali būti brangus. AWS aiškiai apibrėžia šiuos apribojimus aplink eksperimentus ir smėlio dėžes,

2:43 su gamybiniu naudojimu, priklausančiu nuo to, ar resursų sustabdymas yra priimtinas. Mano kūrėjo išvada yra paprasta. Įdėkite eksperimentinius agentus į atskirą projektą, patikrinkite, kokius mokesčius limitas apima, ir išbandykite atkūrimo procesą. Apsaugai reikalingas savininkas, kuris pastebi, kai ji įsijungia.

Koks mažas yra naujas Vokietijos atviro svorio modelis?

2:57 Tuo tarpu Aleph Alpha išleido Kolibri, atviro svorio modelį vokiečių ir anglų kalboms. Jo paleidimo animacija sako: mažas paukštis, greiti sparnai. Svoris prieinamas pagal Apache 2.0. Chubby pavadino tai stebėtinai stipriu Vokietijos leidimu. Naudingoji dalis yra diegimo kontrolė. Įmonė gali turėti svorius ir vykdyti savo dokumentus per infrastruktūrą, kurią ji valdo. Apie tris su puse milijardo parametrų dirba su kiekvienu žetonu, bet visas modelis turi septyniasdešimt aštuonis milijardus.

3:22 Jo paskelbti svoriai užima apie septyniasdešimt aštuonis gigabaitus, taigi mažam paukščiui vis dar reikia didelio narvo. Tejas Kumar nepriklausomai išbandė jo žetonizatorių Vokietijos konstitucijoje. Jis naudojo apie penkiolika procentų mažiau žetonų nei OpenAI žetonizatorius vokiečių kalba. Angliškame vertime jie buvo faktiškai susieti. Tai siauras, naudingas vokiečių teksto efektyvumo matavimas. Jis sako, kad pats modelio nebuvo paleidęs. Atminkite tą skirtumą, kai draugiškas paleidimo grafikas bando tapti jūsų

3:46 viešųjų pirkimų skyrius. Ir System76 Cosmic kompozitorius dabar prašo

Ką tiksliai COSMIC atmeta „pull“ užklausose?

3:50 dalyvių patvirtinti, kad jų „pull“ užklausa neturi jokio kalbos modelio sugeneruoto turinio. Šablonas aiškiai apima kodą, komentarus ir aprašymus. Dalyviai taip pat pažada, kad suprato ir išbandė pakeitimą. Flatpak saugykla turi išimtį savo programos šaltiniui ir manifestui. Perskaitykite tikrąjį šabloną, prieš traktuodami visą projektą kaip vieną taisyklę. Mašina gali pagaminti dar vieną pataisą per kelias sekundes. Vis tiek kažkas turi ją perskaityti.

4:14 Šiandien debesis nustato eksperimento ribas, o prižiūrėtojai nustato peržiūros eilės ribas. Grįžkime prie to sustabdyto AWS projekto. Padidinus išlaidų limitą, jį galima iš naujo aktyvuoti, o kai kuriems resursams gali prireikti rankinio paleidimo. Atkūrimas yra procedūra, kurią turėtumėte suprasti, prieš agentui išleidžiant pinigus. Atgalinis skaičiavimas yra devyniasdešimt dienų.

Kada pauzė tampa nuolatiniu duomenų praradimu?

4:31 AWS teigia, kad jei per tą laiką po projekto sustabdymo nesiimate jokių veiksmų, jis visam laikui ištrina projekto duomenis. Padarykite atsarginę kopiją už to projekto sprogimo spindulio. Sustabdyta sąskaita ir išsaugota atsarginė kopija yra du atskiri darbai. Noriu limito ir noriu atkūrimo plano. Mano apleistas savaitgalio prototipas turėtų išeiti į pensiją oriai. Jei norite tai perskaityti, o ne išgirsti, kaip aš tai sakau, skirtumas patenka į jūsų pašto dėžutę kiekvieną rytą, nemokamai daily diff dot dev, nuoroda žemiau.

Koks mano verdiktas dėl naujų išlaidų kontrolės priemonių?

4:55 Taigi šiandienos verdiktas, NEEDS REVIEW. Aš džiaugiuosi priverstiniais išlaidų limitais. Patikrinciau prieinamumą, apmokestinamus mokesčius ir atkūrimą, prieš perduodamas agentui sąskaitą. Devyniasdešimties dienų ištrynimo laikrodis nusipelno labai matomo įspėjimo. Ir tai yra skirtumas šiandienai. Aš esu Niko iš Axrisi. Sujunkite atsakingai.

Šaltiniai

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com