AWS чыгашаларынын чектөөлөрү долбооруңузду жок кылышы мүмкүн

Бул видео эмнелерди камтыйт

• Булуттун чыгаша чектөөсү чындыгында эмнени коргой алат?
• AWS долбоордун чыгашаларын кантип токтотот?
• AWS'тин жаңы чыгаша чектөөлөрүн кимдер алат?
• Google эмнени чектейт жана эмне төлөөнү улантат?
• Германиянын жаңы ачык салмактагы модели канчалык кичине?

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Булуттун чыгаша чектөөсү чындыгында эмнени коргой алат?

0:00 Чыгаша чеги сиздин кошумча долбооруңуз коопсуз экенин билдирет. AWS'тин жаңы чектөөсү аны тындырып, тындырылган бойдон калтыруу акыры маалыматтарды өчүрүп салышы мүмкүн. Бул видеодо, төлөмдү эмне токтотот? Кандай кемчилик бар? Бул чектөөлөрдү кимдер алат? AWS'тин документтеринде артка саноо бар. Биз аны өчүрүү баскычына чейин ээрчийбиз. Бүгүн жекшемби, төртүнчү октябрь, жана бул The Daily Diff.

0:20 Ишемби күнү Саймон Виллисон агенттер программалык камсыздоону жайылтууну жеңилдеткендиктен, демейки чыгаша чектерин талап кылды. программалык камсыздоону жайылтууну жеңилдеткендиктен. Германия Kolibri'ни чыгарды, ал эми Cosmic'тин тейлөөчүлөрү AI салымдарына чек койду. Виллисондун аргументи өтө эле тааныш. Түн ортосунда эскертүү электрондук каты келет, кызмат чыгашаны улантат, жана сиз өзүңүздүн чексиз циклиңиздин ыктыярдуу эмес демөөрчүсү катары ойгоносуз. AWS сентябрда жөнөкөйлөштүрүлгөн куруучу тажрыйбасында долбоордун чыгаша чектөөлөрүн киргизди.

AWS долбоордун чыгашаларын кантип токтотот?

0:44 Колдонуу чекке жеткенде, AWS долбоорду тындырып, анын ресурстарын токтотот. Маалыматтарыңыз башында сакталат. Бул продукт келишиминдеги чыныгы өзгөрүү. Кардар экспериментти токтотууга булутка уруксат бере алат. Чыгаша жөнүндө эскертүү чечимди почта кутусун окуган адамга калтырат. Коддоштуруучу агент сиз кечки тамак жасап жатканда ресурстарды камсыздай алат. Эсеп аккаунттун ээсине таандык, ал кандайдыр бир жол менен инженерия бөлүмү да, каржы бөлүмү да болуп калган. инженерия бөлүмү да, каржы бөлүмү да болуп калган.

1:09 Ишке киргизүү чектелген, жана чектөө коюу үчүн акы төлөнүүчү план керек.

AWS'тин жаңы чыгаша чектөөлөрүн кимдер алат?

1:13 Бул жаңы долбоор тажрыйбасына таандык. Учурдагы аккаунтуңузда ошол эле көзөмөлдөр бар деп ойлоордон мурун жеткиликтүүлүгүн текшериңиз. Чек салыкка чейинки төлөмдөргө колдонулат жана кредиттерди камтыбайт. Минимум жыйырма доллар же AWS'тин консервативдүү чыгаша баасы, кайсынысы жогору болсо ошол. Буга чейин иштеп жаткан ресурстар ошол минимумду көтөрүшү мүмкүн. Бул кымбат машиналарга толгон, көңүл бурулбаган кумдук үчүн маанилүү. Кичине чектөө койордон мурун аларды токтотушуңуз керек болушу мүмкүн.

1:36 Булуттун каржылык кеңеши компьютерди өчүрүүдөн башталат. AWS ошондой эле кошумча эрте көзөмөлдөрдү сунуштайт. Болжолдонгон чектөөгө бир жума калганда, ал жаңы ресурстарды бөгөттөй алат. Учурдагы инстанцияларыңыз иштеп тура берет, ал эми автоматтык масштабдоо тобу кеңейтүүгө уруксатты жоготушу мүмкүн. уруксатты жоготушу мүмкүн. Башка опциялар бош ресурстарды тындырат, андан кийин болжол жакындаган сайын чыгымдардын негизги драйверлерин токтотот. Эки жума бою нөл чалуулары бар SageMaker чекити бош деп эсептелет. Сиздин унутулган демоңуз акыры чыгуу интервьюсун алат.

2:03 Виллисон катуу чектөөлөрдү демейки боюнча күйгүзүүнү каалайт, чексиз чыгашалар ачык тандоо катары. ачык тандоо катары. Бул анын сунушу. AWS'тин документтери сиз конфигурациялаган көзөмөлдөрдү сүрөттөйт, бул ишке киргизүү учурунда чектелген жеткиликтүүлүк менен. Google июль айында өзүнүн чыгаша чектерин жарыялаган.

Google эмнени чектейт жана эмне төлөөнү улантат?

2:17 Коомдук алдын ала кароодо, алар бир долбоордун ичинде бир кызматты максат кылат, жана Google AI чектери босогого жеткенден кийин бир нече мүнөттүн ичинде иштетилет дейт. Көрсөтүлгөн кызматтарга Gemini жана Cloud Run кирет. Башка кызматтар таасирсиз калат. Белгиленген келишимдик милдеттенмелер эсеп-кысапты улантат, ошондуктан жаңы колдонууну тындыруу дагы деле сиз буга чейин кол койгон милдеттенмелерди эсеп-фактурада калтырат. сиз буга чейин кол койгон милдеттенмелерди эсеп-фактурада калтырат. Бизнес үчүн күтүлбөгөн өчүрүү да кымбат болушу мүмкүн. AWS бул чектөөлөрдү эксперименттер жана кумдуктар менен ачык эле байланыштырат,

2:43 өндүрүштүк колдонуу ресурстук тыныгуу алгылыктуубу же жокпу, ошого жараша болот. Менин иштеп чыгуучумдун жыйынтыгы жөнөкөй. Эксперименталдык агенттерди өзүнчө долбоорго салыңыз, чектөө кайсы төлөмдөрдү камтыганын текшериңиз, жана калыбына келтирүү процессиңизди текшериңиз. Тоскоолдукка ал иштегенде байкаган ээси керек.

Германиянын жаңы ачык салмактагы модели канчалык кичине?

2:57 Ошол эле учурда, Aleph Alpha Германия жана англис тилдери үчүн ачык салмактагы Kolibri моделин чыгарды. Анын ишке киргизүү анимациясында "кичинекей куш, тез канаттар" деп айтылат. Салмактар Apache 2.0 лицензиясы боюнча жеткиликтүү. Chubby аны Германиядан күтүүсүздөн күчтүү релиз деп атады. Пайдалуу бөлүгү - жайылтууну көзөмөлдөө. Компания салмактарды кармап, өзүнө таандык инфраструктура аркылуу документтерин иштете алат. Ар бир токенде үч жарым миллиардга жакын параметр иштейт, бирок толук модель жетимиш сегиз миллиардга ээ.

3:22 Анын жарыяланган салмактары жетимиш сегиз гигабайтты ээлейт, ошондуктан кичинекей кушка дагы деле чоң капас керек. Тежас Кумар өз алдынча Германиянын конституциясында анын токенизаторун сынаган. Ал OpenAI'дин токенизаторуна караганда немис тилинде он беш пайызга аз токендерди колдонгон. Англис тилине котормодо алар натыйжалуу түрдө тең болгон. Бул немис текстинин эффективдүүлүгүнүн тар, пайдалуу өлчөөсү. Ал моделдин өзүн иштетпегенин айтат. Достук ишке киргизүү диаграммасы сиздин сатып алуу бөлүмүңүз болууга аракет кылганда ошол айырманы сактаңыз.

3:46 жана System76нын Cosmic композитору азыр салым кошкондордон алардын тартуу өтүнүчүндө тил модели тарабынан түзүлгөн мазмун жок экенин тастыктоону суранат.

COSMIC тартуу өтүнүчтөрүндө так эмнени четке кагат?

3:50 мазмун жок экенин тастыктоону суранат. Калып кодду, комментарийлерди жана сүрөттөмөлөрдү ачык эле камтыйт. комментарийлерди жана сүрөттөмөлөрдү. Салым кошкондор ошондой эле өзгөрүүлөрдү түшүнгөндөрүн жана сынашканын убада кылышат. Flatpak репозиторийинде өздөрүнүн колдонмо булагы жана манифести үчүн өзгөчөлүк бар. Бүт долбоорду бир эреже катары кароодон мурун чыныгы калыпты окуңуз. Машина дагы бир патчты секунддун ичинде чыгара алат. Бирөө дагы деле аны окушу керек.

4:14 Бүгүнкү күндө булут экспериментке чек коёт, ал эми тейлөөчүлөр карап чыгуу кезекке чек коёт. Тынытылган AWS долбооруна кайрылып. карап чыгуу кезекке чек коёт. Тынытылган AWS долбооруна кайрылып. Чыгаша чегин көбөйтүү аны кайра иштете алат, жана кээ бир ресурстарга кол менен кайра иштетүү керек болушу мүмкүн. Калыбына келтирүү – бул агент уруксатты сарптаганга чейин түшүнүшүңүз керек болгон процедура. агент уруксатты сарптаганга чейин түшүнүшүңүз керек болгон процедура. Артка саноо токсон күн.

Тыныгуу качан маалыматтарды биротоло жоготууга айланат?

4:31 AWS долбоор тындырылгандан кийин ошол убакыттын ичинде эч кандай аракет кылбасаңыз, ал долбоордун маалыматтарын биротоло жок кылат дейт. Ошол долбоордун жарылуу радиусунан сырткары камдык көчүрмөнү сактаңыз. Токтотулган эсеп жана сакталган камдык көчүрмө эки башка жумуш. Мага чек жана калыбына келтирүү планы керек. Менин ташталган дем алыш күнкү прототибим татыктуу пенсияга чыгышы керек. Эгер сиз муну менин айтканымдан көрө окууну кааласаңыз, diff күн сайын эртең менен сиздин почта кутуңузга келет, dailydiff.dev дарегинен бекер, шилтеме ылдыйда.

Жаңы чыгашаларды көзөмөлдөөгө менин өкүмүм кандай?

4:55 Демек, бүгүнкү өкүм, NEEDS REVIEW. Мен мажбурланган чыгаша чектөөлөрүн кубаттайм. Агентке аккаунтту тапшырардан мурун жеткиликтүүлүгүн, камтылган төлөмдөрдү жана калыбына келтирүүнү текшермекмин. Токсон күндүк өчүрүү сааты өтө көрүнүктүү эскертүүгө татыктуу. Жана бүгүнкү diff ушул. Мен Axrisiден Никомун. Жоопкерчилик менен бириктириңиз.

Булактар

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com