Лимиты расходов AWS могут удалить ваш проект

Что освещается в этом видео

• Что на самом деле может защитить ограничение расходов на облако?
• Как AWS на самом деле останавливает расходы проекта?
• Кто получает новые лимиты расходов AWS?
• Что ограничивает Google и что продолжает выставлять счета?
• Насколько мала новая модель Германии с открытым весом?

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Что на самом деле может защитить ограничение расходов на облако?

0:00 Лимит расходов означает, что ваш побочный проект в безопасности. Новый лимит AWS может приостановить его, и если оставить его приостановленным, данные могут быть удалены. В этом видео: что остановит счет? В чем подвох? Кто на самом деле получает эти лимиты? В документации AWS есть обратный отсчет. Мы проследим его до кнопки удаления. Воскресенье, четвертое октября, и это The Daily Diff.

0:20 В субботу Саймон Уиллисон призвал к установке лимитов расходов по умолчанию, поскольку агенты упрощают развертывание программного обеспечения. Германия выпустила Kolibri, а сопровождающие Cosmic провели черту вокруг вкладов ИИ. Аргумент Уиллисона мучительно знаком. Предупреждение по электронной почте приходит в полночь, служба продолжает тратить деньги, и вы просыпаетесь как невольный спонсор собственного бесконечного цикла. AWS представила лимиты расходов на проекты в своем упрощенном интерфейсе

Как AWS на самом деле останавливает расходы проекта?

0:44 в сентябре. Когда использование достигает лимита, AWS приостанавливает проект и останавливает его ресурсы. Ваши данные изначально сохраняются. Это реальное изменение в контракте на продукт. Клиент может авторизовать облако для прерывания эксперимента. Оповещение о расходах оставляет решение за тем, кто читает свой почтовый ящик. Кодирующий агент может предоставлять ресурсы, пока вы готовите ужин. Счет принадлежит владельцу учетной записи, который каким-то образом стал и инженерным отделом, и финансовым отделом.

1:09 Развертывание ограничено, и вам нужен платный тарифный план, чтобы установить лимит.

Кто получает новые лимиты расходов AWS?

1:13 Это относится к новому опыту работы с проектами. Проверьте доступность, прежде чем предполагать, что ваша существующая учетная запись имеет те же элементы управления. Лимит применяется к расходам до уплаты налогов и исключает кредиты. Минимум составляет двадцать долларов или консервативная оценка расходов AWS, в зависимости от того, что выше. Уже запущенные ресурсы могут увеличить этот минимум. Это важно для заброшенной «песочницы», полной дорогих машин. Вам, возможно, придется остановить их, прежде чем устанавливать меньший лимит.

1:36 Финансовые советы облака начинаются с выключения компьютера. AWS также предлагает опциональные ранние элементы управления. Примерно за неделю до прогнозируемого лимита он может блокировать новые ресурсы. Ваши существующие экземпляры продолжают работать, в то время как группа автомасштабирования может потерять разрешение на расширение. Другие опции приостанавливают простаивающие ресурсы, затем наиболее затратные драйверы по мере приближения прогноза. Конечная точка SageMaker с нулевым количеством вызовов в течение двух недель квалифицируется как простаивающая. Ваша забытая демо-версия наконец-то получает «выходное интервью».

2:03 Уиллисон хочет, чтобы жесткие лимиты были включены по умолчанию, а неограниченные расходы были явным выбором. Это его предложение. Документация AWS описывает элементы управления, которые вы настраиваете, с ограниченным доступом во время этого развертывания. Google объявил о своих собственных лимитах расходов в июле.

Что ограничивает Google и что продолжает выставлять счета?

2:17 В публичной предварительной версии они нацелены на одну службу внутри одного проекта, и Google говорит, что лимиты ИИ срабатывают в течение нескольких минут после достижения порога. В список услуг входят Gemini и Cloud Run. Другие услуги остаются незатронутыми. Фиксированные договорные обязательства продолжают выставлять счета, поэтому приостановка нового использования по-прежнему оставляет все обязательства, которые вы уже подписали, на счете. Для бизнеса неожиданное отключение также может быть дорогостоящим. AWS явно ограничивает эти лимиты экспериментами и «песочницами»,

2:43 при этом производственное использование зависит от того, приемлема ли приостановка ресурсов. Мой вывод для разработчиков прост. Поместите экспериментальных агентов в отдельный проект, проверьте, какие расходы покрывает лимит, и протестируйте процесс восстановления. Ограничитель нуждается во владельце, который заметит, когда он сработает.

Насколько мала новая модель Германии с открытым весом?

2:57 Тем временем Aleph Alpha выпустила Kolibri, модель с открытым весом для немецкого и английского языков. В ее стартовой анимации говорится: «маленькая птица, быстрые крылья». Веса доступны по лицензии Apache 2.0. Чэбби назвал это удивительно сильным релизом из Германии. Полезной частью является контроль развертывания. Компания может хранить веса и прогонять свои документы через инфраструктуру, которой она владеет. Около трех с половиной миллиардов параметров работают над каждым токеном, но полная модель имеет семьдесят восемь миллиардов.

3:22 Ее опубликованные веса занимают около семидесяти восьми гигабайт, так что маленькой птице все еще нужна большая клетка. Техас Кумар самостоятельно протестировал ее токенизатор на конституции Германии. Он использовал примерно на пятнадцать процентов меньше токенов, чем токенизатор OpenAI на немецком языке. В английском переводе они были фактически равны. Это узкое, полезное измерение эффективности немецкого текста. Он говорит, что сам модель не запускал. Помните об этом различии, когда дружелюбный график запуска пытается стать вашим

3:46 отделом закупок. А композитор Cosmic от System76 теперь просит

Что именно COSMIC отклоняет в запросах на слияние?

3:50 участников подтвердить, что их запрос на слияние не содержит контента, сгенерированного языковой моделью. Шаблон явно включает код, комментарии и описания. Участники также обещают, что они понимают и протестировали изменения. В репозитории Flatpak есть исключение для их собственного источника приложения и манифеста. Прочитайте фактический шаблон, прежде чем рассматривать весь проект как одно правило. Машина может создать еще один патч за секунды. Кто-то все равно должен его прочитать.

4:14 Сегодня облако устанавливает лимиты на эксперименты, а сопровождающие устанавливают лимиты на очередь на проверку. Вернемся к приостановленному проекту AWS. Увеличение лимита расходов может реактивировать его, и некоторым ресурсам может потребоваться ручной перезапуск. Восстановление — это процедура, которую вы должны понять, прежде чем агент потратит выделенную сумму. Обратный отсчет составляет девяносто дней.

Когда пауза становится необратимой потерей данных?

4:31 AWS заявляет, что если вы не предпримете никаких действий в течение этого времени после приостановки проекта, он безвозвратно удалит данные проекта. Создайте резервную копию вне радиуса поражения этого проекта. Остановленный счет и сохраненная резервная копия — это две отдельные задачи. Я хочу лимит, и я хочу план восстановления. Мой заброшенный прототип выходного дня должен уйти на покой с достоинством. Если вы предпочитаете читать это, а не слушать, то diff попадает в ваш почтовый ящик каждое утро, бесплатно на thedailydiff.dev, ссылка ниже.

Каков мой вердикт по новым мерам контроля расходов?

4:55 Итак, сегодняшний вердикт: ТРЕБУЕТСЯ ПРОВЕРКА. Я приветствую принудительные лимиты расходов. Я бы проверил доступность, покрываемые расходы и восстановление, прежде чем передавать агенту учетную запись. 90-дневный отсчет до удаления заслуживает очень заметного предупреждения. И это diff на сегодня. Я Нико из Axrisi. Сливайте ответственно.

Источники

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com