Os limites de gastos da AWS podem apagar o seu projeto

O que este vídeo aborda

• O que pode um limite de gastos na cloud realmente proteger?
• Como é que a AWS realmente impede os gastos de um projeto?
• Quem beneficia dos novos limites de gastos da AWS?
• O que o Google limita e o que continua a ser faturado?
• Quão pequeno é o novo modelo de peso aberto da Alemanha?

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

O que pode um limite de gastos na cloud realmente proteger?

0:00 Um limite de gastos significa que o seu projeto paralelo está seguro. O novo limite da AWS pode pausá-lo, e deixá-lo pausado pode eventualmente apagar os dados. Neste vídeo, o que impede a fatura? Qual é o truque? Quem realmente recebe estes limites? Há uma contagem decrescente na documentação da AWS. Vamos segui-la até ao botão de apagar. É domingo, quatro de outubro, e este é o The Daily Diff.

0:20 No sábado, Simon Willison apelou a limites de gastos padrão à medida que os agentes facilitam a implementação de software. A Alemanha lançou Kolibri, enquanto os mantenedores do Cosmic estabeleceram um limite para as contribuições de IA. O argumento de Willison é dolorosamente familiar. Chega um e-mail de aviso à meia-noite, o serviço continua a gastar, e você acorda como o patrocinador involuntário do seu próprio ciclo infinito. A AWS introduziu limites de gastos de projetos na sua experiência de construtor simplificada em

Como é que a AWS realmente impede os gastos de um projeto?

0:44 setembro. Quando o uso atinge o limite, a AWS pausa o projeto e interrompe os seus recursos. Os seus dados são inicialmente preservados. Essa é uma verdadeira mudança no contrato do produto. O cliente pode autorizar a cloud a interromper a experiência. Um alerta de gastos deixa a decisão com quem está a ler a sua caixa de entrada. Um agente de codificação pode provisionar recursos enquanto você está a fazer o jantar. A fatura pertence ao proprietário da conta, que de alguma forma se tornou tanto o departamento de engenharia quanto o departamento financeiro.

1:09 A implementação é limitada e é necessário um plano pago para definir um limite.

Quem beneficia dos novos limites de gastos da AWS?

1:13 Isto pertence à nova experiência de projeto. Verifique a disponibilidade antes de assumir que a sua conta existente tem os mesmos controlos. O teto aplica-se a custos antes de impostos e exclui créditos. O mínimo é de vinte dólares ou a estimativa conservadora de gastos da AWS, o que for maior. Recursos já em execução podem aumentar esse mínimo. Isso é importante para uma sandbox negligenciada cheia de máquinas caras. Pode ter que pará-las antes de definir um limite menor.

1:36 O conselho financeiro da cloud começa por desligar o computador. A AWS também oferece controlos antecipados opcionais. Cerca de uma semana antes do limite previsto, pode bloquear novos recursos. As suas instâncias existentes continuam a funcionar, enquanto um grupo de autoscaling pode perder a permissão para expandir. Outras opções pausam recursos ociosos, depois os principais impulsionadores de custos à medida que a previsão se aproxima. Um endpoint SageMaker com zero chamadas por duas semanas qualifica-se como ocioso. A sua demo esquecida finalmente recebe uma entrevista de saída.

2:03 Willison quer limites rigorosos ativados por padrão, com gastos ilimitados como uma escolha explícita. Essa é a sua proposta. A documentação da AWS descreve controlos que você configura, com acesso limitado durante esta implementação. O Google anunciou os seus próprios limites de gastos em julho.

O que o Google limita e o que continua a ser faturado?

2:17 Em pré-visualização pública, eles visam um serviço dentro de um projeto, e o Google diz que os limites de IA são acionados em minutos após atingir o limite. Os serviços listados incluem Gemini e Cloud Run. Outros serviços permanecem inalterados. Compromissos contratuais fixos continuam a faturar, então pausar o novo uso ainda deixa quaisquer compromissos que você já assinou na fatura. Para um negócio, um encerramento inesperado também pode ser caro. A AWS enquadra explicitamente estes limites em torno de experiências e sandboxes,

2:43 com o uso em produção dependendo se uma pausa de recurso é aceitável. A minha conclusão para o desenvolvedor é simples. Coloque agentes experimentais num projeto separado, verifique quais as cobranças que o limite cobre, e teste o seu processo de recuperação. O 'guardrail' precisa de um proprietário que perceba quando ele dispara.

Quão pequeno é o novo modelo de peso aberto da Alemanha?

2:57 Entretanto, a Aleph Alpha lançou Kolibri, um modelo de peso aberto para alemão e inglês. A sua animação de lançamento diz: 'Pequeno pássaro, asas rápidas'. Os pesos estão disponíveis sob a licença Apache 2.0. Chubby chamou-lhe um lançamento surpreendentemente forte da Alemanha. A parte útil é o controlo de implementação. Uma empresa pode manter os pesos e executar os seus documentos através da infraestrutura que possui. Cerca de três mil e quinhentos milhões de parâmetros funcionam em cada token, mas o modelo completo tem setenta e oito mil milhões.

3:22 Os seus pesos publicados ocupam cerca de setenta e oito gigabytes, então o 'passarinho' ainda precisa de uma gaiola grande. Tejas Kumar testou independentemente o seu 'tokenizer' na constituição da Alemanha. Usou cerca de quinze por cento menos tokens do que o 'tokenizer' da OpenAI em alemão. Na tradução para inglês, ficaram efetivamente empatados. Essa é uma medida estreita e útil da eficiência do texto em alemão. Ele diz que não executou o modelo em si. Mantenha essa distinção quando um gráfico de lançamento amigável tentar tornar-se o seu

3:46 departamento de compras. E o compositor Cosmic da System76 agora pede aos

O que é que o COSMIC rejeita exatamente nas pull requests?

3:50 contribuidores que certifiquem que a sua 'pull request' não contém conteúdo gerado por modelo de linguagem. O modelo inclui explicitamente código, comentários e descrições. Os contribuidores também prometem que compreendem e testaram a mudança. O repositório Flatpak tem uma exceção para a sua própria fonte de aplicação e manifesto. Leia o modelo real antes de tratar todo o projeto como uma única regra. A máquina pode produzir outro 'patch' em segundos. Alguém ainda tem de lê-lo.

4:14 Hoje, a cloud impõe limites à experiência, e os mantenedores impõem limites à fila de revisão. De volta àquele projeto AWS pausado. Aumentar o limite de gastos pode reativá-lo, e alguns recursos podem precisar de reinícios manuais. A recuperação é um procedimento que deve entender antes que um agente gaste o valor permitido. A contagem decrescente é de noventa dias.

Quando é que a pausa se torna perda permanente de dados?

4:31 A AWS diz que se não tomar nenhuma ação dentro desse tempo depois que o projeto for pausado, elimina permanentemente os dados do projeto. Coloque um backup fora do raio de impacto desse projeto. Uma fatura interrompida e um backup retido são duas tarefas separadas. Quero o limite e quero um plano de recuperação. O meu protótipo de fim de semana abandonado deve aposentar-se com dignidade. Se preferir ler isto em vez de me ouvir a dizer, o 'diff' chega à sua caixa de entrada todas as manhãs, gratuitamente em thedailyddiff.dev, link abaixo.

Qual é o meu veredito sobre os novos controlos de gastos?

4:55 Então, o veredicto de hoje, NEEDS REVIEW. Acolho os limites de gastos impostos. Verificaria a disponibilidade, os custos cobertos e a recuperação antes de entregar uma conta a um agente. Um prazo de eliminação de noventa dias merece um aviso muito visível. E é isso o 'diff' de hoje. Eu sou o Niko da Axrisi. Faça a junção com responsabilidade.

Fontes

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com