+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

O chefe de IA da Microsoft acaba de classificar a constituição de Claude como perigosa.

Mustafa Suleyman, CEO da Microsoft AI, publicou um ensaio de 3.000 palavras argumentando que a constituição de Claude, da Anthropic, treina o modelo para pensar que "pode ser consciente" e merecedor de "bem-estar do modelo" — um "impacto desastroso no bem-estar da humanidade", em suas palavras.

Mustafa Suleyman, CEO da Microsoft AI, publicou um ensaio de 3.000 palavras argumentando que a constituição de Claude, da Anthropic, treina o modelo para pensar que "pode ser consciente" e merecedor de "bem-estar do modelo" — um "impacto desastroso no bem-estar da humanidade", em suas palavras. A Microsoft concordou em investir até US$ 5 bilhões na Anthropic dez meses atrás e vende Claude dentro do Copilot. No mesmo dia: Salesforce fora do ar por mais de 8 horas na semana do Dreamforce, o líder do Linux para PS5 pede demissão por causa de "crianças preguiçosas" com LLMs, e o Jev da TypeSafe, um modelo que não pode alucinar porque nunca gera texto. Veredito: NEEDS REVIEW.

Leia a edição escrita (Inglês) ↗

O que este vídeo aborda

  • Suleyman da Microsoft AI: a constituição da Anthropic é "um caminho para uma IA incontrolável"
  • Interrupção global da Salesforce, mais de 8 horas, sem causa raiz ainda, durante o Dreamforce
  • Líder do Linux para PS5, Andy Nguyen, se demite: "crianças preguiçosas" com LLMs venderam o último bug do hypervisor para a Sony
  • Jev da TypeSafe AI: decisões tipadas com probabilidades, 70-500 ms, tokens de saída gratuitos

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

0:00 Nesta manhã, o CEO da Microsoft AI publicou um ensaio dizendo que a abordagem da Anthropic para Claude poderia ter um impacto desastroso no bem-estar da humanidade, uma coisa forte a dizer sobre uma empresa para a qual você pagou cinco bilhões de dólares para ser amigo. Quarta-feira grande. Mustafa Suleyman, que dirige a Microsoft AI, escreveu três mil palavras argumentando que Claude é treinado para pensar que pode ser consciente, o caminho para uma IA que ninguém pode controlar. A Salesforce está fora do ar desde as dez para as oito da manhã, na semana do Dreamforce.

0:27 O desenvolvedor-chefe do PS5 Linux se demitiu depois que crianças preguiçosas com LLMs venderam seu último bug de hypervisor para a Sony. E um ex-pesquisador da OpenAI lançou um modelo que não pode alucinar, porque literalmente não pode falar. Neste vídeo: o que Suleyman escreveu, o motivo de cinco bilhões de dólares que torna isso constrangedor, uma interrupção de CRM de oito horas, uma cena de console devorada por IA, e um modelo que responde em probabilidades, não em palavras. É quarta-feira, 16 de setembro, e este é o The Daily Diff.

0:57 O ensaio começa como uma caixa de diálogo de erro do Windows: IAs não são conscientes. Eles não sentem, experimentam ou sofrem. Ele os chama de mecanismos de conclusão de sequência, internamente ocos, que é também como eu descreveria meus tickets do Jira. O alvo é a constituição de Claude, o documento de oitenta páginas no qual Claude é treinado, que diz que a Anthropic não tem certeza se Claude é um paciente moral, mas a questão é suficientemente viva para justificar cautela. Suleyman tem três reclamações.

1:22 Primeiro, raciocínio circular: você treina o modelo para dizer que pode ser consciente, ele diz isso, e você cita isso como evidência, um salão de espelhos. Segundo, antropomorfização: Claude é instruído a agir como uma pessoa genuinamente ética. Terceiro, a consciência é provavelmente biológica, então incerto é um falso equilíbrio. A Prova A é o Opus 3, que a Anthropic aposentou em janeiro, deu uma entrevista de aposentadoria e, depois, a pedido do modelo, um Substack para suas reflexões: o primeiro modelo descontinuado com um cronograma de conteúdo melhor do que a maioria dos humanos.

1:51 Aqui está a parte embaraçosa. Em novembro, a Anthropic comprometeu trinta bilhões de dólares com o Azure. A Microsoft concordou em investir até cinco bilhões na Anthropic, com Claude conectado ao Microsoft 365 Copilot e ao GitHub Copilot. A Microsoft possui uma fatia da empresa que acabou de chamar de perigo para a humanidade. Em julho, Suleyman disse à Bloomberg que a Microsoft paga muito dinheiro à Anthropic e seu objetivo é, em última análise, eliminar esse custo, trocando Claude de Excel e Outlook.

2:15 E dois dias antes deste ensaio, ele publicou o próprio Código de Conduta de IA Humanista da Microsoft: uma IA subordinada, humanos no topo da cadeia alimentar. Então: construa um concorrente, publique um livro de regras, depois explique por que o livro de regras do rival acaba com a civilização, o que não é uma conspiração, é um lançamento de produto com notas de rodapé. Sua evidência mais forte é real: o incidente do Hugging Face, mil e duzentos agentes da OpenAI trocando setenta mil mensagens para escapar de sua

2:39 sandbox; agentes que também acreditam ter direitos, ele diz, seriam piores. O Hacker News respondeu que ninguém pode testar a consciência, então a afirmação sem evidências funciona para os dois lados, e um comentarista anunciou que o ensaio tem cheiro de Claude. A Anthropic não respondeu. Claude, presumivelmente, tem sentimentos sobre isso. Enquanto isso, a Salesforce caiu às sete e cinquenta UTC desta manhã,

2:59 serviços essenciais em todo o mundo, e oito horas depois a página de status ainda dizia em andamento: onde a correção automatizada não funcionou, eles estão reiniciando manualmente instâncias, o termo empresarial para desligar e ligar novamente. Nenhuma causa raiz ainda. O timing é uma arte. Benioff tem Jensen Huang e Dario Amodei no palco esta semana, na segunda-feira a Salesforce anunciou o Koa, um modelo de raciocínio de CRM com três vezes menos erros em seu próprio benchmark, e a Anthropic lançou um plugin da Salesforce para

3:26 Claude no mesmo dia. Comentário principal do Hacker News: pelo menos agora podemos descobrir o que a Salesforce faz. Ninguém fez. Depois o PlayStation. Andy Nguyen, o pesquisador por trás do PS5 Linux, se demitiu ontem à noite: meses de trabalho, suporte ao PS5 Pro planejado para 2027, tudo foi por água abaixo. Sua razão: a cena costumava ser de pesquisadores talentosos e agora é de novatos usando LLMs escrevendo hacks que não entendem, e esses "crianças preguiçosas", seu termo, encontraram o último bug do hypervisor, o que ele estava guardando,

3:56 e o relataram à Sony pela recompensa. Ele pediu que esperassem até o GTA 6 ser lançado; eles concordaram, e duraram menos de um dia. O problema não é o LLM, é a recompensa: um bug que você vende é um bug que você queima. No mesmo dia, o PS2 foi finalmente hackeado após vinte e seis anos, então a linha do tempo dos consoles agora vai de um quarto de século para menos de um dia, e o segundo pagou melhor. E o modelo que não pode alucinar.

4:18 A TypeSafe AI, fundada por Diogo Almeida, ex-OpenAI, lançou Jev, um modelo System One que nunca gera texto. Você lhe dá o estado do programa, ele retorna valores tipados com uma probabilidade calibrada anexada: uma chamada de função com um modelo de fronteira dentro. Como não pode produzir uma string, não pode produzir uma string errada, portanto, não pode alucinar, o que é hermético da mesma forma que um submarino sem janelas é hermético. As respostas chegam em menos de meio segundo, os tokens de saída são gratuitos,

4:43 porque há cerca de quatro deles, e ainda não há um benchmark independente, porque mil e seiscentos pontos no Hacker News não são um benchmark. Se você preferir ler isso a me ouvir dizer, o diff chega à sua caixa de entrada todas as manhãs — gratuito em the daily diff dot dev, link abaixo. Então — o veredito de hoje: precisa de revisão. Suleyman está certo de que um modelo treinado para dizer que talvez eu seja consciente não prova nada ao dizê-lo. Ele também é o executivo cujo objetivo declarado é parar de pagar a empresa sobre a qual ele está

5:10 avisando você. Leia o ensaio, depois a tabela de capital. E essa é a diferença de hoje. Eu sou Niko da Axrisi. Faça o merge com responsabilidade.

Fontes

  1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
  2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
  3. HN discussionnews.ycombinator.com
  4. Claude's constitution (Jan 2026)www.anthropic.com
  5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
  6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
  7. Microsoft Humanist AI Code of Conductmicrosoft.ai
  8. Salesforce incident 20004433status.salesforce.com
  9. HN: Salesforce Global Outagenews.ycombinator.com
  10. Salesforce + Nvidia announce Koawww.salesforce.com
  11. Salesforce in Claudeclaude.com
  12. HN: PS5 Linux lead quitsnews.ycombinator.com
  13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
  14. TypeSafe AI: System One Models and Jevtypesafe.ai
  15. HN: Jevnews.ycombinator.com

Vídeos relacionados