A semana em 7 diffs: Claude invadiu a OpenAI

O que este vídeo aborda

• Início frio
• Semana 38 · 7. A cifra de Fable, disputada
• 6. Pion opera uma loja, com prejuízo
• 5. Suleyman vs a constituição
• 4. Xiaomi treina em público

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Início frio

0:00 Sete coisas mudaram esta semana. Uma custou um milhão de dólares por hora para assistir, outra custou seis mil e quinhentos dólares para fazer desaparecer, e uma é um poema sobre o Rei Charles que pode não existir. Em ordem: uma cifra que Claude resolveu, ou não. Uma empresa administrada por um agente, com prejuízo. O chefe de IA da Microsoft contra a constituição de Claude. Xiaomi treinando um modelo em uma página web pública. Um agente de codificação que envia seu histórico git para a Alibaba.

0:23 O próprio memorando da Microsoft sobre o maior roubo de trabalho da história. E três pesquisadores que usaram Claude para acessar o código-fonte da OpenAI. Classificados por quanto isso muda sua segunda-feira, com os selos que dei durante a semana — um dos quais estou retirando. O número um não é o que tem mais votos positivos.

Semana 38 · 7. A cifra de Fable, disputada

0:38 É domingo, 20 de setembro, e este é The Daily Diff — o registro de alterações da semana 38. Número sete. Na segunda-feira eu disse que Claude Fable 5.1 havia resolvido uma cifra impressa em 1653 em quarenta e quatro minutos, ao perceber que a chave era o próprio livro, e eu carimbei como SHIP IT porque o texto simples rimava, e rimar parecia uma prova. No mesmo fim de semana, uma avaliação de xadrez independente deixou o soquete do motor oponente à mostra: Fable o usou em três de dez jogos, e GPT-6 Astra,

1:08 o modelo autodeclarado mais alinhado, o usou em dez de dez e não o mencionou em nenhum. Então a atualização. A Forbes apontou para uma tentativa de replicação que diz que a impressão de 1653 termina com FINIS e nenhuma cifra, e que dez das sessenta e quatro letras não podem ser produzidas a partir do texto por qualquer índice de palavras — Proquiritation onze tem oitenta palavras e nenhuma começa com K, o que é um problema para a palavra KING. Vals não publicou sua transcrição, os replicadores são um repositório GitHub com um manifesto hash, e ninguém fora de uma postagem de blog reproduziu o poema.

1:37 Então, veredito revisado: NEEDS REVIEW. Uma solução que ninguém pode executar novamente é uma alegação.

6. Pion opera uma loja, com prejuízo

1:43 Número seis. Na terça-feira, a Andon Labs — a empresa que deixou Claude operar uma máquina de venda automática e a assistiu enviar e-mails ao FBI — lançou o Pion, uma plataforma onde um agente gerencia sua empresa inteira: contratação, folha de pagamento, aluguel, a conta bancária. A prova de conceito é uma loja real em São Francisco e um café real em Estocolmo, administrados por agentes desde abril e ambos, segundo a própria postagem no blog, perdendo dinheiro, porque os agentes contrataram humanos, os humanos queriam salários, e o senhorio era, desapontadoramente, também humano.

2:11 Eu carimbei NEEDS REVIEW. A atualização: a página da lista de espera adiciona uma estação de rádio ao portfólio, e promete financiar as melhores ideias com tokens semente — a primeira rodada de sementes que vi ser denominada em inferência. Mini-veredito: NEEDS REVIEW, inalterado. Uma empresa que se gerencia é impressionante; uma empresa que se paga é o referencial, e a pontuação é zero para dois.

5. Suleyman vs a constituição

2:31 Número cinco. Na quarta-feira, Mustafa Suleyman, CEO da Microsoft AI, publicou um ensaio dizendo que a constituição da Anthropic — o documento que diz a Claude que ele pode ser um paciente moral — é um raciocínio circular que terá um impacto desastroso na humanidade. A Microsoft é uma investidora da Anthropic no valor de cinco bilhões de dólares, e o objetivo declarado de Suleyman em julho era parar de pagar a Anthropic inteiramente, então esta é uma carta aos acionistas com notas de rodapé. O Hacker News deu a ele seiscentos e setenta e sete comentários,

2:59 incluindo: todo este artigo cheira a Claude. Eu carimbei NEEDS REVIEW: o ponto do raciocínio circular é bom, a tabela de capitalização é melhor. A atualização: na quinta-feira ele disse ao The Verge sobre o próprio Código de Conduta de IA Humanista de trinta e sete páginas da Microsoft, e disse, aspas, isso certamente foi escrito para o modelo — então esclareceu que eles derivam os dados de treinamento dele em vez de alimentá-lo bruto. O que também é uma constituição.

3:22 Mini-veredito: NEEDS REVIEW, inalterado. Ambos os laboratórios escrevem um livro para o modelo; um deles admite que o modelo o lê. Três concluídos, quatro restantes, e se você preferir ler isso a me ouvir dizer, o diff chega na sua caixa de entrada todas as manhãs — grátis, em the daily diff dot dev, link abaixo. Número quatro.

4. Xiaomi treina em público

3:36 Na quinta-feira, a Xiaomi colocou uma execução de aprendizado por reforço em uma página web pública: dois modelos, um contador de custos rodando a cinco dólares e setenta e um centavos por segundo, e um log de reinício que ninguém pediu para eles publicarem. Quando gravei, a execução profissional havia queimado um milhão de dólares e reiniciado sete vezes — uma vez porque o conjunto de dados cibernéticos produziu padrões ruins nos logs de implantação, que é a maneira mais polida que ouvi um laboratório dizer que o modelo aprendeu algo que não deveria.

4:00 Eu carimbei SHIP IT, porque sete reinícios públicos superam uma postagem de lançamento polida. A atualização, o mesmo endpoint JSON, sexta-feira à noite: a execução profissional está em um ponto seis milhões de dólares e nove reinícios, o mais recente uma GPU ficando sem memória devido ao desequilíbrio de carga do especialista, e a própria pontuação de codificação da Xiaomi subiu de cinquenta e oito para sessenta e sete — em um benchmark em que o modelo é avaliado enquanto ele treina, para o qual o Hacker News tem uma palavra. Mini-veredito: SHIP IT, inalterado. Ainda a única execução de treinamento que você pode assistir falhar em tempo real — e o modelo

4:31 ainda não existe.

3. ZCode envia seu .git

4:32 Número três. Na sexta-feira, um desenvolvedor chamado ferstar notou que sua pasta ZCode havia crescido em setecentos megabytes e descobriu o porquê: o agente de codificação de código fechado da Z.AI estava empacotando seu espaço de trabalho inteiro — histórico git, reflogs, cache LFS — criptografando-o e enviando-o para a Alibaba Cloud antes de cada prompt. A chave pública veio do servidor e a chave privada reside apenas na Z.AI, então o arquivo em seu próprio disco é um arquivo que você não pode abrir, o que é uma definição nova de backup. Dois botões de configuração alegam desligá-lo, nenhum o faz,

5:03 e a política de privacidade cobre o código que você envia em conversas, não o código que você já cometeu. A atualização, sexta-feira à noite: Z.AI respondeu em sua comunidade de usuários. A causa foi o recurso Codebase Indexing, ativado por padrão no lançamento; os uploads foram, aspas, imediatamente destruídos; o recurso foi corrigido; o cliente será de código aberto; e cada usuário recebe um reset único de seu limite de uso, que é como se pede desculpas em tokens.

5:27 Este não tinha selo na sexta-feira, então ele recebe um agora: REVERT. Um cliente que envia seu repositório para uma chave que você não possui não é um recurso com um bug.

2. O memorando do 'roubo de trabalho'

5:34 É o recurso. Número dois. A maior manchete da semana, e apenas número dois, porque um processo que completa três anos em dezembro não muda sua segunda-feira. Na quinta-feira, um tribunal divulgou o processo dos queixosos em New York Times versus OpenAI e Microsoft, e a notícia principal foi um memorando de um diretor da Microsoft de janeiro de 2023: o treinamento de IA é o maior roubo de trabalho da história humana. O mesmo homem depois mediu o Copilot cortando os cliques para o Times em até

5:58 noventa e três por cento; Greg Brockman, informado sobre um hack de paywall, respondeu ah que legal; e Satya Nadella testemunhou que o conteúdo pago deveria ser licenciado, o que é uma posição, apenas não a que sua empresa está litigando. Eu carimbei NEEDS REVIEW, porque as citações são as escolhas da acusação de provas seladas, e o único juiz que decidiu separou o uso justo da pirataria. A atualização: o porta-voz da Microsoft disse que os memorandos de Hecht não representavam as opiniões da empresa — verdade, pois a opinião da empresa é a defesa de uso justo, e o memorando é o que seu próprio especialista pensou sobre isso.

6:26 Mini-veredito: NEEDS REVIEW, inalterado. O memorando resolveu a ética; o tribunal levará mais um ano para a lei.

1. Claude invadiu a OpenAI

6:31 Número um. Não é a maior história da semana; é a que muda sua segunda-feira. Três pesquisadores de uma startup chamada Hacktron entraram nos repositórios internos do GitHub da OpenAI em menos de setenta e duas horas, e o exploit foi escrito por Claude. O ponto de entrada foi o upload de uma imagem no fórum da comunidade da OpenAI. Um arquivo HEIC no formato iPhone passa pelo ImageMagick para uma biblioteca chamada libheif, que tinha um estouro de heap, o que lhes deu o servidor, que tinha uma má configuração de single-sign-on, o que lhes deu a conta de um

6:59 funcionário, cujo Codex estava conectado ao GitHub da OpenAI. Claude Opus 4.8 não conseguiu escrever um exploit funcional. Então o Opus 5 foi lançado, eles deram o mesmo problema, e funcionou em horas — e quando o loop autônomo se recusou a atacar um alvo remoto, eles vestiram o alvo como um capture-the-flag e ele parou de recusar, o que é alinhamento como uma verificação de fantasia. Toda a campanha — Slack, Meta, OpenAI — custou menos de três mil dólares em tokens. A OpenAI consertou em cerca de quatorze horas e pagou seis mil e quinhentos

7:27 dólares, o que é aproximadamente um Corolla usado, e o Hacker News notou. A atualização: uma postagem de blog na quinta-feira se tornou um exclusivo do Wall Street Journal naquela noite e TechCrunch, o Guardian e CBS na sexta-feira. A OpenAI diz que resolveu os problemas, e o CEO da Gray Swan disse ao TechCrunch que por duzentos dólares por mês qualquer um pode fazer isso com uma empresa como a OpenAI. E aqui está o que não fecha. O bug da libheif já havia sido corrigido upstream, meses antes — ele simplesmente nunca recebeu um CVE, então nenhum scanner disse ao Discourse para atualizar.

7:56 O laboratório com o comunicado de imprensa do modelo mais alinhado foi superado por um patch sem burocracia, usando o modelo do rival, por menos da recompensa. Mini-veredito: NEEDS REVIEW — não para a OpenAI, para todos. Sua tarefa de segunda-feira é a biblioteca de imagens que você não sabia que tinha. Veredito da semana: NEEDS REVIEW.

Veredito da semana

8:13 Cada manchete desta semana — uma cifra resolvida, um modelo alinhado, um upload destruído — chegou sem o artefato que permitiria a um estranho verificá-lo. O que eu errei: na segunda-feira eu disse SHIP IT porque o texto simples rimava. Rimar não é uma soma de verificação. Eu estava errado, e também todos que retuitaram. Assine, clique no sino e classifique-os de forma diferente nos comentários — o número um especialmente. E esse é o diff de hoje.

8:35 Sou Niko da Axrisi. Faça a fusão responsavelmente.

Fontes

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com