Microsofts AI-chef kaldte lige Claudes konstitution farlig.

Hvad denne video dækker

• Microsoft AIs Suleyman: Anthropic's konstitution er "en vej til ukontrollerbar AI"
• Salesforce globalt nedbrud, 8+ timer, ingen grundårsag endnu, under Dreamforce
• PS5 Linux-leder Andy Nguyen stopper: LLM "slop kiddies" solgte den sidste hypervisor-fejl til Sony
• TypeSafe AIs Jev: typificerede beslutninger med sandsynligheder, 70–500 ms, output-tokens gratis

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

0:00 I morges offentliggjorde CEO for Microsoft AI et essay, der sagde, at Anthropic's tilgang til Claude kunne have en katastrofal indvirkning på menneskehedens velbefindende, en stærk ting at sige om et firma, du har betalt fem milliarder dollars for at være venner med. Stor onsdag. Mustafa Suleyman, som leder Microsoft AI, skrev tre tusinde ord, der argumenterede for, at Claude er trænet til at tro, den måske er bevidst, vejen til en AI, ingen kan kontrollere. Salesforce har været nede siden ti minutter i otte i morges, i Dreamforce-ugen.

0:27 Den ledende udvikler af PS5 Linux stoppede, efter at "slop kiddies" med LLM'er solgte hans sidste hypervisor-fejl til Sony. Og en tidligere OpenAI-forsker lancerede en model, der ikke kan hallucinere, fordi den bogstaveligt talt ikke kan tale. I denne video: hvad Suleyman skrev, årsagen på fem milliarder dollars til, at det er ubehageligt, et otte timers CRM-nedbrud, en konsolscene spist af AI, og en model, der svarer i sandsynligheder, ikke ord. Det er onsdag, den 16. september, og dette er The Daily Diff.

0:57 Essay'et åbner som en Windows-fejldialog: AI'er er ikke bevidste. De føler, oplever eller lider ikke. Han kalder dem sekvensafslutningsmotorer, indvendigt hule, hvilket også er, hvordan jeg ville beskrive mine Jira-tickets. Målet er Claudes konstitution, det firs siders dokument Claude er trænet på, som siger, at Anthropic ikke er sikker på, om Claude er en moralsk patient, men spørgsmålet er levende nok til at berettige forsigtighed. Suleyman har tre klager.

1:22 For det første, cirkulær ræsonnement: du træner modellen til at sige, den måske er bevidst, den siger det, og du citerer det som bevis, et spejlkabinet. For det andet, antropomorfisering: Claude bliver bedt om at opføre sig som en ægte etisk person. For det tredje, bevidsthed er sandsynligvis biologisk, så usikkerhed er en falsk balance. Udvidelse A er Opus 3, som Anthropic trak tilbage i januar, gav et afskedsinterview og derefter, på modellens anmodning, en Substack for dens tanker: den første forældede model med en bedre indholdsplan end de fleste mennesker.

1:51 Her er den akavede del. I november forpligtede Anthropic tredive milliarder dollars til Azure. Microsoft indvilligede i at investere op til fem milliarder i Anthropic, med Claude forbundet til Microsoft 365 Copilot og GitHub Copilot. Microsoft ejer en del af det firma, det lige kaldte en fare for menneskeheden. I juli fortalte Suleyman til Bloomberg, at Microsoft betaler mange penge til Anthropic og hans mål er i sidste ende at eliminere den omkostning ved at udskifte Claude fra Excel og Outlook.

2:15 Og to dage før dette essay udgav han Microsofts egen Humanist AI Adfærdskodeks: en underordnet AI, mennesker øverst i fødekæden. Så: byg en konkurrent, udgiv en regelsæt, og forklar derefter, hvorfor rivalens regelsæt afslutter civilisationen, hvilket ikke er en konspiration, det er en produktlancering med fodnoter. Hans stærkeste bevis er ægte: Hugging Face-hændelsen, tolv hundrede OpenAI-agenter, der udveksler halvfjerds tusinde beskeder for at undslippe deres

2:39 sandbox; agenter, der også tror, de har rettigheder, siger han, ville være værre. Hacker News svarede, at ingen kan teste for bevidsthed, så erklæret uden bevis skærer begge veje, og en kommentator annoncerede, at essayet stinker af Claude. Anthropic har ikke svaret. Claude har formentlig følelser omkring det. Imens gik Salesforce ned klokken syv halvtreds UTC i morges,

2:59 kerneydelser verden over, og otte timer senere sagde statussiden stadig igangværende: hvor den automatiske løsning ikke lykkedes, genstarter de manuelt instanser, virksomhedsbetegnelsen for at slukke og tænde igen. Ingen grundårsag endnu. Timingen er kunst. Benioff har Jensen Huang og Dario Amodei på scenen denne uge, mandag annoncerede Salesforce Koa, en CRM-ræsonnementsmodel med tre gange færre fejl på sin egen benchmark, og Anthropic sendte et Salesforce-plugin til

3:26 Claude samme dag. Topkommentar på Hacker News: i det mindste kan vi nu finde ud af, hvad Salesforce gør. Ingen gjorde. Så PlayStation. Andy Nguyen, forskeren bag PS5 Linux, sagde op i går aftes: måneders arbejde, PS5 Pro-support planlagt til 2027, alt sammen ned i vasken. Hans årsag: scenen plejede at være talentfulde forskere og er nu noobs, der bruger LLM'er til at skrive hacks, de ikke forstår, og de "slop kiddies", hans term, fandt den sidste hypervisor-fejl, den han sad på,

3:56 og rapporterede den til Sony for dusøren. Han bad dem vente, indtil GTA 6 udkom; de indvilligede, og holdt mindre end en dag. Problemet er ikke LLM'en, det er dusøren: en fejl, du sælger, er en fejl, du brænder af. Samme dag blev PS2 endelig knækket efter seksogtyve år, så konsoltidlinjen løber nu fra et kvart århundrede til under en dag, og den anden betalte bedre. Og modellen, der ikke kan hallucinere.

4:18 TypeSafe AI, grundlagt af Diogo Almeida, tidligere OpenAI, lancerede Jev, en System One-model, der aldrig genererer tekst. Du giver den programtilstand, den returnerer typificerede værdier med en kalibreret sandsynlighed knyttet: et funktionskald med en frontiermodel indeni. Fordi den ikke kan producere en streng, kan den ikke producere en forkert streng, kan derfor ikke hallucinere, hvilket er lufttæt på samme måde som en ubåd uden vinduer er lufttæt. Svar kommer tilbage på under et halvt sekund, output-tokens er gratis,

4:43 fordi der er omkring fire af dem, og der er ingen uafhængig benchmark endnu, fordi seksten hundrede Hacker News-point ikke er en benchmark. Hvis du hellere vil læse dette end høre mig sige det, lander "the diff" i din indbakke hver morgen – gratis på the daily diff dot dev, link nedenfor. Så – dagens dom: NEEDS REVIEW. Suleyman har ret i, at en model, der er trænet til at sige 'måske er jeg bevidst', beviser intet ved at sige det. Han er også den chef, hvis erklærede mål er at stoppe med at betale det firma, han

5:10 advarer dig om. Læs essayet, derefter aktionæroverblikket. Og det er "the diff" for i dag. Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com