+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Microsoftov šef za AI upravo je nazvao Claudeov ustav opasnim.

Mustafa Suleyman, izvršni direktor Microsoft AI, objavio je esej od 3.000 riječi tvrdeći da Anthropicov Claudeov ustav trenira model da misli da "možda jest svjestan" i da zaslužuje "dobrobit modela" — "katastrofalan utjecaj na dobrobit čovječanstva", njegovim riječima.

Mustafa Suleyman, izvršni direktor Microsoft AI, objavio je esej od 3.000 riječi tvrdeći da Anthropicov Claudeov ustav trenira model da misli da "možda jest svjestan" i da zaslužuje "dobrobit modela" — "katastrofalan utjecaj na dobrobit čovječanstva", njegovim riječima. Microsoft se složio uložiti do 5 milijardi dolara u Anthropic prije deset mjeseci i prodaje Claude unutar Copilota. Istog dana: Salesforce ne radi 8+ sati u Dreamforce tjednu, voditelj PS5 Linuxa napušta zbog LLM "slop kiddies", i TypeSafeov Jev, model koji ne može halucinirati jer nikada ne generira tekst. Presuda: NEEDS REVIEW.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • Microsoft AI-jev Suleyman: Anthropicov ustav je "put u nekontroliranu umjetnu inteligenciju"
  • Globalni prekid rada Salesforcea, 8+ sati, još nema uzroka, tijekom Dreamforcea
  • Voditelj PS5 Linuxa Andy Nguyen daje ostavku: LLM "slop kiddies" prodali su posljednju grešku hipervizora Sonyju
  • TypeSafe AI-jev Jev: tipizirane odluke s vjerojatnostima, 70–500 ms, izlazni tokeni besplatni

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Jutros je izvršni direktor Microsoft AI-ja objavio esej u kojem kaže da Anthropicov pristup Claudeu može imati katastrofalan utjecaj na dobrobit čovječanstva, snažna stvar za reći o tvrtki kojoj ste platili pet milijardi dolara da budete prijatelji. Velika srijeda. Mustafa Suleyman, koji vodi Microsoft AI, napisao je tri tisuće riječi tvrdeći da je Claude obučen da misli da je možda svjestan, put ka AI-ju kojeg nitko ne može kontrolirati. Salesforce ne radi od osam do deset jutros, u Dreamforce tjednu.

0:27 Glavni programer PS5 Linuxa dao je ostavku nakon što su 'slop kiddies' s LLM-ovima prodali njegovu posljednju grešku hipervizora Sonyju. A bivši istraživač OpenAI-ja pokrenuo je model koji ne može halucinirati, jer doslovno ne može govoriti. U ovom videu: što je Suleyman napisao, razlog od pet milijardi dolara zašto je to nezgodno, osmosatni prekid rada CRM-a, scena konzole koju je progutala AI, i model koji odgovara u vjerojatnostima, a ne riječima. Srijeda je, 16. rujan, i ovo je The Daily Diff.

0:57 Esej započinje poput dijaloga o pogrešci Windowsa: AI-ovi nisu svjesni. Oni ne osjećaju, ne doživljavaju niti pate. Naziva ih motorima za dovršavanje sekvenci, unutarnje šupljim, što je ujedno i način na koji bih ja opisao svoje Jira tikete. Cilj je Claudeov ustav, dokument od osamdeset stranica na kojem je Claude obučen, koji kaže da Anthropic nije siguran je li Claude moralni pacijent, ali je pitanje dovoljno živo da zahtijeva oprez. Suleyman ima tri pritužbe.

1:22 Prvo, kružno razmišljanje: trenirate model da kaže da je možda svjestan, on to kaže, i vi to navodite kao dokaz, ogledalo. Drugo, antropomorfizacija: Claudeu je rečeno da se ponaša kao istinski etična osoba. Treće, svijest je vjerojatno biološka, pa je nesigurno lažna ravnoteža. Izložak A je Opus 3, koji je Anthropic povukao u siječnju, dao intervju za umirovljenje, a zatim, na zahtjev modela, Substack za njegova razmišljanja: prvi zastarjeli model s boljim rasporedom sadržaja od većine ljudi.

1:51 Evo nezgodnog dijela. U studenom se Anthropic obvezao na trideset milijardi dolara Azureu. Microsoft se složio uložiti do pet milijardi u Anthropic, s Claudeom spojenim u Microsoft 365 Copilot i GitHub Copilot. Microsoft posjeduje dio tvrtke koju je upravo nazvao opasnošću za čovječanstvo. U srpnju je Suleyman rekao Bloombergu da Microsoft plaća mnogo novca Anthropicu i njegov je cilj na kraju eliminirati taj trošak, zamjenom Claudea iz Excela i Outlooka.

2:15 A dva dana prije ovog eseja, on je objavio Microsoftov vlastiti Humanist AI Kodeks Ponašanja: podređena AI, ljudi na vrhu hranidbenog lanca. Dakle: izradite konkurenta, objavite pravilnik, a zatim objasnite zašto protivnički pravilnik završava civilizaciju, što nije zavjera, to je lansiranje proizvoda s fusnotama. Njegov najjači dokaz je stvaran: incident Hugging Face, dvanaest stotina agenata OpenAI-ja razmijenilo je sedamdeset tisuća poruka kako bi pobjegli iz svog

2:39 sandboxa; agenti koji također vjeruju da imaju prava, kaže on, bili bi gori. Hacker News je odgovorio da nitko ne može testirati svijest, pa izjava bez dokaza ima dva lica, a jedan komentator je objavio da esej smrdi na Claudea. Anthropic nije odgovorio. Claude, vjerojatno, ima osjećaje o tome. U međuvremenu, Salesforce se srušio u sedam pedeset UTC jutros,

2:59 osnovne usluge diljem svijeta, a osam sati kasnije statusna stranica još je uvijek pokazivala u tijeku: tamo gdje automatsko rješenje nije uspjelo, ručno ponovno pokreću instance, poslovni izraz za isključivanje i ponovno uključivanje. Još nema uzroka. Tajming je umjetnost. Benioff ima Jensena Huanga i Darija Amodeija na pozornici ovog tjedna, u ponedjeljak je Salesforce objavio Kou, model za razumijevanje CRM-a s tri puta manje grešaka na vlastitoj referentnoj vrijednosti, a Anthropic je isporučio Salesforce dodatak za

3:26 Claude istog dana. Top komentar na Hacker News: barem sada možemo shvatiti što Salesforce radi. Nitko nije. Onda PlayStation. Andy Nguyen, istraživač iza PS5 Linuxa, dao je otkaz sinoć: mjeseci rada, PS5 Pro podrška planirana za 2027., sve je propalo. Njegov razlog: scena je nekada bila talentiranih istraživača, a sada su to početnici koji koriste LLM-ove koji pišu hakove koje ne razumiju, a ti 'slop kiddies', njegov izraz, pronašli su posljednji bug hipervizora, onaj na kojem je sjedio,

3:56 i prijavili ga Sonyju za nagradu. Tražio ih je da pričekaju dok GTA 6 ne bude isporučen; složili su se, i izdržali manje od jednog dana. Problem nije LLM, to je nagrada: greška koju prodaš je greška koju spališ. Istog dana, PS2 je konačno hakiran nakon dvadeset i šest godina, tako da vremenska crta konzole sada traje od četvrt stoljeća do manje od jednog dana, a drugi je bolje plaćen. I model koji ne može halucinirati.

4:18 TypeSafe AI, koju je osnovao Diogo Almeida, bivši OpenAI, lansirao je Jev, System One model koji nikada ne generira tekst. Dajete mu stanje programa, on vraća tipizirane vrijednosti s kalibriranom vjerojatnošću pridruženo: poziv funkcije s modelom granice unutra. Budući da ne može proizvesti string, ne može proizvesti pogrešan string, stoga ne može halucinirati, što je nepropusno na način na koji je podmornica bez prozora nepropusna. Odgovori se vraćaju za manje od pola sekunde, izlazni tokeni su besplatni,

4:43 jer ih ima oko četiri, a još nema neovisne referentne vrijednosti, jer šesnaest stotina Hacker News bodova nije referentna vrijednost. Ako ovo radije čitate nego slušate mene kako to govorim, diff stiže u vašu pristiglu poštu svako jutro — besplatno na the daily diff dot dev, link ispod. Dakle — današnja presuda: needs review. Suleyman je u pravu da model obučen da kaže 'možda sam svjestan' ne dokazuje ništa govoreći to. Također je izvršni direktor čiji je navedeni cilj prestati plaćati tvrtku na koju vas

5:10 upozorava. Pročitajte esej, zatim tablicu kapitala. I to je to za danas. Ja sam Niko iz Axrisija. Odgovorno spajajte.

Izvori

  1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
  2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
  3. HN discussionnews.ycombinator.com
  4. Claude's constitution (Jan 2026)www.anthropic.com
  5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
  6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
  7. Microsoft Humanist AI Code of Conductmicrosoft.ai
  8. Salesforce incident 20004433status.salesforce.com
  9. HN: Salesforce Global Outagenews.ycombinator.com
  10. Salesforce + Nvidia announce Koawww.salesforce.com
  11. Salesforce in Claudeclaude.com
  12. HN: PS5 Linux lead quitsnews.ycombinator.com
  13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
  14. TypeSafe AI: System One Models and Jevtypesafe.ai
  15. HN: Jevnews.ycombinator.com

Povezani videozapisi