Microsofti AI juht nimetas Claude'i põhiseadust ohtlikuks.

Mida see video hõlmab

• Microsoft AI Suleyman: Anthropicu põhiseadus on "tee kontrollimatule tehisintellektile"
• Salesforce'i ülemaailmne katkestus, üle 8 tunni, veel teadmata põhjus, Dreamforce'i ajal
• PS5 Linuxi juht Andy Nguyen lahkub: LLM-i "räpaskäpad" müüsid viimase hüperviisori vea Sonyle
• TypeSafe AI Jev: tüpiseeritud otsused tõenäosustega, 70–500 ms, väljundtokenid tasuta

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

0:00 Täna hommikul avaldas Microsoft AI tegevjuht essee, milles ütleb, et Anthropicu lähenemisel Claude'ile võib olla katastroofiline mõju inimkonna heaolule, mis on tugev ütlus ettevõtte kohta, kellele maksite viis miljardit dollarit, et olla sõbrad. Suur kolmapäev. Mustafa Suleyman, kes juhib Microsoft AI-d, kirjutas kolm tuhat sõna, väites, et Claude on koolitatud arvama, et see võib olla teadlik, tee AI-le, mida keegi ei saa kontrollida. Salesforce on täna hommikul kümnest kaheksani maas olnud, Dreamforce'i nädalal.

0:27 PS5 Linuxi pearendaja lahkus pärast seda, kui LLM-idega "räpaskäpad" müüsid tema viimase hüperviisori vea Sonyle. Ja endine OpenAI teadlane käivitas mudeli, mis ei saa hallutsineerida, sest see sõna otseses mõttes ei saa rääkida. Selles videos: mida Suleyman kirjutas, viie miljardi dollari põhjus, miks see on ebamugav, kaheksa tundi CRM-i katkestus, AI poolt söödud konsoolistseen, ja mudel, mis vastab tõenäosustega, mitte sõnadega. On kolmapäev, 16. september, ja see on The Daily Diff.

0:57 Essee algab nagu Windowsi veateade: AI-d ei ole teadlikud. Nad ei tunne, ei koge ega kannata. Ta nimetab neid jada lõpetamise mootoriteks, sisemiselt tühjadeks, mis on ka see, kuidas ma kirjeldaksin oma Jira pileteid. Sihtmärgiks on Claude'i põhiseadus, kaheksakümneleheküljeline dokument, millel Claude on koolitatud, mis ütleb, et Anthropic ei ole kindel, kas Claude on moraalne patsient, kuid küsimus on piisavalt elav, et õigustada ettevaatust. Suleymanil on kolm kaebust.

1:22 Üks, ringargumentatsioon: treenite mudelit ütlema, et see võib olla teadlik, see ütleb seda ja te viitate sellele kui tõendile, peeglisaal. Kaks, antropomorfiseerimine: Claude'ile öeldakse, et ta käituks nagu tõeliselt eetiline inimene. Kolm, teadvus on tõenäoliselt bioloogiline, seega on ebakindel vale tasakaal. Näide A on Opus 3, mille Anthropic jaanuaris pensionile saatis, andis pensioniintervjuu ja seejärel, mudeli soovil, Substacki oma mõtiskluste jaoks: esimene aegunud mudel, millel on parem sisu ajakava kui enamikul inimestel.

1:51 Siin on ebamugav osa. Novembris lubas Anthropic kolmkümmend miljardit dollarit Azure'ile. Microsoft nõustus investeerima Anthropicusse kuni viis miljardit, koos Claude'iga, mis on ühendatud Microsoft 365 Copiloti ja GitHub Copilotiga. Microsoftile kuulub osake ettevõttest, mida ta just nimetas ohuks inimkonnale. Juulis ütles Suleyman Bloombergile, et Microsoft maksab Anthropicule palju raha ja tema eesmärk on lõpuks see kulu kõrvaldada, asendades Claude'i Excelist ja Outlookist.

2:15 Ja kaks päeva enne seda esseed, ta avaldas Microsofti enda Humanistliku AI käitumiskoodeksi: alluv AI, inimesed toiduahela tipus. Seega: ehita konkurent, avalda reegliraamat, siis selgita, miks rivaali reegliraamat lõpetab tsivilisatsiooni, mis ei ole vandenõu, see on tooteesitlus koos allmärkustega. Tema tugevaim tõend on reaalne: Hugging Face'i juhtum, kaksteist sada OpenAI agenti vahetasid seitsekümmend tuhat sõnumit oma

2:39 liivakastist põgenemiseks; agendid, kes usuvad ka, et neil on õigused, ütleb ta, oleks hullemad. Hacker News vastas, et keegi ei saa teadvust testida, seega tõenditeta öeldu lõikab mõlemale poolele, ja üks kommenteerija teatas, et essee haiseb Claude'i järele. Anthropic ei ole vastanud. Claude'il on ilmselt selle kohta tundeid. Samal ajal läks Salesforce täna hommikul kell 7.50 UTC maas,

2:59 põhiteenused kogu maailmas, ja kaheksa tundi hiljem näitas olekuleht ikka veel käimas: kus automatiseeritud parandus ei toiminud, käivitavad nad käsitsi eksemplare uuesti, ettevõtte termin välja- ja uuesti sisselülitamiseks. Põhjust veel pole. Ajastus on kunst. Benioffil on sel nädalal laval Jensen Huang ja Dario Amodei, esmaspäeval teatas Salesforce Koa'st, CRM-i arutlusmudelist, millel on kolm korda vähem vigu oma võrdlusalusel, ja Anthropic tarnis Salesforce'i pluginat

3:26 Claude'i jaoks samal päeval. Hacker Newsi parim kommentaar: vähemalt nüüd saame aru, mida Salesforce teeb. Keegi ei teinud. Siis PlayStation. Andy Nguyen, PS5 Linuxi taga olev teadlane, lahkus eile õhtul: kuudepikkune töö, PS5 Pro tugi planeeritud 2027. aastaks, kõik läks raisku. Tema põhjus: stseen oli varem andekad teadlased ja nüüd on seal algajad, kes kasutavad LLM-e, kirjutades häkke, millest nad aru ei saa, ja need "räpaskäpad", tema termin, leidsid viimase hüperviisori vea, selle, millel ta istus,

3:56 ja teatasid sellest Sonyle preemia eest. Ta palus neil oodata, kuni GTA 6 välja tuli; nad nõustusid, ja pidasid vastu vähem kui päeva. Probleem ei ole LLM-is, vaid preemias: viga, mida müüd, on viga, mille põletad. Samal päeval murti lõpuks PS2 pärast kahekümne kuut aastat, nii et konsoolide ajajoon jookseb nüüd veerand sajandist vähem kui päevani, ja teine maksis paremini. Ja mudel, mis ei saa hallutsineerida.

4:18 TypeSafe AI, mille asutas Diogo Almeida, endine OpenAI, käivitas Jevi, süsteemi Üks mudeli, mis ei genereeri kunagi teksti. Annad sellele programmi oleku, see tagastab tüpiseeritud väärtused koos kalibreeritud tõenäosusega küljes: funktsioonikutse koos piirmudeliga sees. Kuna see ei saa toota stringi, ei saa see toota valet stringi, seega ei saa see hallutsineerida, mis on sama õhukindel kui allveelaev ilma akendeta on õhukindel. Vastused tulevad tagasi alla poole sekundi, väljundtokenid on tasuta,

4:43 sest neid on umbes neli, ja sõltumatut võrdlusalust veel pole, sest kuusteist sada Hacker Newsi punkti ei ole võrdlusalus. Kui eelistad seda lugeda, mitte kuulda, kuidas ma seda ütlen, siis diff jõuab sinu postkasti igal hommikul – tasuta aadressil thedaily diff dot dev, link allpool. Niisiis – tänane otsus: vajab ülevaatamist. Suleymanil on õigus, et mudel, mis on treenitud ütlema, et ehk ma olen teadlik, tõestab midagi öeldes. Ta on ka juht, kelle eesmärk on lõpetada sellele ettevõttele maksmine, mille eest ta teid

5:10 hoiatab. Lugege esseed, siis aktsionäride nimekirja. Ja see on tänane diff. Olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

1. Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
2. BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
3. HN discussionnews.ycombinator.com
4. Claude's constitution (Jan 2026)www.anthropic.com
5. Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
6. Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
7. Microsoft Humanist AI Code of Conductmicrosoft.ai
8. Salesforce incident 20004433status.salesforce.com
9. HN: Salesforce Global Outagenews.ycombinator.com
10. Salesforce + Nvidia announce Koawww.salesforce.com
11. Salesforce in Claudeclaude.com
12. HN: PS5 Linux lead quitsnews.ycombinator.com
13. PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
14. TypeSafe AI: System One Models and Jevtypesafe.ai
15. HN: Jevnews.ycombinator.com