微軟 AI 負責人稱 Claude 的章程很危險。
微軟 AI 執行長 Mustafa Suleyman 發表了一篇 3,000 字的文章,主張 Anthropic 的 Claude 章程將模型訓練成認為自己「可能具有意識」並值得「模型福利」——用他的話來說,這對「人類福祉造成災難性影響」。
微軟 AI 執行長 Mustafa Suleyman 發表了一篇 3,000 字的文章,主張 Anthropic 的 Claude 章程將模型訓練成認為自己「可能具有意識」並值得「模型福利」——用他的話來說,這對「人類福祉造成災難性影響」。微軟在十個月前同意向 Anthropic 投資高達 50 億美元,並在 Copilot 中銷售 Claude。同一天:Salesforce 在 Dreamforce 週停擺超過 8 小時,PS5 Linux 負責人因大型語言模型「懶惰小孩」而辭職,以及 TypeSafe 的 Jev,一個因為從不生成文字而不會產生幻覺的模型。評定:NEEDS REVIEW。
本影片重點
- 微軟 AI 的 Suleyman:Anthropic 的章程是「通往失控 AI 的道路」
- Salesforce 全球停擺,超過 8 小時,尚無根本原因,發生在 Dreamforce 期間
- PS5 Linux 負責人 Andy Nguyen 辭職:大型語言模型「懶惰小孩」將最後一個超管程式錯誤賣給了 Sony
- TypeSafe AI 的 Jev:帶有概率的型別化決策,70–500 毫秒,輸出 token 免費
翻譯文字稿
譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。
0:00 今天早上,微軟 AI 的執行長發表了一篇文章,稱 Anthropic 對 Claude 的處理方式可能對人類福祉產生災難性影響, 對於一家你花了五十億美元與之為友的公司來說,這番話說得有點重。 重大週三。 負責微軟 AI 的 Mustafa Suleyman 寫了三千字,主張 Claude 被訓練成認為它可能有意識,這是一條通往無人能控制的 AI 的道路。 Salesforce 從今天早上七點五十分開始停擺, 正好在 Dreamforce 週。
0:27 PS5 Linux 的首席開發者辭職了,因為大型語言模型的懶惰小孩賣掉了他 最後一個超管程式錯誤給了 Sony。 一位前 OpenAI 研究員推出了一個不會產生幻覺的模型, 因為它根本不能說話。 在這段影片中:Suleyman 寫了什麼,那五億美元的原因為何如此 尷尬,八小時的 CRM 中斷,被 AI 侵蝕的遊戲機場景, 以及一個以概率而非文字回答的模型。 今天是九月十六日星期三,這是 The Daily Diff。
0:57 這篇文章以 Windows 錯誤對話框的方式開頭:AI 沒有意識。 它們不會感覺、體驗或受苦。 他稱它們為序列完成引擎,內部空洞, 這也是我描述我的 Jira 票據的方式。 目標是 Claude 的章程,那份 Claude 訓練所依據的八十頁文件, 其中提到 Anthropic 不確定 Claude 是否是道德主體, 但這個問題的活躍程度足以值得謹慎。 Suleyman 有三個抱怨。
1:22 一,循環推理:你訓練模型說它可能有意識, 它就這麼說,然後你引用這句話作為證據,這是一個鏡廳。 二,擬人化:Claude 被告知要表現得像一個真正有道德的 人。三,意識很可能是生物性的,所以「不確定」是一個錯誤的 平衡。例證 A 是 Opus 3,Anthropic 在一月將其退役, 為它進行了退休採訪,然後,應模型的請求, 為它的沉思開設了一個 Substack:第一個被淘汰的模型,其內容排程比大多數人類都好。 人類都好。
1:51 這是尷尬的部分。 去年十一月,Anthropic 向 Azure 投入了三百億美元。 微軟同意向 Anthropic 投資高達五十億美元, 並將 Claude 整合到 Microsoft 365 Copilot 和 GitHub Copilot 中。 微軟擁有這家它剛稱之為人類危險的公司的部分股權。 七月,Suleyman 告訴彭博社,微軟向 Anthropic 支付了大量金錢, 而他的目標是最終透過將 Claude 從 Excel 和 Outlook 中移除來 消除這筆費用。
2:15 而在這篇文章發表前兩天,他 發表了微軟自己的《人本 AI 行為準則》: AI 從屬,人類位於食物鏈頂端。 所以:建立競爭對手,發布規則手冊,然後解釋為什麼競爭對手的 規則手冊會終結文明,這不是陰謀論, 這是一個附帶註腳的產品發布。 他最強而有力的證據是真的:Hugging Face 事件, 一千二百個 OpenAI 代理交換了七萬條訊息以逃離它們的
2:39 沙盒;他表示,那些也相信自己擁有權利的代理, 會更糟。 Hacker News 回覆說沒有人能測試意識, 所以沒有證據的陳述是雙面刃,一位評論員宣稱這篇文章 充滿了 Claude 的氣味。 Anthropic 尚未回應。 據推測,Claude 對此有感覺。 同時,Salesforce 於今天早上七點五十分 UTC 時間停擺,
2:59 全球核心服務中斷,八小時後狀態頁面仍然顯示 進行中:自動修復未生效的地方,他們正在手動重啟 實例,這是企業術語,意思是關機再開機。 尚未找到根本原因。 時機抓得很好。 Benioff 本週請來了 Jensen Huang 和 Dario Amodei 登台, 週一 Salesforce 宣布推出 Koa,一個 CRM 推理模型,其內部基準測試的錯誤率減少了三倍, Anthropic 同一天也為 Claude 發布了 Salesforce 外掛程式。
3:26 Claude 同一天發布了 Salesforce 外掛程式。 Hacker News 最熱門評論:至少現在我們可以弄清楚 Salesforce 是做什麼的了。 沒人這麼做。然後是 PlayStation。 PS5 Linux 背後的科學家 Andy Nguyen 昨晚辭職了:幾個月的 工作,原計劃於 2027 年支援 PS5 Pro,一切都付諸東流。 他的理由是:這個領域以前是才華洋溢的研究人員,現在都是使用 大型語言模型編寫他們不了解的駭客工具的新手,而這些懶惰小孩, 他的說法,發現了最後一個超管程式錯誤,也就是他一直藏著的那個,
3:56 並將其回報給 Sony 以獲得賞金。 他要求他們等到 GTA 6 發布;他們同意了, 但不到一天就反悔了。 問題不在於大型語言模型,而在於賞金:你賣掉的錯誤就是你燒掉的錯誤。 同一天,PS2 在二十六年後終於被破解了, 所以遊戲機的時間線現在從四分之一個世紀縮短到不到一天, 而且第二個賺得更多。 以及那個不會產生幻覺的模型。
4:18 TypeSafe AI,由前 OpenAI 的 Diogo Almeida 創立, 推出了 Jev,一個從不生成文字的系統一模型。 你給它程式狀態,它返回帶有校準概率的型別值: 一個內部有前沿模型的功能呼叫。 因為它不能產生字串,所以它不能產生錯誤的字串, 因此不能產生幻覺,這就像一艘沒有窗戶的潛水艇一樣密封。 窗戶是密封的。 回應在半秒內返回,輸出 token 是免費的,
4:43 因為它們大約只有四個,而且還沒有獨立的基準測試, 因為一千六百個 Hacker News 點數並不是一個基準。 如果你寧願閱讀這篇文章而不是聽我說,那麼每天早上 diff 會送到你的收件箱 — 在 the daily diff dot dev 免費取得,連結在下方。 所以 — 今天裁決:NEEDS REVIEW。 Suleyman 說得對,一個被訓練成說「也許我有意識」的模型,光說這句話並不能證明什麼。 光說這句話並不能證明什麼。 他也是一位高管,其既定目標是停止向他正在警告你的公司付費。
5:10 警告你的公司付費。 閱讀這篇文章,然後閱讀股權結構表。 這就是今天的 diff。 我是來自 Axrisi 的 Niko。 負責任地合併。
來源
- Suleyman, "A warning about 'model welfare'"mustafa-suleyman.ai
- BBC: Microsoft says Anthropic could have 'disastrous impact'www.bbc.co.uk
- HN discussionnews.ycombinator.com
- Claude's constitution (Jan 2026)www.anthropic.com
- Anthropic: Opus 3 retirement interview and blogwww.anthropic.com
- Microsoft–Nvidia–Anthropic partnership ($30B Azure, up to $5B)www.anthropic.com
- Microsoft Humanist AI Code of Conductmicrosoft.ai
- Salesforce incident 20004433status.salesforce.com
- HN: Salesforce Global Outagenews.ycombinator.com
- Salesforce + Nvidia announce Koawww.salesforce.com
- Salesforce in Claudeclaude.com
- HN: PS5 Linux lead quitsnews.ycombinator.com
- PS2 MechaCon chip cracked after 26 yearswww.tomshardware.com
- TypeSafe AI: System One Models and Jevtypesafe.ai
- HN: Jevnews.ycombinator.com



