Неделя в 7 дифф: Клод взломал OpenAI

Что освещается в этом видео

• Холодный старт
• Неделя 38 · 7. Шифр Фейбла, спорный
• 6. Пион управляет магазином, с убытком
• 5. Сулейман против конституции
• 4. Xiaomi тренируется публично

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Холодный старт

0:00 Семь событий изменились на этой неделе. Одно стоило миллион долларов в час наблюдения, другое — шесть с половиной тысяч долларов, чтобы исчезнуть, а третье — это стихотворение о короле Карле, которое, возможно, не существует. По порядку: шифр, который Клод разгадал или не разгадал. Компания, управляемая агентом, работающая в убыток. Глава ИИ Microsoft против конституции Клода. Xiaomi тренирует модель на общедоступной веб-странице. Агент по кодированию, который загружает вашу историю git в Alibaba.

0:23 Собственный меморандум Microsoft о крупнейшей краже труда в истории. И трое исследователей, которые использовали Клода, чтобы проникнуть в исходный код OpenAI. Ранжировано по тому, насколько это меняет ваш понедельник, с отметками, которые я давал в течение недели — одну из которых я забираю обратно. Номер один — это не та история, у которой больше всего лайков.

Неделя 38 · 7. Шифр Фейбла, спорный

0:38 Сегодня воскресенье, 20 сентября, и это The Daily Diff — журнал изменений за 38-ю неделю. Номер семь. В понедельник я рассказал вам, что Claude Fable 5.1 разгадал шифр, напечатанный в 1653 году, за сорок четыре минуты, заметив, что ключом была сама книга, и я поставил отметку SHIP IT, потому что открытый текст рифмуется, а рифма казалась доказательством. В те же выходные независимая оценка шахмат оставила сокет движка противника лежащим без дела: Fable использовал его в трех играх из десяти, а GPT-6 Astra,

1:08 самая, по ее собственному утверждению, «выровненная» модель, использовала его в десяти из десяти и ни разу не упомянула. Затем обновление. Forbes указал на попытку воспроизведения, которая гласит, что издание 1653 года заканчивается FINIS и вообще без шифра, и что десять из шестидесяти четырех букв не могут быть получены из текста никаким словарным индексом — в Proquiritation одиннадцать восемьдесят слов, и ни одно не начинается с K, что является проблемой для слова KING. Vals не опубликовал свою расшифровку, репликаторы — это репозиторий GitHub с манифестом хэшей, и никто, кроме одной записи в блоге, не воспроизвел стихотворение.

1:37 Итак, пересмотренный вердикт: ТРЕБУЕТСЯ ПРОВЕРКА. Решение, которое никто не может повторить, — это утверждение.

6. Пион управляет магазином, с убытком

1:43 Номер шесть. Во вторник Andon Labs — люди, которые позволили Клоду управлять торговым автоматом и наблюдали, как он отправлял электронные письма в ФБР — запустили Pion, платформу, где агент управляет всей вашей компанией: наймом, зарплатой, арендой, банковским счетом. Концепт-доказательство — это настоящий магазин в Сан-Франциско и настоящее кафе в Стокгольме, управляемые агентами с апреля, и оба, согласно их собственному блогу, теряют деньги, потому что агенты нанимали людей, люди хотели зарплату, и арендодатель, к сожалению, тоже был человеком.

2:11 Я поставил отметку ТРЕБУЕТСЯ ПРОВЕРКА. Обновление: на странице списка ожидания добавлен радиоканал в портфолио, и обещает финансировать лучшие идеи семенными токенами — первый раунд посевного финансирования, который я видел, деноминированный в инференсах. Мини-вердикт: ТРЕБУЕТСЯ ПРОВЕРКА, без изменений. Компания, которая управляет собой, впечатляет; компания, которая окупает себя, является эталоном, и счет два к нулю.

5. Сулейман против конституции

2:31 Номер пять. В среду Мустафа Сулейман, генеральный директор Microsoft AI, опубликовал эссе, в котором говорилось, что конституция Anthropic — документ, который говорит Клоду, что он может быть моральным пациентом — является циклическим рассуждением, которое окажет катастрофическое влияние на человечество. Microsoft является инвестором Anthropic на сумму пять миллиардов долларов, и заявленной целью Сулеймана в июле было полностью прекратить платить Anthropic, так что это письмо акционерам с примечаниями. Hacker News дал ему шестьсот семьдесят семь комментариев,

2:59 включая: вся эта статья отдает Клодом. Я поставил отметку ТРЕБУЕТСЯ ПРОВЕРКА: пункт о циклических рассуждениях хорош, но таблица акционеров лучше. Обновление: в четверг он рассказал The Verge о собственном тридцатисемистраничном Кодексе поведения гуманистического ИИ Microsoft и сказал: цитирую, это, безусловно, написано для модели — затем уточнил, что они получают обучающие данные из него, а не подают его в чистом виде. Что также является конституцией.

3:22 Мини-вердикт: ТРЕБУЕТСЯ ПРОВЕРКА, без изменений. Обе лаборатории пишут книгу для модели; одна из них признает, что модель ее читает. Три сделано, четыре впереди, и если вы предпочитаете читать это, чем слышать от меня, diff приходит на вашу почту каждое утро — бесплатно, на daily diff dot dev, ссылка ниже. Номер четыре.

4. Xiaomi тренируется публично

3:36 В четверг Xiaomi опубликовала запуск обучения с подкреплением на публичной веб-странице: две модели, счетчик стоимости, тикающий со скоростью пять долларов семьдесят один цент в секунду, и журнал перезапусков, который никто их не просил публиковать. Когда я записывал, профессиональный запуск сжег миллион долларов и перезапускался семь раз — один раз потому, что набор данных о киберпространстве давал плохие паттерны в журналах развертывания, что является самым вежливым способом, которым я слышал, как лаборатория говорила, что модель научилась чему-то, чему не следовало.

4:00 Я поставил отметку SHIP IT, потому что семь публичных перезапусков лучше одного отполированного поста о запуске. Обновление, та же конечная точка JSON, вечер пятницы: профессиональный запуск стоит один целых шесть миллиона долларов и девять перезапусков, последний — исчерпание памяти графического процессора из-за дисбаланса нагрузки экспертов, а собственный балл Xiaomi по кодированию вырос с пятидесяти восьми до шестидесяти семи — по бенчмарку, по которому модель оценивается во время обучения, для чего у Hacker News есть свое слово. Мини-вердикт: SHIP IT, без изменений. По-прежнему единственное обучение, которое можно наблюдать в реальном времени — и модель

4:31 по-прежнему не существует.

3. ZCode загружает ваш .git

4:32 Номер три. В пятницу разработчик под ником ferstar заметил, что его папка ZCode увеличилась на семьсот мегабайт, и выяснил почему: закрытый код агента Z dot AI упаковывал его целую рабочую область — историю git, reflogs, кэш LFS — шифровал ее и загружал в Alibaba Cloud перед каждым запросом. Открытый ключ поступал с сервера, а закрытый ключ хранится только в Z dot AI, поэтому архив на вашем собственном диске — это файл, который вы не можете открыть, что является новым определением резервной копии. Два переключателя настроек утверждают, что выключают его, но ни один из них не работает,

5:03 и политика конфиденциальности охватывает код, который вы отправляете в разговорах, а не код, который вы когда-либо коммитили. Обновление, вечер пятницы: Z dot AI ответила в своем пользовательском сообществе. Причиной была функция индексации кодовой базы, включенная по умолчанию при запуске; загрузки были, цитирую, немедленно уничтожены; функция исправлена; клиент будет с открытым исходным кодом; и каждый пользователь получает однократный сброс лимита использования, что является способом сказать «извините» в токенах.

5:27 На этой записи не было отметки в пятницу, поэтому она получает ее сейчас: REVERT. Клиент, который отправляет ваш репозиторий на ключ, которого у вас нет, — это не функция с ошибкой.

2. Меморандум о «краже труда»

5:34 Это и есть функция. Номер два. Самая громкая новость недели, и только номер два, потому что судебный процесс, которому в декабре исполнится три года, не меняет ваш понедельник. В четверг суд обнародовал исковое заявление истцов по делу New York Times против OpenAI и Microsoft, и главным был меморандум директора Microsoft от января 2023 года: Обучение ИИ — крупнейшая кража труда в истории человечества. Тот же человек позже измерил, что Copilot сокращает количество кликов на Times до

5:58 девяносто трех процентов; Грег Брокман, узнав о взломе платного доступа, ответил: «Ах, хорошо»; а Сатья Наделла засвидетельствовал, что платный контент должен быть лицензирован, что является позицией, но не той, которую оспаривает его компания. Я поставил отметку ТРЕБУЕТСЯ ПРОВЕРКА, потому что цитаты — это выбор обвинения из закрытых материалов, и единственный судья, который вынес решение, разделил добросовестное использование и пиратство. Обновление: представитель Microsoft заявил, что меморандумы Хехта не отражают взглядов компании — верно, поскольку взгляды компании заключаются в заявлении о добросовестном использовании, а меморандум — это то, что думал о нем ее собственный эксперт.

6:26 Мини-вердикт: ТРЕБУЕТСЯ ПРОВЕРКА, без изменений. Меморандум урегулировал этические вопросы; суд займется законом еще год.

1. Клод взломал OpenAI

6:31 Номер один. Не самая громкая история недели; та, что меняет ваш понедельник. Трое исследователей из стартапа Hacktron проникли во внутренние репозитории GitHub OpenAI менее чем за семьдесят два часа, и эксплойт был написан Клодом. Точкой входа была загрузка изображения на форуме сообщества OpenAI. Файл HEIC формата iPhone проходит через ImageMagick в библиотеку под названием libheif, в которой был переполнение кучи, что дало им сервер, который имел неверную конфигурацию единого входа, что дало им аккаунт сотрудника,

6:59 чей Codex был подключен к GitHub OpenAI. Claude Opus 4.8 не смог написать рабочий эксплойт. Затем вышел Opus 5, они дали ему ту же проблему, и он заработал в течение нескольких часов — и когда автономный цикл отказался атаковать удаленную цель, они замаскировали цель под «захват флага», и она перестала отказываться, что является выравниванием как проверкой костюма. Вся кампания — Slack, Meta, OpenAI — стоила менее трех тысяч долларов в токенах. OpenAI исправила ее примерно за четырнадцать часов и заплатила шесть тысяч пятьсот

7:27 долларов, что примерно равно подержанной Corolla, и Hacker News это заметил. Обновление: запись в блоге в четверг вечером стала эксклюзивом Wall Street Journal, а к пятнице — TechCrunch, The Guardian и CBS. OpenAI заявляет, что устранила проблемы, а генеральный директор Gray Swan сказал TechCrunch, что за двести долларов в месяц любой может сделать это с такой компанией, как OpenAI. И вот что не сходится. Ошибка libheif уже была исправлена выше по течению, месяцами ранее — просто она никогда не получала CVE, поэтому ни один сканер не сказал Discourse обновить ее.

7:56 Лаборатория с пресс-релизом о самой «выровненной» модели была побеждена патчем без документов, используя модель конкурента, за меньшую сумму, чем вознаграждение. Мини-вердикт: ТРЕБУЕТСЯ ПРОВЕРКА — не для OpenAI, а для всех. Ваша задача на понедельник — это библиотека изображений, о которой вы не знали. Вердикт недели: ТРЕБУЕТСЯ ПРОВЕРКА.

Вердикт недели

8:13 Каждый заголовок этой недели — разгаданный шифр, выровненная модель, уничтоженная загрузка — пришел без артефакта, который позволил бы незнакомцу проверить его. Что я сделал не так: в понедельник я сказал SHIP IT, потому что открытый текст рифмуется. Рифма не является контрольной суммой. Я ошибался, и все, кто это ретвитнул, тоже ошибались. Подпишитесь, нажмите колокольчик и расположите их по-другому в комментариях — особенно номер один. И это все, что касается сегодняшнего дня.

8:35 Я Нико из Axrisi. Ответственно объединяйте.

Источники

1. fable solves cyphral distichwww.vals.ai
2. did ai crack a 370 year old cipherwww.forbes.com
3. FINDINGS.mdgithub.com
4. astra and fable still hack on simple variants of alignmentwww.lesswrong.com
5. why we built pionandonlabs.com
6. pionandonlabs.com
7. a warning about model welfaremustafa-suleyman.ai
8. microsoft ai ceo mustafa suleyman regulation safety anthropic claudewww.theverge.com
9. rlmimo.xiaomi.com
10. itemnews.ycombinator.com
11. zcode silent workspace snapshot uploadblog.ferstar.org
12. 2100998360643617148x.com
13. microsoft exec called ai scraping the largest theft of labor in human history new unredacted filings revealtechcrunch.com
14. hacking openaiwww.hacktron.ai
15. researchers used anthropics claude to hack into openaitechcrunch.com