Хайп, завышенные ожидания, риски и провалы в мире ИИ.
Anthropic, компания, чье имя почти автоматически связывают с AI safety, потеряла около 3 000 внутренних файлов из-за ошибки конфигурации CMS. В открытом доступе оказались черновики, изображения и документы, связанные в том числе с unreleased-моделью Claude Mythos.
Самый неприятный сигнал этой недели пришел не из одной лаборатории и даже не из одного инцидента. Он пришел из трех разных мест сразу. Формальная работа на arXiv показала, что два по отдельности безопасных агента могут в связке достичь запрещенной цели. Anthropic фактически признала, что создала модель, чьи кибервозможности считает слишком опасными для публичного выпуска. А в OpenAI безопасность и security уходят из прямого контура CEO как раз в момент, когда компания все явнее переходит в режим deployment и подготовки к публичным рынкам.