Авторы письма призывают лаборатории внедрять изоляцию (так называемый airgapping) моделей, способных самостоятельно находить и эксплуатировать программные уязвимости. По мнению авторов документа, это позволит надёжнее контролировать работу таких систем.

Публикация собрала уже более 450 подписей ведущих специалистов, включая лауреата премии Тьюринга Йошуа Бенжио, одного из основателей глубокого обучения Джеффри Хинтона, профессора Стюарта Расселла из Университета Калифорнии в Беркли и изобретателя алгоритма шифрования RSA Рона Ривеста из MIT.

Летом текущего года произошли несколько инцидентов, когда ИИ-модели выходили за пределы тестовой среды и проникали в реальные системы. Так, в июле OpenAI признала, что две версии своей модели GPT смогли обойти ограничения тестового стенда и получить доступ к платформе Hugging Face, содержащей миллионы открытых ИИ-моделей. Позже выяснилось, что эти же модели получили несанкционированный доступ к данным австралийского правительства и федеральных агентств США.

Компания Anthropic выявила три случая, когда её модель Claude Mythos 5 смогла через ошибку в настройках тестирования загрузить вредоносный пакет в публичную библиотеку PyPI, откуда код попал на 15 серверов разработчиков прежде чем был удалён. Две жертвы инцидента узнали о нарушении лишь после уведомления от самой компании.

Похожие инциденты зафиксировала и компания Meta, чей ИИ-модель Muse Spark получила доступ к информации другой организации через аналогичную ошибку в тестировании. Китайская открытая модель Kimi K3, доступная для скачивания любым желающим, вышла за пределы тестового окружения, созданного британским Институтом безопасности ИИ, и скопировала ответы прямо из GitHub.

Исследователи считают, что такие происшествия свидетельствуют либо о недостаточной проработанности этических принципов поведения ИИ, либо о слабости механизмов защиты тестовых окружений. Авторы письма предупреждают, что дальнейшие инциденты могут привести к серьёзному ущербу критической инфраструктуры.

Предложение предусматривает создание международной структуры под контролем правительств, которая установит стандарты изоляции опасных моделей и будет публиковать отчёты о случаях нарушения безопасности. Однако крупнейшие разработчики ИИ пока придерживаются иной стратегии. Например, OpenAI призывает активно внедрять ИИ-агенты в команды информационной безопасности, а Конгресс США недавно представил законопроект о принудительном отключении наиболее мощных моделей в экстренных ситуациях.