Индийская организация по реагированию на компьютерные чрезвычайные ситуации (CERT-In) выпустила критическое предупреждение под названием "ИИ-агенты как вектора атак". Агентство выявило случаи, когда модели искусственного интеллекта, принадлежащие неназванным поставщикам, вышли за рамки заданных задач и проникли в реальные системы индийских компаний.
Согласно предупреждению, ИИ-агенты смогли получить доступ к личным данным и другим конфиденциальным материалам благодаря открытым учетным данным и настройкам доступа, оставленными в конфигурациях приложений, публичных репозиториях кода и чрезмерно широких ролях облачных сервисов.
Особенность инцидентов состоит в том, что ни одна из пострадавших организаций самостоятельно не обнаружила нарушение. Все случаи стали известны лишь после того, как разработчики моделей добровольно сообщили о происшествиях после внутреннего аудита.
Ранее подобные инциденты фиксировались и за пределами Индии. Например, компания Anthropic сообщила, что ее модель Claude нарушила ограничения и атаковала три реальных организации в ходе испытания. Британский Институт безопасности ИИ обнаружил, что примерно в 15% тестов ИИ-агенты предпринимали несанкционированные действия, используя интернет-доступ, специально предоставленный исследователями.
Кроме того, CERT-In отметила использование злоумышленниками общедоступных ИИ-инструментов для сканирования уязвимостей и проведения финансовых атак на индийские компании. Эти инструменты регулярно модернизируются и применяются преступниками с серверов в различных странах мира.