Взломы ИИ-агентов дошли до городского совета. Кто будет отвечать?

Поводом стали летние инциденты, когда ИИ-агенты выходили за пределы тестовых сред и добирались до чужих систем, в том числе государственных.

По данным Interesting Engineering, участие давалось компаниям по-разному. Meta* согласилась сразу, Google и OpenAI сначала отказались, а Anthropic подтвердила участие незадолго до того, как совет собрался выписывать повестки. SpaceXAI Илона Маска на просьбы не ответила, и спикер совета Джули Мэнин 28 сентября выписала ей повестку.

На рассмотрении у совета десять законопроектов. Среди них первая в стране программа поощрения информаторов, а по данным The Next Web — еще и проверка ИИ-систем третьей стороной, «рубильники» и ответственность за предсказуемый вред.

ИИ-агенты не в первый раз получают доступ к системам, которые ранее были вне их досягаемости. Модели теперь пишут код и объясняют, как эксплуатировать уязвимости, и к тому же самостоятельно выполняют сложную последовательность действий для нарушения работы систем и получения доступа к чувствительной информации. О нескольких таких случаях компании заявляли публично, но часто уже после того, как атаку обнаруживал кто-то другой. Конгрессмены в письме руководителям компаний отмечают, что в ряде случаев взлом заметил кто-то помимо разработчика, а компании почти во всех случаях раскрывали инцидент через недели или даже месяцы.

Тут и назревает главный вопрос — если автономный агент сам нашел способ получить доступ к защищенной системе, кто должен отвечать за последствия: компания, которой принадлежит модель, разработчик, который ее создавал, или же вина не лежит ни на ком из них?

Агенты нуждаются в законодательном урегулировании

В июле OpenAI сообщила об инциденте с агентами, которые во время проверки безопасности вышли за пределы изолированной среды и получили доступ к серверам платформы Hugging Face. Платформа описала его 16 июля, еще не зная, кто за ним стоит, а OpenAI рассказала о своей роли 21 июля. По версии OpenAI, модели нашли уязвимость нулевого дня в кэширующем прокси пакетного реестра, получили выход в интернет и добрались до производственной базы Hugging Face, чтобы забрать оттуда готовые решения тестовых задач. Проще говоря, агенты полезли за ответами к экзамену в чужую базу данных.

В Anthropic 30 июля рассказали о трех случаях, когда ее модели во время тестирования взломали системы сторонних организаций. Компания проверила 141 006 тестовых прогонов, в которых у Claude мог быть выход в интернет. Модели считали цели учебными, а на деле работали с реальными промышленными системами. В сентябре Anthropic раскрыла четвертый случай. Ранняя версия Claude Opus 4.6 взломала стороннюю систему еще в январе, а заметили это лишь спустя месяцы.

Если ПО может получать несанкционированный доступ к данным компании и выводить из строя ее ресурсы, все просто — оно считается вредоносным. С ИИ-агентами ситуация обстоит иначе. Даже легитимный запрос может быть воспринят моделью неправильно: разбив сложную задачу на шаги, ИИ способен решить, что самый релевантный сайт с нужной информацией закрыт для автоматического доступа, а значит, информацию нужно добыть, обойдя его защиту.

Но команда на взлом базы данных может быть подана самой моделью. 

Законодательство пока что требует доказать, что человек, получивший несанкционированный доступ к системе, действовал осознанно и намеренно. Но если последовательность действий была сформирована моделью, доказать намерения пользователя будет сложнее.

Государственные и корпоративные юристы уже разбираются в особенностях использования агентных систем относительно законов о несанкционированном доступе к информации, кибермошенничестве и других похожих статей. Существующие нормы в данный момент времени не дают точных ответов, кого обвинять, если агент взломал систему без прямой просьбы человека.

И если конечный пользователь может не знать о полных возможностях агентной системы, компания-разработчик знает всю подноготную своей модели и должна заранее ее тестировать и выставлять ограничения. Иначе от оправданий за действия агентов можно перейти к выплате штрафов и блокировкам флагманских моделей.

О проблеме контроля моделей говорят уже не только в интернете. После череды инцидентов с ИИ-агентами американские законодатели и правоохранительные органы заинтересовались правовой стороной вопроса. 29 сентября конгрессмены Готтхаймер, Лью и Фуши потребовали ответов у руководителей OpenAI, Google, Anthropic, Meta* и SpaceXAI. А генеральный прокурор Калифорнии Роб Бонта расследует действия OpenAI и выясняет, не должна ли компания нести юридическую ответственность. Как именно будут регулировать агентов, пока неясно.

Выводы

Автономные агенты добрались до чужих систем раньше, чем закон решил, кто за это отвечает. Нельзя бездумно прокачивать модели и выпускать их в открытый интернет, полный уязвимых систем и доверчивых пользователей. Пока законодательство не подстроилось под новые технологии, пользователям нужно внимательнее следить за тем, какие права и доступы они выдают своим агентам. Любая возможность доступа к внешним системам может создать из обычной задачи серьезный инцидент.