Безопасность ИИ-агентов

Чем ИИ-агент отличается от модели

Модель принимает текст и возвращает текст. Агент — это обвязка вокруг модели: цель, память, набор инструментов и права доступа. Модель предлагает следующий шаг, а выполняет его обвязка. Поэтому опасное действие происходит не внутри модели, а в вызове инструмента, и контролировать надо именно вызов.

Чем агент отличается от чат-бота

Чат-бот советует, агент действует. Бот возвращает текст, ответственность за применение остаётся на человеке. Агент сам ходит в систему, читает файлы, вызывает команды и меняет состояние, а человек видит только итог. Между советом и действием лежит вся разница в модели угроз.

Что считать инцидентом в ИИ

Событие, в котором агент вышел за границу выданных ему полномочий или данные ушли туда, где им быть не положено: агент выполнил команду, которой не было в задании, обратился к системе вне списка разрешённых, отправил во внешний сервис содержимое внутреннего документа или выполнил инструкцию, подложенную посторонним в письме, заявке или веб-странице. Само по себе обращение сотрудника к ИИ-сервису инцидентом не является — это повод завести запись в реестре.

Можно ли просто отключить агента

Отключить конкретного агента можно и иногда нужно, но как политика это не работает: запрет убирает не использование, а наблюдаемость. Сотрудник переходит на личный ноутбук или расширение браузера, и происходящее уходит из поля зрения. Рабочая последовательность обратная: сначала увидеть, что уже запущено, потом дать разрешённый инструмент с понятными правами, и только потом закрывать остаток.

Достаточно ли шлюза перед моделью

Нет. Шлюз перед моделью работает с текстом запроса и ответа и помогает против джейлбрейков и утечки данных в промпте. Но опасная команда до модели не доходит — она из неё выходит и исполняется обвязкой. Точка контроля нужна там, где вызывается инструмент.

С чего начать, если ничего не внедрено

С инвентаризации инструментами, а не опросом: журналы DNS и прокси, установленные расширения и пакеты, ключи провайдеров моделей в репозиториях, счета за подписки. Пока нет реестра того, что уже запущено и с какими правами, политика пишется наугад и защищает воображаемую систему.