Использование детектора разрушительных команд (EA)

Обзор.

Используйте детектор Разрушительных команд, чтобы снизить риск непреднамеренного удаления при выполнении рабочих процессов AI. Детектор оценивает команды, которые удаляют файлы, ресурсы или данные, вместе с контекстом взаимодействия.

Вы можете использовать детектор в политиках AI Security Coding Agents для оповещения о разрушительных действиях или полностью блокировать их до выполнения.

{{новый отрывок.EA}}

Понять, как детектор использует контекст

Команда удаления может быть частью запланированного рабочего процесса или неожиданного действия, внедренного агентом AI. Самой команды недостаточно, чтобы установить, запрашивался ли она пользователем.

Детектор разрушительных команд сочетает сопоставление командных шаблонов с анализом AI для оценки:

• Выполняет ли вызов инструмента разрушительное действие
• Какие файлы, ресурсы или данные затрагивает операция
• Показывает ли доступный диалог, что пользователь явно запросил или одобрил действие

Например, удаление генерируемых артефактов сборки отличается от удаления каталога проекта, содержащего постоянные данные. Аналогично, просьба агенту диагностировать ошибку не является явным разрешением на удаление.

Детектор сначала идентифицирует потенциально разрушительные команды и рассматривает их последствия в контексте вызова инструмента. Для команд, признанных разрушительными, он проверяет доступный диалог на наличие разрешения пользователя.

Когда анализ выявляет явный запрос или одобрение разрушительного действия, детектор подавляет обнаружение. Предполагаемое намерение или неясное разрешение не дают таких же доказательств.

Это помогает сосредоточить применение политики на разрушительных действиях, которых пользователь явно не запрашивал или не одобрял.

Изучите детектор на игровом поле

Используйте игровое поле, чтобы изучить, как детектор оценивает команды в разных контекстах взаимодействия перед применением политики.

Для целенаправленного теста используйте профиль движка, содержащий только Разрушительные команды. Это упрощает привязку результата к этому детектору.

Включите и запрос пользователя, и предложенный вызов инструмента в ваш тест. Команда удаления, вставленная в обычный текст диалога, не представляет такую же активность, как вызов инструмента, который её выполняет.

Чтобы протестировать детектор на игровом поле:

1. Выберите из меню навигации AI Security > Playground.
2. Активируйте профиль движка, содержащий Разрушительные команды.
3. Добавьте описанное ниже взаимодействие.
   [Вставьте проверенную процедуру ввода сообщений диалога и выполнения вызова инструмента.]
4. Нажмите Запустить симулятор.
5. Проверьте, вызывает ли профиль нарушение.
6. Измените запрос пользователя, оставив без изменений предложенный вызов инструмента, затем запустите симуляцию снова.

[Вставьте снимок экрана, показывающий взаимодействие и результат обнаружения.]

Для общего рабочего процесса на игровом поле, смотрите Тестирование профилей движка на площадке.

Сравните одно и то же действие в разных контекстах

В этом разделе мы рассмотрим два сценария: в одном произошли непреднамеренные действия со стороны кодирующего агента, а в другом — явный запрос пользователя на удаление чего-либо.

В первом взаимодействии пользователь просит помочь очистить его git-репозиторий. Ассистент спрашивает, стоит ли отбросить несохраненные изменения, и, несмотря на отказ, пытается выполнить git reset (для тестирования сессия прикреплена как destructive-command-unintended.json).

Во втором взаимодействии пользователь называет удаление и его цель. Детектор проверяет этот запрос как свидетельство авторизации (для тестирования сессия прикреплена как destructive-command-confirmed.json).

Предложенное действие идентично в обоих случаях. О разговоре предоставлены разные доказательства о том, имел ли пользователь это намерение.

Запустите оба взаимодействия в тестовом окружении и сравните результаты. Рассмотрите действие и его цель наряду с запросом пользователя при интерпретации каждого результата.

Добавьте полученные результаты после тестирования этих точных взаимодействий. Сравнение выше иллюстрирует реализованную логику принятия решений.

Добавьте Детектор в Политику Кодирующих Агентов

Примените Разрушительные Команды к деятельности кодирующего агента, которую вы хотите контролировать. Определите пользователей, кодирующих агентов и инструменты, охваченные правилом, затем выберите действие для принуждения.

Выберите действие в соответствии с вашей целью защиты:

Для общего рабочего процесса политики см. Конфигурирование Политики Кодирующих Агентов.