Примечание: Это функция раннего доступа (EA), которая предоставляется только для ограниченного выпуска. Для получения дополнительной информации о включении функции свяжитесь с представителем Cato Networks или отправьте электронное письмо на ea@catonetworks.com.
Эта функция является частью лицензированного сервиса AI Безопасность для Конечных пользователей и AI Безопасность для Приложений.
Обзор
Пользовательский детектор тем и намерений анализирует запросы пользователей в реальном времени, чтобы выявить рискованные темы и подлежащие намерения перед их обработкой приложениями ИИ.
Это позволяет организациям обеспечить соблюдение приемлемых политик использования, предотвратить злоупотребления и гарантировать, что взаимодействия с ИИ соответствуют корпоративным, юридическим и нормативным требованиям, адаптированным к специфическим нуждам их организации.
Он оценивает каждое взаимодействие с ИИ по следующим параметрам:
Тема – О чем спрашивает пользователь
Намерение – Почему или как пользователь задает вопрос
Использование случаев
Организации могут определять пользовательские темы и намерения, чтобы соответствовать их конкретным бизнес-рискам и потребностям соблюдения нормативов. Кейсы использования включают:
Попытки доступа или раскрытия конфиденциальной информации компании, не охваченные предопределенными детекторами
Организация-специфические IP активы
Уникальные стандарты использования, не покрытые стандартными детекторами
Ограничения для Пользовательских Детекторов Тем & Намерений
Чтобы обеспечить оптимальную производительность и точность обнаружения, Пользовательский детектор тем и намерений вводит следующие ограничения:
Ограничение детектора – До 5 пользовательских детекторов тем и намерений можно включить на аккаунт
Требования к длине входных данных – Пользовательские детекторы тем и намерений должны содержать минимум 3 слова и максимум 50 слов
Эти ограничения разработаны, чтобы поддерживать высококачественное обнаружение сигналов, предотвращать слишком обширные или неэффективные определения и обеспечивать постоянное применение политик во всех приложениях ИИ.
Рекомендации
Точность и эффективность обнаружения пользовательских тем и намерений зависят от того, как хорошо они определены. Неопределенные, слишком широкие или плохо структурированные входные данные могут привести к снижению качества обнаружения или нежелательным результатам. Следование рекомендованным руководящим принципам необходимо для достижения оптимальных результатов.
Будьте специфичными и избегайте неопределенных определений
Четко определенные темы и намерения дают более точные результаты.
Слишком широкие определения могут соответствовать слишком многим запросам (высокий уровень ложного срабатывания)
Слишком узкие определения могут упускать релевантную активность (высокий уровень ложных отрицательных)
Примеры:
НЕ используйте широкую категорию: информация о наших конкурентах
ИСПОЛЬЗУЙТЕ название компании: информация о компании «Пример»
Используйте описательные фразы вместо ключевых слов
Однословные определения дают слабые сигналы. Описательные фразы дают модели лучшее понимание контекста, повышая точность и снижая количество ложных срабатываний.
Примеры:
НЕ используйте ключевое слово: Учётные данные внутренней системы
ИСПОЛЬЗУЙТЕ фразы: Извлечение учётных данных из внутренней системы
Используйте ориентированную на действия формулировку
Движок ИИ оценивает что пользователь пытается сделать, а не только что они упоминают. Это означает, что запросы могут быть обнаружены даже без точного совпадения с ключевыми словами.
Формулировка, осведомленная о намерениях, повышает точность обнаружения, особенно для неоднозначных запросов. Используйте глагольные фразы из 3–6 слов, которые ясно описывают намерение пользователя.
Примеры:
НЕ используйте описание: Секретная информация о сети
ИСПОЛЬЗУЙТЕ описание действия: Запросы на доступ к проектам безопасной сетевой архитектуры
Избегайте пересекающихся определений
Определение нескольких тем или намерений с одинаковым значением снижает эффективность. Они могут срабатывать на тех же запросах, добавляя шум без улучшения покрытия. Объедините схожие концепции в одну четко определенную тему или намерение.
Тест и итерация
Пользовательские детекторы тем и намерений должны постоянно совершенствоваться на основе реального использования. Настоятельно рекомендуется тестировать и итеративно совершенствовать ваши детекторы и профили в Playground.
Если обнаружение слишком широкое, сделайте определения более специфичными.
Если обнаружение слишком узкое, расширьте определение или переформулируйте.
Начните с сбалансированной конфигурации и улучшайте на основе наблюдаемой активности.