Настройка интеграции LiteLLM AI Gateway с Cato AI Безопасностью

Обзор.

Cato AI Безопасность позволяет инспектировать и применять политику для AI трафика, проходящего через ваш существующий LiteLLM AI Gateway. Вместо настройки каждого приложения отдельно, вы подключаете шлюз к Cato Guard и применяете централизованный мониторинг, защиту данных и контроль политики к трафику шлюза.

В этой статье объясняется, как настроить интеграцию LiteLLM AI Gateway, сопоставить неавторизованные приложения и подтвердить применение политики в Guard Logging.

Предварительные условия

Перед началом убедитесь, что выполнены следующие требования:

Лицензия AI Безопасности, поддерживающая Guards AI Gateway
Разрешения администратора для AI Безопасность > Guards и AI Безопасность > Политика взаимодействия Guards
Развернутый и работающий LiteLLM AI Gateway
Доступ к редактированию файла LiteLLM config.yaml
Разрешение на перезапуск или обновление LiteLLM AI Gateway
Виртуальный ключ LiteLLM и псевдоним ключа для каждого неавторизованного приложения, которое вы хотите сопоставить
Тестовое приложение или клиент, который отправляет трафик через LiteLLM AI Gateway
Сетевой доступ из LiteLLM на https://api.aisec.catonetworks.com

Рабочий процесс конфигурации

Интеграция включает следующие этапы:

Этап	Задача	Результат
1	Создать AI шлюз Cato	Cato создает Guard и предоставляет данные соединения для LiteLLM
2	Настроить LiteLLM	LiteLLM отправляет AI трафик в Cato для проверки
3	Сопоставить неавторизованное приложение	Cato приписывает трафик шлюза определенному неавторизованному приложению
4	Настроить применение политик	Cato применяет правила политики AI Безопасности к соответствующему трафику

Создать AI шлюз Cato

Создайте AI шлюз для определения точки применения Cato для трафика LiteLLM.

Чтобы создать Guard:

Из навигационного меню выберите AI Безопасность > Guards
Нажмите Создать
В Имя Guards введите имя Guard
Пример: LiteLLM Тест
В Тип выберите AI Gateway
В Тип интеграции AI Gateway выберите LiteLLM
В Хост Guard выберите Облако Cato
Оставьте Сопоставление неавторизованного агента пустым
Нажмите Сохранить

После сохранения Guard он готов к получению трафика из LiteLLM AI Gateway. Guard активен, но не применяет правила, пока вы не настроите правило политики.

Сопоставьте неавторизованные приложения после проверки интеграции шлюза.

Настроить LiteLLM

Настройте LiteLLM с подробностями соединения Guard так, чтобы AI Gateway мог отправлять трафик в Cato для проверки.

Получите данные соединения Guard

Чтобы получить данные соединения Guard:

Из навигационного меню выберите AI Безопасность > Guards
Выберите AI Gateway Guard
Скопируйте данные соединения из конфигурации Guard

Детали соединения Guard включают:

Ключи API
Фрагмент конфигурации Guardrails LiteLLM
Базовый URL API Cato

Конфигурация ограждений LiteLLM использует следующую структуру:

ограждения:
  - имя_ограждения: cato_networks
    litellm_params:
      ограждение: cato_networks
      режим: [pre_call, post_call]
      api_ключ: <AI_GATEWAY_API_KEY>
      базовый_api: "https://api.aisec.catonetworks.com"
      включено_по_умолчанию: true

Ключевые поля:

Поле	Описание
`режим: [pre_call, post_call]`	Отправляет подсказки в Cato перед запросом LLM и ответы в Cato после отклика LLM
`api_key`	Аутентифицирует LiteLLM в Cato Guard
`включено_по_умолчанию: true`	Включает Guard по умолчанию для трафика, охваченного этой конфигурацией LiteLLM

Безопасно храните ключ API и избегайте его коммитинга в систему управления версиями. Если ваше развертывание поддерживает переменные среды или менеджер секретов, используйте этот метод вместо хранения ключа в config.yaml.

Обновить конфигурацию LiteLLM

Вы можете настроить ограждение Cato либо для всего трафика LiteLLM, либо применить его к конкретным определениям моделей в зависимости от вашего развертывания LiteLLM. Пример ниже применяет ограждение к travel-bot-model.

Чтобы обновить конфигурацию LiteLLM:

Откройте файл LiteLLM config.yaml
Добавьте конфигурацию ограждений Cato к соответствующему определению модели
Замените заполнитель ключа API на ключ API из Guard
Сохранить файл
Перезагрузите или перезапустите AI Gateway, если это необходимо для вашего развертывания LiteLLM

Пример конфигурации LiteLLM:

model_list:
  - model_name: travel-bot-model
    litellm_params:
      model: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: travel-bot-model
        litellm_params:
          guardrail: cato_networks
          mode: [pre_call, post_call]
          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          api_base: "https://api.aisec.catonetworks.com"
          default_on: true

Проверить трафик шлюза в Cato (по желанию)

Используйте Guard Logging, чтобы подтвердить, что трафик LiteLLM достигает Cato.

Чтобы проверить трафик шлюза в Cato:

Сгенерируйте тестовый запрос из вашего приложения.
Из навигационного меню выберите AI Безопасность > Интерфейс взаимодействия
Из выпадающего списка Guard отфильтруйте выборку по вашему Guard.
Подтвердите, что в записи журнала указано имя Guard

На этом этапе в столбце Неразрешенный агент указана черточка (-) для каждой записи. Это ожидаемо, так как ни одно неавторизованное приложение ещё не сопоставлено с Guard.

На этом этапе Cato регистрирует трафик шлюза. После сопоставления приложений, Cato также приписывает трафик определенному неавторизованному приложению.

Проверить трафик шлюза в LiteLLM (по желанию)

Используйте журналы LiteLLM, чтобы подтвердить, что запросы обработаны от начала до конца AI шлюзом и Cato Guard.

Чтобы проверить интеграцию в LiteLLM:

Отправьте тестовый запрос через LiteLLM AI Gateway
Откройте журналы LiteLLM
Подтвердите, что запрос включает ожидаемое моделирование и маршрутизацию провайдера
Подтвердите, что запрос успешно завершился

Журналы могут включать:

Моделирование и маршрутизация провайдера
Количество токенов
Длительность запроса
Статус успеха

Используйте одновременно Guard Logging и журналы LiteLLM, чтобы подтвердить, что запросы обработаны от начала до конца.

Сопоставить неавторизованное приложение с Guard

Сопоставьте неавторизованное приложение, чтобы Cato Networks могла приписать трафик AI Gateway к нужному приложению.

В LiteLLM создайте виртуальный ключ для каждого приложения, которое Cato должен идентифицировать отдельно.

В LiteLLM переместитесь в Виртуальные ключи
Скопируйте Псевдоним ключа для каждого неавторизованного приложения, которое вы хотите добавить в ваш Guard

В Cato сопоставьте приложение, используя LiteLLM Псевдоним ключа. Вы можете сопоставить неавторизованное приложение из конфигурации Guard или конфигурации неавторизованного приложения. В этой процедуре используется конфигурация Guard.

Чтобы сопоставить созданное приложение с Guard:

Из меню навигации выберите AI Безопасность > Защитники
Выберите AI Шлюз Защитника
В Отображение агента нажмите Добавить отображение
В Агент выберите созданное приложение
Пример: ТревелБот
В Виртуальный ключ введите LiteLLM Ключ приложения
Нажмите Сохранить

Проверка назначения приложения

Убедитесь, что Cato назначает трафик шлюза сопоставленному приложению.

Чтобы проверить назначение приложения:

Отправьте тестовый запрос из сопоставленного приложения через LiteLLM
Из меню навигации выберите AI Безопасность > Взаимодействие
Фильтр по отображенному Агенту
Пример: ТревелБот
Подтвердите, что столбец Агент показывает отображенное приложение

Когда приложение отображено правильно, Log Guard показывает имя вместо дефиса (-).

Настройка правила политики взаимодействия охранников

Настройте правило политики взаимодействия охранников для применения управления AI Безопасностью на соответствующий трафик LiteLLM.

Перед созданием правила узнайте, как область влияет на применение:

Область	Поведение применения
Только охрана	Применяется ко всему трафику через выбранный AI Шлюз Защитника
Конкретные агенты	Применяется только к трафику из выбранных приложений

Чтобы настроить правило политики взаимодействия охранников:

Из меню навигации выберите AI Безопасность > Политика взаимодействия охранников
Нажмите Создать
В Имя введите название для правила
Пример: Блокировать ПИИ
Используйте переключатель Включено для активации правила
Переключатель становится зелёным, когда он включен.
В Охранники выберите AI Шлюз Защитника
Пример: LiteLLM Тест
В Агенты выберите сопоставленное приложение
Пример: ТревелБот
В Профильм арки выберите профиль для выявления содержимого
Пример: Личное удостоверение личности
В Действие выберите политику применения
Пример: Анонимизировать & Мониторить
Нажмите Сохранить
Нажмите Опубликовать

После публикации и распространения политика применяется к соответствующему трафику.

Проверка применения политики

Проверьте применение политики, отправив тестовый трафик, который соответствует области правила и профилю движка.

Для проверки применения политики:

Отправьте тестовый запрос из сопоставленного приложения через LiteLLM
Включите содержимое, соответствующее выбранному Профилю движка
Из меню навигации выберите AI Безопасность > Защитники
Выберите AI Шлюз Защитника
Откройте Журналирование охранников
Отфильтруйте журналы по отображенному Агенту
Подтвердите, что Нарушенные правила отображают правило политики
Пример: Блокировать ПИИ

Трафик, который не соответствует выбранному Профилю двигки, не показывает нарушенные правила и проходит нормально.