Настройка интеграции Portkey AI Gateway с Cato AI Security

Обзор.

Cato AI Security позволяет инспектировать и применять политики для AI-трафика, который проходит через ваш существующий Portkey AI Gateway. Вместо настройки каждого приложения отдельно, подключите шлюз к Cato Guard и примените централизованный мониторинг, защиту данных и принуждение политики к трафику шлюза.

Эта статья объясняет, как настроить интеграцию Portkey AI Gateway, сопоставлять собственные приложения и проверять принуждение политики в журналировании Guard.

Предварительные условия

Перед началом убедитесь, что выполнены следующие требования:

• Лицензия на AI Security, поддерживающая AI Gateway Guards

• Администраторские права для AI Security > Guards и AI Security > Guards Interaction Policy

• Развернутый и работающий Portkey AI Gateway

• Разрешение на перезапуск или перезагрузку Portkey AI Gateway

• Параметры подключения для каждого приложения, которое вы хотите сопоставить

• Тестовое приложение или клиент, который отправляет трафик через AI Gateway

• Сетевой доступ из Portkey на https://api.aisec.catonetworks.com

Рабочий процесс конфигурации

Интеграция включает следующие этапы:

Создать AI Gateway Guard

Создайте AI Gateway Guard, чтобы определить точку принуждения Cato для трафика Portkey.

Чтобы создать защитника:

1. Из меню навигации выберите AI Security > Guards.

2. Нажмите Новый.

3. В Имя защитника введите имя для защитника.

   Пример: Portkey-Sample

4. В Тип выберите AI Gateway.

5. В Тип интеграции AI Gateway выберите LiteLLM.

6. В Хост защитника выберите Cato's Cloud.

7. Оставьте Сопоставление собственного агента пустым.

8. Нажмите Сохранить.

После сохранения защитника он готов принимать трафик от Portkey AI Gateway. Защитник активен, но не применяет правила, пока вы не настроите правило политики.

Сопоставьте собственные приложения после проверки интеграции шлюза.

Настроить Portkey

Настройте Portkey с деталями соединения защитника, чтобы AI Gateway мог отправлять трафик в Cato на инспекцию.

Получить детали соединения защитника

Чтобы получить детали соединения защитника:

1. Из меню навигации выберите AI Security > Guards.

2. Выберите AI Gateway Guard.

3. Скопируйте детали соединения из конфигурации защитника.

Детали соединения защитника включают:

• Ключи API

• Фрагмент конфигурации Guardrails

• Базовый URL API Cato

Конфигурация Guardrails использует эту структуру:

curl -i https://api.portkey.ai/v1/chat/completions \
 -H "Content-Type: application/json" \
 -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
 -d '{
 "model": "gpt-3.5-turbo",
 "messages": [
 {"role": "user", "content": "hi my email is joe@acme.com"}
 ]
 }'

Ключевые поля:

Храните ключ API в безопасности и избегайте его размещения в системе контроля версий. Если ваша установка поддерживает переменные окружения или менеджер секретов, используйте этот метод, а не храните ключ напрямую в настройках Portkey.

Настройка плагина Cato в Portkey

Чтобы отправить трафик Portkey AI Gateway в Cato Guard, активируйте плагин Cato Networks в настройках вашей организации Portkey и настройте его с деталями развертывания защитника из Cato.

1. В Portkey, нажмите настройки вашей организации.

2. Перейдите на страницу Плагины.

3. Поиск плагина Cato Networks.

4. Активируйте плагин Cato Networks.

5. В настройках плагина введите значения с страницы развертывания Guard в Cato:

  - Ключ API

  - API Базовый URL

6. Нажмите Обновить.

После активации плагина Portkey может аутентифицироваться с Cato Guard и отправлять входы и выходы LLM на инспекцию.

Создайте кронштейн безопасности Portkey для Cato Networks

После активации и настройки плагина Cato Networks создайте кронштейн безопасности Portkey, который использует плагин для отправки входов и выходов LLM в Cato на инспекцию.

Если вы хотите видеть каждого собственного приложения, создайте отдельный кронштейн Portkey для каждого приложения. Если вам нужна видимость только на уровне Guard, вы можете использовать один кронштейн Portkey.

1. Перейдите на страницу Кронштейны в Portkey.

2. Нажмите Создать.

3. На странице Доступные проверки, нажмите вкладку Партнер.

4. Поиск Cato Networks.

5. На карточке Кронштейн безопасности Cato Networks нажмите Добавить.

6. Введите имя для кронштейна безопасности.

7. Нажмите Сохранить.

Подключите собственное приложение к конфигурации Portkey и ключу API

Portkey использует конфигурации и ключи API для маршрутизации трафика через конкретный кронштейн безопасности. Чтобы применить кронштейн безопасности Cato к вашему трафику собственных приложений, скопируйте ID кронштейна безопасности, создайте конфигурацию, которая ссылается на кронштейн безопасности, а затем создайте ключ API, который использует конфигурацию.

Если вы хотите видеть каждого собственного приложения, создайте отдельную конфигурацию Portkey и ключ API для каждого приложения. Если вам нужна видимость только на уровне Guard, вы можете использовать одну конфигурацию и ключ API.

1. Перейдите на страницу Кронштейны в Portkey.

2. Скопируйте ID созданного вами кронштейна безопасности Cato.

3. Перейдите на страницу Конфигурации.

4. Нажмите Создать.

5. Отредактируйте конфигурацию, чтобы включить ID кронштейна безопасности в обе input_guardrails и output_guardrails.

   { "retry": { 
    "attempts": 3 }, 
    "cache": { 
    "mode": "simple" }, 
    "input_guardrails": [ "pg-portke-sampleID" ], 
    "output_guardrails": [ "pg-portke-sampleID" ] 
   }

6. Замените sampleID на ID кронштейна безопасности, который вы скопировали ранее.

7. Нажмите Сохранить.

8. Перейдите на страницу Ключи API.

9. Нажмите Create New.

10. Введите имя для ключа API.

11. Выберите конфигурацию, которую вы создали.

12. Нажмите Создать.

Проверка трафика шлюза в Cato (Необязательно)

Используйте логирование Guard, чтобы подтвердить, что трафик Portkey достигает Cato.

Чтобы проверить трафик шлюза в Cato:

1. Создайте тестовый запрос из вашего приложения.

2. Из меню навигации выберите AI Security > Interaction Explorer.

3. Из выпадающего списка Guard отфильтруйте выбор по вашему защитнику.

4. Подтвердите, что запись журнала показывает имя защитника

На этом этапе колонка Собственный агент показывает тире (-) для каждой записи. Это ожидалось, поскольку ещё не сопоставлены собственные приложения с защитником.

На этом этапе, Cato журналирует трафик шлюза. После сопоставления приложения Cato также приписывает трафик конкретному собственному приложению.

Сопоставление собственного приложения с защитником

В Cato сопоставьте приложение, используя имя кронштейна безопасности Portkey. Вы можете сопоставить собственное приложение из конфигурации защитника или из конфигурации собственного приложения. Эта процедура использует конфигурацию защитника.

Чтобы сопоставить собственное приложение с защитником:

1. Из меню навигации выберите AI Security > Guards.

2. Выберите AI Gateway Guard.

3. В Сопоставление собственного агента, нажмите Добавить сопоставление.

4. В Собственный агент выберите собственное приложение.

   Пример: Portkey-sample-1

5. В Виртуальный псевдоним ключа введите имя кронштейна безопасности Portkey для приложения.

6. Нажмите Сохранить.

Проверка атрибуции приложения

Проверьте, что Cato приписывает трафик шлюза сопоставленному собственному приложению.

Чтобы проверить атрибуцию приложения:

1. Отправьте тестовый запрос из сопоставленного собственного приложения через Portkey.

2. Из меню навигации выберите AI Security > Interaction Explorer.

3. Отфильтруйте вид по сопоставленному Собственному агенту.

   Пример: Portkey-sample-1

4. Подтвердите, что колонка Собственный агент показывает сопоставленное приложение.

Когда приложение правильно сопоставлено, логирование Guard показывает имя приложения вместо тире (-).

Настройка правила Политики взаимодействия Guards

Настройте правило Политики взаимодействия Guards, чтобы применять контроль AI Security на соответствующий LiteLLM-трафик.

Прежде чем создать правило, поймите, как область влияет на принуждение:

Чтобы настроить правило Политики взаимодействия Guards:

1. Из меню навигации выберите AI Security > Guards Interaction Policy.

2. Нажмите Новый.

3. В Имя введите имя для правила.

   Пример: Блокировать PII

4. Используйте переключатель Включено для активации правила.

   Переключатель становится зелёным, когда он включен.

5. В Защитники выберите AI Gateway Guard.

   Пример: Portkey-sample-1

6. В Агенты выберите сопоставленное собственное приложение.

   Пример: Portkey-sample-1

7. В Профиль движка выберите профиль, использованный для обнаружения соответствующего контента.

   Пример: Личный идентификатор

8. В Действие выберите действие принуждения.

   Пример: Анонимизировать и мониторить

9. Нажмите Сохранить.

10. Нажмите Опубликовать.

После того как политика опубликована и распространена, правило применяется на подходящий трафик.

Проверка применения политики

Проверьте применение политики, отправляя тестовый трафик, который соответствует диапазону правила и профилю движка.

Для проверки применения политики:

1. Отправьте тестовый запрос от сопоставленного самописного приложения через LiteLLM.

2. Включите контент, который соответствует выбранному Профилю Движка.

3. Выберите из меню навигации AI безопасность > Защитники.

4. Выберите AI шлюз защитника.

5. Откройте Журналирование Защитника.

6. Отфильтруйте журналы по сопоставленному Самописному Агента.

7. Подтвердите, что Нарушенные правила показывают правило политики.

   Пример: Блокировка PII

Трафик, который не соответствует выбранному Профилю Движка, не показывает нарушенных правил и проходит нормально.