Configurer une intégration Passerelle AI Portkey avec Sécurité AI Cato

Vue d’ensemble

La Sécurité AI Cato vous permet d'inspecter et d'appliquer des règles de politique pour le trafic AI passant par votre Passerelle AI Portkey existante. Au lieu de configurer chaque application séparément, vous connectez la passerelle à un Cato Guard et appliquez une surveillance centralisée, une protection des données et une application des règles de politique au trafic de la passerelle.

Cet article explique comment configurer une intégration Passerelle AI Portkey, mapper des applications internes, et valider l'application des règles de politique dans la journalisation du Guard.

Prérequis

Avant de commencer, assurez-vous que les exigences suivantes sont respectées :

• Licence de sécurité AI qui prend en charge les AI Gateway Guards

• Permissions admin pour Sécurité AI > Guards et Sécurité AI > Politique d'Interaction des Guards

• Passerelle AI Portkey déployée et fonctionnelle

• Permission de redémarrer ou recharger la Passerelle AI Portkey

• Paramètres de connexion pour chaque application interne que vous souhaitez cartographier

• Testez l'application ou le client qui envoie du trafic via la passerelle AI

• Accès réseau de Portkey à https://api.aisec.catonetworks.com

Workflow de configuration

L'intégration comprend ces étapes :

Créer le AI Gateway Guard

Créer un Guard de Passerelle AI pour définir le point d'application Cato pour le trafic Portkey.

Pour créer la garde :

1. Dans le menu de navigation, sélectionnez Sécurité AI > Guards.

2. Cliquez sur Nouveau.

3. Dans Nom de la garde, entrez un nom pour la garde.

   Exemple : Portkey-Sample

4. Dans Type, sélectionnez AI Gateway.

5. Dans Type d'intégration AI Gateway, sélectionnez LiteLLM.

6. Dans Hôte de la garde, sélectionnez Cloud de Cato.

7. Laissez Mapping d'Agent Interne vide.

8. Cliquez sur Enregistrer.

Après avoir enregistré le Guard, il est prêt à recevoir du trafic depuis la Passerelle AI Portkey. Le Guard est actif, mais il n'applique pas les règles jusqu'à ce que vous configuriez une règle de politique.

Mappez les applications internes après avoir validé l'intégration de la passerelle.

Configurer Portkey

Configurez Portkey avec les détails de connexion de la garde afin que l'AI Gateway puisse envoyer du trafic à Cato pour inspection.

Récupérer les détails de connexion de la garde

Pour récupérer les détails de connexion du garde :

1. Dans le menu de navigation, sélectionnez Sécurité AI > Guards.

2. Sélectionnez l'AI Gateway Guard.

3. Copiez les détails de connexion de la configuration de la garde.

Les détails de connexion de la garde incluent :

• Clés API

• Extrait de configuration des garde-fous

• URL de base de l'API Cato

La configuration des garde-fous utilise cette structure :

curl -i https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is joe@acme.com"}
    ]
  }'

Les champs clés sont :

Stockez la clé API de manière sécurisée et évitez de la soumettre au contrôle de version. Si votre déploiement prend en charge les variables d'environnement ou un gestionnaire de secrets, utilisez cette méthode au lieu de stocker la clé directement dans les paramètres de Portkey.

Configurer le Plugin Cato dans Portkey

Pour envoyer le trafic de la Passerelle AI Portkey au Cato Guard, activez le plugin Cato Networks dans les paramètres de votre organisation Portkey et configurez-le avec les détails de déploiement du Guard de Cato.

1. Dans Portkey, cliquez sur les paramètres de votre organisation.

2. Accédez à la page Plugins.

3. Recherchez le plugin Cato Networks.

4. Activez le plugin Cato Networks.

5. Dans les paramètres du plugin, entrez les valeurs de la page de déploiement du Guard dans Cato :

  - Clé API

  - URL de base de l'API

6. Cliquez sur Mettre à jour.

Après l'activation du plugin, Portkey peut s'authentifier auprès de Cato Guard et envoyer les entrées et sorties LLM pour inspection.

Créer un Guardrail Portkey pour Cato Networks

Après avoir activé et configuré le plugin Cato Networks, créé un Guardrail Portkey qui utilise le plugin pour envoyer les entrées et sorties LLM à Cato pour inspection.

Si vous souhaitez visibilité pour chaque application interne, créez un garde-fou Portkey distinct pour chaque application. Si vous avez seulement besoin de visibilité au niveau du Guard, vous pouvez utiliser un seul Guardrail Portkey.

1. Dans Portkey, rendez-vous sur la page Garde-fous.

2. Cliquez sur Créer.

3. Dans Vérifications disponibles, cliquez sur l'onglet Partenaire.

4. Recherchez Cato Networks.

5. Dans la carte Guardrail Cato Networks, cliquez sur Ajouter.

6. Entrez un nom pour le garde-fou.

7. Cliquez sur Enregistrer.

Connectez l'application interne à une configuration Portkey et une clé API

Portkey utilise les configurations et les clés API pour acheminer le trafic à travers un garde-fou spécifique. Pour appliquer le garde-fou de Cato au trafic de votre application interne, copiez l'ID du garde-fou, créez une configuration qui fait référence au garde-fou, puis créez une clé API qui utilise la configuration.

Si vous souhaitez visibilité pour chaque application interne, créez une configuration Portkey distincte et une clé API pour chaque application. Si vous avez seulement besoin de visibilité au niveau du Guard, vous pouvez utiliser une seule configuration et une seule clé API.

1. Dans Portkey, rendez-vous sur la page Garde-fous.

2. Copiez l'ID du garde-fou Cato que vous avez créé.

3. Accédez à la page Configurations.

4. Cliquez sur Créer.

5. Modifiez la configuration pour inclure l'ID du garde-fou dans input_guardrails et output_guardrails.

   { "retry": { 
       "attempts": 3 }, 
       "cache": { 
       "mode": "simple" }, 
       "input_guardrails": [ "pg-portke-sampleID" ], 
       "output_guardrails": [ "pg-portke-sampleID" ] 
   }

6. Remplacez sampleID par l'ID du Guardrail que vous avez copié précédemment.

7. Cliquez sur Sauvegarder.

8. Accédez à la page Clés API.

9. Cliquez sur Créer nouveau.

10. Entrez un nom pour la clé API.

11. Sélectionnez la configuration que vous avez créée.

12. Cliquez sur Créer.

Vérifier le Trafic de la Passerelle dans Cato (Optionnel)

Utilisez la journalisation du Guard pour confirmer que le trafic Portkey atteint Cato.

Pour vérifier le trafic de passerelle dans Cato :

1. Générez une invite de test à partir de votre application.

2. Dans le menu de navigation, sélectionnez Sécurité AI > Explorateur d'Interactions.

3. Dans le menu déroulant Guard, filtrez la sélection par votre guard.

4. Confirmez que l'entrée du journal montre le nom du guard

À ce stade, la colonne Agent Interne affiche un tiret (-) pour chaque entrée. Ceci est attendu car aucune application interne n'est encore mappée au guard.

À cette étape, Cato journalise le trafic de la passerelle. Après le mappage de l'application, Cato attribue également le trafic à l'application interne spécifique.

Mapper une application interne à la garde

Dans Cato, mappez l'application en utilisant le nom du Guardrail Portkey. Vous pouvez mapper une application interne de la configuration du guard ou de la configuration de l'application interne. Cette procédure utilise la configuration du guard.

Pour mapper une application interne à la garde :

1. Dans le menu de navigation, sélectionnez Sécurité AI > Guards.

2. Sélectionnez l'AI Gateway Guard.

3. Dans Mapping d'Agent Interne, cliquez sur Ajouter Mapping.

4. Dans Agent Interne, sélectionnez l'application interne.

   Exemple : Portkey-sample-1

5. Dans Alias Clé Virtuelle, entrez le nom du Guardrail Portkey pour l'application.

6. Cliquez sur Enregistrer.

Vérifier l'Attribution de l'Application

Vérifiez que Cato attribue le trafic de la passerelle à l'application interne cartographiée.

Pour vérifier l'attribution de l'application :

1. Envoyez une demande de test depuis l'application interne cartographiée via Portkey.

2. Dans le menu de navigation, sélectionnez Sécurité AI > Explorateur d'Interactions.

3. Filtrez la vue par Agent Interne mappé.

   Exemple : Portkey-sample-1

4. Confirmez que la colonne Agent Interne montre l'application mappée.

Lorsque l'application est correctement mappée, la journalisation du Guard montre le nom de l'application au lieu d'un tiret (-).

Configurer une règle de politique d'interaction des gardes

Configurer une règle de Politique d'Interaction des Guards pour appliquer des contrôles de Sécurité AI sur le trafic LiteLLM correspondant.

Avant de créer une règle, comprenez comment la portée affecte l'application :

Pour configurer une règle de politique d'interaction des gardes :

1. Dans le menu de navigation, sélectionnez Sécurité AI > Politique d'Interaction des Guards.

2. Cliquez sur Nouveau<\/strong>.

3. Dans Nom, entrez un nom pour la règle.

   Exemple : Bloquer PII

4. Utilisez le commutateur Activé pour activer la règle.

   La bascule est verte lorsqu'elle est activée.

5. Dans Garde, sélectionnez l'AI Gateway Guard.

   Exemple : Portkey-sample-1

6. Dans Agents, sélectionnez l'application interne cartographiée.

   Exemple : Portkey-sample-1

7. Dans Profil du Moteur, sélectionnez le profil utilisé pour détecter le contenu pertinent.

   Exemple : Identifiant Personnel

8. Dans Action, sélectionnez l'action d'application.

   Exemple: Anonymiser & Surveiller

9. Cliquez sur Enregistrer.

10. Cliquez sur Publier.

Après que la politique est publiée et propagée, la règle est appliquée sur le trafic correspondant.

Vérifier l'application de la politique

Vérifiez l'application de la politique en envoyant du trafic de test qui correspond à la portée de la règle et au profil du moteur.

Pour vérifier l'application de la politique :

1. Envoyez une demande de test depuis l'application maison cartographiée via LiteLLM.

2. Inclure le contenu qui correspond au Profil de Moteur sélectionné.

3. Depuis le menu de navigation, sélectionnez Sécurité IA > Gardes.

4. Sélectionnez le Garde Passerelle IA.

5. Ouvrir Journalisation du Garde.

6. Filtrer les journaux par l'Agent Maison cartographié.

7. Confirmez que les Règles Violées affichent la règle de politique.

   Exemple: Bloquer PII

Le trafic ne correspondant pas au Profil de Moteur sélectionné n'affiche aucune règle violée et passe normalement.