Configuration d'une intégration LiteLLM AI Gateway avec la sécurité AI de Cato

Vue d’ensemble

La sécurité AI de Cato vous permet d'inspecter et d'appliquer des politiques pour le trafic AI qui transite par votre passerelle LiteLLM AI existante. Au lieu de configurer chaque application séparément, vous connectez la passerelle à un Cato Guard et appliquez une surveillance centralisée, une protection des données et une application des politiques au trafic de la passerelle.

Cet article explique comment configurer une intégration LiteLLM AI Gateway, cartographier les applications internes et valider l'application des règles dans le journal de Guard.

Prérequis

Avant de commencer, assurez-vous que ces exigences sont remplies :

Licence de sécurité AI prenant en charge les garde-barrières AI Gateway
Autorisations d'administrateur pour Sécurité AI > Garde-barrières et Sécurité AI > Politique d'interaction avec les garde-barrières
Passerelle LiteLLM AI déployée et fonctionnelle
Accès pour modifier le fichier LiteLLM config.yaml
Permission de redémarrer ou de recharger la passerelle LiteLLM AI
Clé virtuelle LiteLLM et alias de clé pour chaque application interne que vous souhaitez cartographier
Application de test ou client envoyant du trafic via la passerelle LiteLLM AI
Accès réseau de LiteLLM à https://api.aisec.catonetworks.com

Flux de travail de configuration

L'intégration comprend les étapes suivantes :

Étape	Tâche	Résultat
1	Créer un AI Gateway Guard	Cato crée le Guard et fournit les détails de connexion pour LiteLLM
2	Configurer LiteLLM	LiteLLM envoie le trafic AI à Cato pour inspection
3	Génial, merci !\nLangue changée\nNuméro de série de la prise principale :\nNuméro de série de la prise secondaire :	Cato attribue le trafic de la passerelle à une application développée interne spécifique
4	Configurer l'application de la politique	Cato applique les règles de politique de sécurité AI au trafic correspondant

Créer le AI Gateway Guard

Créer un AI Gateway Guard pour définir le point d'application de Cato pour le trafic LiteLLM.

Pour créer le Guard :

Dans le menu de navigation, sélectionnez Sécurité IA > Gardes
Cliquez sur Nouveau
Dans Nom du Guard, entrez un nom pour le Guard
Exemple : LiteLLM Test
Dans Type, sélectionnez AI Gateway
Dans Type d'intégration AI Gateway, sélectionnez LiteLLM
Dans Hôte du Guard, sélectionnez Cloud Cato
Laissez Mappage Agent Interne vide
Cliquez sur Enregistrer

Après avoir enregistré le Guard, il est prêt à recevoir le trafic depuis le AI Gateway LiteLLM. Le Guard est actif, mais n'applique pas les règles tant que vous n'avez pas configuré une règle de politique.

Cartographiez les applications développées en interne après avoir validé l'intégration de la passerelle.

Configurer LiteLLM

Configurez LiteLLM avec les détails de la connexion du Guard pour que l'AI Gateway puisse envoyer du trafic à Cato pour inspection.

Récupérer les détails de la connexion du Guard

Pour récupérer les détails de la connexion du Guard :

Dans le menu de navigation, sélectionnez Sécurité IA > Gardes
Sélectionnez le Guard AI Gateway
Copiez les détails de la connexion à partir de la configuration du Guard

Les détails de connexion du Guard incluent :

Clés API
Extrait de configuration des garde-fous LiteLLM
URL de base de l'API Cato

La configuration des garde-fous LiteLLM utilise cette structure :

guardrails:
  - guardrail_name: cato_networks
    litellm_params:
      guardrail: cato_networks
      mode: [pre_call, post_call]
      api_key: 
      api_base: "https://api.aisec.catonetworks.com"
      default_on: true

Les champs clés sont :

Champ	Desciption
`mode: [pre_call, post_call]`	Envoie des prompts à Cato avant la requête LLM et des réponses à Cato après la réponse LLM
`cle_api`	Authentifie LiteLLM au Guard Cato
`par_défaut: true`	Active le Guard par défaut pour le trafic couvert par cette configuration LiteLLM

Stockez la clé API en toute sécurité et évitez de la valider dans le contrôle de source. Si votre déploiement supporte des variables d'environnement ou un gestionnaire de secrets, utilisez cette méthode plutôt que de stocker la clé directement dans config.yaml.

Mettre à jour la configuration de LiteLLM

Vous pouvez configurer le garde-fou Cato globalement pour tout le trafic LiteLLM ou l'appliquer à des définitions de modèles spécifiques, selon votre déploiement LiteLLM. L'exemple ci-dessous applique le garde-fou au model-voyage-bot.

Pour mettre à jour la configuration de LiteLLM :

Ouvrez le fichier LiteLLM config.yaml
Ajoutez la configuration des garde-fous Cato à la définition de modèle concernée
Remplacez la clé API de l'espace réservé par celle du Guard
Sauvegardez le fichier
Redémarrez ou rechargez le AI Gateway si requis pour votre déploiement LiteLLM

Configuration d'exemple LiteLLM :

model_list:
  - model_name: model-voyage-bot
    litellm_params:
      model: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: model-voyage-bot
        litellm_params:
          guardrail: cato_networks
          mode: [pre_call, post_call]
          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          api_base: "https://api.aisec.catonetworks.com"
          default_on: true

Vérifiez le trafic de la passerelle dans Cato (Optionnel)

Utilisez la journalisation du Guard pour confirmer que le trafic LiteLLM atteint Cato.

Pour vérifier le trafic de la passerelle dans Cato :

Générez une demande de test depuis votre application.
Dans le menu de navigation, sélectionnez Sécurité IA > Explorateur d'interaction
Dans le menu déroulant Guard, filtrez la sélection par votre Guard.
Confirmez que l'entrée de journal affiche le nom du Guard

À ce stade, la colonne Agent Interne affiche un tiret (-) pour chaque entrée. Cela est attendu car aucune application interne n'est encore mappée au Guard.

À ce stade, Cato journalise le trafic de la passerelle. Après le mappage de l'application, Cato attribue également le trafic à l'application développée interne spécifique.

Vérifiez le trafic de la passerelle dans LiteLLM (Optionnel)

Utilisez les journaux de LiteLLM pour confirmer que les demandes sont traitées de bout en bout par le AI Gateway et le Guard Cato.

Pour vérifier l'intégration dans LiteLLM :

Envoyez une demande de test par le AI Gateway LiteLLM
Ouvrez les journaux LiteLLM
Confirmez que la demande inclut le modèle et l'acheminement du fournisseur attendus
Fait : L'action a été terminée avec succès

Les journaux peuvent inclure :

Modèle et acheminement du fournisseur
Comptes de jetons
Durée de la requête
Statut de réussite

Utilisez à la fois la journalisation du Guard Cato et les journaux LiteLLM pour confirmer que les demandes sont traitées de bout en bout.

Cartographiez une application interne au Guard

Cartographiez une application interne pour que Cato Networks puisse attribuer le trafic AI Gateway à la bonne application.

Dans LiteLLM, créez une Clé Virtuelle pour chaque application que vous souhaitez que Cato identifie séparément.

Dans LiteLLM, naviguez vers Clés Virtuelles
Copiez l'Alias de Clé pour chaque application développée en interne que vous souhaitez ajouter à votre Guard

Dans Cato, cartographiez l'application en utilisant l'Alias de Clé de LiteLLM. Vous pouvez cartographier une application interne depuis la configuration du Guard ou depuis la configuration de l'application interne. Cette procédure utilise la configuration du Guard.

Pour cartographier une application interne au Guard :

Dans le menu de navigation, sélectionnez Sécurité IA > Gardes
Sélectionnez le Guard AI Gateway
Dans Mappage Agent Interne, cliquez sur Ajouter un Mappage
Dans Agent Interne, sélectionnez l'application développée en interne
Exemple : TravelBot
Dans Alias de Clé Virtuelle, entrez l'Alias de Clé de LiteLLM pour l'application
Cliquez sur Enregistrer

Vérifiez l'attribution de l'application

Vérifiez que Cato attribue le trafic de la passerelle à l'application interne mappée.

Pour vérifier l'attribution de l'application :

Envoyez une demande de test depuis l'application interne mappée via LiteLLM
Dans le menu de navigation, sélectionnez Sécurité IA > Explorateur d'interaction
Filtrez la vue par l'Agent Interne mappé
Exemple : TravelBot
Confirmez que la colonne Agent Interne affiche l'application mappée

Lorsque l'application est correctement associée, la Journalisation du Garde affiche le nom de l'application au lieu d'un tiret (-).

Configurer une Règle de Politique d'Interaction des Gardes

Configurer une règle de politique d'interaction des Gardes pour appliquer les contrôles de sécurité IA sur le trafic LiteLLM correspondant.

Avant de créer une règle, comprenez comment la portée affecte l'application :

Portée	Comportement d'Application de la Règle
Uniquement le Gardien	S'applique à tout le trafic via le Garde Passerelle AI sélectionné.
Agents Internes Spécifiques	S'applique uniquement au trafic des applications internes sélectionnées

Pour configurer une règle de politique d'interaction des Gardes :

Dans le menu de navigation, sélectionnez Sécurité IA > Politique d'Interaction des Gardes
Cliquez sur Nouveau
Dans Nom, entrez un nom pour la règle
Exemple : Bloquer PII
Utilisez le commutateur Activé pour activer la règle.
La bascule est verte lorsqu'elle est activée.
Dans Gardes, sélectionnez le Gardien Passerelle AI.
Exemple : Test LiteLLM
Dans Agents, sélectionnez l'application interne associée.
Exemple : TravelBot
Dans Profil du Moteur, sélectionnez le profil utilisé pour détecter le contenu pertinent.
Exemple : Identifiant Personnel
Dans Action, sélectionnez l'action d'application.
Exemple : Anonymiser & Surveiller
Cliquez sur Enregistrer
Cliquez sur Publier

Après la publication et la propagation de la politique, la règle est appliquée sur le trafic correspondant.

Vérifier l'Application de la Politique

Vérifiez l'application de la politique en envoyant un trafic de test qui correspond à la portée de la règle et au profil du moteur.

Pour vérifier l'application de la politique :

Envoyez une requête de test à partir de l'application interne associée via LiteLLM.
Incluez le contenu qui correspond au Profil du Moteur sélectionné.
Dans le menu de navigation, sélectionnez Sécurité IA > Gardes
Sélectionnez le Garde Passerelle AI
Ouvrez Journalisation du Garde
Filtrez les journaux par l'Agent Interne associé
Confirmez que Règles Violées affiche la règle de politique
Exemple : Bloquer PII

Le trafic qui ne correspond pas au Profil du Moteur sélectionné ne montre aucune règle violée et passe normalement.