Configurando una integración de LiteLLM AI Gateway con Cato Seguridad AI

"Visión general"

Cato Seguridad AI le permite inspeccionar y aplicar políticas para el tráfico AI que fluye a través de su Puerta de Enlace LiteLLM AI existente. En lugar de configurar cada aplicación por separado, conecte la puerta de enlace a un Cato Guard y aplique monitorización centralizada, protección de datos y aplicación de políticas al tráfico de la puerta de enlace.

Este artículo explica cómo configurar una integración de LiteLLM AI Gateway, mapear aplicaciones desarrolladas internamente y validar la aplicación de políticas en el registro de Guard.

Requisitos Previos

Antes de comenzar, asegúrese de que se cumplan estos requisitos:

• Licencia de Seguridad AI que soporta Cato Seguridad AI Guards

• Permisos de administrador para Cato Seguridad > Guards y Cato Seguridad > Política de Interacción de Guards

• LiteLLM AI Gateway implementado y funcionando

• Acceso para editar el archivo LiteLLM config.yaml

• Permiso para reiniciar o recargar la Puerta de Enlace LiteLLM AI

• Clave Virtual LiteLLM y Alias de Clave para cada aplicación desarrollada internamente que desea mapear

• Aplicación de prueba o cliente que envía tráfico a través de la Puerta de Enlace LiteLLM AI

• Acceso a red desde LiteLLM a https://api.aisec.catonetworks.com

Flujo de Trabajo de Configuración

La integración incluye estas etapas:

Crear el Guardián de Puerta de Enlace de IA

Crear un Guardián de Puerta de Enlace de IA para definir el punto de aplicación de Cato para el tráfico de LiteLLM.

Para crear el guardián:

1. Desde el menú de navegación, selecciona Seguridad AI > Guardianes

2. Haga clic en Nuevo

3. En Nombre del Guardián, ingresa un nombre para el Guardián

   Ejemplo: Prueba LiteLLM

4. En Tipo, selecciona Puerta de Enlace IA

5. En Tipo de Integración de Puerta de Enlace IA, selecciona LiteLLM

6. En Anfitrión del Guardián, selecciona Nube de Cato

7. Deja Mapeo de Agente Interno vacío

8. Haz clic en Guardar

Después de guardar el Guardián, está listo para recibir tráfico de la Puerta de Enlace IA de LiteLLM. El Guardián está activo, pero no aplica reglas hasta que configures una regla de política.

Mapa aplicaciones internas después de validar la integración de la puerta de enlace.

Configurar LiteLLM

Configure LiteLLM con los detalles de conexión del Guardián para que la Puerta de Enlace IA pueda enviar tráfico a Cato para su inspección.

Recuperar los detalles de conexión del Guardián

Para recuperar los detalles de conexión del guardián:

1. Desde el menú de navegación, selecciona Seguridad AI > Guardianes

2. Selecciona el Guardián de Puerta de Enlace IA

3. Copia los detalles de conexión de la configuración del Guardián

Los detalles de conexión del Guardián incluyen:

• Claves API

• Fragmento de configuración de barandillas LiteLLM

• URL base de la API de Cato

La configuración de barandillas de LiteLLM usa esta estructura:

Guardio:
  - nombre_de_guardio: cato_networks
    parámetros_litellm:
      guardio: cato_networks
      modo: [pre_llamada, post_llamada]
      clave_api: <AI_GATEWAY_API_KEY>
      base_api: "https://api.aisec.catonetworks.com"
      defecto_on: true

Los campos clave son:

Almacena la clave API de forma segura y evita comprometerla en el control de código fuente. Si tu implementación admite variables de entorno o un gestor de secretos, utiliza ese método en lugar de almacenar la clave directamente en config.yaml.

Actualizar la Configuración de LiteLLM

Puedes configurar el guardián de Cato globalmente para todo el tráfico de LiteLLM o aplicarlo a definiciones de modelo específicas, dependiendo de tu implementación de LiteLLM. El ejemplo a continuación aplica la barandilla a travel-bot-model.

Para actualizar la configuración de LiteLLM:

1. Abrir el archivo config.yaml de LiteLLM

2. Agregar la configuración de barandillas de Cato a la definición de modelo relevante

3. Reemplazar la clave API de marcador de posición con la clave API del Guardián

4. Guardar el archivo

5. Reinicia o recarga la Puerta de Enlace IA si es necesario para tu implementación LiteLLM

Configuración de ejemplo de LiteLLM:

model_list:
  - model_name: travel-bot-model
    litellm_params:
      model: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: travel-bot-model
        litellm_params:
          guardrail: cato_networks
          modo: [pre_llamada, post_llamada]
          clave_api: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          base_api: "https://api.aisec.catonetworks.com"
          defecto_on: true

Verificar Tráfico de Puerta de Enlace en Cato (Opcional)

Usa el registro del Guardián para confirmar que el tráfico de LiteLLM llega a Cato.

Para verificar el tráfico de puerta de enlace en Cato:

1. Genera una prueba de solicitud desde tu aplicación.

2. Desde el menú de navegación, selecciona Seguridad AI > Explorador de Interacción

3. Desde la lista desplegable Guardia, filtra la selección por tu Guardia.

4. Confirma que la entrada de registro muestra el nombre del guardián

En este punto, la columna Agente Interno muestra un guion (-) para cada entrada. Esto se espera porque aún no se han mapeado aplicaciones internas al guardián.

En esta etapa, Cato registra el tráfico de la puerta de enlace. Después de mapear la aplicación, Cato también atribuye el tráfico a la aplicación interna específica.

Verificar Tráfico de Puerta de Enlace en LiteLLM (Opcional)

Usa los registros de LiteLLM para confirmar que las solicitudes son procesadas de extremo a extremo por la Puerta de Enlace IA y el Guardián Cato.

Para verificar la integración en LiteLLM:

1. Envía una solicitud de prueba a través de la Puerta de Enlace IA de LiteLLM

2. Abre los registros de LiteLLM

3. Confirma que la solicitud incluye el modelo y enrutamiento de proveedor esperados

4. Confirma que la solicitud se completó exitosamente

Los registros pueden incluir:

• Modelo y enrutamiento de proveedor

• Recuento de tokens

• Duración de la solicitud

• Estado de éxito

Usa tanto el Registro del Guardián de Cato como los registros de LiteLLM para confirmar que las solicitudes se procesan de extremo a extremo.

Mapear una Aplicación Interna al Guardián

Mapea una aplicación interna para que Cato Networks pueda atribuir el tráfico de la Puerta de Enlace de IA a la aplicación correcta.

En LiteLLM, crea una Clave Virtual para cada aplicación que deseas que Cato identifique por separado.

1. En LiteLLM, navega a Claves Virtuales

2. Copia el Alias de Clave para cada aplicación interna que quieras agregar a tu Guardián

En Cato, mapea la aplicación usando el Alias de Clave de LiteLLM. Puedes mapear una aplicación interna desde la configuración del Guardián o desde la configuración de la aplicación interna. Este procedimiento utiliza la configuración del Guardián.

Para mapear una aplicación interna al Guardián:

1. Desde el menú de navegación, selecciona Seguridad AI > Guardianes

2. Selecciona el Guardián de Puerta de Enlace IA

3. En Mapeo de Agente Interno, haz clic en Agregar Mapeo

4. En Agente Interno, selecciona la aplicación interna

   Ejemplo: TravelBot

5. En Alias de Clave Virtual, ingresa el Alias de Clave de LiteLLM para la aplicación

6. Haz clic en Guardar

Verificar Atribución de Aplicaciones

Verifica que Cato asigne el tráfico de la puerta de enlace a la aplicación interna mapeada.

Para verificar la atribución de la aplicación:

1. Envía una solicitud de prueba desde la aplicación interna mapeada a través de LiteLLM

2. Desde el menú de navegación, selecciona Seguridad AI > Explorador de Interacción

3. Filtra la vista por el Agente Interno mapeado

   Ejemplo: TravelBot

4. Confirma que la columna Agente Interno muestra la aplicación mapeada

Cuando la aplicación está correctamente mapeada, Guard Logging muestra el nombre de la aplicación en lugar de un guion (-).

Configurar una Regla de Política de Interacción de los Guardias

Configurar una regla de Política de Interacción de los Guardias para imponer controles de Seguridad AI en el tráfico correspondiente de LiteLLM.

Antes de crear una regla, comprenda cómo el alcance afecta la aplicación:

Para configurar una regla de Política de Interacción de los Guardias:

1. Desde el menú de navegación, selecciona Seguridad AI > Política de Interacción de Guardias

2. Haga clic en Nuevo

3. En Nombre, ingresa un nombre para la regla

   Ejemplo: Bloquear PII

4. Usa el interruptor Activado para habilitar la regla

   El interruptor está en verde cuando está habilitado.

5. En Guardias, seleccione el Guard de la Puerta de Enlace AI

   Ejemplo: Prueba LiteLLM

6. En Agentes, selecciona la aplicación casera mapeada

   Ejemplo: TravelBot

7. En Perfil de Motor, selecciona el perfil usado para detectar el contenido relevante

   Ejemplo: Identificador Personal

8. En Acción, selecciona la acción de aplicación

   Ejemplo: Anonimizar & Monitorear

9. Haz clic en Guardar

10. Haga clic en Publicar

Después de que la política se publique y se propague, la regla se aplica al tráfico coincidente.

Verificar la Aplicación de la Política

Verifica la aplicación de la política enviando tráfico de prueba que coincida con el alcance de la regla y el perfil del motor.

Para verificar la aplicación de la política:

1. Envía una solicitud de prueba desde la aplicación casera mapeada a través de LiteLLM

2. Incluye contenido que coincida con el Perfil de Motor seleccionado

3. Desde el menú de navegación, selecciona Seguridad AI > Guardias

4. Selecciona el Guard de la Puerta de Enlace AI

5. Abre Registro de Guardias

6. Filtra los registros por el Agente Casero mapeado

7. Confirma que Reglas Violadas muestra la regla de la política

   Ejemplo: Bloquear PII

El tráfico que no coincide con el Perfil de Motor seleccionado no muestra reglas violadas y pasa normalmente.