Configurando uma Integração de Gateway AI LiteLLM com a Segurança AI do Cato

Visão geral

A Segurança AI do Cato permite inspecionar e aplicar políticas para o tráfego AI que flui através do seu Gateway AI LiteLLM existente. Ao invés de configurar cada aplicação separadamente, conecte o gateway a um Guardião Cato e aplique monitoramento centralizado, proteção de dados e aplicação de políticas ao tráfego do gateway.

Este artigo explica como configurar uma integração de Gateway AI LiteLLM, mapear aplicativos próprios e validar a aplicação de políticas no Guard Logging.

Prerequisites

Antes de começar, certifique-se de que esses requisitos sejam atendidos:

• Licença de Segurança AI que suporta Guardiões de Gateway AI

• Permissões de administrador para Segurança AI > Guardiões e Política de Interação de Guardas > Segurança AI

• Gateway AI LiteLLM implantado e funcionando

• Acesso para editar o arquivo config.yaml do LiteLLM

• Permissão para reiniciar ou recarregar o Gateway AI LiteLLM

• Chave Virtual LiteLLM e Alias de Chave para cada aplicativo próprio que você deseja mapear

• Aplicação ou cliente de teste que envia tráfego através do Gateway AI LiteLLM

• Acesso à rede de LiteLLM para https://api.aisec.catonetworks.com

Workflow de Configuração

A integração inclui estas etapas:

Criar o Guardião de Gateway AI

Crie um Guardião de Gateway AI para definir o ponto de aplicação do Cato para o tráfego LiteLLM.

Para criar o Guardião:

1. No menu de navegação, selecione Segurança IA > Guardas

2. Clique em Novo

3. Em Nome do Guardião, insira um nome para o Guardião

   Exemplo: Teste LiteLLM

4. Em Tipo, selecione Gateway AI

5. Em Tipo de Integração de Gateway AI, selecione LiteLLM

6. Em Host do Guardião, selecione Nuvem do Cato

7. Deixe Mapeamento de Agente Próprio vazio

8. Clique em Salvar

Depois de salvar o Guardião, ele estará pronto para receber tráfego do Gateway AI LiteLLM. O Guardião está ativo, mas não aplica regras até que você configure uma regra de política.

Mapeie aplicativos próprios após validar a integração do gateway.

Configurar LiteLLM

Configure o LiteLLM com os detalhes de conexão do Guardião para que o Gateway AI possa enviar tráfego para o Cato para inspeção.

Recuperar os Detalhes de Conexão do Guardião

Para recuperar os detalhes de conexão do Guardião:

1. No menu de navegação, selecione Segurança IA > Guardas

2. Selecione o Guardião de Gateway AI

3. Copie os detalhes de conexão da configuração do Guardião

Os detalhes de conexão do Guardião incluem:

• chaves API

• Trecho de configuração de guardrails LiteLLM

• URL base da API do Cato

A configuração de guardrails LiteLLM usa esta estrutura:

guardrails:
 - guardrail_name: cato_networks
 litellm_params:
 guardrail: cato_networks
 mode: [pre_call, post_call]
 api_key: <AI_GATEWAY_API_KEY>
 api_base: "https://api.aisec.catonetworks.com"
 default_on: true

Os campos principais são:

Armazene a chave API de forma segura e evite comprometê-la no controle de origem. Se sua implantação suportar variáveis de ambiente ou um gerenciador de segredos, use esse método em vez de armazenar a chave diretamente no config.yaml.

Atualizar a Configuração LiteLLM

Você pode configurar o guardrail do Cato globalmente para todo o tráfego LiteLLM ou aplicá-lo a definições de modelos específicos, dependendo de sua implantação LiteLLM. O exemplo abaixo aplica o guardrail ao model-travel-bot.

Para atualizar a configuração LiteLLM:

1. Abra o arquivo config.yaml do LiteLLM

2. Adicione a configuração de guardrails do Cato à definição de modelo relevante

3. Substitua a chave API de espaço reservado pela chave API do Guardião

4. Salvar o arquivo

5. Reinicie ou recarregue o Gateway AI, se necessário, para sua implantação LiteLLM

Exemplo de configuração LiteLLM:

model_list:
 - model_name: model-travel-bot
 litellm_params:
 model: openai/openai.gpt-oss-120b
 api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
 api_key: "[LLM_API_KEY]"
 ssl_verify: false
 guardrails:
 - guardrail_name: model-travel-bot
 litellm_params:
 guardrail: cato_networks
 mode: [pre_call, post_call]
 api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
 api_base: "https://api.aisec.catonetworks.com"
 default_on: true

Verificar Tráfego de Gateway no Cato (Opcional)

Use o Guard Logging para confirmar que o tráfego LiteLLM chega ao Cato.

Para verificar o tráfego do gateway no Cato:

1. Gere um prompt de teste de seu aplicativo.

2. No menu de navegação, selecione Segurança AI > Explorador de Interação

3. Do dropdown Guardião, filtre a seleção pelo seu Guardião.

4. Confirme que a entrada do log mostra o nome do Guardião

Neste ponto, a coluna Agente Próprio mostra um traço (-) para cada entrada. Isso é esperado porque nenhum aplicativo próprio está mapeado para o Guardião ainda.

Nesta fase, o Cato registra o tráfego de gateway. Após o mapeamento de aplicativos, o Cato também atribui o tráfego ao aplicativo próprio específico.

Verifique o Tráfego de Gateway no LiteLLM (Opcional)

Use logs do LiteLLM para confirmar que as solicitações são processadas de ponta a ponta pelo Gateway AI e pelo Guardião Cato.

Para verificar a integração no LiteLLM:

1. Envie uma solicitação de teste pelo Gateway AI LiteLLM

2. Abra os logs do LiteLLM

3. Confirme que a solicitação inclui o modelo e o roteamento do provedor esperados

4. Confirme que a solicitação foi concluída com sucesso

Os logs podem incluir:

• Modelo e roteamento do provedor

• Contagens de tokens

• Duração da solicitação

• Status de sucesso

Use tanto o Guard Logging do Cato quanto os logs do LiteLLM para confirmar que as solicitações são processadas de ponta a ponta.

Mapear um Aplicativo Próprio para o Guardião

Mapeie um aplicativo próprio para que Cato Networks possa atribuir tráfego de Gateway AI ao aplicativo correto.

No LiteLLM, crie uma Chave Virtual para cada aplicativo que você deseja que o Cato identifique separadamente.

1. No LiteLLM, navegue para Chaves Virtuais

2. Copie o Alias de Chave para cada aplicativo próprio que você deseja adicionar ao seu Guardião

No Cato, mapeie o aplicativo usando o Alias de Chave do LiteLLM. Você pode mapear um aplicativo próprio da configuração do Guardião ou da configuração do aplicativo próprio. Este procedimento usa a configuração do Guardião.

Para mapear um app caseiro para o Guarda:

1. No menu de navegação, selecione Segurança IA > Guardas

2. Selecione o AI Gateway Guard

3. Em Mapeamento de Agente Caseiro, clique em Adicionar Mapeamento

4. Em Agente Caseiro, selecione o aplicativo caseiro

   Exemplo: TravelBot

5. Em Alias de Chave Virtual, insira o Alias de Chave LiteLLM para o aplicativo

6. Clique em Salvar

Verificar Atribuição de Aplicativos

Verifique se Cato atribui o tráfego do gateway ao aplicativo caseiro mapeado.

Para verificar a atribuição do aplicativo:

1. Envie uma solicitação de teste do aplicativo caseiro mapeado através do LiteLLM

2. No menu de navegação, selecione Segurança de IA > Explorador de Interação

3. Filtre a visualização pelo Agente Caseiro mapeado

   Exemplo: TravelBot

4. Confirme que a coluna Agente Caseiro mostra o aplicativo mapeado

Quando o aplicativo é mapeado corretamente, o Guarda de Registros mostra o nome do aplicativo em vez de um traço (-).

Configurar uma Regra de Política de Interação de Guardas

Configure uma regra de política de interação para aplicar controles de segurança de IA no tráfego correspondente do LiteLLM.

Antes de criar uma regra, entenda como o escopo afeta a aplicação:

Para configurar uma regra de Política de Interação de Guardas:

1. No menu de navegação, selecione Segurança de IA > Política de Interação dos Guardas

2. Clique em Novo

3. Em Nome, insira um nome para a regra

   Exemplo: Bloquear PII

4. Use o alternador Ativado para ativar a regra

   O alternador fica verde quando ativado.

5. Em Guardas, selecione o AI Gateway Guard

   Exemplo: Teste LiteLLM

6. Em Agentes, selecione o aplicativo caseiro mapeado

   Exemplo: TravelBot

7. Em Perfil de Engine, selecione o perfil usado para detectar o conteúdo relevante

   Exemplo: Identificador Pessoal

8. Em Ação, selecione a ação de aplicação

   Exemplo: Anonimizar & Monitorar

9. Clique em Salvar

10. Clique em Publicar

Após a política ser publicada e propagada, a regra é aplicada ao tráfego correspondente.

Verificar Aplicação de Política

Verifique a aplicação da política enviando tráfego de teste que corresponda ao escopo da regra e ao perfil de engine.

Para verificar a aplicação da política:

1. Envie uma solicitação de teste do aplicativo caseiro mapeado através do LiteLLM

2. Inclua conteúdo que corresponda ao Perfil de Engine selecionado

3. No menu de navegação, selecione Segurança IA > Guardas

4. Selecione o AI Gateway Guard

5. Abra Registro de Guardas

6. Filtre os registros pelo Agente Caseiro mapeado

7. Confirme que Regras Violadas mostram a regra de política

   Exemplo: Bloquear PII

Tráfego que não corresponde ao Perfil de Engine selecionado não mostra regras violadas e passa normalmente.