Configurando uma Integração de Gateway de IA Portkey com Segurança de IA Cato

Visão geral

A Segurança de IA Cato permite inspecionar e garantir políticas para o tráfego de IA que passa por seu Gateway de IA Portkey. Ao invés de configurar cada aplicação separadamente, você conecta o gateway a um Guardião Cato e aplica monitoramento centralizado, proteção de dados e execução de políticas ao tráfego do gateway.

Este artigo explica como configurar uma integração de gateway de IA Portkey, mapear aplicações internas e validar a execução de políticas no Registro de Guardião.

Requisitos

Antes de começar, certifique-se de que estes requisitos sejam atendidos:

• Licença de Segurança de IA que suporta Guardiões de Gateway de IA

• Permissões de administrador para Segurança de IA > Guardiões e Segurança de IA > Política de Interação dos Guardiões

• Deploy e estando ativo Gateway de IA Portkey

• Permissão para reiniciar ou recarregar o Gateway de IA Portkey

• Parâmetros de conexão para cada aplicação interna que deseja mapear

• Aplicativo ou cliente de teste que envie tráfego através do Gateway de IA

• Acesso à rede de Portkey para https://api.aisec.catonetworks.com

Fluxo de Configuração

A integração inclui estas etapas:

Crie o Guardião de Gateway de IA

Crie um Guardião de Gateway de IA para definir o ponto de execução Cato para tráfego de Portkey.

Para criar o guardião:

1. No menu de navegação, selecione Segurança de IA > Guardiões.

2. Clique em Novo.

3. Em Nome do Guardião, insira um nome para o guardião.

   Exemplo: Portkey-Sample

4. Em Tipo, selecione Gateway de IA.

5. Em Tipo de Integração de Gateway de IA, selecione LiteLLM.

6. Em Host do Guardião, selecione Nuvem do Cato.

7. Deixe Mapeamento de Agente Interno vazio.

8. Clique em Salvar.

Após salvar o Guardião, ele estará pronto para receber tráfego do Gateway de IA Portkey. O Guardião está ativo, mas não aplica regras até que você configure uma regra de política.

Mapear aplicativos internos após validar a integração do gateway.

Configurar Portkey

Configure Portkey com os detalhes de conexão do guardião para que o Gateway de IA possa enviar tráfego ao Cato para inspeção.

Recuperar os Detalhes de Conexão do Guardião

Para recuperar os detalhes de conexão do guarda:

1. No menu de navegação, selecione Segurança de IA > Guardiões.

2. Selecione o Guardião de Gateway de IA.

3. Copie os detalhes de conexão da configuração do guardião.

Os detalhes de conexão do guardião incluem:

• Chaves de API

• Trecho de configuração de guardrails

• URL base API Cato

A configuração de guardrails utiliza esta estrutura:

curl -i https://api.portkey.ai/v1/chat/completions \
 -H "Content-Type: application/json" \
 -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
 -d '{
 "model": "gpt-3.5-turbo",
 "messages": [
 {"role": "user", "content": "oi meu email é joe@acme.com"}
 ]
 }'

Os campos chave são:

Armazene a chave API com segurança e evite comprometê-la ao controle de origem. Se seu deployment suporta variáveis de ambiente ou um gerente de segredos, use esse método em vez de armazenar a chave diretamente nas configurações do Portkey.

Configure o Plugin Cato no Portkey

Para enviar tráfego de Gateway de IA Portkey ao guardião Cato, ative o plugin Cato Networks nas configurações de organização do Portkey e configure-o com os detalhes de deployment do guardião do Cato.

1. No Portkey, clique nas configurações de sua organização.

2. Vá para a página Plugins.

3. Pesquise pelo plugin Cato Networks.

4. Ative o plugin Cato Networks.

5. Nas configurações do plugin, insira os valores da página de deployment do guardião no Cato:

  - Chave API

  - URL base API

6. Clique em Atualizar.

Após o plugin ser ativado, Portkey pode autenticar ao guardião Cato e enviar entradas e saídas de LLM para inspeção.

Crie um Guardrail Portkey para Cato Networks

Após ativar e configurar o plugin Cato Networks, crie um Guardrail Portkey que use o plugin para enviar entradas e saídas de LLM para o Cato para inspeção.

Se você deseja visibilidade para cada aplicativo interno, crie um Guardrail Portkey separado para cada aplicativo. Se você precisa apenas de visibilidade no nível do guardião, pode usar um único Guardrail Portkey.

1. No Portkey, vá para a página Guardrails.

2. Clique em Criar.

3. Em Verificações Disponíveis, clique na aba Parceiro.

4. Pesquise por Cato Networks.

5. Na guia Guardrail Cato Networks, clique em Adicionar.

6. Digite um nome para o Guardrail.

7. Clique em Salvar.

Conecte o Aplicativo Interno a uma Configuração Portkey e Chave API

Portkey usa configurações e chaves API para direcionar tráfego através de um Guardrail específico. Para aplicar o Guardrail Cato ao tráfego do aplicativo interno, copie o ID do Guardrail, crie uma configuração que faça referência ao Guardrail e, em seguida, crie uma chave API que use a configuração.

Se você deseja visibilidade para cada aplicativo interno, crie uma configuração Portkey separada e uma chave API para cada aplicativo. Se você precisa apenas de visibilidade no nível do guardião, pode usar uma única configuração e chave API.

1. No Portkey, vá para a página Guardrails.

2. Copie o ID do Guardrail Cato que você criou.

3. Vá para a página Configurações.

4. Clique em Criar.

5. Edite a configuração para incluir o ID do Guardrail em input_guardrails e output_guardrails.

   { "retry": { 
    "attempts": 3 }, 
    "cache": { 
    "mode": "simple" }, 
    "input_guardrails": [ "pg-portke-sampleID" ], 
    "output_guardrails": [ "pg-portke-sampleID" ] 
   }

6. Substitua sampleID pelo ID do Guardrail que você copiou anteriormente.

7. Clique em Salvar.

8. Vá para a página Chaves de API.

9. Clique em Criar Novo.

10. Digite um nome para a chave API.

11. Selecione a configuração que você criou.

12. Clique em Criar.

Verificar Tráfego do Gateway no Cato (Opcional)

Use o Registro de Guardiões para confirmar que o tráfego Portkey chega ao Cato.

Para verificar o tráfego do gateway no Cato:

1. Gere um prompt de teste do seu aplicativo.

2. No menu de navegação, selecione Segurança de IA > Explorador de Interação.

3. Na lista suspensa Guardião, filtre a seleção pelo seu guardião.

4. Confirme se a entrada de log mostra o nome do guardião

Neste ponto, a coluna Agente Interno mostra um traço (-) para cada entrada. Isso é esperado porque nenhum aplicativo interno está mapeado para o guardião ainda.

Nesta etapa, Cato registra o tráfego do gateway. Após o mapeamento de aplicativos, Cato também atribui tráfego ao aplicativo interno específico.

Mapear um Aplicativo Interno ao Guardião

No Cato, mapeie o aplicativo usando o nome do Guardrail Portkey. Você pode mapear um aplicativo interno da configuração do guardião ou da configuração do aplicativo interno. Este procedimento utiliza a configuração do guardião.

Para mapear um aplicativo interno ao guardião:

1. No menu de navegação, selecione Segurança de IA > Guardiões.

2. Selecione o Guardião de Gateway de IA.

3. Em Mapeamento de Agente Interno, clique em Adicionar Mapeamento.

4. Em Agente Interno, selecione o aplicativo interno.

   Exemplo: Portkey-sample-1

5. Em Alias de Chave Virtual, insira o nome do Guardrail Portkey para o aplicativo.

6. Clique em Salvar.

Verificar Atribuição de Aplicativo

Verifique se Cato atribui tráfego do gateway ao aplicativo interno mapeado.

Para verificar a atribuição de aplicativo:

1. Envie uma solicitação de teste do aplicativo interno mapeado através do Portkey.

2. No menu de navegação, selecione Segurança de IA > Explorador de Interação.

3. Filtre a visualização pelo Agente Interno mapeado.

   Exemplo: Portkey-sample-1

4. Confirme que a coluna Agente Interno mostra o aplicativo mapeado.

Quando o aplicativo é mapeado corretamente, o Registro de Guardiões mostra o nome do aplicativo em vez de um traço (-).

Configure uma Regra de Política de Interação de Guardiões

Configure uma regra de Política de Interação de Guardiões para aplicar controles de Segurança de IA no tráfego LiteLLM correspondente.

Antes de criar uma regra, compreenda como o escopo afeta a aplicação:

Para configurar uma regra de Política de Interação de Guardiões:

1. No menu de navegação, selecione Segurança de IA > Política de Interação dos Guardiões.

2. Clique em Novo.

3. Em Nome, insira um nome para a regra.

   Exemplo: Bloquear PII

4. Use o toggle Habilitado para ativar a regra.

   O alternador fica verde quando ativado.

5. Em Guardas, selecione o Guardião de Gateway de IA.

   Exemplo: Portkey-sample-1

6. Em Agentes, selecione o aplicativo interno mapeado.

   Exemplo: Portkey-sample-1

7. Em Perfil de Motor, selecione o perfil usado para detectar o conteúdo relevante.

   Exemplo: Identificador Pessoal

8. Em Ação, selecione a ação de aplicação.

   Exemplo: Anonymize & Monitorar

9. Clique em Salvar.

10. Clique em Publicar.

Após a política ser publicada e propagada, a regra é aplicada ao tráfego correspondente.

Verificar Aplicação da Política de Implantação

Verifique a aplicação da política de implantação enviando tráfego de teste que corresponda ao escopo da regra e o perfil do motor.

Para verificar a aplicação da política de implantação:

1. Envie uma solicitação de teste do aplicativo caseiro mapeado através do LiteLLM.

2. Inclua conteúdo que corresponde ao Perfil do Motor selecionado.

3. No menu de navegação, selecione Segurança IA > Guardas.

4. Selecione o Guarda da IA Gateway.

5. Abra Registro de Guardas.

6. Filtre os registros pelo Agente Caseiro mapeado.

7. Confirme que Regras Violadas mostre a regra de política.

   Exemplo: Bloquear PII

O tráfego que não corresponde ao Perfil do Motor selecionado não mostra regras violadas e passa normalmente.