Configurando a Integração do Gateway Kong AI com a Segurança AI da Cato

Este artigo fornece informações sobre a integração do Gateway Kong AI com a Segurança AI da Cato para monitorar e aplicar políticas aos seus Agentes de Desenvolvimento Próprio.

Visão Geral

O Segurança AI da Cato permite que você inspecione e aplique políticas para o tráfego de IA que passa pelo seu Gateway Kong AI existente. Em vez de configurar cada aplicação separadamente, conecte o gateway a um Guardião Cato e aplique monitoramento centralizado e aplicação de políticas ao tráfego do gateway.

Este artigo explica como configurar uma integração do Gateway Kong AI, mapear Agentes de Desenvolvimento Próprio e validar a aplicação de políticas no Explorador de Interações.

Requisitos

Antes de começar, certifique-se de que esses requisitos sejam atendidos:

• Licença de Segurança AI para Aplicações
• Permissões de administrador para AI Security > Guardiões e AI Security > Política de Interação dos Guardiões
• Os consumidores do Kong se autenticam com o plugin de Autenticação de Chave do Kong
• Acesso para criar e aplicar uma configuração de decK kong.yaml
• Token de acesso pessoal do Kong Konnect e nome do plano de controle. Crie o token na página de Tokens de Acesso Pessoal no Kong Konnect
• Permissão para implantar o plugin Guardrail Personalizado do Kong AI
• Aplicativo de teste ou cliente que envia tráfego através do Gateway Kong AI
• Acesso à rede do Kong para o ponto final da API de Segurança AI da Cato para sua região CMA

Fluxo de Trabalho da Configuração

A integração inclui estas etapas:

Criar o Guardião de Gateway de IA

Crie um Guardião de Gateway de IA para definir o ponto de aplicação da Cato para o tráfego do Kong.

Para criar o Guardião:

1. No menu de navegação, selecione Segurança IA > Guardas.
2. Clique em Novo.
3. Em Nome do Guardião, insira um nome para o Guardião. Por exemplo, Kong AI Gateway.
4. Em Tipo, selecione AI Gateway.
5. Em Tipo de Integração do AI Gateway, selecione Kong.
6. Em Host do Guardião, selecione Cato Cloud ou o Outpost que é apropriado para sua implantação.
7. Clique em Salvar.

Após salvar o Guardião, ele está pronto para receber tráfego do Kong. O Guardião não aplica regras até que você configure uma regra de política.

Configurar o Gateway Kong AI

Configure o plugin Guardrail Personalizado do Kong AI com a chave API do Guardião. O plugin envia tráfego de IA para Cato para inspeção e bloqueia solicitações quando Cato retorna uma ação de bloqueio.

Recuperar os Detalhes da Conexão do Guardião

Para recuperar os detalhes de conexão do Guardião:

1. No menu de navegação, selecione Segurança IA > Guardas.
2. Selecione o Guardião do Gateway Kong AI.
3. Selecione a aba Implantação.
4. Copie uma das Chaves API do Guardião.

Cada Guardião possui duas chaves API. Use a chave não utilizada ao girar credenciais para evitar interromper a inspeção de tráfego.

Configurar o Plugin Guardrail Personalizado do Kong AI

O plugin usa as seguintes configurações:

Cato inspeciona apenas texto. Conteúdo de imagem não é inspecionado.

Para configurar o plugin:

1. Salve a seguinte configuração como kong.yaml.

   _format_version: "3.0"
   plugins:
   - name: ai-custom-guardrail
     config:
       guarding_mode: BOTH
       text_source: concatenate_all_content
       stop_on_error: true
       params:
         api_key: "${{ env \"DECK_CATO_API_KEY\" }}"
         api_base: "<CATO_AI_SECURITY_API_BASE_URL>"
       request:
         url: $(conf.params.api_base)/fw/v1/analyze
         headers:
           Authorization: Bearer $(conf.params.api_key)
           Content-Type: application/json
           x-cato-gateway-key-alias: "$(get_key_alias)"
         body:
           messages: "$(build_messages)"
       response:
         block: "$(check_response.block)"
         block_message: "$(check_response.block_message)"
       ssl_verify: true
       functions:
         get_key_alias: |
           return function()
             local c = kong.client.get_consumer()
             return (c and (c.username or c.id)) or ""
           end
         check_response: |
           return function(resp)
             local ra = resp and resp.required_action
             local block = type(ra) == "table" and ra.action_type == "block_action"
             local reason
             if block then
               reason = ra.detection_message or "Blocked by Cato Networks guardrail"
             else
               reason = "Allowed by Cato Networks guardrail"
             end
             return {
               block = block,
               block_message = reason,
             }
           end
         build_messages: |
           return function(content, source)
             if source == "OUTPUT" then
               return { { role = "assistant", content = content } }
             end
             local body = kong.request.get_body()
             if body and body.messages then
               return body.messages
             end
             return { { role = "user", content = content } }
           end
   

2. Substitua <CATO_AI_SECURITY_API_BASE_URL> pelo URL base da API de Segurança AI da Cato para sua região CMA.

3. Defina as credenciais do Kong Konnect e da Cato como variáveis de ambiente:

   export KONNECT_TOKEN=<your-kong-konnect-personal-access-token>
   export DECK_KONNECT_TOKEN=$KONNECT_TOKEN
   export DECK_KONNECT_CONTROL_PLANE_NAME=<your-control-plane-name>
   export DECK_KONNECT_CONTROL_PLANE_REGION=<region>.api.konghq.com
   export DECK_CATO_API_KEY=<guard-api-key>
   

4. Aplicar a configuração ao plano de controle do Kong:

   comando gateway sync kong.yaml
   

Armazene a chave da API do Guardião com segurança. Use variáveis de ambiente ou um gerenciador de segredos e não comprometa a chave no repositório de código-fonte.

Comportamento de Integração do Kong

• No lado da resposta, Kong expõe apenas o texto de resposta do assistente para o plugin Guardrail Personalizado. As chamadas de ferramenta não são expostas em tempo real, portanto, Cato não pode inspecioná-las ou bloqueá-las antes da execução. Cato os recebe em solicitações subsequentes para monitoramento.
• A integração falha fechada por padrão. Quando Cato está inacessível, Kong bloqueia o tráfego. Defina parar_em_erro como false para usar o comportamento de falha-aberta quando a disponibilidade é mais importante do que a aplicação rigorosa.
• Kong não suporta inspeção de Eventos Enviados pelo Servidor (SSE) com o plugin Guardrail Personalizado. Quando o fluxo de resposta do LLM ocorre, Cato pode inspecionar apenas as mensagens do usuário e as respostas das ferramentas.
• A integração suporta o formato da API de Conclusões de Chat da OpenAI.

Verificar Tráfego do Gateway na Cato

Use o Explorador de Interação para confirmar que o tráfego do Kong chega à Cato.

Para verificar o tráfego do gateway:

1. Envie um prompt de teste de um aplicativo pelo Gateway Kong AI.
2. No menu de navegação, selecione AI Security > Explorador de Interação.
3. Na lista Guardião, filtre pelo seu Guardião do Gateway Kong AI.
4. Confirme se a sessão de teste aparece na tabela.

Antes de mapear um Agente de Desenvolvimento Próprio, a coluna Agente de Desenvolvimento Próprio mostra um traço (-) para o tráfego. Isso é esperado.

Mapear Agentes de Desenvolvimento Próprio para o Guardião

Mapeie cada Agente de Desenvolvimento Próprio para o nome de consumidor do Kong que ele autentica como. Cato usa esses mapeamentos para atribuir tráfego do Kong ao Agente de Desenvolvimento Próprio correto.

Para mapear um Agente de Desenvolvimento Próprio:

1. No Kong, identifique o nome de usuário do consumidor para o Agente de Desenvolvimento Próprio.
2. No menu de navegação, selecione Segurança IA > Guardas.
3. Selecione o Guardião do Gateway Kong AI.
4. Selecione a aba Configuração.
5. Em Agentes de Desenvolvimento Próprio Mapeados, selecione um Agente de Desenvolvimento Próprio da lista Selecione um Agente de Desenvolvimento Próprio para mapear.
6. Em Nome do consumidor Kong, insira o nome de usuário do consumidor do passo 1.
7. Clique em Salvar.

O mapeamento aparece na tabela Agentes de Desenvolvimento Próprio Mapeados. Para removê-lo, clique no ícone de exclusão na sua linha.

Verificar Atribuição de Agente

Verifique se a Cato atribui o tráfego ao Agente de Desenvolvimento Próprio mapeado.

Para verificar a atribuição do agente:

1. Envie uma solicitação de teste pelo Kong usando o consumidor mapeado.
2. No menu de navegação, selecione AI Security > Explorador de Interação.
3. Filtre a visualização pelo Agente de Desenvolvimento Próprio mapeado.
4. Confirme se a coluna Agente de Desenvolvimento Próprio mostra o agente mapeado.

Quando o mapeamento está correto, o Explorador de Interação mostra o nome do Agente de Desenvolvimento Próprio em vez de um traço.