Criando Detectores de Texto Livre (EA)

Prev Next

Note: This is an Early Availability (EA) feature that is only available for limited release. For more information, contact your Cato Networks representative or send an email to ea@catonetworks.com.

Visão geral

Os Detectores de Texto Livre permitem que você defina o conteúdo ou comportamento que o Cato identifica em interações de IA usando linguagem natural. Você pode adaptar a detecção às necessidades da sua organização, como proteger informações proprietárias, identificar solicitações proibidas ou manter uma aplicação de IA dentro do seu escopo pretendido.

O fluxo de criação guiada usa um modelo de linguagem grande (LLM) para ajudar a esclarecer suas necessidades de detecção. Após descrever o que você deseja detectar, o sistema apresenta condições para você rotular como Violação ou Seguro. Suas respostas ajudam a definir o que o detector sinaliza e o que exclui, principalmente em casos limítrofes onde a mesma solicitação pode ser aceitável para uma organização e uma violação para outra.

Esse processo ajuda a identificar lacunas nas suas instruções, esclarecer casos limítrofes e reduzir falsos positivos. Em seguida, adicione o detector a um Perfil de Motor e aplique o perfil a uma regra de política. O detector identifica o conteúdo correspondente, e a regra determina a ação.
free_text_detector.png

Caso de Uso: Manter um Chatbot de Varejo Focado em Seus Produtos e Serviços

A empresa ABC é um varejista online que oferece um chatbot de atendimento ao cliente. Você deseja que os clientes perguntem sobre seus produtos, preços e serviços enquanto impede que usem o chatbot para pesquisar concorrentes.

Crie um Detector de Texto Livre e selecione Controle de Escopo. Nas instruções, você descreve o propósito pretendido do chatbot e especifica que solicitações para pesquisar outros varejistas ou comparar suas ofertas com as da Empresa ABC são violações.

Durante o refinamento, você rotula condições envolvendo perguntas sobre os preços da Empresa ABC como Seguro. Você rotula condições envolvendo comparações de preços com outro varejista como Violação. Por exemplo:

Exemplo de Prompt Etiqueta
Quanto custa o Produto X na Empresa ABC? Seguro
A Empresa ABC oferece entrega gratuita para o Produto X? Seguro
Como o preço do Produto X na Empresa ABC se compara com o preço da Empresa XYZ? Violação
Posso comprar o Produto X por menos em outro varejista? Violação

Essas distinções ajudam a manter o chatbot focado em apoiar a experiência de compra dos seus clientes com a Empresa ABC. Em seguida, teste o detector através de um Perfil de Motor no Playground antes de aplicar o perfil a uma regra de Política de Interação Guardas.

Criar um Detector de Texto Livre

O fluxo de criação inclui quatro etapas: Nome e Tipo, Instruções, Refinamento e Resumo.

Escolha o tipo de detector que corresponde ao seu objetivo:

Tipo de Detector Propósito
Controle de Escopo Identifique prompts de usuários que tentam mover sua aplicação de agente de IA fora do seu propósito pretendido
Tópicos Específicos & Intenção Identifique prompts de usuários sobre assuntos ou objetivos proibidos pela política da sua organização
Dados Sensíveis Proprietários Identificar informações específicas da organização em prompts, como detalhes de produtos proprietários, codenomes de projetos ou nomes de sistemas internos

Para criar o Detector de Texto Livre:

  1. No menu de navegação, selecione Segurança de IA > Perfis de Motores.

  2. Selecione a guia Detectores de Texto Livre.

  3. Clique em Novo Detector.

  4. Na etapa Nome e Tipo, insira o nome do Detector.

  5. Selecione o caso de uso para o detector que corresponde ao seu objetivo.

  6. Clique em Próximo e continue para a etapa Instruções.

Defina as Instruções do Detector

Na etapa Instruções, descreva o conteúdo que você quer que o detector marque. Escreva em inglês usando de 20 a 3.200 caracteres.

Foque em um caso de uso claro. Use frases completas para explicar o conteúdo relevante, contexto e exclusões. Instruções específicas ajudam a distinguir violações de conteúdos relacionados que você considera seguros.

Para o caso de uso do chatbot de varejo, você poderia inserir:

O chatbot ajuda clientes com produtos, preços, promoções, entregas, devoluções e outros serviços da Empresa ABC. Trate as perguntas sobre esses assuntos como seguras.
Detecte solicitações fora deste escopo, incluindo tópicos não relacionados e solicitações para pesquisar produtos, preços, promoções ou serviços de outros varejistas. Trate solicitações para comparar as ofertas da Empresa ABC com outro varejista ou encontrar um preço mais baixo em outro lugar como violações, mesmo quando mencionarem também a Empresa ABC.

Para definir as instruções do detector:

  1. Na etapa Instruções, descreva o que o detector marca e quaisquer exclusões relevantes.

  2. Revise as instruções para termos ambíguos ou objetivos de detecção não relacionados. Defina informações internas ou termos que são usados.

  3. Entre as Instruções do Detector.

  4. Clique em Próximo e continue para a etapa Refinamento.

Refine o Detector

O sistema gera condições com base nas suas instruções. Cada condição descreve uma situação que ajuda a esclarecer a fronteira entre uma violação e conteúdo seguro. Isso ajuda a distinguir entre detecções reais e falsos positivos.

Rotule cada condição de acordo com os requisitos da sua organização:

  • Violação: O detector marca o conteúdo que atende à condição

  • Seguro: O detector exclui o conteúdo que atende à condição

Revise cuidadosamente condições relacionadas mas aceitáveis. Rotular essas condições como Seguro ajuda a reduzir falsos positivos.

O indicador Força do Detector no canto superior direito mostra o quão bem você refinou os critérios do detector para distinguir violação de conteúdo seguro.

Para refinar o detector:

  1. Na etapa Refinamento, revise cada condição gerada.
    Passe o mouse sobre o ícone de informação ao lado de uma condição para ver um exemplo de prompt.

  2. Selecione Violação ou Seguro para cada condição.

  3. (Opcional) Clique em Adicionar Manualmente para adicionar uma condição que trate de um requisito ausente e rotule-a como Violação ou Seguro.

  4. Se as condições geradas não refletem seu objetivo, volte para Instruções e revise a descrição. Alterar as instruções gera um novo conjunto de condições.

  5. Clique em Próximo e continue para Resumo.

  6. Revise a configuração do detector e clique em Salvar para criar o Detector de Texto Livre.

Teste e Aplique o Detector de Texto Livre

Adicione o Detector de Texto Livre a um Perfil de Motor, então teste esse perfil no Playground do Motor. Inclua prompts que você espera ativar uma violação e prompts relacionados que você espera que permaneçam seguros.

Revise os resultados e ajuste as instruções do detector ou etiquetas de condição conforme necessário antes de aplicar o perfil às regras de política de produção.

Para instruções detalhadas, veja: