Segurança de IA para Usuários Finais - Monitoramento e Análises com Session Explorer

A página Session Explorer permite que você monitore como as aplicações de chat de IA são usadas em toda a sua organização e avalie o risco potencial de exposição de dados através de prompts dos usuários. Após ativar a Segurança de IA, a página oferece visibilidade sobre os prompts enviados para aplicações de IA suportadas e ativadas, ajudando você a entender padrões de uso e investigar interações potencialmente arriscadas.

Cada interação representa um único prompt e inclui informações contextuais como a aplicação de IA que recebeu o prompt e o tópico e intenção detectados.

Detecções

Quando você define regras de Segurança de IA com uma ação de Monitorar, prompts correspondentes aparecem na página de Interações de IA com um indicador de detecção. Para essas interações:

A coluna Detecções mostra o perfil de monitoramento que disparou a detecção.
Você pode identificar rapidamente qual regra de monitoramento correspondeu ao prompt.

Essas informações ajudam a validar a cobertura das regras e ajustar suas políticas.

Detalhes da Interação

Quando você aprofunda uma interação específica, o nível de detalhe disponível depende das permissões atribuídas a você. Administradores com a Permissão Ler Conteúdo Sensível podem visualizar o prompt real que foi enviado para a aplicação de IA. Se o prompt contiver conteúdo problemático, as seções relevantes são sinalizadas ou destacadas. Quando a ação da regra também incluiu Bloquear, os detalhes da interação mostram a página de bloqueio que foi apresentada ao usuário.

Para informações sobre as funções e permissões, consulte Gerenciando Funções de Admin Usando RBAC.

Nota: Operações, como visualizar o prompt, são registradas no Log de Auditoria.

Caso de Uso - Entendendo Como Empregados Usam Chats de IA

A Empresa ABC ativa a Segurança de IA para obter visibilidade sobre como os funcionários utilizam aplicações de chat de IA em seu dia a dia. Ao revisar interações na página de Interações de IA, a equipe de segurança pode ver que tipos de perguntas e solicitações os usuários enviam para as ferramentas de IA.

Este insight ajuda sua organização a entender melhor as atividades dos funcionários, identificar lacunas de conhecimento comuns ou necessidades recorrentes de assistência e determinar onde orientação, treinamento ou habilitação adicionais podem melhorar a produtividade enquanto reduzem riscos.

Analisando uma Interação de IA

Use os detalhes da sessão para analisar uma interação de IA específica, para que você possa compreender todo o contexto, validar detecções e identificar problemas que exigem feedback ou acompanhamento.

Para analisar uma interação de IA:

No menu de navegação, clique em Segurança de IA > Explorador de Sessões.
Selecione a interação que deseja investigar e clique em Revelar Sessão para visualizar o conteúdo da sessão.
Revise a sequência de prompt e resposta para entender o contexto completo da interação.
Para continuar a investigação de um prompt específico, clique em Visualizar Análise. O Relatório de Análise do Motor é aberto.

Revisão do Relatório de Análise

O Relatório de Análise do Motor fornece uma visão detalhada de como um prompt específico foi avaliado pelo motor de Segurança AI no momento em que foi enviado. Mostra quais regras, perfis e detectores estavam ativos durante a execução, ajudando você a entender como as detecções foram determinadas. Cada relatório inclui um ID de Análise, que você pode usar para referência, pesquisa no Explorador de Sessões, ou ao trabalhar com o Suporte.

Dentro do relatório, as detecções são representadas visualmente:

Perfil de cor amarela indica que uma detecção ocorreu. Isso significa que uma regra com esse perfil foi executada e pelo menos um detector produziu uma correspondência.
Perfil de cor verde indica que nenhuma detecção ocorreu, mesmo que a regra tenha sido executada.

Para investigar mais a fundo o comportamento, você pode clicar em Abrir no Playground do Motor e executar novamente toda a sessão. Isso permite que você examine como os perfis atuais se comportam e ajuste as configurações se o resultado for diferente das suas expectativas.

Ao revisar o Relatório de Análise, esteja ciente de que as configurações podem ter sido atualizadas desde o momento da execução. Como resultado, a definição atual pode diferir do que foi aplicado quando o prompt foi originalmente avaliado.

Enviando Feedback

Quando o resultado do detector para um prompt estiver impreciso, você pode enviar feedback para ajudar a Cato a avaliar a detecção. Para falsos positivos, revise os Detectores Acionados que corresponderam incorretamente ao prompt. Se um detector deveria ter sido acionado, mas não foi, revise Todos os Detectores para identificar quais estavam ativos quando esse prompt foi enviado.

Adicione comentários em texto livre para explicar o resultado esperado e fornecer qualquer contexto que possa ajudar na investigação. A Cato revisa este feedback e o utiliza para melhorar a qualidade dos detectores ao longo do tempo.

Para problemas críticos, você pode abrir um ticket de Suporte além do feedback.

Para enviar feedback para uma interação de IA:

No Análise do Motor, clique em Enviar Feedback.
Para relatar um falso positivo, use Detectores Acionados.
Para relatar um falso negativo, use Todos os Detectores para revisar os detectores que estavam ativos no perfil para esse prompt.
Selecione o detector ou detectores relevantes.
Adicione comentários em texto livre para fornecer contexto adicional.
Para problemas urgentes, selecione Abrir um ticket de suporte.
Clique em Enviar.