Seguridad de IA para Usuarios - Monitorización y Análisis con Explorador de Sesiones

La página del Explorador de Sesiones te permite monitorear cómo se utilizan las aplicaciones de chat IA en toda tu organización y evaluar el riesgo potencial de exposición de datos a través de solicitudes de usuario. Después de habilitar Seguridad de IA, la página proporciona visibilidad en las solicitudes enviadas a aplicaciones de IA soportadas y habilitadas, ayudándote a entender patrones de uso e investigar interacciones potencialmente riesgosas.

Cada interacción representa una única solicitud y incluye información contextual como la aplicación de IA que recibió la solicitud y el tema detectado e intención.

Detecciones

Cuando defines reglas de Seguridad de IA con una acción de Monitoreo, las solicitudes coincidentes aparecen en la página de Interacciones de IA con un indicador de detección. Para estas interacciones:

• La columna de Detecciones muestra el perfil de monitorización que desencadenó la detección

• Puedes identificar rápidamente qué regla de monitorización coincidió con la solicitud

Esta información te ayuda a validar la cobertura de reglas y ajustar tus políticas.

Cuando profundizas en una interacción específica, el nivel de detalle disponible depende de los permisos asignados. Administradores con el Permiso de Leer Contenido Sensible pueden ver la solicitud real que se envió a la aplicación de IA. Si la solicitud contiene contenido problemático, las secciones relevantes se marcan o destacan. Cuando la acción de la regla también incluye Bloqueo, los detalles de la interacción muestran la página de bloqueo que se presentó al usuario.

Para información sobre los roles y permisos, consulta Gestión de Roles de Administrador Usando RBAC.

Nota: Operaciones, como ver la solicitud, se registran en el Registro de Auditoría.

Caso de Uso - Comprensión de cómo los empleados usan chats de IA

La Compañía ABC habilita la Seguridad de IA para obtener visibilidad de cómo los empleados utilizan aplicaciones de chat de IA en su trabajo diario. Al revisar las interacciones en la página de Interacciones de IA, el equipo de seguridad puede ver qué tipos de preguntas y solicitudes envían los usuarios a las herramientas de IA.

Este conocimiento ayuda a tu organización a comprender mejor las actividades de los empleados, identificar lagunas comunes de conocimiento o necesidades reiteradas de asistencia, y determinar dónde la orientación adicional, capacitación o habilitación puede mejorar la productividad mientras se reduce el riesgo.

Analizando una interacción de IA

Usa los detalles de la sesión para analizar una interacción de IA específica para que puedas comprender el contexto completo, validar las detecciones y identificar problemas que requieran opinión o seguimiento.

Para analizar una interacción de IA:

1. Desde el menú de navegación, haz clic en Seguridad de IA > Explorador de Sesiones.

2. Selecciona la interacción que deseas investigar y haz clic en Revelar Sesión para ver el contenido de la sesión.

3. Revisa la secuencia de solicitud y respuesta para comprender el contexto completo de la interacción.

4. Para continuar la investigación de una solicitud específica, haz clic en Ver Análisis. Se abre el Informe de Análisis del Motor de Detección.

Revisión del Informe de Análisis

El Informe de Análisis del Motor de detección proporciona una vista detallada de cómo se evaluó una solicitud específica por el motor de Seguridad AI en el momento en que fue enviada. Muestra qué reglas, perfiles y detectores estaban activos durante la ejecución, ayudándote a comprender cómo se determinaron las detecciones. Cada informe incluye un ID de Análisis, que puedes usar como referencia, para buscar en el Explorador de Sesiones o al trabajar con Soporte.

Dentro del informe, las detecciones se representan visualmente:

• Perfil de color amarillo indica que ocurrió una detección. Esto significa que se ejecutó una regla con este perfil, y al menos un detector produjo una coincidencia.

• Perfil de color verde perfil indica que no ocurrió ninguna detección, aunque se ejecutó la regla.

Para investigar más el comportamiento, puedes hacer clic en Abrir en el Playground del Motor y volver a ejecutar toda la sesión. Esto te permite examinar cómo se comportan los perfiles actuales y ajustar las configuraciones si el resultado difiere de tus expectativas. 

Al revisar el Informe de Análisis, ten en cuenta que las configuraciones pueden haberse actualizado desde el momento de la ejecución. Como resultado, la definición actual podría diferir de lo que se aplicó cuando se evaluó originalmente el mensaje.

Envío de Opinión

Cuando el resultado del detector para una solicitud es inexacto, puedes enviar opinión para ayudar a Cato a evaluar la detección. Para falsos positivos, revisa los Detectores Activados que coincidieron incorrectamente con la solicitud. Si un detector debiera haberse activado pero no lo hizo, revisa Todos los Detectores para identificar cuáles estaban activos cuando se envió esta solicitud.

Agrega comentarios de texto libre para explicar el resultado esperado y proporciona cualquier contexto que pueda ayudar a la investigación. Cato revisa esta opinión y la utiliza para mejorar la calidad del detector con el tiempo.

Para problemas críticos, puedes abrir un ticket de soporte además de la opinión.

Para enviar opinión sobre una interacción de IA:

1. En Análisis del Motor de Detección, haz clic en Enviar Opinión.

2. Para reportar un falso positivo, usa Detectores Activados.

3. Para reportar un falso negativo, usa Todos los Detectores para revisar los detectores que estaban activos en el perfil para esa solicitud.

4. Selecciona el detector o detectores relevantes.

5. Agrega comentarios de texto libre para proporcionar contexto adicional.

6. Para problemas urgentes, selecciona Abrir un ticket de soporte.

7. Haga clic en Enviar.