Documentation Index

Fetch the complete documentation index at: https://knowledge.catonetworks.com/llms.txt

Use this file to discover all available pages before exploring further.

人工智能安全性为了最终用户 - 监控和分析与会话浏览器

Prev Next

会话浏览器页面让您监控 AI 聊天应用程序在您的组织中如何使用,并评估用户提示可能造成的数据泄露风险。 启用AI安全性后,该页面提供对支持和启用的AI应用程序发送提示的可见性,帮助您了解使用模式并调查潜在的风险交互。

每次交互代表一个提示,并包括上下文信息,如接收到提示的AI应用程序以及检测到的主题和意图。

检测数

定义AI安全规则时选择“监控”操作,匹配的提示会在AI交互页面上显示检测指示器。 对于这些交互:

  • 检测列显示了触发检测的监控配置文件

  • 您可以快速识别哪个监控规则匹配了提示

此信息帮助您验证规则覆盖范围并调整您的策略。

互动详情

当您深入了解特定交互时,详细程度取决于分配的权限。 拥有 读取敏感内容 权限的管理员可以查看发送到AI应用程序的实际提示。 如果提示包含问题内容,相关部分会被标记或突出显示。 当规则操作还包括阻止时,交互详情中会显示呈现给用户的阻止页面。

有关角色和权限的信息,请参见 使用RBAC管理管理员角色

注意: 操作,例如查看提示,在审计日志中记录。

用例 - 了解员工如何使用AI聊天

ABC公司启用AI安全性,以更好地了解员工在日常工作中如何使用AI聊天应用程序的可见性。 通过评估AI交互页面上的交互,安全团队可以看到用户向AI工具提交的是什么类型的问题和请求。

这一洞察帮助您的组织更好地理解员工活动,识别常见知识差距或反复出现的帮助需求,并确定在哪里增加指导、培训或启用可以提高生产力,同时降低风险。

分析AI交互

利用会话详细信息分析特定的AI交互,以便理解完整背景,验证检测结果,并识别需要反馈或后续跟进的问题。

会话_审核.png

要分析AI交互:

  1. 从导航菜单中,点击 AI 安全 > 会话浏览器

  2. 选择要调查的交互,然后点击 展示会话 查看会话内容。

  3. 审查提示和响应序列以了解交互的完整上下文。

  4. 要继续特定提示的调查,请单击 查看分析引擎分析报告打开。

审核分析报告

引擎分析报告提供关于特定提示在发送时由AI安全性引擎评估的详细查看。 它显示在执行期间哪些规则,个人资料和检测器是活跃的,帮助您理解检测是如何确定的。 每个报告都包括一个分析ID,您可以用作参考,在会话浏览器中搜索,或者在与支持合作时使用。

在报告中,检测结果以可视方式表示:

  • 黄色个人资料 表示发生了检测。 这意味着执行了包含此个人资料的规则,至少有一个检测器产生了匹配。

  • 绿色个人资料 表示即使规则已执行,也未发生检测。

要进一步调查行为,可以单击在Engine Playground中打开 并重新运行整个会话。 这允许您检查当前个人资料的行为,并在结果与预期不符时微调配置。 

审查分析报告时,请注意,自执行之时起,配置可能已被更新。 结果是,当前定义可能与提示最初评估时应用的有所不同。

提交反馈

当提示的检测器结果不准确时,您可以提交反馈以协助 Cato 评估检测。 对于误报,审查错误匹配提示的 触发检测器 。 如果检测器应该触发但没有,请审查 所有检测器 以识别该提示发送时哪些检测器正在运行。

添加文本评论以解释预期结果,并提供任何可以帮助调查的上下文。 Cato 审查这些反馈,并用它来提高检测器质量。

对于严重问题,除了反馈外,您可以打开支持工单。

会话_审核.png

提交有关人工智能交互反馈时:

  1. 引擎分析 中,点击 提交反馈

  2. 若报告误报,请使用 触发检测器

  3. 若报告漏报,请使用 所有检测器 审查在该提示中活跃的检测器。

  4. 选择相关的检测器。

  5. 添加文本评论以提供附加上下文。

  6. 对于紧急问题,选择 打开支持工单

  7. 点击 提交