自定义主题和意图检测器(EA)

Prev Next

注意:此为早期可用功能(EA),仅限限量发布。 有关启用功能的更多信息,请联系您的 Cato Networks 代表或发送电子邮件至 ea@catonetworks.com。

此功能是授权的终端用户AI安全性和应用程序AI安全性服务的一部分。

概况

自定义主题和意图检测器实时分析用户提示,以识别风险主题和潜在意图,在由AI应用程序处理之前。

这使组织能够执行可接受的使用政策,防止误用,并确保AI交互符合公司的法律和监管要求,针对其组织的具体需求定制。

它评估每个AI交互的以下内容:

  • 主题 – 用户问的内容

  • 意图 – 用户为什么或怎么询问

组织可以自定义主题和意图,以满足其特定业务风险和合规需求。 使用场景包括:

  • 尝试访问或暴露公司机密信息,不在预定义检测器的覆盖范围内。

  • 组织特定的IP资产

  • 不被标准检测器覆盖的独特可接受使用标准

为了确保最佳性能和检测准确性,自定义主题和意图检测器执行以下限制:

  • 检测器限制 – 每个账户最多可以启用 5 个自定义主题和意图检测器

  • 输入长度要求 – 自定义主题和意图检测器必须包含至少 3 个词且最多 50 个词

这些约束旨在保持高质量的信号检测,防止过于宽泛或无效的定义,并确保在AI应用程序中的一致性策略执行。

最佳实践

自定义主题和意图的检测准确性和效果取决于自定义主题和意图的定义质量。 模糊、过于宽泛或结构不良的输入可能会导致减少检测质量或导致意外结果。 遵循推荐的指南对于实现最佳结果至关重要。

明确的主题和意图定义可产生更准确的结果。

  • 过于宽泛的定义可能与太多提示匹配(高误报)

  • 过于狭窄的定义可能会错过相关活动(高漏报)

示例:

  • 不要使用广泛类别:关于我们的竞争者的信息

  • 要包括公司名称:关于样本公司的信息

单词定义提供的信号较弱。 描述性短语为模型提供更好的上下文,提高了精度并减少了误报。

示例:

  • 不要使用关键词:内部系统凭据

  • 要使用短语:从内部系统提取凭证

AI引擎评估用户的意图,而不仅仅是他们提到的内容。 这意味着即使没有精确的关键词匹配也可以检测到提示。

意图感知的措辞提高了检测精度,尤其适用于模糊的提示。 使用3-6个动词短语,清楚描述用户的意图。

示例:

  • 不要使用描述:专有网络信息

  • 要描述操作:请求访问专有网络安全架构设计

对具有相似含义的多个主题或意图的定义会降低效果。 这些可能会在相同的提示上触发,增加噪声而不提高覆盖范围。 将类似概念整合为一个定义良好的主题或意图。

自定义主题和意图检测器应基于实际使用情况持续优化调整。 强烈建议在 Playground 中测试和迭代您的检测器和个人资料。

  • 如果检测范围过广,则应使定义更具体

  • 如果检测范围过窄,则扩展定义或重新措辞

从一个平衡的配置开始,并根据观察到的活动进行调整。