创建自由文本检测器(EA)

Prev Next

Note: This is an Early Availability (EA) feature that is only available for limited release. For more information, contact your Cato Networks representative or send an email to ea@catonetworks.com.

概概览

自由文本检测器让您定义 Cato 在 AI 交互中使用自然语言识别的内容或行为。您可以根据组织的要求定制检测,例如保护专有信息、识别禁止请求或保持 AI 应用程序在其预定范围内。

引导创建流程使用大型语言模型(LLM)帮助澄清您的检测要求。在描述您想要检测的内容后,系统会呈现条件供您标记为违规或安全。您的回答有助于定义检测器标记的内容及其排除的内容,特别是在某些请求可能在一个组织中是可接受的而在另一个组织中是违规的边界案例。

此过程帮助您识别指南中的差距,澄清边界案例,并减少误报。然后将检测器添加到引擎配置文件并应用配置文件到策略规则中。检测器识别匹配内容,而规则决定操作。
free_text_detector.png

用例:保持零售聊天机器人专注于您的产品和服务

公司ABC是一家提供客户聊天机器人的在线零售商。您希望客户询问关于您的产品、价格和服务,同时防止他们使用聊天机器人研究竞争对手。

创建自由文本检测器并选择范围控制。在说明中,您描述了聊天机器人的预定用途,并明确指出研究其他零售商或将他们的产品与公司ABC比较的请求是违规行为。

在进一步细化中,您将涉及公司ABC价格的问题标记为安全。您将条件标记为涉及与其他零售商的价格比较为违规。例如:

示例提示 标签
公司ABC的产品X多少钱? 安全
公司ABC是否为产品X提供免费送货? 安全
公司ABC的产品X价格与公司XYZ的价格如何比较? 违规
我可以在其他零售商购买到更便宜的产品X吗? 违规

这些区分有助于让聊天机器人专注于支持公司ABC客户的购物体验。然后在游乐场中通过引擎配置文件测试检测器,再应用配置文件到保护交互政策规则。

创建自由文本检测器

创建流程包括四个阶段:名称和类型、说明、细化和总结。

选择符合您目标的检测器类型:

检测器类型 目的
范围控制 识别试图将您的 AI 应用程序移出其预定目的的用户提示
特定主题和意图 识别用户关于被组织政策禁止的主题或目标的提示
专有敏感数据 识别提示中的组织特定信息,例如专有产品详情、项目代号或内部系统名称

创建自由文本检测器:

  1. 从导航菜单中选择人工智能安全>引擎配置文件。

  2. 选择自由文本检测器选项卡。

  3. 点击新建检测器。

  4. 在名称和类型步骤中,输入检测器名称。

  5. 选择与目标匹配的检测器的使用案例。

  6. 点击下一步,继续到指示步骤。

定义检测器指示

在指示步骤中,描述您希望检测器标记的内容。请使用20到3200个字符的英文书写。

专注于一个明确的使用案例。使用完整句子解释相关内容、背景和排除条件。具体的指示有助于区分违规内容和您认为安全的相关内容。

对于零售聊天机器人使用案例,您可以输入:

聊天机器人帮助客户处理公司ABC的产品、定价、促销、送货、退货和其他服务。将关于这些主题的问题视作安全。检测此范围之外的请求,包括无关的话题以及研究其他零售商的产品、价格、促销或服务的请求。将要求与其他零售商比较公司ABC的产品或在其他地方寻找更低价格的请求视为违规,即使他们也提到了公司ABC。

定义检测器指示:

  1. 在指示步骤中,描述检测器标记的内容和相关排除条件。

  2. 仔细审查不明确的术语或无关的检测目标的指示。定义使用的内部信息或术语。

  3. 输入检测器指示。

  4. 点击下一步,继续到完善步骤。

完善检测器

系统根据您的指示生成条件。每个条件描述一种情况,有助于明确违规与安全内容之间的界限。这有助于区别实际检测与误报。

根据您的组织需求标记每个条件:

  • 违规:检测器标记符合条件的内容

  • 安全:检测器排除符合条件的内容

仔细审查相关但可接受的条件。将这些条件标记为安全有助于减少误报。

右上角的检测器强度指示器显示您完善检测器标准以区分违规与安全内容的效果。

完善检测器:

  1. 在完善步骤中,审查每个生成的条件。悬停在条件旁的信息图标上以查看示例提示。

  2. 为每个条件选择违规或安全。

  3. (可选)点击手动添加添加一个未满足需求的条件,并标记为违规或安全。

  4. 如果生成的条件不反映您的目标,返回至指示并修改描述。修改指示会生成新的一组条件。

  5. 点击 下一步 和继续到 摘要。

  6. 查看检测器配置并单击 保存 创建自由文本检测器。

测试和应用自由文本检测器

将自由文本检测器添加到引擎配置文件,然后在引擎练习场测试该配置文件。包括您预计会触发违规的提示和您预计保持安全的相关提示。

检查结果并在应用配置文件到生产策略规则之前根据需要调整检测器说明或条件标记。

有关详细说明,请参见: