自定义AI应用程序的AI安全性概览

Prev Next

本文介绍了创建AI安全卫士的端到端流程,将自定义应用程序连接到卫士,并配置卫士交互策略。

Cato的AI安全卫士允许您通过在到达大型语言模型(LLM)提供商之前将应用程序流量通过Cato路由来保护自定义AI应用程序。 这使得管理员能够看见AI交互,并让他们实施提示、响应、工具输入和工具输出的策略规则。

创建一个卫士以定义Cato如何连接到AI服务或自定义LLM端点。 在代理模式下,应用程序将流量发送到卫士端点,经过检测后,卫士将流量转发到提供商端点。

要创建AI安全卫士:

  1. 从导航菜单中选择 AI 安全性 > 卫士。

  2. 点击 新建。

  3. 输入一个 卫士名称。

  4. 在 选择卫士类型下,选择 代理。

  5. 在 选择AI服务下,选择相关的AI服务或自定义端点。

  6. 在 端点网址中,输入提供商端点。

  7. 配置卫士托管设置。

  8. 点击 保存。

卫士已创建,并可从 卫士 页面获取。

创建卫士后,检索应用程序用来通过Cato发送流量的连接详情。 这些值识别卫士端点,认证应用程序到卫士,并定义任何需要的提供商认证细节。

要检索卫士连接详情:

  1. 从 卫士 页面,打开卫士。

  2. 复制卫士端点。

  3. 复制卫士API密钥。

  4. 查看所需的请求头。

  5. 检查提供商认证要求。

  6. 在适用时,检查会话ID头要求。

在更新应用程序配置时使用这些值。

更新应用程序,以便它将AI请求发送到卫士端点,而不是直接发送到LLM提供商。 应用程序认证到卫士,并且卫士根据卫士配置将流量转发到提供商端点。

将应用程序连接到卫士:

  1. 将应用程序目标网址从LLM提供商端点更新为卫士端点。

  2. 添加所需的卫士认证头。

  3. 在需要时添加提供商认证细节。

  4. 在需要时添加会话ID细节。

  5. 通过应用程序发送测试流量。

应用程序流量现已通过卫士路由。

在配置策略规则之前,确认卫士接收来自应用程序的流量。 这有助于验证应用程序是否正确连接到卫士,并确保Cato能够检查AI交互。

确认卫士接收流量:

  1. 从导航菜单中选择 AI 安全性 > 卫士。

  2. 打开卫士。

  3. 开放 卫士日志记录。

  4. 查看生成的会话。

  5. 确认提示和响应已记录。

此时,卫士提供了应用程序流量的可见性。 只有在您创建并发布卫士交互策略规则后,策略执行才会开始。

卫士交互策略定义了卫士如何处理AI交互。 每条规则指定适用的卫士、检测引擎配置文件、操作以及要检查的流量方向。

规则可以应用操作如监控、阻止、匿名化敏感数据,或者将匿名化与监控或阻止相结合。 无论其在规则库中的位置如何,规则都会被评估。 如果多个规则符合相同的交互,则应用更严格的操作。

要创建并发布卫士交互策略规则:

  1. 从导航菜单中选择 AI 安全性 > 卫士交互策略。

  2. 点击 新建。

  3. 输入规则 名称 和 描述。

  4. 使用 启用 切换以启用规则。

  5. 在 卫士中,选择规则应用的卫士。

  6. 在 引擎配置文件中,选择规则的检测类别。

  7. 在 操作中,选择规则匹配时要应用的操作。

  8. 在 方向中,选择要检查的流量方向。

  9. 点击 保存。

  10. 为额外规则重复这些步骤。

  11. 查看未发布的修订。

  12. 点击 发布。

在策略发布后,卫士会对通过它的流量执行活动规则。

验证策略以确认卫士正在执行期望的规则,并且策略活动在卫士日志中可见。

要验证策略:

  1. 从导航菜单中选择 AI 安全性 > 卫士。

  2. 打开卫士。

  3. 在 概览 页面,查看活动规则。

  4. 开放 卫士日志记录。

  5. 查看与策略规则匹配的会话。

  6. 确认检测到的内容、应用的操作和执行结果。