配置 LiteLLM AI 网关与 Cato AI 安全集成

概况

Cato AI 安全性允许您检查并执行通过现有的 LiteLLM AI 网关流量的访问权限策略。您可以将网关连接到 Cato Guard，并将集中监控、数据保护以及访问权限策略的执行应用到网关流量，而不是单独配置每个应用程序。

本文解释了如何配置 LiteLLM AI 网关集成、映射自制应用程序，并在 Guard 日志中验证访问权限策略的执行。

条件

开始之前，请确保以下要求已满足：

支持 AI 网关保护的 AI 安全许可证
AI Security > 管理员和AI Security > 卫士交互访问权限策略的管理员权限
已部署并运行的 LiteLLM AI 网关
编辑 LiteLLM config.yaml 文件的访问权限
重新启动或重新加载 LiteLLM AI 网关的权限
每个自制应用程序的 LiteLLM 虚拟密钥和密钥别名
通过 LiteLLM AI 网关发送流量的测试应用程序或客户端
从 LiteLLM 到 https://api.aisec.catonetworks.com 的网络访问

配置工作流程

集成包括以下阶段：

阶段	任务	结果
1	创建 AI 网关保护	Cato 创建保护并为 LiteLLM 提供连接详情
2	配置 LiteLLM	LiteLLM 将 AI 流量发送到 Cato 进行检查
3	映射一个自制应用程序	Cato 将网关流量归因于特定的自制应用程序
4	配置访问权限策略的执行	Cato 将 AI 安全访问权限策略应用于匹配流量

创建 AI 网关保护

创建一个 AI 网关保护，以定义 LiteLLM 流量的 Cato 执行点。

要创建保护：

从导航菜单中选择AI Security > 卫士
点击新建
在保护名称中，为保护输入一个名称
示例：LiteLLM 测试
在类型中，选择AI 网关
在AI 网关集成类型中，选择LiteLLM
在卫士主机中，选择Cato 的云
保持自制代理映射为空
点击保存

保存保护后，它便可接收来自 LiteLLM AI 网关的流量。保护已激活，但在您配置访问权限规则之前不会执行规则。

验证网关集成后映射自制应用程序。

配置 LiteLLM

使用保护连接详情配置 LiteLLM，以便 AI 网关可以将流量发送到 Cato 进行检查。

获取保护连接详情

要获取保护连接详情：

从导航菜单中选择AI Security > 卫士
选择 AI 网关保护
从保护配置中复制连接详情

保护连接详情包括：

API 密钥
LiteLLM 防护配置片段
Cato API 基础网址

LiteLLM 防护配置使用以下结构：

guardrails:\n  - guardrail_name: cato_networks\n    litellm_params:\n      guardrail: cato_networks\n      mode: [pre_call, post_call]\n      api_key: <AI_GATEWAY_API_KEY>\n      api_base: "https://api.aisec.catonetworks.com"\n      default_on: true

关键字段是：

字段	说明
`mode: [pre_call, post_call]`	在 LLM 请求之前发送提示到 Cato，在 LLM 响应之后发送回复到 Cato
`api_key`	验证 LiteLLM 到 Cato 保护
`default_on: true`	为此 LiteLLM 配置的流量默认启用保护

安全存储 API 密钥并避免将其提交到源代码控制。如果您的部署支持环境变量或秘密管理器，则使用该方法而不是将密钥直接存储在config.yaml中。

更新 LiteLLM 配置

您可以为所有 LiteLLM 流量全局配置 Cato 防护，或者根据您的 LiteLLM 部署将其应用到特定的模型定义。下面的示例将防护应用于travel-bot-model。

要更新 LiteLLM 配置：

打开 LiteLLM config.yaml 文件
将 Cato 防护配置添加到相关的模型定义中
用来自保护的 API 密钥替换占位符 API 密钥
保存文件
需要时，重新启动或重新加载 AI 网关以部署您的 LiteLLM。

LiteLLM 配置示例：

model_list:\n  - model_name: travel-bot-model\n    litellm_params:\n      model: openai/openai.gpt-oss-120b\n      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"\n      api_key: "[LLM_API_KEY]"\n      ssl_verify: false\n    guardrails:\n      - guardrail_name: travel-bot-model\n        litellm_params:\n          guardrail: cato_networks\n          mode: [pre_call, post_call]\n          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"\n          api_base: "https://api.aisec.catonetworks.com"\n          default_on: true

在 Cato 验证网关流量（可选）

使用卫士日志确认 LiteLLM 流量到达 Cato。

要验证在 Cato 的网关流量：

从您的应用程序生成一个测试提示。
从导航菜单中选择AI Security > 交互浏览器
从卫士下拉菜单中，通过您的卫士过滤选择。
确认日志条目显示保护名称

此时，自制代理列为每个条目显示一个横杠（-）。这是预期的，因为尚未将任何自制应用程序映射到保护。

在此阶段，Cato 记录网关流量。应用程序映射后，Cato 还将流量归因于特定的自制应用程序。

验证 LiteLLM 的网关流量（可选）

使用 LiteLLM 日志确认请求由 AI 网关和 Cato 保护实现端到端处理。

要在 LiteLLM 中验证集成：

通过 LiteLLM AI 网关发送测试请求
打开 LiteLLM 日志
确认请求包括预期的模型和供应商路由
确认请求已成功完成

日志可以包括：

模型和供应商路由
令牌计数
请求持续时间
成功状态

使用 Cato 守护日志和 LiteLLM 日志确认请求实现端到端处理。

映射自制应用程序到保护

映射自制应用程序，以便 Cato Networks 可以将 AI 网关流量归因于正确的应用程序。

在 LiteLLM 中，为您希望 Cato 单独识别的每个应用程序创建一个虚拟密钥。

在 LiteLLM 中，导航到虚拟密钥
复制每个您希望添加到保护的自制应用程序的密钥别名

在 Cato 中，使用 LiteLLM 密钥别名映射应用程序。您可以从保护配置或自制应用程序配置中来映射自制应用程序。此程序使用保护配置。

将自制的应用映射到卫士：

从导航菜单中选择AI安全 > 卫士
选择AI网关卫士
在自制代理映射中，点击添加映射
在自制代理中，选择自制应用
示例：TravelBot
在虚拟秘钥别名中，输入应用的LiteLLM关键别名
点击保存

验证应用归属

验证Cato将网关流量归属到映射的自制应用。

验证应用归属：

通过LiteLLM发送映射的自制应用的测试请求
从导航菜单中选择AI安全 > 交互浏览器
通过映射的自制代理过滤视图
示例：TravelBot
确认自制代理列显示了映射的应用

当应用映射正确时，卫士日志显示应用名称而非短杠(-)。

配置卫士交互策略规则

配置卫士交互策略规则以在匹配LiteLLM流量上实施AI安全控制。

在创建规则之前，了解作用范围如何影响执行：

范围	执行行为
仅限卫士	适用于所选AI网关卫士的所有流量
特定自制代理	仅适用于所选自制应用的流量

配置卫士交互策略规则：

从导航菜单中选择AI安全 > 卫士交互策略
点击新建
在名称中，为该规则输入名称
示例：阻止PII
使用启用切换来启用该规则
启用时，开关为绿色。
在卫士中，选择AI网关卫士
示例：LiteLLM测试
在代理中，选择映射的自制应用
示例：TravelBot
在引擎配置文件中，选择用于检测相关内容的配置文件
示例：个人标识符
在操作中，选择执行操作
示例：匿名化与监控
点击保存
点击发布

访问权限策略发布并传播后，该规则适用于匹配流量。

验证访问权限策略执行

通过发送匹配规则范围和引擎配置文件的测试流量来验证访问权限策略执行。

验证访问权限策略执行：

通过LiteLLM发送映射的自制应用的测试请求
包含与所选引擎配置文件匹配的内容
从导航菜单中选择AI安全 > 卫士
选择AI网关卫士
打开卫士日志
通过映射的自制代理过滤日志
确认违规规则显示访问权限策略规则
示例：阻止PII

不符合所选引擎配置文件的流量无违规规则并正常通过。