与 AI 安全性守卫合作

Prev Next

AI 安全性守卫帮助您保护和管理您构建的 AI 驱动应用程序,并在运行时实施安全性控制。 它们让您可以强制实施规则,检查和控制您构建的 AI 应用程序、用户和支持的 AI 模型之间的流量。 您可以使用守卫检测恶意提示、不安全内容和敏感数据的暴露,以便在它们影响您的应用程序之前阻止它们。 守卫还让您能够看到 AI 应用程序的使用情况,以便您可以监控违规行为并通过一致的控制点实施组织政策。

守卫作为 AI 安全性的实施层。 它根据您在政策中配置的检测和操作来评估提示并在合适时与模型响应对比。 根据策略匹配情况,守卫可以允许、阻止或记录互动。

守卫如何工作

守卫检查 AI 流量并将其与您政策中定义的检测和操作进行比较。 这使您能够在流量到达模型提供商之前应用安全性和治理控制,有时在响应返回给用户之前。

流量流向

AI 安全性支持不同的流量模型,具体取决于您的应用程序如何与守卫集成。

  • 代理模式 - 在此模式下,守卫位于应用程序和 AI 提供商之间的内联位置。 您的应用程序通过守卫发送请求,后者在评估内容后将流量转发给提供商。

    该模式让您能够直接在流量路径上应用控制。 守卫可以在请求到达提供商之前检查请求,并在支持的情况下,在响应返回给应用程序之前检查响应。 这为实时保护和可见性提供了一个直接实施点。

    image (19).png

  • API 模式 - 在 API 模式中,您的应用程序通过基于 API 的集成与守卫交互,而不是通过内联代理路由流量。 应用程序将相关内容发送给守卫进行评估,作为应用程序流程的一部分。

    此模式为不以内联部署为优选架构的环境提供更多灵活性。 守卫仍然根据策略评估内容,但实施流转取决于应用程序如何与守卫集成。

    image (20).png

守卫检测和实施的内容

您可以使用守卫检测和实施一系列与 AI 相关的风险政策,包括:

  • 提示注入尝试

  • 不安全或受限制内容

  • 敏感数据暴露,如个人身份信息(PII)或受保护的健康信息(PHI)

  • 基于公司政策的主题或使用违规

  • 可疑或不合规的 AI 交互

当守卫检测到匹配时,它会应用在政策中配置的操作。 例如,守卫可以阻止请求、允许请求或记录事件以供监控和调查。

用例 - 保护内部 AI 助手

贵公司使用内部 AI 助手帮助员工搜索内部文档并总结内容。 为了降低敏感数据暴露、提示注入和政策违规的风险,您将 AI 安全性守卫应用于应用程序流量。

守卫对提示进行检查,并根据支持情况将响应与您的 AI 安全性政策进行对比。 您可以检测不安全或不合规的互动,并在内容到达 AI 提供商或返回用户之前将其阻止或记录。

支持的提供商

代理模式支持以下提供商和 API 格式。

选定的 AI 服务

支持的平台

支持的 API

Google AI Studio

Gemini 企业代理平台 (Vertex AI)

  • Google AI Studio

  • Gemini 企业代理平台 (Vertex AI)

  • Gemini API: generateContent, streamGenerateContent

  • 与 OpenAI 兼容的 API:聊天补全

Anthropic 的 Claude

  • Claude 平台

  • 任何 Claude 兼容的端点,例如:

    • Microsoft Foundry

    • Amazon Bedrock

  • Claude API: messages, complete(遗留)

  • 与 OpenAI 兼容的 API:聊天补全

OpenAI 公共 API

  • OpenAI 平台

  • OpenAI API:响应、聊天补全、嵌入

Azure OpenAI 服务

  • Azure OpenAI

  • OpenAI API:聊天补全

Amazon 的 Bedrock

  • Amazon Bedrock

  • Bedrock API: Converse, ConverseStream

自定义端点

  • 任何 OpenAI 兼容的端点,例如:

    • Microsoft Foundry

    • Amazon Bedrock

    • Gemini 企业代理平台 (Vertex AI)

  • OpenAI API:responses, completions, embeddings