Cato AIセキュリティとLiteLLM AIゲートウェイの統合を設定する

Prev Next

概観

Cato AIセキュリティにより、AIトラフィックのポリシーを既存のLiteLLM AIゲートウェイを通して流れるトラフィックを検査し、施行することが可能です。 各アプリケーションを個別に設定するのではなく、ゲートウェイをCato Guardに接続し、ゲートウェイトラフィックへの集中型モニタリング、データ保護、ポリシー施行を適用します。

この記事では、LiteLLM AIゲートウェイの統合構成、社内開発アプリのマッピング、Guard Loggingにおけるポリシー施行の検証方法について説明します。

前提条件

開始する前に、次の要件が満たされていることを確認してください。

  • AIセキュリティライセンスは、AIゲートウェイガードに対応しています。

  • 管理者がAI セキュリティ > ガードおよびAI セキュリティ > ガード相互作用ポリシーに対する権限を持っている

  • 展開済みで稼働しているLiteLLM AIゲートウェイ

  • LiteLLM config.yamlファイルの編集アクセス

  • LiteLLM AIゲートウェイの再起動またはリロードの権限

  • マップしたい各社内開発アプリ用のLiteLLM仮想キーおよびキーエイリアス

  • テストアプリまたはLiteLLM AIゲートウェイを通してトラフィックを送信するクライアント

  • LiteLLMからhttps://api.aisec.catonetworks.comへのネットワークアクセス

設定ワークフロー

この統合には以下の段階があります:

ステージ

タスク

結果

1

AIゲートウェイガードを作成する

Catoがガードを作成し、LiteLLMの接続詳細を提供します

2

LiteLLMを設定する

LiteLLMはAIトラフィックをCatoに送信して検査します

3

社内開発アプリをマップする

Catoは特定の社内開発アプリにゲートウェイトラフィックを帰属させます

4

ポリシー施行を設定する

CatoはAIセキュリティポリシールールを一致するトラフィックに適用します

AIゲートウェイガードの作成

LiteLLMトラフィックに対するCatoの施行ポイントを定義するためにAIゲートウェイガードを作成します。

ガードを作成するには:

  1. ナビゲーションメニューからAIセキュリティ > ガードを選択します

  2. 新規をクリックします

  3. ガード名にガードの名前を入力します

    例: LiteLLMテスト

  4. タイプでAIゲートウェイを選択します

  5. AIゲートウェイ統合タイプでLiteLLMを選択します

  6. ガードのホストでCatoのクラウドを選択します

  7. 社内開発エージェントマッピングを空のままにします

  8. 保存をクリック

ガードを保存した後、LiteLLM AIゲートウェイからのトラフィックを受信できるようになります。 ガードはアクティブですが、ポリシールールを設定するまでルールを施行できません。

ゲートウェイの統合を検証した後、社内開発アプリをマップします。

LiteLLMを設定する

ガードの接続情報を使用してLiteLLMを設定し、AIゲートウェイがCatoにトラフィックを送信して検査できるようにします。

ガード接続詳細を取得する

ガード接続詳細を取得するには:

  1. ナビゲーションメニューからAIセキュリティ > ガードを選択します

  2. AIゲートウェイガードを選択します

  3. ガード構成から接続詳細をコピーします

ガード接続詳細には以下が含まれます:

  • APIキー

  • LiteLLMガードレール構成スニペット

  • Cato APIベースURL

LiteLLMガードレール構成は次の構造を使用します:

guardrails:
  - guardrail_name: cato_networks
    litellm_params:
      guardrail: cato_networks
      mode: [pre_call, post_call]
      api_key: <AI_GATEWAY_API_KEY>
      api_base: "https://api.aisec.catonetworks.com"
      default_on: true

主要なフィールドは以下の通りです:

フィールド

説明

mode: [pre_call, post_call]

LLMリクエスト前にプロンプトをCatoに送信し、LLMレスポンス後にCatoにレスポンスを送信します。

api_key

LiteLLMをCato Guardに認証します

default_on: true

このLiteLLM構成でカバーされるトラフィックに対して、デフォルトでガードを有効にします。

APIキーを安全に保存し、ソースコントロールにコミットしないようにします。 配置が環境変数またはシークレットマネージャーをサポートしている場合、config.yamlに直接キーを格納する代わりにその方法を使用します。

LiteLLM構成を更新する

LiteLLMトラフィック全体に対してCatoガードレールをグローバルに設定したり、LiteLLMの展開に応じて特定のモデル定義に適用したりできます。 以下の例では、travel-bot-modelにガードレールを適用します。

LiteLLM構成を更新するには:

  1. LiteLLMのconfig.yamlファイルを開く

  2. 関連するモデル定義にCatoガードレール構成を追加します

  3. ガードからのAPIキーでプレースホルダAPIキーを置き換えます

  4. ファイルを保存します

  5. LiteLLMの展開で必要な場合、AIゲートウェイを再起動またはリロードします

LiteLLMの例設定:

model_list:
  - model_name: travel-bot-model
    litellm_params:
      model: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: travel-bot-model
        litellm_params:
          guardrail: cato_networks
          mode: [pre_call, post_call]
          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          api_base: "https://api.aisec.catonetworks.com"
          default_on: true

Catoでゲートウェイトラフィックを検証する(オプション)

ガードロギングを使用して、LiteLLMトラフィックがCatoに到達することを確認します。

Catoでゲートウェイトラフィックを検証するには:

  1. アプリからテストプロンプトを生成します。

  2. ナビゲーションメニューからAIセキュリティ > 相互作用エクスプローラーを選択します

  3. ガードドロップダウンから、選択をガードでフィルタリングします。

  4. ログエントリにガード名が表示されることを確認します

この時点で、社内開発エージェント列は各エントリにダッシュ(-)を表示します。 これは予期されるもので、まだガードにマッピングされた社内開発アプリがないためです。

この段階で、Catoはゲートウェイトラフィックをログに記録します。 アプリをマップした後、Catoはトラフィックを特定の社内開発アプリに帰属させます。

LiteLLMでゲートウェイトラフィックを検証する(オプション)

LiteLLMログを使用して、リクエストがAIゲートウェイとCatoガードによってエンド・ツー・エンドで処理されていることを確認します。

LiteLLMで統合を検証するには:

  1. LiteLLM AIゲートウェイを通じてテストリクエストを送信します

  2. LiteLLMログを開く

  3. リクエストに期待されたモデルとプロバイダールーティングが含まれていることを確認します

  4. リクエストが正常に完了したことを確認します

ログには以下が含まれる可能性があります:

  • モデルとプロバイダーのルーティング

  • トークンカウント

  • リクエストの継続時間

  • 成功ステータス

CatoガードロギングとLiteLLMログの両方を使用して、リクエストがエンド・ツー・エンドで処理されることを確認します。

社内開発アプリをガードにマップする

社内開発アプリをマップして、Cato NetworksがAIゲートウェイトラフィックを正しいアプリに帰属させることができます。

LiteLLMで、Catoが個別に識別したい各アプリケーションのための仮想キーを作成します。

  1. LiteLLMで仮想キーへ移動する

  2. ガードに追加したい各社内開発アプリのキーエイリアスをコピーします。

Catoで、LiteLLMのキーエイリアスを使用してアプリをマップする。 ガードの構成または社内開発アプリの構成から社内開発アプリをマッピングすることができます。 この手順では、ガード構成を使用します。

社内開発アプリをガードにマップするには:

  1. ナビゲーションメニューからAI セキュリティ > ガードを選択します

  2. AIゲートウェイガードを選択します

  3. 社内開発エージェントマッピングでマッピングを追加をクリックします

  4. 社内開発エージェントで社内開発アプリを選択します

    例: TravelBot

  5. 仮想キーエイリアスに、アプリ用のLiteLLMキーエイリアスを入力します

  6. 保存をクリック

アプリ帰属を検証する

Catoがゲートウェイトラフィックをマッピングされた社内開発アプリに帰属させていることを確認します。

アプリ帰属を検証するには:

  1. マッピングされた社内開発アプリからLiteLLMを通してテストリクエストを送信します

  2. ナビゲーションメニューからAIセキュリティ > 相互作用エクスプローラーを選択します

  3. フィルタリング表示をマッピングされた社内開発エージェントで行います

    例: TravelBot

  4. 社内開発エージェント列がマッピングされたアプリを示していることを確認します

アプリが正しくマップされている場合、ガードロギングはダッシュ(-)ではなくアプリ名を表示します。

ガード相互作用ポリシールールを設定する

一致するLiteLLMトラフィックにAIセキュリティコントロールを施行するためにガード相互作用ポリシールールを設定します。

ルールを作成する前に、スコープが施行にどのように影響するかを理解してください。

スコープ

施行動作

ガードのみ

選択されたAIゲートウェイガードを通る全トラフィックに適用されます

特定の社内開発エージェント

選択された社内開発アプリからのトラフィックにのみ適用されます

ガード相互作用ポリシールールを設定するには:

  1. ナビゲーションメニューからAIセキュリティ > ガード相互作用ポリシーを選択します

  2. 新規をクリックします

  3. 名前にルールの名前を入力します

    例: PIIをブロック

  4. 有効トグルを使用してルールを有効にします

    有効化されると、トグルは緑色になります。

  5. ガードでAIゲートウェイガードを選択します

    例: LiteLLMテスト

  6. エージェントでマッピングされた社内開発アプリを選択します

    例: TravelBot

  7. エンジンプラフィールで、関連コンテンツを検出するために使用されるプロフィールを選択します。

    例: 個人識別子

  8. アクションで、施行アクションを選択します。

    例: 匿名化とモニタ

  9. 保存をクリック

  10. 公開をクリックします。

ポリシーが公開され、伝播された後、ルールは一致するトラフィックに適用されます。

ポリシー施行の確認

ルールの範囲とエンジンプロフィールに一致するテストトラフィックを送信して、ポリシー施行を確認します。

ポリシー施行を確認するには:

  1. マッピングされた自家製アプリからLiteLLMを通じてテスト要求を送信

  2. 選択したエンジンプロフィールに一致するコンテンツを含む

  3. ナビゲーションメニューからAIセキュリティ > ガードを選択します。

  4. AIゲートウェイガードを選択します。

  5. ガードログを開きます。

  6. マッピングされた自家製エージェントでログをフィルター

  7. 違反ルールがポリシールールを表示することを確認

    例: PIIをブロック

選択したエンジンプロフィールに一致しないトラフィックは、違反ルールを表示せず、通常どおり通過します。