Portkey AIゲートウェイとCato AIセキュリティの統合を構成する方法

概観

Cato AIセキュリティにより、既存のPortkey AIゲートウェイを通過するAIトラフィックのポリシーを検査および施行できます。各アプリケーションを個別に設定する代わりに、ゲートウェイをCatoガードに接続し、ゲートウェイトラフィックに対して集中監視、データ保護、およびポリシー施行を適用します。

この記事では、Portkey AIゲートウェイ統合を設定し、自家製アプリをマッピングし、ガードログのポリシー施行を検証する方法を説明します。

前提条件

始める前に、これらの要件が満たされていることを確認してください:

AIセキュリティライセンスは、AIゲートウェイガードをサポートします
AIセキュリティ > ガードとAIセキュリティ > ガード相互作用ポリシーの管理者権限
配備されている稼働状態のPortkey AIゲートウェイ
Portkey AIゲートウェイの再起動または再読み込みの許可
マッピングしたい各自家製アプリの接続パラメーター
AIゲートウェイを通じてトラフィックを送信するテストアプリまたはクライアント
Portkeyからhttps://api.aisec.catonetworks.comへのネットワークアクセス

設定ワークフロー

統合にはこれらのステージが含まれます:

ステージ	タスク	結果
1	AIゲートウェイガードを作成する	Catoがガードを作成し、Portkey用の接続詳細を提供します
2	Portkeyを設定する	PortkeyはAIトラフィックを検査のためにCatoに送信します
3	自家製アプリをマッピング	Catoは特定の自家製アプリにゲートウェイトラフィックを帰属させます
4	ポリシー施行を設定する	CatoはマッチングトラフィックにAIセキュリティポリシールールを適用します

AIゲートウェイガードを作成する

PortkeyトラフィックのためのCato施行ポイントを定義するためにAIゲートウェイガードを作成する。

ガードを作成するには:

ナビゲーションメニューからAIセキュリティ > ガードを選択します。
「新規」をクリックします。
ガード名に、ガード用の名前を入力します。
例：Portkey-Sample
タイプでは、AIゲートウェイを選択します。
AIゲートウェイ統合タイプでは、LiteLLMを選択します。
ガードのホストでは、Catoのクラウドを選択します。
自家製エージェントマッピングを空にしておきます。
「保存」をクリックします。

ガードを保存した後、Portkey AIゲートウェイからのトラフィック受信の準備が整います。ガードはアクティブですが、ポリシールールを設定するまでルールを施行しません。

ゲートウェイ統合を検証した後、自家製アプリをマッピングしてください。

Portkeyを設定する

Portkeyをガード接続詳細で設定し、AIゲートウェイがトラフィックをCatoに送信して検査できるようにします。

ガード接続詳細の取得

接続詳細を取得するには:

ナビゲーションメニューからAIセキュリティ > ガードを選択します。
AIゲートウェイガードを選択します。
ガード設定から接続詳細をコピーします。

ガード接続の詳細に含まれるもの:

APIキー
ガードレール設定スニペット
Cato APIベースURL

ガードレール設定はこの構造を使用します:

curl -i https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is joe@acme.com"}
    ]
  }'

主要なフィールドは次の通りです:

フィールド	"説明"
`x-portkey-api-key`	PortkeyをCatoガードに認証します。
`モデル`	Portkeyがリクエストを送信するLLMモデルを定義します
`メッセージ`	PortkeyがLLMに送信し、Catoが検査するユーザープロンプトを含みます

APIキーを安全に保管し、ソース管理にコミットしないでください。デプロイメントが環境変数またはシークレットマネージャーをサポートしている場合、鍵をPortkey設定に直接保存する代わりに、その方法を使用してください。

PortkeyでのCatoプラグインを設定する

Portkey AIゲートウェイトラフィックをCatoガードに送信するには、Portkeyの組織設定でCato Networksプラグインを有効にし、Catoからのガード配備詳細を使用してそれを設定します。

1. Portkeyで、組織設定をクリックします。

2. プラグインページに移動します。

3. Cato Networksプラグインを検索します。

4. Cato Networksプラグインを有効にします。

5. プラグイン設定で、Catoのガード配備ページからの値を入力します:

- APIキー

- APIのベースURL

6. 更新をクリックします。

プラグインが有効になると、PortkeyはCatoガードに認証し、LLM入力と出力を検査のために送信できます。

Cato Networks用のPortkeyガードレールを作成する

Cato Networksプラグインを有効にして設定した後、プラグインを使用してLLM入力と出力をCatoに送信するPortkeyガードレールを作成します。

各自家製アプリに対する可視性が必要な場合は、それぞれのアプリごとに別のPortkeyガードレールを作成します。ガードレベルでのみ可視性が必要な場合には、単一のPortkeyガードレールを使用できます。

1. Portkeyで、ガードレールページに移動します。

2. 作成をクリック。

3. 使用可能なチェックで、パートナータブをクリックします。

4. Cato Networksを検索します。

5. Cato Networksガードレールカードで、追加をクリックします。

6. ガードレールの名称を入力します。

7. 「保存」をクリックします。

自家製アプリをPortkey設定とAPIキーに接続する

Portkeyは構成とAPIキーを使用して特定のガードレールを経由してトラフィックをルーティングします。自家製アプリトラフィックにCatoガードレールを適用するには、ガードレールIDをコピーし、ガードレールを参照する構成を作成し、構成を使用するAPIキーを作成してください。

各自家製アプリに対する可視性が必要な場合は、それぞれのアプリごとに別のPortkey設定とAPIキーを作成します。ガードレベルでのみ可視性が必要な場合には、単一の設定とAPIキーを使用できます。

Portkeyで、ガードレールページに移動します。
作成したCatoガードレールのIDをコピーします。
構成ページに移動します。
作成をクリック。

構成を編集し、input_guardrailsとoutput_guardrailsの両方にガードレールIDを含めます。

{ "retry": { 
    "attempts": 3 }, 
    "cache": { 
    "mode": "simple" }, 
    "input_guardrails": [ "pg-portke-sampleID" ], 
    "output_guardrails": [ "pg-portke-sampleID" ] 
}

sampleIDを、以前にコピーしたガードレールIDで置き換えます。
保存をクリックします。
APIキーページに移動します。
新規作成をクリックします。
APIキーの名前を入力します。
作成した構成を選択します。
作成をクリック。

Catoでゲートウェイトラフィックを確認する (オプション)

PortkeyトラフィックがCatoに到達することを確認するためにガードログを使用します。

Catoでゲートウェイトラフィックを確認するには:

アプリからテストプロンプトを生成します。
ナビゲーションメニューからAIセキュリティ > 相互作用エクスプローラーを選択します。
ガードドロップダウンから、ガードでフィルタリングを行います。
ログエントリにガード名が表示されていることを確認してください

この時点で、自家製エージェントの列には各エントリのダッシュ(-)が表示されます。これは期待される動作であり、ガードにマッピングされた自家製アプリがまだありません。

この段階では、Catoはゲートウェイトラフィックをログに記録します。アプリのマッピング後、Catoは特定の自家製アプリにトラフィックを帰属させます。

自家製アプリをガードにマッピング

CatoでPortkeyガードレール名を使用してアプリをマッピングします。ガード設定または自家製アプリ設定から自家製アプリをマッピングできます。この手順ではガード設定を使用します。

自家製アプリをガードにマッピングするには:

ナビゲーションメニューからAIセキュリティ > ガードを選択します。
AIゲートウェイガードを選択します。
自家製エージェントマッピングで、マッピングの追加をクリックします。
自家製エージェントで、自家製アプリを選択します。
例：Portkey-sample-1
仮想キーエイリアスに、Portkeyガードレール名をアプリ用に入力します。
「保存」をクリックします。

アプリの帰属を確認

Catoがゲートウェイトラフィックをマッピングされた自家製アプリに帰属させていることを確認します。

アプリ帰属を確認するには:

Portkey経由でマッピングされた自家製アプリからテストリクエストを送信します。
ナビゲーションメニューからAIセキュリティ > 相互作用エクスプローラーを選択します。
マッピングされた自家製エージェントでビューをフィルターします。
例：Portkey-sample-1
自家製エージェント列にマッピングされたアプリが表示されていることを確認してください。

アプリが正しくマッピングされると、ガードログにダッシュ(-)の代わりにアプリ名が表示されます。

ガード相互作用ポリシールールの設定

ガード相互作用ポリシールールを設定して、LiteLLMトラフィックにAIセキュリティコントロールを施行します。

ルールを作成する前に、スコープが施行にどのように影響するかを理解してください:

スコープ	施行の動作
ガードのみ	選択したAIゲートウェイガードを通るすべてのトラフィックに適用
特定の自家製エージェント	選択された自家製アプリからのトラフィックのみに適用

ガード相互作用ポリシールールを設定するには:

ナビゲーションメニューからAIセキュリティ > ガード相互作用ポリシーを選択します。
「新規」をクリックします。
名前に、ルールの名前を入力します。
例：PIIをブロック
有効トグルを使用してルールを有効にします。
有効化されると、トグルは緑色になります。
ガードでAIゲートウェイガードを選択します。
例：Portkey-sample-1
エージェントで、マッピングした自家製アプリを選択します。
例：Portkey-sample-1
エンジンプロファイルで、関連するコンテンツを検出するために使用されるプロファイルを選択します。
例：個人識別子
アクションにおいて、施行アクションを選択します。
例: 匿名化 & モニタ
「保存」をクリックします。
公開をクリックします。

ポリシーが公開され、伝播された後、ルールは一致するトラフィックに施行されます。

ポリシー施行の確認

テストトラフィックを送信して、ルールのスコープとエンジンプロファイルに一致するか確認します。

ポリシー施行を確認するために:

マップされた自社製アプリからLiteLLMを通じてテスト要求を送信します。
選択されたエンジンプロフィールに一致する内容を含めます。
ナビゲーションメニューからAIセキュリティ > Guardsを選択します。
AIゲートウェイガードを選択します。
ガードログを開きます。
マップされた自社製エージェントによるログをフィルタリングします。
違反ルールがポリシールールを表示することを確認します。
例: 個人情報をブロック

選択されたエンジンプロフィールに一致しないトラフィックは違反ルールを表示せず、通常通り通過します。