エンドユーザーのためのAIセキュリティ - セッションエクスプローラーを使用したモニタリングとアナリティクス

セッションエクスプローラーページでは、AIチャットアプリケーションが組織全体でどのように使用されているかを監視し、ユーザーによるプロンプトを通じてデータ漏洩の潜在的リスクを評価できます。 AIセキュリティを有効にすると、ページはサポートされて有効化されたAIアプリケーションへの送信プロンプトの可視性を提供し、使用パターンの理解および潜在的に危険な操作の調査を支援します。

各インタラクションは単一の確認を表し、AIアプリケーションが確認を受け取った際のコンテキスト情報、ならびに検出されたトピックと意図を含みます。

検出

AIセキュリティのルールをモニタリングアクションで定義すると、適合したプロンプトがAIインタラクションページに検出インジケーターと共に表示されます。これらのインタラクションについて：

検出列は、検出を引き起こしたモニタリングプロファイルを示しています
どのモニタリングルールがプロンプトに一致したかをすぐに特定できます

この情報は、ルールのカバレッジを検証し、ポリシーを調整するのに役立ちます。

インタラクション詳細

特定のインタラクションを詳細に確認すると、アサインされた権限に応じて利用可能な詳細のレベルが変わります。参照のみ権限を持っている管理者は、AIアプリケーションに送信された実際の確認を表示することができます。プロンプトに問題のあるコンテンツが含まれている場合、関連するセクションはフラグが立てられるか、ハイライトされます。ルールのアクションにブロックが含まれている場合、インタラクションの詳細にはユーザーに提示されたブロックページが表示されます。

役割と権限についての情報は、管理者の役割の管理とRBACの使用をご覧ください。

注：プロンプトの表示などの操作は、監査ログに記録されています。

使用ケース - 従業員のAIチャット使用理解

ABC社は、AIチャットアプリケーションが日々の業務でどのように使用されているかの可視性を得るためにAIセキュリティを有効にします。 AIインタラクションページのインタラクションを確認することで、セキュリティチームはユーザーがAIツールにどのような質問や要求を投稿するかを把握できます。

この洞察は、従業員活動をよりよく理解し、一般的な知識のギャップや繰り返し要求される支援のニーズを特定し、追加のガイダンスやトレーニング、または有効化が生産性向上とリスク軽減にどのように貢献できるか判断します。

AIインタラクションの分析を行う

セッションの詳細を使用して特定のAIインタラクションを分析し、全体のコンテキストを理解し、検出を検証し、フィードバックまたはフォローアップが必要な問題を特定します。

AIインタラクションを分析するには：

ナビゲーションメニューから、AIセキュリティ > セッションエクスプローラーをクリックします。
調査したいインタラクションを選択し、セッションを表示をクリックして、セッションの内容を確認します。
プロンプトとレスポンスシーケンスを確認し、インタラクションの全体のコンテキストを理解します。
特定のプロンプトの調査を続行するには、分析を表示をクリックします。 エンジン分析レポートが開きます。

分析レポートのレビュー

エンジン分析レポートは、AIセキュリティエンジンがプロンプトを送信時にどのように評価したかの詳細を提供します。どのルール、プロファイル、および検出器が実行中であったかを示しており、検出がどのように行われたか理解するのに役立ちます。各レポートには分析IDが含まれており、参考やセッションエクスプローラーでの検索、またはサポートとの連携時に使用できます。

レポート内では、検出が視覚的に表現されています：

黄色のプロファイルは、検出が発生したことを示しています。これは、このプロファイルを持つルールが実行され、少なくとも一つの検出器が一致を生成したことを意味します。
緑色のプロファイルは検出が発生しなかったことを示していますが、ルールは実行されていました。

動作をさらに調査するには、エンジンプレイグラウンドで開くをクリックして、セッション全体を再実行できます。これにより、現在のプロファイルがどのように動作するかを確認し、期待される結果と異なる場合は設定を微調整することができます。

分析レポートを確認する際、設定が実行時から更新されている可能性があることに注意してください。その結果、現在の定義がプロンプトが最初に評価された時に適用されたものとは異なる可能性があります。

フィードバックの提出

プロンプトの検出器結果が不正確な場合、Catoが検出を評価するのに役立つフィードバックを提出できます。偽陽性の場合、トリガーされた検出器を確認して、誤ってプロンプトに一致した理由を見つけます。検出器がトリガーされるべきだったがされなかった場合、すべての検出器を確認して、プロンプトが送られた時点でアクティブに実行されていたものを特定してください。

期待される結果を説明し、調査に役立つコンテキストを提供するためにフリーテキストコメントを追加します。 Catoはこのフィードバックをレビューし、時間をかけて検出器の品質を向上させます。

重大な問題については、フィードバックに加えてサポートチケットを開くことができます。

AIインタラクションのためにフィードバックを提出するには：

エンジン分析で、フィードバックの送信をクリックします。
偽陽性を報告するには、トリガーされた検出器を使用します。
偽陰性を報告するには、すべての検出器を使用して、プロンプトに対するプロファイルでアクティブだった検出器を確認します。
関連する検出器を選択します。
追加のコンテキストを提供するためにフリーテキストコメントを追加します。
緊急の問題のために、サポートチケットを開くを選択します。
投稿をクリックします。