概要
アプリケーション向けAIセキュリティは、AIを活用したエクスペリエンスを安全に展開しながら、データへのアクセスと使用のコントロールを維持します。 AIを構築することで、組織が開発し運用するAIシステムを保護し、ガバナンスを強化します。 これは、ジェイルブレイクやプロンプト インジェクションなどの濫用からカスタムAIアプリケーションを保護し、不正なデータアクセスを防ぎ、規制および組織の要件に準拠します。
これらのシステムは通常、社内ユーザー、外部ユーザー、顧客向けに公開されています。例：
従業員が内部知識ベースや企業資料のために使用する内部AIチャットボット
外部顧客向けのチャットボット、例：顧客サポートボット
ビジネスアプリケーションに統合されたAIアシスタント
CRMやERPシステムのような内部データソースに接続されたカスタムAIインターフェース
AI構築はカスタムAIシステムの運用全体を通じた保護と可視性を提供し、次のようなものを含みます：
実行時保護 - 意図的な濫用を防ぐために、AIシステムを実行時に保護することができます。 これには、プロンプトの操作、機密情報の抽出、システムの保護をバイパスする悪意のある試みをブロックすることが含まれます。
モニタリング - ユーザーがAIツールとどのように相互作用しているかを監視し、不適切または意図しない行動を検出することができます。 これにより、悪意がないが内部ポリシーやコンプライアンス要件に違反している可能性のある活動を特定することができます。
アプリケーションによるAIリスク
ユーザーやデータと相互作用するAIシステムは、ユニークなセキュリティ、コンプライアンス、およびガバナンスのリスクをもたらし、次のようなものがあります：
AI特有の攻撃として、プロンプト インジェクション、ジェイルブレイク試行、保護をバイパスするために設計された複数ターンの攻撃があります
データリーケージ - CRMプラットフォームなどに接続されたシステムからの顧客またはビジネスデータの漏洩、もしくは個人識別情報や財務データなどに不正にアクセスすること
コンプライアンス違反 - 生成AIのためのEU AI法などのAIシステムに対する規制要件を満たさないこと
ガバナンスのギャップ - 部門や役割間のセグメンテーションの欠如、または許可されていないデータへのアクセスを獲得するユーザー
使用例
使用例：AIシステムが規制された意思決定を行わないようにする
組織は、従業員が顧客情報、例として財務履歴や申請詳細をレビューする際に支援するための内部AIシステムを構築しています。 規制およびコンプライアンス要件により、AIシステムはユーザーに代わって決定または判断、例としてローンの承認や拒否を行うことは許可されていません。
AI構築は、直接的な決定、推奨、または適格性の結果を生成しないように制御します。 代わりに、AIは文脈上の情報を提供したり、関連データを要約したりすることができますが、最終的な決定は承認された人間ユーザーの責任であることを保証しています。 これにより、組織が規制フレームワークや内部ガバナンスポリシーに準拠しながら、AI支援のワークフローによる利点を享受することが可能になります。