개요
AI 보안을 위한 앱은 데이터에 대한 접근과 사용을 통제하면서 AI 기반 경험을 안전하게 배포할 수 있도록 합니다. AI You Build는 조직이 개발 및 운영하는 AI 시스템을 보안하고 관리하는 데 도움이 됩니다. 사용자 정의 AI 애플리케이션을 탈옥 및 프롬프트 주입과 같은 남용으로부터 보호하고, 승인되지 않은 클라우드 액세스를 방지하며, 규제 및 조직 요구 사항을 준수합니다.
이 시스템은 일반적으로 내부 사용자, 외부 사용자 또는 고객에게 노출됩니다. 예를 들어:
직원들이 내부 지식 베이스 또는 회사 자료를 위해 사용하는 내부 AI 챗봇
외부 고객 지원 챗봇, 예: 고객 지원 봇
비즈니스 애플리케이션에 통합된 AI 조수
CRM 또는 ERP 시스템과 같은 내부 데이터 소스에 연결된 사용자 정의 AI 인터페이스
AI You Build는 운영 전반에 걸쳐 사용자 정의 AI 시스템에 대한 보호 및 파일 공개 범위를 제공합니다. 이에는 다음이 포함됩니다:
실행 시간 보호 - 실행 중인 AI 시스템을 보호하여 의도적인 악용을 방지할 수 있습니다. 프롬프트를 조작하거나 민감한 정보를 추출하거나 시스템 보호 장치를 우회하려는 악성 시도를 차단합니다.
모니터링 - 사용자가 적절하지 않거나 의도하지 않은 행동을 감지하기 위해 AI 도구와 상호작용하는 방법을 모니터링할 수 있습니다. 이러한 활동이 악성은 아니지만 여전히 내부 정책 또는 준수 요구 사항을 위반할 수 있는 활동을 식별하는 데 도움이 됩니다.
AI 앱이 제기하는 위험
사용자 및 데이터와 상호작용하는 AI 시스템은 보안, 준수, 관리 위험을 초래합니다. 예를 들면:
프롬프트 인젝션, 탈옥 시도 및 보호 장치를 우회하기 위해 설계된 다중 턴 공격과 같은 AI 고유의 공격
고객 또는 비즈니스 데이터가 CRM 플랫폼과 같은 연결된 시스템에서 노출되거나 개인 식별자 및 금융 데이터와 같은 민감한 정보에 대한 승인되지 않은 액세스 발생
EU AI 법령과 같은 생성 AI에 대한 규제 요구 사항을 충족하지 못해 발생하는 준수 위반
부서 또는 역할 간의 분할 부족, 승인되지 않은 데이터에 대한 사용자 접속 가능성
사용 사례
사용 사례: 규제된 결정을 내리지 못하도록 AI 시스템 차단
조직은 고객 정보 검토를 지원하기 위해 직원이 재무 이력이나 애플리케이션 세부 사항을 검토하는 데 도움이 되는 내부 AI 시스템을 구축합니다. 규제 및 준수 요구 사항 때문에 AI 시스템은 대출 승인 또는 거부와 같은 사용자 대신 결정을 내릴 수 없습니다.
AI You Build는 AI가 직접적인 결정, 추천 또는 적격성 결과를 생성하지 못하도록 제어를 강화합니다. 대신 AI는 맥락 정보를 제공하거나 관련 데이터를 요약할 수 있으며, 최종 결정은 승인된 인간 사용자에게 남아 있습니다. 조직이 AI 지원 워크플로의 혜택을 받으면서 규제 프레임워크와 내부 관리 정책을 준수하도록 돕습니다.