Press CTRL+K to open search

LiteLLM AI 게이트웨이 통합을 Cato AI 보안과 함께 구성하기

  • 업데이트 날짜 Sep 8, 2026
  • 에 게시됨 Jul 12, 2026
  • 4 읽은 시간(초)
Prev Next

개요

Cato AI 보안을 통해 사용자는 기존 LiteLLM AI 게이트웨이를 통해 흐르는 AI 트래픽의 정책을 검사하고 강제 적용할 수 있습니다. 각 애플리케이션을 개별적으로 구성하는 대신, 게이트웨이를 Cato Guard에 연결하여 중앙 모니터링, 데이터 보호 및 정책 강제 적용을 게이트웨이 트래픽에 적용합니다.

이 문서는 LiteLLM AI 게이트웨이 통합을 구성하고, 자체 개발 애플리케이션을 매핑하며, Guard 로깅에서 정책 강제 적용을 검증하는 방법을 설명합니다.

요구 사항

시작하기 전에 다음 요구 사항이 충족되는지 확인하십시오:

  • AI 게이트웨이 가드를 지원하는 AI 보안 라이센스

  • AI 보안 > 가드 및 AI 보안 > 가드 인터랙션 정책에 대한 관리자 권한

  • 배포 및 작동 중인 LiteLLM AI 게이트웨이

  • LiteLLM config.yaml 파일을 편집할 수 있는 액세스

  • LiteLLM AI 게이트웨이를 다시 시작하거나 재로드할 수 있는 권한

  • 매핑하고자 하는 각 자체 개발 애플리케이션에 대한 LiteLLM 가상 키와 키 별칭

  • LiteLLM AI 게이트웨이를 통해 트래픽을 보내는 테스트 앱 또는 클라이언트

  • LiteLLM에서 https://api.aisec.catonetworks.com로의 네트워크 액세스

구성 워크플로

통합은 다음 단계들을 포함합니다:

스테이징

작업

결과

1

AI 게이트웨이 가드 생성하기

Cato는 가드를 생성하고 LiteLLM에 대한 연결 세부 정보를 제공합니다.

2

LiteLLM 구성

LiteLLM은 AI 트래픽을 Cato로 전송하여 검사를 받습니다.

3

내장 앱 매핑

Cato는 게이트웨이 트래픽을 특정 내장 앱으로 연결합니다.

4

정책 강제 적용 구성

Cato는 AI 보안 정책 규칙을 일치하는 트래픽에 적용합니다.

AI 게이트웨이 가드 생성

LiteLLM 트래픽에 대한 Cato 강제 적용 지점을 정의하기 위해 AI 게이트웨이 가드를 생성합니다.

가드 생성 방법:

  1. 내비게이션 메뉴에서 AI 보안 > 경비를 선택합니다.

  2. 새로 만들기를 클릭합니다

  3. 보호 이름에 가드 이름을 입력합니다.

    예: LiteLLM Test

  4. 유형에서 AI 게이트웨이를 선택합니다.

  5. AI 게이트웨이 통합 유형에서 LiteLLM을 선택합니다.

  6. 가드 호스트에서 Cato의 클라우드를 선택합니다.

  7. 내장 에이전트 매핑을 비워둡니다.

  8. 저장을 클릭하세요

가드를 저장한 후 LiteLLM AI 게이트웨이로부터 트래픽을 받을 준비가 됩니다. 가드는 활성 상태지만 정책 규칙을 구성할 때까지 규칙을 강제하지 않습니다.

게이트웨이 통합을 검증한 후 내장 앱을 매핑합니다.

LiteLLM 구성

AI 게이트웨이가 Cato로 트래픽을 전송할 수 있도록 LiteLLM을 가드 연결 세부 정보로 구성합니다.

가드 연결 세부 정보 가져오기

가드 연결 세부 정보를 가져오기 위해서는:

  1. 내비게이션 메뉴에서 AI 보안 > 경비를 선택합니다.

  2. AI 게이트웨이 가드를 선택합니다.

  3. 목가드 구성에서 연결 세부 정보를 복사합니다.

가드 연결 세부 사항에는 다음이 포함됩니다

  • API 키

  • LiteLLM 가드레일 구성 스니펫

  • Cato API 기본 URL

LiteLLM 가드레일 구성에는 다음 구조가 사용됩니다:

가드레일:
 - 가드레일 이름: cato_networks
 litellm_params:
 가드레일: cato_networks
 모드: [pre_call, post_call]
 api_키: <AI_GATEWAY_API_KEY>
 api_기본: "https://api.aisec.catonetworks.com"
 기본_온: true

핵심 필드는 다음과 같습니다

필드

설명

모드: [pre_call, post_call]

LLM 요청 전 Cato에 프롬프트를 보내고 LLM 응답 후 Cato에 대응을 보냅니다.

api_키

LiteLLM을 Cato Guard에 인증합니다.

기본_온: true

이 LiteLLM 구성으로 커버된 트래픽을 기본적으로 가드를 활성화합니다

API 키를 안전하게 저장하고 소스 제어에 커밋하지 않도록 합니다. 배포가 환경 변수를 지원하거나 비밀 관리자를 지원하는 경우, 키를 직접 config.yaml에 저장하는 대신 그 방법을 사용하십시오.

LiteLLM 구성 업데이트

LiteLLM 배포에 따라 모든 LiteLLM 트래픽에 대해 글로벌하게 Cato 가드레일을 구성하거나 특정 모델 정의에 적용할 수 있습니다. 아래 예시는 가드레일을 travel-bot-model에 적용합니다.

LiteLLM 구성 업데이트 방법:

  1. LiteLLM config.yaml 파일 열기

  2. 관련 모델 정의에 Cato 가드레일 구성을 추가합니다.

  3. 가드에서 API 키를 가져와 placeholder API 키를 변경합니다.

  4. 파일을 저장하십시오

  5. LiteLLM 배포를 위해 AI 게이트웨이를 다시 시작하거나 다시 불러오기합니다.

LiteLLM 구성 예시:

모델 목록:
 - 모델 이름: travel-bot-model
 litellm_params:
 모델: openai/openai.gpt-oss-120b
 api_기본: "https://bedrock-mantle.eu-north-1.api.aws/v1"
 api_키: "[LLM_API_KEY]"
 ssl_검증: false
 가드레일:
 - 가드레일 이름: travel-bot-model
 litellm_params:
 가드레일: cato_networks
 모드: [pre_call, post_call]
 api_키: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
 api_기본: "https://api.aisec.catonetworks.com"
 기본_온: true

Cato에서 게이트웨이 트래픽 확인하기 (선택 사항)

LiteLLM 트래픽이 Cato에 도달했다는 것을 확인하기 위해 가드 로깅을 사용합니다.

Cato에서 게이트웨이 트래픽을 확인하려면:

  1. 앱에서 테스트 프롬프트 생성

  2. 내비게이션 메뉴에서 AI 보안 > 상호작용 탐색기 선택

  3. 가드 드롭다운에서 선택을 필터링하여 가드를 선택합니다.

  4. 로그 항목이 가드 이름을 표시하는지 확인합니다.

이 시점에서 모든 항목에 대해 내장 에이전트 열에 대시 (-)가 표시됩니다. 이는 예상된 결과로, 아직 가드로 매핑된 내장 앱이 없기 때문입니다.

이 단계에서 Cato는 게이트웨이 트래픽을 기록합니다. 앱 매핑 이후, Cato는 특정 내장 앱으로 트래픽을 연결합니다.

LiteLLM에서 게이트웨이 트래픽 확인하기 (선택 사항)

LiteLLM 로그를 사용하여 요청이 AI 게이트웨이와 Cato 가드에 의해 종단 간 처리되었는지 확인합니다.

LiteLLM에서 통합이 성공했는지 확인하려면:

  1. LiteLLM AI 게이트웨이를 통해 테스트 요청 보내기

  2. LiteLLM 로그 열기

  3. 요청에 예상한 모델과 공급자 라우팅이 포함되는지 확인합니다.

  4. 요청이 성공적으로 완료되었는지를 확인합니다.

로그에는 포함될 수 있습니다.

  • 모델과 공급자 라우팅

  • 토큰 수

  • 요청 기간

  • 성공 상태

는 요청이 종단 간 처리되었는지를 확인하기 위해 Cato 가드 로깅과 LiteLLM 로그를 모두 사용합니다.

내장 앱을 가드에 매핑하기

내장 앱을 매핑하여 Cato Networks가 올바른 앱에 AI 게이트웨이 트래픽을 연결할 수 있도록 합니다.

LiteLLM에서 Cato가 개별적으로 식별하기를 원하는 각 애플리케이션에 대해 가상 키를 생성합니다.

  1. LiteLLM에서 가상 키로 이동합니다.

  2. 가드에 추가하려는 각 내장 앱에 대한 키 별칭을 복사합니다.

Cato에서 LiteLLM 키 별칭을 사용하여 앱을 매핑합니다. 가드 구성 또는 내장 앱 구성에서 내장 앱을 매핑할 수 있습니다. 이 절차는 가드 구성을 사용합니다.

내장 앱을 가드에 매핑하려면:

  1. 내비게이션 메뉴에서 AI 보안 > 경비를 선택합니다.

  2. AI 게이트웨이 가드를 선택합니다.

  3. 내장 에이전트 매핑에서 매핑 추가를 클릭합니다.

  4. 내장 에이전트에서 내장 앱을 선택합니다.

    예: TravelBot

  5. 가상 키 별칭에 앱에 대한 LiteLLM 키 별칭을 입력합니다.

  6. 저장을 클릭하세요

앱 속성 확인

Cato가 매핑된 내장 앱에 게이트웨이 트래픽을 연결했는지 확인합니다.

앱 속성을 확인하려면:

  1. 매핑된 내장 앱에서 LiteLLM을 통해 테스트 요청 송신

  2. 내비게이션 메뉴에서 AI 보안 > 상호작용 탐색기 선택

  3. 매핑된 내장 에이전트로 보기를 필터링합니다.

    예: TravelBot

  4. 내장 에이전트 열에 매핑된 앱이 표시되는지 확인합니다.

응용 프로그램이 올바르게 매핑되면 Guard 로깅은 대시(-) 대신 앱 이름을 표시합니다.

Guard 상호 작용 정책 규칙 구성

LiteLLM 트래픽에 대한 AI 보안 제어 적용을 위해 Guard 상호 작용 정책 규칙 구성합니다.

규칙을 만들기 전에, 범위가 강제 적용에 미치는 영향을 이해하십시오.

범위

강제 적용 행동

Guard만

선택된 AI 게이트웨이 Guard를 통해 모든 트래픽에 적용됩니다.

특정 자체 개발 에이전트

선택된 자체 개발 앱의 트래픽에만 적용됩니다.

Guard 상호 작용 정책 규칙을 구성하려면

  1. 네비게이션 메뉴에서 AI 보안 > Guards Interaction Policy를 선택합니다.

  2. 새로 만들기를 클릭합니다.

  3. 이름에서 규칙의 이름을 입력합니다.

    예시: Block PII

  4. 활성화됨 토글을 사용하여 규칙을 활성화하십시오

    활성화되면 토글이 녹색으로 표시됩니다．

  5. Guards에서 AI 게이트웨이 Guard를 선택합니다.

    예시: LiteLLM Test

  6. 에이전트에서 매핑된 자체 개발 앱을 선택합니다.

    예시: TravelBot

  7. 엔진 프로필에서 관련 콘텐츠를 감지하는 데 사용되는 프로필을 선택합니다.

    예시: 개인 식별자

  8. 작업에서 강제 적용 작업을 선택합니다.

    예시: 익명화 & 모니터

  9. 저장을 클릭하세요

  10. 게시를 클릭합니다.

정책이 게시되고 전파된 후, 규칙은 일치하는 트래픽에 강제 적용됩니다.

정책 강제 적용 확인

규칙 범위와 엔진 프로필과 일치하는 테스트 트래픽을 전송하여 정책 강제 적용을 확인합니다.

정책 강제 적용을 확인하려면

  1. 매핑된 자체 개발 앱에서 LiteLLM을 통해 테스트 요청을 전송합니다.

  2. 선택한 엔진 프로필과 일치하는 콘텐츠를 포함하십시오.

  3. 네비게이션 메뉴에서 AI 보안 > Guards를 선택합니다.

  4. AI 게이트웨이 Guard를 선택합니다.

  5. 경비 로깅을 엽니다.

  6. 매핑된 자체 개발 에이전트로 로그를 필터링합니다.

  7. 위반된 규칙이 정책 규칙을 표시하는지 확인합니다.

    예시: Block PII

선택된 엔진 프로필과 일치하지 않는 트래픽은 위반된 규칙을 표시하지 않고 정상적으로 통과합니다.

관련 기사