Cato सुरक्षा के साथ LiteLLM AI गेटवे एकीकरण कॉन्फ़िगर करना

"अवलोकन"

Cato AI सुरक्षा, आपके मौजूदा LiteLLM AI गेटवे से प्रवाहित होने वाले AI ट्रैफिक के लिए नीति को निरीक्षण और लागू करने की अनुमति देता है। प्रत्येक एप्लिकेशन को अलग से कॉन्फ़िगर करने के बजाय, आप गेटवे को Cato गार्ड से कनेक्ट करते हैं और गेटवे ट्रैफिक पर केंद्रीकृत निगरानी, डेटा सुरक्षा और नीति प्रवर्तन लागू करते हैं।

यह लेख इस बारे में बताता है कि LiteLLM AI गेटवे एकीकरण को कैसे कॉन्फ़िगर किया जाए, स्वदेशी ऐप्स को मैप किया जाए और गार्ड लॉगिंग में नीति प्रवर्तन को मान्य किया जाए।

पूर्वशर्तें

शुरू करने से पहले, सुनिश्चित करें कि ये आवश्यकताएं पूरी की गई हैं:

• AI सुरक्षा लाइसेंस जो AI गेटवे गार्ड का समर्थन करता है

• AI सुरक्षा > गार्ड्स और AI सुरक्षा > गार्ड्स इंटरैक्शन नीति के लिए व्यवस्थापक अनुमति

• LiteLLM AI गेटवे को डिप्लॉयड और काम कर रहा है

• LiteLLM config.yaml फाइल को संपादित करने की पहुंच

• LiteLLM AI गेटवे को फिर से शुरू या रीलोड करने की अनुमति

• हर होमग्रोन ऐप के लिए LiteLLM वर्चुअल कुंजी और कुंजी उपनाम जिसे आप मैप करना चाहते हैं

• LiteLLM AI गेटवे के माध्यम से ट्रैफिक भेजने वाला टेस्ट ऐप या क्लाइंट

• LiteLLM से https://api.aisec.catonetworks.com तक नेटवर्क तक पहुँच

कॉन्फ़िगरेशन वर्कफ़्लो

इस एकीकरण में ये चरण शामिल हैं:

AI गेटवे गार्ड बनाएं

AI गेटवे गार्ड बनाएं ताकि LiteLLM ट्रैफिक के लिए Cato प्रवर्तन बिंदु को परिभाषित किया जा सके।

गार्ड बनाने के लिए:

1. नेविगेशन मेन्यू से AI सुरक्षा > गार्ड्स चुनें

2. नया पर क्लिक करें

3. गार्ड का नाम में, गार्ड के लिए एक नाम दर्ज करें

   उदाहरण: LiteLLM टेस्ट

4. प्रकार में, AI गेटवे को चुनें

5. AI गेटवे एकीकरण प्रकार में, LiteLLM का चयन करें

6. गार्ड के होस्ट में, Cato के क्लाउड का चयन करें

7. होमग्रोन एजेंट मैपिंग को खाली छोड़ दें

8. सहेजें पर क्लिक करें

गार्ड को सहेजने के बाद, यह LiteLLM AI गेटवे से ट्रैफिक प्राप्त करने के लिए तैयार है। गार्ड सक्रिय है, लेकिन जब तक आप राजनीति नियम को कॉन्फ़िगर नहीं करते, तब तक नियमों को लागू नहीं करता।

गेटवे एकीकरण को मान्य करने के बाद स्वदेशी ऐप्स मैप करें।

LiteLLM को कॉन्फ़िगर करें

LiteLLM को गार्ड कनेक्शन विवरण के साथ कॉन्फ़िगर करें ताकि AI गेटवे निरीक्षण के लिए Cato को ट्रैफिक भेज सके।

गार्ड कनेक्शन विवरण प्राप्त करें

गार्ड कनेक्शन विवरण प्राप्त करने के लिए:

1. नेविगेशन मेन्यू से AI सुरक्षा > गार्ड्स चुनें

2. AI गेटवे गार्ड चुनें

3. गार्ड कॉन्फ़िगरेशन से कनेक्शन विवरण की प्रतिलिपि बनाएं

गार्ड कनेक्शन विवरण शामिल हैं:

• API कुंजियाँ

• LiteLLM गार्डरेल्स कॉन्फ़िगरेशन स्निपेट

• Cato API बेस्ट URL

LiteLLM गार्डरेल्स कॉन्फ़िगरेशन इस संरचना का उपयोग करता है:

guardrails:
  - guardrail_name: cato_networks
    litellm_params:
      guardrail: cato_networks
      mode: [pre_call, post_call]
      api_key: <AI_GATEWAY_API_KEY>
      api_base: "https://api.aisec.catonetworks.com"
      default_on: true

मुख्य फ़ील्ड्स हैं:

API कुंजी को सुरक्षित रूप से संग्रहीत करें और उसे स्रोत नियंत्रण में प्रतिबद्ध करने से बचें। यदि आपका डिप्लॉयमेंट पर्यावरणीय वेरिएबल्स या सीक्रेट्स मैनेजर का समर्थन करता है, तो उस विधि का उपयोग करें, बजाय कुंजी को सीधे config.yaml में संग्रहीत करने के।

LiteLLM कॉन्फ़िगरेशन अपडेट करें

आप अपने LiteLLM डिप्लॉयमेंट के अनुसार सभी LiteLLM ट्रैफ़िक के लिए या विशेष मॉडल परिभाषाओं पर Cato गार्डरेल को लागू कर सकते हैं। नीचे दिया गया उदाहरण ट्रैवल-बॉट-मॉडल पर गार्डरेल को लागू करता है।

LiteLLM कॉन्फ़िगरेशन अपडेट करने के लिए:

1. LiteLLM config.yaml फाइल खोलें

2. प्रासंगिक मॉडल परिभाषा पर Cato गार्डरेल्स कॉन्फ़िगरेशन जोड़ें

3. गार्ड से API कुंजी के साथ प्लेसहोल्डर API कुंजी को बदलें

4. फाइल को सहेजें

5. यदि आपके LiteLLM डिप्लॉयमेंट के लिए आवश्यक हो, तो AI गेटवे को फिर से शुरू करें या रीलोड करें

उदाहरण LiteLLM कॉन्फ़िगरेशन:

model_list:
  - model_name: travel-bot-model
    litellm_params:
      model: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: travel-bot-model
        litellm_params:
          guardrail: cato_networks
          mode: [pre_call, post_call]
          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          api_base: "https://api.aisec.catonetworks.com"
          default_on: true

Cato में गेटवे ट्रैफिक को सत्यापित करें (वैकल्पिक)

गार्ड लॉगिंग का उपयोग करके पुष्टि करें कि LiteLLM ट्रैफिक Cato तक पहुंचता है।

Cato में गेटवे ट्रैफिक को सत्यापित करने के लिए:

1. आपके ऐप से एक टेस्ट प्रॉम्प्ट जनरेट करें।

2. नेविगेशन मेन्यू से AI सुरक्षा > इंटरैक्शन एक्सप्लोरर चुनें

3. गार्ड ड्रॉपडाउन से, अपनी गार्ड के द्वारा चयन को फिल्टर करें।

4. पुष्टि करें कि लॉग एंट्री गार्ड का नाम दिखाता है

इस बिंदु पर, होमग्रोन एजेंट स्तंभ प्रत्येक प्रविष्टि के लिए एक डैश (-) दिखाता है। यह अपेक्षित है क्योंकि अभी तक गार्ड पर कोई स्वदेशी ऐप्स मैप नहीं किए गए हैं।

इस चरण में, Cato गेटवे ट्रैफिक को लॉग करता है। ऐप मैपिंग के बाद, Cato भी विशिष्ट स्वदेशी ऐप के लिए ट्रैफिक का श्रेय देता है।

LiteLLM में गेटवे ट्रैफिक सत्यापित करें (वैकल्पिक)

LiteLLM लॉग का उपयोग करें कि यह पुष्टि करने के लिए कि अनुरोधों को AI गेटवे और Cato गार्ड द्वारा पूर्ण रूप से प्रक्रिया की जाती है।

LiteLLM में एकीकरण को सत्यापित करने के लिए:

1. LiteLLM AI गेटवे के माध्यम से एक परीक्षण अनुरोध भेजें

2. LiteLLM लॉग खोलें

3. पुष्टि करें कि अनुरोध में अपेक्षित मॉडल और प्रदाता रूटिंग शामिल है

4. पुष्टि करें कि अनुरोध सफलतापूर्वक पूरा हुआ

लॉग में शामिल हो सकते हैं:

• मॉडल और प्रदाता रूटिंग

• टोकन गिनती

• अनुरोध की अवधि

• सफलता स्थिति

दोनों Cato गार्ड लॉगिंग और LiteLLM लॉग का उपयोग करके पुष्टि करें कि अनुरोध पूर्ण-से-पूर्ण प्रक्रिया की गई है।

गार्ड को एक स्वदेशी ऐप मैप करें

एक स्वदेशी ऐप मैप करें ताकि Cato Networks AI गेटवे ट्रैफिक को सही ऐप को हो सके।

LiteLLM में, प्रत्येक एप्लिकेशन के लिए एक वर्चुअल कुंजी बनाएं जिसे आप Cato को अलग-अलग पहचानना चाहते हैं।

1. LiteLLM में, वर्चुअल कुंजियाँ पर जाएं

2. अपने गार्ड में जोड़ने के लिए प्रत्येक स्वदेशी ऐप के लिए कुंजी उपनाम की प्रतिलिपि बनाएं

LiteLLM कुंजी उपनाम का उपयोग करके Cato में ऐप को मैप करें। आप गार्ड कॉन्फ़िगरेशन से या होमग्रोन ऐप्स कॉन्फ़िगरेशन से एक स्वदेशी ऐप्स को मैप कर सकते हैं। यह प्रक्रिया गार्ड कॉन्फ़िगरेशन का उपयोग करती है।

गार्ड पर स्वदेशी ऐप को मैप करने के लिए:

1. नेविगेशन मेनू से एआई सुरक्षा > गार्ड्स चुनें।

2. एआई गेटवे गार्ड चुनें

3. होमग्रोन एजेंट मैपिंग में, मैपिंग जोड़ें पर क्लिक करें।

4. होमग्रोन एजेंट में, स्वदेशी ऐप को चुनें

   उदाहरण: ट्रैवलबॉट

5. वर्चुअल कुंजी उपनाम में, ऐप्स के लिए LiteLLM कुंजी उपनाम दर्ज करें

6. सहेजें पर क्लिक करें

ऐप एट्रिब्यूशन को वेरीफाई करें

सुनिश्चित करें कि Cato मैप किए गए स्वदेशी ऐप को गेटवे ट्रैफ़िक को सौंपता है।

ऐप एट्रिब्यूशन को वेरीफाई करने के लिए:

1. मैप किए गए स्वदेशी ऐप के माध्यम से LiteLLM का परीक्षण अनुरोध भेजें।

2. नेविगेशन मेनू से एआई सुरक्षा > इंटरैक्शन एक्सप्लोरर चुनें।

3. मैप किए गए होमग्रोन एजेंट द्वारा दृश्य को फ़िल्टर करें

   उदाहरण: ट्रैवलबॉट

4. सुनिश्चित करें कि होमग्रोन एजेंट कॉलम मैप किए ऐप्स को दिखाता है।

जब ऐप सही ढंग से मैप होता है, तो गार्ड लॉगिंग डैश (-) के बजाय ऐप का नाम दिखाता है।

गार्ड्स इंटरेक्शन पॉलिसी नियम को कॉन्फ़िगर करें

एक गार्ड्स इंटरेक्शन पॉलिसी नियम को मैचिंग LiteLLM ट्रैफ़िक पर एआई सुरक्षा नियंत्रण लागू करने के लिए कॉन्फ़िगर करें।

कोई नियम बनाने से पहले, समझें कि स्कोप प्रवर्तन को कैसे प्रभावित करता है:

गार्ड्स इंटरेक्शन पॉलिसी नियम को कॉन्फ़िगर करने के लिए:

1. नेविगेशन मेनू में, एआई सुरक्षा > गार्ड्स इंटरेक्शन पॉलिसी चुनें।

2. नया पर क्लिक करें।

3. नाम में, नियम के लिए एक नाम दर्ज करें

   उदाहरण: PII ब्लॉक करें

4. नियम सक्षम करने के लिए सक्षम टॉगल का उपयोग करें

   सक्षम होने पर टॉगल हरा होता है।

5. गार्ड्स में, एआई गेटवे गार्ड चुनें

   उदाहरण: LiteLLM परीक्षण

6. एजेंट्स में, मैप किए गए स्वदेशी ऐप को चुनें

   उदाहरण: ट्रैवलबॉट

7. इंजन प्रोफ़ाइल में, सम्बंधित सामग्री का पता लगाने के लिए प्रयोग की गई प्रोफ़ाइल को चुनें

   उदाहरण: व्यक्तिगत पहचानकर्ता

8. क्रिया में, प्रवर्तन कार्रवाई को चुनें

   उदाहरण: अनाम करें & मॉनीटर करें

9. सहेजें पर क्लिक करें

10. प्रकाशित करें पर क्लिक करें।

पॉलिसी प्रकाशित और प्रचारित होने के बाद, नियम मिलते-जुलते ट्रैफ़िक पर लागू होता है।

नीति प्रवर्तन को वेरीफाई करें

पॉलिसी प्रवर्तन को परीक्षण ट्रैफ़िक भेजकर वेरीफाई करें, जो नियम के स्कोप और इंजन प्रोफ़ाइल से मेल खाते हैं।

नीति प्रवर्तन को वेरीफाई करने के लिए:

1. मैप किए गए स्वदेशी ऐप्स के माध्यम से LiteLLM का परीक्षण अनुरोध भेजें।

2. चुनी गई इंजन प्रोफ़ाइल से मेल खाने वाली सामग्री शामिल करें

3. नेविगेशन मेनू से एआई सुरक्षा > गार्ड्स चुनें।

4. एआई गेटवे गार्ड चुनें

5. गार्ड लॉगिंग खोलें।

6. मैप किए गए होमग्रोन एजेंट द्वारा लॉग्स को फ़िल्टर करें

7. सुनिश्चित करें कि उल्लंघन किए गए नियम नीति नियम को दिखाते हैं।

   उदाहरण: PII ब्लॉक करें

जो ट्रैफिक चुनी गई इंजन प्रोफ़ाइल से मेल नहीं खाता है, वह कोई उल्लंघन नियम नहीं दिखाता है और सामान्य रूप से पास हो जाता है।