Cato AI सुरक्षा के साथ पोर्टकी एआई गेटवे एकीकरण को विन्यस्त करना

"अवलोकन"

Cato AI सुरक्षा आपको एआई ट्रैफ़िक के लिए नीति का निरीक्षण और प्रवर्तन करने की अनुमति देती है, जो आपके मौजूदा पोर्टकी एआई गेटवे के माध्यम से प्रवाहित होता है। प्रत्येक एप्लिकेशन को अलग से विन्यस्त करने के बजाय, आप गेटवे को एक Cato गार्ड के साथ जोड़ते हैं और गेटवे ट्रैफ़िक पर केंद्रीकृत निगरानी, डेटा सुरक्षा और नीति प्रवर्तन लागू करते हैं।

यह लेख बताता है कि पोर्टकी एआई गेटवे एकीकरण को कैसे विन्यस्त किया जाए, घरेलू ऐप्स को मैप किया जाए, और गार्ड लॉगिंग में नीति प्रवर्तन को मान्य किया जाए।

आवश्यक चीजें

शुरू करने से पहले, सुनिश्चित करें कि ये आवश्यकताएँ पूरी की गई हैं:

• ऐसे एआई सुरक्षा लाइसेंस जो एआई गेटवे गार्ड्स का समर्थन करते हैं

• AI सुरक्षा > गार्ड्स और AI सुरक्षा > गार्ड्स इंटरैक्शन नीति के लिए व्यवस्थापक अनुमतियाँ

• तैनात और काम कर रहा पोर्टकी एआई गेटवे

• पोर्टकी एआई गेटवे को पुनः आरंभ करने या रीलोड करने की अनुमति

• आप जो घरेलू ऐप मैप करना चाहते हैं उनके लिए कनेक्शन पैरामीटर्स

• परीक्षण ऐप या क्लाइंट, जो एआई गेटवे के माध्यम से ट्रैफ़िक भेजता है

• पोर्टकी से https://api.aisec.catonetworks.com तक नेटवर्क पहुँच

कॉन्फ़िगरेशन वर्कफ़्लो

इस एकीकरण में ये चरण शामिल हैं:

एआई गेटवे गार्ड बनाएँ

पोर्टकी ट्रैफ़िक के लिए Cato प्रवर्तन बिंदु को परिभाषित करने के लिए एआई गेटवे गार्ड बनाएँ।

गार्ड बनाने के लिए:

1. नेविगेशन मेनू से AI Security > Guards चुनें।

2. नया पर क्लिक करें।

3. Guard Name में, गार्ड के लिए एक नाम दर्ज करें।

   उदाहरण: Portkey-Sample

4. Type में, AI Gateway चुनें।

5. AI Gateway Integration Type में, LiteLLM चुनें।

6. Guard's Host में, Cato's Cloud चुनें।

7. Homegrown Agent Mapping खाली छोड़ें।

8. सहेजें क्लिक करें।

जब आप गार्ड सहेज लेते हैं, तो यह पोर्टकी एआई गेटवे से ट्रैफ़िक प्राप्त करने के लिए तैयार है। गार्ड सक्रिय है, लेकिन नियमों का प्रवर्तन तब तक नहीं करता जब तक आप एक नीति नियम को विन्यस्त नहीं करते।

गेटवे एकीकरण को मान्य करने के बाद घरेलू ऐप्स को मैप करें।

पोर्टकी को विन्यस्त करें

पोर्टकी को गार्ड कनेक्शन विवरण से विन्यस्त करें ताकि एआई गेटवे निरीक्षण के लिए Cato को ट्रैफ़िक भेज सके।

गार्ड कनेक्शन विवरण प्राप्त करें

गार्ड कनेक्शन विवरण प्राप्त करने के लिए:

1. नेविगेशन मेनू से AI Security > Guards चुनें।

2. AI गेटवे गार्ड चुनें।

3. गार्ड कॉन्फ़िगरेशन से कनेक्शन विवरण प्रतिलिपि बनाएं।

गार्ड कनेक्शन विवरण में शामिल हैं:

• APi कुंजियाँ

• गार्डरेल कॉन्फ़िगरेशन स्निपेट

• Cato API बेस URL

गार्डरेल कॉन्फ़िगरेशन इस संरचना का उपयोग करता है:

```
curl -i https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: "\
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is joe@acme.com"}
    ]
  }'```

प्रमुख फ़ील्ड्स हैं:

एपीआई कुंजी को सुरक्षित रूप से स्टोर करें और इसे स्रोत नियंत्रण में कमिट करने से बचें। यदि आपकी परिनियोजन पर्यावरण वेरिएबल्स या गुप्त प्रबंधक का समर्थन करता है, तो पोर्टकी सेटिंग्स में कुंजी को सीधे स्टोर करने के बजाय उस विधि का उपयोग करें।

पोर्टकी में Cato प्लगइन को विन्यस्त करें

पोर्टकी संगठन सेटिंग्स में Cato Networks प्लगइन को सक्रिय करें और Cato से गार्ड परिनियोजन विवरण के साथ इसे विन्यस्त करें ताकि पोर्टकी एआई गेटवे ट्रैफ़िक को Cato गार्ड के पास भेज सके।

1. पोर्टकी में अपनी संगठन सेटिंग्स पर क्लिक करें।

2. Plugins पृष्ठ पर जाएँ।

3. Cato Networks प्लगइन खोजें।

4. Cato Networks प्लगइन को सक्रिय करें।

5. प्लगइन सेटिंग्स में, Cato के गार्ड परिनियोजन पृष्ठ से मान दर्ज करें:

  - API कुंजी

  - API बेस यूआरएल

6. अपडेट पर क्लिक करें।

प्लगइन को सक्षम करने के बाद, पोर्टकी Cato गार्ड में प्रमाणित कर सकता है और निरीक्षण के लिए LLM इनपुट और आउटपुट भेज सकता है।

Cato Networks के लिए पोर्टकी गार्डरेल बनाएँ

Cato Networks प्लगइन को सक्षम और विन्यस्त करने के बाद, एक पोर्टकी गार्डरेल बनाएँ जो निरीक्षण के लिए LLM इनपुट और आउटपुट को Cato में भेजने के लिए प्लगइन का उपयोग करता है।

यदि आप प्रत्येक घरेलू ऐप के लिए दृश्यता चाहते हैं, तो प्रत्येक ऐप के लिए एक अलग पोर्टकी गार्डरेल बनाएँ। यदि आपको केवल गार्ड स्तर पर दृश्यता की आवश्यकता है, तो आप एक ही पोर्टकी गार्डरेल का उपयोग कर सकते हैं।

1. पोर्टकी में, Guardrails पृष्ठ पर जाएँ।

2. बनाएँ पर क्लिक करें।

3. Available Checks में, Partner टैब पर क्लिक करें।

4. Cato Networks की खोज करें।

5. Cato Networks Guardrail कार्ड में, Add पर क्लिक करें।

6. गार्डरेल के लिए एक नाम दर्ज करें।

7. सहेजें क्लिक करें।

घरेलू ऐप को पोर्टकी कॉन्फ़िग और एपीआई कुंजी से कनेक्ट करें

पोर्टकी एक विशिष्ट गार्डरेल के माध्यम से ट्रैफ़िक को रूट करने के लिए कॉन्फ़िग और एपीआई कुंजियों का उपयोग करता है। अपने घरेलू ऐप ट्रैफ़िक पर Cato गार्डरेल लागू करने के लिए गार्डरेल ID को प्रतिलिपि बनाएं, गार्डरेल का संदर्भ देने वाली कॉन्फ़िग बनाएँ और फिर एक एपीआई कुंजी बनाएं जो कॉन्फ़िग का उपयोग करती हो।

यदि आपको प्रत्येक घरेलू ऐप के लिए दृश्यता की आवश्यकता है, तो प्रत्येक ऐप के लिए एक अलग पोर्टकी कॉन्फ़िग और एपीआई कुंजी बनाएँ। यदि आपको केवल गार्ड स्तर पर दृश्यता की आवश्यकता है, तो आप एक ही कॉन्फ़िग और एपीआई कुंजी का उपयोग कर सकते हैं।

1. पोर्टकी में, Guardrails पृष्ठ पर जाएँ।

2. अपने द्वारा बनाए गए Cato गार्डरेल का आईडी कॉपी करें।

3. Configs पृष्ठ पर जाएँ।

4. बनाएँ पर क्लिक करें।

5. input_guardrails और output_guardrails मेंगार्डरिल आईडी शामिल करने के लिए सुविधा संपादित करें।

   { "पुनः प्रयास": { "प्रयास": 3 }, "कैश": { "मोड": "सादा" }, "इनपुट_गार्डरिल्स": [ "pg-portke-sampleID" ], "आउटपुट_गार्डरिल्स": [ "pg-portke-sampleID" ] }

6. SampleID को उस गार्डरिल ID से बदलें जिसे आपने पहले कॉपी किया था।

7. सहेजें पर क्लिक करें।

8. API कुंजियाँ पृष्ठ पर जाएँ।

9. नया बनाएँ पर क्लिक करें।

10. API कुंजी के लिए एक नाम दर्ज करें।

11. वह कॉन्फ़िगरेशन चुनें जिसे आपने बनाया है।

12. बनाएँ पर क्लिक करें।

कैटो में गेटवे ट्रैफ़िक सत्यापित करें (वैकल्पिक)

कैटो तक पहुँचने वाले पोर्टकी ट्रैफिक की पुष्टि करने के लिए गार्ड लॉगिंग का उपयोग करें।

कैटो में गेटवे ट्रैफिक सत्यापित करें:

1. अपनी ऐप से एक परीक्षण प्रॉम्प्ट उत्पन्न करें।

2. नेविगेशन मेनू से, AI सुरक्षा > इंटरैक्शन एक्सप्लोरर चुनें।

3. गार्ड ड्रॉपडाउन से, अपने गार्ड द्वारा चयन को फ़िल्टर करें।

4. लॉग प्रविष्टि पुष्टि करें कि यह गार्ड नाम दिखा रही है।

इस बिंदु पर, प्रत्येक प्रविष्टि के लिए होमग्राउन एजेंट कॉलम में डैश (-) दिखाता है। यह अपेक्षित है क्योंकि कोई होमग्राउन ऐप्स अभी तक गार्ड के लिए मैप नहीं किए गए हैं।

इस चरण में, कैटो गेटवे ट्रैफिक लॉग करता है। ऐप मैपिंग के बाद, कैटो भी ट्रैफिक को विशिष्ट होमग्राउन ऐप तक श्रेय देता है।

गार्ड के लिए एक होमग्राउन ऐप मैप करें

कैटो में पोर्टकी गार्डरिल नाम का उपयोग करते हुए ऐप मैप करें। आप गार्ड कॉन्फ़िगरेशन या होमग्राउन ऐप कॉन्फ़िगरेशन से एक होमग्राउन ऐप को मैप कर सकते हैं। यह प्रक्रिया गार्ड कॉन्फ़िगरेशन का उपयोग करती है।

गार्ड के लिए एक होमग्राउन ऐप मैप करने के लिए:

1. नेविगेशन मेनू से AI सुरक्षा > गार्ड्स चुनें।

2. AI गेटवे गार्ड चुनें।

3. होमग्राउन एजेंट मैपिंग में, मैपिंग जोड़ें पर क्लिक करें।

4. होमग्राउन एजेंट में, होमग्राउन ऐप चुनें।

   उदाहरण: पोर्टकी-सैंपल-1

5. वर्चुअल कुंजी उपनाम में, ऐप के लिए पोर्टकी गार्डरिल नाम दर्ज करें।

6. सहेजें क्लिक करें।

ऐप एट्रिब्यूशन सत्यापित करें

सत्यापित करें कि कैटो गेटवे ट्रैफ़िक को मैप्ड होमग्राउन ऐप को श्रेय देता है।

ऐप एट्रिब्यूशन सत्यापित करने के लिए:

1. पोर्टकी के माध्यम से मैप किए गए होमग्राउन ऐप से एक परीक्षण अनुरोध भेजें।

2. नेविगेशन मेनू से, AI सुरक्षा > इंटरैक्शन एक्सप्लोरर चुनें।

3. मैप किए गए होमग्राउन एजेंट से दृश्य फ़िल्टर करें।

   उदाहरण: पोर्टकी-सैंपल-1

4. पुष्टि करें कि होमग्राउन एजेंट कॉलम मैप किया गया ऐप दिखाता है।

जब ऐप सही रूप से मैप किया हुआ होता है, गार्ड लॉगिंग ऐप का नाम डैश (-) के बजाय दिखाता है।

एक गार्ड्स इंटरैक्शन नीति नियम कॉन्फ़िगर करें

मेल खाने वाले LiteLLM ट्रैफ़िक पर AI सुरक्षा नियंत्रण लागू करने के लिए एक गार्ड्स इंटरैक्शन नीति नियम कॉन्फ़िगर करें।

आप नियम बनाने से पहले, समझें कि स्कोप प्रवर्तन को कैसे प्रभावित करता है:

एक गार्ड्स इंटरैक्शन नीति नियम कॉन्फ़िगर करने के लिए:

1. नेविगेशन मेनू में AI सुरक्षा > गार्ड्स इंटरैक्शन नीति चुनें।

2. नया पर क्लिक करें।

3. नाम में, नियम के लिए एक नाम दर्ज करें।

   उदाहरण: PII ब्लॉक करें

4. उपयोग सक्रिय टॉगल का ताकि आप नियम सक्षम कर सकें।

   सक्षम होने पर टॉगल हरा होता है।

5. गार्ड्स में, AI गेटवे गार्ड चुनें।

   उदाहरण: पोर्टकी-सैंपल-1

6. Agents में, मैप किए गए घरेलू ऐप को चुनें।

   उदाहरण: पोर्टकी-सैंपल-1

7. इंजन प्रोफाइल में, संबंधित सामग्री का पता लगाने के लिए उपयोग किए गए प्रोफाइल का चयन करें।

   उदाहरण: व्यक्तिगत पहचानकर्ता

8. कार्रवाई में, प्रवर्तन कार्रवाई का चयन करें।

   उदाहरण: अज्ञात करें & निगरानी करें

9. सहेजें क्लिक करें।

10. प्रकाशित करें पर क्लिक करें।

नीति के प्रकाशित और प्रसारण के बाद, मिलान ट्रैफ़िक पर नियम लागू किया जाता है।

नीति प्रवर्तन सत्यापित करें

डोमेन नीति सत्यापन के लिए नियम दायरा और इंजन प्रोफाइल से मेल खाती परीक्षण ट्रैफिक भेजें।

नीति प्रवर्तन सत्यापित करने के लिए:

1. मैप की गई स्वनिर्मित ऐप से LiteLLM के माध्यम से परीक्षण अनुरोध भेजें।

2. चुनी गई इंजन प्रोफ़ाइल से मेल खाती सामग्री शामिल करें।

3. नेविगेशन मेनू से एआई सुरक्षा > गार्ड्स चुनें।

4. एआई गेटवे गार्ड चुनें।

5. गार्ड लॉगिंग खोलें।

6. मैप्ड होम-ग्रोन एजेंट द्वारा लॉग को फ़िल्टर करें।

7. पुष्टि करें कि उल्लंघित नियम नीति नियम दिखाता है।

   उदाहरण: पीआईआई अवरुद्ध करें

जो ट्रैफ़िक चुनी गई इंजन प्रोफ़ाइल से मेल नहीं खाता, वह कोई उल्लंघित नियम नहीं दिखाता और सामान्य रूप से गुजरता है।