تكوين تكامل بوابة Portkey AI مع أمان Cato AI

إجمال

يتيح لك أمان Cato AI فحص وتطبيق السياسة على حركة مرور AI التي تمر عبر بوابة Portkey AI الحالية. بدلاً من تكوين كل تطبيق بشكل منفصل، يمكنك توصيل البوابة بحارس Cato وتطبيق المراقبة المركزية وحماية البيانات وتطبيق السياسة على حركة مرور البوابة.

يوضح هذا المقال كيفية تكوين تكامل بوابة Portkey AI، ورسم خرائط التطبيقات الداخلية، والتحقق من تنفيذ السياسات في Guard Logging.

المتطلبات الأساسية

قبل البدء، تأكد من تلبية هذه المتطلبات:

• ترخيص أمان AI الذي يدعم حراس بوابة AI

• أذونات الإدارة لـ أمان AI > الحراس و سياسة تفاعل الحراس لأمان AI >

• بوابة Portkey AI المنشورة وتعمل

• الإذن بإعادة تشغيل أو إعادة تحميل بوابة Portkey AI

• معلمات الاتصال لكل تطبيق محلي تريد رسمه

• اختبار التطبيق أو العميل الذي يرسل حركة المرور عبر بوابة AI

• الوصول إلى الشبكة من Portkey إلى https://api.aisec.catonetworks.com

سير العمل الخاص بالتكوين

يتضمن التكامل هذه المراحل:

قم بإنشاء حارس بوابة AI

قم بإنشاء حارس بوابة AI لتحديد نقطة تنفيذ Cato لحركة المرور عبر Portkey.

لإنشاء الحارس:

1. من قائمة التنقل، اختر أمان AI > الحراس.

2. انقر على جديد.

3. في اسم الحارس، أدخل اسمًا للحارس.

   مثال: Portkey-Sample

4. في النوع، اختر بوابة AI.

5. في نوع تكامل بوابة AI، اختر LiteLLM.

6. في مضيف الحارس، اختر سحابة Cato.

7. اترك رسم الخرائط للوكيل المحلي فارغًا.

8. انقر حفظ.

بعد حفظ الحارس، يكون جاهزًا لاستقبال حركة المرور من بوابة Portkey AI. الحارس نشط، ولكنه لا يفرض القواعد حتى تقوم بتكوين قاعدة سياسية.

رسم خرائط للتطبيقات المحلية بعد التحقق من تكامل البوابة.

تكوين Portkey

قم بتكوين Portkey مع تفاصيل اتصال الحارس حتى تتمكن بوابة AI من إرسال حركة المرور إلى Cato للفحص.

استرداد تفاصيل اتصال الحارس

لاسترداد تفاصيل اتصال الحارس:

1. من قائمة التنقل، اختر أمان AI > الحراس.

2. اختر حارس بوابة AI.

3. انسخ تفاصيل الاتصال من تكوين الحارس.

تشمل تفاصيل اتصال الحارس:

• مفاتيح API

• مقطع تكوين حواجز الحرس

• عنوان URL الأساسي لواجهة Cato البرمجية

يستخدم تكوين الحواجز هذه البنية:

curl -i https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is joe@acme.com"}
    ]
  }'

المجالات الرئيسية هي:

قم بتخزين مفتاح API بأمان وتجنب الالتزام به في التحكم بالمصدر. إذا كان نشر نظامك يدعم المتغيرات البيئية أو مدير الأسرار، فاستخدم هذه الطريقة بدلاً من تخزين المفتاح مباشرة في إعدادات Portkey.

تكوين إضافة Cato في Portkey

لإرسال حركة مرور بوابة Portkey AI إلى حارس Cato، قم بتمكين إضافة Cato Networks في إعدادات مؤسستك في Portkey وتكوينها باستخدام تفاصيل نشر الحارس من Cato.

1. في Portkey، انقر فوق إعدادات مؤسستك.

2. انتقل إلى صفحة الإضافات.

3. ابحث عن إضافة Cato Networks.

4. قم بتمكين إضافة Cato Networks.

5. في إعدادات الإضافة، أدخل القيم من صفحة نشر الحارس في Cato:

  - مفتاح API

  - عنوان URL الأساسي لواجهة البرمجة

6. انقر على تحديث.

بعد تمكين الإضافة، يمكن لـ Portkey توثيق نفسه إلى حارس Cato وإرسال مدخلات ومخرجات LLM للتفتيش.

قم بإنشاء حاجز Portkey لـ Cato Networks

بعد تمكين وتكوين إضافة Cato Networks، أنشئ حاجز Portkey الذي يستخدم الإضافة لإرسال مدخلات ومخرجات LLM إلى Cato للفحص.

إذا كنت تريد رؤية لكل تطبيق محلي، أنشئ حاجز Portkey منفصل لكل تطبيق. إذا كنت تحتاج فقط إلى رؤية على مستوى الحارس، يمكنك استخدام حاجز Portkey واحد.

1. في Portkey، انتقل إلى صفحة الحواجز.

2. انقر على إنشاء.

3. في الفحوصات المتاحة، انقر فوق علامة التبويب الشريك.

4. ابحث عن Cato Networks.

5. في بطاقة حاجز Cato Networks، انقر فوق إضافة.

6. أدخل اسمًا للحاجز.

7. انقر حفظ.

اتصل بتطبيق محلي إلى تكوين Portkey ومفتاح API

تستخدم Portkey التكوينات ومفاتيح API لتوجيه حركة المرور عبر حاجز معين. لتطبيق حاجز Cato Traffic على حركة مرور التطبيق المحلي لديك، انسخ معرف الحاجز، وأنشئ تكوينًا يشير إلى الحاجز، ثم أنشئ مفتاح API يستخدم التكوين.

إذا كنت تريد رؤية لكل تطبيق محلي، قم بإنشاء تكوين Portkey منفصل ومفتاح API لكل تطبيق. إذا كنت تحتاج فقط إلى رؤية على مستوى الحارس، يمكنك استخدام تكوين واحد ومفتاح API.

1. في Portkey، اذهب إلى صفحة الحواجز.

2. انسخ معرف حاجز Cato الذي أنشأته.

3. اذهب إلى صفحة التكوينات.

4. انقر على إنشاء.

5. حرر التكوين لتشمل معرف الحاجز في كل من input_guardrails و output_guardrails.

   { "retry": { 
       "attempts": 3 }, 
       "cache": { 
       "mode": "simple" }, 
       "input_guardrails": [ "pg-portke-sampleID" ], 
       "output_guardrails": [ "pg-portke-sampleID" ] 
   }

6. استبدل sampleID بمعرّف الحاجز الذي قمت بنسخه سابقًا.

7. انقر فوق حفظ.

8. انتقل إلى صفحة مفاتيح API.

9. انقر فوق إنشاء جديد.

10. أدخل اسمًا لمفتاح API.

11. اختر التكوين الذي قمت بإنشائه.

12. انقر على إنشاء.

التحقق من حركة مرور البوابة في Cato (اختياري)

استخدم Guard Logging لتأكيد وصول حركة مرور Portkey إلى Cato.

للتحقق من حركة مرور البوابة في Cato:

1. قم بإنشاء حث اختبار من تطبيقك.

2. من قائمة التنقل، اختر أمان AI > مستكشف التفاعل.

3. من القائمة المنسدلة الحارس، قم بتصفية الخيار بحراسك.

4. تأكد أن إدخال السجل يظهر اسم الحارس

في هذه النقطة، يظهر عمود الوكيل المحلي شرطة (-) لكل إدخال. من المتوقع هذا لأنه لا توجد تطبيقات محلية مرسومة حتى الآن.

في هذه المرحلة، يقوم Cato بتسجيل حركة مرور البوابة. بعد رسم خرائط التطبيق، يقوم Cato أيضًا بنسب الحركة إلى التطبيق المحلي المحدد.

رسم خريطة لتطبيق محلي إلى الحارس

في Cato، قم برسم التطبيق التابع باستخدام اسم حاجز Portkey. يمكنك رسم تطبيق محلي من تكوين الحارس أو من تكوين التطبيق المحلي. يستخدم هذا الإجراء تكوين الحارس.

لرسم تطبيق محلي إلى الحارس:

1. من قائمة التنقل، اختر أمان AI > الحراس.

2. اختر حارس بوابة AI.

3. في رسم خرائط الوكيل المحلي، انقر فوق إضافة رسم خرائط.

4. في الوكيل المحلي، حدد التطبيق المحلي.

   مثال: Portkey-sample-1

5. في اسم المفتاح الافتراضي، أدخل اسم حاجز Portkey للتطبيق.

6. انقر حفظ.

التحقق من التخصيص للتطبيق

تحقق أن Cato ينسب حركة مرور البوابة إلى التطبيق المحلي المحدد.

للتحقق من تخصيص التطبيق:

1. أرسل طلب اختبار من التطبيق المحلي المحدد عبر Portkey.

2. من قائمة التنقل، اختر أمان AI > مستكشف التفاعل.

3. صفي العرض حسب الوكيل المحلي المحدد.

   مثال: Portkey-sample-1

4. تأكد أن عمود الوكيل المحلي يظهر التطبيق المحدد.

عند رسم التطبيق بشكل صحيح، يظهر Guard Logging اسم التطبيق بدلاً من الشرطة (-).

قم بتكوين قاعدة سياسة تفاعل الحراس

قم بتكوين قاعدة سياسة تفاعل الحراس لفرض ضوابط أمان AI على حركة مرور LiteLLM المطابقة.

قبل إنشاء القاعدة، افهم كيف يؤثر النطاق في التنفيذ:

لتكوين قاعدة سياسة تفاعل الحراس:

1. من قائمة التنقل، اختر أمان AI > سياسة تفاعل الحراس.

2. انقر على جديد.

3. في الاسم، أدخل اسمًا للقاعدة.

   مثال: حظر PII

4. استخدم مفتاح تمكين لتفعيل القاعدة.

   المفتاح يكون أخضر عندما تكون ممكّنة.

5. في الحراس، اختر حارس بوابة AI.

   مثال: Portkey-sample-1

6. في الوكلاء، اختر التطبيق المحلي المحدد.

   مثال: Portkey-sample-1

7. في بروفايل المحرك، اختر البروفايل المستخدم لاكتشاف المحتوى ذي الصلة.

   مثال: المعرف الشخصي

8. في الإجراء، اختر إجراء التنفيذ.

   مثال: إخفاء الهوية & المراقبة

9. انقر حفظ.

10. اضغط على إرسال.

بعد نشر السياسة وتوزيعها، يتم تطبيق القاعدة على الحركة المطابقة.

تحقق من تطبيق السياسة

تحقق من تطبيق السياسة عن طريق إرسال حركة اختبار تتطابق مع نطاق القاعدة والملف الشخصي للآلية.

للتحقق من تطبيق السياسة:

1. أرسل طلب اختبار من التطبيق المحلي المعين عبر LiteLLM.

2. تضمين محتوى يناسب الملف الشخصي للآلية المختار.

3. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الحراس.

4. اختر حارس بوابة الذكاء الاصطناعي.

5. افتح سجل الحراس.

6. فرز السجلات حسب الوكيل المحلي المعين.

7. أكد أن القواعد المخالفة تعرض قاعدة السياسة.

   مثال: حظر المعلومات الشخصية (PII)

الحركة التي لا تطابق الملف الشخصي للآلية المختار لا تظهر أي قواعد مخترقة وتمر بشكل طبيعي.