تكوين تكامل بوابة LiteLLM AI مع أمن Cato AI

الملخص

يتيح لك أمن Cato AI تفتيش وتطبيق السياسات لحركة المرور التي تمر عبر بوابة LiteLLM AI الموجودة لديك. بدلاً من تكوين كل تطبيق بشكل منفصل، يمكنك توصيل البوابة بـ Cato Guard وتطبيق المراقبة المركزية وحماية البيانات وتطبيق السياسة على حركة مرور البوابة.

تشرح هذه المقالة كيفية تكوين تكامل بوابة LiteLLM AI، ورسم التطبيقات المنزلية، والتحقق من تطبيق السياسة في تسجيل الحماية.

المتطلبات السابقة

قبل أن تبدأ، تأكد من تلبية المتطلبات التالية:

• ترخيص أمان AI يدعم حراس بوابة AI

• أذونات المسؤول لـ AI Security > Guards و AI Security > Guards Interaction Policy

• بوابة LiteLLM AI مثبتة وتعمل

• الوصول إلى تحرير ملف config.yaml الخاص بـ LiteLLM

• إذن لإعادة تشغيل أو إعادة تحميل بوابة LiteLLM AI

• مفتاح افتراضي LiteLLM واسم مستعار لكل تطبيق محلي تريد خريطته

• تطبيق اختبار أو عميل يرسل حركة مرور عبر بوابة LiteLLM AI

• الوصول الشبكي من LiteLLM إلى https://api.aisec.catonetworks.com

سير عمل التكوين

يشمل التكامل هذه المراحل:

إنشاء الحارس بوابة الذكاء الاصطناعي

إنشاء حارس بوابة الذكاء الاصطناعي لتحديد نقطة تنفيذ كاتو لحركة مرور LiteLLM.

لإنشاء الحارس:

1. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الحراس

2. اضغط على جديد

3. في اسم الحارس، أدخل اسمًا للحارس

   مثال: LiteLLM Test

4. في نوع، اختر بوابة ذكاء اصطناعي

5. في نوع تكامل بوابة ذكاء اصطناعي، اختر LiteLLM

6. في مضيف الحارس، اختر سحابة كاتو

7. اترك تخطيط وكيل محلي فارغًا

8. انقر على حفظ

بعد حفظ الحارس، يصبح جاهزًا لاستقبال حركة المرور من بوابة الذكاء الاصطناعي LiteLLM. يكون الحارس نشطًا، ولكنه لا يفرض القواعد حتى يتم تكوين قاعدة سياسة.

خطط التطبيقات المحلية بعد التحقق من تكامل البوابة.

تكوين LiteLLM

تكوين LiteLLM مع تفاصيل اتصال الحارس لكي تُرسَل حركة البوابة إلى كاتو للتفتيش.

استرد تفاصيل اتصال الحارس

لاسترداد تفاصيل اتصال الحارس:

1. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الحراس

2. اختر حارس بوابة الذكاء الاصطناعي

3. انسخ تفاصيل الاتصال من تكوين الحارس

تشمل تفاصيل اتصال الحارس:

• مفاتيح API

• قصاصة تكوين قواعد LiteLLM

• عنوان URL الأساسي لواجهة برمجة كاتو

تستخدم تركيبة قواعد LiteLLM هذه الهيكلية:

خطوط الأمان:
 - اسم خط الأمان: cato_networks
 بارامترات ليتيل إم:
 خط الأمان: cato_networks
 - وضع التشغيل: [قبل الاتصال, بعد الاتصال]
 - مفتاح API: 
 - عنوان قاعدة API : "https://api.aisec.catonetworks.com"
 - التفعيل الافتراضي: true

الحقول الرئيسية هي:

احفظ مفتاح API بشكل آمن وتجنب الإلتزام به في التحكم المصدر. إذا كانت نشراتك تدعم المتغيرات البيئية أو مدير الأسرار، فاستخدم هذه الطريقة بدلاً من حفظ المفتاح مباشرة في config.yaml.

تحديث تكوين LiteLLM

يمكنك تكوين حاجز كاتو عالميًا لجميع حركة LiteLLM أو تطبيقه على تعريفات النموذج المحددة، اعتمادًا على نشرات LiteLLM الخاصة بك. التطبيق أدناه يُطبق الحاجز على travel-bot-model.

لتحديث تكوين LiteLLM:

1. افتح ملف LiteLLM config.yaml

2. أضف تكوين خطوط حماية كاتو إلى تعريف النموذج ذي الصلة

3. استبدل المفتاح API النِّموذجي بالمفتاح API من الحارس

4. احفظ الملف

5. أعد تشغيل أو تحديث بوابة الذكاء الاصطناعي إذا تطلب نشر LiteLLM الخاص بك

تكوين مثال LiteLLM:

قائمة النماذج:
 - اسم النموذج: travel-bot-model
 بارامترات ليتيل إم:
 النموذج: openai/openai.gpt-oss-120b
 - عنوان قاعدة API: "https://bedrock-mantle.eu-north-1.api.aws/v1"
 - مفتاح API: "[LLM_API_KEY]"
 - التحقق من SSL: خاطئة
 - خطوط حماية:
 - اسم خط الحماية: travel-bot-model
 بارامترات ليتيل إم:
 خط الحماية: cato_networks
 - وضع التشغيل: [قبل الاتصال, بعد الاتصال]
 - مفتاح API: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
 - عنوان قاعدة API : "https://api.aisec.catonetworks.com"
 - التفعيل الافتراضي: true

التحقق من حركة مرور البوابة في كاتو (اختياري)

استخدم الحفظ في الحارس لتأكيد وصول حركة مرور LiteLLM إلى كاتو.

للتحقق من حركة مرور البوابة في كاتو:

1. إنشاء محث اختبار من تطبيقك.

2. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > مستكشف التفاعل

3. من القائمة المنسدلة حارس، صنف الاختيار حسب حارسك.

4. تأكد من أن إدخال السجل يعرض اسم الحارس

في هذه النقطة، يعرض العمود وكيل مبني محلّيًا شرطة (-) لكل إدخال. هذا متوقع لأنه لم يتم ربط أي تطبيقات محلية بالحارس حتى الآن.

في هذه المرحلة، تسجل كاتو حركة مرور البوابة. بعد تخطيط التطبيقات، تعزو كاتو أيضًا حركة المرور إلى التطبيق المحلي المحدد.

التحقق من حركة البوابة في LiteLLM (اختياري)

استخدم سجلات LiteLLM لتأكيد معالجة الطلبات من البداية إلى النهاية بواسطة بوابة الذكاء الاصطناعي وحارس كاتو.

للتحقق من التكامل في LiteLLM:

1. أرسل طلب اختبار من خلال بوابة الذكاء الاصطناعي LiteLLM

2. افتح سجلات LiteLLM

3. تأكد من أن الطلب يتضمن النموذج المتوقع وتوجيه المزود

4. تأكد من اكتمال الطلب بنجاح

يمكن أن تتضمن السجلات:

• النموذج وتوجيه المزود

• عدد الرموز

• مدة الطلب

• حالة النجاح

استخدم كل من سجلات حارس كاتو وسجلات LiteLLM لتأكيد معالجة الطلبات من البداية إلى النهاية.

ربط تطبيق مبني محليًا بالحارس

ربط تطبيق محلي بحيث يمكن لشبكات كاتو عزو حركة مرور بوابة الذكاء الاصطناعي إلى التطبيق الصحيح.

في LiteLLM، أنشئ مفتاحًا افتراضيًا لكل تطبيق تريد كاتو أن تحدده بشكل منفصل.

1. في LiteLLM، انتقل إلى المفاتيح الافتراضية

2. انسخ الاسم المستعار للمفتاح لكل تطبيق محلي تريد إضافته إلى حارسك

في كاتو، قم بربط التطبيق باستخدام الاسم المستعار للمفتاح LiteLLM. يمكنك ربط تطبيق محلي من تكوين الحارس أو من تكوين التطبيق المحلي. يستخدم هذا الإجراء تكوين الحارس.

لربط تطبيق محلي بالحارس:

1. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الحراس

2. اختر حارس بوابة الذكاء الاصطناعي

3. في تكامل الوكيل المحلي، انقر على إضافة تكامل

4. في الوكيل المحلي، اختر التطبيق المحلي

   مثال: TravelBot

5. في اسم مستعار للمفتاح الافتراضي، أدخل الاسم المستعار لمفتاح LiteLLM للتطبيق

6. انقر فوق حفظ

توثيق عزو التطبيق

التحقق من أن كاتو يعزو حركة مرور بوابة الذكاء الاصطناعي إلى التطبيق المحلي المُربط.

للتحقق من عزو التطبيق:

1. أرسل طلب اختبار من التطبيق المحلي المرتبط عبر LiteLLM

2. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > مستكشف التفاعل

3. صنف العرض حسب الوكيل المحلي المقترن

   مثال: TravelBot

4. تأكد من أن عمود الوكيل المحلي يعرض التطبيق المرتبط

عند تعيين التطبيق بشكل صحيح، يعرض سجل الحراسة اسم التطبيق بدلاً من شرطة (-).

تهيئة قاعدة سياسة التفاعل للحراس

تهيئة قاعدة سياسة التفاعل للحراس لفرض ضوابط أمان الذكاء الاصطناعي على حركة مرور LiteLLM المتطابقة.

قبل إنشاء قاعدة، افهم كيف يؤثر النطاق على التنفيذ:

لتهيئة قاعدة سياسة التفاعل للحراس:

1. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > سياسة تفاعل الحراس

2. اضغط على جديد

3. في الاسم، أدخل اسمًا للقاعدة

   مثال: حجب المعلومات الشخصية

4. استخدم مفتاح تمكين لتفعيل القاعدة

   المفتاح يكون أخضر عندما تكون ممكّنة.

5. في الحراس، حدد حارس بوابة الذكاء الاصطناعي

   مثال: اختبار LiteLLM

6. في الوكلاء، حدد التطبيق المحلي المعين

   مثال: TravelBot

7. في ملف المحرك، حدد الملف الشخصي المستخدم للكشف عن المحتوى ذي الصلة

   مثال: معرف شخصي

8. في الإجراء، حدد إجراء التنفيذ

   مثال: إخفاء الهوية & المراقبة

9. انقر فوق حفظ

10. اضغط على إرسال

بعد نشر السياسة وانتشارها، تُفرض القاعدة على الحركة المرورية المطابقة.

التأكد من تطبيق السياسة

تحقق من تطبيق السياسة عن طريق إرسال حركة مرور اختبارية تطابق نطاق القاعدة وملف المحرك.

للتحقق من تطبيق السياسة:

1. أرسل طلب اختبار من التطبيق المحلي المعين عبر LiteLLM

2. تضمين محتوى يطابق ملف محرك محدد

3. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الحراس

4. اختر حارس بوابة الذكاء الاصطناعي

5. افتح سجل الحارس

6. صفي السجلات حسب الوكيل المحلي المعين

7. تأكد من أن القواعد المخالفة تعرض قاعدة السياسة

   مثال: حجب المعلومات الشخصية

الحركة المرورية التي لا تتطابق مع ملف المحرك المحدد لا تظهر أي قواعد مخالفة وتمر بشكل طبيعي.