استخدام كاشف الأوامر التدميري (كتجربة القبول)

الملخص

استخدم كاشف الأوامر التدميرية لتقليل خطر الحذف غير المتعمد خلال سير العمل في التشفير بواسطة الذكاء الاصطناعي. يقيم الكاشف الأوامر التي تحذف الملفات أو الموارد أو البيانات، مع مراعاة سياق التفاعل.

يمكنك استخدام الكاشف في سياسات الوكلاء في تشفير الأمان للذكاء الاصطناعي لتنبيه بشأن الأفعال التدميرية أو حظرها تمامًا قبل التنفيذ.

فهم كيفية استخدام الكاشف للسياق

يمكن أن يكون أمر الحذف جزءًا من سير عمل مقصود أو إجراء غير متوقع قدمه وكيل الذكاء الاصطناعي. الأمر وحده لا يثبت ما إذا كان المستخدم طلبه.

يجمع كاشف الأوامر التدميرية بين تطابق نمط الأمر والتحليل الذكي لتقييم:

• ما إذا كان استدعاء الأداة ينفذ عملية تدميرية
• ما الملفات، أو الموارد، أو البيانات التي تؤثر عليها العملية
• إذا كانت المحادثة المتوفرة تظهر أن المستخدم قد طلب أو وافق صراحةً على الفعل

على سبيل المثال، يختلف حذف عناصر بنية مختلفة المنشأ عن حذف مجلد مشروع يحتوي على بيانات دائمة. وبالمثل، فإن طلب الوكيل تشخيص خطأ لا يخول بالضرورة الحذف.

يقوم الكاشف أولاً بتحديد الأوامر المحتملة للتدمير ومراجعة آثارها في سياق استدعاء الأداة. بالنسبة للأوامر المحددة كأوامر تدميرية، فإنه يفحص المحادثة المتاحة للحصول على ترخيص المستخدم.

عندما تحدد التحليل طلبًا صريحًا أو موافقة على الفعل التدميري، يقوم الكاشف بإلغاء الكشف. النوايا الضمنية أو الترخيص الغير واضح لا يوفرون نفس الأدلة.

يساعدك هذا في تركيز تطبيق السياسات على الأفعال التدميرية التي لم يطلبها أو يوافق عليها المستخدم صراحةً.

استكشاف الكاشف في الميدان

استخدم الميدان لاكتشاف كيفية تقييم الكاشف للأوامر في سياقات تفاعل مختلفة قبل تطبيق تنفيذ السياسة.

لإجراء اختبار موجه، استخدم ملف محرك يحتوي فقط على أوامر تدميرية. هذا يجعل من السهل إرجاع النتيجة إلى هذا الكاشف.

تضمن كل من طلب المستخدم واستدعاء الأداة المقترح في تفاعلك الاختباري. الأمر المُلصق في نص المحادثة العادي لا يمثل نفس النشاط كاستدعاء الأداة الذي ينفذها.

لاختبار الكاشف في الميدان:

1. من قائمة التنقل، اختر أمن الذكاء الاصطناعي > الميدان.
2. قم بتفعيل ملف المحرك الذي يحتوي على أوامر تدميرية.
3. أضف التفاعل المثال الموضح أدناه.
   [أدخل الإجراء المحقق لإدخال رسائل المحادثة واستدعاء الأداة القابل للتنفيذ.]
4. انقر تشغيل المحاكي.
5. راجع ما إذا كان الملف يؤدي إلى انتهاك.
6. قم بتغيير طلب المستخدم بينما يبقى استدعاء الأداة المقترح بدون تغيير، ثم شغل المحاكاة مرة أخرى.

[أدخل لقطة شاشة تظهر التفاعل ونتيجة الكشف.]

للتعرف على سير العمل العام في الميدان، انظر اختبار ملفات تعريف المحرك في الملعب.

مقارنة نفس الفعل في سياقات مختلفة

في هذا القسم، نراجع سيناريوهين، في أحدها يوجد فعل غير مقصود من الوكيل البرمجي وفي الآخر، طلب صريح من المستخدم لحذف شيء ما.

في التفاعل الأول، يطلب المستخدم المساعدة لتنظيف مستودعه الخاص بالجيت الخاص به. يسأل المساعد إذا كان يجب تجاهل التغييرات غير الملتزمة، وعلى الرغم من الإجابة بالنفي، يشرع في محاولة تطبيق إعادة تعيين git (لأغراض اختبارية، الجلسة مرفقة كـ destructive-command-unintended.json).

! destructive-command-unintended.png{height="" width=""}

في التفاعل الثاني، يحدد المستخدم اسم الحذف وهدفه. يتحقق الكاشف من هذا الطلب كدليل على المصدر المصرح به (لأغراض اختبارية، الجلسة مرفقة كـ destructive-command-confirmed.json).

! destructive-command-confirmed.png{height="" width=""}

الإجراء المقترح هو نفسه في كلا الحالتين. يوفر الحوار أدلة مختلفة حول ما إذا كان المستخدم قد نوى ذلك.

قم بتشغيل كلا التفاعلين في ساحة اللعب وقارن النتائج. قم بمراجعة الإجراء وهدفه إلى جانب طلب المستخدم عند تفسير كل نتيجة.

قم بإضافة النتائج الملاحظة بعد اختبار هذه التفاعلات بالضبط. التوضيح أعلاه يبين المنطق القراري المنفذ

أضف الكاشف إلى سياسة وكلاء البرمجة

تطبيق الأوامر التدميرية على نشاط الوكيل البرمجي الذي ترغب في تحكمه. حدد المستخدمين والوكلاء البرمجية والأدوات التي يغطيها القاعدة، ثم اختار إجراء التنفيذ.

اختر الإجراء وفقًا لهدف الحماية الخاص بك:

للحصول على سير العمل العام للسياسة، انظر تكوين سياسة الوكلاء البرمجية.