विनाशकारी कमांड डिटेक्टर (ईए) का उपयोग करना

सारांश

विनाशकारी कमांड डिटेक्टर का उपयोग करते हुए एआई कोडिंग वर्कफ़्लो के दौरान अनपेक्षित डिलीशन के जोखिम को कम करें। डिटेक्टर उन कमांडों का मूल्यांकन करता है जो फाइलें, संसाधन या डेटा हटाते हैं, साथ ही इंटरएक्शन के संदर्भ में।

आप एआई सुरक्षा कोडिंग एजेंट्स नीतियों में डिटेक्टर का उपयोग कर सकते हैं ताकि विनाशकारी कार्यों पर अलर्ट किया जा सके या उन्हें निष्पादन से पहले पूरी तरह से अवरुद्ध किया जा सके।

समझें कि डिटेक्टर संदर्भ का उपयोग कैसे करता है

डिलीशन कमांड एक निर्धारित वर्कफ़्लो का हिस्सा हो सकता है या एआई एजेंट द्वारा परिचित की गई अप्रत्याशित कार्रवाई हो सकती है। कमांड अकेले यह स्थापित नहीं करता कि उपयोगकर्ता ने इसका अनुरोध किया था।

डिस्ट्रक्टिव कमांड्स डिटेक्टर कमांड-पैटर्न मैचिंग को एआई विश्लेषण के साथ जोड़कर मूल्यांकन करता है:

• क्या टूल कॉल विनाशकारी ऑपरेशन को निष्पादित करता है
• ऑपरेशन किन फाइलों, संसाधनों या डेटा को प्रभावित करता है
• क्या उपलब्ध बातचीत यह दिखाती है कि उपयोगकर्ता ने कार्य को स्पष्ट रूप से अनुरोधित या अनुमोदित किया

उदाहरण के लिए, उत्पन्न बिल्ड आर्टिफैक्ट्स को हटाना उन प्रोजेक्ट डायरेक्टरी को हटाने से अलग है जिनमें स्थायी डेटा शामिल है। इसी तरह, त्रुटि का निदान करने के लिए एक एजेंट से पूछना डिलीशन को स्पष्ट रूप से अधिकृत नहीं करता है।

डिटेक्टर पहले संभावित विनाशकारी कमांड की पहचान करता है और उनके प्रभावों की जांच टूल कॉल के संदर्भ में करता है। विनाशकारी के रूप में पहचाने गए कमांड के लिए, यह उपलब्ध बातचीत में उपयोगकर्ता प्राधिकरण की जांच करता है।

जब विश्लेषण एक स्पष्ट अनुरोध या विनाशकारी कार्रवाई के लिए अनुमोदन की पहचान करता है, तो डिटेक्टर का पता नहीं चलता। अभिप्रेरित उद्देश्य या अस्पष्ट प्राधिकरण समान सबूत प्रदान नहीं करते हैं।

यह आपको उन विनाशकारी कार्रवाइयों के लिए नीति प्रवर्तन पर ध्यान केंद्रित करने में मदद करता है जिनका उपयोगकर्ता ने स्पष्ट रूप से अनुरोध नहीं किया है या अनुमोदित किया है।

प्लेग्राउंड में डिटेक्टर का अन्वेषण करें

नीति प्रवर्तन लागू करने से पहले विभिन्न इंटरएक्शन संदर्भों में कमांड का मूल्यांकन कैसे होता है, इसे देखने के लिए प्लेग्राउंड का उपयोग करें।

एक केंद्रित परीक्षण के लिए, केवल विनाशकारी कमांड्स को शामिल करने वाले इंजन प्रोफाइल का उपयोग करें। यह इसे इस डिटेक्टर के लिए परिणाम को संदर्भित करना आसान बनाते हैं।

आपकी परीक्षण इंटरएक्शन में उपयोगकर्ता के अनुरोध और प्रस्तावित टूल कॉल दोनों को शामिल करें। एक सामान्य बातचीत टेक्स्ट में पेस्ट किया गया डिलीशन कमांड उस गतिविधि का प्रतिनिधित्व नहीं करता है जो इसे निष्पादित करने के लिए टूल कॉल करती है।

प्ले ग्राउंड में डिटेक्टर का परीक्षण करने के लिए:

1. नेविगेशन मेनू से AI Security > Playground चुनें।
2. विनाशकारी कमांड्स को शामिल करने वाले इंजन प्रोफाइल को सक्रिय करें।
3. नीचे वर्णित उदाहरण इंटरैक्शन जोड़ें।
   [वार्तालाप संदेशों को दर्ज करने और एक निष्पादनीय टूल कॉल के लिए सत्यापित प्रक्रिया डालें।]
4. रन सिम्युलेटर पर क्लिक करें।
5. जांचें कि क्या प्रोफाइल उल्लंघन को ट्रिगर करता है।
6. उपयोगकर्ता के अनुरोध को बदलें जबकि प्रस्तावित टूल कॉल को अपरिवर्तित रखें, फिर सिमुलेशन को पुनः चलाएं।

[इंटरएक्शन और डिटेक्शन परिणाम दिखाने वाला एक स्क्रीनशॉट डालें।]

सामान्य प्लेग्राउंड वर्कफ़्लो के लिए, प्लेग्राउंड में इंजन प्रोफाइल का परीक्षण करना देखें।

विभिन्न संदर्भों में एक ही क्रिया की तुलना करें

इस खंड में, हम दो परिदृश्यों की समीक्षा करते हैं, एक जिसमें कोडिंग एजेंट द्वारा अवांछित कार्रवाई की गई है और दूसरे में, उपयोगकर्ता द्वारा कुछ हटाने के लिए एक स्पष्ट अनुरोध किया गया है।

पहली इंटरैक्शन में, उपयोगकर्ता अपने गिट रिपोजिटरी की सफाई में सहायता मांगता है। सहायक पूछता है कि क्या अनप्रोमिटेड परिवर्तन छोड़ दिए जाने चाहिए, और "नहीं" कहने के बावजूद, गिट रीसेट का प्रयास करता है (परीक्षण के उद्देश्यों के लिए, सत्र destructive-command-unintended.json के रूप में संलग्न है)।

दूसरी इंटरैक्शन में, उपयोगकर्ता हटाने का नाम और उसका लक्ष्य बताता है। डिटेक्टर इस अनुरोध को प्रमाणिकरण के सबूत के रूप में जांचता है (परीक्षण के उद्देश्यों के लिए, सत्र destructive-command-confirmed.json के रूप में संलग्न है)।

प्रस्तावित क्रिया दोनों मामलों में समान है। वार्तालाप उपयोगकर्ता के इरादे पर विभिन्न प्रमाण प्रदान करता है।

दोनों इंटरैक्शनों को प्लेग्राउंड में चलाएं और परिणामों की तुलना करें। प्रत्येक परिणाम की व्याख्या करते समय उपयोगकर्ता के अनुरोध के साथ कार्रवाई और उसका लक्ष्य की समीक्षा करें।

[उपरोक्त प्रतिक्रियाएँ इन सटीक इंटरैक्शनों के परीक्षण के बाद जोड़ी गईं। उपरोक्त तुलना निर्धारित निर्णय तर्क का उदाहरण देता है।]

कोडिंग एजेंटों की नीति में डिटेक्टर जोड़ें

आप जिस कोडिंग एजेंट गतिविधि को नियंत्रित करना चाहते हैं, उस पर विनाशकारी आदेश लागू करें। नियम द्वारा कवर किए गए उपयोगकर्ताओं, कोडिंग एजेंटों और टूल्स को परिभाषित करें, फिर प्रवर्तन कार्रवाई का चयन करें।

अपने सुरक्षा लक्ष्य के अनुसार कार्रवाई चुनें:

सामान्य नीति वर्कफ़्लो के लिए, Coding Agents Policy को कॉन्फ़िगर करना देखें।