একটি পোর্টকি AI গেটওয়ে ইন্টিগ্রেশন কনফিগার করুন Cato AI নিরাপত্তার সাথে

সারসংক্ষেপ

Cato AI নিরাপত্তা আপনাকে আপনার বিদ্যমান পোর্টকি AI গেটওয়ের মাধ্যমে প্রবাহিত AI ট্রাফিকের জন্য নীতি পরিদর্শন এবং প্রয়োগ করতে দেয়। প্রতিটি অ্যাপ্লিকেশনকে আলাদাভাবে কনফিগার করার পরিবর্তে আপনি গেটওয়েকে একটি Cato গার্ডের সাথে সংযুক্ত করুন এবং কেন্দ্রীয় মনিটরিং, ডেটা সুরক্ষা, এবং গেটওয়ে ট্রাফিকের জন্য নীতি প্রয়োগ করুন।

এই নিবন্ধটি ব্যাখ্যা করে কিভাবে একটি পোর্টকি AI গেটওয়ে ইন্টিগ্রেশন কনফিগার করতে হয়, নিজস্ব তৈরি অ্যাপগুলি ম্যাপিং করতে এবং গার্ড লগিংয়ে নীতি প্রয়োগের যাচাই করতে।

প্রয়োজনীয় শর্ত

শুরু করার আগে নিশ্চিত করুন এই প্রয়োজনীয়তাগুলি পূরণ হয়েছে:

• AI সিকিউরিটি লাইসেন্স যা AI গেটওয়ে গার্ডসমূহকে সমর্থন করে

• অ্যাডমিন অনুমতিসমূহের জন্য AI Security > Guards এবং AI Security > Guards Interaction Policy

• প্রয়োগ করা হয়েছে এবং কর্মরত পোর্টকি AI গেটওয়ে

• পোর্টকি AI গেটওয়েকে পুনরায় চালু বা রিলোড করার অনুমতি

• প্রতিটি নিজস্ব তৈরি অ্যাপের জন্য সংযোগ প্যারামিটার ম্যাপ করতে চান

• এআই গেটওয়ে দিয়ে ট্রাফিক প্রেরণকারী টেস্ট অ্যাপ বা ক্লায়েন্ট

• পোর্টকি থেকে https://api.aisec.catonetworks.com এর নেটওয়ার্ক অ্যাক্সেস

কনফিগারেশন কর্মপ্রবাহ

ইন্টিগ্রেশন এই ধাপগুলি অন্তর্ভুক্ত করে:

AI গেটওয়ে গার্ডটি তৈরি করুন

পোর্টকি ট্রাফিকের জন্য Cato প্রয়োগ বিন্দু সংজ্ঞায়িত করতে একটি AI গেটওয়ে গার্ড তৈরি করুন।

গার্ড তৈরি করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Guards.

2. নতুন এ ক্লিক করুন।

3. Guard Name এ, গার্ডের জন্য একটি নাম লিখুন।

   উদাহরণ: Portkey-Sample

4. Type এ, AI Gateway নির্বাচন করুন।

5. AI Gateway Integration Type এ, LiteLLM নির্বাচন করুন।

6. Guard's Host এ, Cato's Cloud নির্বাচন করুন।

7. Homegrown Agent Mapping খালি রাখুন।

8. সংরক্ষণ করুন চেপে।

আপনি যখন গার্ড সংরক্ষণ করেন, এটি পোর্টকি AI গেটওয়ে থেকে ট্রাফিক পাওয়ার জন্য প্রস্তুত। গার্ড সক্রিয় আছে, তবে নীতি নিয়ম কনফিগার না করা পর্যন্ত এটি নিয়ম প্রয়োগ করে না।

গেটওয়ে ইন্টিগ্রেশন যাচাই করার পরে নিজস্ব তৈরি অ্যাপগুলি ম্যাপ করুন।

পোর্টকি কনফিগার করুন

গার্ড সংযোগের বিবরণের সাথে পোর্টকি কনফিগার করুন যাতে AI গেটওয়ে ট্রাফিক Cato এর জন্য পরিদর্শনের জন্য পাঠাতে পারে।

গার্ড সংযোগের বিবরণ পুনরুদ্ধার করুন

গার্ড সংযোগের বিবরণ পুনরুদ্ধার করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Guards.

2. AI গেটওয়ে গার্ড নির্বাচন করুন।

3. গার্ড কনফিগারেশন থেকে সংযোগের বিবরণ অনুলিপি করুন।

গার্ড সংযোগ বিবরণ অন্তর্ভুক্ত করে:

• API কী

• গার্ডরেল কনফিগারেশন স্নিপেট

• Cato API বেস URL

গার্ডরেলের কনফিগারেশন এই কাঠামো ব্যবহার করে:

curl -i https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: <PORTKEY_API_KEY>"\
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is joe@acme.com"}
    ]
  }'

মুখ্য ক্ষেত্র হল:

API কী নিরাপদে সংরক্ষণ করুন এবং এটি সরাসরি সোর্স কন্ট্রোলে জমা দেওয়া এড়িয়ে চলুন। যদি আপনার ডিপ্লয়মেন্ট পরিবেশ ভেরিয়েবল বা গোপন ম্যানেজার সমর্থন করে, সরাসরি পোর্টকি সেটিংসে কী সংরক্ষণের পরিবর্তে সেই পদ্ধতি ব্যবহার করুন।

পোর্টকিতে Cato প্লাগিন কনফিগার করুন

পোর্টকি AI গেটওয়ে ট্রাফিক Cato গার্ডে পাঠাতে, আপনার পোর্টকি সংস্থার সেটিংসে Cato Networks প্লাগিন সক্রিয় করুন এবং Cato থেকে গার্ড ডিপ্লয়মেন্টের বিবরণ দিয়ে এটি কনফিগার করুন।

1. পোর্টকিতে, আপনার সংস্থার সেটিংস ক্লিক করুন।

2. Plugins পৃষ্ঠায় যান।

3. Cato Networks প্লাগিনের জন্য অনুসন্ধান করুন।

4. Cato Networks প্লাগিন সক্রিয় করুন।

5. প্লাগিনের সেটিংসে যান, Cato থেকে গার্ড ডিপ্লয়মেন্ট পৃষ্ঠায় মানগুলি প্রবেশ করান:

  - API কী

  - API বেস URL

6. আপডেট এ ক্লিক করুন।

প্লাগিন সক্রিয় হওয়ার পরে, পোর্টকি Cato গার্ডে প্রমাণীকরণ করতে পারে এবং পরিদর্শনের জন্য LLM ইনপুট এবং আউটপুট পাঠাতে পারে।

Cato Networks এর জন্য একটি পোর্টকি গার্ড্রেল তৈরি করুন

আপনি Cato Networks প্লাগিন সক্রিয় এবং কনফিগার করার পরে, পোর্টকি গার্ড্রেল তৈরি করুন যা প্লাগিন ব্যবহার করে ইনপুট এবং আউটপুট Cato এর জন্য পাঠায়।

আপনি যদি প্রতিটি নিজস্ব তৈরি অ্যাপের জন্য দৃশ্যমানতা চান, প্রতিটি অ্যাপের জন্য আলাদা পোর্টকি গার্ড্রেল তৈরি করুন। আপনি যদি কেবল গার্ড স্তরে দৃশ্যমানতা প্রয়োজন শুধুমাত্র একটি পোর্টকি গার্ড্রেল ব্যবহার করতে পারেন।

1. পোর্টকিতে, Guardrails পৃষ্ঠায় যান।

2. তৈরি করুন ক্লিক করুন।

3. Available Checks এ, Partner ট্যাব ক্লিক করুন।

4. Cato Networks এর জন্য অনুসন্ধান করুন।

5. Cato Networks Guardrail কার্ডে, Add ক্লিক করুন।

6. গার্ড্রেলের জন্য একটি নাম লিখুন।

7. সংরক্ষণ করুন চেপে।

একটি পোর্টকি কনফিগ এবং API কীতে নিজস্ব তৈরি অ্যাপটি সংযুক্ত করুন

পোর্টকি একটি নির্দিষ্ট গার্ড্রেলের মাধ্যমে ট্রাফিক রাউট করতে কনফিগ এবং API কী ব্যবহার করে। আপনার নিজস্ব তৈরি অ্যাপ ট্রাফিকের জন্য Cato গার্ড্রেল প্রয়োগ করতে, গার্ড্রেল ID অনুলিপি করুন, গার্ড্রেলকে উল্লেখ করা একটি কনফিগ তৈরি করুন এবং পরে কনফিগ ব্যবহার করা একটি API কী তৈরি করুন।

আপনি যদি প্রতিটি নিজস্ব তৈরি অ্যাপের জন্য দৃশ্যমানতা চান, তাহলে প্রতিটি অ্যাপের জন্য আলাদা পোর্টকি কনফিগ এবং API কী তৈরি করুন। আপনি যদি কেবল গার্ড স্তরে দৃশ্যমানতা প্রয়োজন, আপনি একটি একক কনফিগ এবং API কী ব্যবহার করতে পারেন।

1. পোর্টকিতে, Guardrails পৃষ্ঠায় যান।

2. আপনি যে Cato গার্ড্রেল তৈরি করেছেন তার ID অনুলিপি করুন।

3. Configs পৃষ্ঠায় যান।

4. তৈরি করুন ক্লিক করুন।

5. কনফিগ সম্পাদনা করুন যাতে input_guardrails এবং output_guardrails উভয়েই গার্ড্রেল ID অন্তর্ভুক্ত করা হয়।

   { "retry": { 
       "attempts": 3 }, 
       "cache": { 
       "mode": "simple" }, 
       "input_guardrails": [ "pg-portke-sampleID" ], 
       "output_guardrails": [ "pg-portke-sampleID" ] 
   }

6. আপনি পূর্বে অনুলিপি করা গার্ড্রেল ID দিয়ে sampleID প্রতিস্থাপন করুন।

7. সংরক্ষণ করুন চাপ দিন।

8. API Keys পৃষ্ঠায় যান।

9. Create New ক্লিক করুন।

10. API কী জন্য একটি নাম লিখুন।

11. আপনি যে কনফিগ তৈরি করেছেন তা নির্বাচন করুন।

12. তৈরি করুন ক্লিক করুন।

Cato এ গেটওয়ে ট্রাফিক যাচাই করুন (ঐচ্ছিক)

গার্ড লগিং ব্যবহার করে নিশ্চিত করুন যে পোর্টকি ট্রাফিক Cato এ পৌঁছেছে।

Cato এ গেটওয়ে ট্রাফিক যাচাই করতে:

1. আপনার অ্যাপ থেকে একটি টেস্ট প্রম্পট তৈরি করুন।

2. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Interaction Explorer.

3. Guard ড্রপডাউন থেকে বিকল্পটি আপনার গার্ড দ্বারা ফিল্টার করুন।

4. লগ এন্ট্রি গার্ড নাম দেখায় তা নিশ্চিত করুন

এপ পরিপূর্ণতা স্তম্ভটি এই প্রবেশের জন্য হাইফেন (-) দেখায়। এটি প্রত্যাশিত কারণ কোন নিজস্ব তৈরি অ্যাপ এখনও গার্ডে ম্যাপ করা নেই।

এই পর্যায়ে, Cato গেটওয়ে ট্রাফিক লগ করে। অ্যাপ ম্যাপিংয়ের পরে Cato নির্দিষ্ট নিজস্ব তৈরি অ্যাপের জন্য ট্রাফিকে স্থাপন করে।

গার্ডে নিজস্ব তৈরি অ্যাপ ম্যাপ করুন

Cato এ, পোর্টকি গার্ডরেল name ব্যবহার করে অ্যাপ ম্যাপ করুন। আপনি গার্ড কনফিগারেশন বা নিজস্ব তৈরি অ্যাপ কনফিগারেশন থেকে একটি নিজস্ব তৈরি অ্যাপ ম্যাপ করতে পারেন। এই পদ্ধতি গার্ড কনফিগারেশন ব্যবহার করে।

গার্ডে নিজস্ব তৈরি অ্যাপ ম্যাপ করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Guards.

2. AI গেটওয়ে গার্ড নির্বাচন করুন।

3. Homegrown Agent Mapping এ, Add Mapping ক্লিক করুন।

4. Homegrown Agent এ, নিজস্ব তৈরি অ্যাপ নির্বাচন করুন।

   উদাহরণ: Portkey-sample-1

5. Virtual Key Alias এ, অ্যাপের জন্য পোর্টকি গার্ডরেল name প্রবেশ করুন।

6. সংরক্ষণ করুন চেপে।

অ্যাপ প্রতিষ্ঠাপন যাচাই করুন

গার্ডরেল ম্যাপ করা নিজস্ব তৈরি অ্যাপের গেটওয়ে ট্রাফিকের প্রতিষ্ঠাপন Cato যাচাই করুন।

অ্যাপ প্রতিষ্ঠাপন যাচাই করতে:

1. পোর্টকি মাধ্যমে ম্যাপ করা নিজস্ব তৈরি অ্যাপ থেকে একটি টেস্ট অনুরোধ পাঠান।

2. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Interaction Explorer.

3. ম্যাপ করা Homegrown Agent দ্বারা ভিউ ফিল্টার করুন।

   উদাহরণ: Portkey-sample-1

4. Homegrown Agent স্তম্ভ ম্যাপ করা অ্যাপ দেখায় তা নিশ্চিত করুন।

অ্যাপ যথাযথভাবে ম্যাপ করা হলে, গার্ড লগিং হাইফেন (-) এর পরিবর্তে অ্যাপ নাম দেখায়।

গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করুন

এআই ট্রাফিকের মিলের জন্য AI নিরাপত্তা নিয়ন্ত্রণ প্রয়োগ করতে একটি গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করুন।

আপনি একটি নিয়ম তৈরি করার আগে বুঝুন কিভাবে পরিসর প্রয়োগকে প্রভাবিত করে:

গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন AI Security > Guards Interaction Policy.

2. নতুন এ ক্লিক করুন।

3. Name এ, নিয়মের জন্য একটি নাম লিখুন।

   উদাহরণ: Block PII

4. নিয়মটি সক্রিয় করতে সক্রিয় স্যুইচ ব্যবহার করুন।

   সক্রিয় করা হলে টগলটি সবুজ হয়।

5. Guards এ, AI গেটওয়ে গার্ড নির্বাচন করুন।

   উদাহরণ: Portkey-sample-1

6. Agents এ, ম্যাপ করা নিজস্ব তৈরি অ্যাপ নির্বাচন করুন।

   উদাহরণ: Portkey-sample-1

7. Engine Profile এ, প্রাসঙ্গিক বিষয়বস্তু শনাক্ত করতে ব্যবহৃত প্রোফাইল নির্বাচন করুন।

   উদাহরণ: Personal Identifier

8. Action এ, প্রয়োগের ক্রিয়া নির্বাচন করুন।

   উদাহরণ: নাম গোপন করুন & নিরীক্ষণ করুন

9. সংরক্ষণ করুন চেপে।

10. প্রকাশ করুন।

নীতিটি প্রকাশিত এবং প্রচারিত হওয়ার পরে, মিলিত ট্রাফিকের উপর নিয়মটি কার্যকর করা হয়।

নীতি প্রয়োগ যাচাই করুন

নিয়ম পরিসীমা ও ইঞ্জিন প্রোফাইলের সাথে মিলিত পরীক্ষা ট্রাফিক পাঠিয়ে নীতি প্রয়োগ যাচাই করুন।

নীতি প্রয়োগ যাচাই করতে:

1. মানচিত্র অনূরূপ অ্যাপ থেকে LiteLLM এর মাধ্যমে একটি পরীক্ষা অনুরোধ পাঠান।

2. নির্বাচিত ইঞ্জিন প্রোফাইল এর সাথে মিলিত বিষয়বস্তু অন্তর্ভুক্ত করুন।

3. নেভিগেশন মেনু থেকে এআই নিরাপত্তা > গার্ডস নির্বাচন করুন।

4. এআই গেটওয়ে গার্ড নির্বাচন করুন।

5. গার্ড লগিং খুলুন।

6. ভাষা পরিবর্তিত হয়েছে হোমগ্রোন এজেন্ট এর ফিল্টার লগ করুন।

7. নিশ্চিত করুন যে লঙ্ঘিত নিয়মগুলি নীতি নিয়মটি দেখায়।

   উদাহরণ: পিআইআই ব্লক করুন

নির্বাচিত ইঞ্জিন প্রোফাইল এর সাথে মেলে না এমন ট্রাফিক কোনও লঙ্ঘিত নিয়ম দেখায় না এবং স্বাভাবিকভাবে চলে।