LiteLLM AI গেটওয়ে ইন্টিগ্রেশন কনফিগার করা যাতে Cato AI নিরাপত্তার সাথে ইন্টিগ্রেট করা যায়।

সারসংক্ষেপ

Cato AI নিরাপত্তা আপনাকে আপনার বিদ্যমান LiteLLM AI গেটওয়ে দিয়ে প্রবাহিত AI ট্রাফিকের জন্য নীতি পরিদর্শন ও প্রয়োগ করতে দেয়। প্রতিটি অ্যাপ্লিকেশন আলাদাভাবে কনফিগার করার পরিবর্তে গেটওয়েকে Cato গার্ডের সাথে যুক্ত করুন এবং কেন্দ্রীয় মনিটরিং, ডেটা সুরক্ষা ও নীতি প্রয়োগ গেটওয়ে ট্রাফিকের জন্য প্রয়োগ করুন।

এই নিবন্ধটি এক LiteLLM AI গেটওয়ে ইন্টিগ্রেশন কনফিগার করার জন্য ব্যাখ্যা করে, নিজে তৈরি অ্যাপগুলির মানচিত্র তৈরি করে এবং গার্ড লগিংয়ে নীতি প্রয়োগ যাচাই করে।

প্রার্থাসূচি

আপনি শুরু করার আগে নিশ্চিত করুন যে এই প্রয়োজনীয়তাগুলি পূরণ হয়েছে।

• AI নিরাপত্তা লাইসেন্স যা AI গেটওয়ে গার্ড সমর্থন করে।

• AI Security > Guards এবং AI Security > Guardians Interaction Policy -এর জন্য অ্যাডমিন অনুমতিসমূহ।

• LiteLLM AI গেটওয়েকে ডেপ্লয় ও কার্যকর করা।

• LiteLLM-এর config.yaml ফাইল সম্পাদনার অ্যাক্সেস।

• LiteLLM AI গেটওয়েকে পুনরায় চালু বা পুনরায় লোড করার অনুমতি।

• নিজের তৈরি অ্যাপগুলির জন্য LiteLLM ভার্চুয়াল কী ও কী আলিয়াস।

• LiteLLM AI গেটওয়ে মাধ্যমে ট্রাফিক পাঠানো একটি পরীক্ষা অ্যাপ বা ক্লায়েন্ট।

• LiteLLM থেকে https://api.aisec.catonetworks.com এ নেটওয়ার্ক অ্যাক্সেস।

কনফিগারেশন ওয়ার্কফ্লো

ইন্টিগ্রেশন এই পর্যায় অন্তর্ভুক্ত করে।

AI গেটওয়ে গার্ড তৈরি করুন।

LiteLLM ট্রাফিকের জন্য Cato প্রয়োগের পয়েন্ট সংজ্ঞায়িত করতে একটি AI গেটওয়ে গার্ড তৈরি করুন।

গার্ড তৈরি করতে :

1. নেভিগেশন মেনু থেকে AI Security > Guards নির্বাচন করুন।

2. নতুন এ ক্লিক করুন।

3. Guard Name এ, গার্ডের জন্য একটি নাম লিখুন।

   উদাহরণ: LiteLLM Test

4. Type এ, AI Gateway নির্বাচন করুন।

5. AI Gateway Integration Type এ, LiteLLM নির্বাচন করুন।

6. Guard's Host এ, Cato's Cloud নির্বাচন করুন।

7. Homegrown Agent Mapping শূন্য রাখুন।

8. সংরক্ষণ করুন ক্লিক করুন।

আপনি গার্ড সংরক্ষণ করার পরে, এটি LiteLLM AI গেটওয়ে থেকে ট্রাফিক গ্রহণ করার জন্য প্রস্তুত। গার্ড সক্রিয় তবে এটি নিয়মগুলি প্রয়োগ করে না যতক্ষণ না আপনি একটি নীতি নিয়ম কনফিগার করেন।

গেটওয়ে ইন্টিগ্রেশন যাচাই করার পরে নিজের তৈরি অ্যাপের মানচিত্র তৈরি করুন।

LiteLLM কনফিগার করুন।

AI গেটওয়ে Cato-তে পরিদর্শনের জন্য ট্রাফিক পাঠাতে পারে যাতে গার্ড সংযোগের বিস্তারিত LiteLLM-এর সাথে কনফিগার করুন।

গার্ড সংযোগের বিস্তারিত পুনরুদ্ধার করুন।

গার্ড সংযোগের বিস্তারিত পুনরুদ্ধার করতে:

1. নেভিগেশন মেনু থেকে AI Security > Guards নির্বাচন করুন।

2. AI গেটওয়ে গার্ড নির্বাচন করুন।

3. গার্ড কনফিগারেশন থেকে সংযোগের বিস্তারিত কপি করুন।

গার্ড সংযোগের বিস্তারিত অন্তর্ভুক্ত করে:

• এপিআই কী

• LiteLLM গার্ডরেল কনফিগারেশন স্নিপেট

• Cato API বেস URL

LiteLLM গার্ডরেল কনফিগারেশন এই কাঠামো ব্যবহার করে।

গার্ডরেল:
  - গার্ডরেল_নাম: cato_networks
    litellm_params:
      গার্ডরেল: cato_networks
      মোড: [pre_call, post_call]
      api_key: <AI_GATEWAY_API_KEY>
      api_base: "https://api.aisec.catonetworks.com"
      default_on: true

মুখ্য ক্ষেত্ৰগুলি হল:

এপিআই কী নিরাপদে সংরক্ষণ করুন এবং সূত্র নিয়ন্ত্রণে প্রতিশ্রুতিবদ্ধ এড়িয়ে চলুন। যদি আপনার ডেপ্লয়মেন্ট পরিবেশের ভেরিয়েবল বা গোপন স্থান নিয়ন্ত্রণকারীকে সহায়তা করে, সরাসরি config.yaml ফাইলতে কী সংরক্ষণের বদলে সেই পদ্ধতি ব্যবহার করুন।

LiteLLM কনফিগারেশন আপডেট করুন।

আপনার LiteLLM ডেপ্লয়মেন্টের উপর নির্ভর করে সমস্ত LiteLLM ট্রাফিকের জন্য Cato গার্ডরেল বৈশ্বিকভাবে কনফিগার করুন বা এটি নির্দিষ্ট মডেল সংজ্ঞায় প্রয়োগ করুন। নীচের উদাহরণটি গার্ডরেল travel-bot-model -এ প্রয়োগ করে।

LiteLLM কনফিগারেশন আপডেট করতে:

1. LiteLLM config.yaml ফাইল খুলুন।

2. সম্পর্কিত মডেল সংজ্ঞার জন্য Cato গার্ডরেল কনফিগারেশন যোগ করুন।

3. প্রতিস্থাপনকারী API কীটি গার্ড থেকে API কী দিয়ে প্রতিস্থাপন করুন।

4. ফাইল সংরক্ষণ করুন।

5. আপনার LiteLLM ডেপ্লয়মেন্টের জন্য প্রয়োজনীয় হলে AI গেটওয়ে পুনরায় চালু বা পুনরায় লোড করুন।

LiteLLM কনফিগারেশন উদাহরণ।

modelo_list:
  - modelo_name: travel-bot-model
    litellm_params:
      modelo: openai/openai.gpt-oss-120b
      api_base: "https://bedrock-mantle.eu-north-1.api.aws/v1"
      api_key: "[LLM_API_KEY]"
      ssl_verify: false
    guardrails:
      - guardrail_name: travel-bot-model
        litellm_params:
          guardrail: cato_networks
          mode: [pre_call, post_call]
          api_key: "cato-xxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
          api_base: "https://api.aisec.catonetworks.com"
          default_on: true

Cato-তে গেটওয়ে ট্রাফিক যাচাই করা (ঐচ্ছিক)

Cato-তে LiteLLM ট্রাফিক পৌঁছায় তা নিশ্চিত করতে গার্ড লগিং ব্যবহার করুন।

Cato-তে গেটওয়ে ট্রাফিক যাচাই করতে:

1. আপনার অ্যাপ থেকে একটি পরীক্ষা প্রম্পট তৈরি করুন।

2. নেভিগেশন মেনু থেকে AI Security > Interaction Explorer নির্বাচন করুন।

3. Guard dropdown থেকে, আপনার গার্ড অনুযায়ী সিলেক্ষন ফিল্টার করুন।

4. লগ এন্ট্রি গার্ড নাম দেখায় তা নিশ্চিত করুন।

এই মুহূর্তে, Homegrown Agent কলাম প্রতিটি এন্ট্রির জন্য একটি ড্যাশ (-) দেখায়। এটি প্রত্যাশিত কারণ কোন নিজে তৈরি অ্যাপ এখনও গার্ডে মানচিত্রিত হয়নি।

এই পর্যায়ে, Cato গেটওয়ে ট্রাফিক লগ করে। অ্যাপ মানচিত্ররণের পর, Cato নির্দিষ্ট নিজে তৈরি অ্যাপের জন্য ট্রাফিকও গুণ প্রদান করে।

LiteLLM-এ গেটওয়ে ট্রাফিক যাচাই করা (ঐচ্ছিক)

LiteLLM লোগগুলি ব্যবহার করুন যা অনুরোধগুলি AI Gateway এবং Cato গার্ডের মাধ্যমে শেষ থেকে শেষ পর্যন্ত প্রক্রিয়াকৃত।

LiteLLM-এ ইন্টিগ্রেশন যাচাই করতে।

1. LiteLLM AI গেটওয়ে দিয়ে একটি পরীক্ষা অনুরোধ পাঠান।

2. LiteLLM লোগগুলি খুলুন।

3. অনুরোধটি প্রত্যাশিত মডেল ও প্রদানকারী রাউটিং অন্তর্ভুক্ত করে তা নিশ্চিত করুন।

4. অনুরোধটি সফলভাবে সম্পন্ন হয়েছে তা নিশ্চিত করুন।

লোগগুলিতে অন্তর্ভুক্ত থাকতে পারে।

• মডেল এবং প্রদানকারী রাউটিং

• টোকেন সংখ্যা

• অনুরোধের সময়কাল

• সফলতার ধাপ

অনুরোধগুলি শেষ থেকে শেষ পর্যন্ত প্রক্রিয়াকৃত তা নিশ্চিত করতে উভয় Cato গার্ড লগিং এবং LiteLLM লোগগুলি ব্যবহার করুন।

গার্ড জন্য একটি নিজে তৈরি অ্যাপের মানচিত্র তৈরি করুন।

কাটো নেটওয়ার্ক আপনার AI গেটওয়ে ট্রাফিক সঠিক অ্যাপের জন্য গুণ প্রদান করতে সক্ষম করে যাতে নিজে তৈরি অ্যাপের মানচিত্র তৈরি করুন।

LiteLLM-এ, আপনি যে অ্যাপ্লিকেশনটি আলাদাভাবে কাটো দ্বারা সনাক্ত করতে চান তার জন্য একটি ভার্চুয়াল কী তৈরি করুন।

1. LiteLLM-এ, Virtual Keys এ নেভিগেট করুন।

2. প্রতিটি নিজে তৈরি অ্যাপের জন্য Key Alias কপি করুন যা আপনি আপনার গার্ডে যোগ করতে চান।

Cato-তে, LiteLLM Key Alias ব্যবহার করে অ্যাপের মানচিত্র তৈরি করুন। আপনি গার্ড কনফিগারেশন বা নিজের তৈরি অ্যাপ কনফিগারেশন থেকে একটি নিজে তৈরি অ্যাপের মানচিত্র তৈরি করতে পারেন। এই প্রক্রিয়া গার্ড কনফিগারেশন ব্যবহার করে।

আপলোড করা হয়েছে প্রতিরক্ষা বেষ্টনীতে একটি নিজস্ব অ্যাপ ম্যাপ করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন **AI নিরাপত্তা > গার্ড৷**

2. ধরণ নির্বাচন করুন AI গেটওয়ে গার্ড

3. অন্তর্ভুক্ত নিজস্ব এজেন্টের ম্যাপিং, ক্লিক করুন ম্যাপিং যোগ করুন

4. অন্তর্ভুক্ত নিজস্ব এজেন্ট, নিজস্ব অ্যাপ নির্বাচন করুন

   উদাহরণ: ট্রাভেলবট

5. অন্তর্ভুক্ত ভার্চুয়াল কী উপনাম, অ্যাপের জন্য LiteLLM কী উপনামের প্রবেশ করুন

6. সংরক্ষণ করুন ক্লিক করুন।

অ্যাপ অনুমোদন যাচাই করুন

যাচাই করুন Cato গেটওয়ে ট্রাফিক নিজস্ব অ্যাপে ম্যাপ করে।

অ্যাপ অনুমোদন যাচাই করতে:

1. পাঠান একটি পরীক্ষার অনুরোধ ম্যাপ করা নিজস্ব অ্যাপ থেকে LiteLLM দ্বারা

2. নেভিগেশন মেনু থেকে নির্বাচন করুন **AI নিরাপত্তা > ইন্টারঅ্যাকশন এক্সপ্লোরার**

3. চিত্রটি ফিল্টার করুন ম্যাপ করা নিজস্ব এজেন্ট দ্বারা

   উদাহরণ: ট্রাভেলবট

4. নিশ্চিত করুন নিজস্ব এজেন্ট কলাম ম্যাপ করা অ্যাপ দেখায়

যখন অ্যাপটি ঠিকমতো ম্যাপ করা হয়, গার্ড লগিং অ্যাপের নাম পরিবর্তে (-) ড্যাশ দেখায়।

গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করুন

গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করুন মিলিত LiteLLM ট্রাফিকের উপর AI নিরাপত্তা নিয়ন্ত্রণ প্রয়োগ করতে।

আপনি একটি নিয়ম তৈরি করার আগে, কিভাবে পরিসর প্রয়োগকে প্রভাবিত করে তা বুঝুন:

গার্ড ইন্টারঅ্যাকশন নীতি নিয়ম কনফিগার করতে:

1. নেভিগেশন মেনু থেকে নির্বাচন করুন **AI নিরাপত্তা > গার্ড ইন্টারঅ্যাকশন নীতি৷**

2. নতুন এ ক্লিক করুন।

3. অন্তর্ভুক্ত নাম, নিয়মের জন্য একটি নাম লিখুন

   উদাহরণ: PII ব্লক করুন

4. নিয়মটি সক্রিয় করতে সক্রিয় স্যুইচ ব্যবহার করুন।

   সক্রিয় করা হলে টগলটি সবুজ হয়।

5. অন্তর্ভুক্ত গার্ডস, AI গেটওয়ে গার্ড নির্বাচন করুন

   উদাহরণ: LiteLLM পরীক্ষার

6. অন্তর্ভুক্ত এজেন্টস, ম্যাপ করা নিজস্ব অ্যাপ নির্বাচন করুন

   উদাহরণ: ট্রাভেলবট

7. অন্তর্ভুক্ত ইঞ্জিন প্রোফাইল, নির্বাচিত প্রোফাইল যা সংশ্লিষ্ট বিষয়বস্তু আবিষ্কার করতে ব্যবহৃত

   উদাহরণ: ব্যক্তিগত পরিচিতি

8. অন্তর্ভুক্ত কার্যকলাপ, প্রয়োগ কার্য নির্বাচন করুন

   উদাহরণ: অনামিকা এবং পর্যবেক্ষণ করুন

9. সংরক্ষণ করুন ক্লিক করুন।

10. প্রকাশ করুন।

নীতি প্রকাশিত এবং প্রসারিত হওয়ার পরে, সামঞ্জস্যপূর্ণ ট্রাফিকে নিয়ম প্রয়োগ করা হয়।

নীতি প্রয়োগ যাচাই করুন

নিয়ম পরিসর এবং ইঞ্জিন প্রোফাইলের সাথে সামঞ্জস্যপূর্ণ পরীক্ষার ট্রাফিক পঠানোর মাধ্যমে নীতি প্রয়োগ যাচাই করুন।

নীতি প্রয়োগ যাচাই করতে:

1. পাঠান একটি পরীক্ষার অনুরোধ ম্যাপ করা নিজস্ব অ্যাপ থেকে LiteLLM দ্বারা

2. নির্বাচিত ইঞ্জিন প্রোফাইল এর সাথে সামঞ্জস্যপূর্ণ বিষয়বস্তু অন্তর্ভুক্ত করুন

3. নেভিগেশন মেনু থেকে নির্বাচন করুন **AI নিরাপত্তা > গার্ড৷**

4. ধরণ নির্বাচন করুন AI গেটওয়ে গার্ড

5. গার্ড লগিং খুলুন।

6. লগগুলি ফিল্টার করুন ম্যাপ করা নিজস্ব এজেন্ট দ্বারা

7. নিশ্চিত করুন লঙ্ঘিত নিয়মগুলি নীতি নিয়ম দেখায়

   উদাহরণ: PII ব্লক করুন

নির্বাচিত ইঞ্জিন প্রোফাইল এর সাথে সামঞ্জস্যপূর্ণ নয় এমন ট্রাফিক কোন লঙ্ঘিত নিয়ম দেখায় না এবং সাধারণভাবে পাস করে।