Cato ডেটা লেক গাইড

এই প্রবন্ধটি Cato ডেটা লেক এবং আপনার অ্যাকাউন্টের ইভেন্ট উৎপাদনের হার এবং ডেটা ধারণের বিস্তারিত আলোচনা করে।

সারসংক্ষেপ

Cato ডেটা লেক Cato প্ল্যাটফর্মের বিভিন্ন সেবা দ্বারা রেকর্ড করা ডেটা অন্তর্ভুক্ত করে, যেমন নেটওয়ার্কিং, নিরাপত্তা, অ্যাক্সেস, ইত্যাদি। ইভেন্ট তথ্যের মতো ডেটা বাস্তব সময়ে ডেটা লেকে যোগ করা হয় এবং গ্রাহকের চুক্তিতে নির্ধারিত নির্দিষ্ট সময়কালের জন্য ধরে রাখা হয়। Cato নিম্নলিখিত হিসাবে গ্রাহক ডেটা ধারণ নির্ধারণ করতে ডেটা লেক ইউনিট ব্যবহার করে:

• প্রতি ঘণ্টায় ইভেন্টের হার (বর্তমানে 2.5 মিলিয়ন ইভেন্ট প্রতি ঘণ্টা হিসেবে)

• ধারণের সময় (যেমন 3 মাস, 6 মাস, ইত্যাদি)

ডেটা লেক ইউনিটের শর্তাবলী অতিক্রমকারী ডেটা বাতিল করা হতে পারে। উদাহরণস্বরূপ, যদি এক ঘণ্টার মধ্যে 2.5 মিলিয়নের বেশি ইভেন্ট থাকে অথবা 3 মাসেরও বেশি পুরানো ডেটা।

Cato প্ল্যাটফর্মের অংশ হিসেবে, অ্যাকাউন্টগুলি একটি একক ডেটা লেক ইউনিট পায় যা প্রতি ঘণ্টায় 2.5 মিলিয়ন ইভেন্ট প্রতি ঘণ্টার হার সীমা এবং 3 মাস ধারণ সময় অন্তর্ভুক্ত করে। গ্রাহকরা ইচ্ছা করলে, প্রতি ঘণ্টায় ইভেন্ট হার বাড়াতে এবং/অথবা ইভেন্ট ধারণ সময় বাড়ানোর জন্য অতিরিক্ত ডেটা লেক ইউনিট ক্রয় করতে পারেন।

গ্রাহকরা তাদের ডেটা বাহ্যিক ক্লাউড স্টোরেজ এবং SIEMs এ কোনো অতিরিক্ত খরচ ছাড়াই ফোরওয়ার্ড করতে বিভিন্ন ইন্টিগ্রেশন ব্যবহার করতে পারেন।

এই নিবন্ধের তথ্য Cato অ্যাকাউন্টে ১ জানুয়ারী, ২০২৪ থেকে প্রযোজ্য।

ইভেন্ট ধারণ পদ্ধতি

ইভেন্টগুলি বাস্তব সময়ে ধারণ করা হয় এবং Cato ম্যানেজমেন্ট অ্যাপ্লিকেশন (CMA) এর ইভেন্ট পৃষ্ঠায় (গৃহ > ইভেন্ট) ট্র্যাক করা যায়।

• Cato প্রতিটি গ্রাহকের জন্য গুরুত্বপূর্ণ নিরাপত্তা এবং সংযোগযোগ্য ইভেন্টের একটি কোর সেট ধরে রাখে

• গ্রাহকরা নীতিমালার মধ্যে নির্বাচন করতে পারে, অতিরিক্ত ইভেন্ট তৈরি এবং ধারণ করার জন্য

• গ্রাহক লাইসেন্সগুলি উৎপন্ন এবং ধরে রাখার জন্য ইভেন্টগুলির সর্বোচ্চ সংখ্যার প্রতি ঘণ্টার হার সীমা নির্ধারণ করে

  • এই সংখ্যার অতিরিক্ত ইভেন্টগুলি ঘন্টার বাকি সময়ের জন্য বাতিল করা হয়

উৎপন্ন ইভেন্টগুলি অপ্টিমাইজ করার আরও তথ্যের জন্য, Cato ইভেন্ট লগ স্টোরেজ এবং ইনজেশনের জন্য সর্বোত্তম অনুশীলন দেখুন।

ইভেন্ট হার সীমা

ইভেন্টগুলির জন্য ডিফল্ট ক্যাটো হার সীমাঙ্কনের বিস্তারিত অ্যাকাউন্টের মালিকাধীন ডেটা লেক ইউনিটগুলির ভিত্তিতে নির্ধারিত:

• Cato ফ্রি চার্জে একক ডেটা লেক ইউনিট অবধি অনুমতি দেয় (বর্তমানে প্রতি ঘন্টায় 2.5 মিলিয়ন ইভেন্ট)

• যদি লাইসেন্সপ্রাপ্ত ডেটা লেক ইউনিটের চেয়ে বেশি ইভেন্ট তৈরি হয়, তাহলে অতিরিক্ত ইভেন্টগুলি ঘন্টার অবশিষ্ট সময়ের জন্য বাতিল হতে পারে।

• ইভেন্ট বাতিলের সম্ভাবনা রোধ করতে, গ্রাহকদের অতিরিক্ত ডেটা লেক ইউনিটগুলি ক্রয়ের বিকল্প রয়েছে

আমরা সুপারিশ করি যে আপনার সংস্থার ডেটা প্রয়োজনীয়তা পূরণ করতে অতিরিক্ত ডেটা লেক ইউনিটগুলি ক্রয় করুন, আরও তথ্যের জন্য, নিচে দেখুন ইভেন্ট ইতিহাস ছাড়া ইভেন্টের প্রয়োজনীয়তার অনুমান।

ইভেন্ট রাখা

জানুয়ারি 1, 2024 থেকে শুরু হওয়া চুক্তি এবং নবীকরণের জন্য, ইভেন্টগুলির ডিফল্ট ধারণ সময়কাল 3 মাস।

• ধারণ সময় পর (অর্থাৎ, 3 মাস পরে), ইভেন্ট ডেটা Cato ক্লাউড থেকে মুছে ফেলা হয় এবং আর প্রবেশযোগ্য নয় (আপনি মুছে ফেলা ডেটা পুনরুদ্ধার করতে পারবেন না),

• যদি তারা ইভেন্ট ডেটা তিন মাসের বেশি সময় ধরে রাখতে চান, গ্রাহকরা অতিরিক্ত ডেটা ধারণ ক্রয় করতে পারেন

যদি কোনো গ্রাহক অতিরিক্ত ডেটা ধারণের জন্য অর্থ প্রদান করতে বেছে নেন, তবে ডিফল্ট দ্বারা প্রদত্ত বিনামূল্যের ধারণের জন্য কোনো অনুমতি দেওয়া হয় না: সমস্ত ইভেন্ট ধারণ চার্জযোগ্য।

• অতিরিক্ত ডেটা ধারণ ক্রয় সম্পর্কে আরও জানার জন্য, আপনার Cato প্রতিনিধির সাথে যোগাযোগ করুন।

নিম্নলিখিত ইভেন্ট স্টোরেজ অপশনগুলি ক্যাটো সাপোর্ট করে:

• Cato ম্যানেজমেন্ট অ্যাপ্লিকেশন-এ সরাসরি (দেখুন আপনার নেটওয়ার্কে ইভেন্ট বিশ্লেষণ)

• AWS S3 এবং Azure Blob Storage-এর মতো ক্লাউড স্টোরেজের জন্য একটি বড়-স্কেল ফিড।

• Cato API ব্যবহার করা হচ্ছে

ডেটা লেক ইউনিটস

ডিফল্টভাবে, প্রতিটি অ্যাকাউন্টের নিম্নলিখিত ডেটা লেক ইউনিটস আছে:

• প্রতি ঘণ্টায় ইভেন্টের হার (বর্তমানে 2.5 মিলিয়ন ইভেন্ট প্রতি ঘণ্টা হিসেবে)

• ধারণ সময়কাল (অর্থাৎ 3 মাস, 6 মাস, ইত্যাদি...)

ঘণ্টায় ইভেন্টের হার এবং/অথবা ধারণ সময় বাড়ানোর জন্য আপনি অতিরিক্ত ডেটা লেক ইউনিটগুলি কিনতে পারেন।

ইভেন্টের হার সীমা বৃদ্ধি করা

ডেটা লেক ইউনিটস প্রতি ঘণ্টায় জেনারেট করতে পারে এমন ইভেন্টের সর্বোচ্চ সংখ্যা নির্ধারণ করে। একটি সময়কাল যখন কম ইভেন্ট প্রতি ঘণ্টায় উৎপন্ন হয়, তার পরবর্তী ঘন্টাগুলিতে উৎপন্ন করা যেতে পারে এমন জিনিসের উপর কোন প্রভাব থাকবে না।

প্রতিটি ডেটা লেক ইউনিট প্রতি ঘন্টায় ২.৫ মিলিয়ন ইভেন্টের হার সীমাবদ্ধ করতে ক্রয় করা হয়। তাহলে, উদাহরণস্বরূপ:

• দুটি ডেটা লেক ইউনিট অতিরিক্ত প্রতি ঘন্টায় 2.5 মিলিয়ন ইভেন্ট অনুমতি দেয় (মোট 5 মিলিয়ন ইভেন্ট প্রতি ঘন্টায়)

• তিনটি ইউনিট প্রতি ঘন্টায় 5 মিলিয়ন ইভেন্টের অতিরিক্ত অনুমতি দেবে (মোট প্রতি ঘন্টায় 7.5 মিলিয়ন ইভেন্ট পর্যন্ত)

ইভেন্ট ধারণ সময়কাল বৃদ্ধি করা

ডেটা লেক ইউনিটগুলি আপনার প্রয়োজনীয় ধারণ সময়কাল অনুযায়ী তিনটি ভেরিয়েন্টে উপলব্ধ:

• একটি তিন-মাসের ইউনিট

• একটি ছয়-মাসের ইউনিট

• একটি বারো-মাসের ইউনিট

নির্বাচিত ভেরিয়েন্টটি সকল ডেটা ইউনিটের জন্য প্রযোজ্য, এটি মিশ্রণ করা সম্ভব নয়।

উদাহরণস্বরূপ

নীচের টেবিলটি গ্রাহকের ইভেন্ট সংরক্ষণের প্রয়োজনীয়তা পূরণের জন্য ডেটা লেক ইউনিটগুলির ব্যবহারের উদাহরণ প্রদান করে।

ইভেন্ট ইতিহাসের উপর ভিত্তি করে ডেটা লেক ইউনিট প্রয়োজনীয়তার অনুমান

যাদের ইভেন্ট তৈরি করার একটি স্থির ইতিহাস আছে তারা কত ইভেন্ট তৈরি হচ্ছে তা দেখতে CMA-এর গ্রাফ পরীক্ষা করতে পারেন। তারা এই চার্টের শীর্ষ বিন্দুগুলি ব্যবহার করে ইভেন্ট গতি সীমাবদ্ধতার জন্য তাদের প্রয়োজনীয়তা বিবেচনা করতে পারেন।

নীচের উদাহরণ চার্টে, শীর্ষগুলি প্রতি ঘন্টায় ৪০০,০০০ ইভেন্টের বেশি হয়ে থাকে। এটি ফ্রি একক ডেটা লেক ইউনিট দ্বারা আচ্ছাদিত হবে।

নীচের উদাহরণ চার্টে, প্রতি ঘন্টায় ইভেন্টের সংখ্যা প্রতি ঘন্টায় ২.৫ মিলিয়ন বেশি এবং সর্বোচ্চ শীর্ষ প্রায় ৩ মিলিয়ন পৌঁছায়। এটি ১ ডেটা লেক ইউনিটের জন্য ডিফল্ট ইভেন্ট হার সীমাবদ্ধতার চেয়ে বেশি। ১ অতিরিক্ত ইউনিট এই সংরক্ষণের প্রয়োজনীয়তাগুলি মেটাবে, যা প্রতি ঘন্টায় ৫ মিলিয়ন ইভেন্ট তৈরি করতে অনুমতি প্রদান করবে।

নোট করুন যে, প্রতিটি বারের সঠিক উচ্চতা বারের উপর মাউস রেখে পরীক্ষা করা যেতে পারে, নিচের চার্টে প্রদর্শিত মতো।

আরও কিছু পয়েন্ট লক্ষ্য করুন:

• এই উদাহরণগুলি একটি ছোট সময়কালকে কভার করে, সুবিধার্থে। একটি দীর্ঘতর বিশ্লেষণ সময়কাল যথাযথ হবে।

• প্রত্যেকটি বার দ্বারা প্রদর্শিত সময়কাল চার্ট দ্বারা সময়কাল কভার অনুযায়ী পরিবর্তিত হবে। আপনি সময়কাল পরিবর্তিত করলে সময় সিরিজের গ্র্যানুলারিটিতে মনোযোগ দিন।

ইভেন্ট ইতিহাস ছাড়াই ইভেন্টের প্রয়োজনীয়তার অনুমান

এই সেকশন প্রতি ঘণ্টায় উৎপন্ন সর্বোচ্চ ঘটনাগুলির একটি প্রাথমিক আনুমানিক অনুমান তৈরি করতে সহায়তা করবে, যাতে প্রয়োজনীয় ডেটা লেক ইউনিটের সংখ্যা বোঝা যায়। আমরা সুপারিশ করছি যে আপনি ক্রমাগত প্রকৃত ইভেন্ট রেটগুলি মনিটর করুন এবং প্রয়োজন অনুযায়ী সামঞ্জস্য করুন। ঘণ্টায় উৎপন্ন হওয়া প্রকৃত ঘটনাগুলি পরিবর্তিত হয়, যেমন ট্রাফিক প্যাটার্ন এবং নীতি লগিং কনফিগারেশনের উপর ভিত্তি করে। আরও তথ্যের জন্য, দেখুন সর্বোত্তম অনুশীলন।

ইভেন্ট জেনারেশন নেটওয়ার্ক জুড়ে মোট ব্যবহৃত ব্যান্ডউইথ এবং সমর্থিত এসডিপি ব্যবহারকারীর সংখ্যা উভয়ের সাথে সম্পর্কিত। যাদের ঘটনার ইতিহাস নেই তারা মোট অ্যাকাউন্ট সাইট ব্যান্ডউইথ এবং এসডিপি ব্যবহারকারীর সংখ্যা যোগ করে তাদের সম্ভাব্য ঘটনা রেট সীমিত প্রয়োজনীয়তাগুলি অনুমান করতে পারেন। অতিরিক্তভাবে, অ্যাকাউন্টের জন্য সক্রিয় পরিষেবাগুলি ঘটনাগুলির প্রয়োজনীয়তাগুলিতে প্রভাব ফেলতে পারে। উদাহরণস্বরূপ, যদি ল্যান ফায়ারওয়াল সক্রিয় থাকে, তবে এটি ল্যান ট্রাফিকের পরিমাণ এবং কোন ট্রাফিক ঘটনা তৈরি করে তার সাথে সম্পর্কিত ইভেন্টের প্রয়োজনীয়তা বাড়াবে।

প্রতি ঘণ্টায় উদ্ভূত হওয়া সর্বোচ্চ ঘটনার অনুমানের সাহায্যের জন্য নিচে টেবিলগুলি প্রদান করা হয়েছে। টেবিল থেকে প্রয়োজনীয়তা গণনা করতে এই পদ্ধতি অনুসরণ করুন:

1. মোট ব্যান্ডউইডথ টেবিলে লাইন খুঁজে বের করুন যা নেটওয়ার্কের জন্য সর্বাধিক ব্যান্ডউইডথের সাথে সঙ্গতিপূর্ণ। যে আনুমানিক সর্বোচ্চ ইভেন্ট প্রতি ঘন্টা উত্পন্ন হবে তা পড়ুন

2. SDP ক্লায়েন্ট টেবিলের যে সারি ব্যবহৃত SDP ক্লায়েন্টের সংখ্যাকে সম্পর্কিত করে তা খুঁজে বের করুন। যে আনুমানিক সর্বোচ্চ ইভেন্ট প্রতি ঘন্টা উত্পন্ন হবে তা পড়ুন

3. পর্ব 1 এবং 2 থেকে যোগফল যোগ করুন।

4. টোটাল ইভেন্ট প্রতি ঘন্টাকে 2.5 মিলিয়নে ভাগ করুন এবং আপ রাউন্ড করুন, সাইট ব্যান্ডউইডথ এবং SDP ক্লায়েন্টগুলির জন্য প্রয়োজনীয় ডেটা লেক ইউনিট সংখ্যা আনুমানিক করতে।

5. যদি আপনি CASB বা LAN ফায়ারওয়াল-এর মতো অসংখ্য Cato পরিষেবাগুলি ব্যবহার করেন যা বিপুল সংখ্যক ইভেন্ট উত্পন্ন করে, তাহলে 1 ডেটা লেক ইউনিট যোগ করুন। (1 ইউনিট ব্যান্ডউইডথের জন্য, 1 ইউনিট SDP ব্যবহারকারীর জন্য, এবং 1 ইউনিট CASB এবং RBI এর জন্য)

ইভেন্ট উদ্ভব টেবিল

এই টেবিলগুলি ব্যবহার করে একজন গ্রাহকের জন্য প্রতি ঘণ্টায় উৎপন্ন হওয়া সর্বোচ্চ ঘটনার সংখ্যা অনুমান করুন। তারা অনুমান করে যে গ্রাহক সকল ঘটনাকে লগ করছে।

Example Estimation

In the table above:

• সমস্ত সাইটের মধ্যেমোট 3 Gbps ব্যান্ডউইডথ একটি অনুমানিত সর্বোচ্চ পাঁচ মিলিয়ন ইভেন্ট প্রতি ঘন্টা উত্পন্ন করবে

• মোট 5,000 SDP ক্লায়েন্ট একটি অনুমানিত অতিরিক্ত সর্বোচ্চ দুই এবং অর্ধ মিলিয়ন ইভেন্ট প্রতি ঘন্টা উত্পন্ন করবে

• ফলে, গ্রাহক আশা করতে পারেন যে 5+2.5=7.5 মিলিয়ন ইভেন্ট প্রতি ঘন্টা (2 ইউনিট)

• গ্রাহক CASB এবং RBI পরিষেবা (1 ইউনিট) ব্যবহার করেন

• এটি উপযুক্ত সময়কালের আরও তিনটি ডেটা লেক স্টোরেজ ইউনিট ক্রয় করে কভার করা যেতে পারে।

আসল ধারণ প্রয়োজনীয়তা অনুমান করা হচ্ছে

ডেটা লেক ইউনিটের পরিমাপের একক হল প্রতি ঘণ্টায় উত্পন্ন ইভেন্টের সংখ্যা। ডেটা এর পরিমাণ অতিরিক্ত ইউনিটের গণনা বা ক্রয়ের ক্ষেত্রে নয় ব্যবহার করা হয় এবং এটি সিএমএ দ্বারা রিপোর্ট করা হয় না।

তবে, গ্রাহকরা ডেটা বাহ্যিক সংরক্ষণাগার অথবা SIEM-এ রপ্তানি করার পরিকল্পনা করলে তার প্রভাব অনুমান করতে পারেন। গ্রাহকরা সংশ্লিষ্ট ডেটার পরিমাণের একটি খসড়া অনুমান করতে পারেন, যদি তারা মনে করেন যে ডেটা লেকের একটি ইউনিট (প্রতি ঘণ্টায় 2.5 মিলিয়ন ইভেন্ট) প্রতি মাসে প্রায় 180 জিবি ডেটা সংরক্ষণের সমান, নিচের টেবিলে প্রদর্শিত হয়েছে।

নোট করুন যে এটি একটি খুব স্থূল অনুমান। ডেটা লেক ইউনিটগুলি প্রতি ঘণ্টায় উৎপন্ন করা যেতে পারে এমন সর্বাধিক ইভেন্টের সংখ্যা নির্ধারণ করে। অবশ্য এটি সহজেই বোঝা যায় যে গ্রাহকেরা যারা কখনো-কখনো বৃহৎ উচ্চ ইভেন্ট উৎপাদনের চাপ মোকাবেলার জন্য ইউনিট কিনেছেন তাদের বাহ্যিক সংরক্ষণের প্রয়োজন তাদের থেকে ভিন্ন হবে যারা ক্রমাগত উচ্চ সংখ্যক ইভেন্ট উৎপাদন করে যাচ্ছেন।

নিচের টেবিলটি ধারণ মেয়াদ অনুযায়ী মোট জিবির একটি খুব স্থূল অনুমান দেখায়:

(*) কাটো-এর সাথে কিছু চুক্তিতে এই নিবন্ধের তথ্যের সাথে ভিন্ন শর্ত থাকতে পারে