Guia para o Data Lake da Cato

Este artigo discute os detalhes da taxa de geração de eventos e retenção de dados para o Data Lake da Cato e sua conta.

Visão Geral

O Data Lake da Cato contém os Dados registrados pelos diferentes Serviços na plataforma Cato, como Redes, Segurança, Acesso, e assim por diante. Dados como informações de Eventos são adicionados ao Data Lake em tempo real e retidos por um período específico, conforme definido pelo contrato do Cliente. A Cato usa unidades de Data Lake para definir a retenção de Dados do Cliente de acordo com:

• Taxa de eventos horária (atualmente em unidades de 2,5 milhões de eventos por hora)

• Tempo de retenção (ex: 3 meses, 6 meses, etc..)

Os Dados que excedem os termos da unidade de Data Lake podem ser descartados. Por exemplo, se houver mais de 2,5 milhões de eventos dentro de uma Hora ou Dados com mais de 3 meses.

Como parte da plataforma Cato, as Contas recebem uma única unidade de Data Lake que inclui um limite de taxa de eventos de 2,5 milhões de eventos por Hora e um período de retenção de 3 meses. Os Clientes podem optar por comprar unidades adicionais de Data Lake para aumentar a taxa de eventos por Hora e/ou aumentar o tempo de retenção de eventos.

Os Clientes também podem usar diferentes Integrações para encaminhar seus Dados para Armazenamento na Nuvem externo e SIEMs sem custo adicional.

As informações neste artigo se aplicam às Contas da Cato a partir de 1º de janeiro de 2024(*).

Abordagem de Retenção de Eventos

Os Eventos são retidos em tempo real e podem ser acompanhados na Aplicação de Gerenciamento Cato (CMA) na página de Eventos (Inicial > Eventos).

• A Cato retém um conjunto básico de eventos principais de segurança e conectividade para cada cliente

• Os clientes podem selecionar, dentro das políticas, eventos adicionais para serem gerados e retidos

• As Licenças do Cliente definem o limite de taxa Horária para o número máximo de eventos que são gerados e retidos

  • Eventos em excesso deste número são descartados para o restante da hora

Para mais informações sobre otimização de eventos gerados, consulte Melhores Práticas para Armazenamento e Ingestão de Logs de Eventos da Cato

Limitação de Taxa de Eventos

Os detalhes para a limitação de taxa padrão da Cato para eventos são baseados nas unidades de Data Lake possuídas por uma Conta:

• A Cato permite até uma unidade de Data Lake sem custo (atualmente 2,5 milhões de eventos por hora)

• Se mais eventos forem gerados do que as unidades de Data Lake licenciadas, os eventos excedentes poderão ser descartados pelo restante da hora.

• Para evitar o descarte de eventos, os clientes têm a opção de comprar unidades adicionais de Data Lake

Recomendamos que você adquira unidades adicionais de Data Lake para atender às necessidades de dados da sua organização, para mais informações, veja abaixo Estimando Requisitos de Eventos sem um Histórico de Eventos.

Retenção de Eventos

Para contratos e renovações a partir de 1º de janeiro de 2024, o período de retenção padrão para eventos é de 3 meses.

• Após o período de retenção (ou seja, após 3 meses), os dados dos Eventos são excluídos da Nuvem Cato e não estão mais acessíveis (você não pode recuperar dados excluídos)

• Os clientes podem adquirir retenção de dados adicional caso desejem manter dados de eventos por mais de três meses

Se um Cliente optar por pagar por retenção de Dados adicional, nenhuma concessão é feita para a retenção gratuita que é fornecida por padrão: toda a retenção de eventos é cobrável.

• Para mais informações sobre como adquirir retenção de dados adicional, entre em contato com seu representante da Cato.

A Cato suporta as seguintes opções de armazenamento de eventos:

• Diretamente no Aplicativo de Gerenciamento Cato (veja Analisando Eventos na Sua Rede)

• Um feed em grande escala para Armazenamento na Nuvem, como AWS S3 e Armazenamento de Blobs do Azure

• Usando a API Cato

Unidades de Data Lake

Por padrão, cada Conta possui as seguintes unidades de Data Lake:

• Taxa de eventos horária (atualmente em unidades de 2,5 milhões de eventos por hora)

• Tempo de retenção (ou seja, 3 meses, 6 meses, etc...)

Você pode escolher comprar unidades adicionais de Data Lake para aumentar a taxa de eventos horária e/ou o tempo de retenção.

Aumentando o Limite da Taxa de Eventos

As unidades de Data Lake definem o número máximo de eventos que podem ser gerados por hora. Um período em que menos eventos são gerados por hora não terá influência no número que pode ser gerado em horas futuras.

Cada unidade de Data Lake é comprada para aumentar a limitação de taxa em 2,5 milhões de eventos por hora. Então, por exemplo:

• Duas unidades de Data Lake permitem 2,5 milhões de eventos adicionais por hora (até 5 milhões de eventos por hora no total)

• Três unidades permitirão 5 milhões de eventos adicionais por hora (até 7,5 milhões de eventos por hora no total)

Aumentando o Período de Retenção de Eventos

As unidades de Data Lake estão disponíveis em três variantes, de acordo com o período de retenção necessário:

• Uma unidade de três meses

• Uma unidade de seis meses

• Uma unidade de doze meses

A variante escolhida se aplica a todos os dados unidades, não é possível misturar unidades.

Exemplos

A tabela abaixo ilustra o uso de unidades de Data Lake para cobrir os requisitos de armazenamento de eventos do cliente.

Estimando Requisitos de Unidade de Data Lake com Base no Histórico de Eventos

Clientes com um histórico estável de geração de eventos podem inspecionar o gráfico de eventos no CMA para ver quantos eventos estão sendo gerados. Eles podem usar os picos neste gráfico para considerar seus requisitos de limitação de taxa de eventos.

No gráfico de exemplo abaixo, os picos atingem um máximo de pouco mais de 400.000 eventos por hora. Isso seria coberto pela unidade única de Data Lake gratuita.

No gráfico de exemplo abaixo, o número de eventos por hora excede 2,5 milhões a cada hora, e o pico mais alto se aproxima de 3 milhões. Isso é mais do que pode ser coberto pela limitação de taxa de eventos padrão para 1 unidade de Data Lake. 1 unidade adicional cobriria esses requisitos de armazenamento, permitindo gerar até 5 milhões de eventos por hora.

Note que a altura exata de cada barra pode ser inspecionada ao passar o cursor sobre a barra, como ilustrado no gráfico abaixo.

Outros pontos a serem observados:

• Esses exemplos cobrem um pequeno período, para conveniência. Um período de análise mais longo seria prudente.

• O período de tempo representado por cada barra mudará de acordo com o período coberto pelo gráfico. Preste atenção à Granularidade da Série Temporal ao alterar o período de tempo coberto.

Estimando Requisitos de Eventos sem um Histórico de Eventos

Esta seção ajuda você a criar uma estimativa inicial aproximada dos eventos de pico por hora para entender quantas unidades de Data Lake são necessárias. Recomendamos que você monitore continuamente as taxas de eventos reais e ajuste conforme necessário. Os eventos reais gerados por hora dependem de várias variáveis, como padrões de tráfego e configuração de registro de políticas. Para mais informações, veja Melhores Práticas para o Armazenamento e Ingestão de Logs de Eventos da Cato.

A geração de eventos está correlacionada tanto à largura de banda total em uso na rede quanto ao número de Usuários SDP suportados. Clientes sem um histórico de geração de eventos podem estimar seus requisitos prováveis de limitação de taxa de eventos somando a largura de banda total do site da conta e o número de Usuários SDP. Além disso, os serviços habilitados para a conta também podem impactar os requisitos de eventos. Por exemplo, se o Firewall LAN estiver habilitado, isso aumentará os requisitos de eventos proporcionalmente ao volume de tráfego LAN e ao tráfego que gera eventos.

São fornecidas tabelas abaixo para ajudar a estimar os eventos de pico gerados por hora. Siga este procedimento para calcular os requisitos a partir das tabelas:

1. Encontre a linha na tabela Largura de Banda Total que corresponde à largura de banda máxima para a rede. Leia o número máximo de eventos por hora estimado que será gerado

2. Encontre a linha na tabela Clientes SDP que corresponde ao número de Clientes SDP em uso. Leia o número máximo de eventos por hora estimado que será gerado

3. Some as somas das etapas 1 e 2.

4. Divida o total de eventos por hora por 2,5 milhões e arredonde para cima para estimar o número de unidades de Data Lake necessárias para a largura de banda do site e Clientes SDP.

5. Se você estiver usando múltiplos serviços Cato que geram um grande número de eventos, como CASB ou Firewall LAN, adicione 1 unidade de Data Lake. (1 unidade para largura de banda, 1 unidade para usuários SDP e 1 unidade para CASB e RBI)

Tabelas de Geração de Eventos

Use estas tabelas para estimar o número de pico de eventos por hora gerados para um cliente. Eles assumem que o cliente está registrando todos os eventos.

Exemplo de Estimativa

Na tabela acima:

• Um total de 3 Gbps de largura de banda em todos os sites geraria um pico estimado de cinco milhões de eventos por hora

• Um total de 5.000 clientes SDP geraria um pico adicional estimado de dois milhões e meio de eventos por hora

• Portanto, o cliente poderia esperar um pico de 5+2,5= 7,5 milhões de eventos por hora (2 unidades)

• O cliente usa o serviço CASB e RBI (1 unidade)

• Isso poderia ser coberto comprando três unidades adicionais de Armazenamento de Data Lake com a duração apropriada.

Estimando a Retenção Real Necessária

A unidade de medida para unidades de Data Lake é o número de eventos gerados por hora. O volume de dados envolvidos não é usado no cálculo ou compra de unidades adicionais e não é relatado pelo CMA.

No entanto, os clientes podem desejar estimar as implicações se planejarem exportar dados para armazenamento externo ou um SIEM. Os clientes podem fazer uma estimativa aproximada do volume de dados envolvidos, assumindo que uma unidade de Data Lake (2,5 milhões de eventos por hora) é muito aproximadamente equivalente a 180 GB por mês de armazenamento de dados, como ilustrado na tabela abaixo.

Nota que esta é uma estimativa muito aproximada. As unidades de Data Lake definem o máximo número de eventos que podem ser gerados em uma hora. É auto-evidente que um cliente que compra unidades para lidar com grandes picos ocasionais na geração de eventos terá um requisito de armazenamento externo muito diferente de um cliente que compra o mesmo número de unidades para lidar com um número consistentemente alto de eventos gerados.

A tabela a seguir mostra uma estimativa muito aproximada do total de GB de acordo com o período de retenção:

(*) Alguns contratos com a Cato podem incluir termos que diferem da informação neste artigo