Dentro do mar de informações geradas e consumidas pela TI, os logs estão à disposição como uma poderosa ferramenta para apoiar os objetivos das empresas e organizações. A razão é simples: é neles que estão registrados o comportamento relacionado à estas informações — direta ou indiretamente.

No geral, só fazemos uso dos logs quando há a necessidade de analisar algum incidente ou responder a alguma auditoria. É difícil enxergar valor mediante a dificuldade de manuseá-los: é um trabalho oneroso quando abordado manualmente e requer um grande esforço para extrair pouco resultado. Para complicar ainda mais, os logs são gerados de forma muito mais rápida do que temos a capacidade de acompanhar. Por essas razões, é muito comum termos a concepção de que o trabalho na gestão de logs não agrega valor ou é visto como um desperdício diante dos desafios da TI — justamente por ser um esforço que “poderia ser melhor direcionado” à outras necessidades.

No entanto, quando se faz uma gestão adequada dos logs, a realidade é outra: a TI passa a entender o seu ambiente de forma mais aprofundada e poderá utilizar isso a seu favor.

No quesito da Segurança da Informação, a Gestão de Logs é imprescindível para ter a visão das ameaças internas e externas (abuso de recursos, vazamento de informações, vulnerabilidades de segurança, etc). Isto se faz através da análise de todos os logs de Firewalls, Webfilters, Antivírus, IDS — os Sistemas de Segurança em geral — juntamente com os logs de Aplicações de Negócio e Infraestrutura.

Em relação à Compliances, a Gestão de Logs também é uma peça chave: tendo as informações de logs disponíveis para análise podemos mensurar como está a aplicabilidade destas normativas de forma contínua e em tempo real.

No âmbito Operacional, a Gestão de Logs atua como um divisor de águas, pois dá a visibilidade do comportamento dos ativos da TI — indo muito além do tradicional monitoramento de disponibilidade. Quando a operação acompanha o comportamento dos ativos, se torna capaz de identificar problemas antes que estes gerem real impacto ao negócio, consegue entregar mais sem aumentar o custo operacional e terá mais embasamento no processo de definição do orçamento da TI, pois terá métricas reais de onde e como investir.

Para os desenvolvedores, a Gestão de Logs traz mais independência, pois tendo acesso aos logs da aplicação, ele terá um melhor entendimento de como o usuário interage com a mesma; será capaz de solucionar os problemas mais rapidamente e poderá acompanhar a evolução do sistema no decorrer do tempo.

Como extrair Valor dos Logs?

A chave para obter valor está em criar um processo considerando 3 princípios fundamentais:

Centralizar os Logs em uma única plataforma, direcionando os logs dos diversos ativos da TI para um ponto único de acesso;

Extrair e Indexar as informações contidas nos Logs, identificando as informações úteis e tornando-as pesquisáveis;

Combinar informações de várias origens e naturezas com o propósito de relacionar e enriquecer os dados existentes.

Dentro dos 3 princípios descritos acima, o Processo de Gestão de Logs se estende em 5 etapas:

Coleta
É a etapa onde os logs são extraídos de sua origem, geralmente fazendo uso de coletores ou encaminhando diretamente utilizando os recursos internos do próprio ativo.

Normalização
É a etapa onde é realizada a primeira extração e organização das informações para uso nas demais etapas posteriores. Nesta fase é preciso ter um entendimento das características de cada log para que as informações relevantes sejam devidamente extraídas. Envolver as pessoas-chave de cada ativo da TI é de suma importância para o sucesso desta etapa.

Armazenamento
É a fase onde os logs extraídos e normalizados são armazenados e indexados, geralmente fazendo uso de bancos de dados não relacionais ou arquivos indexados. A partir deste ponto, os logs já estão disponíveis para consulta e podem ser utilizados de forma analítica.

Enriquecimento
Aqui as informações dos logs são complementadas e/ou transformadas (as vezes agrupando informações de logs diferentes) com o propósito de facilitar o entendimento e análise futura. Um exemplo é a extração da posição geográfica de um usuário que consome um serviço web, através da informação do seu IP de origem.

Análise e Relatórios
Nesta última etapa é onde podemos navegar nas informações dos logs, identificar padrões de comportamento, mensurar a performance de alguma aplicação e gerar gráficos e alertas para as mais diversas situações e necessidades. Aqui a participação das pessoas-chave dos diversos ativos da TI também é muito importante para compreender e extrair valor dos dados.

É muito comum identificar nesta fase a necessidade de mais informações para atingir algum resultado. Por isso todo o processo de gestão de logs acaba sendo cíclico e contínuo.

Dentro deste processo de Gestão de Logs, a escolha da ferramenta que será utilizada tem um papel decisivo, pois irá definir como cada fase do processo será compreendida. É importante considerar como ela se aplica ao seu processo de negócio e o quanto ela adere às etapas do Processo de Gestão de Logs.

Escolhendo as ferramentas

Existem no mercado diversas ferramentas que podem ser empregadas para atender o processo de gestão de logs.

De um lado temos as ferramentas proprietárias, que oferecem resultados iniciais mais rápidos sob uma perspectiva de custo elevado. É comum que o formato de licenciamento (que geralmente é feito por dispositivo de origem ou por volume de dados armazenados) limite o escopo, pois o custo de compreender os logs de todos os ativos da TI muitas vezes acaba sendo inviável.

De outro lado, temos as ferramentas de código-fonte aberto, que na maioria dos casos dispensam o custo de licenciamento e oferecem mais autonomia para aplicar as necessidades — sob a perspectiva de requerer mão de obra mais qualificada para integrar e manter o processo.

Em paralelo existem opções de ferramentas SaaS, que oferecem custo competitivo, porém com autonomia limitada, onde é preciso se adaptar ao formato da ferramenta. Aqui os riscos e os custos indiretos (como consumo de link de Internet, por exemplo) precisam ser muito bem avaliados.

Na próxima postagem, vamos abordar como aplicar o processo de Gestão de Logs utilizando o Graylog.

Texto: Eduardo Hernacki