O Stack Elastic (ELK) é o conjunto formado pelas ferramentas Elasticsearch, Kibana, Logstash e Beats, que oferece uma solução completa de análise de dados em tempo real. Utilizando o ELK, é possível coletar e filtrar os logs de maneira eficiente, além de acessar, analisar e visualizar os dados em um único local.

Como funciona?

Como funciona o Stack ELK

___

O Logstash recebe e processa os logs coletados de diversas fontes, realiza as transformações, agrupa e indexa esses logs no Elasticsearch, que pesquisa e analisa os dados, fazendo com que eles possam ser visualizados e gerenciados no Kibana.

Conheça nosso curso online de Introdução a Stack ELK

Siga o passo a passo abaixo para instalar o Stack ELK em sua máquina.

Instalação

1. Instale o Java JDK

2. Acesse o site da Elastic

3. Vá em “downloads”, ao lado direito na parte superior na tela

4. Escolha o(s) serviço(s) desejado(s) – Elasticsearch, Kibana, Logstash ou Beats 5. Escolha a versão mais recente ou vá em “past releases” para baixar versões anteriores 6. Baixe o serviço para o seu sistema operacional (Mac/Linux ou Windows)

Em seguida, os arquivos devem ser executados através do propt de comando (ou entrando na respectiva pasta e abrindo os arquivos executáveis .bat) para realizar sua configuração.

Unzip/Untar dos arquivos

Elasticsearch e Kibana

1.Utilize o comando:

• Elastic: bin/elasticsearch (ou bin\elasticsearch.bat no Windows)
• Kibana: bin/kibana (ou bin\kibana.bat no Windows)

2.Cheque se está funcionando:

• Elastic: http://localhost:9200/
• Kibana: http://localhost:5601

OBS: É preciso subir o Elastic para subir o Kibana.

Logstash e Beats

Ambos são arquivos do config.

Logstash

1. Prepare o arquivo logstash.conf
2. Utilize o comando: bin/logstash -f logstash.conf

Beats

1. Edite a configuração do arquivo:

a. Filebeat: filebeat.yml

b. Packetbeat: packetbeat.yml

c. Winlogbeat: winlogbeat.yml

d. Metricbeat: metricbeat.yml

e. Heartbeat: heartbeat.yml

f. Auditbeat: auditbeat.yml

2. Utilize o comando:

a. Filebeat: sudo ./filebeat -e -c filebeat.yml

b. Packetbeat: sudo ./packetbeat -e -c packetbeat.yml

c. Winlogbeat: winlogbeat.exe -c winlogbeat.yml

d. Metricbeat: sudo ./metricbeat -e -c metricbeat.yml

e. Heartbeat: sudo ./heartbeat -e -c heartbeat.yml

f. Auditbeat: sudo ./auditbeat -e -c auditbeat.yml

Conectar o Kibana ao Elasticsearch

Antes de você utilizar o Kibana, é preciso definir quais indices no Elasticsearch você quer explorar. Em seu primeiro acesso, defina um index pattern que combine com o nome de cada um dos seus indices.

Para configurar os indices no Elasticsearch que você quer acessar com o Kibana:

1. Aponte seu browser para a porta 5601. Por exemplo: localhost:5601 ou http://YOURDOMAIN.com:5601.
   
   
2. Especifique um index pattern que combine com um ou mais indices do Elasticsearch. Ele pode conter asterisco (*) com zero ou mais caracteres.
   
   
3. Clique em “Next step” para selecionar o campo que contém o timestamp que você quer usar para realizar comparações baseadas em tempo. Se o seu index não tem dados baseados em tempo, escolha a opção “I don´t want to use the Time Filter”.
   
   
4. Clique em “Create index pattern” para adicionar o index pattern. O primeiro é configurado automaticamente como padrão. Quando você tem mais de um index pattern, é possível escolher qual usar como padrão clicando no ícone de estrela acima do título, em Management > Index Patterns.
   
   
5. Para visualizar os dados, vá até o Discover.

E pronto! Você já pode utilizar o Kibana para visualizar e gerenciar seus dados.

Conheça o Semantix OpenGalaxy, uma plataforma de dados que possibilita subir o Stack ELK em 1-Click.