diventare famosi con lo stack elk - alfonso iannotta

DIEVENTARE FAMOSI CON LO STACK ELKdi Alfonso Iannotta

MI PRESENTO:- Laureato in informatica

- Da 20 anni lavoro nell’IT

- Appassionato di tecnologie Open Source

Curva di apprendimento rapida

Valore aggiunto immediato

Tecnologia open source

RobustoAffidabileEfficiente

TIMELINEPERCHÈ AVRETE SUCCESSO

COSA È LO STACK ELK

• Ingestion• Parsing

Step 1Title

• Indicizzazione

• Aggregazione

Step 2Title

• Presentazione

Step 3Title

- Basato su

- Organizzato in Cluster

- Nodi specializzati: Data,Master,Ingestion,Coordinating

- Gestisce dati in formato Json

- Utilizza le Shards blocchi di dati replicati

- Scritto in jruby- Input Plugin: file, SQL, JMX, EXEC, TCP/UDP …- Filter Plugin: Grock, KV, XML, aggregate, …- Output Plugin: Elasticsearch, Redis, Kafka, …- Information enrichment: GeoIP,

- Costruisce grafici, tabelle o mappe

- Effettua query su Elasticsearch

- Supporta le Timeseries

- Realtime

- Drill down tramite filtri

ARCHITETTURA ELKData node                 Sono i nodi del cluster

su cui risiedono i dati.  Master node                Sono i nodi che gestiscono

i Data node.          Coordinating node                Ospitano Kibana, ricevono tutte

le richieste di visualizzazione dei dati.          

  Ingestion node                 Sono i nodi che trasportano i dati

nella piattaforma Elasticsearch.

ECOSISTEMA ELK

- Broker messages:

- Twemproxy (Nutcracker)

- Curator

- Rsyslog

ELK È UN FRAMEWORK BIG DATA?

Perche si Perche noNon supporta gli algoritmi tipici dei Big Data

• Machine learning• Data mining• Analisi predittive

• Compliant con le 4V di Big Data

• Volume• Velocità• Varietà• Veridicità

Near Real Time

ELK + HADOOP = ES-HADOOP

DOMANDE E RIFERIMENTI

Alfonso.iannotta@gmail.com