BigData Analysis – le tre “V”
Scenario
Changelles
Solution deployment
Risultati – Fasi successive
Evoluzioni future
BigData Analysis
3
VolumeVolume
VariabilitàVariabilità
VelocitàVelocità
Scenario Reale
4
•UPS
•Climatizzazione
•Antincendio
•Videosorveglianza
•OSS Procedure di manutenzione ed intervento
•Change Management Support System
• Baseline software (SO, MPI)
• High performance network (infinyband)
• Strumenti OSS
• Soluzioni SAN Eterogenee
• Storage Aggregation
• Baseline software (Windows, Linux, Unix, Solaris)
• Middleware
• Applicationi / Servizi
• Strumenti OSS
• VMWare, Citrix
• Machine Pools
• Virtual Network
• Virtual Storage
• Strumenti OSS
Virtualization InfrastructureVirtualization Infrastructure
Server FarmServer Farm
HPCHPCDistributed
StorageDistributed
Storage
Ne
two
rkin
g
Infr
ast
ruct
ure
Approccio iniziale – Analisi dello scenario
5
Target: IT Operation Manager – Datacenter Tech Director
Real-time IT Monitoring - Challenges:
• Difficoltà nell’investigare problemi che interessano più sistemi
• Le investigazioni e gli interventi richiedono molto personale con skill dedicate
• Tempi di analisi/intervento sono molto lunghi
• Necessità di utilizzare strumenti eterogenei e verticali
• Lentezza nella produzione di dati di sintesi sullo stato dei sistemi, delle risorse e delle performance complessive (dati a supporto delle decisioni strategiche sull’utilizzo del datacenter)
• Alcuni componenti integrati nel “sistema datacenter” sono ignorati -> errori non gestiti, mancata analisi causa-effetto
Il concetto di “situation awareness”
6
Qual è lo stato di carico della
nostra infrastruttura virtuale?
Qual è il trend di
occupazione dello
storage per l’HPC ?
Qual è la catena
tecnologica interessata
da questa anomalia ?
Qual è il trend dei consumi
energetici per la
climatizzazione rispetto
all’impiego delle risorse ?
Qual è lo storico
dell’occupazione
risorse della server
farm dedicata al
servizio X ?
Quali servizi
virtualizzazione ?
Quali servizi
applicativi
impegnano
maggiormente
l’infrastruttura du
rete e di
virtualizzazione ?
Quanto spazio è
riservato ad un pool
VMWare sulla SAN ?
Trovare risposta a domande “complesse” costruite da molte informazioni di base
SITUATION AWARENESS
Approccio iniziale – Analisi dello scenario
7
• Enormi quantità di informazioni non-strutturate (dati
macchina)
• Necessità di analizzare e correlare informazioni eterogenee
• Produzione di informazioni aggregate in tempi rapidi (in
tempo reale)
VolumeVolume
VariabilitàVariabilità
VelocitàVelocità
Assessment dello scenario
8
Definizione della “Situation”:
- Analisi delle challenges
- Selezione aree di interesse con criticità più elevata
- Analisi e definizione delle “domande” da porre
- Studio della qualità delle fonti informative (struttura e modalità di
accesso);
- Studio delle analisi sui dati (correlazioni, aggregazioni, transazioni)
- Definizione as-is e to-be sulle fonti informative (gap analysis)
- Simulazioni preliminari (offline e online)
Solution Development
9
Search & Investigate
Monitor & Alert
Report & Analyze
AddKnowledge
Index Data
Analisi delle fonti macchina
Analisi e definizione delle
correlazioni tra i dati
Accesso a fonti informative
esterne (arricchimento)
Costruzione soglie, allarmi su
dati aggregati
Analisi e definizione dei grafici,
cruscotti realtime e storici
La proposta tecnologica
10
Deployment – Fasi soluzione
11
Fase IFase I
• Storage
• Server farm
Fase IIFase II
• Virtual Infrastructure
• Network Infrastructure (in corso)
Fase IIIFase III• Servizi applicativi/middleware (in corso)
Fase IVFase IV• HPC (futuro)
Fase VFase V• Altri sistemi datacenter (futuro)
Risultati
12
• Abbattimento tempi di intervento e gestione sistema storage (pianificazione acquisiti, controllo stato, manutenzione)
• Eliminazione tempi di lavorazione produzione report aggregati stato Server Farm
– Abbattimento tempi di decisione allocazione risorse per servizi a supporto del business
• Miglioramento procedure di trouble-shooting infrastruttura VMWare legate a cause “trasversali” (storage, hardware, vNetwork)
Risultati
13
• Nascita della “Situation Awareness” del Datacenter:
– Server Farm
– Infrastruttura virtualizzazione
– Resource inventory (macchine, servizi, infrastruttura
virtualizzazione, storage, etc)
– Formazione della consapevolezza sui dati -> nuove domande,
nuovi stackeholder
Esempi di informazioni – mappa situazione VM
14
Esempi di informazioni – Datastore
15
Esempi di informazioni – Server Farm
16
Esempi di informazioni - KPI
17
Esempi di informazioni – Transazioni / Risorse
18
Esempi di informazioni – Aggregated CPU Time
19
Le domande future
20
Quali servizi erogati agli utenti
impegnano maggiormente le
nostre risorse ?
Qual è il trend di
occupazione dello
storage per l’HPC ?
Visualizzare gli SLA dei
Business
Visualizzare gli SLA dei
servizi applicativi
correlati ai servizi
Business
Qual è il trend dei consumi
energetici per la
climatizzazione rispetto
all’impiego delle risorse ?
Quali sono i trend
futuri di occupazione
delle risorse di rete ?
Quali sono le
transazioni che
impegnano
maggiornamente
l’infrastruttura ?
Quali sono i KPI per le
attività MAC sui sistemi ?
SITUATION AWARENESS
Solo IT monitoring ?
21
• Analisi in tempo reale dei sistemi di sicurezza – Oil Facility
• Location/Communication Intelligence
• Real-time social sources analysis
• Complex data-analysis (immagini, documenti, foto, machine data)
GRAZIE
Centro Direzionale di Napoli Isola E7
Via G. Porzio, 4
80143 Napoli
e-mail: [email protected]
web: www.sysmanagement.it
Sede di Milano
Viale Berengario, 15
20149 Milano
Sede di Roma
Via Taranto, 44
00181 Roma
Produzione e SW Factory
Viale Traversa degli Ulivi, 4
San Sebastiano al Vesuvio (Na)