Download - Big data y hadoop
05/07/2013
1
Big Data y Hadoop
Agenda
1. Big Data
2. Hadoop
3. Personal especializado
4. Recomendaciones
Evolución de la Tecnología
BIG DATA
WEB Petabytes
CRM Terabytes
Gigabytes
ERP
Exabytes
Implementación de nuevas tecnologías
User Generated Content
Mobile Web
SMS/MMS
Sentiment
External Demographics
HD Video
Speech to Text
Product/ Service Logs
Social Network
Business Data Feeds
User Click Stream
Web Logs
Offer History A/B Testing
Dynamic Pricing
Affiliate Networks
Search Marketing
Behavioral Targeting
Dynamic Funnels Payment Record Support Contacts
Customer Touches Purchase Detail
Purchase Record
Offer Details
Segmentation
05/07/2013
2
Carácterísticas
Volumen
2 a 100 Teras
Velocidad
ETL < 1 hora
In Memory
Variedad
No Estructurada
Múltiples fuentes
Necesidad Plataforma Unificada
Análisis con SAS, R, SQL, Java, C++, Python Visualization con BI, Mobile, Excel
Descubrir y Explorar Datos no estructurados
Análisis datos estructurados
Capturar y Refinar datos
Red Social
SMS Textos Audio Video Imágenes ERP Logs CRM
Visualizar y Compartir
Información
Hadoop
05/07/2013
3
Definicion
Apache Hadoop es un framework de software que
soporta aplicaciones distribuidas bajo una licencia
libre. Permite a las aplicaciones trabajar con miles
de nodos y petabytes de datos.
Hadoop se inspiró en los documentos Google para
MapReduce y Google File Systems (GFS).
Wikipedia
Diversas Fuentes de Informacion
• Perfiles redes sociales
• Influenciadores sociales
• Aplicaciones en la nube SaaS
• Informacion publica web
• Resultados Map Reduce
• Data warehouse appliances
• Bases de datos columnares NoSQL
• Video e imagines
• Logs y sensores
Granja de servidores
05/07/2013
4
Ecosistema
HDFS
HBase
Pig, Hive, Mahout
Map Reduce
Sqoop Flume
Resource Management
& Workflow
Yarn
Zookeeper
Apache Pivotal HD Added Value
Configure,
Deploy,
Monitor,
Manage
Command
Center
Hadoop Virtualization (HVE)
Data Loader
Pivotal HD Enterprise
Xtension Framework
Catalog Services
Query Optimizer
Dynamic Pipelining
ANSI SQL + Analytics
HAWQ– Advanced Database Services
Pivotal HD Architecture
Uso de Hadoop
Conseguir Personal Especializado BIG DATA
05/07/2013
5
Falta Personal Especializado
Las empresas van a tener que adecuar sus
organizaciones para poder manejar Big
Data:
• Quien debe ser el dueño de la Data ?
• Chief Analytics Officer ? Chief Big Data
Analytics Officer ?
• Las empresas van a necesitar areas de
Big Data Analytics
Falta Personal Especializado
• Demanda de Talento analítico
insatisfecha.
• Es difícil de ubicar Personal especializado
en Big Data, son muy escasos.
• Nuevos Talentos requeridos con nuevos
perfiles.
• Las Universidades tienen que crear
nuevas carreras que recien egresaran en
3 o 5 años.
Falta Personal Especializado
• Se van a generar más escuelas de
Analytics y Big Data.
• Se va a generar un nuevo ecosistema de
empresas que ofrecen estos servicios
como PowerData
• Data Scientist ? www.datascientist.net
05/07/2013
6
Recomendaciones
• No es el GRANDE en que
se come al chico
• Es el RAPIDO el que se
come al lento
• Si Usted no puede tomar
decisiones con rápidez,
cualquier acción que tome
no alcanzará la velocidad
adecuada.
Jason Jennings y Laurence Haughton
Big or Fast ?
1. Pensar con Rápidez
1. Prever
2. Detectar tendencias
3. Filtrar ideas
4. Dejar que gane la mejor
2. Decisiones rápidas
1. Reglas de negocios
2. Eliminar burocracia
3. Desatarlo todo
4. Intercambiar carteras
Como ser más Rápidos
3. Salir al mercado con mayor
rápidez
1. Lanzar una Cruzada
2. Ventaja competitiva
3. Que sea sencillo
4. Intercambiar carteras
4. Mantener la velocidad
1. Cuentas claras
2. Ser implacable con los recursos
3. Ser flexible en las finanzas
4. No engañarse
Jason Jennings y Laurence Haughton
05/07/2013
7
Como ser más Rápidos
¡MUCHAS GRACIAS!