05/07/2013

1

Big Data y Hadoop

Agenda

1. Big Data

2. Hadoop

3. Personal especializado

4. Recomendaciones

Evolución de la Tecnología

BIG DATA

WEB Petabytes

CRM Terabytes

Gigabytes

ERP

Exabytes

Implementación de nuevas tecnologías

User Generated Content

Mobile Web

SMS/MMS

Sentiment

External Demographics

HD Video

Speech to Text

Product/ Service Logs

Social Network

Business Data Feeds

User Click Stream

Web Logs

Offer History A/B Testing

Dynamic Pricing

Affiliate Networks

Search Marketing

Behavioral Targeting

Dynamic Funnels Payment Record Support Contacts

Customer Touches Purchase Detail

Purchase Record

Offer Details

Segmentation

05/07/2013

2

Carácterísticas

Volumen

2 a 100 Teras

Velocidad

ETL < 1 hora

In Memory

Variedad

No Estructurada

Múltiples fuentes

Necesidad Plataforma Unificada

Análisis con SAS, R, SQL, Java, C++, Python Visualization con BI, Mobile, Excel

Descubrir y Explorar Datos no estructurados

Análisis datos estructurados

Capturar y Refinar datos

Red Social

SMS Textos Audio Video Imágenes ERP Logs CRM

Visualizar y Compartir

Información

Hadoop

05/07/2013

3

Definicion

Apache Hadoop es un framework de software que

soporta aplicaciones distribuidas bajo una licencia

libre. Permite a las aplicaciones trabajar con miles

de nodos y petabytes de datos.

Hadoop se inspiró en los documentos Google para

MapReduce y Google File Systems (GFS).

Wikipedia

Diversas Fuentes de Informacion

• Perfiles redes sociales

• Influenciadores sociales

• Aplicaciones en la nube SaaS

• Informacion publica web

• Resultados Map Reduce

• Data warehouse appliances

• Bases de datos columnares NoSQL

• Video e imagines

• Logs y sensores

Granja de servidores

05/07/2013

4

Ecosistema

HDFS

HBase

Pig, Hive, Mahout

Map Reduce

Sqoop Flume

Resource Management

& Workflow

Yarn

Zookeeper

Apache Pivotal HD Added Value

Configure,

Deploy,

Monitor,

Manage

Command

Center

Hadoop Virtualization (HVE)

Data Loader

Pivotal HD Enterprise

Xtension Framework

Catalog Services

Query Optimizer

Dynamic Pipelining

ANSI SQL + Analytics

HAWQ– Advanced Database Services

Pivotal HD Architecture

Uso de Hadoop

Conseguir Personal Especializado BIG DATA

05/07/2013

5

Falta Personal Especializado

Las empresas van a tener que adecuar sus

organizaciones para poder manejar Big

Data:

• Quien debe ser el dueño de la Data ?

• Chief Analytics Officer ? Chief Big Data

Analytics Officer ?

• Las empresas van a necesitar areas de

Big Data Analytics

Falta Personal Especializado

• Demanda de Talento analítico

insatisfecha.

• Es difícil de ubicar Personal especializado

en Big Data, son muy escasos.

• Nuevos Talentos requeridos con nuevos

perfiles.

• Las Universidades tienen que crear

nuevas carreras que recien egresaran en

3 o 5 años.

Falta Personal Especializado

• Se van a generar más escuelas de

Analytics y Big Data.

• Se va a generar un nuevo ecosistema de

empresas que ofrecen estos servicios

como PowerData

• Data Scientist ? www.datascientist.net

05/07/2013

6

Recomendaciones

• No es el GRANDE en que

se come al chico

• Es el RAPIDO el que se

come al lento

• Si Usted no puede tomar

decisiones con rápidez,

cualquier acción que tome

no alcanzará la velocidad

adecuada.

Jason Jennings y Laurence Haughton

Big or Fast ?

1. Pensar con Rápidez

1. Prever

2. Detectar tendencias

3. Filtrar ideas

4. Dejar que gane la mejor

2. Decisiones rápidas

1. Reglas de negocios

2. Eliminar burocracia

3. Desatarlo todo

4. Intercambiar carteras

Como ser más Rápidos

3. Salir al mercado con mayor

rápidez

1. Lanzar una Cruzada

2. Ventaja competitiva

3. Que sea sencillo

4. Intercambiar carteras

4. Mantener la velocidad

1. Cuentas claras

2. Ser implacable con los recursos

3. Ser flexible en las finanzas

4. No engañarse

Jason Jennings y Laurence Haughton

05/07/2013

7

Como ser más Rápidos

¡MUCHAS GRACIAS!