big data 2.0: retos y tendencias tecnológicas del big data
DESCRIPTION
TRANSCRIPT
![Page 1: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/1.jpg)
Big Data 2.0 retos y tendencias tecnológicas
del Big Data
Jordi Torres, UPC/BSC
www.JordiTorres.eu
Madrid - 19/06/2012
![Page 2: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/2.jpg)
Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
![Page 3: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/3.jpg)
Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
Twitter: (redes sociales)
90 millones de Tweets por día
que representa 8 Terabytes.
Boeing: (industria)
Vuelo transoceanico de un
jumbo puede generar 640
Terabytes.
Wal-Mart: (comercio) 1 millón de transacciones por hora que se estima que alimenta una base de datos de 2.5 Petabytes.
![Page 4: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/4.jpg)
¿Big Data?
• Explosión del volumen de los datos
• 3 V : Volumen, Velocidad y Variedad
2009: 0,8
Zettabytes
2020: 35,2
Zettabytes
(*) 1 Zettabyte (ZB) = 1.000.000.000.000 (GB)
![Page 5: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/5.jpg)
Retos tecnológicos
• Se ha desbordado la capacidad actual – Almacenamiento
– Gestión
– Procesado
– Análisis
Volum de dades GBs PBs
Tie
mp
o d
e r
esp
ue
sta
![Page 6: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/6.jpg)
Retos tecnológicos
• Se ha desbordado la capacidad actual – Almacenamiento
– Gestión
– Procesado
– Análisis
Volum de dades GBs PBs
Tie
mp
o d
e r
esp
ue
sta
?
In-memory
![Page 7: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/7.jpg)
Almacenamiento
• Nuevas tecnologías de almacenamiento
– RAM vs HHD
– Solución actual
– Investigación
HHD 100 más barato que RAM
Pero 1000 veces más lento
Solid- state drive (SSD)
además no volátil
Storage Class Memory (SCM)
![Page 8: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/8.jpg)
Gestión
• Limitaciones de las BD relacionales
Solución actual:
“NoSQL systems”
Volum de dades GBs PBs
Tie
mp
o d
e r
esp
ue
sta
![Page 9: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/9.jpg)
Gestión
• Limitación de propiedad ACID de BD
• Nueva propiedad: BASE
Ejemplo Consistencia eventual: Facebook
• Investigación: Self-* NoSQL systems
Atomicity, Consistency, Isolation & Durability
Basically Available,
Soft state,
Eventual consistency
![Page 10: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/10.jpg)
Procesado
• Nuevos modelos de programación
– Solución actual:
Volum de dades GBs PBs
Tie
mp
o d
e r
esp
ue
sta
![Page 11: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/11.jpg)
Procesado
• Solución Open Source:
– Hadoop
• Mercado:
– Distribuciones propias
![Page 12: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/12.jpg)
MapReduce+NoSQL
• Difícil pensar en MapReduce+NoSQL
• Solución: Niveles de abstracción
Hace falta “desaprender”
Hbase
Hive
(SQL based language)
Pig
(Data Flow Language)
![Page 13: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/13.jpg)
SQL+NoSQL
• Propuestas de la industria SQL+NoSQL
– Integrar funcionalidades MapReduce
– conectores Hadoop para DW
Data
ETL
Data
Data
ETL
Normalized
data
Normalized
data
DataWarehouse
Business Users
Business Analysts
Etc.
Data
Data
Hadoop
ODBC
driver
![Page 14: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/14.jpg)
MapReduce+NoSQL
• Investigación: Gestión jerarquía de
almacenamiento
RDBMS
IN-MEMORY
APPLICATION
GBs PBs
Storage Hierarchy
Management
![Page 15: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/15.jpg)
Análisis
• Hace falta conocimiento accionable
conocimiento
información
datos
+
Vo
lum
en
- +
-
Valo
r
![Page 16: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/16.jpg)
Análisis
• Solución: Data Mining
• Investigación:
Asociación
Clasificación
Clustering
Predicción
...
La mayoría de algoritmos se
ejecutan bien en miles de registros,
pero son hoy por hoy impracticables
en miles de millones.
![Page 17: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/17.jpg)
Análisis
• Solución Open Source:
Source: http://www.smartplanet.com/blog/business-brains/retailer-or-a-data-company-wal-mart-is-now-both/20850
• ¿Reflejo
de los
avances?
![Page 18: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/18.jpg)
Recursos usados
T
¿Y el Cloud?
![Page 19: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/19.jpg)
Recursos usados
T
Capacidad CPD
¿Y el Cloud?
![Page 20: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/20.jpg)
Recursos usados
T
Capacidad CPD
recursos NO
usados
¿Y el Cloud?
![Page 21: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/21.jpg)
T
Elasticidad del Cloud
¿Y el Cloud?
![Page 22: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/22.jpg)
Oportunidades
Hace una década:
WEB 2.0 ecosistema LAMP
– Linux
– Apache
– MySQL
– PHP
hoy: DATA 2.0 ecosistema Hadoop
![Page 23: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/23.jpg)
Conclusiones
• Está llegando el Big Data
– La tecnología se está preparando para ello
– ¿Y ustedes?
• Prepárense para subirse al Big Data
– Un reto y una oportunidad para ustedes
![Page 24: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/24.jpg)
Para saber más …
• Blog
• Próximo libro “Del Cloud Computing al Big Data”
Editorial UOC, septiembre 2012
Creative Commons 3.0
www.JordiTorres.org/blog
![Page 25: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/25.jpg)
Y especial gracias a
Autonomic Systems and e-Business Platforms research group
www.bsc.es/eBusiness
![Page 26: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/26.jpg)
¡Gracias por su atención!
![Page 27: Big Data 2.0: retos y tendencias tecnológicas del Big Data](https://reader034.vdocuments.us/reader034/viewer/2022051514/5487303d5906b5fb0c8b4567/html5/thumbnails/27.jpg)
Y otro libro …
http://www.librosdecabecera.com/empresas-en-la-nube