big data lead colmex
TRANSCRIPT
![Page 1: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/1.jpg)
@abxda
![Page 2: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/2.jpg)
![Page 3: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/3.jpg)
¿Qué es Big Data?
@abxda
![Page 4: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/4.jpg)
¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/ @abxda
![Page 5: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/5.jpg)
¿Qué es Big Data?
@abxda
![Page 6: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/6.jpg)
¿Qué es Big Data?
@abxda
![Page 7: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/7.jpg)
Según Gartner:Big data is high-volume, high-velocity and high-variety information assets
that demand cost-effective, innovative forms of information
processing for enhanced insight and decision making.
http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf @abxda
![Page 8: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/8.jpg)
¿Qué es Big Data?
Diciembre 2004
Octubre 2003
@abxda
![Page 9: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/9.jpg)
¿Qué es Big Data?
2006> 100,000 Artículos
2007@abxda
![Page 10: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/10.jpg)
Hadoop (2006 - 2008)
@abxda
![Page 11: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/11.jpg)
Hadoop (2006 - 2008)
@abxda
![Page 12: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/12.jpg)
¿Qué es Big Data? (2009 – 2016…)
@abxda
![Page 13: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/13.jpg)
Matei Zaharia Ion Stoica
(2009 – 2016…)
@abxda
![Page 14: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/14.jpg)
(2013)
@abxda
![Page 15: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/15.jpg)
Big Data en las Oficinas Nacionales de Estadística
http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx?version=1&modificationDate=1362939424184
Comisión Económica de las Naciones Unidas para Europa
@abxda
![Page 16: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/16.jpg)
• It is clear that during the next two years there is a need to identify a few pilot projects that will serve as proof of concept.• Statistical organisations are, therefore, encouraged to address formally Big data issues in their annual and multi-annual work programmes by undertaking research and pilot projects in selected areas and by allocating appropriate resources for that purpose.
Big Data en las Oficinas Nacionales de Estadística
@abxda
![Page 17: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/17.jpg)
• 'new' exploration and analysis methods are required: Visualization methods, Text mining, and High Performance Computing.• To use Big data, statisticians are needed with a different mind-set and new skills. The processing of more and more data for official statistics requires statistically aware people with an analytical mind-set, an affinity for IT (e.g. programming skills)
Big Data en las Oficinas Nacionales de Estadística
@abxda
![Page 18: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/18.jpg)
@abxda
![Page 19: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/19.jpg)
Experto encomputación ydesarrollo avanzados(Big Data)
Experto enModelado
Estadístico
Experto enel dominio de
datos
Unicornio
Zonapeligrosa!
Investigacióntradicional
Machinelearning
CIENCIADE
DATOS
http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html @abxda
![Page 20: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/20.jpg)
Equipo Big Data• Expertos en el Dominio de los Datos, Especialistas en el área de
interés.(Economistas, Expertos en percepción remota, Psiquiatras, etc…)• Científicos de Datos, expertos en integracion de soluciones Big
Data (MapReduce, Scala, Machine Learning, Spark, R, Estadística).• Estadisticos, expertos en modelado estadistico, enfoque en
aprendizaje estadístico (R).• Desarrolladores de Software, expertos en desarrollo de software
(JavaScript, Arquitecturas de Software, Patrones de Diseño, Api’s REST).• Diseñadores Gráficos, expertos en presentación de información
(HTML5, CSS3, JavaScript, Twitter Bootstrap).• Administradores de Sistemas, expertos en arquitecturas de
computo, infraestructura. Desde redes a clusters de computadoras (Linux).
#sgvirtual
@abxda
![Page 21: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/21.jpg)
Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos Crudoshdfs://
Información(Significado)
TomarDecisiones
Actuar
¿quién?¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de DatosEstadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…Análisis de Redes (Grafos)
Minería de Datos
Velocidad
Varie
dad
VolumenCiencia de Datos
(Transforma/Modela)Cómputo Distribuido y Paralelo
ArquitecturaBig Data/Ciencia de Datos
@abxda
![Page 22: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/22.jpg)
%Acceso a Internet, %Pc, %Telefono Celular, %Automovil
En la misma Pc de 4 Procesadores:(2013)
Software Tiempo Manzanas
Big Data (Spark)
8 Seg. 1’221,180
Tradicional (R)
8 Seg. 2,666
https://spark.apache.org/
2013
@abxda
![Page 23: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/23.jpg)
Twitter como fuente de Big Data (Primer Proyecto Piloto)Para medir el pulso emotivo de México …y mucho más …
@abxda
![Page 24: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/24.jpg)
Hydra
Octubre 2013INEGI
@abxda
![Page 25: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/25.jpg)
Visualización de la Base de Datos
200 Millones de Tuits400 Gb800 Mb Diarios
@abxda
![Page 26: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/26.jpg)
Visualización de la Base de Datos
~100 Millones de Tuits
@abxda
![Page 27: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/27.jpg)
Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
~1,000,000 Tuiteros generaron ~ 100 Millones de Tuits
![Page 28: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/28.jpg)
Movilidad de los Tuiteros4’469,550 de desplazamientos inter-municipales 347,157 Tuiteros
@abxda
![Page 29: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/29.jpg)
Equipo de Trabajo
Dr. Oscar S. Siordia [email protected]
Dr. Mario [email protected] Dra. Daniela Moctezuma
Dr. Elio Villaseñorelio.villaseñ[email protected]
Dr. Eric [email protected]
Dr. Sabino [email protected]
Dr. Gerardo [email protected]
Dr. Alfredo [email protected]
Mtro. Abel [email protected]
Ing. Silvia [email protected] Y el apoyo de:
Dr. Juan Muñoz Ló[email protected]
Ing. Ricardo [email protected]
Y en la parte de visualización:Lic. Marco [email protected]
@abxda
![Page 30: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/30.jpg)
@abxda
![Page 31: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/31.jpg)
DENUE & Twitter
@abxda
![Page 32: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/32.jpg)
DENUE & Twitter
@abxda
![Page 33: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/33.jpg)
DENUE & Twitter
@abxda
![Page 34: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/34.jpg)
Horarios de Tuiteo cerca de algún sector
@abxda
![Page 35: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/35.jpg)
4.9 M de Polígonos de Voronoi (DENUE)
@abxda
![Page 36: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/36.jpg)
Big Spatial Join (4.9 M DENUE +60 M Tweets)
@abxda
![Page 37: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/37.jpg)
SpatialSpark (Nov. 2015)
@abxda
![Page 38: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/38.jpg)
SpatialSpark: Open Source
@abxda
![Page 39: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/39.jpg)
DENUE - Twitter
@abxda
![Page 40: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/40.jpg)
Siguientes Pasos
• Colaboraciones Internacionales con ONU, para explorar el uso de Big Data en el calculo de los Indicadores de Desarrollo Sostenible.• Ampliar los trabajos a mas Fuentes de Big Data:
Datos de Telefonía Móvil, Imágenes de Satélite, etc.• Salud Mental en Adolescentes con Data2x y
Instituto Nacional de Psiquiatría• Producto del Ánimo Tuitero en Tiempo Real
@abxda
![Page 41: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/41.jpg)
Preguntas
@abxda
![Page 42: Big data lead colmex](https://reader035.vdocuments.us/reader035/viewer/2022062523/58ecf8e41a28abbc248b46e1/html5/thumbnails/42.jpg)
[email protected]@abxda