la combinación perfectafiles.meetup.com/7770862/20151126 ibm & apache spark 03.pdf · big data...

21
La combinación perfecta Eynar Espinoza Pérez IBM Big Data Latam Leader [email protected]

Upload: others

Post on 27-May-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

La combinación perfecta

Eynar Espinoza PérezIBM Big Data Latam Leader

[email protected]

Page 2: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Una nueva EconomíaUna nueva Economía

Page 3: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Los innovadores están viendo los beneficios:

La analítica retornan USD $13.01 por cada dolarinvertido1

69% creó un impacto positivo en los “outcomes” de

“The Insight Economy” está aquí

IBM Spark

69% creó un impacto positivo en los “outcomes” de negocio2

60% creó un impacto positivo en el revenue2

53% creó una ventaja competitiva importante2

1 Analytics Pays Back $13.01 for Every Dollar Spent” Nucleus Research, September 2014 2 Analytics: The speed advantage” IBM Institute for Business Value, 2014

Page 4: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Plataforma analítica amplia y profunda

Integracion y gobierno de datos ágil

Plataforma IBM AnalyticsDiscovery & Exploration

ContentAnalytics

Prescriptive Analytics

Streaming Analytics

Business Intelligence & Predictive Analytics

IBM Spark

Arquitectura Híbrida y Coherente

Plataforma Abierta y UnificadaData

ManagementContent

ManagementHadoopSystems

DataWarehousing

Information Integration & Governance

Page 5: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Spark es un estándar abierto con innovación comunitaria

Spark es rápido 100x más rápido que Hadoop MapReduce

Spark es para todos los datos procesamiento datos

¿Por qué Spark?

IBM Spark

masivos

Spark habilita ciencia de datos ágil con una rápida iteración

Spark se integra con soluciones de IBM

Page 6: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Spark permite acelerar la Nueva Economía

Data Scientist“el evangelista”

IBM Spark

Data Engineer App Developer“el constructor”“el pensador”

Page 7: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Con Spark, los data scientist

pueden iterar sus modelos de manera acelerada

IBM Spark

Data Scientist “el evangelista”

manera acelerada

Page 8: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Con Spark, los ingenieros de

datos pueden construirsistemas de gran volumetría

IBM Spark

Data Engineer “el pensador”

sistemas de gran volumetría

Page 9: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Con Spark, los desarrolladores

pueden crear aplicacionesconducidas por analítica

IBM Spark

Application Developer“el constructor”

conducidas por analítica

Page 10: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Clientes que comenzaron a Innovar con IBM y Spark

IBM Spark

Page 11: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Open Source SystemML

Educar a Un Millon de Profesionales

Anuncios de este año 2015Nuestro compromiso con Spark

IBM Spark

Establecer el Spark Technology Center

Miembros Fundadores de AMPLab

Contribuir desarrollando el Core

Page 12: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

SystemML unifica los entornos de machine learning

Brinda al core de Spark un completo set de DML

Permite a los data scientist a enfocarse en los modelos, no en la implementación

Contribuimos con SystemMLNuestra mayor contribución a la comunidad open source desde Linux

IBM Spark

Permite a los data scientist a enfocarse en los modelos, no en la implementación

Acelera el time to value de los equipos de analistas

Establece un standard para reutilizar rutinas de machine learning

Page 13: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Big Data University MOOC (Massive Open Online Course)

Spark Fundamentals I y II

Series de Desarrollo Avanzado en Spark

Nuestra Inversión en brinar conocimientoEducar a 1 Million de Data Scientists y Data Engineers

IBM Spark

Series de Desarrollo Avanzado en Spark

Metodología Fundacional para Data Science

Partnerships con Databricks, AMPLab, DataCamp y MetiStream

Page 14: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Inspirar el uso de Spark para resolver problemas de negocio

Incentivar la adopción a través de activos y educación gratuita

Nuestra meta es ser el contribuyente #1 de Spark y el mayor adopterSpark Technology Center

IBM Spark

Incentivar la adopción a través de activos y educación gratuita

Demostrar soluciones en el mundo real

Usar nuestro conocimiento para mejorar Spark y su aplicabilidad

Page 15: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Nuestro Ecosistema en el Mundo Spark

IBM Spark

Page 16: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Spark trabaja con nuestra Plataforma AnalyticsSpark

Discovery & Exploration

ContentAnalytics

Prescriptive Analytics

Streaming Analytics

Apache Spark as a Service en IBM Bluemix (beta)

IBM Open Platform with Apache Hadooppuede usar Spark como alternativa a MapReduce; soporta todos los componentes de

Hadoop Systems

IBM Spark

Business Intelligence & Predictive Analytics

DataManagement

ContentManagement

HadoopSystems

DataWarehousing

Information Integration & Governance

MapReduce; soporta todos los componentes de Apache Spark

Los módulos de IBM BigInsights usan Spark

Usar modelos Spark directamente en IBM Streams

Código Java escrito en Spark corre en IBM Streams

Uso del mismo cluster para Spark & IBM Streams

Streaming Analytics

Page 17: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Text Analytics

)4�+��2�����"#�3���$��

IBM BigInsights Enterprise ManagementMachine Learning on Big R

Big R

IBM BigInsights Data Scientist

IBM BigInsights Analyst

Big SQLBig SQL

IBM BigInsights for Apache Hadoop

IBM BigInsights for Apache Hadoop

IBM Spark

�"���:������#.��"��� � ����#"�� �

Big SQL

;�����

Big SQL

BigSheets

*IBM Data Platform with Apache Hadoop is our own 100% open source Apache Hadoop distribution.

IBM Open Platform with Apache Hadoop

HDFS

YARN

MapReduce

Ambari HBase

Spark

Flume

Hive Pig

Sqoop

HCatalog

Solr/Lucene

Zookeeper Oozie Knox Slider

Page 18: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

HoyIBM Open Platform with Apache HadoopIBM InfoSphere StreamsIBM Platform Computing

Nuestro Uso de Spark

Al finalizar este añoApache Spark as a Service en IBM Bluemix (in beta)IBM Watson AnalyticsSPSS Modeler & Analytics Server

IBM Spark

IBM Platform Computing

Más de 30 iniciativas de IBM Research

3,500 Investigadores y Desarrolladores Spark

SPSS Modeler & Analytics ServerIBM DataWorksIBM PureData Systems with Fluid QueryIBM Commerce

Page 19: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Recursos AdicionalesRecursos Adicionales

Page 20: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

Contacta a tu representante IBM para tener una revisión en profundidad

Descubre Visita ibmbigdatahub.com para conocer las últimas novedades

Aprende Comienza con “Spark Fundamentals” en bigdatauniversity.com

Da tu siguiente paso con IBM

IBM Spark

Prueba Spark Suscribe “Apache Spark as a Service” en IBM Bluemix spark.tc/beta

Prueba Spark con Hadoop Descarga en ibm.com/Hadoop

Experimenta Únete a nosotros en el IBM Spark Technology Center en spark.tc

Page 21: La combinación perfectafiles.meetup.com/7770862/20151126 IBM & Apache Spark 03.pdf · Big Data University MOOC (Massive Open Online Course) Spark Fundamentals I y II Series de Desarrollo

DEMOSTRACIÓN