daruben hernandez mendoza big data

Upload: anonymous-agqqftizzt

Post on 02-Jun-2018

214 views

Category:

Documents


1 download

TRANSCRIPT

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    1/10

    Universidad Autnoma del Estado de Mxico

    Centro Universitario UAEM

    Licenciatura en Informtica Administrativa

    Temas Selectos del Tratamiento de la InformacinRuben Hernndez Mendoza

    Big data

    By Vangie Beal Big data is a buzzword, or catch-phrase, used to describe a massive

    volume of both structured and unstructured data that is so large that it's difficult to

    process using traditional database and software techniques. In most enterprise

    scenarios the data is too big or it moves too fast or it exceeds current processingcapacity. Big data has the potential to help companies improve operations and make

    faster, more intelligent decisions. Is Big Data a Volume or a Technology? While the term

    may seem to reference the volume of data, that isn't always the case. The term big

    data, especially when used by vendors, may refer to the technology (which includes

    tools and processes) that an organization requires to handle the large amounts of data and

    storage facilities. The term big data is believed to have originated with Web search companies

    who needed to query very large distributed aggregations of loosely-structured data. An

    Example of Big Data An example of big data might be petabytes (1,024 terabytes) or

    exabytes (1,024 petabytes) of data consisting of billions to trillions of records of

    millions of people

    all from different sources (e.g. Web, sales, customer contact center, social media, mobile

    data and so on). The data is typically loosely structured data that is often incomplete

    and inaccessible. Big Data and Types of Business Datasets When dealing with larger

    datasets, organizations face difficulties in being able to create, manipulate, andmanage big data. Big data is particularly a problem in business analytics because

    standard tools and procedures are not designed to search and analyze massive

    datasets. As research from Webopedia parent company QuinStreet demonstrates, big data

    initiatives are poised for explosive growth. QuinStreet surveyed 540 enterprise 1ecisin-makers

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    2/10

    involved in big data and found the datasets of interest to many businesses today include traditional

    structured databases of inventories, orders, and customer information, as well as unstructured

    data from the Web, social networking sites, and intelligent devices. This data, when captured,

    formatted, manipulated, stored, and analyzed can help a company to gain useful insight

    to increase revenues, get or retain customers, and improve operations. Big data may also be

    called enterprise big data. Big data analytics Big data analytics refers to the process of

    collecting, organizing and analyzing large sets of data (big data) to discover patterns

    and other useful information. Not only will big data analytics help you to understand the

    information contained within the data, but it will also help identify the data

    that is most important to the business and future business decisions. Big data

    analysts basically want the knowledge that comes from analyzing the data. The Benefits ofBig Data Analytics Enterprises are increasingly looking to find actionable insights

    into their data. Many big data projects originate from the need to answer specific business

    questions. With the right big data analytics platforms in place, an enterprise can boost

    sales, increase efficiency, and improve operations, customer service and risk management.

    Webopedia parent company, QuinStreet, surveyed 540 enterprise 2ecisin-makers

    involved in big data purchases to learn which business areas companies plan to use Big Data

    analytics to improve operations. About half of all respondents said they were applying

    big data analytics to improve customer retention, help with product development and gain a

    competitive advantage. For most organizations, big data analysis is a challenge.

    Consider the sheer volume of data and the many different formats of the data (both

    structured and unstructured data) collected across the entire organization and the many different

    ways different types of data can be combined, contrasted and analyzed to find patterns and

    other useful information. The first challenge is in breaking down data silos to access

    all data an organization stores in different places and often in different systems. A

    second big data challenge is in creating platforms that can pull in unstructured data

    as easily as structured data. This massive volume of data is typically so large that

    its difficult to process using traditional database and software methods. Big Data

    Requires High-Performance Analytics To analyze such a large volume of data, big data

    analytics is typically performed using specialized software tools and applications for

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    3/10

    predictive analytics, data mining, text mining, forecasting and data optimization. Collectively these

    processes are separate but highly integrated functions of high-performance analytics. Using

    big data tools and software enables an organization to process extremely large volumes

    of data that a business has collected to determine which data is relevant and can be analyzed to

    drive better business decisions in the future. Examples of How Big Data Analytics is Used

    Today As technology to break down data silos and analyze data improves, business

    can be transformed in all sorts of ways. According to Datamation, todays advances

    in analyzing Big Data allow researchers to decode human DNA in minutes, predict where

    terrorists plan to attack, determine which gene is mostly likely to be responsible for certain

    diseases and, of course, which ads you are most likely to respond to on Facebook. The

    business cases for leveraging Big Data are compelling. For instance, Netflix mined its subscriber

    data to put the essential ingredients together for its

    recent hit House of Cards, and subscriber data also prompted the company to bring

    Arrested Development back from the dead. Another example comes from one of the biggest

    mobile carriers in the world. Frances Orange launched its Data for Development project by

    releasing subscriber data for customers in the Ivory Coast. The 2.5 billion records, which

    were made anonymous, included details on calls and text messages exchanged

    between 5 million users. Researchers accessed the data and sent Orange proposals for how the

    data could serve as the foundation for development projects to improve public health and safety.

    Proposed projects included one that showed how to improve public safety by tracking cell phone

    data to map where people went after emergencies; another showed how to use cellular data

    for disease containment. The pace of data creation will surely increase, especially

    as machine-to-machine communications gets cheaper and more common. Think about

    how much data all of those sensor networks, burglar alarms and vehicle telematics systems

    will create. According to IBM, every single day we create 2.5 quintillion bytes of data.

    IBM argues that the exponential growth of data means that 90 percent of the data that exists in

    the world today has been created in the last two years. This data comes from everywhere:

    sensors used to gather climate information, posts to social media sites, digital pictures

    and videos, e-commerce transaction records, and cell phone GPS coordinates, to name a

    few.Of course, its important to remember that in early human history, anything as ephemeral as

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    4/10

    a tweet just would not have been recorded, so these comparisons can only be taken

    so far. To put the data explosion in context, consider this. Every minute of every day we create

    More than 204 million email messages Over 2 million Google search queries 48 hours of

    new YouTube videos 684,000 bits of content shared on Facebook More than 100,000 tweets

    $272,000 spent on e-commerce 3,600 new photos shared on Instagram Nearly 350 new

    WordPress blog posts.

    Big Data

    Por Vangie Beal

    Big data es una palabra de moda, o eslogan usada para describir un volumen

    masivo de datos tanto estructurados como no estructurados que es tan grande que

    es difcil de procesar utilizando tcnicas de bases de datos y de softwaretradicionales. En la mayora de escenarios empresariales los datos son demasiado

    grandes o se mueve demasiado rpido o se excede la capacidad de procesamiento

    actual. Data Big tiene el potencial de ayudar a las empresas a mejorar sus

    operaciones y tomar decisiones ms rpidas e inteligentes. Es Big Data un

    volumen o una tecnologa? Mientras que el trmino puede parecer para hacer

    referencia al volumen de datos, que no siempre es el caso. El trmino big data,

    especialmente cuando lo utilicen los proveedores, pueden referirse a la tecnologa

    (que incluye herramientas y procesos) que una organizacin necesita para manejar

    las grandes cantidades de datos e instalaciones de almacenamiento. Se cree que

    el Big Data trmino que se origin con las empresas de bsqueda Web que

    necesitaban consultar muy grandes agregaciones distribuidas de datos

    estructurados dbilmente-. Un ejemplo de Big Data, podra ser petabytes (1024

    terabytes) o exabytes (1.024 petabytes) de datos que constan de miles de millones

    a miles de millones de registros de millones de personas, todos de diferentes

    fuentes (por ejemplo, Web, ventas, centros de contacto de clientes, medios decomunicacin social, datos mviles y as sucesivamente). Los datos son

    normalmente muy poco estructurados que a menudo la informacin es incompleta

    e inaccesible. Los datos y algunos tipos de conjuntos de datos utilizados en las

    grandes empresas cuando usan este tipo volmenes grandes, las organizaciones

    se enfrentan a dificultades en la capacidad de crear, manipular y gestionar grandes

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    5/10

    cantidades de datos ya que no est diseadas para buscar y analizar conjuntos de

    datos masivos. Como la investigacin de la compaa matriz Webopedia QuinStreet

    demuestra, iniciativas y estn preparados para un crecimiento explosivo de grandes

    datos. QuinStreet encuest a 540 empresas que toman las decisiones involucradas

    en grandes extensiones de datos y encontr que los conjuntos de datos de inters

    para muchas empresas hoy en da incluyen las bases de datos tradicionales

    estructurados de inventarios, pedidos y la informacin del cliente, as como datos

    no estructurados de la Web, los sitios de redes sociales y dispositivos inteligentes.

    Estos datos fueron capturados, formateados, manipulados, almacenados,

    analizados, puede ayudar a una empresa para obtener informacin til para

    aumentar los ingresos, obtener o retener a los clientes, y mejorar las operaciones.

    Big Datos tambin pueden ser llamados grandes datos de la empresa. Anlisis dedatos grandes analtica de grandes datos se refiere al proceso de recoleccin,

    organizacin y anlisis de grandes conjuntos de datos ("big data") para descubrir

    patrones y otra informacin til. No slo habr anlisis de datos grandes ayudar a

    entender la informacin contenida en los datos, sino que tambin ayudar a

    identificar los datos que son ms importante para el negocio y las decisiones futuras

    del negocio. Los beneficios de analizar los grandes datos de las empresas buscan

    encontrar informacin procesable en sus muchos datos. Muchos proyectos de data

    big se originan en la necesidad de responder a las preguntas especficas del

    negocio. Con las grandes plataformas de anlisis de los datos correctos, una

    empresa puede impulsar las ventas, aumentar la eficiencia y mejorar las

    operaciones, servicio al cliente y la gestin de riesgos. Empresa matriz Webopedia,

    QuinStreet, encuest a 540 empresas ECISIN los involucrados responsables en

    las compras de grandes datos para saber qu reas de negocio la empresa planean

    utilizar el anlisis Big Data para mejorar las operaciones. Aproximadamente la mitad

    de todos los encuestados dijeron que estaban aplicando anlisis de grandes datos

    para mejorar la retencin de clientes, ayudar con el desarrollo de productos y

    obtener una ventaja competitiva. Para la mayora de las organizaciones, el anlisis

    de grandes datos es un reto. Tenga en cuenta la gran cantidad de datos y los

    distintos formatos de los datos (datos estructurados y no estructurados) recogidos

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    6/10

    en toda la organizacin y de las diferentes maneras y tipos de datos se pueden

    combinar, contrastados y analizados para encontrar patrones y otra informacin til.

    El primer desafo es romper los silos de datos para tener acceso a todos los datos

    de depsitos de las organizaciones en diferentes lugares y, a menudo en diferentes

    sistemas.

    Un segundo desafo del Data Big es en la creacin de plataformas que pueden caer

    en los datos no estructurados con tanta facilidad como los datos estructurados. Este

    volumen masivo de datos suele ser tan grande que es difcil de procesar utilizando

    los mtodos de base de datos y de software tradicionales. Big Data Analytics

    Requiere de Alto Rendimiento Para analizar un gran volumen de datos se realiza

    normalmente utilizando herramientas de software y aplicaciones especializadas

    para el anlisis predictivo, minera de datos, minera de texto, la prediccin y la

    optimizacin de datos. En conjunto, estos procesos son funciones separadas pero

    altamente integradas de anlisis de alto rendimiento. El uso de herramientas de

    datos grandes y software permite a una organizacin procesar extremadamente

    grandes volmenes de datos que un negocio ha recogido para determinar qu datos

    son relevantes y pueden ser analizados para tomar mejores decisiones de negocio

    en el futuro. Ejemplos de cmo Big Data Analytics se utiliza hoy como la tecnologa

    para romper los silos de datos y anlisis de datos mejora el negocio puedetransformarse en todo tipo de formas. Segn Datamation, los avances en el anlisis

    de Big Data de hoy permiten a los investigadores a descifrar el ADN humano en

    cuestin de minutos, predicen si los terroristas planean atacar, determinan qu gen

    es sobre todo probable que sea responsable de ciertas enfermedades y, por

    supuesto, que los anuncios que tienen ms probabilidades de responder a en

    Facebook. Los casos de negocio para aprovechar los grandes datos son

    convincentes. Por ejemplo, Netflix extrae sus datos de suscriptor de poner los

    ingredientes esenciales juntos por su reciente xito Castillo de naipes, y los datos

    de abonado tambin impulsaron a la empresa a llevar Arrested Development de

    entre los muertos. Otro ejemplo proviene de una de las mayores compaas de

    telefona mvil en el mundo. Orange de Francia puso en marcha su proyecto de

    datos para el Desarrollo por la liberacin de los datos de abonado para los clientes

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    7/10

    en la Costa de Marfil. Los 2,5 mil millones de registros, que se hicieron en el

    anonimato, incluidos detalles sobre las llamadas y mensajes de texto

    intercambiados entre 5 millones de usuarios. Los investigadores accedieron a los

    datos y enviaron propuestas a Orange de cmo los datos pueden servir de base

    para los proyectos de desarrollo para mejorar la salud y la seguridad pblica. Los

    proyectos propuestos incluyen uno que mostraba la forma de mejorar la seguridad

    pblica mediante el seguimiento de los datos del telfono celular para mapear donde

    la gente iba tras una emergencia; otra mostr cmo usar los datos celulares para la

    contencin de la enfermedad. El ritmo de creacin de datos seguramente

    aumentar, sobre todo porque las comunicaciones de mquina a mquina se

    vuelven ms barato y ms comn. Piense en la cantidad de datos todas esas redes

    de sensores, alarmas antirrobo y los sistemas telemticos vehculo va a crear.Segn IBM, cada da creamos 2,5 trillones de bytes de datos. IBM sostiene que el

    crecimiento exponencial de los datos significa que el 90% de los datos que existe

    en el mundo de hoy se ha creado en los ltimos dos aos. "Estos datos vienen de

    todas partes: sensores utilizados para recopilar informacin sobre el clima, los

    mensajes a sitios de medios sociales, fotos digitales y videos, registros de

    transacciones de comercio electrnico, y las coordenadas de GPS del telfono

    celular, por nombrar unos pocos." Por supuesto, es importante recordar que en la

    historia humana temprana, algo tan efmero como un tweet simplemente no habran

    sido registrados, por lo que estas comparaciones slo pueden ser tomadas hasta el

    momento. Para poner la explosin de datos en contexto, considere esto.

    Cada minuto de cada da creamos ms de 204 millones de mensajes de correo

    electrnico, Ms de 2 millones en Google consultas de bsqueda de 48 horas, los

    vdeos de YouTube 684.000 bits de contenido compartido, en Facebook Ms de

    100.000 tweets de $ 272.000 gastados en el comercio electrnico, 3600 nuevas

    fotos compartidas en Instagram y casi 350 entradas del blog nuevo WordPress.

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    8/10

    Big Data

    Grandes Empresas

    Diculatades al crear,

    manipular y gestionar

    grandes cantidades

    de datos

    Bases de datos

    tradicionales

    Datos estructurados

    inventarios, pedidos y

    la informacin del

    cliente

    Datos no

    estructurados

    Web, los sitios de

    redes sociales y

    dispositivos

    inteligentes

    Buscan encontrar

    informacin

    procesable

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    9/10

    Big Data

    Volumen masivo de

    datos

    (estructurados y no

    estructurados)

    Incluye

    herramientas y

    procesos

    Trmino originado

    de las empresas de

    bsqueda Web

    Mejora operaciones

    y toma decisiones

    rpidas einteligentes

    Ejemplo:

    Petabytes (1024

    Terabytes)o

    Exabytes (1.024

    petabytes)

  • 8/11/2019 DaRuben Hernandez Mendoza Big Data

    10/10

    Ventajas Big Data

    Predice ataques terreristasDtermina genes

    resonsables de

    enfermdedades

    Determina que publicidad

    puede tener exito

    Descifrar el ADN humano