big data analytics
TRANSCRIPT
Big Data Analytics
Unime – Lauro de Freitas
Mauricio C. Purificação
Empreendedor, consultor, palestrante, instrutor e especialista no
desenvolvimento de soluções de Business Intelligence, Data Warehousing e
Business Analytics;
Sócio-Diretor da OxenTI - Soluções em Tecnologia da Informação;
Analista de Business Intelligence (BI) – Cárdio Pulmonar da Bahia;
MBA em Administração/Gestão de Negócios - Universidade Salvador (UNIFACS);
Bacharel em Ciência da Computação - Universidade Federal da Bahia (UFBA);
Pesquisador nas áreas de Business Intelligence, Business Analytics, Big Data,
Métodos Ágeis e Bancos de Dados Evolutivos.
http://lattes.cnpq.br/3312807554334758
Um Pouco de História
Antes da revolução da Internet banda larga e das redes sociais os computadores eram de domínio apenas de quem trabalhava com eles;
O avanço das tecnologias de hardware, a redução dos custos de acesso e a criação de aplicativos gratuitos inseriram muitas pessoas no cenário digital.
Um Pouco de História
Com inúmeros dados e informações os tomadores de decisão passaram a enxergar novas possibilidades de fazer negócio e de alavancá-lo.
A integração de informações vindas de diversas fontes traz a possibilidade de entender melhor os consumidores e fornecer produtos mais próximos aos seus desejos e necessidades.
Um Pouco de História
1960 1970 1980 1990 2000
Business Intelligence?
“BI é o uso da informação que permite às organizações melhor decidir, medir, gerir e otimizar o desempenho para ganhar
eficiência e benefício financeiro.”
Instituto Gartner
Business Intelligence?
BI é um processo. Existem técnicas, tecnologias e software para BI, mas BI é um processo que envolve métodos, técnicas,
tecnologias, pessoas, informações, fontes de informações, métricas, ferramentas, etc.
Business Intelligence?
O objetivo do processo de BI é ajudar pessoas e organizações a encontrarem causas e não só apresentar informações, como
fazem sistemas gerenciais. A busca por causas passa por analisar dados, talvez grandes quantidades, à procura de padrões,
modelos ou repetições.
BI 1.0
BI 2.0
BI 3.0
Uma Nova Realidade
Uma Nova Realidade
Uma Nova Realidade
Volume de Dados no Mundo
Novos Padrões de Armazenamento de Dados
2009Redis Initial Release
2004 2006 2007 2008 2009 2011 2012 2013 2014
2007MongoDB Started,
Neo4J Initial Release
2004Google’s Map Reduce
PaperPublished
2012Google Spanner Paper
Published
1998
1998NoSQL coined
2006HadoopStarted
2008Apache Hbase,
Apache Cassandra
Big Data
“Big Data é como sexo na adolescência: todo mundo fala, ninguém realmente sabe como fazer, todo mundo pensa que todo mundo está
fazendo, então todo mundo diz que está fazendo.
Dan Ariely, Duke University
Big Data
Big Data são dados que excedem o armazenamento, o processamento e a capacidade dos sistemas convencionais:
Volume de dados muito grande
Dados são gerados rapidamente
Dados não se encaixam nas estruturas de arquiteturas de sistemas atuais
Além disso, para obter valor a partir desses dados, é preciso mudar a forma de analisá-los.
3 V’s do Big Data
Oportunidades?
Oportunidades?
Oportunidades?
Novas Arquiteturas
Novas Arquiteturas
Novas Arquiteturas
Business Analytics
Business Analytics
Social Mining
Descobrir quais pessoas interagem com sua marca, aonde elas se engajam e qual a sua relação com os concorrentes;
Identificar os usuários mais interessados /engajados e o que os atrai dentro do conteúdo da marca;
Traçar o que mais lhes interessam e fornecer conteúdo personalizado.
Ciência de Dados
A ciência de dados difere das análises estatísticas e da ciência da computação em seu método aplicado aos dados coletados usando princípios científicos.
Esta é a diferença entre ser capaz de explicar o que os dados significam agora e prever o que os dados podem representar no futuro.
Ciência de Dados
A análise de dados tradicional têm sido implantada para explicar tendências a partir de questões bem-formuladas e da modelagem dos dados.
A ciência de dados está procurando descobrir conhecimento demandável a partir de uma quantidade grande e pesada de dados que podem ser usadas para tomar decisões e fazer previsões.
Tecnologias para Big Data
Onde o processamento é hospedado?Servidores Distribuídos/Cloud (ex: Amazon EC2)
Onde os dados são armazenados?Banco de Dados Distribuídos
(ex: Hadoop Distributed File System)
Qual o modelo de programação?Processamento Distribuído
(ex: MapReduce)
Como os dados são armazenados e indexados?BD’s de alta performance sem esquemas
(ex: MongoDB)
Universo Big Data
Open Source BA
Ecossistema Hadoop
Processamento de Dados
Hadoop MapReduce
Hadoop MapReduce
Duvidas?
