business intelligence com pentaho

Business Intelligence com Pentaho

Maicon de Brito do [email protected]

Instituto Federal FarroupilhaCampus Sao Vicente do Sul

Coordenacao de Tecnologia da Informacao

25 de outubro de 2014

Maicon BI com Pentaho V MEPT 1 / 40

[email protected]

Roteiro

1 Business Intelligence

2 Data Warehouse

3 Sistemas de Apoio a Decisao

4 Fluxo de Business Intelligence

5 PentahoData Integration - KettleBI ServerDashboardOLAP CubeReportWeka


Business Intelligence

Roteiro


2 Data Warehouse






BI?

Inteligencia empresarial

Business intelligence (BI) e um conjunto de metodologias,arquiteturas e tecnicas que transformam dados brutos eminformacao compreensıvel e util para os propositos do negocio.

Rud, Olivia (2009). Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy.

Hoboken, N.J: Wiley & Sons.



Por que BI?

Mas afinal, o que eu ganho com isso? Por que investir emBusiness Intelligence?



Por que BI?

detectar tendencias

onde cortar custos?

onde investir? qual o risco?

onde/para quem divulgar um produto?

tomada de decisao!

Apenas a experiencia basta para tomar decisoes?



Precisamos de informacoes, mas...

Como...

extrair e integrar dados de multiplas fontessistemas, planilhas, documentos...

fazer uso da experienciacasos ja resolvidos

analisar dados contextualizadosındices sao bons ou ruins comparados com o que/quem?

procurar relacoes de causa e efeitofoi a acao de marketing que fez vender mais?

Se...

volume de dados e muito grande

fontes de dados diversas

informacoes apresentadas fora de contexto



Algumas tarefas de BI

segmentacao

otimizacao de estoque

cross-sell & up-sell

gestao de churn

credit scoring

gestao de turnover

...



Cases

Telecom irlandesa O2 identificou 65% de clientes com quemse relacionava de fato, investindo na sua permanencia (churn).

Ao mapear a criminalidade, Curitiba reduziu, em media, 60%o registro de ocorrencias policiais em areas monitoradas.

TJSP aperfeicoou a identificacao dos crimes de violenciadomestica e familiar contra a mulher.

Escola Thomas Fortes (Santiago/RS) tracou perfil dacomunidade escolar para atualizar seu projetopolıtico-pedagogico. Metodologia sera publicada pelaSecretaria Estadual de Educacao.



Cases - IFFarroupilha/SVS - Processo Seletivo 2013/2014

estrategia de divulgacao criada com base nos relatorios de BI

resultados ainda estao sendo avaliados



Cases - IFFarroupilha/SVS - Evasoes

Projeto de pesquisa tecnologico em andamento:

Student Keeper: Business Intelligenceaplicado a investigacao da evasao escolar

edital PRPPGI-IFFAR 125/2014



Tudo comeca com os dados!

Se o problema e a organizacao dos dados, como organiza-los?

Abordagem 1: implantar um novo sistema que resolva “tudo”

Abordagem 2: refatorar, consolidando as bases de dados

Abordagem 3: construir um data warehouse


Data Warehouse

Roteiro


2 Data Warehouse





Data Warehouse

Data Warehouse

Data Warehouse (DW): banco de dados consolidado, contendodados extraıdos de diversas fontes, desnormalizado e indexado parasuportar intensa pesquisa.

Data Mart: subconjunto do DW - venda, estoque...


Data Warehouse

Como organizar? Modelagem Dimensional

Modelagem do projeto logico; contrasta com a modelagem ER.Possui 2 modelos:

Star Schema (facts & dimensions) e.g.: Sales.

Snow Flake


Sistemas de Apoio a Decisao

Roteiro


2 Data Warehouse






Ok! Dados organizados!

Data warehouse construıdo! E agora?

Agora precisamos transformar dados em informacoes,disponibilizando um Sistema de Apoio a Decisao (SAD).

O que teremos no SAD?

relatorios

dashboards

cubos OLAP

...



OLTP vs. OLAP

OLTP - On-line Transaction Processing

transacoes de negocio de um sistema armazenadas no BDnıvel operacional

OLAP - On-line Analytical Processing

proporciona visao dos dados voltados para analisenıvel estrategico



Cubo OLAP


Fluxo de Business Intelligence

Roteiro


2 Data Warehouse





Fluxo de Business Intelligence

Fluxo BI


Pentaho

Roteiro


2 Data Warehouse





Pentaho

Grandes fornecedores de BI


Pentaho

BI open sourse


Pentaho

Pentaho

Pentaho e um software de codigo aberto para inteligenciaempresarial, desenvolvido em Java. A solucao cobre as areas deETL, reporting, OLAP e mineracao de dados (data-mining).Desenvolvido desde 2004 pela Pentaho Corporation.

Atualmente o Pentaho Community Edition esta na versao 5.1.http://community.pentaho.com/


Download Pentaho BI today at:

www.pentaho.com/download

Be Social with Pentaho:

Pentaho Community & Enterprise Edition Product Comparison

Test and QA

Certified and Stable Software

Deployment

On Demand Cloud Hosted Option

Professional Services

Classroom / Online Training

Consulting from Pentaho and

Certified Partners

Ongoing Support

Community Online Forums

Enterprise Edition Online Forums

24X7 Enterprise Support with

SLAs (Tel/Email)

Access to Professional Product

Documentation

Remote Assistance Packages (for

Installation/Configuration, Design,

Troubleshooting/Optimization)

Knowledge Base of Technical Content

Release Updates

Roadmap Visibility and Influence

Managed Release Cycles

Entitlement to New Features

and Upgrades

Community Edition Enterprise Edition

Immediate Access to Fully Tested

Pentaho Fixes

Eventually receives fixes (delays of 1-6 months)

Need to re-build code and test manually

Unpredictable and constant communitycode changes

Shared Repository and Team Sharing

Repository Content Versioning

Repository Content Locking

Automated Content Expiration

Audit Reports

User and Role-based Permissions

Security Configuration with LDAP

& Active Directory

Single Sign-On

Automated ETL Job Scheduling

Centralized Administration,

Diagnostics, and Performance

Monitoring

Clustering

Leading Open Source


Community Edition Enterprise Edition

Evaluation

Free 30 Day Evaluation Support

Licensing and Pricing

Low Cost

License

Advanced Features

Automated Installers

Sophisticated & Interactive Data

Analysis, Exploration & Visualization"Basic" analysis

Self-Service Dashboard Designer

Hadoop Integration for 'Big Data'

Reporting & Analysis

Support for Mobile BI (e.g. iPad)

Free "Code"

Requires in-house resources to patch and test

Open Source GPL license

If embedding in a commercial application,obliged to make your application availableunder the GPL open source license

No up-frontlicense costs

Low costsubscription-basedpricing

Commercial license

Community Edition

Suited for evaluation or pre-production use. Customers choosing this option need internal resources to manage their own release cycles, test, support, and add advanced capabilities to the "basic" functionality available in this version.

Enterprise Edition

Suited for production deployments. Pentaho BI Suite Enterprise Edition provides advanced, self-contained, and quality-assured software that does not require in-house resources for development and test. Pentaho professional support offers world-class technical support that guarantees resolution times and service level agreements.

Community vs Enterprise Edition: http://bit.ly/1gfrSHz

http://bit.ly/1gfrSHz

Pentaho

Fluxo BI - Pentaho


Pentaho

Pentaho Data Integration (Kettle)

Ferramenta para extracao, transformacao e carga (ETL) de dados.


Pentaho

BI Server

Aplicacao responsavel pelo gerenciamento dos indicadores,compartilhamento entre os usuarios, controle de acesso, etc.Algumas tarefas:

autenticacao

auditoria

mecanismo para integracao com

analises (cubes)paineis (dashboards)relatorios (reports)mineracao de dados (data mining)


Pentaho

Pentaho Dashboard

Paineis para acesso rapido a informacoes resumidas.


Pentaho

Visao Analıtica - Pentaho Cube

Analisando evasoes no campus.


Pentaho

BI Server

Pentaho Reporting: derivado do projeto JFreeReport.


Pentaho

Weka - Machine Learning

colecao de algoritmos de aprendizagem de maquina paratarefas de mineracao de dados (API: “weka.jar”)contem ferramentas para pre-processamento (extratificacao,etc), classificacao, regressao, clusterizacao, regrasassociativas, visualizacao...


Pentaho


classificacao: categoria que novo dado observado pertence

exemplo: classificar o cliente conforme o risco (bom/malpagador)algoritmos: Arvores de Decisao, RNA, Redes Bayesianas

regressao: estimar relacionamento entre as variaveis

exemplo: predizer gastos de consumo, exportacoes de um paıs,quem vai zerar a prova de calculo...algoritmos: k-nearest neighbors, RNA


Pentaho


clusterizacao: agrupar dados utilizando a similaridade -

exemplo: descobrir grupos distintos de clientes baseados empadroes de comprasalgoritmos: K-means, Fuzzy C Means, Gustafson-Kessel

regras associativas: identificar dependencias entre atributosque frequentemente ocorrem juntos nos dados

exemplo: cesta do supermercado - encontrar associacoes entreitens que sao frequentemente comprados juntosalgoritmos: Apriori, Ecla, FP-growth


Pentaho

Consideracoes finais

grande potencial de aplicacao

mercado em expansao

consolidacao no IFFarroupilha/SVS


Pentaho

Por onde comecar?

Curso de BI com PENTAHOhttps://www.youtube.com/watch?v=Y4xdD2BUTEk&list=UUaLRDx7Wu6PxPvG6TrIc00w


https://www.youtube.com/watch?v=Y4xdD2BUTEk&list=UUaLRDx7Wu6PxPvG6TrIc00w

https://www.youtube.com/watch?v=Y4xdD2BUTEk&list=UUaLRDx7Wu6PxPvG6TrIc00w

Pentaho

Obrigado!

Maicon de Brito do [email protected]

http://pt.slideshare.net/maiconba


business intelligence com pentaho

Technology