business intelligence | state of the art
TRANSCRIPT
Business IntelligenceBusiness Intelligence
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
“ Because Data mattersBecause Data matters
11
Notre programmeNotre programme
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Intro BI
Outils / Methode de recup des données
BI entreprise / TCOM
Les étapes d’un projet BI
Outil décisionnel
Intelligence économique
22
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
L'entrepriseL'entreprise
33
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les données de l'entrepriseLes données de l'entreprise
Données clients et utilisateurs
Données de présentation
Fichiers financiers Indicateurs de performance
Données geographiques Patrimoine fonctionnel
44
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
L'organisationL'organisation prends des decisions en basant sur ces données prends des decisions en basant sur ces données
55
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les propres données de l'entreprises sont essentielles Les propres données de l'entreprises sont essentielles
Pour connaitre l'état de son marché
Afin de savoir comment elle va performer demain
Optimiser ses couts et dépenses
Mieux comprendre ses clients
66
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Directeur GénéralNawrocki Corp.
Une entreprise de transactions
de Carte de crédit
Ses intérogationsSes intérogations
Combien de transactions par jour ?
Quel est son profit (comptable vs
commerciale)?
Combien de transaction avortées ?
Quel est l'origine de mes transactions ?
Quel est le type de transaction le plus
courant ?
Qui sont mes concurrents ?
Comment il va pouvoir réduire ses
couts
77
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Directeur GénéralNawrocki Corp.
Une entreprise de transactions
de Carte de crédit
BusinessBusinessIntelligenceIntelligence
CompetitiveCompetitiveintelligenceintelligence
==++
Here and now
Future
88
IntroductionIntroduction
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Définition et introductionDéfinition et introduction
La BI est une solution informatique permet de collecter,d'analyser et de traiter toutes les données de l'entreprise selondes critères spécifiques ou externeLes résultats de cette analyse permettent aux dirigeants d'obtenirune vue globale sur leur activité, une meilleur compréhension ducomportement de leurs clients et une meilleure réactivité face aumarché
99
Business intelligence, Business intelligence,son Histoire
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Aujourd'hui1965
Création d’un système d’exploitation
comportant un SGBD
Premier système où le logiciel et les
données sont séparées
Dick Pick
1976
Création de SAS
1989
"Big Data"
Croissance
exponentielle des
données a traité au
cours des dernières
années
Howard Dresner (Gartner),
popularise pour la première fois
le terme « Business
Intelligence »
Wal - Mart doit gérer 460 To de
données
1010
2005
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
ETL
Phase D'alimentation Phase de Modélisation Phase de restitution Phase d'analyse
SGBD/R
ERP
WEB
Call Center
DWH
Cubes
Datamarts
Bases dédiées
Achats
Ressources
Humaines
outils de restitution et
pilotage
outils d'analyse
et datamining
Entrepôt de
données
DataWareHouse
1111
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Phase D'alimentationETL
Datawarehouse
SGBD/ERP/PGI
CRM-SCM
bureautique, fichiers access,excel ... et autre système
Chaque entreprise possède ses propres
systèmes, sa propre logique de
fonctionnement, sa propre culture. Un
ETL va essayer de prendre toutes les
données de l'entreprise et les mettre
dans un DW
1212
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Phase D'alimentation
L'ETL, une étape critiqueReprésente 70% d'un projet BI en moyenne
Coeur de l'outil : système complexe ne devant rien laisser s'échapper, sous peine d'avoir de mauvaise informationdans l'entrepôt, donc des données fausses, donc inutilisables..
But de l'outil :- Dé-normalisées : dans un DWH (Data Warehouse), les données apparaissent là où elles doivent apparaître.- Nettoyées : dans un système de production, les utilisateurs entrent les données. Les risques d'erreurs sont là. Il fautpouvoir détecter et corriger ces erreurs.- Contextualisées : Un entrepôt de données possède une vision universelle - Chargées en DWH : il s'agit ici d'ajouter les nouvelles lignes, voir si des lignes ont été modifiées et faire une gestiond'historique, voir si des lignes ont été supprimées et le mentionner dans l'entrepôt, tout en faisant attention de ne pascharger des données en double.
Tout est critique et sujet à contrôle dans un ETL!
1313
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Phase D'alimentation
TransformationExtraction Chargement3 méthodes :
Push : "pousse" les données versle Staging. Si le système estoccupé, il ne poussera jamais lesdonnées.
Pull : "tire" les données de lasource vers le Staging. peutsurcharger le système s'il est encours d'utilisation.
Push-Pull : le mélange des deuxméthodes. La source prépare lesdonnées à envoyer et prévient leStaging qu'elle est prête. LeStaging va récupérer les données.Si la source est occupée, leStaging fera une autre demandeplus tard.
Travail a effectuer :
Quels sont les champs les plussujets à erreurs ?
Ai-je les moyens de corriger leserreurs automatiquement ?
Comment permettre à unutilisateur de corriger les erreurs?
Quelle politique vais-je utiliserpour le traitement des erreurs(fichier log, table dans BD) ?
Comment montrer à l'utilisateurfinal que des données n'ont pasété totalement chargées à caused'erreurs ?
Travail a effectuer :
Que faire si un chargement échoue ?Ai-je les moyens de revenir à l'état
avant le chargement ?Puis-je revenir dans le temps d'un
chargement donné ?Comment valider mon chargement,
comment détecter les erreurs ?
1414
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse
Centre de stockage, "l'entrepôt" du système.Récupère l'information, la stocke, l'enregistre et lamets à disposition des utilisateurs avancésCentralise et uniformise les donnéesSéparation des parties opérationelles (base de donnée)et décisionnelles (outils de reporting)Performance d'un DW sur plusieurs critères:redondance, sauvegarde, reprise sur incidents...
1515
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse : données
Seule la lecture est possible: pas de perte de données(non volatile)Intégration de données hétérogènes depuis l'ETLToutes les données sont conservées,archivées ethistorisées: à la différence des SGBD qui supprime etremplace les données
1616
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse : Architecture
Trois types d’architecture technique de DW: SMP, MPP etCLUSTER (SPP)
Symetric Multi-Processing (SMP)
Une seule "grosse" machineMultiples processeurs mis en parallèle avec partage demémoireRecommandé pour les "petits" DW (inférieur à 50To)
1717
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse : architecture
1818
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Massively Parallel Processing (MPP):
Plusieurs machines physiquesGrand nombre de processeurs disposant de leurpropre mémoireIdéal pour les gros DW, calculs poussés
Le Data Warehouse : architecture
1919
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse : architecture
2020
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le Data Warehouse : architecture
CLUSTER ou Scalable Parallel Processing (SPP)
Ensemble de machines organisées en grappes,interconnectées en EthernetHaute extensibilité (scalability)Haute disponibilité
2121
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
2222
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Seconde phase : La modélisation
Les DataMarts
Un DataMart (magasin de données) est un sous-ensemble du
DataWarehouse déstiné à une branche métier spécifique de
l'entreprise (RH, marketing, commerciale, comptable...)
Les données des DW sont dites "brutes", car non traités (log, tableau
d'évènements...). Réservé aux utilisateurs avancés
Performances des DM améliorée car seules les données utiles sont
présentées
Intégrité conservé par synchronisation entre DM et DW
2323
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP
OLAP = On Line Analytical Processing, défini en 1993.Représentation multidimensionnelle de données
Agrégation de donnéesPrécalcul d'agrégats => Rapidité des requêteChargement des données des cubes à partir d'un DMStockage spécifique, non réalisable sur tout type dedonnées
2424
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Exemple
2525
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Différents cubes
Multidimentional On Line Analytical Processing (MOLAP)
Relational On Line Analytical Processing
Hybrid On Line Analytical Processing
Desktop On Line Analytical Processing
2626
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Différents cubes
Multidimentional On Line Analytical Processing (MOLAP)
Mode de stockage propriétaireLanguage MDX (Multi Dimensional eXpressions)Précalculs de requêtes
Temps de réponse rapide
Language accessibleCoûts importants (licences)
2727
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Différents cubes
Relational On Line Analytical Processing (ROLAP)
Données extraites des jointures de tablesLanguage SQL
Faible coûts
Gros volumes de données
Temps de réponse long(sollicitation de la base dedonnée à chaque requête)
2828
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Différents cubes
Hybrid On Line Analytical Processing (HOLAP)
Couplage de ROLAP et MOLAPDonnées requêtées souvent ou détailée en MOLAPDonnées autres en ROLAP
Compromis entre les + et -
de ROLAP et MOLAP
Nombreux croisements dedonnée
Méthode complexe
2929
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Le cube OLAP : Différents cubes
Desktop On Line Analytical Processing (DOLAP)
Téléchargement de "sous-cubes" sur les postesDécentralisation des données
Travailler hors connexionPuissance de calcul despostes limitée
3030
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Les modèles de données
Deux types de modèles :
Modèle en flocons : orientée autours de plusieurs tables de
dimensions, représentant la donnée sous différents niveau de
granularité (du moins au plus fin)
Modèle en étoile : orientée autour de plusieurs tables de
dimensions, représentant la donnée sous différents axes
(géographiques, catégorie, temporel...)
3131
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Les modèles de données : flocon
3232
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMA
Kévin GomesKévin Gomes
Maximilien AcierMaximilien Acier
Seconde phase : La modélisation
Les modèles de données : étoile
3333
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
La phase de reporting
Restitution des données sous forme de rapport.
Reporting de masse
Rapports crées automatiquementBesoins récurrents (résultats mensuels...)
Reporting ad-hoc
Rapport personnalisé pour l'utilisateurChoix des données "à la demande"Interface de sélection des données
3434
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
La phase de reporting
3535
Les Outils de BILes Outils de BI
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Le datamining et les outils d'analyse
Datamining: utilisation d'outils statistiques ou algorithmiques sur des données pour
prédire, éxpliquer ou classer des informations
Industrie
Résolution de panne par description des symptomes
Prévision de pics de consommation d'un réseau
Optimiser une chaîne de montage
Finance
Gestion des risques dans les établissements financiers
Marketing
Définir un public cible désiré pour certaines offres
3636
BI dans les EntreprisesBI dans les Entreprises
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Le projet BI dépends beaucoup de la structure de l'entreprise.
On distingue 3 types d'organisation:
Organisation centralisée autour du groupeOrganisation décentralisée sur plusieurs site avec unevision groupe consolidéeOrganisation décentralisée avec gouvernance centralisée
3737
Contexte centraliséContexte centralisé
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier 3838
Contexte décentraliséContexte décentralisé
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Dans ce modèle, deux besoins en BI:
Le BI groupe qui sert les besoins corporate
Le BI d'entiés opérationelles (filiales) qui sert les besoisn de ses entité
Fréquemment utilisé en présence de besoin d'outils décisionnels
spécifique. Mode d'organisation le plus fréquent en cas de fusion-
acquisition d'entreprise
3939
Contexte décentralisé avec gouvernanceContexte décentralisé avec gouvernance
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Avantage pour les entités de pouvoir travailler sur desbases et des référentiels communs avec des solutionsidentiques.
Cas d'entreprise avec des filiales à besoins locauxidentiques mais avec un besoin de cohérence globalesur la gouvernance IT au niveau groupe
4040
Budgets TELECOMBudgets TELECOM
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les Télécoms sont le deuxième poste de dépense desentreprises
=> Nécessité d'optimiser les services télécoms
On retrouve le BI dans les solutions de TEM (TelecomExpense Management)
Alimentation des bases de données avec les facturesRassemblement des différents facteurs de coûts (lignefixe, mobile, VoIP, services)Analyse de la consommation
4141
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Data warehouses Reporting
4242
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les leaders en DataLes leaders en DataWarehouseWarehouse
4343
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les leaders en DataLes leaders en DataWarehouseWarehouse
Devenu Partenaire d'HPen Janvier 2013
Propose des appliances (Hardware,software et services pré-configurés)
Software : Microsoft SQL Server 2014
Hardware : HP, Dell, IBM
Offre cloud : Windows Azure VirtualMachine
Entreprise Allemande, connue pour sesERP
4 offres phare
Netweaver Business Warehouse
Netweaver Business WarehouseAccelerator
HANA
Sybase IQ
Hardware : Dell, HP, IBM
4444
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les leaders en DataLes leaders en DataWarehouseWarehouse
Base de données : DB2 et informix
Logiciel Data warehouse : Infosphere
Systemes Data Warehouse : PureData
Leader Historique des entrepôts dedonnées
Connu pour ses server MPP (Massivelyparallel processing)
Le SGBDR Teradata a été conçu dèsl'origine pour le décisionnel
OS des machines : Open Suse, Microsoft
4545
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les leaders en DataLes leaders en DataWarehouseWarehouse
Aplliances : Datable 11g, Exadata,Database 12c, Partioning
Base de donnée : Oracle
Plateformes supportées : Lunix, Solaris,Windows
4646
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Les leaders en outilsLes leaders en outilsde reportingde reporting
4747
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Éditeur de logiciel specialise eninformatique decisionnelPrix license:
Analytics Pro : 8,7K $/anVisual Data Discovery : 10,1K $/an
Logiciel de BIPrix de license : 1,3K $/an
Les leaders en outilsLes leaders en outilsde reportingde reporting
4848
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Logiciel d’exploration et visualisationdisposant d’un moteur in-memory
Les prix de Spotfire:
Cloud work group: 2000$/an
Cloud personal : 300$/an
Les prix de Tableau :
Desktop professional : 1999$/an
Desktop personal : 999$/an
Les leaders en outilsLes leaders en outilsde reportingde reporting
4949
Outils decisionnelOutils decisionnel
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Trois type de tarif:
Entreprises de catégorie E3/E5 :240$/an Option de manière autonome :480$/anOffice 365 ProPlus : 624$/an
Quatre produits
Power PivotPower QueryPower MapsPower View
Les leaders en outilsLes leaders en outilsde reportingde reporting
5050
Intelligence économiqueIntelligence économique
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Ceci est FAUX
5151
Intelligence économiqueIntelligence économique
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
BI au service de l' Intelligence economiqueBI au service de l' Intelligence economiqueDéfinitionDéfinition
Une grande majorité des projets BI ont pour vocation de permettre aux managers debien connaître l’état de leur entreprise ou de leurs activités et ainsi prendre les «bonnes » décisions. A partir du moment où une application BI s’appuie sur des données plus globales quecelles internes à l’entreprise : par l’obtention de fichiers ou études externes (analysede marché, tarifs de la concurrence, …) , celle-ci peut permettre de faire de la veilleconcurrentiel. On parlera alors de BI au service de l’intelligence économique.
5252
Intelligence économiqueIntelligence économique
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Cycle de l'Iintelligence économiqueCycle de l'Iintelligence économique
La BI est de plus en plus accessibleLa quantité de données est en constante augementationApres la collecte, la maîtrise, la protection de l’information stratégique estobligatoire.Les entreprise commencent à ouvrir de plus en plus de cellule d'IE
BIBICollecte Diffusion
Passé Future
Chiffres Strategie
information normalisée Information d'influence
Données interne
IEIE
Acteurs + Données externe
5353
ConclusionConclusion
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier
Pas assez exploitéUne nécessité Nous sommes à l'aube
Toute entreprise technologique àaujourd'hui besoin de stocker sesdonnées, les stocker sans memeavoir une vision globale est unfrein à l'expansion de l'entreprise
Nous avons vu qu'il est très difficilede mettre en place un projet de BIdans une entreprise. La nonnormalisation de donnée ou encorele coté retissant des employés nepermettent pas a la BI d'utiliser toutson potentiel
Les humain ne sont pas assez rapidepour pouvoir analyser ses donnée etd'en produire des decisions. Donc lestableau de bords deviendronsseulement un outils de monitoring etnon de prise de decision, le data-mining ou encorel'intelligence économique ouvreun avenir a peine découvert à la BI
“ La BI permet d'avoir une vue global et d'être plus réactif face au marché
5454
ConclusionConclusion
Shubham SHARMAShubham SHARMAKévin GomesKévin GomesMaximilien AcierMaximilien Acier 5555