business intelligence en finance de marche

8/13/2019 Business Intelligence en Finance de Marche

1/40

LaBusiness Intelligenceen finance de march

13 dcembre 2012 Document So@t. Diffusion interdite. 1


2/40

Sommaire

Qui ?

Jean-Philippe QUEVAT

O ?

La finance de march

Quoi ?FO-MO-BO

Comment ?

La Business Intelligence

Et Alors ?

Architecte dcisionnel chez Natixis



3/40

Qui ?



4/40

Jean-Philippe QUEVAT

Consultant SO@T depuis 8 ans

Dveloppements .Net : 3 ans

Architecture BI Microsoft : 5 ansMissions chez SGCIB, SEDOC, CA-CIB, Natixis (IXIS-CIB),AVIS,

Architecte dcisionnel chez Natixis



5/40

O ?



6/40

La finance de march

Il sagit des filiales Corporate and Investment Banking desbanques (SGSGCIB,)

Elle existe afin de rpondre aux besoins de clients (prts, cuivre,

dollars,) et pour placer la trsorerie de la banque (fonds propres)

But :faire des marges en assumant les risques justes (valuation)avoir un meilleur rendement quun placement sans risque (stratgie)

2 marchs financiers distincts :March organis (MO)March de gr gr (OTC)



7/40

La finance de march

Une salle de march est divise en Desk correspondant uneactivit:

Change (Fx)Taux (FI)

CrditActions et drives (Equity)Matires premires (Commo)Exotiques

Les produits drivs:Contrats (futures, forwards, swaps, )Options



8/40

La finance de march

Progiciels de gestion, passage dordre,:SummitCalypsoMurex

InfinitySystme propritaire pour certains produits

Besoins IT qui dcoule du risquesAuditModlisation et calculs (P&L, Risk, )

ConsolidationReportingScuritRedondance / recoupement des informations

13 dcembre 2012

Document So@t. Diffusion interdite. 8


9/40

La finance de march

13 dcembre 2012


Front Saisie des Traders Princing/ Modlisation (Quant) / CRM (Sales) Arbitrage

Middle P&L Risks BI (reporting et consolidation)

Back P&L Comptabilit Vrification finale


10/40

Quoi ?

13 dcembre 2012



11/40

Front-Office

Traders :Achat / Ventes de produits financiersPricing de produits pour Clients/Sales et reportingvaluation des risques

Quant :Modlisation de produitsConception/Dveloppement de nouveaux produits

Sales :Vente / dmarchage de clients

IT :Progiciel Front : paramtrage + pricers (C++)Commando (Excel, VBA,)

13 dcembre 2012


Front


12/40

Middle Office

TrsoCalcul liquidit

MarketDataSDR

Consolidation du P&LRisk

Consolidation des Sensi (StressTest)Suivi des limites

ITApplication Lourdes/Web

Historisation sur BdD (gros volumes)Consolidation dans DWH via ETLReporting spcifique

13 dcembre 2012


Middle


13/40

Back Office

ComptabilitRapprochement P&L Eco / P&L ComptaValidation des Deals

13 dcembre 2012


Back


14/40

Comment ?

13 dcembre 2012



15/40

Business Intelligence

13 dcembre 2012


Pourquoi le dcisionnel ?

Information dissmine dans des bases de gestion de plus enplus nombreuses

Htrognit des sources de donnes

Difficult croissante centraliser et recouper les donnes

Besoins de prises de dcisions de plus en plus rapide

Bases relationnelles inadaptes pour rpondre rapidement des requtes lourdes


16/40

Schma gnrique

13 dcembre 2012


SQL :

Sybase,

Oracle

Fichiers :

XML,

CSV

ETLDWH

Data

Mart

Sources de

donnesETL Entrept de

donnes

Cubes

OLAP

Outils de

restitution

Progiciel

Summit,

Clarity,

WebServices


17/40

Datawarehouse

13 dcembre 2012


Le datawarehouse :

rassemble toutes les informationsrcupres depuis les sources

Contient des informations de qualit :

Exhaustives

D doublonnes

Vrifies, cohrentes

Le schma relationnel est diffrent de celui des sources :Le besoin fonctionnel est diffrent

Le profil des requtes est compltement diffrent

Schma en toile / en flocon


18/40

ETL

13 dcembre 2012


A quoi sert lETL ?

Cest un outil cr afin de rcuprer rgulirement des informations de

sources de sonnes htrognes et les dplacer vers dautres bases dedonnes. Pour cela, il combine 3 fonctions:

Extraction

Transformation

Chargement


19/40

13 dcembre 2012


Les 3 fonctions de lETL

Extraction : utilise des connecteurs pour importer les donnes dedtail depuis les systmes de gestion

Transformation : nettoie, rejette et retravaille les donnes en leurappliquant des filtres, des conversions, des agrgations,

Chargement : importe les donnes dans les tables de la base du

DataWareHouse

ETL


20/40

13 dcembre 2012


ETL

Conclusion

Cest un point critique du projet car cest ici que sont listes les sources,

construit le rfrenciel, conu lhistorisation, la volumtrie, mis en placedes sauvegardes :60-70% du projet

Il sagit ici de la version la plus complte dun ETL. En ralit, desversions dgrades sont gnralement utilises par les clients.


21/40

OLAP

13 dcembre 2012


Prsentation dOLAP

OLAP : On Line Analytical Processing

Par opposition OLTP On Line Transaction Processing

Concept nonc par E.F Codd

Essentiellement attach la notion de multidimensionnel

12 rgles essentielles (transparence, accessibilit, consistance,etc)


22/40

13 dcembre 2012


Concept de Cube

Cube : Entit multidimensionnelle contenant les donnesorganises suivant des dimensions

Dimension 2 :Produit

Dimension 3 :

ClientDimension 1 :

Temps

Vente dun ContratISIN 521523652

Le 29/10/2007

Au client N7042

OLAP


23/40

13 dcembre 2012


Concept de Cube

Un cube peut avoir virtuellement un nombre illimit dedimensions

Il est toujours construit partir dun modle en flocon ou entoile :

Les tables de dimensions correspondent aux dimensions du cube

La table de fait correspond la donne mesure stocke dansle cube

Navigation dans le cube

OLAP


24/40

13 dcembre 2012


Process et mode de stockageLaction de rcuprer les donnes depuis le Datawarehouse etde calculer les aggrgats sappelle le process du cube.

Plusieurs modes de stockage existent : MOLAP, ROLAP, HOLAP,etc La diffrence est le niveau de dtail de donnes stockes

dans le cubeAggrgations

Le moteur OLAP a la possibilit de pr-calculer desaggrgations pour chaque niveau hirarchique de chaquedimension

Ces pr-calculs rduisent considrablement le temps derponse des requtes

Le nombre dagrgats calculer augmente

exponentiellement avec le nombre de dimensions et de niveauxhirarchiques

OLAP


25/40

Reporting

13 dcembre 2012


La restitution des donnes

Pour lutilisateur final, quelque soit la quantit de la solution, lesystme sera jug sur la capacit sintgrer sonenvironnement de travail et son utilisation.

La restitution doit tre multimdia et communicante

La restitution doit tre adapte lutilisateur

Tableau de bord visuel

Requtage sur le cube

Reporting agrg


26/40

13 dcembre 2012


Reporting

Exemple de restitutions

Go-localisation

Connaitre la disponibilit des Autolib dans chaque station

DataMining

Analyser les flux , localiser les zones sur/sous-quipes

Analyse des donnes agrges

Dterminer lutilisation moyenne

KPI : Key Performance Indicator

Suivre une tendance (volution du nombre de nouveauxabonnements mensuels)

CRM

Analyser les habitudes des usagers pour les partenairescommerciaux


27/40

13 dcembre 2012


Et Alors ?


28/40

Architecte BI chez Natixis

Mission :Mettre en place un environnement BI pour permettre lintgration desdonnes des progiciels Front-Office (Summit, Murex, Calypso)

Problmatique :intgrer 300 millions de lignes par nuit dans une base de donnes et lesrestituer de manire rapide aux utilisateurs

Equipe :

1 chef de projet1 architecte3 dveloppeurs

13 dcembre 2012



29/40

Encadrement :Chiffrage des diffrentes tapes de conception/dveloppementLotissement des dveloppements et planningFormation des dveloppeurs (.Net, Java) la BI

Dveloppement et Tuning

Fonctionnel :Dfinir les besoins avec les utilisateurs (pas de MOAs)

Dfinition du primtreComprhension fonctionnellePour le reporting (optimisation)Pour dfinir les axes danalysePour prvoir les volutions, les goulets dtranglement,

13 dcembre 2012




30/40

Architecture :Choix des technologies (ETL = SSIS, OLAP = SSAS, DB = Sybase IQ)Architecture technique :

Benchmark des mthodes : SQL, ETL, LoadTable,Dfinition du workflow

Conception / DveloppementFlux dinformation :

Connecteurs de liaisons avec extrieur (dpt de fichiers, SQL,WebServices,)change Unix Windows

Archivage/purge

Infrastructure :tude des machines (CPU, RAM, Stockage, Rseau,)

13 dcembre 2012 Document So@t. Diffusion interdite.30



31/40

Scurit :Audit , Log , Gestion des droitsReprise sur chec

Dfinition de normes de dveloppement :Mthode de livraisonUsine logiciel

Gestion de configurationAnalyseur de code

Tests UnitairesBest Practice

Veille Technologique / Benchmark des nouveauts (SQL Server 2012)




32/40


En Dtails


33/40

DWH : en dtails

Modle physique de donnes dun DataWareHouseConception : schma en toile (3eme forme normale, Boyce-Codd)

Types de donnes (date/datetime,)Dimensions clates ou non

en fonction des besoins

Limitations techniquesTuning

IndexPartitionnementArchivage

Vues pour les accs des utilisateursScuritDcouplage



34/40


DWH : en dtails


35/40

ETL : En dtails

Archi SSIS dune alimentation :DataFlowControlFlowLogEventHandlersGestion XML

Parsing

LoadTable / Bulk CopyExecution SQL

Avec VisualStudio pour la BI : BIDS ou SSDT (depuis 2012)



36/40



37/40

SSAS : En dtails

Architecture serveur :Instances

BasesCubesDimensions

Scurit:RlesAssembly

Unified Dimensional Model (UDM) :Data SourceData Source View



38/40



39/40

Au Final

Intgralit du panel dcisionnel rencontr

Grande diversit des mtiers et technos dans le ple IT

Problmatiques intressantes et nombreuses

Recherche de solutions adaptes

Veille technologique permanente

Fonctionnellement trs riche

13 dcembre 2012 Document So@t. Diffusion interdite.

39


40/40

13 dcembre 2012 Document So@t. Diffusion interdite.

Questions ?

business intelligence en finance de marche

Documents