Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION

Other data management toolsNicolas Noé

Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION

Autres outils de gestion de données Nicolas Noé

Rationale

●You NEED someone in the team who’s comfortable with data manipulation:

• Real-world data = messy• Transformations are always needed• Automate!

●Cleaning but also other transformations

Rat

iona

le

Justification

●Importance d’avoir au moins une personne à l’aise avec la manipulation de données:

• Données réelles = désordonnées• Des transformations sont toujours nécessaires• Automatisation!

●Nettoyage des données, mais pas seulement

Just

ifica

tion

Pre-workshop activity: results

• https://docs.google.com/spreadsheets/d/1QtV4z45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi4/edit#gid=0P

re-w

orks

hop

Sondage pré-atelier: résultats

• https://docs.google.com/spreadsheets/d/1QtV4z45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi4/edit#gid=0

Pré

-ate

lier

Strengths and weaknesses

• Price, availability, license, …• Ease of use• Documentation and support• Flexibility• Performance• Technical requirements• Automation• ...

Tool

cho

ice

Forces et faiblesses

• Prix, disponibilité, license, ...• Facilité d’utilisation• Documentation et support• Flexibilité• Performances• Besoins techniques• Automatisation• ...

Sél

ectio

n d’

outil

Build your own palette of tools!

This is not a recipe

Créez votre propre palette d’outils !

Pas de “recette toute faite”

Exchange format: CSV, TSV, *SV

• What is it?• Separators• Encoding• Demo!

Form

at

Format d’échange: CSV, TSV, *SV

• De quoi s’agit-il• Separateurs• Encodage• Demonstration

Form

at

CSV tips

●When creating the file:• Document options used• Encoding: use UTF-8

●When opening external file: try different options and check the results.

CS

V fo

rmat

Trucs et astuces CSV

●A la création du fichier:• Documentation sur • Encodage: UTF-8

●A l’utilisation: essayez différentes options et valider.

Form

at C

SV

- MDB ACCDB Viewer

- CSV files- ...

Tool

sStep 0: Out of MS-Access

- MDB ACCDB Viewer

- Fichiers CSV- ...

Out

ils Etape 0: Exporter depuis MS-Access

Step 1: SQLite- A complete lightweight relational

database- Free and Open Source

Tool

s

Etape 1: SQLite- Un moteur de base de données

relationnelle complet- Gratuir et Open Source

Out

ils

Step 2: LibreOfficeTo

ols

Learn how to use advanced spreadsheet features!

Etape 2: LibreOfficeO

utils

Utilisez les fonctions avancées du tableur !

Step 3: QGIS- General use Desktop GIS solution- For transformation, analysis,

visualisation, cleaning, ...

Tool

s

Etape 3: QGIS- Solution SIG Desktop complète et

généraliste- Pour transformations, analyse,

visualisation, nettoyage, ...

Out

ils

Step 4: ScriptingTo

ols

Etape 4: ScriptsO

utils

Specialised tools- Nomenclature:

• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do• TNRS: http://tnrs.iplantcollaborative.org/index.html

- Geography:• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en• Canadensys coordinates conversion:

http://data.canadensys.net/tools/coordinates• GPS Visualizer: http://www.gpsvisualizer.com/

Tool

s

Outils spécialisés- Nomenclature:

• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do• TNRS: http://tnrs.iplantcollaborative.org/index.html• http://splink.cria.org.br/infoxy?criaLANG=en

- Geographie:• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en• Canadensys coordinates conversion:

http://data.canadensys.net/tools/coordinates• GPS Visualizer: http://www.gpsvisualizer.com/

Out

ils

Data sources- www.naturalearthdata.com- http://www.diva-gis.org/Data- Biodiversity data already at GBIF- OpenStreetMap- Catalog of Life annual checklistD

ata

sour

ces

Sources de données- www.naturalearthdata.com- http://www.diva-gis.org/Data- Biodiversity data already at GBIF- OpenStreetMap- Catalog of Life annual checklist

Sou

rces

de

donn

ées

Demo!

Exercise!

Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION

Other data management toolsNicolas Noé

Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION

Autres outils de gestion de données Nicolas Noé