Universitat
de Barcelona (UB)Institut
d’Estudis
Espacials
de Catalunya
(IEEC)Institut
de Ciències
del Cosmos (ICCUB)
Dr. Dr. JordiJordi
PortellPortell
i de Morai de Mora
Cartografiando la GalaxiaCartografiando la Galaxia El procesado de datos de la misiEl procesado de datos de la misióón n GaiaGaia
Jornadas SIG –
Girona, 27-Marzo-2014
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 2 de 40
La misiLa misióón n GaiaGaia
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 3 de 40
• Satélite científico de la Agencia Espacial Europea– Lanzado el
19 de Diciembre de 2013
• Sucesor de Hipparcos– Censo 3-D
más completo
y preciso
de nuestra Galaxia
– >1000 millones
de estrellas! (~1% de la Via Láctea)– Posiciones, distancias (paralaje), velocidades, fotometría,
espectroscopía...
• Operación autónoma: observará todo lo que pase por su campo de visión
Astrometría Global desde el Espacio
ObjetivosObjetivosIntroducciIntroduccióón a n a GaiaGaia
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 4 de 40
PrecisiPrecisióónn
• Precisión nominal: 25μas– 1/144.000.000 de grado
– A Plutón
(5.3 horas luz): 700m
– A Próxima Centauri
(4.2 años luz): 4800km
• Evolución de la precisión:– Hiparco de Nicea (150 a.C.): 16 arcmin diámetro de la Luna– Tycho Brahe (1600): 30 arcsec 50km sobre la Luna– Hipparchos (1990): 1 mas hombre sobre la Luna– Gaia (2015): 25 uas pelota de golf sobre la Luna
~11 años luz (105.000.000.000.000 km)
IntroducciIntroduccióón a n a GaiaGaia
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 5 de 40
CatCatáálogologoIntroducciIntroduccióón a n a GaiaGaia
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 6 de 40
CatCatáálogologoIntroducciIntroduccióón a n a GaiaGaia
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 7 de 40
Funcionamiento e instrumentaciFuncionamiento e instrumentacióónn
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 8 de 40
ÓÓrbita y ley de barridorbita y ley de barridoEl satEl satéélitelite
~1.5x109 km150x109 km
~45º
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 9 de 40
Visto desde la Tierra...Visto desde la Tierra...El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 10 de 40
El plano focal de Gaia: El plano focal de Gaia: ““GigapGigapííxelxel””!!
Blue Photom
eter CC
Ds
Red Photom
eter CC
Ds
Movimiento
aparente
de las
imágenes
22
Radial Velocity Spectrometer CCDs
Astrometric measurements (AF CCDs)
106 CCDs
, 938 million pixels, 2800 cm2
104.26cm
42.3
5cm
Sky MapperCCDs
CrCrééditos: A. Short, O. Martditos: A. Short, O. Martííneznez
El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 11 de 40
El plano focal de Gaia: El plano focal de Gaia: ““GigapGigapííxelxel””!!
CrCrééditos: ESA, EADS/ditos: ESA, EADS/AstriumAstrium
El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 12 de 40
Necesidades de procesadoNecesidades de procesado
• 106 CCDs, ~9 Megapíxeles
cada uno, modo TDI
– ~220.000 valores de 16 bits leídos cada milisegundo
• Lectura completa del plano focal: 3.5 Gbps!
Observaciones selectivas: “ventanas” alrededor de detecciones~7Mbps para detectores + ~2Mbps en promedio (a bordo)
• Procesado de datos a bordo (PDHS) de alto rendimiento– 7 VPUs
concurrentes
(PowerPC 600MHz)
• Condiciones muy variables:– De ~50 a >10000 estrellas/s
• Compresión de datos– Algoritmo a medida
El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 13 de 40
ComunicacionesComunicaciones
• Cebreros (cerca de Madrid)– New Norcia (Australia)– Malargüe (Argentina)
• Descarga: ~7 Mbps, 8h/día• 25GB diarios (comprimidos)• ~100TB
en total
El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 14 de 40
Estructura instrumentalEstructura instrumental
CrCrééditos: ESA, EADS/ditos: ESA, EADS/AstriumAstrium
El satEl satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 15 de 40
Pruebas finalesPruebas finales
CrCrééditos: ESA, EADS/ditos: ESA, EADS/AstriumAstrium
Elementos del satElementos del satéélitelite
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 16 de 40
Los datos en brutoLos datos en bruto
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 17 de 40
Posiciones y brillosPosiciones y brillos
(10 medidas en cada observaci(10 medidas en cada observacióón)n)
Medidas realizadasMedidas realizadas
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 18 de 40
ColoresColoresMedidas realizadasMedidas realizadas
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 19 de 40
Espectros y velocidades radialesEspectros y velocidades radialesMedidas realizadasMedidas realizadas
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 20 de 40
Procesado de datos en tierraProcesado de datos en tierra
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 21 de 40
DesafDesafíío tecnolo tecnolóógico y conceptualgico y conceptual
• Debemos procesar unos 100TB
de datos en bruto– Con estrechas relaciones entre ellos:
Imágenes medidas, catálogo, apuntado, calibraciones…
– Usando algoritmos muy complejos
• Datos de entrada: ~1 billón (1012) de imágenes
• No sólo es un problema de potencia de cálculo– Espacio en disco, bases de datos extremadamente eficientes,
sistemas de comunicación de alta capacidad y baja latencia…
– Número de registros en BBDD (>1000 millones de entradas)
– Software
rigurosamente controlado y de la más alta calidad
Procesado de datos distribuido: “DPAC”
Procesado de datos en tierraProcesado de datos en tierra
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 22 de 40
Data Processing & Analysis ConsortiumData Processing & Analysis Consortium
• 6 Centros de procesado de datos– ESAC (Madrid),
BD Principal– BSC (Barcelona)– CNES (Toulouse)– ISDC (Geneva)– IoA (Cambridge)– OATo (Torino)
• ~450 especialistas– Astrónomos,
programadores, ingenieros, etc.
Procesado de datos en tierraProcesado de datos en tierra
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 23 de 40
Data Processing & Analysis ConsortiumData Processing & Analysis Consortium
• Nueve Unidades de Coordinación (CUs):– CU1: Arquitectura general– CU2: Simulación de datos– CU3: Núcleo de procesado– CU4: Procesado de objetos– CU5: Fotometría– CU6: Espectroscopía– CU7: Variabilidad– CU8: Astrofísica– CU9: Catálogo y
explotación de datos
Procesado de datos en tierraProcesado de datos en tierra
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 24 de 40
DPAC desarrolla (y usa) cDPAC desarrolla (y usa) cóódigo libredigo libre
/** Copyright (C) Gaia Data Processing and Analysis Consortium* * This library is free software; you can redistribute it and/or modify it under* the terms of the GNU Lesser General Public License
as published by the Free* Software Foundation; either version 2.1
of the License, or (at your option)* any later version.* * This library is distributed in the hope that it will be useful, but WITHOUT* ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS* FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more* details.* * You should have received a copy of the GNU Lesser General Public License* along with this library; if not, write to the Free Software Foundation, Inc.,* 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA*/
Procesado de datos en tierraProcesado de datos en tierra
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 25 de 40
Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1
• Definición de las reglas generales para el desarrollo de software para Gaia/DPAC– Lenguaje: Java– Repositorio central de software: SubVersion– Gestión de problemas y peticiones: Mantis BugTracker– Estrategias de test (JUnit, Cobertura)– Interfaces entre sistemas (modelo de datos)– Interfaz entre centros: Aspera
FDT
(no libre)
– Formato de los datos (formato propio de ficheros: GBin)– Motor de DB recomendado: Intersystems
Caché
(no libre)
– Librerías básicas de software: Apache, etc.– Plantillas de documentación: LaTeX– Utilidades, scripts…– Estrategia de procesado de datos: “Trenes”
de datos
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 26 de 40
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 27 de 40
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 28 de 40
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 29 de 40
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 30 de 40
Unidad de simulaciones: CU2Unidad de simulaciones: CU2• Generación de datos realistas
– Probar los sistemas antes del lanzamiento!
• Definición de modelos
de Universo, de instrumento, etc.
• Gaia System Simulator (GASS):– Versiones simplificadas
del instrumento
– Generación de grandes volúmenes de datos
• Gaia Object Generator (GOG):– Generación a distintos niveles
de la cadena de procesado
• Gaia Instrument and Basic Image Simulator (GIBIS):– Máximo realismo
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 31 de 40
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Unidad de simulaciones: CU2Unidad de simulaciones: CU2
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 32 de 40
Procesado principal: CU3Procesado principal: CU3
• Elemento clave en el procesado de datos de Gaia en tierra• Obtención de los productos principales:
– Posiciones en la bóveda celeste– Distancias (paralajes)– Movimientos propios (en la bóveda, no radiales)
• ~50GB/dia
(~500 millones de medidas), near-realtime
• Al término de los ~5 años
de misión:– 1.000.000.000.000 medidas
de posiciones individuales
– 10.000.000.000 incógnitas– Todas interconectadas determinación simultánea
Solución global iterativa
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 33 de 40
Créditos: B. Holl, L. Lindegren
Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia
DPACDPAC
Procesado principal: CU3Procesado principal: CU3
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 34 de 40
Conceptos Conceptos ““BigBig
DataData””
en en GaiaGaia
• Adquisición
de un montón de datos>1 billón (1012) de imágenes y medidas
• Primer refinado
básico (IDT)Parámetros de imagen, apuntado, identificación
~100.000 millones de registros
• Solución
a partir del conjunto global (AGIS)~1000 millones de registros
• Análisis
e interpretación (CU7/8/9)Nuevas estrellas, asteroides, supernovas…
Diagramas astrofísicos
Dinámica global de la Galaxia
AplicaciAplicacióón a otros camposn a otros campos
J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 35 de 40
En resumenEn resumen• Gaia: astrometría global de alta resolución
– Datos en gran volumen (~1PB) y número (~1 billón)
• Nuevas aproximaciones
al problema
– Trenes de datos, compresión de datos, etc.
• Selección de tecnologías
adecuadas
– Procurando usar software libre
• Desarrollo de software– Licencia LGPL– Rigurosos controles de calidad (>100 desarrolladores)
• Aplicación a otros campos– Spin-off UB+UPC
• Publicación de datos y resultados– Es investigación artículos, congresos, tesis…– Los datos serán públicamente disponibles (en su momento)
JordiJordi
Portell i de Mora | Portell i de Mora | [email protected]@am.ub.es
Gracias por su atenciGracias por su atencióón!n!
Revelando la historia dinámica y química de nuestra Galaxia
http://http://gaia.ub.edugaia.ub.edu