Procesamiento y análisisde imagen

MoBiVAP Research Group

Copyright c© 2013 MoBiVAP Research Group

PUBLISHED BY MOBIVAP

WWW.MOBIVAP.UVA.ES

Licensed under the Creative Commons Attribution-NonCommercial 3.0 Unported License (the“License”). You may not use this file except in compliance with the License. You may ob-tain a copy of the License at http://creativecommons.org/licenses/by-nc/3.0. Unlessrequired by applicable law or agreed to in writing, software distributed under the License isdistributed on an “AS IS” BASIS, WITHOUT WARRANTIES OR CONDITIONS OFANY KIND, either express or implied. See the License for the specific language governingpermissions and limitations under the License.

First printing, July 2013

Contents

1 Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.1 Problemática y justificación 15

1.2 Aplicaciones 15

Preface

La Visión Computacional ó por ordenador es el área interdisciplinar que a partir del tratamientode una ó varias imágenes digitales proporciona de forma automática representaciones visuales deun objeto Bα ó de una escena Sγ (eventualmente variables) en términos de diferentes componentesde tipo geométrico ó radiométrico. Para extraer la información contenida en la imagen, la Visiónpor Computador utiliza modelos físico-matemáticos y desarrolla herramientas de procesamientoy análisis de la imagen.

La combinación de modelos y herramientas software permite detectar, agrupar e interpretardatos, en términos de ”hechos”, elementos significativos ó, en una fase más avanzada, modelos.Asimismo, el análisis de las regiones rα contenidas en imágenes digitales permite generar yvalidar representaciones simplificadas de objetos planares bβ en imágenes 2D ó volumétricosBβ en escenas E tridimensionales. Para ello utiliza herramientas procesamiento y análisis de lainformación procedente de las señales digitales 2D contenidas en imágenes digitales. Debido alcáracter semi-automático de los procesos involucrados, la Visión Computacional complementa yproporciona un soporte (ingeniería inversa) a los métodos interactivos típicos de la VisualizaciónAvanzada ó de la Informática Gráfica.

La Visión Computacional ó Visión por Computador se puede representar como una combi-nación de procesos de búsqueda, detección, extracción, etiquetado, clasificación y agrupamientode hechos. Esta interpretación afecta a varios de los módulos presentados en el presente con-junto de libros que culminan en el volumen número 4 sobre Reconocimiento. En este sentido,la descripción de la Visión Computacional aparecería vinculada a una versión extendida delReconocimiento y Reconstrucción de objetos eventualmente móviles. Dentro de esta descripciónde procesos no aparecen la restauración y compresión que son dos tópicos fundamentales enVisión por Computador; sin embargo, la transferencia de resultados y las fases avanzadas deReconstrucción y Reconocimiento requieren desarrollar herramientas de (des)compresión yrestauración. De ahí, que que este proceso se englobe como una extensión de Reconstrucción yReconocimiento eventualmente móviles. En este contexto, se pueden distinguir varios nivelessucesivos de abstracción:

1. El nivel más bajo corresponde a la detección, extracción y análisis de hechos significativos

6

que se aborda en este primer volumen2. U nivel intermedio afecta a la especificación de relaciones entre hechos ó componentes que

permiten construir e identificar objetos bα (eventualmente móviles) en imagen, facilitandola puesta en correspondencia y el seguimiento.

3. El nivel superior afecta al Reconocimiento como interpretación de objetos reconstruidos, elpapel que desempeñan en la escenas E y la mejora/complección de elementos de acuerdocon interpretaciones a diferentes niveles.

Esta descripción comparte elementos comunes con la aproximación Gestalt (basada en lainterpretación del aspecto), según la cual el cerebro funciona de forma holística, paralela yanáloga según principios de auto-organización. Lamentablemente y a pesar de los avancesrealizados en Sistemas Expertos, los sistemas artificiales aún no tienen estas capacidades y debenser adquiridas mediante diferentes tipos de lógica.

Figure 1: Mapa de Kohonen, introducción a sistemas expertos.

El objetivo de este primer volumen es la extracción y conversión automática de ”hechos”a partir de procesamiento y análisis de imágenes digitales. La extracción se realiza mediantediferentes tipos de filtrado de una señal digital. El paso siguiente a la extracción consiste enconvertir los ”hechos” extraídos en datos (frecuentemente parametrizados); los datos geométri-cos ó radiométricos para cada imagen proporcionan los inputs para los demás volúmenes quecorresponden a módulos dentro del Curso de Especialista (Reconstrucción 3D, Movimiento yReconocimiento) ó su integración en Visión Estéreo.

Sobre los contenidos

Los tópicos centrales de este volumen (correspondientes al módulo 1 del Curso de Especialistaen Visión por Computador) conciernen al Procesamiento y Análisis de Imagen; estos tópicosproporcionan un soporte común a todos los demás módulos del CEViC, implantando las basesteóricas y prácticas para la comprensión de tareas más avanzadas. El primer capítulo lleva a cabouna introducción general a cuestiones de visión centradas en la captura y la descripción del tipode datos de entrada (imágenes digitales, sobre todo) para facilitar su procesamiento y análisis

7

posterior. Las estrategias utilizadas tienen a menudo una inspiración biológica que afecta sobretodo a las funcionalidades de la Visión Humana y no a la morfología del sistema óptico para lacaptura (retina) ó el procesamiento (corteza visual).

Una distinción básica que facilita la organización del material presentada en este primermódulo consiste en la discriminación entre aspectos globales y locales de la imagen. En todoslos casos, es importante mantener siempre presente radiométricos (relativos a las propiedades dela iluminación sobre regiones rα de la imagen) y los aspectos geométricos (relativos a las formasó bordes ∂ rα de las regiones) que aparecen en las imágenes. En algunos casos relacionadoscon la Informática Gráfica, es relevante la doble naturaleza de la luz (corpuscular y ondulatoria)pues facilita la interpretación de los datos proporcionados por diferentes dispositivos basadosen fenómenos de la absorción ó la reflectancia por materiales de diferentes tipos de ondas óen fenómenos de tipo ”reactivo” (utilizados en imágenes biomédicas como las de ResonanciaMagnética, p.e.).

Figure 2: Extracción de contornos de la zona de materia blanca en una imagen de resonanciamagnética nuclear prototípica. Fuente: MoBiVAP.

Las cuestiones relacionadas con la captura de imagen (diferentes tipos de cámaras y defor-maciones inducidas por las características ópticas) se abordan en el módulo 2 (Reconstrucción3D). Esta elección se justifica por la necesidad de estimar los parámetros internos y externos dela cámara (calibración).

Procesamiento GlobalEl objetivo fundamental de esta sección es proporcionar las bases para comprender los métodosde simplificación de imagen. Para ello se desarrollan modelos y se diseñan / implementan algo-ritmos en los que se trata por igual a todos los píxeles de una imagen digital. La simplificación

8

de toda la imagen se realiza mediante filtros globales (suavizado, reducción de ruido, remuestreo,mejora del contraste) o mediante operadores morfológicos (erosión/dilatación, apertura/cierre).

Para facilitar el agrupamiento en torno a ”’valores típicos” se utilizan ”estadísticos” de bajonivel (medias, modas, medianas) evaluándose la dispersión en torno a ”valores típicos”; enalgunos casos, es necesario llevar a cabo un remuestreo para garantizar una selección apropiadaen términos del sistema coordenado local para la imagen.

Figure 3: Segmentación dinámica de una imagen basada en algoritmos de corte de grafos.

El output del procesamiento global es una segmentación radiométrica, es decir, una descom-posición de la imagen en unión disjunta de regiones. La segmentación depende de la escalaelegida y condiciona el número de regiones significativas para la escala seleccionada. La gestiónsimbólica de la información se lleva a cabo en términos de grafos de adyacencia.

Figure 4: Segmentación radiométrica de una imagen de resonancia magnética. Fuente: MoBiVAP

9

Procesamiento LocalAprendizaje de técnicas para el realzado de aspectos locales de una imagen. Para ello, sedesarrollan modelos y se lleva a cabo un diseño e implementación de algoritmos en los quese acentúan las discontinuidades de la función (escalar ó vectorial) de una imagen digital. Elrealzado de perfiles se realiza mediante filtros locales correspondientes a derivadas direccionalesde primer orden ó de segundo orden; los más sencillos corresponden a derivadas direccionales enlas direcciones de los ejes coordenados ó en las bisectrices de los cuadrantes (filtros de compás).Las derivadas direccionales se estiman usando diferencias de primer orden para las funciones deintensidad (grises, color) definidas sobre la imagen.

Todas las derivadas de primer orden ”privilegian” direcciones seleccionadas a priori; por ello,los segmentos con una dirección diferente no se detectan o bien dan lugar a efectos indeseadosde escalonamiento (aliasing). Para reucperar cualquier dirección, es necesario utilizar operadoresque sean invariantes por giros; los operadores invariantes por giros de orden más bajo son loscuadráticos. La derivada direccional de segundo orden más simple corresponde al operador deLaplace; la aplicación de este permite obtener mini-segmentos que son las primitivas más básicasa obtener.

Figure 5: Extracción de lineas de perspectiva de una escena arquitectónica. Fuente: MoBiVAP

Análisis LocalEl Análisis Local de Imagen trata del estudio de propiedades locales de primitivas geométri-cas elementales 1D (como segmentos ó arcos de circunferencias) en trozos de curvas cα óregiones planares rα (incluyendo blobs para le nivel más bajo, p.e.) eventualmente colore-adas ó con texturas simples. Este estudio se aborda por separado para cada una de las curvasó regiones consideradas. Los modelos matemáticos son sobre todo de tipo geométrico ó analítico.

El espacio de Hough proporciona una variedad ambiente parametrizada para facilitar elagrupamiento de mini-segmentos en primitivas geométricas (curvas de grado d ≤ 4 bajo) pre-viamente especificadas; utiliza una representación en coordenadas polares. La introducción dediferentes criterios de agrupamiento (clustering) para segmentos ó para texels permite recuperarprimitivas geométricas intermedias de grado ≥ 4. No se pretende obtener una descripción precisade los contornos, sino proporcionar una ”medida tosca” de la forma (momentos de orden k) conatributos radiométricos (color, texturas).

Para estimar características de formas planares se utilizan momentos centrales µi j que per-miten estimar características globales relativas a la distribución de datos en torno a valores”medios” m0i. Los momentos más simples no-triviales son los de orden 2 que permiten estimar

10

la ”forma” de la elipse que ”mejor se ajusta” a la distribución local de los datos. Frecuente-mente, interesa que los momentos sean invariantes con respecto a la acción de transformaciones;asimismo, interesa evaluar propiedades radiométricas bajo diferentes condiciones de iluminación.

Figure 6: Detección de puntos característicos en una imagen de resonancia magnética (bordes dezonas). Fuente: MoBiVAP

En el Análisis Local es frecuente introducir criterios de ”importancia” asociados a la escalao a las primitivas que se desea obtener; es necesario desarrollar herramientas estadísticas quepermitan gestionar de forma automática los criterios de importancia. Se realiza una detecciónde los elementos aislados más significativos desde el punto de vista de imagen ó perceptual; enel caso estático se consideran Focos de Atención (FoA), mientras que en el caso dinámico seconsideran Focos de Expansión (FoE).

La combinación de los elementos descritos proporciona un output del análisis local entérminos de una colección de primitivas con sus correspondientes características geométricas(relativas a la forma) ó radiométricas (texturas) en imágenes ó en secuencias de vídeo. Parasimplificar se supone que la cámara está fija para los objetos que se consideran más relevantes;el caso correspondiente a cámara móvil se aborda en el módulo 3.

11

Análisis GlobalTiene como objetivo plantear los métodos de como abordar la integración de los elementosextraídos en las fases anteriores y la contextualización de formas analizadas dentro de cadaimagen. Proporciona soporte para técnicas más avanzadas de reconocimiento. Los modelosmatemáticos son sobre todo de tipo topológico (para facilitar una mayor flexibilidad e las formas)y estadístico (para facilitar la necesaria realimentación entre modelos y observables).

Permite gestionar diferentes zonas eventualmente variables para una ó varias imágenes medi-ante la utilización de estadísticos intermedios (matrices de coaparición, diferentes funcionales deenergía para estimar el ”desorden” de la información) con objeto de facilitar la concentraciónde información; un caso típico de ”medida del desorden” se presenta en relación con texturascomplejas asociadas a escenarios naturales, p.e.

Por ello, se incorpora el análisis de texturas como ”patrones de color” complejos que sereplican con una variación controlada sobre regiones acotadas por una poligonal (condicionesfrontera). La replicación del patrón básico se puede describir de diferentes formas dependiendodel contexto elegido para su descripción dando lugar a enfoques de tipo algebraico (combinaciónde formas bilineales y cuadráticas, p.e.), diferencial (distintos tipos de deformación, p.e.) óestadístico (perturbación aleatoria de una distribución irregular de colores, p.e.).

Figure 7: Sintetización de texturas complejas para renderizado avanzado.

Se proponen estrategias para localizar de forma automática la información más relevante. Seintroducen criterios robustos basados en la selección aleatoria de información sobre datos quepermitan valorar la importancia en función de los resultados obtenidos para toda la imagen; estoscriterios son variantes de RANSAC (Random Sampling Consensus) que reaparecen a lo largo delos diferentes volúmenes de este curso en diferentes contextos. Se realiza el análisis a diferentesescalas (mediante el uso de pirámides) para valorar la significación ó importancia de aspectosdentro de cada imagen. El output del análisis global es una colección de elementos significativos(parametrizados ó no) contextualizados dentro de una imagen ó de una secuencia de vídeo.

Tópicos avanzadosOtros tópicos avanzados, algunos de los cuales se incluyen en el último capítulo de este módulo,conciernen a

12

• la restauración de imagen: El procesamiento y análisis de información contenida enimágenes digitales pueden dar lugar a errores que es necesario corregir; asimismo, elsoporte digital tiene una vida limitada y las imágenes procedentes de diferentes fuentesproporcionan a menudo información incompleta (imágenes biomédicas ó satelitales, p.e.);

• la fusión de información procedente de diferentes tipos de sensores (cámaras conven-cionales ó de color con diferentes tipos de distorsiones, dispositivos de rango) con el ajusteautomático de parámetros para minimizar la aparición de ”artefactos”

• una extensión del análisis clásico de Fourier en términos de wavelets (ondículas) conun número creciente de aplicaciones en Procesamiento de cualquier tipo de señales; sedesarrolla un enfoque basado en el dominio temporal y de la frcuencia, de gran utilidadpara cuestiones de multiresolución, compresión y restauración de imagen. Esta partepresenta un carácter más sofisticado que el resto del módulo 1 desde el punto de vistamatemático.

Otros tópicos complementarios de gran interés relacionados con Procesamiento y Análisisafectan a las cuestiones siguientes;

• Secuencias de video en términos de variaciones del contenido por encima de un umbralque permite etiquetar y clasificar contenidos en bases de datos multimedia; este tópico sedesarrolla sobre todo en el módulo 3 (movimiento) del CEViC

• la Síntesis de nuevas imágenes a partir de imágenes ó de video de gran utilidad paravisualización, animación ó simulaciones; este tópico aparece de forma tangencial al finalde los módulos 2 y 5 y forma parte del núcleo central del curso sobre Renderización.

• la Codificación y compresión de imágenes ó de video (minimizando pérdidas) para facilitarsu transmisión y los procesos inversos en el receptor (descompresión y decodificación);estos tópicos se abordan en la Asignatura Optativa del Máster de Ingeniería Informática.

Estructura general del curso. Estructura del libro.Los materiales contenidos en este Curso son el compendio y adaptación de varios cursosimpartidos a diferentes tipos de titulados en diferentes Ingenierías (Informática, Industrial, Tele-comunicaciones) y aplicaciones de las Ciencias (Matemáticas y Físicas), así como en otrasentidades (Centros Tecnológicos, Institutos de Investigación) en España u otros países de laUnión Europea y que se han dividido en varios volúmenes. Por ello, la diversidad de los tópicosabordados es bastante elevada, el tratamiento no es uniforme y la profundidad del enfoque esvariable; asimismo la selección de tópicos agrupados en torno a 5 módulos responde a unaelección personal consensuada con los profesores y entidades colaboradoras del Curso. No se hapretendido realizar un manual, pues en el mercado existen algunos excelentes que cubren no sólolos tópicos anteriores, sino otros de gran interés para la Visión por Computador y sus aplicaciones.

La organización de materiales en estos 5 módulos se justifica por la trayectoria realizadapor investigadores del grupo MoBiVAP a lo largo de los últimos diez años. En algunos casosesta organización da lugar a repeticiones impropias de un manual, pero que ayudan a reforzarconocimientos adquiridos desde un punto de vista superior según una metodología de aprendizajerecursivo con un mayor grado de abstracción; algunas de estas repeticiones en diferentes módu-los no se han suprimido para facilitar una lectura independiente por módulos de los materialescontenidos en estas notas. Por ello, no se trata de un texto sobre Visión Computacional, sinode una introducción a algunos tópicos de interés para la Visión Computacional, Artificial ó porordenador (en ocasiones también recibe el nombre de Machine Vision).

Los materiales están estructurados en 5 grandes módulos a los que se ha etiquetado comoProcesamiento y Análisis, Reconstrucción 3D, Movimiento, Reconocimiento y Visión Estéreo.

13

Cada módulo tiene un número de lecciones comprendido entre 5 y 8. El primer módulo (Proce-samiento y Análisis) tiene un carácter troncal y desarrolla materiales comunes para los tressiguientes (Reconstrucción, Movimiento, Reconocimiento) que conciernen sobre todo a algunasde las áreas más significativas para las aplicaciones; el último módulo (Visión Estéreo) combinamodelos y herramientas software presentados en los cuatro módulos precedentes con una ori-entación muy marcada hacia la asistencia en la producción de contenidos multimedia de caráctervisual asociadas a imágenes y volúmenes en movimiento.

Problemática y justificaciónAplicaciones

1 — Introducción

1.1 Problemática y justificación

1.2 Aplicaciones