disciplina de processamento de imagensffaria/pi2s2015/class19/aula_descritores... · 2fr ;g b s...

Disciplina de Processamento de Imagens

Prof. Fabio Augusto Faria

Instituto de Ciencia e TecnologiaUNIFESPSala 106

ffaria@unifesp.brhttp://fafaria.wix.com/fabiofaria

Segundo Semestre de 2015

Roteiro

1 Recuperacao de Imagens por Conteudo (CbIR)

2 Descritores de CorColor Indexing (GCH)Local Color Indexing (LCH)Color Coherence Vectors (CCV)Border/Interior Pixel Classification (BIC)Color Correlograms (ACC)

3 Comparacao entre Descritores de Cor

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 2 / 29

Recuperacao de Imagens por Conteudo (CbIR)

11CbIR=Content-based Image Retrieval

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 3 / 29

Recuperacao de Imagens por Conteudo (CbIR)

Figura : Imagem extraıda da Ferramenta EVA. Dissertacao de Otavio Penatti(2009).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 4 / 29

Descritores de Imagem

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 5 / 29

Descritores de Imagem

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 6 / 29

Descritores de CorGlobal: considera a informacao da imagem colorida de forma global,sem particionamento ou pre-processamento (simples e rapido);

Regioes de Tamanho Fixo: divide uma imagem em partes (celulas)de tamanhos fixos e extraem-se informacao de cada celula emseparado (informacao espacial);

Baseado em Segmentacao: divide uma imagem em regioes quepodem diferir em tamanho e quantidade de imagem para imgem(mais complexos e eficazes).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 7 / 29

Global Color Histogram (GCH)

Criado por M. Swain and D. Ballard, 1991;

Descritor mais popular da literatura;

Abordagem Global;

Contagem de ocorrencia de cores (Histograma);

150 2500 50 100 200

Número de pixels

Níveis de cinza

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 8 / 29

Global Color Histogram (GCH)

Quantizacao uniforme dos canais de cores (e.g., RGB e HSV);

Histograma de imagem colorida com 64 posicoes ou BINS2:

color(x , y) = R(x , y) + fg ∗ G (x , y) + fb ∗ B(x , y);

color(x , y) = (S + fh ∗ H);

Invariante a escala e rotacao;

2{R,G ,B, S,H} sao normalizados por 256 assumem valores ≤ 3, fg = 4, fb = 16 e fh = 16Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 9 / 29

Local Color Histogram (LCH)

E uma extensao do GCH;

Utiliza abordagem Regioes de Tamanho Fixo;

A diferenca esta em dividir a imagem de entrada em grid4× 4 = 16celulas (cell) e calcular o descritor GCH para cada celula;

Ao final, sera criado um vetor de caracterısticas de 1024 posicoes(64× 16 = 1024);

Codifica propriedades locais na imagem.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 10 / 29

Color Coherence Vector (CCV)

Criado por G. Pass, R. Zabih, and J. Miller, 1996;

Coerencia de cor e o grau para qual os pixels da cor sao membrosde grande regioes similarmente coloridas;

Estas regioes, de importancia significantes para caracterizacao dasimagens, sao chamadas de regioes coerentes;

Medida de coerencia classifica os pixels como coerente ouincoerente.

I Coerentes: sao aqueles que fazem parte de alguma regiao contıguaconsideravel;

I Incoerentes: sao aqueles que nao fazem parte;

Um vetor de coerencia de cor representa a classificacao para cada corna imagem.

Difere do GCH, pois CCV’s evitam pixels coerentes em uma imagemsejam correspondentes de pixels incoerentes em outra.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 11 / 29

Color Coherence Vector (CCV)

Algoritmo do descritor CCV

1: Entradas: uma imagem de entrada f com dimensoes M × N pixels eum limiar T .

2: Aplicar um filtro passa-baixa na imagem f3: Quantizar o espaco de cor em intervalos {0, ...,N}, onde N e o valor

maximo de intervalos4: Calcular e rotular as componentes conexas C presentes em f, dada

uma vizinhaca5: Criar tabela de cores discretizadas com o tamanho de cada

componente conexas6: Selecionar as componentes conexas C cujo Size(C ) ≥ T

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 12 / 29

Color Coherence Vector (CCV)

Imagem de entrada borrada Imagem Quantizada N = 3

Componentes Conexas C Tabela Color × Size

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 13 / 29

Color Coherence Vector (CCV)

Tabela CCVs com Size(C ) ≥ T = 4 Vetor de Caracterısticas

Dois vetores de caracterısticas Calculo da distancia

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 14 / 29

Border/Interior Pixel Classification (BIC)

Criado por R. Stehling, aluno do Prof. Alexandre Falcao daUNICAMP em 2003;

Um dos melhores descritores de cor existentes na literatura;

A ideia esta em classificar cada um dos pixels da imagem como pixelpertencentes a borda ou interior:

I Borda: se existir pelo menos um pixel da vizinhaca-4 que seja de outracor;

I Interior: todos pixels da vizinhaca-4 sao da mesma cor;

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 15 / 29

Border/Interior Pixel Classification (BIC)

Algoritmo do descritor BIC

1: Dado uma imagem de entrada f.2: Quantizar o espaco de cor em intervalos {0, ..., 63}3: Classificar cada pixel da imagem f em borda ou interior, utilizando

vizinhanca-44: Criar dois histogramas de cores, uma para cada tipo de pixel (borda e

interior)5:

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 16 / 29

Border/Interior Pixel Classification (BIC)

Resultado da classificacao BIC.3

3Imagem extraıda do artigo original.Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 17 / 29

Color Correlogram (ACC)

Criado por Jing Huang, 1997;

Inclui correlacao espacial das cores;

Pode ser usado para descrever distribuicao global da correlacaoespacial local das cores;

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 18 / 29

Color Correlogram (ACC)

Um color correlogram de uma imagem e uma tabela indexada depares de cores, onde o k-esima entrada para (i,j) especifica aprobabilidade de encontrar um pixel da cor j em uma distancia k deum pixel da cor i na imagem;

Um histograma de cor captura apenas distributicao de cor em umaimagem e nao inclui qualquer informacao de correlacao espacial.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 19 / 29

Color Correlogram (ACC)

Figura : Definicao extraıda do artigo original.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 20 / 29

Color Correlogram (ACC)

Figura : Definicao extraıda do artigo original.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 21 / 29

Medidas de Avaliacao

Precision: numero de documentos relevantes recuperados pornumero de documentos recuperados;

Recall: numero de documentos relevantes recuperados por numerode documentos relevantes da base.

44Imagens extraıdas do Google image

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 22 / 29

Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 23 / 29

Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 24 / 29

Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 25 / 29

Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 26 / 29

Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 27 / 29

Comparacao entre Descritores

Diversos descritores na literatura;

Mais detalhes sobre descritores, Penatti et al. (2012).

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 28 / 29

Referencias

O. A. B. Penatti, E. Valle, and R. da S. Torres. Comparative study ofglobal color and texture descriptors for web image retrieval. Journalof Visual Communication and Image Representation (JVCI),23(2):359–380, 2012.

M. Swain and D. Ballard. Color indexing. International Journal ofComputer Vision (IJCV), 7(1):11–32, 1991.

R. Stehling, M. Nascimento, and A. Falcao. A compact and efficientimage retrieval approach based on border/interior pixel classification.In ACM Conference on Information and Knowledge Management(CIKM), pages 102–109, 2002

G. Pass, R. Zabih, and J. Miller. Comparing images using colorcoherence vectors. In ACM International Conference on Multimedia(MM), pages 65–73, 1996.

J. Huang, R. Kumar, M. Mitra, W. Zhu, and R. Zabih. Imageindexing using color correlograms. In IEEE Conference on ComputerVision and Pattern Recognition (CVPR), pages 762–768, 1997.

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 29 / 29