disciplina de processamento de imagensffaria/pi2s2015/class19/aula_descritores... · 2fr ;g b s...

Disciplina de Processamento de Imagens

Prof. Fabio Augusto Faria

Instituto de Ciencia e TecnologiaUNIFESPSala 106

[email protected]://fafaria.wix.com/fabiofaria

Segundo Semestre de 2015

Roteiro

1 Recuperacao de Imagens por Conteudo (CbIR)

2 Descritores de CorColor Indexing (GCH)Local Color Indexing (LCH)Color Coherence Vectors (CCV)Border/Interior Pixel Classification (BIC)Color Correlograms (ACC)

3 Comparacao entre Descritores de Cor

Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 2 / 29

Recuperacao de Imagens por Conteudo (CbIR)

11CbIR=Content-based Image Retrieval


Recuperacao de Imagens por Conteudo (CbIR)

Figura : Imagem extraıda da Ferramenta EVA. Dissertacao de Otavio Penatti(2009).


Descritores de Imagem


Descritores de CorGlobal: considera a informacao da imagem colorida de forma global,sem particionamento ou pre-processamento (simples e rapido);

Regioes de Tamanho Fixo: divide uma imagem em partes (celulas)de tamanhos fixos e extraem-se informacao de cada celula emseparado (informacao espacial);

Baseado em Segmentacao: divide uma imagem em regioes quepodem diferir em tamanho e quantidade de imagem para imgem(mais complexos e eficazes).


Global Color Histogram (GCH)

Criado por M. Swain and D. Ballard, 1991;

Descritor mais popular da literatura;

Abordagem Global;

Contagem de ocorrencia de cores (Histograma);

150 2500 50 100 200

Número de pixels

Níveis de cinza


Global Color Histogram (GCH)

Quantizacao uniforme dos canais de cores (e.g., RGB e HSV);

Histograma de imagem colorida com 64 posicoes ou BINS2:

color(x , y) = R(x , y) + fg ∗ G (x , y) + fb ∗ B(x , y);

color(x , y) = (S + fh ∗ H);

Invariante a escala e rotacao;

2{R,G ,B, S,H} sao normalizados por 256 assumem valores ≤ 3, fg = 4, fb = 16 e fh = 16Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 9 / 29

Local Color Histogram (LCH)

E uma extensao do GCH;

Utiliza abordagem Regioes de Tamanho Fixo;

A diferenca esta em dividir a imagem de entrada em grid4× 4 = 16celulas (cell) e calcular o descritor GCH para cada celula;

Ao final, sera criado um vetor de caracterısticas de 1024 posicoes(64× 16 = 1024);

Codifica propriedades locais na imagem.


Color Coherence Vector (CCV)

Criado por G. Pass, R. Zabih, and J. Miller, 1996;

Coerencia de cor e o grau para qual os pixels da cor sao membrosde grande regioes similarmente coloridas;

Estas regioes, de importancia significantes para caracterizacao dasimagens, sao chamadas de regioes coerentes;

Medida de coerencia classifica os pixels como coerente ouincoerente.

I Coerentes: sao aqueles que fazem parte de alguma regiao contıguaconsideravel;

I Incoerentes: sao aqueles que nao fazem parte;

Um vetor de coerencia de cor representa a classificacao para cada corna imagem.

Difere do GCH, pois CCV’s evitam pixels coerentes em uma imagemsejam correspondentes de pixels incoerentes em outra.



Algoritmo do descritor CCV

1: Entradas: uma imagem de entrada f com dimensoes M × N pixels eum limiar T .

2: Aplicar um filtro passa-baixa na imagem f3: Quantizar o espaco de cor em intervalos {0, ...,N}, onde N e o valor

maximo de intervalos4: Calcular e rotular as componentes conexas C presentes em f, dada

uma vizinhaca5: Criar tabela de cores discretizadas com o tamanho de cada

componente conexas6: Selecionar as componentes conexas C cujo Size(C ) ≥ T



Imagem de entrada borrada Imagem Quantizada N = 3

Componentes Conexas C Tabela Color × Size



Tabela CCVs com Size(C ) ≥ T = 4 Vetor de Caracterısticas

Dois vetores de caracterısticas Calculo da distancia


Border/Interior Pixel Classification (BIC)

Criado por R. Stehling, aluno do Prof. Alexandre Falcao daUNICAMP em 2003;

Um dos melhores descritores de cor existentes na literatura;

A ideia esta em classificar cada um dos pixels da imagem como pixelpertencentes a borda ou interior:

I Borda: se existir pelo menos um pixel da vizinhaca-4 que seja de outracor;

I Interior: todos pixels da vizinhaca-4 sao da mesma cor;



Algoritmo do descritor BIC

1: Dado uma imagem de entrada f.2: Quantizar o espaco de cor em intervalos {0, ..., 63}3: Classificar cada pixel da imagem f em borda ou interior, utilizando

vizinhanca-44: Criar dois histogramas de cores, uma para cada tipo de pixel (borda e

interior)5:



Resultado da classificacao BIC.3

3Imagem extraıda do artigo original.Prof. Fabio Augusto Faria (ICT/UNIFESP) Segundo Semestre de 2015 17 / 29

Color Correlogram (ACC)

Criado por Jing Huang, 1997;

Inclui correlacao espacial das cores;

Pode ser usado para descrever distribuicao global da correlacaoespacial local das cores;



Um color correlogram de uma imagem e uma tabela indexada depares de cores, onde o k-esima entrada para (i,j) especifica aprobabilidade de encontrar um pixel da cor j em uma distancia k deum pixel da cor i na imagem;

Um histograma de cor captura apenas distributicao de cor em umaimagem e nao inclui qualquer informacao de correlacao espacial.



Figura : Definicao extraıda do artigo original.


Medidas de Avaliacao

Precision: numero de documentos relevantes recuperados pornumero de documentos recuperados;

Recall: numero de documentos relevantes recuperados por numerode documentos relevantes da base.

44Imagens extraıdas do Google image


Comparacao entre Descritores

Figura : Tabela comparativa extraıda de Penatti et al. (2012).



Diversos descritores na literatura;

Mais detalhes sobre descritores, Penatti et al. (2012).


Referencias

O. A. B. Penatti, E. Valle, and R. da S. Torres. Comparative study ofglobal color and texture descriptors for web image retrieval. Journalof Visual Communication and Image Representation (JVCI),23(2):359–380, 2012.

M. Swain and D. Ballard. Color indexing. International Journal ofComputer Vision (IJCV), 7(1):11–32, 1991.

R. Stehling, M. Nascimento, and A. Falcao. A compact and efficientimage retrieval approach based on border/interior pixel classification.In ACM Conference on Information and Knowledge Management(CIKM), pages 102–109, 2002

G. Pass, R. Zabih, and J. Miller. Comparing images using colorcoherence vectors. In ACM International Conference on Multimedia(MM), pages 65–73, 1996.

J. Huang, R. Kumar, M. Mitra, W. Zhu, and R. Zabih. Imageindexing using color correlograms. In IEEE Conference on ComputerVision and Pattern Recognition (CVPR), pages 762–768, 1997.


disciplina de processamento de imagensffaria/pi2s2015/class19/aula_descritores... · 2fr ;g b s...

Documents