Múltipla calibração de câmeras baseada em um padrão invariante

(Multiple camera calibration based on invariant pattern)

Manuel Eduardo Loaiza Fernandez

Marcelo Gattass (orientador)Alberto B. Raposo (co-orientador)

1

Sumario• Introdução• Motivação• Objetivos• Múltipla calibração de câmeras

– Conceitos básicos.– Métodos existentes.– Método proposto.

• Testes e Resultados• Conclusões e trabalhos futuros

2

Introdução• O sistema de rastreamento é uma ferramenta

fundamental para a área de realidade virtual.• A precisão alcançada no cálculo da posição 3D dos

objetos rastreados está diretamente relacionada a uma correta e precisa calibração das câmeras.

3

Motivação• Montar um sistema de múltiplas câmeras

com equipamentos de baixo custo.

4

Objetivo

• Propor um novo método para calibração simultânea de várias câmeras que seja simples, robusto e preciso.

5

Objetivo

Requisitos para o sistema desejado:• Deve ser flexível ao permitir estender o

número de câmeras que serão calibradas.• Rápido e simples de executar por parte do

usuário.• Conseguir uma calibração válida entre as

diversas câmeras que permita uma boa precisão na recuperação da posição 3D dos objetos rastreados ( < 5mm ).

6

Resumo das contribuições

• Novo padrão tem mais informações geométricas que outros da literatura.

• Permite a captura e o reconhecimento pontos de referência de forma mais simples e robusta.

• Melhora a precisão da calibração em função dos relações geométricas do padrão.

7

Framework conceitual para a calibração de câmeras

1. Aquisição de dados2. Calibração inicial3. Otimização

8

Sistema estéreo de câmeras Sistema de múltiplas câmeras

1ra Etapa: Aquisição de dados• Compreende o processo de captura de amostras

de pontos de referência usados como dados de entrada para os diferentes cálculos realizados no processo de calibração das câmeras.

• Esta etapa tem como principal componente: o padrão de calibração.

9

1ra Etapa: Aquisição de dados• Padrão de calibração é uma objeto sintético em cuja estrutura

encontram-se marcadores específicos que definirão pontos de referência.

• Os pontos de referência são extraídos desde imagens do padrão usando diferentes algoritmos de processamento de imagem.

• Alguns tipos de padrões usados são:a) Padrão Planar.b) Padrão Unidimensional.c) Padrão Adimensional.

10

1ra Etapa: Aquisição de dadosPadrão Planar• Permite extrair vários pontos de referência por vista do padrão.• O formato oferece várias informações físicas: distâncias entre

marcadores, colinearidade. • Possui restrições na correta visualização simultânea do padrão em

sistemas onde temos mais de duas câmeras.

11

Padrões planares usados em trabalhos como, (a) Bouguet[3], (b) Zhang[18] e Tsai[14] e (c) Heikkila[5].

1ra Etapa: Aquisição de dadosPadrão Unidimensional.• Permite extrair dois pontos de referência por vista padrão.• Este formato oferece a distância entre os marcadores como informação

física.• Poucas restrições na visualização simultânea em sistemas com mais de

duas câmeras.• Problemas com a detecção de falsos marcadores que podem ser

considerados como parte do padrão e oclusão.

12

1ra Etapa: Aquisição de dadosPadrão Adimensional.• Permite extrair um ponto de referência por vista do padrão.• O formato não oferece informação física útil.• Não tem restrições na visualização simultânea em sistemas

com mais de duas câmeras.• Problemas mais graves com a detecção de falsos marcadores

que podem ser considerados como parte do padrão e oclusão.

13

2da Etapa: Calibração inicial• O objetivo é analisar os diferentes métodos

utilizados para calcular o valor inicial dos parâmetros das câmeras.

• Podem ser agrupados em dois tipos básicos de métodos: fotogramétrico e auto-calibração.

• As soluções obtidas para os parâmetros das câmeras são calculadas com base na minimização algébrica de um sistema de equações que modela a correspondência entre pontos 3D-2D (fotogramétrica) e pontos 2D-2D (auto-calibração) que formam parte da amostra de calibração.

14

3ra Etapa: Otimização• As soluções iniciais satisfazem uma aproximação

algébrica linear para um problema que não é linear (modelo de câmera real com distorção da lentes).

• Algoritmos de minimização não-linear tentam melhorar a estimativa inicial obtida para os parâmetros, com base no valor do erro produzido por funções de controle que verificam os valores de certas características fornecidas pelo formato dos padrões através de:– Reprojeção 3D – 2D. – Reprojeção 2D – 2D.– Distância 3D entre pontos de referência reconstruídos.

15

3ra Etapa: Otimização• Reprojeção 3D – 2D:

16

Posição 2D extraída (u,v) diferente a posição

reprojetada 2D (u’ ,v’)

3ra Etapa: Otimização

• Reprojeção 2D – 2D:

17

3ra Etapa: Otimização• Distância 3D entre pontos de referência reconstruídos:

18

dAB

dBC

dCD

d’AB

d’BC

d’CD

AB

C

D

dAB != d’AB

dBC != d’BC

dCD != d’CD

Principais Trabalhos Relacionados

• Método proposto por Borghese et al. (2000) e adotado em sistemas de rastreamento óptico comerciais como ART GmbH (2009) e VICON (2009).

• Método proposto por Svoboda et al (2005), modificado para funcionar num sistema estéreo proposto por Pintaric et al. (2007) e adotado para uso no sistema de rastreamento óptico comercial chamado IOTracker (2009)

• Método proposto por Kurillo et al (2008) exemplifica o problema de sistemas múltipla calibração de câmeras com distribuição centralizada e descentralizada.

• Método proposto por Jean-Yves Bouguet (2008).19

Calibração de câmeras estéreo• Método proposto por Jean-Yves Bouguet (2008) :

– Aquisição de dados: padrão planar com formato de tabuleiro de xadrez.– Calibração inicial: método fotogramétrico.– Otimização: usando informação da reprojeção 3D – 2D dos pontos de

referência extraídos da superfície do padrão planar.

20

Calibração de câmeras estéreo– Pode-se capturar muitos pontos de

referência por vista do padrão– A captura da amostra de vistas do

padrão planar é difícil pelos problemas de visibilidade deste tipo de padrão.

– Não extensível para um sistema múltipla calibração.

21

Calibração de câmeras estéreo

• Método proposto por Borghese et al. (2000):– Aquisição de dados: padrão planar em formato de L e uma barra com

dois marcadores em cada extremo (padrão unidimensional).– Calibração inicial: método de auto-calibração.– Otimização: reprojeção 2D – 2D dos pontos de referencia capturados

e extraídos desde a amostra do padrão unidimensional e a distância 3D entre os marcadores.

22

Calibração de câmeras estéreo

– Na calibração inicial a extração dos parâmetros internos e externos é feita a partir da decomposição da matriz fundamental (auto-calibração).

– Precisa de um processamento adicional para realizar uma correta correspondência entre as imagens dos pontos que conformam a barra com 2 marcadores.

– Otimização baseada no erro de reprojeção 2D-2D e distancia 3D entre os marcadores do padrão.

– Extensível para um sistema múltipla calibração.

23

Múltipla calibração de câmera

• Método proposto por Svoboda et al. (2005) e modificado por Pintaric et al(2007):

– Aquisição de dados: padrão planar e padrão adimensional (ponteiro laser, marcador esférico).

– Calibração inicial: híbrido fotogramétrico e auto-calibração.– Otimização: reprojeção 3D – 2D dos pontos de referencia

capturados com o padrão adimensional.

24

Múltipla calibração de câmera

– Calibração inicial alguns parâmetros internos e de distorção das lentes ( radial, tangencial) precisam ser pré – calculados (método fotogramétrico).

– Só a função de erro de reprojeção 3D-2D pode ser usada na otimização.

– Correspondência 2D entre os pontos da referência nas diferentes câmeras precisam de um pós – processamento para detectar falsas correspondências.

– Distribuição de câmeras centralizado.

25

Múltipla calibração de câmera

• Método proposto por Kurillo et al. (2008):– Aquisição de dados: padrão planar e unidimensional.– Calibração inicial: híbrido fotogramétrico e auto-calibração.– Otimização: reprojeção 2D – 2D e distância 3D entre marcadores

do padrão unidimensional.

26

Múltipla calibração de câmera– Calibração parâmetros internos e de distorção das lentes calculados

com método fotogramétrico.– Calibração parâmetros externos calculados com um método de auto-

calibração.– Correspondência 2D entre pontos da amostragem nas diferentes

câmeras precisam de um pós – processamento para detectar falsas correspondências.

– Analisa o problema de distribuição de câmeras, suporta sistemas centralizados e descentralizados.

27

Método proposto • Aquisição de dados: padrão planar(intrínsicos) e padrão invariante

(unidimensional) proposto por Loaiza et al. (2007).

• Calibração inicial: híbrido fotogramétrico e auto-calibração.

• Otimização: pode usar as funções de controle: reprojeção 3D – 2D, reprojeção 2D – 2D, distância 3D entre os marcadores e adicionar duas funções derivadas da medição da colinearidade dos marcadores tanto em 2D (imagem) como 3D(reconstrução 3D).

28

Método proposto• Aquisição de dados: padrão invariante

– Este padrão tem suas origens em uma técnica proposta na área de processamento e reconhecimento de imagens aéreas conhecida como “P2-invariant”, que está baseada nas propriedades do “cross ratio” definido por 4 pontos colineares, e foi proposta por Meer et al.(1993).

– Essa técnica foi adaptada para definir um método robusto para reconhecimento deste tipo de padrão por Loaiza et al (2007) e Texeira et al(2008).

29

Método proposto• As principais características deste padrão são:

– Possui um método especifico para seu reconhecimento.

– Pode se criar um identificador único para cada padrão colinear.

– Uma vez identificado o padrão também podemos reconhecer individualmente cada marcador que o compõe.

– Para uma correta diferenciação de um padrão invariante em relação ao outro as distâncias entre os 4 marcadores devem ser diferentes (restrição).

30

Método proposto– Algumas características adicionais:

– O método precisa de uma etapa de treinamento para calcular o identificador único para cada padrão invariante (em cada câmera).

– Todo o processo de reconhecimento do padrão é feito só com informação das posições 2D na imagem dos marcadores que compõem o padrão.

31

Método proposto– Algumas características adicionais:

• Ao poder identificar individualmente cada padrão invariante é viável usar simultaneamente mais de um destes padrões para captura de uma amostra de vistas para calibração.

32

Método proposto– Algumas características adicionais: 2

padrões simultaneamente.

33

Método proposto• Calibração inicial:

– Método fotogramétrico usado para o calcular os parâmetros intrínsecos e coeficientes de distorção das lentes.

– Método de auto-calibração usado para calcular os parâmetros extrínsecos (R e t ) entre as câmeras.

34

Método proposto• Otimização:

– Propomos uma nova função de erro composta pelas funções de controle convencionais:

– Reprojeção 3D – 2D. – Reprojeção 2D – 2D.– Distância 3D entre pontos de referência

reconstruídos.

– E modelamos mais duas funções extraídas do formato do padrão proposto:

– Medida da colinearidade entre os marcadores em 2D (Posição 2D dos marcadores na imagem) e 3D (Posições 3D dos marcadores reconstruídos).

35

Método proposto• Otimização:

• A colinearidade 2D está diretamente ligada a correção da distorção das lentes, nesse processo são utilizados o valor dos parâmetros intrínsecos e coeficientes de distorção das lentes.

• A colinearidade 3D está diretamente ligada ao processo de reconstrução 3D das posições dos marcadores, nesse processo são utilizados o valor dos parâmetros intrínsecos e extrínsecos.

36

Implementação• A partir do framework proposto foi feita uma

implementação geral que permite a simulação dos diversos métodos citados.

• Implementados 3 módulos.

37

Implementação• Modulo 1: captura e calibração inicial fotogramétrica.

38

Implementação• Modulo 2: captura amostra padrões invariantes.

39

Implementação• Modulo 3: auto-calibração e otimização da calibração.

40

Testes• Para testar e comparar o método proposto montamos uma infra-estrutura

formada por mais de duas câmeras.• O equipamento utilizado foi:

– 2 câmeras web e 4 câmeras firewire.– 2 tripés.– 2 padrões invariantes.– 1 padrão planar. – 1 computador.

41• • (a) Cameras web, (b) e (c) Cameras firewire

Teste – Foram montados 2 sistemas X e Y.

• Sistema X: quatro câmeras firewire. • Sistema Y: duas câmeras web e duas câmeras firewire.

– Capturamos e processamos num só computador as imagens vindas das 4 câmeras mantendo uma taxa 30 fps.

42• •Sistema X Sistema Y

Teste• Principais objetivos do teste:

– Testar se a característica adicional de colinearidade que o padrão invariante possui pode contribuir a obter melhores resultados quando inserido dentro da função de erro usada para otimizar os parâmetros das câmeras.

– Testar se a precisão alcançada na recuperação da posição 3D avaliada pela função que mede a distância 3D entre os marcadores do padrão, consegue ser igual ou melhor que as alcançadas por outros métodos encontrados na literatura.

43

Teste: metodologia• Metodologia do teste:

44

– Modelar e implementar diversas funções de erro formadas basicamente por funções de controle convencionais.

– Implementaremos funções de erro onde adicionamos as funções de controle derivadas da colinearidade

Teste: metodologia• Metodologia do teste:

– Capturar duas amostras: 1. Uma amostra de 250 vistas do padrão usada para realizar a calibração das

câmeras com as diversas funções de erro propostas.2. Uma amostra de 1000 vistas do padrão usada para testar a precisão alcançada

com a calibração dos parâmetros das câmeras realizada com a primeira amostra.

– Com os resultados obtidos com a segunda amostra compararemos se a otimização feita com as funções de erro que levaram em conta as funções derivadas da colinearidade obtiveram melhores resultados em relação com as que não levaram em conta a colinearidade.

– Calcularemos o erro de distância 3D entre os marcadores, que é muito utilizado na comparação deste tipo de sistemas de múltipla calibração de câmeras.

45

Teste: funções de erro

– Função de erro 2:

46

– Função de erro 1: simula o ambiente de calibração definido pelos métodos de Borghese et al. (2000) , Kurillo et al. (2008) e Uematsu et al. (2007).

– Função de erro 4:

– Função de erro 3: simula o ambiente de calibração definido pelo método descritos por Bouguet et al (2008).

Teste: funções de erro

– Função de erro 6:

47

– Função de erro 5: simula um ambiente de calibração onde todas as funções de controle convencionais podem ser utilizadas, definindo uma função de erro global robusta.

– Função de erro 8:

– Função de erro 7: simula o ambiente de calibração definido pelos métodos descritos por Svoboda et al.(2005) e Pintaric et al. (2007) . Só a função de controle de reprojeção 3D-2D é usada.

Resultados• Os resultados alcançados com o teste feito sobre o sistema de câmeras X,

avaliando as 8 funções de erro propostas foi:

48

Resultados• Os resultados alcançados com o teste feito sobre o sistema de câmeras Y,

avaliando as 8 funções de erro propostas foi:

49

Resultados• Resumo percentual dos resultados alcançados com o teste feito sobre o sistema

X, onde mostramos o ganho ou perda dos resultados da calibração realizada com as funções par (usam a colinearidade) em comparação as impar (não usam a colinearidade).

50

• Um valor percentual positivo representa que a função par teve erro médio menor em comparação aos resultados obtidos coma função impar, já um valor negativo representa que o resultado da função impar foi melhor do que a função par.

Resultados• Resumo dos resultados alcançados com o teste feito sobre o sistema Y.

51

• O ganho percentual médio quase sempre favoreceu as funções par que foram as que incluíram as funções de colinearidade do padrão invariante.

• O ganho médio percentual foi de 3.9%, e tivemos uma calibração onde obtivemos um ganho máximo de 18% e no pior caso uma perda de 0,96%.

Resultados• O valor do erro médio alcançado na função que mede a distância 3D

entre os marcadores foi de 1.43 ± 0,7mm, o que consideramos muito bom por ficar bem abaixo no limite de 5mm permitido em sistemas de rastreamento óptico comerciais.

• A seguir é mostrada uma comparação deste tipo de erro de medição 3D onde citamos resultados de outros métodos propostos academicamente e alguns fornecidos por especificações de produtos comerciais.

52

Resultados• Algumas vantagens que nosso padrão invariante oferece em

relação a outros padrões de calibração.– 4 pontos de referência recuperados por vista do padrão analisado

comparado a 2 do padrão unidimensional (barra com dois marcadores) e 1 no caso do padrão adimensional.

– Possibilidade de usar mais de um padrão invariante simultaneamente na captura de amostras de pontos referenciais.

– Maior robustez em relação ao processo de identificação grupal e individual dos padrões e os marcadores que o compõem, baseada na técnica de reconhecimento desenvolvida para o tipo de padrão invariante.

• Uma desvantagem em comum tanto no padrão invariante, unidimensional e adimensional é a oclusão dos marcadores.

53

Conclusões– Como resultado desta tese foi proposto a modelagem

e implementação de um novo método de múltipla calibração de câmeras, baseado na proposta de um novo tipo de padrão de calibração (padrão invariante).

– O formato do padrão invariante proposto como parte do método fornece várias características físicas importantes que melhoraram os resultados da calibração e posterior otimização dos parâmetros das câmeras.

54

Conclusões– Os resultados dos testes realizados mostraram que:

• A utilização da característica de colinearidade melhora os resultados do processo de calibração das câmeras.

• Conseguimos uma boa precisão milimétrica semelhante e melhor a outros métodos propostos na literatura, isto levando em conta que nosso sistema de câmeras não conta com o recurso de sincronismo entre câmeras que é uma característica importante presente em sistemas mais profissionais.

– Esta tese também propõe a concepção de um framework conceitual que é pode ser tornar uma ferramenta de apoio muito útil para analisar as etapas e os processos que compõem um método de múltipla calibração de câmeras.

55

Trabalhos futuros• Algumas trabalhos mais concretos que

gostaríamos de testar a curto prazo seriam:– Testar nosso método de calibração num sistema de

câmeras com sincronismo.– Aprimorar o processo de extração e identificação da

posição 2D dos marcadores do padrão na imagem.– Aprimorar o framework conceitual para ser

complementado e estendido com o analise de mais métodos de calibração existentes na literatura.

– Implementar um sistema de rastreamento óptico sobre nosso sistema de 6 câmeras e estendê-lo para suportar aplicações de captura movimento.

– Testar nosso método em sistemas de reconstrução 3D (scanner 3D) onde a precisão milimétrica é requerida.

56

Trabalhos futuros• Este tipo de método tem uma ampla gama de aplicações onde pode ser utilizado,

especialmente aquelas onde a calibração de múltiplas câmeras representa o coração do funcionamento do sistema.

• Alguns exemplos:

57

Obrigado

58