scan 3d - laser

7/23/2019 Scan 3D - Laser

1/57


2/57

Aplicaes da Digitalizao 3D:Inspeco e Engenharia Inversa

Verificao de Tolerncias de Fabrico e Qualidade do Processo;

Engenharia Inversa, restauro e recuperao;

Inspeco Remota, em ambientes perigosos.


3/57

Digitalizao 3D:Por Contacto

Contacto

Sem Contacto

Medies Directas(rguas, paqumetros, micrmetros, mesas de coordenadas 3D (CMM), AFM)


4/57

Digitalizao 3D :Fotografia estreo ou mltipla

Contacto

Sem Contacto

Activo

PassivoForma-X

(stereo/multi-vistas, silhuetas, focus/defocus, movimento, textura,

etc.)



5/57

Digitalizao 3D:Silhuetas

Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)



6/57

Digitalizao 3D:Focus/Defocus

Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)



7/57

Parallel/Fan-beam Projections

0 50 100 150rotation angle (degrees)

Density Function

Transmissivo

Reflectivo

Computed Tomography (CT)Transmissive Ultrasound

Digitalizao 3D:Computed Tomography (CT)

Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)



8/57

Mtodos no opticos

(reflective ultrasound, radar, sonar, MRI)

Digitalizao 3D:Mtodos no opticos activos

Transmissivo

Reflectivo


Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)

http://upload.wikimedia.org/wikipedia/commons/d/db/Structural.gifhttp://upload.wikimedia.org/wikipedia/commons/d/db/Structural.gifhttp://upload.wikimedia.org/wikipedia/commons/f/f3/Embryo_at_14_weeks_profile.JPGhttp://upload.wikimedia.org/wikipedia/commons/f/f3/Embryo_at_14_weeks_profile.JPGhttp://upload.wikimedia.org/wikipedia/en/a/a1/UltrasoundProbe2006a.jpghttp://upload.wikimedia.org/wikipedia/en/a/a1/UltrasoundProbe2006a.jpg


9/57

Variantes activas dos mtodos passivos

(stereo/focus/defocus using projected patterns)

Digitalizao 3D:Variantes activas dos mtodos passivos

Mtodos no opticos


Transmissivo

Reflectivo


Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)



10/57

Tempo de Voo

Digitalizao 3D:Tempo de Voo

nssm

m

c

dt 17

103

0.528



Mtodos no opticos


Transmissivo

Reflectivo


Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)

http://upload.wikimedia.org/wikipedia/commons/0/0e/Lidar_P1270901.jpghttp://upload.wikimedia.org/wikipedia/commons/0/0e/Lidar_P1270901.jpg


11/57

Triangulao(laser striping and structured lighting)

Digitalizao 3D:Triangulao com Laser

Tempo de Voo



Mtodos no opticos


Transmissivo

Reflectivo


Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)

http://upload.wikimedia.org/wikipedia/commons/c/ce/LaserPrinciple.pnghttp://upload.wikimedia.org/wikipedia/commons/c/ce/LaserPrinciple.png


12/57

Digitalizao 3D:Triangulao com luz estruturada

Triangulao(laser striping and structured lighting)

Tempo de Voo



Mtodos no opticos


Transmissivo

Reflectivo


Contacto

Sem Contacto

Activo

PassivoForma-X


etc.)



13/57

Desafios

S deve existir uma fonte de luz;

As superfcies no devem ser transparentes, nem reflectoras, nemdifusoras;

Tempo de aquisio funo do tipo de objecto.


14/57

Mtodo

Aplicao de

Textura

Alinhamento

3D Point Clouds

Reconstruo

3D Point Cloud(s)

Captura de

Dados

Extrao

Isosurface


15/57

3D Scanners Comerciais

Caractersticas, vantagens e desvantagens:

Normalmente utilizam laser e uma mesa rotativa;

So demasiado caros (NextEngine ~$3,000 USD);

Executam todo o processo de forma automtica.


16/57

Do-It-Yourself (DIY) 3D Scanners

Caractersticas, vantagens e desvantagens : Normalmente utilizam laser e uma mesa rotativa;

Relativamente baratos (DAVID laser scanner ~$550 USD);

No fazem tudo automaticamente;

Falta normalmente o modulo de calibrao.


17/57

3D Triangulation: plane-ray intersection

ray

plane

intersection point

projector /

coordinate

systems


18/57

Representation of lines and rays

line

q

v

vqp reference

point

vector

scaleparameter

point

q

v

ray=1/2 line vqp

parameteris positive


19/57

Representation of planes

2211 vvqp

1v

2vq

p

P

parametric

n

q

p

0)( qpntP

implicit

2 scaleparameters

referencepoint

2 vectors

point

referencepoint

normalvector

1 implicit

equation


20/57

Triangulation by line-plane intersection

object being

scanned

pqn

}0)(:{ pt qpnpP

projected light plane

p

illuminatedpoint on object

}{ vqpL L

camera ray

Lq

v

intersectionof light plane

with object

same

coordinate

system


21/57

Triangulation by line-line intersection

object beingscanned

}{ 2222 vqpL

camera ray

2q

2v

projected light ray

1q 1v

}{ 1111 vqpL

p

lines may not intersect !


22/57

Approximate line-line intersection

1q

1v

2q

2v

1111 vqp

2222 vqp

),( 2112 p

Midpoint of segment joiningarbitrary points in the two lines

1q1v

2q

2v

),( 2112 p

Least-squares approach

Find parameters which minimize


23/57

Approximate line-line intersection

1111 vqp

2222 vqp


24/57

Perspective projection under the pinhole model

center of projection

imagepoint

image plane

3D point

light directionfor a projector

light directionfor a camera

Calibration: mapping from image points to rays


25/57

The ideal pinhole camera

camera coordinate system = world coordinate system

1v3v2v

1

2

1

u

u

u

0q

3

2

1

pp

p

p

1f


26/57

The general pinhole model

world coordinate systemcamera coordinate system

W

C

1 2

3

1

2 3 u

p

TRXWC

Ideal assumptions Image lengths = world lengths Focal length = 1 Image origin = optical center Image plane spanned by two basis vectors


27/57

The general pinhole model

world coordinate systemcamera coordinate system

W

C

1 2

31

2 3 up

TRXWC


28/57

Plane defined by image line and center of projection

center of projection

q

n

image plane

}0)(:{ qpnpP t

}0:{ uluL t

Implicit equation of line in image coordinates


29/57

Triangulao por Laser

A linha laser move-se manualmente ou atravs de um mecanismo;

Triangulao por profundidade de cada pixel;

Requer uma correcta calibrao;

Utilizado em DIY 3D scanners.


30/57

Materiais Necessrios

Camera (QuickCam 9000);

Laser;

Painis de Calibrao;

Montagem.


31/57

Processo de Digitalizao

C

1

2

3

)(tVl

),( yxVC

)(),( tVyxVP lC

P

p

)(tVl

),( yxVC


32/57

Processo de Digitalizao


33/57

I max (x;y) = maxt I (x; y; t)I min (x; y) = mint I (x; y; t)I shadow (x; y) = I m ax (x ;y)+ I m i n (x;y)

2

Converter o video de RGB para tons de cinzento;

Determinar per-pixel minima e maxima intensidade;

Calcular o intervalo de variao.

Anlise do Processo

I min (x; y) = mint I (x; y; t)


34/57

Anlise do Processo


35/57

Exemplos

J.-Y. Bouguet and P. Perona. 3D photography

on your desk. Intl. Conf. Comp. Vision, 1998

J. Kim and J. Wu. Scanning with Shadows. CSE

558 Project Report (U. Washington), 2001

P. Blaer, N. Hasan, C. Tripp, and L. Volchok. 3D DesktopPhotography by Eclipse. Project Report (Columbia), 2001 J. Kubicky. Home-Brew 3-DPhotography. EE 149 Project Report

Caltech 1998


36/57

As digitalizaes tm ento de ser

fundidas

U M O B J E C T O N OP O D E S E R

D I G I T A L I Z A D O D EU M A S V E Z

Cada digitalizao feita num referencial

diferente;

Por forma a juntar e fundir as vrias

digitalizaes, todos os referncias devem ser

determinados em relao a um referencial

global.

Juntando e Trabalhando as Superfices


37/57

A densely sampled point cloud covering the whole surface of the object

usually requires merging many scans

Juntando e Trabalhando as Superfices


38/57

http://www.research.ibm.com/pieta

Shape

Appearance

Por vezes sero necessrios muitas Digitalizaes


39/57


40/57

Juntando vrios Point Clouds

Um a um as nuvens de pontos devem ser juntas;

Por fim os erros introduzidos devem ser eliminados.


41/57

Processo Manual

Escolher no mnimo 3 pontos comuns;

Resolver a matriz de transformao de coordenadas e aplicar nuvem de pontos;

Corrigir a posio de forma automtica.

Simples se o modelo for

pequeno

Moving

Fixed


42/57

Iterative Closest Point Algorithm (ICP)

1.

Torna o processo automtico:

2.

Encontra os pontos correspondentes:

3.

Calcula a matriz de transformao de coordenadas:

4.

E repete o processo at obter convergncia.

p1; : : : ; pN

q1; : : : ; qN

E(R; T) = 1NN

j = 1 kR pj + T qjk2


43/57

Formas de representar Superfcies

Superfcies:

Paramtrica

Implcita

Para alterar uma superfcie, temos de trabalhar sobre a sua representao:

A representao composta por um conjunto de parmetros;

O que til para efectuar operaes

Point clouds (superfcie representada por um conjunto

de pontos):

Posies, normais, cores, etc

Malhas:

Vrtices e faces, normais, cor, textura.

S = f p : f (p) = 0gS = f p = (s1; s2)g


44/57

Slidos e Superfcies Fechadas

Muitas aplicaes requerem que a point cloud seja transformada numa superfcie fechada:

Point clouds no possuem informao suficiente:

Como tal esta deve ser calculada, normais e pontos

vizinhos.

Assim possvel ligar os pontos da malha por arestas.

Se a superfcie for totalmente fechada, torna-se

prova de gua

Desta forma ser possvel recriar um slido e como tal trabalh-lo em programas como o SolidWorks.


45/57

Exemplos


46/57

Reconstruo de Superfcies

Todas as superfcies implcitas so prova de gua

Uma Iso-superfcie uma aproximao poligonal a uma superfcie implcita;

Marching Cubes um dos algoritmos para obter uma iso-superfcie a partir de uma superfcie implcita ou de

um point cloud;

Estes algoritmos so normalmente baseados nas equaes de Poisson.

S = f p : f (p) = 0g


47/57

Exemplos


48/57

Exemplos


49/57

Exemplos

1. Filters -> Normals, Curvatures and Orientation ->

Compute normals for point sets (50-100)

2. Filters -> Point Set -> Poisson Reconstruction (Octree

Depth (try 9-11))


50/57

Processamento Elementar de Superfcies

ALG O R I T M O S S I M P L E S E I T E R AT I V O S P A R A M E L H O R A R O R E S U LTA D O ;

PO LY G O N M E S H S M O O T H I N G / D E N O I S I N G

PO LY G O N M E S H S I M P L I F I C AT I O N

J 3 D P G P ( JA V A 3 D PH O T O G R A P H Y A N D GE O M E T R Y PR O C E S S I N G )

ME S H L A B


51/57


52/57


53/57

S /


54/57

Polygon Mesh Smoothing / Denoising

Laplacian Smoothing

Low Pass Filter

N=10 N=40 N=240

Laplacian smoothing is the simplest smoothing/denoising algorithm

Fix to shrinkage problem: toggle parameter sign at each iteration

L l i S thi


55/57

Laplacian Smoothing

viv

j

Intuition: remove noise by averaging neighboring positions

Compute displacement vector for each vertex

Move vertices in the displacement vector direction

Can use more general weights

v0i = vi + vi

j i vi = 1jvij j 2 i ? (vj vi ) vi = j 2 i ?wi j (vj vi )

wi j > 0 j 2 i ?wi j (vj vi )

P li M h Si lifi ti / D i ti


56/57

Poligon Mesh Simplification / Decimation

A L G O R I TH M S T O R E D U C E T H E N U M B E R O F V E R T I C E S A N D F A C E SW H I L E P R E S E R V I N G G E O M E T R I C A P P R O X I M A T I O N T O O R I G I N A LS H A P E

Vertex clustering (Rossignac & Borrel, 1993)

Edge Collapse (Garand Heckbert 1997; many others)


57/57

scan 3d - laser

Documents