3d model acquisition from uncalibrated images

8/6/2019 3D Model Acquisition From Uncalibrated Images

1/10

3 D M o d e l A c q u i s i t i o n f r o m U n c a l i b r a t e d I m a g e s

R o b e r t o C i p o l l a E d m o n d B o y e r

D e p a r t m e n t o f E n g i n e e r i n g ,

U n i v e r s i t y o f C a m b r i d g e ,

C a m b r i d g e C B 2 1 P Z , U K .

A b s t r a c t

I n t h i s p a p e r w e a d d r e s s t h e p r o b l e m o f r e c o v e r -

i n g 3 D m o d e l s f r o m u n c a l i b r a t e d i m a g e s o f a r -

c h i t e c t u r a l s c e n e s .

W e p r o p o s e a s i m p l e , g e o m e t r i c a l l y i n t u -

i t i v e m e t h o d w h i c h e x p l o i t s s t r o n g r i g i d i t y c o n -

s t r a i n t s s u c h a s p a r a l l e l i s m a n d o r t h o g o n a l -

i t y p r e s e n t i n i n d o o r a n d o u t d o o r a r c h i t e c t u r a l

s c e n e s . W e s h o w h o w t h e s e s i m p l e c o n s t r a i n t s

c a n b e u s e d t o c a l i b r a t e t h e c a m e r a s a n d t o r e -

c o v e r t h e 3 4 p r o j e c t i o n m a t r i c e s f o r e a c h v i e w -

p o i n t . T h e p r o j e c t i o n m a t r i c e s a r e u s e d t o r e -

c o v e r p a r t i a l 3 D m o d e l s o f t h e s c e n e a n d t h e s e

c a n b e u s e d t o v i s u a l i s e n e w v i e w p o i n t s .

O u r a p p r o a c h d o e s n o t n e e d a n y a p r i o r i i n -

f o r m a t i o n a b o u t t h e c a m e r a s b e i n g u s e d . A

w o r k i n g s y s t e m h a s b e e n d e s i g n e d a n d i m p l e -

m e n t e d t o a l l o w t h e u s e r t o i n t e r a c t i v e l y b u i l d

a 3 D m o d e l f r o m a p a i r o f u n c a l i b r a t e d i m a g e s

f r o m a r b i t r a r y v i e w p o i n t s .

1 I n t r o d u c t i o n

C o n s i d e r a b l e e o r t s h a v e b e e n m a d e t o r e c o v e r

p h o t o r e a l i s t i c m o d e l s o f t h e r e a l w o r l d . T h e

m o s t c o m m o n g e o m e t r i c a p p r o a c h i s t o a t t e m p t

t o r e c o v e r 3 D m o d e l s f r o m c a l i b r a t e d s t e r e o i m -

a g e s 1 6 ] o r u n c a l i b r a t e d e x t e n d e d i m a g e s e -

q u e n c e s 2 1 , 1 , 1 7 ] b y t r i a n g u l a t i o n a n d e x p l o i t -

i n g e p i p o l a r 1 5 ] a n d t r i l i n e a r c o n s t r a i n t s 1 0 ,

2 0 ] . A n a l t e r n a t i v e a p p r o a c h c o n s i s t s o f v i s u a l i -

s a t i o n f r o m i m a g e - b a s e d r e p r e s e n t a t i o n s o f a 3 D

s c e n e . T h i s i s t h e p r e f e r r e d m e t h o d w h e n t r y -

i n g t o g e n e r a t e a n i n t e r m e d i a t e v i e w p o i n t i m -

a g e g i v e n t w o n e a r b y v i e w p o i n t s s i n c e i t d o e s

n o t n e e d t o m a k e e x p l i c i t a 3 D m o d e l o f t h e

s c e n e 2 2 , 1 9 , 7 , 1 2 , 6 ] .

F a c a d e 4 ] { o n e o f t h e m o s t s u c c e s s f u l s y s -

t e m s f o r m o d e l l i n g a n d r e n d e r i n g a r c h i t e c t u r a l

b u i l d i n g s f r o m p h o t o g r a p h s { c o n s i s t s o f a h y -

b r i d g e o m e t r i c a n d i m a g e - b a s e d a p p r o a c h . U n -

f o r t u n a t e l y i t i n v o l v e s c o n s i d e r a b l e t i m e a n d e f -

f o r t f r o m t h e u s e r i n d e c o m p o s i n g t h e s c e n e i n t o

p r i s m a t i c b l o c k s , f o l l o w e d b y t h e e s t i m a t i o n o f

t h e p o s e o f t h e s e p r i m i t i v e s .

I n t h i s p a p e r w e p r o p o s e a m u c h s i m p l e r a p -

p r o a c h t o c o n s t r u c t a 3 D m o d e l a n d g e n e r a t e

n e w v i e w p o i n t i m a g e s b y e x p l o i t i n g s t r o n g c o n -

s t r a i n t s p r e s e n t i n t h e s c e n e s t o b e m o d e l l e d . I n

t h e c o n t e x t o f a r c h i t e c t u r a l e n v i r o n m e n t s , t h e

c o n s t r a i n t s w h i c h c a n b e u s e d a r e p a r a l l e l i s m

a n d o r t h o g o n a l i t y . T h e s e c o n s t r a i n t s l e a d t o

v e r y s i m p l e a n d g e o m e t r i c a l l y i n t u i t i v e m e t h -

o d s t o c a l i b r a t e t h e c a m e r a s a n d t o r e c o v e r E u -

c l i d e a n m o d e l s o f t h e s c e n e f r o m o n l y t w o i m a g e s

f r o m a r b i t r a r y p o s i t i o n s .

2 O u t l i n e o f t h e a l g o r i t h m

A 3 D m o d e l c a n b e r e c o v e r e d f r o m t w o o r m o r e

u n c a l i b r a t e d i m a g e s . O u r a l g o r i t h m c o n s i s t s o f

t h e f o u r f o l l o w i n g s t a g e s ( s e e g u r e 1 ) .

1 . W e r s t d e n e a s e t o f p r i m i t i v e s { s e g m e n t s

a n d c u b o i d s { f o r w h i c h p a r a l l e l i s m a n d o r -

t h o g o n a l i t y c o n s t r a i n t s a r e d e r i v e d . T h e s e

p r i m i t i v e s a r e p r e c i s e l y l o c a l i s e d i n t h e i m -

a g e u s i n g t h e i m a g e g r a d i e n t i n f o r m a t i o n .

2 . T h e n e x t s t e p c o n c e r n s t h e c a m e r a c a l i b r a -

t i o n : t h e i n t r i n s i c p a r a m e t e r s o f t h e c a m -

e r a a r e d e t e r m i n e d f o r e a c h i m a g e . T h i s i s

d o n e b y d e t e r m i n i n g t h e v a n i s h i n g p o i n t s

a s s o c i a t e d w i t h p a r a l l e l l i n e s i n t h e w o r l d .

T h r e e m u t u a l l y o r t h o g o n a l d i r e c t i o n s a r e

e x p l o i t e d 2 ] .

3 . T h e m o t i o n ( a r o t a t i o n a n d a t r a n s l a t i o n )

b e t w e e n t h e v i e w p o i n t s i s t h e n c o m p u t e d .

T h e m o t i o n c o m b i n e d w i t h t h e k n o w l e d g e

o f t h e c a m e r a p a r a m e t e r s a l l o w s t h e r e c o v -

e r y o f t h e p e r s p e c t i v e p r o j e c t i o n m a t r i c e s

f o r e a c h v i e w p o i n t .

4 . T h e l a s t s t e p c o n s i s t s i n u s i n g t h e s e p r o j e c -

t i o n m a t r i c e s t o n d m o r e c o r r e s p o n d e n c e s

b e t w e e n t h e i m a g e s a n d t h e n t o c o m p u t e 3 D

t e x t u r e d t r i a n g l e s t h a t r e p r e s e n t a m o d e l o f

t h e s c e n e .

1


2/10

3. Finding vanishing points and camera calibration

1. Original uncalibrated photographs

4. Computation of projection matrices and camera motion

2. Primitive definition and localisation

R + T

5. Triangulation, 3D reconstruction and texture mapping

F i g u r e 1 : O u t l i n e o f t h e a l g o r i t h m .

2


3/10

3 G e o m e t r i c F r a m e w o r k

F o r a p i n - h o l e c a m e r a , p e r s p e c t i v e p r o j e c t i o n

f r o m E u c l i d e a n 3 - s p a c e t o a n i m a g e c a n b e c o n -

v e n i e n t l y r e p r e s e n t e d i n h o m o g e n e o u s c o o r d i -

n a t e s b y a 3 4 c a m e r a p r o j e c t i o n m a t r i x , P :

2

4

u

i

v

i

w

i

3

5

=

2

4

p

1 1

p

1 2

p

1 3

p

1 4

p

2 1

p

2 2

p

2 3

p

2 4

p

3 1

p

3 2

p

3 3

p

3 4

3

5

2

6

6

4

X

i

Y

i

Z

i

1

3

7

7

5

( 1 )

T h e p r o j e c t i o n m a t r i x h a s 1 1 d e g r e e s o f f r e e d o m

a n d c a n b e d e c o m p o s e d i n t o t h e o r i e n t a t i o n a n d

p o s i t i o n o f t h e c a m e r a r e l a t i v e t o a t h e w o r l d

c o - o r d i n a t e s y s t e m ( a 3 3 r o t a t i o n m a t r i x R

a n d a 3 1 t r a n s l a t i o n v e c t o r T :

P = C

R T

( 2 )

a n d a 3 3 c a m e r a c a l i b r a t i o n m a t r i x , C , c o r -

r e s p o n d i n g t o t h e f o l l o w i n g t r a n s f o r m a t i o n :

C =

2

4

u

s u

0

0

v

v

0

0 0 1

3

5

; ( 3 )

w h e r e

u

,

v

a r e s c a l e f a c t o r s ; s i s a s k e w p a -

r a m e t e r ; a n d u

0

, v

0

a r e t h e p i x e l c o o r d i n a t e s o f

t h e p r i n c i p a l p o i n t ( t h e i n t e r s e c t i o n o f t h e o p t i -

c a l a x i s w i t h t h e i m a g e p l a n e 5 ] ) .

I n g e n e r a l , t h e p a r a m e t e r s o f t h e p r o j e c t i o n

m a t r i x c a n b e c o m p u t e d f r o m t h e m e a s u r e d i m -

a g e p o s i t i o n s o f a t l e a s t s i x k n o w n p o i n t s i n t h e

w o r l d . T h i s m a t r i x c a n t h e n b e d e c o m p o s e d b y

Q R d e c o m p o s i t i o n i n t o c a m e r a a n d r o t a t i o n m a -

t r i c e s 5 ] .

I n o u r a p p r o a c h t h e v a n i s h i n g p o i n t s c o r r e -

s p o n d i n g t o t h r e e m u t u a l l y o r t h o g o n a l d i r e c -

t i o n s c a n b e u s e d t o d e t e r m i n e :

1 . t h e c a m e r a c a l i b r a t i o n m a t r i x , C u n d e r t h e

a s s u m p t i o n o f z e r o s k e w a n d k n o w n a s p e c t

r a t i o 2 ] .

2 . t h e r o t a t i o n m a t r i x R .

3 . t h e d i r e c t i o n o f t r a n s l a t i o n , T .

W e s h o w t h a t t h e 8 d e g r e e s o f f r e e d o m o f t h e

p r o j e c t i o n m a t r i x f o r t h i s s p e c i a l c a s e c a n b e

d e t e r m i n e d f r o m t h r e e v a n i s h i n g p o i n t s c o r r e -

s p o n d i n g t o t h e p r o j e c t i o n s o f 3 p o i n t s a t i n n i t y

a n d a r e f e r e n c e p o i n t . T h e p r o j e c t i o n m a t r i x c a n

t h u s b e r e c o v e r e d f r o m t h e p r o j e c t i o n o f a t l e a s t

o n e a r b i t r a r y c u b o i d . A p p l y i n g t h e a l g o r i t h m t o

t w o v i e w s a l l o w s t h e E u c l i d e a n r e c o n s t r u c t i o n o f

a l l v i s i b l e p o i n t s u p t o a n a r b i t r a r y s c a l e .

vanishing point

vanishing point

vanishing point

cuboid

image viewpoint

F i g u r e 2 : A c u b o i d a n d i t s p r o j e c t i o n w h i c h i s

d e n e d b y v e i m a g e p o i n t s a n d a n i m a g e d i -

r e c t i o n . T h e c u b o i d i m a g e e d g e s d e n e t h r e e

v a n i s h i n g p o i n t s i n t h e i m a g e p l a n e .

4 P r i m i t i v e s

T h e r s t s t e p o f t h e m e t h o d c o n s i s t s i n d e n -

i n g i m a g e s e g m e n t s a n d c u b o i d s b y m e a n s o f

w h i c h t h e p a r a l l e l i s m a n d o r t h o g o n a l i t y c o n -

s t r a i n t s c a n b e d e r i v e d . T h e s e c o n s t r a i n t s a r e

t h e n u s e d t o r e c o v e r t h e i n t r i n s i c a n d e x t r i n -

s i c c a m e r a s p a r a m e t e r s a n d h e n c e t h e p r o j e c t i o n

m a t r i c e s f o r e a c h v i e w .

F i r s t , i n t e r e s t p o i n t s a r e e x t r a c t e d i n t h e r e f -

e r e n c e v i e w s . T h i s c a n b e d o n e b y m e a n s o f

a H a r r i s c o r n e r d e t e c t o r 8 ] a n d a l s o i n t e r a c -

t i v e l y b y h a n d s i n c e r e s u l t s f r o m a c o r n e r d e -

t e c t o r m a y n o t b e s u c i e n t ( s e e g u r e 3 ) . S u c h

p o i n t s a r e t h e n u s e d t o d e n e t h e i m a g e p r o j e c -

t i o n s o f p r i m i t i v e s : s e g m e n t s a n d c u b o i d s , w h i c h

a r e p r e s e n t i n t h e o b s e r v e d s c e n e .

T h e d e n i t i o n o f a s e g m e n t p r o j e c t i o n i n a n

i m a g e i s s t r a i g h t f o r w a r d a n d r e q u i r e s t w o i m -

a g e p o i n t s . T h e i m a g e o f a c u b o i d i s c o m p l e t e l y

s p e c i e d b y s i x o r m o r e v e r t i c e s . T h e i n t e r -

e s t p o i n t s , e x t r a c t e d c o r n e r s a n d u s e r d e n e d

c o r n e r s w h i c h a r e u s e d t o d e n e s e g m e n t s a n d

c u b o i d s , a r e n o t n e c e s s a r i l y w e l l l o c a l i s e d i n t h e

i m a g e p l a n e . A n o p t i m i s a t i o n i s t h e r e f o r e p e r -

f o r m e d t o i m p r o v e t h e i r l o c a l i s a t i o n s . T h i s o p -

t i m i s a t i o n t a k e s i n t o a c c o u n t i m a g e g r a d i e n t i n -

f o r m a t i o n a n d m o d i e s i m a g e p o i n t c o o r d i n a t e s

i n o r d e r t o p o s i t i o n p r i m i t i v e e d g e s a l o n g i m a g e

e d g e s .

5 F i n d i n g V a n i s h i n g P o i n t s

O n c e a n i n i t i a l s e t o f p r i m i t i v e s h a s b e e n d e -

n e d , p a r a l l e l i s m a n d o r t h o g o n a l i t y c o n s t r a i n t s

a r e u s e d t h r o u g h t h e v a n i s h i n g p o i n t s t o c o n -

s t r a i n t h e i n t r i n s i c p a r a m e t e r s .

3


4/10

F i g u r e 3 : E x a m p l e o f p r i m i t i v e d e n i t i o n s a n d

l o c a l i s a t i o n s . T w o c u b o i d s a n d o n e s e g m e n t

h a v e b e e n i n t e r a c t i v e l y d e n e d u s i n g e x t r a c t e d

c o r n e r s .

A v a n i s h i n g p o i n t c o r r e s p o n d s t o t h e p r o j e c -

t i o n o f t h e i n t e r s e c t i o n o f p a r a l l e l l i n e s a t i n -

n i t y . A n u m b e r o f a p p r o a c h e s h a v e b e e n p r o -

p o s e d t o l o c a l i s e p r e c i s e l y t h i s i n t e r s e c t i o n , f r o m

t h e s i m p l e c a l c u l a t i o n o f a w e i g h t e d m e a n o f

p a i r w i s e i n t e r s e c t i o n s 2 ] t o m o r e e l a b o r a t e a p -

p r o a c h e s i n v o l v i n g n o i s e a s s u m p t i o n a n d n o n -

l i n e a r c r i t e r i a 1 4 ] ( s e e a l s o 1 1 ] f o r l i n e i n t e r s e c -

t i o n e s t i m a t i o n ) . H o w e v e r , a l l t h e s e a p p r o a c h e s

a r e b a s e d o n c r i t e r i a w h i c h t a k e i n t o a c c o u n t

i m a g e d i s t a n c e s . T h o u g h t r y i n g t o m i n i m i s e t h e

d i s t a n c e f r o m t h e v a n i s h i n g p o i n t t o t h e i m a g e

l i n e s i s g e o m e t r i c a l l y c o r r e c t , i t a p p e a r s t o b e

n u m e r i c a l l y u n s t a b l e i n t h e p r e s e n c e o f n o i s e . I n

c o n t r a s t , o u r a p p r o a c h i s b a s e d o n a l i n e a r c r i t e -

r i o n w h i c h o p t i m i s e s a t h r e e d i m e n s i o n a l d i r e c -

t i o n , t h e d u a l o f a v a n i s h i n g p o i n t i n 3 D s p a c e .

L e t l

1

; : : ; l

n

b e a s e t o f i m a g e l i n e s c o r r e s p o n d -

i n g t o p a r a l l e l s p a c e l i n e s a n d l e t b e t h e v a n i s h -

i n g p o i n t d e n e d b y t h e s e l i n e s . T h e n i f w e s u p -

p o s e t h a t l

i

a n d a r e e x p r e s s e d i n h o m o g e n e o u s

f o r m i n t h e i m a g e c o o r d i n a t e s y s t e m ( u ; v ; w ) ,

w e h a v e t h e f o l l o w i n g r e l a t i o n :

l

1

; : : ; l

n

]

T

= 0 : ( 4 )

a n d t h e n u l l v e c t o r o f t h e 3 n m a t r i x l

1

; : : ; l

n

]

g i v e s a s o l u t i o n ^ f o r t h e v a n i s h i n g p o i n t

p o s i t i o n . H o w e v e r , t h e m i n i m i s e d c r i t e r i o n

d o e s n o t n e c e s s a r i l y h a v e a p h y s i c a l m e a n i n g .

B y c h o o s i n g a n a p p r o p r i a t e n o r m a l i s a t i o n f o r

( l

1

; : : ; l

n

) , t h e s o l u t i o n ^ c a n m i n i m i s e t h e s u m

o f t h e E u c l i d e a n d i s t a n c e s f r o m ^ t o l

1

; : : ; l

n

] .

A s s a i d b e f o r e , t h i s s o l u t i o n w i l l n o t b e c o m -

p l e t e l y s a t i s f a c t o r y i n t h e p r e s e n c e o f n o i s e d u e

t o p o o r c o n d i t i o n i n g o f t h e m a t r i x l

1

; : : ; l

n

] .

l

li

j

O

Li

V

u

v

j

V

V

Pi

Pj

L

x

y

z

F i g u r e 4 : V a n i s h i n g p o i n t d e t e r m i n a t i o n . T h e

i d e a i s t o n d t h e v i e w i n g d i r e c t i o n V o f t h e

v a n i s h i n g p o i n t . T h i s d i r e c t i o n s h o u l d b e l o n g

t o a l l t h e p l a n e s P

i

.

N o w s u p p o s e t h a t t h e i n t r i n s i c p a r a m e t e r s o f

t h e c a m e r a a r e k n o w n . T h e n i m a g e l i n e s a n d

p o i n t s c a n b e e x p r e s s e d u s i n g n o r m a l i s e d i m -

a g e c o o r d i n a t e s , t h a t i s t o s a y i n t h e c o o r d i n a t e

s y s t e m ( x ; y ) a s s o c i a t e d w i t h t h e c a m e r a r e t i n a l

p l a n e ( s e e g u r e 4 ) . L e t ( L

1

; : : ; L

n

) a n d V b e

t h e h o m o g e n e o u s r e p r e s e n t a t i o n s o f ( l

1

; : : ; l

n

) ,

i n t h e r e t i n a l p l a n e . S i n c e V b e l o n g s t o a l l t h e

i m a g e l i n e s , w e s t i l l h a v e t h e r e l a t i o n :

L

1

; : : ; L

n

]

T

V = 0 : ( 5 )

H o w e v e r , t h i s r e l a t i o n h a s a l s o a n i n t e r p r e t a t i o n

i n t h e t h r e e d i m e n s i o n a l c o o r d i n a t e s y s t e m

( x ; y ; z ) a s s o c i a t e d w i t h t h e c a m e r a ( s e e g u r e

4 ) . I n d e e d , L

i

i s a v e c t o r o r t h o g o n a l t o t h e

p l a n e P

i

s p a n n e d b y t h e c a m e r a p r o j e c t i o n

c e n t r e O a n d t h e i m a g e l i n e l

i

, a n d V i s a

t h r e e d i m e n s i o n a l v e c t o r . T h i s g i v e s a p h y s i c a l

m e a n i n g t o t h e n u l l v e c t o r

V o f L

1

; : : ; L

n

]

T

w h i c h i s t h e s p a c e d i r e c t i o n c l o s e s t t o a l l p l a n e s

4


5/10

( P

1

; : : ; P

n

) .

F i n a l l y , w e c o m p u t e t h e s p a c e d i r e c t i o n V a s

t h e n u l l v e c t o r o f t h e m a t r i x L

1

; : : ; L

n

]

T

, w h e r e

j L

i

j = 1 . T h i s i s d o n e u s i n g a s i n g u l a r v a l u e

d e c o m p o s i t i o n o f L

1

; : : ; L

n

]

T

1 8 ] . E x p e r i m e n t s

s h o w t h a t e s t i m a t i n g a s p a c e d i r e c t i o n i s m o r e

r o b u s t t o n o i s e p e r t u r b a t i o n s t h a n e s t i m a t i n g a n

i m a g e p o i n t . W e u s e t h i s m e t h o d i n t h e c a l i b r a -

t i o n r o u t i n e d e s c r i b e d i n t h e n e x t s e c t i o n .

I n t h e c a s e w h e r e t h e c a m e r a ' s i n t r i n s i c p a -

r a m e t e r s a r e n o t k n o w n , a n i n t e r m e d i a t e s o l u -

t i o n c o n s i s t s o f u s i n g ( 4 ) w i t h p r e n o r m a l i z e d i m -

a g e p o i n t c o o r d i n a t e s 9 ] i n o r d e r t o i m p r o v e t h e

c o n d i t i o n n u m b e r o f t h e m a t r i x l

1

; : : ; l

n

] .

6 C a m e r a C a l i b r a t i o n

H a v i n g f o u n d t h e v a n i s h i n g p o i n t s w e n o w s h o w

h o w t h e y a r e u s e d t o d e r i v e c o n s t r a i n t s o n t h e

i n t r i n s i c p a r a m e t e r s a n d t h e l a t t e r e s t i m a t e d i n

p r a c t i c e .

6 . 1 C o n s t r a i n t s

A s e t o f p a r a l l e l l i n e p r o j e c t i o n s d e n e a v a n -

i s h i n g p o i n t i n t h e i m a g e p l a n e w h i c h i s t h e

p r o j e c t i o n o f t h e i n t e r s e c t i o n p a r a l l e l l i n e s a t i n -

n i t y . L e t V b e t h e s p a c e d i r e c t i o n o f t h e s e p a r -

a l l e l l i n e s ( a u n i t v e c t o r ) . T h e v a n i s h i n g p o i n t

d e p e n d s o n l y o n t h e d i r e c t i o n o f t h e l i n e i n

s p a c e a n d n o t i t s p o s i t i o n . T h e r e l a t i o n s h i p b e -

t w e e n v a n i s h i n g p o i n t i n h o m o g e n e o u s c o o r d i -

n a t e s , a n d t h e c o r r e s p o n d i n g s p a c e d i r e c t i o n i n

t h e c a m e r a c o o r d i n a t e s y s t e m i s g i v e n b y :

= C V ( 6 )

N o w s u p p o s e t h a t w e h a v e d i e r e n t v a n i s h -

i n g p o i n t s

i

;

j

c o r r e s p o n d i n g t o d i s t i n c t s p a c e

d i r e c t i o n s V

i

; V

j

s e p a r a t e d b y a k n o w n a n g l e .

T h e n :

V

T

i

V

j

= c o s

a n d f r o m ( 6 ) :

T

i

C

? T

j

T

i

C

? T

j

C

? 1

j

j C

? 1

j

j

= c o s ( 7 )

w h i c h p r o v i d e s a c o n s t r a i n t o n t h e m a t r i x

C

? T

C

? 1

a n d t h u s o n t h e i n t r i n s i c p a r a m e t e r s .

A p a r t i c u l a r l y i n t e r e s t i n g c a s e i s w h e n t h e s p a c e

d i r e c t i o n s a r e o r t h o g o n a l 2 3 ] . T h e n :

T

i

C

? T

C

? 1

j

= 0 ( 8 )

w h i c h g i v e s a l i n e a r c o n s t r a i n t o n t h e p a r a m e t e r s

o f C

? T

C

? 1

. I t i s e a s y t o s h o w b o t h a l g e b r a i c a l l y

a n d g e o m e t r i c a l l y t h a t t h e f o l l o w i n g d e g e n e r a t e

c a s e s e x i s t :

1 . i f b o t h d i r e c t i o n s V

i

, V

j

a r e p a r a l l e l t o t h e

i m a g e p l a n e t h e n t h e i r p r o j e c t i o n s g i v e i n -

f o r m a t i o n o n t h e a n g l e b e t w e e n i m a g e

p l a n e a x e s u a n d v o n l y

1

.

2 . i f o n e o f t h e d i r e c t i o n s V

i

, V

j

i s o r t h o g o n a l

t o t h e i m a g e p l a n e , t h e n t h e i r p r o j e c t i o n s

d e t e r m i n u

0

a n d v

0

b u t d o n o t c o n s t r a i n

t h e o t h e r p a r a m e t e r s .

T h e f a c e s o f a c u b o i d d e n e t h r e e o r t h o g o -

n a l s p a c e d i r e c t i o n s , t h u s i t s p r o j e c t i o n l e a d s t o

t h r e e c o n s t r a i n t s o n t h e i n t r i n s i c p a r a m e t e r s a l -

l o w i n g t h e c o m p u t a t i o n o f t h r e e o f t h e m . A s

n o t i c e d b e f o r e , d e g e n e r a t e c a s e s e x i s t . I n p a r -

t i c u l a r , i n f o r m a t i o n o n t h e p a r a m e t e r s

u

a n d

v

c a n n o t b e d e r i v e d f r o m a c u b o i d w h i c h h a s

a f a c e p a r a l l e l t o t h e i m a g e p l a n c e a s s h o w n i n

g u r e 5 .

O

F i g u r e 5 : T h e d e g e n e r a t e c a s e w h e n t h e c u b o i d ' s

p r o j e c t i o n d o e s n o t p r o v i d e a n y c o n s t r a i n t o n

t h e i n t r i n s i c p a r a m e t e r s

u

a n d

v

. O n e o f t h e

c u b o i d d i r e c t i o n s i s p e r p e n d i c u l a r t o t h e i m a g e

p l a n e .

6 . 2 R e c o v e r i n g i n t r i n s i c p a r a m e -

t e r s

N o w s u p p o s e t h a t t h e s k e w p a r a m e t e r s i s z e r o ,

t h e n , f o r t w o v a n i s h i n g p o i n t s

i

,

j

a s s o c i a t e d

w i t h t w o o r t h o g o n a l s p a c e d i r e c t i o n s , ( 8 ) b e -

1

i s l i n k e d t o t h e s k e w p a r a m e t e r b y t h e r e l a t i o n

s = ? c o t =

v

5 ]

5


6/10

c o m e s :

T

i

2

6

6

6

4

1

2

u

0 ?

u

0

u

2

0

1

v

2

?

v

0

2

v

?

u

0

u

2

?

v

0

v

2

u

0

2

u

2

+

v

0

2

v

2

+ 1

3

7

7

7

5

j

= 0

( 9 )

a n d i f ( u

i

; v

i

; w

i

) a r e t h e h o m o g e n e o u s i m a g e c o -

o r d i n a t e s o f

i

t h e n :

( u

i

? w

i

u

0

) ( u

j

? w

j

u

0

)

2

u

+

( v

i

? w

i

v

0

) ( v

j

? w

j

v

0

)

2

v

+

w

i

w

j

= 0 : ( 1 0 )

T h e e x p r e s s i o n a b o v e i s l i n e a r i n

1

2

u

,

1

2

v

a n d

t h e r e f o r e l e a d s t o l i n e a r e s t i m a t i o n o f t h e s e p a -

r a m e t e r s i f ( u

0

; v

0

) a r e k n o w n . D e g e n e r a t e c a s e s

a p p e a r s w h e n s p a c e d i r e c t i o n s a s s o c i a t e d w i t h

v a n i s h i n g p o i n t s b e l o n g t o t h e i m a g e p l a n e .

A c u b o i d d e n e s t h r e e o r t h o g o n a l d i r e c t i o n s ,

t h u s i t s p r o j e c t i o n a l l o w s , i n g e n e r a l , t h e c o m -

p u t a t i o n o f t h r e e o f t h e i n t r i n s i c p a r a m e t e r s . I n

o u r c u r r e n t i m p l e m e n t a t i o n , w e d e t e r m i n e t h e

s c a l e p a r a m e t e r s f r o m o r t h o g o n a l d i r e c t i o n s u s -

i n g t h i s m e t h o d a n d u n d e r t h e a s s u m p t i o n t h a t

t h e p r i n c i p a l p o i n t , i s k n o w n ( a s s u m e d t o b e i n

t h e i m a g e c e n t r e ) . T h e v a n i s h i n g p o i n t s c a n , o f

c o u r s e , b e u s e d t o n d t h e p r i n c i p a l p o i n t 2 ]

b u t t h e f o l l o w i n g m e t h o d w a s f o u n d t o b e m o r e

r e l i a b l e .

A l g o r i t h m

T h e g l o b a l p r o c e d u r e t o e v a l u a t e t h e s c a l e p a -

r a m e t e r s i s a s f o l l o w s :

1 . E x t r a c t l i n e s f l

i

g o f i m a g e p r i m i t i v e s

( c u b o i d a n d s e g m e n t p r o j e c t i o n s ) .

2 . S e t ( u

0

; v

0

) t o t h e i m a g e c e n t r e c o o r d i n a t e s .

S e t (

u

;

v

) i n i t i a l l y t o ( 1 ; 1 ) .

3 . E s t i m a t e t h e p o s i t i o n s o f v a n i s h i n g p o i n t s

u s i n g i n t r i n s i c p a r a m e t e r s a n d f l

i

g a s e x -

p l a i n e d i n s e c t i o n 5 .

4 . E s t i m a t e s c a l e p a r a m e t e r s (

u

;

v

) u s i n g

( 1 0 ) .

5 . I t e r a t e s t e p s 3 a n d 4 u n t i l t h e e s t i m a t e d

v a l u e s f o r t h e s c a l e p a r a m e t e r s c o n v e r g e .

0 10 20 30 40 50 60 70 80 900

0.02

0.04

0.06

0.08

0.1

0.12

0.14

Relativeerror

u

v

distance error in principal point (pixels)

F i g u r e 6 : T h e 5 1 2 5 1 2 t e s t i m a g e a n d t h e g r a p h

o f t h e r e l a t i v e e r r o r i n t h e e s t i m a t i o n o f

u

a n d

v

a s a f u n c t i o n o f t h e e r r o r i n t h e p r i n c i p a l

p o i n t p o s i t i o n .

E v a l u a t i o n

W e h a v e t e s t e d t h i s a l g o r i t h m o n s y n t h e t i c d a t a

i n o r d e r t o e v a l u a t e t h e s e n s i t i v i t y o f t h e e s t i -

m a t e d p a r a m e t e r s t o e r r o r s i n t h e a s s u m e d p o -

s i t i o n o f t h e p r i n c i p a l p o i n t ( u

0

; v

0

) . F i g u r e 6

s h o w s a n e x a m p l e t e s t i m a g e . D i e r e n t i m a g e s

w e r e g e n e r a t e d w i t h p r i n c i p a l p o i n t s a t d i e r -

e n t d i s t a n c e s f r o m t h e a s s u m e d i m a g e c e n t r e

( 2 5 6 ; 2 5 6 ) . T h e g r a p h o f g u r e 6 s h o w s r e l a t i v e

e r r o r s o n t h e e s t i m a t i o n o f

u

a n d

v

. T h e m a x -

i m u m r e l a t i v e e r r o r i s o f 1 2 : 5 % w h e n t h e p r i n -

c i p a l p o i n t i s 8 5 p i x e l s f r o m t h e i m a g e c e n t r e .

L a r g e e r r o r s i n t h e p r i n c i p a l p o i n t c a n t h e r e f o r e

b e t o l e r a t e d . N o t e a l s o t h e d i e r e n c e b e t w e e n

r e l a t i v e e r r o r s o n

u

a n d

v

. T h i s i s d u e t o

t h e f a c t t h a t t h e o v e r a l l e r r o r o n t h e s e p a r a m e -

t e r s i s d i v i d e d a c c o r d i n g t o t h e r e l a t i v e p r o x i m -

i t y o f v a n i s h i n g p o i n t s t o o n e o r t h e o t h e r i m a g e

a x e s ( i . e . a c c o r d i n g t o t h e o r i e n t a t i o n o f t h e

c u b o i d ' s s p a c e d i r e c t i o n s i n t h e c a m e r a c o o r d i -

6


7/10

n a t e f r a m e ) .

7 P r o j e c t i o n M a t r i c e s

I n t h e p r e v i o u s s e c t i o n s w e h a v e e x p l a i n e d h o w

t o e s t i m a t e i n t r i n s i c p a r a m e t e r s u s i n g t h e v a n -

i s h i n g p o i n t s . O n c e t h e i n t r i n s i c p a r a m e t e r s a r e

k n o w n , i t i s p o s s i b l e t o e s t i m a t e t h e r e l a t i v e p o -

s i t i o n a n d o r i e n t a t i o n o f t h e c a m e r a s , t h a t i s t h e

r i g i d m o t i o n b e t w e e n v i e w s . T h i s i s u s e d t o c o m -

p u t e c o n s i s t e n t p r o j e c t i o n m a t r i c e s f o r a l l v i e w s .

T w o d i e r e n t a p p r o a c h e s c a n b e u s e d . T h e

c o n v e n t i o n a l a p p r o a c h i s t o u s e m a n y p a i r s o f

m a t c h e d p o i n t s t o e s t i m a t e a f u n d a m e n t a l m a -

t r i x a n d t h e n t o d e c o m p o s e t h i s m a t r i x i n t o a r o -

t a t i o n a n d t r a n s l a t i o n o n c e t h e i n t r i n s i c p a r a m -

e t e r s a r e k n o w n 1 5 , 9 ] . N o t e t h a t t h i s m e t h o d

c a n n o t b e u s e d i f t h e p o i n t s l i e o n a c u b e { a

c r i t i c a l s u r f a c e 1 5 ] .

A n a l t e r n a t i v e m e t h o d p r e s e n t e d b e l o w i s t o

u s e t h e v a n i s h i n g p o i n t s d i r e c t l y t o e s t i m a t e t h e

r o t a t i o n ( s i n c e t h e s e a r e i n d e p e n d e n t o f c a m e r a

t r a n s l a t i o n ) a n d t h e n t h e t r a n s l a t i o n f r o m p a i r s

o f c o r r e s p o n d i n g p o i n t s u s i n g t h e e p i p o l a r c o n -

s t r a i n t .

R o t a t i o n

L e t

1

a n d

2

b e t w o v a n i s h i n g p o i n t s i n i m a g e

1 a n d 2 r e s p e c t i v e l y , c o r r e s p o n d i n g t o t h e s a m e

s p a c e d i r e c t i o n . L e t V

1

= C

? 1

1

1

= k C

? 1

1

1

k a n d

V

2

= C

? 1

2

2

= k C

? 1

2

2

k b e t h e 3 D u n i t v e c t o r s

r e p r e s e n t i n g t h i s s p a c e d i r e c t i o n i n t h e c a m e r a

c o o r d i n a t e f r a m e s 1 a n d 2 r e s p e c t i v e l y . S i n c e

v a n i s h i n g p o i n t s c o r r e s p o n d t o a s p a c e d i r e c -

t i o n , t h e y d o n o t c h a n g e t h e i r c o o r d i n a t e s u n d e r

v i e w e r t r a n s l a t i o n 2 ] b u t o n l y b y r o t a t i o n o f t h e

v i e w p o i n t . F r o m t h i s o b s e r v a t i o n , w e d e r i v e :

V

2

= R V

1

a n d f o r n v a n i s h i n g p o i n t s :

( V

1

2

; : : ; V

n

2

) = R ( V

1

1

; : : ; V

n

1

) :

T h e r o t a t i o n m a t r i x c a n b e e s t i m a t e d f r o m a t

l e a s t t h r e e v a n i s h i n g p o i n t s i n b o t h i m a g e s b y

S V D d e c o m p o s i t i o n 1 1 ] .

T r a n s l a t i o n

L e t ( x

1

; x

2

) b e t h e p r o j e c t i o n s o f a s p a c e p o i n t

X i n t h e t w o i m a g e s . B y t h e e p i p o l a r c o n s t r a i n t s

t h e v e c t o r s R C

? 1

1

x

1

, C

? 1

2

x

2

a n d t h e d i r e c t i o n o f

t r a n s l a t i o n b e t w e e n t h e t w o v i e w s , T , a r e c o p l a -

n a r . T h u s :

( R C

? 1

1

x

1

) ( C

? 1

2

x

2

) ] T = 0 ;

w h i c h g i v e s a l i n e a r c o n s t r a i n t o n t h e t r a n s l a t i o n

p a r a m e t e r s . L e t

i

b e t h e u n i t v e c t o r o r t h o g o n a l

t o t h e e p i p o l a r p l a n e a s s o c i a t e d w i t h m a t c h e d

p o i n t ( x

i

1

; x

i

2

) :

i

=

( R C

? 1

1

x

i

1

) ( C

? 1

2

x

i

2

)

k ( R C

? 1

1

x

i

1

) ( C

? 1

2

x

i

2

) k

a n d l e t ? b e t h e m a t r i x d e n e d b y :

? = (

1

; : : ;

n

)

T

f o r n p a i r s o f m a t c h e d p o i n t s . T h e e i g e n v e c t o r

o f t h e m a t r i x ? ?

T

c o r r e s p o n d i n g t o t h e s m a l l e s t

e i g e n v a l u e g i v e s a s o l u t i o n f o r t h e d i r e c t i o n o f

t r a n s l a t i o n { t h e d i r e c t i o n w h i c h i s c l o s e s t t o

a l l t h e e p i p o l a r p l a n e i n t h e l e a s t - s q u a r e s s e n s e .

T h e t r a n s l a t i o n i s e s t i m a t e d u p t o a s c a l a r a n d

t h e a m b i g u i t y o n i t s s i g n i s r e s o l v e d d u r i n g t h e

r e c o n s t r u c t i o n s t a g e .

8 3 D r e c o n s t r u c t i o n

F r o m t h e p r e v i o u s s t e p , w e h a v e c o m p u t e d m o -

t i o n s b e t w e e n t h e d i e r e n t v i e w s , u p t o s c a l e f a c -

t o r s . T h e s e m o t i o n s c o m b i n e d w i t h t h e i n t r i n -

s i c p a r a m e t e r s a l l o w u s t o c o m p u t e p r o j e c t i o n

m a t r i c e s f o r t h e d i e r e n t v i e w s i n v o l v e d . F r o m

t h e s e p r o j e c t i o n m a t r i c e s , w e c a n d e t e r m i n e t h e

e p i p o l a r g e o m e t r y t o h e l p n d m o r e p o i n t c o r -

r e s p o n d e n c e s a n d t h e n t h e 3 D p o i n t p o s i t i o n s .

T h e s e p o i n t s a r e t h e n u s e d i n a s s o c i a t i o n w i t h

a n i m a g e p o i n t t r i a n g u l a t i o n t o o b t a i n 3 D s t r u c -

t u r e . T h i s s t r u c t u r e i s r e n d e r e d a f t e r w a r d s u s i n g

a t e x t u r e m a p p i n g p r o c e d u r e a n d t h e n a l m o d e l

i s s t o r e d i n s t a n d a r d V R M L f o r m a t . I n t h i s s e c -

t i o n , w e s u m m a r i s e t h e d i e r e n t s t e p s i n v o l v e t o

p r o d u c e s u c h a m o d e l .

8 . 1 R e c o n s t r u c t i o n

L e t P

1

a n d P

2

b e t h e p r o j e c t i o n m a t r i c e s f o r

v i e w 1 a n d 2 r e s p e c t i v e l y . I f w e n o w t a k e t h e

c o o r d i n a t e s y s t e m o f t h e r s t c a m e r a a s t h e 3 D

s p a c e c o o r d i n a t e s y s t e m t h e n :

P

1

= C

1

I 0

( 1 1 )

P

2

= C

2

R T

( 1 2 )

w h e r e R a n d T n o w r e p r e s e n t t h e r i g i d m o t i o n

b e t w e e n v i e w 1 t o v i e w 2 . T h e r e i s a n a m b i g u -

i t y i n t h e s i g n o f T . T o s o l v e t h i s a m b i g u i t y ,

3 D p o i n t s m u s t b e r e c o n s t r u c t e d a n d t h e s i g n

o f t h e t r a n s l a t i o n i s c h o s e n t o m a k e s u r e t h a t

t h e d e p t h s a r e n o t n e g a t i v e . T h e e s t i m a t i o n o f

7


8/10

t h e 3 D c o o r d i n a t e s o f a p o i n t X i s s t r a i g h t f o r -

w a r d a n d c a n b e o b t a i n e d b y t h e l e a s t - s q u a r e s

s o l u t i o n f r o m a t l e a s t t w o i m a g e p o i n t s .

S i n c e n o m e t r i c i n f o r m a t i o n a b o u t t h e s c e n e

a r e a v a i l a b l e , r e c o n s t r u c t i o n i s p e r f o r m e d u p t o

a s c a l e f a c t o r .

8 . 2 T r i a n g u l a t i o n a n d t e x t u r e

m a p p i n g

T h e p r o j e c t i o n m a t r i c e s a r e u s e d t o r e c o n s t r u c t

p o i n t s i n d i v i d u a l l y . N e w p r i m i t i v e s c a n b e

a d d e d t o t h e o r i g i n a l s e t o f p r i m i t i v e s , e i t h e r a u -

t o m a t i c a l l y 1 ] o r i n t e r a c t i v e l y . T o c o m p u t e a 3 D

s t r u c t u r e , i m a g e p o i n t s a r e t h e n t r i a n g u l a t e d i n

o n e v i e w . I n o r d e r t o p r e s e r v e t h e i n f o r m a t i o n

g i v e n b y p r i m i t i v e s s e g m e n t s , t h e t r i a n g u l a t i o n

p e r f o r m e d i s a c o n s t r a i n e d t r i a n g u l a t i o n . M o r e

p r e c i s e l y , i t i s a c o n s t r a i n e d D e l a u n a y t r i a n g u -

l a t i o n 5 ] w h i c h p r e s e r v e e d g e s . T h e 2 D t r i a n -

g u l a t i o n l e a d s t o t r i a n g u l a r 3 D s t r u c t u r e t h a t

r e p r e s e n t t h e s c e n e .

T o r e n d e r t h e r e c o n s t r u c t e d s t r u c t u r e , w e u s e

a t e x t u r e m a p p i n g a l g o r i t h m i n w h i c h a t e x t u r e

m a p i s c o n s t r u c t e d f o r e a c h t r i a n g u l a r p a t c h i n

t h e 3 D m o d e l . E a c h e l e m e n t i n t h e m a p i s o b -

t a i n e d b y p r o j e c t i n g t h e c o r r e s p o n d i n g t r i a n g l e

p o i n t o n t o t h e i m a g e p l a n e a n d b y d e t e r m i n i n g

t h e i n t e n s i t y v a l u e b y b i l i n e a r i n t e r p o l a t i o n .

9 E x p e r i m e n t a l r e s u l t s

E x p e r i m e n t s o n s y n t h e t i c a n d r e a l d a t a h a v e

b e e n c o n d u c t e d . F i g u r e s 7 { 9 s h o w s o m e p r e -

l i m i n a r y r e s u l t s f o r r e a l i m a g e s o f t h e D o w n i n g

C o l l e g e l i b r a r y i n t h e U n i v e r s i t y o f C a m b r i d g e .

T h e s e i m a g e s w e r e o b t a i n e d b y a n O l y m p u s d i g i -

t a l c a m e r a . T h e c a l i b r a t i o n f o r t h e s e i m a g e s w a s

p e r f o r m e d u s i n g t w o c u b o i d s . F i g u r e 8 s h o w s

t h e s e c u b o i d s a n d t h e c o r r e s p o n d i n g d i r e c t i o n s

w h i c h d e t e r m i n e t h e v a n i s h i n g p o i n t s . T h e g e -

o m e t r y w a s c o m p u t e d u s i n g t h e v a n i s h i n g p o i n t s

t h e 3 D c o - o r d i n a t e s w e r e t h e n r e c o v e r e d .

F i g u r e 9 s h o w s a n e x a m p l e o f t h e n a l t e x -

t u r e d m o d e l . T h i s m o d e l c o n s i s t s i n f t y t e x -

t u r e d t r i a n g l e s . N o t e t h a t t h e r e c o n s t r u c t e d

s t r u c t u r e i s v i s u a l l y c o n s i s t e n t w i t h t h e o r i g -

i n a l o n e e v e n i f p o i n t s a r e t r e a t e d i n d i v i d u -

a l l y : r e c o n s t r u c t e d s q u a r e s a r e s q u a r e s a n d r e -

c o n s t r u c t e d r i g h t a n g l e s a r e r i g h t a n g l e s . T h i s

s h o w s t h a t t h e c o m p u t e d g e o m e t r y i s c o r r e c t

w i t h r e s p e c t t o t h e i m p o s e d c o n s t r a i n t s . F u r -

t h e r m o r e , t h e r e a l i s m o f t h e 3 D m o d e l i s s t r o n g l y

d e p e n d e n t o n t h e f a c t t h e c o n s t r a i n t s o f p a r -

a l l e l i s m a n d o r t h o g o n a l i t y a r e a c t u a l l y v e r i e d .

T h e s e r e s u l t s a r e e x t r e m e l y p r o m i s i n g i n s c e n e

m o d e l l i n g a p p l i c a t i o n s .

1 0 C o n c l u s i o n s

T h e t e c h n i q u e s p r e s e n t e d h a v e b e e n s u c c e s s -

f u l l y u s e d t o i n t e r a c t i v e l y b u i l d m o d e l s o f a r c h i -

t e c t u r a l s c e n e s f r o m p a i r s o f u n c a l i b r a t e d p h o -

t o g r a p h s . T h e s i m p l e b u t p o w e r f u l c o n s t r a i n t s

o f p a r a l l e l i s m a n d o r t h o g o n a l i t y i n a r c h i t e c t u r a l

s c e n e s c a n b e u s e d t o r e c o v e r v e r y p r e c i s e p r o -

j e c t i o n m a t r i c e s w i t h o n l y a f e w p o i n t a n d l i n e

c o r r e s p o n d e n c e s .

W e p l a n t o u s e t h e s e i n i t i a l e s t i m a t e s o f t h e

p r o j e c t i o n m a t r i c e s ( a n d h e n c e t h e e p i p o l a r g e -

o m e t r y ) t o a u t o m a t i c a l l y m a t c h a d d i t i o n a l f e a -

t u r e s a n d t h e n t o o p t i m i s e t h e p a r a m e t e r s o f t h e

c a m e r a m o t i o n a n d 3 D s t r u c t u r e b y s t a n d a r d

r a y - b u n d l e a d j u s t m e n t . P r e l i m i n a r y r e s u l t s a r e

e x t r e m e l y p r o m i s i n g .

A c k n o w l e g m e n t s

W e a c k n o w l e d g e t h e n a n c i a l s u p p o r t o f O f -

c e W o r k s t a t i o n L i m i t e d ( E d i n b u r g h ) a n d P a n a -

s o n i c , J a p a n .

R e f e r e n c e s

1 ] P . B e a r d s l e y , P . T o r r a n d A . Z i s s e r m a n . 3 D

M o d e l A c q u i s i t i o n f r o m E x t e n d e d I m a g e

S e q u e n c e s . I n P r o c . 4 t h E u r o p e a n C o n f . o n

C o m p u t e r V i s i o n , C a m b r i d g e ( A p r i l 1 9 9 6 ) ;

L N C S 1 0 6 5 , v o l u m e I I , p a g e s 6 8 3 { 6 9 5 ,

S p r i n g e r { V e r l a g , 1 9 9 6 .

2 ] B . C a p r i l e a n d V . T o r r e . U s i n g V a n i s h i n g

P o i n t s f o r C a m e r a C a l i b r a t i o n . I n t e r n a -

t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 4 : 1 2 7 {

1 3 9 , 1 9 9 0 .

3 ] R . C i p o l l a . T h e V i s u a l M o t i o n o f C u r v e s

a n d S u r f a c e s . I n P h i l . T r a n s . R o y a l S o c i e t y ,

A 3 5 6 : 1 1 0 3 { 1 1 2 1 , 1 9 9 8 .

4 ] P . E . D e b e v e c , C . J . T a y l o r , a n d J . M a l i k .

M o d e l i n g a n d R e n d e r i n g A r c h i t e c t u r e f r o m

P h o t o g r a p h s : A H y b r i d G e o m e t r y - a n d

I m a g e - B a s e d A p p r o a c h . I n A C M C o m p u t e r

G r a p h i c s ( P r o c e e d i n g s S I G G R A P H ) , p a g e s

1 1 { 2 0 , 1 9 9 6 .

5 ] O . F a u g e r a s . T h r e e - D i m e n s i o n a l C o m p u t e r

V i s i o n : A G e o m e t r i c V i e w p o i n t . A r t i c i a l

I n t e l l i g e n c e . M I T P r e s s , C a m b r i d g e , 1 9 9 3 .

8


9/10

6 ] O . F a u g e r a s a n d S . L a v e a u . R e p r e s e n t i n g

T h r e e - D i m e n s i o n a l D a t a a s a C o l l e c t i o n o f

I m a g e s a n d F u n d a m e n t a l M a t r i c e s f o r I m -

a g e S y n t h e s i s . I n P r o c e e d i n g s o f t h e 1 2 t h

I n t e r n a t i o n a l C o n f e r e n c e o n P a t t e r n R e c o g -

n i t i o n , J e r u s a l e m ( I s r a e l ) , p a g e s 6 8 9 { 6 9 1 ,

1 9 9 4 .

7 ] S . J . G o r t l e r , R . G r z e s z c z u k , R . S z e l i s k i ,

a n d M . F . C o h e n . T h e L u m i g r a p h .

I n A C M C o m p u t e r G r a p h i c s ( P r o c e e d i n g s

S I G G R A P H ) , p a g e s 4 3 { 5 4 , 1 9 9 6 .

8 ] C . H a r r i s a n d M . S t e p h e n s . A c o m b i n e d

c o r n e r a n d e d g e . I n P r o c e e d i n g s 4 t h A l v e y

V i s i o n C o n f e r e n c e , p a g e s 1 4 7 { 1 5 1 , 1 9 8 8 .

9 ] R . I . H a r t l e y . I n D e f e n c e o f t h e 8 - p o i n t A l g o -

r i t h m . I n P r o c e e d i n g s o f 5 t h I n t e r n a t i o n a l

C o n f e r e n c e o n C o m p u t e r V i s i o n , B o s t o n

( U S A ) , p a g e s 1 0 6 4 { 1 0 7 0 , J a n u a r y 1 9 9 5 .

1 0 ] R . I . H a r t l e y . L i n e s a n d p o i n t s i n t h r e e v i e w s

a n d t h e t r i f o c a l t e n s o r . I n t e r n a t i o n a l J o u r -

n a l o f C o m p u t e r V i s i o n , 2 2 ( 2 ) : 1 2 5 { 1 4 0 ,

1 9 9 6 .

1 1 ] K . K a n a t a n i . S t a t i s t i c a l O p t i m i z a t i o n f o r

G e o m e t r i c C o m p u t a t i o n : T h e o r y a n d P r a c -

t i c e . L e c t u r e N o t e , G u n m a U n i v e r s i t y

( J a p a n ) 1 9 9 5 .

1 2 ] M . L e v o y a n d P . H a n r a h a n . L i g h t F i e l d

R e n d e r i n g . I n A C M C o m p u t e r G r a p h -

i c s ( P r o c e e d i n g s S I G G R A P H ) , p a g e s 3 1 { 4 2 ,

1 9 9 6 .

1 3 ] H . C . L o n g u e t - H i g g i n s . A c o m p u t e r p r o -

g r a m f o r r e c o n s t r u c t i n g a s c e n e f r o m t w o

p r o j e c t i o n s . N a t u r e , 2 9 3 : 1 3 3 { 1 3 5 , S e p t e m -

b e r 1 9 8 1 .

1 4 ] D . L i e b o w i t z a n d A . Z i s s e r m a n . M e t r i c R e c -

t i c a t i o n f o r P e r s p e c t i v e I m a g e s o f P l a n e s .

I n I E E E P r o c . C V P R 1 9 9 8 .

1 5 ] Q . T . L u o n g a n d O . F a u g e r a s . T h e F u n -

d a m e n t a l M a t r i x : T h e o r y , A l g o r i t h m s a n d

S t a b i l i t y A n a l y s i s . I n t e r n a t i o n a l J o u r n a l o f

C o m p u t e r V i s i o n , 1 7 ( 1 ) : 4 3 { 7 5 , 1 9 9 6 .

1 6 ] P . J . N a r a y a n a n , P . W . R a n d e r , a n d

T . K a n a d e . C o n s t r u c t i n g V i r t u a l W o r l d s

U s i n g D e n s e S t e r e o . I n P r o c . o f S i x t h I E E E

I n t l . C o n f . o n C o m p u t e r V i s i o n , B o m b a y

( I n d i a ) , p a g e s 3 { 1 0 , J a n u a r y 1 9 9 8 .

1 7 ] M . P o l l e f e y s , R . K o c h a n d L . V a n G o o l .

S e l f - c a l i b r a t i o n a n d m e t r i c r e c o n s t r u c t i o n

i n s p i t e o f v a r y i n g a n d u n k n o w n i n t e r n a l

c a m e r a p a r a m e t e r s . I n P r o c . o f S i x t h I E E E

I n t l . C o n f . o n C o m p u t e r V i s i o n , B o m b a y

( I n d i a ) , p a g e s 9 0 { 9 5 , J a n u a r y 1 9 9 8 .

1 8 ] W . H . P r e s s , B . P . F l a n n e r y , S . A . T e u k o l s k y ,

a n d W . T . V e t t e r l i n g . N u m e r i c a l R e c i p e s i n

C , T h e A r t o f S c i e n t i c C o m p u t i n g , S e c o n d

E d i t i o n . C a m b r i d g e U n i v e r s i t y P r e s s , 1 9 9 2 .

1 9 ] S . M . S e i t z a n d C . R . D y e r . T o w a r d I m a g e -

B a s e d S c e n e R e p r e s e n t a t i o n U s i n g V i e w

M o r p h i n g . I n P r o c . o f I n t l . C o n f . o n P a t -

t e r n R e c o g n i t i o n , V i e n n a ( A u s t r i a ) , J a n -

u a r y 1 9 9 6 .

2 0 ] A . S h a s h u a . T r i l i n e a r i t y i n V i s u a l R e c o g n i -

t i o n b y A l i g n m e n t . I n P r o c e e d i n g s o f T h i r d

E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i s i o n ,

S t o c k h o l m , ( S w e d e n ) , p a g e s 4 7 9 { 4 8 4 , J a n -

u a r y 1 9 9 4 .

2 1 ] C . T o m a s i a n d T . K a n a d e . S h a p e a n d m o -

t i o n f r o m i m a g e s t r e a m s u n d e r o r t h o g r a -

p h y : a f a c t o r i z a t i o n m e t h o d . I n t e r n a t i o n a l

J o u r n a l o f C o m p u t e r V i s i o n , 9 ( 2 ) : 1 3 7 {

1 5 4 , 1 9 9 0 .

2 2 ] T . W e r n e r , R . D . H e r s h , a n d V . H l a v a c .

R e n d e r i n g R e a l - W o r l d O b j e c t s U s i n g V i e w

I n t e r p o l a t i o n . I n P r o c e e d i n g s o f 5 t h I n -

t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i -

s i o n , B o s t o n ( U S A ) , p a g e s 9 5 7 { 9 6 2 , J a n -

u a r y 1 9 9 5 .

2 3 ] A . Z i s s e r m a n , D . L i e b o w i t z a n d M . A r m -

s t r o n g . R e s o l v i n g a m b i g u i t i e s i n a u t o -

c a l i b r a t i o n . I n P h i l . T r a n s . R o y a l S o c i e t y ,

A 3 5 6 : 1 1 9 3 { 1 2 1 1 , 1 9 9 8 .

9


10/10

F i g u r e 7 : T h e o r i g i n a l i m a g e s f r o m u n c a l i b r a t e d c a m e r a s .

F i g u r e 8 : T h e t w o c u b o i d s u s e d f o r t h e c a l i b r a t i o n a n d t h e l i n e s u s e d t o e s t i m a t e t h e v a n i s h i n g

p o i n t s .

F i g u r e 9 : T h e 3 D t e x t u r e d m o d e l .

1 0

3d model acquisition from uncalibrated images

Documents