Download - Bases for infinite vector spaces
-
8/12/2019 Bases for infinite vector spaces
1/9
B A S E S F O R I N F I N I T E D I M E N S I O N A L V E C T O R S P A C E S
M A T H 5 1 3 L I N E A R A L G E B R A S U P P L E M E N T
P r o f e s s o r K a r e n E . S m i t h
W e h a v e p r o v e n t h a t e v e r y n i t e l y g e n e r a t e d v e c t o r s p a c e h a s a b a s i s . B u t
w h a t a b o u t v e c t o r s p a c e s t h a t a r e n o t n i t e l y g e n e r a t e d , s u c h a s t h e s p a c e o f a l l
c o n t i n u o u s r e a l v a l u e d f u n c t i o n s o n t h e i n t e r v a l 0 ; 1 ] ? D o e s s u c h a v e c t o r s p a c e
h a v e a b a s i s ?
B y d e n i t i o n , a b a s i s f o r a v e c t o r s p a c e V i s a l i n e a r l y i n d e p e n d e n t s e t w h i c h
g e n e r a t e s V . B u t w e m u s t b e c a r e f u l w h a t w e m e a n b y l i n e a r c o m b i n a t i o n s f r o m
a n i n n i t e s e t o f v e c t o r s . T h e d e n i t i o n o f a v e c t o r s p a c e g i v e s u s a r u l e f o r a d d i n g
t w o v e c t o r s , b u t n o t f o r a d d i n g t o g e t h e r i n n i t e l y m a n y v e c t o r s . B y s u c c e s s i v e
a d d i t i o n s , s u c h a s ( v
1
+ v
2
) + v
3
, i t m a k e s s e n s e t o a d d a n y n i t e s e t o f v e c t o r s ,
b u t i n g e n e r a l , t h e r e i s n o w a y t o a s c r i b e m e a n i n g t o a n i n n i t e s u m o f v e c t o r s i n
a v e c t o r s p a c e .
T h e r e f o r e , w h e n w e s a y t h a t a v e c t o r s p a c e V i s g e n e r a t e d b y o r s p a n n e d b y a n
i n n i t e s e t o f v e c t o r s f v
1
; v
2
; : : : g , w e m e a n t h a t e a c h v e c t o r v i n V i s a n i t e l i n e a r
c o m b i n a t i o n
i
1
v
i
1
+ +
i
n
v
i
n
o f t h e v
i
' s . L i k e w i s e , a n i n n i t e s e t o f v e c t o r s
f v
1
; v
2
; : : : g i s s a i d t o b e l i n e a r l y i n d e p e n d e n t i f t h e o n l y n i t e l i n e a r c o m b i n a t i o n
o f t h e v
i
' s t h a t i s z e r o i s t h e t r i v i a l l i n e a r c o m b i n a t i o n . S o a s e t f v
1
; v
2
; v
3
; : : : ; g i s
a b a s i s f o r V i f a n d o n l y i f e v e r y e l e m e n t o f V c a n b e b e w r i t t e n i n a u n i q u e w a y
a s a n i t e l i n e a r c o m b i n a t i o n o f e l e m e n t s f r o m t h e s e t .
A c t u a l l y , t h e n o t a t i o n f v
1
; v
2
; v
3
; : : : ; g f o r a n i n n i t e s e t i s m i s l e a d i n g b e c a u s e
i t s e e m s t o i n d i c a t e t h a t t h e s e t i s c o u n t a b l e . W e w a n t t o a l l o w t h e p o s s i b i l i t y t h a t
a v e c t o r s p a c e m a y h a v e a n u n c o u n t a b l e b a s i s . F o r t h i s r e a s o n , i t i s m o r e s e n s i b l e
t o u s e n o t a t i o n s u c h a s f v
j 2 g ; w h e r e i s s o m e u n s p e c i e d i n d e x i n g s e t .
D o e s e v e r y v e c t o r s p a c e h a v e a b a s i s ? L e t ' s s e e w h a t h a p p e n s i n t h e s i m p l e s t
c a s e s .
E x a m p l e 1 . C o n s i d e r t h e v e c t o r s p a c e P ( R ) o f a l l p o l y n o m i a l f u n c t i o n s o n t h e
r e a l l i n e . T h i s v e c t o r s p a c e i s n o t g e n e r a t e d b y a n y n i t e s e t . O n t h e o t h e r h a n d ,
e v e r y p o l y n o m i a l i s a n i t e l i n e a r c o m b i n a t i o n o f t h e p o l y n o m i a l s
f
n
( x ) = x
n
f o r n = 0 ; 1 ; 2 ; : : : , s o t h e s e p o l y n o m i a l s s p a n P ( R ) . F u r t h e r m o r e , i f a p o l y n o m i a l
n
x
n
+
n 1
x
n
+ +
1
x +
0
i s t h e z e r o f u n c t i o n o n R , t h e n a l l c o e c i e n t s
i
T y p e s e t b y A
M
S - T
E
X
1
-
8/12/2019 Bases for infinite vector spaces
2/9
m u s t b e z e r o , s o t h e f
n
' s a r e l i n e a r l y i n d e p e n d e n t . I n o t h e r w o r d s , t h e f u n c t i o n s
f
n
f o r m a b a s i s f o r t h e v e c t o r s p a c e P ( R ) .
E x a m p l e 2 . L e t R
1
b e t h e v e c t o r s p a c e o f i n n i t e s e q u e n c e s (
1
;
2
;
3
; : : : ; )
o f r e a l n u m b e r s . T h i s i s a n a t u r a l g e n e r a l i z a t i o n o f R
n
. T h e v e c t o r a d d i t i o n a n d
s c a l a r m u l t i p l i c a t i o n a r e d e n e d i n t h e n a t u r a l w a y : t h e s u m o f (
1
;
2
;
3
; : : : ) a n d
(
1
;
2
;
3
; : : : ) i s (
1
+
1
;
2
+
2
;
3
+
3
; : : : ) a n d t h e p r o d u c t o f (
1
;
2
;
3
; : : : )
b y a s c a l a r i s t h e s e q u e n c e (
1
;
2
;
3
; : : : ) . W h a t m i g h t b e a b a s i s f o r R
1
?
A n a t u r a l s e t t o c o n s i d e r i s t h e s e t f e
1
; e
2
; : : : ; g g e n e r a l i z i n g t h e s t a n d a r d b a s i s
f o r R
n
. I n o t h e r w o r d s , e
i
h e r e i s t h e s e q u e n c e o f a l l z e r o e s e x c e p t i n t h e i t h s p o t
w h e r e t h e r e a p p e a r s a 1 . T h e v e c t o r s f e
i
g a r e o b v i o u s l y l i n e a r l y i n d e p e n d e n t . B u t
d o t h e y s p a n R
1
? N o t e t h a t e v e r y n i t e l i n e a r c o m b i n a t i o n o f t h e e
i
' s w i l l b e a
v e c t o r i n w h i c h o n l y n i t e l y m a n y c o m p o n e n t s a r e n o n - z e r o . T h u s t h e r e i s n o w a y
t o w r i t e v e c t o r l i k e ( 1 ; 1 ; 1 ; : : : ; ) a s a n i t e l i n e a r c o m b i n a t i o n o f t h e e
i
' s .
S i n c e t h e v e c t o r v = ( 1 ; 1 ; 1 ; : : : ; ) c a n n o t b e w r i t t e n a s a l i n e a r c o m b i n a t i o n o f
t h e v e c t o r s e
i
= ( 0 ; : : : ; 0 ; 1 ; 0 ; 0 ; : : : ) , i t m u s t b e t h a t t o g e t h e r t h e e
i
' s a n d v f o r m
a l i n e a r l y i n d e p e n d e n t s e t . I f t h i s s e t s p a n s R
1
, i t m u s t b e a b a s i s . U n f o r t u n a t e l y ,
i t d o e s n o t s p a n : f o r e x a m p l e , t h e v e c t o r w = ( 1 ; 2 ; 3 ; 4 ; : : : ) i s n o t a l i n e a r c o m -
b i n a t i o n o f t h e e
i
' s a n d v . W e c o u l d t r y t o r e p e a t t h i s p r o c e s s , c h e c k i n g w h e t h e r
t h e s e t
fw ; v ; e
1
; e
2
; e
3
; : : : ;
gs p a n s R
1
, a n d i f n o t , e n l a r g i n g t h e s e t t o a b i g g e r
l i n e a r l y i n d e p e n d e n t s e t . B u t d o e s t h e p r o c e s s e v e n t u a l l y e n d , y i e l d i n g a b a s i s f o r
R
1
? A c t u a l l y , i t c a n b e p r o v e d t h a t n o c o u n t a b l e s e t o f v e c t o r s i n R
1
s p a n s R
1
,
s o e v e n i f R
1
h a s a b a s i s , w e w i l l n o t b e a b l e t o c o n s t r u c t i t b y s i m p l y a d d i n g i n
e l e m e n t s o n e a t a t i m e t o t h i s s e t .
O n e m i g h t t r y t o a r g u e t h a t t h e v e c t o r s e
i
g e n e r a t e R
1
i f w e a l l o w \ i n n i t e
l i n e a r c o m b i n a t i o n s " o f t h e m . I n d e e d , w e c o u l d t h i n k o f (
1
;
2
;
3
; : : : ) a s t h e
s u m
P
1
i = 1
i
e
i
. T h i s i s u n s a t i s f a c t o r y f o r s e v e r a l r e a s o n s . F i r s t , a l t h o u g h t h i s
p a r t i c u l a r i n n i t e s u m s e e m s t o m a k e s e n s e , i n n i t e s u m s i n g e n e r a l d o n o t . F o r
e x a m p l e , w h a t w o u l d b e t h e s u m ( 1 ; 1 ; 1 ; : : : ; ) + ( 2 ; 2 ; 2 ; : : : ; ) + ( 3 ; 3 ; 3 ; : : : ; ) ? T h i s
c o u l d b e c o m e a s e r i o u s p r o b l e m i f w e t r y t o d o a n y k i n d o f a l g e b r a i c m a n i p u l a t i o n s
w i t h t h e s e \ i n n i t e s u m s " . A l s o , t h e f a c t t h a t w e j u s t h a p p e n t o m a k e s e n s e o f a n
i n n i t e s u m o f a s p e c i a l t y p e o f v e c t o r s i n a s p e c i a l t y p e o f v e c t o r s p a c e d o e s n o t
g e n e r a l i z e w e l l t o o t h e r s e t t i n g s . E v e n f o r s u b s p a c e s o f R
1
, t h e s e \ i n n i t e s u m s "
m a y n o t m a k e s e n s e .
E x a m p l e 3 . L e t V b e t h e s u b s p a c e o f R
1
c o n s i s t i n g o f t h o s e s e q u e n c e s
(
1
;
2
; : : : ; ) f o r w h i c h t h e l i m i t l i m a
n
e x i s t s a s n g o e s t o i n n i t y . T h a t i s , V
i s t h e s p a c e o f c o n v e r g e n t s e q u e n c e s o f r e a l n u m b e r s . C l e a r l y t h e e l e m e n t s e
i
a b o v e
a r e i n V , s i n c e t h e l i m i t o f t h e s e q u e n c e ( 0 ; : : : ; 0 ; 1 ; 0 ; 0 : : : ; ) i s z e r o . O f c o u r s e ,
t h e e
i
a r e s t i l l l i n e a r l y i n d e p e n d e n t . D o t h e y s p a n V ? N o , a g a i n t h e e l e m e n t
( 1 ; 1 ; 1 ; : : : ) i s i n V ( t h e l i m i t o f t h i s s e q u e n c e i s 1 ) , b u t n o t i n t h e s p a n o f t h e e
i
.
I t i s n o t c l e a r w h e t h e r w e c a n a d d i n s o m e m o r e v e c t o r s o f V s o a s t o e n l a r g e t h i s
s e t t o a b a s i s .
N o t e t h a t w e c a n n o t d e s c r i b e V a s t h e s e t o f \ i n n i t e l i n e a r c o m b i n a t i o n s " o f
t h e e
i
. I n d e e d , t h e s e t o f a l l t h e \ i n n i t e l i n e a r c o m b i n a t i o n s " o f t h e e
i
i s a l l
o f R
1
, w h e r e a s n o t e v e r y v e c t o r i n R
1
i s a c o n v e r g e n t s e q u e n c e . F o r e x a m p l e
2
-
8/12/2019 Bases for infinite vector spaces
3/9
( 1 ; 2 ; 3 ; 4 ; : : : ) i s n o t i n V .
E x a m p l e 4 . L e t
2
b e t h e s u b s p a c e o f R
1
o f a l l s q u a r e s u m m a b l e s e q u e n c e s ,
t h a t i s , o f v e c t o r s (
1
;
2
; : : : ) s u c h t h a t
P
1
i = 1
2
i
e x i s t s . T h i s s p a c e i n c l u d e s t h e
l i n e a r l y i n d e p e n d e n t v e c t o r s e
i
, b u t i s n o t s p a n n e d b y t h e e
i
. F o r e x a m p l e , t h e
v e c t o r ( 1 ;
1
2
;
1
4
;
1
8
;
1
1 6
; : : : ) i s i n
2
( i t h a s s q u a r e - s u m 4 / 3 ) , b u t i s n o t a ( n i t e ) l i n e a r
c o m b i n a t i o n o f t h e e
i
. D o e s t h i s s p a c e h a v e a b a s i s ?
E x a m p l e 5 . L e t V b e t h e s u b s p a c e o f R
1
s p a n n e d b y t h e e
i
f o r i = 1 ; 2 ; 3 ; : : : .
S i n c e t h e e
i
a r e l i n e a r l y i n d e p e n d e n t , c l e a r l y t h e y f o r m a b a s i s f o r V . W h a t i s t h e
s p a c e V ? I t c o n s i s t s o f a l l v e c t o r s i n R
1
i n w h i c h a l l b u t n i t e l y m a n y o f t h e s l o t s
a r e z e r o e s . T h i s c a n b e i n t e r p r e t e d a s t h e u n i o n o f a l l R
n
a s n g o e s t o i n n i t y .
E x a m p l e 6 . L e t R b e t h e s e t o f r e a l n u m b e r s c o n s i d e r e d a s a v e c t o r s p a c e o v e r
t h e e l d Q o f r a t i o n a l n u m b e r s . W h a t c o u l d p o s s i b l y b e a b a s i s ? T h e e l e m e n t s
p
2 ,
p
3 ;
p
5 ;
p
6 ; : : : ; c a n b e s h o w n t o b e l i n e a r l y i n d e p e n d e n t , b u t t h e y c e r t a i n l y
d o n ' t s p a n R , a s w e a l s o n e e d e l e m e n t s l i k e ,
2
;
3
; : : : ; , w h i c h a l s o f o r m a l i n e a r l y
i n d e p e n d e n t s e t . I n f a c t , b e c a u s e Q i s c o u n t a b l e , o n e c a n s h o w t h a t t h e s u b s p a c e
o f R g e n e r a t e d b y a n y c o u n t a b l e s u b s e t o f R m u s t b e c o u n t a b l e . B e c a u s e R i t s e l f
i s u n c o u n t a b l e , n o c o u n t a b l e s e t c a n b e a b a s i s f o r R o v e r Q . T h i s m e a n s t h a t a n y
b a s i s f o r R o v e r Q , i f o n e e x i s t s , i s g o i n g t o b e d i c u l t t o d e s c r i b e .
T h e s e e x a m p l e s m a k e i t c l e a r t h a t e v e n i f w e c o u l d s h o w t h a t e v e r y v e c t o r s p a c e
h a s a b a s i s , i t i s u n l i k e l y t h a t a b a s i s w i l l b e e a s y t o n d o r t o d e s c r i b e i n g e n e r a l .
E v e r y v e c t o r s p a c e h a s a b a s i s .
A l t h o u g h i t m a y s e e m d o u b t f u l a f t e r l o o k i n g a t t h e e x a m p l e s a b o v e , i t i s i n d e e d
t r u e t h a t e v e r y v e c t o r s p a c e h a s a b a s i s . L e t u s t r y t o p r o v e t h i s . F i r s t , c o n s i d e r
a n y l i n e a r l y i n d e p e n d e n t s u b s e t o f a v e c t o r s p a c e V , f o r e x a m p l e , a s e t c o n s i s t i n g
o f a s i n g l e n o n - z e r o v e c t o r w i l l d o . C a l l t h i s s e t
S
1
. I f
S
1
s p a n s V , i t i s a b a s i s , a n d
t h e p r o o f i s c o m p l e t e . I f n o t , w e c a n c h o o s e a v e c t o r o f V n o t i n S a n d t h e u n i o n
S
2
= S
1
f v g i s a l a r g e r l i n e a r l y i n d e p e n d e n t s e t . E i t h e r t h i s s e t i s a b a s i s , o r w e
c a n a g a i n e n l a r g e i t b y c h o o s i n g s o m e v e c t o r o f V n o t i n t h e s p a n . W e c a n r e p e a t
t h i s p r o c e s s o v e r a n d o v e r , a n d h o p e t h a t i t e v e n t u a l l y e n d s . B u t i t i s e a s y t o s e e
t h a t s u c h a n a i v e a p p r o a c h w i l l n o t w o r k i n g e n e r a l u n l e s s V i s n i t e d i m e n s i o n a l .
I n d e e d , s t a r t i n g f r o m S
1
b e i n g a s i n g l e e l e m e n t s e t , e v e r y S
i
p r o d u c e d t h i s w a y w i l l
b e n i t e .
O n t h e o t h e r h a n d , u s i n g t h i s i d e a , w e e i t h e r g e t a b a s i s f o r V e v e n t u a l l y o r w e
g e t a n i n c r e a s i n g c o l l e c t i o n o f l i n e a r l y i n d e p e n d e n t s e t s
S
1
S
2
S
3
: : : :
C l e a r l y t h e u n i o n S o f a l l t h e S
i
i s a l i n e a r l y i n d e p e n d e n t s e t , s i n c e a n y n i t e l i n e a r
c o m b i n a t i o n o f t h e e l e m e n t s o f t h e u n i o n m u s t i n v o l v e e l e m e n t s f r o m o n e o f t h e
s e t s
S
i
. I f t h i s s e t
Ss p a n s V , i t i s a b a s i s a n d w e a r e d o n e . T h i s i s w h a t h a p p e n s ,
f o r e x a m p l e , i f V i s t h e s p a c e o f p o l y n o m i a l s d e n e d i n E x a m p l e 1 a n d S
i
i s t h e s e t
3
-
8/12/2019 Bases for infinite vector spaces
4/9
-
8/12/2019 Bases for infinite vector spaces
5/9
a r e n i t e l y m a n y s e t s i n t h e c o l l e c t i o n , b u t w h a t i f t h e r e a r e i n n i t e l y m a n y , m a y b e
e v e n u n c o u n t a b l y m a n y ? T h e a x i o m o f c h o i c e a n d Z o r n ' s L e m m a b o t h e r e d m a n y
m a t h e m a t i c i a n s ( a n d s t i l l b o t h e r s s o m e ! ) f o r v a r i o u s r e a s o n s . F o r e x a m p l e , u s i n g
t h e a x i o m o f c h o i c e , o n e c a n p r o v e t h a t a b a l l t h e s i z e o f t h e s u n c a n b e c u t i n t o
n i t e l y m a n y p i e c e s a n d t h e n r e a s s e m b l e d i n t o a b a l l t h e s i z e o f a p i n h e a d . S o i f
w e a c c e p t t h e a x i o m o f c h o i c e ( a n d e q u i v a l e n t l y , Z o r n ' s L e m m a ) , w e m u s t a c c e p t
s u c h s t a t e m e n t s .
T h e r e i s n o w a y t o p r o v e t h e a x i o m o f c h o i c e : o n e e i t h e r a c c e p t s i t a s a n a x i o m o r
o n e d o e s n ' t . T h e a x i o m o f c h o i c e ( a n d s o t h e e q u i v a l e n t f o r m u l a t i o n Z o r n ' s L e m m a )
i s l o g i c a l l y i n d e p e n d e n t f r o m t h e o t h e r a x i o m s o f s e t t h e o r y , a f a c t p r o v e n b y P a u l
C o h e n i n 1 9 6 3 . I n o t h e r w o r d s , w e d e r i v e n o c o n t r a d i c t i o n s i f w e a s s u m e i t i s t r u e ,
a n d w e d e r i v e n o c o n t r a d i c t i o n s i f w e a s s u m e i t i s f a l s e . T h e a x i o m o f c h o i c e i s n o
l o n g e r a s c o n t r o v e r s i a l a s i t o n c e w a s . I t i s a c c e p t e d b y m o s t m a t h e m a t i c i a n s t h e s e
d a y s , b u t t h e d e g r e e t o w h i c h i t i s u s e d w i t h o u t c o m m e n t d e p e n d s o n t h e b r a n c h
o f m a t h e m a t i c s . T o l e a r n m o r e a b o u t t h e a x i o m o f c h o i c e a n d r e l a t e d m a t t e r s ,
y o u c a n t a k e a c o u r s e o n m a t h e m a t i c a l l o g i c . M a n y b o o k s o n a n a l y s i s a l s o c o n t a i n
d i s c u s s i o n s o f t h e a x i o m o f c h o i c e , f o r e x a m p l e , H S ] h a s n i c e d i s c u s s i o n , i n c l u d i n g
t h e p r o o f o f t h e e q u i v a l e n c e o f Z o r n ' s L e m m a a n d t h e a x i o m o f c h o i c e .
S u m m a r y : E v e r y v e c t o r s p a c e h a s a b a s i s , t h a t i s , a m a x i m a l l i n e a r l y i n d e -
p e n d e n t s u b s e t . E v e r y v e c t o r i n a v e c t o r s p a c e c a n b e w r i t t e n i n a u n i q u e w a y
a s a n i t e l i n e a r c o m b i n a t i o n o f t h e e l e m e n t s i n t h i s b a s i s . A b a s i s f o r a n i n n i t e
d i m e n s i o n a l v e c t o r s p a c e i s a l s o c a l l e d a H a m e l b a s i s . T h e p r o o f t h a t e v e r y v e c t o r
s p a c e h a s a b a s i s u s e s t h e a x i o m o f c h o i c e . T h e r e i s n o p r a c t i c a l w a y t o n d a
H a m e l b a s i s i n g e n e r a l , w h i c h m e a n s w e h a v e l i t t l e u s e f o r t h e c o n c e p t o f a b a s i s
f o r a g e n e r a l i n n i t e ( e s p e c i a l l y u n c o u n t a b l e ) d i m e n s i o n a l v e c t o r s p a c e .
A l t e r n a t i v e s t o t h e c o n c e p t o f a b a s i s .
T h e r e a r e s o m e v e c t o r s p a c e s , s u c h a s R
1
, w h e r e a t l e a s t c e r t a i n i n n i t e s u m s
m a k e s e n s e , a n d w h e r e e v e r y v e c t o r c a n b e u n i q u e l y r e p r e s e n t e d a s a n i n n i t e l i n e a r
c o m b i n a t i o n o f v e c t o r s . A l t h o u g h t h e r e a r e s o m e d r a w b a c k s t o t h i s i d e a , i t i s a l s o
v e r y u s e f u l t o u s e t h e i d e a o f i n n i t e s u m s i n s o m e c a s e s , p r o v i d e d w e c a n m a k e
s e n s e o u t o f t h e m .
W h a t d o w e n e e d i n o r d e r t o m a k e s e n s e o f a n i n n i t e s u m o f v e c t o r s ? T h e o n l y
w a y t o m a k e s e n s e o u t o f a n i n n i t e s u m
P
1
i = 1
v
i
i s t o c o n s i d e r t h e s e q u e n c e o f
p a r t i a l s u m s s
n
=
P
n
i = 1
v
i
( f o r n = 1 ; 2 ; 3 ; : : : ) a n d h o p e t h a t t h i s s e q u e n c e f s
n
g
c o n v e r g e s . T h u s w e m u s t h a v e a n o t i o n o f \ c o n v e r g e n c e " | a w a y t o s a y t h a t a
s e q u e n c e o f v e c t o r s f s
n
g i s g e t t i n g c l o s e r a n d c l o s e r t o s o m e x e d v e c t o r s . T h e
m o s t n a t u r a l w a y t o i n t e r p r e t \ c l o s e n e s s " o f t w o v e c t o r s i s t o r e q u i r e t h a t t h e
d i s t a n c e b e t w e e n t h e m i s s m a l l , b u t t o d o t h i s w e m u s t h a v e a n o t i o n o f d i s t a n c e i n
o u r v e c t o r s p a c e . A s w e h a v e s t u d i e d i n c l a s s , a n o t i o n o f d i s t a n c e c a n b e d e n e d
f o r a n y v e c t o r s p a c e o n w h i c h w e h a v e a n i n n e r p r o d u c t . T h u s a n a t u r a l p l a c e t o
5
-
8/12/2019 Bases for infinite vector spaces
6/9
t r y t o m a k e s e n s e o f i n n i t e s u m s o f v e c t o r s i s i n a n i n n e r p r o d u c t s p a c e .
1
L e t V b e a n i n n e r p r o d u c t s p a c e . C a n w e n d a s e t o f v e c t o r s f v
n
g , f o r
n = 1 ; 2 ; 3 ; : : : s u c h t h a t e v e r y v e c t o r v i n V c a n b e e x p r e s s e d a s a n i n n i t e s u m
P
1
i = 0
i
v
i
i n a u n i q u e w a y ? B e t t e r y e t , c a n w e n d a n o r t h o n o r m a l s e t f v
n
g w i t h
t h i s p r o p e r t y ? I f s o , s u c h a n o r t h o n o r m a l s e t i s c a l l e d a n o r t h o n o r m a l b a s i s f o r t h e
s p a c e V , a l t h o u g h w e m u s t b e c a r e f u l n o t t o c o n f u s e t h i s c o n c e p t w i t h a H a m e l
b a s i s ( i n w h i c h w e d o n o t a l l o w i n n i t e s u m s ) . F o r t u n a t e l y , t h e a n s w e r i s Y E S i n
m a n y i m p o r t a n t a p p l i c a t i o n s . W e n o w d i s c u s s a c o u p l e o f t h e s e .
F o u r i e r S e r i e s . O n e o f t h e m o s t i m p o r t a n t e x a m p l e s w h e r e t h i s s o r t o f a l t e r -
n a t i v e t o t h e u s u a l n o t i o n o f a b a s i s a p p e a r s i s i n F o u r i e r A n a l y s i s . I n F o u r i e r
a n a l y s i s , w e a r e i n t e r e s t e d n d i n g a n \ o r t h o n o r m a l b a s i s " f o r t h e s p a c e o f c o n t i n -
u o u s f u n c t i o n s o n s o m e i n t e r v a l .
L e t C ( ; ] ) b e t h e v e c t o r s p a c e o f a l l c o n t i n u o u s r e a l v a l u e d f u n c t i o n s o n t h e
i n t e r v a l ; ] . A s w e h a v e s e e n , w e c a n d e n e a n i n n e r p r o d u c t o n t h i s s p a c e b y
h f ; g i =
1
Z
f g d x :
T h u s t h e d i s t a n c e b e t w e e n t w o f u n c t i o n s f a n d g c a n b e d e n e d a s
d ( f ; g ) = j j f g j j = h f g ; f g i
1 = 2
= (
1
Z
( f g )
2
d x )
1 = 2
:
N o w i t m a k e s s e n s e t o s a y t h a t a s e q u e n c e o f c o n t i n u o u s f u n c t i o n s f s
n
g a p p r o a c h e s
s o m e x e d f u n c t i o n s . W e m e a n t h a t t h e d i s t a n c e s d ( s ; s
n
) a p p r o a c h z e r o a s n
a p p r o a c h e s i n n i t y , t h a t i s , t h a t t h e s e q u e n c e o f r e a l n u m b e r s
(
1
Z
( s s
n
)
2
d x )
1 = 2
a p p r o a c h e s z e r o a s n ! 1 . ( A s u b t l e p o i n t t o b e w a r e : t h i s i s n o t t h e s a m e a s s a y i n g
t h a t f o r e a c h x , t h e s e q u e n c e o f r e a l n u m b e r s s
n
( x ) a p p r o a c h e s t h e r e a l n u m b e r
s ( x ) . T h e t y p e o f c o n v e r g e n c e w e a r e i n t e r e s t e d i n h e r e i s c a l l e d \ L
2
c o n v e r g e n c e "
o r \ c o n v e r g e n c e i n t h e m e a n " , a n d s h o u l d n o t b e c o n f u s e d w i t h t h i s \ p o i n t w i s e
c o n v e r g e n c e . " )
G i v e n a n e x p r e s s i o n
P
1
i = 1
f
n
c o n s i s t i n g o f a n i n n i t e s u m o f f u n c t i o n s , h o w c a n
w e t e l l i f i t i s m e a n i n g f u l ? W e c o n s i d e r t h e s e q u e n c e o f p a r t i a l s u m s s
n
=
P
n
i = 1
f
n
,
a s e q u e n c e o f f u n c t i o n s i n C ( ; ] ) . T h e e x p r e s s i o n
P
1
i = 1
f
n
i s m e a n i n g f u l i f
t h e s e q u e n c e f s
n
g c o n v e r g e s ( i n t h e s e n s e d e s c r i b e d a b o v e ) t o s o m e f u n c t i o n s i n
C ( ; ] ) . I n t h i s c a s e , w e s a y t h a t t h e i n n i t e s u m
P
1
i = 1
f
n
e x i s t s a n d i s e q u a l t o
t h e f u n c t i o n s .
1
A c t u a l l y , t h e r e a r e v e c t o r s p a c e s , c a l l e d n o r m e d s p a c e s , i n w h i c h o n e c a n t a l k a b o u t d i s t a n c e ,
b u t w h i c h d o n o t n e c e s s a r i l y h a v e a n i n n e r p r o d u c t . A n i n n e r p r o d u c t , a f t e r a l l , c a r r i e s i n f o r m a t i o n
n o t j u s t a b o u t d i s t a n c e , b u t a l s o a b o u t a n g l e s . B a n a c h s p a c e s , i f y o u h a v e h e a r d o f t h e m , a r e
i m p o r t a n t e x a m p l e s o f n o r m e d s p a c e s .
6
-
8/12/2019 Bases for infinite vector spaces
7/9
W e n o w a s k w h e t h e r w e c a n n d a n o r t h o n o r m a l s e t
So f f u n c t i o n s
ff
i
gf o r
i = 1 ; 2 ; 3 ; : : : s u c h t h a t e v e r y c o n t i n u o u s f u n c t i o n ( i e , e v e r y v e c t o r i n C ( ; ] ) ) i s
a n i n n i t e s u m o f t h e f o r m
P
1
i = 1
i
f
i
i n a u n i q u e w a y . A s w e h a v e p r o v e d i n c l a s s ,
a n y o r t h o n o r m a l s e t i n a n y i n n e r p r o d u c t s p a c e w i l l b e l i n e a r l y i n d e p e n d e n t , a n d s o
s u c h a s e t w i l l b e a n o r t h o n o r m a l b a s i s ( b u t n o t n e c e s s a r i l y a H a m e l b a s i s
2
) . T h e
a n s w e r i s Y E S , a n d t h e s e t S c a n b e t a k e n t o b e t h e s e t c o n s i s t i n g o f t h e f u n c t i o n s
h
n
( x ) = s i n ( n x ) f o r n = 1 ; 2 ; 3 ; : : :
g
n
( x ) = c o s ( n x ) f o r n = 1 ; 2 ; 3 ; : : :
g
0
( x ) = 1 = 2 :
I t i s e a s y t o v e r i f y t h a t t h e s e f u n c t i o n s a r e o r t h o n o r m a l ( b y p e r f o r m i n g t h e n e c e s s a r y
i n t e g r a l s ) . T h i s g i v e s u s a n o r t h o n o r m a l s e t o f v e c t o r s i n C ( ; ] ) . W h a t i s a l s o
t r u e , b u t n o t s o o b v i o u s , i s t h a t e v e r y c o n t i n u o u s f u n c t i o n o n t h e i n t e r v a l ; ]
h a s a u n i q u e r e p r e s e n t a t i o n a s a n i n n i t e l i n e a r c o m b i n a t i o n o f t h e s e f u n c t i o n s .
T h i s e x p r e s s i o n i s c a l l e d t h e F o u r i e r s e r i e s o f a f u n c t i o n a n d t h e c o e c i e n t s o f f
n
t h a t a p p e a r a r e c a l l e d t h e F o u r i e r c o e c i e n t s . I n t e r e s t i n g l y , e v e n t h o u g h t h e s p a c e
o f a l l c o n t i n u o u s f u n c t i o n s o n ; ] h a s a c o u n t a b l e o r t h o n o r m a l b a s i s , i t c a n b e
s h o w n t h a t i t d o e s n o t h a v e a c o u n t a b l e H a m e l b a s i s .
I t t u r n s o u t t h a t f o r t h e s p a c e C ( ; ] ) d e n e d a b o v e , t h e s e t S i s a m a x i m a l
o r t h o n o r m a l s e t . I n f a c t , a n o r t h o n o r m a l b a s i s f o r a i n n i t e d i m e n s i o n a l i n n e r
p r o d u c t s p a c e V c a n b e d e n e d a s a m a x i m a l o r t h o n o r m a l s e t o f v e c t o r s i n V .
O f c o u r s e , a s w e h a v e p r o v e n , t h e s a m e d e n i t i o n i s v a l i d f o r n i t e d i m e n s i o n a l
i n n e r p r o d u c t s p a c e s a s w e l l . E s s e n t i a l l y t h e s a m e p r o o f ( u s i n g Z o r n ' s L e m m a ) w e
u s e d t o s h o w t h a t e v e r y s p a c e h a s a H a m e l b a s i s s h o w s t h a t e v e r y i n n e r p r o d u c t
s p a c e V h a s a n o r t h o n o r m a l b a s i s . H o w e v e r , a d r a w b a c k o f t h i s d e n i t i o n i s t h a t
i t i s n o t c l e a r t h a t e v e r y v e c t o r i n V h a s a u n i q u e e x p r e s s i o n a s a n i n n i t e l i n e a r
c o m b i n a t i o n o f t h e b a s i s e l e m e n t s . I n f a c t , t h i s i s n o t t r u e i n g e n e r a l . P l e a s e c o n s u l t
a b o o k o n f u n c t i o n a l a n a l y s i s , s u c h a s C ] , f o r m o r e i n f o r m a t i o n .
O n e i m p o r t a n t d i e r e n c e b e t w e e n t h i s t y p e o f o r t h o n o r m a l b a s i s a n d a H a m e l
b a s i s i s t h a t i t i s n o t t r u e t h a t e v e r y i n n i t e l i n e a r c o m b i n a t i o n o f t h e b a s i s e l e -
m e n t s b e l o n g s t o o u r v e c t o r s p a c e . I n d e e d , a n a r b i t r a r y i n n i t e s u m n e e d n o t e v e n
c o n v e r g e t o a n a c t u a l f u n c t i o n i n g e n e r a l .
T o l e a r n m o r e a b o u t F o u r i e r S e r i e s , t a k e a c l a s s o n F o u r i e r a n a l y s i s s u c h a s M a t h
4 5 4 o r s e e a b o o k s u c h a s B D ] .
H i l b e r t S p a c e s .
A H i l b e r t s p a c e i s s i m p l y a n i n n e r p r o d u c t s p a c e w i t h o n e a d d i t i o n a l p r o p e r t y
c a l l e d c o m p l e t e n e s s . R o u g h l y s p e a k i n g , t h e s p a c e i s c o m p l e t e i f e v e r y s e q u e n c e o f
v e c t o r s w h i c h a p p e a r s t o b e c o n v e r g i n g a c t u a l l y d o e s c o n v e r g e . M o r e p r e c i s e l y , t h e
s p a c e i s c o m p l e t e i f e v e r y C a u c h y s e q u e n c e c o n v e r g e s , w h e r e a s e q u e n c e f s
n
g i s
C a u c h y i f f o r a l l p o s i t i v e n u m b e r s , t h e r e e x i s t s a n i n t e g e r N s u c h t h a t w h e n e v e r
n ; m > N , t h e d i s t a n c e b e t w e e n s
n
a n d n
m
i s l e s s t h a n .
2
I n f a c t , i t c a n b e s h o w n t h a t i t i s n e v e r a H a m e l b a s i s .
7
-
8/12/2019 Bases for infinite vector spaces
8/9
I n g e n e r a l , j u s t b e c a u s e a s e q u e n c e a p p e a r s t o c o n v e r g e ( t h a t i s , i s C a u c h y ) ,
w e c a n n o t c o n c l u d e t h a t i t a c t u a l l y d o e s c o n v e r g e . F o r e x a m p l e , c o n s i d e r t h e
v e c t o r s p a c e o f c o n t i n u o u s f u n c t i o n s o n t h e i n t e r v a l ; ] w i t h t h e i n n e r p r o d u c t
h f ; g ; i =
1
R
f g d x . T h e f u n c t i o n s
f
n
( x ) = 0 i f x 0
f
n
( x ) = x
1 = n
i f x > 0
f o r n = 1 ; 2 ; 3 ; : : : f o r m a C a u c h y s e q u e n c e . T h i s s e q u e n c e a p p e a r s t o b e c o n v e r g i n g ,
b u t i t d o e s n o t c o n v e r g e t o a v e c t o r i n C ( ; ] ) . I n d e e d , t h i s s e q u e n c e c o n v e r g e s
t o
f ( x ) = 0 f o r x
0
f ( x ) = 1 f o r x > 0 ;
w h i c h i s n o t c o n t i n u o u s . T h u s t h e s e q u e n c e f f
n
g o f v e c t o r s i n C ( ; ] ) d o e s n o t
c o n v e r g e t o a v e c t o r i n C ( ; ] ) . I n t h i s s e n s e , t h e s p a c e C ( ; ] ) s e e m s t o b e
m i s s i n g s o m e e l e m e n t s | i t i s n o t c o m p l e t e .
I t t u r n s o u t t h a t t h e r e i s a w a y t o d e n e t h e \ c o m p l e t i o n " o f t h e s p a c e C ( ; ] ) .
T h i s w i l l b e a n i n n e r p r o d u c t s p a c e w h i c h c o n t a i n s C ( ; ] ) a n d a l s o c o n t a i n s
e v e r y f u n c t i o n w h i c h i s a l i m i t o f c o n t i n u o u s f u n c t i o n s i n t h e s e n s e w e j u s t d e s c r i b e d .
T h i s c o m p l e t i o n s p a c e i s a c o m p l e t e i n n e r p r o d u c t s p a c e c a l l e d L
2
( ; ] ) . T h e
s p a c e L
2
t u r n s o u t t o c o n s i s t o f a l l \ s q u a r e i n t e g r a b l e f u n c t i o n s " | t h a t i s , a l l
f u n c t i o n s f d e n e d o n t h e i n t e r v a l
; ] s u c h t h a t t h e i n t e g r a l
R
f
2
d x i s n i t e .
T h e s p a c e L
2
( ; ] ) i s a p r o t o t y p i c a l e x a m p l e o f a H i l b e r t s p a c e .
I t t u r n s o u t t h a t t h e s a m e t r i g o n o m e t r i c f u n c t i o n s h
n
( x ) = s i n ( n x ) ; g
n
( x ) =
c o s ( n x ) ; a n d g
0
( x ) = 1 = 2 f o r m a n o r t h o n o r m a l b a s i s f o r L
2
( ; ] ) . T h i s m a k e s
s e n s e , s i n c e w e a l r e a d y k n o w t h a t e v e r y c o n t i n u o u s f u n c t i o n i s a l i m i t o f a s e q u e n c e
o f f u n c t i o n s o b t a i n e d a s n i t e l i n e a r c o m b i n a t i o n s o f t h e s e t r i g o n o m e t r i c f u n c t i o n s ,
a n d w e a l s o k n o w t h a t e v e r y v e c t o r i n L
2
i s a l i m i t o f c o n t i n u o u s f u n c t i o n s . T h i s
e m p h a s i z e s t h e d i e r e n c e b e t w e e n t h i s k i n d o f b a s i s a n d a H a m e l b a s i s f o r a n i n n i t e
d i m e n s i o n a l s p a c e : t w o d i e r e n t s p a c e s h e r e h a v e t h e s a m e b a s i s ! T h e r e a s o n t h i s
c a n h a p p e n i s t h a t w e d o n o t a l l o w a r b i t r a r y i n n i t e l i n e a r c o m b i n a t i o n s o f t h e
e l e m e n t s , b u t o n l y t h o s e p a r t i c u l a r i n n i t e s u m s t h a t c o n v e r g e t o a v e c t o r i n t h e
s p a c e i n q u e s t i o n .
A n o t h e r i m p o r t a n t e x a m p l e o f a H i l b e r t s p a c e i s t h e s p a c e
2
o f s q u a r e - s u m m a b l e
s e q u e n c e s a s d e n e d i n E x a m p l e 4 a b o v e . T h i s i s a n i n n e r p r o d u c t s p a c e , w h e r e
t h e i n n e r p r o d u c t i s d e n e d a s a s o r t o f \ i n n i t e d o t p r o d u c t " :
h (
1
;
2
;
3
; : : : ) ; (
1
;
2
;
3
; : : : ) i =
1
X
i = 1
i
i
:
I t i s n o t o b v i o u s t h a t t h i s m a k e s s e n s e : w h y s h o u l d s u c h a s u m n e c e s s a r i l y c o n -
v e r g e ? O f c o u r s e i t d o e s n ' t c o n v e r g e i n g e n e r a l i f w e t a k e (
1
;
2
;
3
; : : : ) a n d
(
1
;
2
;
3
; : : : ) t o b e a r b i t r a r y e l e m e n t s i n R
1
, s u c h a s ( 1 ; 1 ; 1 ; : : : ) a n d ( 2 ; 2 ; 2 ; : : : ) .
8
-
8/12/2019 Bases for infinite vector spaces
9/9
F o r t u n a t e l y , i f w e r e s t r i c t t o e l e m e n t s o f
2
, t h e c o n v e r g e n c e c a n b e p r o v e d u s i n g
t h e C a u c h y - S c h w a r t z i n e q u a l i t y . T o s e e t h i s , w e n e e d t o s h o w t h a t t h e s e q u e n c e o f
p a r t i a l s u m s
s
n
=
n
X
i = 1
i
i
c o n v e r g e s t o s o m e r e a l n u m b e r . I t s u c e s t o s h o w t h e s u m i s a b s o l u t e l y c o n v e r g e n t ,
s o t h e r e i s n o h a r m i n a s s u m i n g a l l
i
a n d
i
a r e n o n - n e g a t i v e . B y C a u c h y - S c h w a r t z
f o r t h e s t a n d a r d i n n e r p r o d u c t o n R
n
, w e s e e t h a t
s
n
j j (
1
; : : : ;
n
) j j j j (
1
; : : : ;
n
) j j :
B u t a s n g o e s t o i n n i t y , t h e q u a n t i t y o n t h e r i g h t g o e s t o t h e p r o d u c t o f t h e i n n i t e
s u m s
P
n
i = 1
2
i
a n d
P
n
i = 1
2
i
, w h i c h w e a r e a s s u m i n g a r e n i t e . T h u s t h e s e q u e n c e
s
n
i s a b o u n d e d i n c r e a s i n g s e q u e n c e o f r e a l n u m b e r s , s o i t m u s t h a v e a l i m i t . T h i s
s h o w s t h a t t h e s u m
P
1
i = 1
i
i
c o n v e r g e s , s o h (
1
;
2
;
3
; : : : ) ; (
1
;
2
;
3
; : : : ) i i s
w e l l - d e n e d a n d
2
i s a n i n n e r p r o d u c t s p a c e .
I t t u r n s o u t t h i s i n n e r p r o d u c t s p a c e i s c o m p l e t e , s o
2
i s a H i l b e r t s p a c e . A
g o o d e x e r c i s e i s t o s h o w t h a t t h e v e c t o r s f e
i
g ( w h e r e e
i
i s t h e i n n i t e s e q u e n c e o f
z e r o s w i t h a s i n g l e o n e i n t h e i t h s p o t ) i s a n o r t h o n o r m a l b a s i s f o r
2
.
T h e r e a r e m a n y m o r e i n t e r e s t i n g t h i n g s t h a t c a n b e s a i d a b o u t i n n i t e d i m e n -
s i o n a l i n n e r p r o d u c t s p a c e s . P l e a s e t a k e a c o u r s e i n a d v a n c e d a n a l y s i s , s u c h a s
M a t h 5 9 7 o r M a t h 6 0 2 , t o l e a r n m o r e ! Y o u c a n a l s o c o n s u l t a n y b o o k o n f u n c t i o n a l
a n a l y s i s , s u c h a s C ] b e l o w .
R e f e r e n c e s
B D ] B o y c e , W . E . a n d D i P r i m a , E l e m e n t a r y d i e r e n t i a l e q u a t i o n s a n d b o u n d a r y v a l u e p r o b -
l e m s , J o h n W i l e y , N e w Y o r k , 1 9 6 9 .
H S ] H e w i t t , E . , a n d S t r o m b e r g , K . , R e a l a n d A b s t r a c t A n a l y s i s , S p r i n g e r V e r l a g , N e w Y o r k ,
1 9 6 5 .
C ] C o n w a y , J o h n B . , A c o u r s e i n f u n c t i o n a l a n a l y s i s , S p r i n g e r { V e r l a g , N e w Y o r k , 1 9 9 0 .
9