A First Course in Linear Algebra

A First Course in Linear Algebra

byRobert A. Beezer

Department of Mathematics and Computer ScienceUniversity of Puget Sound

Version 1.33

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where hehas been on the faculty since 1984. He received a B.S. in Mathematics (with an Emphasisin Computer Science) from the University of Santa Clara in 1978, a M.S. in Statistics fromthe University of Illinois at Urbana-Champaign in 1982 and a Ph.D. in Mathematics fromthe University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebraand abstract algebra regularly, while his research interests include the applications of linearalgebra to graph theory. His professional website is at http://buzzard.ups.edu.

EditionVersion 1.33.March 6, 2008.

PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USA

c© 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the terms of the

http://buzzard.ups.edu

v

GNU Free Documentation License, Version 1.2 or any later version published by the FreeSoftware Foundation; with the Invariant Sections being “Preface”, no Front-Cover Texts,and no Back-Cover Texts. A copy of the license is included in the appendix entitled “GNUFree Documentation License”.

The most recent version of this work can always be found at http://linear.ups.edu.

Version 1.33

http://linear.ups.edu

To my wife, Pat.

Contents

Table of Contents vii

Contributors viii

Definitions ix

Theorems x

Notation xi

Figures xii

Examples xiii

Preface xiv

vii

CONTENTS viii

Acknowledgements xxvii

Part C Core

Chapter SLE Systems of Linear Equations 2WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . 3

LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . . . . . . . . 3AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 13EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . 16SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . 16PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . 19ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . 21READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 34EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . 47MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . 47RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Version 1.33

CONTENTS ix

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . 60READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 83EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 126EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . 134SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . 134NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 140READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 145EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 154NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . 160READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 164EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . 178

Version 1.33

CONTENTS x

Chapter V Vectors 180VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . 182VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 188READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 191EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . 194VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . 205PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . 229READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 234EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 243SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . 256READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 266EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . 286LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . 299

Version 1.33

CONTENTS xi

NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . 302READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 308EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . 330LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . 330COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 336READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 351EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355

O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . 361IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . 379READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 387EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391

Chapter M Matrices 393MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

Version 1.33

CONTENTS xii

MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . 394VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 398TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . 401MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . 406AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 410READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 412EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418

MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . 419MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . 427MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . 430PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . 433HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 443READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 447EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . 457IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . 464PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . 474READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 479EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

Version 1.33

CONTENTS xiii

SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . 491

NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . 491UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 506EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510

CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 511CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . 512CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . 517CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . 522RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 526READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 539EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550

FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . 561EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . 567FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 592EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598

Version 1.33

CONTENTS xiv

M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606

Chapter VS Vector Spaces 608VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . 612VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 623RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 630READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 631EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634

S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . 662READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 663EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 667

LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . 673LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 693READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 697

Version 1.33

CONTENTS xv

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702

B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . 718BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . 722OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . 725READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 734EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736

D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . 749RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . 753RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . 757READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 760EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765

PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770GT Goldilocks’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 770RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . 779DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . 781DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 783

Version 1.33

CONTENTS xvi

READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 794EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 798VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800

Chapter D Determinants 802DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 803

EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 803DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . 813CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . 816READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 825EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 828

PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . 830DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . 830DROEM Determinants, Row Operations, Elementary Matrices . . . . . . 841DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . 845READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 851EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 852SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855

Chapter E Eigenvalues 857

Version 1.33

CONTENTS xvii

EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . 858EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . 858PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . 862EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . 865CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . 873ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . 880READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 895EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899

PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . 907ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 919EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . 926READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 929EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 930SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . 935SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 935PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . 938D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943FS Fibonacci Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . 960READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 965EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 966SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969

Version 1.33

CONTENTS xviii

E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 976

Chapter LT Linear Transformations 978LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 979LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . . . . . . 988MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . 990LTLC Linear Transformations and Linear Combinations . . . . . . . . . 999PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1008NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . 1012READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1021EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1022SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1026

ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 1031EILT Examples of Injective Linear Transformations . . . . . . . . . . . . 1032KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . 1040ILTLI Injective Linear Transformations and Linear Independence . . . . 1050ILTD Injective Linear Transformations and Dimension . . . . . . . . . . 1053CILT Composition of Injective Linear Transformations . . . . . . . . . . 1055READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1056EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1057SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1060

SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 1065

Version 1.33

CONTENTS xix

ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . 1066RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . 1074SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . 1084SLTD Surjective Linear Transformations and Dimension . . . . . . . . . 1089CSLT Composition of Surjective Linear Transformations . . . . . . . . . 1090READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1092EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1093SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1096

IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . 1101IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . 1101IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1109SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . 1117RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . 1121SLELT Systems of Linear Equations and Linear Transformations . . . . . 1128READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1132EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1137LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 1145

Chapter R Representations 1149VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1150

CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . 1161CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . 1164

Version 1.33

CONTENTS xx

READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1170EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1171SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1173

MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1175NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . 1189PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . 1199IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . 1210READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1219EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1220SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1225

CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1243EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . 1243CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . 1246MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . 1259CELT Computing Eigenvectors of Linear Transformations . . . . . . . . 1273READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 1290EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1292SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1294

OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . 1302TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 1302UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . 1306NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1314OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . 1316

Version 1.33

CONTENTS xxi

NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 1323NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . 1324PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . 1336CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . 1346

IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1363IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1363GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . 1372RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . 1382

JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1403GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . 1404JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . 1418CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . 1449R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1451

Appendix CN Computation Notes 1456MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457

ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1458LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1458VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . 1459NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1460VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . 1462GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . 1464

Version 1.33

CONTENTS xxii

TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . 1466MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . 1466MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . 1467

TI86 Texas Instruments 86 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1468ME.TI86 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1468RR.TI86 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1469VLC.TI86 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . 1470TM.TI86 Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 1471

TI83 Texas Instruments 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1471ME.TI83 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1471RR.TI83 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1472VLC.TI83 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . 1473

Appendix P Preliminaries 1474CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . 1475

CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . 1475CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . 1479MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . 1481

SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1483SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1487SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1488

PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1492D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1492

Version 1.33

CONTENTS xxiii

T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1494L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1495GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1497C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1499E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1499N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1501CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1502CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1503CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1504U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1506ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . 1506PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1507DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1509I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1510P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1513LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . 1514

Appendix A Archetypes 1517A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1522B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1532C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1542D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1550E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1558

Version 1.33

CONTENTS xxiv

F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1566G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1577H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1585I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1594J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1603K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1614L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1622M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1630N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1635O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1640P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1646Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1651R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1659S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1665T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1670U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1674V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1679W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1683X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1688

Appendix GFDL GNU Free Documentation License 16941. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . 16952. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1698

Version 1.33

CONTENTS xxv

3. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . 16984. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16995. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . 17036. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . 17037. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . 17048. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17049. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170510. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . 1705ADDENDUM: How to use this License for your documents . . . . . . . . . . . 1706

Part T Topics

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1709F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1710FF Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1713EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1721SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1724

T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1725EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1733SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1735

HP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1737DMHP Diagonal Matrices and the Hadamard Product . . . . . . . . . . 1743

Version 1.33

CONTENTS xxvi

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1748VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1750PSM Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . . . . 1758

PSM Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . 1758EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1764

Chapter MD Matrix Decompositions 1765ROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 1767TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 1776

TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 1776TDSSE Triangular Decomposition and Solving Systems of Equations . . 1783CTD Computing Triangular Decompositions . . . . . . . . . . . . . . . . 1786

SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 1793MAP Matrix-Adjoint Product . . . . . . . . . . . . . . . . . . . . . . . . 1794SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . 1802

SR Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1805SRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 1806

POD Polar Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1814

Part A Applications

CF Curve Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1819

Version 1.33

CONTENTS xxvii

DF Data Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1821EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1827

SAS Sharing A Secret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1828

Version 1.33

Contributors

Beezer, David. St. Charles Borromeo School

Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/

Bucht, Sara. University of Puget Sound

Canfield, Steve. University of Puget Sound

Fellez, Sarah. University of Puget Sound

Fickenscher, Eric. University of Puget Sound

Jackson, Martin. University of Puget Sound http://www.math.ups.edu/m̃artinj

Linenthal, Jacob. University of Puget Sound

Million, Elizabeth. University of Puget Sound

Osborne, Travis. University of Puget Sound

Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com

xxviii

CONTRIBUTORS xxix

Phelps, Douglas. University of Puget Sound

Shoemaker, Mark. University of Puget Sound

Zimmer, Andy. University of Puget Sound

Version 1.33

Definitions

Section WILASection SSLE

SLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . 18

ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Section RREF

M Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

xxx

DEFINITIONS xxxi

SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52LSMR Matrix Representation of a Linear System . . . . . . . . . . . . . . . . 53AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 57RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . 61RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . 114

Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . 134TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . 136NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 140

Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

Section VO

Version 1.33

DEFINITIONS xxxii

VSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . 181CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . 182CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . 184CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . 186

Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . 194

Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . 243

Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . 286LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . 287

Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . 362IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 375SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Version 1.33

DEFINITIONS xxxiii

ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Section MOVSM Vector Space of m× n Matrices . . . . . . . . . . . . . . . . . . . . . 394ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . 396ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 401SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . 406A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

Section MMMVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . 420MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 427HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444

Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460

Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498

Version 1.33

DEFINITIONS xxxiv

Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 511RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 527

Section FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . 568

Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652

Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . 674LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . 685

Version 1.33

DEFINITIONS xxxv

Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710

Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754

Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784

Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 814

Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . 858CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . 873EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 876AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . 881GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . 881

Version 1.33

DEFINITIONS xxxvi

Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 935DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 943

Section LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 979PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1008LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . 1012LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . 1015LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . 1018

Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 1031KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 1041

Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . 1065RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 1074

Section IVLT

Version 1.33

DEFINITIONS xxxvii

IDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 1101IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . 1102IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 1118ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 1121NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 1122

Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . 1150

Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . 1175

Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . 1244CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 1247

Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 1303LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 1303NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1315

Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . 1325

Version 1.33

DEFINITIONS xxxviii

JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1329

Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1364GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . 1372GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . 1372LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . 1382IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . 1396

Section JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . 1418

Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . 1477CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . 1477CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . 1477CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . 1479MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . 1482

Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1483SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1484ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1484

Version 1.33

DEFINITIONS xxxix

SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1485C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1487SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1488SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1489SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1489

Section PTSection FF Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1710IMP Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . 1713

Section TT Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1725

Section HPHP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1737HID Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1739HI Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1740

Section VMVM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 1750

Section PSM

Version 1.33

DEFINITIONS xl

PSM Positive Semi-Definite Matrix . . . . . . . . . . . . . . . . . . . . . . . 1758

Section RODSection TDSection SVDSV Singular Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1802

Section SRSRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 1813

Section PODSection CFLSS Least Squares Solution . . . . . . . . . . . . . . . . . . . . . . . . . . 1823

Section SAS

Version 1.33

Theorems

Section WILASection SSLE

EOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . . 23

Section RREF

REMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . 58

REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . . 63

RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . . 67

Section TSS

RCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . . 116

ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . 118

xli

THEOREMS xlii

CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . 119FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . 120PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . 122CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . 123

Section HSEHSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . 135HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . 139

Section NMNMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . 158NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . 161NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . 162NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . 163

Section VOVSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . 188

Section LCSLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . 202VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . . 217PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . 229

Version 1.33

THEOREMS xliii

Section SSSSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . 256

Section LILIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . 292LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . 295MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . 298NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . 300NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . 301BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

Section LDSDLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . 331BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

Section OCRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . 362CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . 363IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . 366IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . 367IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . 369IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . 372PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . 372

Version 1.33

THEOREMS xliv

OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . 378GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . 379

Section MOVSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . 398SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . 403TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . 404TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . 404TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . 405CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . . 407CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . . 408CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . 408MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . 409AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . 410AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . 411AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

Section MMSLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . 421EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . . 425EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . 430MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . 433MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . . 434

Version 1.33

THEOREMS xlv

MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . 435MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . 436MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . . 437MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . . 439MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . 440MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . 441MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . 442AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . 444HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . 445

Section MISLETTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . 464CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . . 471MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . 474SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . 476MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . . 477MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . 478

Section MINMNPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . 492OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . 494NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . 495

Version 1.33

THEOREMS xlvi

NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . 496SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . 497UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . 500CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . 501UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . 503

Section CRSCSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . 514BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . 519CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . 524NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . 525REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . 530BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . 533CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . 536

Section FSPEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . 570FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574

Section VSZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . 624AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . 624ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . 625

Version 1.33

THEOREMS xlvii

ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . 626AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . 627SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . 628

Section STSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . . 641NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . 648SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . 652CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . 662RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . 662LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . 663

Section LISSVRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . 694

Section BSUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . 712CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . 722NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . 724COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . 726UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . . 731

Section D

Version 1.33

THEOREMS xlviii

SSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . . 741BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . 748DCM Dimension of Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749DP Dimension of Pn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749DM Dimension of Mmn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . 755RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . . 756RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . 758NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . 759

Section PDELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . 770G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 772PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . 777EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . 778RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . 779DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . 781DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . 785DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . 787DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . 788DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . 789DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . 790DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . 792

Version 1.33

THEOREMS xlix

RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . 793

Section DMEMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . 806EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . 811NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . 812DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . 816DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . 817DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . 819DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . 820

Section PDMDZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . 830DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . 831DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . 833DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . 834DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . 835DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . 841DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . 843DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . 844SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . . 846NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . 847DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . 849

Version 1.33

THEOREMS l

Section EEEMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . 866EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . 875EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . 876EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . . 878

Section PEEEDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . 907SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . . 909NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . 910ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . . 911EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . 912EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . . 913EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . 915ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . 917ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . 918DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . 919NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . 921ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . 922MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . 925HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . . 926HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . 928

Version 1.33

THEOREMS li

Section SDSER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . . 939SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . . 941DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . 945DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . 950DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . 954

Section LTLTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . 987MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . 993MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . 996LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . 1000LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . 1001SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . 1013MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . 1015VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . 1017CLTLT Composition of Linear Transformations is a Linear Transformation . . 1018

Section ILTKLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . 1043KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . 1046KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . 1047

Version 1.33

THEOREMS lii

ILTLI Injective Linear Transformations and Linear Independence . . . . . . . 1051ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . 1052ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . 1053CILTI Composition of Injective Linear Transformations is Injective . . . . . . 1055

Section SLTRLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . 1077RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . 1081SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . 1084RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . 1087SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . 1088SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . 1089CSLTS Composition of Surjective Linear Transformations is Surjective . . . . 1091

Section IVLTILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . . 1107IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . 1108ILTIS Invertible Linear Transformations are Injective and Surjective . . . . . 1109CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . . 1115ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . 1115IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . 1120ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . . 1122NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . . 1123

Version 1.33

THEOREMS liii

RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . . 1123

Section VRVRLT Vector Representation is a Linear Transformation . . . . . . . . . . . . 1151VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . 1159VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . . 1160VRILT Vector Representation is an Invertible Linear Transformation . . . . . 1161CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . 1161IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . . 1163CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . 1164CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . 1165

Section MRFTMR Fundamental Theorem of Matrix Representation . . . . . . . . . . . . 1182MRSLT Matrix Representation of a Sum of Linear Transformations . . . . . . 1189MRMLT Matrix Representation of a Multiple of a Linear Transformation . . . . 1190MRCLT Matrix Representation of a Composition of Linear Transformations . . 1191KNSI Kernel and Null Space Isomorphism . . . . . . . . . . . . . . . . . . . 1200RCSI Range and Column Space Isomorphism . . . . . . . . . . . . . . . . . 1206IMR Invertible Matrix Representations . . . . . . . . . . . . . . . . . . . . 1211IMILT Invertible Matrices, Invertible Linear Transformation . . . . . . . . . . 1215NME9 Nonsingular Matrix Equivalences, Round 9 . . . . . . . . . . . . . . . 1217

Version 1.33

THEOREMS liv

Section CBCB Change-of-Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247ICBM Inverse of Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . 1248MRCB Matrix Representation and Change of Basis . . . . . . . . . . . . . . . 1259SCB Similarity and Change of Basis . . . . . . . . . . . . . . . . . . . . . . 1265EER Eigenvalues, Eigenvectors, Representations . . . . . . . . . . . . . . . 1272

Section ODPTMT Product of Triangular Matrices is Triangular . . . . . . . . . . . . . . 1303ITMT Inverse of a Triangular Matrix is Triangular . . . . . . . . . . . . . . . 1304UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . 1306OBUTR Orthonormal Basis for Upper Triangular Representation . . . . . . . . 1311OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . 1316OBNM Orthonormal Bases and Normal Matrices . . . . . . . . . . . . . . . . 1321

Section NLTNJB Nilpotent Jordan Blocks . . . . . . . . . . . . . . . . . . . . . . . . . . 1335ENLT Eigenvalues of Nilpotent Linear Transformations . . . . . . . . . . . . 1336DNLT Diagonalizable Nilpotent Linear Transformations . . . . . . . . . . . . 1337KPLT Kernels of Powers of Linear Transformations . . . . . . . . . . . . . . 1338KPNLT Kernels of Powers of Nilpotent Linear Transformations . . . . . . . . . 1341CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . 1346

Version 1.33

THEOREMS lv

Section ISEIS Eigenspaces are Invariant Subspaces . . . . . . . . . . . . . . . . . . . 1367KPIS Kernels of Powers are Invariant Subspaces . . . . . . . . . . . . . . . . 1369GESIS Generalized Eigenspace is an Invariant Subspace . . . . . . . . . . . . 1373GEK Generalized Eigenspace as a Kernel . . . . . . . . . . . . . . . . . . . 1375RGEN Restriction to Generalized Eigenspace is Nilpotent . . . . . . . . . . . 1395MRRGE Matrix Representation of a Restriction to a Generalized Eigenspace . . 1401

Section JCFGESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . 1404DGES Dimension of Generalized Eigenspaces . . . . . . . . . . . . . . . . . . 1417JCFLT Jordan Canonical Form for a Linear Transformation . . . . . . . . . . 1419CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . 1449

Section CNOPCNA Properties of Complex Number Arithmetic . . . . . . . . . . . . . . . 1477CCRA Complex Conjugation Respects Addition . . . . . . . . . . . . . . . . 1480CCRM Complex Conjugation Respects Multiplication . . . . . . . . . . . . . 1480CCT Complex Conjugation Twice . . . . . . . . . . . . . . . . . . . . . . . 1481

Section SETSection PTSection F

Version 1.33

THEOREMS lvi

FIMP Field of Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . 1713

Section TTL Trace is Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1726TSRM Trace is Symmetric with Respect to Multiplication . . . . . . . . . . . 1727TIST Trace is Invariant Under Similarity Transformations . . . . . . . . . . 1728TSE Trace is the Sum of the Eigenvalues . . . . . . . . . . . . . . . . . . . 1729

Section HPHPC Hadamard Product is Commutative . . . . . . . . . . . . . . . . . . . 1738HPHID Hadamard Product with the Hadamard Identity . . . . . . . . . . . . 1739HPHI Hadamard Product with Hadamard Inverses . . . . . . . . . . . . . . . 1740HPDAA Hadamard Product Distributes Across Addition . . . . . . . . . . . . 1741HPSMM Hadamard Product and Scalar Matrix Multiplication . . . . . . . . . . 1742DMHP Diagonalizable Matrices and the Hadamard Product . . . . . . . . . . 1743DMMP Diagonal Matrices and Matrix Products . . . . . . . . . . . . . . . . . 1745

Section VMDVM Determinant of a Vandermonde Matrix . . . . . . . . . . . . . . . . . 1751NVM Nonsingular Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . 1757

Section PSMCPSM Creating Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . 1759

Version 1.33

THEOREMS lvii

EPSM Eigenvalues of Positive Semi-definite Matrices . . . . . . . . . . . . . . 1760

Section RODROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . 1767

Section TDTD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . 1777TDEE Triangular Decomposition, Entry by Entry . . . . . . . . . . . . . . . 1787

Section SVDEEMAP Eigenvalues and Eigenvectors of Matrix-Adjoint Product . . . . . . . . 1794SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . 1803

Section SRPSMSR Positive Semi-Definite Matrices and Square Roots . . . . . . . . . . . 1806EESR Eigenvalues and Eigenspaces of a Square Root . . . . . . . . . . . . . 1809USR Unique Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1812

Section PODPDM Polar Decomposition of a Matrix . . . . . . . . . . . . . . . . . . . . . 1815

Section CFIP Interpolating Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . 1819

Version 1.33

THEOREMS lviii

LSMR Least Squares Minimizes Residuals . . . . . . . . . . . . . . . . . . . . 1823

Section SAS

Version 1.33

Notation

M A: Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

MC [A]ij: Matrix Components . . . . . . . . . . . . . . . . . . . . . . . . . 48

CV v: Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

CVC [v]i: Column Vector Components . . . . . . . . . . . . . . . . . . . . . 49

ZCV 0: Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . 50

LSMR LS(A, b): Matrix Representation of a Linear System . . . . . . . . . . 53AM [A | b]: Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . 54RO Ri ↔ Rj, αRi, αRi +Rj: Row Operations . . . . . . . . . . . . . . . . 57RREFA r, D, F : Reduced Row-Echelon Form Analysis . . . . . . . . . . . . . 61

NSM N (A): Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 140IM Im: Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

VSCV Cm: Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . 181

lix

NOTATION lx

CVE u = v: Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . 182CVA u + v: Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . 184CVSM αu: Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . 186SSV 〈S〉: Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . 244CCCV u: Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . 362IP 〈u, v〉: Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . 364NV ‖v‖: Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . 370SUV ei: Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 376VSM Mmn: Vector Space of Matrices . . . . . . . . . . . . . . . . . . . . . . 394ME A = B: Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . 395MA A+B: Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . 395MSM αA: Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 396ZM O: Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401TM At: Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 401CCM A: Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . 406A A∗: Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410MVP Au: Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . 420MI A−1: Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460CSM C(A): Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . 511RSM R(A): Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 527LNS L(A): Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . 558D dim (V ): Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740NOM n (A): Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 754

Version 1.33

NOTATION lxi

ROM r (A): Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 754DS V = U ⊕W : Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . 784ELEM Ei,j, Ei (α), Ei,j (α): Elementary Matrix . . . . . . . . . . . . . . . . . 805SM A (i|j): SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813DM det (A), |A|: Determinant of a Matrix . . . . . . . . . . . . . . . . . . 814LT T : U 7→ V : Linear Transformation . . . . . . . . . . . . . . . . . . . . 980KLT K(T ): Kernel of a Linear Transformation . . . . . . . . . . . . . . . . 1041RLT R(T ): Range of a Linear Transformation . . . . . . . . . . . . . . . . 1074ROLT r (T ): Rank of a Linear Transformation . . . . . . . . . . . . . . . . . 1122NOLT n (T ): Nullity of a Linear Transformation . . . . . . . . . . . . . . . . 1122VR ρB (w): Vector Representation . . . . . . . . . . . . . . . . . . . . . . 1150MR MTB,C : Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . 1175JB Jn (λ): Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1329GES GT (λ): Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . 1373LTR T |U : Linear Transformation Restriction . . . . . . . . . . . . . . . . . 1382IE ιT (λ): Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 1396CNE α = β: Complex Number Equality . . . . . . . . . . . . . . . . . . . . 1477CNA α + β: Complex Number Addition . . . . . . . . . . . . . . . . . . . . 1477CNM αβ: Complex Number Multiplication . . . . . . . . . . . . . . . . . . . 1477CCN c: Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . 1479SETM x ∈ S: Set Membership . . . . . . . . . . . . . . . . . . . . . . . . . . 1483SSET S ⊆ T : Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1484ES ∅: Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1484

Version 1.33

NOTATION lxii

SE S = T : Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1485C |S|: Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1487SU S ∪ T : Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1488SI S ∩ T : Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . 1489SC S: Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1490T t (A): Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1725HP A ◦B: Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . 1737HID Jmn: Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . . 1739HI Â: Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . 1740SRM A1/2: Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . 1813

Version 1.33

List of Figures

lxiii

Examples

Section WILA

TMP Trail Mix Packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Section SSLE

STNE Solving two (nonlinear) equations . . . . . . . . . . . . . . . . . . . . 16

NSE Notation for a system of equations . . . . . . . . . . . . . . . . . . . . 18

TTS Three typical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

US Three equations, one solution . . . . . . . . . . . . . . . . . . . . . . . 28

IS Three equations, infinitely many solutions . . . . . . . . . . . . . . . . 30

Section RREF

AM A matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

lxiv

EXAMPLES lxv

NSLE Notation for systems of linear equations . . . . . . . . . . . . . . . . . 53AMAA Augmented matrix for Archetype A . . . . . . . . . . . . . . . . . . . 55TREM Two row-equivalent matrices . . . . . . . . . . . . . . . . . . . . . . . 57USR Three equations, one solution, reprised . . . . . . . . . . . . . . . . . . 59RREF A matrix in reduced row-echelon form . . . . . . . . . . . . . . . . . . 62NRREF A matrix not in reduced row-echelon form . . . . . . . . . . . . . . . . 62SAB Solutions for Archetype B . . . . . . . . . . . . . . . . . . . . . . . . . 76SAA Solutions for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . 78SAE Solutions for Archetype E . . . . . . . . . . . . . . . . . . . . . . . . . 80

Section TSSRREFN Reduced row-echelon form notation . . . . . . . . . . . . . . . . . . . 109ISSI Describing infinite solution sets, Archetype I . . . . . . . . . . . . . . 111FDV Free and dependent variables . . . . . . . . . . . . . . . . . . . . . . . 114CFV Counting free variables . . . . . . . . . . . . . . . . . . . . . . . . . . 120OSGMD One solution gives many, Archetype D . . . . . . . . . . . . . . . . . . 123

Section HSEAHSAC Archetype C as a homogeneous system . . . . . . . . . . . . . . . . . . 135HUSAB Homogeneous, unique solution, Archetype B . . . . . . . . . . . . . . . 136HISAA Homogeneous, infinite solutions, Archetype A . . . . . . . . . . . . . . 137HISAD Homogeneous, infinite solutions, Archetype D . . . . . . . . . . . . . . 138NSEAI Null space elements of Archetype I . . . . . . . . . . . . . . . . . . . . 141

Version 1.33

EXAMPLES lxvi

CNS1 Computing a null space, #1 . . . . . . . . . . . . . . . . . . . . . . . . 142CNS2 Computing a null space, #2 . . . . . . . . . . . . . . . . . . . . . . . . 144

Section NMS A singular matrix, Archetype A . . . . . . . . . . . . . . . . . . . . . 156NM A nonsingular matrix, Archetype B . . . . . . . . . . . . . . . . . . . 156IM An identity matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157SRR Singular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . . . 158NSR Nonsingular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . 159NSS Null space of a singular matrix . . . . . . . . . . . . . . . . . . . . . . 160NSNM Null space of a nonsingular matrix . . . . . . . . . . . . . . . . . . . . 161

Section VOVESE Vector equality for a system of equations . . . . . . . . . . . . . . . . 183VA Addition of two vectors in C4 . . . . . . . . . . . . . . . . . . . . . . . 185CVSM Scalar multiplication in C5 . . . . . . . . . . . . . . . . . . . . . . . . 187

Section LCTLC Two linear combinations in C6 . . . . . . . . . . . . . . . . . . . . . . 195ABLC Archetype B as a linear combination . . . . . . . . . . . . . . . . . . . 198AALC Archetype A as a linear combination . . . . . . . . . . . . . . . . . . . 200VFSAD Vector form of solutions for Archetype D . . . . . . . . . . . . . . . . 205VFS Vector form of solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 210

Version 1.33

EXAMPLES lxvii

VFSAI Vector form of solutions for Archetype I . . . . . . . . . . . . . . . . . 221VFSAL Vector form of solutions for Archetype L . . . . . . . . . . . . . . . . . 225PSHS Particular solutions, homogeneous solutions, Archetype D . . . . . . . 231

Section SSABS A basic span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244SCAA Span of the columns of Archetype A . . . . . . . . . . . . . . . . . . . 248SCAB Span of the columns of Archetype B . . . . . . . . . . . . . . . . . . . 252SSNS Spanning set of a null space . . . . . . . . . . . . . . . . . . . . . . . . 258NSDS Null space directly as a span . . . . . . . . . . . . . . . . . . . . . . . 260SCAD Span of the columns of Archetype D . . . . . . . . . . . . . . . . . . . 263

Section LILDS Linearly dependent set in C5 . . . . . . . . . . . . . . . . . . . . . . . 287LIS Linearly independent set in C5 . . . . . . . . . . . . . . . . . . . . . . 290LIHS Linearly independent, homogeneous system . . . . . . . . . . . . . . . 292LDHS Linearly dependent, homogeneous system . . . . . . . . . . . . . . . . 294LDRN Linearly dependent, r < n . . . . . . . . . . . . . . . . . . . . . . . . . 296LLDS Large linearly dependent set in C4 . . . . . . . . . . . . . . . . . . . . 297LDCAA Linearly dependent columns in Archetype A . . . . . . . . . . . . . . . 299LICAB Linearly independent columns in Archetype B . . . . . . . . . . . . . . 299LINSB Linear independence of null space basis . . . . . . . . . . . . . . . . . 302NSLIL Null space spanned by linearly independent set, Archetype L . . . . . 307

Version 1.33

EXAMPLES lxviii

Section LDSRSC5 Reducing a span in C5 . . . . . . . . . . . . . . . . . . . . . . . . . . . 332COV Casting out vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336RSSC4 Reducing a span in C4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 346RES Reworking elements of a span . . . . . . . . . . . . . . . . . . . . . . . 348

Section OCSIP Computing some inner products . . . . . . . . . . . . . . . . . . . . . 364CNSV Computing the norm of some vectors . . . . . . . . . . . . . . . . . . . 370TOV Two orthogonal vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 374SUVOS Standard Unit Vectors are an Orthogonal Set . . . . . . . . . . . . . . 376AOS An orthogonal set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376GSTV Gram-Schmidt of three vectors . . . . . . . . . . . . . . . . . . . . . . 383ONTV Orthonormal set, three vectors . . . . . . . . . . . . . . . . . . . . . . 384ONFV Orthonormal set, four vectors . . . . . . . . . . . . . . . . . . . . . . . 385

Section MOMA Addition of two matrices in M23 . . . . . . . . . . . . . . . . . . . . . 396MSM Scalar multiplication in M32 . . . . . . . . . . . . . . . . . . . . . . . . 397TM Transpose of a 3× 4 matrix . . . . . . . . . . . . . . . . . . . . . . . . 401SYM A symmetric 5× 5 matrix . . . . . . . . . . . . . . . . . . . . . . . . . 403CCM Complex conjugate of a matrix . . . . . . . . . . . . . . . . . . . . . . 406

Version 1.33

EXAMPLES lxix

Section MMMTV A matrix times a vector . . . . . . . . . . . . . . . . . . . . . . . . . . 420MNSLE Matrix notation for systems of linear equations . . . . . . . . . . . . . 422MBC Money’s best cities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423PTM Product of two matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 427MMNC Matrix multiplication is not commutative . . . . . . . . . . . . . . . . 429PTMEE Product of two matrices, entry-by-entry . . . . . . . . . . . . . . . . . 431

Section MISLESABMI Solutions to Archetype B with a matrix inverse . . . . . . . . . . . . . 457MWIAA A matrix without an inverse, Archetype A . . . . . . . . . . . . . . . . 460MI Matrix inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461CMI Computing a matrix inverse . . . . . . . . . . . . . . . . . . . . . . . . 467CMIAB Computing a matrix inverse, Archetype B . . . . . . . . . . . . . . . . 472

Section MINMUM3 Unitary matrix of size 3 . . . . . . . . . . . . . . . . . . . . . . . . . . 498UPM Unitary permutation matrix . . . . . . . . . . . . . . . . . . . . . . . 499OSMC Orthonormal set from matrix columns . . . . . . . . . . . . . . . . . . 502

Section CRSCSMCS Column space of a matrix and consistent systems . . . . . . . . . . . . 512

Version 1.33

EXAMPLES lxx

MCSM Membership in the column space of a matrix . . . . . . . . . . . . . . 515CSTW Column space, two ways . . . . . . . . . . . . . . . . . . . . . . . . . . 517CSOCD Column space, original columns, Archetype D . . . . . . . . . . . . . . 520CSAA Column space of Archetype A . . . . . . . . . . . . . . . . . . . . . . 522CSAB Column space of Archetype B . . . . . . . . . . . . . . . . . . . . . . . 524RSAI Row space of Archetype I . . . . . . . . . . . . . . . . . . . . . . . . . 527RSREM Row spaces of two row-equivalent matrices . . . . . . . . . . . . . . . 532IAS Improving a span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535CSROI Column space from row operations, Archetype I . . . . . . . . . . . . 537

Section FSLNS Left null space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559CSANS Column space as null space . . . . . . . . . . . . . . . . . . . . . . . . 561SEEF Submatrices of extended echelon form . . . . . . . . . . . . . . . . . . 568FS1 Four subsets, #1 . . . . . . . . . . . . . .