A First Course in Linear Algebra

A First Course in Linear Algebra

byRobert A. Beezer

Department of Mathematics and Computer ScienceUniversity of Puget Sound

Version 2.30

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where hehas been on the faculty since 1984. He received a B.S. in Mathematics (with an Emphasisin Computer Science) from the University of Santa Clara in 1978, a M.S. in Statisticsfrom the University of Illinois at Urbana-Champaign in 1982 and a Ph.D. in Mathematicsfrom the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linearalgebra and abstract algebra regularly, while his research interests include the applicationsof linear algebra to graph theory. His professional website is at http://buzzard.ups.edu.

EditionVersion 2.30.December 23, 2011.

PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USA

c© 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the termsof the GNU Free Documentation License, Version 1.2 or any later version published bythe Free Software Foundation; with no Invariant Sections, no Front-Cover Texts, and noBack-Cover Texts. A copy of the license is included in the appendix entitled “GNU FreeDocumentation License”.

The most recent version of this work can always be found at http://linear.ups.edu.

http://buzzard.ups.eduhttp://linear.ups.edu

To my wife, Pat.

Contents

Table of Contents vi

Contributors vii

Definitions viii

Theorems ix

Notation x

Diagrams xi

Examples xii

Preface xiii

Acknowledgements xx

Part C Core

Chapter SLE Systems of Linear Equations 2WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . 2

LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . . . . . . . . 2AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 8EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . 11SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . 11PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . 13ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . 14READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 21

vi

CONTENTS vii

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . 30MVNSE Matrix and Vector Notation for Systems of Equations . . . . . 30RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . 37READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 50EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 74EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . 84SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . 84NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 87READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 90EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 99NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . 102READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 105EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . 114

Chapter V Vectors 115VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . 116VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 119READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 121EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . 128VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . 133PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . 146READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 149EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

Version 2.30

CONTENTS viii

SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . 155SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . 162READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 167EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . 181LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . 187NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . 189READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 192EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . 208LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . 208COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 211READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 219EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . 225IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 232GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . 235READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 239EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Chapter M Matrices 243MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . 243VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 245TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . 247MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . 250AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 252READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 253EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . 263MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Version 2.30

CONTENTS ix

MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . 269PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . 270HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 276READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 278EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . 288IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . 291PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . 297READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 300EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . 308NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . 308UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 316EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 321CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . 321CSSOC Column Space Spanned by Original Columns . . . . . . . . . . 325CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . 327RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 330READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 337EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343

FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . 349EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . 353FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 366EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Chapter VS Vector Spaces 377VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . 379VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . 385RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . 389

Version 2.30

CONTENTS x

READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 390EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . 410READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 411EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414

LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . 419LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . 419SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 429READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 431EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436

B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . 447BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . 449OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . 451READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 456EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459

D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . 470RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . 472RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . 474READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 476EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480

PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484GT Goldilocks’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . 484RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . 489DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . 490DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 497EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503

Version 2.30

CONTENTS xi

Chapter D Determinants 505DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 505

EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 505DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . 511CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . 513READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 517EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522

PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . 526DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . 526DROEM Determinants, Row Operations, Elementary Matrices . . . . . 532DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . 534READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 537EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 538SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540

Chapter E Eigenvalues 541EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . 541

EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . 542PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . 544EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . 545CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . 550ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . 554READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 562EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566

PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . 573ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . 579EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . 583READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 585EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 587

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . 589SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . 591D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593FS Fibonacci Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . 602READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 605EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612

Version 2.30

CONTENTS xii

Chapter LT Linear Transformations 613LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 614LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . . . . . 619MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . 620LTLC Linear Transformations and Linear Combinations . . . . . . . . . 625PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . 632READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 637EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641

ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 645EILT Examples of Injective Linear Transformations . . . . . . . . . . . . 645KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . 650ILTLI Injective Linear Transformations and Linear Independence . . . . 655ILTD Injective Linear Transformations and Dimension . . . . . . . . . . 657CILT Composition of Injective Linear Transformations . . . . . . . . . . 657READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 658EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662

SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 667ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . 667RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . 672SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . 677SLTD Surjective Linear Transformations and Dimension . . . . . . . . . 680CSLT Composition of Surjective Linear Transformations . . . . . . . . . 680READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 681EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685

IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . 691IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . 691IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . 699RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . 702SLELT Systems of Linear Equations and Linear Transformations . . . . 706READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 708EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 717

Chapter R Representations 719VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719

CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . 726

Version 2.30

CONTENTS xiii

CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . 727READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 730EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733

MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . 741PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . 747IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . 753READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 758EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763

CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . 773CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . 774MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . 781CELT Computing Eigenvectors of Linear Transformations . . . . . . . . 789READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . 798EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800

OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . 804TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 804UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . 806NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . 811

NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 816NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . 816PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . 823CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . 828

IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . 843RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . 848EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860

JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 861GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . 861JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . 869CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . 885R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886

Appendix CN Computation Notes 889MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889

ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . 889RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890

Version 2.30

CONTENTS xiv

LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . 890VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . 890NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 891VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . 892GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . 893TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . 894MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . 894MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . 894

TI86 Texas Instruments 86 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895ME.TI86 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895RR.TI86 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895VLC.TI86 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . 896TM.TI86 Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 896

TI83 Texas Instruments 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 897ME.TI83 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 897RR.TI83 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . 897VLC.TI83 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . 897

SAGE SAGE: Open Source Mathematics Software . . . . . . . . . . . . . . . 898R.SAGE Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 898ME.SAGE Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . 899RR.SAGE Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . 899LS.SAGE Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901VLC.SAGE Vector Linear Combinations . . . . . . . . . . . . . . . . . . 901MI.SAGE Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . 902TM.SAGE Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . 902E.SAGE Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 902

Appendix P Preliminaries 904CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . 904

CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . 905CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . 907MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . 908

SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911

PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 918N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919

Version 2.30

CONTENTS xv

CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . 922PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 922DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 923I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 924P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . 926

Appendix A Archetypes 928A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 944D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 949E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 954F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 959G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 966H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 976J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 981K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 987L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 996N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 999O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1002P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1005Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1008R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1012S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1016T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1019U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1021V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1024W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1027X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1030

Appendix GFDL GNU Free Documentation License 10331. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . 10332. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10353. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . 10354. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10365. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . 1038

Version 2.30

CONTENTS xvi

6. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . 10387. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . 10388. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10399. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103910. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . 1039ADDENDUM: How to use this License for your documents . . . . . . . . . . 1039

Part T Topics

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1042F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1042FF Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1044EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1049SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1051

T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1057SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1058

HP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1060DMHP Diagonal Matrices and the Hadamard Product . . . . . . . . . . 1063EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1066

VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1067PSM Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . . . . 1072

PSM Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . 1072EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1075

Chapter MD Matrix Decompositions 1076ROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 1077TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 1082

TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 1082TDSSE Triangular Decomposition and Solving Systems of Equations . . 1086CTD Computing Triangular Decompositions . . . . . . . . . . . . . . . 1087

SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 1092MAP Matrix-Adjoint Product . . . . . . . . . . . . . . . . . . . . . . . . 1092SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . 1097

SR Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1099SRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 1099

POD Polar Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104

Part A Applications

CF Curve Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1107

Version 2.30

CONTENTS xvii

DF Data Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1108EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1111

SAS Sharing A Secret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1112

Version 2.30

Contributors

Beezer, David. Belarmine Preparatory School, Tacoma

Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/

Black, Chris.

Braithwaite, David. Chicago, Illinois

Bucht, Sara. University of Puget Sound

Canfield, Steve. University of Puget Sound

Hubert, Dupont. Créteil, France

Fellez, Sarah. University of Puget Sound

Fickenscher, Eric. University of Puget Sound

Jackson, Martin. University of Puget Sound http://www.math.ups.edu/˜martinj

Kessler, Ivan. University of Puget Sound

Kreher, Don. Michigan Technological University http://www.math.mtu.edu/˜kreher/

Hamrick, Mark. St. Louis University

Linenthal, Jacob. University of Puget Sound

Million, Elizabeth. University of Puget Sound

Osborne, Travis. University of Puget Sound

Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com

Perkel, Manley. University of Puget Sound

Phelps, Douglas. University of Puget Sound

Shoemaker, Mark. University of Puget Sound

Toth, Zoltan. http://zoli.web.elte.hu

Zimmer, Andy. University of Puget Sound

xviii

Definitions

Section WILASection SSLESLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . 12SSLE Solution of a System of Linear Equations . . . . . . . . . . . . . . . . 12SSSLE Solution Set of a System of Linear Equations . . . . . . . . . . . . . . 12ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Section RREFM Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32MRLS Matrix Representation of a Linear System . . . . . . . . . . . . . . . 33AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 35RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . 37RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . 67

Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . 84TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . 85NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 87

xix

DEFINITIONS xx

Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Section VOVSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . 115CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . 116CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . 117CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . 118

Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . 128

Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . 155

Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . 181LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . 181

Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . 225IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . 232SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 233ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

Section MOVSM Vector Space of m× n Matrices . . . . . . . . . . . . . . . . . . . . . 243ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . 244ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 247SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . 250A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

Section MM

Version 2.30

DEFINITIONS xxi

MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . 263MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 267HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 321RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 330

Section FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . 353

Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . 419LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . 420TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . 425

Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473

Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

Version 2.30

DEFINITIONS xxii

Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 505SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 511

Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . 542CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . 550EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 551AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . 554GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . 554

Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 593

Section LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 614PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . 632LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . 633LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . 635

Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . 645KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 650

Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . 667RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 672

Section IVLTIDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 691IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . 691IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 700ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . 702NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . 702

Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . 719

Version 2.30

DEFINITIONS xxiii

Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 734

Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . 773CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 775

Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 804LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 804NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811

Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . 817JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819

Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . 843GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . 843LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . 848IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . 856

Section JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . 869

Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . 905CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . 905CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . 906CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . 907MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . 908

Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912

Version 2.30

DEFINITIONS xxiv

Section PTSection FF Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1042IMP Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . 1044

Section TT Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052

Section HPHP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1060HID Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1061HI Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1061

Section VMVM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 1067

Section PSMPSM Positive Semi-Definite Matrix . . . . . . . . . . . . . . . . . . . . . . 1072

Section RODSection TDSection SVDSV Singular Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1097

Section SRSRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 1103

Section PODSection CFLSS Least Squares Solution . . . . . . . . . . . . . . . . . . . . . . . . . . 1109

Section SAS

Version 2.30

Theorems

Section WILASection SSLEEOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . 15

Section RREFREMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . 36REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . 38RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . 41

Section TSSRCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . 68ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . 69CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . 70FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . 70PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . 71CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . 72

Section HSEHSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . 84HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . 87

Section NMNMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . 101NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . 103NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . 103NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . 104

Section VOVSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . 119

Section LC

xxv

THEOREMS xxvi

SLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . 132VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . 140PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . 147

Section SSSSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . 162

Section LILIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . 184LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . 186MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . 187NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . 188NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . 188BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

Section LDSDLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . 208BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

Section OCRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . 225CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . 226IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . 228IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . 228IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . 229IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . 231PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . 231OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . 234GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . 235

Section MOVSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . 245SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . 248TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . 248TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . 249TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . 249CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . 250CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . 251CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . 251MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . 251AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . 252AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . 252AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

Version 2.30

THEOREMS xxvii

Section MMSLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . 264EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . 266EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . 269MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . 271MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . 271MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . 272MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . 272MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . 273MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . 274MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . 274MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . 275MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . 276AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . 277HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . 277

Section MISLETTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . 291CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . 295MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . 297SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . 298MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . 298MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . 299

Section MINMNPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . 308OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . 310NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . 311NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . 311SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . 311UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . 313CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . 313UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . 315

Section CRSCSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . 322BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . 326CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . 328NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . 329REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . 331BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . 333

Version 2.30

THEOREMS xxviii

CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . 335

Section FSPEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . 354FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

Section VSZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . 386AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . 386ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . 386ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . 387AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . 387SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . 388

Section STSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . 399NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . 402SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . 405CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . 410RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . 410LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . 411

Section LISSVRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . 430

Section BSUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . 444CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . 450NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . 450COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . 452UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . 454

Section DSSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . 465BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . 469DCM Dimension of Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470DP Dimension of Pn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470DM Dimension of Mmn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . 473RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . 474RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . 475NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . 475

Version 2.30

THEOREMS xxix

Section PDELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . 484G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . 488EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . 488RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . 489DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . 490DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . 492DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . 493DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . 494DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . 494DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . 495DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . 496RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . 497

Section DMEMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . 507EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . 510NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . 510DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . 512DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . 513DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . 514DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . 515

Section PDMDZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . 526DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . 526DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . 527DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . 528DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . 529DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . 532DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . 533DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . 533SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . 534NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . 535DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . 536

Section EEEMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . 546EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . 551EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . 552EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . 552

Version 2.30

THEOREMS xxx

Section PEEEDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . 573SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . 574NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . 574ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . 575EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . 575EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . 576EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . 577ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . 578ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . 579DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . 579NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . 580ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . 581MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . 583HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . 583HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . 584

Section SDSER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . 591SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . 592DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . 594DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . 597DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . 599

Section LTLTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . 618MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . 621MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . 623LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . 625LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . 626SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . 632MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . 633VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . 635CLTLT Composition of Linear Transformations is a Linear Transformation . 635

Section ILTKLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . 651KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . 653KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . 653ILTLI Injective Linear Transformations and Linear Independence . . . . . . 655ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . 656ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . 657CILTI Composition of Injective Linear Transformations is Injective . . . . . 658

Version 2.30

THEOREMS xxxi

Section SLTRLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . 673RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . 675SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . 677RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . 679SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . 679SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . 680CSLTS Composition of Surjective Linear Transformations is Surjective . . . . 681

Section IVLTILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . 694IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . 695ILTIS Invertible Linear Transformations are Injective and Surjective . . . . 695CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . 698ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . 699IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . 701ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . 702NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . 703RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . 703

Section VRVRLT Vector Representation is a Linear Transformation . . . . . . . . . . . 720VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . 724VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . 725VRILT Vector Representation is an Invertible Linear Transformation . . . . . 725CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . 726IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . 726CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . 727CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . 728

Section MRFTMR Fundamental Theorem of Matrix Representation . . . . . . . . . . . . 737MRSLT Matrix Representation of a Sum of Linear Transformations . . . . . . 742MRMLT Matrix Representation of a Multiple of a Linear Transformation . . . 742MRCLT Matrix Representation of a Composition of Linear Transformations . 743KNSI Kernel and Null Space Isomorphism . . . . . . . . . . . . . . . . . . . 747RCSI Range and Column Space Isomorphism . . . . . . . . . . . . . . . . . 750IMR Invertible Matrix Representations . . . . . . . . . . . . . . . . . . . . 753IMILT Invertible Matrices, Invertible Linear Transformation . . . . . . . . . 756NME9 Nonsingular Matrix Equivalences, Round 9 . . . . . . . . . . . . . . . 757

Section CB

Version 2.30

THEOREMS xxxii

CB Change-of-Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775ICBM Inverse of Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . 775MRCB Matrix Representation and Change of Basis . . . . . . . . . . . . . . 781SCB Similarity and Change of Basis . . . . . . . . . . . . . . . . . . . . . . 784EER Eigenvalues, Eigenvectors, Representations . . . . . . . . . . . . . . . 788

Section ODPTMT Product of Triangular Matrices is Triangular . . . . . . . . . . . . . . 804ITMT Inverse of a Triangular Matrix is Triangular . . . . . . . . . . . . . . 805UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . 806OBUTR Orthonormal Basis for Upper Triangular Representation . . . . . . . 809OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . 812OBNM Orthonormal Bases and Normal Matrices . . . . . . . . . . . . . . . . 814

Section NLTNJB Nilpotent Jordan Blocks . . . . . . . . . . . . . . . . . . . . . . . . . 822ENLT Eigenvalues of Nilpotent Linear Transformations . . . . . . . . . . . . 823DNLT Diagonalizable Nilpotent Linear Transformations . . . . . . . . . . . . 823KPLT Kernels of Powers of Linear Transformations . . . . . . . . . . . . . . 824KPNLT Kernels of Powers of Nilpotent Linear Transformations . . . . . . . . 825CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . 828

Section ISEIS Eigenspaces are Invariant Subspaces . . . . . . . . . . . . . . . . . . . 840KPIS Kernels of Powers are Invariant Subspaces . . . . . . . . . . . . . . . 841GESIS Generalized Eigenspace is an Invariant Subspace . . . . . . . . . . . . 843GEK Generalized Eigenspace as a Kernel . . . . . . . . . . . . . . . . . . . 844RGEN Restriction to Generalized Eigenspace is Nilpotent . . . . . . . . . . . 855MRRGE Matrix Representation of a Restriction to a Generalized Eigenspace . 859

Section JCFGESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . 861DGES Dimension of Generalized Eigenspaces . . . . . . . . . . . . . . . . . . 869JCFLT Jordan Canonical Form for a Linear Transformation . . . . . . . . . . 870CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . 885

Section CNOPCNA Properties of Complex Number Arithmetic . . . . . . . . . . . . . . . 906CCRA Complex Conjugation Respects Addition . . . . . . . . . . . . . . . . 907CCRM Complex Conjugation Respects Multiplication . . . . . . . . . . . . . 908CCT Complex Conjugation Twice . . . . . . . . . . . . . . . . . . . . . . . 908

Section SET

Version 2.30

THEOREMS xxxiii

Section PTSection FFIMP Field of Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . 1044

Section TTL Trace is Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052TSRM Trace is Symmetric with Respect to Multiplication . . . . . . . . . . 1053TIST Trace is Invariant Under Similarity Transformations . . . . . . . . . . 1053TSE Trace is the Sum of the Eigenvalues . . . . . . . . . . . . . . . . . . . 1054

Section HPHPC Hadamard Product is Commutative . . . . . . . . . . . . . . . . . . . 1061HPHID Hadamard Product with the Hadamard Identity . . . . . . . . . . . . 1061HPHI Hadamard Product with Hadamard Inverses . . . . . . . . . . . . . . 1061HPDAA Hadamard Product Distributes Across Addition . . . . . . . . . . . . 1062HPSMM Hadamard Product and Scalar Matrix Multiplication . . . . . . . . . 1062DMHP Diagonalizable Matrices and the Hadamard Product . . . . . . . . . . 1063DMMP Diagonal Matrices and Matrix Products . . . . . . . . . . . . . . . . . 1064

Section VMDVM Determinant of a Vandermonde Matrix . . . . . . . . . . . . . . . . . 1067NVM Nonsingular Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . 1071

Section PSMCPSM Creating Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . 1072EPSM Eigenvalues of Positive Semi-definite Matrices . . . . . . . . . . . . . 1073

Section RODROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . 1077

Section TDTD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 1082TDEE Triangular Decomposition, Entry by Entry . . . . . . . . . . . . . . . 1088

Section SVDEEMAP Eigenvalues and Eigenvectors of Matrix-Adjoint Product . . . . . . . 1092SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . 1097

Section SRPSMSR Positive Semi-Definite Matrices and Square Roots . . . . . . . . . . . 1099EESR Eigenvalues and Eigenspaces of a Square Root . . . . . . . . . . . . . 1101USR Unique Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1102

Version 2.30

THEOREMS xxxiv

Section PODPDM Polar Decomposition of a Matrix . . . . . . . . . . . . . . . . . . . . . 1104

Section CFIP Interpolating Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . 1107LSMR Least Squares Minimizes Residuals . . . . . . . . . . . . . . . . . . . 1109

Section SAS

Version 2.30

Notation

M A: Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30MC [A]ij : Matrix Components . . . . . . . . . . . . . . . . . . . . . . . . 30CV v: Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31CVC [v]i: Column Vector Components . . . . . . . . . . . . . . . . . . . . 31ZCV 0: Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . 31MRLS LS(A, b): Matrix Representation of a Linear System . . . . . . . . . 33AM [A | b]: Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . 34RO Ri ↔ Rj , αRi, αRi +Rj : Row Operations . . . . . . . . . . . . . . . 35RREFA r, D, F : Reduced Row-Echelon Form Analysis . . . . . . . . . . . . . 37NSM N (A): Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . 87IM Im: Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100VSCV Cm: Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . 115CVE u = v: Column Vector Equality . . . . . . . . . . . . . . . . . . . . . 116CVA u + v: Column Vector Addition . . . . . . . . . . . . . . . . . . . . . 117CVSM αu: Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . 118SSV 〈S〉: Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . 155CCCV u: Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . 225IP 〈u, v〉: Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . 226NV ‖v‖: Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . 230SUV ei: Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . 233VSM Mmn: Vector Space of Matrices . . . . . . . . . . . . . . . . . . . . . 243ME A = B: Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . 244MA A+B: Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . 244MSM αA: Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . 245ZM O: Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247TM At: Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 247CCM A: Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . 250A A∗: Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252MVP Au: Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . 263MI A−1: Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289CSM C(A): Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . 321

xxxv

NOTATION xxxvi

RSM R(A): Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . 330LNS L(A): Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . 348D dim (V ): Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465NOM n (A): Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 472ROM r (A): Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 473DS V = U ⊕W : Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . 492ELEM Ei,j , Ei (α), Ei,j (α): Elementary Matrix . . . . . . . . . . . . . . . . 506SM A (i|j): SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511DM |A|, det (A): Determinant of a Matrix . . . . . . . . . . . . . . . . . . 511AME αA (λ): Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . 554GME γA (λ): Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . 554LT T : U → V : Linear Transformation . . . . . . . . . . . . . . . . . . . . 614KLT K(T ): Kernel of a Linear Transformation . . . . . . . . . . . . . . . . 650RLT R(T ): Range of a Linear Transformation . . . . . . . . . . . . . . . . 672ROLT r (T ): Rank of a Linear Transformation . . . . . . . . . . . . . . . . . 702NOLT n (T ): Nullity of a Linear Transformation . . . . . . . . . . . . . . . . 702VR ρB (w): Vector Representation . . . . . . . . . . . . . . . . . . . . . . 719MR MTB,C : Matrix Representation . . . . . . . . . . . . . . . . . . . . . . 734JB Jn (λ): Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . 819GES GT (λ): Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . 843LTR T |U : Linear Transformation Restriction . . . . . . . . . . . . . . . . . 848IE ιT (λ): Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . 856CNE α = β: Complex Number Equality . . . . . . . . . . . . . . . . . . . . 905CNA α+ β: Complex Number Addition . . . . . . . . . . . . . . . . . . . . 905CNM αβ: Complex Number Multiplication . . . . . . . . . . . . . . . . . . 906CCN α: Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . 907SETM x ∈ S: Set Membership . . . . . . . . . . . . . . . . . . . . . . . . . . 909SSET S ⊆ T : Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909ES ∅: Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909SE S = T : Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910C |S|: Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911SU S ∪ T : Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911SI S ∩ T : Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . 912SC S: Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912T t (A): Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052HP A ◦B: Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . 1060HID Jmn: Hadamard Identity . . . . . . . . . . . . . . . . . . . . . . . . . 1061HI Â: Hadamard Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . 1061SRM A1/2: Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . 1103

Version 2.30

Diagrams

DTSLS Decision Tree for Solving Linear Systems . . . . . . . . . . . . . . . . 72CSRST Column Space and Row Space Techniques . . . . . . . . . . . . . . . 366DLTA Definition of Linear Transformation, Additive . . . . . . . . . . . . . 614DLTM Definition of Linear Transformation, Multiplicative . . . . . . . . . . 615GLT General Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 619NILT Non-Injective Linear Transformation . . . . . . . . . . . . . . . . . . 646ILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . 648FTMR Fundamental Theorem of Matrix Representations . . . . . . . . . . . 738FTMRA Fundamental Theorem of Matrix Representations (Alternate) . . . . 739MRCLT Matrix Representation and Composition of Linear Transformations . 746

xxxvii

Examples

Section WILATMP Trail Mix Packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Section SSLESTNE Solving two (nonlinear) equations . . . . . . . . . . . . . . . . . . . . 11NSE Notation for a system of equations . . . . . . . . . . . . . . . . . . . . 13TTS Three typical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 13US Three equations, one solution . . . . . . . . . . . . . . . . . . . . . . 18IS Three equations, infinitely many solutions . . . . . . . . . . . . . . . 19

Section RREFAM A matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30NSLE Notation for systems of linear equations . . . . . . . . . . . . . . . . . 33AMAA Augmented matrix for Archetype A . . . . . . . . . . . . . . . . . . . 34TREM Two row-equivalent matrices . . . . . . . . . . . . . . . . . . . . . . . 35USR Three equations, one solution, reprised . . . . . . . . . . . . . . . . . 36RREF A matrix in reduced row-echelon form . . . . . . . . . . . . . . . . . . 38NRREF A matrix not in reduced row-echelon form . . . . . . . . . . . . . . . 38SAB Solutions for Archetype B . . . . . . . . . . . . . . . . . . . . . . . . 45SAA Solutions for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . 47SAE Solutions for Archetype E . . . . . . . . . . . . . . . . . . . . . . . . 48

Section TSSRREFN Reduced row-echelon form notation . . . . . . . . . . . . . . . . . . . 64ISSI Describing infinite solution sets, Archetype I . . . . . . . . . . . . . . 65FDV Free and dependent variables . . . . . . . . . . . . . . . . . . . . . . . 67CFV Counting free variables . . . . . . . . . . . . . . . . . . . . . . . . . . 70OSGMD One solution gives many, Archetype D . . . . . . . . . . . . . . . . . 72

Section HSEAHSAC Archetype C as a homogeneous system . . . . . . . . . . . . . . . . . 84

xxxviii

EXAMPLES xxxix

HUSAB Homogeneous, unique solution, Archetype B . . . . . . . . . . . . . . 85HISAA Homogeneous, infinite solutions, Archetype A . . . . . . . . . . . . . 85HISAD Homogeneous, infinite solutions, Archetype D . . . . . . . . . . . . . 86NSEAI Null space elements of Archetype I . . . . . . . . . . . . . . . . . . . 88CNS1 Computing a null space, #1 . . . . . . . . . . . . . . . . . . . . . . . 88CNS2 Computing a null space, #2 . . . . . . . . . . . . . . . . . . . . . . . 89

Section NMS A singular matrix, Archetype A . . . . . . . . . . . . . . . . . . . . . 100NM A nonsingular matrix, Archetype B . . . . . . . . . . . . . . . . . . . 100IM An identity matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100SRR Singular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . . . 101NSR Nonsingular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . 102NSS Null space of a singular matrix . . . . . . . . . . . . . . . . . . . . . . 102NSNM Null space of a nonsingular matrix . . . . . . . . . . . . . . . . . . . . 102

Section VOVESE Vector equality for a system of equations . . . . . . . . . . . . . . . . 116VA Addition of two vectors in C4 . . . . . . . . . . . . . . . . . . . . . . 117CVSM Scalar multiplication in C5 . . . . . . . . . . . . . . . . . . . . . . . . 118

Section LCTLC Two linear combinations in C6 . . . . . . . . . . . . . . . . . . . . . . 128ABLC Archetype B as a linear combination . . . . . . . . . . . . . . . . . . 130AALC Archetype A as a linear combination . . . . . . . . . . . . . . . . . . 131VFSAD Vector form of solutions for Archetype D . . . . . . . . . . . . . . . . 134VFS Vector form of solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 136VFSAI Vector form of solutions for Archetype I . . . . . . . . . . . . . . . . . 142VFSAL Vector form of solutions for Archetype L . . . . . . . . . . . . . . . . 144PSHS Particular solutions, homogeneous solutions, Archetype D . . . . . . . 147

Section SSABS A basic span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155SCAA Span of the columns of Archetype A . . . . . . . . . . . . . . . . . . . 158SCAB Span of the columns of Archetype B . . . . . . . . . . . . . . . . . . . 160SSNS Spanning set of a null space . . . . . . . . . . . . . . . . . . . . . . . 163NSDS Null space directly as a span . . . . . . . . . . . . . . . . . . . . . . . 164SCAD Span of the columns of Archetype D . . . . . . . . . . . . . . . . . . . 166

Section LILDS Linearly dependent set in C5 . . . . . . . . . . . . . . . . . . . . . . . 181LIS Linearly independent set in C5 . . . . . . . . . . . . . . . . . . . . . . 183LIHS Linearly independent, homogeneous system . . . . . . . . . . . . . . . 184

Version 2.30

EXAMPLES xl

LDHS Linearly dependent, homogeneous system . . . . . . . . . . . . . . . . 185LDRN Linearly dependent, r < n . . . . . . . . . . . . . . . . . . . . . . . . 186LLDS Large linearly dependent set in C4 . . . . . . . . . . . . . . . . . . . . 187LDCAA Linearly dependent columns in Archetype A . . . . . . . . . . . . . . 188LICAB Linearly independent columns in Archetype B . . . . . . . . . . . . . 188LINSB Linear independence of null space basis . . . . . . . . . . . . . . . . . 189NSLIL Null space spanned by linearly independent set, Archetype L . . . . . 192

Section LDSRSC5 Reducing a span in C5 . . . . . . . . . . . . . . . . . . . . . . . . . . 209COV Casting out vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211RSC4 Reducing a span in C4 . . . . . . . . . . . . . . . . . . . . . . . . . . 216RES Reworking elements of a span . . . . . . . . . . . . . . . . . . . . . . 217

Section OCSIP Computing some inner products . . . . . . . . . . . . . . . . . . . . . 227CNSV Computing the norm of some vectors . . . . . . . . . . . . . . . . . . 230TOV Two orthogonal vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 232SUVOS Standard Unit Vectors are an Orthogonal Set . . . . . . . . . . . . . 233AOS An orthogonal set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233GSTV Gram-Schmidt of three vectors . . . . . . . . . . . . . . . . . . . . . . 237ONTV Orthonormal set, three vectors . . . . . . . . . . . . . . . . . . . . . . 238ONFV Orthonormal set, four vectors . . . . . . . . . . . . . . . . . . . . . . 238

Section MOMA Addition of two matrices in M23 . . . . . . . . . . . . . . . . . . . . . 244MSM Scalar multiplication in M32 . . . . . . . . . . . . . . . . . . . . . . . 245TM Transpose of a 3× 4 matrix . . . . . . . . . . . . . . . . . . . . . . . 247SYM A symmetric 5× 5 matrix . . . . . . . . . . . . . . . . . . . . . . . . 248CCM Complex conjugate of a matrix . . . . . . . . . . . . . . . . . . . . . . 250

Section MMMTV A matrix times a vector . . . . . . . . . . . . . . . . . . . . . . . . . . 263MNSLE Matrix notation for systems of linear equations . . . . . . . . . . . . . 264MBC Money’s best cities . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265PTM Product of two matrices . . . . . . . . . . . . . . . . . . . . . . . . . 268MMNC Matrix multiplication is not commutative . . . . . . . . . . . . . . . . 268PTMEE Product of two matrices, entry-by-entry . . . . . . . . . . . . . . . . . 270

Section MISLESABMI Solutions to Archetype B with a matrix inverse . . . . . . . . . . . . 288MWIAA A matrix without an inverse, Archetype A . . . . . . . . . . . . . . . 290MI Matrix inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

Version 2.30

EXAMPLES xli

CMI Computing a matrix inverse . . . . . . . . . . . . . . . . . . . . . . . 293CMIAB Computing a matrix inverse, Archetype B . . . . . . . . . . . . . . . 296

Section MINMUM3 Unitary matrix of size 3 . . . . . . . . . . . . . . . . . . . . . . . . . . 312UPM Unitary permutation matrix . . . . . . . . . . . . . . . . . . . . . . . 312OSMC Orthonormal set from matrix columns . . . . . . . . . . . . . . . . . . 314

Section CRSCSMCS Column space of a matrix and consistent systems . . . . . . . . . . . 321MCSM Membership in the column space of a matrix . . . . . . . . . . . . . . 323CSTW Column space, two ways . . . . . . . . . . . . . . . . . . . . . . . . . 325CSOCD Column space, original columns, Archetype D . . . . . . . . . . . . . 326CSAA Column space of Archetype A . . . . . . . . . . . . . . . . . . . . . . 328CSAB Column space of Archetype B . . . . . . . . . . . . . . . . . . . . . . 328RSAI Row space of Archetype I . . . . . . . . . . . . . . . . . . . . . . . . . 330RSREM Row spaces of two row-equivalent matrices . . . . . . . . . . . . . . . 333IAS Improving a span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334CSROI Column space from row operations, Archetype I . . . . . . . . . . . . 335

Section FSLNS Left null space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348CSANS Column space as null space . . . . . . . . . . . . . . . . . . . . . . . . 350SEEF Submatrices of extended echelon form . . . . . . . . . . . . . . . . . . 353FS1 Four subsets, #1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361FS2 Four subsets, #2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362FSAG Four subsets, Archetype G . . . . . . . . . . . . . . . . . . . . . . . . 364

Section VSVSCV The vector space Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . 379VSM The vector space of matrices, Mmn . . . . . . . . . . . . . . . . . . . 380VSP The vector space of polynomials, Pn . . . . . . . . . . . . . . . . . . . 380VSIS The vector space of infinite sequences . . . . . . . . . . . . . . . . . . 381VSF The vector space of functions . . . . . . . . . . . . . . .