reginaldo santos - quadrados minimos generalizados
TRANSCRIPT
-
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
1/6
Quadrados Mnimos Generalizados
Reginaldo J. SantosDepartamento de Matematica-ICEx
Universidade Federal de Minas Geraishttp://www.mat.ufmg.br/~regi
16 de abril de 2012
Proposicao 1. SejaA uma matriz simetrica. SeL eM sao matrizes triangulares inferiores
com 1s na diagonal e D uma matriz diagonal invertvel tais que A = LDMt, entao
M=L.
Demonstracao. Vamos mostrar que M1L = I. Seja B = M1AMt. Entao Bt = B
e B = M1LD. Como M1 e L sao triangulares inferiores, entao B e diagonal. Como
D e invertvel, entao M1L tambem e diagonal e como L e M sao matrizes triangulares
inferiores com 1s na diagonal, entao M1L= I.
A decomposicao A = LDLt, em que L e uma matriz triangular inferior com 1s na
diagonal e D uma matriz diagonal, e chamada decomposicao de Cholesky de A.
Uma matrizAsimetrica e chamada positiva definida se XtAX >0, para todo X=0.
Proposicao 2. Se A = LDLt e a decomposicao de Cholesky de uma matriz A positiva
definida, entao os elementos da diagonal deD sao maiores que zero.
Demonstracao. Se A e positiva definida, entao XtAX >0, para todo X=0. Substituindo-
se A= LDLt em XtAXobtemos que XtLDLtX >0 , para todo X=0. Seja Y =LtX.
Entao YtDY > 0, para todo Y =0. Em particular paraY = Ei = [0 0 1 0 0]t
temos que dii= EtiDEi >0.
1
http://www.mat.ufmg.br/~regihttp://www.mat.ufmg.br/~regi -
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
2/6
2
Proposicao 3. Se e simetrica e e positiva definida e L e tal que L = DU, com U
triangular superior com 1s na diagonal eD uma matriz diagonal, entao =L1DLt e
a sua decomposicao de Cholesky eP =D1/2L e triangular inferior, invertvel e tal que
1 =PtP.
Demonstracao. Multiplicando-se a esquerda L =DU por L1 obtemos
=L1DU.
Pela proposicao anterior U=Lt e portanto =L1DLt.Logo
PtP=LtD1/2D1/2L= LtD1L= 1.
Vamos supor que um vetor de variaveis aleatorias Y = [y1, . . . , ym]t seja tal que a sua
esperanca seja uma combinacao linear de outros vetores, ou seja, que
E(y1)E(y2)
...
E(ym)
=E(Y) =b1X1+ . . . + bnXn = b1
x11x21
...
xm1
+ . . . + bn
x1nx2n
...
xmn
(1)
A equacao (1) pode ainda ser escrita de duas outras formas:
E(yi) =b1xi1+ . . . + bnxin, para i= 1, . . . , m
ou simplesmente
E(Y) =X B, (2)
onde
X=
x11 x12 . . . x1nx21 x22 . . . x2n
... . . . ...
xm1 xm2 . . . xmn
, e B =
b1b2...
bn
.
Quadrados Mnimos Generalizados 16 de abril de 2012
-
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
3/6
3
O problema aqui e determinar os parametros bi a partir de observacoes yi, para i =
1, . . . , m. Para cada i, a diferenca yi E(yi) e o desvio do valor observadoyi em relacao
ao valor esperado E(yi) e e escrito como
i=yi E(yi), para i= 1, . . . , m (3)
Assim, em termos das observacoes e dos erros, o nosso modelo pode ser escrito como
yi=b1xi1+ . . . + bnxin+ i, para i= 1, . . . , m
ou de forma mais compacta, simplesmente
Y =X B+ , (4)
onde
Y =
y1
y2...ym
X=
x11 x12 . . . x1n
x21 x22 . . . x2n... . . . ...
xm1 xm2 . . . xmn
, B =
b1
b2...bn
e =
1
2...m
.
A equacao (4) e chamada de equacao do modelo. Ela e a base para estimar B a partir
dos dados obtidos armazenados em X e Y.
Os erros i por definicao, tem media zero, pois de (3) temos que
E() =E(Y E(Y)) =E(Y) E(Y) =0.
Vamos assumir tambem que os erros i tem matriz variancia e covariancia . Portanto,
= Var() =E[( E())( E())t] =E(t). (5)
Como e simetrica e invertvel pela proposicao anterior existe uma matriz P triangularinferior e invertvel tal que
1 =PtP.
Multiplicando-se a equacao (4) a esquerda por P obtemos
P Y =P XB+ P (6)
16 de abril de 2012 Reginaldo J. Santos
-
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
4/6
4
Vamos fazer as mudancas de variaveisX =P X, Y =P Y e =P . Entao a equacao
(6) se transforma em
Y =XB+ . (7)
Assim
E() =P E() = 0
e
Var() =PVar()Pt =PPt =P(PtP)1Pt =P P1PtPt =I .
Logo o problema dado pela equacao (7) pode ser resolvido usando o Teorema de Gauss-
Markov por
B = (XtX)1XtY = (XtPtP X)1XtPtP Y = (Xt1X)1Xt1Y.
Proposicao 4. Se
= 1
1 2
1 2 n1
1 n2
2 1 n3
... ...
... ...
n1 n2 1
entao
P =
1 2 0 0
1 . . . ......
. . . . . . 0
0 1
e tal que1 =PtP.
Demonstracao. As matrizes elementares
Ei1=
1 0 00 1 0 0...
. . . ...
i1 0 1 0...
. . . ...
0 0 0 1
Quadrados Mnimos Generalizados 16 de abril de 2012
-
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
5/6
5
sao tais que
E21 En1=
1 0 0 1 0 0
... . . . ...i1 0 1 0
... . . .
...n1 0 0 1
e
E21 En1 =
112
12
2
12
n1
12
0 1 n2
0 1 + 2 n3(1 + 2)...
... ...
...0 n2 1 + 2 + + 2(n2)
.
As matrizes elementares
Ei2=
1 0 0
0 1 0 0... . . .
...0 i2 1 0...
. . . ...
0 0 0 1
sao tais que
E32 En2E21 En1=
1 0 0 1 0 0
... . . .
...0 i2 1 0...
. . . ...
0 n2 0 1
e
E32 En2E21 En1 =
112
12
2
12
n1
12
0 1 n2
0 0 1 n3
... ...
... ...
0 0 n3 1 + 2 + + 2(n3)
.
16 de abril de 2012 Reginaldo J. Santos
-
7/26/2019 Reginaldo Santos - Quadrados Minimos Generalizados
6/6
6
Continuando com as colunas 3, 4, . . . , nobtemos que
L=
1 0 0
1 .
. . .
..... . . .
. . . 00 1
.
L =
112
12
2
12
n1
12
0 1 n2
0 0 1 n3
... ... ... ...0 0 0 1
=
112
0 0 0
0 1 0 00 0 1 0
... ... ... ...0 0 0 1
1 2 n1
0 1 n2
0 0 1 n3
... ... ... ...0 0 0 1
.
Entao, pela Proposicao anterior
P=
112
0 0 0
0 1 0 0
0 0 1 0... ...
... ...
0 0 0 1
1
2
L=
1 2 0 0
1 . . .
......
. . . . . . 00 1
e tal que 1 =PtP.
Quadrados Mnimos Generalizados 16 de abril de 2012