aplicação da lei de benford na detecção de jogo de ... · 1 aplicaÇÃo da lei de benford na...
TRANSCRIPT
University of Brasilia
Economics and Politics Research Group–EPRG
A CNPq-Brazil Research Group http://www.econpolrg.com/
Research Center on Economics and Finance–CIEF Research Center on Market Regulation–CERME
Research Laboratory on Political Behavior, Institutions and Public Policy–LAPCIPP Master’s Program in Public Economics–MESP
Graduate Program in Economics–Pós-ECO
Aplicação da Lei de Benford na Detecção de Jogo de Planilha: O Caso do Estádio Nacional de
Brasília
Carlos Alberto Cascão Júnior (TCDF) Adriana Cuoco Portugal (TCDF) Mauricio Soares Bugarin (UnB)
Flávia Ceccato Cunha (TCU)
Economics and Politics Working Paper 92/2018 December 4th, 2018
Economics and Politics Research Group Working Paper Series
1
APLICAÇÃO DA LEI DE BENFORD NA DETECÇÃO DE JOGO DE
PLANILHA: O CASO DO ESTÁDIO NACIONAL DE BRASÍLIA
Carlos Alberto Cascão Júnior / TCDF / [email protected]
Adriana Cuoco Portugal / TCDF / [email protected]
Mauricio Soares Bugarin / UnB / [email protected]
Flávia Ceccato Cunha / TCU / [email protected]
RESUMO
Este trabalho apresenta a aplicação do algoritmo da Lei de Benford, previsto na Cartilha de
Benford publicada pelo IBRAOP, para caracterizar a ocorrência de “jogo de planilha” na
execução do contrato de construção do Estádio Nacional de Brasília. Para tanto, compara-se a
metodologia baseada na Curva ABC, tradicionalmente utilizada nos Tribunais de Contas, com a
nova metodologia proposta. A análise baseada na Lei de Benford mostra que tanto o orçamento
de referência como o contrato inicial apresentam conformidade com a Lei, o que sugere ausência
de manipulação de dados nessas etapas do processo licitatório. Por outro lado, os testes indicam
elevada não-conformidade à Lei de Benford quando é considerada a planilha final, após a
inclusão de 28 aditivos. A não-conformidade reforça suspeita quanto ao “jogo de planilha”, o
que foi robustecido pelo fato de a nova metodologia indicar, em sua maioria, os mesmos serviços
apontados pela análise tradicional, mantendo a vantagem declarada na Cartilha do Ibraop de
não ser necessário agrupar serviços de mesma natureza, como na análise baseada em Curva ABC,
otimizando a atividade de auditoria.
Palavras-chave: jogo de planilha, Lei de Benford, auditoria.
1. INTRODUÇÃO
O “jogo de planilha” é prática observada na execução de um contrato de obra pública em que
ocorrem alterações contratuais que podem resultar em prejuízos maiores à Administração Pública.
Trata-se de fenômeno amplamente conhecido e combatido pelos órgãos de controle nacionais e
subnacionais. Segundo o voto condutor da Decisão 1.090/2001-Plenário, do Tribunal de Contas da
União – TCU (2001), de relatoria do Ministro Benjamin Zymler:
“12. Pode ocorrer na contratação de obras públicas, em regime de empreitada por preço unitário,
que haja determinados itens com preços superfaturados, embora o preço global da obra seja
compatível com o de mercado. Esses itens superfaturados, no decorrer da execução da obra, podem
ter os seus quantitativos aumentados mediante aditivos contratuais - é o chamado jogo de planilha.
Assim, o custo global da obra fica em desacordo com o de mercado, arcando a União com o
prejuízo”.
De forma mais ampla, o superfaturamento por desequilíbrio econômico-financeiro ou “jogo de
planilha” ocorre quando há o rompimento do equilíbrio econômico-financeiro inicial do contrato em
desfavor da Administração por alteração de quantitativos, pelo aumento de serviços contratuais com
sobrepreço por aditivos, pela diminuição ou supressão de serviços contratuais com subpreço, pela
alteração de custos de serviços contratuais, pela inclusão de serviços novos com sobrepreço, ou ainda
As afirmações, possíveis erros e omissões existentes neste texto são de inteira responsabilidade de seus autores, e não
refletem necessariamente as posições das instituições em que trabalham. Trabalho apresentado no XVIII Simpósio
Nacional de Auditoria de Obras Públicas – João Pessoa, PB, novembro de 2018.
2
por diversas combinações dessas situações. Embora a lei de licitações permita a alteração dos
quantitativos originalmente contratados ou mesmo a adição de novos serviços em casos específicos,
essa possibilidade não pode ser utilizada para a alteração da equação econômico-financeira inicial do
contrato, o que é justamente a característica do “jogo de planilha”.
Nesse sentido, o TCU também vem se posicionando, conforme decisões a seguir:
- Voto condutor do Acórdão TCU 467/2015-Plenário, Rel. Min. Walton Alencar Rodrigues:
“Reputo relevantes as condições em que se formaram os referidos contratos, porquanto originadas
de ambiente certame licitatório competitivo e pautadas, entre outros princípios, na legalidade, na
isonomia entre licitantes, na seleção da proposta mais vantajosa para a Administração e na
vinculação ao instrumento convocatório. Tais premissas vinculam o ajuste administrativo, para
conformar eventuais mutações contratuais às exigências previstas na lei ao tempo do torneio
licitatório.
Não fosse assim, as diretrizes da licitação pública seriam facilmente deturpadas pelo espúrio
mecanismo de celebração de termos aditivos que resultem em desbalanceamento da equação-
econômico financeira em desfavor do Estado, quer pelo acréscimo de serviços novos cujos preços
não sejam vantajosos ao Erário, quer pela alteração de quantitativos previstos na planilha
orçamentária inicial da avença a ponto de desfigurar a vantagem do contrato original. Ao estimar
os valores de referência dos serviços novos acrescidos por termos aditivos na data base dos
contratos, a Administração preserva as condições que nortearam a licitação e resultaram na
formulação do equilíbrio contratual.”
- Voto condutor do Acórdão TCU 1.153/2015-1ª Câmara, Rel. Min. Walton Alencar Rodrigues:
8. ... trata-se de 'jogo de planilhas', questão há tempos discutida neste Tribunal, que considera essa
prática afronta grave à manutenção do equilíbrio financeiro do contrato, previsto no art. 65, § 1º,
da Lei 8.666/1993.
9. Via de regra, esse artifício ocorre com a celebração de aditivos contratuais, fundamentados na
necessidade técnica de corrigir falhas no projeto inicial, em que se operam modificações das
seguintes naturezas: aumento da quantidade de itens com preços superestimados; supressão de
quantitativos de insumos que estavam depreciados; e criação de novos serviços sem que sejam
aplicados os descontos da proposta da licitante contratada.”
- Voto condutor do Acórdão TCU 349/2014-Plenário, Rel. Min. Benjamin Zymler:
“19. Quanto à primeira alegação, julgo incabível a compensação de eventual subpreço na planilha
contratual original com sobrepreços verificados em termos aditivos, uma vez que a adoção de tal
prática implica admitir a redução da vantajosidade inicial da avença e, portanto, a alteração do
equilíbrio-econômico-financeiro em desfavor da Administração.
20. Dito de outra forma, a metodologia sugerida pela defesa significa aceitar a existência de uma
espécie de crédito do contratado decorrente de um desconto ofertado por ocasião da licitação, o
qual poderia ser usado posteriormente para a inclusão de serviços no contrato com preços
nitidamente acima dos parâmetros de mercado. Por subverter a lógica do princípio da preservação
do equilíbrio financeiro, da boa fé contratual e da competitividade, considerando que os preços dos
serviços novos não foram submetidos ao crivo da licitação, tal argumento merece ser rechaçado.
21. Ademais, verifico que o procedimento sugerido pela defesa implica admitir a inserção de novos
serviços com sobrepreço por meio de aditivos a um contrato cujos serviços, sabidamente, continham
subpreço. Por representar a clássica situação de jogo de planilha, rejeito os argumentos trazidos
pela sociedade empresária”.
De forma similar, o TCDF também já se manifestou nas Decisões nº 738/2015 e 2.344/2014,
respectivamente:
“alterações contratuais não podem suprimir a vantagem econômica inicialmente obtida pela
Administração (‘jogo de planilha’)”.
“determinar à Companhia Urbanizadora da Nova Capital do Brasil – NOVACAP que atente, em
relação a possíveis aditivos ao contrato decorrente de licitação em tela, para a manutenção do
desconto inicial da proposta, ou seja, que seja mantida a proporcionalidade da diferença entre o
valor global estimado pela Administração e o valor global contratado, nos limites do art. 65. §1º,
da Lei nº 8.666/1993”.
Ainda que seja um fenômeno conhecido, o “jogo de planilha” é tipicamente evidenciado na prática
3
pela análise de sobrepreço, cuja seleção da amostra de auditoria se baseia na Curva ABC (Critério de
Pareto) sem que existam até o momento, pelo conhecimento dos autores deste trabalho, estudos
acadêmicos focados em auxiliar o auditor na detecção dessa manipulação que ocorre ao longo da
execução de uma obra pública.
O objetivo deste trabalho é justamente oferecer uma metodologia para possível identificação do
“jogo de planilha” baseada na regularidade estatística conhecida como “Lei de Benford” (BENFORD,
19381).
O algoritmo para essa análise é o proposto por Bugarin e Cunha (2015), e detalhado
posteriormente em Cunha, Bugarin e Portugal (2016), em uma cartilha intitulada “Seleção de
Amostra de Auditoria de Obras Púbicas pela Lei de Benford” publicada pelo Instituto Brasileiro de
Auditoria de Obras Públicas – IBRAOP (2016). Explica-se a lógica dessa Lei da seguinte forma na
cartilha:
“O ser humano acredita que os números se distribuem de forma uniforme na natureza. Por isso, ao
manipular os valores de um banco de dados, uma pessoa leiga em geral não se preocupará com as
frequências em que aparece o 1 ou 2 ou demais dígitos como primeiro, segundo ou último dígito de
um número.
Contudo, existe uma metodologia capaz de indicar a possibilidade de manipulação dos dados e, ao
mesmo tempo, considerar a relevância financeira dos itens. A metodologia se baseia em uma
regularidade empírica segundo a qual os números não se distribuem de forma uniforme na natureza.
Essa regularidade é conhecida como Lei de Benford.
Essa Lei estabelece que as frequências dos primeiros dígitos dos valores em um banco de dados são
decrescentes do 1 ao 9; o dígito 1 aparece em, aproximadamente, 30% dos itens, enquanto o 9 não
atinge 5% desses valores. Essas frequências se aplicam a uma variedade de fontes de dados, incluindo contas de energia, endereços, preços de ações, valores populacionais, taxas de
mortalidade, entre outras.”
Mais especificamente, pela Lei de Benford, espera-se, então, que a frequência do primeiro dígito
em fontes de dados não homogêneos ou não manipulados decresça do dígito 1 ao 9, conforme o
gráfico da Error! Reference source not found. a seguir.
Fonte: Cunha, Bugarin e Portugal (2016)
Figura 1 - Frequência de incidência dos primeiros dígitos em dados não homogêneos
Na detecção de fraudes em obras públicas, esta Lei já foi testada diversas vezes. Flávia Cunha e
Maurício Bugarin aplicaram essa Lei em planilhas orçamentárias como a da reforma do Maracanã
(CUNHA e BUGARIN, 2015a, 2015b) e a construção da Arena Amazonas (CUNHA e BUGARIN
(2015c), obras realizadas para a Copa do Mundo de 2014, assim como para a obra de reforma do
Aeroporto Internacional de Minas Gerais (BUGARIN e CUNHA, 2017), concluindo pela robustez
1 Newcomb (1881) já havia identificado fenômeno similar ao observar que as primeiras páginas das tábuas de logaritmos
se apresentavam mais desgastadas do que as últimas, o que indicava que o valor usualmente acessado era o número 1, e
que a frequência diminuía até o número 9.
4
do método baseado na Lei de Benford para detecção de possível manipulação de dados referente a
sobrepreço e superfaturamento. Café e Bugarin (2017) concluíram na mesma direção quanto à obra
de implantação de um corredor de transporte no DF conhecido como VLP (BRT – Sul). Também a
Polícia Federal fez aplicações dessa Lei na detecção de fraudes em licitações no Brasil, conforme
trabalho apresentado por Filho (2016).
Com o objetivo de testar a aplicabilidade da Lei de Benford na detecção de jogo de planilha, toma-
se como unidade de análise a obra do Estádio Nacional de Brasília – ENB, que foi acompanhada pelo
Tribunal de Contas do DF – TCDF tanto na licitação quanto na execução do seu contrato de
construção, no período entre 2009 e 20152.
A auditoria empreendida pelo TCDF objetivou, entre outros pontos, verificar a regularidade dos
quantitativos de serviços e adequação dos preços contratados aos de mercado. Naquela fiscalização,
foi apontada a ocorrência de preços acima dos praticados no mercado e de quantitativos superiores
aos executados ao serem analisados os serviços previstos nas planilhas orçamentárias após 28 aditivos
contratuais.
A magnitude das alterações tornou imperioso verificar se o equilíbrio econômico-financeiro
inicial do ajuste foi mantido, principalmente porque os valores contratuais quase dobraram, saindo
de R$ 696.648.486,09 para R$ 1.184.874.854,00, a preços históricos de junho de 2010. Várias
revisões foram realizadas nos projetos, englobando mudanças de conceitos, de soluções construtivas
ou de compatibilização, o que culminou em variações de quantitativos e acréscimos de diversos
serviços, e gerou suspeitas quanto à manutenção do equilíbrio econômico-financeiro inicial do
contrato.
A análise empreendida no TCDF considerou a análise dos principais serviços resultantes da Curva
ABC, baseada no princípio de Pareto, selecionando itens que correspondessem a aproximadamente
80% do valor total contratado. Tendo em conta a enorme quantidade de serviços de uma edificação
como o Estádio Nacional de Brasília, foi bastante penoso confirmar a existência de “jogo de planilha”.
Neste trabalho, o que se espera é demonstrar que a Lei de Benford se aplica adequadamente à
detecção da irregularidade caracterizada como “jogo de planilha”, o que pode representar grande
economia de esforços na avaliação de longas planilhas orçamentárias de obras como a edificação de
estádios.
Para tanto, serão utilizados os testes constantes do algoritmo proposto na Cartilha do Ibraop
(Bugarin, Cunha e Portugal, 2016), desenvolvidos a partir de Nigrini (2012). Esse autor, por meio de
seus testes, detectou fraudes em companhias de Nova York e implementou sua metodologia em
sistemas de detecção de fraudes tributárias em vários países.
Destarte, o objetivo primordial do trabalho em tela é aplicar essa metodologia à investigação de
possíveis manipulações de dados que ensejem “jogo de planilha”, com vistas a confirmar indícios de
irregularidades já identificadas pelo TCDF quanto à obra de construção do Estádio Nacional de
Brasília. Além desta introdução, o presente estudo está dividido em mais duas seções. A seção 2
apresenta a metodologia, trazendo a análise tradicional empreendida pelo TCDF e a análise a partir
da Lei de Benford, além da comparação entre os métodos. Finalmente, a seção 3 apresenta as
conclusões e proposições de extensões futuras da aplicação da Lei de Benford na análise de “jogo de
planilha”.
2. METODOLOGIA
Este estudo se propõe a uma comparação de métodos de detecção de “jogo de planilha”.
Inicialmente, com o objetivo de caracterizar o problema na obra de construção do Estádio
Nacional de Brasília, apresenta-se a análise pelo método tradicionalmente empregado nos Tribunais
2 Processos TCDF nºs 21.886/2009, 30.101/2010, 16.469/2012 e 29.565/2013, destacando-se para o propósito deste
trabalho o RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante desse último processo.
5
de Contas, partindo da planilha orçamentária de referência, do orçamento da empresa vencedora do
certame e da planilha resultante das alterações contratuais. Na sequência, desenvolve-se a análise a
partir da utilização da Lei de Benford, e comparam-se os resultados obtidos por ambos os métodos.
2.1. Caracterização tradicional do jogo de planilha
Para a aplicação do método tradicional, que se baseia na identificação de serviços materialmente
relevantes por meio da construção da Curva ABC (princípio de Pareto), os itens contidos no
orçamento após as alterações contratuais foram classificados em contratuais ou novos e a evolução
de seus quantitativos foi analisada, compilando-se a verificação contida nos Processos TCDF nºs
30.101/2010, 16.469/2012 e 29.565/20133.
Foram observados aumentos significativos dos quantitativos dos serviços contratuais indicados
na análise do TCDF como contendo sobrepreço ou acima dos valores de mercado. Os referidos
serviços são destacados na Tabela 1 a seguir, sendo a evolução detalhada dos quantitativos dos quatro
primeiros itens apresentada nos gráficos da Figura 2.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 1 - Serviços contratuais cujos quantitativos aumentaram
3 Os relatórios finais de auditoria constantes desses processos estão disponíveis para consulta no
https://www.tc.df.gov.br/4-consultas/consultas/.
Descrição dos serviços UnidadePreço Unitário
Contrato
Preço Unitário
TCDF
Sobrepreço
Unitário (%)
Aumento
(%)
ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM,
CORTE E DOBRA NA OBRA
KG 6,46 3,95 63,5% 63,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40
MPA
M3 583,56 495,04 17,9% 34,7%
FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE
CHAPA DE COMPENSADO PLASTIFICADO DE 18MM COM 3 REAPROVEITAMENTOS
M2 90,24 45,56 98,1% 11,8%
VALE TRANSPORTE HXMÊS 312,00 199,63 56,3% 215,9%
TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE
ESPALHAMENTO DO MATERIAL
M3 19,95 7,91 152,2% 17,9%
FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL,
LANÇAMENTO DIRETO
M3 358,87 340,16 5,5% 8,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA M3 466,31 449,77 3,7% 20,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=60
MPA
M3 627,39 512,89 22,3% 24,7%
DEMOLIÇÃO DE CONCRETO ARMADO M3 265,84 68,06 290,6% 168,7%
CABO ISOLADO EM EPR SEÇÃO 95,00 MM² - 0,6/1 KV - 90°C - FLEXÍVEL M 44,98 40,80 10,2% 8.005,5%
6
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 2 - Variação dos quantitativos de alguns serviços contratuais com sobrepreço
Quantitativos de serviços significativos para obras dessa natureza, como os indicados nos gráficos
anteriormente apresentados, aumentaram mais de 50% pela intervenção dos aditivos, como é o caso
do aço, do vale transporte, do transporte de material escavado, da demolição de concreto armado e
do cabo isolado em EPR, sendo que esse último item teve seus quantitativos aumentados oitenta
vezes.
Além disso, as modificações contratuais também promoveram a inclusão de serviços com
sobrepreço. A Tabela 2 a seguir apresenta os serviços inseridos por meio de aditivos para os quais
foram apontados sobrepreços nas análises do TCDF:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 2 - Serviços novos com sobrepreço
Foram inseridos serviços com sobrepreço entre 10% e 108%, cujos valores totais são
significativos o suficiente para que os mesmos estejam na porção A da Curva ABC. Não obstante a
inserção de serviços novos com sobrepreço, três dos quatro itens indicados ainda tiveram seus
quantitativos aumentados entre 11% e 48%.
Também foram alterados os custos de serviços por aditivos. A Fonte: TCDF-Relatório de Auditoria n°. 01/2017
- NFO
Tabela 3 apresenta os serviços mais significativos que tiveram seus valores alterados durante a
execução contratual:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 3 -Serviços contratuais com custos majorados
Há um sobrepreço relevante nos serviços de mobilização, de mais de dezenove vezes o valor
considerado razoável, e de desmobilização, de quase dezoito vezes, conforme análises mais
específicas do Processo nº 30.101/2010. Mesmo para o valor inicialmente contratado, havia
sobrepreço de quase dez vezes o valor apurado.
Se não bastasse a inclusão e o aumento de quantitativos de serviços com sobrepreço, bem como
Descrição dos serviços UnidadePreço Unitário
Contrato
Preço Unitário
TCDF
Sobrepreço
Unitário (%)
Aumento
(%)
CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5 M 132,30 90,32 46,5% 48,7%
CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS,
PARA O ANEL DE COMPRESSÃO, INCLUSO MONTAGEM E DESMONTAGEM
M3 443,83 401,49 10,5% 0,0%
FABRICAÇÃO DE PRÉ-MOLDADOS M3 2.810,21 1.350,05 108,2% 36,8%
PISO CONCRETO POLIDO FOSCO ESPESSURA 7CM ARMADO, CONCRETO 25MPA,
SOBRE ESTRUTURA DE CONCRETO - CAPEAMENTO
M2 67,13 51,93 29,3% 11,9%
Descrição dos serviços UnidadePreço Unitário
Contrato
Preço Unitário
Novo
Preço Unitário
TCDF
Sobrepreço
Unitário (%)
MOBILIZAÇÃO UN 5.721.220,00 10.171.101,63 524.145,38 1.840,5%
DESMOBILIZAÇÃO INCLUSIVE LIMPEZA FINAL DA OBRA PARA ENTREGA UN 2.929.821,00 5.485.904,64 304.796,53 1.699,9%
7
o próprio aumento do preço de itens relevantes, ainda foi suprimido dos aditivos contratuais o
desconto proporcional oferecido pela vencedora da licitação em relação ao valor do orçamento de
referência.
Considerando a jurisprudência do TCU, mais especificamente o Acórdão TCU 349/2014, já se
poderia indicar a existência de “jogo de planilha”, dado que não seria cabível a compensação de
eventual subpreço na planilha contratual original com sobrepreços verificados em aditivos. De acordo
com esse acórdão, como já destacado, não se pode permitir a redução da vantagem inicial da avença
e, portanto, a alteração do equilíbrio econômico-financeiro em desfavor da Administração4.
Caracterizado o “jogo de planilha”, adotando-se para tal o método tradicional, parte-se, na
sequência, para apresentar a indicação dessa irregularidade por meio da aplicação da Lei de Benford.
2.2. Indicação do jogo de planilha a partir da Lei de Benford
A metodologia utilizada será a definida na Cartilha do Ibraop, elaborada por Cunha, Bugarin e
Portugal (2016), que objetiva identificar eventual manipulação de dados nas planilhas orçamentárias
antes e depois da realização de aditivos no contrato para a construção do Estádio Nacional de Brasília,
manipulações essas que possam indicar a possibilidade de “jogo de planilha”, já apontado no método
tradicional.
A análise foi realizada nos preços totais dos serviços, resultante do produto de seus quantitativos
pelos preços unitários, visto que as alterações contratuais modificaram tanto os preços quanto as
quantidades dos itens. Conforme a referida Cartilha do Ibraop, foram aplicados três testes para
comprovação da aderência dos dados analisados à Lei de Benford: teste do primeiro dígito, teste dos
dois primeiros dígitos e teste da soma, que serão brevemente descritos.
O teste do primeiro dígito atesta se a frequência do primeiro dígito adere à Lei de Benford,
indicando quais dígitos não se comportam como o esperado.
Esse teste foi realizado com os dados do orçamento referencial utilizado na licitação, bem como
com a planilha contratual original, apresentados nas Figuras 3(a) e 3(b). Em ambos os casos, observa-
se que a frequência do primeiro dígito seguiu a Lei de Benford, o que indica conformidade
aproximada segundo a classificação de Nigrini (Özer e Babacan, 2013) para o teste estatístico da
média dos desvios absolutos. A Figura 3(c) apresenta a distribuição de frequência do primeiro dígito
do orçamento do Estádio Nacional de Brasília após as modificações realizadas pelos aditivos.
Observa-se que os dígitos 1 e 2 apresentam frequências menores que as estabelecidas pela Lei de
Benford, ao passo que os de 3 a 6 apresentam suas frequências maiores que as esperadas.
(a): Orçamento de referência (b): Planilha contratual original
4 O TCDF, por meio das Decisões nº 2.974/2017, 4.943/2017 e 4.463/2017, determinou a apuração de prejuízos da ordem
de R$ 67 milhões, R$ 291 milhões e R$ 106 milhões, respectivamente, nos Processos nº 30.101/2010, 16.469/2012 e nº
29.565/2013, decorrentes de superfaturamento na obra de construção do Estádio Nacional de Brasília.
8
(c): Planilha após aditivos
Fonte: TCDF-Relatório de Auditoria n°. 01/2017-NFO
Figura 3 - Frequências dos primeiros dígitos:
(a): no orçamento de referência; (b) na planilha contratual original; (c) na planilha após os aditivos
Tendo em vista a aplicação do teste do primeiro dígito, conclui-se pela provável ocorrência de
manipulação dos dados após os aditivos (Figura 3(c)), amparada pela aderência à Lei de Benford na
avaliação dos dados do orçamento de referência (Figura 3(a)) e da planilha contratual vencedora
original (Figura 3(b)).
(a): Orçamento de referência (b): Planilha contratual original
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 4 - Frequências dos dois primeiros dígitos: (a) no orçamento de referência e (b) na planilha contratual original.
O teste dos dois primeiros dígitos tem o mesmo propósito do primeiro teste, com a diferença de
que são testadas as frequências das categorias dos dois primeiros dígitos.
A aplicação do teste também foi realizada para os dados do orçamento licitado e da planilha
contratual original, Figuras 4(a) e 4(b), o que mostra que os valores originais possuem comportamento
bem aproximado ao esperado.
A Figura 5 a seguir apresenta os dados desse teste após os aditivos. De forma semelhante ao teste
do primeiro dígito, pode-se observar a ocorrência de categorias de dois dígitos a partir do 32 que
apresentam frequência bem superior ao esperado para dados que não sofreram manipulação enquanto
os demais apresentam frequências menores que o esperado, mais uma vez indicando a ocorrência de
“jogo de planilha”.
9
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 5 - Frequências dos dois primeiros dígitos após os aditivos
No teste da soma, quando são testados os valores totais dos serviços de uma planilha não
manipulada, verifica-se que o somatório dos itens dentro de cada categoria de dois primeiros dígitos
possui, aproximadamente, a mesma proporção em relação ao valor total do orçamento. Como existem
90 categorias de dois primeiros dígitos, do 10 ao 99, cada categoria teria que representar 1/90 do valor
total, o que resultaria em 0,011. Todavia, dados reais raramente se conformam a tal padrão, conforme
destacado na Cartilha do Ibraop. No entanto, o resultado desse teste comparado com o dos dois
primeiros dígitos confronta o volume de dados contidos em cada grupo com a soma de seus valores,
o que corresponde a verificar a materialidade e a relevância de cada grupo.
A Figura 6 apresenta o resultado gráfico desse teste, em que as categorias de dígitos acima da
referência de Benford merecem maior atenção por possuírem maior materialidade que os demais. Foi
adotado o critério de um valor acima de 100% de aumento com relação ao esperado, ou seja, um
percentual de 0,022 do custo total.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 6 - Teste da soma após os aditivos
Também são aplicados testes estatísticos aos resultados dos testes anteriores, previstos na Cartilha
do Ibraop, à exceção do teste da soma, para se comprovar a conformidade da distribuição à Lei de
Benford. Os testes aplicados são: Teste Z, Qui-quadrado e Média dos Desvios Absolutos (MDA), que
serão brevemente explanados.
Os três testes mencionados são baseados nos padrões dos dígitos dos valores em um banco de
dados em que as proporções reais e esperadas são comparadas entre si.
O teste Z mostra se a proporção real de um dígito específico desvia de forma significativa da
proporção esperada. Para esse teste, foi utilizado um nível de significância de 5%, indicado por
Nigrini (Özer e Babacan, 2013). As categorias de dois primeiros dígitos indicadas por este teste, por
estarem fora da proporção esperada, são utilizadas para selecionar os serviços que merecem maior
10
atenção. A Figura 7, a seguir, apresenta o resultado desse teste:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 7 - Teste Z dos dois primeiros dígitos após os aditivos
O Teste Qui-quadrado compara um conjunto de dados reais com um conjunto de resultados
esperados, em que a hipótese nula é a de que os dígitos de uma distribuição se conformam com a Lei
de Benford. O resultado calculado, para o teste dos dois primeiros dígitos, é comparado a um valor
crítico que, para os 89 graus de liberdade e 5% de significância, corresponde a 112,02.
O resultado obtido para o orçamento referencial é de 106,04 e para a planilha contratual original
é de 84,30, ambos menores que a referência estabelecida, ao passo que o mesmo teste aplicado ao
orçamento após os aditivos apresenta resultado de 652,03, muito superior ao limiar estabelecido, o
que comprova que os dados após modificação por aditivos se distanciam da Lei de Benford.
O teste MDA ignora o número de valores testados em sua fórmula, o que o difere dos anteriores
e o torna o preferido por Nigrini (Özer e Babacan, 2013) para extensos bancos de dados. Para este
teste, o orçamento referencial apresentou conformidade marginal aceitável e a planilha contratual
original apresentou conformidade aceitável, enquanto o orçamento após os aditivos foi classificado
como não conforme, o que reforça a conclusão já exposta.
A Tabela 4 a seguir apresenta os resultados dos diferentes testes quanto à conformidade à Lei de
Benford das três planilhas estudadas: o orçamento de referência, o contrato original e o contrato após
os aditivos. Vale observar o resultado curioso de que a planilha original que venceu a concorrência
encontra-se em conformidade ainda maior com a Lei de Benford do que o próprio orçamento de
referência, o que sugere que a planilha original foi elaborada sem manipulações, tendo a empresa
vencedora deixado as manipulações para serem realizadas após a vitória no processo licitatório. A
alarmante discrepância no valor calculado para o Teste Qui-quadrado, que pulou de 84,30 (bem
abaixo do limiar de referência de 112,02) para 652,03 (bem acima desse limiar), sugere que a ação
manipulativa ocorreu após o consórcio vencedor garantir para si a obra, caracterizando, pois, o jogo
de planilha.
Planilha Primeiros
dígitos-Teste Z (no. de não
conformidade)
Dois primeiros
dígitos-Teste Z (no. de não
conformidade)
Dois primeiros
dígitos-Teste Qui-
quadrado (Referência: 112,02)
Dois primeiros
dígitos-Teste
MDA
Dois primeiros
dígitos-Teste Z e
da soma (no. de categorias)
Orçamento referência 0 9 106,04
(Conforme)
Conformidade
marginal
aceitável
15
Contrato original 0 1 84,30
(Conforme)
Conformidade
aceitável 10
Após aditivos 4 12
652,03
(Altamente não
conforme)
Não-
conformidade 23
Fonte: Elaboração própria
11
Tabela 4 -Evidência de jogo de planilha: análise da conformidade com a Lei de Benford para as planilhas do orçamento
de referência, do contrato original e após os aditivos
Após a realização de todos os testes, foram selecionadas as categorias de dois primeiros dígitos
cujo teste Z resulta em valores maiores que o limiar de 1,96, com frequência de distribuição maior
que a esperada segundo a Lei de Benford, os quais são cotejados com os resultados do teste da soma
superiores ao limiar de 0,022, correspondente a duas vezes a proporção de Benford para tal teste.
Como resultado da aplicação da metodologia proposta 5 , foram selecionadas as seguintes
categorias de dois primeiros dígitos: 10, 11, 12, 14, 15, 16, 19, 22, 23, 24, 30, 31, 36, 39, 41, 45, 48,
58, 60, 61, 81, 86 e 97, que incluem 30 serviços entre os apontados como contendo preços acima dos
de mercado ou quantitativos maiores que os reais pelo TCDF, indicados na Tabela 5.
Ressalta-se, que a categoria de dois primeiros dígitos 39 foi apontada pela metodologia aplicada
como a mais crítica por ter sido identificada tanto no teste dos dois primeiros dígitos quanto no teste
da soma. Nessa categoria foram identificados cinco serviços apontados pelo TCDF que totalizaram
pelo menos R$ 20,5 milhões de sobrepreço.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 5 - Serviços indicados pela metodologia baseada na Lei de Benford que foram apontados como contendo preços
acima dos de mercado ou quantitativos maiores que os reais
3. CONCLUSÃO 5 As tabelas com os dados referentes a todos os testes estão disponíveis com os autores do trabalho.
Categoria de
dois dígitosDescrição dos serviços
10 MOBILIZAÇÃO
11 ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM, CORTE E DOBRA NA OBRA
11 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA
12 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE TELEFONIA
14 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE CFTV
15 FABRICAÇÃO DE PRÉ-MOLDADOS
15 IMPERMEABILIZAÇÃO DE PAREDE SUJEITA A UMIDADE DE SOLO COM ADITIVO HIDRÓFUGO E TINTA ASFÁLTICA
15 EXECUÇÃO DE TESTES DE COMISSIONAMENTO DE TODOS OS QUATRO SISTEMAS DE ENERGIA ININTERRUPTA.
16 ADICIONAL DE MÃO DE OBRA PARA SERVIÇOS NOTURNO DIRETO
16 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL, LANÇAMENTO DIRETO
16 TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE ESPALHAMENTO DO MATERIAL
16EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ÁGUAS PLUVIAIS DA
COBERTURA
16 LABORATÓRIO
19 MÓDULO DE ELASTICIDADE
23 PISO CONCRETO POLIDO FOSCO E= 10CM ARMADO, CONCRETO 25MPA NO TUNEL VIP
24 VALE TRANSPORTE
24CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS, PARA O ANEL DE COMPRESSÃO,
INCLUSO MONTAGEM E DESMONTAGEM
24PISO CONCRETO POLIDO FOSCO ESPESSURA 10CM, CONCRETO 25MPA SOBRE TERRENO COMPACTADO - CIRCULAÇÃO
NO 3ºSS E 1ºSS
30 FORNECIMENTO, MONTAGEM E DESMONTAGEM DE CONTRAVENTAMENTO METÁLICO
30FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA CURVA APARENTE DE COMPENSADO PLASTIFICADO DE 18
MM COM 3 REAPROVEITAMENTOS
31 CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5
31 MONTAGEM DAS GRUAS
36FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE CHAPA DE COMPENSADO PLASTIFICADO
DE 18MM COM 3 REAPROVEITAMENTOS
39 CIMBRAMENTO PARA PONTE OU VIADUTO, EDIFICAÇÃO CIVIL E INDUSTRIAL, INCLUSO MONTAGEM E DESMONTAGEM
39 DEMOLIÇÃO DE CONCRETO ARMADO
39 CABO DE COBRE DE 185,0 MM², ISOLAMENTO 8,7/15 KV - ISOLAÇÃO EPR 90°C
39 EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ESGOTO
39 FORNECIMENTO E APLICAÇÃO DE AÇO CP- 177RB 15,7MM S/ CERA E S/ ENCAPAMENTO DE PEAD
45 EXECUÇÃO DE TIRANTES INCLUSIVE PERFURAÇÃO, MONTAGEM, INSTALAÇÃO, PROTENÇÃO E ENSAIOS
48 FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40 MPA
12
O algoritmo baseado na Lei de Benford proposto em Cunha, Bugarin e Portugal (2016) indicou
categorias de dígitos com maior probabilidade de manipulação na planilha final da obra do Estádio
Nacional de Brasília. Quando se confrontam os grupos com maior probabilidade de ocorrência de
manipulação na obra do Estádio Nacional de Brasília com os serviços apontados como contendo
superfaturamento pelo TCDF, mostra-se que, tanto a metodologia tradicional de utilização da Curva
ABC para a seleção da amostra de serviços que representa mais de 80% do orçamento da obra, quanto
a utilização da Lei de Benford indicam, em sua maioria, os mesmos serviços para análise aprofundada
da auditoria no caso concreto. Dessa forma, esse trabalho demonstrou que o algoritmo baseado na
Lei de Benford previsto na Cartilha do Ibraop pode ser também utilizado para apurar a ocorrência de
“jogo de planilha”, como excelente ferramenta de otimização dos trabalhos de auditoria.
Naturalmente, é importante ressaltar que nem a metodologia tradicional nem a nova metodologia
são peremptórias na indicação dos serviços com fraude. Esse apontamento decorre da análise detida
de cada serviço, como realizado previamente pelo TCDF, o que viabiliza a conclusão sobre a
existência de “jogo de planilha”.
Feita essa ressalva, percebe-se no presente estudo que um método reforçou o outro ao indicarem
a manipulação da planilha da obra após a realização dos aditivos, quebrando a equação econômico-
financeira e confirmando o “jogo de planilha” na obra de construção do Estádio Nacional de Brasília.
Existem vários argumentos para a utilização da metodologia baseada na Lei de Benford. Do ponto
de vista prático, como já destacado pela cartilha, está a possibilidade de não serem agregados serviços
de mesma natureza, não demandando um trabalho prévio na extensa planilha de obras dessa natureza.
Do ponto de vista teórico, a possibilidade de aplicação prévia de uma metodologia baseada em uma
regularidade estatística universal permite uma seleção objetiva de um número reduzido de itens a
serem auditados com maior possibilidade estatística de manipulação. O confronto entre a metodologia
tradicional e a metodologia baseada na Lei de Benford dá maior segurança à evidência encontrada de
manipulação do tipo “jogo de planilha” ao longo da execução da obra pública, o que reforça a
importância do acompanhamento de cada uma das alterações contratuais.
Como natural extensão da análise aqui desenvolvida, surge a proposta de se avaliar, por meio da
metodologia estatística oferecida em Cunha, Bugarin e Portugal (2016), como evolui a evidência de
“jogo de planilha” ao longo dos diferentes aditivos ao contrato original, classificando, por meio do
teste do Qui-quadrado, por exemplo, a evolução de tal indicativo.
Bibliografia
Acórdãos TCU 1.090/2001-Plenário, 467/2015-Plenário, 1.153/2015-1ª Câmara e 349/2014-Plenário, disponível em
https://contas.tcu.gov.br/pesquisaJurisprudencia/#/. Acesso em 23 set. 2018.
BENFORD, F. The law of anomalous numbers. Proceedings of the American Philosophical Society 78 (4), 1938, p. 551-
572.
BUGARIN, M. S. e CUNHA, F. C. A didactic note on the use of Benford’s Law in public works auditing, with an
application to the construction of Brazilian Amazon Arena 2014 World Cup soccer stadium. Economia (Yokohama) 66
(1): 23-55, 2015.
_____ Lei de Benford aplicada à auditoria da reforma do Aeroporto Internacional de Minas Gerais. Revista do Serviço
Público, v. 68, n. 4, p. 915-940, out/dez 2017.
CAFÉ, R. M. e BUGARIN, M. Uma proposta metodológica para a auditoria de obras públicas no Distrito Federal. Texto
para Discussão no. 30/agosto de 2017. Disponível em: http://www.codeplan.df.gov.br/wp-content/uploads/2018/02
/TD_30_Uma_Proposta_Metodol%C3%B3gica_para_Auditoria_em_Obras_P%C3%BAblicas_no_DF.pdf.
CUNHA, F. C. e BUGARIN, M. S. Lei de Benford para a Auditoria de Obras Públicas: Análise de Sobrepreço na
Construção da Arena da Amazônia. Boletim de Licitações e Contratos (BLC/NDJ), 28(8): 841-857, 2015.
CUNHA, F. C. e BUGARIN, M. S. Benford’s Law for audit of public works: an analysis of overprincing in Maracanã
soccer arena’s renovation. Economic Bulletin, v. 35, p. 1168-1176, 2015.
13
CUNHA, F. C., BUGARIN, M. S. e PORTUGAL, A. C. Seleção de amostra de auditoria de obras públicas pela lei de
Benford: versão estendida. São Paulo: IBRAOP, 2016. Disponível em:
http://www.ibraop.org.br/Publicacoes/CartilhaBenford/Cartilha/assets/basic-html/page-1.html#. Acesso em 23 set. 2018.
FILHO, R. N. A. Fraude em licitações e a Lei de Benford: aplicação em perícias de engenharia civil da PF. In: Seminário
de Perícias de Engenharia da Polícia Federal, 8, 2016, Maceió. Anais… Maceió, 2016.
Decisões TCDF nº 738/2015, 2.344/2014, 2.974/2017, 4.943/2017 e 4.463/2017.
Disponível em: https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.
NEWCOMB, S. Note on the frequency of the different digits in natural numbers. The American Journal of Mathematics,
Vol. 4, 39-40. 1881.
NIGRINI, M. Benford's Law: Applications for Forensic Accounting, Auditing, and Fraud Detection. Wiley.com, 2012.
TCDF-RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante do Processo nº 29.565/2013, que pode ser
consultado em https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.
ÖZER, G.; BABACAN, B. Benford’s Law and Digital Analysis: Application on Turkish Banking Sector. Business and
Economics Research Journal, v. 4(1), p. 1-29, 2013.
The Economics and Politics (CNPq) Research Group started publishing its members’ working papers on June 12, 2013. Please check the list below and click at
http://econpolrg.com/working-papers/ to access all publications.
Number Date Publication
92/2018 12-04-2018 Aplicação da Lei de Benford na Detecção de Jogo de Planilha: O Caso do Estádio Nacional de Brasília, Carlos Alberto Cascão Júnior, Adriana Cuoco Portugal, Mauricio Soares Bugarin and Flávia Ceccato Cunha
91/2018 11-21-2018 Where’d You Get that Idea? Determinants of Creativity and Impact in Popular Music, Bernardo Mueller
90/2018 11-12-2018 A Previdência Complementar é, de fato, Complementar?, Marcos Nihari and Vander Lucas
89/2018 11-05-2018 Sobre Falácias de Moro, Nelson Gonçalves Gomes
88/2018 10-29-2018 Eficiência financeira das concessões de aeroportos no Brasil no período de 2015 a 2016, João Paulo de Castro Carisio Ribeiro, Marcelo Driemeyer Wilbert and Samuel de Resende Salgado
87/2018 10-19-2018 Leilões para conversão de dívida em investimento: Uma proposta da teoria de leilões para implantação dos Termos de Ajuste de Conduta (TAC) da ANATEL, Hélio Maurício Miranda da Fonseca and Maurício Soares Bugarin
86/2018 10-08-2018 Redistribution in Contemporary Japan: A Political Economy Analysis of Ide, Furuichi and Miyazaki (2016)’s “All for All” Fiscal Reform Proposal, Maurício Bugarin
85/2018 08-08-2018 Gestão Fiscal e Despesa de Pessoal: Análise dos Gastos Públicos Estaduais entre 2008 e 2016, Marcos Lima Bandeira, Paulo Augusto P. de Britto and André Luiz Marques Serrano
84/2018 07-11-2018 Atuação do poder legislativo estadual: análise dos incentivos dos deputados estaduais na atividade legislativa, Débora Costa Ferreira, Fernando B. Meneguin and Maurício Soares Bugarin
83/2018 07-04-2018 Eficiência, atratividade e dissuasão de acordos de leniência e combate à corrupção: o caso da Operação Lava-Jato, Rafael M. Gomes, Roberto H. de Aragão Neto, Maurício S. Bugarin and André L. Gama
82/2018 06-28-2018 Ciclos Políticos e Eleitorais na Execução do Programa Bolsa Família em Nível Municipal, Tiago Sousa Pereira, Moisés A. Resende Filho and Vander Mendes Lucas
81/2018 06-20-2018 Análise do IBS como Proposta de Reforma Tributária. Um Estudo Aplicado de Equilíbrio Geral Computável, Nathanael Pereira Costa and Vander Mendes Lucas
80/2017 09-27-2017 Impacto do Programa Ensino Médio Inovador em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra
79/2017 09-14-2017 Uma Avaliação da Política de Privatização de Aeroportos Brasileira: Uma Abordagem por Controle Sintético, Caio Cordeiro de Resende
78/2017 08-30-2017 Tecnologia e Desempenho Escolar: Uma Avaliação de Impacto do Programa Um Computador por Aluno, Caio Cordeiro de Resende and Ana Carolina Zoghbi
77/2017 08-23-2017 Desregulamentação da franquia de bagagem despachada no Brasil: Uma Análise de Impacto Regulatório, Débora Alves Pereira Bastos, Rodrigo César Bessoni e Silva and Vander Mendes Lucas
76/2017 08-16-2017 Análise de Eficiência das IFES no Uso de Recursos Financeiros 2010-2015, Antonio Marcos Correia Melonio and Vander Mendes Lucas
75/2017 08-09-2017 Royalties do petróleo, reeleição e ciclos políticos: um estudo econométrico para as eleições, Eduardo Dornelas Munhoz e Moisés de Andrade Resende Filho
74/2017 08-02-2017 Responsabilidade fiscal, a atuação do Poder Judiciário e o comportamento estratégico dos governantes, Débora Costa Ferreira, Fernando B. Meneguin and Maurício Soares Bugarin
73/2017 07-26-2017 Sustentabilidade da Dívida dos Estados Brasileiros: 2005-2015, Hiromi Cristina Santos Doi and Vander Mendes Lucas
72/2017 07-19-2017 Hotelling’s product differentiation: an infinite-dimensional linear programming approach, Rodrigo Peñaloza
71/2017 06-16-2017 Escola japonesa ou escola brasileira? A inserção dos estudantes brasileiros na escola no Japão, Maurício Soares Bugarin
Number Date Publication
70/2017 04-17-2017 How the East was Lost: Coevolution of Institutions and Culture in the 16th Century Portuguese Empire, Bernardo Mueller
69/2017 04-10-2017 A reforma política sob o ponto de vista da análise econômica do direito, Pedro Fernando Nery and Fernando B. Meneguin
68/2016 07-14-2016 O dilema entre a eficiência de curto e de longo prazo no ordenamento jurídico e o impacto no crescimento econômico, Fernando B. Meneguin and Tomás T. S. Bugarin
67/2016 05-04-2016 A estrutura de capital de empresas brasileiras de capital aberto: uma análise de seus determinantes, João Pedro Bertani Catrib, Paulo Augusto P. de Britto and André Luiz Marques Serrano
66/2016 04-20-2016 Tests for history dependence in mixed-Poisson growth: Brazil, 1822-2000, and USA, 1869-1996, with an estimate of the world mixing distribution at start-up, Steve De Castro and Flávio Gonçalves
65/2016 04-13-2016 Piketty’s Prediction meets technical progress in Harrod-Domar’s Dynamics and Solow Swan’s Surrogate, Steve De Castro
64/2016 04-06-2016 Análise do impacto da alteração normativa na aposentadoria por invalidez no Brasil, Helvio Antonio Pereira Marinho, Moises de Andrade Resende Filho and Vander Mendes Lucas
63/2016 03-30-2016 Black movement: Estimating the effects of affirmative action in college admissions on education and labor market outcomes, Andrew Francis-Tan and Maria Tannuri-Pianto
62/2016 01-13-2016 Electronic voting and Social Spending: The impact of enfranchisement on municipal public spending in Brazil, Rodrigo Schneider, Diloá Athias and Maurício Bugarin
61/2015 12-02-2015 Alunos de inclusão prejudicam seus colegas? Uma avaliação com dados em painel de alunos da rede municipal de São Paulo, Bruna Guidetti, Ana Carolina Zoghbi and Rafael Terra
60/2015 12-02-2015 Impacto de programa Mais Educação em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra
59/2015 10-21-2015 Eficiência de custos operacionais das companhias de distribuição de energia elétrica (CDEEs) no Brasil: Uma aplicação (DEA & TOBIT) em dois estágios, Daniel de Pina Fernandes and Moisés de Andrade Resende Filho
58/2015 10-14-2015 Determinantes do risco de crédito rural no Brasil: uma crítica às renegociações da dívida rural, Lucas Braga de Melo and Moisés de Andrade Resende Filho
57/2015 10-07-2015 Distribuição da riqueza no Brasil: Limitações a uma estimativa precisa a partir dos dados tabulados do IRPF disponíveis, Marcelo Medeiros
56/2015 10-01-2015 A composição da desigualdade no Brasil. Conciliando o Censo 2010 e os dados do Imposto de Renda, Marcelo Medeiros, Juliana de Castro Galvão and Luísa Nazareno
55/2015 09-24-2015 A estabilidade da desigualdade no Brasil entre 2006 e 2012: resultados adicionais, Marcelo Medeiros and Pedro H. G. F. Souza
54/2015 09-24-2015 Reciclagem de plataformas de petróleo: ônus ou bônus?, Roberto N. P. di Cillo
53/2015 09-09-2015 A Progressividade do Imposto de Renda Pessoa Física no Brasil, Fábio Castro and Mauricio S. Bugarin
52/2015 07-03-2015 Measuring Parliaments: Construction of Indicators of Legislative Oversight, Bento Rodrigo Pereira Monteiro and Denílson Banderia Coêlho
51/2015 06-29-2015 A didactic note on the use of Benford’s Law in public works auditing, with an application to the construction of Brazilian Amazon Arena 2014 World Cup soccer stadium, Mauricio S. Bugarin and Flavia Ceccato Rodrigues da Cunha
50/2015 04-29-2015 Accountability and yardstick competition in the public provision of education, Rafael Terra and Enlinson Mattos
49/2015 04-15-2015 Understanding Robert Lucas (1967-1981), Alexandre F. S. Andrada
48/2015 04-08-2015 Common Labor Market, Attachment and Spillovers in a Large Federation, Emilson Caputo Delfino Silva and Vander Mendes Lucas
47/2015 03-27-2015 Tópicos da Reforma Política sob a Perspectiva da Análise Econômica do Direito, Pedro Fernando Nery and Fernando B. Meneguin
46/2014 12-17-2014 The Effects of Wage and Unemployment on Crime Incentives - An Empirical Analysis of Total, Property and Violent Crimes, Paulo Augusto P. de Britto and Tatiana Alessio de Britto
Number Date Publication
45/2014 12-10-2014 Políticas Públicas de Saúde Influenciam o Eleitor?, Hellen Chrytine Zanetti Matarazzo
44/2014 12-04-2014 Regulação Ótima e a Atuação do Judiciário: Uma Aplicação de Teoria dos Jogos, Maurício S. Bugarin and Fernando B. Meneguin
43/2014 11-12-2014 De Facto Property Rights Recognition, Labor Supply and Investment of the Poor in Brazil, Rafael Santos Dantas and Maria Tannuri-Pianto
42/2014 11-05-2014 On the Institutional Incentives Faced by Brazilian Civil Servants, Mauricio S. Bugarin and Fernando B. Meneguin
41/2014 10-13-2014 Uma Introdução à Teoria Econômica da Corrupção: Definição, Taxonomia e Ensaios Selecionados, Paulo Augusto P. de Britto
40/2014 10-06-2014 Um modelo de jogo cooperativo sobre efeitos da corrupção no gasto público, Rogério Pereira and Tatiane Almeida de Menezes
39/2014 10-02-2014 Uma análise dos efeitos da fusão ALL-Brasil Ferrovias no preço do frete ferroviário de soja no Brasil, Bruno Ribeiro Alvarenga and Paulo Augusto P. de Britto
38/2014 08-27-2014 Comportamentos estratégicos entre municípios no Brasil, Vitor Lima Carneiro & Vander Mendes Lucas
37/2014 08-20-2014 Modelos Microeconômicos de Análise da Litigância, Fa ́bio Avila de Castro
36/2014 06-23-2014 Uma Investigação sobre a Focalização do Programa Bolsa Família e seus Determinantes Imediatos. André P. Souza, Plínio P. de Oliveira, Janete Duarte, Sérgio R. Gadelha & José de Anchieta Neves
35/2014 06-22-2014 Terminais de Contêineres no Brasil: Eficiência Intertemporal. Leopoldo Kirchner and Vander Lucas
34/2014 06-06-2014 Lei 12.846/13: atrai ou afugenta investimentos? Roberto Neves Pedrosa di Cillo
33/2013 11-27-2013 Vale a pena ser um bom gestor? Comportamento Eleitoral e Reeleição no Brasil, Pedro Cavalcante
32/2013 11-13-2013 A pressa é inimiga da participação (e do controle)? Uma análise comparativa da implementação de programas estratégicos do governo federal, Roberto Rocha C. Pires and Alexandre de Avila Gomide
31/2013 10-30-2013 Crises de segurança do alimento e a demanda por carnes no Brasil, Moisés de Andrade Resende Filho, Karina Junqueira de Souza and Luís Cristóvão Ferreira Lima
30/2013 10-16-2013 Ética & Incentivos: O que diz a Teoria Econômica sobre recompensar quem denuncia a corrupção? Maurício Bugarin
29/2013 10-02-2013 Intra-Village Expansion of Welfare Programs, M. Christian Lehmann
28/2013 09-25-2013 Interações verticais e horizontais entre governos e seus efeitos sobre as decisões de descentralização educacional no Brasil, Ana Carolina Zoghbi, Enlinson Mattos and Rafael Terra
27/2013 09-18-2013 Partidos, facções e a ocupação dos cargos de confiança no executivo federal (1999-2011), Felix Lopez, Mauricio Bugarin and Karina Bugarin
26/2013 09-11-2013 Metodologias de Análise da Concorrência no Setor Portuário, Pedro H. Albuquerque, Paulo P. de Britto, Paulo C. Coutinho, Adelaida Fonseca, Vander M. Lucas, Paulo R. Lustosa, Alexandre Y. Carvalho and André R. de Oliveira
25/2013 09-04-2013 Balancing the Power to Appoint officers, Salvador Barberà and Danilo Coelho
24/2013 08-28-2013 Modelos de Estrutura do Setor Portuário para Análise da Concorrência, Paulo C. Coutinho, Paulo P. de Britto, Vander M. Lucas, Paulo R. Lustosa, Pedro H. Albuquerque, Alexandre Y. Carvalho, Adelaida Fonseca and André Rossi de Oliveira
23/2013 08-21-2013 Hyperopic Strict Topologies, Jaime Orillo and Rudy José Rosas Bazán
22/2013 08-14-2013 Há Incompatibilidade entre Eficiência e Legalidade? Fernando B. Meneguin and Pedro Felipe de Oliveira Santos
21/2013 08-07-2013 A Note on Equivalent Comparisons of Information Channels, Luís Fernando Brands Barbosa and Gil Riella
20/2013 07-31-2013 Vertical Integration on Health Care Markets: Evidence from Brazil, Tainá Leandro and José Guilherme de Lara Resende
19/2013 07-24-2013 A Simple Method of Elicitation of Preferences under Risk, Patrícia Langasch Tecles and José Guilherme de Lara Resende
18/2013 07-17-2013 Algunas Nociones sobre el Sistema de Control Público en Argentina con Mención al Caso de los Hospitales Públicos de la Provincia de Mendoza, Luis Federico Giménez
Number Date Publication
17/2013 07-10-2013 Mensuração do Risco de Crédito em Carteiras de Financiamentos Comerciais e suas Implicações para o Spread Bancário, Paulo de Britto and Rogério Cerri
16/2013 07-03-2013 Previdências dos Trabalhadores dos Setores Público e Privado e Desigualdade no Brasil, Pedro H. G. F. de Souza and Marcelo Medeiros
15/2013 06-26-2013 Incentivos à Corrupção e à Inação no Serviço Público: Uma análise de desenho de mecanismos, Maurício Bugarin and Fernando Meneguin
14/2013 06-26-2013 The Decline in inequality in Brazil, 2003–2009: The Role of the State, Pedro H. G. F. de Souza and Marcelo Medeiros
13/2013 06-26-2013 Productivity Growth and Product Choice in Fisheries: the Case of the Alaskan pollock Fishery Revisited, Marcelo de O. Torres and Ronald G. Felthoven
12/2013 06-19-2003 The State and income inequality in Brazil, Marcelo Medeiros and Pedro H. G. F. de Souza
11/2013 06-19-2013 Uma alternativa para o cálculo do fator X no setor de distribuição de energia elétrica no Brasil, Paulo Cesar Coutinho and Ângelo Henrique Lopes da Silva
10/2013 06-12-2013 Mecanismos de difusão de Políticas Sociais no Brasil: uma análise do Programa Saúde da Família, Denilson Bandeira Coêlho, Pedro Cavalcante and Mathieu Turgeon
09/2013 06-12-2103 A Brief Analysis of Aggregate Measures as an Alternative to the Median at Central Bank of Brazil’s Survey of Professional Forecasts, Fabia A. Carvalho
08/2013 06-12-2013 On the Optimality of Exclusion in Multidimensional Screening, Paulo Barelli, Suren Basov, Mauricio Bugarin and Ian King
07/2013 06-12-2013 Desenvolvimentos institucionais recentes no setor de telecomunicações no Brasil, Rodrigo A. F. de Sousa, Nathalia A. de Souza and Luis C. Kubota
06/2013 06-12-2013 Preference for Flexibility and Dynamic Consistency, Gil Riella
05/2013 06-12-2013 Partisan Voluntary Transfers in a Fiscal Federation: New evidence from Brazil, Mauricio Bugarin and Ricardo Ubrig
04/2013 06-12-2013 How Judges Think in the Brazilian Supreme Court: Estimating Ideal Points and Identifying Dimensions, Pedro F. A. Nery Ferreira and Bernardo Mueller
03/2013 06-12-2013 Democracy, Accountability, and Poverty Alleviation in Mexico: Self-Restraining Reform and the Depoliticization of Social Spending, Yuriko Takahashi
02/2013 06-12-2013 Yardstick Competition in Education Spending: a Spatial Analysis based on Different Educational and Electoral Accountability Regimes, Rafael Terra
01/2013 06-12-2013 On the Representation of Incomplete Preferences under Uncertainty with Indecisiveness in Tastes, Gil Riella