follow up evaluations in science, technology and innovation

Enhancing Public Research Performance through Evaluation,

Impact Assessment and Priority SettingOCDE - Directorate for Science, Technology and Innovation

http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdfhttp://www.oecd.org/sti/inno/impact-assessment-public.htm

Giuliano [email protected]

http://google.com/+GiulianoSposito

http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf


http://www.oecd.org/sti/inno/impact-assessment-public.htm

http://www.oecd.org/sti/inno/impact-assessment-public.htm



Objetivos do Relatório

● Avaliação de políticas como chave para equalizar e possibilitar a distribuição mais efetiva do investimento público em P&D

● Demanda por ferramentas efetivas de avaliação, para suprir o processo decisório para as políticas públicas de investimento de P&D

Primeira ParteDefine o contexto e discutindo os pontos chaves na avaliação da pesquisa pública em ciência e tecnologia

1. Principais pontos no processo avaliação de S&T: arquitetura da avaliação, peer review como ferramenta de avaliação e interconexão entre avaliação e priorização

2. Peer Review & Expert Reviews3. Avaliação de Impacto: Racional, métodos e ferramentas4. Analiza o papel da priorização

Segunda ParteApresenta 6 casos de estudo de avaliação de programas de S&T

1. China2. Finlândia3. Israel4. Noruega5. Japão6. Austria

JapãoFollow-up Evaluation as a Tool for R&D Policy

Caso de estudo examina o papel das avaliações de acompanhamento (follow-up evaluations) no objetivo de verificar o impacto dos programas, políticas e projetos. O Japão faz uso de Peer e Expert Review durante a execução do projeto e análise de impacto nas avaliações de follow-up.

Contexto● Economia do Japão começou a estagnar a partir da década 1990.● Uma das razões foi o desencontro entre o desenvolvimento tecnológico

industrial convencional e a emergência das indústrias de base científica (IT e Biotech)

● Plano Básico para Ciência e Tecnologia, que promove a política de inovação, prioriza os campos de pesquisa e indica o orçamento necessário

● 3a. Edição do Plano Básico (2006-2010)

http://www.oecd.org/science/inno/41377237.pdf



● METI | Ministry of Economy, Trade and Industry○ Missão: Assegurar o crescimento econômico sustentável do Japão

○ Responsável pelas políticas: (1) manufatura industrial, (2) comércio exterior, (3) informação,

comunicação e serviços, (4) pequenas e médias empresas, (5) energia e meio-ambiente e (6) nuclear e segurança industrial

○ 34 programas e aproximadamente 120 R&D projects

● NEDO | New Energy and Industrial Development Organization○ Missão: promover o aprimoramento da competitividade industrial japonesa. ○ Agência de “funding” para pesquisas aplicadas○ Gestão e acompanhamento dos projetos○ Cooperação com agentes privados

● AIST | National Institute of Advanced Industrial Scince and Technology○ Instituto encarregado de conduzir a pesquisa básica○ Licenciamento e agência de inovação

Processo de Avaliação● Avalia inteiramente as fases de pesquisa e desenvolvimento, e procura

melhorar o processo de orçamento e diminuir redundâncias.● Constantemente provê ajustes e avanços na política de inovação● Ferramentas e metodologias bem estabelecidas e padronizadas● Identifica elementos que acelera ou impedem o processo de inovação. ● METI e NEDO conduzem as avaliações de follow-up, mas com diferentes

horizontes: ○ NEDO: short-term outcomes and project goals○ METI: long-term outputs to achieve policy objective

Alcance da avaliação




METI’s Evaluation Process ● Avaliações Ex-post e Follow-ups são feitas por comites externos● Ex-ante via self assessment

Entre 1 à 2 projetos por ano5 anos após a conclusão>1 bilhão de yenesUm projeto por campo técnico

METI’s Evaluation Process ● O produto da pesquisa (output) é avaliado via Peer-review

○ De 4 a 5 membros revisam projetos específicos de P&D

● O resultado é feito por revisão de especialistas○ 10 membros revisam todos os projetos de P&D

● Avaliação de Follow-up é feita usando:○ Indicadores de avaliação○ Avaliação quantitativa○ Entrevistas e questionários

● Follow-up não é feita para todos os projetos (1 à 2 projetos por ano)● Feita em projetos que completaram à 5 anos

Papel Central da Avaliação de Follow-UP● Análise de Impacto:

○ Impacto Tecnológico○ Melhoria de Performance de P&D○ Benefício Econômico ⇒ análise de custo/benefício○ Melhoria Social (life)○ Feedback para a Política

● Feita após 5 anos de conclusão do projeto e assume o ponto de vista “após o fato” para identificar efeitos de longo prazo

● METI incorpora análises de fatores internos (maturidade, recursos), externos (competitividade, mudanças de mercado) e políticos que podem afetar o fluxo da pesquisa através de entrevista dos participantes

Avaliação de Follow-UP busca● Elementos de impacto positivos e negativos● Links claros entre esses elementos (evidência)● Accountability para os envolvidos● Avançar a estratégida de P&D● Identificar aspectos não cobertos pelo programa (funding, regulação, etc)

Follow-UP ⇒ Alterações na Política● Usa um modelo de difusão para desenhar um grande número de possíveis

produtos do projeto/programa de pesquisa● A função da avaliação é coletar evidênciaspara identificar e compreender os

links entre produtos da pesquisa e tecnologia: evidenciando elementos impeditivos e oportunísticos

Case ● De 1992 à 2001 - METI conduziu “Programa Descentralizado de Baterias”

que resultou na geração de três novos projetos de pesquisa, um para “baterias estacionárias” e outra para “baterias de automóveis”

● A avaliação de follow-up permitiu ao METI entender que o declínio do preço e demanda por eletricidade e ambiente regulatório propício abria espaço e oportunidade para uso de baterias estacionárias para estabilizar energia proveniente de geradores eólicos.

● NEDO (pesquisa aplicada) lançou o projeto de “Baterias de Lítio Estacionárias”

https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasahara_K-Analysis.pdf



Acompanhar os maiores eventos ao longo do projeto e compreender os pontos chaves na gestão e as razões porque certos eventos

acontecem.

Deriva implicações concretas para melhoria da gestão de projetos de P&D

NEDO - Evaluation Goals

http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf



NEDO Follow-up Evalution● NEDO conduz o monitoramento (follow-up) observando diretamente o

produto da pesquisa.● Monitora as atividades dos participantes do projeto anualmente● Coleta evidências relacionadas a elementos (gestão) quanto a aceleração ou

impedimento.● As evidências coletadas, em conjunto com a avaliação ex-post, permite

reconstruir a tendência da tecnologia ⇒ Follow-Up Charts

Follow-Up Charts




Follow-Up Charts● Ferramenta para identificar e visualizar cronologicamente eventos

significativos no fluxo da gestão do projeto.● O objetivo é mostrar possíveis cenários de “sucesso” e “falha” a um corpo

executivo.● A figura reflete a mudança do uso prático da tecnologia ao longo do tempo,

bem como os efeitos da gestão na pesquisa.● A coleta de evidências é feita entrevistando empresas envolvidas no projeto,

o entrevistado é uma pessoa que compreende o projeto todo e sabe avaliar os seus resultados até o momento.

● É difícil quantificar as possibilidades de uso da tecnologia, então o eixo vertical é baseado na opinião do entrevistado.

Follow-Up Monitoring & Evaluation Systems for National R&D at NEDO - American Evaluation Association Conference - October 28, 2005 - Hiroshi Sano

Resultados● Baseado na entrevista das companhias envolvidas, NEDO define 4 categorias de

resultado:○ Tipo A: corpo executivo consistentemente (steadly) supera todos os problemas

técnicos, com uma clara visão do uso/necessidades.○ Tipo B: em que problemas técnicos durante as fases iniciais foram subestimados

(optimistic) mas o breakthrough ocorreu após a metade do projeto.○ Tipo C: problemas técnicos foram consistentemente resolvidos, mas logo após o

lançamento problemas de custo e/ou competitividade prejudicaram os produtos.○ Tipo D: em que o corpo executivo foi muito otimista sobre a capacidade de

resolver os problemas técnicos e falhou em obter o breakthrough.

Vantagens da avaliação de Follow-Up1. Knowledge Sharing: as lições de gerenciamento aprendidas e obtidas pela

avaliação de follow-up são disponibilizadas no Guia de Gestão de Projeto de R&D do NEDO e acessível via Intranet

2. Disseminação e Promoção: o monitoramento permite encontrar desenvolvimentos tecnológicos “no vale da morte”. Se necessário o NEDO pode promover assistência financeira para remoção de obstáculos.

3. Proposição de Políticas: lições aprendidas podem virar propostas de reformas de leis e políticas relacionadas ao sistema nacional de inovação

4. Intercâmbio com a indústria: lições derivadas do monitoramento de follow-up são compartilhadas e discutidas com as companhias que participam dos projetos do NEDO.

Dificuldades e desvantagens● Como o follow-up é feito ex-post pode haver dificuldade em colocar os

eventos numa sequência temporal● Como (no caso do METI) é feito 5 anos após a conclusão, é um trabalho

grande fazer o levantamento histórico. ● O processo de monitoramento follow-up não captura fatores intangíveis que

eventualmente possam afetar o projeto de P&D● Pode haver falta de elementos técnicos que evidenciam os links entre saídas

e produtos. É necessário estabelecer modelos lógicos para levantar quais são as saídas e produtos esperados.

Referências● Enhancing Research Performance through Evaluation, Impact Assessment and Priority Setting

○ Directorate for Science, Technology and Innovation - OECD Report○ http://www.oecd.org/sti/inno/Enhancing-Public-Research-Performance.pdf

● Analysis of Follow-up Evaluation Results of Research and Development (R&D) Projects Applying Logic Model to Elucidate the Process of Innovation

○ AEA Annual Conference in Baltimore 2007 - Kazuki Ogasahara, et al.○ https://higherlogicdownload.s3.amazonaws.com/EVAL/271cd2f8-8b7f-49ea-b925-e6197743f402/UploadedImages/2007-01-Ogasah

ara_K-Analysis.pdf ● Follow-up Evaluation to Advance R&D Policy: Scenario from long term vision

○ Yasukuni OKUBO, Ph.D., 2008○ http://www.oecd.org/science/inno/41377237.pdf

● Introduction to NEDO○ Seizo Miyata, 2007○ http://www.rieti.go.jp/jp/events/07090301/pdf/04_E_Miyata_Presentation.pdf

● Knowledge Transfer Support Tool for R&D Project Management: Linking Awareness-on-Project and Awareness-in-Project○ Naoshi Uchihira, International Conference on Project Management, 2015○ http://www.jaist.ac.jp/~uchihira/papers/ProMAC2015-uchihira.pdf










http://www.jaist.ac.jp/~uchihira/papers/ProMAC2015-uchihira.pdf

http://www.jaist.ac.jp/~uchihira/papers/ProMAC2015-uchihira.pdf

Giuliano [email protected]


