3 - introduction to impact evaluation - spanish_0

7/29/2019 3 - Introduction to Impact Evaluation - Spanish_0

1/23

Esta es la primera gua de orientacin de una serie de cuatro partes de guas relacionadas con la

evaluacin de impacto desarrolladas por InterAction y con el apoyo nanciero de la Fundacin Rockeeller.

Las otras guas de esta serie son: Relacin entre el Monitoreo y la Evaluacin con la Evaluacin deImpacto; Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto; y Uso de los Resultados de la

Evaluacin de Impacto. Puede encontrar la serie completa en el sitio web de InterAction:

http://www.interaction.org/impact-evaluation-notes .

Notas sobre la Evaluacin de Impacto N. . marzo de

INTRODUCCIN A LA EVALUACINDE IMPACTO

Por Patricia J. RogersUniversidad RMIT (Australia) y BetterEvaluation
http://www.interaction.org/impact-evaluation-noteshttp://www.interaction.org/impact-evaluation-notes


2/23

AGRADECIMIENTOSHan beneciado a esta gua de orientacin los comentarios proporcionados por los miembros del Grupo

de Trabajo de Eectividad del Programa y de la Evaluacin de InterAction. La inormacin sobre los mtodos

de evaluacin que se encuentra en la Gua de orientacin 1 ha sido extrada de BetterEvaluation, una cola-

boracin internacional para la puesta en comn de inormacin con el n de mejorar la evaluacin. Puede

obtener ms inormacin acerca de cada uno de los mtodos en la pgina web www.betterevaluation.org .

Foto: David Darg
http://www.betterevaluation.org/http://www.betterevaluation.org/


3/23

| Introduccin a la Evaluacin de Impacto |

Contenidos

Introduccin

1. Qu se entiende por evaluacin de impacto? 2

. Por qu debemos realizar una evaluacin de impacto?

. Qu preguntas intenta contestar la evaluacin de impacto?

. Quin debe conducir la evaluacin de impacto?

. Cmo deberamos elegir los mtodos para la evaluacin de impacto?

. Aclaracin de los valores para una evaluacin de impacto

. Desarrollo de una teora o modelo de cmo se supone que uncione la intervencin

. Medicin o descripcin de los impactos (y otras variables importantes)

. Explicacin del alcance que obtuvo la intervencin al producir los resultados observados

. Sntesis de la evidencia

. Inorme de los hallazgos y respaldo del uso

. Cundo se debe realizar una evaluacin de impacto?

. Qu se necesita para la evaluacin de impacto de calidad?

. Desaos comunes en la evaluacin de impacto en desarrollo

Resumen

Reerencias y otros recursos tiles


4/23

| Introduccin a la Evaluacin de Impacto | | |

InterAction ha creado una serie de guas de

orientacin que abordan estas preguntas pararespaldar al personal de administracin, del

programa y de M&E en ONG internacionales

para planicar, disear, administrar, conducir

y utilizar evaluaciones de impacto. Estas guas

tambin pueden proporcionar inormacin sobre

sus debates con evaluadores externos, socios y

donantes.

La primera gua de orientacin, Introduccin a la

Evaluacin de Impacto, brinda una visin general

de la evaluacin de impacto, explica cmo se die-

rencia de (y complementa a) otros tipos de evalua-

ciones, por qu se debe realizar la evaluacin de

impacto, cundo y por quin. En ella se describen

dierentes mtodos, enoques y diseos que se

pueden utilizar para los distintos aspectos de laevaluacin de impacto: aclaracin de los valores

para la evaluacin, desarrollo de una teora sobre

cmo se entiende que unciona la intervencin,

medicin o descripcin de los impactos y otras

variables importantes, explicacin de la inciden-

cia de los impactos, sntesis de los resultados, e

inorme y respaldo del uso. La gua desarrolla qu

se considera una buena evaluacin de impacto

(la evaluacin que alcanza un equilibrio entre los

imperativos competitivos de ser til, riguroso,

tico y prctico) y cmo lograrla. Las notas a pie

de pgina que se encuentran a lo largo del docu-

mento contienen reerencias para obtener material

de lectura adicional sobre reas especcas.

INTRODUCCINUna evaluacin creble y adecuada de impacto puede mejorar

considerablemente la ecacia del desarrollo. El nasis cada vezmayor que se pone en la evaluacin de impacto en desarrollo ha

generado muchas preguntas. Qu constituye una evaluacin

creble y adecuada de impacto? Cmo se deben manejar las

evaluaciones de impacto? Qu medidas y uentes de datos son

adecuadas? Cmo se pueden combinar ecazmente los datos

cualitativos y cuantitativos en la evaluacin de impacto? Qu sedebe hacer para respaldar el uso adecuado de las evaluaciones

de impacto? Cules son las repercusiones del oco cada vez

mayor sobre la evaluacin de impacto para otros tipos de moni-

toreo y evaluacin (M&E)?


5/23


1. Qu se entiende por evaluacin deimpacto?

La evaluacin de impacto investiga los cambios

que provoca una intervencin. Se puede empren-

der una evaluacin de impacto en intervenciones

a cualquier escala: un proyecto pequeo y localsobre VIH/SIDA; un programa completo de

ortalecimiento de sociedad civil de una ONG;

una secuencia de proyectos de administracin de

recursos naturales ejecutada en un rea geogr-

ca; o un conjunto de actividades concurrentes

realizadas por dierentes organizaciones con el n

de mejorar la capacidad de una comunidad.

Los resultados esperados de una intervencin son

una parte importante de una evaluacin de im-pacto, pero tambin es importante investigar los

resultados inesperados. En esta gua de orienta-

cin, los impactos se denen como:

los eectos positivos y negativos, deseados y

no deseados, directos e indirectos, primarios

y secundarios, que produce una interven-

cin. (Defnicin del Comit de Asistencia

para el Desarrollo de la OECD)1

Normalmente, se entiende que los impactos ocu-

rren despus, y como consecuencia, de resultados

intermedios. Por ejemplo, lograr los resultados

intermedios de un acceso mejorado a la tierra y

mayores niveles de participacin en la toma de

decisiones de la comunidad puede ocurrir antes

1 A veces, los impactos se denen de manera muy dierente.Por ejemplo, la gua de la Fundacin W.K.Kellogg Logic ModelDevelopment Guide (www.wkk.org/knowledge-center/resour-ces/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-

Guide.aspx) distingue al impacto en lo que respecta a su diusinms all de aquellos involucrados inmediatamente en el progra-ma. Los cambios especcos en el comportamiento, el conoci-miento, las habilidades, el estado y el nivel de uncionamiento delos participantes del programa se denominan resultados, y solose describen como impactos los cambios en las organizaciones,comunidades o sistemas como resultado de las actividades delprograma dentro de siete a 10 aos.

del, y contribuir al, impacto nal deseado de un

mejoramiento en la salud y el bienestar de las

mujeres. La dierencia entre resultados e impac-

tos puede ser relativa, y depende de los objetivos

establecidos de una intervencin.

En la prctica, a veces es til que una evaluacinincluya tanto los resultados como los impactos.

Esto permite indicar de manera pronta si una

intervencin est uncionando o no; y si no est

uncionando, ayuda a identicar dnde y, quizs,

por qu.

En esta gua de orientacin, una evaluacin de

impacto incluye cualquier evaluacin que in-

vestigue de manera sistemtica y emprica los

impactos que una intervencin produce. Algunaspersonas y organizaciones utilizan una denicin

ms reducida de la evaluacin de impacto, y solo

incluyen evaluaciones que contienen un contra-

actual de algn tipo (un clculo de lo que habra

pasado si la intervencin no hubiese ocurrido) o

una clase particular de contraactual (por ejem-

plo, comparaciones con un grupo que no recibi

la intervencin). USAID, por ejemplo, utiliza la

siguiente denicin: Las evaluaciones de impacto

miden el cambio en un resultado de desarrollo quese puede atribuir a una intervencin denida; las

evaluaciones de impacto se basan en modelos de

causa y eecto y requieren un contraactual creble

y denido rigurosamente para controlar actores

distintos a la intervencin que podran explicar el

cambio observado. Estas dierentes deniciones

son importantes cuando se deciden los mtodos o

diseos de investigacin que los usuarios poten-

ciales de la evaluacin o los socios o donantes

considerarn crebles.

La evaluacin de impacto no es, por supuesto,

el nico tipo de evaluacin que respalda el de-

sarrollo ecaz. Es importante asegurarse de que
http://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspxhttp://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspxhttp://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspxhttp://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspxhttp://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspxhttp://www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-Development-Guide.aspx


6/23


las inversiones en la evaluacin de impacto (en

trminos de tiempo y dinero) no se realicen a

costa del monitoreo o de otros tipos de evaluacin

(como la evaluacin de necesidades, la evaluacin

del proceso y la evaluacin de costo-benecio)

que tambin se precisan para inormar las decisio-

nes acerca de la prctica y la poltica. La Gua deorientacin 2 desarrolla cmo se pueden realizar

la evaluacin de impacto y estos otros tipos de

monitoreo y evaluacin de manera que se respal-

den mutuamente. Por ejemplo, datos de moni-

toreo pueden proporcionar una buena base para

la evaluacin de impacto y una evaluacin de im-

pacto puede guiar el desarrollo de los sistemas de

monitoreo. La evaluacin de impacto proporciona

la inormacin necesaria para las evaluaciones de

costo-benecio y costo-ecacia.

2. Por qu debemos realizar una evaluacin deimpacto?

La mejor manera de emprender una evaluacin

de impacto en particular depende, en parte, de su

objetivo y de quines son sus usuarios potenciales

primarios. Algunas razones comunes para realizar

una evaluacin de impacto incluyen:

Decidir si nanciar una intervencin o no:

una evaluacin ex-ante se lleva a cabo antes

de que se implemente una intervencin, para

calcular sus posibles impactos e inormar

decisiones de nanciacin.

Decidir si continuar o ampliar una interven-

cin o no.

Aprender cmo replicar o aumentar un

piloto.

Aprender cmo adaptar satisactoriamente

una intervencin exitosa para otro contexto.

Asegurarles a los nanciadores, incluyendo

los donantes y los contribuyentes (respon-

sabilidad ascendente), que el dinero se est

invirtiendo con prudencia: lo que incluye

que la organizacin est aprendiendo lo que

unciona y lo que no, y est utilizando esta in-

ormacin para mejorar las uturas decisiones

de inversin e implementacin.

Inormarles a las comunidades y benecia-

rios propuestos (responsabilidad descenden-

te) sobre si un programa est beneciando ala comunidad o no y en caso de as serlo, en

qu maneras lo est haciendo.

La Gua de orientacin 4 desarrolla con ms de-

talle cmo respaldar estas dierentes maneras de

utilizar la evaluacin de impacto.

3. Qu preguntas intenta contestar laevaluacin de impacto?

Una evaluacin de impacto se debe concentrar en

una pequea cantidad (cinco a siete) de preguntas

clave especcas de evaluacin. Estas son las pre-

guntas de alto nivel que una evaluacin aborda; no

son preguntas especcas que se pueden realizar

en una entrevista o en un cuestionario. Es mejor

concentrarse en un pequeo nmero de preguntas

que estn directamente relacionadas al objetivo en

lugar de distribuir los recursos de la evaluacin, y

la atencin de los usuarios, entre una gran canti-dad de preguntas. (vea los ejemplos de preguntas

clave de evaluacin para la evaluacin de impacto

en la pgina siguiente).

4. Quin debe conducir la evaluacin deimpacto?

La evaluacin de impacto puede ser llevada a

cabo por: un evaluador o un equipo de evaluacin

externo; una unidad interna pero separada de la

organizacin de implementacin; aquellos involu-

crados en una intervencin (incluyendo los miem-

bros de la comunidad); o un equipo combinado de

evaluadores internos y externos.


7/23


Un evaluador externo puede proporcionar un

rango de especializacin y experiencia que posi-

blemente no est disponible dentro de la orga-

nizacin, y puede tener mayor independencia ycredibilidad que un evaluador interno. Por ejem-

plo, la Poltica de Evaluacin de USAID exige que

la mayora de las evaluaciones sean realizadas por

un evaluador externo.

Sin embargo, para algunas partes interesadas, los

evaluadores externos no siempre son considera-

dos imparciales, ya que su recoleccin de datos

e interpretaciones pueden ser aectadas por la

alta de amiliaridad con el contexto. En algunos

casos, involucrar a las partes interesadas del pro-

grama y/o los miembros de la comunidad en la

realizacin de una evaluacin puede agregar rigor

y credibilidad al respaldar un mejor acceso a los

datos (especialmente inormantes clave) y una

interpretacin ms adecuada de los datos.

Tres prcticas en particular pueden, a menudo,

producir la evaluacin de mejor calidad: estable-

cer un equipo de evaluadores con perspectivas

internas y externas, asegurar la transparencia

en respecto al tipo de datos que se utiliza en la

evaluacin y cmo se utiliza, y aplicar la triangu-

lacin: el uso de dierentes uentes de evidencia

(que tengan uerzas complementarias) y varias

perspectivas en el anlisis y en la interpreta-

cin. Es particularmente til incluir en el equipo

expertos locales en evaluacin que conozcan el

contexto, la historia y las intervenciones compara-

tivas de otras agencias.

Ejemplos de preguntas clave de evaluacin para la evaluacin de impacto

Impacto general

Funcion? Produjo [la intervencin] [los

impactos deseados] a corto, mediano y largo

plazo?

Para quin, de qu maneras y en qu circuns-tancias uncion [la intervencin]?

Qu impactos no buscados (positivos y nega-

tivos) produjo [la intervencin]?

Naturaleza de los impactos y sudistribucin

Es probable que los impactos seansustentables?

Estos impactos alcanzaron a todos losbenefciarios deseados?

Infuencia de otros actores en los impactos

Cmo uncion [la intervencin] en conjun-

to con otras intervenciones, programas o

servicios para lograr los resultados?

Qu ayud o difcult el logro de estos im-pactos por parte de [la intervencin]?

Cmo unciona

Cmo contribuy [la intervencin] a los[impactos deseados]?

Cules ueron las caractersticas particu-lares de [la intervencin] que marcaron ladierencia?

Qu variaciones hubo en laimplementacin?

Cul ha sido la calidad de la implementa-cin en dierentes sitios?

Hasta qu punto las variaciones de laimplementacin explican las dierencias en elimpacto?

Relacin de los impactos deseados con lasnecesidades

En qu medida los impactos coincidencon las necesidades de los benefciariosdeseados?


8/23


Una evaluacin puede ser administrada por un

grupo interno (quizs un comit directivo inter-

no, orientado por un grupo asesor con mem-

bresa externa) o por un grupo combinado. Los

enoques participativos para administrar eva-

luaciones normalmente incluyen al personal del

programa, miembros de la comunidad y sociosde desarrollo. Participan no solo en la recopila-

cin de datos, sino tambin en la negociacin

del objetivo de la evaluacin de impacto, desa-

rrollando las preguntas clave de la evaluacin,

diseando una evaluacin para contestarlas y

llevando a cabo los resultados.2

5. Cmo deberamos elegir los mtodos para laevaluacin de impacto?

Ha habido un debate importante sobre la evalua-

cin de desarrollo y, ms ampliamente, acerca de

los mtodos que son mejores para la evaluacin

de impacto. Estos debates refejan dierentes vistas

sobre qu constituye evidencia creble, rigurosa y

til, y quin debe estar involucrado en la realiza-

cin y control de las evaluaciones.

Algunas organizaciones y evaluadores han soste-

nido que se deben utilizar mtodos o diseos deinvestigaciones particulares cuando sea posible;

por ejemplo, pruebas aleatorias controladas o

mtodos participativos. Otros han deendido la

adecuacin situacional. Esto signica elegir m-

todos que se adapten al objetivo de la evaluacin,

2 Algunas uentes adicionales sobre mtodos participativospueden ser: Marisol Estrella et al. (eds), Learning rom Change:Issues and Experiences in Participatory Monitoring and Evaluation(Brighton: Instituto de Estudios de Desarrollo, 2000), http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348; Andrew Catley et al., ParticipatoryImpact Assessment,, Centro Internacional Feinstein, UniversidadTuts: octubre de 2008, http://sites.tuts.edu/einstein/2008/participatory-impact-assessment; Robert Chambers, Who Counts?The Quiet Revolution o Participation and Numbers, Documentode trabajo n. 296 (diciembre de 2007), Brighton: Instituto deEstudios de Desarrollo, http://www.ids.ac.uk/les/Wp296.pd.

los tipos de preguntas de evaluacin que se

realizan, la disponibilidad de recursos y la natu-

raleza de la intervencin; particularmente si es

estandarizada o adaptable, y si las intervenciones

uncionan de la misma manera en todos lados y

para todos o si se ven aectadas en gran medida

por el contexto.

Cuando se eligen los mtodos, es importante

abordar cada uno de los seis dierentes aspectos

de una evaluacin de impacto:

Aclarar los valores que respaldarn la evalua-

cin: qu se considerarn procesos, impactos

y distribucin de costos y benecios deseables

e indeseables?

Desarrollar y/o probar una teora sobre cmose supone que uncione la intervencin: a

veces, se las denomina teoras de cambio,

modelos lgicos o teoras de programa.

Medir o describirestos impactos y otras varia-

bles importantes, incluyendo los procesos y el

contexto.

Explicarsi la intervencin ue la causa de los

impactos observados.

Sintetizarevidencia en un juicio evaluativo

general. Inormar hallazgos y respaldar su uso.

Esta gua de orientacin desarrolla cada uno

de estos aspectos y brinda inormacin acerca

de un rango de mtodos que se pueden utilizar

para ellos. Se proporcionan vnculos a uentes

adicionales de inormacin. La Gua de orienta-

cin 3 desarrolla la manera en que el enoque de

mtodos mixtos, que combina datos cuantitati-

vos y cualitativos de maneras complementarias,

puede ser tanto la medida/descripcin como la

explicacin.
http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348http://www.idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails.aspx?PublicationID=348


9/23


6. Aclaracin de los valores para una evaluacinde impacto

El primer paso es aclarar los valores que respalda-

rn la evaluacin. La evaluacin de impacto acilita

conclusiones acerca del grado de xito (o racaso)

de una intervencin, por lo tanto es importanteaclarar a qu se parece el xito en respecto a:

Lograr impactos deseables y evitar (o por lo

menos minimizar) impactos negativos. Por

ejemplo, el xito de un proyecto de desarro-

llo de carreteras ser juzgado en trminos de

un mayor acceso a los mercados o un mejor

acceso a hospitales de maternidad? Qu nivel

de prdida del hbitat y de la biodiversidad

sera considerado un costo razonable para lacarretera? Qu nivel no sera un intercambio

aceptable?

Lograr una distribucin deseable de los

benecios. Por ejemplo, deberamos juzgar

el xito en trminos del resultado educacional

promedio, mejoras para los ms desavore-

cidos o colocar un grupo vulnerable o desa-

vorecido (como nias) en el mismo nivel que

sus contrapartes ms avorecidas?

Los objetivos ormales establecidos (incluyendo los

Objetivos de Desarrollo del Milenio) y las polticas

organizacionales son un inicio importante para acla-

rar los valores, pero normalmente no son sucien-

tes por s mismos. Dierentes partes interesadas

pueden tener dierentes puntos de vista acerca de

los valores que se deben utilizar en una evaluacin.

Algunos mtodos para aclarar los valores para una

evaluacin de impacto son:

Mtodos que ayudan a que las personas

expresen valores tcitos

Indagacin apreciativa: las partes inte-

resadas clave (incluyendo el personal del

programa) recuerdan momentos en los

que el programa uncion particularmente

bien, luego identican los valores que se

demostraban durante dichos momentos.3

Encuestas en la comunidad: Los indivi-

duos de la comunidad designan o cali-

can los problemas que consideran ms

importantes para tratar.

Cambio ms signifcativo: Un proceso es-

tructurado para generar y seleccionar his-

torias de cambio que identiquen qu ven

las dierentes personas y grupos como los

resultados o impactos ms importantes.4

Mtodos que ayudan a negociar entre die-

rentes conjuntos de valores

Delphi: proceso que unciona a travs de

una serie de interacciones por escrito sin

contexto cara a cara, donde las partes in-

teresadas clave proporcionan sus opinio-

nes acerca de lo que consideran impor-

tante y luego responden a los resultadosagregados.5

Votacin de punto adhesivo: en una

reunin cara a cara, los individuos

3 Material de lectura adicional: Hallie Preskill, Using AppreciativeInquiry in Evaluation Practice, http://www.eval.org/summerinsti-tute07/handouts/si07.preskill.pd.

4 Material de lectura adicional: Most Signicant Change (MSC),

http://mande.co.uk/special-issues/most-signicant-change-msc/.5 Material de lectura adicional: Delphi Method, http://www.unido.org/leadmin/import/16959_DelphiMethod.pd; TheDelphi Method: Techniques and Applications, http://is.njit.edu/pubs/delphibook/; Delphi Survey Europa, http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.doc.
http://www.eval.org/summerinstitute07/handouts/si07.preskillf.pdfhttp://www.eval.org/summerinstitute07/handouts/si07.preskillf.pdfhttp://mande.co.uk/special-issues/most-significant-change-msc/http://www.unido.org/fileadmin/import/16959_DelphiMethod.pdfhttp://www.unido.org/fileadmin/import/16959_DelphiMethod.pdfhttp://is.njit.edu/pubs/delphibook/http://is.njit.edu/pubs/delphibook/http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/downloads/sb2_delphi_survey.dochttp://is.njit.edu/pubs/delphibook/http://is.njit.edu/pubs/delphibook/http://www.unido.org/fileadmin/import/16959_DelphiMethod.pdfhttp://www.unido.org/fileadmin/import/16959_DelphiMethod.pdfhttp://mande.co.uk/special-issues/most-significant-change-msc/http://www.eval.org/summerinstitute07/handouts/si07.preskillf.pdfhttp://www.eval.org/summerinstitute07/handouts/si07.preskillf.pdf


10/23


distribuyen sus distintos votos (en

orma de puntos adhesivos) en todas las

opciones.6

7. Desarrollo de una teora o modelo de cmose supone que uncione la intervencin

A menudo, es til basar una evaluacin de impacto

en una teora o en un modelo de cmo se entiende

que la intervencin produce sus impactos deseados.

Esto se podra llamar una teora de programa, una

teora de cambio (ToC), una cadena de resultados

o un modelo lgico. Es mejor desarrollar la teora

de cambio como parte de la planicacin de una

intervencin, y luego examinarla y revisarla segn sea

necesario mientras se planica una evaluacin de im-

pacto. Si esto no se ha realizado antes del inicio de laintervencin, es posible desarrollar retroactivamente

una teora de cambio acordada.

Segn cundo se desarrolla la teora de cambio,

puede basarse en una combinacin de uentes:

documentos ociales y objetivos establecidos;

investigacin de intervenciones similares; ob-

servaciones de la intervencin o intervenciones

similares; o preguntarle a las dierentes partes inte-

resadas (incluyendo los planicadores, el personaly los beneciaros deseados) cmo piensan que

unciona (o debera uncionar).

Puede haber diversas teoras de cambio: dierentes

teoras que muestran cmo unciona la interven-

cin en las dierentes etapas, en dierentes contex-

tos (reconociendo eectos de infuencias externas)

y para dierentes impactos, y dierentes teoras que

se desarrollan con el tiempo mientras se desarrolla

un mejor conocimiento.

6 Material de lectura adicional: NRCOI Quick Tip, http://center-orchildwelare.mhi.us.edu/kb/bpam/NRCOI-StickyDotTechnique.pd.

Las teoras de cambio pueden mejorar la evalua-

cin de impacto al ayudar a:

Identicar los resultados intermedios o

impactos que se pueden observar dentro del

plazo de la evaluacin y que son precursores

de los impactos a largo plazo que se pretendealcanzar con la intervencin.

Identicar, si una intervencin no ue exitosa,

en qu partes del proceso dej de uncionar o

racas.

Distinguir entre el allo de implementacin

(donde no se han logrado los impactos

porque la intervencin no se implement

correctamente) y el allo de teora (donde la

intervencin no lleva al impacto deseado an

habiendo sido implementada correctamente). Identicar los aspectos de la intervencin que

la hizo uncionar y son, por lo tanto, crticos y

necesitan ser continuados cuando se adapta

una intervencin para otros entornos.

Identicar variables importantes de comporta-

miento y de contexto que se deben abordar en

la recopilacin de datos, en el anlisis y en los

inormes para comprender variaciones en los

impactos.

Proporcionar un marco conceptual para reunirdierentes evidencias sobre un programa

que involucra un gran nmero de diversas

intervenciones.

Algunos mtodos para representar una teora de

cambio son:

Enoque de marco lgico (marco lgico): el ormato

clsico utilizado en diversas organizaciones de desa-

rrollo, que utiliza una matriz de 4x4. Las cuatro las

son actividades, productos, propsito y objetivo general,

y las cuatro columnas son una descripcin narrativa,
http://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdfhttp://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdfhttp://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdfhttp://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdfhttp://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdfhttp://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique.pdf


11/23


indicadores objetivamente identifcables (OVI), medios

de verifcacin (MoV) y suposiciones.7

Cadena de resultados: la intervencin se represen-

ta como una serie de cuadros en una secuencia

de insumos, actividades, productos, resultados a

corto plazo, resultados a largo plazo e impactos.8

Cadena de resultados/jerarqua de resultados/

teora de cambio: la teora est representada como

una serie de resultados intermedios que conducen

a los impactos deseados nales. Este ormato cen-

tra la atencin en cmo se produce el cambio, y es

til para representar programas donde ocurren di-

erentes actividades a lo largo de la cadena causal,

no solo por anticipado.9

Mapeo de resultados: se centra en identicar

los socios de lmites (organizaciones o grupos

cuyas acciones estn ms all del control de la

intervencin, pero que son esenciales para que se

logre el impacto) y, luego, en enunciar aquello que

necesitan realizar estos socios y cmo la interven-

cin puede buscar infuenciarlos.10

7 Material de lectura adicional: The Logical Framework Approach,http://www.ausaid.gov.au/ausguide/pd/ausguideline3.3.pd;http://www.gdrc.org/ngo/logical-a.pd; Logical Framework Analy-sis, http://www.gdrc.org/ngo/logical-a.pd; Beyond Lograme: Cri-tique, Variations and Alternatives: http://www.asid.or.jp/shuppan/hokokusho/pd/h21-3.pd.

8 Material de lectura adicional: Results Chain: Enhancing ProgramPerormance with Logic Models Guide, http://www.uwex.edu/ces/lmcourse/; W.K. Kellogg Foundation Logic Model DevelopmentGuide, http://www.evaluationtoolsorracialequity.org/evaluation/tool/doc/pub3669.pd.

9 Material de lectura adicional: Theories o Change and LogicModels: Telling Them Apart,

10 Material de lectura adicional: Outcome Mapping, http://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBook-Details.aspx?PublicationID=121; Outcome Mapping: ILAC Brie 7,http://www.outcomemapping.ca/download.php?le=/resource/les/csette_en_ILAC_Brie07_mapping.pd.

Puede encontrar otros recursos tiles para el de-

sarrollo de una teora de cambio en Desarrollar un

Modelo Lgico o Teora de Cambio.11

Tambin se puede utilizar una teora de cambio para

administrar posibles impactos negativos, o para pla-

nicar una evaluacin de impacto que los mida.

Por ejemplo, un programa destinado a mejorar

la productividad agrcola que aliente a los agricul-

tores a que apliquen ertilizante en sus campos

puede llevar a un mayor escurrimiento de osato

y a un dao medioambiental de las vas fuviales.

Una evaluacin de impacto equilibrada investigar

este posible impacto adems del impacto deseado

de la productividad mejorada. Se puede desarrollar

una teora de cambio para examinar cmo unaintervencin podra producir impactos negativos.

Esto se puede utilizar para adaptar la intervencin

con el n de minimizar o evitar tales impactos

negativos, para desarrollar indicadores de alerta

temprana para propsitos de monitoreo, y para

asegurarse de que se incluyan en el plan de la

evaluacin de impacto.

8. Medicin o descripcin de los impactos (yotras variables importantes)

Una evaluacin de impacto necesita evidencia

creble, y no solo de los impactos. Asimismo, se

necesita buena inormacin acerca de cun bien se

ha implementado una intervencin para distinguir

entre una alla de implementacin y una alla de

teora. Tambin es necesaria la inormacin acerca

del contexto para comprender si una intervencin

unciona solo en situaciones particulares.

11 The Community Toolbox, Developing a Logic Model or Theoryo Change, http://ctb.ku.edu/en/tablecontents/sub_section_main_1877.aspx.
http://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdfhttp://www.gdrc.org/ngo/logical-fa.pdfhttp://www.gdrc.org/ngo/logical-fa.pdfhttp://www.fasid.or.jp/shuppan/hokokusho/pdf/h21-3.pdfhttp://www.fasid.or.jp/shuppan/hokokusho/pdf/h21-3.pdfhttp://www.uwex.edu/ces/lmcourse/http://www.uwex.edu/ces/lmcourse/http://www.evaluationtoolsforracialequity.org/evaluation/tool/doc/pub3669.pdfhttp://www.evaluationtoolsforracialequity.org/evaluation/tool/doc/pub3669.pdfhttp://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://www.outcomemapping.ca/download.php?file=/resource/files/csette_en_ILAC_Brief07_mapping.pdfhttp://www.outcomemapping.ca/download.php?file=/resource/files/csette_en_ILAC_Brief07_mapping.pdfhttp://ctb.ku.edu/en/tablecontents/sub_section_main_1877.aspxhttp://ctb.ku.edu/en/tablecontents/sub_section_main_1877.aspxhttp://ctb.ku.edu/en/tablecontents/sub_section_main_1877.aspxhttp://ctb.ku.edu/en/tablecontents/sub_section_main_1877.aspxhttp://www.outcomemapping.ca/download.php?file=/resource/files/csette_en_ILAC_Brief07_mapping.pdfhttp://www.outcomemapping.ca/download.php?file=/resource/files/csette_en_ILAC_Brief07_mapping.pdfhttp://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121http://www.evaluationtoolsforracialequity.org/evaluation/tool/doc/pub3669.pdfhttp://www.evaluationtoolsforracialequity.org/evaluation/tool/doc/pub3669.pdfhttp://www.uwex.edu/ces/lmcourse/http://www.uwex.edu/ces/lmcourse/http://www.fasid.or.jp/shuppan/hokokusho/pdf/h21-3.pdfhttp://www.fasid.or.jp/shuppan/hokokusho/pdf/h21-3.pdfhttp://www.gdrc.org/ngo/logical-fa.pdfhttp://www.gdrc.org/ngo/logical-fa.pdfhttp://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdf


12/23


Es til identicar cualquier dato que ya est dis-

ponible en uentes existentes (como estadsticas

ociales, documentacin del programa, Sistemas

de Inormacin Geogrca (GIS) y proyectos

anteriores de investigacin y de evaluacin) acerca

de los impactos, la implementacin y el contexto.

Se pueden reunir datos adicionales para completarlos vacos o mejorar la calidad de datos existentes

mediante el uso de mtodos como entrevistas (in-

dividuales y grupales; estructuradas, semi estructu-

radas o desestructuradas), cuestionarios (pueden

ser cuestionarios basados en la web y recopilacin

de datos por medio del telono celular), observa-

cin (estructurada, semi estructurada o desestruc-

turada) y medidas directas (por ejemplo, calidad

del agua rente a un estndar internacional).

Las descripciones de los impactos no deben inor-

mar solo acerca del promedio, sino tambin acer-

ca de la variedad de los resultados, y en particular

inormar sobre los patrones. Howard White habla

de la importancia de mirar la heterogeneidad en su

artculo del 2010:

Es probable que un estudio que presenta

una estimacin de impacto nico (el eecto

promedio de tratamiento12) sea de menoruso para los ormuladores de polticas que

un estudio que examina en qu contexto las

intervenciones son ms efcaces, qu grupos

meta se benefcian ms y qu entornos

medioambientales son tiles o perjudiciales

para lograr el impacto. Por lo tanto, se po-

dra mostrar que una intervencin educati-

va, como los rotaolios, unciona pero solo si

los maestros mismos tienen un cierto nivel

de educacin, o solo si la escuela ya est

bien equipada con materiales de lectura,

12 El eecto promedio de tratamiento es un clculo de la dierenciapromedio que realiza una intervencin. Por ejemplo, los estudian-tes del programa permanecieron en la escuela un promedio de 2,5aos ms (comparados con el grupo de control).

o si los padres mismos de los estudiantes

tienen educacin.13

Algunas uentes para medidas e indicadores en

sectores particulares pueden ser:

Catlogo de cuestionarios de encuesta: RedInternacional de Encuestas en Hogares. Ms de

2.000 cuestionarios que se pueden buscar por

pas, echa y tipo de encuesta.14

Gobernanza democrtica: Centro de Oslo para la

Gobernanza del PNUD.15

ndice de pobreza humana: Tres indicadores que

se relacionan con la supervivencia, el conocimien-

to y la provisin econmica del PNUD.16

Objetivos de desarrollo del milenio: 48 indicado-

res tcnicos y 18 metas para los 8 objetivos.17

Desarrollo sostenible: 130 indicadores de aspec-

tos sociales, econmicos, medioambientales e

institucionales del desarrollo sostenible, propiedad

de la Comisin sobre el Desarrollo Sostenible de la

ONU.18

Indicadores del desarrollo mundial: El Banco

mundial posee datos sobre ms de 200 pases en

lo que respecta a ms de 1000 indicadores.19

13 Howard White, A Contribution to Current Debates in ImpactEvaluation, Evaluation (abril de 2010, vol. 16 n. 2): 160.

14 http://www.ihsn.org/home/index.php?q=country_questionnai-res

15 http://www.undp.org/oslocentre/fagship/democratic_gover-nance_assessments.html

16 http://hdr.undp.org/en/statistics/indices/hpi/17 Millennium Project: http://www.unmillenniumproject.org/goals/gti.htm

18 http://www.un.org/esa/sustdev/natlino/indicators/methodo-logy_sheets.pd

19 http://data.worldbank.org/data-catalog/world-development-indicators
http://www.ihsn.org/home/index.php?q=country_questionnaireshttp://www.ihsn.org/home/index.php?q=country_questionnaireshttp://www.undp.org/oslocentre/flagship/democratic_governance_assessments.htmlhttp://www.undp.org/oslocentre/flagship/democratic_governance_assessments.htmlhttp://hdr.undp.org/en/statistics/indices/hpi/http://www.unmillenniumproject.org/goals/gti.htmhttp://www.unmillenniumproject.org/goals/gti.htmhttp://www.un.org/esa/sustdev/natlinfo/indicators/methodology_sheets.pdfhttp://www.un.org/esa/sustdev/natlinfo/indicators/methodology_sheets.pdfhttp://data.worldbank.org/data-catalog/world-development-indicatorshttp://data.worldbank.org/data-catalog/world-development-indicatorshttp://data.worldbank.org/data-catalog/world-development-indicatorshttp://data.worldbank.org/data-catalog/world-development-indicatorshttp://www.un.org/esa/sustdev/natlinfo/indicators/methodology_sheets.pdfhttp://www.un.org/esa/sustdev/natlinfo/indicators/methodology_sheets.pdfhttp://www.unmillenniumproject.org/goals/gti.htmhttp://www.unmillenniumproject.org/goals/gti.htmhttp://hdr.undp.org/en/statistics/indices/hpi/http://www.undp.org/oslocentre/flagship/democratic_governance_assessments.htmlhttp://www.undp.org/oslocentre/flagship/democratic_governance_assessments.htmlhttp://www.ihsn.org/home/index.php?q=country_questionnaireshttp://www.ihsn.org/home/index.php?q=country_questionnaires


13/23


La Gua de orientacin 3 proporciona ms detalles

sobre mtodos especcos para medir y descri-

bir impactos, el uso de mtodos mixtos (datos

cuantitativos y cualitativos utilizados de maneras

complementarias) y ormas de abordar desaos en

la medida y descripcin de impactos.

9. Explicacin del alcance que obtuvo la intervencinal producir los resultados observados

Una de las caractersticas importantes de una

evaluacin de impacto es que no solo rene

evidencia de que han ocurrido impactos, sino

que intenta comprender la uncin que tuvo la

intervencin al producir dichos impactos. Rara

vez una intervencin es la nica causa de cam-

bios. Normalmente, una intervencin uncionaen combinacin con otros programas, con un

contexto avorable o con otros actores. A menu-

do, un grupo colabora para producir un impacto

conjunto, como cuando las ONG internacionales

se asocian con gobiernos o comunidades locales.

Por lo tanto, la atribucin causal no se reere

normalmente a la atribucin total (es decir, la

intervencin ue la nica causa), sino a la atri-

bucin parcial o al anlisis de la contribucin de

la intervencin. A veces se las llama posiblescontribuciones.

Por ejemplo, en la investigacin agrcola, los

impactos en trminos de productividad mejorada

pueden ser causa de una larga cadena de investi-

gacin bsica y aplicada, y desarrollo del producto

y comunicacin. Una inversin en cualquiera de

estos puede reclamar razonablemente que ue

esencial en la produccin de impactos, pero no

podra haberlo hecho sin las otras intervenciones.

En otras palabras, pudo haber sido una interven-

cin necesaria pero no suciente para generar el

impacto en s.

Puede ser til investigar la atribucin causal o la

posible contribucin en lo reerente a tres compo-

nentes. El punto de partida es lo actual: comparar

los resultados actuales con aquellos esperados si

la teora de cambio uera cierta. Cundo, dn-

de y para quin ocurrieron los impactos? Los

resultados son coherentes con la teora que laintervencin caus o contribuy a los resultados?

El segundo componente es el contraactual: un

clculo de lo que habra sucedido en ausencia de

la intervencin. El tercer componente es investigar

y descartar explicaciones alternativas. En algunos

casos, es posible incluir los tres componentes

en una evaluacin de impacto. En situaciones

complejas, es probable que no sea posible calcular

un contraactual, y el anlisis causal tendr que

depender de los otros componentes.

Mtodos posiblespara examinar lo actual (en

qu medida los resultados reales coincidieron con

lo que se esperaba):

Estudios de caso comparativos: Produjo

la intervencin resultados solo en los ca-

sos en que los dems elementos necesa-

rios ocupaban su lugar?

Dosis-respuesta: Hubo mejores resulta-

dos para los participantes que recibieron

ms de la intervencin (por ejemplo, asis-

tieron a ms talleres o recibieron mayor

respaldo)?

Atribucin del benefciario/experto:

Creyeron los participantes/inormantes

clave que la intervencin hizo una dieren-

cia y pudieron proporcionar una posible

explicacin de por qu esto ue as?

Predicciones: Lograron estos participan-

tes o sitios previstos para alcanzar los


14/23


mejores impactos (debido a la calidad de

la implementacin y/o contexto avorable)

realizarlo? Cmo se pueden explicar las

anomalas?

Temporalidad:Ocurrieron estos im-

pactos en un momento coherente con lateora de cambio; no antes de que se haya

implementado la intervencin?

Mtodos posibles para examinar el contraactual

(un clculo de lo que habra sucedido en ausencia

de la intervencin) pueden ser:

Dierencia en dierencia: La dierencia

antes y despus para el grupo que recibe

la intervencin (donde no hayan sido asig-nados aleatoriamente) se compara con la

dierencia antes y despus para aquellos

que no la recibieron.20

Contraactual construido lgicamente:En

algunos casos es creble utilizar la lnea de

base como un clculo del contraactual.

Por ejemplo, donde se instal una bomba

de agua, puede ser razonable medir el

impacto comparando el tiempo invertidoen obtener agua desde una bomba lejana,

antes y despus de la intervencin, ya

que no hay una razn creble que indique

que el tiempo invertido habra disminui-

do sin la intervencin (White, 2007). El

seguimiento de procesos puede respaldar

este anlisis en cada paso de la teora de

cambio.21

20 Material de lectura adicional: Dierence-in-dierences, http://ec.europa.eu/regional_policy/sources/docgener/evaluation/eval-sed/sourcebooks/method_techniques/counteractual_impact_eva-luation/dierence-in-dierences/dierence-in-dierences_en.htm.

21 Material de lectura adicional: Process Tracing in Case StudyResearch, http://users.polisci.wisc.edu/kritzer/teaching/ps816/ProcessTracing.htm.

Comparaciones pareadas: Cada uno de

los participantes (individuos, organizacio-

nes o comunidades) se parea con alguien

que no es participante en variables que

se consideran relevantes. Puede ser dicil

coincidir adecuadamente con todos los

criterios importantes.22

Diversas lneas de base o lneas de base

cambiantes: La implementacin de una

intervencin se presenta de manera esca-

lonada a travs del tiempo y en las pobla-

ciones de la intervencin. El anlisis busca

en cada comunidad un patrn repetido de

un cambio en el resultado medido luego

de haber implementado la intervencin,

junto con una ausencia de fuctuacionessustanciales en los datos en otros puntos

de tiempo. Tiene un uso cada vez mayor

en las intervenciones de salud a nivel de la

poblacin.23

Puntuaciones de la propensin: Esta tc-

nica crea estadsticamente grupos com-

parables segn un anlisis de los actores

que infuenciaron la propensin de las

personas para participar en el programa;es particularmente til cuando la partici-

pacin es voluntaria (por ejemplo, mirar

un programa de televisin con mensajes

de promocin de la salud).24

22 Material de lectura adicional: Techniques or Improving Cons-tructed Matched Comparison Group Impact/Outcome EvaluationDesigns, http://knol.google.com/k/techniques-or-improving-cons-tructed-matched-comparison-group-impact-outcome.

23 Material de lectura adicional: The Multiple Baseline Design or

Evaluating Population-Based Research, http://rds.epi-ucs.org/ticr/syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pd.

24 Material de lectura adicional: Propensity Scores: What Do TheyDo, How Should I Use Them, and Why Should I Care?, http://www.chrp.org/love/ASACleveland2003Propensity.pd; A PracticalGuide to Propensity Score Models, http://www.academyhealth.org/les/2009/monday/HebertP.pd.
http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://users.polisci.wisc.edu/kritzer/teaching/ps816/ProcessTracing.htmhttp://users.polisci.wisc.edu/kritzer/teaching/ps816/ProcessTracing.htmhttp://knol.google.com/k/techniques-for-improving-constructed-matched-comparison-group-impact-outcomehttp://knol.google.com/k/techniques-for-improving-constructed-matched-comparison-group-impact-outcomehttp://rds.epi-ucsf.org/ticr/syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pdfhttp://rds.epi-ucsf.org/ticr/syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pdfhttp://www.chrp.org/love/ASACleveland2003Propensity.pdfhttp://www.chrp.org/love/ASACleveland2003Propensity.pdfhttp://www.academyhealth.org/files/2009/monday/HebertP.pdfhttp://www.academyhealth.org/files/2009/monday/HebertP.pdfhttp://www.academyhealth.org/files/2009/monday/HebertP.pdfhttp://www.academyhealth.org/files/2009/monday/HebertP.pdfhttp://www.chrp.org/love/ASACleveland2003Propensity.pdfhttp://www.chrp.org/love/ASACleveland2003Propensity.pdfhttp://rds.epi-ucsf.org/ticr/syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pdfhttp://rds.epi-ucsf.org/ticr/syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pdfhttp://knol.google.com/k/techniques-for-improving-constructed-matched-comparison-group-impact-outcomehttp://knol.google.com/k/techniques-for-improving-constructed-matched-comparison-group-impact-outcomehttp://users.polisci.wisc.edu/kritzer/teaching/ps816/ProcessTracing.htmhttp://users.polisci.wisc.edu/kritzer/teaching/ps816/ProcessTracing.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htmhttp://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htm


15/23


Prueba aleatoria controlada (RCT): Los

participantes (o comunidades u hogares)

potenciales se asignan aleatoriamente

para recibir la intervencin o para perte-

necer a un grupo de control (sin interven-

cin o con la intervencin normal) y se

comparan los resultados promedio de los

distintos grupos.25

Regresin discontinua: En los casos en

que una intervencin est disponible solo

para los participantes que se encuentran

por encima o por debajo de un punto lmi-

te (por ejemplo, ingresos), este enoque

compara los resultados de los individuos

por debajo del punto lmite con aquellos

por encima del punto lmite.26

Contraactual creado estadsticamente:

Un modelo estadstico, como un anlisis

de regresin, se utiliza para desarrollar un

clculo de lo que podra haber sucedido en

ausencia de una intervencin. Esto se pue-

de utilizar cuando la intervencin ya est

en escala; por ejemplo, una evaluacin del

impacto de la privatizacin de los servicios

nacionales de suministro de agua.

Desarrollar un contraactual creble puede ser

dicil en la prctica. A menudo es dicil parear

individuos o comunidades en las variables que

realmente marcan una dierencia. Las pruebas

aleatorias controladas pueden crear grupos que no

resulten equivalentes de manera aleatoria. Otros

mtodos dependen de diversas suposiciones que

podran no ser alcanzadas. En situaciones de

25 Material de lectura adicional: Using Randomization in Develop-ment Economics Research: A Toolkit, http://www.povertyactionlab.org/sites/deault/les/documents/Using%20Randomization%20in%20Development%20Economics.pd.

26 Material de lectura adicional: Impact Evaluation: RegressionDiscontinuity, http://www.urban.org/toolkit/data-methods/regres-sion.cm.

cambios rpidos e impredecibles, desarrollar un

contraactual creble podra ser imposible. Se po-

dra desarrollar un caso slido y emprico en el que

una intervencin produjo ciertos impactos, pero

sin tener la seguridad de lo que habra sucedido si

no se hubiese implementado la intervencin. Por

ejemplo, puede ser posible mostrar que el desarro-

llo de la inraestructura de una comunidad destina-da a la cra de pescado para su consumo o venta

ue directamente debido al proyecto local, sin

poder declarar con seguridad que esto no habra

sucedido en ausencia del proyecto (quizs a travs

de un proyecto alternativo que otra organizacin

haya implementado). La evaluacin de impacto se

puede centrar en los otros dos elementos del an-

lisis causal: loactual y descartarlas alternativas.

El tercer componente para comprender los vnculoscausales es investigar y descartar las explicaciones

alternativas. Los impactos aparentes (o la alta de

estos) puede refejar problemas metodolgicos,

como el sesgo de seleccin (donde los participantes

son sistemticamente dierentes de aquellos que no

participan), y los eectos de contaminacin (donde

quienes no participan tambin se benecian de la

intervencin, lo que reduce la dierencia entre ellos

y los que participan en respecto a los impactos).

Pueden refejar la infuencia de otros actores, in-cluyendo otras intervenciones o movimientos de la

poblacin entre las reas asignadas para recibir una

intervencin y las que no lo han sido.

Mtodos posibles para identicar y descartar

explicaciones alternativas posibles incluyen:

Metodologa de eliminacin general: Se

identican las explicaciones alternativas

posibles y luego se investigan para ver si

se pueden descartar.27

27 Material de lectura adicional: Can We Iner Causation romCross-Sectional Data?, http://www7.national-academies.org/BOTA/School-Level%20Data_Michael%20Scriven-Paper.pd
http://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdfhttp://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdfhttp://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdfhttp://www.urban.org/toolkit/data-methods/regression.cfmhttp://www.urban.org/toolkit/data-methods/regression.cfmhttp://www7.national-academies.org/BOTA/School-Level%20Data_Michael%20Scriven-Paper.pdfhttp://www7.national-academies.org/BOTA/School-Level%20Data_Michael%20Scriven-Paper.pdfhttp://www7.national-academies.org/BOTA/School-Level%20Data_Michael%20Scriven-Paper.pdfhttp://www7.national-academies.org/BOTA/School-Level%20Data_Michael%20Scriven-Paper.pdfhttp://www.urban.org/toolkit/data-methods/regression.cfmhttp://www.urban.org/toolkit/data-methods/regression.cfmhttp://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdfhttp://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdfhttp://www.povertyactionlab.org/sites/default/files/documents/Using%20Randomization%20in%20Development%20Economics.pdf


16/23


Bsqueda de evidencia reutatoria/

Seguimiento de las excepciones 28

Una evaluacin de impacto de la legislacin

para utilizar cascos de bicicletas obligatorios

descubri que hubo una disminucin signi-cante en el nmero de lesiones en la cabeza

en los ciclistas. Aunque esto era coherente

con la teora de cambio, una explicacin alter-

nativa era que el nivel general de las heridas

disminuy debido a la mayor cantidad de

construcciones de carriles para bicicletas du-

rante el mismo periodo. El examen de heridas

graves mostr que, mientras que el nivel de

las lesiones en la cabeza disminuy en este

periodo, el nmero de otros tipos de heridasse mantuvo estable, lo que respalda la teora

que ueron los cascos los que produjeron el

cambio. (Walter et al., 2011)

Algunos enoques que combinan estos dierentes

elementos de explicacin pueden ser:

Diversas lneas y niveles de evidencia

(MLLE): Unpanel de expertos crebles queabarcan un rango de disciplinas relevantes

examinan un amplio rango de evidencia

de dierentes uentes. El panel identica

una coherencia con la teora de cambio

mientras que tambin identica y expli-

ca las excepciones. Las MLLE examinan

28 Material de lectura adicional: Matthew B. Miles and A. MichaelHuberman, Qualitative Data Analysis: An Expanded Sourcebook.2nd Edition (Thousand Oaks, Caliornia: Sage Publications, 1994).

la evidencia para una relacin causal

entre una intervencin y los impactos

observados en lo reerente a su ortaleza,

consistencia, especicidad, temporalidad,

coherencia con otra evidencia aceptada,

viabilidad y analoga con intervenciones

similares.29

Anlisis de contribucin: Un enoque

sistemtico que implica desarrollar una

teora de cambio, mapear datos existen-

tes, identicar desaos a la teora (in-

cluyendo los vacos en la evidencia y los

vnculos causales impugnados) y reunir

evidencia adicional de manera iterativa

para abordarlos. La Gua de orientacin 2

proporciona inormacin adicional sobreel anlisis de contribucin.

30

Inorme de resultados colaborativos: Este

nuevo enoque combina el anlisis de

contribucin con las MLLE. Traza datos

existentes contra la teora de cambio y

completa vacos importantes en la eviden-

cia a travs de la recopilacin enocada de

datos adicionales. Luego, se utiliza una

combinacin de examinacin experta yde consulta comunitaria para vericar la

credibilidad de la evidencia respecto a los

impactos que han ocurrido y en qu medi-

da se pueden atribuir de manera realista a

la intervencin.31

29 Material de lectura adicional: Patricia Rogers, MatchingImpact Evaluation Design to the Nature o the Intervention and thePurpose o the Evaluation,Journal o Development Eectiveness, 1(2009): 217-226. La versin el documento de trabajo est disponi-ble en: http://www.3ieimpact.org/admin/pds_papers/50.pd.

30 Material de lectura adicional: Contribution Analysis: ILAC GuideBrie 16, http://www.cgiar-ilac.org/les/publications/bries/ILAC_Brie16_Contribution_Analysis.pd; Contribution Analysis, http://www.scotland.gov.uk/Resource/Doc/175356/0116687.pd.

31 Material de lectura adicional: Collaborative Outcomes Repor-ting Technique, http://www.aes.asn.au/regions/vic/2010/COR%20AES%202010.pd.
http://www.3ieimpact.org/admin/pdfs_papers/50.pdfhttp://www.cgiar-ilac.org/files/publications/briefs/ILAC_Brief16_Contribution_Analysis.pdfhttp://www.cgiar-ilac.org/files/publications/briefs/ILAC_Brief16_Contribution_Analysis.pdfhttp://www.scotland.gov.uk/Resource/Doc/175356/0116687.pdfhttp://www.scotland.gov.uk/Resource/Doc/175356/0116687.pdfhttp://www.aes.asn.au/regions/vic/2010/COR%20AES%202010.pdfhttp://www.aes.asn.au/regions/vic/2010/COR%20AES%202010.pdfhttp://www.aes.asn.au/regions/vic/2010/COR%20AES%202010.pdfhttp://www.aes.asn.au/regions/vic/2010/COR%20AES%202010.pdfhttp://www.scotland.gov.uk/Resource/Doc/175356/0116687.pdfhttp://www.scotland.gov.uk/Resource/Doc/175356/0116687.pdfhttp://www.cgiar-ilac.org/files/publications/briefs/ILAC_Brief16_Contribution_Analysis.pdfhttp://www.cgiar-ilac.org/files/publications/briefs/ILAC_Brief16_Contribution_Analysis.pdfhttp://www.3ieimpact.org/admin/pdfs_papers/50.pdf


17/23


Una evaluacin del impacto de un programa

de desarrollo de liderazgo del gobierno no

pudo utilizar un grupo de control aleatorio

porque ue imposible asignar personas de ma-

nera aleatoria para estar en un grupo de con-

trol (o incluso para participar en el programa).La evaluacin tampoco pudo utilizar un grupo

de comparacin porque la naturaleza del

programa era tal que aquellos aceptados eran

sistemticamente dierentes de aquellos que

no ueron aceptados. En cambio, la evaluacin

utiliz otras estrategias para la explicacin

causal, incluyendo la atribucin por parte de

los beneciarios, la temporalidad y la espe-

cicidad (los cambios se produjeron en las

reas especcas abordadas por el programa).(Davidson, 2006)

10. Sntesis de la evidencia

Es poco comn basar el juicio evaluativo gene-

ral de una intervencin en una sola medida de

rendimiento. Normalmente, se requiere sinteti-

zar evidencia sobre el rendimiento en dierentes

dimensiones.

Una manera comn de hacerlo es desarrollar

una escala ponderada, donde un porcentaje de

la calicacin del rendimiento general se basa en

cada dimensin. Sin embargo, una escala ponde-

rada numrica a veces tiene problemas, como los

pesos arbitrarios y la alta de atencin a elementos

esenciales, entre otros.32

32 Material de lectura adicional: The Synthesis Problem: Issuesand Methods in the Combination o Evaluation Results IntoOverall Evaluative Conclusions, http://realevaluation.com/pres/SynthHNL.pd.

Una alternativa es desarrollar una escala (o rbri-

ca) de evaluacin global con usuarios deseados

que puede ser utilizada para sintetizar la evidencia

de manera transparente. La escala incluye una

etiqueta para cada punto (por ejemplo, sin xito,

con un poco de xito, muy exitoso) y una des-

cripcin de cmo se presenta cada uno.33

11. Inorme de los hallazgos y respaldo del uso

El ormato del inorme de la evaluacin se debe

acordar cuando se planea la evaluacin de im-

pacto. Algunas organizaciones tienen ormatos

de inorme estndar, incluyendo los requisitos de

extensin, que se deben cumplir. En otros casos,

es importante acordar un inorme bsico de

los ttulos y subttulos antes de que se escriba elinorme.

Los inormes de la evaluacin de impacto son ms

accesibles cuando estn organizados en torno a

las preguntas clave de la evaluacin, en lugar de

inormar de manera separada los datos de dieren-

tes componentes de la recopilacin de datos.34

Se puede mejorar la calidad de los inormes de

evaluacin involucrando las partes interesadasadecuadas. An en los casos en que un evaluador

externo independiente est realizando una evalua-

cin, se pueden involucrar las partes interesadas

al proporcionar respuestas ormales sobre los

hallazgos y comentar sobre los datos y cmo se

han interpretado.

33 Material de lectura adicional: The Rubric Revolution, http://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-

Revolution-Davidson-Wehipeihana-McKegg-xx.pd.34 E. Jane Davidson, Improving Evaluation Questions andAnswers: Getting Actionable Answers or Real-World DecisionMakers (sesin de demostracin en la Conerencia de la Asocia-cin Americana de Evaluacin, Orlando, FL, 18 de noviembre de2009), http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-1e6-45ab-9e78-10e60cea0666.
http://realevaluation.com/pres/SynthHNL.pdfhttp://realevaluation.com/pres/SynthHNL.pdfhttp://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-Rubric-Revolution-Davidson-Wehipeihana-McKegg-xx.pdfhttp://realevaluation.com/pres/SynthHNL.pdfhttp://realevaluation.com/pres/SynthHNL.pdf


18/23


En los casos en que las recomendaciones se in-

cluyen en los inormes de evaluacin, estas deben

ser respaldadas con evidencia de los hallazgos de

la evaluacin y sobre la viabilidad y adecuacin

de las recomendaciones. Involucrar a las partes

interesadas importantes en el desarrollo de las re-

comendaciones no solo mejora la viabilidad de lasrecomendaciones, sino que tambin puede lograr

que las partes interesadas se apropien de ellas y se

comprometan a implementarlas.

El uso de los inormes de evaluacin de impacto

se puede mejorar mediante ormatos de inormes

creativos, presentaciones verbales, oportunidades

para participar con otros en el debate sobre las

implicaciones de las evaluaciones de impacto, y

al asegurarse de que los inormes permanezcanaccesibles para los usuarios potenciales.

La Gua de orientacin 4 aborda la necesidad de

comunicar bien los hallazgos a las audiencias

deseadas.

12. Cundo se debe realizar una evaluacin deimpacto?

Las evaluaciones de impacto se deben realizarcuando haya necesidad e intenciones claras de

utilizar los hallazgos. Si todas las intervenciones

precisaran tener una evaluacin de impacto, los

evaluadores correran el riesgo de necesitar un ex-

ceso de recursos o de dispersar tanto los recursos

que las evaluaciones resultaran superciales. Una

estrategia ms ecaz es centrar los recursos de

evaluacin de impacto en las intervenciones en las

que pueden ser ms tiles:

Las intervenciones y los programas piloto

innovadores que, si se prueban de manera

exitosa, se pueden ampliar o reproducir.

Intervenciones en donde no hay un buen

entendimiento de sus impactos y es necesaria

una mejor evidencia para inormar las deci-

siones acerca de su nanciacin; si se debe

continuar o dirigirla a otras intervenciones.

Las evaluaciones peridicas del impacto de

una cartera de intervenciones en un sector o

una regin para orientar polticas, el diseode intervencin utura y las decisiones de

nanciacin.

Intervenciones con un mayor perl de riesgos,

como una gran inversin (actual o utura), un

alto potencial para impactos negativos impor-

tantes o problemas delicados de polticas.

Intervenciones en donde las partes interesa-

das necesitan comprender de mejor manera

las contribuciones y perspectivas de cada uno.

El momento de una evaluacin de impacto es

importante. Si se realiza demasiado pronto, la

evidencia de los impactos que han ocurrido o

estn en curso pueden resultar insucientes. Si se

realiza demasiado tarde, puede ser dicil realizar

un seguimiento de los participantes y demasiado

tarde para infuenciar las decisiones acerca de la

utura direccin de la intervencin. En cualquier

caso, es mejor planicar la evaluacin de impacto,

en lo posible, desde el inicio de la intervencin.Esto permite que se rena la evidencia a lo largo

de toda la intervencin, incluyendo los datos de

base, y permite utilizar mtodos como las pruebas

aleatorias controladas, que requieren la creacin

de un grupo de control asignado aleatoriamente

desde el inicio de la implementacin.

13. Qu se necesita para la evaluacin deimpacto de calidad?

Puede ser til pensar acerca de la evaluacin de

calidad en trminos de cinco imperativos com-

petitivos: utilidad, precisin, tica,uncionalidad y


19/23


responsabilidad.35

Estos cinco estndares estn, a

menudo, en conficto. Por ejemplo, una evaluacin

ms exhaustiva de impacto que sera ms precisa,

podra no ser prctica en respecto a los recursos

disponibles, podra ser intrusiva en los datos

reunidos, o podra llevar demasiado tiempo para

completarse para que pueda inormar decisionesclave acerca del uturo de la intervencin.

Utilidad: Una buena evaluacin de impacto es

til. La posible utilidad de una evaluacin se

puede mejorar planicando cmo sera utilizada

desde el comienzo, lo que incluye relacionarla

con el tiempo y los procesos de toma de decisio-

nes organizativas, ser claros acerca del motivo

por el que se est realizando y acerca de quin

la utilizar, contratar partes interesadas clave enel proceso y luego elegir diseos y mtodos para

lograr este objetivo.

Precisin: Una buena evaluacin de impacto es

minuciosa. Le presta atencin a todos los impac-

tos importantes y observa si hay alguno indeseado.

Le presta atencin a la distribucin de impactos

y observa si solo algunos se benecian, y quines

son esas personas. La precisin requiere el uso de

evidencia adecuada, que incluye los datos cuanti-tativos y cualitativos, la interpretacin adecuada y

la transparencia acerca de las uentes de datos que

se han utilizado y sus limitaciones. Las estrategias

para lograr la precisin incluyen sistemas para

vericar la calidad de los datos en el punto de la

recopilacin y durante el procesamiento, y que los

hallazgos se hayan inormado de manera justa,

completa y clara.

35 Joint Committee Standards or Educational Evaluation http://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statements. Estos ueron originalmente desarrolladospara evaluaciones educativas pero, a veces, se los usa de manerams amplia.

Propiedad (tica): Los problemas ticos se deben

abordar de manera adecuada; es decir, en con-

dencialidad y anonimato, as como tambin

se deben abordar los posibles eectos nocivos

de estar involucrados en la evaluacin. Algunos

problemas ticos, como la necesidad de cumplir

con las promesas que se realizan acerca de laprivacidad y de la condencialidad, son comunes

en dierentes tipos de evaluaciones e investiga-

ciones. Hay otros problemas que son particulares

de la evaluacin de impacto. A veces se ormulan

inquietudes acerca de la tica de utilizar un diseo

RCT, ya que implica retener una intervencin de

ciertas personas (el grupo de control). Hay una

preocupacin tica menor cuando el acceso a la

intervencin se raciona en cualquier caso, y se

puede abordar asignando el grupo de control a lacola para que reciban la intervencin despus de

que se haya nalizado la evaluacin de la primera

ase (si muestra ser ecaz). Sin embargo, esta

estrategia es actible solo cuando los impactos

(o indicadores crebles de ellos) son evidentes de

manera temprana y cuando la intervencin an es

relevante para el grupo de control al momento que

naliza la evaluacin.

Tambin hay problemas ticos potenciales en res-pecto a los intereses de quines abordan una eva-

luacin. La Asociacin Americana de Evaluacin

debate esto en sus Principios rectores en trminos

de Responsabilidades para el bienestar general y

pblico:

Los evaluadores expresan y toman en cuen-

ta la diversidad de los intereses y valores

generales y pblicos, y por lo tanto deben:

1. Incluir perspectivas e intereses impor-

tantes de la gama completa de las partes

interesadas.
http://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statementshttp://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statementshttp://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statementshttp://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statementshttp://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statementshttp://www.jcsee.org/program-evaluation-standards/program-evaluation-standards-statements


20/23


2. Considerar no solo las operaciones y los

resultados inmediatos de la evaluacin,

sino tambin los supuestos generales,

las implicaciones y los posibles eectos

secundarios.

3. Permitir que las partes interesadas ac-cedan a la inormacin evaluativa y que

puedan divulgarla activamente, y presen-

tar los resultados en ormas entendibles

que respeten a las personas y cumplan las

promesas de confdencialidad.

4. Mantener un equilibrio entre las

necesidades e intereses del cliente y de las

dems partes interesadas.

5. Tener en cuenta el inters y el bienestar

pblico; ir ms all del anlisis de los

intereses particulares de la parte intere-

sada para considerar el bienestar de la

sociedad como un todo.

Normalmente se necesita una aprobacin ormal

realizada por la junta de revisin institucional

adecuada para realizar una evaluacin de impacto.

Las solicitudes para la aprobacin necesitan seguirel ormato obligatorio y abordar problemas de

benecencia, justicia y respeto.36

Funcionalidad: Las evaluaciones de impacto

deben ser prcticas. Deben tener en cuenta los

recursos disponibles (tiempo, dinero, experien-

cia y datos existentes) y cundo se necesitan los

resultados de la evaluacin para inormar las

decisiones. Asociarse con uno o ms proesionales

de evaluacin, organizaciones de investigacin,

36 Material de lectura adicional: Evaluation Consent and theInstitutional Review Board Process, http://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-process.

universidades y organizaciones de sociedad civil

puede impulsar los recursos necesarios.

Responsabilidad: las evaluaciones necesitan acla-

rar la evidencia y los criterios en los cuales se basa-

ron las conclusiones, y reconocer sus limitaciones.

La transparencia sobre las uentes de datos esimportante; por ejemplo, mostrar las uentes que

se utilizaron para cada pregunta de evaluacin.

Un proceso ormal de metaevaluacion (hacer que

se evale su propia evaluacin aprobando un plan

de evaluacin y luego un inorme de evaluacin)

realizado por un revisor experto o un comit de

individuos con integridad e independencia respe-

tadas, puede mejorar la responsabilidad de una

evaluacin de impacto.

14. Desaos comunes en la evaluacin deimpacto en desarrollo

A continuacin se describe un nmero de desaos

comunes en la evaluacin de desarrollo, junto con

algunas sugerencias para abordarlos.

Variacin en la implementacin y en el entor-

no en dierentes sitios

Es posible que se haya implementadouna intervencin de distintas maneras

para adaptarla a los dierentes contextos

en las dierentes ocinas nacionalesen

todo el mundo, o en dierentes reas

geogrcas dentro de un pas. Puede ser

til comparar las teoras de cambio para

cada sitio. En particular, identicar si los

dierentes sitios utilizan la misma teora

acerca de cmo suceden los cambios (por

ejemplo, al aumentar el conocimiento de

las personas acerca de sus derechos a

los servicios) pero dierentes teoras de

accin (por ejemplo, olletos impresos

en comparacin con teatro comunitario),
http://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-processhttp://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-processhttp://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-processhttp://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-processhttp://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-processhttp://meera.snre.umich.edu/plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/evaluation-consent-and-the-institutional-review-board-process


21/23


o si estn utilizando teoras de cambio

completamente dierentes (por ejemplo,

aumentar el conocimiento de las personas

acerca de sus derechos a los servicios en

un sitio en comparacin con reducir ba-

rreras para el acceso a los servicios, como

cuotas de usuarios, mediante la promo-cin en otras).

Impactos heterogneos

A menudo, las intervenciones de desarrollo

solo uncionan para algunas personas, y

pueden ser inecaces o hasta perjudiciales

para otras. Adems, el xito de una inter-

vencin en cuanto al logro de los impactos

deseables, a veces, se ve aectado por la

calidad de la implementacin. Por lo tanto,es importante no solo calcular e inormar el

eecto promedio, sino tambin buscar die-

rentes eectos. Esto requiere reunir eviden-

cia donde sea posible acerca de la calidad

de la implementacin y recopilar datos

acerca de los actores contextuales que

podran aectar a los impactos, incluyendo

las caractersticas de los participantes y el

entorno de la implementacin.

Componentes diversos

Un programa podra abarcar un rango

diverso de proyectos, y an as se necesita-

ra una evaluacin general del impacto del

programa entero. Puede ser til desarrollar

una teora general de cambio para el pro-

grama, reuniendo dierentes componentes.

A veces, es posible hacer esto en la etapa

de planicacin, pero, especialmente en los

casos en que los proyectos y componentes

varan con el tiempo, podra ser necesario

realizarlo de manera retroactiva.

Plazos largos

A menudo, los impactos buscados no

son evidentes por muchos aos, pero se

necesita la evidencia para inormar las

decisiones antes de ese momento (por

ejemplo, si se debe o no ejecutar una

ase posterior o replicar un modelo enotro lugar). Una teora de cambio puede

identicar resultados intermedios que

podran ser evidentes en la vida de una

evaluacin. En algunos casos, la evidencia

de la investigacin se puede utilizar para

completar vnculos posteriores y calcular

posibles impactos segn el logro de los

resultados inmediatos. Tambin se debe

dar consideracin a la trayectoria espera-

da de cambio; cuando es posible que losimpactos sean evidentes.

37

Infuencia de otros programas y actores

Los impactos de las intervenciones de

desarrollo estn muy infuenciados por

las actividades de otros programas y

otros actores contextuales que podran

respaldar o prevenir dichos impactos. Por

ejemplo, las transerencias de dinero que

dependen de la asistencia escolar soloconducen a un logro estudiantil mejorado

en situaciones en donde las escuelas les

ensean a los estudiantes de manera ade-

cuada. Es posible identicar estos otros

programas y actores contextuales como

parte del desarrollo de una teora de cam-

bio, para reunir evidencia acerca de ellos y

para buscar patrones en los datos.

37 Material de lectura adicional: Michael Woolcock sobre laImportancia del Tiempo y las Trayectorias en la Comprensin dela Ecacia del Proyecto, http://blogs.worldbank.org/impactevalua-tions/guest-post-michael-woolcock-on-the-importance-o-time-and-trajectories-in-understanding-project-ee.
http://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effehttp://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effehttp://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effehttp://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effehttp://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effehttp://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-and-trajectories-in-understanding-project-effe


22/23


Limitaciones de los recursos

La evidencia existente (en la orma de

documentacin del programa, datos de

base y estadsticas ociales) puede tener

vacos y es posible que hayan pocos

recursos (en trminos de la nanciacin,

el tiempo del personal o el acceso a losconocimientos tcnicos especializados)

para reunir los tipos de evidencia necesa-

rios para una evaluacin de impacto de

calidad. Para una evaluacin especca,

cuando la evidencia existente es escasa y

hay pocos recursos para reunir evidencia

adicional, las entrevistas de inormantes

clave de diversos inormantes pueden

proporcionar sucientes datos, inclusive

reconstruir datos de base. Planicar conanticipacin para la evaluacin de impac-

to puede reducir las limitaciones de los

recursos al desarrollar sucientes recursos

en la etapa de diseo y presupuesto, y/o

asignar estratgicamente recursos de eva-

luacin en todas las intervenciones para

que estn concentradas en mayor medida

en un nmero ms pequeo de evalua-

ciones ms exhaustivas de intervenciones

estratgicamente importantes.

Resumen

Una evaluacin de impacto debe comenzar con un

plan que aclare los objetivos que pretende alcan-

zar, lo que incluye identicar a los usuarios previs-

tos, las preguntas de evaluacin clave que intenta

responder y cmo abordar los seis componentes

de la evaluacin de impacto: claricar valores,

desarrollar una teora de cambio, medir o describir

variables importantes, explicar qu ha producido

los impactos, sintetizar evidencia e inormar y

respaldar el uso. Que se revise este plan (pue-

de ser por los usuarios previstos) aumentar la

posibilidad de producir una evaluacin de impacto

de alta calidad que se utilice realmente.

Reerencias y otros recursos tiles

Alton-Lee, A. (2003) Quality Teaching or Diverse

Students in Schooling: Best Evidence Synthesis.Wellington, New Zealand: Ministry o Education.

http://www.educationcounts.govt.nz/publica-

tions/series/2515/5959Un ejemplo de sntesis de

evidencia de diversas uentes para comprender

qu unciona para quin.

Catley A., Burns, J., Abebe, D., Su, O. Participatory

Impact Assessment: A Guide or Practitioners.

Boston: Tuts University. http://www.prevention-

web.net/english/proessional/publications/v.php?id=9679

Chambers R. (2007) Who Counts? The Quiet

Revolution o Participation and Numbers

Working Paper No. 296, Brighton: Institute o

Development Studies. http://www.ids.ac.uk/

les/Wp296.pd

Davidson, E. J. (2006) Causal Inerence Nuts

and Bolts. Sesin de demostracin en laConerencia de la Asociacin Americana de

Evaluacin de 2006, Portland, Ore., Nov. 2006

http://realevaluation.com/pres/causation-an-

zea09.pd.

Davidson, E. J. (2009) Improving Evaluation

Questions and Answers: Getting Actionable

Answers or Real-World Decision Makers.

Sesin de demostracin en la Conerencia de la

Asociacin Americana de Evaluacin de 2009,

Orlando, Fla., Nov. 2009. http://comm.eval.org/

resources/viewdocument/?DocumentKey=e5b

ac388-1e6-45ab-9e78-10e60cea0666.
http://www.educationcounts.govt.nz/publications/series/2515/5959http://www.educationcounts.govt.nz/publications/series/2515/5959http://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.ids.ac.uk/files/Wp296.pdfhttp://www.ids.ac.uk/files/Wp296.pdfhttp://realevaluation.com/pres/causation-anzea09.pdfhttp://realevaluation.com/pres/causation-anzea09.pdfhttp://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://comm.eval.org/resources/viewdocument/?DocumentKey=e5bac388-f1e6-45ab-9e78-10e60cea0666http://realevaluation.com/pres/causation-anzea09.pdfhttp://realevaluation.com/pres/causation-anzea09.pdfhttp://www.ids.ac.uk/files/Wp296.pdfhttp://www.ids.ac.uk/files/Wp296.pdfhttp://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.preventionweb.net/english/professional/publications/v.php?id=9679http://www.educationcounts.govt.nz/publications/series/2515/5959http://www.educationcounts.govt.nz/publications/series/2515/5959


23/23

Funnell S. and Rogers, P. (2011) Purposeul

Program Theory: Eective Use o Theories o

Change and Logic Models. San Francisco:

Jossey-Bass/Wiley.

Guijt, I. (1999) Participatory Monitoring and

Evaluation or Natural Resource Managementand Research. Socio-economic Methodologies

or Natural Resources Research. Chatham, UK:

Natural Resources Institute. http://www.nri.org/

publications/bpg/bpg04.pd

Miles, M. and Huberman, M. (1994) Qualitative

Data Analysis: An Expanded Sourcebook (2nd ed

3 - introduction to impact evaluation - spanish_0

Documents