Cómo Comunicar los Resultados de una Evaluación

Traducido por PREVAL – Octubre del 2002

Lynn Lyons Morris Carol Taylor Fitz-Gibbon

Mary E. Freeman

Centro para los Estudios de Evaluación, Universidad de California, Los Angeles

SAGE PUBLICATIONS Newbury Park / Berverly Hills / London / New Delhi

Índice Agradecimientos Introducción Capítulo I: Quién necesita saber qué cosa y cuándo Capítulo II: Formas de comunicar los resultados de una evaluación Capítulo III: Utilización de tablas y gráficos para presentar datos Capítulos IV: Esquema de un informe de evaluación Bibliografía adicional Indice

Agradecimientos La preparación de esta segunda edición del Paquete de Evaluación de Programas del Centro para Estudios de Evaluación, ha sido una tarea complicada, que sólo se hizo posible a través de los esfuerzos combinados de una serie de individuos.

En primer lugar, las doctoras Lynn, Lyons, Morris y Carol Taylor Fitz-Gibbon, las autoras y editoras del Paquete original. Juntas han escrito los 8 volúmenes originales, un emprendimiento enorme que requirió increíbles conocimientos, dedicación, persistencia y mucho esfuerzo. Lynn también ha trabajado infatigablemente como editora de todo el conjunto completo. Después de que me costó un mundo hacer mundo hacer tan sólo una revisión, me admira muchísimos el enorme logro de Lynn y Caroline. Esta segunda edición retiene mucho de su trabajo y obviamente no hubiese sido posible sin él.

También debo agradecer a Jim Gene B. Glass, Ernie House, Michael Q. Paton, Carol Weiss y Robert

Boruch, que revisaron nuestros planes y ofrecieron su asistencia específica en las revisiones con un objetivo particular. No hubiese sido posible realizar el trabajo sin la ayuda de Marvin C. Alkin, quien es autor de las semillas de esta segunda edición y quien colaboró muy cercanamente durante sus fases iniciales de planeamiento.

También quisiera reconocer especialmente la contribución y ayuda de Michael Q. Paton. Como es

característico en él, Michael fue un evaluador excelente, enfocado en la utilización, que analizó el borrador definitivo del manuscrito, revisando con mucho cuidado nuestro trabajo y ofreciendo innumerables sugerencias para su mejora. Hemos incorporado al Manual su marco para diferenciar entre los diferentes tipos de evaluación (formativo, recapitulativo, implementación, resultados).

Muchos de los miembros del personal del Centro de Estudios de Evaluación contribuyeron a la producción

de este paquete. El esfuerzo completo fue supervisado por Aerile, excelente gerente del Centro. Katherine Fry, una experta en procesamiento de texto, fue capaz de lograra increíbles hazañas para el Manual y trabajó infatigablemente en la producción del manuscrito y la transferencia de datos. Ruth Paysen, que fue una gran contribuidora a la producción del paquete original, también quiso la edición cuidadosa y delicada de la segunda edición. Margie Franco, Tori Goubeia y Katherine Lu también participaron en el esfuerzo de producción.

Marie Freeman y Pamela Aschbacher, también del centro, contribuyeron con sus ideas, destrezas

editoriales e innumerables ejemplos. Carli Rogers, de contratos y donaciones de UCLA, mostró a la vez empatía y cuidado en sus negociaciones con nosotros.

En publicaciones Sage, agradecemos a Sara McCune, por sus palabras de aliento y a Mitch Allen por su

paciencia y sus llamados al orden. Y en el Centro de Estudios de Evaluación sin duda el proyecto no hubiera sido posible sin Eva L. Baker,

director. Eva es una continua fuente de aliento, ideas, apoyo, diversión y amistad. Joan L. Herman Centro de Estudios de Evaluación Universidad de California, Los Angeles

Introducción El propósito de este libro es ayudarle a comunicar la información de evaluación que usted a recolectado. El libro contiene recetas y consejos para ayudar al evaluador a proveer información que será utilizable y usada durante muchas etapas del desarrollo de un programa. Las sugerencias y comentarios que ofrece este libro se basan sobre la experiencia de evaluadores del Centro de Estudios de Evaluación de la Universidad de California, Los Ángeles, y sobre consejos de expertos en conducción e información sobre evaluaciones en muchos campos de las ciencias sociales y de la educación.

El libro Cómo comunicar los resultados de una evaluación tiene 4 capítulos. El primer capítulo describe el contexto para la comunicación de resultados de evaluación. Aquí la principal preocupación es quién necesita saber qué cosa y en qué momento. El capítulo explica las responsabilidades de información del evaluador con respecto a sus diferentes audiencias, y los usos que podrá tener dicha información en evaluaciones formativas y sumativas. El capítulo incluye principios generales para maximizar el impacto de la evaluación.

El capítulo 2 revisa diversas maneras de comunicar los resultados. Se trata de un compendio de

indicadores sobre medios específicos tales como memorandos, informes técnicos, comunicados de noticias, conversaciones informales y reuniones públicas. El propósito del segundo capítulo es ayudarlo a presentar los resultados de su trabajo en la forma y el estilo que son más eficaces para transmitir el mensaje de su evaluación a usuarios primarios y secundarios.

El capítulo 3 le ayuda a aprovechar el antiguo adagio “una imagen vale más que mil palabras”. Describe

cómo elaborar cuadros y gráficos. Basándose en gran medida en ejemplos, contiene prototipos de cuadros y gráficos que muestran los datos de la evaluación. Para ayudarlo en sus exposiciones orales, el capítulo describe paso a paso el procedimiento para preparar a las audiencias para leer e interpretar los gráficos.

El capítulo 4 presenta un esquema de informe técnico bastante estandarizado que probablemente le

resulte familiar. Dependiendo de la exigencia de sus requerimientos de informe, puede usted decidir o no seguir este método bastante formal de presentar su evaluación y los resultados. Puede usted seguir este esquema a la letra o puede simplemente utilizarlo para familiarizarse con el conjunto de temas que deberían discutirse en un informe de evaluación. El esquema tiene la intención de ser exhaustivo en cuanto al tipo e información que puede transmitirse a una audiencia de evaluación. Una mirada al capítulo 4 le mostrará que cada punto en el esquema del informe está acompañado por un conjunto de preguntas. Estas preguntas están destinadas a aclarar cada sección del esquema y ayudarlo o estimularlo a redactarlas. Al responder a las preguntas en secuencia usted producirá un esquema de un informe de evaluación.

Tiene usted gran libertad para decidir qué es lo que va a informar y cómo comunicar esta información. La

evaluación es un campo en evolución, y existen pocos procedimientos universalmente aceptados para recolectar y reportar resultados de evaluación. Existen serias dudas, por ejemplo, si la mayoría de las audiencias pueden tolerar las exposiciones de deducción lógica - usualmente bastante áridas- dictadas por el esquema clásico de informe del capítulo IV. En realidad se le plantea el desafío de diseñar exposiciones eficaces por su propia fuente. Después de todo, su tarea como evaluador es proporcionar la mejor información a posible a los financiadores de programas, al personal y a otras personas que usted haya identificado como poseedoras de un interés personal o profesional en los procesos y resultados de programa. Por lo tanto, su obligación es reunir la información de mayor credibilidad posible dentro de las restricciones de su situación, y presentar sus conclusiones de manera tal que en comprensibles y útiles para aquellos que se interesan en la evaluación.

Sin embargo, tenga en mente que las recetas y consejos ofrecidos en este libro representan estrategias de

comunicación y de informes posibles bajo las circunstancias más ventajosas. Por supuesto, pocas situaciones de evaluación se acercan a este ideal, y usted deberá adaptar esta información a su propia situación y a las realidades políticas. El leer este libro debería al menos ayudarlo a organizar sus pensamientos sobre lo que va a comunicar y sobre cómo transmitir su mensaje.

Capítulo 1 ¿Quién necesita saber qué, y cuándo? Usted no desea que los resultados de sus esfuerzos de evaluación no sean utilizados. Toda esa cantidad de trabajo no debería terminar sepultada en un archivador, mientras que las deficiencias de un programa en problemas continúa, o las fortalezas de un programa eficaz no se dan a conocer. Las evaluaciones se realizan por una serie de razones, pero en última instancia el principal propósito es proporcionar información para la toma de decisiones. Si bien muchos se han lamentado del impacto de una evaluación en esta área, afortunadamente existen pasos concretos que usted puede tomar para incrementar las posibilidades de que sus resultados ejerzan cierta influencia sobre el complejo rompecabezas del desarrollo de programas y la elaboración de políticas.

En primer lugar, usted debe considerar el proceso completo de la toma de decisiones y a los actores más influyentes en el programa que usted está evaluando. También debería tomar conciencia de los diferentes puntos potenciales en sus procesos de toma de decisiones, en los cuales podría resultar de ayuda la información. Un único informe final normalmente no alcanza para satisfacer los propósitos, ni tampoco puede usted puede evitar que exista preocupación sobre sus informes y demorar la comunicación hasta que haya recolectado y analizado todos sus datos. En lugar de ello, la atención centrada en un informe eficaz y la comunicación deben ser continuas durante todo el proceso de evaluación, desde las primeras etapas de planificación hasta haber completado sus últimos compromisos. La dimensión de la eficacia significa también que usted tiene que reportar diferentes tipos de información a diferentes individuos o grupos de maneras distintas y en momentos distintos de la evaluación. Quién quiere saber qué cosa y cuando necesita de esa información son preocupaciones clave para la planificación, pero facilitar la utilidad de su trabajo requiere aún más. Este volumen se detiene en tres reglas fundamentales de los informes que aumentarán las probabilidades de que sus resultados de evaluación sean utilizados y no ignorados: • La información tiene que ser comunicada a los usuarios potenciales adecuados • Los informes deben tratar temas que los usuarios perciban como importantes • Los informes deben ser presentados a tiempo para que sean útiles y de una manera tal que sean claramente

comprensibles para los usuarios a los que están dirigidos. Este capítulo proporciona algunas sugerencias prácticas para identificar y comunicar con sus usuarios primarios de evaluación y sus audiencias más importantes. Algunos de estos consejos pueden sonar un tanto “políticos”. Lo son. No existe una evaluación que esté libre de consideraciones políticas. Algunas de las sugerencias sobre una comunicación eficaz son consejos bastante estandarizados y sin duda los habrá escuchado antes. Pero aunque le sean familiares, es muy importante recordárselos.

Antes de centrarnos en las potenciales audiencias de su evaluación y los mensajes, es sin embargo importante para usted que tome en cuenta con claridad las responsabilidades y expectativas de su propio papel como evaluador. El Papel del Evaluador La naturaleza del papel del evaluador con respecto al programa determinará el contenido y el formato de sus planes de comunicación. El Paquete del programa de evaluación, del cual este libro es un componente está dirigido primariamente a las personas que han sido designadas como evaluadores de programa. Esto significa que su responsabilidad primaria es la de recolectar y comunicar información sobre la eficacia de un programa, en oposición a la recolección de información sobre la calidad del desempeño de un individuo específico. ¿A quién comunicar esta información, qué comunicar, cuando y cómo? Identificar estas respuestas específicas será una importante preocupación desde su primer contacto con los auspiciadores de esta evaluación. El volumen 2 en el paquete, cómo centrar el enfoque de una evaluación por Brian M. Stecher y W. Alan Davis, sugiere cómo tratar estas actividades de vital importancia de la planificación inicial. A través de estos intercambios con los auspiciadores y otras audiencias o usuarios clave, un evaluador intentará aclarar la naturaleza y la oportunidad de la información que necesita y preparará el escenario para un proceso de comunicación continuo y eficaz.

Tempranamente en el proceso de planificación de la evaluación y también en el momento específico de planificar una evaluación eficaz, usted debe identificar tanto a aquellas personas que podrían tener mayor interés en los resultados de la evaluación, y también cuál podría ser ese interés. Tenga en cuenta, sin embrago, que

usted encontrará más personas con interés que tiempo, energía y recursos para atender esos intereses de manera eficaz. Una distinción útil que hay que tener en mente cuando identifique audiencias para su trabajo es la que se establece entre usuarios primarios y usuarios secundarios. Los usuarios primarios son aquellos individuos específicos cuyas necesidades de información usted tiene el encargo de satisfacer. El auspiciador de la información y/o aquellos que requieren la evaluación son obviamente usuarios primarios. Estos individuos podrían representar un Consejo Directivo, un Gerente General, un Director de Programa, un Agente de Financiamiento, u otras instancias de decisión del programa o diseñadores de políticas. Los usuarios primarios también pueden incluir a personal clave del programa o a aquellos que son una parte interesada directa en el programa. La mayor parte de su energía de información y comunicación debería entonces estar dirigida hacia esos usuarios primarios. Estos son los individuos que en su opinión deberían utilizar los resultados de su evaluación, y que representan su principal audiencia.

Los usuarios o audiencias secundarias son otros individuos o grupos que podrían estar afiliados al

programa de alguna manera o tener un interés en el programa y su evaluación. Usted podrá tal vez consultar con estos individuos a medida que desarrolla sus planes, o querrá incorporar sus intereses y perspectivas en su recolección datos, y también tal vez sea buena idea divulgar sus resultados entre ellos. Pero estos no son sus clientes primarios. Los grupos comunitarios, el personal, los participantes, otras organizaciones interesadas en el programa, los legisladores, grupos de intereses especiales, y una gama de otras personas que dependen de su situación específica podrán ser vistas como usuarios secundarios.

El papel del evaluador y las audiencias a las que atiende varía con cada encargo, pero algunas similitudes

en responsabilidades y expectativas por lo general se clasifican en dos categorías distintas. Lo más probable es que su papel se semeje a uno de los dos siguientes tipos generales:

(1) su tarea de evaluación puede caracterizarlo como asistente o asesor para los planificadores o desarrolladores del programa. Durante las primeras etapas de operación de un programa, se le podrá pedir que escriba y monitorée las actividades del mismo, periódicamente compruebe progresos en los resultados o los cambios de actitud como vigile con respecto a problemas potenciales e identifique áreas en las que el programa necesita mejorar. En esta situación, usted funciona como solucionador de problemas, cuya tarea principal a veces puede no estar bien definida. Se le podrá requerir o no que produzca un informe final por escrito al final de sus actividades. Una parte importante de su papel, sin embargo, es la retroalimentación continua, verbal o escrita a los desarrolladores del programa, a sus gerentes y/o su personal, a medida que usted descubre información sobre la implementación del programa, sus defectos y sus logros. Si este papel laboral un tanto difuso se semeja a las expectativas de su encargo actual, entonces probablemente estará actuando como un evaluador formativo.

(2) Usted tiene la responsabilidad de producir una declaración sumativa sobre los efectos generales y los logros de determinado programa. En este caso, probablemente estará preparando un informe final en versión resumida que será presentado a los diseñadores de políticas de programa y/o sus gerentes (por ejemplo, una agencia de financiamiento, un gerente corporativo, funcionarios distritales o estatales, legisladores). Se le podrá pedir que describa el programa, produzca un enunciado que se refiere a los logros con respecto a los objetivos anunciados en el programa, alerte sobre resultados no esperados, y posiblemente establezca comparaciones con un programa alternativo. Mientras que el grueso de su trabajo podría significar escribir este informe final, sus resultados deberán comunicarse sobre una base informal a lo largo de toda la evaluación. Si ese papel se semeja a las expectativas de su encargo actual, entonces sin duda está actuando usted como un evaluador sumativo.

Además de las distinciones entre los papeles formativo y sumativo, también hay factores relacionados sobre si usted está llevando a cabo sus responsabilidades como evaluador interno o externo. Un evaluador interno es una persona que ya es empleada o asociada de la organización o programa que está siendo evaluado. Si usted es un evaluador interno, probablemente ya le sean familiar el personal asociado con el programa, y también sus objetivos. Esta familiaridad puede simplificar mucho las tareas de comunicación inicial si usted ya ha establecido buenas relaciones con el personal clave y sus usuarios primarios. Sin embargo, un evaluador interno puede tener algunas desventajas también, si es que las relaciones ya existentes no han sido productivas o cordiales.

Por su parte, un evaluador externo, es una persona que no tiene un interés particular en el programa o la

organización. Muchas veces se le contrata como resultado de un proceso de licitación. Los evaluadores pueden no estar familiarizados con el personal y sus interrelaciones, o con otros usuarios potenciales. Si bien los auspiciadores de la evaluación pueden haber conocido al evaluador personalmente o a través de trabajos anteriores. Una importante tarea inicial de comunicación para un evaluador externo es identificar al personal clave del programa y a los usuarios primarios y empezar a desarrollar una buena relación de trabajo con ellos. Estas relaciones podrán ser cruciales para ayudarle a reforzar su credibilidad, confiabilidad, y a la vez la utilidad y el impacto de la evaluación.

Una vez que se haya esclarecido su relación con el programa, usted puede iniciar el desarrollo de sus

planes de comunicación. El comprender a las audiencias primarias y sus necesidades es una consideración crucial en el desarrollo de planes eficaces. Comprendiendo a sus audiencias primarias Conozca a sus audiencias Muchas evaluaciones tienen diversas audiencias o personas en una posición interesada en los resultados de la evaluación. No debe ignorar a ninguno de estos usuarios potenciales durante los procesos de planificación y reporte. El no identificar correctamente a uno o más de sus usuarios primarios es un error común, que puede tener repercusiones serias, por ejemplo:

A solicitud del consejo municipal de una pequeña comunidad, se contrata un evaluador para conducir una evaluación sobre un programa de prevención de abusos de drogas, auspiciado por la policía local para escuelas secundarias. Sin consultar con la policía involucrada en el programa, el evaluador procede a diseñar la evaluación y a reportar la evaluación requerida por los miembros del consejo. Cuando el evaluador finalmente hace entrega de los resultados de la evaluación en una reunión del consejo municipal, la policía manifiesta con vehemencia su oposición a las recomendaciones de que se eliminen ciertas actividades del programa y se expandan otras, alegando que ellos no tuvieron ninguna injerencia en la planificación de la evaluación. No refleja sus prioridades, según dicen, y están reacios a apoyar las recomendaciones. Al pasar por alto a un grupo de usuarios primarios en una etapa crítica de la planificación y subvaluando su importancia como usuarios de la evaluación, el grupo que tenía mayores posibilidades de beneficiarse con la evaluación había sido alienado.

Un evaluador también puede identificar a una audiencia demasiado amplia. Tal vez, por ejemplo, usted

haya presentado un informe final al Comité de Planificación de un programa, que sin duda es usuario primario de su información. Pero no ha tomado usted especialmente en cuenta al presidente del comité, un individuo con una larga experiencia y mucha influencia dentro del comité y un respetado líder de opinión del grupo. Sin su apoyo no se llevará a cabo ninguna acción. Un enfoque más sabio habría sido el de reunirse individualmente con el presidente para revisar sus resultados y discutir sus implicancias, antes de la reunión general del comité. Esta acción habría reconocido su status dentro del grupo y lo habría alertado tanto a usted como al presidente sobre resultados potencialmente controvertidos antes de que se distribuyan de manera general.

Identificar sus audiencias reales – a veces a pesar de los pronunciamientos oficiales – es un aspecto

crucial si usted espera que sus resultados sean utilizados. En gran medida y la credibilidad de sus resultados depende de haber identificado correctamente e incorporado a los usuarios primarios en sus planes de evaluación.

Averigüe qué información necesitan los usuarios y por qué la necesitan Elabore una lista de lo que desean saber las personas y por qué desean hacerlo. Para ser eficaces, los informes tienen que ser adaptados a los problemas reales percibidos por administradores y por los agentes en la práctica. Nuevamente, su propia credibilidad y la credibilidad de sus resultados aumentará su usted identifica acertadamente o al menos reconoce los mayores temas que afronta el personal de un programa.

Antes de empezar a recolectar datos, y sin duda antes de acometer el informe final, averigüe qué consideran las instancias de decisión como criterios aceptables para el éxito del programa. Estos criterios podrán o no coincidir con los suyos propios, pero en última instancia la decisión será de ellos y usted deberá utilizar criterios que ellos encuentren adecuados. En términos de los usuarios ¿a qué nivel se espera que el programa tenga éxito? Usted puede preguntarles bastante directamente: “¿Esto les dirá lo que ustedes desean saber?” Con este enfoque usted estará en una posición mucho más segura para interpretar y presentar sus resultados de manera que resulten relevantes y confiables para los usuarios.

Por una serie de razones, esto parece ser mucho más fácil de lo que es en realidad:

• Diferentes usuarios quieren diferente información – incluso para contestar la misma pregunta -. Una agencia de financiamiento puede aceptar sólo datos válidos y confiables de ensayos efectuados para demostrar que un programa de capacitación de personal ha sido eficaz, mientras que el personal que participa en un programa de capacitación encontraría que informes anecdóticos y respuestas de entrevistas o cuestionarios serían una evidencia muy válida y creíble de los efectos del programa. Otras audiencias podrán requerir ambos tipos de información.

• Algunos usuarios no saben lo que necesitan. En programas en los que las evaluaciones son obligatorias debido a requerimientos legales, por ejemplo, los clientes de la evaluación o el personal del programa pueden ver esta evaluación simplemente como una prueba que hay que soportar, no necesariamente como un proceso que llevará a información útil y a decisiones bien pensadas. Si los usuarios no están dispuestos a comprometerse con algún criterio para medir el éxito antes de que se inicie la evaluación, es poco probable que aceptarán o utilizarán sus recomendaciones finales. Algunos evaluadores formativos consistentemente se enfrentan a la tarea de ayudar a los clientes a definir no sólo los objetivos del programa, sino también las necesidades específicas de información proveniente de evaluación.

• Algunos usuarios esperan que la evaluación apoye un punto de vista específico. Estos usuarios ya han decidido en sus mentes cuales son las fortalezas y debilidades del programa, y esperan que la evaluación sólo confirme su opinión. Los resultados de la evaluación, sin embargo, podrían no apoyar sus opiniones preconcebidas. En estos casos es vital que el evaluador identifique las opiniones tempranamente, de manera que pueda anticiparse a potenciales desavenencias y diseñar procedimientos de evaluación que las tomen en cuenta. El alertar a los usuarios sobre el hecho de que usted encuentre discrepancias entre sus suposiciones a medida que surgen estos resultados, en lugar de consignar no sólo en el informe final, hará que los usuarios sean más receptivos. De hecho, un informe de evaluación eficaz no contendrá sorpresas, especialmente con respecto a los temas principales. Todos los temas cruciales habrán sido discutidos con el personal del programa y las instancias de decisión desde el principio, mucho antes de llegar a la etapa del informe final. Si la evaluación no trae estos temas a relucir tempranamente, el evaluador perderá credibilidad.

• Para algunos usuarios, las necesidades de información cambien durante el curso de la misma. No es poco común que una evaluación formativa esté ya muy encaminada antes de que los usuarios identifiquen información que les gustaría recibir. Algunos capacitadores, por ejemplo, podrían mencionar que los operadores de computadoras en un programa piloto de capacitación parecen estar aprendiendo un nuevo sistema de procesamiento de datos, pero los operadores han desarrollado una fuerte aversión hacia este sistema. Usted puede cambiar sus planes de evaluación para incluir algunos indicadores de actitud. Si bien no puede constantemente cambiar sus planes de evaluación, intente reservar una pequeña porción de sus recursos para adecuarse a requerimientos inesperados de información que aparezcan durante la implementación del programa.

Si usted desea que los usuarios escuchen con cuidado cuando usted empieza a divulgar sus resultados tendrá que prestar atención a lo que ellos desean saber. Por ejemplo, el director estatal de servicios juveniles ha estado promoviendo un proyecto para aumentar el número de hogares permanentes que deseen adoptar niños para cuidado temporal. El desea saber si este proyecto ha alentado a los padres adoptivos a quedarse con los niños sobre una base más permanente. Como parte esencial del informe final, el evaluador analiza la tasa de delincuencia entre los niños adoptados y los niños bajo cuidado temporal. Sin poder contener su impaciencia, el director no logra ver cómo se relaciona esta información con el éxito del programa. Finalmente, pregunta: “¿Y eso

qué, los padres temporales se están quedando con sus niños durante más tiempo como resultado de este programa o no?”.

Sea cuidadoso para evitar dar a las instancias de decisión una información que se semeje a la que ellos

requieren pero no sea exactamente lo que piden. Por ejemplo, el administrador de una agencia federal podría necesitar saber cuántos miembros de su personal estarían dispuestos voluntariamente a participar en una prueba de uso de drogas cuando entre en efecto un nuevo programa para detectar la drogadicción. En este caso, usted no puede simplemente entregarle la información sobre el número de trabajadores en su personal que apoyan las pruebas de drogadicción. El apoyar las pruebas de drogadicción no es exactamente lo mismo que presentarse como voluntario para participar en una de ellas.

Trate de entender el punto de vista del usuario Si usted tiene la intención de influir sobre una audiencia, conozca sus motivaciones y sus idiosincrasias, y diseñe sus planes de información de acuerdo a ellas. Elija un estilo y una forma de redactar su informe que tome en cuenta su punto de vista, y anticípese al tipo de decisiones que podrían desencadenar reacciones negativas hacia su informe. Los maestros, por ejemplo, trabajan bajo limitaciones estrictas de tiempo. Con frecuencia se quejan (con alguna justificación) de que se les pide que asistan a reuniones sobre temas que son de poca importancia inmediata para ellos. Desafortunadamente, las sesiones de informes de evaluación, suelen caer en esta categoría. Además, muchos maestros han desarrollado actitudes negativas hacia casi cualquier decisión tomada en “la oficina central” por “todos esos empleados de escritorio que no tienen nada mejor que hacer que diseñar más papeles que nosotros debamos llenar”. Si usted tiene planeado reportar la información de su evaluación a individuos que tienen este tipo de actitud, ajuste sus estrategias de información para acomodarse. Algunas de las siguientes acciones podrían funcionar bien: Actitud No quiero ir a ninguna reunión que me haga perder el tiempo No me gusta la oficina central

Adaptaciones del reporte • Distribuya su información en un memorando o un

folleto atractivo o eficiente. • Afiche la información en un tablero de anuncios

ubicado de manera central. • Informe sus resultados rápidamente durante una

reunión regular programada de profesores. • Reúnase con una persona por división y permita

que estos individuos reporten a los otros en su unidad.

• Pida a los administradores al personal que decidan cuál es el momento más conveniente para una reunión.

• Haga que los administradores de las unidades

locales presenten información a sus colegas. • Haga que un administrador y un representante

de personal reporten los resultados conjuntamente.

A través de su modo de actuar y de su plan de informes, demuestre que usted está al tanto de las implicancias

que pueden tener sus resultados sobre la vida de su audiencia. Preste atención a su atuendo y a su estilo de lenguaje. Vístase como espera que también se vista su audiencia, y hábleles en su idioma. Tome en cuenta sus objeciones y debata abiertamente con ellos cualquier riesgo que los resultados de la evaluación podrían implicar para ellos. Presente el informe a tiempo para que sea útil La oportunidad de un informe de evaluación puede ser crucialmente importante si usted espera que la información sea utilizada. Presente sus resultados de manera tal que coincidan con el marco temporal de la toma de decisiones. Si la información llega demasiado temprano, podría perder impacto. Si llega demasiado tarde, se habrá convertido en obsoleta y probablemente no tendrá ningún impacto. Es más probable que se implementen cambios poco después de haberse completado la evaluación, cuando el personal del programa y los

administradores todavía están en un estado de ánimo flexible y auto analítico. Si se entrega el informe seis meses después de haber completado la evaluación, el personal apenas recordará el nombre del evaluador y las viejas rutinas se habrán consolidado nuevamente y se habrá dejado pasar una excelente oportunidad para el cambio.

Por ejemplo, tal vez encontrará usted que en el personal de ayuda financiera de una universidad comunal está descontento con un sistema computarizado de gestión de datos recientemente instalado. Al usarlo durante el semestre de otoño, descubrieron que el componente de gráficos del programa – una característica que al principio habían encontrado muy atractiva – terminó siendo demasiado compleja para utilizar. Usted incluye esta observación en sus resultados y entrega el informe final durante el verano. Entre tanto, basándose en que el personal inicialmente emitió una calificación favorable sobre el sistema, y de acuerdo a los plazos distritales para compras en primavera, los directores de ayuda financiera de otras cinco universidades comunales del distrito también pidieron este costosos sistema de gestión de datos. Con las cajas de un software de computadora poco satisfactorio ya en sus oficinas, su tardío informe de evaluación sólo puede resultar irritante.

Al mismo tiempo, es importante que el evaluador no presente la información prematuramente, antes de

haber recolectado suficientes datos para deducir conclusiones válidas, o antes de que los usuarios estén preparados para escuchar o actuar con respecto a estos resultados. Aquellos que encaran la evaluación deberían ser informados a lo largo del proceso. Eso se puede lograr con breves reuniones como llamadas por teléfono, resúmenes de una página o cartillas incluidas en un memorando, dependiendo de las preferencias del cliente.

Las decisiones mal informadas podrían ser inevitables cuando deben tomarse durante una crisis o en

situaciones ad hoc. Pueden ser evitadas si se sabe de antemano quién va a decidir qué cosa y cuando. Esta última recomendación nos trae a otra preocupación igualmente importante para comprender a sus

usuarios primarios, y tal vez secundarios y a los requerimientos de ambos: entender la oportunidad de sus requerimientos de información. Para lograrlo usted deberá familiarizarse con el cronograma probable de planificación y de toma de decisiones. La naturaleza de su proceso de toma de decisiones y los ciclos de toma de decisiones que se espera que ocurran. Esto le permitirá formular un plan óptimo de reporte que proporcionará información relevante en los momentos en que puede resultar más útil. Al ser sensible a las necesidades de sus usuarios, usted fijará el escenario para una relación de trabajo colectiva y establecerá una base para una buena comunicación. Un evaluador que muestra empatía y conocimientos y que establece una buena relación con el auspiciador y otros usuarios primarios, que escucha con atención que luego puede trasladar con exactitud y articular con claridad los requerimientos percibidos, se encuentra en buen camino para sentar las bases de la confianza sobre los resultados de su evaluación y la utilización de los mismos.

DESCRIPCIÓN DE LOS USUARIOS DE UNA EVALUACIÓN

Nombre de Individuo o grupo

Relación con el programa

Áreas primarias de preocupación

Fechas clave en el proceso de toma de decisiones

Características y preferencias personales

Informes requeridos (fecha y tipo)

Otros informes (fecha y tipo)

Figura 1: un instrumento desarrollado por Phyllis Jacobsen, para compilar información sobre usuarios potenciales de un informe de evaluación, sus requerimientos de informe y sus referencias.

Desarrollando un plan de reporte Queda claro que desarrollar un plan de comunicación eficaz es un emprendimiento complejo. Hay muchos factores que es necesario tener en mente a medida que uno desarrolla y organiza sus esfuerzos. Es una buena idea mantener una cartilla actualizada sobre sus usuarios probables, sus intereses, y los mecanismos propuestos de reporte. Las siguientes sugerencias también quedan ilustradas en la figura 1:

• Haga una lista de sus usuarios primarios y de ser factible también de los usuarios secundarios a los que desea llegar. Quizás desee colocar en la lista las fechas en las que usted establece contacto con ellos. La cartilla puede convertirse en un recordatorio muy útil de cuánto tiempo ha pasado desde su último contacto (mantenerse en contacto es importante para alentar el uso de su trabajo).

• Añada a la lista una muy breve descripción sobre lo que usted sabe sobre sus usuarios deseados: su relación con el programa, cualquier característica personal relevante, sus intereses particulares en la evaluación, y su presencia sobre formas y estilos de comunicación.

• Elabore un cuadro maestro de todas sus actividades de evaluación y marque cuidadosamente todas las fechas de entrega formales para los resultados de evaluación.

• Considere otros puntos en el proceso de evaluación y en los planes de acción de sus usuarios en los que podría usted proporcionar información relevante. Si lo permiten los recursos, añada al cuadro cualquiera de estos puntos importantes de reporte. Podrían ser memorandos, informes interinos, reuniones o cualquier ocasión previsible cuando usted sienta que puede ser importante comunicarse con el personal del programa.

• Utilizando la información del cuadro, organice una línea de tiempo de manera que usted pueda hacer un seguimiento de las fechas importantes de reporte. Esta línea de tiempo debería incluir todos los eventos planificados formales e informales del reporte, los usuarios clave a los que desea llegar en cada uno de ellos, las fechas en las que usted habrá completado los reportes.

Capítulo 2 Formas de Comunicar los Resultados de la Evaluación Una vez que usted se ha familiarizado con las audiencias primarias de su evaluación, con las dimensiones de su papel de evaluador y con las principales preguntas que deberá resolver su estudio, es el momento de considerar cómo transmitirá usted su mensaje. La comunicación es bi-direccional. Fluye entre el evaluador y aquellos que están involucrados en el programa. Al principio de un encargo, el evaluador debe tratar de recolectar tanta información como le sea posible por parte del agente financiador, de las personas de la agencia, de los planificadores y el personal del programa, y de cualquier otro usuario potencial. A medida que progresa la evaluación, sin embargo, el flujo de comunicación empieza a ir en la dirección contraria. El evaluador asume mayor responsabilidad de proporcionar información.

Tempranamente en las etapas de planificación, usted habrá decidido con bastante firmeza quién podría recibir la información y cuándo se necesitará la misma. Ahora deberá decidir cómo divulgar sus resultados. ¿Qué formas de comunicación serán las más eficaces? El siguiente conjunto de preguntas puede servirle de guía para cualquier mensaje o para el modo de entrega que usted elija. Desde el principio mismo, colóquese usted en el lugar del usuario y plantee las siguientes preguntas:

(1) ¿Hasta qué punto y de qué maneras específicas resulta relevante la información para los problemas reales y urgentes de usuario?

(2) ¿Hasta qué punto la información resulta práctica desde el punto de vista del usuario? (3) ¿Hasta qué punto la información resulta útil e inmediatamente aplicable a la situación del usuario? (4) ¿Qué información considerará confiable el usuario, y qué prácticas de reporte apoyarán esta credibilidad o

confiabilidad? (5) ¿Hasta qué punto la información resulta comprensible para los usuarios primarios?, ¿De qué maneras

podrían ajustarse las prácticas de reporte para que la información sea comprensible y también para otras audiencias?

(6) ¿Qué prácticas de reporte se deberá elegir para asegurarse que la información sea entregada a tiempo, de manera tal que maximice su utilidad?

Directa o indirectamente los usuarios aplicarán estos criterios a sus informes y aceptarán o rechazarán su

información de acuerdo a ello. El capítulo anterior recomendaba que usted debía conocer sus audiencias y sus requerimientos de antemano. Con este conocimiento, usted podrá decidir qué tipos de información resultarán relevantes y prácticos para los usuarios pero incluso esto no es suficiente para facilitar el uso de sus resultados. Este capítulo ofrece algunas sugerencias específicas para diseñar informes de manera que sean accesibles, confiables y comprensibles. Estas cualidades se verán directamente afectadas por los medios y estilos de comunicación que usted decida emplear. Si su mensaje no es creíble o comprensible, inevitablemente no será utilizado.

Hay una serie de maneras en que usted puede divulgar sus resultados. Desafortunadamente demasiados

evaluadores recaen en el estándar, que suele ser un formato de informe técnico muy árido. Se asemeja a una disertación, y muchas veces también se lee como tal. Sin embargo, es bueno recordar que la forma estándar no es la única disponible, y sin duda no es la mejor alternativa para todas las audiencias y circunstancias. La figura dos enumera once audiencias potenciales distintas para sus resultados y sugiere que estas audiencias no todas desean que se les presente la información de la misma manera. Algunas audiencias pueden tener interés en sus resultados pero pueden no tener tiempo para estudiarlos en detalle. Otras pueden tener poco conocimiento sobre el programa o sobre prácticas de evaluación, de modo que les resultaría difícil comprender un informe técnico. Algunas audiencias sólo tienen un interés potencial o pasajero del programa, o un interés que definitivamente será aniquilado por un informe aburrido. Por lo tanto, es necesario que usted se tome el tiempo de adaptar el mensaje para el receptor, particularmente si el receptor es un potencial usuario primario de su evaluación.

Tal como muestra la figura 2, los usuarios primarios como las agencias de financiamiento, los administradores

del programa y a veces los comités de asesoría y los consejos de vigilancia requieren de mensajes más técnicos y detallados. Después de todos, ellos están tomando la cuenta y toman decisiones cruciales sobre la continuación del programa, y a sus ojos el informe debe estar completo y debe ser técnicamente lo más confiable posible. Esto no significa que vayan a leer un informe completo. A veces lo hacen. Pero incluso si no lo hacen, querrán saber que usted tiene a disposición el conjunto completo de resultados de manera que ellos puedan usarlo como fácil referencia.

Los informes influyentes e incluso los informes técnicos, muchas veces son breves y muy concisos. La

brevedad y la claridad son cruciales. Si se llega a leer un informe técnico en general, suele ser una lectura muy superficial hecha por los asesores administrativos y legislativos de personal, que son todos personas muy ocupadas. Un asistente jurídico me sugirió que para que la información de una evaluación sea lo más útil posible

para los miembros de la asamblea estatal el evaluador debería “escribir las conclusiones de su informe en una sola oración, en letra grande, en la mitad de una sola hoja de papel”.

POSIBLE FORMA DE COMUNICACIÓN

Res

umen

Eje

cutiv

o

Doc

umen

to té

cnic

o f

il

Art

ícul

o po

pula

r

Com

unic

ado

de p

rens

a

Con

fere

ncia

de

pren

sa

Reu

nión

púb

lica

Apa

rició

n an

te lo

s m

edio

s

Talle

r con

el p

erso

nal

Folle

to, a

fiche

Mem

oran

do

Dis

cusi

ones

per

sona

les

Discusiones personales Audiencia / Usuarios Agencias de financiamiento

• • • • • • • • • • •

• • • • • • • • • • • • • • • • • • • • • •

FUENTE: adaptado de Anderson y Ball (1980, páginas 102, 103). Figura 2: formas de comunicar los resultados de una evaluación a diversas audiencias.

Quizás la parte más importante de su informe final no sea el grueso de los datos y análisis. Es más bien el resumen ejecutivo, que podría venir al principio o al final del informe. En unas cuantas páginas, a veces acompañadas de gráficos u organizadas alrededor de preguntas directas, un resumen ejecutivo enumera los principales resultados y las recomendaciones del estudio.

Otras audiencias podrían tener interés en sus resultados también, pero pueden no tener el tiempo, el

interés o la experiencia para comprender todos los detalles técnicos. Necesitan saber los puntos principales y saber cómo los resultados van a afectar sus vidas o cómo se aplican a sus áreas inmediatas de interés. Estos usuarios pueden incluir grupos comunitarios, clientes del programa o clientes potenciales. Los proveedores de servicios al programa, aquellos que implementan directamente el programa, probablemente preferirán una versión corta de los resultados dirigida a una persona no especialista. Por otro lado, los proveedores de servicios - que tienen un natural interés creado en el programa y en sus resultados de evaluación, apreciarían tener acceso a una copia completa del informe técnico. Obviamente los medios prefieren un resumen muy conciso y por escrito de los resultados, pero redactado en un estilo que se adecuaría a un periódico o a un informe televisivo.

Adapte su mensaje a su audiencia y también a su papel de evaluador. Podría usted ser un evaluador

formativo, un evaluador sumativo una combinación de ambos. Si bien cada tipo de evaluador desarrolla muchas de las mismas funciones, hay importantes distinciones en sus prácticas de reporte.

• Agencias proveedoras • Administradores de programa • Miembros del directorio, del consejo de vigilancia y de la

gerencia • Comités de asesoría • Entes políticos (consejos municipales, legislaturas) • Grupos comunitarios • Clientes actuales • Clientes potenciales • Proveedores de servicios al programa (maestros, técnicos,

etc.) • Organizaciones interesadas en el contenido del programa • Medios

Comunicación Formativa

Si usted es un evaluador formativo mantenga una relación fluida pero constante con el programa durante el curso de su desarrollo y/o operación. Su reporte podría afectar importantes decisiones sobre cambios en el programa durante las etapas iniciales de planificación, cuando se instale el programa y cuando ya se está implementando completamente. No hay regla fija sobre los informes formativos, que no sean las acordadas por el evaluador o auspiciador o agente de financiamiento cuando se negocia el encargo de evaluación. Sin embargo, hay algunas prácticas comunes.

En primer lugar, un evaluador formativo reporta a los planificadores del programa y al personal que está familiarizado con el programa, en lugar de a los agentes de financiamiento, que pueden ser distantes y cuya única fuente de conocimiento sobre el programa podría ser el informe final. En muchos casos, el evaluador formativo es prácticamente un miembro del personal del programa, que reúne opiniones sobre modos más populares o eficaces de instalar el programa, conduciendo tal vez algunos experimentos cortos para responder a controversias que podrían surgir entre el personal, y manteniendo decisiones para ayudar a los planificadores del programa a diseñar un enfoque integral y racional de lo que debería estar haciendo el programa. En este contexto, resulta obvio que algunos resultados no deben divulgarse ampliamente. Podrían ser confidenciales, o podrían no revestir ningún interés para nadie que no sea el personal inmediato del programa.

Los intercambios de información entre el evaluador y los ejecutores puede ser frecuente, formal (tal como

una reunión programada), o informal (tal como una breve discusión espontánea en un pasadizo). La comunicación puede tomar un amplio rango de formas: informes escritos, llamadas por teléfono, pedidos de aclaración, revisión de versiones preliminares del informe, discusiones a lo largo de un almuerzo. La comunicación frecuente cara a cara entre el evaluador y el gerente del programa los ayuda a explorar cómo avanza la evaluación hasta ahora y cómo podrían ser los resultados finales. De esta manera se reduce la ansiedad del gerente, mientras que el evaluador valida evaluaciones que margen el programa.

Además, el evaluador formativo normalmente monitorea el programa, describiendo cuidadosamente el

programa tal como se está implementando haciendo evaluaciones periódicas de su desempeño, actitudes y otros resultados, o midiendo la ecuación de los planes originales a medida que se desenvuelven en el escenario del mundo real. Las actividades de monitoreo pueden requerir que el evaluador presente periódicos formales, ya sea oralmente ante un grupo o por escrito.

Considerando la importancia de la comunicación frente a frente y de los intercambios informales de

información en una conversación, que tiene lugar entre el evaluador y los miembros del personal sobre la evaluación, es esencial que el evaluador posea las necesarias destrezas interpersonales para ser capaz de comunicarse eficazmente. Algunas de estas destrezas son el tacto, una cualidad personal que resulta de la experiencia de trabajar con otras personas; un temperamento amigable, la habilidad de escuchar, una preocupación genuina y empatía. Muchos psicólogos y expertos de comunicación han escrito libros sobre “cómo” abordar estros temas. Entre las directivas que sugieren están las siguientes:

• Practique escuchar activamente • Centre la retroalimentación en compartir ideas en información en lugar de dar consejos • Transmita a su audiencia que usted está viendo las cosas desde su punto de vista • Aliente las discusiones abiertas sobre alternativas • Construya sobre experiencias compartidas y experiencias comunes • Exhiba actitudes positivas, tales como:

• Usted cree que las diferencias de opinión son positivas • Usted cree que la contraparte es un recurso de mucha ayuda • Usted cree en la confiabilidad de los demás

• Sea sensible a los sentimientos de su audiencia Considere en detalle el leer alguno de estos textos si usted duda de sus destrezas interpersonales.

Por encima de todo, es importante que el evaluador esté disponible para el personal del programa cuando sienta la necesidad de comunicarse. Muchas veces sus preguntas tendrán una urgencia que si no es satisfecha, resultará en una credibilidad disminuida para el evaluador o par el valor de la evaluación misma.

Adicionalmente a las actividades de información informales usuales (reuniones, conversaciones,

discusiones) seria bueno que considere una gama de opciones más formales. En cualquier caso, es importante considerar la utilidad de algunas modalidades comunes de informes formativos: informes de implementación, informes interinos o de progreso, informes técnicos. Cualquiera de éstos puede constituir un documento por escrito, una exposición oral formal o a agenda de una reunión.

Informes de implementación 1La mayoría de los programas prescribe que ocurran ciertos eventos cruciales. Por ejemplo, los participantes del programa deberían ser seleccionados de acuerdo a ciertos criterios, materiales en particular y métodos que deberían ser utilizados, y actividades que deberían ser complementadas en fechas específicas. Algunas veces, estos eventos importantes no ocurren en absoluto; otras veces ocurren de modo diferente, posiblemente mejor a lo originalmente planeado. A veces ocurren sin contratiempos tal como se ha planificado. En cualquier caso, los gerentes y planificadores del programa necesitan saber qué está ocurriendo y si el programa o los planes originales deberán ser modificados. Un informe de implementación proporciona este tipo de información.

En este tipo de reporte, un evaluador formativo establece y describe las actividades y los arreglos tal como han ido evolucionado, presentando sus resultados ya sea por escrito a través de discusiones con el personal del proyecto. Un informe de implementación debería tratar temas tales como:

• ¿Está el programa siendo implementado tal como se ha planeado y cómo espera la audiencia? ¿Los participantes reciben los materiales y servicios que fueron propuestos para ellos?

• ¿Cómo se desenvuelve una experiencia típica del programa? • ¿Qué efectos han tenido los cambios sobre el programa, por ejemplo, sobre las actitudes del personal o los

participantes? • ¿Las operaciones son más o menos eficientes? • ¿Cuáles son las fortalezas y debilidades de las operaciones del programa?

Los informes de evaluación formativos periódicos deben responder a las siguientes preguntas:

• ¿Qué cosa debía haber ocurrido desde el último informe? • ¿Qué cosa ha ocurrido en realidad? • ¿Cuáles son las razones para las discrepancias si es que existen? • ¿Qué problemas han ocurrido? • ¿Qué acciones podrán recomendarse, de ser necesario?

Cualquiera que sean las preguntas específicas, los informes periódicos sobre la implementación del programa deben ser oportunos, de manera que puedan tomarse medidas correctivas antes de que sea demasiado tarde para cambiar.

Informes de progreso. Los programas aspiran a lograr ciertos objetivos. Si bien estos objetivos forman parte de los productos finales esperados de un programa, no es sabio esperar hasta el final del programa antes devaluar el logro de estos objetivos. Un evaluador puede informar regularmente sobre el progreso con respecto a los objetivos generales del programa, indicando si se han alcanzado los objetivos específicos o hasta que punto se han complementado los componentes del programa. Los informes sobre el progreso de un programa pueden ser interpretativos, así como descriptivos. Es decir, pueden incluir proyecciones, basadas sobre el progreso actual, sobre la probabilidad de que un programa logre sus objetivos locales. Los gráficos pueden ayudar a relacionar los resultados actuales con los resultados finales. Por ejemplo, en el gráfico de tendencia en la figura 3, ilustra que el grupo A está haciendo más progresos hacia el objetivo del programa que el grupo B. Una lista añadida de objetivos que no han sido logrados aún van a alentar al personal a buscar las fallas en el programa y planear los cambios correspondientes.

Medir e interpretar el proceso será más fácil si el evaluador formativo ha ubicado o establecido un grupo

de control. En estos casos, tanto el grupo experimental como el de control pueden ser monitoreados regularmente, contrastado su progreso.

En general, los contenidos de un informe de progreso deberían contestar a preguntas tales como:

• ¿Qué instrumentos se utilizaron para medir el progreso? • ¿Cuál era la relevancia y la calidad técnica de estos instrumentos? • ¿Qué progreso se logró desde el último informe? • ¿Esta tasa de progreso indica el éxito del programa? • ¿Qué características del programa parecen promover u obstaculizar el proceso? • ¿Qué recomendaciones podrían hacerse para alguna acción, si las hubiese?

1

Informes técnicos sobre temas individuales. Durante las primeras etapas del programa, un evaluador formativo puede conducir estudios piloto, entrevistas, visitas a las diferentes oficinas y experimentos cortos para responder a preguntas sobre temas particulares de interés. Por ejemplo, el personal y la gerencia pueden tener una diferencia de opinión sobre el tipo de procedimiento o las disposiciones del programa. ¿El enviar mensajes periódicos recordaría a los clientes que tienen que participar en los talleres de manejo del estrés? ¿O los mensajes periódicos añadirían simplemente costos innecesarios?

Objetivo del programa

0

20

40

60

80

1 2 3 4 5 6Porc

enta

je d

e es

tudi

ante

s qu

e do

min

an e

l 80%

de

los

obje

tivos

Figura 3: progreso de dos grupos de estudiantes de un programa durante un año escolar con respecto a un objetivo global de hacer que el 85% de los estudiantes dominen el 80% (170) de los 212 objetivos del programa. Los resultados de un pequeño estudio piloto de uno o dos grupos que sirvan de muestra puede ayudar a responder este tipo de pregunta. Esos resultados podrían divulgarse a los gerentes del programa y al personal en una reunión periódica o a través de un pequeño resumen en un informe periódico.

Comunicación Sumativa

Es muy frecuente que los evaluadores sumativos encuentren que sus usuarios primarios sean los agentes de financiamiento del programa o los administradores del programa, y que estas audiencias suelan esperar un informe final técnico de tipo integral al final del proyecto. Estos informes describen y justifican el enfoque de evaluación, los instrumentos específicos y los procedimientos utilizados para implementarlo, y proporcionan una información integral y recomendaciones con respecto a todo el programa. El esquema descrito en el capítulo 4 de este volumen le será de ayuda para armar su informe, o se le puede pedir que también siga un formato similar al requerido por la agencia de financiamiento. Si el informe se debe someter a una publicación periódica, utilice el esquema recomendado por ésta. Es probable que también sea similar al que aparece en el capítulo 4.

El informe sumativo casi siempre se presenta por escrito y en forma detallada de manera que usted puede incluir todos los cuadros y gráficos que le parezcan apropiados para transmitir un mensaje claro y preciso. El capítulo III explica cómo puede usted armar estas ayudas visuales. Las ayudas visuales también serán útiles cuando deba usted presentar una versión condensada del informe final en una reunión pública o a los medios. Los cuadros y gráficos bien hechos y claros se pueden trasladar muy bien a transparencias informativas, folletos o ilustraciones de afiches que acompañen a una exposición oral. El agente de financiamiento también puede requerir que los materiales que acompañan el informe se presenten de manera tal que el público no especializado comprenda el mensaje de la evaluación.

Grupo A

Grupo B

Sep Oct Nov Dic Ene Feb Mar Abr

Consejo sobre el Mensaje de Evaluación

Sin importar si su papel es formativo o sumativo, o si su comunicación es formal o no lo es, los siguientes consejos2 le ayudarán a realzar el impacto y el uso potencial de cualquier tipo de mensaje: Relacione la Información con las Acciones o Decisiones Necesarias Si desea que sus informes de evaluación sean vistos como relevantes, necesitan indicar claramente las implicancias de los resultados para el trabajo de las personas. Las implicancias pueden parecerle obvias a usted pero pueden no serlo para los demás usuarios potenciales. No fuerce a sus usuarios a buscar en todo el informe tratando de relacionar los resultados y recomendaciones con sus intereses o con las decisiones que deben tomarse. Lo más probable es que no lo hagan. Si la evaluación fue conducida para ilustrar una decisión o un problema, entonces relacione el resultado directamente con una declaración sobre esa decisión o ese problema. Un enfoque es listar cada tema de decisión que debe ser tratado seguido un resumen de los resultados de la evaluación que se relacionan con dicho tema. Dependiendo de su papel y responsabilidad también querrá incluir su respuesta o recomendación para cada pregunta planteada. Esta técnica, ilustrada en la figura 4, proporciona un rápido resumen al lector ocupado.

Otra técnica que enfatiza la orientación hacia la acción es listar las implicancias a manera de causa – efecto, o en términos de si… entonces (cosa que muy pocos informes de investigación hacen). Señale de manera simple y directa lo que significan los resultados en términos de las acciones que deben implementarse, las decisiones de política que deben tomarse o cual será el resultado probable de varias alternativas. Las recomendaciones suelen sugerir un solo curso de acción. Sin embargo, en algunos casos podría ser más útil proporcionar alternativas de acción u opciones en lugar de recomendaciones únicas. Se podría presentar un resumen de los datos de tal manera que explique las ramificaciones de cada opción.

Querrá asegurarse de que estos análisis sumativos incluyan toda la información relevante, y que sus

recomendaciones u opciones sugeridas, si las incluye, sean razonables. Una manera de comprobar que la información que usted presenta es relevante es reuniendo a un grupo del personal del programa, particularmente a aquellos que podrían en última instancia utilizar el material, para que revisen sus resultados iniciales. No sólo pueden proporcionar datos sobre su claridad e interpretación, sino que el proceso también le permite añadir una perspectiva práctica al informe.

2

PREGUNTA DECISIVA ¿Debería el programa de Extensión de Oportunidades de la universidad Y contratar maestros adicionales a tiempo parcial para inglés como segunda lengua? RESUMEN DE LA INFORMACIÓN • Actual nivel de servicio: 4 maestros financiados por E.O. ayudan a 40 estudiantes de inglés como segunda

lengua que asisten a dos sesiones individualizadas de tutoría por semana. Los tutores están trabajando el máximo de horas permisibles.

• Distribución de las horas de tutoría: Inglés A 40% Matemáticas 8% Inglés B 20% Algebra 10 15% Inglés 101 5% Matemáticas avanzadas 12% • Costo del programa: 80 horas a $ 4.00 por hora 320 $ por semana o 1,280 $ por mes ($32 por estudiante). • El programa regular de tutoría universitaria no aceptará estudiantes adicionales. REQUERIMIENTOS • El servicio de exámenes en la universidad Y ha identificado a 60 estudiantes de inglés como segunda lengua

que también califican para E.O. • Se ha encuestado al 70% de los estudiantes de E.O., para determinar su satisfacción con la tutoría disponible

de E.O. Los resultados: existen _________________ suficientes tutores de E.O. que me ayudan cuando lo necesito

Siempre A veces Pocas veces Nunca 20% 40% 30% 10%

Deberían haber más tutores en __________________ inglés A y B Inglés 101 Matemáticas 101 Alg. 10/Matemáticas avanzadas 35% 30% 20% 15% • Las entrevistas con el director de tutoría y con los tutores indicaron que trabajan a plena capacidad. Todos los

días se rechaza a un promedio de 5 estudiantes que requieren ayuda. Figura 4: ejemplo de un informe de evaluación en un formato que relaciona la información de la evaluación con una acción que debe implementarse. Haga que el informe sea confiable Si las personas no confían en los resultados de la evaluación, es obvio que no utilizarán la información. En los casos en que los resultados son controvertidos, es particularmente importante tratar los temas que involucra la credibilidad. La metodología técnicamente exacta puede realzar la credibilidad, pero igual o mayor influencia tendrá el estilo de interacción del evaluador y de sus reportes.

Metodológicamente, una evaluación resulta confiable si los datos son recolectados de manera que los usuarios potenciales los perciban como válidos, confiables y objetivos. La validez en este sentido no se refiere sólo a la validez técnica de un estudio de investigación científica, sino a una validez que refleja sensibilidad organizacional. El evaluador debe comunicar una clara comprensión de “lo que está sucediendo”, de cómo “funciona” la organización desde el punto de vista del usuario. Un análisis cuidadoso de los datos de múltiples fuentes añade validez a la evaluación. Los recuentos detallados de estudios cualitativos, las observaciones directas y las entrevistas indican que el evaluador comprende las experiencias de los usuarios y sus variados puntos de vista. El informe también puede referirse a los resultados de otros estudios, o a declaraciones de apoyo

de individuos respetados. La credibilidad mejora si el evaluador especifica, explica y justifica la metodología en términos que los usuarios puedan comprender fácilmente. Al mismo tiempo, esto revela el sesgo del evaluador, si existiese, y cualquier limitación que pueda tener su metodología. La clave es presentar un recuento directo, bien acabado, completo y con buen conocimiento. Las fortalezas y debilidades del programa deben ser tratadas en la misma medida.

Diversos volúmenes en este paquete ofrecen diferencias específicas sobre el diseño de evaluaciones

tanto cualitativas como cuantitativas que son válidas, confiables y objetivas. Especialmente útil debe resultarle el volumen III “Como diseñar un programa de evaluación”, el volumen IV “Cómo utilizar los métodos cualitativos en evaluación”, el volumen V “Cómo evaluar la implementación de un programa”.

El estilo personal de la interacción del evaluador puede mejorar la credibilidad o destruirla. Un oyente

activo, que no resulta amenazador y responde, es más confiable que uno que mantiene una lejana y fría cortesía y un desprendimiento académico, o peor aún, adopta una actitud arrogante. Este tipo de persona apenas si parece transmitirnos la idea de que sabe de qué se trata la vida de la práctica. Un evaluador debe ofrecer apoyo y nuevos conocimiento, explicando las implicancias de los resultados.

Tanto el contenido como el estilo de un informe debería, en la medida de lo posible, resolver

incertidumbres sobre los temas bajo estudio en lugar de transmitir estas incertidumbres a los usuarios. Presumiblemente, se contrató a un evaluador en primera instancia para reducir estas incertidumbres. Proporcione las conclusiones más sólidas posibles basándose en una comprensión explícita de las fortalezas y debilidades de los datos. Dele a la audiencia lo que ésta necesita Si usted espera que su audiencia absorba la información que más necesita, no la confunda abrumándola con otros datos tal vez interesantes pero no necesariamente vitales. Si un director de proyecto le pregunta lo que significa una desviación estándar, no cometa el error de llenar la pizarra con ecuaciones y gráficos estadísticos. Si usted le da demasiado a la audiencia, toda su información se puede volver confusa.

Es particularmente fácil violar esta regla cuando uno debe dirigirse a un grupo prestigioso, por ejemplo un comité legislativo. Probablemente se le enseñó cuando niño que a las personas en la autoridad hay que decirles todo. E incluso si no fue así, usted probablemente dedicó una buena parte de su vida al proyecto de donación, rechazando los peligros para el plan de evaluación y trabajando durante largas horas. Usted está ansioso tal vez de mostrar a la audiencia la claridad y brillante complejidad del plan de evaluación, las maniobras administrativas ingeniosas que salvaron la evaluación del desastre o el ingenio matemático que obviamente guió los análisis. ¡NO LO HAGA! Usted aburrirá a su audiencia a muerte y hará que todos sus resultados resulten indigeribles. Presente un informe atractivo y evocador que se adapte al estilo de la audiencia No existe razón alguna por qué un informe de evaluación debe ser aburrido, ni desde el punto de vista visual ni auditivo. Si su presupuesto lo permite, contrate un especialista gráfico para su informe. Lo mínimo que puede hacer un artista gráfico es sugerir diseños para una carátula que impresione, tomando en consideración la calidad del papel y el color que más se adapte a la naturaleza de su mensaje y a su audiencia. Los especialistas gráficos también pueden añadir claridad y fuerza a sus cuadros y gráficos. Pero pueden hacer mucho más que eso. Si a usted se le encarga divulgar información a un público más amplio, un artista gráfico le puede ayudar a diseñar afiches, folletos y trípticos que divulguen un mensaje fácilmente comprensivo.

No tema usar imágenes visuales como parte integrante de su estrategia de la recolección de datos. La fotografías, los videos y las películas pueden utilizarse como gran ventaja en algunas situaciones de evaluación. Pueden ilustrar los resultados que emergen de otros métodos más convencionales de recolección de datos. También pueden utilizarse para demostrar la implementación de elementos del programa o de los resultados. Al igual que cualquier otro método de recolección de datos las imágenes visuales también deben ser válidas, confiables, exactas, y deben ser interpretadas en términos de las ramificaciones políticas de lo que ilustran.

Sobre el medio escrito Esta sección se refiere especialmente a los esfuerzos de comunicar por escrito la información de la evaluación. Los principios en esta sección se aplican a memos, notas de prensa y comunicaciones por escrito que no sean los informes formales de evaluación. Pueden aplicarse también a las exposiciones orales formales e informales. Comience con la información más importante Al buscar datos leyendo una información, los lectores buscan primero los puntos más importantes. Después de haberse enterado de estas “verdades” más grandes, ya han mermado un marco que les permite colocar en su lugar las piezas más pequeñas y menos importantes del mensaje. Este principio se basa en el consejo familiar y sin embargo vital: “Dígales lo que les va a decir, luego dígales, y luego dígales lo que les ha dicho”.

Los informes de evaluación que siguen el esquema estándar suenan como disertaciones universitarias. Esta lealtad a los formatos científicos se basa, sin duda, en los deseos de los evaluadores de ser aceptados como investigadores genuinos. Si bien un esquema de disertación tiene muchos méritos, no proporciona a los lectores lo que quieren saber en el momento en que quieren saberlo.

David Ewing (1974, pág. 59 - 62) recomienda que una pieza redactada profesionalmente debería adecuarse a

cinco requerimientos: (1) ¿El párrafo o la sección especial especifica el tema del que trata el informe, memorando, carta u otro documento? (2) ¿Las primeras frases indican telegráficamente el principal mensaje que el autor desea enfatizar? (3) ¿Es importante para el lector saber por qué se ha escrito el documento?, esa razón queda clara? (4) Si el informe es largo y complejo, ¿la sección de apertura delinea el esquema organizativo que se seguirá? (5) Si el informe será enviado con una carta de introducción por alguna razón, ¿podría usted evitar resumir en la carta

las principales ideas, conclusiones y recomendaciones del informe? Una buena manera de asegurar la concesión es imaginar ¿qué el lector no tendrá tiempo de leer todo el informe? Pretenda que alguna interrupción hará que su informe sea dejado del lado y tal vez nunca se vuelva a tocar. ¡Debe usted decir todo lo que le sea posible desde un principio!

He aquí algunas sugerencias específicas para proporcionar al lector un acceso fácil a las partes más importantes del informe:

• Inicie el informe con un resumen claro • Enuncie los resultados de su evaluación desde el primer capítulo • Inicie cada capítulo, sub-sección o párrafo de su informe con el punto más importante que desea usted enunciar en

esa sección. Siempre coloque los diamantes en la punta del montículo para asegurarse que sean vistos por sus lectores.

Resalte los puntos más importantes Ayude a su lector a determinar qué hechos son los más importantes. El colocar la información más importante primero, es una manera, pero hay otras maneras adicionales de hacerlo:

(1) Utilice títulos descriptivos para cada sección. Por ejemplo, el título “Aptitudes de la enfermeras” dice menos que “Aptitudes de las enfermeras hacia el programa”, que sigue diciéndole menos que “Las enfermeras están a favor del programa”. Los títulos en un informe cumplen la misma función que los títulos en un periódico. Los títulos descriptivos para una sección pueden descartar el interés y motivar al lector a segur leyendo. Los títulos interesantes e informativos conducirán al lector a lo largo de todo el informe hasta su conclusión, cuando de otra manera quizás no lo hubiera leído completo.

(2) Escriba el primer borrador de su informe utilizando todos los títulos de sección que pueda concebir; luego vuélvalo a leer y duplique el número de títulos.

(3) Trate de utilizar los títulos como un comentario a lo largo del capítulo, en forma paralela al texto:

ALUMNOS DE PRIMER GRADO DE CLOVERDALE A LA PAR CON EL PROMEDIO NACIONAL

El “alumno promedio de primer grado de Cloverdale” lega a la escuela sólo ligeramente menos bien preparado para comenzar su carrera académica que el “alumno de primer grado promedio de los Estados Unidos”. La aptitud de prelectura a nivel distrital fue de 48%.

(4) El espaciado y diagramación de un texto de informe pueden ser utilizados para resaltar la información. Considere este texto:

Las tres áreas del distrito muestran patrones bastante distintos de fortalezas y debilidades en las sub-pruebas. Para los estudiantes de South Side y de North Hill, los conceptos matemáticos fueron el tema más débil y la computación matemática era más fuerte con la lectura entre los dos. Para los estudiantes de Central City, por otro lado, todos los puntajes de lectura fueron más altos que los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas. Los estudiantes de North Hill tienden a tener puntajes más altos que los estudiantes de South Side en matemáticas, pero obtienen resultados similares en lectura. El reformateo mejora la facilidad de lectura.

Adición de un formato de esquema con puntos y más espacio en blanco Recuadros Cambios en el estilo de letra Subrayado Cambios en el estilo de letra

Las seis áreas del distrito muestran patrones un tanto distinto de fortalezas y debilidades en la sub-prueba: • Para estudiantes de South Side y North Hill, los

conceptos matemáticos fueron la sub-prueba más débil y la computación matemática la sub-prueba más fuerte, los resultados de lectura estuvieron en medio de las dos.

• Para los estudiantes de Central City, por otros lado, todos los puntajes de lectura fueron más altos que los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas.

• Los estudiantes de North Hill tienden a obtener puntajes más altos que los de South Side en matemáticas, pero resultados similares en lectura

Para los estudiantes de South Side y North Hill, los conceptos matemáticos fueron la sub-prueba más débil y computación matemática la más fuerte, con lectura entre las dos. • Para los estudiantes de Central City, por otro lado,

todos los puntajes de lectura fueron superiores a los de matemáticas, y no hay diferencia entre las dos sub-pruebas de matemáticas

• Los estudiantes de North Hill tienden a obtener puntajes más altos que los estudiantes de South Side en matemáticas, pero muestran puntajes similares en lectura.

• Para los estudiantes de NORTH HILL Y SOUTH SIDE, los conceptos matemáticos fueron la sub-prueba más débil, y la computación matemática la más fuerte, con los resultados de lectura entre los dos.

Haga que su informe sea legible Sin importar que su audiencia consiste en profesionales o personas especializadas, todas ellas son personas ocupadas. Por lo tanto, usted debería hacer que la lectura sea fácil, sin sacrificar exactitud. Considere estos lineamientos para ayudar a aumentar la facilidad de lectura:

(1) Antes de empezar a escribir, cree un lector imaginario. Por ejemplo, suponga que este lector es un miembro de la comunidad, alguien que no es profesional en el área del programa. A medida que redacta mantenga ésta personalmente.

(2) Si se siente adecuadamente desinhibido dicte la primera versión en borrador en una grabadora. Nuevamente, imagine que usted está explicando los diversos aspectos del programa a una persona interesada pero relativamente desinformada.

(3) Una vez que tenga un borrador, verifique el vocabulario para asegurarse de haber utilizado palabras familiares.

En lugar de Utilice Ofuscar oscurecer Configuración patrón Diferencial brecha Clasificación cruzada dicotómica tabla de 2 x 2 Utilizar usar Facilitar ayudar

La jerga es un lenguaje abreviado que se desarrolla entre especialistas y no es fácilmente comprensible para las personas extranjeras. La mayor parte de la jerga, si bien añade palabras al lenguaje, no lo mejora. Ernest Boyer (1978), presidente de la Fundación Carnegie una vez se quejó de que un manuscrito era demasiado técnico como para ser divulgado entre el público en general. Cuando la crítica llegó a oídos de un colega, la respuesta fue “supongo que tendremos que hacerlo inteligible para no expertos”.

Si debe utilizar un término poco familiar para sus lectores, defínalo con claridad. Esto puede hacerse en una nota

a pie de página, en un aparte, o como parte de un glosario (si el informe debe contener varios términos técnicos). La importancia de definir las palabras que probablemente sean poco familiares para sus lectores no debe subestimarse jamás.

(4) Utilice verbos tanto como sea posible. Generalmente, los verbos activos acortan las oraciones y aumentan su

impacto.

Ejemplo: Oración verbal pasiva: Los resultados de los pacientes del programa fueron más altos que los de los pacientes en el grupo de control (20 palabras). Frase verbal activa: Los pacientes en el programa tuvieron resultados más altos que los pacientes en los grupos de control (17 palabras)

(5) Desglose el texto. A medida que vaya editando su informe, fíjese dónde hay palabras y frases innecesarias. Con

frecuencia la mejor edición es hecha por otra persona. Si usted tiene que hacerla por sí mismo, permita que pasen un día o dos entre la redacción y la edición.

(6) Acorte sus oraciones. El desgrosar un texto y utilizar verbos activos acortará algunas de sus oraciones. Las que son

demasiado largas deberán ser divididas.

Ejemplo: El grupo de asesoría comunitaria organizó programas mensuales informativos y también de entretenimiento en los diversos lugares del proyecto desde septiembre hasta julio, pero no se reunió en diciembre (30 palabras) El grupo comunitario de asesoría organizó reuniones mensuales informativas y de entretenimiento en diferentes lugares del proyecto. Se reunieron cada mes entre septiembre y julio, con la excepción de diciembre (30 palabras)

(7) Escriba párrafos más cortos. No hay nada tan desalentador como ver una pared sólida de texto. A medida que edita

su material, trate de convertir estas paredes sólidas en párrafos más cortos. Las ideas que requieren de una discusión mas larga, por supuesto, no son fáciles de dividir. Pero si usted logra confinar los párrafos a una sola idea, aumentará la compresión de los lectores con respecto al material y reducirá el esfuerzo que ellos tienen que poner de su parte. Incluso los párrafos de una oración pueden ser eficaces.

(8) Personalice su texto. Trate de hacer que el texto suene menos como una póliza de seguros y más como una carta a

un amigo. Por supuesto, usted tiene que juzgar o no si esa directiva es apropiada para su(s) audiencia(s). Algunas audiencias responderán bien a un enfoque casual y personal. Otras esperarán y desearán un documento formal. He aquí algunas maneras de personalizar su material:

Utilice los nombres en primera persona. Hasta hace poco el uso de “yo”, en lugar de “nosotros” en lenguaje escrito era considerado poco apropiado. De acuerdo a las tendencias más recientes, el referirse a usted mismo y a su audiencia como “él, ellos” suele sonar demasiado estilado y falso. Use contracciones. Las contracciones en el texto escrito tienden a hacer que el material suene más natural.

Se están utilizando cada vez más en el leguaje escrito “formal”, incluso en los informes anuales de la industria de los negocios.

Utilice un leguaje de todos los días. A medida que usted exprime su cerebro para saber cómo decir que un componente del programa está pasando por tiempos difíciles a menos que se haga cambios inmediatos, considere decirlo de esta manera: “el componente del programa está acercándose a tiempos difíciles a menos que se hagan cambios inmediatos”. Si a su audiencia no le importa la informalidad, sin duda entenderá el mensaje. Ewing (1974) reporta que frases como “arrancarle la alfombra bajo los pies” y “pifias desde la platea” se han encontrado incluso en informes técnicos al presidente de los Estados Unidos. Los términos casuales pero expresivos del lenguaje de todos los días pueden ser muy eficaces pero sólo si se usan con cierta medida.

Sobre la Exposición Verbal

Los evaluadores que ejercen su oficio en la práctica han descubierto unos cuantos principios que hacen más exitosa sus exposiciones verbales ante diversas audiencias de evaluación. Estos principios se encuentran resumidos a continuación. Haga que la exposición sea interesante y variada Una exposición verbal debería tener suficiente variedad como para mantener entretenida a la audiencia. Sólo una audiencia despierta podrá escuchar su mensaje. Por lo tanto, casi cualquier cosa que usted pueda hacer para capturar y mantener su atención, es válida. La reacción positiva que uno recibe con respecto a las exposiciones de evaluación aunque sea un poco interesantes refleja el carácter terriblemente aburrido que las audiencias esperan encontrar en estas exposiciones.

He aquí algunas técnicas para añadir interés a sus informes orales:

(1) Haga algo distinto. Esto puede significar algo distinto a lo que la audiencia está acostumbrada. El enfoque de conferencia es el método más común de exposición. Las audiencias que esperan una conferencia se despertarán ante la aparición de una media docena de diapositivas o transparencias. Algunos de los formatos de exposición más novedosos incluyen lo siguiente, aunque sin duda no se limitan a ello: • Escenas cómicas. No las descarte; las escenas cómicas pueden funcionar muy bien con muchos temas de

evaluación. • Los shows audiovisuales con comentario. • Simposios o discusiones de panel que involucren a los actores más importantes del programa • Sesiones de preguntas y respuestas

(2) Varíe el formato. Cinco minutos de conferencia o cuatro minutos de conferencia con diapositivas, un minuto

de diapositivas sin comentario, cuatro minutos de preguntas y respuestas y un minuto final de resumen de conferencia – este escenario probablemente es mucho más interesante que quince minutos sólo de conferencia. Usted puede introducir la variedad de muchas maneras. Los métodos audiovisuales, por ejemplo, pueden incluir cualquiera de las cosas siguientes: números, citas, caricaturas y dibujos, fotografías y gráficos. Intente tener dos o más expositores. Tal vez podrían debatir o presentar interpretaciones opuestas del informe de evaluación. Y simplemente para introducir movimiento, trate de desplazar el foco de la exposición a diferentes lugares de la sala.

Haga lo que le resulte natural hacer Es importante que usted pueda exponer de manera fluida, confiada y cómoda. Si bien un poco de nerviosismo no le hará daño a nadie, si usted está todo tembloroso, la atención de la audiencia se enfocará en su persona y no en su mensaje. Usted se sentirá menos nervioso con un estilo de presentación que le resulte más natural. Sin importar cualquier otra cosa, aunque se diga en este capítulo. Muchas personas, por ejemplo, encuentran que es más fácil hablar a grupos cuando hay algo más que hacer que sólo hablar, como por ejemplo. Los shows de visuales o un equipo operativo. El conocer a las personas de su audiencia también ayuda a aliviar el temor. Sin embargo, si usted debe hacer una exposición ante extraños, trate de averiguar algo sobre ellos que le ayudará a verlos como personas similares a aquellas con las que usted ya ha tenido éxito en el pasado.

La práctica sin duda mejora su presentación. Quizás algunos amigos podrían hacer de críticos de su estilo de exposición. Las exposiciones audiovisuales complicadas necesitarán de varios ensayos, prestando atención al equipo y a la sala. Si usted le teme a una sesión de preguntas y respuestas, haga que amigos o colegas suyos le planteen las preguntas más difíciles que se les ocurran y luego critiquen sus respuestas. Aquí, sin embargo, una advertencia: si usted empieza con este tipo de práctica, tiene que continuarla hasta que se sienta cómodo. Un poco de práctica puede a veces aumentar su ansiedad. Haga que sus ayudas visuales sean grandes y simples Las ayudas visuales que acompañen las exposiciones verbales deben ser suficientemente grandes como para que la audiencia las vea. Se sorprenderá usted de cuántos oradores violan esta regla. Al diseñar una ayuda visual, averigüe dónde se sentará la persona que estará más lejos de la misma y diseñe la imagen de tal manera que esta persona pueda verla con claridad. Los cuadros llenos de números, a menos que sean muy grandes (del tamaño de la pared), no son eficaces para grupos grandes, si bien se pueden utilizar para exposiciones ante unas cuantas personas. Sin embargo, incluso en ese caso los cuadros deben ser suficientemente grandes como para que las personas puedan verlos aunque estén sentadas a varios pies de distancia.

No haga transparencias con un retroproyector a partir de material impreso a menos que utilice una máquina de escribir con tipos muy grandes, tal vez una máquina de escribir primaria. Sin embargo, usted puede utilizar una copia impresa, especialmente la de diez picas de una máquina de escribir primaria como para hacer diapositivas. Recuerde no poner demasiadas palabras en una diapositiva, de una a diez palabras son suficientes. La mayoría de las diapositivas que apoyan exposiciones orales contienen demasiada información: la audiencia no tiene tiempo suficiente para pensar en lo que está viendo. Al presentar una diapositiva o transparencia, dele a los espectadores unos cuantos momentos para explorarlas antes de seguir hablando. Igual las examinará, y podrían distraerse con respecto a lo que usted está diciendo. Involucre a la audiencia en su exposición Encuentre una manera de hacer que su audiencia actúe o responda durante su exposición. El involucrar a los estudiantes con el material es un principio básico de la enseñanza. Para involucrar a la audiencia puede ser algo tan sutil como haciéndolos reír como una broma de apertura o algo tan abierto como haciéndolos participar en un juego de roles. Por ejemplo, usted podría pedir a los maestros que hagan un juego de roles de su prueba de aptitud ante los padres con quienes se reunirán o al personal que haga un juego de roles ante el directorio.

He aquí algunas técnicas para involucrar a la audiencia:

• Pida que alcen la mano en respuesta a sus preguntas; por ejemplo: “¿Cuántos de ustedes han trabajado en escuelas?” Esto también le ayuda a identificar mejor los antecedentes de su audiencia.

• Pídales que predigan los resultados antes que usted los presente. • Pida a los miembros de la audiencia que agrupen sus asientos de una manera particular. • Pídales que ayuden a interpretar sus resultados. Incluso podría pedirles sugerencias sobre cómo presentar un

informe escrito. • Incluya actividades de la audiencia en su exposición. Por ejemplo, entregue tarjetas a las personas para que

escriban preguntasen ellas que deberán ser respondidas después de la exposición formal, u organice discusiones en grupo sobre algunos temas del informe.

• Involucre a la audiencia en un enfoque defensa y ataque. Divida el grupo entre defensores y atacantes en posiciones neutrales. Cada grupo revisa el informe desde su perspectiva asignada y contribuye a un debate vivaz y equilibrado sobre los datos y resultados.

• Pida a la audiencia que tome nota sobre la exposición en lugar de preparar resúmenes impresos para que se los lleven a casa. O haga que llenen los espacios en blanco que usted ha dejado en el material impreso para enfatizar también que usted desea que tomen nota de ese punto en particular.

• Haga pruebas sobre el material que usted ha expuesto. Esto se puede hacer con más frecuencia de lo que usted cree.

• Pida a alguien en la audiencia que lo ayude con los equipos. Un último dato. No se disculpe por involucrar a la audiencia en su posición. Si usted adopta una actitud

contrita o da la impresión de estar infringiendo sus derechos, ellos podrían sentir que de veras lo está haciendo. A las personas no les importará participar si parece que usted sabe lo que está haciendo.

Sobre Audiencias Difíciles En algún momento u otro le tocará una audiencia difícil, que entiende con lentitud, que es escéptica o incluso hostil. Puesto que los métodos estándar de exposición muchas veces son inadecuados ante la adversidad, le ofrecemos los siguientes consejos. Haga que un usuario primario exponga el contenido del informe de otra persona Este principio, si se explica bien, puede consistir en cualquiera de las siguientes modalidades:

• Hacer que un director exponga o co-exponga con usted los resultados de la evaluación a los miembros del personal. • Hacer que el director del programa informe sobre los resultados de evaluación al consejo directivo. • Hacer que el personal del programa exponga los resultados de la exposición a grupos interesados de la comunidad.

En realidad, usted podría organizar que los resultados de la organización se distribuyan de grupo en grupo a lo largo de la cadena oficial de mando en la organización. Por ejemplo, la figura 5 muestra el flujo de los resultados compartidos de una evaluación dentro de un distrito escolar. Este arreglo fuerza a cada miembro del personal distrital a mirar los resultados de la evaluación por lo menos dos veces: una vez cuando las recibe y otra vez cuando los transmite. Este enfoque sólo resulta eficaz, por supuesto, si la información llega con exactitud a los niveles más bajos. Si usted elige este enfoque, probablemente tendrá que dar capacitación y monitorear el sistema de comunicación.

Haga que otra persona presente la información Trate de ser realista sobre cuando puede y cuando no puede manejar la distribución de los resultados de evaluación usted mismo. Tal vez

• No tenga usted acceso directo a la audiencia • Carezca de las habilidades necesarias para transmitir eficazmente la información (por ejemplo, tenga mucho temor a

las exposiciones orales), o • Se vea usted involucrado en un conflicto de personalidad o ideología con miembros de la audiencia

En estas situaciones, encuentre a alguien que no tenga estas desventajas para que exponga la información. Recuerde que su principal objetivo es hacer que la audiencia comprenda y utilice la información de la evaluación. Información Información Información Información Información Información Información Figura 5: el flujo de la información de evaluación a lo largo de la cadena de mando de un distrito escolar. Refuerce, refuerce, refuerce Un problema común con la información de evaluación si es que la audiencia la escucha una sola vez. A fin de que sea absorbida correctamente, debería ser escuchada con más frecuencia; debería ser reforzada; después de todo, usted no puede achacar a las audiencias el no haber utilizado la información de la evaluación si nunca la comprendieron. Usted puede hacer que las audiencias presten atención más de una vez siguiendo muchas de las sugerencias presentadas en este capítulo. Por ejemplo, si usted va a distribuir nueva información de evaluación a usuarios potenciales, si usted haría bien en incluir en su estrategia de informe una de las siguientes prácticas:

• Entregue una versión preliminar de informe del usuario o usuarios primarios para su edición o revisión. • Presente un breve resumen del informe final a los usuarios primarios • Debata el informe privadamente con usuarios individuales • Haga una exposición verbal de los resúmenes de los resultados con ayudas visuales ante la audiencia que leerá el

informe escrito. • Por indicación del usuario primario o del auspiciador de la evaluación, informe a los reporteros sobre resultados, de

modo que la audiencia lea sobre ellos en los periódicos locales. • Retome los resultados en conversaciones sobre otros temas con la gente apropiada, a fin de relacionar sus

resultados con las acciones que se discuten • Haga que una audiencia presente la información a otras audiencias.

El Evaluador Superintendente Consejo Escolar

Público

Directores del Programa

Superintendentes Auxiliares

Directores de Escuela

Maestros

Padres

Sobre el Trabajo con la Prensa Esta sección le dará algunos consejos sobre cómo hacer más fácil la vida de los reporteros y cómo hacer la presentación de su evaluación en los medios públicos de manera que se informe sobre ella correctamente. Note que algunas de estas sugerencias pueden aplicarse a cualquier audiencia. Capacite a los reporteros La mayoría de los reporteros no han tenido suficiente capacitación como para entender con facilidad los estudios de evaluación … Su, generalmente, alto grado de inteligencia se une a una innata curiosidad lo cual los hace receptores apropiados y agradecidos de la capacitación en el puesto de trabajo. Usted puede buscar a los reporteros por medio de talleres formales o por medio de discusiones de persona a persona.

Los talleres de capacitación formal no deberían ser sesiones de propaganda. Deberían atenderse estrictamente a los conceptos que los reporteros necesitan para entender de manera fácil e interpretar correctamente el tipo de información de evaluación que usted distribuye. Estas sesiones serán más concurridas y más eficaces si se organizan poco antes de la presentación de alguna información importante. Podría ir incluso ir tan lejos como organizar una sesión de capacitación para reporteros durante la hora anterior a que se inicie la conferencia de prensa. Considere, por ejemplo, el valor de discutir – inmediatamente antes de presentar los tests de puntaje estandarizado – sobre temas como éstos:

• ¿Qué son puntajes en percentiles? • ¿Cómo se derivan los puntajes en percentiles? • ¿Por qué es equivocada la afirmación “todos los niños deberían saber leer en este grado de estudios”? • ¿Cuáles son algunas de las relaciones mejor conocidas entre los puntajes en los tests de aptitud y otros resultados

que usted está investigando? Si usted considera el número de personas, incluyendo los que trabajan en la práctica, las instancias de política, el público no especializado, que obtienen su información de los periódicos, la radio y la televisión, usted se dará cuenta de cuanta confusión se podría evitar con un taller de información con los representantes clave de los medios.

Aproveche también cualquier oportunidad que pueda encontrar para proporcionar una capacitación de persona a persona. Los reporteros que necesitan un informe con urgencia por lo general escucharán cualquier cosa para obtenerlo. Por lo tanto, las entrevistas pueden ser un escenario fructífero para otorgarles un poco de capacitación y aprender a través de ellos. Suponga, cuando está siendo entrevistado, que el reportero no sabe nada del tema que está discutiendo. Explique su jerga, y dele un mini curso sobre temas tales como:

• Los beneficios y las dificultades de una asignación aleatoria de individuos a grupos de control • Test de significancia y lo que significa • Tests con referencias a criterios y normas – sus beneficios y limitaciones. • El uso de la tribulación en diseños cualitativos

Podrá usted ver los resultados de estas conversaciones reflejados en artículos de prensa más claros y en editoriales sobre aspectos no críticos y no sensacionalistas de su evaluación. El mejor beneficio que estas discusiones pueden tener es el desarrollo del mutuo respeto entre usted y la prensa. Las relaciones de cooperación sólo pueden mejorar la exactitud y la profundidad de las noticias de la evaluación que recibe el público. Redactar notas de prensa Las citas equivocadas por parte de los reporteros son muy comunes, y se deben usualmente a que el reportero no registró el comentario correctamente en primer lugar, o porque él o ella no tuvo tiempo para anotarlo y fue obligado(a) a reconstruir el comentario a partir de su memoria. Usted puede protegerse contra esta situación redactando notas de prensa y distribuyéndolas entre los reporteros antes de una conferencia de prensa o entrevista. Las notas de prensa deben ser claras, específicas y completas. Las notas de prensa bien redactadas harán que el “índice de exactitud de citas” de un reportero suba, y que su presión sanguínea disminuya.

Las notas de prensa deberán seguir la mayoría de las reglas presentadas anteriormente bajo “sobre los medios escritos”. El mejor consejo que debe recordar es el de colocar la información más importante al principio del artículo las citas son una buena manera de llamar la atención sobre los puntos más importantes en una nota de prensa. Por ejemplo:

Hoy el doctor John Jefferson dijo “estamos muy complacidos y entusiasmados sobre la eficacia del programa X. Un estudio de evaluación muestra que la tasa de recidiva entre los drogadictos que participan en el proyecto X es menor que aquella de los que no participan en el programa.”

La nota de prensa deberá incluir el nombre, la dirección, los números de teléfono (casa y oficina) de la

persona que debería ser contactada en caso de confusión, o si el reportero necesita más información. Si la noticia debe ser publicada para cierta fecha o quedará obsoleta después de cierto tiempo, esto debería mencionarse en forma notoria. La nota de prensa debería terminar con los signos ###, para dejar que el reportero o editor sepa que ha llegado al final de la nota de prensa, no sólo al final de la primera página.

El funcionario de relaciones públicas de su organización podría ser la persona apropiada para distribuir a

nota de prensa. Asegúrese de verificar la política antes de hacerlo usted mismo. La figura 6 es un ejemplo de una nota de prensa. Sea honesto con los reporteros Usted debe aspirar conscientemente a construir una reputación de credibilidad y franqueza con todas sus audiencias. Una persona cuyo trabajo es recolectar y compartir información nunca debe ser atrapada encubriendo o mintiendo. Esto es particularmente cierto cuando se trata de hablar con reporteros. Conteste con honestidad a las preguntas de los reporteros, si no puede hacerlo, dígales también con claridad por qué no puede hacerlo:

“El gerente general y consejo directivo están estudiando el informe en este preciso momento. Sería una violación de mi contrato el discutir el informe con la prensa antes de que ellos hayan tenido una oportunidad de revisarlo. El administrador del programa divulgará el informe al público y a la prensa dentro de una semana. Estará encantado de responder a cualquier pregunta que ustedes puedan tener para entonces.”

Este tipo de franqueza será aceptado aunque sea a regañadientes.

Muchas veces los reporteros plantean preguntas aparentemente simples, para las cuales desean también respuestas simples: “¿Por qué es que la tasa de crímenes violentos es más alta en las comunidades de las minorías que en las áreas de la población blanca?” o “¿Por qué no tiene éxito el programa X?” Su deseo inmediato será el de hacer una introducción a las respuestas a estas preguntas con varias horas de antecedentes. De ser posible, condense esas horas de información en un resumen de cinco minutos. Su resumen debería proporcionar al reportero una sensación de lo complejo de la situación. Si usted no conoce la respuesta a una pregunta o si no está familiarizado con la investigación en esa área, no dé a entender lo contrario. Si lo hace, encontrará sus débiles comentarios sobre generalidades impresos en la primera página del periódico local.

Usted debe aceptar que los reporteros están hablando con usted por una sola razón: para obtener una noticia.

Y para obtener una noticia que se pueda vender, tienen que plantear preguntas difíciles. Sus preguntas sobre quién, qué, dónde y cuándo, son fáciles de contestar, pues son las mismas preguntas que usted contestó en la evaluación:

• ¿A quién sirve el programa? • ¿Cuáles son los efectos del programa?

Los reporteros insistirán mucho en preguntas por qué. Estas preguntas, por supuesto, necesitarán respuestas complejas. En respuesta de todas sus preguntas, sin importar si son fáciles o difíciles, usted debe plantear respuestas honestas, fraseadas de una manera tal que los reporteros las puedan entender. En resumen, el ser honesto con los reporteros significa:

• Ser abierto y honesto cuando responde a sus preguntas • Tratar no de despistarlos con una descripción simplista de una situación compleja • Evitar el engañar a los reporteros o dar respuestas falsas a sus preguntas, pues hacerlo puede tener consecuencias

desastrosas

NOTA DE PRENSA

Contactar a: Doctora Ruth Pitts, 2 de mayo de 1988 Directora de Investigación y Evaluación. Difundir el 5 de Distrito Escolar Passell mayo de 1988 145 Oak Avenue Passell, Texas.

Teléfono (512) 413-1045 (oficina) (512) 825-4711 (casa) “Los estudiantes de Passell obtuvieron puntajes más altos en sus pruebas anuales de resultados que el año pasado.” El superintendente John Jefferson hizo este anuncio durante una conferencia de prensa especial. Los estudiantes de los diversos años de a escuela secundaria obtuvieron un promedio de dos a tres puntos percentiles más que el año pasado, y los estudiantes de primaria obtuvieron de tres a cinco puntos percentiles más. “No estamos completamente seguros de por qué es que nuestros estudiantes están obteniendo mejores resultados,” dijo Jefferson. “Pero creemos que el incremento se debe a los cambios que hemos implementado en nuestros cursos de lectura y matemáticas.” Durante el último año, los maestros y los especialistas de currículos escolares del distrito han estado revisando los cursos de lectura y matemáticas. Estas revisiones fueron requeridas por el consejo escolar en abril de 1987, en respuesta a las preocupaciones de los padres en los logros de lectura y matemáticas. Jefferson ofreció otra explicación para los puntajes mejorados. “Durante los últimos años, los estudiantes y maestros quizás no hayan tomado estas pruebas tan en serio como nosotros creemos que deben tomarse. Este año, sin embargo, la asistencia en los días de prueba fue más alta de lo que lo fue en los últimos cinco años,” dijo. La doctora Ruth Pitts, directora de investigación del distrito, añadió: “nuestro personal de investigación ha hecho un seguimiento de las pruebas. Realizamos visitas sin anunciar a 5% de as clases durante las pruebas, y encontramos que se estaban siguiendo con exactitud los procedimientos correctos para ellas.” Los estudiantes recibirán sus puntajes individuales a finales de mayo, acompañados de folletos que explican los puntajes. Se les pedirá que lleven estos folletos a casa de sus padres. Las pruebas fueron administradas a los estudiantes a mediados de abril. Los estudiantes de secundaria pasaron las pruebas secuenciales de Progreso Educativo (lectura, matemáticas, ciencias y estudios sociales). Los estudiantes de primaria y de los dos primeros años de secundaria dieron las pruebas de resultados de California (lectura y matemáticas).

Figura 6. Ejemplo de una nota de prensa.

Notas

1.Para una descripción más detallada de lo que se debe incluir en un informe formativo sobre la implementación de un programa léase cómo evaluar la implementación de un programa, volumen V de este paquete de evaluación de programa. 2. Muchos de los consejos en este capítulo fueron una contribución de dos evaluadores que se desempeñan en la práctica, Ann Moore Lee y Frida M. Holley.

Referencias

Boyer, E. (1978). Citado por George Neill en “Washington Report.” Phi Delta Kappan, 59(7). Ewing, D.W. (1974) Escribiendo para los resultados en el negocio, gobierno, y las profesiones. New York: John Wiley.

Capítulo 3 Utilización de Cuadros y Gráficos para Presentar Datos Este capítulo ofrece sugerencias sobre la presentación de cuadros y de gráficos tradicionales. Si se arman y se describen adecuadamente, los cuadros y las cifras no solamente comunican resúmenes significativos de datos para una variedad de informes de evaluación por escrito, sino también proporcionan la dimensión visual básica para otras formas de exposición. Además del informe escrito tradicional, los resultados de las evaluaciones pueden ser compartidos a través de afiches, folletos, transparencias retroproyectadas, diapositivas y videos. Una manera útil de enfocar la preparación de los informes de evaluación es armar primero los cuadros y los gráficos. Si los recursos lo permiten, también es una buena idea, contratar a un diseñador gráfico en las etapas tempranas de la planificación de la evaluación para considerar el papel del despliegue gráfico en el proceso total de reportar la información.

Empiece por recopilar todos sus datos resumidos a partir de la descripción del programa, los datos que provienen de las hojas resumen de cuestionarios y entrevistas, análisis computarizados, etc. Luego, para cada pregunta de la evaluación que usted haya elegido contestar, encontrará un conjunto de gráficos y/o cuadros que un su opinión le podrían describir con eficacia lo que usted ha encontrado. Algunos diseños de evaluación y ciertos tipos de instrumentos de medición se prestan casi exclusivamente para un tipo de gráfico o presentación en tabla. En el caso de, por ejemplo, pruebas basadas en objetivos o diseños de evaluación de verdaderos grupos de control, algunos de los gráficos en su informe tendrán que ser determinados por usted mismo.

Una vez que tiene sus cuadros y gráficos en borrador, usted puede organizar su informe alrededor de

ellos, disponiéndolos en un orden lógico y redactando el texto de apoyo que explique cada uno de ellos. En algunos casos esto podría ser todo lo que necesite para un breve informe interino al gerente del programa o al personal. El resumen puede proporcionar la base para la discusión sobre el progreso del programa o sobre el progreso de la evaluación misma. Sin dudar de ello usted está planeando redactar un informe final, considere llevar la versión preliminar con los resúmenes gráficos al diseñador gráfico.

Si tiene dudas sobre si debería usar cuadros o gráficos para resumir sus resultados, le aconsejamos

encarecidamente que elija gráficos u otros medios pictóricos. Si están correctamente armados, los gráficos hacen que los datos se vuelvan claros y llamen la atención sobre los resultados importantes. Las personas que ojean un informe de evaluación, generalmente se detienen mayor tiempo para examinar los gráficos. No solamente pueden los gráficos transmitir la información con claridad, sino también ayudan al evaluador a explorar y analizar la información, buscando tendencias para ayudar a interpretar lo que ha sucedido.

Las siguientes páginas describen diversos tipos de despliegues de datos en cuadros o gráficos. Sin

embargo, antes de que empiece a graficar, poner en cuadros y mostrar, recuerde un axioma importante: usted puede esperar que algunos de sus lectores solos miren los gráficos y cuadros en su informe, sin leer el texto alrededor de ellos. Debido a eso, cada gráfico y cuadro debería ser auto explicativo. Esto requiere un título completo, una leyenda también completa, una clave para los símbolos y notas a pie de página con comentarios, por ejemplo, sobre datos faltantes o la significancia estadística. Por otro lado, no todo el mundo logra interpretar cuadros y gráficos, y algunas personas se basarán sobre el texto. Por lo tanto, el texto también deberá describir y exponer al menos los resultados clave presentados en las ayudas visuales, mencionando las cifras más importantes – los promedios, los coeficientes de correlación, etc. Cuadros Todo el mundo sabe lo que es un cuadro, y se necesita poca instrucción sobre cómo armar uno. Pero para ahorrarle el problema de reinventar los formatos usuales, y para presentar unas cuantas de las prácticas habituales que acompañan el uso de cuadros, esta sección describe algunos que comúnmente aparecen en los informes de evaluación. Cuadros que tratan de la implementación del programa Es posible describir los diversos componentes de un programa de manera sucinta, de modo tal que los pueda listar. En ese caso, los cuadros basados en estas listas pueden ser utilizados para describir el programa, mostrar los resultados de su monitoreo formativo, e informar evaluaciones resumidas sobre la naturaleza de su implementación.

El cuadro 1 muestra un formato simple para describir las principales características de un programa escolar. Cuando un programa tiene pocos rasgos característicos, ese tipo de tabla debería aparecer en el

segmento “descripción del programa” del informe (véase capítulo IV, sección II.D). Los programas con largas listas de actividades y materiales harán necesario que se coloquen los cuadros en un apéndice.

Si las características de un programa o bien no fueron explicadas anticipadamente o bien se han desviado

de lo que estaba planeado, el evaluador puede tener que describir el programa en su forma definitiva. En este caso, por supuesto, el cuadro 1 puede aparecer en la sección “resultados” del informe final.

Nótese que la leyenda que describe un cuadro siempre aparece encima de él, con la palabra “cuadro” en

letras mayúsculas. La primera letra de cada palabra importante en la leyenda también se pone con mayúscula. Un informe formativo interino sobre cuán fielmente sigue la implementación “verdadera” del programa el

plan formal, o sobre el progreso del personal a llevar a cabo las actividades según el cronograma, puede incluir cuadros similares al cuadro 2. Un evaluador formativo puede utilizar este cuadro para reportar los resultados de visitas mensuales a los diferentes lugares, tanto al director del programa como al personal de cada lugar. Cada informe interino consiste de una tabla, acompañada de explicaciones breves pero completas sobre los puntajes. En particular, uno debería explicar por qué se ha asignado el puntaje “n” (“necesita atención”) a un aspecto en particular de la implementación.

El cuadro 2 puede modificarse para informes sumativos asignando una letra total o un número de puntos

al programa o a cada lugar, mostrando cuán adecuada o exactamente se ha implementado cada componente del programa. Este cuadro simplemente listaría cada componente y su puntaje asignado. La narrativa adjunta debería explicar cómo se ha determinado el puntaje o el índice.

Tablas que describen la evaluación Una tabla es un modo conciso de darle a la audiencia una visión panorámica de las actividades que el evaluador ha emprendido o completado: las pruebas tomadas, las observaciones hechas, los informes presentados. Un ejemplo como el del cuadro 3 resume la recolección de datos y los planes de informe por objetivo.

La cantidad de tiempo asignado a las diferentes tareas de la evaluación se muestra a través de una línea de tiempo de tareas, como la de la tabla 4. Una línea de tiempo también podría ser útil para mostrar la implementación del programa, particularmente si el programa tiene segmentos o fases o si ciertas actividades han sido confinadas a períodos específicos. Cuadros que muestran deserción Los cuadros tales como los números 5 y 6 son los primeros en aparecer en la sección de “resultados” de un informe final.

CUADRO 1 Descripción de implementación del programa ex – Cell

Persona responsable por la

implementación

Grupo Destinatario

Actividad

Materiales

Organización por actividad

Frecuencia / Duración

Cantidad de progreso esperado

Maestro

Estudiantes

Ejercicios y juegos de vocabulario

Tarjetas de palabras SMA de tercer y cuarto nivel

Pequeños grupos (basados en el montaje de vocabulario CTBA)

Diario 15 a 20 minutos

Finalización de SMA, nivel 4, por todos los estudiantes

No especifica

No especifica

Maestro auxiliar

Estudiantes

Actividades de experiencias con el idioma: escribiendo un diario, escribiendo cuentos

Tarjetas desarrolladas por el maestro, vocabulario, juego de naipes La Mona

Individual

La producción se supervisa semanalmente (los Viernes); los estudiantes trabajan a un ritmo elegido por ellos mismos

Finalización de al menos un cuaderno de 20 páginas or cada niño; 80% de los estudiantes “hacen progresos” a juicio

Cuadernos para estudiantes, maquinas de escribir primarias y de elite

Especialista en lectura, maestro, tutores estudiantiles

Estudiantes

Tutoría de padres dentro de la clase, en los manuales de lectura y los libros de ejercicio

Serie de lecturas y cuadernos de trabajo Urban Children de la United States Book Company

Parejas de tutoría entre estudiantes

Lunes a Jueves, 20 a 30 minutos

Terminación del nivel de grado 1 + x el 80% de estudiantes

Actividad de extensión para informar a los padres sobre el progreso; alentar a trabajar en casa con los textos Urban Children

Director y maestros

Padres

Reúna a los padres dos veces en sesiones nocturnas y conferencias periódicas

Volante de una sola hoja

Todos los padres del programa vienen a una noche de padres; Contacto con otros padres sobre una base individual

Dos noches de padres – noviembre y marzo; tres informes escritos sobre el progreso en diciembre, abril y junio; otro contacto con padres adhoc.

Asistencia de al menos 50% de los padres; contacto con al menos el 80% de los padres

Componente del programa: actividades para mejorar la comprensión de lectura de cuarto grado.

CUADRO 2 Seguimiento de Proyecto

Objetivo 6: para el 1de marzo de 19… cada clínica participante seleccionará el personal y revisará los requerimientos tanto del personal como de los clientes para mejorar el suministro de la atención de salud primaria en los condados rurales.

Actividades para este objetivo

Sep

Oct

Nov

Dic

Ene

Feb

Mar

Abr

May

Jun

6.1 Identificar el personal que participará I C I P P C

6.2 Seleccionar a los miembros del personal para que revisen ideas, metas y objetivos

N I P C

6.3 Identificar los requerimientos del cliente

N I P C 6.4 Identificar los requerimientos del personal

6.5 Evaluar los datos recolectados en 6.3 y 6.4

I N C

I N P P C 6.6 Identificar y priorizar metas y objetivos específicos con respecto a los resultados

N

I

P

P

C

6.7 Identificar las políticas, los procedimientos y las leyes existentes que Norman la atención básica de salud ambulatoria

Calificación periódica del progreso según el evaluador I = Actividad iniciada P = Progreso satisfactorio C = Actividad completada N = Necesita atención .

CUADRO 3 Evaluación de la Recolección de datos y plan de Informes Programación Bicultural Bilingüe WASHOE Objetivos del Programa

Población / Lugar muestreado

Tipo de datos Fechas de recolección

Método y fecha de reporte

(1) Los estudiantes de segundo y tercer grado que participan en el programa bilingüe-bicultural tienen un puntaje promedio de 20 o más en la prueba Rose – Smith de similitudes y diferencias culturales

2 Salones de clase en cada lugar, seleccionados aleatoriamente (sólo salones de clase que participan en el programa)

Prueba Rose- Smith de sobre el grado de conciencia sobre similitudes y diferencias culturales

Pre – 9/28 Post – 5/31

Informes interino: 10/30 Informe final: 6/30

(2) El personal involucrado en el programa bilingüe-cultural desarrollará e implementará actividades que alienten la expresión y el aprecio de los valores multiculturales en sus salones de clase.

2 maestros por lugar 5 estudiantes por lugar (culturalmente diversos) 2 salones de clase por lugar por 03 días Feria multicultural y asamblea escolar

Entrevista al personal Entrevista a los estudiantes Revisión de los materiales curriculares producidos Observar las sesiones del personal con respecto al vitae y su desarrollo Observación de clase Observación del programa especial (fotos)

8/10 9/10, 1/10, 4/10 8/5 – 8/15 9/10, 1/10, 4/10 12/15, 5/1

Informes interinos: Desarrollo del currículum: 10/1 Implementación: 11/1, 2/1, 5/1 Informe final: 6/30

CUADRO 4 Línea de tiempo en la evaluación Tareas / actividades

19XX JJASOND

19YY JFMAM

Fecha de finalización

Informes y documentos presentados

Eva

luad

or d

el p

rogr

ama

Dire

ctor

del

pro

gram

a

Per

sona

l de

la c

línic

a

Adm

inis

trado

r de

la c

línic

a

Aux

iliar

es

Per

sona

l adm

inis

trativ

o

Revisión del plan del programa

31 Jul Plan escrito revisado

37 8 - 6 - 16

Discusión sobre métodos alternativos de retroalimentación formativa

15 Sept Ninguno 16 7 24 6 - -

Planificación de actividades de supervisión de la implementación

30 Sept Lista de instrumentos; cronograma de las visitas a las clínicas

60 10 24 - - 2

Elaboración de instrumentos de implementación

10 Oct Instrumentos completados

60 5 12 - - 16

Primera reunión con el personal

01 Nov

Ninguno 9 15 24 2 20 -

Primera reunión con la administración de la clínica

08 Nov Primer reporte inicial

22 20 - - - 30

CUADRO 5 Número de estudiantes que desertaron del análisis por varios motivos

Razón N° de desertores del grupo experimental (n=75)

N° de desertores del grupo de control (n=80)

Ausencia para la post prueba 6 5

Ausencia de la escuela durante el programa

3

3

Eliminado del grupo por pedido de los padres

1

0

Dejó la escuela 4 1

Otros motives 0 2

Total de deserción 14 11

CUADRO 6 Enfermeras que participan después de tres etapas del programa en servicio

N° de enfermeras que se registraron para asistir a los talleres

N° y porcentaje de aquellas que completaron todos los talleres

N° y porcentaje de aquella que completaron los requerimientos del curso y recibieron certificación

Voluntarios 60 73 (91%) 50 (63%)

Asistencia requerida

96

69 (72%)

69 (72%)

Total personas por hora:

Número de personal y horas de trabajo utilizados

Cuadros que muestran los resultados de pruebas realizadas antes y después de la evaluación, o a través de una serie de medidas a lo largo del tiempo. El cuadro 7 muestra las pruebas que fueron administradas a dos grupos: un grupo experimental (E) y un grupo de control (7). El cuadro 7 y los siguientes aparecen en la sección “resultados de un informe. SD significan desviación estándar. La columna en el extremo derecho bajo pre -prueba y post - prueba muestra el valor computarizado por una prueba estadística para determinar la significancia de la diferencia, en este caso una prueba t. El asterisco identifica los resultados significativos, y en la nota a pie de página se explica su nivel de significación.

Los puntajes que aparecen en el cuadro 8 se refieren al mismo grupo en seis diferentes momentos, ilustrando el diseño de lo que sería los datos a lo largo del tiempo. También querrá usted incluir la desviación estándar para cada medida para ilustrar la gama de puntajes de una prueba o la observación a la siguiente.

CUADRO 7

Resultados de la Pre y Post prueba para los grupos experimentales (E) y de control (C)

Pre Prueba Post Prueba

N

promedio

SD

T – Prueba de diferencia entre los promedios de los grupos E y C

Promedio

SD

T – Prueba de diferencia entre los promedios de los grupos E y C

Grupo E 32 10 10 90 9 5.1*

Grupo C 35 58 8 .90 80 7

* Estadísticamente significativo a nivel .05 *P = .05

CUADRO 8

Puntajes promedios para el grupo E en la escala de actitud

Antes del programa Después del programa

Ene Feb Mar Abr May Jun

Promedio grupo E 20 25 30 50 55 60

Cuadros que muestran puntajes de pruebas para un solo grupo, antes y después del diseño de la evaluación El cuadro 9 tiene una nota a pie de página que utiliza a. Es una práctica estándar, que muestra las notas a pie de página alfabéticas en cuadros, dejando los asteriscos para indicar la significación estadística. CUADRO 9 Puntajes promedio pre prueba y post prueba en lectura y matemáticas para escuelas del programa XYZ Grupo

Na

Pre prueba

Post prueba

T-prueba para diferencia entre Prueba y post prueba

Lectura

Escuela A 401 59.4 64.3 3.8*Escuela B 720 50.2 70.5 12.2*Escuela C 364 40.9 60.2 4.5* Matemática

Escuela A 461 63.2 70.1 2.4*Escuela B 726 58.4 71.2 3.1*Escuela C

362

32.9

33.4

0.8

a. Número actual de ambas pruebas test y post pruebas, y por lo tanto los estudiantes cuyo s puntajes de la T-prueba fueron calculados.

*p = .05 Cuadros que presentan correlaciones La correlación se refiere a la fortaleza de una relación entre dos medidas. Una correlación positiva significa que las personas que tienen puntajes altos en una medida también tendrán puntajes altos en la otra. Una correlación altamente negativa también muestra una fuerte relación, pero en la dirección opuesta. Una correlación cero significa que el conocer el puntaje de una persona en una prueba, no le permite saber cuál seré el desempeño de esa persona en otra prueba. La correlación normalmente se expresa a través de un coeficiente de correlación, una decimal entre –1 y + 1, calculadas sobre la base de los puntajes de un sólo grupo de personas que han tomado las dos pruebas. El gráfico que muestra la correlación nos resulta familiar. Sus ejes representan puntajes en las dos pruebas que son de interés. Tal como aparece en la figura 7, una línea recta representa la relación aproximada aparente entre los dos conjuntos de puntajes.

80

70

60

50

40

30

0 10 20 30 40 50 60

Figura 7. Relación (correlación = -.72) entre los puntajes de la escala alpha de actitud y el índice de estrés laboral administrados al personal de la prisión.

Punt

ajes

en

el ín

dice

de

estré

s lab

oral

Puntajes en la escala Alpha de actitud

A veces necesitará usted informar sobre diversos coeficientes de correlación, por ejemplo, cuando muestra las relaciones entre todos los instrumentos que usted ha administrado durante la evaluación. Querrá hacerlo tal vez para mostrar que sus observaciones a partir de diversos instrumentos de medición presentan una imagen consistente, y apoyan sus conclusiones. También podría querer hacerlo para reforzar su caso sobre la validez de uno de los instrumentos que muestra que los resultados se relacionan o no se relacionan con los de otros instrumentos administrados a las mismas personas. Las medidas cuantitativas, descritas en un gráfico de correlación, pueden ser esclarecidas a través de un reporte narrativo con información sobre medidas cualitativas. Por ejemplo, la figura 7 ilustra una relación negativa entre las actitudes y el estrés laboral entre los carceleros. El Índice de Estrés Laboral administrado a los guardias carceleros, incluye un cuestionario con al menos 3 preguntas abiertas cobre las condiciones de trabajo en la prisión. Las citas directas tomadas de estas respuestas darán vida a los que de otro modo sería una información árida reflejada en un gráfico. Unas cuantas descripciones o comentarios coloridos realzarán una correlación de -.72. También querrá ilustrar las relaciones entre un número de pruebas que muestran que las personas que obtienen puntajes de cierto modo en una prueba, podrán tener un puntaje predecible en otra. En cualquiera de estas situaciones usted querrá armar una tabla de correlaciones. La tabla 10, por ejemplo, contiene un resumen preciso de una serie de datos de cinco tipos de pruebas. Aparte de los puntajes promedio de los estudiantes en las diversas pruebas, la tabla incluye un coeficiente de correlación que muestra la relación de una prueba con cualquiera de las otras. La correlación entre los puntajes en la post prueba y la pre-prueba es de .76; entre los puntajes de la prueba de habilidad y la pre-prueba es de .38; entre los puntajes de la prueba de habilidad y la post prueba es de .49, etc. Cuadros que contienen símbolos Convertir a veces un cuadro de números en símbolos aclara el mensaje, aunque se pierdan algunos mensajes, aunque se pierdan algunos detalles. El cuadro 11, por ejemplo, presenta un formato que resulta útil para mostrar la proporción de miembros de personal en museos financiados por el Estado que completan las actividades de capacitación en el puesto de trabajo recomendadas por la agencia de financiamiento del estado. El objetivo es lograr que al menos la mitad de los miembros del personal completen cada actividad. Al utilizar un estándar de desempeño, la tabla 12 traslada los mismos datos a símbolos, mostrando el éxito o el fracaso de cada museo en lograr los objetivos globales del programa. Nótese que el título cambia de un cuadro al otro. Las primeras palabras en el título normalmente se refieren a los números que se encuentran en el cuadro, pero la adición de símbolos hace que esto sea difícil. El cuadro 11 muestra los verdaderos porcentajes del personal que completa las diversas actividades. El cuadro 12 utiliza una serie de criterios que están fijados en que el 50% del personal completa las actividades para mostrar cómo es que los museos cumplen con los objetivos del programa. En la próxima sección, que se refiere sobre todo a gráficos, encontrará algunos ejemplos adicionales sobre cuadros que han dado lugar a gráficos ejemplares.

Gráficos Gráficos de barras Los gráficos de barras parecen comúnmente en los informes de evaluación e investigación, y por una buena razón: son fáciles de comprender. Los datos en el cuadro 13 han sido graficados para producir la figura 8. Mientras examina el cuadro 13 y la figura 8, tome nota de lo siguiente:

CUADRO 10

Promedios, desviaciones estándar y correlaciones entre las medidas utilizadas para la evaluación Media

n

Promedio

SD

Correlaciones 1 2 3 4

1 Pre prueba 55 13.5 6.1

2 Post prueba

55

23.1

12.9

.76*

3 Prueba de habilidad

55

18.9

6.5

.38*

.49*

4 Calificación de esfuerzo

55

3.7

1.1

.42*

.50*

-.11

5 Trabajo completado

55

25.1

17.8

.53*

.37*

.10 .27*

•p = .05

CUADRO 11 Porcentaje del personal del museo que completó las actividades de capacitación en el puesto de trabajo

Museo

N° de personal

Técnicas de catalogación

Armado de muestras

Relación con la comunidad

Extensión educativa

A B C D

20 30 15 7

80 82 100 100

50 20 75 100

50 20 50 10.

10 10 100 50

CUADRO 12

Actividades de capacitación en el puesto de trabajo completadas por 50% o más del personal en los museos del condado

MUSEO

N° de personal

Técnicas de catalogación

Armado de muestras

Relación con la comunidad

Extensión educativa

A B C D

20 30 15 7

+ + + +

+ - + +

+ - + -

- - + +

Clave: + = actividad completada por el 50% o más del personal. - = actividad completada por menos del 50% del personal.

(1) Un gráfico es llamado una figura cuando tiene un título y el texto se refiere a él. La leyenda para una figura se sitúa debajo

de ella, y sólo la palabra “figura” y la primera palabra de la leyenda llevan mayúscula. (2) Tanto en los cuadros como en los gráficos, las principales comparaciones de interés se ponen en forma adyacente. El

principal objetivo del cuadro 13 y la figura 8, por ejemplo, es comparar los puntajes post prueba de los participantes en un programa de tutoría con aquellos que no son participantes, no comparar a estudiantes mayores con estudiantes menores. Por lo tanto la edad, se utiliza como la primera división, poniendo nombre a los títulos más importantes del cuadro y definiendo el eje horizontal del gráfico. Entonces, el evaluador puede colocar indicadores de índice de participación uno junto al otro, tanto en el cuadro como en las barras de gráfico.

(3) Se proporciona una clave para el gráfico de barras. (4) A fin de proporcionar información precisa, se muestran promedios por grupo por encima de las barras en gráfico. CUADRO 13 Puntajes promedio post prueba para los niños que participaron y no participaron en el proyecto de tutoría que atraviesa las edades

Grupo N Puntaje promedio° Niños mayores • Participantes (tutores) • No participantes

8

14

30.3 15.8

Niños menores • Participantes (tutoriados) • No participantes

24 25

18.0 18.3

(5) Tanto el cuadro como la figura indican el número de casos (n) sobre los cuales se basa cada promedio.

Los gráficos de barra son particularmente útiles para presentar datos sobre el logro de objetivos. Si el cuadro ha sido armado de tal manera que cada barra represente a un objetivo, con un solo un vistazo uno puede detectar las fortalezas y las debilidades de un programa.

El cuadro 14 muestra los datos sobre los cuales se ha armado la figura 9. Nótese cuánto más fácil es ver el patrón de actividades completadas a partir de la figura.

Si el plan de evaluación ha incluido una pre prueba y una post prueba, los puntajes de ambas pueden mostrarse en un gráfico. En la figura 10, los resultados de la pre prueba han sido presentados como barras blancas, mientras que los resultados de la post prueba han sido presentados como barras sombradas. La diferencia entre las alturas de las barras blancas y sombreadas muestra para cuáles objetivos ha habido un incremento de estudiantes que aprueban. Los incrementos se han logrado sobre todo en los objetivos 5, 6 y 7.

n = 8 n = 14 n = 24 n = 25 Niños mayores Niños menores

Figura 8. Puntajes promedio post prueba para los niños que habían participado y no participado en el proyecto de tutoría que atraviesa las edades.

30.3

15.8 18.3 18.1Clave: Participantes(tutores y tutoriados)No participantes

CUADRO 14 Porcentaje de pacientes en el programa de reducción del estrés de los objetivos a completar el programa (N=30)

Número objetivo Grupo 1 2 3 4 5 6 7

Hospital A

91

76

33

13

7

56

2

Figura 9. Porcentaje de pacientes en el programa de reducción de estrés cardíaco que logran 7 de los objetivos a completar el programa

CUADRO 15 Porcentaje de promedio de estudiantes en el programa X que logran 12 de los objetivos en pre prueba y post prueba

Objetivo # Grupo 1 2 3 4 5 6 7 8 9 10 11 12

Clases de grado (n=23)

Pre prueba

91

76

34

33

38

16

13

7

56

16

22

0

Post prueba 77

62

43

41

66

35

30

11

30

7

7

2

También se puede utilizar un gráfico para mostrar los resultados de dos grupos, un grupo experimental y un grupo de control, tal como se muestra en la figura 11.

Figura 10. Porcentaje promedio de estudiantes en el programa X que logran 12 objetivos en pre prueba y post prueba.

0

20

4060

80

100

1 2 3 4 5 6 7 8 9 10 11 12

Objetivos

Pre pruebaPost prueba

0

20

4060

80

100

1 2 3 4 5 6 7

Objetivos

Figura 11. Resultados finales de los grupos experimentales y de comparación que completan 5 objetivos del programa. Meta 100% Meta 20%

Meta 80%

Figura 12. Logro de los objetivos del programa que muestra diferentes metas para porcentaje de estudiantes que logran los objetivos. La figura 12 muestra un método para graficar los resultados por objetivo cuando la meta general del programa prescribe un criterio deseable. Para algunos objetivos, se ha fijado una meta de 100% de actividades completadas. Se podría haber decidido, por ejemplo, que todos los estudiantes deberían poder interpretar con actitud las señales de tráfico, o saber cómo cambiar un billete por dinero en sencillo. Para otros objetivos del programa, se ha fijado como meta que el 80% de los estudiantes aprueben; y para otros objetivos, se ha fijado como meta que sólo el 20% de los estudiantes dominen el tema. Esta expectativa baja podría corresponder a la parte de enriquecimiento de conocimientos en un currículo. Las expectativas de aprobación proporcionan una manera de agrupar los objetivos, tal como se ilustra en el ejemplo. La figura 12 también muestra una manera particularmente clara de ilustrar los puntajes de aprobación de la pre prueba y de la post prueba; los resultados de la post prueba se han graficado como una barra sombreada detrás de la barra de la pre prueba para cada objetivo.

010203040506070

1 2 3 4 5

% d

e pa

rtic

ipan

tes

que

com

plet

an lo

s ob

jetiv

os

ProgramaExperimentalPrograma decomparación

1 2 3 4 5Objetivos extremadamente

importantes

1 2 3 4

Objetivos de profundización

1 2 3 4 5 6 7

Objetivos de importancia moderada

Pre pruebaPost prueba

Usted puede captar fácilmente de esta figura lo siguiente: • La meta de una aprobación del 100% de los estudiantes no se alcanzó para los objetivos 2 y 11, • La meta de una aprobación del 80% de los estudiantes no se logró para el objetivo 6; y • Tres de los objetivos se lograron en la pre prueba: aquellos de los objetivos 4, 5 y 22.

Figura 13. Porcentaje de participantes en el programa de padres temporales que primero supieron del programa de 8 posibles fuentes (N= 75 candidatos)

100 • • • • • • • • • • • • • • 50

Por

cent

aje

de p

artic

ipan

tes

que

asis

ten

cada

día

Días

1 2 3 4 5 6 7 8 9 10 11 12 13 14

Figura 14. Asistencia de participantes durante los 14 días del proyecto El colocar un gráfico de barra de forma horizontal también puede resultar conveniente,

porque permite tipear títulos dentro de las barras (véase la figura 13). A veces, usted podría no querer dejar espacios entre las barras (véase la figura 14), o dejar fuera las líneas verticales que dividen las barras (véase la figura 15).

Figura 15. Asistencia de participantes durante los 14 días del proyecto

Porcentaje de candidatos

Departamento de servicios sociales

Candidato ya iniciado

Otro candidato

Padre temporal practicante

Anuncio en TV

Anuncio en radio

Periódico

Otros

0% 10% 20% 30% 40%

0

20

40

60

80

100

1 2 3 4 5 6 7Porc

enta

je d

e pa

rtic

ipan

tes

que

asis

ten

cada

día

Si el eje horizontal representa una medida que tiene una secuencia natural, tal como el discurrir del tiempo o los mensajes, usted tal vez desee utilizar un gráfico de línea en lugar de estar haciendo gráficos de barra (véase las figuras 16 y 17).

Figura 16. Asistencia de participantes durante los 14 días del proyecto

Figura 17. Número de unidades producidas por los empleados del programa de INCENTIVOS y por los empleados normales antes, durante y después del programa de INCENTIVOS. Los gráficos de línea son particularmente útiles para mostrar resultados de dos o más grupos a lo largo del tiempo. Suponga, por ejemplo, que usted tiene datos de producción de un grupo experimental, y que desea mostrar estos datos de producción al lado de los de un grupo de comparación. Las dos líneas se pueden mostrar fácilmente en el mismo gráfico tal como se aprecia en la figura 17. El superimponer dos grupos de gráficos de barra resultaría confuso. Puesto que el eje horizontal está dividido de acuerdo a semanas, usted puede mostrar la tendencia a lo largo del tiempo. Un gráfico de barra dividido es una manera poco usual pero útil de mostrar diversas categorías de resultados al mismo tiempo. En este caso, la barra se extiende hasta un largo que representa el 100%, y luego se subdivide para mostrar los porcentajes de resultados en cada categoría (véase la figura 18). Si el evaluador ha graficado sólo el porcentaje de empleados que califican la comunicación en la oficina como pobre, se vería poca evidencia del cambio producido. Al utilizar un gráfico dividido para mostrar las tres respuestas, resulta claro que la proporción de calificativos bueno ha aumentado constantemente. Parecería que algunos de los empleados que originalmente respondieron regular se vieron persuadidos y empezaron a responder buena, mientras que el grupo sólido de personas que opinaban que la comunicación en la oficina era pobre no cambiaron de opinión.

0

20

40

60

80

100

1 2 3 4 5 6 7Porc

enta

je d

e pa

rtic

ipan

tes

que

asis

ten

cada

día

0102030405060

1 2 3 4 5 6 7 8 9 10 11 12

Semanas

Núm

ero

de u

nida

des

de

prod

ucci

ón Clave: Empleadoscon incentivosClave: Empleadosnormales

Figura 18. Porcentaje de empleados que califican la calificación en la oficina de buena, regular o mala en 3 ocasiones.

Figura 19. Distribución de las calificaciones asignadas por los maestros en matemáticas, historia e inglés para el décimo grado escolar. Un gráfico de barras dividido (véase la figura 19) es una buena manera de mostrar las distribuciones de calificaciones. Debido a que la calificación F (desaprobado) es una señal de alarma, ha sido enfatizada en el gráfico. Muestra de puntajes diversos

Una deficiencia de muchos gráficos que muestran puntajes promedio es que no logran mostrar la dispersión de los puntajes, es decir, cuánto se apartan los puntajes del promedio del grupo. Esto es desafortunado, porque los indicadores de dispersión de un puntaje son fáciles de mostrar.

Al mostrar la dispersión, usted explica a la audiencia qué tan bien el promedio representa el conjunto de

puntajes. Si la dispersión es amplia y los puntajes varían considerablemente, entonces un promedio se puede considerar menos representativo a que si los puntajes son más parecidos entre sí y se acercan más a la media. La estadística que mide si los puntajes se dispersan ampliamente alrededor de la media se llama desviación estándar. En un gráfico de barras la desviación estándar se puede mostrar a través de una línea punteada que se extiende por encima o por debajo de la media.

0%

20%

40%

60%

80%

100%

1 2 3

Calificación de 3 =malaCalificación de 2 =RegularCalificación de 1 =Bueno

0%

20%

40%

60%

80%

100%

1 2 3 4

Inglés Historia Matemáticas

F

C

A

Si el número promedio de ausencias en un grupo fue de 20, con una desviación estándar de 5, esto se podría mostrar de la siguiente manera: (véase figura 20).

Figura 20. Número promedio de audiencias durante marzo. Otra manera de mostrar medias y desviaciones estándar es un gráfico de despliegue de posiciones. Este muestra las posiciones de la media y de la dispersión de los puntajes alrededor de la media a través de la desviación estándar. Los datos que aparecen en el cuadro 16 se muestran en un gráfico de despliegue de posiciones en a figura 21.

CUADRO 16 Puntajes promedio en actitud hacia el instrumento de tutoría de estudiantes que reciben lecciones de

20 minutos, 30 minutos y 40 minutos

Duración de las lecciones

20 minutos 30 minutos 40 minutos

Media 14.9ª 16.1 13.7

Desviación estándar 3.5 1.8 3.4

Número de estudiantes

30

18

10

a Calificación máxima = 20

• •

• • • • • • • • • • •

Duración de las lecciones Pun

taje

pro

med

io d

e ac

titud

20 minutos 30 minutos 40 minutos

Figura 21. Puntajes promedio en la actitud hacia los instrumentos de estudiantes de tutoría que reciben lecciones de 20 minutos, 30 minutos y 40 minutos.

0

10

20

1 2

Marzo

Número promedio de audiencias durante marzo

Clave: Una desviación Estándar por encima de lamedia.MediaUna desviación estándarpor debajo de la media

Mostrando resultados a partir de cuestionarios Los resultados de un cuestionario pueden tabularse, y por lo tanto mostrarse y reportarse de dos maneras diferentes. (1) Se examinan por separado las respuestas a cada pregunta. Las respuestas de cada grupo de personas a cada una de las preguntas se consideran lo suficientemente importante como para ser mostradas y discutidas individualmente. Este es el caso de las preguntas que indagan sobre opiniones o prácticas que en sí mismas son los objetivos de implementación o resultados del programa. Por ejemplo: ¿Cuántas veces trajo su niño tareas a casa? Con frecuencia a veces nunca ¿Qué opinión le merece el nuevo programa? _______ Está muy bien como está _______ Necesita algunas modificaciones _______ Necesita bastantes modificaciones _______ No vale la pena _______ Otros (explicar) _____________________ _____________________ _____________________

(2) Se añaden o combinan las respuestas a dos o más preguntas de alguna manera, con el fin de producir un índice del grado en que las personas mantiene una actitud o poseen una característica. Este es el caso de las escalas de calificación de actitud, que son cuestionarios especiales armados a través de un método de selección de rubros que permite mostrar los resultados a diversos rubros de manera combinada, de tal forma que arrojan un indicador de, por ejemplo, “la actitud hacia la escuela”, “la auto descripción”, o “el interés vocacional”. El resultado producido por un índice o una escala de calificación de actitudes es un número único. Los datos a partir de estos instrumentos pueden mostrarse utilizando los cuadros o gráficos descritos en el capítulo anterior. Cuando se analiza las respuestas a preguntas individuales, se suele reportar las respuestas promedio a la pregunta por un grupo, o el número o porcentaje de personas en cada grupo que responden de cierta manera. Los promedios son apropiados para un tipo de preguntas, mientras que los porcentajes son casi universalmente aplicables. Usted puede reportar promedios sólo cuando tenga sentido calcular un promedio, es decir, en los casos en que las respuestas posibles a una pregunta reflejan una progresión en el grado de actitud o comportamiento. Por ejemplo: ¿Qué tan satisfecho está usted con la manera en que se presenta la información? Completamente Completamente Insatisfecho satisfecho 1 2 3 4 5 6 7 Al informar que las personas en el grupo del programa arrojan una respuesta promedio de 6.2 a esta pregunta (con desviación estándar de 0.16), usted permite que su audiencia concluya que la actitud general de las personas que responden a la pregunta era favorable. La respuesta promedio no podría haber sido computada a partir de una pregunta de elección múltiple o una que sólo pida una respuesta de sí o no. La mayoría de las preguntas puede resumirse reportando el número o porcentaje por grupo que responde de cierta manera. Los porcentajes son preferibles, porque hacen que sea más fácil comparar números a partir de grupos de distintos tamaños. La manera más simple de presentar los datos de un cuestionario es hacer un resumen estadístico (la respuesta promedio, o el número o porcentaje de personas que escogen una respuesta en particular), lo cual puede hacerse directamente sobre la reproducción de un cuestionario, tal como se muestra aquí: (6) ¿Qué tan satisfecho está usted con los procedimientos actuales de clasificación de clientes? Muy satisfecho medianamente satisfecho Insatisfecho 225 (34%) 135 (20%) 300 (45%)

Véase que en este ejemplo, el reportar la respuesta promedio hubiera ocultado el hecho que las personas se dividen de manera casi equitativa en dos grupos que no están de acuerdo: unos estaban satisfechos y los otros insatisfechos. Los cuestionarios que consisten en varios rubros reportados individualmente, pero representados cada uno por un promedio, se prestan muy bien para los gráficos de línea, tal como el que aparece en la figura 22. Al armar este gráfico. La figura promedio a cada pregunta ha sido computada para cada grupo. Estos promedios luego se ubicaron en una copia de un cuestionario y se incluyeron en el informe de evaluación. El gráfico parece mostrar poca diferencia entre las respuestas de los grupos E y C, y excepto que el grupo C tiende a no encontrarse a gusto en el laboratorio de matemáticas y el grupo E sí lo está. Estas conclusiones pueden derivarse, por supuesto, mediante un simple vistazo al gráfico, “clavando los ojos” en los datos. Para ser estrictos la significación de la respuesta media entre cada presunta debería ser comprobada antes de que se establezcan conclusiones definitivas. Si usted desea mostrar el número o porcentaje de tiempo en que algunas respuestas se hicieron a preguntas abiertas, esto se puede hacer en forma de tabla. Los instrumentos de este tipo normalmente basan su puntaje en afirmaciones clave en las respuestas dadas por cada persona. Después de haber hecho un recuento de las afirmaciones recurrentes, se parafrasean lo más exactamente posible y se enlistan con las frecuencias al lado. Por ejemplo, supongamos que usted planteó la siguiente pregunta:

(10) Si hay algo en que usted pueda pensar que no esta cubierto por este cuestionario, ya sea que le ha gustado particularmente o ya sea que le cause preocupación, sírvase hacérnoslo saber en este espacio y en el reverso de a página.

Su informe de evaluación con respecto a este rubro incluiría a siguiente sección: Es respuesta al rubro 10, se expresaron las siguientes críticas: Número de personas que Crítica Expresaron la crítica Los padres no fueron informados sobre 5 los objetivos del programa Se pidió a los padres que asistieran a las reuniones sólo para cumplir los requerimientos de financiamiento, no para que participaran en la planificación del programa 4 1 2 3 4 5

No casi nunca

Raras veces A veces Normalmente Si, casi siempre

1. ¿Te gustan las

matemáticas? 1

2

3 4 5

2. ¿Te esfuerzas en matemáticas? 1 2 3 4 5

3. ¿Te va bien en matemáticas cuando te esfuerzas?

1 2 3 4 5

4. ¿Hiciste tu tarea de matemáticas? 1 2 3 4 5

5. ¿Haces trabajo extra por tu cuenta en matemáticas?

1 2 3 4 5

6. ¿Te gusta ir al laboratorio de matemáticas?

1 2 3 4 5

Grupo C respuesta promedio Grupo E respuesta promedio Figura 22. Respuestas promedio delos grupos experimentales (E) y de comparación © a un cuestionario de actitud hacia las matemáticas del final del programa.

Los padres fueron preguntados para asistir a las reuniones solo para satisfacer los requerimientos y no para tomar parte en la plan del programa. Preparando a la audiencia para leer los gráficos Si usted debe presentar sus datos oralmente frente a una audiencia que probablemente sepa poco sobre gráficos, introduzca gradualmente cada gráfico importante. La presentación descrita en el siguiente ejemplo ayudará a la audiencia a que entienda la información. Sin embargo, si usted sospecha que la audiencia tiene bastante experiencia con gráficos, este tipo de introducción elemental podría aburrirlos, o lo que es peor aún, insultarlos. Sea sensible al nivel de comprensión y adecue su explicación a este nivel.

Ejemplo. Una evaluadora desea mostrar un gráfico de línea de las tasas de producción de un programa de INCENTIVOS, que fue mostrado en la figura 17 de este capítulo. Desea asegurarse de que el gráfico sea perfectamente comprendido. A primera vista, al ser proyectado por una pantalla, el gráfico parecerá confuso, de manera que ella diseña una exposición que llevará gradualmente hasta el gráfico. Primero, muestra los ejes del gráfico y los explica, señalando mientras habla: “este eje (el horizontal) representa las semanas laborales; ésta es la segunda semana de enero (mientras muestra el número 2 en el eje), y estas son las semanas número 10, 16 y 24. Para cada semana, se contaron el número de unidades producidas por los empleados en el programa de INCENTIVOS. LO mismo se hizo para los empleados que no estaban en el programa.

Imagen 1

“Las unidades de producción se muestran en el eje vertical. Supongamos que hubo un grupo de empleados, digamos del grupo A que produjo mucho más que el otro grupo, el grupo B. Por lo tanto, en el gráfico sus tasas de producción deberían tener este aspecto:

Imagen 2

0102030405060

1 2 3 4 5

Semanas

Núm

ero

de u

nida

des

prod

uctiv

as

0

10

2030

40

50

1 2 3 4 5 6 7 8 9 10 11 12 13

Semanas

Núm

ero

de u

nida

des

prod

uctiv

as

Grupo AGrupo B

“Supongamos que la producción aumentó progresivamente a lo largo del año. Entonces veríamos una línea que tiende a subir durante las seis semanas, de esta manera:

Imagen 3

“La línea muestra un zigzag porque hay muchas lazas y bajas, pero la tendencia general es hacia arriba, tal como ustedes pueden ver.”

“Ahora supongamos que la compañía hizo algo en la semana 10 para aumentar la tasa de producción. Tal vez contrataron al doble de los empleados. Entonces esperaríamos que la línea empiece a subir justo en o después de la semana 10.”

Imagen 4

“Si al inicio del programa de INCENTIVOS del que estamos hablando hoy día viéramos un alza como ésta, reconoceríamos que una tasa más alta de producción coincidió con el inicio del proyecto, y pensaríamos que tal vez el proyecto tenía algo que ver con esta mejora.” “Ahora tenemos aquí los gráficos reales del número de unidades producidas por los empleados con INCENTIVOS y aquellos que no participaron en el programa:

020406080

1 2 3 4 5 6 7 8 9 10 11 12 13

Semanas

Núm

ero

de u

nida

des

prod

uctiv

as

01020304050

1 2 3 4 5 6 7 8 9 10 11 12 13

Semanas

Núm

ero

de u

nida

des

prod

uctiv

as

Figura 23. Número de unidades producidas por los empleados del programa de INCENTIVOS y de los empleados normales antes, durante y después del programa de INCENTIVOS.

“Véase cómo la tasa de producción de los empleados con INCENTIVOS aumentó notablemente durante el proyecto muy desde el principio. Luego, después del proyecto comenzó a decaer gradualmente hasta llegar al mismo nivel que el de los empleados normales, que estaban ligeramente por debajo que aquellos que no pertenecían al programa de INCENTIVOS.”

Aquí hay otro ejemplo breve en que el evaluador se toma el tiempo de introducir las unidades utilizadas para los rangos gráficos en percentiles, porque su enfoque particular para interpretar los percentiles podría no resultar familiar a la audiencia.

Ejemplo. Un evaluador desea mostrar a un grupo de asesoría de padres el progreso logrado por el distrito en mejorar los puntajes en percentiles de los estudiantes en una prueba de logros obligatorio para el estado. Ha elegido la siguiente manera novedosa de representar los datos en percentiles. “En una prueba cuyos puntajes han sido convertidos en percentiles, una persona puede lograr un puntaje que va del 0 al 100. Las pruebas que llevan este tipo de puntajes se hacen de tal manera que una prueba enorme a nivel nacional colocaría al 10% de todos los estudiantes en cada una de las 10 categorías de puntajes mostradas aquí: 0 a 9, 10 a 19, etc. Un gráfico de esta prueba a nivel nacional, o de un distrito escolar con un promedio a rango normal de estudiantes, tendría este aspecto:

Imagen 5

0102030405060

1 2 3 4 5 6 7 8 9 10 11 12

Semanas

Núm

ero

de u

nida

des

de

prod

ucci

ón Clave: Empleadoscon incentivosClave: Empleadosnormales

02468

1 01 2

1 2 3 4 5 6 7 8 9 1 0

R a n g o p e r c e n t i lPorc

enta

je d

e es

tudi

ante

s

en c

ada

rang

o pe

rcen

til

0 - 9 1 0 - 1 9 2 0 - 2 9 3 0 - 3 9 4 0 - 4 9 5 0 - 5 9 6 0 - 6 9 7 0 - 7 9 8 0 - 8 9 9 0 - 9 9

Imagen 6 “Esto es, el 10% de los estudiantes se encontrarían en el rango percentil superior de 90 a 99, y 10% en cada una de las otras divisiones. “Sin embargo, nuestro distrito escolar mostró un puntaje promedio inferior el año pasado, y la distribución se muestra aquí:

“Tenemos más estudiantes en las categorías de menores logros, los percentiles más bajos de lo que debería tener un distrito promedio, y tenemos correspondientemente menos estudiantes en las categorías altas. El objetivo de nuestro programa este año es tratar de lograr una redistribución de manera que nuestro distrito se parezca más al primer diagrama en lugar de al segundo.”

Imagen 7

“Aquí están los resultados para este año. Ustedes pueden ver que nos estamos acercando a esa línea del 10% que atraviesa toda la extensión.”

1412.4

10.7 10.6 11.1 108.1 8.4

2.7 2.5

0

5

10

15

1 2 3 4 5 6 7 8 9 10

Rango percentilPorc

enta

je d

e es

tudi

ante

s en

cad

a ra

ngo

perc

entil

0 - 9 10-19 20-29 30-39 40-49 50-59 60-69 70-79 80-89 90-99

18.6

13.815.4

11.8 11.8

5.98.1 8.4 7.4

3.3

0

5

10

15

20

1 2 3 4 5 6 7 8 9 10

Rango percentilPorc

enta

je d

e es

tudi

ante

s en

cad

a ra

ngo

perc

entil

0 - 9 10-19 20-29 30-39 40-49 50-59 60-69 70-79 80-89 90-99

Presentando los Datos: Un resumen

Un vistazo a este capítulo debería darle algunas ideas sobre cómo armar cuadros y dibujar gráficos para un informe de evaluación. En particular le ofrecemos los siguientes consejos:

(1) Use métodos gráficos para presentar datos numéricos siempre que le sea posible. (2) Arme la sección de resultados y de debate en su informe de evaluación y tal vez las otras secciones,

también alrededor de cuadros y cifras. Prepare los cuadros y los gráficos primero y luego escriba el texto para explicarlos.

(3) Trate de que cada cuadro o diagrama sea auto-explicativo. Utilice un título completo y claro, una clave, leyendas, notas a pie de página, etc.

(4) Discuta en el texto la información más importante que se encuentre en cada cuadro o figura. (5) Juegue un poco a armar todos lo gráficos que usted tenga el tiempo y el ingenio de preparar y

considere usarlos. No sólo comunican claramente lo que usted desea decir a su audiencia, sino que también le ayudan a usted a ver qué cosa está ocurriendo.

(6) Puesto que los gráficos tienden a contener menos detalles que los cuadros numéricos, tal vez desee proporcionar cuadros y gráficos para los mismos datos.

(7) Si usted utiliza un diseño de evaluación mixto con procedimientos de recolección de datos tanto cuantitativos como cualitativos, utilice citas directas y descripciones de los resultados cualitativos para añadir profundidad y claridad a la información reportada gráficamente.

(8) Cuando presenta gráficos complicados a una audiencia en vivo, proporcione instrucciones sobre cómo leer el gráfico y unas cuantas interpretaciones de muestra para versiones más simples. Luego presente los datos reales.

(9) Cuando haya completado una versión preliminar de su informe plantéese las siguientes preguntas:

• ¿Es título es una descripción integral de la figura? ¿Alguien que ojea este informe podría comprender este gráfico?

• ¿Los dos ejes de cada gráfico tienen una leyenda clara con su nombre? • ¿El tamaño del intervalo está marcado en todos los ejes de los gráficos? • ¿El número de los casos en los que se basa cada estadística resumen ha sido claramente

indicada en cada cuadro o gráfico? • ¿Los cuadros y gráficos están numerados y etiquetados a lo largo del informe? • Si el informe es largo, ¿ha proporcionado usted una lista de cuadros y gráficos al inicio del informe

debajo del índice?

Nota

1. Los resultados de las pruebas basadas en objetivos normalmente se muestran a través de un gráfico de barras, tales como los que aparecen en las páginas 58 a 61. Los resultados de un diseño de evaluación del grupo de control, si bien pueden ser analizados y presentados de varias maneras complementarias, se presentan primero utilizando el formato de la tabla 7 en la página 54. Pueden encontrar información sobre gráficos y cuadros que presentan datos a partir de diversos diseños y tipos de pruebas e instrumentos de actitud, en cómo diseñar un programa de evaluación y cómo medir actitudes, volúmenes 3 y 6 del Paquete de Evaluación de Programa.

Referencia

Anderson, S. B., & Ball, S. (1980). The profession and practice of program evaluation. San Francisco: Jossey-Bass.

Capítulo 4 Esquema de un Informe de Evaluación Este capítulo presenta un esquema de lo que sería un informe formal de evaluación. El esquema puede utilizarse de diversas maneras. Si se le pide redactar un informe técnico, podría usted atenerse a este esquema con bastante exactitud. Simplemente titule cada sección de su informe de acuerdo con los títulos listados, y responda a las preguntas bajo cada título con todo el detalle que usted crea necesario. Este ejercicio le dará una versión preliminar o borrador de su informe. Por otro lado, si no le ha sido prescrita la forma en que debe tomar su informe o si su informe puede ser menos formal, usted puede utilizar este capítulo de modo distinto: como una lista de verificación de contenidos para un informe de evaluación o como una lista de puntos que quisiera incluir. Usted puede luego organizar lo que va a decir de acuerdo a sus propios requerimientos, con la seguridad de que no va a omitir ninguna información importante. Cualquiera que sea el caso, considere este esquema como una sugerencia, y deje del lado algunas de las preguntas o amplíe otras, o añada sus propias preguntas según su parecer. Carátula La carátula debe proporcionar la siguiente información:

• título del programa y su ubicación • nombre del evaluador o los evaluadores • período cubierto por el informe • fecha en que se remite el informe

Haga que la carátula sea atractiva, y esté formateada con precisión. La carátula refleja su propia calidad profesional y también la calidad de su trabajo. Sección I. Resumen A veces llamada también resumen ejecutivo, esta importante sección de su informe es una breve visión panorámica de la evaluación, que explica por qué fue hecha y enumera las conclusiones y recomendaciones más importantes. Este resumen está diseñado para las personas que están demasiado ocupadas para leer el informe completo; por lo tanto, no debería tener más de dos o tres páginas. Si bien el informe se coloca primero, es la sección que usted redacta al último. Contenido típico

• ¿Qué se ha evaluado? • ¿Por qué se condujo la evaluación? • ¿Cuáles con las observaciones y recomendaciones principales o las opciones que usted deduce de la

evaluación? Si el espacio lo permite, añada la siguiente información:

• ¿Hubo decisiones que tomar sobre la base de la evaluación? Si es así, ¿cuáles decisiones? • ¿A que audiencias se dirige el informe de evaluación? • ¿Quién más podría encontrarlo interesante o importante? • ¿Cuáles fueron las restricciones más importantes si las hubo, bajo las cuales se condujo la

evaluación?

Sección II. Información de Antecedentes Referidos al Programa

Esta sección define el contexto del programa. Define cómo se inició el programa y qué es lo que pretendía hacer. La cantidad de detalles presentados aquí depende de la audiencia y de las personas para las cuales se prepara el informe de evaluación. Si la audiencia no tiene conocimiento del programa, éste debe ser descrito en detalle. Si por otro lado, el informe de evaluación está destinado sobre todo al uso interno y sus lectores probablemente estén familiarizados con el programa, esta sección puede ser bastante breve, simplemente anotando la información “para su registro”.

Sin importar la audiencia, si este informe será el único registro duradero del programa, entonces esta sección deberá contener detalles considerables sobre las metas y objetivos y sus componentes críticos. Debería redactarse una descripción preliminar del programa en el momento en que se planifica la evaluación. Esto implicará menos trabajo más adelante, sobre todo durante el tiempo en que hay mucho que hacer, es decir cuando se deben recolectar y analizar los datos. También asegurará que el evaluador tenga desde el principio una noción clara el programa, de sus componentes cruciales y de lo que se supone deben lograr. Si usted es un evaluador sumativo, considere redactar esta sección II tan pronto como sea posible después de aceptar su papel de evaluador, o tendrá que incluir una descripción de este tipo en su propuesta de evaluación.

La información que puede resultarle útil para redactar esta sección puede ser recolectada de muchas

fuentes diversas: un plan o propuesta de programa, los informes de evaluación de requerimiento, las discusiones con el personal de programa, las catas de las reuniones del personal o del Consejo Directivo, memorandos, esquemas curriculares, listas de metas, estimados presupuestarios, etc. El director del programa y el personal probablemente guardarán la mayor parte de a información para esta sección en sus mentes, pero el hacer referencia a documentos tales como los listados le ayudará a evaluar la consistencia de sus recuerdos con las descripciones oficiales del programa. Es importante que usted ubique cualquier discrepancia entre las concepciones y las descripciones del programa y resuelva éstas antes de redactar su informe. Contenido típico A. Origen del programa

• ¿Dónde fue interpretado el programa? ¿Qué tipo de comunidades o grupos especiales eran los beneficiarios? ¿A cuántas personas afectó?

• ¿De qué manera agregada participaron las personas? Por ejemplo, ¿era más apropiado considerar a los participantes en términos de distritos, escuelas, salones de clase o individuos?

• ¿Cómo se inició el programa? • ¿Se hizo un análisis de requerimientos formal o informal? Si fue así, ¿cuáles fueron los resultados? • ¿Cuáles fueron los impulsadores primarios del programa? ¿La comunidad, el estado o las demandas

nacionales? ¿Requerimientos legales? ¿Oportunidades de financiamiento? ¿Iniciativa de personal?

B. Metas del programa

• ¿Para qué fue diseñado el programa? • ¿Cuáles fueron las metas u objetivos fijados? ¿Cuál era su orden de prioridad, si es que lo había? • Especialmente en el caso de una evaluación cuantitativa ¿cuáles fueron las metas no especificadas o

implícitas, o los efectos no identificados que identificó el evaluador?

C. Clientes involucrados en el programa

• ¿Cuáles eran las características de los clientes potenciales del programa (por ejemplo, edad, nivel socioeconómico, experiencia, requerimientos especiales, nivel de capacidad)?

• ¿Sobre qué base se seleccionaron los participantes para el programa? • ¿Qué aspecto debía tener el programa? Un cuadro como el de la página 49 podría describir este

punto. • ¿Se suponía que los participantes permanecerían en el programa durante toda su duración? Si no es

así, ¿qué criterios determinarían el momento de su ingreso o egreso del programa?

D. Características de os materiales, las actividades y las disposiciones administrativas del programa

• ¿Qué materiales se usarían y cómo? ¿Debían ser comprados o producidos por el personal del programa?

• ¿Qué recursos (fondos, instalaciones físicas, transporte) estaban disponibles, y quién debía proporcionarlos?

• ¿En qué actividades debían tomar parte los participantes en el programa? • ¿Qué procedimientos específicos, de haberlos, debían seguir los implementadores del programa? • ¿Cuál era la razón fundamental subyacente al programa? En otras palabras, ¿por qué pensaban los

planificadores del programa que los materiales y actividades del mismo llevarían a cumplir con las metas del programa?

• ¿Qué tan fijada estaba la implementación del programa? ¿Cuánto se esperaba que el programa variara de un lugar al otro o de un momento a otro?

• ¿Cómo era manejado o administrado el programa? ¿Qué oficinas o qué papeles se crearon o expandieron? ¿Quién ocupó estos puestos? ¿Representaba esto una desviación de las prácticas usuales?

• ¿Hasta qué punto describe esta sección el programa como debía ser, en oposición a su aspecto real? La Sección IV, que habla de los “Resultados” del informe, debería contener más información que apoye la exactitud de la descripción del programa tal como aparece aquí.

E. Personal y otras personas involucradas en el programa

• ¿Cuántos empleados específicos tales como administradores, consultores, secretarias, conserjes, especialistas, voluntarios y otros participaban activamente en el programa? ¿Qué papeles asumían?

• ¿Se les pedía que tuviesen una capacitación especial o credenciales ya sea antes o durante el programa?

• ¿Cuánto tiempo (por semana, día, mes o año) dedicaban al programa?

Sección III. Descripción del Estudio de Evaluación

La primera parte de esta sección describe y delimita la tarea asignada que ha aceptado el evaluador. Explica por qué se condujo la evaluación, qué se trataba de lograr, y qué es lo que no se trataba de lograr. Prepare la descripción de los propósitos de la evaluación inmediatamente después de aceptar su papel como evaluador. Un borrador de esta declaración debería figurar como acuerdo de todas las partes interesadas y ser mantenida en archivo. El resto de esta sección describe la metodología de la evaluación, cómo se evalúa el programa. Es importante que esta evaluación sea detallada; si las personas deben creer en las conclusiones de su evaluación, necesitan saber cómo obtuvo esa información. Sin embargo, haga que la parte de los detalles técnicos sea comprensible para un lector promedio. Deberá ponerse a disposición muestras de todos los instrumentos, con excepción de las pruebas publicadas de amplia utilización o de las pruebas que no se pueden reproducir por ley. Las muestras pueden ser colocadas en un apéndice, pero es útil para el lector tener unos cuantos rubros reproducidos también en el cuerpo del texto. La Sección III debería ser redactada cuando se planifica la evaluación, y es una buena idea hacer circular una copia de las Secciones II y III entre el personal del programa. Después de todo, se supone que ellos deberán cooperar con la evaluación y en algunos casos implementar sus resultados. Deberían entender cómo se está conduciendo la evaluación. Si tienen alguna objeción con respecto a alguna de las prácticas, deberían enterarse de ello tempranamente cuando pueden hacerse los cambios necesarios, en lugar de más adelante, cuando la evaluación ya no se puede cambiar. Usted debería lograr que el personal del programa esté de acuerdo en que su evaluación hará un análisis justo de su programa.

Contenido típico Deberían tratarse cuatro temas principales: propósito de la evaluación, diseños de la evaluación, medidas resultantes y medidas de implementación. A. Propósitos de la evaluación

• ¿Quién pidió la evaluación? • ¿La evaluación requerida debía ser primariamente formativa o sumativa? • Si la evaluación fue emprendida para ilustrar a una audiencia en particular o audiencias, ¿quiénes eran?

¿El personal del programa? ¿Los legisladores? ¿Grupos comunitarios? ¿El Consejo Directivo? ¿Una agencia regulatoria? ¿Los padres de familia?

• ¿Qué tipo de información pidió la audiencia? • ¿La evaluación se emprendió para proporcionar información necesaria para una decisión? De ser así,

¿quiénes fueron las instancias de decisión y cuál fue la naturaleza de las decisiones a tomar? Una decisión puede ser una lección entre programas alternativos, o puede ser una decisión de continuar, descontinuar o modificar todo o parte del programa.

• ¿La evaluación estaba destinada a responder preguntas investigativas? De ser así, enumérelas en esta sección.

• ¿Cuál fue el contexto en que se condujo la evaluación? ¿Hubo restricciones, limitaciones de tiempo o dinero, u otras limitaciones que afectaron el estudio? ¿Hubo temas particulares que el evaluador decidió no tratar?

B. Diseños de evaluación1

• ¿Se utilizó un solo diseño básico de evaluación para todos los análisis efectuados? ¿Se utilizaron diseños adicionales? ¿Una combinación de informes cuantitativos y cualitativos?

• ¿Por qué se escogió estos diseños en particular? • ¿Cuáles fueron las limitaciones de los diseños utilizados? • ¿Cuáles fueron las confusiones o contaminaciones previstas como inevitables? ¿Qué precauciones se

tomaron para evitarlas? ¿Con qué resultado? • ¿Hubo ciertas circunstancias que evitaron el uso de diseños más rigurosos? ¿Cuáles fueron las

justificaciones más sólidas para el diseño y los métodos que usted seleccionó? C. Medidas resultantes Instrumentos o enfoques utilizados

• ¿Qué tipo de resultados de programas, consecuencias y actividades fueron medidas, descritas u observadas? ¿Se mencionaron estos resultados o actividades entre los objetivos del programa o decidió usted medirlos por alguna otra razón?

• Para cada resultado de interés, ¿cuáles fueron los datos recolectados? ¿Qué instrumentos se utilizaron?

• ¿Los instrumentos fueron desarrollados por el personal del programa o fueron adquiridos? Si fueron desarrollados, ¿cómo se hizo? Si se seleccionaron para adquisición, ¿sobre qué base?

• ¿Cómo se evaluaron los instrumentos con respecto a confiabilidad, validez, adecuación a los examinados y relevancia con respecto al programa?

Procedimientos de recolección de datos

• ¿Cuál fue el cronograma para la recolección de datos? ¿Cuándo se aplicaron los instrumentos, se produjeron las observaciones o se condujeron las entrevistas, y quién recolectó estos datos? Esto se puede presentar en un cuadro, tal como el cuadro 3. De ser necesario, justifique las calificaciones de las persona que recolectaron estos datos.

• ¿Qué capacitación fue otorgada a aquellos que tomaron las diversas medidas o recogieron las observaciones? De ser así, ¿cuánta capacitación se les otorgó y cuál tipo?

• ¿Se midió u observó a cada participante en cada grupo o se utilizaron procedimientos de muestreo? ¿Cuál fue la base fundamental tras los procedimientos de muestreo?

1

D. Medidas de implementación Instrumentos y enfoques de recolección de datos que se utilizaron

• ¿Por qué se describió la implementación? ¿ Para analizar la adecuación o el cumplimiento del programa con respecto a una propuesta, plan o filosofía de operación? ¿O simplemente para describir lo que sucedió?

• ¿Cuáles fueron los aspectos cruciales del programa observados, registrados o medidos de alguna u otra manera? ¿ Por qué decidió usted centrarse en estos rasgos de implementación y no en otros?

• ¿Cómo se recolectaron los datos de respaldo para apoyar la descripción del aspecto del programa en operación? ¿A través de la lectura de documentos del programa, a través de entrevistas formales o de conversaciones informales con el personal? ¿O se utilizaron otros métodos de recolección de datos?

• ¿Cómo se desarrollaron los instrumentos eventuales utilizados? ¿Se tomaron prestadas o adquirieron versiones comerciales? ¿De quién y sobre qué base?

• ¿Qué limitaciones o deficiencias existían en los instrumentos o en los demás enfoques de recolección de datos?

• ¿Se tomaron medidas para asegurar su confiabilidad, validez y adecuación al entorno? Procedimientos de recolección de datos

• ¿Cuál fue el cronograma para la recolección de información sobre la implementación y quién la recolectó? Con frecuencia un cuadro resulta apropiado para representar un cronograma.

• ¿Qué tipo de capacitación se otorgó y qué precauciones se otorgaron para el uso de instrumentos o para el uso de instrumentos o para otros procedimientos de recolección de datos?

• ¿Se eligió una muestra representativa del programa para su observación? ¿Se administraron instrumentos (cuestionarios, entrevistas) a cada uno o solamente a algunos miembros representativos del personal?

• ¿Qué limitaciones o deficiencias existían en los procedimientos para medir o probar la implementación?

Sección IV. Resultados

Esta sección presenta los resultados de las diversas mediciones, observaciones y otros métodos de recolección de datos descritos en la Sección III que fueron utilizados para evaluar los resultados de la implementación del programa. Esta sección también puede incluir cierta evidencia anecdótica, y testimoniales sobre el programa o extractos de transcripciones de entrevistas. Este tipo de evidencia da vida al informe y muchas veces transmite la calidad del programa y sus resultados de una manera que no puede ser expresada en cifras. Mientras que una cálida carta de recomendación proveniente de un participante no muestra que el programa fue un éxito para todos, sí puede comunicar vívidamente algunas de las fortalezas típicas del programa. Antes de que empiece a redactar la sección de resultados, deberá haber analizado todos los datos, registrándolos en tablas, graficándolos o ploteándolos, y verificando su significancia para medir si era apropiada. Los puntajes de las pruebas se suelen presentar en gráficos y cuadros que muestran medias y desviaciones estándar para cada grupo. Los resultados de los cuestionarios con frecuencia se resumen en una copia de los cuestionarios mismos. La naturaleza de las preguntas de evaluación que usted debía responder podían haber requerido métodos cualitativos de recolección de datos tales como entrevistas en profundidad, con preguntas abiertas, observaciones directas o estudios de caso. La información rica y detallada debía ser organizada o enfocada de acuerdo a temas principales, categorías o ejemplos de caso. De ser así, identifique además si se trata de citas directas o de simples descripciones de personas, actividades en interacciones que reflejan de a mejor manera la imagen del programa tal como es percibida por aquellos que están involucrados en él. Organice los datos de los casos en registros de casos, de los cuales pueden desprenderse estudios y análisis de casos. El manual cómo utilizar métodos cualitativos en la evaluación por Michael Q. Patton (volumen 4 del Paquete de Evaluación del Programa) explica cómo organizar estudios de caso. Lo más importante es recordar que hay que centrar los datos. Si usted trata de reportar todo, ahogará al autor en detalles.

Si los datos crudos fueron procesados y analizados de muchas maneras distintas o utilizando procedimientos especiales que requieren una explicación, debería añadirse una sección titulada “Procedimientos de Análisis de Datos”, situada entre las secciones III y IV. Sin embargo, para la mayoría de las evaluaciones los análisis de datos pueden presentarse en la sección IV a medida que reporta los resultados de cada instrumento. Contenido típico En esta sección deberán tratarse dos tipos de resultados: los resultados de un estudio de implementación y los resultados de un estudio de consecuencias. A. Resultados del estudio de implementación

• ¿El personal implementó el programa que había sido propuesto? • ¿El programa fue implementado tal como se planificó y como esperaban los usuarios? De no ser así

¿qué sucedió? ¿Se dejaron del lado o se modificaron algunos componentes? ¿Se disponía de todos los materiales, y fueron utilizados adecuadamente?

• ¿El programa abarcó a todos los participantes a los cuales estaba dirigido? ¿Tuvieron lugar en la realidad las actividades cruciales del programa?

• Con el mayor detalle posible, describa el modo de implementación del programa. Un cuadro podría describirlo adecuadamente, o de lo contrario puede describir actividades enteras en detalle porque representan experiencias típicas del programa. En las evaluaciones cualitativas, estas descripciones toman la forma de narraciones redactadas que proporcionan una visión olística del programa.

• Si ocurrieron alteraciones en el programa, ¿qué efectos tuvieron sobre las actitudes del personal y los participantes, la eficiencia de la operación u otros aspectos del programa?

• ¿Qué tan similar era el programa de un lugar al otro? ¿Qué variaciones ocurrieron?

B. Resultados del estudio de consecuencias o de efectos

• ¿Cuántos y qué participantes rindieron las pre-pruebas, de ser administradas? • ¿Cuántas de estas personas que rindieron pre-pruebas formaban aún parte del grupo de programa o del

grupo de control (si es que hubo uno) al final del programa? ¿Hubo una diferencia en el porcentaje de participantes que abandonaron el programa y los grupos de control durante la duración del programa? Use una tabla de deserción para resumir este aspecto (véase página 53).

• ¿Cuáles fueron los resultados de las pre-pruebas? ¿Hubo una diferencia entre los puntajes de pre-prueba entre los grupos del programa y a comparación?

• Para cada medición u observación realizada ¿cuáles fueron los resultados finales para los participantes del programa y para los participantes en los grupos de comparación? ¿Cuál fue la comparación’ ¿Hubo diferencias estadísticamente significativas para las medidas cuantitativas? ¿Tienen alguna significancia práctica? Un cuadro o gráfico puede resumir de la mejor manera los resultados cuantitativos.

• Si no hubo grupo de control, ¿qué tanto variaron los desempeños del grupo del programa entre una prueba y otra?

• Si no hubo grupo de control, ¿con qué se puede comparar los resultados para poder juzgar su calidad? Por ejemplo, se pueden utilizar reglas de las pruebas, desempeños anteriores o estándares que reflejan diferentes niveles de competencia para propósitos de comparación. ¿Pueden mostrarse gráficamente las comparaciones?

• ¿Cuáles fueron los resultados de las pruebas estadísticas diseñadas para responder a las preguntas sobre correlaciones entre participantes o características del programa? Véase la página 53 para un análisis de los gráficos y de los cuadros que expresan correlaciones.

Sección V. Análisis de los Resultados La interpretación de cada resultado puede incluirse en la Sección IV, en la que se presentan los resultados. Sin embargo, si el programa y/o la evaluación es complicada, se recomienda incluir una sección separada para la interpretación y el análisis de los resultados a fin de hacer que el informe resulte más claro. Los resultados pueden analizarse con una referencia particular a los propósitos de la evaluación listados en la Sección III.A. Contenido típico Existen dos temas principales a ser tratados en esta sección: ¿qué tan grande es la certeza de que sea el programa el que haya logrado esos resultados? ¿Qué tan buenos fueron los resultados del programa? A. ¿Qué tan grande es la certeza de que sea el programa el que causó los resultados?

• ¿Hay explicaciones alternativas para los resultados del programa? Por ejemplo, ¿los logros obtenidos por los participantes en el programa podrían ser tal vez simplemente el resultado de un proceso de maduración? ¿Hubo confusiones que habría que considerar? Si hubo un grupo de control, ¿hubo cierta contaminación? Intente anticiparse a este tipo de argumento y buscar una respuesta a alguna duda planteada por un escéptico con respecto a la atribución de los resultados al programa.

B. ¿Qué tan buenos fueron los resultados del programa?

• ¿Cómo se compararon los resultados del programa con lo que podría haberse esperado si no hubiese

habido un programa? • Si se ha utilizado un grupo de control ¿fueron mejores los resultados del programa que los del grupo de

control? Si la diferencia fue estadísticamente significativa, ¿la dimensión o la calidad de la diferencia era suficiente como para hacerla significativa en la práctica? Si la diferencia no fue estadísticamente significativa, ¿los resultados del programa al menos parecían prometedores? Los análisis cualitativos no tienen a significancia estadística que nos permite informar al usuario sobre la seriedad de nuestros resultados. El evaluador cualitativo debe comunicar juicios de opinión sobre las fortalezas y debilidades de diversas partes de sus análisis. ¿Qué patrones en los datos podrían tener “un sólido apoyo de las pruebas” y qué patrones no cuentan con pruebas?

• Si no hubo grupo de control, ¿cómo se comparan los resultados con el estándar correspondiente para juzgar su calidad?

• ¿Opina el personal que el programa podría lograr resultados más significativos si fuese modificado o si se prolongase en el tiempo? ¿Existen pruebas en sus datos que apoyan este punto de vista?

• ¿Cuáles fueron las fortalezas y debilidades percibidas en el programa? ¿Qué conclusiones o recomendaciones pueden hacerse a partir de los estudios co-rrelacionales u otras observaciones? ¿Existen, por ejemplo, ciertas características del programa que parecen ser más eficaces con otros grupos? ¿Las actitudes o logros se relacionan con las características de los participantes?

Sección VI. Costos y Beneficios

Esta sección opcional analiza de cerca el presupuesto del programa, un área muchas veces controvertida. No existe hasta ahora un modo consensual de recolectar, analizar y presentar información de costo beneficio, de manera que en esta sección usted hará lo siguiente:

(1) Justificar la utilidad del enfoque particular del análisis costo beneficio que usted ha realizado y (2) Presentar e interpretar sus datos.

Si los costos y beneficios son un enfoque muy importante en su evaluación, usted podría

querer incluir los datos de costos y beneficios en la sección “resultados”, integrando su análisis en la Sección V. Un análisis de costo beneficio esencialmente enumera el costo en dinero asociado con el programa y luego se abre en un resumen de otros costos cualitativos, que no se miden en dinero. Los beneficios del programa se describen y se comparan con estos costos. De ser posible, proporcione un cuadro en esta sección que enumere los costos y beneficios.

Contenido típico A. El método utilizado para calcular costos y beneficios

• ¿Cómo ha definido usted costos y beneficios? • ¿Qué método ha utilizado para computar los costos y beneficios? ¿Se trata de un método formal

matemático? ¿O se basa usted en métodos informales de contrastar costos y beneficios? ¿Qué precedentes puede usted citar para utilizar este método?

B. Costos asociados con el programa Costos en dinero

• ¿Qué dineros extra se requirieron para implementar el programa? ¿Cuál fue la fuente de estos fondos?

• ¿Para qué se habría utilizado este dinero si no se hubiese utilizado para el programa? • ¿Qué porción del dinero gastado en el programa representa los costos operativos, y cuáles fueron los

costos de despegue del programa? (estos últimos ya no se necesitarán si el programa continua). Debería incluirse un cuadro que muestre los gastos en dinero del programa.

Costos no cuantificados en dinero

• ¿Significó el programa una carga para los maestros, padres, estudiantes o administradores desde el punto de vista de la paciencia, la moral, etc.?

• ¿Tuvieron los participantes que trabajar sobre tiempo debido al programa? • ¿Hubo voluntarios que dedicaron tiempo al programa? De ser así, ¿qué cosa habrían hecho si

hubiesen estado trabajando en el programa? • ¿La participación en el programa privó a los participantes de otras experiencias valiosas? • ¿Qué otros costos produjo el programa, ya sea a través de perjuicios morales o la utilización de

recursos o la pérdida de oportunidades alternativas? C. Beneficios asociados con el programa Beneficios en dinero

• ¿Qué tipo de ingreso se recibió en apoyo o como resultado del programa? Por ejemplo, ¿reembolsó el estado al distrito por el programa de educación especial?

Beneficios no cuantificables en dinero

• ¿Qué resultados positivos puede usted respaldar con evidencia? • ¿Qué tanto progreso se logró con respecto a las metas del programa? • ¿Los resultados para las personas en el programa fueron significativamente mejores que para

individuos similares que no participaron en el programa? • ¿Qué tanta diferencia logró el programa? • ¿Qué tan valorado fue el programa por los diversos grupos? • ¿Hubo algún beneficio no esperado debido al programa en el lugar del programa o en la comunidad

más amplia?

Sección VII. Conclusiones, Recomendaciones y Opciones

Podría resultar más interesante presentar esta sección en forma de lista en lugar de una narrativa. Las recomendaciones u opciones pueden ser la parte más influyente de un informe de evaluación. Por lo tanto, asegúrese de subrayar lo que resulte importante y aclara qué conclusiones son tentativas o definitivas. Asegúrese de que esta sección trate todas las preocupaciones descritas en detalle en la Sección III.A., que describe los propósitos de la evaluación. Contenido típico A. Conclusiones

• ¿Cuáles fueron las conclusiones principales que pudo deducir con respecto a la eficacia del programa en su totalidad? ¿O de sus diversos sub-componentes? ¿Qué tan sólidas son estas conclusiones?

• ¿Debe no juzgarse aún algunos aspectos del programa? • ¿Dejó del lado la evaluación algunos de los rasgos o efectos del programa que debieron haber sido

considerados a fin de proporcionar una visión más completa de su impacto? B. Recomendaciones u opciones con respecto al programa Desafortunadamente, muchas veces la única parte de un informe de evaluación es la sección que se refiere a las recomendaciones u opciones. Por esta razón, usted debería preparar esta sección con mucho cuidado. Por lo general, las recomendaciones sugieren un solo curso de acción dirigido a corregir las debilidades del programa y perpetuar sus fortalezas. Tal vez usted prefiera, en lugar de ello, proporcionar a los usuarios ciertas opciones para acciones alternativas. Cada opción se apoya en ciertas observaciones y datos importantes de la evaluación. Basándose en criterios de relevancia de los temas clave de la evaluación – validez, confiabilidad y objetividad – el evaluador juzga si los datos u observaciones son significativos o importantes. A partir de estas conclusiones el evaluador desarrolla recomendaciones específicas u opciones para las acciones. Las recomendaciones y opciones debería relacionarse directamente con los propósitos originales de la evaluación y con los aspectos del programa que interesan a los usuarios de la evaluación, particularmente a las instancias de decisión del programa. Las recomendaciones no son una lista de deseos. Debería derivarse lógicamente de los juicios formados a partir de los datos de evaluación. Su sugerencia debería estar dirigidas a aspectos específicos del programa o a acciones específicas, y sin embrago debería también dejar suficiente libertad a los planificadores del programa o a las instancias de decisión par ajustar el programa de la manera apropiada a la realidad de sus clientes, del personal o del entorno del programa en particular.

• Sobre la base de los datos específicos, ¿qué recomendaciones u opciones puede usted sugerir con respecto al programa? ¿Cuáles son la mayores fortalezas y éxitos del programa y qué aspectos podrían mejorarse?

• ¿Se presta el propósito de la evaluación a la formulación de recomendaciones u opciones? ¿Desean los usuarios simplemente identificar la eficacia del programa o desean también saber qué hacer con respecto a sus debilidades?

• ¿Qué predicciones, hipótesis o juicios instintivos le sugieren los datos recolectados? ¿Qué recomendaciones sobre otros programas o estudios de investigación podría usted hacer?

C. Recomendaciones con respecto a evaluaciones futuras

• ¿Qué instrumentos fueron útiles para su propósito y por lo tanto podrían ser recomendados para evaluaciones futuras de este programa o de programas similares?

• ¿Deberían modificarse o descartarse algunos instrumentos o procedimientos de evaluación para evaluaciones futuras?

• ¿Deberían evaluarse separadamente algunos componentes del programa completo? • Si esta evaluación no ha podido proporcionar respuestas firmes a algunas de las interrogantes con

respecto al programa, ¿qué procedimientos de evaluación podrían proporcionar estas respuestas?

Nota

1. Un diseño de evaluación es un plan que determina cuándo se aplicarán los instrumentos de evaluación (pruebas, cuestionarios, observaciones, inspecciones de registro, entrevistas, etc.), y a quién. El diseño proporciona una base para comparar los resultados de medición con respecto a un estándar. Bibliografía adicional American Psychological Association. (1983. Publication manual of the American Psychological Association (3rd. Ed.). Washington, DC: Autor: Anderson, S.B., & Ball, S. (1980). The profession and practice of program evaluation. San Francisco: Jossey-Bass. Braskamp, L.A., & Brown, R.D. (1980). New profession and practice of program evaluation: Utilization of evaluation information. San Francisco: Jossey –Bass. Campbell, M.G., & Ballou, S.V. (1978). Form and style: Theses , reports, term papers (5th ed.). Boston: Houghton Mifflin. Dinkmeyer, D.C., & Carlson, J. (1975). Consultation: A book of readings. New York: John Wiley. Ewing, D.W. (1974). Writing for results in business, government, and the professions. New York: John Wiley. Fleischer, M. (1983). The evaluator as program consultant. Evaluation and Program Planning, 6(1), 69-76 Glass, G.V., & Hopkins, K.D. (1984). Statistical methods in education and psychology (2nd. Ed.) Englewood Cliffs, NJ: Prentice-Hall. Government Printing Office. (1984). Style manual (rev. Ed.). Washington, DC: Autor. Lanham, R.A. (1979). Revising prose. New York: Scribner’s. Rothman, J. (1980). Using research in organizations: A guide to successful application. Newbury Park, CA: Sage Smith, N.L. (1982). Communication strategies in evaluation. Newbury Park, CA: Sage. University of Chicago. (1975). A manual of style (12th ed.) Chicago: University of Chicago Press. Otros manuales del paquete de Evaluación de Programa contienen información muy específica sobre el diseño de evaluaciones del programa y otras sugerencias adicionales para presentar observaciones. Manual del Evaluador (Vol. 1), Cómo Diseñar un Programa de Evaluación (Vol. 3), Cómo utilizar métodos cualitativos en una evaluación (Vol. 4), Cómo Evaluar la Implementación de un Programa (Vol. 5), Cómo medir Actitudes (Vol. 6), Cómo medir el Desempeño y utilizar Pruebas (Vol. 7), Cómo analizar Datos (Vol. 8).