las normas del programa de evaluación€¦ · web viewalthough methodical, this tiered numbering...

Maestría en Educación Superior, FFyL, BUAPTraducción: Lic. María Esther Vargas Elías

Establecimiento de competencias esenciales para evaluadores de Programa

Laude Stevahn Universidad de Seattle

Jean A. King Gail Ghere

Jane Minnema Universidad de Minnesota, Minneapolis-St. Pablo

Resumen: Este artículo presenta una taxonomía exhaustiva de las competencias esenciales para evaluadores de programa. En primer lugar, los autores proponen un fundamento para el desarrollo de las competencias de un evaluador, junto con una breve historia del desarrollo inicial y la validación de la taxonomía de las competencias esenciales del evaluador en King, Stevahn, Ghere y Minnema (2001). En segundo lugar, presenta una versión revisada de esa taxonomía y describe el proceso de revisión. En tercer lugar, el cotejo que acompaña a la taxonomía indica que competencias orientan las normas, principios y habilidades y que son respaldadas por asociaciones de evaluación de gran renombre en Norte América. Por último, los autores identifican futuras necesidades relacionadas con la taxonomía, incluida la necesidad de investigar la validación, una comprensión común de términos, y la construcción de rúbricas descriptivas para evaluar la competencia.

Palabras clave: competencias del evaluador; formación en evaluación, cuestiones profesionales, normas

La evaluación de programa comenzó como un tema de “se puede hacer”. Frente a oportunidades sin precedentes durante la época de programas bien fundamentados de la Gran Sociedad, los evaluadores en los años 1960 y 1970 aplicaron las técnicas de investigación social a gran escala para estudiar la eficacia de los programas. «Los teóricos en Evaluación definieron términos y etiquetaron conceptos para describir una nueva práctica como son la evaluación formativa contra la sumativa (Scriven, 1967), la evaluación de respuesta (STAKE, 1980), y la evaluación centrada en la utilidad (Patton, 1978). Los Modelos de evaluación se multiplicaron en tantos modelos como personas trabajaban en diferentes áreas y con diferentes necesidades. (véase, por ejemplo, Alkin, 1969; Provus, 1969; Stufflebeam, 1973). Aquellos que se enfocaron en el diseño de métodos para estudiar programas en situaciones no propicias para la investigación cuantitativa tradicional incluyendo el cuasi-experimento (Campbell y Stanley, 1963) y los métodos naturalistas (Guba, 1978). Al igual que los campos que han crecido en respuesta a demandas legales (por ejemplo, la educación especial), la evaluación del programa surgió en gran parte en su práctica misma.

Laurie Stevahn, Profesor Asistente de Educación, Director de Currículo e Instrucción, Escuela de Educación, Universidad de

Seattle, PO Box 222000, Seattle, WA 98122-1090; teléfono: (206) 296-2559, e-mail: [email protected] .

«Nota de los Autores: Queremos agradecer de todo corazón a las muchas personas que participaron en la discusión, proporcionando retroalimentación, compartiendo ideas, proporcionando información, y ofreciendo sugerencias para la

revisión de la taxonomía de las competencias esenciales para los evaluadores del programa presentado en este artículo.

Revista: American Journal of Evaluación, Vb. 26 N º 1, marzo de 2005 43 a 59 DOI: 10.1177/10982140042731 gO

Seminario de Planeación y Evaluación de la Educación Superior

mailto:[email protected]


A través de los años, la actitud de se puede hacer, junto con el trabajo arduo, se dirigió a aumentar la profesionalización del campo. Las organizaciones profesionales -la Sociedad para la Investigación en Evaluación y la Red de Evaluación, que se fusionaron en 1985 para formar la Asociación Americana de Evaluación - desarrollaron, tanto revistas como libros de texto dedicados a la evaluación de programas. Dirigido por Daniel Stufflebeam, el Comité Mixto de Normas para la Evaluación Educativa (1994), representó 16 organizaciones profesionales, comprometidas en un proceso de varios años para desarrollar y publicar normas oficiales que articulaban los atributos clave para mejorar la evaluación de los programas: utilidad, viabilidad, corrección y precisión. Un grupo de trabajo de la Asociación Americana de Evaluación (1995) más tarde crearon los Principios rectores para los evaluadores, proporcionando las directrices para las prácticas de evaluación y seguir desarrollando el campo como una profesión. En Nuevas orientaciones para la Evaluación de Programas se publicó una lista de programas para la formación en evaluación (Altschuld, Engle, Cullen, Kim, y Macee, 1994), y Fitzpatrick, Sanders, y Worthen (2004) resaltaron los rasgos de la evaluación de programas que sugieren un crecimiento constante para alcanzar la categoría profesional.

En un área, sin embargo, -el desarrollo de competencias para evaluadores- el campo de la evaluación de programa ha sido decididamente menor de lo que puede hacerse. La mayoría de las áreas reconocidas como profesiones han desarrollado usualmente competencias por la práctica (por ejemplo, en el cuidado de la salud, la enseñanza, el asesoramiento, etc) al pedirle a un grupo de distinguidos profesionales, -a menudo en nombre de una organización profesional -para generar primero un esquema de categorías y lista inicial de competencias, y luego instituir un proceso de revisión experto para editarlas y perfeccionarlas. Las competencias se ponen entonces a disposición de los profesionales en campo para estructurar lo siguiente: programas de formación para principiantes; programas de educación continua para profesionales con experiencia, y revisión periódica para actualizarse en la teoría, investigación y práctica con lo que se evoluciona con el tiempo. Esto todavía no ha ocurrido en el ámbito de la evaluación de programas.

Distinguidos escritores y profesionales en la evaluación de programas han seguido un curso diferente. Debatieron si aún era posible descubrir un tema común de las competencias en un área con tal diversidad en su contexto y su contenido. Funciones internas versus funciones externas del evaluador, por ejemplo, abarcan diferentes tipos de relación entre evaluador y cliente (por ejemplo, asociaciones de corto plazo versus largo plazo), que a su vez implican diferentes tipos de oportunidades y limitaciones (por ejemplo, perspectiva interna frente a las perspectivas externas). Del mismo modo, evaluadores de programa que trabajan en empresas, gobierno, educación, salud, organizaciones no lucrativas, y otros sectores enfrentan diferentes asuntos de interés en esos sectores. Esto ha creado una situación clásica de la pregunta de qué fue primero, el huevo o la gallina. Si no hay acuerdo sobre las competencias para la evaluación del programa, entonces el campo no puede convertirse en una profesión unificada mediante el trabajo de sus diferencias. Al mismo tiempo, si el campo es verdaderamente diverso y no puede expresar sus diferencias, entonces nunca será posible identificar las competencias. La taxonomía de las competencias esenciales del evaluador propuesta en King, Stevahn Ghere y Minnema (2001) marcó un esfuerzo que aportó esperanza de que las competencias del evaluador pudieran ser posibles. Este artículo supone un segundo paso en esta búsqueda.



Una razón para desarrollar Competencias para evaluadores de Programa

Después de 30 años más o menos de discusión, uno bien podría preguntarse: "Si las competencias son la solución, ¿cuál es exactamente el problema?" Dicho de otro modo, ¿existen consecuencias por no haber establecido las competencias para los evaluadores de programa? Varias respuestas vienen a la mente. En primer lugar, ya que no se cuenta con licencias estandarizadas o credenciales de educación, nadie puede reclamar ser un evaluador. A causa de esto, evaluadores incompetentes, charlatanes y defraudadores bien pudieran pasar por profesionales con experiencia.

En segundo lugar, los directores del programa que dispusieron contratar a un evaluador no la tienen fácil de saber quien está calificado para hacer el trabajo, y ante el aviso de “no hay advertencia” les puede proporcionar un poco de consuelo. En tercer lugar, personas interesadas en convertirse en evaluadores pueden encontrar dificultades para determinar lo que necesitan aprender o donde pueden estudiar. En cuarto lugar, aquellos que trabajan en programas de desarrollo profesional universitario pueden basar sus planes de estudios en sus necesidades evidentes o en preferencias personales.

En quinto lugar, una preocupación más amplia es la queja continua de que el campo carece de investigación en evaluación de programa, dirigida a desarrollar y validar modelos descriptivos basados en la teoría para guiarse a una práctica efectiva. En cambio, el campo ha producido principalmente modelos prescriptivos para la práctica derivados de necesidades prácticas en contextos particulares (Aikin, 2004). Todos estos temas se relacionan directamente con la falta de competencias en campo, creando un problema orientado a su lógica para desarrollar las competencias.

Basándose en parte en estos aspectos negativos, creemos que existe también una razón afirmativa para las competencias del evaluador. Para nuestra manera de pensar, el campo se beneficiaría de las competencias de evaluador en cuatro formas principales: (a) mejorar la formación, (b) ampliar la práctica reflexiva, (c) promover el avance de la investigación en evaluación, y (d) potenciar la profesionalización continua del campo.

Mejorar la Formación

Hay varias maneras en que las competencias del evaluador pueden facilitar el mejoramiento de la capacitación en evaluación. En los entornos universitarios con programas de preparación formal que premian con grados académicos o certificados de formación, las competencias de evaluador pueden servir como un ancla para estructurar los cimientos del programa y de los diferentes cursos que sean necesarios. Al implementar estas competencias de manera sistemática en todos los cursos, colectiva o individualmente se puede crear un programa coherente que prepare a los alumnos con conocimientos, habilidades y actitudes que necesitarán para la práctica profesional exitosa. Las competencias también pueden guiar la instrucción y evaluación efectivas en todos los cursos requeridos. Aunque actualmente la facultad puede basar los programas y las decisiones curriculares en la Evaluación del Programa de Normas (Comité Mixto de Normas para la Evaluación Educativa, 1994), esas normas hablan de lo que constituyen las evaluaciones



eficaces, y no de en qué consiste ser el evaluador competente que lleva a cabo esas evaluaciones.

Sin identificación explícita, las competencias esenciales pueden ser o asumidas o pasarse por alto, dejando a los aprendices sin una gama completa de habilidades. Por ejemplo, pocos programas universitarios ofrecen capacitación formal en las habilidades interpersonales necesarias para muchos métodos de evaluación, particularmente en enfoques orientados a la participación. Una taxonomía completa de las competencias del evaluador pondría de relieve la necesidad de dicha formación, así como induciría a educadores y estudiantes a enfocarse en las habilidades interpersonales para su práctica profesional. La competencia en el desarrollo de tales habilidades incluso podría ser incluido como criterio de candidatura o en entrevistas de salida, junto con competencias en técnica investigativa, -tales como en métodos cuantitativos o cualitativos- que normalmente constituyen el fundamento de programas de evaluación de la universidad.

En la formación para evaluadores en entornos no universitarios, las competencias del evaluador también pueden guiar la toma de decisiones sobre los tipos de experiencias para el desarrollo profesional necesaria y la secuencia de tales experiencias. Tanto las organizaciones pueden proporcionar a evaluadores formación continua a los trabajadores o pueden promover el desarrollo profesional para fines específicos, -tal como el fortalecimiento de la capacidad de evaluación para estudiantes independientes o en formación continua- una taxonomía de las competencias esenciales de evaluador puede ser útil para examinar los conocimientos, habilidades y actitudes en la participación que ya poseen y en cuales áreas de crecimiento es probable el avance tanto en el desarrollo personal como en los objetivos de la organización.

Mejora de la práctica reflexiva

Otra de las características de eficacia profesional es el aprendizaje continuo y el perfeccionamiento de habilidades. Una taxonomía de las competencias para la reflexión sistemática en la práctica puede facilitar este proceso. Si se trabaja en un contexto en el que se apoya el desarrollo profesional mediante la promoción de la participaron en actuales experiencias de formación, -tales como las de dentro de una organización que patrocina el curso de formación- o trabajando en una situación en la que el desarrollo profesional se busque por propia iniciativa, así como cuando los evaluadores trabajen como consultores independientes –las competencias de evaluador pueden anclar una práctica reflexiva, mediante una autoevaluación sustancial.

Similar a practicar la metacognición, los evaluadores se benefician de lo siguiente: adquieren consciencia de sus preferencias personales para la evaluación, así como de sus fortalezas y limitaciones; auto-seguimiento de resultados de acciones destinadas a facilitar estudios de evaluación eficaces; y planeación de formas para mejorar futuros intentos. Una taxonomía exhaustiva de las competencias de evaluador puede brindar resultados significativos para esta reflexión.

Hemos identificado cuatro tipos de evaluadores que creemos podrían encontrar tal taxonomía útil para la reflexión y la autoevaluación: (a) nuevos evaluadores, es decir, personas que entran en el ámbito de la evaluación de los programas que no estén comprometidos en el desarrollo profesional, sino que se encuentren encarando



circunstancias que requieren un conocimiento adicional o el desarrollo de nuevas habilidades para satisfacer las exigencias de sus circunstancias evaluatorias; (b) evaluadores ocasionales, es decir, personas sin formación que han recibido la responsabilidad de realizar las evaluaciones, a veces con poco interés en esa labor y que están tratando de averiguar exactamente lo que será necesario hacer en el trabajo;(c) profesionales transitorios, es decir, gente profesional en un área, pero han elegido ser evaluadores; y (d) evaluadores con experiencia que quieren mantenerse al día con cambios en la teoría del campo y la práctica, ampliar conocimientos a través de criterios de evaluación, o el desarrollo de teoría de la evaluación en un sentido académico en un sentido de práctica pragmática en el mundo real. Por todos estos evaluadores, una taxonomía de las competencias esenciales de evaluador se convierte en una herramienta útil para identificar áreas de fortaleza ya existentes (por ejemplo, enfoques determinados para la evaluación, métodos, habilidades comunicativas, habilidades interpersonales), así como en las áreas donde haya necesidad.

Avance de la Investigación en la evaluación

Las tareas de formular y validar teorías de práctica efectiva, como tradicionalmente se ha seguido en otras disciplinas científicas sociales, generalmente no han sido enfocadas en el ámbito de la evaluación de programas (Christie, 2003; Stufflebeam, 2001). Esta es un área donde las competencias esenciales de evaluador puede desempeñar un papel útil, especialmente en su relación con la formulación de la evaluación de diferentes modelos y enfoques exitosos. Las competencias proporcionan abundantes posibilidades para determinar preguntas útiles (o problemas) de la práctica a investigar, identificar variables dependientes e independientes, formular relaciones hipotéticas y examinar diversos aspectos de efectividad.

Algunas posibles áreas para la investigación sistemática sobre la evaluación de programas incluyen: (a) examinar el papel de las competencias en una práctica de evaluación efectiva, por ejemplo, enmarcar las preguntas de evaluación, permaneciendo abiertos a otros aportes, o resolviendo conflictos de manera constructiva, (b) investigar del impacto de la formación en la adquisición de habilidades y su aplicación, es decir, identificar qué tipo de experiencias de desarrollo profesional facilitan el desarrollo de las habilidades y la transferencia de la formación, y (c) determinar las variables que intervienen en la práctica de evaluación con éxito, tales como la identificación de las condiciones que facilitan u obstaculizan el uso de las competencias y su eficacia, especialmente, en contextos particulares o modelos de práctica. Las competencias también pueden ser un trampolín para seguir trabajando en la definición de las variables operativas o describir las actividades que realiza el evaluador con base en las habilidades para entender mejor las dimensiones personales de la práctica de la evaluación en contextos específicos. La ejecución de estas áreas de la investigación posee el potencial para un avance en el campo de la evaluación de programa, contribuyendo en la elaboración y validación de teorías descriptivas útiles para refinar, ampliar y orientar una práctica efectiva.

Profesionalización del Campo

Argumentaremos posteriormente que existe un beneficio inherente al campo para discutir los conocimientos específicos, habilidades y disposiciones que definen a la práctica de la evaluación competente. Aun en ausencia de acuerdos, el debate sobre las competencias profesionales establece un programa para lidiar con lo que es importante para la práctica de evaluación en diferentes áreas. Por otra parte, si el campo quiere avanzar hacia dar licencia u otorgar credenciales a los evaluadores, las competencias pueden servir de tema para el



debate inicial y el perfeccionamiento (Altschuid, 1999). La existencia de una serie de competencias también puede aumentar la posibilidad de acreditación de programas, si una organización como la Asociación Americana de Evaluación fuese a adoptar y adaptarlas a este fin, -un paso importante en la profesionalización del campo.

Taxonomía de competencias esenciales para evaluadores de Programa

La taxonomía de competencias esenciales para los evaluadores del programa que se presenta en este artículo, amplia y perfecciona una versión anterior propuesta por King y col. (2001). Esta publicación describe cómo un grupo de cuatro individuos en la Universidad de Minnesota puso en marcha un estudio de validez sobre una serie inicial de competencias de evaluador. El proceso de validación inicial empleó un procedimiento de logro de consensos Multi atributos (MACR) procedimiento con 31 participantes localizados en el área o cerca de Minneapolis-St. Paul (Minnesota). Esos participantes representaron a las diversos roles de evaluador, Contextos, niveles de formación y años de experiencia. Los resultados cuantitativos y cualitativos indicaron un consenso sobre la importancia percibida de más de tres cuartas partes de las competencias propuestas. En áreas donde el consenso no surgió entre los participantes, tendieron a reflejar aspectos específicos de su contexto y de su papel en su práctica de evaluación. Aunque la taxonomía inicial se mantuvo constante durante todo el estudio de validación completo, a todos los participantes se les preguntó qué creían que debía añadirse (u omitirse de) la lista de competencias después de su participación en las tareas de validación. Sus sugerencias y razones subyacentes fueron sistemáticamente reconocidas para futuras consideraciones. Una descripción completa del diseño del estudio y una discusión completa de sus resultados aparecen en King y colaboradores. (2001).

Tras la publicación del primer conjunto de competencias de evaluador de King y colaboradores (2001), el grupo inicial de cuatro investigadores continuó con el desarrollo de competencias esenciales en varios frentes. Un grupo de complicadas acciones se presentaron en las publicaciones de las conferencias sobre competencias profesionales, incluyendo la reunión anual de la Asociación Americana de Evaluación (AEA) y el anuario de Instituto de Estudios de Evaluación de Minnesota (MESI). Otra complicada tarea consistió en crear y llevar a cabo un curso de un crédito-en la Universidad de Minnesota, a nivel postgrado, fue el de Programa de Estudios de Evaluación en el cual los participantes confrontaban con temas relevantes el conjunto de competencias de evaluador publicado. Además, consultamos con el profesor James Altschuid, quien había liderado un grupo de trabajo sobre este tema para la Asociación Americana de Evaluación.

Dos objetivos principales guiaron nuestro esfuerzo. El primero fue generar una discusión crítica y continuar con nuevas aportaciones a la taxonomía de las competencias de evaluador, de los profesionales y estudiantes en campo. Al hacerlo, nos preguntábamos si algo debía añadirse (u omitirse de) a la lista y por qué. Nuestro segundo objetivo era proporcionar a los individuos que asistieron a las sesiones una oportunidad para la reflexión sobre su propia práctica evaluatoria y su desarrollo profesional. Sus impresiones personales proporcionaron información sobre la taxonomía de las competencias iniciales.



Más de 100 individuos participaron en las diversas presentaciones, reuniones, o sesiones que se realizaron para obtener aportes adicionales a la taxonomía de competencias esenciales para evaluadores de programa. De este modo, registramos sistemáticamente observaciones, cuestionamientos y sugerencias que surgieron durante los debates. Los temas recurrentes que surgieron de la crítica de esos registros, junto con nuestro propio pensamiento continuó sobre las competencias y los participantes * de gran interés y entusiasmo por una mayor discusión, sugirieron los siguientes cinco necesidades de revisión: (a) la necesidad de un formato fácil de usar , (b) la necesidad de cruzar sistemáticamente las competencias con las normas de evaluación aprobadas por asociaciones de evaluación, (c) la necesidad de competencias adicionales para apoyar integralmente normas vigentes de la asociación de evaluación, (D) la necesidad de precisar cada competencia y ( e) la necesidad de diseminar la taxonomía revisada con el fin de facilitar la discusión continua puntual y crítica. La taxonomía de las competencias esenciales para evaluadores de programas presentada en la Tabla 1 tiene la intención de abordar cada una de estas necesidades.

Antes de profundizar en las siguientes secciones sobre la forma de abordar cada necesidad indicada anteriormente, queremos hacer notar de que no existe una definición generalmente aceptada para las competencias (Rychen, 2001), no hay acuerdo sobre la manera de describirlas. El término competencias se deriva del término competencia, que en el mundo del trabajo significa que una persona ha alcanzado cierto nivel de experiencia en multifacéticas habilidades que son necesarias para tener éxito en un campo determinado. Diferentes marcos de referencia, sin embargo, señalan cómo las competencias son concebidas y operacionalizadas (Weinert, 2001). En educación, por ejemplo, algunas competencias consideran incluir las habilidades y conocimientos especializados mientras que otros incluyen también las actitudes o disposiciones (Blanton, 1992; Gettinger, Stoiber, Goetz, y Caspe, 1999). A pesar de la falta de acuerdo, la mayoría de las taxonomías sobre competencias se centran en " sistemas de acción complejos que abarcan no sólo conocimientos, sino también estrategias y rutinas para la adecuada aplicación de estos conocimientos y habilidades, así como las emociones apropiadas y actitudes y la autorregulación efectiva de estas competencias "(Rychen, 2001, p. 8). En consecuencia, elegimos utilizar un enfoque de competencias que incluye conocimientos, habilidades y disposiciones que los evaluadores de programa necesitan para ser eficaces y profesionales. También elegimos describir las competencias en lenguaje conductual (en la medida de lo posible), describiendo "las cosas que puedes ver o escuchar siendo hechas " (Green, 1999, p. 7). Por lo tanto, las competencias predominantemente describen varias actividades que los evaluadores llevan a cabo para alcanzar los estándares que constituyen una evaluación adecuada (Por ejemplo, las normas del Programa de evaluación, del Comité Mixto de Normas para la Evaluación Educativa, 1994). Es importante señalar, sin embargo, usar un lenguaje comportamental no es el mismo que adoptar un enfoque de comportamiento para el desarrollo de las competencias, ya que éste tiende a analizar tareas en forma de comportamientos discretos en lugar de considerar el resultado como un todo funcional. (McAllister, 1998)

Necesidad de un Formato accesible para el usuario

La taxonomía publicada anteriormente se organizó en un esquema de tres niveles (ver King y col., 2001). El primer nivel designó cuatro dominios generales, el segundo nivel identificó las



categorías principales dentro de cada dominio, y el tercer nivel los temas específicos que figuran en cada categoría. Este esquema de clasificación en tres niveles fue establecido por MACR para la validación del proceso en el estudio original, pero resultó difícil ponerlo en práctica. Por ejemplo, muchos individuos encuentran a los niveles de dominio ser tan generales que no traen a la mente de inmediato las competencias que figuran en cada uno (los cuatro dominios fueron: I. Investigación sistemática, II. Práctica de evaluación competente, III. Habilidades Generales para la Práctica de Evaluación, y IV. Profesionalización en Evaluación. El esquema multinivel también dio lugar a un sistema de numeración engorroso que utilizó números romanos para los Dominios, letras del alfabeto para las categorías y números arábigos para los artículos (ilustrado de la siguiente manera: dominio IV. Evaluación de la Práctica categoría IVE. Desarrollo Profesional, ítem IVE4. Actualización personal en el campo de la evaluación). Aunque metódico, este sistema numérico escalonado dificulta a los individuos recordar rápidamente, así como analizar las competencias.



Tabla 1 Taxonomía de Competencias esenciales para Evaluadores de Programa



King, Stevahn, Ghere, & Minnerna (2001)

Competenciasesenciales

p/ evaluadoresde programa

Comité mixto AEA Sociedad canadiense De Normas Principios de Evaluación p/ programa de Guía de habilidad esencial Evaluación(1994) (1995) Series (1999)



[VIVCÍVDÍVBIVB1

IVB2

IVB3

IIB1 ÍB5

IA3 IA4 IC3 14A

I4A

IB3

fB4

IC2IC4

1.0 Práctica Profesional1.1 Aplica las normas de evaluación

1.2 Actúa éticamente y con integridad y honestidad en la realización de evaluaciones

1.3 Transmite la evaluación y se acerca y habilitaa clientes potenciales

1.4 Respeta a clientes, encuestados, participantes,y otros interesados

1.5 Considera el bienestar general y público en la práctica de la evaluación

1.6 Contribuye al conocimiento base de la evaluación

2.0 Investigación Sistemática2.1 Comprende y conoce las bases de la evaluación

(términos, conceptos, teorías, hipotesis)

2.2 Conoce los métodos cuantitativos

2.3 Conoce los métodos cualitativos

2.4 Conoce los métodos mixtos

2.5 Dirige revisiones de la literatura2.6 Revisa la teoría del programa

2.7 Formula preguntas de evaluación

2.8 Desarrolla diseños de evaluación

2.9 Identifica las datos2.10 Recaba datos

2.11 Evalúa la validez de los datos

2.12 Evalúa la confiabilidad de los datos

AI2 D.l Ninguna

Pl C 1.1

P2 C.lP3 C.2P4 C.3P5 C.4Pó C.5P7 C.6P8 C.7 D.l

P5 C.5 1.1AllP3 D NingunaR4_ D.l D.2

D.3D.5

Ninguna D.4 EE.2 E.3E.5

4.i

Ninguna Ninguna Ninguna

None A.2 1.a

A.3 l.b l.c l.d

A9 A.2 A.3

4.f

A8 A.2 A.3

. 4.f

Ninguna A.2 A.3

Ninguna

Ninguna Ninguna NingunaNinguna Ninguna 2.e

2.¡ "

_ • .4.a•U3" A.2 E Le

A3 A.l l.fA4 A.2 2.eA5 4.dA6A4 Ninguna NingunaA5 A.l 3.dA6 4.cA 7A5 A.l 4.eA7A6 A.l 4.cA7 -


Tabla 1 (continuación)

King, Stevahn, Ghere, & Minnema <2001)

IC5

IC6

IB6

IB7

II IA

1C7

IIIA

IB8

IIB

IIA

IIB 3

UB4IIB5

Comité mixto AEA Sociedad C.Normas Principios d Evaluacion

p/programa Guía De habilidadesEvaluación (1994) (1995) Series (1999)

A7 A.! l.h

A8A9U4 A.3 l.h

A10U4 Ninguna NingunaA!0Ninguna Ninguna NingunaA10 A.2 NingunaU5 A.3 l.hP6 E.3 4-JAl1

A12 A.2 Ninguna

2.20 Conduce meta-evaluaciones

3.0 Analiza la situación

3.1 Describe el programa3.2 Determina la viabilidad del programa 3.3 Identifica los intereses de la parte interesada

3.4 Proporciona información necesaria a futuros usuarios

3.5 Orienta los conflictos

3.6 Examina el contexto organizacional de la evaluación

3.7 Analiza las consideraciones políticas para la evaluación

3.8 Atiende los asuntos del uso de la evaluación

3.9 Atiende los asuntos del cambio organizacional

3.10 Respeta la singularidad del cliente P4

Competencias esenciales para evaluadores de

programa

2.13 Analiza los datos

2.14 Interpreta los datos

2.15 Hace juicios

2.16 Formula recomendaciones

2.17 Justifica las decisiones en toda laevaluación

2.18 Informa el procedimiento y los resultados

2.19 Señala fortalezas y limitaciones de la evaluación

Ninguna

AlNingunaUl

UI U3 VI Pl P7

A2

F2

F2

NingunaNingunaE.lC.lC.3

2.hNinguna 2.a

2.d

2.f

2-g

Ninguna

Ninguna

Ninguna

C.4 E.4E.2

C.3

E.l

E.2

Ninguna

U7

F2l.k 4,k 3.c 3-g 3.h Ninguna

'Ninguna

Ninguna

D.3 D.5 E.lC.2

3.

11 Mantiene apertura a otras influencias 3.12 Modifica el estudio según sea necesari Ninguna

Ninguna

IIC IICI

1IC3

4.0 Administra proyectos4.1 Responde a las propuestas solicitadas4.2 Negocia con el cliente antes que la evaluación comience

4.3 Escribe acuerdos formales 4.4 Se comunica con el cliente durante la evaluación

4.5 Presupuesta una evaluación

4.6 Justifica la necesidad de determinados costos

4.7 Ninguna P2

P2U5 L'6 P6

F3P8F3P8

B.2 C.l A.2

NingunaA.3C.lC.2C.5C.6C.l

C.1

Ninguna2.a2.d2.fNingunaI .il-j2.d

1.g

1.g

Tabla 1 (continuación)

King, Stevahn, Ghcre, & Minnema (2001)

Competenciasesenciales

p/ evaluadoresde programa

Comité MixtoDe Normas

p/programa deevaluación(1994)

AEAPrincipios

Guía(1995)

Sociedad CanadienseDe Evaluacion

De habilidadesSeries (1999)

IIC4 4.7 Identifica los recursos necesarios para evaluación; Ningunainformación, experiencia, personal, instrumentos

[IIE 4.8 Utiliza la tecnología apropiada NingunaUC5 4.9 Supervisa otros involucrados en la evaluación NingunaIIC6 4.10 Capacita otros involucrados en la evaluación NingunaIIC7 4.11 Realiza la evaluación de manera ininterrumpida FIIIC8 4.12 Presenta el trabajo de manera oportuna U6

B.lB.2NingunaNingunaNingunaNingunaNinguna

Ninguna

Ninguna Ninguna Ninguna Ninguna Ninguna

IVA

IVE1IVE2IVE IVE4IVEIVE5 IVE3

IIID UIB

IIIC

U1D1 IIID2

IIID3IIID4IIID5

- 1IID6

Práctica Reflexiva Es consciente de si como evaluador (conocimiento, habilidades, disposiciones) Reflexiona sobre su práctica personal (competenciasy áreas de crecimiento) Persigue el desarrollo profesional en evaluación

5.3

5.4 Persigue el desarrollo profesional in áreas relevantes 5.5 Establece relaciones profesionales para mejorar la práctica6.0 Competencia Interpersonal6.1 Utiliza las habilidades de comunicación escrita

6.2 Utiliza habilidades de comunicación verbal y de escucha

6.3 Utiliza habilidades de negociación

6.4 Utiliza habilidades de resolución de conflicto

6.5 Facilita relaciones interpersonales constructivas (trabajo en equipo, integración grupal, procesamiento del grupo) -

6.6- Demuestra competencia multicultural

U2

Ninguna

NingunaN

inguna

Ninguna

U5

P4

P4 P7 P4 P7 F2 Ning

B.l B.2 B.3

B.3

Ninguna

B.3

A.3 C.l C.2 C.3 C.4 C.5 C.6 E.3 A.3 C.l C.2 C.3 C.4 C.5 C.6 E.3 C.l

E.4

D.5 E.l

Ninguna

Ninguna

Ninguna

Ninguna

Ninguna

4j

4j

Ninguna

Ninguna

l.i 2.d

5.0 5.1

5.2

La taxonomía revisada y presentadas en la Tabla 1 muestra un esquema de clasificación más simple que el original que organiza las competencias en seis categorías diferentes, a saber, (a) práctica profesional), (b) investigación sistemática, (c) análisis situacional, (d) gestión de proyectos, (e) la práctica reflexiva, y (f) competencias interpersonales, cada uno de los cuales identifica más claramente las competencias específicas que contiene. Competencias en la Práctica profesional se centran en las normas y valores fundamentales subyacentes de la práctica en la evaluación, como sujetarse a las normas y a la ética. Las Competencias en la investigación sistemática se orientan en aspectos más técnicos de la práctica de evaluación, tales como el diseño, la recopilación de datos, análisis, interpretación y presentación de informes. Competencias en Análisis situacional se enfocan en el análisis y atención a las particularidades, los problemas y las circunstancias del contexto respecto a una evaluación determinada. Las competencias de gestión de proyectos se centran en las habilidades para la realización de la evaluación, tales como el presupuesto, la coordinación de recursos, y la supervisión de los procedimientos. Las competencias en la práctica reflexiva se centran en la conciencia del experto en evaluación y la necesidad de crecimiento, incluyendo el conocimiento de sí mismo como evaluador, evaluar las necesidades personales para mejorar su práctica, y comprometerse en su desarrollo profesional hacia ese objetivo. La competencia interpersonal se centra en las habilidades que se utilizan para realizar estudios de evaluación, tales como la comunicación, negociación, manejo de conflictos, colaboración, y habilidades transculturales.

Cuando se presenta en forma lineal, la secuencia de estas seis categorías de competencias esenciales se expone la importancia en primer lugar de las bases de todos las programas de evaluación sobre normas, valores y criterios que sustentan el tema; lo siguiente es la experiencia en el ejercicio de la investigación técnica, del análisis situacional, y de las habilidades para la gestión de proyectos en planeación y conducción de la evaluación, seguido del pensamiento continuo y el esfuerzo para mejorar la propia práctica profesional. Por último, aunque es difícil imaginar un programa efectivo de evaluación sin incluir la competencia interpersonal, esa categoría es señalada al final porque la necesidad de gente eficaz no es exclusiva del ámbito de la evaluación, sino que tales habilidades son integradas a una práctica efectiva generalizada a numerosas disciplinas. A pesar de la explicación arriba planteada para ordenar estas categorías de competencias, pensamos que la representación visual en un diagrama de Venn de seis círculos que se interceptan reflejaría más apropiadamente su interconexión, como actualmente se lleva a cabo en la práctica de la evaluación.

Necesidad de una Comparación Cotejada

Cualquier taxonomía exhaustiva de competencias del evaluador ciertamente debe especificar lo que sin duda los evaluadores necesitan, que reúna las normas eficazmente, que se incorpore a los principios, o que aplique las directrices aprobadas por las asociaciones profesionales de evaluación. Por lo tanto, identificamos a las asociaciones en América del Norte, que avalan normas, principios o directrices en contra que nos pueden llevar a realizar una comparación cotejada. Hemos delimitado para el cotejo incluir solo aquellas directrices desarrolladas por organizaciones cuya función primaria sea

promover la práctica profesional de programas de evaluación en general. Se excluyeron los estándares de evaluación o de competencias adoptadas por organizaciones que tienen un enfoque de evaluación más estrecho (por ejemplo, Competencias Profesionales de la Asociación de Consultores de Investigación Cualitativa, 2003) y de aquellos que utilizan la evaluación para cumplir otras responsabilidades (por ejemplo, Normas de Evaluación del Consejo del Tesoro de Canadá, 2001; o Competencias y Responsabilidades de la Comisión Nacional para la Credencialización de Educación de la Salud, 1996).

Tres series de directrices para evaluación de programa surgieron de la comparación cotejada: (a) El Programa de Normas de Evaluación aprobado por el Comité Mixto de Normas para la Evaluación Educativa (1994), los Principios Rectores para Evaluadores aprobada por la AEA (1995), y las Series de Habilidades esenciales en Evaluación aprobado por la Sociedad Canadiense de Evaluación (1999). Cotejando estos tres conjuntos de pautas de evaluación con la taxonomía propuesta de competencias esenciales de evaluador de King y col. (2001) se dio el primer paso hacia la comparación final que aparece en la Tabla 1. Nuestros pasos y decisiones para la preparación del cotejo inicial fueron los siguientes:

1. Cada autor individualmente determinó cuales de las competencias esenciales abordaban las normas respectivas, principios, o habilidades en las otras tres directrices.

2. Los propósitos centrales (o los principios básicos) de cada apartado se utilizó para el cotejo, más que palabras específicas o frases sacadas de contexto. Por ejemplo, subnormas en cada una de las cuatro normas principales en el Programa de Normas de Evaluación, subprincipios de los cinco principios importantes en los principios rectores, y subdestrezas en los cuatro principales clasificaciones de la Serie Habilidades Esenciales (cuales ordenamos secuencialmente a, b, c, d , e, etc) fueron interpretadas en el contexto de la categoría principal en el que fueron clasificados. El principal objetivo de cada norma, principio o habilidad, y el lenguaje utilizado para expresarlo, tenía que estar alineado con el propósito principal de la competencia esencial específica al cual estuvo cotejada. Debido a que las rúbricas de los principios rectores incluían una leyenda explicativa, en algunos casos era apropiado cotejar esos encabezados separarlos y apartarlos de sus subprincipios.

3. El consenso entre los cuatro autores era necesario. Cuando los desacuerdos persistían, se debatían a fondo las diversas interpretaciones, luego, se aplicaba sistemáticamente la regla de segunda decisión (detallado más arriba) para llegar a un consenso total.

Llevar a cabo el contraste inicial demostró su utilidad para diversos fines. En primer lugar, facilitó una validación adicional de la serie inicial de las competencias esenciales de King y col. (2001) al mostrar coincidencias considerables entre las competencias y las directrices de otros (es decir, 62 de las 69 del competencias esenciales de King tenían al menos una norma, principio, o habilidad compatible). En segundo lugar, proporcionó un método alternativo útil para la determinación sistemática de las competencias esenciales, distinto de (pero también útil) el más comúnmente usado "panel de expertos" método que se basa en la experiencia personal y el juicio profesional. Por último, puso de manifiesto las deficiencias de la taxonomía de King y col. , señalando las competencias adicionales necesarias para el logro de ciertas pautas de evaluación ampliamente reconocidas como importantes por las asociaciones nacionales de evaluación.

La taxonomía revisada de las competencias esenciales para evaluadores de programa en el cuadro 1 amplía la taxonomía de King y col. (2001) mediante la inclusión de nuevos conocimientos, habilidades, o disposiciones que los evaluadores necesitan tanto para realizar como para producir el tipo de evaluaciones especificadas por las normas, principios y directrices aprobadas por las asociaciones de evaluación de renombre en Norte América. Después de completar la revisión, se elaboró una segunda comparación (mostrada en la Tabla 1) utilizando el mismo procedimiento de consenso y decisión de reglas descrito anteriormente. Una vez más, se encontraron coincidencias importantes entre la taxonomía revisada de competencias y directrices aprobadas por las principales asociaciones de evaluación (es decir, 53 de las 61 competencias clasificadas en las seis principales categorías tuvieron por lo menos una coincidencia con alguna norma, principio, o habilidad). En la siguiente sección, se identifican las competencias adicionales en la taxonomía revisada y se exponen las razones de su inclusión.

Necesidad de competencias adicionales

El cotejo inicial que comparó la taxonomía de las competencias esenciales de evaluador de King y col. (2001) con las normas, principios y conocimientos aprobadas por asociaciones de evaluación de renombre en Norte América (descrito anteriormente) reveló la necesidad de hacer las competencias esenciales más amplias. En primer lugar, se revisó el cotejo inicial para identificar qué elementos de las demás directrices no fueron abordados en la serie inicial de las competencias esenciales de King y col. Después deliberamos sobre lo central de estos elementos a lo largo de la evaluación del programa, llegando a un consenso sobre el grado en que creíamos esos temas fueron significativos, a continuación, desarrollamos competencias adicionales para apoyar aquellos elementos que acordamos eran importantes. La Tabla 1 presenta la taxonomía revisada de las competencias esenciales para evaluadores de programa conteniendo 13 competencias adicionales. Una adición, a la categoría principal (5,0 Práctica Reflexiva), resultado de la reorganización de las competencias de King y col. en su formato actual de fácil manejo. Los otros 12 añadidos que resultaron de la necesidad de elaborar nuevas dimensiones críticas de las seis clasificaciones de categorías principales. Estas adiciones son los siguientes:

2.6 Especifica la teoría del programa2.11 Evalúa la validez de los datos2.12 Evalúa la confiabilidad de los datos3.1 Describe el programa .3.2 Determina la viabilidad del método de evaluación del programa3.3 Identifica los intereses de las partes interesadas3.5 Busca solucionar los conflictos3.6 Examina el contexto organizacional de la evaluación3.8 Atiende las cuestiones de los usos de la evaluación 4.2 Negocia con los clientes antes que la evaluación inicie4.4 Se comunica con los clientes durante el proceso de evaluación 4.6 Justifica el costo de las necesidades de información dadas

Además, 10 competencias de King y col. (2001) no aparecen en la Tabla 1. Esas competencias se observan en la Tabla 2, junto con las explicaciones de su omisión. En concreto, en King y col., varios Dominios generales (II y III) y categorías principales (IA, IB y IC) se convirtieron innecesarios en el formato accesible revisado. Diversos artículos

sobre las competencias también fueron omitidos debido a que concernían a investigación en vez de la evaluación (IA1 IA2 y), exclusivamente centrada en las necesidades evaluación, sin especificar otros tipos de estudios (IB2), o demasiado amplia centrada en la habilidad de gestión, sin especificar otras características personales (IIC9). Por último, también se omite la competencia de "pensamiento lógico y crítico" (IIIA) de King et al., porque tal pensamiento es un componente integral subyacentes prácticamente de todas las otras competencias, especialmente aquellas que requieren directamente la determinación de fortalezas y limitaciones de los estudios, proporcionando razones para toma de decisiones, sopesar alternativas, haciendo juicios razonados, y así sucesivamente (véase, por ejemplo, la Tabla 1 , las competencias 2,17 y 2,19). Esto estaba en contraste con las habilidades de comunicación verbal y escrita que se pueden enseñar de manera independiente, de ahí que siguen siendo competencias separadas.

Necesidad de una precisión dentro de cada competencia

El esfuerzo por una taxonomía exhaustiva de competencias esenciales para evaluadores de programa también nos llevó a repensar las competencias de King y col. (2001) que incluyó a más de un elemento descriptivo. Por ejemplo, el elemento IA4 de la taxonomía original incorporó a tres descriptores, refiriéndose a las competencias en términos cuantitativos, cualitativos y métodos mixtos. Un elemento que incorpora múltiples descriptores puede arriesgar la futura utilidad de la taxonomía como una herramienta para la auto-evaluación dado que un evaluador puede poseer diferentes niveles de aptitudes en cada indicador dentro de ese elemento. Por lo tanto, siempre que fue posible, se separaron múltiples indicadores contenidos en artículos iguales, presentado cada uno en una competencia separada en la taxonomía revisada en el Cuadro 1. Por ejemplo, la competencia 2,2 de orientar un conocimiento con métodos cuantitativos, 2,3 orientar con métodos cualitativos los conocimientos y la competencia 2,4 que los orienta con métodos mixtos. En algunos casos, sin embargo, nosotros preferimos mantener múltiples indicadores de una competencia debido a la estrecha y algo inseparable naturaleza de los indicadores (específicamente ver las competencias1.2, 1.3, 1.4, 1.5, 2.18, 2.19, 3.10, 5.2, y 6.2). Por ejemplo, la competencia 1.2 habla de la importancia de actuar con ética y lucha por la integridad y la honestidad en la realización de evaluaciones. El comportamiento ético, la integridad y la honestidad están tan entrelazados que parecía más prudente para incorporar todos estos indicadores en una competencia, en lugar de enumerar cada uno por separado.

Cuadro 2Competencias de King, Stevahn, Ghere, y Minnema (2001)

Omitidas en la Taxonomía Revisada en Cuadro 1

Clasificación OmitidasDescripción Razón de la Omisión

Dominios

Categorías

ítems

II

III

IA

IB

IC

IIIA

IA1

IA2

IB 2

IIC9

Competente en Evaluación PrácticaHabilidades Generales para la Práctica de la Evaluación

Capaz de hacer actividades orientadas a la investigación

Capaz de hacer actividades orientadas a evaluar

Capaz de hacer actividades comunes a la investigación y evaluación

Habilidades de pensamiento lógico y critico

Encuadrar las preguntas de investigación

Diseño de la investigación

Evaluación de Necesidades

Capaz de manejar el estrés durante un proyecto

Este amplio dominio no es necesario en la taxonomía revisada que reorganiza las com-petencias en seis clasificaciones específicas.Este amplio dominio no es necesario en la taxonomía revisada que reorganiza las com-petencias en seis clasificaciones específicas.Esta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisadaEsta categoría no es necesaria porque se aplica a través de toda la taxonomía revisada.Esta categoría no es necesaria ya que la taxonomía se aplica a la práctica de la evaluación (no de investigación).Esta categoría separada no es necesaria porque el pensamiento crítico subyace a todas las competencias de la taxonomía revisada.Esta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisadaEsta categoría pertenece a la investigación (no evaluación) por lo tanto no se aplica a la taxonomía revisadaEste punto se omite porque la taxonomía revisada no especifica tipos particulares de estudios; en su lugar las evaluaciones deben dirigir las preguntas (como indica la Tabla 1, competencias 2.7 and 2.8).Este punto es demasiado abierto y sería más apropiado si es subsumido por competencias 5.1 and 5.2 de la Tabla 1.

Maestría en Educación Superior, FFyL, BUAPTraducción: Lic. Alejandro Jara Lezama

Necesidad de contar ahora con una taxonomía revisada

Creemos que el objetivo último de cualquier taxonomía útil y completa de competencias para evaluadores de programa debe ser su validación amplia y generalizada y aprobada por profesionales del área. Siendo realistas, se trata de una tarea a largo plazo. Varios pasos en el proceso incluyen la revisión de la literatura en la evaluación de programas, formulación de taxonomías iniciales, que pueden fusionarse en una sola, establecer la validez de la confrontación, buscar información diversa para la revisión, determinar las estrategias de validación, explora las normas de validación en diferentes regiones geográficas o sectores concretos de la práctica, perseguir la validación generalizada en todo el campo de la práctica profesional, revisar y refinar cualquier acuerdo sobre taxonomía en vista de nuevos desarrollos en campo, y así sucesivamente. La taxonomía de las competencias esenciales para los evaluadores de programa en este artículo representa nuestro progreso en este recorrido de largo plazo, que inició en 1998 y fue el primero en reportarse en King y col. (2001).

Aunque algunos pueden argumentar que es prematuro presentar la taxonomía revisada de las competencias esenciales en la Tabla 1, antes de su validación formal en el campo a largo plazo, creemos que ponerla ahora a disposición es un paso intermedio útil. Hacerlo así, fomenta el tipo de discusión continuada y crítica necesaria para determinar el grado en que un amplio consenso de una serie común de competencias puede lograrse por evaluadores de programa quienes tienen papeles específicos y trabajan en diversas situaciones. De hecho, creemos que este conjunto de competencias beneficiarían a evaluadores de programa de múltiples maneras, especialmente (como se señaló anteriormente), estableciendo una fundación en la que se promueva y mejore la formación, mejore la práctica reflexiva, avance en la investigación en evaluación, y fomente la profesionalización del área. Sin embargo, ofrecer el fundamento para avanzar en la discusión parece prudente, dado el interés recurrente en el tema durante la última década. Tal interés no sólo ha sido evidente en la literatura (véase, por ejemplo, Altschuld, 1995, 1999, Fitzpatrick et al., 2004; Mertens, 1994; Patton, 2001; Smith, 1999) y en las reuniones de las asociaciones de evaluación profesional (véase , por ejemplo, Altschuld y Bickman, 1998; Covert, 1992; King, Minnema, Ghere, y Stevahn, 1998; King, Stevahn, Ghere, y Minnema, 1999; Smith, 1998), pero además es un foco de atención dentro de las organizaciones actuales que están trabajando para establecer series de competencias profesionales importantes para la evaluación del programa (véase, por ejemplo, Consejo de enlace entre la universidad y Práctica de Salud Pública, s / f; Junta Internacional de Normas para la Formación, Actuación, e Instrucción, 2003; también del editor DF Russ-Eft, Desarrollo de Recursos Humanos que aparece cuatrimestral, comunicación personal, 30 de junio de 2004). En suma, encontramos que la taxonomía en la Tabla 1 representa una útil herramienta profesional de desarrollo en los programas que facilita. En su forma actual, la taxonomía sirve como plataforma para participar de manera significativa en la reflexión de evaluadores, auto-análisis y discusión en grupo sobre una amplia gama de conocimientos, habilidades y disposiciones relacionadas con la práctica.

Iniciativas futuras

Dos actividades principales son necesarias para consolidar una taxonomía de las competencias esenciales para evaluador de programa para su uso generalizado. La primera es llevar a cabo sistemáticamente un estudio y validación integral para determinar el grado en que los evaluadores de programa en todo el campo puedan lograr un consenso sobre la importancia de una serie de competencias esenciales para la práctica profesional. Al hacerlo, se requerirá incluir una amplia muestra representativa de evaluadores en el proceso de validación que representen las diversas funciones de la evaluación, orientaciones e intereses- más parecidos a los integrantes de las organizaciones tales como la AEA, una organización bien posicionada para continuar el desarrollo de competencias y su aprobación en el futuro. También será necesario definir los términos para promover la coherencia en el significado y la comprensión consensada. Actualmente estamos preparando un



glosario de términos utilizados en la taxonomía revisada en el cuadro 1, una muestra de lo que aparece en el cuadro 3.

La segunda actividad consistirá en la construcción de rúbricas descriptivas para las competencias esenciales de evaluador que especifiquen diversos niveles de ejecución de las aptitudes. De manera más inmediata, como una herramienta que prueba la utilidad de la auto-evaluación de las habilidades de uno como evaluador, de ese modo además esclarece las áreas de desarrollo profesional. Así mismo, tales rubricas podrían ser aplicadas inmediatamente en programas de evaluación de programas de formación para evaluar el progreso formativo o sumativo. Por último, a largo plazo, las rúbricas serían útiles en cualquier certificación de credenciales u otorgamiento de licencias que puedan darle seguimiento las organizaciones específicas o el campo en general.

Cuadro 3Glosario muestra de términos seleccionados en la Taxonomía revisada en cuadro 1

Términos Definición

Conflicto Cuando los intereses incompatibles y / o acciones se producen entre los seres humanos Comportamiento

ético Las acciones que encarnan los ideales aceptados que rigen la conducta de una profesión

Enfoque de la evaluación

Una orientación general hacia la realización de una evaluación útil de los programas para abordar cuestiones concretas, por ejemplo, orientado al consumidor, orientada a objetivos, orientada a la gestión , u orientada a los participantes direccionan la evaluación, por nombrar algunos

Diseño de la evaluación

Especifica las preguntas de evaluación, fuentes de datos, recopilación de datos y métodos de análisis, y los procedimientos para llevar a cabo un estudio de evaluación y comunicación de resultados, un plan para llevar a cabo una evaluación

Normas de evaluación

Las normas o principios de Evaluación aprobadas por asociaciones nacionales de evaluación y ampliamente aceptados en el campo, por ejemplo, el Comité Conjunto del Programa de Normas de Evaluación, la Asociación Americana de Evaluación principios rectores para los evaluadores'''

Honestidad No hay engaño, se caracteriza por la integridadIntegridad La adhesión a un código de conducta éticaMetaevaluación Evaluación de un estudio de evaluación del programaMétodos mixtos Utilizando métodos tanto cuantitativos como cualitativos de recopilación de datos y métodos de análisis para

abordar preguntas de evaluación

Teoría del programa Un modelo lógico del programa a veces se denomina la teoría de un programa de cambio; supuestos subyacentes de la eficacia de un programa; explicación de los mecanismos que se presume hacen un programa efectivo

Tal como las normas de evaluación proveen orientación para la toma de decisiones al llevar a cabo estudios de evaluación de programas, las competencias de evaluador que especifican los conocimientos, las habilidades y las disposiciones fundamentales para llevar a cabo eficazmente esas normas tienen la capacidad de seguir aumentando la efectividad de los esfuerzos de evaluación. Inspirados en el espíritu de se puede hacer en la evaluación, creemos que continuar trabajando hacia un acuerdo sobre la serie de competencias fundamentales para la práctica efectiva es fundamental para el avance de esta área. Aunque algunos pueden cuestionar la conducta básica subyacente implícita en cualquier serie de competencias, cada vez vemos más un creciente interés y trabajo en esta área. Por ejemplo, en profesiones distintas a la evaluación, tales como cuidado de la salud y la educación, vemos que las competencias de evaluador encajan en calificar la acreditación y otorgar la credencialización (ver la Comisión Nacional para la credencialización de la Educación en Salud, (1996) Responsabilidades y competencias o el Consejo Nacional para la acreditación de Formación de Personal Docente (2002) Normas profesionales para la acreditación de Escuelas, Universidades y Departamentos de Educación). Vemos que también las asociaciones nacionales de evaluación, tales como la Sociedad Japonesa de Evaluación que examina la viabilidad de los sistemas de acreditación que necesariamente requieren la identificación de habilidades de evaluador deseadas (ver Nagao, 2003). Para afrontar las cuestiones de competencia hacia la mejora continua en la práctica de la evaluación de programa, le ofrecemos la taxonomía revisada de las competencias esenciales para evaluadores de programa esperando sea de utilidad. Además esperamos que proporcione significados sustanciales para abastecer la discusión crítica rigurosa y permanente entre los evaluadores de programa que buscan profesionalizar más el área.



Nota del traductor:Descriptor no es una palabra que refleje lo que quiere significar, en su lugar se utilizó indicador.


las normas del programa de evaluación€¦ · web viewalthough methodical, this tiered numbering...

Documents