validez en evaluación educativa: conceptos actuales · 250 pom en total contenidoacumulado del...

Validez en EvaluaciónEducativa: Conceptos actuales

Steven M. Downing, PhDDepartment of Medical Education

University of Illinois at Chicagosdowning@uic.edu

Traducido y adaptado porMelchor Sánchez Mendiola

melchorsm@unam.mx

“El uso indiscriminado de un término no sería grave si las palabras no

fueran un instrumento para analizar la realidad. Pero lo son. Sus

significados indican senderos abiertos en las cosas, que las hacen

transitables”.

José Antonio Marina Torres

¿Qué significan estos números?8055479994396871795688938688

¿Qué significan estos números?8055479994396871795688938688

¿Cómo interpretarapropiadamente estosnúmeros?

Hay que responder varias preguntas paraentender lo quesignifican.

¡Necesitamos másinformación!

¿Qué significan estos números?8055479994396871795688938688

¿En qué escala están? ¿Son puntuaciones de un examen?

• ¿Número de aciertos?• ¿Porcentaje de aciertos?• ¿Categorías o rangos?• ¿Puntuaciones estandarizadas?• ¿Percentilas?

¿Puntuaciones de qué examen?• ¿Qué contenido fue explorado?

¿Qué tipo de examen?• ¿Logro cognoscitivo?• ¿Desempeño estandarizado?• ¿Observación de desempeño clínico?

¿Qué significan estos números?8055479994396871795688938688

Información del examen Puntuaciones en el examen Porcentaje de aciertos Examen final de Física 250 POM en total Contenido acumulado del curso Ítems desarrollados por los profesores

• Utilizando un plan de muestreosistemático del contenido

• Muestreo de objetivos instruccionales• Énfasis en niveles cognitivos altos

¿Qué significan estos números?8055479994396871795688938688

¡SE NECESITA MÁS INFORMACIÓN!• ¿Qué tan dignas de confianza son

estas puntuaciones?• ¿Qué tan reproducibles?• ¿Cuál es la dificultad y discriminación

promedio de las POM de la prueba?• ¿Calidad de las POM? ¿Bien escritas, editadas? ¿Basadas en evidencia? ¿Revisión de contenido?

¿Qué significan estos números?8055479994396871795688938688

Aún más información…• ¿Cómo se relacionan estas

puntuaciones con exámenessimilares/diferentes?

• ¿Correlaciones lógicas, esperadas?• ¿Adecuadas a la teoría?• ¿Evidencia de un solo constructo?• ¿Correlaciones inesperadas?

¿Qué significan estos números?8055479994396871795688938688

Y aún hay más… ¿Cuál es el puntaje de pase?, ¿niveles de

desempeño?• ¿Cómo se estableció el punto de corte?• ¿Qué tan defendible es?• ¿Es aceptable?

¿Cuáles son las consecuencias de no aprobar la prueba?• ¿Para los estudiantes?• ¿Profesores?• ¿Escuelas?

¿Qué significan estos números?8055479994396871795688938688

La investigación de validezbusca evidencias, como un

detective

¿Qué significan estos números?8055479994396871795688938688

Validez se refiere a inferencias, interpretacionesy significados asociados con

los datos de evaluación

Validez“Validez es un juicio evaluativo e

integrado, del grado al que la evidenciaempírica y razonamientos teóricos apoyanlo adecuado y apropiado de las inferencias

y acciones basadas en puntuaciones de exámenes y otras formas de evaluación”

Messick, 1989

Validez“Validar una interpretación propuesta o un uso de los puntajes de exámenes es evaluar

las afirmaciones basadas en esaspuntuaciones. La mezcla específica de evidencia necesaria para la validación

depende de las inferencias que se hagan y los supuestos que se utilicen”

Michael Kane, 2006

INFERENCIA, ¡no instrumento!

o “El examen es válido”o “Usamos un

instrumento validado”

o “El instrumento es válido ya que tiene

un alfa de Cronbachalto”

INFERENCIA, ¡no instrumento!

o “El examen es válido”o “Usamos un

instrumento validado”

o “El instrumento es válido ya que tiene

un alfa de Cronbachalto”

Visión clásica de la validez

• La “trinidad” clásica de la validezContenidoRelacionada-a-criterio

• Concurrente• Predictiva

Constructo• Los exámenes eran “válidos” o “inválidos”.• La confiabilidad era un rasgo de las pruebas que

se analizaba por separado.

Panorama actual

• Es necesaria evidencia científica para apoyarla interpretación de las puntuaciones de los exámenes

• Cronbach, Messick, Kane• Standards of Educational & Psychological Testing

(1999, nueva edición 2014)

• La confiabilidad es parte de la validez

Validez• Evidencia científica, uso de teoría e

investigación para explicar la interpretaciónde los puntajes.

• Es la esencia de toda la evaluación en educación– Las evaluaciones adquieren significado sólo a

través de la evidencia de validez– Mediciones en las ciencias sociales: poco o

ningún significado intrínseco

Evolución de los conceptos de Validez

Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.

Evolución de los conceptos de Validez

Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.

Evolución de los conceptos de Validez

Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.

Concepto contemporáneo de Validez

• Toda la validez es validez de constructo• Validez como hipótesis

– Método científico aplicado a las evaluaciones– Teoría, hipótesis, observación, análisis,

resultados, conclusiones: repetir

Principios de Validez

• Investigación de validez: más (menos) evidencia para (contra) usos específicos de los resultados de evaluación– Propósito, intención de la interpretación,

significado– Múltiples fuentes de evidencia– Mientras más altas son las consecuencias de un

examen, se requiere más evidencia

Validez y Ciencia

“Una afirmación merece algún gradode confianza solo cuando ha sobrevivido intentos serios de refutarla”

Lee Cronbach, 1980

Cinco Fuentes de Evidencia

1) Contenido del examen2) Proceso de respuesta3) Estructura interna4) Relación con otras variables 5) Consecuencias del examen

AERA, APA, NCME. Standards for Educational and Psychological Testing, 2014

Contenido del examen• Comprensión del contenido muestreado y su relación con

el dominio• Estudios de validez relacionada con contenido

– Plan de muestreo, tabla de especificaciones, “blueprint”– Muestra representativa de ítems → Dominio– Contenido apropiado para los objetivos instruccionales

• Nivel cognitivo de los ítems• Alinear con objetivos educativos

– Escritores de ítems expertos en contenido– Calidad de los ítems

Procesos de respuesta

• Control de calidad – precisión de las respuestas, manejo de los datos, forma de calificar

• Familiaridad del estudiante con el formato• Validación de la clave de respuestas• Control de calidad del reporte de resultados• Descripción comprensible y precisa de los

resultados

Estructura Interna

• Confiabilidad (examen, evaluadores)• Análisis de reactivos

– Dificultad y discriminación de los ítems– Análisis de las opciones (DNF)

• Error estándar de medición (SEM)• Análisis factorial• Funcionamiento diferencial de ítems (DIF)

Relación con otras variables

• Estudios de validez relacionada al criterio–Correlación entre los puntajes del

examen y otras mediciones–Estudios de convergencia y divergencia

Consecuencias del examen

• Evidencia de los efectos de los exámenes en los estudiantes, las escuelas y la sociedad

• “The Big Picture” (La visión global)• Consecuencias sociales y educativas del examen

• Efectos de aprobar o no el examen– Costos económicos y emocionales del fracaso– Costos a la sociedad de las decisiones falsas positivas y falsas

negativas

• Efectos de la evaluación en la enseñanza y el aprendizaje

Downing S. Med Educ 2006; 40:7-8.

Downing S. Med Educ 2006; 40:7-8.

Los Standards de AERA no mencionan el término.El capítulo de Messick en Educational Measurement solo

dice que se evite lo que llama ¡“face invalidity”!

Confiabilidad – Un aspecto de la validez

• La confiabilidad es un tipo importante de evidencia de validez– Para ser interpretados apropiadamente, es

importante que los datos sean reproducibles– Sin confiabilidad, es difícil que haya validez

• “La confiabilidad es una condición necesaria perono suficiente para la validez”

Validez vs. Confiabilidad

Amenazas a la Validez

• Subrepresentación del contenido (SC)Contenido trivial a nivel de memoria“Enseñando al examen” (teaching to the test)Muy pocos reactivos (muestra pequeña)

• Varianza irrelevante al constructo (VIC)Reactivos elaborados con deficienciasInseguridad, irregularidades (“trampa”)Destreza para exámenes (“testwiseness”)

Downing SM. Adv Health Sci Educ 2002; 7:235-41.

“Los desarrolladores del examen son los candidatos obvios para validar

las afirmaciones que hacen sobre la interpretación de los resultados…”

Brennan RL, Ed. Educational Measurement.National Council on Measurement in Education

4th Ed. 2006

EDUCACIÓN MÉDICA BASADA EN EVIDENCIA

EDUCACIÓN BASADAEN OPINIÓN

EDUCACIÓN BASADAEN EVIDENCIA

Educación Médica Basada en Evidencias: ¿Ser o no ser?Sánchez Mendiola M. Inv Ed Med 2012;1(2):82-89.

http://riem.facmed.unam.mx

www.aera.net/Publications/tabid/10067/Default.aspx

http://onlinelibrary.wiley.com/doi/10.1111/jedm.12000/abstract

Evolución de los conceptos de Validez

Cook DA et al. A contemporary approach to validity arguments:A practical guide to Kane’s framework. Med Educ 2015; 49:560-75.

Beneficios del marco conceptualbasado en argumentación

Enfoca la atención en una amplia gama de temas asociados con la interpretación y el usode los resultados de exámenes.Enfatiza que nos basamos en una serie de

premisas cuando interpretamos resultados, y que necesitamos checar nuestras premisas.Permite interpretaciones y usos alternos de

los resultados de exámenes.