(m) 6. tests de juicio situacional · los caminos claves para la investigación futura. tests de...

18
Artículo Tests de Juicio Situacional: introducción y revisión de la investigación Situational Judgment Tests: introduction and research review FILIP LIEVENS 1 RESUMEN Este artículo tiene dos objetivos principales. El primer objetivo es exponer los detalles prácticos de los tests de juicio situacional (TJS), describiendo qué son los TJS, cuál es su historia, cuáles son las características principales y cómo se desarrollan. El segundo objeti- vo es debatir la creciente evidencia empírica que apoya el uso de los TJS, señalando cuáles son las fortalezas y debilidades empíricas de los TJS. El artículo termina presentando algu- nos de los caminos claves para la investigación futura. ABSTRACT This paper has a twofold aim. Firstly, it will provide an outline of situational judgement tests (SJT), including SJT development and main features. Secondly, empirical evidence supporting the use of the JST will be discussed, showing what their empirical strengths and weakenesses are. Finally, some suggestions are given for future research. PALABRAS CLAVE Test de juicio situacional, Test basado en video, Vali- dez, Impacto adverso, Validez de criterio. KEY WORDS Situational judgment test, Video-based test, Validity, Adverse impact, Validity of critery. Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 93 Revista de Psicología del Trabajo y de las Organizaciones - 2007 Volumen 23, n.º 1 - Págs. 93-110. ISSN: 1576-5962 Fecha de Recepción: 10-10-2006 Fecha de Aceptación: 19-02-2007 1 Ghent University, Bélgica.

Upload: others

Post on 14-Mar-2020

4 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

Artículo

Tests de Juicio Situacional: introducción y revisión de lainvestigación

Situational Judgment Tests: introduction and research review

FILIP LIEVENS1

RESUMEN

Este artículo tiene dos objetivos principales. El primer objetivo es exponer los detallesprácticos de los tests de juicio situacional (TJS), describiendo qué son los TJS, cuál es suhistoria, cuáles son las características principales y cómo se desarrollan. El segundo objeti-vo es debatir la creciente evidencia empírica que apoya el uso de los TJS, señalando cuálesson las fortalezas y debilidades empíricas de los TJS. El artículo termina presentando algu-nos de los caminos claves para la investigación futura.

ABSTRACT

This paper has a twofold aim. Firstly, it will provide an outline of situational judgementtests (SJT), including SJT development and main features. Secondly, empirical evidencesupporting the use of the JST will be discussed, showing what their empirical strengths andweakenesses are. Finally, some suggestions are given for future research.

PALABRAS CLAVE

Test de juicio situacional, Test basado en video, Vali-dez, Impacto adverso, Validez de criterio.

KEY WORDS

Situational judgment test, Video-based test, Validity,Adverse impact, Validity of critery.

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 93

Revista de Psicología del Trabajo y de las Organizaciones - 2007Volumen 23, n.º 1 - Págs. 93-110. ISSN: 1576-5962

Fecha de Recepción: 10-10-2006 Fecha de Aceptación: 19-02-2007

1 Ghent University, Bélgica.

Page 2: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

TESTS DE JUICIO SITUACIONAL:INTRODUCCIÓN Y REVISIÓN DE LA INVESTIGACIÓN

En los últimos años, varios de los clien-tes del Departamento de Reclutamientosolicitaron una información más detalladasobre las competencias interpersonales delos candidatos. En concreto, estas compa-ñías querían disponer de tal informaciónya en la primera etapa de selección. Noobstante, no querían invertir en un costo-so centro de evaluación (assessment cen-ter). Es más, eran muy escépticas con res-peto al uso de los inventarios de persona-lidad del tipo auto-informe. Por tanto, laoficina de reclutamiento estaba buscandodesesperadamente una forma eficiente demedir las competencias interpersonales enlas etapas preeliminares de selección.

Las Fuerzas Armadas de Estados Uni-dos se enfrentaban con el problema de unalto índice de renuncias entre los oficialesrecién empleados. Aparentemente, los ofi-ciales contratados tenían una visión muyidealizada del Ejército como el emplea-dor. Por esa razón, las Fuerzas Armadasquerían incluir en la página web dedicadaal reclutamiento una presentación realistadel trabajo. Así, en la página web se colo-có un test donde a los candidatos poten-ciales a oficiales se les presentaban unassituaciones cortas relacionadas con elliderazgo militar (incluyendo fotos) y seles preguntaba que harían si se enfrenta-sen a ellas. Les fue proporcionado feed-back sobre cada respuesta correcta.

En muchos países, los predictores pre-dictores cognitivos se usan habitualmenteen los exámenes de admisión a las univer-sidades y a los cursos de postgrado. Aun-que estos tests cognitivos son predictoresválidos del rendimiento académico, un

inconveniente es que también presentanun gran impacto adverso. Por esta razón,se están buscando pruebas estandarizadasque amplíen las competencias evaluadas yque puedan ser aplicadas a grandes gru-pos de personas al mismo tiempo.

Estas tres situaciones son solamenteunos ejemplos que podrían ilustrar por quélos tests de juicio situacional (TJS) estánganado cada vez más popularidad en losprocesos de selección de personal en losEstados Unidos (Chan y Schmitt, 2002;Weekle y Jones, 1999). Asimismo, lasinvestigaciones empíricas sobre los TJShan estado floreciendo en los últimosaños. Esto también ha sido demostradocon la publicación del primer libro sobrelos TJS (Weekly y Ployhart, 2006).

A pesar de este desarrollo práctico y dela investigación, los TJS no han tenidogran impacto en la práctica de selecciónde personal en Europa. Una de las razonespodría ser que los profesionales no estánmuy familiarizados con los TJS como pro-cedimiento selectivo (Ryan, McFarland,Baron, y Page, 1999). Otra razón podríaser que los profesionales están familiariza-dos con los TJS, pero son escépticos conrespeto a su efectividad.

Sea cual sea la explicación correcta,hay una clara necesidad de dar a conocerlos TJS a los profesionales en Europa. Poreso, el objetivo de este artículo es doble.Primero, exponer los detalles prácticos delos TJS. ¿Qué son los TJS? ¿Cuál es suhistoria? ¿Cuáles son sus característicasprincipales? ¿Cómo se les desarrolla?Segundo, debatir la creciente evidenciaempírica que apoya el uso de los TJS. Enotras palabras, ¿cuáles son las fortalezas ydebilidades empíricas de los TJS? se ter-minará el artículo presentando algunos de

Tests de juicio situacional: introducción y revisión de la investigación

94 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 3: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

los caminos claves para la investigaciónfutura.

TESTS DE JUICIO SITUACIONAL.INTRODUCCIÓN

Definición y Ejemplos de los TJS

Los TJS son instrumentos que planteana los candidatos situaciones laboraleshipotéticas y muestran las posibles solu-ciones a éstas. Los candidatos tienen quedecidir cuál de las respuestas alternativaselegirían. Los TJS se usan habitualmentepara seleccionar a los individuos, aunquetambién pueden utilizarse para objetivostales como la formación o el desarrollo(Fritzsche, Stagl, Salas, y Burke, 2006).

A continuación se presenta un ejemplode un ítem de un TJS, a saber, uno que fueincluido en un vídeo-TJS para los candi-datos al puesto de enfermería (Weekleyand Jones, 1997, p.38-39): Una auxiliarde enfermería entra en el comedor yobserva al hijo de uno de los pacientesrecién ingresados, que parece estar muytriste. [La escena empieza cuando la auxi-liar de enfermería entra en el comedor yse acerca al hijo del residente.]

Sandy: ¿Señor Andrews? ¿Está ustedbien?

Arnie: [Evidentemente ha estado llo-rando, pero intenta serenarse] Oh, nosé… Esta es una de las cosas más difícilesque he tenido que hacer. Me siento muyculpable de que mi padre esté aquí.

Sandy: Parece que él está bien aquí. Seestá adaptando bien.

Arnie: Pero no está tan cómodo comolo estaba en casa.

Sandy: Me doy cuenta de que es unmomento difícil para usted, pero estoysegura que esto saldrá bien cuando supadre se acostumbre a estar viviendoaquí.

Arnie: No sabía que otra cosa hacer, séque el no podía quedarse más tiempo sólo,pero me siento avergonzado y triste por susituación… (El guión se acaba en estemomento).

Si tú fueras la auxiliar de enfermería,¿qué harías con respecto al hijo del resi-dente?

a) Decirle que personalmente te ocupa-rás de su padre.

b) Presentarle a otros familiares de losresidentes que se enfrentan la mismasituación.

c) Sugerirle que hable con un trabaja-dor social.

d) Darle un poco de privacidad.

Breve historia de los TJS

Los TJS tienen una larga historia. Deacuerdo con Weekle, Ployhart, y Holtz(2006), el primer TJS fue utilizado durantelos exámenes del Servicio Civil deEE.UU. en 1873. Un ejemplo de ítem era:«Un banco le pide asegurar protecciónpara un dispositivo, como una marcaregistrada, que usarán en sus documentos.¿Cómo respondería a esa solicitud? » Haytambién rastros del uso de los TJS durantela Segunda Guerra Mundial. Por ejemploAnsbacher (1941) mencionó que se utili-zaron ítems tales como el mencionado acontinuación: “Tu equipo deportivo está

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 95

Page 4: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

planeando un viaje a Berlín para asistir alpartido de fútbol Alemania-Inglaterra, quetendrá lugar dentro de dos semanas. Tehan confiado todos los preparativos y lagestión del viaje. ¿Qué harías?” (p. 381).En la misma línea, los psicólogos del ejér-cito estadounidense intentaron evaluar eljuicio de los soldados durante la SegundaGuerra Mundial. Estas pruebas de juicioconsistieron en guiones con varias res-puestas alternativas. Las soluciones esta-ban basadas más en la habilidad de cadapersona de recurrir a su sentido común,experiencia y conocimiento general, queen el razonamiento lógico.

En los años 1940, cierto número de TJSfueron desarrollados para medir el poten-cial de supervisión, para medir la habili-dad de los supervisores para funcionarefectivamente en las situaciones querequerían decisiones que implicaban per-sonas, o para medir el conocimiento de lossupervisores y el entendimiento de lasrelaciones humanas en la industria. Afines de los 1950 y a principios de los1960, los TJS eran utilizados por las gran-des organizaciones como parte de la bate-ría de tests selectivos para predecir eléxito directivo.

No obstante, el uso de estos prototiposno fue común hasta que la versión moder-na fue “reinventada” por Motowidlo,Dunette, and Carter (1990). Estos autoresexaminaron el uso de los TJS para selec-cionar a los directivos de primer nivel.Esta medida planteaba a los candidatosuna serie de situaciones laborales descritasde manera verbal y varias alternativas decómo actuar en cada situación. Los candi-datos tenían que elegir la respuesta con laque estarían más y menos de acuerdo encada situación. (Para una revisión másdetallada de la historia de los TJS, véase

McDaniel, Morgeson, Finnegan, Cam-pion, y Braverman, 2001).

Características principales de los TJS

Un análisis de los ejemplos de ítemsmuestra las características comunes de losTJS (véase también McDaniel y Nguyen,2001; Weekley, Ployhart, y Holtz, 2006).Primero, normalmente los TJS no se des-arrollan para medir a priori algunos rasgosespecíficos subyacentes. Esto los diferen-cia de las herramientas de selección mástradicionales, tales como los tests de habi-lidad cognitiva o los inventarios de perso-nalidad. En cambio, los TJS dan unamuestra de la conducta representativa deun área de interés, la cual puede ser unpuesto específico (p. ej. de vendedor).Esto implica también que la consistenciaconductual es la principal base teórica delos TJS. Esto es, la suposición que el ren-dimiento del candidato durante la pruebade selección (TJS) será coherente y portanto será predictivo con respecto a sudesempeño en el puesto.

Como segunda característica común atodos, los TJS plantean a los candidatoslas situaciones relacionadas con el traba-jo. La noción de que las situaciones pre-sentadas están relacionadas con el puestopara el que el candidato está siendo con-siderado, incrementa la relevancia y elrealismo de los ítems de los TJS. No obs-tante, los TJS pueden variar en la fideli-dad o el realismo con el que presentan losestímulos (p. ej. las situaciones). La“fidelidad de la tarea estímulo” se refiereal grado hasta que la forma de la tareaestímulo es coherente con la manera enque se encuentra dicha situación en ellugar de trabajo. En este punto debehacerse una distinción por un lado entre

Tests de juicio situacional: introducción y revisión de la investigación

96 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 5: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

los TJS de papel y lápiz o escritos y losde tipo vídeo o multimedia por otro lado.Teniendo en cuenta lo anterior, un TJS secalifica como un test escrito cuando elguión está presentado en formato escritoy a los candidatos se les pide elegir eindicar una alternativa de respuesta apro-piada en el cuadernillo adjunto al test.Por lo tanto, los TJS de papel y lápiz oescritos tienen una baja fidelidad del estí-mulo. En cambio, un típico test en vídeoconsiste en un número de escenas devideo, cada una de ellas seguida por unapregunta cerrada. Cada escena representauna manera individual de solucionar unasituación típica para un puesto concreto.En el crítico “momento de la verdad”, laescena se acaba y al candidato se le pideque elija entre varias maneras de actuar.Las preguntas y las opciones de respues-tas se presentan de manera visual y seacompañan de una narración. Los TJSmultimedia son básicamente iguales quelos TJS basados en vídeo. La únicaexcepción es que el VCR ya no sirve máscomo medio de comunicación. En sulugar, mediante los CDs o DVDs, se utili-zan fragmentos informatizados de pelícu-las como video-clips cortos. Claramente,los TJS basados en vídeo y multimediapermiten que el contexto del ítem seadescrito detalladamente, aumentado deeste modo la fidelidad del estímulo.

Tercero, los TJS tienen frecuentementeun formato de ítems de respuesta múltiple.Esto significa que los candidatos tienenque elegir una alternativa entre un listadode diferentes opciones de respuesta. Denuevo, estas alternativas de respuesta pue-den ser presentadas bien de forma escrita(baja fidelidad de respuesta) o en vídeo(fiabilidad de respuesta media). En cual-quiera de los casos, no se pide a los candi-datos que demuestren su comportamiento

real. Esta característica diferencia los TJScon respecto a los estímulos de alta fideli-dad, tales como los centros de evaluación(assessment centers) o las muestras de tra-bajo, que dan a los candidatos la posibili-dad de responder de la manera que refleja-ría su comportamiento laboral verdadero,observado y evaluado por unos asesoresentrenados.

Otras modalidades de respuesta a losTJS también merecen atención. En algu-nos casos, la respuesta del candidato a unasituación dada determina la siguientesituación a presentar. Así, los candidatosse enfrentan con las consecuencias de suselecciones. Esto significa que todos candi-datos no responden a los mismos ítems.Estos TJS se llaman “ramificados” o “ani-dados” o “interactivos”. Una posibilidadtecnológica de desarrollar un TJS interac-tivo es inherente a los TJS multimedia quepresentan a un candidato varios fragmen-tos de vídeo en función de las respuestasdel mismo a un fragmento del vídeo ante-rior. Esto permite a los TJS estimular ladinámica de interacción, manteniendo a lavez un cierto grado de estandarización.Además de la ramificación, otra modali-dad de respuesta es que las instruccionessobre las contestaciones alternativas pue-den tener formato con tendencia conduc-tual (“¿Qué es lo que probablemente harí-as?”) o formato de conocimiento (“¿Cuáles la mejor respuesta?”).

Una característica final de los TJS esque la matriz de soluciones (respuestascorrectas) se desarrolla a priori. Esto sig-nifica que no hay asesores o jueces paraevalúar a los candidatos. Por el contrario,los TJS se puntúan de acuerdo con la opi-nión de los especialistas o sobre una baseempírica. Se discutirá esta cuestión a lolargo del apartado siguiente.

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 97

Page 6: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

En conclusión, estas características prin-cipales de los TJS clarifican los paralelis-mos y diferencias entre los TJS y los mejorconocidos tests basados en muestras de tra-bajo, tales como los centros de evaluación(assessment centers). Las similitudes entrelos TJS y los centros de evaluación (assess-ment centers) incluyen que ambos se basanen el principio de la consistencia conduc-tual y los principios de fidelidad psicológi-ca. Además, ambos son métodos basadosen las muestras de trabajo o de conductaque pueden captar una multitud de cons-tructos, incluso cuando no fueron pensadosoriginalmente para medir un constructoespecífico. Las diferencias clave incluyenque los TJS pueden ser aplicados a grandesgrupos y también por Internet, mientras quelos centros de evaluación (assessment cen-ters) se usan habitualmente para muestrasmás pequeñas y en lugar concreto. Como semencionó anteriormente, los centros deevaluación (assessment centers) son unassimulaciones de alta fidelidad debido a quelos asesores observan y evalúan el compor-tamiento real del candidato mientras duradicho comportamiento. En contraste, losTJS son simulaciones de baja fidelidaddebido a que los candidatos deben elegiruna respuesta correcta entre un conjuntolimitado de respuestas predeterminadas.Por consiguiente, la estandarización estácontenida en las características de los TJSporque todos deben responder a las mismassituaciones (con la excepción de los TJSramificados) y la matriz de soluciones sedetermina a priori.

Desarrollo se los TJS

Tal y como describen Motiwidlo ycolaboradores (1990), el desarrollo de losTJS habitualmente sigue tres etapas. Laprimera etapa del desarrollo de un TJS es

un análisis del puesto, durante el cual serecogen incidentes críticos del puesto pro-porcionados por expertos en la materia encuestión (los EMC) (p. ej. ocupantes delpuesto, supervisores, clientes) o, en algu-nos casos, de las fuentes de archivo. Losincidentes críticos son relatos que desta-can los comportamientos excepcionalmen-te buenos o malos en las situaciones quese enfrentan realmente en el puesto. Unavez recogidos los incidentes críticos, elcreador del test los agrupa en las áreas decontenido similar, elige guiones represen-tativos para cada una de estas áreas y losedita para que tengan una longitud y unformato similar.

En el segundo paso, se pide al mismogrupo o a uno diferente de EMC o a ungrupo de los empleados que generen una omás respuestas a cada situación. General-mente, estas personas tienen que indicarque harían ellas con más probabilidad yque actuación creen que sería la mejor.Los EMC son útiles porque deberían sercapaces de identificar las mejores respues-tas y también de generar algunas alternati-vas menos óptimas. Los empleados inex-pertos son útiles porque ofrecen respuestasque representan una amplia gama de efec-tividad (laboral). Después de haber recogi-do las respuestas alternativas, el creadoredita todas las alternativas de respuestasde tal modo que cada ítem disponga de unamplio rango de efectividad (laboral).Habitualmente se mantienen sólo cuatroalternativas de respuesta, aunque esta essólo una regla general.

En el último paso, se desarrolla lamatriz de soluciones. Aunque en la litera-tura que concierne los TJS se discutenvarios métodos de puntuación, aquícomentaremos solamente los enfoques másutilizados: el basado en las opiniones de

Tests de juicio situacional: introducción y revisión de la investigación

98 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 7: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

los expertos y el empírico. Los TJS son amenudo desarrollados racionalmente (p. ej.derivados de las opiniones de los expertos)utilizando el grupo de los EMC o de losempleados excelentes. Estos expertos juz-gan la efectividad de varias respuestas oidentifican las mejores y las peores opcio-nes. Las opciones identificadas como “lasmejores” se puntúan como correctas y lasopciones identificadas como “los peores”se puntúan como incorrectas.

Una posibilidad alternativa de puntuares emplear una matriz de soluciones de-sarrollada empíricamente. Con este fin, seaplica el TJS a una gran muestra piloto. Acontinuación se seleccionan los ítems (olas respuestas alternativas) y/o se ponde-ran según el grado de evidencia de queestos ítems (o las respuestas alternativas)diferencien entre las personas que puntua-ron a diferentes niveles en la variable cri-terio (pe. desempeño en el puesto de tra-bajo). Las opciones de respuestas que fue-ron seleccionadas con relativa frecuenciapor los individuos que demuestran un altorendimiento en el criterio serán puntuadascomo correctas. Las opciones selecciona-das con relativa frecuencia por los indivi-duos de bajo rendimiento serán puntuadascomo incorrectas.

El uso de los EMC en todas las etapasdel proceso de desarrollo de un TJS tienedos ventajas principales. Primero, el rea-lismo de la parte central de cada ítem y delas alternativas de respuesta es más altocuando en el desarrollo participan losEMC además de los creadores del test. Ysegundo, un grupo numeroso de los EMCpuede generar un amplio campo de res-puestas para cada situación dada.

Para ilustrar el desarrollo de los TJS, sedescribirá el proceso de desarrollo de un

TJS en vídeo, que forma parte del Examende Admisión Flamenco para “EstudiosMédicos y Dentales” en Bélgica en 2000(Lievens y Coetsier, 2002; Lievens,Buyse, y Sackett, 2005). El objetivo delTJS original en vídeo era medir otras apti-tudes diferentes de la capacidad cognitiva,como las habilidades interpersonales y decomunicación. Por eso, el TJS consistía enviñetas cortas grabadas en cinta de vídeosobre las situaciones interpersonales cla-ves con las que se encuentran los médicostratando a los pacientes. En el primer pasodel proceso de desarrollo, se recogió unamuestra representativa de los incidentescríticos de médicos expertos y de profeso-res de medicina general. Luego, se exami-nó la literatura relevante y a otro grupo deexpertos (médicos experimentados y pro-fesores de medicina general) se le solicitóaportar ejemplos de comportamientoslaborales eficaces e ineficaces en las situa-ciones correspondientes. A continuación,se escribieron los guiones, que representa-ban palabra por palabra el diálogo de laspartes involucradas. Se examinó el realis-mo de las escenas y, cuando hizo falta, sereescribieron los guiones. Se contrataronactores semiprofesionales y se grabó envídeo su interpretación de los guiones enun estudio de grabación. Para garantizar elrealismo, un médico experto ayudó en elplató. Después, se extrajeron las preguntas(los ítems situacionales) y las respuestas apartir de las actuaciones grabadas en vídeoy de los comportamientos críticos. Y final-mente, se pidió a otro panel de expertosque desarrollase las normas de puntua-ción. Su tarea era leer los guiones, obser-var las actuaciones grabadas en vídeo eindicar de manera independiente la mejorrespuesta para cada una de las preguntas.Los expertos llegaron a un acuerdo satis-factorio y se resolvieron todas las discre-pancias mediante una discusión (p. ej.

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 99

Page 8: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

cambiando la pregunta o una de las alter-nativas de respuesta) para conseguir laregla de puntuación.

PUNTOS FUERTES Y DÉBILES DE LOS TJS. RESUMEN BASADOEN LA INVESTIGACIÓN

Desde que Motowidlo y colaboradores(1990) “reinventaron” los TJS, un númeroconsiderable de estudios ha sido dedicadoal estudio de la efectividad de los mismos.Por consiguiente, tenemos una imagenbastante buena de las fortalezas y debili-dades de los TJS, aunque la evidenciaempírica disponible todavía es menosextensa que con respecto a otros predicto-res tales como los tests de capacidad cog-nitiva y los inventarios de personalidad.En este apartado, se presenta una visióngeneral sobre los beneficios y problemasrelacionados con los TJS, basándose enun extenso resumen de la investigaciónempírica sobre los TJS. La efectividad delos TJS se revisó según los siguientes cri-terios psicométricos “duros” y “blandos”,ampliamente conocidos: validez relacio-nada con el criterio, validez añadida, vali-dez relacionada con el constructo, utili-dad, impacto adverso, percepción de loscandidatos, falseamiento y susceptibilidada los efectos de la práctica y del entrena-miento.

VALIDEZ RELACIONADA CON EL CRITERIO

La pregunta clave en cualquier prácticaselectiva es si el procedimiento selectivoes capaz de predecir los criterios laborales.En este sentido, varios estudios examina-ron si los TJS son buenos predictores deldesempeño en el trabajo. McDaniel y

colaboradores (2001) llevaron a cabo elprimer meta-análisis en el ámbito laboral(basándose en 95 estudios) de la validezde los TJS relacionada con el criterio.Concluyeron que los TJS son buenos pre-dictores del desempeño laboral (ρ=.34 con102 correlaciones). Además, una conside-rable variabilidad en los coeficientes rela-cionados con el criterio encontrada en losestudios sugirió la presencia de los mode-radores. El moderador clave de la validezde los TJS fue la aplicación o no del análi-sis de puesto para desarrollar el TJS. LosTJS basados en el análisis de puesto mos-traron valores de validez más altos conrespecto a los que no estaban basados enal análisis de puesto (.38 frente a .29).Además de la buena validez de los TJS enel ámbito laboral, las investigacionesrecientes también han demostrado que losTJS pueden ser buenos predictores en loscontextos educacionales, como parte delos exámenes de admisión (Lievens ycolaboradores, 2005; Oswald, Schmitt,Gillespie, Ramsay, y Kim, 2004).

Hay tres supuestos generales que expli-can por qué los TJS predicen el desempe-ño laboral (Motowidlo y colaboradores,1990). La primera explicación indica queel mejor predictor del comportamientofuturo es el comportamiento pasado (esdecir, el principio de consistencia conduc-tual). El segundo supuesto, muy relaciona-do, es que los TJS miden las intenciones ymetas de los candidatos (“la teoría delestablecimiento de metas”). La explica-ción final es que los TJS miden construc-tos tales como conocimiento tácito, inteli-gencia práctica, capacidad cognitiva gene-ral o rasgos de personalidad (véase másadelante) que han mostrado ser predictoresdel desempeño laboral importantes, robus-tos o útiles. En la actualidad, existe toda-vía una considerable disputa sobre los

Tests de juicio situacional: introducción y revisión de la investigación

100 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 9: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

mecanismos exactos que vinculan a losTJS con el desempeño laboral.

La cuestión de si los TJS escritos sonmejores predictores del desempeño laboralque los basados en vídeo (multimedia) esmuy interesante. De un lado, los TJS basa-dos en vídeo o multimedia tienen mayorfidelidad debido a que la información quepresentan es más rica y más detallada, loque lleva al mejor encaje con el comporta-miento-criterio tal y como éste ocurre en eltrabajo. Esto debería resultar en una vali-dez de criterio más alta. No obstante, porotra parte, como la capacidad cognitiva esun importante predictor del desempeñolaboral, los TJS basados en vídeo y multi-media pueden tener menos validez ya queno requieren de comprensión de lectura,teniendo así menos carga cognitiva. Y ade-más, estos pueden también introducirinformación contextual irrelevante yaumentar el error dentro de los TJS, resul-tando en una validez más baja. Dos estu-dios intentaron examinar estas afirmacio-nes. Lievens y Sackett (2006) demostraronque el cambio de un TJS basado en vídeopor uno escrito (manteniendo el contenidoinvariable) redujo substancialmente la vali-dez de criterio del test. Además, la versiónescrita tuvo una relación significativamen-te más alta con la capacidad cognitiva. Enotro estudio, Chan y Schmitt (1997)encontraron que los TJS basados en vídeotienen un impacto adverso significativa-mente más bajo con respecto a las personasde raza negra que los TJS escritos. Ade-más, las personas reaccionaron más favo-rablemente a los TJS basados en vídeo.

VALIDEZ AÑADIDA

Aparte de la validez de cada uno de lospredictores, es crucial tanto teórica como

prácticamente examinar la validez predic-tiva de los TJS sobre otros predictoresestablecidos. Desde un punto de vista teó-rico, existe una necesidad de entender silos TJS miden en realidad constructosparecidos o diferentes. Desde un punto devista práctico, el saber si añadir un TJSexplicará una varianza adicional en el cri-terio puede ayudar afinar el proceso deselección. Llamada de manera habitualvalidez añadida, el uso de predictores adi-cionales tiene valor, desde el punto devista de la utilidad, solamente cuandoañade una varianza explicada adicional alcriterio, más allá de aquella que aportaronotros predictores más baratos (Schmidt yHunter, 1998).

Los resultados demuestran que los TJSexplican una varianza adicional en la pre-dicción del desempeño laboral por encimade la capacidad cognitiva, los conocimien-tos de puesto, la experiencia laboral, y losCinco Grandes factores de personalidad(Chan y Schmitt, 2002; Clevenger, Perei-ra, Weichmann, Schmitt, y Schmidt-Har-vey, 2001; McDaniel et al., 2001; Weeklyy Jones, 1997, 1999). Esto significa que elrendimiento futuro del candidato será pre-dicho con más exactitud si una batería detests compuesta por un test de capacidadcognitiva y un inventario de personalidadse complementa con un TJS. Estos resulta-dos fueron reproducidos en los entornoseducativos para predecir el rendimientoacadémico (Lievens et al., 2005; Oswaldet al., 2004).

VALIDEZ RELACIONADA CON EL CONSTRUCTO

A lo largo de los años, varios construc-tos fueron relacionados con los TJS.Según Wagner y Sternberg (1985), el pro-

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 101

Page 10: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

pósito de un TJS es medir algo diferentede la inteligencia académica (capacidadcognitiva). Sugirieron que los TJS miden“conocimiento tácito” o “inteligenciapráctica” (es decir, el conocimiento prácti-co que habitualmente no está expresado odeclarado abiertamente y que tiene que seradquirido en ausencia de la instruccióndirecta). Otras investigaciones no apoyanesta posición y revelan que los TJS estánrelacionados con la capacidad cognitiva.En el meta-análisis de McDaniel y colabo-radores (2001) se encontró que los TJSmuestran una correlación significativamoderada (r=.46) con la capacidad cogni-tiva, aunque detrás de esta estimaciónexiste una variabilidad considerable. Porejemplo los TJS basados en vídeo tuvieronla correlaciones con la capacidad cogniti-va más bajas que los TJS escritos (Wee-kley y Jones, 1997). Otro ejemplo es quelos TJS basados en el análisis de puestoestán habitualmente más relacionados conla capacidad cognitiva general que los queno están basados en el análisis de puesto(.50 frente a .38). Aun así, otros investiga-dores proponen que los TJS son medidasalternativas de conocimiento de puesto, dela experiencia laboral o de las variablesinterpersonales. Por ejemplo, McDaniel yNgyuen (2001) encontraron correlacionesde pequeñas a moderadas entre los TJS yla experiencia laboral y algunos de losCinco Grades Factores de personalidad:Concienciación, Estabilidad Emocional yAmigabilidad (Weekley y Jones, 1999).

Resumiendo, el grado con el que losTJS cubren diferentes constructos parecevariar mucho. Esto no es una sorpresa, yaque los ítems de los TJS pueden referirse aun amplio abanico de situaciones e incluirdiferentes tipos de contenido a los que loscandidatos tienen que estar atentos cuandotoman las decisiones. Además, las res-

puestas a los TJS con opciones múltiplesson resultado de una combinación decapacidad, experiencia y personalidad. Porlo tanto, un TJS se puede conceptuarmejor como un método de medición con elque se puede evaluar una variedad deconocimientos, habilidades y capacidadeslaborales (CHCO) (McDaniel et al., 2001;Weekley y Jones, 1999), que como unmétodo que evalúa cualquier constructo dediferencias particulares individuales. Lanaturaleza multidimensional de los TJStambién se evidencia por el análisis facto-rial de los ítems que éstos contienen. Talinvestigación de los TJS basada en el aná-lisis factorial revela habitualmente unaplétora de factores difíciles de interpretar(Schmitt y Chan, 2006). Por consiguiente,la mayoría de los TJS tienen bajos coefi-cientes de consistencia interna.

UTILIDAD

Una de las críticas a los TJS está rela-cionada con sus altos costes. Evidente-mente, los costes del desarrollo de losTJS son considerables. Una fuente decostes de desarrollo de los TJS provienede la relación de los mismos con un pues-to concreto; lo que requiere la repeticióndel procedimiento de desarrollo para cadauno de los TJS específicos, lo que consu-me mucho tiempo y es costoso. Además,los TJS basados en vídeo y multimediaimplican la creación de los guiones, lacontratación de los actores (semi-)profe-sionales, el rodaje y la edición de estoscortometrajes.

Al contrario que los costes de desarro-llo, los costos de administración de losTJS escritos son bajos. Para los TJS basa-dos en vídeo y multimedia los costesadministrativos son más altos, ya que se

Tests de juicio situacional: introducción y revisión de la investigación

102 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 11: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

tienen que hacer las inversiones tecnológi-cas (VCR, los PC) para administrarlos.

A pesar de estos costes de desarrollo yadministración, se debería tener en cuentaque los TJS (escritos o basados en vídeo)pueden utilizarse para evaluar grandesgrupos de candidatos al mismo tiempo.Esta es una ventaja muy importante res-pecto a las entrevistas y los centros deevaluación (assessment centers). No obs-tante, no se tiene consciencia de ningunainvestigación empírica que haya examina-do la utilidad del uso de los TJS.

IMPACTO ADVERSO

Este problema trata la cuestión de silos TJS son instrumentos imparciales o sigrupos concretos (p. ej. las personas deraza blanca, hombres, y los candidatosjóvenes) obtienen de manera sistemáticaresultados más altos. Algunos estudiosexaminaron los efectos de la raza y delsexo en el rendimiento durante la aplica-ción de los TJS.

Con respecto a la raza, las diferenciasen las puntuaciones promedio de los TJSentre los subgrupos raciales son normal-mente menores que las encontradas paralos tests de capacidad, incluyendo los decapacidad cognitiva. Aunque las personasde raza blanca obtienen consistentementepuntuaciones más altas en los TJS, lasdiferencias entre las personas de raza blan-ca y negra son sustancialmente menoresque la diferencia habitual de una desvia-ción típica completa, encontrada en el casode los tests de capacidad cognitiva. En rea-lidad, en el meta-análisis de Nguyen,McDaniel, y Whetzel (2005) se encontróuna diferencia de puntuación media entrelas personas de raza blanca y negra de .38

de desviación estándar a favor de los can-didatos blancos. La correlación de los TJScon la capacidad cognitiva explicó casitoda la varianza de las diferencias entre lasmedias de los grupos raciales a través delos estudios. De este modo, las diferenciasde los subgrupos, entre las personas deraza blanca y negra, parecen reducirse con-siderablemente por la evaluación a travésde los TJS de un amplio rango tanto decapacidades cognitivas como no cogniti-vas, tal como las habilidades interpersona-les. Además, los TJS basados en vídeoparecen tener un menor impacto adversoque los TJS escritos, ya que los TJS basa-dos en vídeo tienen una menor carga cog-nitiva (Chan y Schmitt, 1997).

Con respecto al sexo, las mujeres pare-cen puntuar levemente mejor en los TJSque los hombres. En su meta-análisis,Nguyen y los colaboradores (2005) encon-traron una diferencia en los resultadospromedios entre mujeres y hombres de .10de la desviación típica a favor de las muje-res. Esta sutil tendencia de género puededeberse a las diferencias en los rasgos depersonalidad entre los sexos, desencadena-das por las situaciones presentadas en losTJS, que a menudo tienen una naturalezainterpersonal. En general, las mujeres tien-den a puntuar más alto en los rasgos talescomo Conciencia y Amigabilidad.

PERCEPCIONES DE LOS CANDIDATOS

En general, los candidatos prefieren lasherramientas de selección que percibencomo relacionadas con el trabajo. Esta esuna de razones por las que las muestras detrabajo normalmente reciben valoracionesfavorables (Hausknecht, Day, y Thomas,2004). En este sentido, no es sorprendente

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 103

Page 12: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

que la investigación sobre las reacciones delos candidatos a los TJS mostrara que fue-ron percibidas favorablemente y que losformatos en vídeo resultaron ser inclusomás apreciados que los formatos escritos(p. ej. Chan y Schmitt, 1997). Además,Richman-Hirsch, Olson-Buchanan, y Dras-gow (2000) mostraron que un TJS multi-media tiene más validez aparente y es con-siderado más ameno y moderno que las for-mas computerizadas y escritas del mismo.

Las reacciones positivas de los candida-tos son substanciales porque juegan unpapel importante en los procesos selectivosy de evaluación en cuanto a la motivaciónhacia la prueba y en su desempeño (Chan ySchmitt, 1997). Además, las reaccionespositivas de los candidatos a las pruebas deselección contribuyen a la reputación de laorganización percibida por los mismos(Richman-Hirsch et al., 2000).

FALSEAMIENTO

Debido a que los TJS son estímulos debaja fidelidad y utilizan el formato deauto-informe, es relevante examinar hastaque punto son susceptibles a la distorsiónde la respuesta (p. ej. fingimiento del can-didato de ser “bueno”). El problema defalseamiento de los TJS, ha empezadorecientemente a ganar atención en la lite-ratura. Hooper, Cullen, y Sackett (2006)resumieron la evidencia empírica disponi-ble y descubrieron que las diferencias enlas puntuaciones medias entre los candida-tos a quienes se les pidió de responderhonestamente y los a quienes se pidió“fingir” varía entre .08 y .89 desviacionesestándar. También concluyeron que losefectos de falseamiento de los TJS sonmenores que en el caso de las medidas depersonalidad.

Curiosamente, Hooper y los colabora-dores (2006) también identificaron variosmoderadores que podían facilitar el falsea-miento de los TJS y que podrían explicargrandes diferencias a través de los estu-dios. En primer lugar, cuanto mayor era lacarga cognitiva de los TJS, menos fueronsusceptibles al falseamiento (Peeters yLievens, 2005). En segundo lugar, losítems más transparentes fueron más sus-ceptibles al falseamiento. En tercer lugar,el tipo de las instrucciones sobre las res-puestas fue un factor clave, debido a queafectaba a la carga cognitiva y el tamañode la distorsión de la respuesta en los TJS(Nguyen, Biderman, y McDaniel, 2005).Instrucciones con tendencia conductual (p.ej. “¿Qué es lo que probablemente harí-as?”) mostraron las correlaciones másbajas con la capacidad cognitiva y menorimpacto adverso, pero fueron más suscep-tibles al falseamiento que las instruccionesbasadas en el conocimiento (p.ej. “¿Cuáles la mejor respuesta?”). Finalmente, eltipo de diseño del estudio que se utilizódesempeñó un papel importante. Losresultados de los experimentos del labora-torio fueron lo peor que podría pasar encomparación con lo que suele ser el false-amiento en los procesos de selección en lavida real. Los diseños tales como el expe-rimento de laboratorio manipulan el false-amiento e investigan si los candidatospueden fingir durante la prueba. Esto noes la misma cuestión que si los candidatosrealmente fingen durante la prueba en losprocesos de selección verdaderos.

SUSCEPTIBILIDAD A LOSEFECTOS DE LA PRÁCTICA Y DEL ENTRENAMIENTO

Cuando un procedimiento de selecciónde personal empieza a ser popular, se

Tests de juicio situacional: introducción y revisión de la investigación

104 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 13: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

puede asumir que los candidatos participa-rán en cursos de entretenimiento comer-ciales y adoptarán estrategias con el fin demejorar sus resultados, incrementando deeste modo sus oportunidades de ser selec-cionado. Este último asunto suscita lacuestión clave: ¿Los resultados de los TJSpueden mejorarse a través del entrena-miento?

Hasta ahora solamente un estudio haabordado este problema. Cullen, Sackett,y Lievens (2006) examinaron la suscepti-bilidad al entrenamiento de los TJS des-arrollados para su consideración como ins-trumentos selectivos durante los exámenesde alto impacto (en este caso, los del pro-ceso de admisión a la Universidad). Secrearon las estrategias para aumentar lapuntuación en cada test y, mediante unprograma de entrenamiento basado envídeo, los estudiantes universitarios fueronentrenados en el uso de dichas estrategias.Los resultados indicaron que algunos delos TJS fueron susceptibles al entrena-miento. Estos resultados demuestran quese debería ser cauteloso con respecto aluso de los TJS en el contexto de exámenesde alto impacto.

Una cuestión semejante es si los candi-datos pueden mejorar sus puntuacionescuando vuelvan a realizar los TJS. Otravez, la investigación al respecto es escasa.Lievens, Buyse, y Sackett (2005b) demos-traron que los efectos de volver a realizarlos TJS no fueron mayores que los de laspruebas tradicionales, tales como los testsde capacidad cognitiva. Junto a ello, unmoderador importante es la opción de des-arrollar formas alternativas de los TJS.Lievens y Sackett (en prensa) compararonvarias aproximaciones al desarrollo de for-mas alternativas de los TJS que se diferen-ciaban en términos de similitud de los

ítems que incluían. La aproximación basa-da en una pequeña similitud entre formasalternativas de los TJS (p. ej. asignación alazar de los ítems entre las varias formasalternativas de los TJS), tuvo menor efectoen la repetición de la prueba.

SUGERENCIAS PARA FUTURASINVESTIGACIONES

Aunque los TJS han demostrado serpredictores válidos en los dominios labo-rales y educativos, estamos comenzando aentenderlos mejor. Por eso, un huecoimportante en la investigación existente escómo las diferentes características de losTJS influyen en su eficacia. Ya se hanemprendido los primeros pasos en estecamino. Tal y como ha sido descrito conanterioridad, las investigaciones previas(Chan y Schmitt, 1997; Lievens y Sackett,2006; Nguyen et al., 2005) ya han identifi-cado el nivel de fidelidad del estímulo (elformato escrito frente al basado en video)y el tipo de las instrucciones sobre las res-puestas (basadas en el conocimiento frentea las basadas en la tendencia conductual)como factores clave a la hora de determi-nar la carga cognitiva de los TJS. No obs-tante, esta investigación solo roza lasuperficie. Por lo tanto, se necesitan másestudios que investiguen la influencia deotras características de los TJS sobrevariables relevantes, tales como el impac-to adverso y la validez. Algunos ejemplosde tales características serían: el uso de losítems ramificados en contraposición a noramificados, el tipo de EMC (compañeros,supervisores, clientes) utilizados paragenerar los incidentes críticos, el nivel deespecificidad de los ítems, el nivel deinterdependencia entre las situaciones pre-sentadas por las preguntas, o la extensiónde las últimas.

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 105

Page 14: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

Segundo, se necesita aumentar nuestroconocimiento de por qué los TJS predicenla conducta laboral. Tal y como ha sidodescrito anteriormente, las investigacionesanteriores ante todo examinaron la capaci-dad cognitiva, la experiencia y la persona-lidad como antecedentes del rendimientodurante la realización de los TJS. Denuevo, esto es sólo el principio. Reciente-mente, el conocimiento procedimental ylas políticas de rasgos implícitos han sidopropugnados como dos plausibles explica-ciones alternativas de por qué los TJS pre-dicen el comportamiento laboral (Motowi-dlo, Hooper, y Jackson, 2006). Esto puedeabrir un abanico de posibilidades para unamayor investigación teórica con respecto alos TJS.

Si se quiere que los TJS realmentehagan avances en las prácticas de selec-ción internacionales, una tercera y crucialárea de investigación es su capacidad deser transportable entre las diferentes cul-turas (Lievens, 2006). Es decir, ¿puedenlos TJS desarrollados en una cultura sertransportados y utilizados como un pre-dictor válido en otra? Aunque esta pre-gunta puede ser respondida afirmativa-mente en el caso de los tests de capacidadcognitiva (Salgado, Anderson, Moscoso,Bertua, y De Fruyt, 2003; Salgado,Anderson, Bertua, De Fruyt, y Rolland,2003), se duda de que este sea el caso delos TJS. Por ejemplo, Such y Schmidt(2004) examinaron la validez del mismoTJS en varios países. Dicho TJS fue váli-do en la mitad de los países, en concretoen el Reino Unido y Australia. En cam-bio, no fue predictivo en México. La posi-bilidad de generalizar los TJS a otros con-textos puede resultar peligrosa si los TJSfueron utilizados en contextos diferentes(p. ej. laborales, organizacionales, cultu-rales) y para un criterio diferente para el

que originalmente fue pensado. Esto con-duce a dos implicaciones. Primero, lainterpretación de la respuesta conductualcorrecta o apropiada a una situación espe-cífica presentada en un TJS podría variaren función de los valores culturales. Enotras palabras, la matriz de solucionespodría variar de una cultura a otra. Segun-do, los TJS podrían tener una validezdiferencial entre las distintas culturas silos resultados de los TJS no se ajustan alos datos del criterio recogidos en otracultura. En las aplicaciones interculturalesde los TJS, la adaptación de la matriz desoluciones a una cultura ajena podría seruna manera de ajustar los predictores ylos criterios. Es necesaria más investiga-ción para verificar este supuesto. Hastaahora, ningún estudio ha explorado lasdiferencias culturales en términos de losenlaces entre las situaciones, opciones delas respuestas, o el tipo de constructo delas opciones de respuesta de los TJS.

CONCLUSIONES

El objetivo de este artículo era presen-tar los TJS, incluyendo sus característicasprincipales, junto con sus puntos fuertes ysus puntos débiles. Puesto que se pretendefomentar el uso de los TJS en la prácticade selección, se finaliza este trabajo resu-miendo la evidencia empírica de la efecti-vidad de los TJS con respecto a otrasherramientas de selección de reconocidoprestigio. También se recapitula en laTabla 1 la evidencia empírica existente.

Probablemente el punto más fuerte delos TJS es que tienen unos niveles de vali-dez predictiva significativos, relativamen-te comparables a los de las medidas deselección ampliamente usadas, tales comolos centros de evaluación (assessment cen-

Tests de juicio situacional: introducción y revisión de la investigación

106 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 15: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 107

Tabla 1.Revisión de la Investigación sobre los TJS

Page 16: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

ters) y las entrevistas conductuales estruc-turadas. Además, los TJS muestran vali-dez añadida sobre los tradicionales testsde capacidad cognitiva y de personalidad.Esto significa que somos más capaces depredecir el desempeño laboral del candi-dato, si a una batería de selección tradicio-nal añadimos un TJS. Además, las reac-ciones de los candidatos son positivasdebido a que perciben la relación de losTJS con el puesto de trabajo, y los TJS tie-nen un menor impacto adverso hacia lasminorías que los tests de capacidad cogni-tiva (especialmente si la carga cognitivade los TJS es baja). Finalmente, los TJSpueden ser empleados varias veces paraun puesto, y lo que es más importante,para evaluar grandes grupos de candidatosal mismo tiempo. En cuanto a sus puntosdébiles, debería destacarse que los TJSpodrían ser susceptibles al falseamiento, ala práctica y a los efectos del entrenamien-to (aunque a un menor grado que losinventarios de personalidad). Además, losTJS son instrumentos aplicables a un con-texto específico, lo que hace necesario quese tengan que desarrollar para puestos yculturas específicos.

En suma, los TJS parecen combinar lasventajas de los tests de capacidad cogniti-va y de personalidad, (p. ej. administra-ción a grupos y resultado automático), ylos de las entrevistas conductuales estruc-turadas y de los centros de evaluación (p.ej. correspondencia exacta con el puesto,un menor impacto adverso, y reaccionespositivas de los candidatos). No obstante,cabe destacar que no se propone un reem-plazamiento de las otras herramientas deselección más tradicionales por los TJS.En vez de ello, se expone que los TJSdeberían ser considerados como unos úti-les complementos a las herramientas deselección de reconocido prestigio.

REFERENCIAS BIBLIOGRÁFICAS

Ansbacher, H.L. (1941). German mili-tary psychology. Psychological Bulletin,38, 370-392.

Chan, D., y Schmitt, N. (1997). Video-based versus paper-and-pencil method ofassessment is situational judgment tests:Subgroup differences in test performanceand face validity perceptions. Journal ofApplied Psychology, 82, 143-159.

Chan, D., y Schmitt, N. (2002). Situa-tional judgment and job performance.Human Performance, 15, 233-254.

Clevenger, J., Pereira, G.M., Wiech-mann, D., Schmitt, N. y Schmidt-Harvey,V.S. (2001). Incremental validity of situa-tional judgment tests. Journal of AppliedPsychology, 86, 410-417.

Cullen, M.J., Sackett, P.R. y Lievens,F. (2006). Threats to the operational use ofsituational judgment tests in the collegeadmission process. International Journalof Selection and Assessment, 14, 142-155.

Fritzsche, B.A., Stagl, K.C., Salas, E. yBurke, C.S. (2006). Enhancing the design,delivery and evaluation of scenario-basedtraining: Can situational judgment testscontribute? In J. A. Weekley y R. E. Ploy-hart (Eds.), Situational judgment tests:Theory, measurement and application (pp.301-318). Mahwah, New Jersey: La-wrence Erlbaum Associates, Inc.

Hausknecht, J.P., Day, D.V. y Thomas,S.C. (2004). Applicant reactions to selec-tion procedures: An updated model andmeta-analysis. Personnel Psychology, 57,639-683.

Tests de juicio situacional: introducción y revisión de la investigación

108 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Page 17: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

Hooper, A.C., Cullen, M.J. y Sackett,P.R. (2006). Operational threats to the useof SJTs: Faking, coaching, and retestingissues. In J.A. Weekley y R.E. Ployhart(Eds.), Situational judgment tests: Theory,measurement and application (pp. 205-232). Mahwah, New Jersey: LawrenceErlbaum Associates.

Lievens, F. (2006). International situa-tional judgment tests. In J.A. Weekley yR.E. Ployhart (Eds.) Situational JudgmentTests: Theory, measurement and applica-tion (pp. 279-300). SIOP Frontier Series.Mahwah, NJ: Lawrence Erlbaum Associ-ates.

Lievens, F. y Coetsier, P. (2002). Situa-tional tests in student selection: An exami-nation of predictive validity, adverseimpact, and construct validity. Interna-tional Journal of Selection and Assess-ment, 10, 245-257.

Lievens, F. y Sackett, P.R. (2006).Video-based versus written situationaljudgment tests: A comparison in terms ofpredictive validity. Journal of AppliedPsychology, 91, 1181-1188.

Lievens, F. y Sackett, P.R. (2007). Situ-ational judgment tests in high stakes set-tings: Issues and strategies with generatingalternate forms. Journal of Applied Psy-chology, en prensa

Lievens, F., Buyse, T. y Sackett, P.R.(2005a). The operational validity of avideo-based situational judgment test formedical college admissions: Illustratingthe importance of matching predictor andcriterion construct domains. Journal ofApplied Psychology, 90, 442-452.

Lievens, F., Buyse, T. y Sackett, P.R.

(2005b). Retest effects in operationalselection settings: Development and testof a framework. Personnel Psychology,58, 981-1007.

McDaniel, M.A. y Nguyen, N.T.(2001). Situational judgment tests: Areview of practice and constructs assessed.International Journal of Selection andAssessment, 9, 103-113.

McDaniel, M.A., Morgeson, F.P.,Finnegan, E.B., Campion, M.A. y Braver-man, E.P. (2001). Predicting job perform-ance using situational judgment tests: Aclarification of the literature. Journal ofApplied Psychology, 86, 730-740.

Motowidlo, S., Dunnette, M.D. yCarter, G.W. (1990). An alternative selec-tion procedure: The low-fidelity simula-tion. Journal of Applied Psychology, 75,640-647.

Nguyen, N.T., Biderman, M.D. yMcDaniel, M.A. (2005). Effects ofresponse instructions on faking a situa-tional judgment test. International Journalof Selection and Assessment, 13, 250-260.

Nguyen, N.T., McDaniel, M.A. yWhetzel, D.L. (2005, April). Subgroupdifferences in situational judgment testperformance: A meta-analysis. Paper pre-sented at the 20th Annual Conference ofthe Society for Industrial and Organiza-tional Psychology, Los Angeles, CA.

Oswald, F.L., Schmitt, N., Kim, B.H.,Ramsay, L.J. y Gillespie, M.A. (2004).Developing a biodata measure and situa-tional judgment inventory as predictors ofcollege student performance. Journal ofApplied Psychology, 89,187-208.

F. Lievens

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 109

Page 18: (M) 6. Tests de juicio situacional · los caminos claves para la investigación futura. TESTS DE JUICIO SITUACIONAL. INTRODUCCIÓN Definición y Ejemplos de los TJS ... En los años

Peeters, H. y Lievens, F. (2005). Situa-tional judgment tests and their predictive-ness of college students’ success: Theinfluence of faking. Educational and Psy-chological Measurement, 65, 70-89.

Richman-Hirsch, W.L., Olson-Buc-hanan, J.B. y Drasgow, F. (2000). Exam-ining the impact of administration mediumon examinee perceptions and attitudes.Journal of Applied Psychology, 85, 880-887.

Ryan, A.M., McFarland, L., Baron, H.y Page, R. (1999). An international look atselection practices: Nation and culture asexplanations for variability in practice.Personnel Psychology, 52, 359-391.

Salgado, J.F., Anderson, N., Moscoso,S., Bertua, C. y De Fruyt, F. (2003). Inter-national validity generalization of GMAand cognitive abilities: A European com-munity meta-analysis. Personnel Psychol-ogy, 56, 573-605.

Salgado, J.F., Anderson, N., Moscoso,S., Bertua, C., De Fruyt, F. y Rolland, J.P.(2003). A meta-analytic study of generalmental ability validity for different occu-pations in the European Community.Journal of Applied Psychology, 88, 1068-1081.

Schmidt, F.L. y Hunter, J.E. (1998).The validity and utility of selection meth-ods in personnel psychology: Practical andtheoretical implications of 85 years ofresearch findings. Psychological Bulletin,124, 262-274.

Schmitt, N. y Chan, D. (2006). Situa-tional judgment tests: Method or con-struct? In J. Weekley y R.E. Ployhart(Eds.), Situational judgment tests (pp.135-156). Mahwah, NJ: Lawrence Erlbaum.

Such, M.J. y Schmidt, D.B. (2004,April). Examining the effectiveness ofempirical keying: A cross-cultural per-spective. Paper presented at the 19thAnnual Conference of the Society forIndustrial and Organizational Psychology,Chicago, IL.

Wagner, R.K. y Sternberg, R.J. (1985).Practical intelligence in real world pur-suits: The role of tacit knowledge. Journalof Personality and Social Psychology, 49,436-458.

Weekley, J.A. y Jones, C. (1997).Video-based situational testing. PersonnelPsychology, 50, 25-49.

Weekley, J.A. y Jones, C. (1999). Fur-ther studies of situational tests. PersonnelPsychology, 52, 679-700.

Weekley, J.A. y Ployhart, R.E. (2006).Situational judgment tests: Theory, meas-urement and application. San Francisco,Jossey Bass.

Weekley, J.A. Ployhart, R.E., y Holtz,B.C. (2006). On the development of situa-tional judgment tests: Issues in item devel-opment, scaling, and scoring. In J.A.Weekley y R.E. Ployhart (Eds.), Situation-al Judgment Tests (pp 157-182). Mahwah,NJ: Lawrence Erlbaum.

Tests de juicio situacional: introducción y revisión de la investigación

110 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1