¿Qué he cambiado y por qué?

Acabo de publicar la Versión 3 del Test DISC que utilizo como recurso educativo para reflexionar sobre nuestros estilos de comunicación y comportamiento.

Y por supuesto que no me limité a sentarme delante de las preguntas y pensar: «Esta suena mejor así».

Había algo bastante más interesante sobre la mesa: datos.

La nueva versión parte del análisis de una muestra depurada de 187 aplicaciones completas. Eso nos permitió levantar el capó del test y mirar un poco mejor qué estaba ocurriendo dentro: cómo se comportaban las escalas, qué preguntas funcionaban razonablemente bien y cuáles parecían tener alguna pieza suelta.

Porque una cosa es que una pregunta nos guste, y otra muy distinta es que funcione como esperamos.

Primero, una pregunta bastante lógica: ¿es fiable?

Cuando construimos un instrumento de este tipo necesitamos saber, entre otras cosas, si los elementos que pretenden medir una misma dimensión se comportan de manera suficientemente coherente entre sí.

Sobre la muestra de N=187, obtuvimos estos valores de consistencia interna:

• D – Dominancia: α = .878
• I – Influencia: α = .797
• S – Estabilidad: α = .858
• C – Concienzudo: α = .825

También calculamos la fiabilidad por mitades con corrección de Spearman-Brown:

• D: .900
• I: .792
• S: .888
• C: .806

Los dos análisis cuentan una historia bastante parecida: la consistencia interna es satisfactoria, especialmente en las dimensiones D y S.

Ahora bien, antes de sacar el champán conviene hacer una precisión.

El DISC que utilizo tiene un formato ipsativo de elección forzada. En cada pregunta la persona no puntúa cuatro frases de manera independiente, sino que ordena cuatro alternativas.

Esto significa que las respuestas están relacionadas entre sí por el propio sistema de elección.

Dicho de otra manera: cuando colocas una alternativa arriba, necesariamente estás dejando otras debajo.

Por eso valores como el alfa de Cronbach o la fiabilidad por mitades nos aportan información útil, pero no debemos tratarlos como el sello definitivo que certifica la fiabilidad psicométrica del instrumento.

Nos orientan.

No dictan sentencia.

Después pusimos las preguntas bajo la lupa

Una escala puede presentar una consistencia general razonable y, aun así, esconder alguna pregunta que esté haciendo cosas raras.

Así que decidimos mirar los ítems uno por uno.

Calculamos la correlación ítem-total corregida de cada alternativa con el resto de su escala.

Simplificando bastante la idea: queríamos comprobar si una respuesta asociada, por ejemplo, con Influencia tendía realmente a comportarse como cabría esperar entre las personas que puntuaban alto en Influencia.

La mayoría de los componentes mostraron correlaciones aceptables o buenas.

Pero algunos levantaron la mano.

El extraño caso del ítem 7

El ejemplo más evidente fue el ítem 7.

Sus cuatro alternativas presentaban correlaciones bajas:

• D7 = .257
• I7 = .244
• S7 = .257
• C7 = .268

Aquí resultaba difícil señalar a una única alternativa y decir: «Tú eres el problema».

Las cuatro estaban flojas.

Cuando las cuatro ruedas parecen desalineadas quizá el problema no esté en una rueda concreta, sino en el eje.

Eso fue precisamente lo que interpretamos.

El problema parecía estar en el planteamiento completo de la pregunta, así que en la Versión 3 decidimos sustituir el ítem entero.

No retocarlo.

No cambiarle dos palabras.

Sustituirlo.

También había pequeñas alarmas escondidas

Otros componentes especialmente débiles fueron:

• I2 = .117
• C12 = .117
• I12 = .224
• I4 = .244

La dimensión I – Influencia fue la que acumuló más alternativas con correlaciones inferiores a .30.

Y aquí apareció algo interesante.

Cuando volvimos a leer cualitativamente esas respuestas vimos que algunas estaban cargando demasiadas cosas en la misma mochila.

Creatividad.

Entusiasmo.

Interacción social.

Reconocimiento.

Todo junto.

Otras describían más lo que la persona hacía sobre los demás que la reacción o conducta de la propia persona.

Y cuando una frase intenta atrapar demasiados peces con la misma red, después resulta difícil saber exactamente qué ha pescado.

Por eso revisamos varias formulaciones de Influencia para convertirlas en alternativas más conductuales, específicas y diferenciadas.

Una opción poco elegida no es necesariamente una mala opción

Aquí apareció otra lección que me parece especialmente interesante.

También analizamos cuántas veces cada alternativa era elegida como primera opción.

A primera vista podríamos pensar:

«Si casi nadie escoge esta respuesta, habrá que cambiarla».

Pues no necesariamente.

Porque estamos hablando de dos cosas distintas.

Una alternativa puede ser bastante popular y, sin embargo, discriminar mal.

Es decir, muchas personas pueden escogerla aunque esa elección no nos ayude demasiado a distinguir quién presenta realmente puntuaciones altas en esa dimensión.

Pero también puede ocurrir exactamente lo contrario.

Una alternativa puede ser seleccionada por pocas personas y, aun así, discriminar correctamente.

Es como una puerta por la que pasa poca gente, pero casi todos los que pasan pertenecen al grupo que queríamos identificar.

Por ejemplo, una alternativa de Influencia del ítem 19 era seleccionada como primera opción por muy pocas personas.

Podríamos haber pensado inmediatamente que estaba mal redactada.

Sin embargo, su correlación ítem-total era cercana a .40.

Por tanto, cuando alguien la escogía, la opción parecía funcionar razonablemente bien como indicador de Influencia.

El problema podía estar en otro sitio: quizá en su deseabilidad social o simplemente en que, comparada con las otras tres respuestas, resultaba menos atractiva.

Esta distinción nos ayudó a evitar una tentación bastante frecuente:

cambiar una pregunta simplemente porque no gusta mucho.

En medición, popularidad y calidad no son necesariamente la misma cosa.

Entonces, ¿qué hemos cambiado?

A partir de todos estos análisis revisamos diferentes componentes de los ítems 1, 2, 3, 4, 5, 6, 7, 11, 12, 13 y 19.

Pero no solamente cambiamos textos.

La Versión 3 incorpora también algunas modificaciones en la forma de presentar y de interpretar los resultados.

Las respuestas ya no aparecen siempre en el mismo orden

Hasta ahora las alternativas seguían un patrón fijo D-I-C-S.

Eso podía introducir pistas innecesarias para quien conociera la estructura del test.

En la nueva versión, las cuatro alternativas aparecen en orden aleatorio en cada pregunta.

Así evitamos que la posición se convierta, sin querer, en otra variable del test.

Adiós al supuesto «porcentaje de personalidad»

Este es probablemente uno de los cambios que más me gustan.

Los resultados dejan de mostrarse como porcentajes internos y pasan a expresarse mediante percentiles.

¿Por qué?

Porque decir que una persona tiene, por ejemplo, un «55 % de Dominancia» puede sonar intuitivo, pero también puede provocar una interpretación equivocada.

¿Significa que el 55 % de su personalidad es dominante?

No.

¿Que es dominante el 55 % del tiempo?

Tampoco.

¿Que le falta un 45 % para completar algo?

Menos aún.

El número bruto necesita contexto.

Por eso hemos construido un baremo provisional utilizando las 187 aplicaciones disponibles.

Y aquí aparece una diferencia importante.

Una puntuación bruta de 55 no significa necesariamente lo mismo en todas las dimensiones.

Con el baremo provisional, aproximadamente corresponde a:

• D → P78
• I → P76
• S → P53
• C → P65

El mismo 55 cambia de significado porque cada dimensión tiene su propia distribución.

En Dominancia esa puntuación estaría alrededor del percentil 78, mientras que en Estabilidad estaría aproximadamente en el percentil 53.

Los percentiles nos permiten responder a una pregunta mucho más útil:

¿Dónde se sitúa esta puntuación respecto a las puntuaciones obtenidas por las personas de la muestra de referencia en esta misma dimensión?

Eso tiene bastante más sentido que hablar de un supuesto porcentaje de personalidad.

El baremo también tiene apellido: provisional

Esto también quiero dejarlo muy claro.

El baremo actual está construido con N=187 y funciona como referencia provisional.

Pero esas respuestas proceden de la versión anterior del instrumento.

Ahora hemos cambiado preguntas.

Por tanto, sería bastante ingenuo modificar el termómetro y asumir que podemos seguir utilizando eternamente las mismas marcas de temperatura.

Necesitamos datos nuevos.

Por eso el baremo será recalculado cuando dispongamos de una muestra suficiente recogida específicamente con la Versión 3.

Además, cada resultado conserva tres datos:

• la puntuación bruta;
• el percentil;
• y la versión del baremo utilizada.

De esta manera podemos mantener la trazabilidad de las puntuaciones cuando los baremos vayan evolucionando.

¿Y ahora podemos decir que el test está terminado?

No.

Y precisamente esa es la idea.

Esta Versión 3 no pretende bajar del monte con las tablas de piedra bajo el brazo.

Es una versión experimental mejorada.

Hemos recogido datos, hemos encontrado problemas, hemos formulado hipótesis sobre esos problemas y hemos introducido modificaciones.

Ahora toca comprobar si realmente funcionan.

Porque cambiar una pregunta pensando que será mejor no demuestra que sea mejor.

Hay que medirlo.

El siguiente paso será volver a analizar:

• la fiabilidad de las escalas;
• las correlaciones ítem-total;
• las distribuciones de respuesta;
• el funcionamiento de las alternativas modificadas;
• y especialmente el comportamiento de los nuevos ítems.

Pero esta vez utilizando exclusivamente respuestas recogidas con la Versión 3.

Y después veremos qué dicen los datos.

Quizá confirmen que hemos acertado.

Quizá alguna pregunta vuelva a señalarnos que todavía queda trabajo.

En ambos casos habremos aprendido algo.

Una última aclaración, porque es importante

El Test DISC está disponible gratuitamente para quien quiera utilizarlo, probarlo o incorporarlo como recurso dentro de actividades formativas.

Pero conviene no pedirle al instrumento lo que el instrumento no pretende ofrecer.

Su finalidad es educativa y de reflexión personal. No constituye una evaluación psicológica, una valoración de personalidad ni una herramienta diagnóstica.

Es una herramienta para conversar, observar tendencias y reflexionar sobre determinados estilos de comportamiento y comunicación.

Nada más.

Y tampoco nada menos.

Si lo utilizas, compartirlo ayuda.

Porque cada nueva respuesta añade una pequeña pieza al puzle y nos permite seguir comprobando, corrigiendo y mejorando.

Al final, esa es la parte de todo esto que más me interesa.

No construir un test que parezca terminado, sino uno que podamos seguir aprendiendo a construir mejor.