Método y Evidencia

Tres formas de mirar un dato, y solo una permite decir "porque"

Sergio observa que los socios que usan la app de Ritmo se dan de baja la mitad. Conclusión inmediata: hay que empujar la app. Vamos por partes, porque hay tres diseños distintos escondidos en esa frase.

1. Correlacional: mides, no tocas

Es lo que tiene Sergio. Dos variables que se mueven juntas. El problema no es que la correlación sea inútil —es el punto de partida de casi todo—, sino que admite tres explicaciones incompatibles y los datos no eligen entre ellas: que la app reduzca las bajas; que quien ya está enganchado se instale la app (causalidad inversa, y esta es la apuesta obvia); o que una tercera variable, como vivir a cinco minutos del centro, cause las dos cosas a la vez (variable de confusión). El caso clásico de manual: el consumo de helados y los ahogamientos correlacionan casi perfectamente. Ninguno causa el otro; los dos los causa el verano.

2. Cuasiexperimental: intervienes, pero no repartes al azar

Nuria ofrece la app en tres centros y en los otros seis no. Ya hay intervención, pero los grupos no son comparables de partida: eligió los tres centros más nuevos. Cualquier diferencia posterior mezcla el efecto de la app con el de ser un centro nuevo. Los cuasiexperimentos son a menudo lo único posible en una empresa y hay técnicas serias para exprimirlos (diferencias en diferencias, controles emparejados), pero la conclusión siempre viene con condicionales.

3. Experimental: repartes al azar

De los 1.100 socios que se inscribieron el trimestre pasado, se sortean 550 que reciben la app activada por defecto y 550 que no. La aleatorización es el truco entero: no elimina las variables de confusión, las reparte por igual entre los dos grupos. La gente que vive cerca cae mitad y mitad; los madrugadores, mitad y mitad; también las variables en las que nadie pensó, que son las peligrosas. Por eso, y solo por eso, una diferencia posterior se puede atribuir a la app.

Ese vocabulario tiene nombres: la validez interna es hasta qué punto puedes afirmar que la causa fue tu intervención y no otra cosa; la validez externa, hasta qué punto el resultado se traslada a otra gente, otro sitio u otro momento. Compiten entre sí. Un experimento de laboratorio con universitarios tiene validez interna altísima y externa dudosa; el dato que Sergio saca del panel de Ritmo, al revés.

Amenazas a la validez interna que aparecen constantemente en negocio: la selección (los grupos ya eran distintos), la historia (pasó otra cosa a la vez: Fallas, una campaña, una ola de calor), la maduración (los sujetos cambian solos con el tiempo) y la regresión a la media, si eliges el peor centro y haces algo, mejorará; habría mejorado igual, porque estaba en un extremo de su propio ruido. La regresión a la media es la responsable de la mitad de los "esto funcionó" de la gestión empresarial.

El p-valor no dice lo que casi todo el mundo cree

Ritmo hace el experimento bien: 550 y 550. Las bajas del grupo con app salen del 3,9% mensual y las del grupo sin app, del 4,7%. La hoja de cálculo escupe p = 0,03 y todo el mundo asiente. ¿Qué acaba de decir ese número?

No dice que haya un 97% de probabilidad de que la app funcione. No dice que haya un 3% de probabilidad de que el resultado sea casualidad. Dice algo mucho más estrecho y mucho menos útil: si la app no tuviera ningún efecto, la probabilidad de observar una diferencia tan grande como esta, o mayor, sería del 3%. Es una afirmación condicionada a que la hipótesis nula sea cierta. Ir de ahí a "la app funciona" requiere una pieza más que el p-valor no contiene: cómo de plausible era la hipótesis antes de mirar los datos.

El tamaño del efecto: la pregunta que sí importa

Que un efecto sea estadísticamente significativo no dice nada de si es grande. Con 400.000 socios, una diferencia de 0,01 puntos porcentuales sale significativa y es irrelevante. Por eso se informa el tamaño del efecto. El más común para comparar dos medias es la d de Cohen: la diferencia entre las medias dividida por la desviación típica conjunta. Los umbrales orientativos de Cohen: 0,2 pequeño, 0,5 mediano, 0,8 grande.

Traducido: una d de 0,5 significa que las dos distribuciones se solapan muchísimo, aproximadamente el 69% de las personas del grupo tratado supera a la persona media del grupo de control. Casi todos los efectos reales de psicología aplicada están entre 0,1 y 0,4. Cuando alguien te vende una intervención con d = 1,2 en el ámbito organizacional, la explicación más probable no es que haya encontrado oro: es que la muestra era pequeña.

Para relaciones entre variables continuas se usa la r de Pearson, entre −1 y 1. Un detalle que cambia la lectura de todo el máster: r al cuadrado es la proporción de varianza explicada. Una correlación de r = 0,30 —de las más altas que verás en selección de personal— explica el 9% de la variabilidad del desempeño. El otro 91% es todo lo demás. Esto no invalida la herramienta: aplicada a mil contrataciones, ese 9% mueve mucho dinero. Pero explica por qué en un caso concreto te vas a equivocar a menudo.

El intervalo de confianza comunica mejor que el p-valor porque enseña la incertidumbre en las unidades del problema. "La app redujo las bajas 0,8 puntos, IC 95% [0,1 – 1,5]" te dice a la vez que el efecto probablemente existe y que podría ser casi nulo. La misma información que p = 0,03, pero sin invitar a la lectura mágica.

Potencia: el pecado original de la psicología del siglo XX

La potencia estadística es la probabilidad de detectar un efecto que realmente existe. Depende de tres cosas: cómo de grande es el efecto, cuántos sujetos tienes y qué umbral de significación usas. La convención pide 80%. Y aquí está el problema: durante décadas, el experimento típico de psicología social usaba veinte o treinta sujetos por grupo, lo que da una potencia en torno al 20-35% para los efectos que se estudian de verdad.

Que un estudio con poca potencia falle no sorprende a nadie. Lo contraintuitivo es lo que pasa con los que salen bien. Si tu potencia es del 25%, de cada 100 hipótesis ciertas solo detectas 25. Pero los falsos positivos siguen apareciendo a su ritmo (5% de las hipótesis falsas). Con muchas hipótesis dudosas circulando, la proporción de hallazgos publicados que son ciertos se desploma, y encima, para que un efecto pequeño cruce el umbral de significación en una muestra minúscula, la diferencia observada tiene que haber salido exagerada por azar. Es la maldición del ganador: los estudios con poca potencia no solo aciertan poco, es que cuando aciertan inflan el tamaño del efecto. De ahí que las replicaciones grandes casi siempre den cifras más pequeñas que el estudio original.

Y encima, los grados de libertad del investigador

Añade a eso lo que Simmons, Nelson y Simonsohn llamaron en 2011 "psicología de falso positivo": decidir sobre la marcha cuántos sujetos recoger, qué casos excluir, qué variable dependiente reportar y qué covariables meter. Ninguna de esas decisiones es fraude; todas parecen razonables por separado. Combinadas, demostraron que elevan la tasa de falsos positivos del 5% a más del 60%. Lo probaron con un experimento deliberadamente absurdo en el que "demostraron" que escuchar una canción concreta rejuvenecía a los sujetos año y medio. La práctica se llama p-hacking, y su primo es el HARKing: formular la hipótesis después de conocer el resultado y escribirla como si hubiera venido antes.

El sesgo de publicación cierra el círculo. Las revistas publicaban resultados positivos y sorprendentes; los nulos se quedaban en el cajón. De modo que la literatura publicada no era una muestra de lo que se investigó, sino de lo que salió bonito.

Nada de esto es exclusivo de la psicología —en biomedicina el patrón es parecido—, pero la psicología fue donde estalló primero y donde la reforma ha ido más lejos. Es una razón para fiarse más de ella hoy, no menos.

Simulador: potencia, alfa y cuántos hallazgos son ciertos

Los mandos empiezan en el experimento de la app de Ritmo: un efecto pequeño (d = 0,25), 550 socios por grupo y honestidad analítica. Baja la muestra a 30 por grupo, como los estudios clásicos de los años ochenta, y mira desplomarse la potencia. Luego sube la "flexibilidad analítica" y observa qué pasa con la proporción de hallazgos significativos que son ciertos.

Modelo juguete, con avisos. Usa la aproximación normal para la comparación de dos medias independientes con alfa bilateral y trata el p-hacking como una simple inflación del alfa, que es una caricatura de algo bastante más sucio. Sirve para ver tres cosas verdaderas: que la potencia cae en picado con muestras pequeñas y efectos pequeños; que "significativo" no equivale a "cierto"; y que la probabilidad previa —lo plausible que era la hipótesis— pesa tanto como los datos. Con d = 0,2, n = 30 por grupo y una hipótesis exótica, más de la mitad de los resultados significativos son falsos.

La crisis de replicación: qué se cayó y qué aguantó

En 2015, la Open Science Collaboration —270 autores coordinados por Brian Nosek— publicó en Science el resultado de replicar 100 estudios de tres revistas punteras de psicología, con muestras mayores y protocolos acordados con los autores originales. El 97% de los originales había sido significativo. En las replicaciones lo fue el 36%, y el tamaño medio del efecto cayó aproximadamente a la mitad. No fue un accidente aislado: los proyectos Many Labs repitieron el ejercicio con decenas de laboratorios simultáneos y encontraron el mismo patrón. Unos efectos replican en todas partes y otros no aparecen en ninguna.

Bajas ilustres

• Agotamiento del yo (ego depletion). La idea de que la fuerza de voluntad es un depósito limitado que se vacía. Fue durante veinte años una de las teorías más citadas de la psicología social. Una replicación multilaboratorio preregistrada con 23 laboratorios y 2.141 sujetos (Hagger et al., 2016) encontró un efecto de d = 0,04, con un intervalo de confianza del 95% que va de -0,07 a 0,15: indistinguible de cero.
• Poder postural (power posing). Que dos minutos en postura expansiva subían la testosterona, bajaban el cortisol y aumentaban la tolerancia al riesgo. La replicación de Ranehill et al. (2015), con casi cinco veces más sujetos, no encontró ningún efecto hormonal ni conductual; solo se mantuvo que la gente se siente algo más poderosa. Una de las autoras del estudio original firmó públicamente que ya no cree en el efecto.
• Priming conductual. El estudio de Bargh (1996) en el que leer palabras asociadas a la vejez hacía caminar más despacio al salir del laboratorio. Doyen et al. (2012) lo replicaron cronometrando de forma automática y el efecto desapareció; solo aparecía cuando el experimentador sabía en qué condición estaba el sujeto. El propio Kahneman, que había dedicado un capítulo entusiasta a esta literatura en Pensar rápido, pensar despacio, escribió en 2017 que ese capítulo no debería haberse escrito así.
• Estilos de aprendizaje (visual/auditivo/kinestésico). No es que replicara mal: es que la hipótesis nunca se probó bien. Pashler et al. (2008) revisaron la literatura buscando el diseño que haría falta —emparejar o desemparejar el método con el estilo declarado y comparar el aprendizaje— y encontraron esencialmente ninguna evidencia a favor. Sigue vendiéndose en formación de empresa.
• MBTI. El test de personalidad más usado en empresa no tiene el respaldo que aparenta: fiabilidad test-retest baja (mucha gente cambia de tipo en semanas), dicotomías impuestas sobre rasgos que son continuos y ausencia de validez predictiva sobre el desempeño laboral. Lo verás en detalle en Diferencias Individuales.

Lo que sí aguantó

La lista de supervivientes es larga y es la que sostiene este máster: el anclaje en el juicio numérico (replicó con solidez en Many Labs), el efecto de marco, la práctica espaciada y el efecto del test en aprendizaje, la fijación de metas de Locke y Latham, la relación entre inteligencia general y desempeño laboral, la estructura de los cinco grandes de personalidad, la superioridad de las entrevistas estructuradas sobre las libres, y el efecto de las intenciones de implementación sobre la conducta. Todos ellos tienen algo en común: muchos estudios independientes, muestras grandes y tamaños de efecto modestos pero estables.

La reforma

La respuesta de la disciplina fue metodológica y bastante rápida: preregistro (publicar hipótesis y plan de análisis antes de recoger datos, lo que convierte el p-hacking en algo visible), informes registrados (la revista acepta el artículo por el diseño, antes de conocer el resultado, lo que mata el sesgo de publicación), muestras mucho mayores, datos y código abiertos y replicaciones multilaboratorio. Un metaanálisis de informes registrados encontró que la proporción de resultados que confirman la hipótesis cae de más del 90% a alrededor del 45% cuando el artículo se acepta antes de ver los datos. Ese número es, probablemente, la mejor medida de cuánto sesgo había.

La lectura que conviene llevarse no es "la psicología no vale". Es doble: primero, desconfía sistemáticamente del efecto llamativo, contraintuitivo, con muestra pequeña y con charla TED asociada; segundo, fíate del efecto aburrido, replicado muchas veces, con tamaño moderado y sin titular. Esa segunda categoría es exactamente lo que sirve para tomar decisiones en una empresa.

✍️ Ejercicios resueltos

Ejercicio 1. El experimento de la app, entero. Ritmo aleatoriza 1.100 socios nuevos: 550 con app activada por defecto y 550 sin ella. A los tres meses, la asistencia media semanal es de 1,45 visitas en el grupo con app y 1,20 en el de control, con una desviación típica conjunta de 1,0 visitas. Calcula la d de Cohen, di si el efecto es grande, estima si el experimento tenía potencia suficiente y decide si compensa desplegar la app a los 3.600 socios sabiendo que mantenerla cuesta 1.900 € al mes.

Ejercicio 2. Nueve centros y un ganador. Sergio te enseña que Patraix tuvo un 6% menos de bajas tras subir el volumen de la música, y quiere replicarlo. Cuantifica de forma aproximada la probabilidad de que algún centro destaque así por puro azar, e indica qué diseño mínimo aceptarías antes de gastar en los nueve.

Quiz: Método y Evidencia

12 preguntas. Se supera con 70% o más.