Ordenar y anotar · Nivel 6

Elegir
qué se mide

Un cuadro de mandos con 18 indicadores se mira entero cuatro veces al mes y cuesta cerca de 58 horas al año. La pregunta no es si están bien calculados. Es cuántos de los dieciocho te hicieron hacer algo distinto el trimestre pasado. Si un número sale igual hagas lo que hagas, no es información: es decoración con coste.

La prueba, en una línea

Antes de anotar un número, di qué vas a hacer distinto según lo que salga.

Es incómoda porque casi ningún indicador la pasa. Y se contesta en diez segundos, sin herramientas, mirando la lista que ya tienes. Pruébala ahora mismo con el tercero de tu cuadro: si sube un 20% mañana, ¿qué haces? ¿Y si baja un 20%?

Si las dos respuestas son «nada» o «lo miro más de cerca», tienes la respuesta. Mirar más de cerca no es una decisión, es aplazarla, y suele costar otra reunión.

Un indicador de verdad trae dos cosas pegadas

Un umbral y una acción. Sin las dos, lo que tienes es un número bonito:

• El umbral. A partir de qué valor pasa algo. Escrito antes, con un número, no «si baja mucho».
• La acción. Qué se hace al cruzarlo, quién lo hace y cuándo. Si nadie tiene que hacer nada, el umbral tampoco existe.

Escribir el umbral antes de ver el dato es lo que impide moverlo después. Es el mismo truco que usa cualquiera que preinscribe un experimento, y funciona por la misma razón: elegir el listón sabiendo ya el resultado no es medir, es justificar.

Y el umbral tiene que estar fuera del ruido

Aquí es donde se cae la mitad de los cuadros de mandos que sí tienen umbral. Un número se mueve de un mes a otro aunque no pase absolutamente nada, y si el umbral cae dentro de ese vaivén, saltará solo.

Tostado recibe 20.000 visitas al mes y convierte el 2%: son 400 pedidos. Si el mes que viene salen 380, el 1,9% parece una caída. Con esas visitas, un mes normal se mueve alrededor de ±0,10 puntos por puro azar, así que el 1,9% entra dentro de lo corriente y se cruza casi dos veces al año sin que nadie haya hecho nada mal.

Una alarma que salta sola se acaba ignorando, y ese es el daño de verdad: no las horas de la reunión, sino que a la cuarta falsa alarma el equipo aprende a no hacer caso del indicador. Y ese día también deja de avisar cuando sí pasa algo.

Por qué medir de más no es gratis

Tiene tres costes y solo el primero se ve:

• El tiempo. Recoger, cuadrar y mirar. Se calcula en la primera caja de abajo y sale más de lo que nadie espera.
• La atención. Dieciocho números en una pantalla es dieciocho candidatos a explicación, y siempre hay tres que se han movido. Con ochenta indicadores no se descubre más: se descubre lo mismo más tarde.
• Lo que le pasa al número al convertirse en objetivo. En cuanto alguien es evaluado por un indicador, el indicador empieza a subir sin que suba lo que representaba. Es lo que dice la ley de Goodhart, y es tan fiable que se puede usar al revés: si un número solo sube desde que se mide, mira qué se está haciendo para subirlo.

Cómo saber dónde estás

Escribe las seis antes de abrir lo de abajo. La 3 y la 5 son las que de verdad miden dónde estás.

Ver las seis respuestas

1. Si no te salen de memoria, ya sobran Lo que se consulta de verdad se sabe. Un cuadro que hay que abrir para recordar qué tiene dentro no se está usando para decidir, se está usando para tener la sensación de que se controla algo.
2. Casi seguro que «nada» las dos veces Es lo normal y no es culpa tuya: los cuadros se construyen añadiendo, nunca quitando. Cada indicador entró porque alguien lo pidió una vez, y ninguno tiene fecha de caducidad.
3. La lista corta es la buena Si te salen dos o tres, ese es tu cuadro real. Los demás pueden seguir guardándose, pero no hace falta mirarlos cada mes ni llevarlos a una reunión.
4. Si no hay número, no hay umbral «Si baja mucho» significa que se decidirá cuando pase, y entonces el listón lo pone el ánimo del día. Escribirlo antes cuesta un minuto y vale por diez discusiones.
5. Esta es la que casi nadie sabe Y sin ella el umbral es un adorno. Se saca mirando los últimos doce meses en un periodo tranquilo: la diferencia entre el mejor y el peor de esos meses ya te da el orden de magnitud.
6. Suma también lo de cuadrar El tiempo de mirar es la parte pequeña. La grande es recoger, pegar, comprobar por qué dos fuentes no coinciden y arreglarlo. La caja 1 de abajo lo pone en euros al año.

Qué significa lo que has contestado

Si has contestado esto	Es que
Más de diez en la 1	Tienes un archivo, no un cuadro de mandos. No está mal guardarlos; está mal repasarlos. La lista que se mira y la lista que se guarda son dos listas distintas y conviene separarlas en dos sitios.
«Lo miraría más de cerca» en la 2	Eso no es una acción, es aplazar la decisión y convocar otra reunión. Sirve como respuesta una vez; si sirve siempre, el indicador no decide nada.
Ninguno en la 3	Es la respuesta más frecuente y también la más útil que vas a sacar de este nivel. Un trimestre entero de datos sin una sola decisión detrás sale caro y no se nota, porque el coste está repartido en ratos.
Un umbral en porcentaje sin decir sobre qué	El umbral está a medio escribir. «Que no baje del 5%» necesita el 5% de qué, y esa base es el nivel 6 de Calcular: cambiando la base sale otro número sin tocar un solo dato.
«No se mueve» en la 5	Todos los números se mueven. Si el tuyo no lo hace es que lo miras redondeado, o que lo miras tan de tarde en tarde que el vaivén queda dentro de cada foto.
Menos de una hora al mes en la 6	Casi seguro que estás contando solo el rato de mirar. Prueba a cronometrar un mes de verdad, incluida la vez que dos informes no cuadraron.
Dos o tres números, con umbral y con acción	Este nivel lo tienes. Y con él acaba el tronco: por arriba ya no hay más peldaños de Ordenar y anotar.

Qué hacer, en concreto

Una hoja, una tarde, y una regla de entrada para lo que venga después.

Y cuatro reglas para que la cosa aguante:

• Empieza tirando, no añadiendo. Pasa la prueba a la lista entera y quédate solo con los que la pasan. Es más rápido que decidir cuáles valen, porque la pregunta es la misma para todos y se contesta en diez segundos.
• Pon el umbral antes de mirar el dato del mes. Después de verlo ya no es un umbral, es una opinión sobre un número que ya conoces.
• Comprueba que el umbral está fuera del vaivén normal. Si no lo está, o amplías la ventana —un trimestre en vez de un mes— o aceptas que ese indicador no puede contestar esa pregunta con los datos que tienes.
• Ponle fecha de revisión al cuadro, una vez al año. Los indicadores no caducan solos y nadie propone quitar el suyo. Si no hay un día señalado para tirar, la lista solo puede crecer.

Lo que se cae del cuadro no se borra: se sigue guardando. Guardar es barato y tiene una razón concreta, y está unas líneas más abajo, en lo que este nivel no dice.

Pruébalo con tus números

Tres cajas. La primera pone precio a tu cuadro; la segunda enseña el ruido que ya tiene; la tercera dice dónde cabe el umbral.

Aviso de modelo juguete para las cajas 2 y 3. El vaivén que calculan es solo el del muestreo: supone que cada visita convierte o no con la misma probabilidad y sin relación con las demás. En la calle nunca es así —hay temporada, campañas, un festivo, un enlace que se hace viral—, y todo eso mueve el número mucho más. Así que la cifra que sale aquí es el suelo del ruido, no el ruido. Sirve para lo que importa: si tu umbral ya cae dentro de este suelo, es que salta solo con toda seguridad. Si cae fuera, todavía hay que comprobarlo con tus doce últimos meses.

En qué te vas a equivocar

Confundir «me interesa saberlo» con «me hace decidir»

Casi todos los indicadores que sobran son interesantes, y por eso se quedan. El motivo del lío es que la curiosidad y la utilidad se sienten igual mientras miras la pantalla. La comprobación que lo deshace es escribir la acción al lado: si el hueco se queda vacío dos veces seguidas, ya está contestado.

Poner el umbral después de ver el dato

Sale solo, sin mala intención, y anula el indicador. El motivo es que cuando el número ya está delante el listón se coloca donde no obliga a nada. Se arregla escribiendo el umbral en otro momento del mes que la revisión, y cuesta un minuto.

Tomar por señal el vaivén de siempre

Es el error caro, porque disfraza de gestión lo que es azar. El motivo es que un número que baja pide explicación y siempre hay una a mano. Antes de buscarla, mira cuánto se movió ese número los doce meses anteriores: si la caída de este mes cabe ahí dentro, la explicación sobra.

Medir lo fácil de contar en vez de lo que decide

Las visitas se cuentan solas y los clientes que repiten hay que ir a buscarlos. El motivo es que la herramienta ya trae unos números puestos y esos son los que se miran. La pregunta que lo corrige: de todo lo que decidiste el año pasado, ¿qué dato te habría hecho falta y no tenías?

Por qué esto está en la base de un mapa de negocios

Porque es la puerta de la única rama que se dedica entera a esto, y porque es lo que evita que anotar bien se convierta en anotarlo todo.

• Analítica. Su primer nivel es esto con las herramientas de un negocio digital delante: qué métrica va arriba y cuál es de canal, cómo se monta la cadena de objetivo a indicador, y cómo se lee un experimento sin engañarse. Nada de eso funciona hasta que alguien ha decidido qué merece medirse, y esa decisión es la de aquí.

Y en el mapa, este es el último peldaño del tronco. Ordenar y anotar empieza a los tres años con cada cosa en su sitio y acaba aquí, decidiendo qué no se anota. Tiene sentido que sea el final: para tirar la mitad de lo que registras hay que saber registrarlo primero, que es el nivel 5, y hay que saber leer lo que sale, que es el 6 de Medir y comparar.

De dónde sale esto

• Ridgway, V. F. (1956). Dysfunctional consequences of performance measurements, en Administrative Science Quarterly. Tres páginas y ya está el argumento entero, veinte años antes que nadie: medir una cosa hace que la gente descuide las que no se miden, y medir varias sin decir cómo se combinan traslada el problema al empleado. Es el mejor sitio para empezar.
• Goodhart, C. (1975). Problems of monetary management: the U.K. experience. De aquí sale la ley que lleva su nombre, y conviene saber qué dijo de verdad: hablaba de que las regularidades estadísticas se rompen cuando se usan para gobernar, y lo decía de los agregados monetarios. La frase famosa —«cuando una medida se convierte en objetivo deja de ser buena medida»— es una reformulación posterior, no suya.
• Strathern, M. (1997). «Improving ratings»: audit in the British University system, en European Review. Aquí está esa frase, escrita por una antropóloga que estaba estudiando cómo se evalúan las universidades británicas. Se cita mil veces al año atribuida a Goodhart.
• Campbell, D. T. (1979). Assessing the impact of planned social change, en Evaluation and Program Planning. La misma idea encontrada por otro camino y con casos delante: cuanto más se usa un indicador social para decidir, más se corrompe y más corrompe lo que pretendía vigilar. Trae ejemplos de policía y de escuelas.
• Muller, J. Z. (2018). The Tyranny of Metrics. El caso largo, con hospitales, universidades, policía y ejército. Es un alegato y se le nota, así que va bien leerlo sabiéndolo: recoge lo que sale mal y casi nada de lo que sale bien.
• Kaplan, R. y Norton, D. (1992). The balanced scorecard, en Harvard Business Review. La respuesta clásica de la gestión: no mires un solo número, mira cuatro perspectivas. Es un marco de trabajo, no un resultado comprobado, y por su cuenta no impide que las cuatro listas crezcan igual que crecía una.

Comprueba que lo has entendido

Doce preguntas de un banco de cuarenta y ocho, distintas cada vez, así que volver no es memorizar. No te dice si aciertas hasta el final: si te lo dijera, las doce se contestan por descarte. Con un 70% el nivel cuenta en tu mapa.

No te preguntan qué es la ley de Goodhart. Te ponen un cuadro de mandos delante y tienes que decir qué se queda.