Evaluación: saber si funciona
"Lo he probado con tres correos y va mucho mejor" no es información. Es una anécdota con voz de dato.
Tres correos y una certeza
Álvaro pasó una tarde reescribiendo el prompt de los borradores. Probó el nuevo con tres correos, salieron bien, y anunció en la reunión del lunes que la versión nueva iba mucho mejor. Marta hizo la única pregunta que había que hacer: ¿cómo lo sabes?
No era desconfianza. Es que con tres casos y tres aciertos, el intervalo de confianza de la tasa real de acierto va aproximadamente del 44% al 100%. Es compatible con que el sistema falle más de la mitad de las veces. Tres aciertos seguidos también los da una moneda trucada al 60% una de cada cinco veces que la lanzas tres veces.
Este módulo construye lo único que zanja estas discusiones: un conjunto de prueba. Ciento veinte correos reales del despacho, con su respuesta correcta escrita a mano por alguien que sabe. Cuesta dieciséis horas construirlo —352 €— y es, con diferencia, el activo más valioso de todo el sistema: sobrevive al cambio de modelo, al cambio de proveedor y al cambio de la persona que lo montó. Es también lo que casi nadie construye, porque no se ve y no luce en ninguna demostración.
📋 Guía docente del módulo
Objetivos
- Construir un conjunto de prueba representativo y entender por qué es un activo y no un trámite.
- Elegir la métrica adecuada según la tarea: clasificación, extracción o generación.
- Calcular intervalos de confianza sobre una tasa de acierto y reconocer cuándo una diferencia es indistinguible del ruido.
- Determinar el tamaño de muestra necesario para detectar una mejora de un tamaño dado.
- Usar un modelo como juez conociendo sus sesgos y validándolo contra juicios humanos.
Resultados de aprendizaje
- RA1. Calcular el intervalo de confianza de una proporción e interpretarlo en una decisión de negocio.
- RA2. Estimar el número de casos necesario para distinguir dos versiones con una diferencia dada.
- RA3. Elegir y justificar la métrica de evaluación de una tarea concreta.
- RA4. Diseñar un protocolo de evaluación con modelo juez que controle el sesgo de posición y el de longitud.
- RA5. Definir un proceso de regresión que impida que una mejora rompa lo que ya funcionaba.
Bibliografía de referencia
- Zheng, L. et al.: "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", NeurIPS, 2023 — hasta dónde llega un modelo evaluando a otro, y con qué sesgos.
- Wilson, E. B.: "Probable Inference, the Law of Succession, and Statistical Inference", JASA, 1927 — el intervalo de confianza para proporciones que se comporta bien con muestras pequeñas.
- Kohavi, R., Tang, D. y Xu, Y.: Trustworthy Online Controlled Experiments, Cambridge University Press, 2020 — el manual de experimentación, aplicable palabra por palabra.
- Ribeiro, M. T. et al.: "Beyond Accuracy: Behavioral Testing of NLP Models with CheckList", ACL, 2020 — evaluar por capacidades y casos límite, no solo con una cifra agregada.
- Liang, P. et al.: "Holistic Evaluation of Language Models", 2022 — por qué una sola métrica nunca describe un sistema de lenguaje.
Carga de trabajo estimada
| Actividad | Horas |
|---|---|
| Lectura y estudio del material | 6 |
| Experimentación con el simulador | 2 |
| Ejercicios (resueltos y por cuenta propia) | 5 |
| Evaluación (quiz de módulo y repaso) | 2 |
| Total | 15 |
El conjunto de prueba: cómo se construye uno que sirva
No es "guardar unos cuantos ejemplos". Tiene cuatro requisitos y saltarse cualquiera lo invalida:
- Real. Correos que llegaron de verdad, no inventados. Los casos inventados salen limpios, bien redactados y con todos los datos: exactamente lo contrario de lo que llega un martes por la mañana.
- Representativo. Con la misma mezcla que la realidad. Si el 15% de los correos son de clientes en módulos, el 15% del conjunto también. Y con los raros dentro: los que llegan sin firmar, los que preguntan tres cosas a la vez, los que vienen enfadados.
- Etiquetado por alguien que sabe. La respuesta correcta la escribe un asesor, no el modelo. Ocho minutos por caso, y ese es el coste que asusta y hay que pagar igual.
- Congelado y separado. Si afinas el prompt mirando los mismos casos con los que lo mides, has dejado de medir: estás ajustando a la prueba. Lo estándar es partirlo en dos —unos casos para trabajar y otros que solo se tocan para medir.
El de Bermejo & Asociados son 120 correos: 16 horas de trabajo, 352 €. Puesto al lado del ahorro de 1.867 € mensuales, es una decisión trivial. Puesto al lado de "ya lo probaremos sobre la marcha", es la diferencia entre saber y opinar.
Y crece solo, si lo dejas
La regla que convierte el conjunto en un sistema vivo: cada error real que llega a un cliente entra en el conjunto de prueba, con su respuesta correcta. Así, el incidente de este mes se convierte en la garantía de que no vuelve a pasar. Al cabo de un año el conjunto tiene 200 casos y cada uno recuerda un problema real. Eso es exactamente lo que un equipo de software llama una batería de regresión, y funciona por el mismo motivo.
Un aviso sobre las clasificaciones públicas de modelos: son útiles para orientarte y no sirven para decidir. Miden tareas generales sobre datos que a veces han acabado dentro del entrenamiento, y ninguna mide lo tuyo. El modelo que gana en una tabla general puede ser el tercero en tus 120 correos, y los tuyos son los únicos que te pagan.
Qué medir: la métrica depende de la tarea
| Tarea | Métrica | Qué revela |
|---|---|---|
| Clasificar 320 facturas | Exactitud y matriz de confusión | No solo cuántas falla: qué confunde con qué. Casi siempre hay dos categorías que se solapan y ese es el problema entero. |
| Extraer NIF, importe y fecha | Exactitud campo a campo | Un 95% global puede esconder que la fecha falla el 20% de las veces y todo lo demás va perfecto. |
| Redactar un borrador | Tasa de aceptación y tasa de error factual | Aceptación es "¿se envía con retoque menor?". Error factual es "¿dice algo que no es verdad?". Son dos cosas distintas y hay que medir las dos. |
| Responder con documentos | Fidelidad a la fuente y exhaustividad del recuperador | Separa el fallo de recuperación del de generación, que es la distinción del módulo 5. |
La trampa de la exactitud global merece un párrafo aparte porque cae todo el mundo. Si el 92% de las facturas son de la categoría "servicios exteriores", un clasificador que responda siempre "servicios exteriores" saca un 92% de exactitud y es completamente inútil. Con clases desequilibradas, la exactitud sola miente. Por eso se mira la matriz de confusión, que enseña dónde está el error en vez de cuánto suma.
Y una métrica que nadie pone en las presentaciones y que es la más honesta de todas: el porcentaje de casos en los que el sistema dice "no lo sé". Un sistema que se abstiene en el 10% de los casos difíciles y acierta el 97% del resto suele ser más valioso que uno que contesta siempre y acierta el 90%, porque el primero te dice dónde mirar y el segundo no.
El modelo formal: intervalos, y por qué tres casos no dicen nada
Cuando mides una tasa de acierto sobre n casos, el resultado es una estimación con incertidumbre. La forma correcta de expresarla en muestras pequeñas es el intervalo de Wilson, pero para hacerse una idea basta la aproximación clásica:
margen ≈ 1,96 × √( p(1−p) / n )
La consecuencia práctica está en el denominador: el margen se reduce con la raíz de n. Para partirlo por la mitad hay que cuadruplicar los casos. Por eso pasar de 3 a 12 ejemplos no arregla gran cosa y pasar de 30 a 120 sí.
| Casos | Aciertos | Tasa observada | Intervalo al 95% |
|---|---|---|---|
| 3 | 3 | 100% | de 44% a 100% |
| 12 | 10 | 83% | de 55% a 95% |
| 30 | 25 | 83% | de 66% a 93% |
| 120 | 100 | 83% | de 76% a 89% |
| 500 | 417 | 83% | de 80% a 86% |
Comparar dos versiones: la trampa de verdad
Aquí es donde se toman las decisiones equivocadas. La versión A acierta 100 de 120 (83%); la B, 103 de 120 (86%). Tres puntos de mejora. ¿Cambiamos?
El error de la diferencia es mayor que el de cada medida por separado: hay que sumar las dos incertidumbres. El margen de esa diferencia es de unos ±9 puntos. Una diferencia de 3 puntos con un margen de 9 es indistinguible de que no haya diferencia ninguna. Y no es que la B sea peor: es que con 120 casos no puedes saberlo.
¿Cuántos harían falta? La fórmula habitual para comparar dos proporciones con un 95% de confianza y un 80% de potencia:
n por grupo ≈ 7,85 × [ p₁(1−p₁) + p₂(1−p₂) ] ÷ d²
| Mejora que quieres detectar | Casos necesarios por versión | Coste de etiquetarlos |
|---|---|---|
| 3 puntos (83% → 86%) | 2.281 | 304 horas · 6.690 € |
| 5 puntos (83% → 88%) | 775 | 103 horas · 2.273 € |
| 10 puntos (78% → 88%) | 218 | 29 horas · 639 € |
| 15 puntos (75% → 90%) | 97 | 13 horas · 285 € |
Esa tabla es la lección del módulo. Perseguir mejoras de tres puntos con un conjunto de prueba es económicamente imposible en un despacho de seis personas: cuesta más medirlas que lo que valen. Lo que sí se puede medir son las mejoras grandes. Conclusión operativa, y va contra la costumbre del sector: no hagas veinte cambios pequeños, haz pocos cambios grandes y mídelos. Y si un cambio no produce una diferencia que puedas ver con 120 casos, probablemente tampoco produzca una diferencia que tus clientes noten.
El truco que sí abarata: evaluación pareada
Hay una salida, y es la que usa cualquiera que haga esto en serio. Si evalúas las dos versiones sobre exactamente los mismos casos, la mayoría de los casos serán fáciles para ambas o difíciles para ambas, y esos no aportan información. Solo cuentan los casos donde una acierta y la otra falla. Comparar solo esos elimina de golpe la variabilidad debida a que unos correos sean más difíciles que otros, y con 120 casos se pueden detectar diferencias mucho menores que las de la tabla. Es el mismo motivo por el que un ensayo clínico cruzado necesita menos pacientes que uno paralelo.
Cifras de la tabla, para quien quiera comprobarlas: con p₁ = 0,83 y p₂ = 0,86, el corchete vale 0,1411 + 0,1204 = 0,2615 y d² = 0,0009, así que n = 7,85 × 0,2615 / 0,0009 = 2.281. Los cálculos suponen muestras independientes; con evaluación pareada la cifra baja mucho y depende de cuántos casos discrepen.
Un modelo juzgando a otro: útil, barato y sesgado
Etiquetar 120 correos a mano cuesta 16 horas. Hacerlo con un modelo cuesta unos céntimos. La tentación es evidente y la técnica es legítima —Zheng y otros (2023) mostraron que un modelo juez puede coincidir con evaluadores humanos en torno al 80% de las veces, que es aproximadamente lo que coinciden los humanos entre sí—. Pero viene con sesgos conocidos, y usarla sin controlarlos produce números peores que no medir, porque tienen aspecto de medición.
| Sesgo del juez | Qué hace | Contramedida |
|---|---|---|
| Longitud | Prefiere la respuesta más larga aunque no sea mejor | Rúbrica explícita que puntúe solo lo que importa; comparar a igualdad de longitud |
| Posición | Prefiere sistemáticamente la primera o la segunda opción que se le presenta | Aleatorizar el orden y evaluar cada par dos veces, invertido |
| Estilo propio | Puntúa mejor el texto que se parece a como escribe él | Usar de juez un modelo de otra familia que el generador |
| Autoindulgencia | Es más benévolo con sus propias respuestas | Nunca uses el mismo modelo como generador y como juez |
Y la regla que lo hace defendible: antes de fiarte del juez, hazle evaluar 50 casos que ya tienes etiquetados a mano y mide en cuántos coincide contigo. Si coincide en el 85%, tienes una herramienta que puedes usar a escala. Si coincide en el 60%, tienes un generador de números aleatorios con formato de informe. El juez se valida igual que se valida el sistema. No hay atajo: en algún punto de la cadena tiene que haber un humano que sepa la respuesta.
Dónde el juez funciona claramente mejor: en preguntas cerradas y verificables contra una fuente ("¿esta afirmación aparece en el fragmento citado, sí o no?") en vez de en juicios globales de calidad ("puntúa este correo del 1 al 10"). Descompón la calidad en cinco comprobaciones binarias y el juez pasa de dudoso a bastante fiable.
Simulador: ¿esta diferencia es real?
Arranca en el caso de Álvaro: versión A al 83%, versión B al 86%, 120 casos. Mira cómo los dos intervalos se solapan casi por completo — eso es "no se puede decidir". Ahora sube los casos hasta que dejen de solaparse: hacen falta miles. Después baja la versión A al 70% dejando la B en el 86%, y verás que con 120 casos ya se distinguen sin discusión. Esa es toda la estadística que hace falta para decidir aquí.
Aquí no hay nada inventado: los intervalos son de Wilson y el tamaño de muestra sale de la fórmula estándar para dos proporciones con 95% de confianza y 80% de potencia. La única simplificación es que trata las dos muestras como independientes; con evaluación pareada sobre los mismos casos, los números necesarios bajan bastante, y por eso la evaluación pareada es lo que hay que hacer siempre que se pueda.
✍️ Ejercicios resueltos
Ejercicio 1 — Cuánto vale la tarde de Álvaro. Álvaro probó tres correos con la versión nueva y los tres salieron bien. Marta pasa el conjunto de 120 y salen 103 aciertos frente a los 100 de la versión anterior. Calcula qué se puede afirmar en cada caso y qué decide el despacho.
Ver solución paso a paso
Paso 1 — Los tres correos de Álvaro. 3 de 3 es una tasa observada del 100%, con un intervalo de Wilson al 95% de 44% a 100%. Traducido: es compatible con que el sistema falle uno de cada dos. La afirmación "va mucho mejor" no está respaldada por nada.
Paso 2 — Versión A sobre el conjunto. 100/120 = 83,3%. Margen: 1,96 × √(0,833 × 0,167 / 120) = 1,96 × √0,001159 = 1,96 × 0,0340 = ±6,7 puntos. Intervalo: de 76,6% a 90,0%.
Paso 3 — Versión B. 103/120 = 85,8%. Margen: 1,96 × √(0,858 × 0,142 / 120) = 1,96 × 0,0318 = ±6,2 puntos. Intervalo: de 79,6% a 92,0%.
Paso 4 — La diferencia. 2,5 puntos. Error estándar de la diferencia: √(0,0340² + 0,0318²) = √0,002168 = 0,0466. Margen: 1,96 × 0,0466 = ±9,1 puntos. La diferencia observada (2,5) cabe holgadamente dentro del ruido (±9,1).
Paso 5 — Qué se decide. Que no hay evidencia de mejora, y también que no hay evidencia de empeoramiento. Si la versión nueva es más corta, más clara o más fácil de mantener, adóptala por esas razones — pero no la anuncies como una mejora de calidad, porque eso no se ha demostrado.
La lección de gestión: "no distinguible" no significa "igual", significa que este experimento no puede decidirlo. Es una respuesta legítima y muy frecuente, y aprender a darla sin incomodidad es la mitad de esta disciplina. El error de gestión no es que Álvaro se equivocara: es que en la mayoría de las empresas ese anuncio del lunes se habría convertido en un despliegue sin que nadie preguntase cómo lo sabía.
Ejercicio 2 — ¿Qué mejoras merece la pena medir? El despacho quiere una política sobre cuándo evaluar formalmente un cambio. Con 8 minutos de etiquetado por caso y la hora a 22 €, calcula qué cuesta medir una mejora de 3 puntos, una de 10 y una de 15, y escribe la regla.
Ver solución paso a paso
Paso 1 — Tres puntos (de 83% a 86%). n = 7,85 × [0,83×0,17 + 0,86×0,14] / 0,03² = 7,85 × 0,2615 / 0,0009 = 2.281 casos por versión. Etiquetar 2.281 × 8 minutos = 304 horas × 22 € = 6.690 €, y otro tanto si el segundo grupo necesita casos distintos.
Paso 2 — Diez puntos (de 78% a 88%). n = 7,85 × [0,78×0,22 + 0,88×0,12] / 0,10² = 7,85 × 0,2772 / 0,01 = 218 casos. 29 horas × 22 € = 639 €.
Paso 3 — Quince puntos (de 75% a 90%). n = 7,85 × [0,75×0,25 + 0,90×0,10] / 0,15² = 7,85 × 0,2775 / 0,0225 = 97 casos. Con el conjunto de 120 que ya existe, gratis.
Paso 4 — La comparación que importa. Detectar 3 puntos cuesta más de diez veces lo que cuesta detectar 10. Y esos 3 puntos, en el proceso real, valen: 3% de 1.400 correos son 42 borradores más que se envían sin rehacer, es decir 42 × 5 minutos = 3,5 horas al mes = 77 € mensuales. Gastar 6.690 € en confirmar un ahorro de 77 € al mes es exactamente el tipo de decisión que este máster intenta evitar.
Paso 5 — La regla del despacho. «Si un cambio no se nota en el conjunto de 120, se adopta o se descarta por otras razones —claridad, coste, mantenimiento— y no se anuncia como mejora. Solo se amplía el conjunto de prueba cuando el cambio en juego valga más de 500 € al mes.»
La lección de gestión: la estadística no está aquí para darte certeza, está para decirte cuánto cuesta la certeza — y muchas veces la respuesta correcta es que no la puedes pagar y no la necesitas. Lo que no es aceptable es tomar la decisión creyendo que la tienes. Añade a esto la evaluación pareada, que es gratis y baja mucho estos números, y tienes el método completo para un despacho pequeño.
Quiz — Evaluación: saber si funciona
12 preguntas — se supera con 70% o más.
Se cruza con
Este módulo se entiende mejor —o se vuelve otra cosa— junto a este otro. Cruzar dos disciplinas abre cosas que ninguna de las dos abre por su cuenta.
- Investigación de Mercado · Máster de MarketingEl mismo tamaño de muestra y los mismos sesgos, medidos sobre personas en vez de sobre respuestas de un modelo.