Tokens, coste y latencia
La factura de tokens es la parte pequeña. La cara es la hora de la persona que revisa.
Dos presupuestos que no se parecen en nada
Marta pidió presupuesto para automatizar los borradores. La empresa que vino le dijo "unos 200 € al mes". Ella ya había hecho la cuenta del módulo 1 y le salía 8,61 €. Uno de los dos números tenía que estar mal.
No lo estaba ninguno. El proveedor contaba licencias por usuario para seis personas; ella contaba tokens de la interfaz de programación. Estaban presupuestando dos cosas distintas y las dos eran verdad. Lo que ninguno de los dos había puesto sobre la mesa era la partida que se lleva el 93% del coste real del proceso.
Este módulo construye la factura completa —las cuatro capas, no la primera— y llega a una conclusión que va contra casi todo lo que se lee sobre optimizar prompts: a la escala de Marta, el precio de los tokens es ruido. Cuidarlo con esmero es una forma sofisticada de perder el tiempo. Lo que decide si esto sale a cuenta es cuántos minutos de persona hace falta para poder fiarse del resultado.
📋 Guía docente del módulo
Objetivos
- Construir el coste total de un proceso asistido por IA distinguiendo sus cuatro capas.
- Calcular el coste unitario y mensual a partir de tokens de entrada, tokens de salida y sus precios respectivos.
- Comprender el efecto de la caché de contexto y cuantificar su ahorro real.
- Distinguir latencia de coste y saber en qué casos manda cada uno.
- Evaluar una inversión en IA con periodo de recuperación y coste por hora humana liberada.
Resultados de aprendizaje
- RA1. Calcular la factura mensual de un proceso a partir de volumen, tokens y precios, sin confundir entrada con salida.
- RA2. Estimar el ahorro de una caché de contexto y valorar si merece el trabajo de implantarla.
- RA3. Calcular el periodo de recuperación de una implantación incluyendo el coste de construirla.
- RA4. Argumentar cuándo optimizar tokens es relevante y cuándo es una distracción, en función de la escala.
- RA5. Identificar los costes ocultos —mantenimiento, revalidación por cambio de modelo, deriva del prompt— y presupuestarlos.
Bibliografía de referencia
- Brynjolfsson, E., Li, D. y Raymond, L.: "Generative AI at Work", NBER, 2023 — la medición de campo más citada sobre productividad real, con un dato clave: las ganancias se concentran en los menos expertos.
- Dell'Acqua, F. et al.: "Navigating the Jagged Technological Frontier", Harvard Business School, 2023 — dentro de la frontera de capacidad, mejoras grandes; fuera, deterioro medible.
- Peng, S. et al.: "The Impact of AI on Developer Productivity", 2023 — ensayo controlado con asistentes de programación.
- Hoffmann, J. et al.: "Training Compute-Optimal Large Language Models", 2022 — por qué un modelo más pequeño y mejor entrenado puede bastar.
- Kaplan, R. S. y Anderson, S. R.: Time-Driven Activity-Based Costing, Harvard Business Press, 2007 — cómo se imputa de verdad el coste de un proceso administrativo.
Carga de trabajo estimada
| Actividad | Horas |
|---|---|
| Lectura y estudio del material | 5 |
| Experimentación con el simulador | 2 |
| Ejercicios (resueltos y por cuenta propia) | 5 |
| Evaluación (quiz de módulo y repaso) | 2 |
| Total | 14 |
Las cuatro capas del coste
| Capa | Qué incluye | En Bermejo & Asociados |
|---|---|---|
| 1. Consumo | Tokens de entrada y salida, o licencias por usuario | 17,55 € al mes |
| 2. Construcción | Diseñar el prompt, montar la integración, preparar el conjunto de prueba | 880 € una vez (40 h) |
| 3. Mantenimiento | Ajustes, incidencias, revalidar cuando cambia el modelo | 66 € al mes (3 h) |
| 4. Revisión humana | El tiempo de la persona que comprueba antes de enviar | 1.129 € al mes (51,3 h) |
Mira los porcentajes del coste recurrente: consumo 1,4%, mantenimiento 5,4%, revisión humana 93,1%. Y ahora mira dónde se concentra todo lo que se escribe sobre este tema — en el 1,4%.
La comparación que decide es contra el proceso actual: contestar 1.400 correos a mano son 140 horas, es decir 3.080 € al mes. Con el sistema, el mismo trabajo cuesta 17,55 + 66 + 1.129 = 1.213 €. Ahorro: 1.867 € al mes, y los 880 € de construirlo se recuperan en catorce días.
Una honestidad que falta en casi todos los cálculos de este tipo: ese ahorro solo es dinero si las horas liberadas se usan en algo que produzca. En un despacho de seis personas con lista de espera, las 88 horas se convierten en clientes nuevos y el ahorro es real. Si nadie está esperando, lo que has comprado es que la gente termine a las seis en vez de a las ocho — que puede ser un objetivo legítimo y valiosísimo, pero no aparece en la cuenta de resultados. Decide cuál de los dos quieres antes de presentar el número a nadie.
Cómo se calcula la capa 1, sin equivocarse
La fórmula no tiene misterio, pero tiene una trampa que se cae siempre:
coste = (tokens_entrada × precio_entrada) + (tokens_salida × precio_salida)
La trampa: los dos precios no son iguales. La salida cuesta típicamente cinco veces más que la entrada, porque generar es más caro que leer. En el correo de Marta, la salida son 250 de los 3.178 tokens —el 8%— y se lleva el 30% del coste. Consecuencia práctica que casi nadie aplica: si quieres abaratar, la palanca no es recortar instrucciones, es no pedir respuestas más largas de lo necesario. "Máximo 200 palabras" es una decisión de coste, no de estilo.
La caché de contexto
Cuando muchas llamadas empiezan exactamente igual —las instrucciones del despacho y los cuatro ejemplos son idénticos en los 1.400 correos— los proveedores permiten cachear ese prefijo y cobrarlo mucho más barato al reutilizarlo. Un descuento habitual ronda el 90% sobre la parte cacheada, aunque varía por proveedor y la caché caduca en minutos si no se usa.
Hagamos la cuenta, que es instructiva por lo que sale: de los 2.928 tokens de entrada, 2.424 son fijos (las instrucciones del despacho y los cuatro ejemplos) y 504 son variables (la ficha del cliente y el correo entrante: 360 palabras). Con un 90% de descuento en la parte fija, la entrada efectiva pasa a 242 + 504 = 746 tokens. El correo baja de 0,0125 € a 0,0060 €, y la factura del mes de 17,55 € a 8,40 €.
Has ahorrado 9,15 € al mes en un proceso que cuesta 1.213 €: un 0,75%. Esa es la lección del módulo en una cifra. La caché es una técnica correcta y a cierta escala es dinero de verdad; a la escala de Marta, dedicarle una tarde es cambiar una tarde por nueve euros al mes. El instinto de optimizar lo que se puede medir con precisión —los tokens— en vez de lo que domina el coste —el minuto humano— es uno de los errores más caros de este campo.
Dónde sí manda: multiplica ese proceso por mil. Con 1,4 millones de llamadas al mes, ese mismo 0,75% pasa a ser una diferencia de 9.150 € mensuales y hay un equipo entero cuyo trabajo es exprimirla. La técnica no cambia; lo que cambia es si tu escala la convierte en relevante. Antes de copiar la práctica de una empresa grande, mira su volumen.
Latencia: cuándo el tiempo importa más que el dinero
El coste y la latencia son dos ejes distintos y se optimizan al revés. Dos números describen la latencia:
- Tiempo hasta el primer token. Lo que tarda en empezar a escribir. Depende sobre todo de procesar la entrada: contexto largo, arranque lento.
- Tokens por segundo. La velocidad a la que escribe una vez arrancado. Depende del modelo y de la carga del proveedor.
El borrador de Marta —250 tokens de salida a unos 40 tokens por segundo, con 0,8 segundos de arranque— tarda unos 7 segundos. Ahora la pregunta que importa: ¿siete segundos son mucho?
| Situación | ¿Importan 7 segundos? | Qué se optimiza |
|---|---|---|
| 1.400 borradores generados de madrugada, en lote | No, en absoluto | Coste. Usa el modelo más barato que dé la calidad. |
| Un asesor escribiendo con el borrador delante | Poco: puede hacer otra cosa | Coste, y que se vea el texto según se escribe. |
| Un chat en la web contestando a un cliente en vivo | Mucho: 7 segundos en silencio es un abandono | Latencia. Modelo más rápido, contexto más corto, respuesta más breve. |
| Un agente de 8 pasos encadenados | Muchísimo: 8 × 7 = casi un minuto | Número de pasos, antes que nada. |
Truco que vale más que cualquier optimización técnica en la última fila: enseñar el texto según se genera. La misma respuesta de 7 segundos se percibe como instantánea si las primeras palabras aparecen a los 800 milisegundos. No has cambiado la latencia, has cambiado la espera percibida — y es lo único que nota el cliente.
Los costes que no están en el presupuesto
Tres partidas que aparecen a los seis meses, cuando el entusiasmo ya ha pasado y nadie las presupuestó.
La revalidación por cambio de modelo. Los proveedores retiran versiones. Cuando el modelo que usabas desaparece o se actualiza, tu prompt —afinado durante semanas contra ese comportamiento— puede rendir distinto. Hay que pasar otra vez el conjunto de prueba del módulo 7 y a veces reescribir. Presupuéstalo: una o dos veces al año, media jornada. Y si no tienes conjunto de prueba, esa media jornada se convierte en semanas de sospechas.
La deriva del prompt. Cada incidente concreto añade una frase al prompt ("y no menciones nunca el aplazamiento sin comprobar el importe"). Al año son cuarenta frases, nadie recuerda por qué está cada una, nadie se atreve a quitar ninguna y el contexto ha engordado un 60%. Contramedida: una nota al lado de cada regla con la fecha y el incidente que la motivó. Sin eso, el prompt se convierte en sedimento.
El coste de la desconfianza. El más caro y el que no se factura: si el equipo no se fía del sistema, revisará al 100% con la misma intensidad que si escribiera de cero, y entonces no has ahorrado nada. Esta partida no se arregla con tecnología; se arregla enseñando los números de la auditoría del módulo 3 y dejando que el propio equipo vea la tasa de error medida en vez de imaginada.
Simulador: la factura completa del mes
Los mandos vienen con el caso real: 1.400 correos, 2.928 tokens de entrada, 250 de salida, 2,2 minutos de revisión por correo y una hora cargada a 22 €. Las dos barras comparan el proceso a mano con el proceso asistido, desglosado. Prueba a poner el precio de entrada a cero —tokens gratis— y mira cuánto baja la barra de la derecha: es la demostración de que ahí no está el dinero. Después sube la revisión a 4 minutos y mira lo que pasa.
Aquí no hay ningún modelo juguete: es aritmética de facturas, con los precios de referencia del máster (3 € y 15 € por millón) y 3 horas mensuales fijas de mantenimiento. La única suposición discutible es que los minutos de revisión sean constantes; en la práctica bajan con la costumbre y suben con la complejidad del caso. Si el ahorro sale negativo, no es un fallo del simulador: es que a esa configuración el proceso no compensa, que es exactamente lo que hay que saber antes y no después.
✍️ Ejercicios resueltos
Ejercicio 1 — El presupuesto que Marta lleva a la reunión. Con 1.400 correos al mes, 2.928 tokens de entrada y 250 de salida, 2,2 minutos de revisión por correo, 3 horas mensuales de mantenimiento y 40 horas de construcción, todo a 22 € la hora: monta la cuenta completa, compárala con las 140 horas del proceso manual y calcula el periodo de recuperación.
Ver solución paso a paso
Paso 1 — Consumo. Entrada: 2.928 × 3/1.000.000 = 0,008784 €. Salida: 250 × 15/1.000.000 = 0,00375 €. Por correo: 0,012534 €. Al mes: × 1.400 = 17,55 €.
Paso 2 — Revisión humana. 1.400 × 2,2 minutos = 3.080 minutos = 51,33 horas. × 22 € = 1.129,33 €.
Paso 3 — Mantenimiento. 3 horas × 22 € = 66 €.
Paso 4 — Coste recurrente total. 17,55 + 1.129,33 + 66 = 1.212,88 € al mes.
Paso 5 — El proceso actual. 1.400 × 6 minutos = 8.400 minutos = 140 horas × 22 € = 3.080 € al mes.
Paso 6 — Ahorro y recuperación. 3.080 − 1.212,88 = 1.867,12 € al mes. La construcción son 40 × 22 = 880 €. Periodo de recuperación: 880 / 1.867,12 = 0,47 meses, es decir catorce días.
Paso 7 — La cifra que hay que decir en voz alta. El consumo de tokens es el 1,4% del coste recurrente. La revisión humana, el 93,1%.
La lección de gestión: con un periodo de recuperación de dos semanas, discutir si el proveedor A es un 20% más barato que el B es irrelevante — un 20% de 17,55 € son 3,51 € al mes. La decisión de verdad es cuántos minutos de revisión necesita tu equipo para fiarse, y esa cifra no la fija ningún proveedor: la fija el diseño de los controles del módulo 3 y la mide la auditoría del módulo 7.
Ejercicio 2 — ¿Merece la pena montar la caché? De los 2.928 tokens de entrada, 2.422 son idénticos en todas las llamadas. Implantar la caché de contexto lleva 5 horas de trabajo y da un 90% de descuento sobre esa parte. ¿Compensa? ¿Y si el mismo proceso fueran 1,4 millones de llamadas al mes?
Ver solución paso a paso
Paso 1 — Entrada efectiva con caché. Parte fija: 2.424 × 0,10 = 242,4 tokens equivalentes. Parte variable: 504 tokens. Total: 746,4 tokens en vez de 2.928.
Paso 2 — Coste por correo. 746,4 × 3/1.000.000 = 0,00224 € de entrada, más 0,00375 € de salida = 0,00599 €, frente a 0,012534 €.
Paso 3 — Factura del mes. 0,00599 × 1.400 = 8,39 €, frente a 17,55 €. Ahorro: 9,16 € al mes.
Paso 4 — Coste de implantarla. 5 horas × 22 € = 110 €. Periodo de recuperación: 110 / 9,16 = 12 meses.
Paso 5 — Veredicto para Marta. No. Un año de recuperación para ahorrar el 0,75% del coste del proceso, con el riesgo añadido de que la caché caduque y haya que mantenerla. Esas mismas 5 horas dedicadas a afinar la lista de comprobación de la revisión —que ataca el 93%— rinden un orden de magnitud más.
Paso 6 — A escala mil veces mayor. 1,4 millones de llamadas: la factura pasa de 17.548 € a 8.386 € mensuales. Ahorro: 9.162 € al mes por las mismas 5 horas de trabajo. Recuperación: ocho horas. Y aquí no hay revisión humana que domine el coste, porque a ese volumen nadie está revisando: los tokens son el coste.
La lección de gestión: exactamente la misma técnica, exactamente el mismo cálculo, y la decisión correcta es opuesta. No existen las buenas prácticas de IA en abstracto: existen buenas prácticas para un volumen y una estructura de costes. Cuando leas una recomendación, la primera pregunta no es si es cierta, es a qué escala está escrita.
Quiz — Tokens, coste y latencia
12 preguntas — se supera con 70% o más.
Se cruza con
Este módulo se entiende mejor —o se vuelve otra cosa— junto a este otro. Cruzar dos disciplinas abre cosas que ninguna de las dos abre por su cuenta.
- Finanzas · Máster de NegociosValor hoy contra valor mañana: de ahí sale el periodo de recuperación con el que se juzga esta inversión.