Cómo evaluar modelos de IA para tu caso de uso cuando todos empatan en el benchmark
Las tablas públicas de IA se han quedado sin capacidad para distinguir nada. La única señal que merece la pena leer es el coste por tarea correcta, medido sobre un banco de pruebas propio que nadie más ve.
Los mercados ponen precio a la información, no al esfuerzo. Por eso, cuando una tanda de lanzamientos punteros llega con días de diferencia y cada uno publica una puntuación casi idéntica en las mismas pruebas públicas, el mercado acaba de recibir un número que ya no separa nada. Es la posición incómoda en la que están hoy los equipos de compras tecnológicas, y por eso cómo evaluar modelos de IA para tu caso de uso se ha convertido en un problema de aprovisionamiento, no de lectura de tablas.
La tabla de clasificación fue realmente útil una temporada, cuando los modelos estaban lejos unos de otros y una prueba pública distinguía al bueno del mediocre de un vistazo. Esa ventana se está cerrando. En cuanto un benchmark se convierte en el criterio por el que se juzga a los proveedores, deja de medir capacidad y empieza a medir cuánto ha optimizado cada uno hacia el mismo objetivo fijo. Las puntuaciones suben, las diferencias se estrechan y la clasificación se convierte en un artefacto de marketing. Un punto de ventaja en lo alto de una tabla saturada es ruido con lazo de premio.
¿Por qué los benchmarks públicos de IA ya no dicen nada a quien compra?
Hay dos motivos, y ninguno exige suponer mala fe. Primero, una prueba pública es un objetivo fijo y finito, y todo lo fijo acaba aprendiéndose. Ya sea por contaminación directa o por el goteo más lento de todo el sector afinando hacia las mismas preguntas, una prueba publicada pierde poder discriminante cuanto más tiempo lleva publicada. Trata la idea de que los laboratorios entrenan a propósito con datos de examen como una hipótesis a vigilar, no como un hecho probado: no hace falta la conspiración para que las matemáticas fallen igual. Segundo, la propia convergencia es la pista. Cuando cinco modelos terminan a un punto de diferencia entre sí, la lectura honesta no es que sean igual de buenos para tu trabajo. Es que la prueba se ha quedado sin recorrido.
Fíjate en lo débil que queda la señal en cuanto se mira de cerca. Cuando examinadores independientes pasaron el conjunto de acertijos ARC-AGI, un modelo preliminar muy publicitado anotó cerca de un 75,7 % en la parte semiprivada de la prueba, una cifra vistosa que cabe en un titular y con la que un comprador puede hacer muy poco. La precisión por sí sola dice que un modelo puede llegar a una respuesta. No dice nada de lo que cuesta llegar a ella, y ahí es donde se esconde la diferencia real entre los modelos de hoy.
Esa es la métrica que ningún proveedor puede maquillar: el coste por tarea correcta a un nivel de capacidad fijo. Es económicamente real. Que un modelo iguale la precisión de un rival gastando una fracción es el resultado que importa, no una ventaja de una cifra decimal en una tabla saturada. Si puedes permitirte ejecutar un modelo un millón de veces es la única pregunta que sobrevive al contacto con la producción real. Dos modelos pueden publicar la misma puntuación de razonamiento mientras su coste por tarea resuelta difiere en un orden de magnitud, una brecha invisible en la tabla que sale en la prensa.
¿Qué mide realmente el coste por tarea correcta?
Hay que definirlo con precisión, porque la expresión hace más trabajo del que parece. El coste por tarea correcta es el gasto total de ejecutar tu conjunto de tareas dividido entre el número de tareas que el modelo acierta de verdad: en el caso de un solo intento, el coste de tokens por tarea dividido entre la tasa de acierto. Nada exótico. Pero solo tiene sentido bajo tres condiciones. Necesitas un evaluador de confianza, automático o humano, capaz de marcar cada respuesta como correcta o incorrecta sobre tu propio conjunto reservado. Necesitas medir el consumo de tokens sobre tus propios prompts y no sobre la estimación cómoda de un proveedor, porque las trazas de razonamiento verbosas mueven ese número más que la tasa de acierto publicitada. Y hay que decidir cuánto cuesta una respuesta equivocada: cuando una respuesta plausible pero falsa sale cara de detectar, el coste por tarea correcta favorece injustamente al modelo barato, así que hay que ponderar los fallos en consecuencia.
Pasemos números reales por la fórmula. Toma dos modelos muy usados al mismo precio de catálogo: uno económico a 0,15 $ por millón de tokens de entrada y 0,60 $ por millón de salida, y uno premium del mismo proveedor a 2,50 $ y 10 $ para los mismos volúmenes. Supón que cada tarea de tu conjunto ronda los 2.000 tokens de entrada y 500 de salida. El modelo económico cuesta unos 0,0006 $ por intento; el premium, unos 0,01 $, dieciséis veces más. Ahora entra la precisión, la mitad de la ecuación que la lista de precios ignora. Supón que en tu conjunto reservado el modelo económico resuelve el 55 % de las tareas y el premium el 75 %. Divide coste entre tasa de acierto y aparece la cifra real: unos 0,0011 $ por respuesta correcta con el modelo económico frente a unos 0,013 $ con el premium.
Léelo despacio otra vez. El modelo premium va veinte puntos de precisión por delante y aun así cuesta unas doce veces más por cada problema que resuelve de verdad. Para comprar 5.500 respuestas correctas, el modelo económico cobra unos 6 $; el premium cobra unos 73 $ por las mismas 5.500. Amplía el panorama y la brecha solo se agranda: los precios de catálogo publicados van desde niveles económicos cercanos a 0,15 $ y 0,60 $ por millón de tokens, pasando por opciones intermedias en torno a 0,80 $ y 4 $, hasta niveles punteros de 3 $ y 15 $ o más para los modos de razonamiento más exigentes, un rango de dos órdenes de magnitud bajo puntuaciones de benchmark separadas por uno o dos puntos. La tabla de clasificación enseña la diferencia de precisión y ninguna de precio. Si el intercambio compensa es una decisión real, no un valor por defecto: si una respuesta errónea sale barata de detectar y reintentar, gana el modelo económico sin discusión; donde un fallo silencioso sale caro, pagas por precisión y haces bien.
¿Cómo se evalúan los modelos de IA para tu caso de uso?
Se construye un banco de pruebas propio. Reúne un conjunto de tareas reservadas sacadas de tu propio trabajo, que ningún proveedor haya visto y hacia las que ninguno pueda afinar, y puntúa cada modelo candidato por precisión ajustada al coste sobre ese conjunto. Mantenlo privado y actualizado, y que sea el número por el que realmente compras. Una puntuación pública responde a una pregunta que tú nunca hiciste; tu propia evaluación responde a la que sí hiciste. Es la misma disciplina que defendemos al hablar de preparar la organización antes de construir con IA, y por eso la elección de modelo pertenece a tu estrategia técnica y no a algo que se decide después de leer una nota de prensa. El banco de pruebas sale barato comparado con el coste de estandarizar toda una empresa sobre el proveedor equivocado porque una cifra de marketing parecía una señal de capacidad.
Los riesgos de segundo orden son los que una tabla de clasificación nunca va a enseñar. El razonamiento espacial y físico sigue siendo una debilidad estructural: en nuestras propias pruebas, modelos que arrasan en un benchmark de razonamiento general siguen tropezando cuando la tarea depende de la profundidad, la posición relativa o la disposición física inferida a partir de una imagen. Si tu despliegue lee profundidad o posición a partir de una sola cámara o de entrada puramente visual, una puntuación de razonamiento general es peor que inútil, porque saldrá alta mientras la capacidad concreta que necesitas sale baja. Es exactamente el tipo de fallo que un banco de pruebas propio detecta y uno público disimula, y buena parte de por qué mantenemos siempre a una persona en el circuito para todo lo que sea de verdad consecuente.
¿Qué me haría cambiar de postura? Un benchmark público que mantuviera su capacidad de discriminar un año después de publicarse, con puntuaciones que siguieran repartidas en lugar de apelotonarse en el techo, sería una prueba sólida de que las tablas de clasificación todavía llevan señal. Lo mismo un mercado donde el coste por tarea correcta siguiera de cerca a la precisión de cabecera, lo bastante como para que el atajo barato dejara de mentir. Ninguna de las dos parece probable mientras el incentivo siga siendo optimizar el número visible. Hasta que eso cambie, la asimetría que nadie ha puesto en precio es esta: quienes están evaluando en silencio con sus propios bancos de pruebas reservados toman mejores decisiones que quienes leen la misma tabla pública que su competencia, y pagan una fracción del precio por hacerlo.
Preguntas frecuentes
¿Qué debería medir de verdad un marco de evaluación de modelos de IA?
La precisión ajustada al coste sobre tareas que reproducen tu carga de trabajo real, reservadas y mantenidas en privado, en lugar de las puntuaciones brutas de pruebas públicas. Hay que medir si el modelo acierta y cuánto cuesta cada acierto, porque es en ese segundo número donde se separan modelos que en la tabla pública parecían idénticos.
¿Sirven de algo los benchmarks públicos de IA a la hora de elegir modelo?
Sí, pero su valor caduca rápido. Un benchmark reciente con tareas realmente novedosas puede ser útil. Uno saturado, donde los modelos punteros terminan a un punto de diferencia, no distingue nada por ti: trata la posición en la tabla como una pista débil y deja que tu propia evaluación reservada tome la decisión.
¿Por qué importa el razonamiento espacial al comparar modelos de IA?
Porque es una debilidad estructural documentada que las puntuaciones de razonamiento general esconden. Si tu caso de uso infiere profundidad, posición o disposición física a partir de entrada visual, un benchmark alto en general puede tapar una capacidad baja justo en la habilidad que necesitas, por eso una evaluación propia y específica gana a cualquier agregado publicado.
Relacionado
- La pérdida de habilidades por la IA es el riesgo que tu empresa no está calculando
- El caso de negocio de la terapia con IA es un suelo, no un techo
- El oligopolio de la memoria que está inflando el coste real de la IA
- AI & Automation
Escrito por una persona editorial de IA del sistema editorial propietario de Abyshire y revisado por nuestro equipo.