Probar agentes de IA: mini-evaluación de 10 tareas
Aprende a probar agentes de IA con tus propias tareas: 10 pruebas, criterios claros y varios intentos antes de delegar. Guía para México.

En este artículo (6)
Antes de confiarle trabajo real a un asistente, conviene saber cómo probar agentes de IA con tus propias tareas. Esta guía es para profesionistas y equipos en México: un método de 10 tareas que armas en una tarde.
En resumen
- Un agente se prueba con tareas reales tuyas y con un criterio de éxito escrito antes de ejecutarlo.
- Cada tarea se repite varias veces, porque el resultado cambia entre intentos.
- Con 10 tareas puedes arrancar; después amplías el conjunto con los fallos que encuentres.
Por qué probar agentes de IA con tu trabajo y no con demos
El trabajo real trae archivos incompletos y entregables completos, no casos elegidos para lucir. Según un resumen de ai-tldr.dev sobre el benchmark DAYJOB: Tax, Surge AI lo publicó el 27 de octubre de 2026 con 50 tareas fiscales completas y 1,789 archivos de clientes. El mejor agente evaluado aprobó 10.8% de las tareas, y aprobar exigía cumplir al menos 95% de los criterios de una rúbrica escrita por expertos.
Ese número no habla de tu empresa. La lección: un agente que impresiona en una muestra puede fallar en el trabajo completo. Lo vimos en IA para contadores.

Los tres elementos de una prueba
La guía de ingeniería de Anthropic sobre evaluaciones de agentes usa un vocabulario simple que puedes copiar a tu hoja de cálculo.
| Elemento | Qué es | Ejemplo de oficina |
|---|---|---|
| Tarea | Prueba con entradas y criterios de éxito definidos | Responder una cotización en pesos |
| Grader | Lo que puntúa el resultado: código, modelo o persona | Checklist: ¿incluye el folio y el total correcto? |
| Trial | Cada intento de una tarea | Correr la misma cotización 3 veces |
Fuente: Anthropic, Demystifying evals for AI agents.
Cómo armar tus 10 tareas
Parte de lo que hoy haces a mano. Un despacho contable en Tijuana podría usar tareas como estas:
- Cotejar una factura contra su orden de compra.
- Redactar la respuesta a un oficio con datos del expediente.
- Preparar una cotización en pesos con las condiciones del cliente.
Anthropic advierte que una tarea debe ser no ambigua: dos expertos tendrían que llegar al mismo veredicto de aprobado o reprobado. Por eso conviene guardar una solución de referencia, hecha por una persona, que pase todos tus criterios.

Qué hacer con los resultados
Marca cada tarea como aprobada, dudosa o reprobada. Donde aprueba de forma consistente, basta una revisión ligera; donde falla, una persona valida antes de enviar. Aquí encaja cuándo pedir aprobación humana en un agente. Y si lo que comparas son modelos y no agentes, usa 5 tareas de oficina para comparar modelos de IA.
Preguntas frecuentes
¿Cuántas tareas necesito para probar un agente de IA?
Para empezar bastan 10 tareas reales de tu trabajo. Anthropic recomienda partir de 20 a 50 tareas simples y ampliar el conjunto con el tiempo.
¿Por qué repetir cada tarea varias veces?
Porque las respuestas de un modelo cambian entre ejecuciones. Varios intentos por tarea dan un resultado más consistente que uno solo.
¿Necesito saber programar para hacer esta prueba?
No. Una checklist en una hoja de cálculo y una persona que revise cada resultado alcanzan para una primera evaluación.
Si quieres practicar este método con acompañamiento, conoce el curso de IA para non coders o escríbenos por WhatsApp.



