Puntos clave
- Una demo demuestra que algo es posible; un agente en producción demuestra que es fiable, medible y más barato que el statu quo.
- Empieza por un flujo de trabajo doloroso y costoso con una métrica clara — no por el modelo.
- Trata al LLM como una capa de razonamiento sobre herramientas de confianza, no como una fuente de verdad.
- Los arneses de evaluación y la observabilidad son el 70% del trabajo real y tu activo más valioso.
- Si un agente no puede ganarse su lugar en la cuenta de resultados, pertenece a un entorno de pruebas, no a las operaciones.
La trampa de la demo
Todo el mundo ha visto la demo. Un agente de IA agenda una reunión, redacta un correo, resume un documento — todo en menos de dos minutos, todo en el escenario. La sala aplaude. Tres meses después, ese mismo agente se apaga discretamente porque alucinó una política de reembolsos, ignoró un caso límite o nadie pudo explicar por qué hizo lo que hizo.
En Evocative construimos agentes de IA porque nuestros clientes nos lo piden, pero hemos aprendido a ser implacables con una distinción: una demo demuestra que algo es posible; un agente en producción demuestra que es fiable, medible y más barato que el statu quo. Esos son problemas de ingeniería muy distintos, y el segundo es el único por el que vale la pena facturar.
Empieza por el flujo de trabajo, no por el modelo
El error más común que vemos es que los equipos empiezan con "tenemos GPT/Claude, ¿qué puede hacer?". Eso está al revés. Nosotros empezamos con un flujo de trabajo específico, doloroso y repetitivo que ya tiene un coste asociado — una cola de soporte, una conciliación de facturas, un proceso de cualificación de leads. Si no podemos nombrar la métrica que el agente va a mover, no construimos el agente.
Esto obliga a la honestidad. A veces la respuesta es que un simple script de automatización, un mejor formulario o un motor de reglas resuelve el 80% del problema por una fracción del coste y del riesgo. Recurrir a un agente LLM cuando bastaría una herramienta determinista no es innovación — es un pasivo costoso.
Las cuatro cosas que separan a los agentes reales de las demos
- Alcance acotado. Un agente que hace bien un trabajo supera a uno que hace diez trabajos de forma impredecible. Reducimos el mandato hasta que los modos de fallo se vuelven conocibles.
- Acceso a herramientas por encima de la generación en bruto. El valor rara vez viene de que el modelo escriba prosa — viene de que el modelo decida qué herramienta de confianza invocar (tu CRM, tu base de datos, tu API de reservas) y pase los argumentos correctos. Tratamos al LLM como una capa de razonamiento sobre herramientas deterministas, no como una fuente de verdad.
- Salvaguardas y traspaso a humanos. Cada agente que entregamos sabe lo que no sabe. Escala. Rechaza. Registra. Un agente sin un camino claro de "no tengo confianza, deriva esto a un humano" es una demo con una insignia de producción.
- Observabilidad desde el primer día. Si no puedes ver qué decidió el agente y por qué, no puedes mejorarlo ni defenderlo. Instrumentamos cada paso para que un responsable de negocio — no solo un ingeniero — pueda auditar el comportamiento.
La evaluación es el producto
Aquí está la verdad incómoda: escribir el agente es quizá el 30% del trabajo. El otro 70% es construir el arnés de evaluación — una biblioteca creciente de casos reales, incluidos los desagradables, que ejecutamos cada vez que cambiamos un prompt, un modelo o una herramienta. Sin esto, "mejorar" un agente es adivinar, y cada ajuste corre el riesgo de romper en silencio algo que funcionaba ayer.
Tratamos la evaluación como un activo vivo. Cuando el agente falla en producción, ese fallo se convierte en un caso de prueba. Con el tiempo, este conjunto de datos vale más que el propio prompt, porque codifica exactamente cómo tu negocio define lo que es "bueno".
Diseña para el aburrido 20%
Las demos se optimizan para el camino feliz. Las operaciones reales viven en los casos límite: la entrada mal formada, el cliente que cambia de opinión a mitad de la conversación, la API que se agota, la solicitud que queda ligeramente fuera de la política. Un agente que maneja el 95% de los casos de forma impecable pero entra en pánico con el 5% restante a menudo crea más trabajo del que ahorra, porque ahora los humanos tienen que detectar y corregir sus errores.
Por eso diseñamos hacia atrás desde el fallo. ¿Qué pasa cuando el agente se equivoca? ¿Quién se da cuenta? ¿Con qué rapidez? ¿Cuál es el radio de impacto? Responde esas preguntas con honestidad y la arquitectura casi se diseña sola.
El valor aparece en la cuenta de resultados, no en la presentación
Los agentes de los que estamos más orgullosos son invisibles. Vacían discretamente una acumulación de soporte durante la noche, reducen un proceso de dos días a veinte minutos o permiten que un equipo pequeño opere como uno grande. Nadie los demuestra en escenario. Simplemente funcionan, mes tras mes, con una línea clara hacia horas ahorradas o ingresos desbloqueados.
Ese es el listón. Si un agente de IA no puede ganarse su lugar en el balance, pertenece a un entorno de pruebas, no a tus operaciones.
Si estás sopesando un agente de IA para un flujo de trabajo real — y quieres un socio que te diga con honestidad si vale la pena construirlo — estaremos encantados de comentarlo contigo.
