Puntos clave
- Las demos optimizan para el aplauso; los sistemas en producción deben sobrevivir al lunes por la mañana.
- Empieza por un trabajo medible, no por la elección de un modelo o una tecnología.
- Los agentes limitados deliberadamente superan a los ambiciosos e impredecibles.
- La mayor parte del valor de la IA proviene de la fontanería de datos, las barreras de protección y la integración, no de la capacidad pura.
- Despliega la versión valiosa más pequeña, mídela como a un nuevo empleado y luego capitaliza.
La trampa de la demo
Cada semana vemos el mismo patrón: una demo impecable de un agente de IA que responde a la perfección tres preguntas cuidadosamente seleccionadas, todos aplauden, se aprueba el presupuesto y, seis meses después, la cosa se apaga discretamente. El problema nunca fue el modelo. El problema era que una demo optimiza para el aplauso, mientras que un sistema de negocio tiene que sobrevivir a casos límite, clientes enfadados, datos desordenados y a un director financiero preguntando qué retornó realmente.
En Evocative construimos agentes de IA que hacen trabajo, no agentes que hacen teatro. Esa distinción moldea cada decisión que tomamos, desde la definición del alcance hasta el despliegue.
Empieza por un trabajo, no por una tecnología
La primera pregunta que hacemos nunca es "¿qué modelo?". Es "¿qué trabajo específico y medible está reemplazando o acelerando este agente?". Un agente que "ayuda con la atención al cliente" es una demo. Un agente que "redacta las primeras respuestas para los tickets de nivel 1, cita la política correcta y escala cualquier cosa que involucre reembolsos superiores a 200 €" es un sistema que puedes medir, en el que puedes confiar y que puedes mejorar.
Insistimos en una definición de "terminado" que un actor clave sin perfil técnico pueda leer. Si no podemos expresar el valor en una frase que le importe a un dueño de negocio —horas ahorradas, tiempo de respuesta reducido, conversión aumentada—, el proyecto no está listo para construirse.
Limita el agente a propósito
Contraintuitivamente, los agentes más valiosos son aquellos que limitamos deliberadamente. La autonomía abierta luce impresionante en una demo y se comporta de forma impredecible en producción. A los agentes les damos:
- Un alcance estrecho y bien definido para que el comportamiento se mantenga predecible y comprobable.
- Herramientas en lugar de conjeturas —llamadas reales a APIs, consultas a bases de datos, fuentes verificadas— en vez de dejar que el modelo improvise hechos.
- Rutas de escalado claras para que el agente sepa qué debe devolver a una persona.
- Barreras de protección y lógica de rechazo ajustadas a los riesgos reales del negocio, no a un teatro de seguridad genérico.
Un agente limitado que gestiona el 70 % de los casos de forma fiable supera a uno ambicioso que gestiona el 95 % de los casos habitualmente. La fiabilidad acumula confianza; la impredecibilidad la destruye.
Ancla todo en la realidad del cliente
Los modelos genéricos conocen internet. No conocen tus precios, la lógica de tu inventario, tu tono de voz ni la excepción con la que tu equipo de operaciones lleva años conviviendo. El verdadero trabajo de ingeniería rara vez es escribir prompts: es la recuperación de información, la fontanería de datos y la integración.
Dedicamos una cantidad desproporcionada de tiempo a la capa poco glamurosa: limpiar bases de conocimiento, estructurar el contexto, conectar el agente a los sistemas donde realmente reside la verdad. Aquí es donde las demos toman atajos y donde los sistemas en producción se ganan su lugar.
Mídelo como si fuera un colega
Una vez que un agente está en producción, lo tratamos como a un nuevo empleado en periodo de prueba. Registramos cada interacción, muestreamos las salidas, rastreamos dónde falla y realimentamos esos fallos al diseño. Métricas clave a las que nos exigimos:
- Tasa de éxito de tareas: ¿completó realmente el trabajo, no solo respondió?
- Tasa de intervención humana: ¿con qué frecuencia una persona necesita corregirlo?
- Tiempo hasta el valor: medido frente al proceso manual que reemplaza.
- Coste por tarea resuelta: porque las facturas de tokens son reales y los márgenes importan.
Un agente sin observabilidad es un pasivo. Si no puedes ver qué está haciendo, no puedes confiar en él, y desde luego no puedes mejorarlo.
Despliega en pequeño, luego capitaliza
Desplegamos la versión más pequeña que aporte valor genuino, la ponemos frente a usuarios reales y expandimos desde ahí. Esto mantiene el riesgo bajo, genera confianza organizativa en la IA y saca a la luz los requisitos reales que ningún taller predice jamás. Un equipo que ha visto cómo un agente les ahorra horas discretamente está mucho más preparado para el siguiente.
La verdad incómoda es que la mayor parte del valor de la IA proviene de una fiabilidad aburrida, no de una capacidad revolucionaria. La magia está en la fontanería, las restricciones y la medición: las partes que nadie muestra en una demo.
La conclusión
Las demos impresionantes son baratas. Los sistemas en los que los colegas confían, que superan auditorías y que aparecen en la cuenta de resultados son difíciles, y esa dificultad es precisamente el punto. Construimos para el lunes por la mañana, no para el aplauso de la sala de juntas.
Si estás sopesando un agente de IA y quieres que se gane su lugar en vez de acumular polvo, estaremos encantados de hablarlo contigo y poner a prueba la idea antes de escribir una sola línea de código.
