À retenir
- Une démo prouve qu'une chose est possible ; un agent en production prouve qu'elle est fiable, mesurable et moins coûteuse que le statu quo.
- Partez d'un flux de travail pénible et coûteux avec une métrique claire — pas du modèle.
- Traitez le LLM comme une couche de raisonnement au-dessus d'outils de confiance, pas comme une source de vérité.
- Les harnais d'évaluation et l'observabilité représentent 70 % du travail réel et votre actif le plus précieux.
- Si un agent ne peut pas gagner sa place au compte de résultat, il a sa place dans un bac à sable, pas dans les opérations.
Le piège de la démo
Tout le monde a vu la démo. Un agent IA réserve une réunion, rédige un e-mail, résume un document — le tout en moins de deux minutes, le tout sur scène. La salle applaudit. Trois mois plus tard, le même agent est discrètement désactivé parce qu'il a halluciné une politique de remboursement, ignoré un cas limite, ou parce que personne ne pouvait expliquer pourquoi il avait agi ainsi.
Nous construisons des agents IA chez Evocative parce que nos clients nous le demandent, mais nous avons appris à être intransigeants sur une distinction : une démo prouve qu'une chose est possible ; un agent en production prouve qu'elle est fiable, mesurable et moins coûteuse que le statu quo. Ce sont des problèmes d'ingénierie très différents, et le second est le seul qui mérite d'être facturé.
Partir du flux de travail, pas du modèle
L'erreur la plus courante que nous observons, ce sont des équipes qui commencent par « nous avons GPT/Claude, que peut-il faire ? ». C'est à l'envers. Nous partons d'un flux de travail précis, pénible et répétitif qui a déjà un coût associé — une file d'attente de support, un rapprochement de factures, un processus de qualification de prospects. Si nous ne pouvons pas nommer la métrique que l'agent fera bouger, nous ne construisons pas l'agent.
Cela impose de l'honnêteté. Parfois, la réponse est qu'un simple script d'automatisation, un meilleur formulaire ou un moteur de règles résout 80 % du problème pour une fraction du coût et du risque. Recourir à un agent LLM alors qu'un outil déterministe suffirait n'est pas de l'innovation — c'est un handicap coûteux.
Les quatre éléments qui distinguent les vrais agents des démos
- Un périmètre délimité. Un agent qui fait bien un seul travail vaut mieux qu'un agent qui en fait dix de manière imprévisible. Nous resserrons le mandat jusqu'à ce que les modes de défaillance deviennent connaissables.
- L'accès aux outils plutôt que la génération brute. La valeur vient rarement du fait que le modèle rédige de la prose — elle vient du fait que le modèle décide quel outil de confiance appeler (votre CRM, votre base de données, votre API de réservation) et lui transmet les bons arguments. Nous traitons le LLM comme une couche de raisonnement au-dessus d'outils déterministes, et non comme une source de vérité.
- Garde-fous et transfert à l'humain. Chaque agent que nous livrons sait ce qu'il ignore. Il escalade. Il refuse. Il journalise. Un agent sans un chemin clair de type « je ne suis pas certain, transfère cela à un humain » est une démo déguisée en production.
- L'observabilité dès le premier jour. Si vous ne pouvez pas voir ce que l'agent a décidé et pourquoi, vous ne pouvez ni l'améliorer ni le défendre. Nous instrumentons chaque étape afin qu'un dirigeant d'entreprise — et pas seulement un ingénieur — puisse auditer son comportement.
L'évaluation, c'est le produit
Voici la vérité inconfortable : écrire l'agent représente peut-être 30 % du travail. Les 70 % restants consistent à construire le harnais d'évaluation — une bibliothèque grandissante de cas réels, y compris les plus vicieux, que nous exécutons chaque fois que nous modifions un prompt, un modèle ou un outil. Sans cela, « améliorer » un agent relève de la devinette, et chaque ajustement risque de casser silencieusement quelque chose qui fonctionnait hier.
Nous traitons l'évaluation comme un actif vivant. Lorsque l'agent échoue en production, cet échec devient un cas de test. Au fil du temps, ce jeu de données vaut plus que le prompt lui-même, car il encode exactement la manière dont votre entreprise définit le « bon ».
Concevoir pour les 20 % ennuyeux
Les démos optimisent le chemin idéal. Les opérations réelles vivent dans les cas limites : l'entrée mal formée, le client qui change d'avis en pleine conversation, l'API qui expire, la demande légèrement en dehors des règles. Un agent qui gère magnifiquement 95 % des cas mais panique sur les 5 % restants crée souvent plus de travail qu'il n'en économise, car les humains doivent désormais rattraper et corriger ses erreurs.
Nous concevons donc à rebours à partir de la défaillance. Que se passe-t-il quand l'agent se trompe ? Qui s'en aperçoit ? À quelle vitesse ? Quel est le rayon d'impact ? Répondez honnêtement à ces questions et l'architecture se dessine presque d'elle-même.
La valeur apparaît dans le compte de résultat, pas dans la présentation
Les agents dont nous sommes les plus fiers sont invisibles. Ils vident discrètement un arriéré de support pendant la nuit, réduisent un processus de deux jours à vingt minutes, ou permettent à une petite équipe d'opérer comme une grande. Personne ne les met en démo. Ils fonctionnent, tout simplement, mois après mois, avec un lien clair vers les heures économisées ou le chiffre d'affaires débloqué.
C'est là le niveau d'exigence. Si un agent IA ne peut pas gagner sa place au bilan, il a sa place dans un bac à sable, pas dans vos opérations.
Si vous envisagez un agent IA pour un flux de travail réel — et que vous souhaitez un partenaire qui vous dira honnêtement s'il vaut la peine d'être construit — nous serions ravis d'en discuter avec vous.
