Das Wichtigste
- Eine Demo zeigt den Happy Path; Produktion besteht meist aus Sonderfällen – entwirf zuerst für Fehler.
- Beginne mit dem Job und seinem Euro-Wert, nicht mit dem Modell oder Framework.
- Eng eingrenzen: ein Job zuverlässig erledigt schlägt einen Agenten, der alles schlecht macht.
- Ein Agent, der nicht in deinen echten Systemen agieren kann, ist nur ein Chatbot.
- Messe von Tag eins an einer Geschäftsmetrik, sonst führst du ein Experiment durch, keine Fähigkeit.
Die Demo-Falle
Jede Woche sehen wir dasselbe: ein glatter Agent, der drei handverlesene Fragen fehlerfrei beantwortet, ein Boardroom beeindruckt und dann stillschweigend stirbt, sobald er auf echte Kunden, chaotische Daten und Sonderfälle trifft. Die Demo ist nicht das Produkt. Sie ist Theater. Und zu viele Organisationen verwechseln den Applaus mit Fortschritt.
Ein KI-Agent, der Geschäftswert liefert, sieht anders aus. Er ist oft weniger spektakulär, stärker eingeschränkt und weit nützlicher. Er erledigt einen bestimmten Job zuverlässig, integriert sich in die Systeme, die bereits genutzt werden, und wird an einer Zahl gemessen, die einem CFO wichtig ist. Das ist der Maßstab, den wir an uns selbst anlegen.
Beginne mit dem Job, nicht mit dem Modell
Bevor wir ein Modell oder Framework anfassen, stellen wir eine direkte Frage: Welche Arbeit nimmt dieser Agent jemandem ab, und was ist diese Arbeit wert? Wenn wir das nicht in einem Satz mit einem Eurobetrag oder einer Zeitersparnis beantworten können, sind wir noch nicht bereit zu bauen.
Gute Agent-Kandidaten haben ein gemeinsames Profil:
- Eine repetitive, regelintensive Aufgabe mit hohem Volumen
- Eine klare Definition von "gut erledigt", die ein Mensch überprüfen kann
- Zugang zu den Daten, die die Aufgabe tatsächlich benötigt
- Toleranz für gelegentliche Eskalationen an einen Menschen
Wenn diese Bedingungen fehlen, hilft auch kein noch so gutes Prompt-Engineering. Wir sagen das einem Kunden lieber früh, als ihm eine Demo zu verkaufen.
Eng eingrenzen, dann das Recht auf Erweiterung verdienen
Der Instinkt, einen Agenten zu bauen, der "alles erledigt", ist der Ort, wo Wert stirbt. Breite Agenten sind unberechenbar, schwer zu testen und unmöglich zu vertrauen. Wir begrenzen den Scope bewusst eng: ein Agent, der Support-Tickets triagiert, Lieferantenantworten entwirft, Rechnungen abstimmt oder eingehende Leads qualifiziert. Ein Job, gut erledigt, gemessen, dann erweitert.
Ein enger Scope macht den Agenten auch auditierbar. Wenn etwas schiefgeht — und das wird passieren — können wir genau nachvollziehen, welcher Schritt fehlgeschlagen ist, anstatt vor einer Black Box zu stehen.
Für Fehler entwerfen, nicht nur für Erfolg
Demos zeigen nur den Happy Path. Produktion besteht zu 80% aus Sonderfällen. Deshalb entwerfen wir zuerst die Fehlermodi:
- Konfidenz-Schwellenwerte, die unsichere Fälle an einen Menschen weiterleiten, anstatt zu raten
- Guardrails, die einschränken, was der Agent sagen und tun kann
- Human-in-the-loop-Checkpoints für alles Unumkehrbare oder Kostspielige
- Logging und Observability, damit jede Entscheidung nachvollzogen werden kann
Ein gut konzipierter Agent kennt die Grenzen seiner eigenen Kompetenz. Diese Bescheidenheit macht ihn in einem echten Unternehmen einsetzbar.
Verankere ihn in deinen Daten und Tools
Ein Agent, der nicht handeln kann, ist nur ein Chatbot. Der Wert entsteht durch die Verbindung mit den Systemen, in denen Arbeit tatsächlich stattfindet – dem CRM, dem ERP, der Ticketing-Plattform, der Wissensdatenbank. Das bedeutet Abruf aus vertrauenswürdigem, aktuellem Inhalt und die Fähigkeit, mit den richtigen Berechtigungen echte Aktionen auszulösen.
Diese Integrationsarbeit ist unspektakulär, und genau dort sparen Demos an den Ecken. Wir behandeln sie als Kern des Projekts, nicht als Nachgedanken.
Messen wie man es ernst meint
Wir versehen jeden Agenten von Tag eins an mit einer Geschäftsmetrik: gelöste Tickets ohne Eskalation, gesparte Stunden pro Woche, Conversion-Steigerung, Kosten pro Transaktion. Wenn sich diese Zahlen nicht bewegen, ist das Projekt kein Erfolg – egal wie gut sich die Technologie anfühlt.
Wir lassen Agenten auch im Shadow-Modus laufen, bevor sie einen Kunden berühren, und vergleichen ihre Ausgaben mit menschlichen Entscheidungen, bis wir der Genauigkeit vertrauen. Erst dann lassen wir sie live operieren, und auch dann behalten wir ein menschliches Sicherheitsnetz.
Der kumulative Gewinn
Die Belohnung für diese Disziplin ist kein einmaliger Gewinn. Ein enger, zuverlässiger, gut gemessener Agent wird zu einem Fundament. Sobald ein Job automatisiert und vertraut ist, lässt sich der nächste schneller ausliefern, weil die Infrastruktur, Guardrails und das Monitoring bereits vorhanden sind. Wert wächst kumulativ – leise, ohne Theater.
Das ist der Unterschied zwischen einem KI-Experiment und einer KI-Fähigkeit. Das eine unterhält einen Raum. Das andere verändert, wie das Unternehmen läuft.
Wenn du abwägst, wo ein KI-Agent in deinem Betrieb seinen Wert wirklich beweisen könnte, sprechen wir gerne darüber – ehrlich, auch darüber, wo das nicht der Fall wäre. Lass uns zuerst den wertvollsten Job identifizieren.
