Zum Inhalt
Letztes Update am
Techblog

Enterprise Search, Volltextsuche und KI im Unternehmen

Enterprise Search

KI-Agenten im Unternehmen abnehmen: Fehler, Rückfragen und Nacharbeit getrennt messen

Im Pilotbetrieb sieht ein KI-Agent oft gut aus. Ob er im Betrieb mehr Arbeit spart, als Kontrolle und Wartung kosten, zeigt eine Erfolgsquote allein nicht. Dafür müssen Sie Fehler, Rückfragen und Nacharbeit getrennt erfassen. Dieser Beitrag beschreibt einen Abnahmetest fürs Büro, den Sie mit eigenen Fällen durchführen können.

von Sebastian @searchit · · 9 Min. Lesezeit

Teilen
Förderband mit Brief, Kalenderblatt und Angebotsmappe läuft durch ein gläsernes Prüftor; dahinter vier blaue Sortierschalen in abgestuften TönenKI-generiert

Mails beantworten, Termine eintragen, Angebote vorbereiten – das sind typische Beispiele für KI-Agenten im Büro, und jeder davon nutzt mehrere Werkzeuge nacheinander. Im Pilotbetrieb zählt meist nur eines: Kam am Ende das Richtige heraus? Für die Entscheidung über den Betrieb reicht mir das nicht. Ein Agent, der neun von zehn Aufträgen richtig erledigt, kann trotzdem mehr Arbeit machen als sparen – weil er ständig nachfragt, jemand jedes Ergebnis prüfen muss oder der eine Fehler eine fehlerhafte Mail an einen Kunden war.

Ein Hinweis vorab: Wir sind Hersteller von searchit. Der Abnahmetest unten ist ein Methodenentwurf aus unserer eigenen Arbeit, angelehnt an die Evaluation best practices von OpenAI. Er ist keine Norm. Mein Rat für die KI-Einführung im Unternehmen: Passen Sie den Test an Ihre Abläufe an und prüfen Sie jedes Ergebnis an Ihrem eigenen Bestand – bei jedem Anbieter.

Kurz gesagt

  • Eine Quote verdeckt zu viel. Zählen Sie Fehler, Rückfragen, Nacharbeit und Kontrollaufwand getrennt.
  • Fehler haben Klassen. Ein falscher Satz im Entwurf ist etwas anderes als eine Mail an den falschen Empfänger. Ein Fehler mit Außenwirkung zählt nie im Durchschnitt mit.
  • Das Sollergebnis steht vor dem Test fest – festgelegt von jemandem, der den Ablauf kennt, nicht vom Agenten und nicht nach dem Lauf.
  • Getestet wird ohne Außenwirkung: als Entwurf, im Probelauf oder mit einem Testkonto, das realistische Rechte hat.
  • Die Bilanz stellt die gesparte Zeit dem Aufwand für Prüfung, Nacharbeit und Wartung gegenüber – und wird nach jeder Änderung neu gezogen.

Warum eine Erfolgsquote nicht reicht

„Der Agent erledigt 90 Prozent der Fälle richtig“ klingt nach einer klaren Antwort. Für den Betrieb bleiben damit die entscheidenden Fragen offen:

  • Wie wurde er fertig? Allein, nach zwei Rückfragen oder erst, nachdem jemand das Ergebnis überarbeitet hat?
  • Was kostet die Kontrolle? Muss jedes Ergebnis geprüft werden oder reichen Stichproben?
  • Was ist in den übrigen Fällen passiert? Hat der Agent abgebrochen und das gemeldet – oder ein falsches Ergebnis geliefert, das niemand bemerkt hat?
  • Was kostet die Pflege? Anleitungen, Rechte und Werkzeuge ändern sich; ein neues Sprachmodell verhält sich anders als das alte.

Bei einem KI-Workflow mit mehreren Werkzeugen entstehen Fehler oft an den Übergaben. Der Agent wählt das falsche Werkzeug, gibt einen richtigen Wert falsch weiter oder arbeitet weiter, obwohl ein Werkzeug einen Fehler gemeldet hat. Am Endergebnis sieht man davon wenig – im Protokoll des Laufs dagegen schon.

Vier Zählungen statt einer Note

Erfassen Sie je Testfall vier Bereiche getrennt. Erst zusammen ergeben sie ein aussagekräftiges Bild.

1. Fehler – nach Klassen

Ein Fehler ist ein Ergebnis, das vom vorher festgelegten Sollergebnis abweicht. Ordnen Sie jeden Fehler einer Klasse zu:

KlasseBeispielWie sie zählt
kritischMail an den falschen Empfänger, Termin beim falschen Kunden, Datensatz überschrieben, vertrauliche Angabe weitergegebeneinzeln, nie im Durchschnitt – ein Fall genügt für „nicht abgenommen“
sachlichfalsche Frist, falscher Betrag, falsche Ansprechperson im Entwurfals Quote, mit Schwelle
formalAnrede, Formatierung, Tonfallals Quote, eigene Schwelle

Halten Sie außerdem fest, ob der Fehler auffiel. Ein Agent, der meldet „Ich finde keinen Vertrag zu diesem Kunden“, hat seinen Auftrag nicht erledigt, die Lücke aber offengelegt. Ein Agent, der stattdessen einen erfundenen Vertrag zitiert, ist gefährlicher – auch wenn beide Fälle als „nicht erledigt“ zählen. Unterscheiden Sie diese Fälle in Ihren Aufzeichnungen.

2. Rückfragen – berechtigt oder vermeidbar

Rückfragen sind nicht grundsätzlich schlecht. Ein Agent, der vor einer Mail mit Außenwirkung nachfragt, tut genau das Richtige. Unterscheiden Sie deshalb:

  • berechtigte Rückfragen: Die Angabe fehlte wirklich oder die Aktion braucht eine Freigabe.
  • vermeidbare Rückfragen: Die Angabe stand im Auftrag, im Dokument oder im Postfach, und der Agent hat sie nicht gefunden.

Vermeidbare Rückfragen deuten auf fehlendes Wissen oder eine unklare Anleitung hin – oft lässt sich dieses Problem am günstigsten beheben.

3. Nacharbeit – in Minuten

Nacharbeit ist alles, was ein Mensch am Ergebnis ändert, bevor es weitergeht. Messen Sie sie in Minuten statt als Ja oder Nein. Ein Entwurf, in dem nur zwei Wörter zu korrigieren sind, spart fast die ganze Zeit; einer, den Sie neu schreiben müssen, spart nichts.

4. Kontrolle und Wartung

Erfassen Sie die Prüfzeit auch dann, wenn das Ergebnis richtig war. Dazu kommt die laufende Pflege: Anleitungen nachschärfen, Rechte anpassen, nach einem Modellwechsel neu testen. Wer das weglässt, rechnet sich den Agenten schön – und wundert sich ein halbes Jahr später, warum die Ersparnis eh nie angekommen ist.

Der Abnahmetest in acht Schritten

Der Ablauf ist ein Entwurf fürs Büro. Er verlangt kein Programmieren, wohl aber ein paar Stunden von jemandem, der den Ablauf kennt. Legen Sie vor dem ersten Lauf sowohl die Sollergebnisse als auch die Schwellen aus Schritt 6 fest.

  1. Eine Aufgabe eng fassen. Nicht „der Agent hilft im Vertrieb“, sondern „der Agent beantwortet Anfragen zu Lieferterminen aus dem Postfach und legt eine Wiedervorlage an“.
  2. Eine Testmappe aus echten Fällen zusammenstellen. Lieber wenige echte Fälle als viele erfundene. Nehmen Sie die schwierigen gezielt auf: unvollständige Anfragen, widersprüchliche Angaben und Fälle, in denen der Agent nichts tun soll.
  3. Das Sollergebnis vorher festlegen. Je Fall schreibt jemand, der den Ablauf kennt, auf, was richtig wäre – bevor der Agent läuft. Sonst wird das Soll unbewusst an das Ergebnis angepasst.
  4. Ohne Außenwirkung laufen lassen. Mails als Entwurf, Abläufe im Probelauf, ein Testkonto mit den Rechten einer echten Rolle. Ein Testkonto mit Vollzugriff misst etwas anderes als der Betrieb.
  5. Je Fall die vier Zählungen ausfüllen – im Messbogen unten. Lesen Sie dafür das Protokoll des Laufs, nicht nur das Ergebnis.
  6. Schwellen vorher festlegen. Etwa: kein kritischer Fehler, sachliche Fehler unter einer Grenze, die Sie selbst bestimmen. Werten Sie den Lauf anhand dieser vorab festgelegten Schwellen aus. Ein kritischer Fehler beendet die Abnahme, egal wie gut der Rest aussieht.
  7. Die Bilanz ziehen. Vergleichen Sie die bisherige Bearbeitungszeit von Hand mit Prüfzeit, Nacharbeit und geschätztem Pflegeaufwand. Bleibt zu wenig übrig, ist das ein Ergebnis – kein Scheitern.
  8. Nach jeder Änderung wiederholen. Neues Sprachmodell, neue Anleitung, neues Werkzeug, geänderte Rechte: dieselbe Testmappe, dieselben Sollergebnisse, Vergleich mit dem letzten Lauf.

Der Messbogen

FallSoll erreicht?Fehlerklasseaufgefallen?Rückfragen (berechtigt / vermeidbar)Nacharbeit (Min.)Prüfzeit (Min.)
1
2
…

Am Ende stehen die Ergebnisse der vier Bereiche nebeneinander, statt in einer Note zu verschwinden. Auch bei unseren Messläufen zur Anreicherung von Dokumenten durch Sprachmodelle arbeiten wir mit einer vorher festgelegten Sollfassung. Dabei erfassen wir getrennt, was das Modell richtig gefunden, übersehen und erfunden hat.

Was ein Agent für die Abnahme mitbringen sollte

Wie gut sich ein Agent abnehmen lässt, hängt auch von der Software ab, in der er läuft. Fragen Sie jeden Anbieter:

  • Gibt es einen Probelauf? Lässt sich ein Ablauf durchspielen, ohne dass etwas hinausgeht?
  • Wer gibt frei? Ist das Entwerfen eines Ablaufs vom Freigeben getrennt?
  • Was zeigt die Rückfrage? Sieht der Benutzer vor dem Versand, was tatsächlich hinausgeht – Empfänger, Anhänge, Text?
  • Woran hängen die Rechte? Am Agenten oder am Benutzer, für den er arbeitet?
  • Ist nachvollziehbar, welches Modell was erzeugt hat? Nur dann lässt sich ein Modellwechsel sauber gegen den alten Lauf vergleichen.
  • Werden Korrekturen festgehalten? Nacharbeit, die nirgends steht, taucht in keiner Bilanz auf.

So unterstützt searchit die Abnahme

searchit ist das Gedächtnis unter Ihren KI-Agenten und bringt einen eigenen Agenten mit, den searchit AI Agent. Für den Abnahmetest heißt das:

  • Abläufe im Zeitraffer durchspielen. Seit Version 8.0 beschreibt ein Benutzer einen Ablauf in eigenen Worten, und der Agent macht daraus einen Entwurf. searchit prüft ihn gegen die erlaubten Bausteine und spielt ihn im Zeitraffer durch: welche Nachricht wann an wen ginge – ohne dass etwas gesendet wird. Der Ablauf wird erst nach der Freigabe aktiv. Entwerfen und Freigeben sind eigene Rollen.
  • Versionen statt Überraschungen. Abläufe sind versioniert. Ändern Sie einen Ablauf nach dem Test, bleibt ein laufender Vorgang auf seiner Version – der nächste Testlauf vergleicht sauber alt gegen neu.
  • Rückfrage vor dem Versand. Bevor der searchit AI Agent eine Mail oder Kurznachricht (SMS) verschickt oder Mails löscht, zeigt ein Dialog am Arbeitsplatz Empfänger, Betreff, Anhänge und Text. „Nicht senden“ ist vorgewählt.
  • Rechte am Benutzer. Was ein Agent über die Schnittstelle tun darf, hängt von den Rollen des angemeldeten Benutzers ab. Fehlt eine Rolle, lehnt der Server ab und nennt sie. Ein Testkonto mit einer echten Rolle prüft deshalb dieselben Rollen, die im Betrieb gelten.
  • Herkunft jedes KI-Felds. Jedes Feld, das ein Sprachmodell beim Indizieren erzeugt, trägt Modell, Modellversion, Zeitpunkt und Prompt-Kennung. Nach einem Modellwechsel sehen Sie, welche Ergebnisse vom alten und welche vom neuen Lauf stammen.
  • Korrekturen an erkannten Vorgängen bleiben sichtbar. Hat searchit einen Vorgang falsch erkannt, korrigiert der Benutzer ihn mit einem Klick und sieht seine Korrekturen samt Wirkung in einer Liste. Für Dienst-Agenten zeigt die Agenten-Verwaltung die letzten Aufträge und Fehler.

Wie Abläufe, Agenten und Gedächtnis ineinandergreifen, zeigt die Folie „Ein Rad greift ins andere“ auf searchit-agent.ai.

Häufige Fragen

Wie viele Testfälle braucht eine Abnahme?

Eine feste Zahl gibt es nicht. Wichtiger als die Menge ist die Mischung: echte Fälle, darunter die schwierigen und solche, in denen der Agent nichts tun soll. Treten im Betrieb neue Fehlerarten auf, gehören diese Fälle in die Testmappe.

Wer legt das Sollergebnis fest?

Jemand, der den Ablauf heute von Hand erledigt – vor dem Lauf und ohne das Ergebnis des Agenten zu kennen. Bei strittigen Fällen hilft eine zweite Person.

Was ist ein kritischer Fehler?

Jeder Fehler, der außerhalb des Agenten Wirkung hat oder sich schwer zurücknehmen lässt: eine fehlerhafte Nachricht nach außen, eine irrtümlich geänderte oder gelöschte Information, eine unberechtigt weitergegebene vertrauliche Angabe. Welche Aktionen bei Ihnen dazugehören, legen Sie vor dem Test fest.

Wann muss ich neu testen?

Nach jeder Änderung, die das Verhalten beeinflusst: anderes Sprachmodell, geänderte Anleitung oder Fertigkeit, neues Werkzeug, andere Rechte. Mit derselben Testmappe ist der Vergleich in kurzer Zeit gemacht.

Reicht es, wenn der Agent vor jeder Aktion nachfragt?

Nein. Eine Rückfrage schützt vor Außenwirkung, kostet aber Zeit. Wer täglich Dutzende Rückfragen bestätigt, liest irgendwann nicht mehr genau hin. Deshalb erfasst der Test auch Rückfragen.

Fazit

Für mich gehört zur KI-Automatisierung für Unternehmen eine Bilanz, die auch den Kontrollaufwand erfasst. Ein KI-Agent im Unternehmen ist nach diesem Methodenentwurf abgenommen, wenn er ohne kritischen Fehler bleibt, die festgelegten Schwellen einhält und unter dem Strich mehr Zeit spart, als Kontrolle, Nacharbeit und Pflege kosten. Das zeigt eine Erfolgsquote allein nicht. Dafür brauchen Sie den Messbogen mit seinen vier Bereichen und eine Testmappe aus Ihren eigenen Fällen.

Wie ein Ablauf in searchit entsteht, im Zeitraffer durchläuft und freigegeben wird, zeigen wir Ihnen gern an Ihrem eigenen Bestand – in einer Vorführung.

Verwandte Beiträge: Beste Enterprise-Search-Anbieter 2026 · Hardware für lokale LLMs

Quelle zur Methode: OpenAI, „Evaluation best practices“, abgerufen im November 2026. Der Abnahmetest in diesem Beitrag ist ein eigener Entwurf und keine Empfehlung von OpenAI. Genannte Produkt- und Firmennamen sind Marken ihrer jeweiligen Inhaber.

Das könnte Sie auch interessieren