Mit dem Go-live einer KI-Anwendung beginnt die Betriebsphase. Damit KI dauerhaft zuverlässig in Geschäftsprozessen eingesetzt werden kann, müssen Unternehmen neben einer stabilen Infrastruktur auch Performance, Kosten und insbesondere die Qualität der erzeugten Ergebnisse im Blick behalten. Worauf es dabei ankommt.
Besonderheiten beim Betrieb von KI-Anwendungen
Viele Anforderungen an produktive KI kennen IT-Abteilungen bereits aus dem klassischen Applikationsbetrieb. Anwendungen müssen verfügbar, performant, sicher und skalierbar sein. Schnittstellen müssen zuverlässig funktionieren, Fehler schnell erkannt und Änderungen kontrolliert ausgerollt werden.
Bei KI kommt jedoch eine zusätzliche Ebene hinzu: Ein technisch funktionierendes System kann trotzdem fachlich schlechte Ergebnisse liefern.
Ein Large Language Model (LLM) kann eine Anfrage ohne technischen Fehler verarbeiten und dennoch eine falsche Aussage erzeugen. Ein RAG-System kann problemlos erreichbar sein, aber für eine Anfrage das falsche Dokument heranziehen. Ein KI-Agent kann technisch erfolgreich mehrere Systeme aufrufen und trotzdem eine fachlich ungeeignete Aktion auswählen.
Deshalb reicht es im produktiven KI-Betrieb nicht aus, lediglich die Frage „Ist das System verfügbar?“ zu beantworten. Unternehmen müssen zusätzlich wissen: Liefert das System weiterhin die Ergebnisse, für die wir es eingeführt haben?
Daraus ergeben sich drei zentrale Handlungsbereiche für einen stabilen Betrieb:
- eine belastbare technische Infrastruktur
- Monitoring und Observability über die gesamte Verarbeitungskette
- eine kontinuierliche Qualitätssicherung der KI-Ergebnisse
Sehen wir uns die Bereiche im Detail an.
Wir befähigen Ihr Team, KI gezielt einzusetzen und weiterzuentwickeln. So steigern Sie Effizienz, bleiben unabhängig und sichern langfristig Ihren Wettbewerbsvorsprung.
Infrastruktur: Die technische Grundlage für produktive KI
Eine produktive KI-Anwendung besteht aus deutlich mehr als einem Sprachmodell, das gepromptet wird. In Unternehmensumgebungen müssen verschiedene technische Komponenten ineinandergreifen, damit die KI sinnvolle Ergebnisse liefern kann.
Ein Vertriebsmitarbeiter könnte beispielsweise über einen KI-Assistenten eine Frage zu einem Kunden stellen. Die Anwendung identifiziert zunächst den Nutzer und dessen Berechtigungen, ruft dann Informationen zum Kunden aus Salesforce ab, ergänzt Auftragsinformationen aus SAP, sucht nach relevanten Vertragsdokumenten und übergibt den gefundenen Kontext anschließend an ein Sprachmodell.
Eine einfache Nutzeranfrage löst eine Verarbeitungskette über verschiedene Systeme aus. Für die Zuverlässigkeit der KI ist nicht nur das Datenmodell ausschlaggebend. Sämtliche involvierte Komponenten und Services müssen einwandfrei funktionieren.
Verfügbarkeit und Skalierbarkeit von Beginn an berücksichtigen
Wie belastbar die Infrastruktur sein muss, hängt stark vom jeweiligen Anwendungsfall ab. Ein interner Wissensassistent für einige Dutzend Mitarbeiter stellt andere Anforderungen als ein KI-System, das mehrere Tausend Kundenanfragen am Tag unterstützt.
Die Verfügbarkeit wird auch von Vorgaben des Anbieters beeinflusst: Externe Modellanbieter können beispielsweise Rate Limits vorgeben, die Zahl paralleler Anfragen begrenzen oder unterschiedliche Antwortzeiten aufweisen. Gleichzeitig kann der Tokenverbrauch je Anfrage stark variieren.
Die Architektur sollte so gestaltet sein, dass sie Lastspitzen bewältigt, ohne dauerhaft unnötig hohe Ressourcen und Kosten vorzuhalten.
Dabei lohnt es sich, früh über die Kritikalität des Anwendungsfalls nachzudenken. Wenn ein interner Assistent für einige Minuten nicht erreichbar ist, können Mitarbeiter unter Umständen weiterhin über klassische Wege arbeiten. Wird ein KI-Agent dagegen zum festen Bestandteil eines automatisierten Serviceprozesses, kann ein Ausfall unmittelbar Auswirkungen auf operative Abläufe haben.
Auch der Fehlerfall braucht einen Prozess
Was geschieht, wenn das eingesetzte Sprachmodell nicht erreichbar ist? Wie verhält sich die Anwendung, wenn Salesforce eine Anfrage nicht beantwortet oder eine SAP-Schnittstelle fehlerhafte Daten liefert? Darf der KI-Agent einen Vorgang später erneut versuchen oder muss er ihn direkt an einen Mitarbeiter übergeben? Unternehmen sollten klar definieren, was bei einem Ausfall passiert.
Abhängig vom Anwendungsfall können Retry-Mechanismen, Warteschlangen, alternative Modelle oder ein definierter manueller Fallback sinnvoll sein, damit die Situation auch bei Fehlern kontrollierbar bleibt.
Berechtigungen müssen auch für die KI gelten
Eine KI-Anwendung kann verschiedene Systeme miteinander verbinden und dadurch einen neuen Zugriffsweg auf sensible Informationen schaffen.
Die KI sollte nicht mehr sehen oder tun dürfen als der Nutzer beziehungsweise der definierte technische Kontext, in dem sie arbeitet.
Bei KI-Agenten gewinnt dieser Grundsatz zusätzlich an Bedeutung. Sobald ein Agent nicht nur Informationen liest, sondern beispielsweise Kundendaten verändert, Tickets schließt oder Geschäftsvorgänge auslöst, müssen seine Berechtigungen und Handlungsspielräume klar begrenzt sein.
Monitoring und Observability: Was passiert in der KI-Anwendung?
Eine stabile Infrastruktur allein sagt noch wenig darüber aus, wie gut eine KI-Anwendung tatsächlich läuft. Deshalb braucht es Monitoring.
Das klassische technische Monitoring bleibt notwendig. Unternehmen sollten unter anderem Verfügbarkeit, Antwortzeiten, Fehler, API-Probleme und Ressourcenauslastung beobachten.
Bei generativer KI kommen jedoch zusätzliche Kennzahlen hinzu. Besonders relevant:
- Input- und Output-Tokens,
- Zahl der Modellaufrufe,
- Latenz der KI-Aufrufe,
- Kosten pro Anfrage oder Prozess sowie
- Fehler und Abbrüche einzelner Agentenschritte.
Solche Kennzahlen machen nicht nur technische Probleme sichtbar. Sie helfen auch, die Wirtschaftlichkeit der Anwendung zu bewerten.
Die Information, dass eine Anwendung im vergangenen Monat mehrere Millionen Tokens verbraucht hat, besitzt für sich genommen wenig Aussagekraft. Spannender ist die Verbindung zum Geschäftsprozess: Wie viele Servicevorgänge wurden damit unterstützt? Wie hoch waren die KI-Kosten je Vorgang? Wie viel Bearbeitungszeit wurde gleichzeitig eingespart?
Mit zunehmender Komplexität gewinnt neben dem Monitoring auch die sogenannte Observability an Bedeutung. Observability ist die Voraussetzung, um die Ursachen für Auffälligkeiten im KI-Betrieb auszumachen. Hierzu stehen verschiedene Methoden zur Verfügung.
Tracing macht komplexe KI-Prozesse nachvollziehbar
Besonders bei RAG-Anwendungen und KI-Agenten ist Tracing hilfreich. Dabei werden die einzelnen Verarbeitungsschritte einer Anfrage protokolliert und miteinander verknüpft. So lässt sich beispielsweise nachvollziehen, welche Dokumente abgerufen, welche Prompts an ein Modell gesendet, welche Tools aufgerufen und welche Zwischenergebnisse erzeugt wurden.
Entsteht am Ende eine falsche Antwort, kann der gesamte Ablauf Schritt für Schritt rekonstruiert werden. Unternehmen können dadurch gezielt untersuchen, an welcher Stelle der Fehler entstanden ist.
Hat das Sprachmodell eine falsche Schlussfolgerung gezogen? Wurde beim Retrieval das falsche Dokument ausgewählt? Hat der Agent ein ungeeignetes Tool verwendet? Oder waren bereits die Informationen aus dem Quellsystem unvollständig?
Tracing macht damit nicht nur das Endergebnis sichtbar, sondern auch den Weg, auf dem das KI-System zu diesem Ergebnis gelangt ist. Das erleichtert sowohl die Fehleranalyse als auch die gezielte Verbesserung einzelner Komponenten.
Laufende Qualitätssicherung: Ist die Antwort noch gut?
Die Qualität eines KI-Systems lässt sich nicht allgemeingültig bewerten. Was eine gute Antwort oder ein gutes Ergebnis ausmacht, hängt vom jeweiligen Anwendungsfall und Geschäftsprozess ab. Unternehmen sollten deshalb zunächst für jeden KI Use Case konkrete Qualitätskriterien definieren.
Bei einem internen Wissensassistenten kann beispielsweise relevant sein, ob eine Antwort fachlich korrekt, vollständig und durch die verfügbaren Unternehmensinformationen belegt ist. Bei einem KI-Agenten steht möglicherweise stärker im Vordergrund, ob er eine Aufgabe erfolgreich abgeschlossen, das richtige Werkzeug verwendet und dabei die vorgegebenen Handlungsspielräume eingehalten hat.
Entscheidend ist, dass diese Kriterien nicht nur beschrieben, sondern reproduzierbar überprüft werden können. Dafür bietet sich ein fester Evaluation-Datensatz an. Dieser enthält typische Anfragen aus dem jeweiligen Geschäftsprozess, aber auch schwierige Sonderfälle und bereits bekannte Fehlerbilder.
So entsteht eine belastbare Grundlage, um die Qualität eines KI-Systems nicht nur subjektiv einzuschätzen, sondern anhand definierter Testfälle nachvollziehbar zu bewerten.
Qualität kontinuierlich evaluieren
Sind die Qualitätskriterien definiert, muss regelmäßig überprüft werden, ob das KI-System sie weiterhin erfüllt. Dabei gibt es zwei wichtige Anlässe: technische Veränderungen am System und die routinemäßige Qualitätssicherung im laufenden Betrieb.
Änderungen an KI-Systemen kontrolliert ausrollen
Eine Besonderheit produktiver KI-Systeme besteht darin, dass sich ihr Verhalten deutlich verändern kann, ohne dass klassischer Programmcode angepasst wird. Ein neuer System Prompt, ein anderes Modell oder eine veränderte Retrieval-Logik können die Ergebnisse ebenso beeinflussen wie neue Datenquellen, Embedding-Modelle oder zusätzliche Tools, die einem KI-Agenten zur Verfügung gestellt werden.
Solche Änderungen sollten deshalb wie ein Software-Release behandelt werden. Ein Modellwechsel ist ein Release. Das gilt ebenso für größere Veränderungen an Prompts, Retrieval-Komponenten oder Agenten-Tools.
Vor einer produktiven Umstellung sollte die neue Version gegen den bestehenden Evaluation-Datensatz getestet werden. Dadurch lassen sich konkrete Vorher-Nachher-Vergleiche durchführen und Veränderungen über verschiedene Testfälle hinweg quantifizieren.
Das ist besonders wichtig, weil eine Änderung nicht zwangsläufig alle Szenarien gleichermaßen verbessert. Ein optimierter Prompt kann beispielsweise fünf häufige Anfragen deutlich besser beantworten und gleichzeitig bei einem seltenen, aber geschäftskritischen Sonderfall schlechter abschneiden. Genau solche Regressionen sollen Evaluationen vor dem produktiven Rollout sichtbar machen.
Änderungen sollten daher zunächst in einer kontrollierten Umgebung getestet und erst anschließend produktiv ausgerollt werden.
Ebenso wichtig sind Dokumentation und Versionierung. Kommt es später zu einem Qualitätsproblem, muss nachvollziehbar sein, welche Kombination aus Anwendung, Prompt, Modell, Retrieval-Logik, Tools und Datenbasis zu diesem Zeitpunkt produktiv eingesetzt wurde. Nur so lassen sich Ursachen systematisch analysieren und bei Bedarf frühere Versionen oder Konfigurationen vergleichen.
Qualität auch ohne technische Änderungen überprüfen
Evaluationen sollten jedoch nicht nur dann stattfinden, wenn bewusst etwas am System verändert wurde. Auch ein technisch unverändertes KI-System kann im Laufe der Zeit an Qualität verlieren.
Nutzer stellen neue Fragen. Daten verändern sich. Dokumente werden aktualisiert. Geschäftliche Anforderungen entwickeln sich weiter. Und auch externe Modelle oder angebundene Dienste können sich verändern.
Deshalb sollte die Qualität zusätzlich anhand realer Interaktionen im laufenden Betrieb beobachtet werden. Dafür lassen sich automatisierte Bewertungen, Nutzerfeedback und fachliche Stichproben miteinander kombinieren.
Bei einem Wissensassistenten kann beispielsweise automatisiert geprüft werden, ob Antworten ausreichend auf den bereitgestellten Quellen basieren. Mitarbeiter können gleichzeitig Feedback zur Nützlichkeit der Antworten geben. Zusätzlich kann der zuständige Fachbereich regelmäßig ausgewählte Fälle überprüfen.
Besonders wertvoll sind dabei Auffälligkeiten aus dem realen Betrieb. Eine bislang unbekannte problematische Nutzeranfrage sollte nicht nur einmal korrigiert werden. Sie kann anschließend als neuer Testfall in den Evaluation-Datensatz aufgenommen werden.
Dadurch entsteht ein kontinuierlicher Kreislauf:
Produktiver Betrieb → Auffälligkeit erkennen → Ursache analysieren → Testfall ergänzen → Anwendung verbessern → erneut evaluieren
Der Evaluation-Datensatz entwickelt sich damit gemeinsam mit der KI-Anwendung weiter. Qualitätssicherung wird nicht zu einer einmaligen Prüfung vor dem Go-live, sondern zu einem festen Bestandteil des laufenden KI-Betriebs.
Kostenmonitoring im laufenden KI-Betrieb
Neben technischer Stabilität und fachlicher Qualität gehört auch die Wirtschaftlichkeit zum produktiven Betrieb. Denn gerade bei komplexen Agenten können Kosten schnell wachsen.
Wenn ein Agent mehrfach ein Sprachmodell aufruft, verschiedene Systeme durchsucht und mehrere Tools nacheinander ausführt, verursacht zwar jeder einzelne Schritt nur geringe Kosten, bei tausenden Vorgängen pro Monat summieren sich diese jedoch.
Für ein Kostenmonitoring sollte daher nicht ausschließlich der monatliche Gesamtverbrauch betrachtet werden. Interessanter sind Kennzahlen wie Kosten pro Anfrage, Kosten pro erfolgreich automatisiertem Vorgang oder die durchschnittliche Zahl von Modellaufrufen pro Agentenprozess. Denn daraus ergeben sich konkrete Optimierungsmöglichkeiten.
Vielleicht kann ein kleineres Modell bestimmte Teilaufgaben ebenso zuverlässig übernehmen. Vielleicht lässt sich der übergebene Kontext reduzieren oder vielleicht kann ein Agent mit weniger Verarbeitungsschritten auskommen, wenn die Logik angepasst wird.
Klare Verantwortlichkeiten sind die Basis für KI-Qualitätssicherung
Da eine schlechte KI-Antwort viele Ursachen haben kann, lässt sich Qualitätssicherung nicht einem einzigen Team zuordnen.
- Der Fachbereich muss definieren können, was fachlich korrekt ist.
- Die IT verantwortet Infrastruktur und Integration.
- Ein AI- oder Entwicklungsteam kümmert sich um Modelle, Prompts, Agenten und Evaluationen.
- Data Owner verantworten die verwendeten Informationen.
- Informationssicherheit, Datenschutz und ein Business Owner sollten den wirtschaftlichen Nutzen des Anwendungsfalls im Blick behalten.
Die genaue Rollenverteilung kann von Unternehmen zu Unternehmen unterschiedlich sein. Entscheidend ist nur, dass bei einem Problem nicht erst geklärt werden muss, wer überhaupt zuständig ist.
Checkliste: Ist ein KI-Tool bereit für den produktiven KI-Betrieb?
Vor dem Go-live eines KI-Anwendungsfalls sollten Unternehmen unter anderem folgende Fragen beantworten:
- Ist die KI-Anwendung für relevante Ausfälle vorbereitet?
- Sind Datenquellen, Schnittstellen und Berechtigungen zuverlässig umgesetzt?
- Werden Verfügbarkeit, Latenz, Fehler und Kosten überwacht?
- Können komplexe KI- und Agentenprozesse über Traces nachvollzogen werden?
- Sind konkrete Kriterien für fachlich gute Ergebnisse definiert?
- Existiert ein repräsentativer Evaluation-Datensatz?
- Werden Modell-, Prompt- und RAG-Änderungen vor dem Deployment überprüft?
- Wird die Qualität auch im laufenden Produktivbetrieb gemessen?
- Sind Zuständigkeiten für Infrastruktur, Daten und KI-Qualität klar geregelt?
- Wird regelmäßig geprüft, ob der Anwendungsfall weiterhin wirtschaftlichen Mehrwert erzeugt?
Fazit
Für den produktiven Einsatz von KI benötigen Unternehmen mehr als eine leistungsfähige technische Plattform. Sie müssen sicherstellen, dass ihre Anwendungen performant, sicher und rechtskonform laufen und hochwertige Ergebnisse liefern.
Das Monitoring im laufenden Betrieb sollte sich daher nicht nur auf die technische Infrastruktur erstrecken. Die Überwachung sollte wesentliche Qualitätsmetriken von KI-Systemen im Blick behalten und bei Veränderungen eine Ursachenklärung unterstützen. Die regelmäßige Evaluation von KI-Ergebnissen ist dabei integraler Bestandteil des Betriebs.
Gerade wenn KI tief in SAP-, Salesforce- und andere geschäftskritische Prozesse integriert wird, sollten Qualität des KI-Betriebs nicht erst geprüft werden, wenn sich Nutzer über schlechte Ergebnisse beschweren.
