Mehr Investitionen in Erklärbare KI sollen komplexe KI-Entscheidungen verständlich machen und Vertrauen in GenAI-Systeme schaffen, prognostiziert Gartner.
Explainable AI soll für mehr Transparenz und Vertrauen in KI-Entscheidungen sorgen.
Shutterstock / fizkes
Mit zunehmendem Einsatz von Generativer KI (GenAI) und großen Sprachmodellen (LLMs) wächst auch die Nachfrage nach Lösungen, die deren Abläufe und Funktionsweise transparent machen – Stichwort Observability. Abhilfe wird laut den Analysen von Gartner Erklärbare KI (Explainable AI), kurz XAI, leisten.
Bis 2028, so die Auguren, werden daher 50 Prozent aller Ausgaben für GenAI-Deployments auf derartige Funktionalitäten entfallen. Das wäre eine deutliche Steigerung, denn heute sind es nur 15 Prozent.
Die Marktbeobachter beschreiben XAI als eine Reihe von Funktionen, die Modelle erklären, ihre Stärken und Schwächen aufzeigen, ihr Verhalten prognostizieren sowie Verzerrungen erkennen können. Ziel sei es, die Funktionsweise für verschiedene Zielgruppen verständlich zu machen und so Genauigkeit, Fairness, Transparenz sowie Nachvollziehbarkeit zu verbessern. Dabei würden, so die Analysten, neben klassischen IT-Kennzahlen auch spezifische LLM-Metriken wie Halluzinationen, Bias und Token-Nutzung berücksichtigt.
Eingesetzt werden diese Tools laut Gartner von Teams, die KI-Systeme entwickeln und betreiben. Auch IT-Betriebsteams und Site Reliability Engineers (SREs), die für die Leistung und Ausfallsicherheit dieser Systeme im Produktivbetrieb verantwortlich sind, machen, so die Analysten, zunehmend von ihnen Gebrauch.
Nachvollziehbarkeit ist geschäftskritisch
„Wenn Unternehmen GenAI hochskalieren, wächst der Bedarf an Vertrauen schneller als die Technologie selbst“, erklärt Pankaj Prasad, Senior Principal Analyst bei Gartner. „XAI liefert Einblicke, warum ein Modell auf eine bestimmte Weise reagiert hat, während LLM-Observability validiert, wie diese Reaktion zustande gekommen ist und ob man sich darauf verlassen kann.“
Prasad ergänzt, dass sich GenAI-Initiativen ohne eine solide XAI- und Observability-Grundlage auf risikoarme, interne oder unkritische Aufgaben beschränken, „bei denen sich Ergebnisse leicht überprüfen lassen oder kaum ins Gewicht fallen.“ Dies würde den potenziellen Return on Investment erheblich einschränken.
GenAI wird rasant weiterwachsen
Weiterwachsen wird der globale Markt für GenAI-Modelle auf jeden Fall, wie Gartner prognostiziert: Dieses Jahr soll er die 25-Milliarden-Dollar-Marke überschreiten und bis 2029 auf 75 Milliarden Dollar wachsen. Treiber dieser Entwicklung sei die rasche branchenübergreifende Verbreitung.
Mit zunehmender Nutzung steige auch der Bedarf an Mechanismen: zum einen, um KI-generierter Inhalte zu überprüfen, zum anderen, um vor Halluzinationen, faktischen Ungenauigkeiten und Vorurteilen (Bias) im Reasoning zu schützen.
„Die traditionelle Beobachtbarkeit konzentriert sich auf Geschwindigkeit und Kosten, doch der Fokus verschiebt sich nun hin zu tiefergehenden Qualitätsmerkmalen wie faktischer Richtigkeit, logischer Korrektheit und Schmeichelei [die Tendenz von Sprachmodellen, Usern statt Fakten Antworten widerzugeben, die sie hören wollen, auch wenn sie falsch sind]. Dieser Wandel erfordert neue, auf Governance ausgerichtete Metriken und Bewertungsmethoden, wie beispielsweise die Validierung der narrativen und zitierten Genauigkeit der generierten Inhalte durch menschliche Prüfer“, erläutert Prasad.
Erklärbarkeit macht laut dem Analysten aus GenAI-Ergebnissen nachvollziehbare und überprüfbare Erkenntnisse. Die Beobachtbarkeit des LLM-Modells stelle sicher, dass sich das Modell im Laufe der Zeit wie erwartet verhalte. Ohne beides könne GenAI nicht über kontrollierte Laborumgebungen hinaus reifen.
Tipps für Unternehmen
Um die Zuverlässigkeit, Transparenz und den Geschäftswert von GenAI-Anwendungsfällen zu verbessern, raten die Analysten Unternehmen deshalb, die folgenden Schritte zu priorisieren:
- Für sämtliche kritischen GenAI-Anwendungen ein überprüfbares XAI-Tracing einzuführen, dass sowohl die Berechnungsschritte des Modells als auch die zugrunde liegenden Quelldaten jeder Ausgabe dokumentiert.
- Observability-Plattformen einzusetzen, die Latenz, Drift, Token-Nutzung und -Kosten, Fehlerraten sowie Metriken zur Ausgabequalität überwachen, um eine zuverlässige GenAI-Performance sicherzustellen.
- LLM-Evaluierungsmetriken, einschließlich Benchmarks zur faktischen Genauigkeit und Sicherheitsprüfungen, in CI/CD-Pipelines zu integrieren, um eine kontinuierliche Validierung vor der Bereitstellung zu gewährleisten.
- Die Rechts- sowie Compliance-Abteilungen und andere wichtige Stakeholder zu den Erklärbarkeits-Anforderungen zu schulen, um eine Abstimmung hinsichtlich Risiken, Governance-Erwartungen und Herausforderungen bei der Implementierung sicherzustellen.
