Evidently

Evidently ist ein Open-Source-Python-Framework zur Evaluierung, zum Testen und zur Überwachung von ML- und LLM-basierten Systemen während ihres gesamten Lebenszyklus. Es arbeitet sowohl mit tabellarischen als auch mit Textdaten und unterstützt Evaluierungen für prädiktive und generative Aufgaben, von der Klassifizierung bis hin zu RAG. Mit über 100 integrierten Metriken, die die Erkennung von Datendrift, Modellqualität, LLM-Jury-Bewertungen und Textauswertungen abdecken, bietet Evidently eine umfassende Lösung für die Beobachtbarkeit. Das Framework stellt Berichte für einmalige Evaluierungen sowie Test-Suites mit Bestehen/Nicht-Bestehen-Bedingungen für CI/CD-Pipelines bereit. Für die Produktionsüberwachung bietet Evidently ein selbst gehostetes Monitoring-UI-Dashboard, das Metriken und Testergebnisse im Zeitverlauf visualisiert. Zu den wichtigsten Funktionen gehören die LLM-Evaluierung mit Deskriptoren wie Sentiment-Analyse und Textlängenprüfungen, die Erkennung von Datendrift mittels statistischer Methoden, die Verfolgung der Modellleistung sowie die Integration in bestehende ML-Pipelines durch seine Python-Schnittstelle und offene Architektur.