MLflow

MLflow ist die Open-Source-KI-Engineering-Plattform für Teams, die mit Agenten, LLMs und ML-Modellen arbeiten. Sie bietet eine umfassende Tool-Suite zur Fehlerbehebung komplexer Agenten-Workflows, zur Bewertung der Modellleistung über verschiedene Anbieter hinweg – darunter OpenAI, Anthropic, Google sowie Open-Source-Modelle wie Llama und DeepSeek –, zur Überwachung von Produktionseinsätzen mittels Tracing und Drift-Erkennung sowie zur Optimierung von Prompts durch systematische Experimente. Mit über 27.000 GitHub-Stars unterstützt MLflow den gesamten KI-Entwicklungslebenszyklus von der Experimentierphase bis zur Produktion. Zu den Hauptfunktionen gehören das AI Gateway für einheitlichen API-Zugriff, das Prompt Engineering Studio für die iterative Prompt-Entwicklung, Tracing zur Visualisierung von End-to-End-Workflows, die Model Registry für das Versionsmanagement sowie ein Bewertungs-Framework zum Vergleich von Modellen und Prompts anhand verschiedener Metriken. MLflow lässt sich in gängige Frameworks wie LangChain, LlamaIndex und das OpenAI Agents SDK integrieren und ist damit die Standardplattform für Teams, die Wert auf KI-Qualität und Zuverlässigkeit legen.