ScrapeGraphAI

ScrapeGraphAI ist eine Open-Source-Python-Bibliothek, die Large Language Models (LLMs) und graphbasierte Scraping-Pipelines nutzt, um automatisch strukturierte Daten aus Websites, PDFs, XML und mehr zu extrahieren. Mit über 28.000 GitHub-Sternen ist es eines der beliebtesten KI-gestützten Scraping-Frameworks, die heute verfügbar sind. Die Bibliothek verwendet eine modulare Graph-Architektur, bei der jeder Knoten eine spezifische Operation darstellt – vom Abrufen von Seiten bis hin zur Datenextraktion mittels LLM-Prompts. Sie können verschiedene LLM-Backends konfigurieren, darunter GPT, Gemini, Ollama und Hugging Face-Modelle. Sie unterstützt SmartScraperGraph für das Scraping einzelner Seiten, SearchGraph für die seitenübergreifende Extraktion und SpeechGraph für sprachgesteuertes Scraping. ScrapeGraphAI bietet Docker-Unterstützung, eine REST-API und funktioniert headless mit Browserbase oder Selenium. Es ist ideal für Entwickler, die RAG-Pipelines oder KI-Agenten erstellen, die auf Webdaten angewiesen sind, oder für alle, die zuverlässiges, LLM-gestütztes Web-Scraping benötigen, ohne komplexe Selektoren oder Regex-Muster schreiben zu müssen.