Langfuse

Kurzfazit

Langfuse ist die wohl ernstzunehmendste europäische Antwort auf LangSmith und Helicone — und in mehreren Disziplinen die bessere Wahl. Das Berliner Team baut eine Open-Source-Plattform unter MIT-Lizenz, die alles abdeckt, was produktive LLM-Anwendungen brauchen: Tracing, Evaluation, Prompt-Management und Datasets. Anbieterneutral, mit SDKs für Python, TypeScript und nativer Integration in LangChain, LlamaIndex und OpenAI SDK. Der entscheidende Hebel für deutsche Anwender: Cloud mit wählbarer EU-Region in Frankfurt — und falls auch das zu nah am US-Mutterland ist, liegt das gesamte Repository auf GitHub und lässt sich self-hosten. Schwächen: Self-Hosting verlangt mehrere Service-Komponenten (Postgres, ClickHouse, Redis), und der Cloud-Pro-Plan ist mit 199 USD/Monat für Einzelnutzer nicht günstig. Wer aber 2026 produktiv LLM-Systeme baut und DSGVO ernst nimmt, kommt an Langfuse kaum vorbei.

Für wen ist Langfuse?

Entwicklerteams mit produktiven LLM-Anwendungen: Wer Chatbots, RAG-Systeme oder Agenten in den Echtbetrieb bringt, braucht Sichtbarkeit über jede einzelne Anfrage — Token-Kosten, Latenzen, Tool-Aufrufe, Antwortqualität. Langfuse liefert genau das, mit minimalem Integrationsaufwand: Ein Decorator oder ein Callback genügt, alle Aufrufe landen automatisch im Dashboard.

DSGVO-sensitive Branchen: Recht, Medizin, Finanzen, Verwaltung — überall dort, wo personenbezogene Daten durch LLM-Pipelines fließen, ist Tracing in einer US-Cloud keine Option. Langfuse Cloud bietet eine echte EU-Region (Frankfurt), und das Self-Hosting-Modell erlaubt vollständige Datenresidenz im eigenen Rechenzentrum.

RAG-Architekt:innen mit Qualitätsanspruch: Wer Retrieval-Augmented-Generation produktiv betreibt, braucht regelmäßige Qualitätsprüfung — sind die abgerufenen Dokumente noch relevant? Halluziniert das Modell? Langfuse-Datasets und LLM-as-Judge-Evaluations machen Regressionstests reproduzierbar, statt sich auf manuelles Spot-Checking zu verlassen.

Prompt-Engineering-Teams: Prompts sind Code — sie verdienen Versionskontrolle, A/B-Tests und Rollback-Möglichkeiten. Das Langfuse-Prompt-Management trennt Prompt-Inhalte vom Anwendungscode, sodass Fachabteilungen Texte ändern können, ohne Entwickler zu blockieren — und jede Änderung ist nachvollziehbar.

MLOps- und Plattform-Teams: Wer in einer größeren Organisation eine zentrale LLM-Plattform für mehrere Anwendungsteams betreibt, profitiert vom Mandanten-Modell (Organizations, Projects), den Annotation-Queues und der API-First-Architektur. Langfuse lässt sich als Plattform-Komponente mit eigenem Identity-Provider, eigenem Storage und eigenen Pipelines integrieren.

Weniger geeignet für: Fachabteilungen ohne Entwicklerkapazität (Langfuse ist Code-orientiert), Hobby-Projekte mit einzelnen LLM-Aufrufen (Setup-Aufwand übersteigt den Nutzen) und Teams, die klassisches APM für Nicht-LLM-Systeme brauchen — dafür sind Datadog, New Relic oder Grafana Cloud die richtigeren Werkzeuge.

Preise im Detail

Plan	Preis (USD/Monat)	Was du bekommst
Self-Hosted	0 (MIT-Lizenz)	Vollständige Plattform, alle Features, eigene Infrastruktur (Postgres, ClickHouse, Redis, S3)
Cloud Hobby	0	50.000 Units/Monat, 30 Tage Aufbewahrung, 2 Nutzer, Community-Support, EU/US/Japan-Region
Cloud Core	29	100.000 Units inkl., 90 Tage Aufbewahrung, unbegrenzte Nutzer, In-App-Support
Cloud Pro	199	100.000 Units inkl., 3 Jahre Aufbewahrung, hohe Rate-Limits (20.000 req/min), SOC2/ISO27001/HIPAA
Teams-Add-on (für Pro)	+300	SSO, RBAC, Slack-Support
Cloud Enterprise	ab 2.499	Custom-Limits, Volume-Pricing, Audit-Logs, SCIM, dedizierter Support, SLA
Overage Units	8 USD pro 100k	Preis sinkt gestaffelt: 7 USD ab 1 Mio., 6,50 USD ab 10 Mio., 6 USD ab 50 Mio. Units

Einordnung: Self-Hosting ist der Sweetspot für Teams mit Entwicklerkapazität — komplette Funktionalität, beliebige Datenresidenz, kein Lizenzkostenaufwand. Realistische Betriebskosten: 50–200 EUR/Monat für Cloud-Infrastruktur (Postgres, ClickHouse, Redis, Object Storage), plus die Personalstunden für Wartung. Die Cloud-Hobby-Stufe reicht für Prototypen und Hackathons, ist aber wegen 30-Tage-Aufbewahrung für Compliance-Anwendungen ungeeignet. Core zu 29 USD ist neu im Pricing-Mix und schließt die Lücke zwischen Hobby und Pro — für kleine Produktivteams ein faires Angebot. Pro zu 199 USD ist gegenüber LangSmith Plus (39 USD/Sitz) auf den ersten Blick teuer, enthält aber drei Jahre Aufbewahrung, hohe Rate-Limits und SOC2/ISO27001/HIPAA-Reports — was bei LangSmith erst im Enterprise-Tier startet. Für regulierte Branchen ist das ein realer Mehrwert.

Stärken im Detail

Open Source unter MIT-Lizenz, ohne „Open-Core”-Tricksereien. Anders als manche Wettbewerber, die zentrale Features hinter Enterprise-Lizenzen verstecken, liegt die komplette Plattform offen auf GitHub. Selbst-Hostende bekommen denselben Funktionsumfang wie Cloud-Kunden — nur Hosting und Support fehlen. Das schafft echtes Vertrauen: Niemand wird über Nacht in eine kostenpflichtige Lock-in-Falle geführt, weil der entscheidende Schalter im Unternehmens-Plan plötzlich verriegelt wird.

EU-Hosting ist Erstklasse-Bürger, nicht Enterprise-Add-on. Bei der Registrierung wählst du die Region — EU (Frankfurt), US oder Japan. Punkt. Keine Sales-Calls, keine Enterprise-Stufe, kein Self-Hosting-Aufwand nötig. Das ist die direkteste DSGVO-Geschichte im LLM-Observability-Markt — und der Hauptgrund, warum europäische Teams Langfuse oft selbst dann LangSmith vorziehen, wenn sie mit dessen Funktionsumfang vertraut sind.

Anbieterneutral mit nativen Integrationen. Langfuse versteht OpenAI-, Anthropic-, Azure-OpenAI-, AWS-Bedrock-, Vertex-AI- und Hugging-Face-Modelle ohne Konfigurations-Klimmzüge. Frameworks wie LangChain, LlamaIndex und Vercel AI SDK werden über offizielle Callbacks angebunden — ein Decorator und alle Aufrufe sind im Dashboard sichtbar. Wer eigene Integrationen braucht, nutzt das schlanke Python- oder TypeScript-SDK direkt.

Vier Disziplinen aus einer Plattform. Tracing zeigt jeden Schritt komplexer Pipelines (RAG-Retrieval, Tool-Aufrufe, Multi-Agent-Routings) mit Token-Kosten und Latenzen. Evaluation kombiniert manuelle Annotation, LLM-as-Judge und benutzerdefinierte Metriken. Prompt-Management versioniert Prompts wie Code, mit A/B-Tests und Rollback. Datasets halten Test-Inputs und erwartete Outputs für Regressionstests. Wer all das selbst zusammensteckt, baut Wochen — Langfuse liefert es als integriertes Paket.

Berliner Anbieter mit Erreichbarkeit. Langfuse GmbH sitzt in Berlin, AVV gibt es auf Deutsch, Support antwortet in mitteleuropäischer Zeitzone. Für deutsche Mittelständler und Konzerne, die mit US-Anbietern oft mit Englisch-Tickets, Pacific-Time-Antwortfenstern und englischsprachigem AVV kämpfen, ist das ein realer Komfortgewinn — und ein Compliance-Argument, das interne Datenschutzbeauftragte schätzen.

Sehr aktive Community und transparente Roadmap. Mit über 14.000 GitHub-Stars und wöchentlichen Releases gehört Langfuse 2026 zu den lebendigsten Open-Source-Projekten in der LLM-Welt. Die Roadmap liegt öffentlich im GitHub Project Board, Discussions sind aktiv, Discord-Channels werden vom Kernteam selbst betreut. Wer ein Feature vermisst, kann es einreichen und realistisch erwarten, dass es diskutiert wird.

Schwächen ehrlich betrachtet

Self-Hosting ist nicht „docker run”. Eine Produktions-Installation braucht Postgres (für Metadaten), ClickHouse (für Trace-Events), Redis (für Queues) und S3-kompatibles Object Storage (MinIO oder AWS S3). Die offiziellen Helm-Charts und Docker-Compose-Templates sind gut dokumentiert, aber Operations-Know-how für vier Service-Komponenten ist Voraussetzung. Wer „nur ein Docker-Image” erwartet, sollte zur Cloud greifen.

Cloud Pro ist im Vergleich teuer. 199 USD/Monat sind objektiv mehr als die 39 USD/Sitz bei LangSmith Plus. Langfuse rechtfertigt den Preis mit drei Jahren Aufbewahrung, Compliance-Reports (SOC2, ISO27001, HIPAA) und unbegrenzten Sitzen — aber für ein kleines Team von zwei bis drei Personen ohne harte Compliance-Anforderungen ist das eine echte Hürde. Die neue Core-Stufe zu 29 USD mildert das, aber das Pro-Preis-Schema bleibt für Einsteigerteams gewöhnungsbedürftig.

Hobby-Plan mit 30 Tagen Aufbewahrung ist eng. Für Prototypen reicht das, für jede Form von Compliance-Logging oder mittelfristiger Qualitätsanalyse nicht. Wer im Hobby-Plan einen Vorfall vor sechs Wochen analysieren will, hat keinen Trace mehr — und wird dadurch früher als gedacht in den kostenpflichtigen Plan gedrängt.

Visuelle Trace-Ansicht skaliert nicht ideal für tiefe Agenten. Ein RAG-Aufruf mit drei Schritten ist klar und übersichtlich. Ein Multi-Agent-Workflow mit zehn verschachtelten Tool-Aufrufen, geschachtelten Reasoning-Spans und parallelen Branches wird in der UI schnell unübersichtlich. Power-User wechseln dann auf die Such- und Filter-Funktionen oder exportieren über die API — die UI bleibt aber das Erstanlauf-Werkzeug, und hier gibt es Luft nach oben.

Eigenes SDK lohnt sich erst ab Produktionsanspruch. Für eine schnelle Demo, einen einzelnen Prompt-Test oder ein Wochenend-Hackathon-Projekt ist die Integration zwar minimal — aber sie ist da. Wer wirklich nur „mal eben fragen” will, nutzt das LLM-SDK direkt. Langfuse zahlt sich erst aus, wenn Tracing tatsächlich Wert hat — und das ist meist erst der Fall, wenn echte Nutzer auf das System einwirken.

Keine nativen Business-Intelligence-Integrationen. Wenn das Reporting an Geschäftsleitung oder Controlling fließen soll, brauchst du den Umweg über die API oder S3-Exports und dann ein eigenes BI-Werkzeug (Metabase, Looker, Tableau). Direkte Power-BI- oder Grafana-Connectors gibt es nicht — nicht dramatisch, aber spürbar gegenüber Plattformen mit fertigen Dashboards.

Alternativen im Vergleich

Wenn du…	…nimm stattdessen
LangChain als Framework nutzt und maximal nahtlose Integration willst	LangChain (mit LangSmith)
Workflow-Automatisierung statt reines Tracing brauchst	n8n
Eine ML-Plattform mit Modell-Hosting und Tracing in einem suchst	Hugging Face
LLMs in EU-Region direkt aufrufen willst	Azure OpenAI Service
Visuelle Workflow-Orchestrierung mit Logging brauchst	Make.com

Erwähnenswert ohne eigene Tool-Seite: LangSmith (das proprietäre Pendant von LangChain Inc., funktional am nächsten verwandt, aber US-only ohne Enterprise-Add-on), Helicone (Open-Source-Konkurrent aus den USA mit anderem Architektur-Ansatz, Proxy-basiert statt SDK-basiert), Arize Phoenix (open-source, stark im Evaluations-Bereich), Weights & Biases Weave (etabliert im klassischen ML-Markt, jüngere LLM-Erweiterung) und Lunary (französisches Pendant mit ähnlicher EU-Positionierung). Langfuse hat 2026 die breiteste Funktionsabdeckung im Open-Source-Lager — und der einzige Open-Source-Anbieter mit einer first-class EU-Cloud-Region.

So steigst du ein

Schritt 1: Cloud-Account in EU-Region anlegen. Registriere dich auf cloud.langfuse.com und wähle bei der Anmeldung EU (Frankfurt) als Region. Der Hobby-Plan reicht für die ersten Wochen ohne Kreditkarte. Lege ein Projekt an und kopiere dir den Public Key und Secret Key — das sind die Zugangsdaten für das SDK.

Schritt 2: SDK in bestehende LLM-Anwendung einklinken. Mit pip install langfuse (oder npm install langfuse) ist das SDK installiert. Für OpenAI-Aufrufe genügt der Drop-in-Replacement-Import: from langfuse.openai import openai — alle bestehenden Aufrufe werden automatisch getraced. Bei LangChain reicht ein Callback-Handler. Innerhalb einer halben Stunde sind die ersten Traces im Dashboard sichtbar.

Schritt 3: Erste Evaluation einrichten. Lege ein kleines Test-Dataset an (10 bis 20 typische Eingaben mit erwarteten Antworten). Konfiguriere einen LLM-as-Judge — z. B. „Bewerte, ob die Antwort die Frage faktisch korrekt beantwortet”. Lasse die Pipeline gegen das Dataset laufen. Du hast jetzt eine reproduzierbare Qualitätsmessung — und kannst beim nächsten Modell-Update sofort sehen, ob sich die Antwortqualität verändert hat.

Schritt 4: Bei DSGVO-Pflicht oder Skalierung — Self-Hosting prüfen. Wenn das Volumen über 100.000 Units/Monat steigt oder Datenresidenz im eigenen Rechenzentrum nötig wird, lohnt sich der Wechsel zum Self-Hosting. Die offiziellen Helm-Charts laufen auf jedem Kubernetes (EKS, AKS, GKE, On-Prem), Docker-Compose-Setups sind gut dokumentiert. Plane mit ein bis zwei Wochen Engineering-Zeit für die produktionsreife Inbetriebnahme.

Ein konkretes Beispiel

Ein Münchener LegalTech-Anbieter (32 Mitarbeitende, KI-gestützte Vertragsanalyse für Konzern-Rechtsabteilungen) betreibt eine RAG-Pipeline, die Verträge gegen einen Bestand interner Klausel-Bibliotheken prüft und Abweichungen markiert. Stack: Azure OpenAI (Frankfurt) für GPT-4o, Qdrant Self-Hosted für Embeddings, Python-Backend mit FastAPI. Anforderung der Datenschutzbeauftragten: „Jeder LLM-Aufruf muss nachvollziehbar protokolliert sein, kein Trace darf US-Boden berühren.” Lösung: Langfuse Cloud in EU-Region für die ersten zwei Quartale, danach Migration ins eigene Azure-Tenant via Self-Hosting. Konkreter Nutzen: Die zuständige Senior-Engineerin sieht im Dashboard, dass eine bestimmte Klausel-Kategorie überdurchschnittlich oft falsch klassifiziert wird — Ursache: Die Embeddings für diese Kategorie waren auf altem Modell trainiert. Innerhalb eines Tages werden Test-Datasets aufgesetzt, der LLM-as-Judge eingerichtet, und das Embedding-Modell ausgetauscht. Die Klassifikationsgenauigkeit steigt von 78 % auf 91 %. Ohne Tracing wäre das Problem wochenlang unentdeckt geblieben. Aufwand für Langfuse-Integration: ein Senior-Entwickler, drei Tage.

DSGVO & Datenschutz

• Anbieter: Langfuse GmbH, Berlin. AVV (Auftragsverarbeitungsvertrag) auf Deutsch und Englisch verfügbar, auf der Website abrufbar oder über Sales anforderbar.
• Datenhosting Cloud: Wahl bei Registrierung zwischen EU (Frankfurt, AWS eu-central-1), US und Japan. EU-Region ist DSGVO-konform mit Datenresidenz innerhalb der EU.
• Self-Hosting: Vollständige Datenresidenz im eigenen Rechenzentrum oder in der eigenen Cloud-Subscription. Voraussetzung: Postgres, ClickHouse, Redis, S3-kompatibles Object Storage.
• Datennutzung: Langfuse trainiert keine eigenen Modelle. Alle Trace-Daten gehören dem Kunden. Cloud-Daten werden ausschließlich zur Bereitstellung des Service verarbeitet.
• Aufbewahrung: Hobby 30 Tage, Core 90 Tage, Pro 3 Jahre, Enterprise konfigurierbar. Im Self-Hosting selbst bestimmt.
• Compliance-Reports: SOC2 Type II und ISO 27001 ab Pro-Plan, HIPAA auf Anfrage.
• PII-Maskierung: Konfigurierbar im SDK — sensible Felder können vor dem Senden anonymisiert oder ganz herausgefiltert werden.
• Empfehlung für Unternehmen: Für DSGVO-sensible Workloads ist Langfuse die funktional und rechtlich sauberste Open-Source-Wahl im LLM-Observability-Markt. Cloud EU-Region für Standard-Workloads, Self-Hosting für hochsensible Daten oder regulierte Branchen mit eigener Cloud-Strategie.

Gut kombiniert mit

• LangChain — LangChain liefert das Framework, Langfuse die Observability. Die Integration läuft über einen offiziellen Callback-Handler und ist nach wenigen Minuten produktiv. Für viele Teams die Standardkombination, wenn DSGVO-Anforderungen die LangSmith-Cloud ausschließen.
• Azure OpenAI Service — Azure stellt GPT-4o in der EU-Region bereit, Langfuse loggt jeden Aufruf in derselben Region. Die saubere End-to-End-DSGVO-Kette für Foundation-Model-Anwendungen in deutschen Unternehmen.
• Hugging Face — Wer eigene oder Open-Source-Modelle aus dem Hugging-Face-Hub einsetzt, kombiniert sie mit Langfuse-Tracing über das Generic-SDK. Ergibt eine vollständig EU-souveräne Pipeline ohne US-Vendor.

Unser Testurteil

Langfuse verdient 5 von 5 Sternen. Es ist die seltene Kombination aus offener Lizenz, ernstzunehmender Produkttiefe und ehrlicher EU-Hosting-Geschichte — und im LLM-Observability-Markt 2026 die deutlichste Antwort auf das Problem, dass produktive LLM-Anwendungen in Europa Sichtbarkeit brauchen, ohne dass jeder Trace nach Kalifornien fließt. Die Funktionsabdeckung (Tracing, Evaluation, Prompt-Management, Datasets) ist breit, die Integrationen sind anbieterneutral, die Cloud bietet eine echte EU-Region ohne Enterprise-Hürden, und das Self-Hosting bleibt unter MIT-Lizenz vollständig nutzbar. Schwächen — die Komplexität des Self-Hosting-Setups, der Pro-Cloud-Preis von 199 USD, die enge Aufbewahrung im Hobby-Plan — sind real, aber kein Disqualifikationsmerkmal. Wer 2026 in Deutschland produktiv mit LLMs arbeitet, sollte Langfuse mindestens evaluieren — und wird in den meisten Fällen feststellen, dass es die offensichtliche Wahl ist.

Was wir bemerkt haben

• 2024 — Langfuse hat innerhalb eines Jahres die GitHub-Star-Marke von 1.000 auf über 10.000 ausgebaut. Das Berliner Team hat damit den Sprung von „interessantes Open-Source-Projekt” zur ernstzunehmenden Plattform geschafft — und sich als europäische Antwort auf LangSmith im Markt positioniert.
• 2025 — Mit der nativen EU-Cloud-Region (Frankfurt) wurde Langfuse zur ersten LLM-Observability-Plattform mit echter europäischer Datenresidenz auf Self-Service-Niveau. Wettbewerber bieten EU-Hosting weiterhin nur als Enterprise-Add-on.
• 2025 — Einführung der Core-Stufe zu 29 USD/Monat hat die Lücke zwischen Hobby und Pro geschlossen. Vorher mussten kleine Produktivteams direkt von 0 auf 199 USD springen — ein häufiger Beschwerdepunkt in der Community.
• 2025 — Native Integration für Vercel AI SDK, Mastra und mehrere Agenten-Frameworks (CrewAI, AutoGen) wurde ergänzt. Die Anbieter-Neutralität wird damit konsequent ausgebaut — Langfuse positioniert sich klar als Tracing-Schicht für die gesamte LLM-Welt, nicht nur für ein einzelnes Framework.
• Mai 2026 — Langfuse Cloud bietet inzwischen vier wählbare Regionen: EU (Frankfurt), US, Japan und HIPAA-konforme US-Region. Für deutschsprachige Anwender bleibt EU-Frankfurt die richtige Wahl — und ist nach wie vor das Hauptverkaufsargument gegenüber LangSmith, das eine native EU-Region weiterhin nicht im Self-Service-Modus anbietet.