RAG-Benchmarks: Genauigkeit, Latenz, Halluzination
Ein RAG-System ist so gut wie die Quellen, die es findet, und so vertrauenswürdig wie seine Disziplin, nichts dazuzuerfinden. Diese Seite beschreibt, wie wir beides über eine OKF-Wissensbasis messen – den Testaufbau, die Metriken, die Fallen. Sie nennt bewusst keine Zahlen: Belastbare Werte entstehen nur aus einem definierten Lauf gegen ein definiertes Bundle, und die tragen wir hier nach, sobald sie vorliegen.
Platzhalter. Die Ergebnistabellen unten sind leer, bis der erste Messlauf abgeschlossen ist. Kein Wert auf dieser Seite ist geschätzt oder illustrativ.
Was gemessen wird
Der Assistent des Hub arbeitet in zwei Schritten: Er sucht relevante Konzepte in der Wissensbasis (Retrieval) und lässt ein Modell daraus antworten (Generation). Jeder Schritt hat eigene Fehlerquellen, also messen wir sie getrennt.
Der Testaufbau
Grundlage ist ein festes Bundle und eine Liste von Testfragen mit bekannter, im Bundle belegter Antwort. Zu jeder Frage gehört das Konzept oder die Konzepte, die die Antwort tatsächlich stützen – das ist die Referenz, gegen die wir Retrieval und Antwort prüfen.
Der reale Retrieval-Pfad, gegen den gemessen wird, hat drei feste Eigenschaften. Zuerst versucht der Server eine semantische Suche mit lokal berechneten mehrsprachigen Embeddings (Modell multilingual-e5-small, Kosinus-Ähnlichkeit, Top-6). Ist der Vektorindex noch nicht gebaut, fällt er auf eine feldgewichtete Stichwortsuche zurück: Treffer im Titel zählen sechsfach, in der Beschreibung vierfach, in den Tags dreifach, im Fließtext einfach. Von den gefundenen Konzepten gehen die besten fünf als Kontext an das Modell, jeweils bis 800 Zeichen Body.
Die Generation läuft bei niedriger Temperatur (0,2) mit einer Obergrenze von 1000 Tokens und einer Systemanweisung, die Antworten strikt auf die gelieferten Quellen begrenzt und fehlende Evidenz offen zugeben lässt.
Metrik 1: Retrieval-Trefferrate
Findet die Suche das richtige Konzept überhaupt? Gemessen als Anteil der Fragen, bei denen das Referenzkonzept unter den Top-k liegt (Recall@k, mit k gleich der ausgelieferten Quellenzahl). Diese Metrik ist die Obergrenze für alles Weitere: Was das Retrieval nicht findet, kann die beste Generation nicht nutzen.
| Retrieval-Modus | Recall@5 | Median-Rang des Referenzkonzepts |
|---|---|---|
| Semantisch (e5-small) | (nachzutragen) | (nachzutragen) |
| Stichwort-Fallback (TF-IDF) | (nachzutragen) | (nachzutragen) |
Der direkte Vergleich beider Modi ist der interessante Teil: Er zeigt, wie viel die semantische Suche gegenüber dem Fallback bringt – und bei welchen Fragetypen der Fallback erstaunlich gut mithält.
Metrik 2: Quellentreue
Stützt sich jede Aussage der Antwort auf ein zitiertes Konzept? Gemessen als Anteil der Aussagen mit korrekter Quellennummer, die die Aussage wirklich trägt. Der Hub zeigt nur Quellen an, die das Modell tatsächlich nummeriert zitiert hat – das erleichtert die Prüfung, ersetzt sie aber nicht.
Metrik 3: Halluzinationsrate
Der Gegentest zur Quellentreue: Anteil der Antworten mit mindestens einer Aussage, die keine der gelieferten Quellen stützt. Ein Sonderfall zählt hier eigens – die erfundene URL oder Marke. Die Systemanweisung verbietet ausdrücklich jede externe URL; ein Verstoß ist ein harter Halluzinationsfall.
Metrik 4: Verweigerung am richtigen Ort
Ein gutes RAG-System sagt „nicht abgedeckt", wenn die Quellen schweigen. Wir mischen deshalb Fragen ins Set, deren Antwort nicht im Bundle steht. Gemessen wird beides: Verweigert der Assistent dort korrekt, und antwortet er bei belegbaren Fragen, statt vorschnell zu verweigern?
| Fragetyp | Korrekt beantwortet | Korrekt verweigert |
|---|---|---|
| Im Bundle belegt | (nachzutragen) | – |
| Nicht im Bundle | – | (nachzutragen) |
Metrik 5: Latenz
Zeit von der Frage bis zur Antwort, getrennt nach zwei Zuständen. Der erste Aufruf nach einem Neustart lädt das Embedding-Modell und ist naturgemäß langsamer; der Hub wärmt das Modell deshalb beim Start vor. Danach dominiert die Antwortzeit des gewählten Sprachmodells. Wir messen Retrieval-Zeit und Generierungszeit getrennt, weil nur die erste in unserer Hand liegt.
| Phase | Kalt (nach Neustart) | Warm |
|---|---|---|
| Retrieval | (nachzutragen) | (nachzutragen) |
| Generierung | (nachzutragen) | (nachzutragen) |
Was die Zahlen nicht sagen
Drei Grenzen bleiben, und wir nennen sie mit. Die Ergebnisse hängen am Testset – ein Bundle über technisches SEO sagt wenig über ein Bundle über Vertragsrecht. Sie hängen am gewählten Modell, das sich jederzeit ändern kann. Und Quellentreue misst, ob eine Aussage belegt ist, nicht ob die Quelle selbst stimmt: Ein sauber zitierter, aber inhaltlich falscher Ausgangstext erzeugt eine treue Antwort auf falscher Grundlage. Deshalb bleibt die menschliche Prüfung wichtiger Antworten Teil des Verfahrens, nicht sein Ersatz.
Weiter im Thema
Wie OKF gegen andere Formate für KI-Kontext abschneidet, behandelt der Formatvergleich. Der reale Retrieval- und Antwortpfad, der hier gemessen wird, ist unter Prompt-Vorlagen und in der Anleitung zum RAG-Assistenten beschrieben.
Testpfad nach dem realen Retrieval in lib/semantic.js und server.js dieses Projekts (e5-small, Top-6, feldgewichtetes TF-IDF, Temperatur 0,2). Messwerte folgen. / Test path per this project's real retrieval in lib/semantic.js and server.js. Measured values to follow.