RAG einfach erklärt: KI mit eigenen Dokumenten nutzen

2 Min. LesezeitAktualisiert am Mit KI erstellt · redaktionell verantwortet

RAG steht für Retrieval-Augmented Generation und ist der übliche Weg, ein Sprachmodell mit eigenen Dokumenten arbeiten zu lassen: Handbücher, Verträge, Wissensdatenbanken. Statt das Modell neu zu trainieren, sucht man bei jeder Frage die passenden Textstellen heraus und gibt sie mit.

Kurz gesagt

RAG (Retrieval-Augmented Generation) lässt ein Sprachmodell mit eigenen Dokumenten arbeiten, ohne es neu zu trainieren. Bei jeder Frage werden per Embeddings und Vektordatenbank die passendsten Textabschnitte gesucht und zusammen mit der Frage an das Modell geschickt, das daraus die Antwort formuliert.

Warum nicht einfach alles in den Prompt?

Bei wenigen Dokumenten geht das, und dank großer Kontextfenster sogar bei ein paar hundert Seiten. Bei tausenden Seiten passt der Bestand aber nicht mehr hinein, und selbst wenn: Jede Frage würde das ganze Archiv kosten. RAG schickt nur die relevanten Abschnitte mit; das ist schneller, günstiger und oft genauer.

Die vier Schritte

  1. Zerlegen (Chunking): Dokumente werden in Abschnitte von einigen hundert Tokens geteilt, mit etwas Überlappung. Das Werkzeug Text aufteilen zeigt, wie das aussieht.
  2. Embeddings berechnen: Ein Embedding-Modell wandelt jeden Abschnitt in eine Zahlenreihe um, die seine Bedeutung abbildet. Ähnliche Inhalte bekommen ähnliche Zahlen.
  3. Speichern: Die Zahlenreihen landen in einer Vektordatenbank, die zu einer Frage sehr schnell die ähnlichsten Abschnitte findet.
  4. Fragen beantworten: Die Frage wird ebenfalls in Zahlen umgewandelt, die passendsten Abschnitte werden gesucht und zusammen mit der Frage an das Sprachmodell geschickt, das daraus die Antwort formuliert.

Was RAG kostet

Embeddings sind sehr günstig: Tausende Seiten kosten meist nur Cent. Die laufenden Kosten entstehen beim Sprachmodell, weil jede Frage mehrere Abschnitte als Eingabe mitbringt. Bei 20.000 Fragen im Monat mit je sechs Abschnitten à 500 Tokens kommen schnell 60 Millionen Eingabe-Tokens zusammen. Der RAG-Kostenrechner rechnet Ihr Szenario durch, einschließlich Speicherbedarf.

Worauf es für gute Antworten ankommt

  • Sinnvolle Abschnitte: lieber an Absätzen und Überschriften teilen als mitten im Satz.
  • Die richtige Zahl Treffer: drei bis zehn Abschnitte pro Frage sind üblich.
  • Klare Anweisung: „Antworte nur auf Grundlage der Abschnitte; wenn die Antwort dort nicht steht, sag das.“ Das reduziert Halluzinationen deutlich.
  • Quellen anzeigen: Wer sieht, aus welchem Dokument eine Antwort stammt, kann sie prüfen.
  • Testen: eine Liste echter Fragen mit bekannten Antworten, gegen die jede Änderung geprüft wird.

RAG oder großes Kontextfenster?

Für ein einzelnes Dokument von 50 Seiten braucht niemand RAG: einfach mitgeben, am besten mit Prompt-Caching. RAG lohnt sich ab großen, wachsenden Beständen oder wenn viele Nutzer viele verschiedene Fragen stellen. Wie viel in ein Kontextfenster passt, zeigt der Kontextfenster-Rechner.

Häufige Fragen

Was kostet RAG im laufenden Betrieb?

Embeddings sind sehr günstig, tausende Seiten kosten meist nur Cent. Die laufenden Kosten entstehen beim Sprachmodell, weil jede Frage mehrere Abschnitte als Eingabe mitbringt; bei 20.000 Fragen im Monat mit je sechs Abschnitten à 500 Tokens sind das schnell 60 Millionen Eingabe-Tokens.

Wann lohnt sich RAG statt eines großen Kontextfensters?

Für ein einzelnes Dokument von etwa 50 Seiten braucht man kein RAG, es lässt sich direkt mitgeben, am besten mit Prompt-Caching. RAG lohnt sich bei großen, wachsenden Beständen oder wenn viele Nutzer viele verschiedene Fragen stellen.

Wie verhindert man Halluzinationen bei RAG?

Eine klare Anweisung hilft: nur auf Grundlage der gefundenen Abschnitte antworten und sagen, wenn die Antwort dort nicht steht. Zusätzlich sollten Quellen angezeigt und Änderungen gegen eine Liste echter Fragen mit bekannten Antworten getestet werden.

Leon Blatz betreibt Tokenlabor und verantwortet alle Inhalte redaktionell. Texte entstehen mit Unterstützung von KI unter redaktioneller Kontrolle; Preise und Fakten stammen aus den genannten Quellen, Hinweise auf Fehler werden geprüft und korrigiert. Mehr über Tokenlabor

Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.

RAG-KostenrechnerWas kostet eine KI mit eigenen Dokumenten? Embeddings, Abfragen und Vektordatenbank berechnen.
Öffnen

Auch hilfreich: Systemprompt-Kostenrechner · KI-Preiskalkulation

Weiterlesen

Passende Artikel

Alle zu Entwicklung
  1. RAG-Pipeline bauen: Von den Dokumenten zur belegten AntwortRAG-Pipeline bauen: Dokumente aufbereiten, zerlegen, als Embeddings speichern, passende Stellen finden und Antworten mit Quellen erzeugen. Mit Prüfliste.
  2. Vektordatenbanken erklärt: Das Gedächtnis von RAG-AnwendungenVektordatenbanken erklärt: Wie sie Texte nach Bedeutung statt Stichworten finden, welche es gibt, wann normale Datenbanken reichen und was sie kosten.
  3. KI lokal ausführen: Sprachmodelle auf dem eigenen RechnerKI lokal ausführen ohne Cloud: welche Hardware Sie brauchen, wie viel Speicher ein Modell belegt, welche Programme es gibt und wann es sich lohnt.
  4. Model Context Protocol (MCP) einfach erklärtMCP einfach erklärt: Das Model Context Protocol verbindet KI-Assistenten mit Werkzeugen und Daten. So funktionieren MCP-Server, Clients und Sicherheit.