Embeddings erklärt: Wie KI Bedeutung in Zahlen fasst

1 Min. LesezeitAktualisiert am Mit KI erstellt · redaktionell verantwortet

Embeddings verwandeln einen Text in eine lange Reihe von Zahlen, einen Vektor. Das Besondere: Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, auch wenn sie ganz andere Wörter benutzen. Darauf beruhen semantische Suche, RAG-Systeme und viele Empfehlungsfunktionen.

Kurz gesagt

Embeddings wandeln einen Text in einen Vektor um, eine lange Reihe von Zahlen. Texte mit ähnlicher Bedeutung erhalten ähnliche Vektoren, auch wenn sie andere Wörter verwenden. Darauf beruhen semantische Suche, RAG-Systeme, Dublettenerkennung und Empfehlungen. Die Nähe zweier Texte wird meist mit der Kosinus-Ähnlichkeit gemessen.

Bedeutung als Position im Raum

Ein Embedding-Modell ordnet jedem Text einen Punkt in einem Raum mit Hunderten oder Tausenden Dimensionen zu. „Wie kündige ich meinen Vertrag?“ und „Vertrag beenden, wie geht das?“ landen nah beieinander, „Rezept für Apfelkuchen“ weit entfernt. Wie nah zwei Texte sind, misst man meist mit der Kosinus-Ähnlichkeit, einer Zahl zwischen −1 und 1.

Wofür man Embeddings nutzt

  • Semantische Suche: findet passende Stellen, auch wenn das Suchwort darin nicht vorkommt.
  • RAG: sucht für eine Frage die relevanten Abschnitte aus Ihren Dokumenten, die dann ein Sprachmodell zur Antwort verarbeitet (RAG einfach erklärt).
  • Dubletten finden: ähnliche Tickets, Produkte oder Artikel erkennen.
  • Klassifizieren und Gruppieren: Texte nach Themen ordnen, ohne jedes Mal ein Sprachmodell zu fragen.

Vektordatenbanken

Bei vielen Dokumenten braucht man eine Datenbank, die schnell die nächsten Nachbarn eines Vektors findet. Dafür gibt es spezialisierte Vektordatenbanken, aber auch Erweiterungen für bekannte Datenbanken wie PostgreSQL. Gespeichert wird je Abschnitt der Vektor plus der Originaltext.

Was Embeddings kosten

Sehr wenig. Embedding-Modelle kosten meist zwischen zwei und zwanzig Cent pro Million Tokens. Einen Bestand von 5.000 Seiten einmal zu verarbeiten, kostet oft weniger als einen Euro. Teurer ist im RAG-Betrieb das Sprachmodell, das die Antworten schreibt. Beides zusammen rechnet der RAG-Kostenrechner.

Worauf es ankommt

  • Ein Modell, das Deutsch gut beherrscht; die Unterschiede sind beträchtlich.
  • Sinnvolle Abschnittsgröße: zu kleine Stücke verlieren den Zusammenhang, zu große verwässern die Treffer.
  • Gleiches Modell für Dokumente und Suchanfragen; Vektoren verschiedener Modelle sind nicht vergleichbar.

Häufige Fragen

Brauche ich für Embeddings eine Vektordatenbank?

Bei vielen Dokumenten ja, denn sie findet schnell die nächsten Nachbarn eines Vektors. Neben spezialisierten Vektordatenbanken gibt es Erweiterungen für bekannte Datenbanken wie PostgreSQL. Gespeichert werden je Abschnitt der Vektor und der Originaltext.

Was kostet es, Dokumente in Embeddings umzuwandeln?

Sehr wenig: Embedding-Modelle kosten meist zwei bis zwanzig Cent pro Million Tokens. 5.000 Seiten einmal zu verarbeiten kostet oft weniger als einen Euro. Teurer ist im RAG-Betrieb das Sprachmodell, das die Antworten schreibt.

Kann man Embeddings verschiedener Modelle mischen?

Nein. Vektoren verschiedener Embedding-Modelle sind nicht vergleichbar. Für Dokumente und Suchanfragen muss deshalb dasselbe Modell verwendet werden, idealerweise eines, das Deutsch gut beherrscht.

Leon Blatz betreibt Tokenlabor und verantwortet alle Inhalte redaktionell. Texte entstehen mit Unterstützung von KI unter redaktioneller Kontrolle; Preise und Fakten stammen aus den genannten Quellen, Hinweise auf Fehler werden geprüft und korrigiert. Mehr über Tokenlabor

Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.

RAG-KostenrechnerWas kostet eine KI mit eigenen Dokumenten? Embeddings, Abfragen und Vektordatenbank berechnen.
Öffnen

Auch hilfreich: Systemprompt-Kostenrechner · KI-Preiskalkulation

Weiterlesen

Passende Artikel

Alle zu Grundlagen
  1. Vektordatenbanken erklärt: Das Gedächtnis von RAG-AnwendungenVektordatenbanken erklärt: Wie sie Texte nach Bedeutung statt Stichworten finden, welche es gibt, wann normale Datenbanken reichen und was sie kosten.
  2. Kann KI rechnen? Warum Sprachmodelle sich verrechnenKann KI rechnen? Warum Sprachmodelle bei Zahlen und Zählaufgaben Fehler machen, wie Tokens und Wahrscheinlichkeiten das erklären und wie Sie trotzdem richtige Ergebnisse bekommen.
  3. Was ist ein Prompt? Bedeutung, Bestandteile und BeispieleWas ist ein Prompt? Die Eingabe an eine KI erklärt: Bestandteile eines guten Prompts, Unterschied zum Systemprompt und Beispiele für bessere Ergebnisse.
  4. Parameter eines Sprachmodells: Was die Milliarden-Zahlen bedeutenParameter eines Sprachmodells erklärt: Was Parameter sind, was 8B oder 70B bedeutet, wie Modellgröße Qualität, Speicherbedarf und Kosten beeinflusst.