Embeddings erklärt: Wie KI Bedeutung in Zahlen fasst
Embeddings verwandeln einen Text in eine lange Reihe von Zahlen, einen Vektor. Das Besondere: Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, auch wenn sie ganz andere Wörter benutzen. Darauf beruhen semantische Suche, RAG-Systeme und viele Empfehlungsfunktionen.
Bedeutung als Position im Raum
Ein Embedding-Modell ordnet jedem Text einen Punkt in einem Raum mit Hunderten oder Tausenden Dimensionen zu. „Wie kündige ich meinen Vertrag?“ und „Vertrag beenden, wie geht das?“ landen nah beieinander, „Rezept für Apfelkuchen“ weit entfernt. Wie nah zwei Texte sind, misst man meist mit der Kosinus-Ähnlichkeit, einer Zahl zwischen −1 und 1.
Wofür man Embeddings nutzt
- Semantische Suche: findet passende Stellen, auch wenn das Suchwort darin nicht vorkommt.
- RAG: sucht für eine Frage die relevanten Abschnitte aus Ihren Dokumenten, die dann ein Sprachmodell zur Antwort verarbeitet (RAG einfach erklärt).
- Dubletten finden: ähnliche Tickets, Produkte oder Artikel erkennen.
- Klassifizieren und Gruppieren: Texte nach Themen ordnen, ohne jedes Mal ein Sprachmodell zu fragen.
Vektordatenbanken
Bei vielen Dokumenten braucht man eine Datenbank, die schnell die nächsten Nachbarn eines Vektors findet. Dafür gibt es spezialisierte Vektordatenbanken, aber auch Erweiterungen für bekannte Datenbanken wie PostgreSQL. Gespeichert wird je Abschnitt der Vektor plus der Originaltext.
Was Embeddings kosten
Sehr wenig. Embedding-Modelle kosten meist zwischen zwei und zwanzig Cent pro Million Tokens. Einen Bestand von 5.000 Seiten einmal zu verarbeiten, kostet oft weniger als einen Euro. Teurer ist im RAG-Betrieb das Sprachmodell, das die Antworten schreibt. Beides zusammen rechnet der RAG-Kostenrechner.
Worauf es ankommt
- Ein Modell, das Deutsch gut beherrscht; die Unterschiede sind beträchtlich.
- Sinnvolle Abschnittsgröße: zu kleine Stücke verlieren den Zusammenhang, zu große verwässern die Treffer.
- Gleiches Modell für Dokumente und Suchanfragen; Vektoren verschiedener Modelle sind nicht vergleichbar.
Erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.