Was ist Fine-Tuning? Sprachmodelle mit eigenen Daten anpassen
Fine-Tuning bedeutet, ein fertiges Sprachmodell mit eigenen Beispielen nachzutrainieren. Das Modell lernt dabei einen bestimmten Stil, ein festes Format oder eine wiederkehrende Aufgabe besonders gut. Neues Faktenwissen bringt Fine-Tuning dagegen nur schlecht bei.
Wie Fine-Tuning abläuft
- Sie sammeln Beispiele: Eingabe und gewünschte Ausgabe, meist einige hundert bis tausend Paare.
- Die Beispiele werden in eine Datei im Format des Anbieters gebracht, oft JSONL.
- Der Anbieter trainiert eine angepasste Kopie des Modells.
- Sie testen das Ergebnis mit Beispielen, die nicht im Training waren.
Wann es sich lohnt
- Ein fester Stil oder Tonfall, der sich mit Anweisungen nicht zuverlässig erreichen lässt
- Sehr viele gleichartige Anfragen, bei denen ein kleineres, angepasstes Modell ein großes ersetzen kann
- Strenge Ausgabeformate in Spezialgebieten
Wann nicht
Für aktuelles oder umfangreiches Wissen, etwa Produktdaten oder Handbücher, ist RAG besser geeignet: Das Modell liest die passenden Dokumente bei jeder Anfrage. Oft reichen auch gute Anweisungen mit Beispielen im Prompt (Few-Shot-Prompting). Probieren Sie diese Wege zuerst; sie sind schneller und günstiger.
Kosten
Es fallen Kosten für das Training und meist höhere Preise für die Nutzung des angepassten Modells an. Dazu kommt der Aufwand, gute Beispiele zu erstellen, oft der größte Posten. Den Vergleich der laufenden Kosten liefert der KI-Kostenrechner.
Erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.