Tree-of-Thought-Prompting: Lösungswege verzweigen und bewerten

Tree-of-Thought-Prompting erweitert das schrittweise Denken um Verzweigungen: Statt einen einzigen Lösungsweg zu verfolgen, entwickelt das Modell an wichtigen Stellen mehrere Möglichkeiten, bewertet sie und verfolgt nur die vielversprechenden weiter. Das ähnelt dem, wie Menschen bei schwierigen Problemen Optionen abwägen und Sackgassen verlassen.

Von Chain of Thought zu Tree of Thoughts

Beim Chain-of-Thought-Prompting denkt das Modell in einer Kette von Schritten. Ist ein früher Schritt falsch, baut alles Weitere auf dem Fehler auf. Tree of Thoughts setzt hier an:

1. Gedanken erzeugen: An einem Zwischenschritt werden mehrere Alternativen formuliert.
2. Bewerten: Jede Alternative wird eingeschätzt, etwa als „vielversprechend“, „unsicher“ oder „Sackgasse“.
3. Auswählen und weitergehen: Nur gute Zweige werden fortgesetzt, schlechte verworfen.
4. Zurückgehen: Führt ein Zweig nicht weiter, wird ein anderer probiert.

Die Methode stammt aus der Forschung und wurde dort mit Programmen umgesetzt, die viele Modellaufrufe steuern. Für Rätsel und Planungsaufgaben zeigte sie Vorteile gegenüber einfachen Ketten.

Tree of Thoughts im Chat nachbilden

Die volle Methode braucht Programmierung. Die Grundidee lässt sich aber mit einem einzigen Prompt annähern:

Wir müssen entscheiden, wie wir unser Lager umorganisieren.
Schritt 1: Entwickle drei grundlegend verschiedene Ansätze.
Schritt 2: Bewerte jeden Ansatz nach Kosten, Aufwand und Risiko
mit kurzer Begründung.
Schritt 3: Verwirf den schwächsten Ansatz.
Schritt 4: Entwickle für die beiden übrigen je zwei Varianten
und bewerte erneut.
Schritt 5: Empfiehl eine Variante und nenne, was dagegen spricht.

Noch besser funktioniert es, die Schritte auf mehrere Nachrichten zu verteilen und selbst mitzuentscheiden, welche Zweige weiterverfolgt werden. Das ist im Kern Prompt-Chaining mit Verzweigungen. Einen Prompt mit klaren Einzelschritten baut der Schritt-für-Schritt-Prompt.

Wofür sich die Technik eignet

• Planungen mit mehreren Optionen, etwa Projektabläufe oder Standortfragen,
• Strategiefragen, bei denen es kein eindeutiges Richtig gibt,
• Rätsel und Logikaufgaben mit Sackgassen,
• Fehlersuche, bei der mehrere Ursachen infrage kommen.

Für einfache Fragen ist der Aufwand zu groß. Eine schnelle Faktenfrage oder ein kurzer Text braucht keinen Gedankenbaum.

Ein Vorteil zeigt sich auch dann, wenn das Modell am Ende nicht die beste Lösung findet: Die bewerteten Zweige machen sichtbar, welche Optionen überhaupt bestehen und warum einige ausscheiden. Für Entscheidungen im Team ist diese Übersicht oft wertvoller als eine einzelne Empfehlung.

Verhältnis zu Reasoning-Modellen

Reasoning-Modelle denken vor ihrer Antwort intern lange nach und probieren dabei teils selbst Alternativen aus. Ein ausführlicher Tree-of-Thought-Prompt kann hier überflüssig sein oder sogar stören, weil er dem Modell einen Ablauf aufzwingt. Bei solchen Modellen reicht oft, das Ziel und die Bewertungskriterien klar zu nennen. Hinweise dazu stehen im Ratgeber Prompts für Reasoning-Modelle.

Kosten im Blick behalten

Jede Verzweigung erzeugt mehr Text und damit mehr Tokens. In automatisierten Abläufen mit vielen Modellaufrufen können die Kosten schnell steigen. Ähnliches gilt für die verwandte Technik Self-Consistency-Prompting, bei der mehrere Lösungen parallel erzeugt werden. Was Denkprozesse kosten, schätzt der Reasoning-Kostenrechner.