# Was verraten verzweigte LLM-Dialoge über kognitive Strategien?
Wer längere Gespräche mit Sprachmodellen beobachtet, stößt auf auffällig unterschiedliche Arbeitsweisen. Manche Nutzer führen einen Dialog fast vollständig linear: Frage, Antwort, Anschlussfrage, nächste Antwort. Andere behandeln das Gespräch eher wie einen explorierbaren Zustandsraum. Sie erzeugen alternative Zweige, verfolgen widersprechende Hypothesen getrennt, kehren zu früheren Punkten zurück, verwerfen Pfade und nehmen später einen alten Gedanken wieder auf.
Diese Unterschiede sind zunächst nur Unterschiede im Verhalten. Interessant wird die Beobachtung durch eine weitergehende Frage: **Könnte die Topologie solcher Dialoge Information über die Art enthalten, wie Menschen komplexe Probleme mental strukturieren?**
Eine vorsichtige Antwort lautet: möglicherweise. Es gibt gute Gründe, die Hypothese ernst zu nehmen – aber derzeit keinen guten Grund, Forking als versteckten IQ-Test zu behandeln.
Die entscheidende Unterscheidung lautet deshalb: Was ist bereits empirisch belegt, was lässt sich plausibel auf LLM-Interaktionen übertragen, und was ist noch Spekulation?
## Der empirische Ausgangspunkt: Nicht nur Ergebnisse, sondern Prozesse enthalten Information
**Befund:** In der psychometrischen und bildungswissenschaftlichen Forschung werden seit Jahren sogenannte *Process Data* untersucht. Digitale Tests können nicht nur festhalten, ob jemand eine Aufgabe richtig löst, sondern auch, welche Schritte die Person vorher ausgeführt hat, wie lange sie dafür brauchte, welche Bereiche sie aufrief und in welcher Reihenfolge Aktionen erfolgten. OECD-Arbeiten zu PISA und PIAAC behandeln solche Logdaten ausdrücklich als mögliche Informationsquelle über Problemlösestrategien, Engagement und Antwortprozesse.
Besonders relevant ist, dass dabei nicht nur einfache Häufigkeiten analysiert werden. He, Borgonovi und Paccagnella nutzten beispielsweise Sequence Mining, um Aktionssequenzen aus dem technologiegestützten Problemlösen in PIAAC mit von Experten definierten Lösungsstrategien zu vergleichen. Die Ähnlichkeit beziehungsweise Distanz zwischen beobachteten und optimalen Sequenzen hing mit der Testleistung zusammen.
Auch psychometrisch werden inzwischen komplexere Repräsentationen untersucht. Ein *Latent Space Model* von Chen und Kollegen bildet Übergänge zwischen Aktionen als gewichtetes, gerichtetes Netzwerk ab und nutzt dessen Struktur unter anderem zur Analyse von Strategien und Leistung. Andere Ansätze modellieren Aktionssequenzen und Aktionszeiten gemeinsam.
Der wichtige Befund ist also nicht: „Bestimmte Klickmuster messen Intelligenz.“ Er lautet wesentlich allgemeiner:
**Der Weg durch einen digitalen Problemraum kann zusätzliche Information enthalten, die im bloßen Endergebnis nicht sichtbar ist.**
Genau hier beginnt die plausible Verbindung zu verzweigten LLM-Dialogen.
## Warum Forking kognitiv interessant sein könnte
**Plausible Übertragung:** Ein verzweigter LLM-Dialog ist kein psychometrischer Test. Er erzeugt aber ebenfalls eine Spur von Entscheidungen in einem digitalen Problemraum.
Wer an einem früheren Gesprächspunkt einen neuen Zweig öffnet, tut funktional etwas anderes als jemand, der nur die nächste Frage stellt. Der Nutzer konserviert einen Ausgangszustand und untersucht von dort eine Alternative. Werden mehrere Zweige parallel verfolgt, entsteht eine externe Repräsentation konkurrierender Möglichkeiten.
Das kann mit mehreren kognitiven Vorgängen zusammenhängen:
– Alternativen werden explizit voneinander getrennt.
– Annahmen werden lokal verändert, ohne den gesamten bisherigen Gedankengang aufzugeben.
– Zwischenstände bleiben als wiederverwendbare Zustände verfügbar.
– Hypothesen können parallel entwickelt und später miteinander verglichen werden.
– Irrwege müssen nicht überschrieben, sondern können als Informationsquelle erhalten bleiben.
Aus Sicht des Problemlösens ähnelt ein solcher Dialog weniger einer linearen Unterhaltung als der Navigation durch einen Suchraum.
Das macht Forking besonders bei Aufgaben interessant, für die mehrere plausible Modelle gleichzeitig relevant sind: wissenschaftliche Hypothesenbildung, Architekturentscheidungen, Fehlersuche, Strategieentwicklung, Textinterpretation oder kontrafaktische Analyse.
**Spekulation:** Es wäre denkbar, dass Menschen sich darin systematisch unterscheiden, wie selbstverständlich sie solche Problemräume erzeugen und organisieren – und dass ein Teil dieser Unterschiede mit Arbeitsgedächtnis, kognitiver Flexibilität, metakognitiver Kontrolle, schlussfolgerndem Denken oder anderen Fähigkeiten zusammenhängt.
Für genau diese Aussage über LLM-Dialoggraphen fehlt jedoch bislang die entsprechende Validierungsstudie.
## Warum die Zahl der Forks fast nichts über IQ aussagt
Der naheliegendste Messwert wäre zugleich einer der schlechtesten: die Gesamtzahl der erzeugten Zweige.
Ein Nutzer mit 30 Forks ist nicht automatisch ein komplexerer Denker als einer mit drei.
Schon in der Process-Data-Forschung zeigt sich, warum reine Mengenmaße problematisch sind. Viele Aktionen können systematische Exploration bedeuten – oder Unsicherheit, ineffiziente Navigation und Trial-and-Error. Sehr lange Bearbeitungszeiten können intensive Auseinandersetzung widerspiegeln, aber ebenso Schwierigkeiten oder Inaktivität. Die Beziehung zwischen beobachtbarer Aktivität und Kompetenz ist deshalb nicht monoton.
Bei LLMs kommen weitere Störvariablen hinzu. Ein erfahrener Nutzer kennt möglicherweise die Fork-Funktion, ein anderer nicht. Manche Interfaces machen Verzweigungen sichtbar und bequem, andere verstecken sie. Ein Programmierer kann zehn Alternativen systematisch testen, während eine Nutzerin dieselbe mentale Exploration in drei sehr präzisen Prompts erledigt.
Die Anzahl der Forks vermischt daher mindestens drei Dinge: **Nutzungsintensität, Interface-Verhalten und Problemlösestrategie.**
Ein brauchbares kognitives Signal müsste diese Komponenten zumindest teilweise auseinanderhalten.
## Interessanter als die Anzahl: die Geometrie des Explorationsgraphen
Wenn die Hypothese überhaupt Substanz besitzt, dürfte sie eher in **relationalen und topologischen Merkmalen** liegen.
### Tiefe
Die Tiefe eines Zweiges beschreibt, wie lange eine Alternative konsequent weiterverfolgt wird.
Ein flacher Baum mit zwanzig Ein-Schritt-Forks bedeutet etwas anderes als drei Zweige, die jeweils zehn argumentative Schritte tief entwickelt werden. Tiefe könnte anzeigen, ob Alternativen lediglich generiert oder tatsächlich durchgearbeitet werden.
Allein wäre aber auch sie mehrdeutig: Ein tiefer Dialog kann ebenso aus hartnäckigem Festhalten an einer schlechten Hypothese entstehen.
### Branching Factor
Der durchschnittliche Branching Factor beschreibt, wie viele Alternativen typischerweise aus einem Zustand entstehen.
Besonders interessant könnte sein, **wo** Verzweigungen auftreten. Werden Alternativen früh erzeugt, bevor ausreichende Information vorhanden ist? Oder entstehen sie an epistemisch sinnvollen Entscheidungspunkten, an denen mehrere Modelle tatsächlich ähnlich plausibel sind?
Damit würde aus einer Mengenvariable eine strukturbezogene Variable.
### Rückkehrmuster
Ein Nutzer kann einen Zweig verlassen und später gezielt zu ihm zurückkehren.
Solche Rückkehrmuster könnten informativer sein als die ursprüngliche Verzweigung. Sie könnten etwa zeigen, dass neue Evidenz zur Neubewertung einer zuvor verworfenen Hypothese führt.
Ein Graph könnte damit nicht nur Exploration, sondern **Revision** abbilden.
### Semantische Distanz
Zwei Zweige können formal getrennt und inhaltlich nahezu identisch sein. Umgekehrt können zwei kurze Forks völlig unterschiedliche Erklärungssysteme entwickeln.
Deshalb wäre die semantische Distanz zwischen Zweigen ein entscheidendes Merkmal. Embeddings oder andere semantische Repräsentationen könnten messen, wie stark Alternativen tatsächlich auseinanderliegen.
Interessant wären dann etwa Muster wie: wenige, aber semantisch weit auseinanderliegende Zweige; viele minimale Variationen; oder zunächst breite Exploration mit späterer Konvergenz.
### Konkurrierende Hypothesen
Noch stärker wäre ein inhaltliches Merkmal: Enthält der Graph wirklich mehrere miteinander unvereinbare Erklärungen?
Ein Nutzer könnte beispielsweise parallel Hypothese A, Hypothese B und eine Nullhypothese entwickeln und später anhand neuer Kriterien vergleichen.
Damit würde nicht mehr „Forking“ gemessen, sondern **Hypothesenmanagement**.
Genau solche Merkmale erinnern stärker an bestehende Analysen von Aktionssequenzen, Zustandsübergängen und Problemlösestrategien als eine einfache Zählung von Klicks oder Dialogzweigen. Die Forschung zu Process Data zeigt bereits, dass Sequenzen, Übergänge und Distanzen zwischen Strategien analytisch nutzbar sind.
## Die wichtigsten Alternativerklärungen
Gerade weil solche Muster psychologisch suggestiv wirken, muss eine Untersuchung konkurrierende Erklärungen besonders ernst nehmen.
**Nutzungserfahrung:** Wer Forking kennt und beherrscht, wird häufiger forken. Ein beobachteter Zusammenhang mit Leistung könnte schlicht digitale Expertise abbilden.
**Aufgabenart:** Brainstorming, Debugging und strategische Planung erzeugen andere Graphen als Übersetzung oder Faktenabfrage. Ohne Kontrolle der Aufgabe ist ein Nutzervergleich kaum interpretierbar.
**Epistemische Neugier:** Manche Menschen verfolgen Alternativen, weil sie Spaß an offenen Fragen haben. Das kann mit kognitiven Fähigkeiten korrelieren, ist aber nicht dasselbe Konstrukt.
**Arbeitsstil:** Eine Person externalisiert Zwischenzustände im Interface; eine andere hält mehrere Alternativen mental oder in externen Notizen fest. Dasselbe Denken kann deshalb unterschiedliche digitale Spuren hinterlassen.
**Zeit und Kosten:** Wer mehr Zeit zur Verfügung hat oder keine Nutzungslimits beachten muss, kann größere Explorationsgraphen erzeugen.
**Interface-Affordances:** Das Messinstrument verändert das Verhalten. Wenn ein Interface Verzweigungen prominent anbietet, entstehen andere Graphen als bei einem strikt linearen Chat.
Diese Einwände sind keine Randprobleme. Die OECD-Literatur zu Prozessdaten warnt ausdrücklich davor, Logdaten direkt als transparente Fenster in mentale Prozesse zu behandeln: Aufzeichnungen erfassen nur die durch das Interface sichtbaren Aktionen, und ihre Bedeutung hängt stark von Aufgabe und Systemdesign ab.
## Verwandte Forschungsfelder
Die Hypothese liegt an einer Schnittstelle mehrerer bereits existierender Forschungsrichtungen.
**Process Data** untersuchen zeitgestempelte Interaktionen in digitalen Assessments. Eine Literaturübersicht über 221 empirische Studien identifizierte unter anderem Aktionssequenzen und komplexes Problemlösen als wiederkehrende Forschungsbereiche.
**Sequence Mining und Process Mining** versuchen, wiederkehrende Aktionsmuster, Übergänge und Strategietypen aus Ereignisfolgen zu gewinnen. Gerade hier existieren methodische Bausteine, die sich vergleichsweise direkt auf Dialogverläufe übertragen ließen.
**Psychometrische Analyse von Aktionssequenzen** geht noch einen Schritt weiter und verbindet beobachtete Prozessmerkmale mit latenten Variablen oder Leistungsmaßen. Modelle für Aktionssequenzen, Zustandsübergänge, latente Räume und gemeinsame Modelle von Aktion und Zeit zeigen, dass Prozessverläufe prinzipiell psychometrisch modellierbar sind.
Von einer einheitlich etablierten Disziplin namens „psychometrische Aktionsanalyse“ sollte man dabei nicht sprechen; treffender ist es, von einer Familie psychometrischer Verfahren für Prozess- und Aktionsdaten zu sprechen.
Schließlich entsteht gerade eine eigene Forschungsrichtung zu **nichtlinearen LLM-Interfaces**. Ein aktuelles Beispiel ist CanvasConvo, ein Forschungsprototyp, der LLM-Gespräche als verzweigte Strukturen auf einer räumlichen Oberfläche organisiert. In einer kleinen Feldstudie mit 24 Teilnehmern wurde untersucht, wie solche nichtlinearen Strukturen explorative Arbeitsabläufe unterstützen. Das zeigt, dass verzweigte Interaktion selbst inzwischen zum Gegenstand der HCI-Forschung wird – nicht jedoch, dass ihre Topologie bereits als kognitiver Marker validiert wäre.
## Wie ließe sich die Hypothese testen?
Eine überzeugende Studie müsste Korrelationen mit bloßer Nutzung möglichst vermeiden.
Denkbar wäre ein mehrstufiges Design.
Zunächst bearbeiten mehrere hundert Teilnehmer dieselben offenen, aber kontrollierbaren Aufgaben in einem LLM-Interface, das freies Forking erlaubt. Die Aufgaben sollten unterschiedliche Anforderungen stellen: analytisches Problemlösen, Hypothesentest, Debugging, Planung und eine weitgehend lineare Kontrollaufgabe.
Parallel würden etablierte externe Maße erhoben – beispielsweise Tests für fluides Schlussfolgern, Arbeitsgedächtnis oder kognitive Flexibilität sowie Maße für epistemische Neugier, digitale Erfahrung und Nutzungsintensität.
Aus jedem Dialog entstünde anschließend ein gerichteter Explorationsgraph. Extrahiert würden nicht nur Knotenzahl und Forkzahl, sondern Tiefe, lokaler Branching Factor, Rückkehrwahrscheinlichkeit, Verweildauer, semantische Distanz zwischen Geschwisterzweigen, Zeitpunkt von Verzweigungen, Konvergenzmuster und die Zahl tatsächlich konkurrierender Hypothesen.
Der entscheidende Test wäre dann **inkrementelle Validität**.
Man würde zunächst vorhersagen, was sich aus trivialen Variablen erklären lässt: Gesprächsdauer, Tokenzahl, Zahl der Nachrichten, LLM-Erfahrung, Aufgabe und Interface-Nutzung. Erst anschließend würden die topologischen und semantischen Graphmerkmale in das Modell aufgenommen.
Verbessern sie die Vorhersage unabhängiger kognitiver Kriterien zuverlässig und auf neuen Teilnehmern?
Wenn nein, ist die starke Hypothese geschwächt.
Wenn ja, wäre der nächste Schritt noch anspruchsvoller: Prüfen, ob die Merkmale **personenübergreifend und aufgabenübergreifend stabil** sind. Ein echtes Merkmal individueller Strategie sollte nicht nur innerhalb eines speziellen Prompts auftreten.
Besonders überzeugend wäre schließlich ein experimenteller Test. Verändert man gezielt die Schwierigkeit oder Unsicherheit einer Aufgabe, müssten sich diejenigen Graphmerkmale verändern, die theoretisch zur jeweiligen kognitiven Anforderung gehören. Gleichzeitig sollten stabile individuelle Unterschiede teilweise erhalten bleiben.
Erst eine solche Kombination aus Konstruktvalidität, inkrementeller Validität, Replikation und experimenteller Manipulation würde aus einer interessanten Beobachtung einen ernsthaften psychometrischen Befund machen.
## Von der attraktiven Metapher zur prüfbaren Hypothese
Die Vorstellung, man könne aus einem verzweigten Chat unmittelbar die „Komplexität des Denkens“ eines Menschen ablesen, wäre wissenschaftlich zu grob. Digitale Spuren sind keine direkten Aufzeichnungen von Gedanken.
Doch die entgegengesetzte Annahme – dass die Struktur solcher Interaktionen grundsätzlich bedeutungslos sei – ist ebenfalls schwer zu begründen.
Aus Process Data, Sequence Mining und psychometrischer Modellierung wissen wir bereits, dass **der Verlauf einer Problemlösung Information enthalten kann, die das Endergebnis allein nicht liefert**. Was noch gezeigt werden muss, ist, ob freiwillige LLM-Exploration genügend stabile Struktur besitzt, damit diese Information zwischen Nutzern vergleichbar und psychometrisch interpretierbar wird.
Die stärkste derzeit wissenschaftlich vertretbare Version der These lautet daher:
> **Topologische Eigenschaften freiwilliger LLM-Explorationsgraphen könnten Information über latente kognitive Strategien und Fähigkeiten enthalten, die über bloße Nutzungsintensität hinausgeht.**
Das Wort „könnten“ ist dabei keine rhetorische Absicherung. Es markiert exakt den Stand der Evidenz.
Die Forschungsfrage ist plausibel. Die methodischen Werkzeuge existieren weitgehend. Der empirische Nachweis steht noch aus.