Jenseits der Token-Grenze: Warum KI-Begleiter den Kontext verlieren
Die meisten KI-Begleiter starten präzise und werden zunehmend vage. Das liegt nicht daran, dass das Modell das Interesse verliert – die Unterhaltung rutscht schlicht aus dem Fenster, durch das es sie sehen kann.
Die Illusion des Gedächtnisses
Die erste Stunde mit einem typischen KI-Begleiter ist unheimlich gut. Er nimmt den Faden auf, erinnert sich an den Namen deiner Schwester und kommt auf den Streit von vor zwei Szenen zurück. Es fühlt sich an, als würde dich jemand wirklich kennen.
Dann beginnt er irgendwann um die dreißigste Nachricht herum abzudriften. Er fragt nach etwas, das du längst beantwortet hast. Eine Figur, die den Raum verlassen hat, spricht plötzlich wieder mit. Die Wunde von gestern ist verheilt, ohne dass sie jemand behandelt hätte.
Nichts ist kaputtgegangen. Du hast einfach die Grenze dessen erreicht, was das Modell sehen konnte.
Ein Sprachmodell hat zwischen zwei Aufrufen kein Gedächtnis. Jede Nachricht ist eine neue Anfrage, die den gesamten bisherigen Gesprächsverlauf mit sich trägt – und diese Anfrage hat eine Größenbegrenzung: das Kontextfenster. Wird es zu groß, fällt das älteste Material heraus. Deine ersten Szenen rutschen hinten hinaus, und aus Sicht des Modells haben sie nie stattgefunden.
So sieht Kontextverfall tatsächlich aus
In den meisten Companion-Apps ist der Fehler selten dramatisch. Es ist ein langsamer Verlust an Genauigkeit – und genau deshalb schiebt man ihn so leicht darauf, dass das Modell „faul“ sei.
- Namen verschwimmen. Zwei Nebenfiguren verschmelzen miteinander, oder ein Name wird plötzlich für jemand anderen verwendet.
- Versprechen lösen sich auf. Eine Figur, die dir am Hafen ein Treffen versprochen hat, weiß plötzlich nicht, wovon du redest.
- Die Spannung fällt zurück. Die Schulden, die Verletzung, das Geheimnis, das jemand hütet – die Handlung gleitet still zurück in den neutralen Zustand.
- Festgelegte Fakten kippen. Eine Figur, die nicht schwimmen kann, geht schwimmen.
Jeder einzelne dieser Fehler wäre noch kein Weltuntergang. Zusammen aber machen sie den Unterschied zwischen einer Geschichte und einer Reihe angenehmer, unverbundener Szenen aus – und deshalb verlaufen sich lange Rollenspiele so oft, statt zu einem Ende zu kommen.
Vier Wege, die Vergangenheit festzuhalten
Vier Ansätze sind derzeit verbreitet – und jeder scheitert an einer anderen Stelle.
| Ansatz | Wie er die Vergangenheit festhält | Wo er an seine Grenzen kommt |
|---|---|---|
| Gleitendes Fenster | Die letzten N Nachrichten, wortgetreu | Alles Ältere ist einfach weg. Vollständige Erinnerung innerhalb des Fensters, völlige Amnesie außerhalb. |
| Sehr großes Fenster | Zehn- oder Hunderttausende Tokens, wortgetreu | Kosten und Antwortzeit steigen mit jeder Nachricht, und in der Mitte eines langen Kontexts wird die Aufmerksamkeit dünner – das Modell kann ein Detail sehen und ihm trotzdem kein Gewicht geben. |
| Vektorsuche (RAG) | Frühere Nachrichten werden als Vektoren gespeichert und nach Ähnlichkeit durchsucht | Sie liefert Text, der relevant klingt. Sie weiß nicht, was aktuell gilt – deshalb wirken ein Fakt und seine spätere Korrektur gleichermaßen passend. |
| Strukturierter Geschichtenstatus | Fakten, Figuren, Beziehungen und Ereignisse werden laufend festgehalten | Seine Pflege erfordert echte Arbeit, und er ist immer nur so gut wie das, was eingetragen wird – was nicht aufgezeichnet ist, geht verloren. |
Ich wollte eine Welt, die Dinge aufschreibt. Wenn sie sich an euren dritten gemeinsamen Abend erinnert, dann deshalb, weil sie wirklich dabei war.
Gründer von projectDigo
Warum ein größeres Fenster nicht die Lösung ist
Die naheliegende Lösung ist, das Fenster riesig zu machen. Sie ist zugleich die teuerste – und sie bewirkt nicht, was man sich davon verspricht.
Der gesamte Kontext wird bei jeder einzelnen Nachricht erneut gesendet und gelesen. Eine Unterhaltung mit hunderttausend Tokens Geschichte bezahlt also bei jeder Nachricht erneut dafür – und wartet länger auf jede Antwort. Schlimmer noch: Ein Modell liest einen sehr langen Kontext nicht gleichmäßig. Was deine Figur vor vierzig Szenen gesagt hat, kann technisch vorhanden und praktisch unsichtbar sein.
Ein großes Fenster kauft Zeit. Es verändert die Form des Problems nicht, denn das Problem ist nicht die Kapazität – sondern dass nichts entscheidet, was wichtig ist.
Was wir stattdessen tun
projectDigo führt Buch über die Geschichte.
Was zählt – wer existiert, was zwischen den Figuren geschehen ist und was gerade gilt – wird als eigener Zustand der Geschichte festgehalten, statt in einer Unterhaltung zu bleiben, die irgendwann aus dem sichtbaren Bereich scrollt. Spätere Szenen werden auf Grundlage dieses Zustands geschrieben. Szene vierhundert weiß, was in Szene drei festgelegt wurde, weil Szene drei aufgezeichnet und nicht nur gesagt wurde.
Wie diese Aufzeichnung entsteht, aktuell gehalten und wieder eingesetzt wird, ist der Teil, an dem wir am längsten gearbeitet haben – und den wir für uns behalten. Das Ergebnis lässt sich einfach beschreiben: Kontinuität, die trägt, egal, wie lange du spielst.
Der ehrliche Kompromiss
Das ist nicht kostenlos. Eine Aufzeichnung zu pflegen, macht pro Szene mehr Arbeit, als einfach einen Gesprächsverlauf weiterzuleiten. Und eine Geschichte kann nur behalten, was es wert war, aufgezeichnet zu werden – alles Übersehene geht genauso sicher verloren, wie es ein gleitendes Fenster verloren hätte.
Dafür entsteht eine Geschichte, die sich aufbaut. Nach zehn Stunden hat die Welt eine Vergangenheit, auf die du zeigen kannst, und die Figuren verhalten sich wie Menschen, die sie selbst erlebt haben.
Questions we get
Warum nicht einfach ein Modell mit einem Kontextfenster von einer Million Tokens verwenden?
Weil du bei jeder Nachricht für den gesamten Kontext bezahlst – in Geld und Antwortzeit. Außerdem wird die Aufmerksamkeit in der Mitte eines sehr langen Kontexts dünner: Ein Detail kann vorhanden sein und trotzdem praktisch ignoriert werden. Ein großes Fenster schiebt den Kontextverfall nur hinaus, statt ihn zu beseitigen.
Ist das dasselbe wie RAG?
Verwandt, aber nicht dasselbe. Die Suche findet Passagen, die der Anfrage ähneln. Das ist nützlich, wenn man etwas nachschlagen möchte, aber unzuverlässig, wenn es darum geht, was aktuell gilt: Ein Fakt und seine spätere Korrektur sehen beide wie gute Treffer aus. Eine Aufzeichnung der Geschichte enthält den Zustand – also das, was jetzt gilt – und nicht bloß ähnlich klingenden Text.
Wie weit zurück kann sich eine Figur tatsächlich erinnern?
Bei projectDigo bis zum Beginn der Sitzung. Bewahrt wird der Zustand der Geschichte und nicht der genaue Wortlaut jeder Nachricht. Deshalb lässt die Erinnerung nicht nach, je länger die Sitzung dauert.
Widerspricht das Modell manchmal seiner eigenen Erinnerung?
Das kann passieren – deshalb prüft projectDigo die Konsistenz, bevor eine Szene dich erreicht. Meistens siehst du nur die Korrektur, die dabei entsteht. Nichts fängt jeden Fehler ab, aber aus einem ständigen Abdriften wird ein gelegentlicher Ausrutscher.