Bag tokenmuren: Derfor får AI-ledsagere kontekstforfald
De fleste AI-ledsagere starter skarpt og bliver så vage. Det er ikke modellen, der mister interessen — samtalen glider ud af det vindue, den kan se.
Illusionen om hukommelse
Den første time med en typisk AI-ledsager er næsten uhyggelig. Den samler tråden op, husker din søsters navn og henviser til skænderiet, I havde for to scener siden. Det føles som at blive kendt.
Så, et sted omkring den tredivte besked, begynder den at drive. Den spørger om noget, du allerede har svaret på. En karakter, der forlod rummet, taler pludselig igen. Såret fra i går er helet, uden at nogen har behandlet det.
Intet gik i stykker. Du nåede bare grænsen for, hvad modellen kunne se.
En sprogmodel har ingen hukommelse mellem kald. Hver tur er en ny forespørgsel, der bærer hele samtalen med sig, og den forespørgsel har en størrelsesgrænse — kontekstvinduet. Vokser samtalen ud over det, ryger det ældste materiale ud. Dine første scener falder af bagenden, og set fra modellens perspektiv er de aldrig sket.
Sådan ser kontekstforfald ud
I de fleste ledsagerapps er sammenbruddet sjældent dramatisk. Det er et langsomt tab af præcision, og derfor er det så let at skyde skylden på, at modellen er "doven".
- Navne flyder sammen. To bipersoner bliver til én, eller et navn genbruges til en ny person.
- Løfter fordamper. En karakter, der svor at møde dig ved havnen, aner ikke, hvad du taler om.
- Indsatsen nulstilles. Gælden, skaden, hemmeligheden nogen holder på — plottet glider umærkeligt tilbage til neutral.
- Fastslåede fakta vender på hovedet. En karakter, der ikke kan svømme, går ud at svømme.
Hver for sig er de til at trække på skuldrene af. Tilsammen er de forskellen på en historie og en række behagelige, usammenhængende scener — og grunden til, at lange rollespil så ofte fader ud i stedet for at slutte.
Fire måder at holde fast i fortiden
Fire tilgange er i brug, og de bryder sammen forskellige steder.
| Tilgang | Sådan fastholder den fortiden | Hvor den bryder sammen |
|---|---|---|
| Glidende vindue | De seneste N beskeder, ordret | Alt ældre er ganske enkelt væk. Perfekt genkaldelse inden for vinduet, total hukommelsestab udenfor. |
| Meget stort vindue | Titusinder eller hundredtusinder af tokens, ordret | Pris og svartid vokser ved hver tur, og opmærksomheden bliver tynd i midten af en lang kontekst — modellen kan se en detalje uden at tillægge den vægt. |
| Vektorbaseret retrieval (RAG) | Tidligere beskeder indlejres og søges frem efter lighed | Returnerer tekst, der lyder relevant. Den har ingen forståelse af, hvad der gælder lige nu, så et faktum og dets senere rettelse ser lige gode ud. |
| Struktureret historiestatus | Fakta, karakterer, relationer og begivenheder skrives ned, efterhånden som de sker | Det kræver reelt arbejde at vedligeholde, og det er kun så godt som det, der bliver skrevet ned — alt, der ikke registreres, går tabt. |
Jeg ville skabe en verden, der skriver tingene ned. Når hun husker jeres tredje aften sammen, er det, fordi hun faktisk var der.
Stifter, projectDigo
Hvorfor et større vindue ikke er svaret
Den oplagte løsning er at gøre vinduet enormt. Det er også den dyreste løsning, og den gør ikke det, folk håber.
Hele konteksten sendes og læses igen ved hver eneste tur, så en samtale med hundrede tusind tokens historik betaler for dem igen ved hver besked — og venter længere på hvert svar. Værre endnu læser en model ikke en meget lang kontekst jævnt: Det, din karakter sagde for fyrre scener siden, kan teknisk set være til stede og i praksis være usynligt.
Et stort vindue køber tid. Det ændrer ikke problemets form, for problemet er ikke kapacitet — det er, at intet afgør, hvad der betyder noget.
Hvad vi gør i stedet
projectDigo fører regnskab med historien.
Det vigtige — hvem der findes, hvad der er sket mellem dem, og hvad der er sandt lige nu — fastholdes som historiens egen tilstand i stedet for at blive efterladt i en samtale, der til sidst ruller ud af syne. Senere scener skrives ud fra den tilstand. Scene fire hundrede ved, hvad scene tre fastslog, fordi scene tre blev registreret, ikke blot sagt.
Hvordan den registrering bygges, holdes opdateret og sættes i arbejde igen, er den del, vi har brugt længst tid på — og den del, vi holder for os selv. Det, den leverer, er enkelt nok: sammenhæng, der holder, uanset hvor længe du spiller.
Det ærlige kompromis
Det er ikke gratis. At føre et register er mere arbejde pr. scene end at sende et transskript videre, og en historie kan kun huske det, der var værd at registrere — alt, der overses, går tabt lige så sikkert, som det ville gøre i et glidende vindue.
Til gengæld får du en historie, der samler sig op. Efter ti timer har verden en fortid, du kan pege på, og karaktererne opfører sig som mennesker, der var med til den.
Spørgsmål, vi ofte får
Hvorfor ikke bare bruge en model med et kontekstvindue på en million tokens?
Fordi du betaler for hele konteksten ved hver tur, både i penge og svartid, og fordi opmærksomheden bliver tynd i midten af en meget lang kontekst — en detalje kan være til stede og alligevel reelt blive overset. Et stort vindue udsætter kontekstforfald i stedet for at fjerne det.
Er det det samme som RAG?
Beslægtet, men ikke det samme. Retrieval finder passager, der ligner forespørgslen, hvilket er nyttigt til opslag og upålideligt, når man skal vide, hvad der gælder lige nu: Et faktum og dets senere rettelse ligner begge gode træffere. Et historieregister fastholder tilstand — hvad der er sandt nu — frem for tekst, der lyder ens.
Hvor langt tilbage kan en karakter egentlig huske?
I projectDigo: helt til starten af sessionen. Det, der varer ved, er historiens tilstand frem for formuleringen af hver enkelt besked, så genkaldelsen forringes ikke, efterhånden som sessionen bliver længere.
Modsiger modellen nogensinde sin egen hukommelse?
Det kan den — og derfor tjekker projectDigo sammenhængen, før en scene når frem til dig. Det sædvanlige resultat er en rettelse, du aldrig ser. Intet fanger alt, men fejltilstanden bliver en lejlighedsvis smutter i stedet for en jævn drift.
