Iza granice tokena: zašto AI suputnici gube kontekst
Većina AI suputnika počinje oštro, a zatim postaje neodređena. Model ne gubi zanimanje — razgovor ispada iz prozora koji može vidjeti.
Iluzija pamćenja
Prvi sat s tipičnim AI suputnikom djeluje gotovo nestvarno. Nastavlja nit razgovora, pamti ime vaše sestre, vraća se na svađu od prije dvije scene. Imate osjećaj da vas poznaje.
Onda, negdje oko tridesete poruke, počne lutati. Pita nešto na što ste već odgovorili. Lik koji je izašao iz sobe odjednom govori. Rana od jučer zacijelila je bez ičijeg liječenja.
Ništa se nije pokvarilo. Samo ste došli do ruba onoga što model može vidjeti.
Jezični model nema memoriju između poziva. Svaki potez nova je naredba koja sa sobom nosi cijeli razgovor, a ta naredba ima ograničenu veličinu — kontekstni prozor. Kad ga prerastete, najstariji sadržaj se odbacuje. Vaše prve scene ispadaju sa stražnje strane i, iz perspektive modela, nikad se nisu dogodile.
Kako truljenje konteksta zaista izgleda
U većini aplikacija za suputnike taj kvar rijetko je dramatičan. Riječ je o sporom gubitku pojedinosti, zato ga je tako lako pripisati tome da je model "lijen".
- Imena se zamagljuju. Dva sporedna lika stope se u jedan ili se neko ime ponovno upotrijebi za novu osobu.
- Obećanja ishlape. Lik koji se zakleo da će vas naći u luci nema pojma o čemu govorite.
- Ulozi se ponište. Dug, ozljeda, tajna koju netko čuva — radnja se tiho vrati na neutralno stanje.
- Utvrđene činjenice se preokrenu. Lik koji ne zna plivati ode plivati.
Svako od toga samo za sebe tek je slijeganje ramenima. Zajedno čine razliku između priče i niza ugodnih, nepovezanih scena — i objašnjavaju zašto se dugi roleplay tako često jednostavno ugasi umjesto da završi.
Četiri načina čuvanja prošlosti
U upotrebi su četiri pristupa, a svaki puca na drugome mjestu.
| Pristup | Kako čuva prošlost | Gdje puca |
|---|---|---|
| Klizni prozor | Posljednjih N poruka, doslovno | Sve starije jednostavno nestane. Savršeno prisjećanje unutar prozora, potpuna amnezija izvan njega. |
| Vrlo velik prozor | Deseci ili stotine tisuća tokena, doslovno | Trošak i kašnjenje rastu sa svakim potezom, a pažnja se razvodni usred dugačkog konteksta — model može vidjeti pojedinost, a ipak joj ne dati težinu. |
| Vektorsko dohvaćanje (RAG) | Prošle poruke pretvorene u vektore i pretražene po sličnosti | Vraća tekst koji zvuči relevantno. Ne zna što je trenutačno istina, pa činjenica i njezin kasniji ispravak izgledaju jednako dobro. |
| Strukturirano stanje priče | Činjenice, likovi, odnosi i događaji, zapisani kako se događaju | Za održavanje zahtijeva stvaran rad i vrijedi samo onoliko koliko je dobro zapisano — što se ne zabilježi, izgubljeno je. |
Htio sam svijet koji zapisuje stvari. Kad se sjeti vaše treće zajedničke večeri, to je zato što je doista bila ondje.
Osnivač, projectDigo
Zašto veći prozor nije odgovor
Očito rješenje jest učiniti prozor golemim. To je ujedno i najskuplje rješenje, a ne radi ono čemu se ljudi nadaju.
Cijeli se kontekst iznova šalje i čita pri svakom potezu, pa razgovor koji nosi sto tisuća tokena povijesti za njih ponovno plaća sa svakom porukom — i dulje čeka svaki odgovor. Još gore, model koji čita vrlo dug kontekst ne čita ga jednako pažljivo: ono što je vaš lik rekao prije četrdeset scena može tehnički biti prisutno, a u praksi nevidljivo.
Velik prozor kupuje vrijeme. Ne mijenja oblik problema, jer problem nije kapacitet — nego to što ništa ne odlučuje što je važno.
Što radimo umjesto toga
projectDigo vodi zapis priče.
Ono što je važno — tko postoji, što se među njima dogodilo, što je sada istina — čuva se kao vlastito stanje priče, umjesto da ostane u razgovoru koji će naposljetku skliznuti iz vidokruga. Kasnije scene pišu se prema tom stanju. Četiristota scena zna što je utvrdila treća, jer je treća scena zabilježena, a ne samo izrečena.
Kako se taj zapis gradi, održava ažurnim i ponovno koristi, dio je na kojem smo najdulje radili — i koji zadržavamo za sebe. Ono što donosi dovoljno je jednostavno: kontinuitet koji drži, ma koliko dugo igrali.
Iskreni kompromis
To nije besplatno. Vođenje zapisa zahtijeva više rada po sceni nego prosljeđivanje transkripta, a priča može pamtiti samo ono što je vrijedilo zabilježiti — sve propušteno gubi se jednako sigurno kao što bi se izgubilo u kliznom prozoru.
Dobivate priču koja se gomila. Nakon deset sati svijet ima povijest na koju možete pokazati, a likovi se ponašaju poput ljudi koji su je proživjeli.
Pitanja koja nam često postavljate
Zašto jednostavno ne koristiti model s kontekstnim prozorom od milijun tokena?
Zato što pri svakom potezu plaćate cijeli kontekst, novcem i vremenom čekanja, a pažnja se razvodni usred vrlo dugog konteksta — pojedinost može biti prisutna, a ipak praktično zanemarena. Velik prozor odgađa truljenje konteksta umjesto da ga ukloni.
Je li to isto što i RAG?
Povezano je, ali nije isto. Dohvaćanje pronalazi odlomke koji nalikuju upitu, što je korisno za traženje podataka, ali nepouzdano za utvrđivanje trenutačne istine: činjenica i njezin kasniji ispravak izgledaju kao jednako dobra podudaranja. Zapis priče čuva stanje — ono što sada vrijedi — a ne tekst koji zvuči slično.
Koliko se daleko lik zapravo može sjećati?
U projectDigu, sve do početka sesije. Zadržava se stanje priče, a ne formulacija svake poruke, pa prisjećanje ne slabi kako se sesija produljuje.
Protivrječi li model ikad vlastitom pamćenju?
Može — zato projectDigo provjerava dosljednost prije nego što scena stigne do vas. Uobičajeni je ishod ispravak koji nikad ne vidite. Ništa ne uhvati baš sve, ali način kvara postaje povremen propust umjesto stalnog lutanja.
