S druge strane zida tokena: zašto AI suputnici pate od truljenja konteksta
Većina AI suputnika počne oštro, a završi maglovito. Nije riječ o tome da je model izgubio interes — razgovor je jednostavno ispao iz prozora koji može vidjeti.
Iluzija memorije
Prvi sat s tipičnim AI suputnikom djeluje nestvarno. Hvata nit razgovora, sjeća se imena vaše sestre, vraća se na svađu koju ste imali prije dvije scene. Imate osjećaj da vas netko doista poznaje.
A onda, negdje oko tridesete poruke, počinje gubiti smjer. Pita vas nešto na što ste već odgovorili. Lik koji je izašao iz sobe odjednom progovara. Rana od jučer zacijelila je sama od sebe.
Ništa se nije pokvarilo. Samo ste došli do ruba onoga što model može vidjeti.
Jezični model nema memoriju između poziva. Svaki je potez novi zahtjev koji sa sobom nosi cijeli razgovor, a taj zahtjev ima ograničenu veličinu — prozor konteksta. Kad ga premašite, najstariji se sadržaj izbacuje. Prve scene ispadaju na drugom kraju i, iz perspektive modela, nikad se nisu dogodile.
Kako truljenje konteksta doista izgleda
U većini aplikacija s AI suputnicima kvar rijetko nastupa dramatično. Specifičnost se polako gubi, pa je tako lako okriviti model i reći da je postao „lijen”.
- Imena se zamute. Dva sporedna lika stope se u jedan ili se isto ime dodijeli nekom novom.
- Obećanja ishlape. Lik koji se zakleo da će vas dočekati u luci nema pojma o čemu govorite.
- Ulozi se poništavaju. Dug, ozljeda, tajna koju netko skriva — radnja se nečujno vraća u neutralu.
- Utvrđene činjenice se preokrenu. Lik koji ne zna plivati ode na plivanje.
Svaka je od tih grešaka zasebno tek razlog za slijeganje ramenima. Zajedno čine razliku između priče i niza ugodnih, nepovezanih scena — i zato se dugi roleplay tako često ugasi umjesto da završi.
Četiri načina da prošlost ostane na okupu
U upotrebi su četiri pristupa, a svaki puca na drugom mjestu.
| Pristup | Kako čuva prošlost | Gdje puca |
|---|---|---|
| Klizni prozor | Posljednjih N poruka, doslovno | Sve starije jednostavno nestaje. Savršeno prisjećanje unutar prozora, potpuna amnezija izvan njega. |
| Vrlo velik prozor | Deseci ili stotine tisuća tokena, doslovno | Trošak i latencija rastu sa svakim potezom, a pažnja se razvodni kroz sredinu dugog konteksta — model može vidjeti detalj, a da mu ipak ne pridá težinu. |
| Vektorsko dohvaćanje (RAG) | Prošle poruke pretvorene u vektore i pretražene prema sličnosti | Vraća tekst koji zvuči relevantno. Ne zna što je trenutačno istina, pa činjenica i njezin kasniji ispravak izgledaju jednako dobro. |
| Strukturirano stanje priče | Činjenice, likovi, odnosi i događaji zapisuju se dok nastaju | Zahtijeva stvaran trud za održavanje i dobro je samo onoliko koliko je dobro zapisano — ono što nije zabilježeno izgubljeno je. |
Htio sam svijet koji zapisuje stvari. Kad se sjeti vaše treće zajedničke večeri, to je zato što je doista bila ondje.
Osnivač, projectDigo
Zašto veći prozor nije odgovor
Očito je rješenje prozor učiniti golemim. Ujedno je i najskuplje — a ne radi ono čemu se ljudi nadaju.
Cijeli se kontekst ponovno šalje i čita pri svakom pojedinom potezu, pa se razgovor sa sto tisuća tokena povijesti iznova plaća sa svakom porukom — a na svaki odgovor čeka se dulje. Još gore, model ne čita vrlo dug kontekst ravnomjerno: ono što je vaš lik rekao prije četrdeset scena može tehnički biti prisutno, a praktično nevidljivo.
Velik prozor kupuje vrijeme. Ne mijenja oblik problema, jer problem nije kapacitet — nego to što ništa ne odlučuje što je važno.
Što radimo umjesto toga
projectDigo vodi evidenciju priče.
Ono što je važno — tko postoji, što se među likovima dogodilo i što je upravo sada istina — čuva se kao vlastito stanje priče, umjesto da ostane u razgovoru koji će se naposljetku pomaknuti izvan vidokruga. Kasnije scene nastaju na temelju tog stanja. Četiristo bita scena zna što je ustanovila treća, jer je treća zabilježena, a ne samo izgovorena.
Kako se ta evidencija gradi, održava aktualnom i ponovno koristi dio je kojem smo posvetili najviše vremena — i dio koji zadržavamo za sebe. Ono što donosi dovoljno je jednostavno: kontinuitet koji traje koliko god dugo igrali.
Pošten kompromis
Ovo nije besplatno. Vođenje evidencije zahtijeva više rada po sceni nego prosljeđivanje prijepisa, a priča može zapamtiti samo ono što je vrijedilo zapisati — sve propušteno izgubljeno je jednako sigurno kao što bi ga izgubio klizni prozor.
Zauzvrat dobivate priču koja se nadograđuje. Nakon deset sati svijet ima povijest na koju možete pokazati, a likovi se ponašaju poput ljudi koji su doista bili ondje.
Pitanja koja nam često postavljate
Zašto jednostavno ne koristiti model s kontekstom od milijun tokena?
Zato što cijeli kontekst plaćate pri svakom potezu — novcem i vremenom čekanja — a pažnja se razvodni kroz sredinu vrlo dugog konteksta: detalj može biti prisutan, a da ga model praktički zanemari. Velik prozor odgađa truljenje konteksta, ali ga ne uklanja.
Je li to isto što i RAG?
Povezano je, ali nije isto. Dohvaćanje pronalazi odlomke slične upitu, što je korisno za traženje informacija, ali nepouzdano za utvrđivanje onoga što je trenutačno istina: činjenica i njezin kasniji ispravak oba izgledaju kao dobra podudaranja. Evidencija priče čuva stanje — ono što je sada istina — umjesto teksta koji samo zvuči slično.
Koliko se daleko lik zapravo može sjećati?
U projectDigo do početka sesije. Ono što se čuva jest stanje priče, a ne formulacija svake poruke, pa prisjećanje ne slabi kako sesija postaje dulja.
Protuslovi li model ikad vlastitoj memoriji?
Može — zato projectDigo provjerava dosljednost prije nego što scena stigne do vas. Uobičajen je ishod ispravak koji uopće ne vidite. Ništa ne uhvati baš sve, ali kvar postaje povremeni propust umjesto stalnog zanošenja.
