Máte pocit, že vám AI po hodině práce začne „blbnout“, zapomíná instrukce a vrací se k vyřešeným věcem? Nejde o únavu, ani o krátkou paměť.  V článku vysvětlujeme, co je kontextové okno, proč delší konverzace znamená horší odpovědi a jak s tím v praxi pracovat.

Na začátek krátké historické okénko. Někdy ve dvacátých letech minulého století vešel do pracovny moskevského psychologa Alexandra Luriji novinář jménem Solomon Šereševskij. Přišel na popud svého redaktora, kterému bylo divné, že si jeho reportér na poradách nikdy nic nepíše – a přesto si pamatuje všechno. Lurija ho pak zkoumal následujících třicet let a za celou tu dobu nenašel hranici, kde by se jeho paměť zastavila. Šereševskij si pamatoval seznamy čísel, básně v jazycích, které neuměl a vůbec vše co kdy viděl, slyšel, či prožil.

Zní to jako dar, po kterém by sáhl každý z nás. Jenže s takovým darem přichází obrovská tíha.

Každé slovo v Šereševském spustilo lavinu smyslových vjemů, kterou nedokázal vypnout. Slova měla barvu, chuť, váhu, teplotu,... Nedokázal sledovat běžný rozhovor, protože při každé větě se mu rozjel ohňostroj asociací. Nechápal a nedovedl vysvětlovat metafory, protože obraz v jeho hlavě byl příliš doslovný na to, aby mohl znamenat něco jiného. Nedokázal zapomenout ani věci, které zapomenout chtěl.

Na škále protikladů bychom tak standardně na jednu stranu posadili “pamatování” a na druhou “zapomínání.” Šereševského případ ale napovídá, že jsou to dvě strany téže mince. Protože bez schopnosti zapomínat se i výjimečná paměť mění v zátěž.

A právě “Vaše” umělá inteligence má opačný problém – všechno ví, ale všechno zapomíná.

Proč moje AI zpomíná?

Vaše AI nezapomíná.
AI nemá ani krátkou paměť.
AI totiž nemá paměť žádnou.

Zkuste si to představit takhle:

V místnosti sedí člověk - pro naše účely je to Karel.

Karel má totální amnézii. A pokaždé, když po něm něco chcete, probudí se jako nepopsaný list. Podáte mu štos papírů - celou Vaši dosavadní konverzaci, od první zprávy po tu poslední. On ji celou přečte, využije veškeré na internetu dostupné zdroje, napíše odpověď a předá ji Vám – a v ten okamžik všechno zapomene. Pošlete další zprávu? Znovu se probudí, dostane ten samý štos, akorát o dva papíry tlustší, a čte to celé od začátku.

Takže když Vás AI/Karel upozorní na něco, co jste psali před hodinou, není to vzpomínka. Má to napsané v tom štosu papírů před sebou a celá iluze “paměti” tak stojí na tom, že se historie konverzace posílá pokaždé znovu.

A z téhle jediné věci plyne všechno ostatní…

Kontextové okno aneb kolik papírů se Karlovi vejde do ruky

Ten štos pochopitelně nemůže být nekonečný. Tomu limitu se říká “kontextové okno” a měří se v tzv. tokenech – ten odpovídá kusu slova (čeština je zpravidla na tokeny náročnější).

Když na konci roku 2022 vyšel Chat GPT (GPT-3.5) měl okno kolem čtyř tisíc tokenů (tedy pár stránek textu). Dnes se běžně pracuje se stovkami tisíc až miliony tokenů - tisícinásobkem za čtyři roky.

Může se zdát, že řešením tohoto problému je nekonečné zvětšování kontextového okna, ale takto tomu bohužel není. A důvody jsou dva, přičemž ten druhý je pro Vaši každodenní práci podstatně důležitější.

AD 1 - výpočetní náročnost roste kvadraticky.

AI neví. AI nemyslí. Na konci dne je AI stále „a jenom“ algoritmem. Model text nečte jako Vy, odshora dolů — každé slovo poměřuje se všemi ostatními. Deset slov znamená sto porovnání, tisíc slov milion. Dvakrát delší konverzace tedy není dvakrát náročnější, ale zhruba čtyřikrát. Milionová okna jsou dnes díky řadě triků provozovatelná, ale ta základní matematika nikam nezmizela.

AD 2 - čím plnější okno, tím hloupější model

Dlouhá relace - z počátku to jde skvěle, a po dvou hodinách Vám AI začne dělat chyby, které by na začátku neudělala. Zapomene instrukci z poloviny rozhovoru. Vrátí se k něčemu, co jste spolu už dávno vyřešili. A trvá na něčem, co jste mu před chvílí vyvrátili.

Instinktivně to čteme jako únavu, nebo jakýsi “brain fog.” Jenže o žádnou únavu nejde. Odborně se tomu říká “context rot” (volným překladem - kontextová hniloba) a jde o měřitelný jev: s rostoucím kontextem klesá kvalita odpovědí - a to dávno předtím, než se okno vůbec naplní.

Svým způsobem je to logické. Když na pracovním stole máte tři papíry, najdete na nich cokoliv během vteřiny. Když je na něm 485 papírů, jako právě teď na tom mém, ta jedna důležitá informace tam pořád někde je – ale kde? Víc kontextu neznamená víc znalostí. Znamená víc šumu, ve kterém se to podstatné ztrácí.

Jenomže nejčastější uživatelský návyk jde přesně proti tomu. Lidé si drží jednu hlavní, nekonečnou konverzaci, protože mají pocit, že v ní asistent „nejvíc ví". Naopak. Čím je konverzace delší, tím hůř se v ní orientuje.


Ale proč?

Co s tím dělají samotné AI modely, je jednak opravdu na dlouho a druhak bych svou samořečenou expertízu nafukoval:D

Ale ve zkratce… Když se okno plní, musí s tím model něco udělat, a tak komprimuje (angl. termín: compaction). Model dostane pokyn shrnout dosavadní konverzaci a vytáhnout z ní to nejdůležitější. Jenomže Vaše AI neví, co je nejdůležitější. A hlavně neví, k čemu relaci budete využívat dál - což konec konců občas nevíte ani Vy sami. Občas se tak stane, že model vyhodí důležitou podmínku a na základě komprimace ztratí svůj původní cíl a začne směřovat k diametrálně odlišnému, který ON považuje za správný.

Proč se to děje? Kdyby se to nedělo, model by byl pomalejší. A provozovatel by to za Vás zaplatil. A proč by za Vás (tedy - za Vás jako produkt těchto multimiliardových společností) platil víc, než by musel, když za službu mnohdy ani neplatíte?

Všechno výše platí dvojnásob ve chvíli, kdy necháte asistenta skutečně pracovat – číst soubory, “vibe-kódovat,” prohledávat web,... Výstupy z nástrojů zaplavují kontext mnohonásobně rychleji než běžná konverzace. Jeden přečtený dokument Vám může sežrat tolik okna jako hodina textování.

Čím užitečnější práci tedy necháváte asistenta dělat, tím dřív narazíte. A tím spíš se vyplatí mít zažité návyky z následující části.

Jak si s tím poradit prakticky

Tip #1 Nová úloha znamená novou konverzaci. Tohle je zdaleka nejčastější chyba a zároveň nejlevnější náprava. Když měníte téma, otevřete nový chat.

Tip #2 Důležité věci opakujte a dávejte je nakonec. Instrukce z poloviny dlouhé konverzace je pohřbená pod vším, co přišlo potom. Když na něčem skutečně záleží, zopakujte to v aktuální zprávě.

Tip #3 Když začne model blbnout, nehádejte se – restartujte. Opravovat model v zaneseném kontextu je jako házet hrách o zeď (právě mi vyskočila posttraumatická vzpomínka na přijímačky na střední školu LP 2019).

Tip #4 Komprimujte si sami, dokud máte kontrolu. Jakmile konverzace začne být dlouhá - nebo si všimnete, že model drhne - nečekejte, až to systém udělá za Vás v nejhorší možnou chvíli. Požádejte o to sami: „Shrň mi, k čemu jsme došli, jaká platí omezení, co zbývá udělat a jaký je cíl.“ Výstup si přečtěte, doplňte, co chybí, opravte, co model pochopil jinak – a s ním otevřete nový chat. A ano, i Vaše shrnutí je ztrátové, ale rozdíl je v tom, že Vy víte, co budete potřebovat dál.

Tip #4.5 A ještě lépe: otevřete nový chat ve složce, která už něco ví. Nový chat nemusí být úplně prázdný stůl. Většina asistentů dnes umí něco jako projekt - vyhrazený prostor, kam si jednou uložíte věci, které pro projekt platí univerzálně. Dejte tam všechno, co byste jinak vysvětlovali při každém novém zadání. Každý chat založený uvnitř projektu tohle dostane automaticky, aniž byste to museli znovu vkládat.

Tip #5 Nevkládejte celý dokument, když potřebujete jednu kapitolu. Každá vložená stránka je další papír na tom přeplněném stole. Platí to i pro přílohy, screenshoty a kopie e-mailových vláken.

Tip #6 Trvalé věci nepatří do konverzace. Informace o Vaší firmě, Váš styl psaní, pravidla, kterými se má asistent řídit – to všechno nemá žít v historii chatu, odkud se to při každé komprimaci může ztratit. Patří to do projektu, do paměti asistenta nebo do připojeného dokumentu, odkud se informace tahají podle potřeby. Ale to už je téma na příští díl...

Zpátky k Šereševskému

Soloman Šereševskij strávil kus života tím, že se učil zapomínat. Vymýšlel si techniky, jak nechtěné vzpomínky přetřít “na bílo”, protože jeho dokonalá paměť mu bránila v tom nejzákladnějším - rozumět tomu, co mu kdo říká.

S umělou inteligencí je to nakonec podobné. Kontextová okna porostou dál a modely se budou zlepšovat v tom, jak s nimi pracují. Ale potřeba zapomínat, komprimovat, prořezávat a pouštět věci z “hlavy” nikdy nezmizí. Není to něco, co někdo jednou opraví. Protože zapomínání je základním kamenem pro přemýšlení.

Toto byl první díl série, ve které se budeme věnovat tomu, jak AI doopravdy funguje a jak s ní pracovat “lépe.” Nikoli z pohledu AI inženýra, či samozvaného AI guru, který Vám pod rouškou dobré rady prodává vlastní kurz o hodnotě prošlého mléka, ale člověka, který s AI pracuje na denní bázi a odkrývá její dovednosti jednu po druhé a s vizí srozumitelného předání.

Filip Král