Co je kontextové okno?
Kontextové okno je množství textu, které model dokáže vzít v potaz naráz. Pokrývá všechno, co je ve hře: váš prompt, dokumenty, které do něj vložíte, předchozí kola rozhovoru i odpověď, kterou model právě píše. Velikost se měří v tokenech, kde jeden token odpovídá zhruba třem čtvrtinám slova. Model s oknem 200 000 tokenů udrží naráz pár set stránek.
Co se do okna nevejde, je pro model prakticky neviditelné. Nemůže uvažovat o textu, který nevidí. Proto dlouhý rozhovor časem začne „zapomínat“, jak začal: nejstarší zprávy vyjely z okna ven, aby udělaly místo novým.
Lidsky řečeno
Představte si práci u stolu, na který se vejde jen pevně daný počet papírů. Cokoli leží na stole právě teď, dokážete přečíst a propojit. Jakmile ale přinesete nový dokument a stůl je plný, jeden starý spadne přes hranu. Kontextové okno je velikost toho stolu. Model je bystrý v tom, co má před sebou, a slepý ke všemu, co spadlo.
Proč na tom záleží
- Určuje, s kolika informacemi model pracuje naráz. Větší okno dovolí vložit celou smlouvu, dlouhou kódovou základnu nebo celý rozhovor a dostat odpověď, která je všechny bere v potaz.
- Vysvětluje „zapomínání“ v dlouhých chatech. Když rozhovor přeteče přes limit, model ztratí začátek. Když klíčové body zopakujete, udržíte je v dohledu.
- Ovlivňuje cenu i rychlost. Obvykle platíte za tokeny a víc tokenů znamená pomalejší odpověď. Naplnit obří okno není zadarmo.
Na co si dát pozor
- Větší není vždy lepší. Když okno nacpete vším, můžete to podstatné pohřbít. Modely občas ztrácejí přehled o detailech uprostřed velmi dlouhého vstupu.
- Okno není paměť. Jakmile rozhovor skončí, model si nenechá nic. Další sezení začne od nuly, pokud mu historii znovu nedodáte.
- Tokeny nejsou slova. Limity se počítají v tokenech, ne ve slovech nebo znacích, takže „okno 200K“ udrží míň než 200 000 slov. Počítejte s tím.
Související články
- Co je to LLM? - Typ modelu, jehož kontextové okno naplňujete každým promptem.
- Co je to prompt? - Všechno, co napíšete, se do okna počítá.
- Co je RAG? - Jak do omezeného okna dostat jen ten relevantní text.
Chcete být o krok napřed?
Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.