Co znamená učení v kontextu
Učení v kontextu (in-context learning) je schopnost velkého jazykového modelu naučit se úkol z příkladů a pokynů, které máte přímo v promptu, v okamžiku, kdy se ptáte. Vnitřní váhy modelu se nemění. Model jen použije to, co jste do promptu vložili, jako vodítko pro tu jednu odpověď.
Právě díky tomu funguje few-shot prompting. Když modelu ukážete tři příklady vstupu a požadovaného výstupu, rozpozná vzor a použije ho na váš skutečný vstup, celé v rámci jedné konverzace. „Naučené“ vydrží jen po dobu daného kontextu. Otevřete nový chat a model na to zapomene.
Lidsky řečeno
Představte si, že požádáte bystrého kolegu, ať vám roztřídí e-maily. Neposíláte ho na školení. Ukážete mu tři e-maily, které jste už roztřídili, a řeknete „takhle“. Pravidlo si vezme z vašich příkladů a pokračuje. Učení v kontextu je přesně tohle, co dělá model, u každého promptu, vždy od začátku.
Proč na tom záleží
- Není potřeba přetrénovávat. Model přizpůsobíte novému úkolu tím, že napíšete prompt, ne tím, že spustíte nákladné dolaďování (fine-tuning).
- Rychlé na vyzkoušení. Změníte příklady, změníte chování, během pár vteřin. Je to nejlevnější způsob, jak ověřit, jestli model zvládne, co potřebujete.
- Pružnost. Stejný model zvládne třídění, přepisování i vytahování údajů, podle toho, co mu ukážete.
- Základ promptování. Zero-shot, few-shot i chain-of-thought prompting jsou všechno podoby učení v kontextu.
Na co si dát pozor
- Nedrží to. Nic, co se model naučí v kontextu, nepřežije konverzaci. Pro znalost, kterou si má model uchovat, potřebujete dolaďování nebo propojený zdroj dat.
- Kontextové okno má hranici. Příklady zabírají místo. Když jich nacpete moc, vytlačíte samotný úkol nebo narazíte na limit modelu.
- Příklady mohou svést. Model kopíruje to, co mu ukážete, včetně zvláštností. Nereprezentativní příklady vedou k nereprezentativním odpovědím.
- Záměna se skutečným učením. Model není chytřejší. Jen dobře čte váš prompt. Posuzujte ho podle výstupu, ne podle dojmu, že „pochopil“.
Související články
- Co je few-shot prompting? - Nejčastější způsob, jak učení v kontextu využít.
- Co je fine-tuning? - Alternativa, když potřebujete, aby si model naučené uchoval.
- Co je kontextové okno? - Prostor, do kterého se vaše příklady a pokyny musí vejít.
Chcete být o krok napřed?
Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.