Co je fine-tuning?
Fine-tuning vezme model, který už toho hodně umí, a naučí ho vaše specifika. Začnete s předtrénovaným jazykovým modelem a pak ho dotrénujete na menší sadě vašich vlastních příkladů. Model si nechá obecnou schopnost pracovat s jazykem a navíc převezme váš styl, formát, terminologii nebo konkrétní úkol.
Smyslem není naučit model nová fakta. Jde o to změnit, jak se chová: jakým tónem píše, v jaké struktuře vrací výsledek, jak třídí nebo štítkuje data. Po dotrénování dostanete model, který sám od sebe odpovídá po vašem, aniž byste mu to museli psát v každém zadání.
Lidsky řečeno
Předtrénovaný model si představte jako bystrého nováčka, který přečetl skoro celý internet, ale ještě neví, jak to chodí u vás ve firmě. Fine-tuning je jeho zaškolení: ukážete mu pár stovek dobrých příkladů ve stylu „takhle odpovídáme zákazníkům“ nebo „v tomhle formátu děláme reporty“ a on to začne dělat automaticky. Nemusíte ho dělat chytřejším, jen ho doladíte, aby zapadl.
Kdy nasadit fine-tuning, kdy RAG a kdy stačí prompt
Většina úloh fine-tuning vůbec nepotřebuje. Sáhněte nejdřív po tom nejjednodušším a posuňte se výš, teprve když to přestane stačit.
- Začněte u promptu. Napíšete srozumitelné zadání, přidáte pár příkladů přímo do promptu a překvapivě velkou část úloh vyřešíte bez jakéhokoli trénování. Je to nejrychlejší a nejlevnější cesta a změníte ji během pár vteřin. Více v článku o prompt engineeringu.
- RAG použijte, když model potřebuje vaše znalosti. Pokud je problém v tom, že model nezná vaše produkty, pravidla nebo dokumenty, potřebujete RAG, ne fine-tuning. RAG vloží správné dokumenty do promptu až ve chvíli odpovědi, takže fakta zůstávají aktuální a poznáte, odkud odpověď pochází.
- Fine-tuning zvolte, když jde o chování, ne o znalosti. Hodí se, když potřebujete konkrétní tón, striktní formát výstupu, úzce zaměřené třídění dat nebo kratší prompty ve velkém. Vyplatí se i tehdy, když prompt funguje, ale natolik nabobtnal, že je drahé ho posílat v každém požadavku.
Praktické pravidlo: když problém vyřešíte přidáním informace, použijte RAG. Když ho vyřešíte přidáním pokynu, zkuste prompt. Fine-tuning nasaďte, když ani jedno neudrží požadované chování dostatečně spolehlivě.
Jak fine-tuning funguje, ve zkratce
Připravíte si sadu dvojic vstup a výstup, které modelu přesně ukážou, co chcete. Pár stovek čistých a konzistentních příkladů často porazí desetitisíce nepořádných. Pak spustíte krátké trénování, které posune vnitřní váhy modelu směrem k vašim příkladům, a dostanete novou verzi modelu, kterou voláte místo té původní.
K plnému fine-tuningu, kdy se přepisují všechny váhy modelu, se většina týmů nikdy nedostane. Místo toho sáhnou po odlehčených metodách jako LoRA (technika, která dotrénuje jen malou sadu přidaných parametrů a původní model nechá zmrazený). Je výrazně levnější, rychlejší a snáz se vrací zpět, takže je pro většinu případů rozumnou výchozí volbou.
Na co si dát pozor
- Sáhnete po něm příliš brzy. Fine-tuning je nejdražší a nejméně pružná možnost. Nejdřív zkuste prompt a RAG, protože vyřeší většinu úloh a změníte je okamžitě.
- Čekáte, že přidá znalosti. Fine-tuning tvaruje chování, spolehlivě neučí nová fakta. Když ho dotrénujete na vašem manuálu k produktu, model si stejně může detaily splést. Na fakta používejte RAG.
- Špatná data. Model okopíruje vše, co mu ukážete, včetně vašich chyb. Malá a pečlivě zkontrolovaná sada vždy porazí velkou a odbytou.
- Zastará. Dotrénovaný model je zmrazený ke dni trénování. Když se změní váš styl, produkty nebo pravidla, musíte trénovat znovu. RAG a prompty se aktualizují bez téhle režie.
Související články
- Co je to LLM? - Model, který vůbec dotrénováváte, vysvětlený od základů.
- Co je to RAG (Retrieval-Augmented Generation)? - Jak modelu předat vaše znalosti bez nutnosti ho trénovat.
- Co je prompt engineering? - Nejlevnější způsob, jak změnit chování modelu, a ten, po kterém sáhněte jako první.
Chcete být o krok napřed?
Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.