Co je transfer learning?
Transfer learning (přenos učení) vezme model, který se na velkém objemu dat už naučil obecné vzorce, a tyto znalosti znovu použije pro novou, příbuznou úlohu. Místo trénování od nuly začínáte z modelu, který už chápe základy (třeba tvary v obrázcích nebo stavbu jazyka), a doučíte ho jen to, co je specifické pro váš problém. Je to běžný způsob, jak stavět AI, když nemáte miliony vlastních označených příkladů.
Lidsky řečeno
Představte si někoho, kdo plynně mluví španělsky a učí se portugalsky. Nezačíná od abecedy. Většina té těžké práce, cit pro gramatiku a slovní zásoba, se přenese, a tak novou řeč pochytí rychle. Transfer learning umožní modelu totéž: znovu použít, co umí, a přidat jen tu novou část.
Proč na tom záleží
- Stačí méně dat. Dobré výsledky získáte z pár set nebo tisíc příkladů místo z milionů, protože základní model už obecné vzorce zná.
- Rychlejší a levnější. Krok doučení zabere hodiny, ne týdny, a zlomek výpočetního výkonu.
- Lepší na úzké úlohy. Obecný model přizpůsobený vašemu oboru (třeba právnímu textu nebo lékařským snímkům) často porazí malý model trénovaný jen na vašich datech.
Na co si dát pozor
- Nesedící obor. Když se základní model učil na datech hodně odlišných od vašich, přenesené znalosti nemusí pomoct a mohou i zavádět.
- Přeučení na malých datech. Při pár příkladech si je model spíš zapamatuje, než aby se učil. Odhalíte to na ověřovacích datech.
- Záměna s fine-tuningem. Fine-tuning je jeden ze způsobů, jak transfer learning dělat. Transfer learning je ale širší myšlenka: znovu použít předtrénovaný model.
Související články
- Co je fine-tuning? - Nejčastější způsob, jak předtrénovaný model přizpůsobit vašim příkladům.
- Co je foundation model? - Velký předtrénovaný model, ze kterého transfer learning vychází.
- Co je učení s učitelem? - Trénování modelu na označených příkladech, aby uměl předpovědět správnou odpověď.
Chcete být o krok napřed?
Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.