>99 % přesnost při automatizované klasifikaci B2B poptávek: bez fine-tuningu

Výzva

Obchodní oddělení zákazníka z průmyslového odvětví zpracovává každý týden velký objem B2B poptávek. Každá přichází v jiném formátu: některé jako strukturované PDF, jiné jako skenované obrázky ručně psaných technických specifikací, některé jako prostý text se smíšenými jazykovými poznámkami.

Každou poptávku musí klasifikovat tým odborníků, kteří dobře znají obor, a to do více než 30 parametrů: rozměry materiálu, chemické složení, mechanické vlastnosti, povrchová úprava, způsob balení. Před naším zapojením tato klasifikace zabírala až pět hodin týdně na odborníka.

Úzké hrdlo mělo přímý obchodní dopad. V B2B těžkém průmyslu je rychlost odpovědi jedním z klíčových konkurenčních faktorů. Každá hodina prodlení při klasifikaci byla nevýhodou: ne kvůli horší nabídce, ale kvůli pozdějšímu doručení.

Hotové OCR produkty nebyly dostatečně spolehlivé na různorodé formáty vstupů. Standardní parsování dokumentů nezvládalo oborovou specifičnost: špatně označený materiálový parametr znamenal buď přepracování, nebo nesprávnou nabídku. Firma potřebovala systém, který je dostatečně přesný, aby mu šlo věřit, a dostatečně rychlý, aby to hrálo roli.

Řešení

Postavili jsme LLM workflow, které zpracuje každou poptávku od surového vstupu po strukturovaný výstup připravený pro obchodní tým za minuty.

Parsování dokumentu. Pipeline začíná OCR vizuálního vstupu, poté rozděluje vícepoložkové poptávky na jednotlivé řádkové položky. Jedna poptávka může zahrnovat deset různých materiálových položek s odlišnými parametry. Každá položka se zpracovává samostatně.

Jeden call na parametr. Místo extrakce všech parametrů najednou v jediném LLM callu systém používá samostatný extrakční call pro každý parametr. To zabraňuje kontaminaci mezi parametry: reasoning modelu zůstává zaměřený na jeden atribut a chyba v jednom parametru se nemůže přenést do dalších. Každý call vrací strukturovanou JSON hodnotu a doslovnou citaci ze zdrojového dokumentu, takže odborník může libovolnou extrakci ověřit, aniž by musel znovu číst originál.

Bez fine-tuningu. Zvolený model měl silnou znalost dané odborné domény: materiálové vlastnosti, technické označení, průmyslové normy. Problém přesnosti nebyl v tom, co model věděl, ale v tom, jak jsme formulovali každou extrakční úlohu. Tým dosáhl přesnosti >99 % prompt engineeringem, strukturovanými výstupními schématy a iterativní evaluací na benchmarku 60 skutečných poptávek s expertně připravenými očekávanými výstupy.

Confidence scoring. Každý parametr dostane ohodnocení jistoty vypočítané semi-deterministicky z výstupu modelu. Nechat model hodnotit vlastní jistotu bývá v oborových úlohách špatně zkalibrované, proto jsme se tomuto přístupu vyhnuli. Výsledky s vysokou jistotou přecházejí přímo do stavu „připraveno k review“. Výsledky s nízkou jistotou systém označí pro odbornou kontrolu.

Feedback loop. Když odborník opraví špatnou klasifikaci, zaznamená opravenou hodnotu a stručné vysvětlení. Pipeline tyto opravy zapracovává do prompt kontextu pro následující extrakce. Přesnost se postupně zvyšuje s tím, jak se systém používá, bez přetrénování.

Rozhraní nabízí Kanban board: Zpracování → Čeká na review → In Review → Hotovo. Každý odborník dostane e-mailovou notifikaci s přímým odkazem na přiřazené položky k review. Finální výstupy se exportují do Excelu pro obchodní tým.

Výsledky

Klasifikační práce, která dříve zabírala až pět hodin týdně, nyní trvá minuty. Obchodní tým dokáže reagovat na poptávky v řádu hodin místo dní.

Přesnost >99 % jsme ověřili na benchmarku 60 skutečných poptávek s expertně připravenými očekávanými výstupy. Tým reagoval pozitivně; někteří označili výsledek za extrémně pozitivní.

Základní vzor paralelní extrakce parametrů, routování dle confidence a feedback loopu s odborníky lze přímo přepoužít pro jiné průmyslové klasifikační problémy. Jakákoli oblast, kde lidé klasifikují nestrukturované vstupy podle definovaného schématu, je kandidátem.

Další čtení

• Automatizace firemních procesů s AI agenty — kdy AI automatizace funguje a kdy ne: vzory z reálných nasazení.
• Jak zavádíme AI coding agenty ve velkých firmách — stejné principy postupné automatizace s lidským dohledem, aplikované na úrovni týmu.
• Jak postavit MCP Governance pro enterprise — když AI systémy běží v produkci, záleží na governance a auditovatelnosti.